JP7601639B2 - 拡張参照画像内予測 - Google Patents

Description

本発明は、ビデオ符号化、特に画像内予測を含むハイブリッドビデオ符号化に関する。本発明は、さらに、それぞれ、ビデオエンコーダ、ビデオデコーダ、およびビデオの符号化、復号化のための方法に関する。

Ｈ．２６５／ＨＥＶＣは、エンコーダおよび／またはデコーダでの並列処理を向上または有効化するためのツールを既に提供しているビデオコーデックである。例えば、ＨＥＶＣは、互いに独立して符号化されたタイルの配列への画像の細分割をサポートする。ＨＥＶＣでサポートされている別の概念はＷＰＰに関連しており、それによれば、連続するＣＴＵラインの処理で最小のＣＴＵオフセットが守られている場合、画像のＣＴＵ行またはＣＴＵラインを左から右に並列に（すなわち、ストライプで）処理することができる。しかしながら、ビデオエンコーダおよび／またはビデオデコーダの並列処理機能をさらに効率的にサポートするビデオコーデックを手元に有することが好ましい。

したがって、本発明の目的は、予測ブロックを予測するために使用される参照サンプルに関して、エンコーダおよび／またはデコーダにおけるより効率的な処理を可能にするビデオコーデックを提供することである。

この目的は、本出願の独立請求項の主題によって達成される。

実施形態によれば、ビデオエンコーダは、ブロックベースの予測符号化によって、ビデオの画像を符号化データに符号化するように構成され、ブロックベースの予測符号化は、画像内予測を含む。ビデオエンコーダは、画像内予測のために、画像の予測ブロックを符号化するために、画像の複数の拡張参照サンプルを使用するように構成され、複数の拡張参照サンプルの各拡張参照サンプルは、予測ブロックに直接隣接する、複数の参照サンプルの少なくとも１つの最も近い参照サンプルによって予測ブロックから分離される。ビデオエンコーダは、さらに、複数の最も近い参照サンプルのそれぞれの利用可能性または利用不可能性を順次判定し、置換サンプルによって利用不可能であると判定された最も近い参照サンプルを置換するように構成される。ビデオエンコーダは、画像内予測に置換サンプルを使用するように構成される。これは、例えば、バッファ／メモリにサンプルのラインまたは行を有し、メモリにサンプルの列を実際には有しない、したがって利用不可能である場合に発生する可能性がある、そのようなサンプルが利用不可能である場合であっても、最も近い参照サンプルを使用して予測の概念を使用することを可能にする。

実施形態によれば、ビデオエンコーダは、ブロックベースの予測符号化によって、ビデオの画像を符号化データに符号化するように構成され、ブロックベースの予測符号化は、画像内予測を含む。ビデオエンコーダは、画像内予測において、画像の予測ブロックを符号化するために、画像の複数の拡張参照サンプルを使用するように構成され、複数の拡張参照サンプルの各拡張参照サンプルは、予測ブロックに直接隣接する、複数の参照サンプルの少なくとも１つの最も近い参照サンプルによって予測ブロックから分離される。ビデオエンコーダは、さらに、複数のフィルタリングされた拡張参照サンプルを取得するために、バイラテラルフィルタを使用して複数の拡張参照サンプルの少なくともサブセットをフィルタリングし、画像内予測のために複数のフィルタリングされた拡張参照サンプルを使用するように構成される。

実施形態によれば、ビデオエンコーダは、ブロックベースの予測符号化によって、ビデオの画像を符号化データに符号化するように構成され、ブロックベースの予測符号化は、画像内予測を含む。ビデオエンコーダは、画像内予測において、画像の予測ブロックを符号化するために、画像の複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルは、予測ブロックに直接隣接する、複数の参照サンプルのうちの少なくとも１つの最も近い参照サンプルによって予測ブロックから分離され、複数の最も近い参照サンプルが、予測ブロックの第１の画像方向に沿って、および予測ブロックの第２の画像方向に沿って配置され、マッピングされた参照サンプルが第１の画像方向に沿った予測ブロックの拡張を超えるように、第２の方向に沿って配置された最も近い参照サンプルの少なくとも一部を第１の方向に沿って配置された拡張参照サンプルにマッピングするように構成される。ビデオエンコーダは、マッピングされた拡張参照サンプルを予測に使用するように構成される。

実施形態によれば、ビデオエンコーダは、ブロックベースの予測符号化によって、ビデオの画像を符号化データに符号化するように構成され、ブロックベースの予測符号化は、画像内予測を含む。ビデオエンコーダは、画像内予測のために、画像の予測ブロックを符号化するために、予測ブロックに直接隣接する画像の複数の最も近い参照サンプル、および複数の拡張参照サンプルを使用するように構成され、複数の参照サンプルの各拡張参照サンプルが複数の参照サンプルのうちの少なくとも１つの最も近い参照サンプルによって予測ブロックから分離され、ビデオエンコーダは、拡張サンプルが使用されないモードで境界フィルタリングし、拡張サンプルが使用される場合は、境界フィルタリングを使用しないように構成され、または、ビデオエンコーダは、複数の最も近い参照サンプルの少なくともサブセットを境界フィルタリングし、拡張サンプルについて境界フィルタリングを使用しないように構成される。

実施形態によれば、ビデオエンコーダは、ブロックベースの予測符号化によって、ビデオの画像を符号化データに符号化するように構成され、ブロックベースの予測符号化は、画像内予測を含む。ビデオエンコーダは、画像内予測において、画像の予測ブロックを符号化するために、予測ブロックに直接隣接する画像の複数の最も近い参照サンプル、および複数の拡張参照サンプルを判定するように構成され、複数の参照サンプルの各拡張参照サンプルが、複数の拡張参照サンプルの少なくとも１つの最も近い参照サンプルによって予測ブロックから分離される。ビデオエンコーダは、さらに、拡張参照サンプルを使用して予測ブロックの予測を判定し、拡張参照サンプルをフィルタリングして、複数のフィルタリングされた拡張参照サンプルを取得し、予測とフィルタリングされた拡張参照サンプルとを結合して予測ブロックの組み合わせ予測を取得するように構成される。

実施形態によれば、ビデオエンコーダは、ブロックベースの予測符号化によって、ビデオの画像を符号化データに符号化するように構成され、ブロックベースの予測符号化は、画像内予測を含む。ビデオエンコーダは、画像内予測のために、画像の予測ブロックを符号化するために、予測ブロックに直接隣接する画像の複数の最も近い参照サンプルおよび／または複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、複数の参照サンプルのうちの少なくとも１つの最も近い参照サンプルによって予測ブロックから分離され、予測モードの第１のセットが、拡張参照サンプルがない場合に複数の最も近い参照サンプルを使用する予測モードを含む、予測モードのセットの第１の予測モードを使用して予測ブロックの第１の予測を判定し、予測モードの第２のセットが、第１のセットの予測モードのサブセットを含み、サブセットが複数の拡張参照サンプルに関連付けられる、予測モードの第２のセットの第２の予測モードを使用して予測ブロックの第２の予測を判定するように構成される。ビデオエンコーダは、第１の予測（ｐ_０（ｘ、ｙ））と第２の予測（ｐ_ｉ（ｘ、ｙ））とを加重（ｗ_０；ｗ_ｉ）結合して、符号化データの予測ブロックの予測として、組み合わせ予測（ｐ（ｘ、ｙ））を取得するように構成される。

実施形態によれば、ビデオエンコーダは、画像内予測を含むブロックベースの予測符号化によって、ビデオの画像を符号化データに符号化し、画像内予測のために、画像の予測ブロックを符号化するために、予測ブロックに直接隣接する画像の複数の最も近い参照サンプルおよび／または複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが複数の参照サンプルのうちの少なくとも１つの最も近い参照サンプルによって予測ブロックから分離され、例えば、拡張参照サンプルがない場合、最も近い参照サンプルを使用して予測ブロックを予測するための予測モードの第１のセットの１つである予測モードを使用し、または、拡張参照サンプルを使用して予測ブロックを予測するための予測モードの第２のセットの１つである予測モードを使用し、予測モードの第２のセットが予測モードの第１のセットのサブセットであり、予測ブロックを予測するために使用される予測モードを示すモード情報（ｍ）を通知し、その後、予測モードが予測モードの第２のセットに含まれる場合、予測モードに使用される拡張参照サンプルのサブセットを示すパラメータ情報（ｉ）を通知し、使用される予測モードが予測モードの第２のセットに含まれない場合にパラメータ情報の通知をスキップすることにより、パラメータの特定値が選択または判定されるというデコーダにおける結論を可能にするように構成され、所定の性質が、通知のスキップを可能にし、すなわち、信号がないことには、有益な意味が与えられる。例えば、不在は、最も近い参照サンプルを使用する必要があることを示すことができる。

実施形態によれば、ビデオエンコーダは、画像内予測を含むブロックベースの予測符号化によって、ビデオの画像を符号化データに符号化し、画像内予測のために、画像の予測ブロックを符号化するために、予測ブロックに直接隣接する画像の最も近い参照サンプルを含む複数の参照サンプルおよび複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが複数の参照サンプルのうちの少なくとも１つの最も近い参照サンプルによって予測ブロックから分離され、最も近い参照サンプルを使用して予測ブロックを予測するための予測モードの第１のセットの１つである予測モードを使用し、または、拡張参照サンプルを使用して予測ブロックを予測するための予測モードの第２のセットの１つである予測モードを使用するように構成され、予測モードの第２のセットが予測モードの第１のセットのサブセットである。ビデオエンコーダは、利用可能な参照データを使用して、第１のセットおよび／または第２のセットを生成することができ、および／または画像から導出された情報を使用してセットを判定することができる。第１のセットのサブセットである第２のセットは、双方のセットが等しい場合を含む。ビデオエンコーダは、予測モードに使用される複数の参照サンプルのサブセットを示すパラメータ情報を通知し、複数の参照サンプルのサブセットが最も近い参照サンプルのみまたは拡張参照サンプルを含み、その後、予測ブロックを予測するために使用される予測モードを示すモード情報（ｍ）を通知するように構成され、モード情報が、モードのサブセットからの予測モードを示し、サブセットが、パラメータ情報（ｉ）にしたがって許可された予測モードのセットに制限される。使用された参照サンプルの関連付け、すなわち最も近いまたは拡張されたものに基づいて、示された参照サンプルに関連付けられた予測モードのみが適用されるため、制限されたセットの識別が可能である。

実施形態によれば、ビデオエンコーダは、画像内予測を含むブロックベースの予測符号化によって、ビデオの画像を符号化データに符号化し、画像内予測のために、画像の予測ブロックを符号化するために、予測ブロックに直接隣接する画像の複数の最も近い参照サンプルおよび／または複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、複数の参照サンプルのうちの少なくとも１つの最も近い参照サンプルによって予測ブロックから分離され、予測モードのセットの第１の予測モードを使用して予測ブロックの第１の予測を判定し、予測モードの第１のセットが、拡張参照サンプルがない場合に複数の最も近い参照サンプルを使用する予測モードを含み、第２のセットの予測モードの第２の予測モードを使用して予測ブロックの第２の予測を判定し、第１のセットの予測モードのサブセットを含む第２のセットの予測モードが複数の拡張参照サンプルに関連付けられるように構成される。ビデオエンコーダは、第１の予測と第２の予測とを結合して、符号化データ内の予測ブロックの予測として組み合わせ予測を取得するように構成される。

実施形態によれば、ビデオエンコーダは、画像内予測を含むブロックベースの予測符号化によって、ビデオの画像を符号化データに符号化し、画像内予測において、画像の予測ブロックを符号化するために、画像の複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、少なくとも予測ブロックに直接隣接する複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離され、複数の拡張参照サンプルの所定のセットにしたがって、複数の拡張参照サンプルを使用するように構成される。複数の拡張参照サンプルは、例えば、識別子によって識別されるエリアインデックスのリストに含まれることができる。

実施形態によれば、ビデオエンコーダは、画像内予測を含むブロックベースの予測符号化によって、複数の予測ブロックを符号化データに符号化し、画像内予測のために、複数の予測ブロックの予測ブロックを符号化するために、画像の複数の拡張参照サンプルを使用するように構成され、複数の拡張参照サンプルの各拡張参照サンプルが、少なくとも予測ブロックに直接隣接する複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離される。ビデオエンコーダは、複数の予測ブロックの隣接する予測ブロックの少なくとも部分的な一部となるように拡張参照サンプルを判定し、隣接する予測ブロックがまだ予測されていないことを判定し、予測ブロックに関連付けられ、隣接する予測ブロックに利用不可能なサンプルとして配置された拡張予測サンプルを示す情報を通知するように構成される。

実施形態によれば、ビデオデコーダは、画像内予測を含むブロックベースの予測復号によって、データをビデオに符号化することで符号化された画像を復号し、画像内予測において、画像の予測ブロックを符号化するために、画像の複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、予測ブロックに直接隣接する、少なくとも複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離され、複数の最も近い参照サンプルのそれぞれの利用可能性または利用不可能性を順次判定し、置換サンプルによって利用不可能と判定された最も近い参照サンプルを置換し、画像内予測に置換サンプルを使用するように構成される。

実施形態によれば、ビデオデコーダは、画像内予測を含むブロックベースの予測復号によって、データをビデオに符号化することで符号化された画像を復号し、画像内予測において、画像の予測ブロックを復号するために、画像の複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、少なくとも予測ブロックに直接隣接する複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離され、バイラテラルフィルタを使用して複数の拡張参照サンプルの少なくともサブセットをフィルタリングし、複数のフィルタリングされた拡張参照サンプルを取得し、画像内予測のために複数のフィルタリングされた拡張参照サンプルを使用するように構成される。

実施形態によれば、ビデオデコーダは、画像内予測を含むブロックベースの予測復号によって、データをビデオに符号化することで符号化された画像を復号し、画像内予測において、画像の予測ブロックを復号するために、画像の複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、少なくとも予測ブロックに直接隣接する複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離され、複数の最も近い参照サンプルが予測ブロックの第１の画像方向に沿って、および予測ブロックの第２の画像方向に沿って配置され、マッピングされた参照サンプルが第１の画像方向に沿った予測ブロックの拡張を超えるように、第２の方向に沿って配置された最も近い参照サンプルの少なくとも一部を第１の方向に沿って配置された拡張参照サンプルにマッピングし、マッピングされた拡張参照サンプルを予測に使用するように構成される。

実施形態によれば、ビデオデコーダは、画像内予測を含むブロックベースの予測復号によって、データをビデオに符号化することで符号化された画像を復号し、画像内予測のために、画像の予測ブロックを復号するために、予測ブロックに直接隣接する画像の複数の最も近い参照サンプルおよび複数の拡張参照サンプルを使用するように構成され、複数の拡張参照サンプルの各拡張参照サンプルが少なくとも複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離される。ビデオデコーダは、拡張サンプルが使用されないモードで境界フィルタリングを行い、拡張サンプルを使用する場合は、境界フィルタリングを使用せず、または、複数の最も近い参照サンプルの少なくともサブセットを境界フィルタリングし、拡張サンプルに境界フィルタリングを使用しないように構成される。

実施形態によれば、ビデオデコーダは、画像内予測を含むブロックベースの予測復号によって、データをビデオに符号化することで符号化された画像を復号し、画像内予測において、画像の予測ブロックを復号するために、予測ブロックに直接隣接する画像の複数の最も近い参照サンプルおよび複数の拡張参照サンプルを判定し、複数の拡張参照サンプルの各拡張参照サンプルが、少なくとも複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離され、拡張参照サンプルを使用して予測ブロックの予測を判定し、拡張参照サンプルをフィルタリングして複数のフィルタリングされた拡張参照サンプルを取得し、予測とフィルタリングされた拡張参照サンプルとを結合して予測ブロックの組み合わせ予測を取得するように構成される。

実施形態によれば、ビデオデコーダは、画像内予測を含むブロックベースの予測復号によって、データをビデオに符号化することで符号化された画像を復号し、画像内予測のために、画像の予測ブロックを復号するために、予測ブロックに直接隣接する画像の複数の最も近い参照サンプルおよび／または複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、少なくとも複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離され、予測モードのセットの第１の予測モードを使用して予測ブロックの第１の予測を判定し、予測モードの第１のセットが、拡張参照サンプルがない場合に複数の最も近い参照サンプルを使用する予測モードを含み、予測モードの第２のセットの第２の予測モードを使用して予測ブロックの第２の予測を判定し、予測モードの第２のセットが、第１のセットの予測モードのサブセットを含み、サブセットが、複数の拡張参照サンプルに関連付けられるように構成される。ビデオデコーダは、第１の予測と第２の予測とを加重結合して、符号化データ内の予測ブロックの予測として組み合わせ予測を取得するように構成される。

実施形態によれば、ビデオデコーダは、画像内予測を含むブロックベースの予測復号によって、データをビデオに符号化することで符号化された画像を復号し、画像内予測のために、画像の予測ブロックを復号するために、予測ブロックに直接隣接する画像の複数の最も近い参照サンプルおよび／または複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、少なくとも複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離され、最も近い参照サンプルを使用して予測ブロックを予測するための予測モードの第１のセットの１つである予測モードを使用し、または、拡張参照サンプルを使用して予測ブロックを予測するための予測モードの第２のセットの１つである予測モードを使用し、予測モードの第２のセットが予測モードの第１のセットのサブセットであり、予測ブロックを予測するために使用される予測モードを示すモード情報（ｍ）を受信し、その後、予測モードに使用される拡張参照サンプルのサブセットを示し、それにより、予測モードが予測モードの第２のセットに含まれることを示すパラメータ情報（ｉ）を受信し、パラメータ情報を受信しない場合、使用された予測モードが予測モードの第２のセットに含まれていないことを判定し、予測のための最も近い参照サンプルの使用を判定するように構成される。

実施形態によれば、ビデオデコーダは、画像内予測を含むブロックベースの予測復号によって、データをビデオに符号化することで符号化された画像を復号し、画像内予測のために、画像の予測ブロックを復号するために、予測ブロックに直接隣接する画像の最も近い参照サンプルを含む複数の参照サンプルおよび複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、少なくとも複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離され、最も近い参照サンプルを使用して予測ブロックを予測するための予測モードの第１のセットの１つである予測モードを使用し、または、拡張参照サンプルを使用して予測ブロックを予測するための予測モードの第２のセットの１つである予測モードを使用し、予測モードの第２のセットが予測モードの第１のセットのサブセットであり、予測モードに使用される複数の参照サンプルのサブセットを示すパラメータ情報（ｉ）を受信し、複数の参照サンプルのサブセットが最も近い参照サンプルのみまたは少なくとも１つの拡張参照サンプルを含み、その後、予測ブロックを予測するために使用される予測モードを示すモード情報（ｍ）を受信し、モード情報がモードのサブセットからの予測モードを示し、サブセットがパラメータ情報（ｉ）にしたがって許可された予測モードのセットに制限されるように構成される。

実施形態によれば、ビデオデコーダは、画像内予測を含むブロックベースの予測復号によって、データをビデオに符号化することで符号化された画像を復号し、画像内予測のために、画像の予測ブロックを復号するために、予測ブロックに直接隣接する画像の複数の最も近い参照サンプルおよび／または複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、少なくとも複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離され、予測モードのセットの第１の予測モードを使用して予測ブロックの第１の予測を判定し、予測モードの第１のセットが、拡張参照サンプルがない場合に複数の最も近い参照サンプルを使用する予測モードを含み、第２のセットの予測モードの第２の予測モードを使用して予測ブロックの第２の予測を判定し、第１のセットの予測モードのサブセットを含む第２のセットの予測モードが複数の拡張参照サンプルに関連付けられるように構成される。ビデオデコーダは、第１の予測と第２の予測とを結合して、符号化データ内の予測ブロックの予測として組み合わせ予測を取得するように構成される。

実施形態によれば、ビデオデコーダは、画像内予測を含むブロックベースの予測復号によって、データをビデオに符号化することで符号化された画像を復号し、画像内予測において、画像の予測ブロックを復号するために、画像の複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、少なくとも予測ブロックに直接隣接する複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離され、複数の拡張参照サンプルの所定のセットにしたがって、複数の拡張参照サンプルを使用するように構成される。

実施形態によれば、ビデオデコーダは、画像内予測を含むブロックベースの予測復号によって、データをビデオに符号化することで符号化された画像を復号するように構成され、各画像について複数の予測ブロックが復号され、画像内予測のために、複数の予測ブロックの予測ブロックを復号するために、画像の複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、予測ブロックに直接隣接する複数の参照サンプルのうち少なくとも１つの最も近い参照サンプルによって予測ブロックから分離される。ビデオデコーダは、複数の予測ブロックの隣接する予測ブロックの少なくとも部分的な一部となるように拡張参照サンプルを判定し、隣接する予測ブロックがまだ予測されていないことを判定し、予測ブロックに関連付けられ、隣接する予測ブロックに利用不可能なサンプルとして配置された拡張予測サンプルを示す情報を受信するように構成される。

さらなる実施形態は、ビデオを符号化および復号する方法、ならびにコンピュータプログラム製品に関する。

本特許出願の前述の実施形態に関して、全ての実施形態などの前述の実施形態のうちの２つ以上が同時にビデオコーデックに実装されるように、同じものを組み合わせることができることに留意されたい。

さらに、本特許出願の有利な実施形態は、従属請求項の対象であり、本特許出願の好ましい実施形態は、その中の図に関して以下に説明される。

実施形態にかかるデコーダを備える、実施形態にかかるビデオエンコーダの概略ブロック図を示している。 実施形態にかかるビデオストリームを符号化する方法の概略フローチャートを示している。 実施形態で使用される直接隣接する（最も近い）参照サンプルおよび拡張参照サンプルの例を示している。 実施形態にかかる、予測サンプルの４ｘ２ブロックに対する５つの角度の画像内予測角度の例を示している。 実施形態にかかる、予測サンプルの４ｘ２ブロックに対する５つの角度の画像内予測角度の例を示している。 実施形態にかかる、予測サンプルの４ｘ２ブロックに対する５つの角度の画像内予測角度の例を示している。 実施形態にかかる、予測サンプルの４ｘ２ブロックに対する５つの角度の画像内予測角度の例を示している。 実施形態にかかる、予測サンプルの４ｘ２ブロックに対する５つの角度の画像内予測角度の例を示している。 実施形態で使用される角度予測の方向を示すための概略図を示している。 フィルタで使用されるタップの数の依存性の例を説明するための表を示しており、その数は、予測ブロックのブロックサイズおよび予測モードに依存している。 フィルタで使用されるタップの数の依存性の例を説明するための表を示しており、その数は、予測ブロックのブロックサイズおよび予測モードに依存している。 角度パラメータの定義を使用した角度予測に関連する実施形態を示している。 角度パラメータの定義を使用した角度予測に関連する実施形態を示している。 角度パラメータの定義を使用した角度予測に関連する実施形態を示している。 実施形態にかかる参照サンプルのマッピングに関連する垂直オフセットの導出を示している。 実施形態にかかる参照サンプルのマッピングに関連する垂直オフセットの導出を示している。 実施形態にかかる参照サンプルのマッピングに関連する垂直オフセットの導出を示している。 実施形態にかかる水平オフセットの導出を示している。 実施形態にかかる水平オフセットの導出を示している。 実施形態にかかる水平オフセットの導出を示している。 対角左上角の実施形態および実施形態にかかる最も近い参照サンプルの使用を示している。 実施形態にかかる左上対角予測の場合の主参照としての拡張上部参照サンプルの隣のサイド参照としての拡張左参照サンプルの投影例を示している。 実施形態にかかる拡張された上部参照サンプルの隣のサイド参照としての最も近い左参照サンプルの投影例を示している。 実施形態にかかる参照領域の特定のセットのための例示的な切り捨てられた単一コードを示している。 実施形態にかかる使用可能なブロックサイズの概略図を示している。 実施形態にかかる使用可能なブロックサイズの概略図を示している。 予測ブロックの角度が４５度の垂直角度予測の実施形態にかかる概略図を示している。 実施形態にかかる対角垂直画像内予測の場合に必要な最も近い参照サンプルおよび拡張参照サンプルの例を示している。 実施形態にかかる対角垂直画像内予測の場合に必要な最も近い参照サンプルおよび拡張参照サンプルの例を示している。

等しいまたは同等の要素または同等または同等の機能を有する要素は、異なる図で発生する場合であっても、同等または同等の参照符号によって以下の説明で示されている。

以下の説明では、本発明の実施形態のより完全な説明を提供するために、複数の詳細が示されている。しかしながら、本発明の実施形態がこれらの特定の詳細なしで実施されることができることは当業者にとって明らかであろう。他の例では、本発明の実施形態を曖昧にすることを回避するために、周知の構造および装置が詳細ではなくブロック図の形態で示されている。さらに、以下に説明する異なる実施形態の特徴は、特に明記しない限り、互いに組み合わせることができる。

ハイブリッドビデオコーディングでは、画像内予測を使用して、利用可能な隣接サンプル、すなわち参照サンプルから予測信号を生成することにより、画像サンプルの領域を符号化する。予測信号は、残差信号を取得するために元の信号から差し引かれる。この残差信号または予測誤差は、例えば、画像内予測ブロック１００１を備えたハイブリッドビデオエンコーダである実施形態にかかるビデオエンコーダ１０００の概略ブロック図を示す図１に示されるように、さらに変換、スケーリング、量子化、およびエントロピー符号化される。ビデオエンコーダ１０００は、複数の画像を含む入力ビデオ信号１００２を受信するように構成され、画像のシーケンスがビデオを形成する。ビデオエンコーダ１０００は、信号１００２をサンプルの領域に分割するように、すなわち、入力ビデオ信号１００２からブロックを形成するように構成されたブロック１００４を備える。ビデオエンコーダ１０００のコントローラ１００６は、ブロック１００４を制御し、エンコーダ１０００の一部とすることができるデコーダ１００８を制御するように構成される。出力ビットストリーム１０１２および生成された出力ビデオ信号１０１４、すなわち符号化データを受信および復号するデコーダは、それに応じて実装されることができる。特に、ブロック１００４によってブロックに分割された入力ビデオ信号１００２である信号１０２２の動き推定のためのブロック１０１８とともに、変換、スケーリング、および量子化ブロック１０１６は、出力ビットストリーム１０１２のエントロピー符号化を可能にするために、量子化された変換係数および動き情報の双方に関する情報を提供することができる。

次に、量子化された変換された係数は、潜在的なループ内フィルタリング操作の前に、再構築された残差信号を生成するためにスケーリングおよび逆変換される。この信号を予測信号に再度追加して、デコーダでも利用可能な再構成を取得することができる。再構成された信号を使用して、同じ画像内のコーディング順序で後続のサンプルを予測することができる。

画像内予測の詳細は、図２を参照されたい。まず、予測に使用される参照サンプルは、再構成されたサンプルに基づいてブロック１０４２で生成される。この段階はまた、例えば、画像、スライスまたはタイルの境界で利用不可能な隣接するサンプルの置換も含む。第２に、ブロック１０４４において、参照サンプルをフィルタリングして、参照信号の不連続性を排除することができる。第３に、ブロック１０４６において、予測サンプルは、イントラ予測モードにしたがって参照サンプルを使用して計算される。予測モードは、例えば、ＤＣモードでそれらを平均化するかまたは角度予測モードで１つの予測角度に沿ってそれらをコピーすることにより、参照サンプルから予測信号がどのように生成されるかを記述する。エンコーダは、選択するイントラ予測モードを判定する必要があり、選択されたイントラ予測モードは、デコーダへのエントロピーコーディングによってビットストリームで通知される。デコーダ側では、エントロピー復号によってビットストリームからイントラ予測モードが抽出される。第４に、そしておそらく最後に、ブロック１０４８において、予測サンプルはまた、信号を平滑化するためにフィルタリングされることができる。換言すれば、図２は、画像内予測プロセスまたは方法のフローチャートを示している。一般に、画像内のサンプル間の相関は、距離が長くなるにつれて減少する。したがって、直接隣接するサンプルは、一般に、サンプルの面積を予測するための参照サンプルとして適している。しかしながら、直接隣接する参照サンプルが均一な領域（オクルージョン）内のエッジまたはオブジェクトを表す場合がある。これらの場合、予測するサンプル（均一またはテクスチャ領域）と直接隣接する参照サンプル（エッジ）との間の相関は低くなる。拡張参照画像内予測は、直接隣接していないより離れた参照サンプルを組み込むことにより、この問題を解決する。最も近い参照サンプルを拡張するという概念は知られているが、画像内予測プロセスおよび通知の全ての部分に対するいくつかの新規の改善が、本発明の実施形態で定義され、以下に説明される。

拡張参照画像内予測は、拡張参照サンプルを使用してサンプル領域の予測信号を生成することを可能にする。拡張参照サンプルは、直接隣接していない利用可能な参照サンプルである。以下では、実施形態にかかる拡張参照サンプルを使用する改善された参照サンプル生成、フィルタリング、予測、および予測フィルタリングがさらに詳細に説明される。拡張参照サンプルを使用した予測と、直接隣接するサンプルまたはフィルタリングされていない参照サンプルを使用した予測とを組み合わせる特殊なケースについては、後に説明する。その後、拡張参照サンプルの予測モードおよび拡張参照領域通知を改善するために、実施形態にかかる様々な方法が説明される。さらに、拡張参照サンプルを用いた並列符号化を容易にするための実施形態が説明される。

参照サンプルの生成のために、現在のビデオコーディング標準は、直接隣接するサンプルを使用して現在のブロックを予測する。文献では、最も近い直接隣接するサンプルに加えて、複数の参照線を使用することが提案された。画像内予測で使用される追加の参照ラインは、以下において詳細に拡張参照サンプルとさらに呼ばれる。その後、実施形態にかかる、利用不可能な拡張参照サンプルを置換するための改善された方法が説明される。

予測される１６×８ブロックの最も近い参照サンプルラインおよび３つの拡張参照サンプルラインを示す例が、直接隣接する（最も近い）参照サンプル１０６２および拡張参照サンプル１０６４_１、１０６４_２および１０６４_３の例を示す図３に示されている。

最も近い参照サンプル１０６２および拡張参照サンプル１０６４_１、１０６４_２および１０６４_３は、予測される予測ブロック１０６６に隣接して配置され、画像の２つの方向、すなわち方向ｘ、および方向ｘに垂直に配置される方向ｙに沿って配置される。方向ｘに沿って、予測ブロックは、０からＷ－１の範囲のサンプルを持つ拡張Ｗを含む。方向ｙに沿って、予測ブロックは、０からＨ－１の範囲のサンプルを持つ拡張Ｈを含む。

インデックスｉを有する参照領域は、それぞれの参照サンプル、すなわち、インデックスｉ＝０を有する最も近い参照サンプル、すなわち、直接隣接して配置され、拡張参照サンプルが少なくとも最も近い参照サンプル１０６２によって予測ブロック１０６６から離間している参照サンプル間の距離を示すことができる。例えば、参照領域インデックスｉは、予測ブロック１０６６とそれぞれの参照サンプル１０６２または１０６４との間の距離の延長を示すことができる。例として、方向ｘに沿ってパラメータｘを増加させることは、右に移動することと呼ぶことができ、逆に、ｘを減少させることは、左に移動することと呼ぶことができる。

あるいは、またはさらに、負の方向ｙに沿ってインデックスｉを減少させることは、画像の上方または上部に向かって移動することと呼ぶことができ、パラメータｙの増加に伴い、画像の下方または下部に向かって移動することが示されることができる。上、下、左および右のような用語は、本発明の理解を単純化するために使用される。他の実施形態によれば、そのような用語は、本実施形態の範囲を限定することなく、変形、変更、または他の任意の方向に置き換えることができる。例として、予測ブロックから左に配置されている、すなわちｘ＜０を有する参照サンプル１０６２および／または１０６４は、左参照サンプルと呼ぶことができる。予測ブロック１０６６の左上端が位置０，０を有すると仮定して、_ｙ＜０を有するように配置された参照サンプル１０６２および／または１０６４は、上部参照サンプルと呼ぶことができる。識別されている参照サンプル、左側の参照サンプル、および上部の参照サンプルは、隅参照サンプルと呼ぶことができる。したがって、ｘ方向に沿って拡張Ｗを超える参照サンプルは、右参照サンプルと呼ぶことができ、予測ブロック１０６６の拡張Ｈを超える参照サンプルは、下部参照サンプルと呼ぶことができる。

予測に使用する参照サンプルを示すために、参照サンプルの各ラインは、参照領域インデックスｉに関連付けられている。最も近い参照サンプルには、インデックスｉ＝０、拡張参照サンプルの次のラインｉ＝１などが与えられる。図３の表記を使用すると、上の参照サンプルは、ｘが０からＭの範囲で

で記述でき、左の参照サンプルは、ｙが０からＮの範囲で

で記述できる。参照サンプルの水平方向の延長の場合のパラメータＭと垂直方向の延長の場合のパラメータＮは、画像内予測に依存する。例えば、図４ｅに関連して説明するように、右上の対角予測を時計回りの最大角度として使用する場合、上部の参照サンプルは、水平方向に

サンプルを拡張する必要がある。例えば図４ａで説明するように、左下の対角予測を反時計回りの最大角度として使用する場合、左の参照サンプルは、垂直方向に

サンプルを拡張する必要がある。図３のように、Ｗは予測ブロックの幅を表し、Ｈは高さを表す。

ビデオエンコーダ１０００などの実施形態にかかるビデオエンコーダは、ブロックベースの予測符号化によって、ビデオの画像を符号化データに符号化するように構成されることができ、ブロックベースの予測符号化は、画像内予測を含む。ビデオエンコーダは、画像内予測において、画像の予測ブロックを符号化するために、画像の複数の拡張参照サンプルを使用することができ、複数の拡張参照サンプルの各拡張参照サンプルは、少なくとも予測ブロックに直接隣接する、複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離される。ビデオエンコーダは、複数の最も近い参照サンプルのそれぞれの利用可能性または利用不可能性を順次判定することができ、置換サンプルによって利用できないと判定される最も近い参照サンプルを置き換えることができる。ビデオエンコーダは、画像内予測のために置換サンプルを使用することができる。

利用可能性または利用不可能性を判定するために、ビデオエンコーダは、シーケンスにしたがってサンプルを順次チェックし、シーケンスで利用可能であると判定される最後の拡張参照サンプルのコピーとして置換サンプルを判定することができ、および／または次の拡張参照サンプルがシーケンスで利用可能であると判定されるコピーとして置換サンプルを判定することができる。

ビデオエンコーダは、さらに、シーケンスにしたがって順次利用可能性または利用不可能性を判定し、利用可能であると判定され且つ参照サンプルが利用不可能であると判定され、拡張参照サンプルが利用可能であると判定される前にシーケンスに配置され、参照サンプルが利用不可能であると判定された後、順番に配置される拡張参照サンプルの組み合わせに基づいて置換サンプルを判定することができる。

あるいは、またはさらに、ビデオエンコーダは、画像内予測のために、画像の予測ブロックを符号化するために、予測ブロックに直接隣接する画像の複数の最も近い参照サンプルおよび複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、複数の参照サンプルの少なくとも１つの最も近い参照サンプルによって予測ブロックから分離され、複数の拡張参照サンプルのそれぞれの利用可能性または利用不可能性を判定するように構成されることができる。ビデオエンコーダは、複数の拡張参照サンプルの利用可能な拡張参照サンプルの一部が所定の閾値以上である場合に、複数の拡張参照サンプルの使用を通知することができ、複数の拡張参照サンプルの利用可能な拡張参照サンプルの一部が所定の閾値を下回る場合、複数の拡張参照サンプルの使用の通知をスキップすることができる。

したがって、ビデオデコーダ１００８またはビデオストリームを再び生成するためのビデオデコーダなどのそれぞれのデコーダは、画像内予測を含むブロックベースの予測復号によって、符号化データで符号化された画像をビデオに復号し、画像内予測において、画像の予測ブロックを符号化するために、画像の複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、少なくとも予測ブロックに直接隣接する複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離され、複数の拡張参照サンプルのそれぞれの利用可能性または利用不可能性を順次判定するように構成されることができる。ビデオデコーダは、置換サンプルによって利用不可能と判定された拡張参照サンプルを置換し、画像内予測のために置換サンプルを使用することができる。

ビデオデコーダは、さらに、シーケンスにしたがって順番に利用可能性または利用不可能性を判定し、置換サンプルを、シーケンスで利用可能であると判定された最後の拡張参照サンプルのコピーとして判定し、および／または置換サンプルを、次の拡張参照サンプルがシーケンスで利用可能であると判定されるコピーとして判定するように構成されることができる。

さらに、ビデオデコーダは、シーケンスにしたがって順番に利用可能性または利用不可能性を判定し、参照サンプルが利用可能であると判定され且つ参照サンプルが利用不可能であると判定され、拡張参照サンプルが利用可能であると判定される前にシーケンスに配置され、参照サンプルが利用不可能であると判定された後、順番に配置される拡張参照サンプルの組み合わせに基づいて置換サンプルを判定するように構成されることができる。

ビデオデコーダは、代替的に、またはさらに、画像内予測のために、画像の予測ブロックを復号するために、予測ブロックに直接隣接する画像の複数の最も近い参照サンプルおよび複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、少なくとも複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離され、複数の拡張参照サンプルのそれぞれの利用可能性または利用不可能性を判定し、複数の拡張参照サンプルの利用可能な拡張参照サンプルの一部が所定の閾値以上であり、複数の拡張参照サンプルの使用である場合に、複数の拡張参照サンプルの使用を示す受信情報を通知し、情報がない場合、すなわち、複数の拡張参照サンプルの利用可能な拡張参照サンプルの一部が所定の閾値を下回る場合、複数の拡張参照サンプルの使用をスキップするように構成されることができる。

隣接する参照サンプルが利用できない場合、実施形態によれば、拡張参照サンプル置換を実行することができる。例えば、利用不可能なサンプルは、利用可能な最も近い隣接サンプル、最も近い２つの組み合わせ、または利用可能な隣接サンプルがない場合に例えば２^{ｂｉｔｄｅｐｔｈ－１}などの所定の値によって置き換えることができる。例えば、それらが画像、スライス、またはタイルの境界の外側にある場合、または画像内予測領域の参照として画像間予測領域からのサンプルを使用することを許可しない制約付き内部予測が使用される場合、参照サンプルは利用不可能である。

例えば、予測される現在のブロックが左側の画像境界にある場合、左および左上隅の参照サンプルは利用不可能である。この場合、左および左上隅の参照サンプルは、最初に利用可能な上参照サンプルに置き換えられる。この最初に利用可能な上参照サンプルは、最初のサンプル、すなわち

である場合、最も近い（ｉ＝０）および拡張（ｉ＞０）参照サンプルの置換は、以下のように定式化されることができる。

パラメータｉは、エンコーダ／デコーダシステム内で０よりも大きい任意の最大値、例えば、５以上または１０以上などの１、２、３、４以上とすることができる。

制約付きイントラ予測を使用すると、画像間予測を使用して符号化されているため、１つ以上の隣接ブロックが使用できない場合がある。例えば、左側のＨサンプル

と

は、画像間予測ブロック内にあり、制約付きイントラ予測が有効になっているため利用不可能である。

一実施形態では、各参照サンプルの利用可能性チェックプロセスは、順次、例えば、左下から右上へ、またはその逆に行われ、この方向に沿って利用できない最初のサンプルは、利用可能な最後のサンプルに置き換えられる。以前に利用可能なサンプルがない場合、利用不可能なサンプルは、次に利用可能なサンプルに置き換えられる。右下から開始する実施形態では、Ｗ右下のサンプル

と

が利用可能である。したがって、左側のサンプルは、以下のように置き換えられる。

別の実施形態では、利用可能な参照サンプル間の利用不可能な参照サンプルは、各側から１つずつ、２つの最も近いサンプル間を線形補間することによって生成されることができる。

拡張参照領域サンプルのほとんどが利用できないと判定された場合、拡張参照サンプルを使用しても、最も近い参照サンプルを使用した場合と比較して何のメリットもない。したがって、参照領域インデックスの通知を保存することができ、その通知は、拡張参照サンプルの少なくとも半分が使用可能なブロックに制限することができる。

ビデオエンコーダ１０００などの実施形態にかかるビデオエンコーダは、画像内予測を含むブロックベースの予測符号化によって、ビデオの画像を符号化データに符号化し、画像内予測において、画像の予測ブロックを符号化するために、画像の複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、少なくとも予測ブロックに直接隣接する複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離され、バイラテラルフィルタを使用して複数の拡張参照サンプルの少なくともサブセットをフィルタリングし、複数のフィルタリングされた拡張参照サンプルを取得し、画像内予測のために複数のフィルタリングされた拡張参照サンプルを使用するように構成されることができる。

この実施形態にかかるビデオエンコーダは、複数のフィルタリングされた拡張参照サンプルを複数のフィルタリングされていない拡張参照サンプルと組み合わせて、複数の組み合わされた参照値を取得するように構成されることができ、ビデオエンコーダは、画像内予測の複数の組み合わされた参照値を使用するように構成される。

あるいは、またはさらに、ビデオエンコーダは、３タップフィルタ、５タップフィルタ、および７タップフィルタのうちの１つを使用して、複数の拡張参照サンプルをフィルタリングするように構成されることができる。

ビデオエンコーダは、さらに、角度予測モードを使用して予測ブロックを予測することを選択するように構成されることができ、３タップフィルタ、５タップフィルタ、および７タップフィルタは、バイラテラルフィルタとして構成され、ビデオエンコーダは、角度予測に使用される角度に基づいて、３タップフィルタ、５タップフィルタ、および７タップフィルタのいずれかを使用するように選択するように構成され、角度は、角度予測モードの水平方向または垂直方向の間に配置され、および／またはビデオデコーダは、予測ブロックのブロックサイズに基づいて、３タップフィルタ、５タップフィルタ、および７タップフィルタのうちの１つを使用するように選択するように構成される。図４ｆに示されるように、角度εは、予測ブロック１０６６の水平境界１０７２および／または垂直境界１０７４に関して予測ブロック１０６６を予測するために使用され、水平方向と垂直方向の間の対角１０７６に向かって測定される角度予測の方向の角度を表すことができる。すなわち、角度予測の角度は最大で４５°である。角度εが大きくなると、フィルタで使用できるタップの数が増える。あるいは、またはさらに、ブロックサイズは、フィルタを選択するための基礎または依存関係を定義することができる。

対応するビデオデコーダは、画像内予測を含むブロックベースの予測復号によって、符号化データで符号化された画像をビデオに復号し、画像内予測において、画像の予測ブロックを復号するために、画像の複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、少なくとも予測ブロックに直接隣接する複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離され、バイラテラルフィルタを使用して複数の拡張参照サンプルの少なくともサブセットをフィルタリングし、複数のフィルタリングされた拡張参照サンプルを取得し、画像内予測のために複数のフィルタリングされた拡張参照サンプルを使用するように構成されることができる。

ビデオデコーダは、さらに、複数のフィルタリングされた拡張参照サンプルを複数のフィルタリングされていない拡張参照サンプルと組み合わせて、複数の組み合わされた参照値を取得するように構成されることができ、ビデオデコーダは、画像内予測のために複数の組み合わされた参照値を使用するように構成される。

あるいは、またはさらに、ビデオデコーダは、３タップフィルタ、５タップフィルタ、および７タップフィルタのうちの１つを使用して、複数の拡張参照サンプルをフィルタリングするように構成されることができる。エンコーダについて説明したように、３タップフィルタ、５タップフィルタ、および７タップフィルタは、バイラテラルフィルタとして構成され、ビデオデコーダは、角度予測モードを使用して予測ブロックを予測し、角度予測に使用される角度に基づいて、３タップフィルタ、５タップフィルタ、および７タップフィルタのいずれかを使用するように選択するように構成され、角度は、角度予測モードの水平方向または垂直方向の間に配置され、および／またはビデオデコーダは、予測ブロックのブロックサイズに基づいて、３タップフィルタ、５タップフィルタ、および７タップフィルタのうちの１つを使用するように選択するように構成される。

例えば、バイラテラルフィルタの代わりに、３タップＦＩＲフィルタを使用することができる。これは、（バイラテラルフィルタを使用しない場合であっても）最も近い参照サンプルのみをフィルタ処理し、拡張参照サンプルをフィルタ処理しないままにすることを可能にする。

サンプル領域が大きい場合、参照サンプルに不連続性が発生し、予測が歪む可能性がある。これに対する最先端の解決策は、参照サンプルに線形平滑化フィルタを適用することである。例えば所定の閾値と比較することによって検出することができる不連続性の場合、強力な平滑化を適用することができる。これは、通常、隅参照サンプル間を補間することによって参照サンプルを生成する。

しかしながら、線形平滑化フィルタは、保存する必要のあるエッジ構造を削除することもできる。参照サンプルフィルタリングの実施形態にしたがって拡張参照サンプルにバイラテラルフィルタを適用することにより、鋭いエッジの望ましくない平滑化を防ぐことができる。バイラテラルフィルタリングは、正確な水平方向と正確な垂直方向から逸脱する大きなブロックとイントラ予測角度に対してより効率的であるため、フィルタを適用するかどうかとフィルタの長さの判定は、ブロックサイズおよび／または予測モードに依存することができる。一例の設計は、Ｗ×Ｈに関して６４×６４よりも小さく６４×６４以上のブロックサイズの依存関係を示す図４ｇに示すように依存関係を組み込むことができ、図４ｈは、Ｗ×Ｈに関して６４×６４よりも小さく且つ６４×６４以上のブロックサイズの異なる依存関係を示す。図４ｇの実施形態では、画像内予測モードは、例えば、平面モード、ＤＣモード、ほぼ水平モード、ほぼ垂直モード、または角度モードの異なる角度のうちの１つとすることができる。図４ｈの実施形態では、より遠い水平およびより遠い垂直として識別される角度をさらに選択することができ、例えば、ほぼ水平またはほぼ垂直と比較した場合、図４ｆに示す角度εの値が大きい。見られるように、より大きなブロックサイズは、より多くの量のデータのフィルタリングを容易にするために、より多くのタップ数をもたらすことができ、さらに、εの増加はまた、タップの増加をもたらすことができる。図４ｈによれば、実施形態は、ほぼ水平およびほぼ垂直モードに小さな３タップフィルタを適用し、水平および垂直方向からの距離が増加するにつれてフィルタ長を増加させることができる。予測モードとブロックサイズの双方に依存するものとして示されているが、フィルタの選択または少なくともタップの数は、代わりに、双方の一方および／または追加のパラメータのみに依存することができる。

参照サンプルフィルタリングの別の実施形態では、フィルタリングされた参照サンプルを使用する画像内予測は、位置依存予測の組み合わせに関連して説明されるように、位置依存の重み付けを使用してフィルタリングされていない参照サンプルと組み合わせることができる。この場合、フィルタ処理された参照サンプルを使用する予測の参照サンプルは、非結合予測の場合とは異なる参照サンプルフィルタリングを使用することができる。例えば、フィルタリングは、３タップ、５タップ、および７タップのフィルタのセットから選択することができる。

ビデオエンコーダ１０００などの実施形態にかかるビデオエンコーダは、画像内予測を含むブロックベースの予測符号化によって、ビデオの画像を符号化データに符号化し、画像内予測において、画像の予測ブロックを符号化するために、画像の複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、少なくとも予測ブロックに直接隣接する複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離され、複数の最も近い参照サンプルが予測ブロックの第１の画像方向に沿って、および予測ブロックの第２の画像方向に沿って配置され、マッピングされた参照サンプルが第１の画像方向に沿った予測ブロックの拡張を超えるように、第２の方向に沿って配置された最も近い参照サンプルの少なくとも一部を第１の方向に沿って配置された拡張参照サンプルにマッピングし、マッピングされた拡張参照サンプルを予測に使用するように構成されることができる。

ビデオエンコーダは、さらに、予測ブロックを予測するために使用される予測モードにしたがって、最も近い参照サンプルの部分をマッピングするように構成されることができる。ビデオエンコーダは、予測ブロックを予測するための予測モードで使用される方向にしたがって、最も近い参照サンプルの部分をマッピングするように構成されることができる。

対応するビデオデコーダは、画像内予測を含むブロックベースの予測復号によって、符号化データで符号化された画像をビデオに復号し、画像内予測において、画像の予測ブロックを復号するために、画像の複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、少なくとも予測ブロックに直接隣接する複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離され、複数の最も近い参照サンプルが予測ブロックの第１の画像方向に沿って、および予測ブロックの第２の画像方向に沿って配置され、
マッピングされた参照サンプルが第１の画像方向に沿った予測ブロックの拡張を超えるように、第２の方向に沿って配置された最も近い参照サンプルの少なくとも一部を第１の方向に沿って配置された拡張参照サンプルにマッピングし、マッピングされた拡張参照サンプルを予測に使用するように構成されることができる。

ビデオデコーダは、予測ブロックを予測するために使用される予測モードにしたがって、最も近い参照サンプルの部分をマッピングするように構成されることができる。ビデオデコーダは、予測ブロックを予測するための予測モードで使用される方向にしたがって、最も近い参照サンプルの部分をマッピングするように構成されることができる。

原則として、直接隣接する参照サンプルを使用する全ての画像内予測は、拡張参照サンプルを使用するように適合させることができる。文献では、以下の３つの予測が採用されている。

・平面
・ＤＣ
・角度
以下では、本発明の実施形態を説明するために、拡張参照サンプルについて各予測を詳細に説明する。

平面予測は、図３に示す境界からのＷ×Ｈ予測サンプルの双一次内挿である。右と下の境界はまだ再構築されていないため、右の境界サンプルは、右上隅のサンプル

と等しく設定され、下の境界サンプルは、左下隅のサンプル

と等しく設定される。

拡張参照サンプルの場合、垂直方向および水平方向の予測

および

は、参照領域のインデックスｉに依存する。

拡張参照サンプルを改善するための一実施形態は、以下のように、垂直および水平予測

および

において、最も近い右上隅サンプル

および最も近い左下隅サンプル

を使用することである。

別の実施形態は、距離に依存する重み付けとともに、水平および垂直の予測に隅参照サンプルを含めることを定義する。拡張された参照領域が遠くなるほど、すなわちパラメータｉが大きくなるほど、予測に使用できる左上隅のサンプルが多くなる。ｉ＝０の場合、１つのサンプル

、すなわち予測ブロックに隣接するか距離０であり、ｉ＞０の場合、ｉ個の垂直隅サンプル

と

、ｉ個の水平隅サンプル

と

と隅サンプル

が存在する。実施形態にかかる１つの実施形態は、水平および垂直隅サンプル（双方とも隅サンプルを含む）を平均し、以下のように、垂直および水平予測においてそれを

および

による距離依存の重み付けとともに含む。

別の実施形態は、最も近い右上のサンプル、最も近い左下のサンプル、および拡張隅サンプルを使用する２つの前の実施形態の組み合わせである。

ＤＣ予測は、参照サンプル値ＤＣの平均を計算し、Ｗ×Ｈブロック内の全ての予測サンプル

を平均に等しく設定する。

平均値ＤＣの場合、予測ブロックの左側にＮサンプル、右側にＭサンプルのみを使用することができ、Ｎは高さＨに設定することができ、Ｍは幅Ｗに設定することができる。

拡張参照サンプルの場合、平均値ＤＣは、参照領域インデックスｉに依存する。

一実施形態では、予測ブロックの左上にある隅サンプルも平均で使用することができる。

角度予測は、指定された方向または角度に沿って予測サンプルを導出することにより、予測サンプルを計算する。最も単純な予測方向は、予測サンプルの４×２ブロックの５つの角度の画像内予測角度の例を示す図４ａから図４ｅに示されている水平、垂直、および３つの対角線である。各方向に沿った参照サンプルは、常に完全な（整数の）サンプル位置を指していることがわかる。文献に記載されている拡張参照サンプル（緑色）の変更は容易であり、方向を拡張するだけである。予測サンプルのブロックのサイズは、４×２であるが、角度内予測は、任意のブロックサイズに拡張することができる。

実施形態によれば、方向が非整数サンプル位置を指すことができるように、より細かい予測角度粒度を使用することができる。これらは、最も近い整数のサンプル位置を使用した補間によって生成することができる。内挿は、単純な双一次フィルタまたはより高度なフィルタ、例えば３次またはガウス４タップフィルタを使用して実行することができる。

水平と垂直の間の予測角度、例えば対角線の左上の角度とその間の全ての角度の場合、左と上からの参照サンプルを使用して予測が生成される。そのような生成を容易にするために、参照サンプル投影を使用することができる。対角線の左上と垂直の間の全ての頂角について、上部の参照サンプルを主参照として表示し、左側のサンプルを副参照として表示することができる。左上の水平線と対角線の間の全ての水平角について、左側の参照サンプルを主参照として表示し、上部の参照サンプルを副参照として表示することができる。計算を単純化するために、すなわち、主参照サンプル計算と副参照サンプル計算とを切り替えないために、副参照サンプルは、主参照サンプルのラインを延長するために予測角度に沿って投影される。上部の主参照の左側

または左側の主参照の上の各参照サンプル

は、逆予測角度にしたがって、対応する副参照サンプルに投影される。予測角度に応じて、投影はサブサンプル位置を指すことができる。

図５ａから図５ｃは、左上の対角予測角度および他の２つの垂直角度についての１／３２サンプル精度で与えられる角度パラメータＡの定義を使用する角度予測に関連する実施形態を示している。以下の実施形態は、１／３２のサンプル精度および垂直対左上対角線の間の垂直予測角度を想定しており、他の任意の値を実装することができる。３３個の予測角度範囲は、図５ａから図５ｃに示すように、０（垂直）から３２（左上の対角線）の範囲の角度パラメータ

で表すことができる。Ａは、３２サンプルなどの所与の第１の画像拡張に対する第２の画像方向に沿った距離と呼ぶことができる。図５ａでは、Ａは３２サンプル、すなわち３２であり、Ａに垂直な画像方向に沿った３２サンプルの画像拡張に基づいて４５°の角度になる。図５ｂでは、Ａ＝１７、図５ｃでは、Ａ＝１である。

角度パラメータ

に基づいて、各主参照サンプル

の左側の参照列への垂直オフセット

は、以下のように計算されることができる：

パラメータ

に基づく垂直オフセット

と最大水平オフセット

の導出を図６ａから図６ｃおよび図７ａから図７ｃに示し、図６ａから図６ｃは、図５ａから図５ｃにかかる、Ａ＝３２、１７、１の左上の水平予測角度の水平変位ｘが与えられた場合の垂直オフセットの計算を示している。

図７ａから図７ｃは、Ａ＝３２、１７、１の左上の水平予測角度の予測ブロックの高さ

が与えられた場合の最大水平オフセット

の計算を示している。

この実施形態では、垂直オフセットを丸めることにより、サブサンプル位置の代わりに最も近い整数参照サンプルが使用される。これは、計算を容易にする。しかしながら、補間されたサブサンプル側の参照サンプルを投影することもできる。

図８は、対角左上角（

）と最も近い参照サンプルの実施形態を示している。高さが８サンプル（

）の場合、４つ（

）の左参照サンプルを対角線方向に投影して、主参照サンプルライン、すなわち最も近い上部参照サンプルを延長することができることがわかる。実施形態によれば、図示されたサイズの画像、ブロック、スライスなどは、例としてのみ与えられ、他の任意の値を含むことができる。

図８は、実施形態にかかる、角度パラメータＡ＝１７で左上水平方向の場合の主参照としての最も近い上部参照サンプルの隣のサイド参照としての最も近い左参照サンプルの投影例を示している。

参照領域インデックスｉの拡張参照サンプルの場合、投影は、以下のように適合させることができる：

図９は、

を用いた延長基準線を用いた、対角左上角（

）および高さ８サンプル（

）の実施形態を示している。ここでは、２つの（

）左参照サンプルを対角線方向に投影して、主参照サンプルライン、すなわち最も近い上部参照サンプルを延長することができる。

図９は、実施形態にかかる、角度パラメータＡ＝１７での左上対角予測の場合の主参照としての拡張上部参照サンプルの隣の副参照としての拡張左参照サンプルの投影例を示している。

左と上からの参照サンプルを使用する場合、拡張参照サンプルは、最も近い参照サンプルと拡張参照サンプルとを組み合わせることを可能にする。図９からの単純なアプローチのこの実施形態は、主方向、すなわち主参照に沿った拡張参照サンプルを利用することを可能にし、参照サンプルのより長い距離は、最も近い参照サンプル上の閉塞またはエッジの場合に有益である可能性がある。しかしながら、副参照の場合、予測されるサンプルと最も近い参照サンプルの間の相関は、拡張参照サンプルと予測されるサンプルの間よりも高くなる可能性がある。

例えば、拡張された主参照サンプル

を最も近い副参照サンプル

と組み合わせる１つの方法は、以下のように定式化することができる：

この組み合わせは、前の図に関連して説明したのと同じ実施形態に基づいて図１０に示されている。ここで、ラインに配置された拡張参照サンプル１０６４_３は、予測方向（垂直）内の主参照サンプル（上）に使用され、列に配置された最も近い参照サンプル１０６２は、主参照サンプルラインを延長するための、予測方向に沿った拡張参照サンプルライン（一番上の行）に投影される副参照サンプルに使用されることができる。

図１０は、角度パラメータＡ＝１７を使用した左上対角予測の場合の、主参照としての拡張上部参照サンプルの隣の副参照としての最も近い左側参照サンプルの投影例を示している。図１０の実施形態によれば、最も近い参照サンプルは、拡張参照サンプルを生成するためのソースとして使用される、すなわち、最も近い参照サンプルは、拡張参照サンプルにマッピングされる。あるいは、拡張参照サンプルを拡張参照サンプルにマッピングすることもできる。図９を参照されたい。

ビデオエンコーダ１０００などの実施形態にかかるビデオエンコーダは、画像内予測を含むブロックベースの予測符号化によって、ビデオの画像を符号化データに符号化し、画像内予測のために、画像の予測ブロックを符号化するために、予測ブロックに直接隣接する画像の複数の最も近い参照サンプルおよび複数の拡張参照サンプルを使用するように構成されることができ、複数の拡張参照サンプルの各拡張参照サンプルが、複数の参照サンプルのうちの少なくとも１つの最も近い参照サンプルによって予測ブロックから分離される。ビデオデコーダは、拡張サンプルが使用されないモードで境界フィルタリングを行い、拡張サンプルを使用する場合は、境界フィルタリングを使用せず、または、複数の最も近い参照サンプルの少なくともサブセットを境界フィルタリングし、拡張サンプルに境界フィルタリングを使用しないように構成される。

対応するビデオデコーダは、画像内予測を含むブロックベースの予測復号によって、データをビデオに符号化することで符号化された画像を復号し、画像内予測のために、画像の予測ブロックを復号するために、予測ブロックに直接隣接する画像の複数の最も近い参照サンプルおよび複数の拡張参照サンプルを使用するように構成され、複数の拡張参照サンプルの各拡張参照サンプルが少なくとも複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離される。ビデオデコーダは、拡張サンプルが使用されないモードで境界フィルタリングを行い、拡張サンプルを使用する場合は、境界フィルタリングを使用せず、または、複数の最も近い参照サンプルの少なくともサブセットを境界フィルタリングし、拡張サンプルに境界フィルタリングを使用しないように構成される。

拡張参照サンプルは、予測サンプルに直接隣接していないため、特定のブロック境界での不連続性は、最も近い参照サンプルを使用した場合ほど深刻ではない可能性がある。したがって、以下にしたがって予測フィルタリングを実行することは有益である：
・拡張参照サンプルが使用されている場合、境界フィルタリング操作を実行しない、または
・拡張参照サンプルの代わりに最も近い参照サンプルを使用して、境界平滑化を変更する。

拡張予測を使用すると、最も近い参照サンプルと拡張参照サンプルからの予測を組み合わせて、組み合わせた予測を取得することができる。文献では、最も近い参照サンプルを使用する予測と、所定の重みを有する拡張参照サンプルを使用する予測との固定された組み合わせが説明されている。この場合、双方の予測は、全ての参照領域に同じ予測モードを使用し、モードを通知すると、予測の組み合わせも通知される。一方、これは、参照サンプル領域を示すための通知オーバーヘッドを削減するが、２つの異なる予測モードを２つの異なる参照サンプル領域と組み合わせる柔軟性も失われる。柔軟性を高めるために考えられる組み合わせについて、以下に詳細に説明する。

ビデオエンコーダ１０００などの実施形態にかかるビデオエンコーダは、画像内予測を含むブロックベースの予測符号化によって、ビデオの画像を符号化データに符号化し、画像内予測において、画像の予測ブロックを符号化するために、予測ブロックに直接隣接する画像の複数の最も近い参照サンプルおよび複数の拡張参照サンプルを判定し、複数の拡張参照サンプルの各拡張参照サンプルが、複数の参照サンプルのうちの少なくとも１つの最も近い参照サンプルによって予測ブロックから分離され、拡張参照サンプルを使用して予測ブロックの予測を判定し、拡張参照サンプルをフィルタリングし、複数のフィルタリングされた拡張参照サンプルを取得するように構成されることができる。ビデオエンコーダは、予測ブロックの組み合わせ予測を取得するために、予測とフィルタリングされた拡張参照サンプルとを結合するように構成される。

ビデオエンコーダは、予測ブロックに関してサンプルの主対角線または副対角線に配置されている予測サンプルと拡張参照サンプルとを組み合わせるように構成されることができる。

ビデオエンコーダは、以下の判定ルールに基づいて予測サンプルと拡張参照サンプルとを組み合わせるように構成されることができる：

ここで、ｐ_ｃ（ｘ，ｙ）は、予測ブロック内の座標ｘとｙの組み合わせ予測を示し、ｐ（ｘ，ｙ）は、予測ブロック内の座標ｘとｙの予測を示し、

は、予測重みであり、ｄ_ｘは、次元ｘの予測ブロックのサイズに応じて１または２に設定されたパラメータであり、ｄ_ｙは、次元ｙの予測ブロックのサイズに応じて１または２に設定されたパラメータであり、ｒ（ｘ，－１－ｉ）ｉ＞０は、水平位置ｘでの拡張された上部参照サンプルであり、ｒ（－１－ｉ，ｙ）ｉ＞０は、垂直位置ｙでの拡張された左側の参照サンプルであり、ｒ（－１－ｉ，－１－ｉ）ｉ＞０は、予測ブロックの境界に関する複数の拡張参照サンプルの拡張隅参照サンプルであり、ｂ（ｘ，ｙ）は、正規化係数を示す。

正規化係数は、判定ルールに基づいて判定されることができる。

ビデオエンコーダは、３タップフィルタ、５タップフィルタ、７タップフィルタのいずれかを使用して、フィルタリングされた拡張参照サンプル（ｉ＞０の場合のｒ（ｘ，－１－ｉ）、ｒ（－１－ｉ，ｙ）、ｒ（－１－ｉ，－１－ｉ））（組み合わせ）を取得するように、拡張参照サンプルをフィルタリングし、フィルタリングされた拡張参照サンプルを予測に使用するように構成されることができる。

ビデオエンコーダは、予測ブロックの拡張隅参照サンプルと、参照サンプルの隅領域に配置された拡張参照サンプル（ｒ（－１－ｉ，－１－ｉ））との組み合わせを使用するように構成されることができる。

ビデオエンコーダは、以下の判定ルールに基づいて組み合わされた予測を取得するように構成されることができる：

ここで、ｐ_ｃ（ｘ，ｙ）は、予測ブロック内の座標ｘとｙの組み合わせ予測を示し、ｐ（ｘ，ｙ）は、予測ブロック内の座標ｘとｙの予測を示し、

は、予測重みであり、ｄ_ｘは、次元ｘの予測ブロックのサイズに応じて１または２に設定されたパラメータであり、ｄ_ｙは、次元ｙの予測ブロックのサイズに応じて１または２に設定されたパラメータであり、ｉ＞０の場合のｒ（ｘ，－１－ｉ）は、水平位置ｘでの拡張上部参照サンプルであり、ｉ＞０の場合のｒ（－１－ｉ，ｙ）は、垂直位置ｙでの拡張左参照サンプルであり、ｉ＞０の場合の

は、予測ブロックの境界に関して結合された拡張隅参照サンプルであり、ｂ（ｘ，ｙ）は、正規化係数を示す。

ビデオエンコーダは、画像内予測に基づいて予測ｐ（ｘ，ｙ）を取得するように構成されることができる。

ビデオエンコーダは、画像内予測として平面予測のみを使用するように構成されることができる。

ビデオエンコーダは、符号化されたビデオブロックごとに、予測とフィルタリングされた拡張参照サンプルとの組み合わせを識別するパラメータセットを判定するように構成されることができる。ビデオエンコーダは、予測ブロックの異なるブロックサイズのセットを含むルックアップテーブルを使用して、予測とフィルタリングされた拡張参照サンプルとの組み合わせを識別するパラメータセットを判定するように構成されることができる。

対応するビデオデコーダは、画像内予測を含むブロックベースの予測復号によって、データをビデオに符号化することで符号化された画像を復号し、画像内予測において、画像の予測ブロックを復号するために、予測ブロックに直接隣接する画像の複数の最も近い参照サンプルおよび複数の拡張参照サンプルを判定し、複数の拡張参照サンプルの各拡張参照サンプルが、少なくとも複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離され、拡張参照サンプルを使用して予測ブロックの予測を判定し、拡張参照サンプルをフィルタリングして複数のフィルタリングされた拡張参照サンプルを取得し、予測とフィルタリングされた拡張参照サンプルとを結合して予測ブロックの組み合わせ予測を取得するように構成されることができる。

ビデオデコーダは、予測ブロックに関してサンプルの主対角線または副対角線に配置されている予測サンプルと拡張参照サンプルとを組み合わせるように構成されることができる。

ビデオエンコーダは、以下の判定ルールに基づいて予測サンプルと拡張参照サンプルとを組み合わせるように構成されることができる：

ここで、ｐ_ｃ（ｘ，ｙ）は、予測ブロック内の座標ｘとｙの組み合わせ予測を示し、ｐ（ｘ，ｙ）は、予測ブロック内の座標ｘとｙの予測を示し、

は、予測重みであり、ｄ_ｘは、次元ｘの予測ブロックのサイズに応じて１または２に設定されたパラメータであり、ｄ_ｙは、次元ｙの予測ブロックのサイズに応じて１または２に設定されたパラメータであり、ｒ（ｘ，－１－ｉ）ｉ＞０は、水平位置ｘでの拡張された上部参照サンプルであり、ｒ（－１－ｉ，ｙ）ｉ＞０は、垂直位置ｙでの拡張された左側の参照サンプルであり、ｒ（－１－ｉ，－１－ｉ）ｉ＞０は、予測ブロックの境界に関する複数の拡張参照サンプルの拡張隅参照サンプルであり、ｂ（ｘ，ｙ）は、正規化係数を示す。

正規化係数は、判定ルールに基づいて判定されることができる。

ビデオデコーダは、３タップフィルタ、５タップフィルタ、７タップフィルタのいずれかを使用して、フィルタリングされた拡張参照サンプル（ｉ＞０の場合のｒ（ｘ，－１－ｉ）、ｒ（－１－ｉ，ｙ）、ｒ（－１－ｉ，－１－ｉ））（組み合わせ）を取得するように、拡張参照サンプルをフィルタリングし、フィルタリングされた拡張参照サンプルを予測に使用するように構成されることができる。

ビデオデコーダは、予測ブロックの拡張隅参照サンプルと、参照サンプル（ｒ（－１－ｉ，－１－ｉ））の隅領域に配置されている拡張参照サンプルとの組み合わせを使用するように構成されることができる。

ビデオデコーダは、以下の判定ルールに基づいて組み合わされた予測を取得するように構成されることができる：

ここで、ｐ_ｃ（ｘ，ｙ）は、予測ブロック内の座標ｘとｙの組み合わせ予測を示し、ｐ（ｘ，ｙ）は、予測ブロック内の座標ｘとｙの予測を示し、

は、予測重みであり、ｄ_ｘは、次元ｘの予測ブロックのサイズに応じて１または２に設定されたパラメータであり、ｄ_ｙは、次元ｙの予測ブロックのサイズに応じて１または２に設定されたパラメータであり、ｉ＞０の場合のｒ（ｘ，－１－ｉ）は、水平位置ｘでの拡張上部参照サンプルであり、ｉ＞０の場合のｒ（－１－ｉ，ｙ）は、垂直位置ｙでの拡張左参照サンプルであり、ｉ＞０の場合の

は、予測ブロックの境界に関して結合された拡張隅参照サンプルであり、ｂ（ｘ，ｙ）は、正規化係数を示す。

ビデオデコーダは、画像内予測に基づいて予測ｐ（ｘ，ｙ）を取得するように構成されることができる。ビデオデコーダは、例えば、画像内予測として平面予測のみを使用することができる。

ビデオエンコーダは、復号されたビデオブロックごとに、予測とフィルタリングされた拡張参照サンプルとの組み合わせを識別するパラメータセットを判定するように構成されることができる。

ビデオデコーダは、予測ブロックの異なるブロックサイズのセットを含むルックアップテーブルを使用して、予測とフィルタリングされた拡張参照サンプルとの組み合わせを識別するパラメータセットを判定するように構成されることができる。

参照サンプルをフィルタリングする場合、それぞれのサンプルの位置に基づいて、フィルタリングされたサンプルを使用する予測をフィルタリングされていない参照サンプルと組み合わせて、位置に依存する予測の組み合わせを取得することができる。例示的な実施形態によれば、

をフィルタリングされた参照サンプルを使用する予測とし、

をフィルタリングされていない参照サンプルとする。組み合わせ予測

は、以下のように計算されることができる：

係数

は、位置に依存する項でスケーリングされた予測重みを記憶し、幅が１６以下のブロックの場合は

であり、幅が１６よりも大きいブロックの場合は

であり、高さが１６以下のブロックの場合は

であり、および高さが１６を超えるブロックの場合は

である。正規化係数

は、以下のように導出することができる：

参照サンプルフィルタリングに関連して既に説明したように、この組み合わせの参照サンプルフィルタリングは、通常の予測のフィルタリングとは異なる場合がある。例えば、３つ以下またはそれ以上の所定のローパスフィルタのうちの１つを使用して、境界サンプルを平滑化することができる。３つの所定のローパスフィルタは、１つの３タップ、１つの５タップ、および１つの７タップフィルタを含むことができる。平滑化をコンテンツに適合させるために、平滑化フィルタの選択は、ブロックサイズおよびイントラ予測モードに基づくことができる。ｈ_ｋをフィルタｋのインパルス応答、および追加の保存された重み付けパラメータａとして定義すると、フィルタリングされた参照

は、フィルタ処理されていない参照

から以下のように計算される。ここで、「＊」は畳み込みを表す。

異なるブロックサイズの異なる特性を再度考慮すると、ブロックサイズごとに１つの固定セットの予測パラメータ（

、ａおよびフィルタインデックスｋ）を定義することができる。

最も近い参照サンプルのこの既知の組み合わせは、フィルタリングされた参照サンプルおよびフィルタリングされていない参照サンプルに拡張参照サンプルを使用することによって、実施形態によって改善することができる。以下に、実施形態にかかる、拡張参照サンプルを用いた予測の組み合わせを示し、以下のように、最も近い隅サンプルｒ（－１，－１）を拡張隅サンプル

に置き換えた。

拡張参照サンプルの別の実施形態は、以下のように、最も近い隅サンプルｒ（－１，－１）を、閉じた拡張垂直隅サンプル

および水平隅サンプル

で置き換えることを指す。

拡張参照サンプルの別の実施形態は、以下のように、最も近い隅サンプルｒ（－１，－１）を水平および垂直隅サンプル（双方とも隅サンプルを含む）の平均で置き換えることを定義する。

一実施形態では、組み合わされる予測

は、平面予測である。別の実施形態では、この組み合わせは、ＤＣまたは角度などの他の画像内予測にも適用することができる。

あるいは、またはさらに、予測をサンプルと組み合わせるために、異なる拡張予測モードを組み合わせることができる。

ビデオエンコーダ１０００などの実施形態にかかるビデオエンコーダは、画像内予測を含むブロックベースの予測符号化によって、ビデオの画像を符号化データに符号化し、画像内予測のために、画像の予測ブロックを符号化するために、予測ブロックに直接隣接する画像の複数の最も近い参照サンプルおよび／または複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、複数の参照サンプルのうちの少なくとも１つの最も近い参照サンプルによって予測ブロックから分離され、予測モードのセットの第１の予測モードを使用して予測ブロックの第１の予測を判定し、予測モードの第１のセットが、拡張参照サンプルがない場合に複数の最も近い参照サンプルを使用する予測モードを含み、第２のセットの予測モードの第２の予測モードを使用して予測ブロックの第２の予測を判定し、第１のセットの予測モードのサブセットを含む第２のセットの予測モードが複数の拡張参照サンプルに関連付けられるように構成される。ビデオエンコーダは、第１の予測（ｐ_０（ｘ、ｙ））と第２の予測（ｐ_ｉ（ｘ、ｙ））とを加重（ｗ_０；ｗ_ｉ）結合して、符号化データの予測ブロックの予測として、組み合わせ予測（ｐ（ｘ、ｙ））を取得するように構成されることができる。

ビデオエンコーダは、有効な第１の予測モードおよび有効な第２の予測モードの可能な組み合わせの一部である所定の組み合わせにしたがって、第１の予測および第２の予測を使用するように構成されることができる。

ビデオエンコーダは、他の予測モードを通知せずに、第１の予測モードまたは第２の予測モードのいずれかを通知するように構成されることができる。例えば、第１のモードは、特定のインデックスｉまたはインデックスｍに関連してのみ使用されることができる特定の予測モードなどの追加の暗黙の情報に基づいてパラメータｉから導出されることができる。

ビデオエンコーダは、そのような暗黙の情報の例として、第１の予測モードおよび第２の予測モードの１つとして平面予測モードを排他的に使用するように構成されることができる。

ビデオエンコーダは、予測ブロックのブロックサイズに基づいて、結合予測の第１の予測に適用される第１の重みと、結合予測の第２の予測に適用される第２の重みを適合させ、および／または第１の予測モードに基づいて第１の重みをまたは第２の予測モードに基づいて第２の重みを適合させるように構成されることができる。

ビデオエンコーダは、予測ブロック内の位置および／または距離に基づいて、結合予測の第１の予測に適用される第１の重みと、結合予測の第２の予測に適用される第２の重みとを適合させるように構成されることができる。

ビデオエンコーダは、以下の判定ルールに基づいて第１の重みおよび第２の重みを適応させるように構成されることができる。

ここで、ｗ_０（ｘ，ｙ）は、予測ブロック内の位置ｘ，ｙに基づく第１の重みであり、ｗ_ｉは、予測ブロック内の位置ｘ，ｙに基づく第２の重みであり、ｐ_０（ｘ，ｙ）は、位置ｘ，ｙの第１の予測であり、ｐ_ｉ（ｘ，ｙ）は、位置ｘ，ｙの第２の予測であり、ｉは、第２の予測に使用される拡張参照サンプルを示す。

対応するビデオデコーダは、画像内予測を含むブロックベースの予測復号によって、データをビデオに符号化することで符号化された画像を復号し、画像内予測のために、画像の予測ブロックを復号するために、予測ブロックに直接隣接する画像の複数の最も近い参照サンプルおよび／または複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、少なくとも複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離され、
予測モードのセットの第１の予測モードを使用して予測ブロックの第１の予測を判定し、予測モードの第１のセットが、拡張参照サンプルがない場合に複数の最も近い参照サンプルを使用する予測モードを含み、予測モードの第２のセットの第２の予測モードを使用して予測ブロックの第２の予測を判定し、予測モードの第２のセットが、第１のセットの予測モードのサブセットを含み、サブセットが、複数の拡張参照サンプルに関連付けられるように構成されることができる。ビデオデコーダは、第１の予測（ｐ_０（ｘ、ｙ））と第２の予測（ｐ_ｉ（ｘ、ｙ））とを加重（ｗ_０；ｗ_ｉ）結合して、符号化データの予測ブロックの予測として、組み合わせ予測（ｐ（ｘ、ｙ））を取得するように構成されることができる。

ビデオデコーダは、有効な第１の予測モードおよび有効な第２の予測モードの可能な組み合わせの一部である所定の組み合わせにしたがって、第１の予測および第２の予測を使用するように構成されることができる。これは、低負荷の通知を取得することを可能にする。

ビデオデコーダは、第１の予測モードを示す信号を受信せずに第２の予測モードを示す信号を受信し、第２の予測モードまたはパラメータ情報（ｉ）から第１の予測モードを導出するように構成されることができる。

ビデオデコーダは、第１の予測モードおよび第２の予測モードの１つとして平面予測モードを排他的に使用するように構成されることができる。

ビデオデコーダは、予測ブロックのブロックサイズに基づいて、結合予測の第１の予測に適用される第１の重みと、結合予測の第２の予測に適用される第２の重みを適合させ、および／または第１の予測モードに基づいて第１の重みをまたは第２の予測モードに基づいて第２の重みを適合させるように構成されることができる。

ビデオデコーダは、予測ブロック内の位置および／または距離に基づいて、結合予測の第１の予測に適用される第１の重みと、結合予測の第２の予測に適用される第２の重みとを適合させるように構成されることができる。

ビデオデコーダは、以下の判定ルールに基づいて第１の重みおよび第２の重みを適応させるように構成されることができる。

ここで、ｗ_０（ｘ，ｙ）は、予測ブロック内の位置ｘ，ｙに基づく第１の重みであり、ｗ_ｉは、予測ブロック内の位置ｘ，ｙに基づく第２の重みであり、ｐ_０（ｘ，ｙ）は、位置ｘ，ｙの第１の予測であり、ｐ_ｉ（ｘ，ｙ）は、位置ｘ，ｙの第２の予測であり、ｉは、第２の予測に使用される拡張参照サンプルを示す。予測ブロック内の変化する位置ｘ，ｙについて、拡張参照サンプルｉは、変化する距離を含むことができる。あるいは、またはさらに、エリアインデックスｉおよび／またはモードｍによって示される、所定の拡張参照サンプルの異なるセットは、予測ブロックまでの異なる距離を含むことができる。

異なる参照サンプル領域を使用する場合、以下のように、最も近い参照サンプルモードを使用した予測

と拡張参照サンプルｉを使用した予測

とを組み合わせることができる。

予測を組み合わせる既知の方法の１つは、重みを固定し、双方の予測に同じ予測モードを使用することである。これは、第２の予測モードを通知する必要をなくす。

この厳しい制限を緩和するための実施形態は、モードの特定の組み合わせのみを許可することを定義する。これは、第２のモードの通知を必要とするが、第１のモードと比較して、通知するモードの数を制限する。予測モード通知の詳細は、モードおよび参照通知に関連して提供される。実施形態にかかる１つの有望な組み合わせは、第２のモードとして平面のみを使用することであり、その結果、イントラモードの追加の通知は時代遅れになる。例えば、加重和の第１の部分として任意のイントラモードで

を使用することができ、第２の部分は、最も近い参照サンプルと平面モードを使用して生成される。別の可能性は、順序を切り替えることである。すなわち、拡張参照サンプルに平面モードが使用される。

重みを予測サイズとモードに適合させるために、重み

をブロックサイズごと、および予測モードごとに個別に指定することができる。さらにまた、重みをシーケンス、画像、またはスライスレベルで通知して、組み合わせをビデオコンテンツに適合させることができる。別の実施形態は、予測ブロック内の異なる領域に対して異なる参照サンプル予測に異なる重みを付けることである。これは、以下のように位置に依存する重み

をもたらすことができる：

１つの予測および拡張参照サンプルを使用する場合、予測モードおよび使用される参照領域インデックスｉを通知すること、すなわち、モードおよび参照領域信号を実行することは最先端技術である。以下では、１つおよび／または複数の予測を使用する場合の予測モードコーディングの実施形態が提示され、続いて、拡張参照領域インデックスコーディングの実施形態が提示される。

ビデオエンコーダ１０００などの実施形態にかかるビデオエンコーダは、画像内予測を含むブロックベースの予測符号化によって、ビデオの画像を符号化データに符号化し、画像内予測のために、画像の予測ブロックを符号化するために、予測ブロックに直接隣接する画像の複数の最も近い参照サンプルおよび／または複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが複数の参照サンプルのうちの少なくとも１つの最も近い参照サンプルによって予測ブロックから分離され、最も近い参照サンプルを使用して予測ブロックを予測するための予測モードの第１のセットの１つである予測モードを使用し、または、拡張参照サンプルを使用して予測ブロックを予測するための予測モードの第２のセットの１つである予測モードを使用する１０００ように構成されることができ、予測モードの第２のセットが予測モードの第１のセットのサブセットであり、第２のサブセットが、エンコーダによって判定されることができ、サブセットがまた、双方のセットの一致を含むことができる。ビデオエンコーダは、予測ブロックを予測するために使用される予測モードを示すモード情報（ｍ）を通知し、その後、予測モードが予測モードの第２のセットに含まれる場合、予測モードに使用される拡張参照サンプルのサブセットを示すパラメータ情報（ｉ）を通知し、使用された予測モードが予測モードの第２のセットに含まれていない場合にパラメータ情報の通知をスキップすることにより、パラメータｉが０などの所定の値を有するという結論を可能にするように構成されることができる。

ビデオエンコーダは、モード情報がＤＣモードまたは平面モードを示す場合、パラメータ情報の通知をスキップするように構成されることができる。

対応するビデオデコーダは、画像内予測を含むブロックベースの予測符号化によって、符号化データで符号化された画像をビデオに復号し、画像内予測のために、画像の予測ブロックを復号するために、予測ブロックに直接隣接する画像の複数の最も近い参照サンプルおよび／または複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが複数の参照サンプルのうちの少なくとも１つの最も近い参照サンプルによって予測ブロックから分離され、最も近い参照サンプルを使用して予測ブロックを予測するための予測モードの第１のセットの１つである予測モードを使用し、または、拡張参照サンプルを使用して予測ブロックを予測するための予測モードの第２のセットの１つである予測モードを使用し、予測モードの第２のセットが予測モードの第１のセットのサブセットであるように構成されることができる。予測モードの第２のセットは、予測モードの第１のセットのサブセットであり、エンコーダによって判定および／または通知されることができる。サブセットであることは、双方のセットの一致を含むことができる。ビデオエンコーダは、予測ブロックを予測するために使用される予測モードを示すモード情報（ｍ）を受信し、その後、予測モードに使用される拡張参照サンプルのサブセットを示し、それにより、予測モードが予測モードの第２のセットに含まれることを示すパラメータ情報（ｉ）を受信し、パラメータ情報を受信しない場合、使用された予測モードが予測モードの第２のセットに含まれていないことを判定し、予測のための最も近い参照サンプルの使用を判定するように構成されることができる。

ビデオデコーダは、パラメータ情報を受信しないときにＤＣモードまたは平面モードの使用を示すものとしてモード情報を判定するように構成されることができる。

拡張参照サンプルの許可されたイントラ予測モードのセットが制限されている場合、すなわち最も近い参照サンプルの許可されたイントラ予測モードのサブセットである場合、例えば、サブセットが拡張参照サンプルの制限付き予測モードと呼ばれる場合、モードｍおよびインデックスｉを通知する方法が２つ存在する：
１．インデックス通知が以下のようにモードｍに依存することができるように、インデックスｉの前の信号モードｍ：
ａ．モードｍが拡張参照サンプルの許可されたモードのセットにない場合、インデックスｉの通知はスキップされ、予測モードｍが最も近い参照サンプルに適用される（ｉ＝０）
ｂ．それ以外の場合、ｉが通知され、予測モードｍがｉによって示される参照サンプルに適用される。

２．モード信号が以下のようにインデックスｉに依存することができるように、モードｍの前の信号インデックスｉ：
ａ．ｉが拡張参照サンプル（ｉ＞０）を使用することを示している場合、通知することができるモードｍのセットは、制限されたものと同じである。

ｂ．それ以外の場合（ｉ＝０）、通知される許可されたモードｍのセットは、制限されていないモードのセットと等しい。

例えば、モードｍが、最も可能性の高いモード（ＭＰＭ）リストへのインデックスを使用したＭＰＭコーディングを使用して通知された場合、許可されたモードのセットにないモードは、ＭＰＭリストに含まれない。

すなわち、代替的にまたは追加的に実装されることができる第２のオプションによれば、ビデオエンコーダ１０００などの実施形態にかかるビデオエンコーダは、画像内予測を含むブロックベースの予測符号化によって、ビデオの画像を符号化データに符号化し、画像内予測のために、画像の予測ブロックを符号化するために、予測ブロックに直接隣接する画像の最も近い参照サンプルを含む複数の参照サンプルおよび複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、少なくとも複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離され、最も近い参照サンプルを使用して予測ブロックを予測するための予測モードの第１のセットの１つである予測モードを使用し、または、拡張参照サンプルを使用して予測ブロックを予測するための予測モードの第２のセットの１つである予測モードを使用し、予測モードの第２のセットが予測モードの第１のセットのサブセットであり、予測モードに使用される複数の参照サンプルのサブセットを示すパラメータ情報（ｉ）を通知し、複数の参照サンプルのサブセットが最も近い参照サンプルのみまたは拡張参照サンプルを含み、その後、予測ブロックを予測するために使用される予測モードを示すモード情報（ｍ）を通知し、モード情報がモードのサブセットからの予測モードを示し、サブセットがパラメータ情報（ｉ）にしたがって許可された予測モードのセットに制限されるように構成される。

双方のオプションについて、ビデオデコーダは、最も近い参照サンプルに加えて、予測モードの第２のセットに含まれるモードの拡張参照サンプルが使用されるように適合される。

さらに、ビデオエンコーダは、予測モードの第１のセットが最も近い参照サンプルで使用することが可能である予測モードを記述するように適合されることができ、予測モードの第２のセットは、拡張参照サンプルによって使用されることも可能にされる予測モードの第１のセットの予測モードを記述する。

パラメータ情報の値の範囲、すなわち、エリアインデックスｉによって表され得る値のドメインは、最も近い参照値のみの使用および拡張された参照値の異なるサブセットの使用をカバーすることができる。図１１に関連して説明されるように、ｉは、最も近い参照値のみの使用（ｉ＝０）、拡張参照値の特定のセット、または拡張参照値のセットの組み合わせ（例えば、ラインおよび／または列または距離）を表すことができる。

実施形態によれば、拡張参照サンプルの異なる部分は、予測ブロックまでの異なる距離を含む。

ビデオエンコーダは、パラメータ情報を所定の数の値の１つに設定するように構成されることができ、その値は、予測モードに使用される参照サンプルの数および距離を示す。

ビデオエンコーダは、最も可能性の高いモードコーディングに基づいて、予測モードの第１のセットおよび／または予測モードの第２のセットを判定するように構成されることができる。

第２のオプションの対応するデコーダは、画像内予測を含むブロックベースの予測復号によって、データをビデオに符号化することで符号化された画像を復号し、画像内予測のために、画像の予測ブロックを復号するために、予測ブロックに直接隣接する画像の最も近い参照サンプルを含む複数の参照サンプルおよび複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、少なくとも複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離され、最も近い参照サンプルを使用して予測ブロックを予測するための予測モードの第１のセットの１つである予測モードを使用し、または、拡張参照サンプルを使用して予測ブロックを予測するための予測モードの第２のセットの１つである予測モードを使用し、予測モードの第２のセットが予測モードの第１のセットのサブセットであり、予測モードに使用される複数の参照サンプルのサブセットを示すパラメータ情報（ｉ）を受信し、複数の参照サンプルのサブセットが最も近い参照サンプルのみまたは少なくとも１つの拡張参照サンプルを含み、その後、予測ブロックを予測するために使用される予測モードを示すモード情報（ｍ）を受信し、モード情報がモードのサブセットからの予測モードを示し、サブセットがパラメータ情報（ｉ）にしたがって許可された予測モードのセットに制限されるように構成される。

第１のオプションおよび／または第２のオプションにかかるデコーダは、例えば、予測とサンプルおよび／または予測の組み合わせを組み合わせることによって、最も近い参照サンプルに加えて、予測モードの第２のセットに含まれるモードの拡張参照サンプルが使用されるように適合されることができる。

予測モードの第１のセットは、最も近い参照サンプルでの使用が許可される予測モードを記述することができ、予測モードの第２のセットは、拡張参照サンプルでの使用も許可される予測モードの第１のセットの予測モードを記述することができる。

エンコーダについて説明したように、パラメータ情報の値の範囲は、最も近い参照値のみの使用と、拡張参照値の異なるサブセットの使用とをカバーする。

拡張参照サンプルの異なる部分は、予測ブロックまでの異なる距離を含むことができる。

ビデオデコーダは、パラメータ情報を所定の数の値の１つに設定するように構成されることができ、その値は、予測モードに使用される参照サンプルの数および距離を示す。

ビデオデコーダは、最も可能性の高いモード（ＭＰＭ）コーディングに基づいて、予測モードの第１のセットおよび／または予測モードの第２のセットを判定するように構成されることができる、すなわち、それぞれのリストを生成することができ、リストは、それぞれのサンプルの使用が許可されているモードのみを含むように適合されることができる。

あるいは、またはさらに、最も近い参照サンプルおよび拡張された参照サンプルからの予測を組み合わせることに関連する実施形態が実装されることができる。

ビデオエンコーダ１０００などの実施形態にかかるビデオエンコーダは、画像内予測を含むブロックベースの予測符号化によって、ビデオの画像を符号化データに符号化し、画像内予測のために、画像の予測ブロックを符号化するために、予測ブロックに直接隣接する画像の複数の最も近い参照サンプルおよび／または複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、複数の参照サンプルのうちの少なくとも１つの最も近い参照サンプルによって予測ブロックから分離され、予測モードのセットの第１の予測モードを使用して予測ブロックの第１の予測を判定し、予測モードの第１のセットが、拡張参照サンプルがない場合に複数の最も近い参照サンプルを使用する予測モードを含み、第２のセットの予測モードの第２の予測モードを使用して予測ブロックの第２の予測を判定し、予測モードの第２のセットが、複数の拡張参照サンプルに関連付けられている第１のセットの予測モードのサブセットを含み、第１の予測と第２の予測とを結合して符号化データ内の予測ブロックの予測として組み合わせ予測を取得するように構成されることができる。

予測ブロックは、第１の予測ブロックとすることができ、ビデオエンコーダは、第２の予測ブロックに関連する複数の拡張参照サンプルがない場合に、第２の予測ブロックに関連する複数の最も近い参照サンプルを使用してビデオの第２の予測ブロックを予測するように構成されることができる。ビデオエンコーダは、符号化データ内の予測が予測の組み合わせに基づくか、または複数の最も近い参照サンプルがない場合に複数の拡張参照サンプルを使用する予測に基づくことを示すｂｉｐｒｅｄフラグなどの組み合わせ情報を通知するように構成されることができる。

ビデオエンコーダは、第１の予測モードを所定の予測モードとして使用するように構成されることができる。

ビデオエンコーダは、第１の予測モードを第２の予測モードと同じモードであり且つ拡張参照サンプルがない場合に最も近い参照サンプルを使用するとして選択し、または、第１の予測モードを平面予測モードなどの事前設定された予測モードとして使用するように構成されることができる。

対応するビデオデコーダは、画像内予測を含むブロックベースの予測復号によって、データをビデオに符号化することで符号化された画像を復号し、画像内予測のために、画像の予測ブロックを復号するために、予測ブロックに直接隣接する画像の複数の最も近い参照サンプルおよび／または複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、少なくとも複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離され、予測モードのセットの第１の予測モードを使用して予測ブロックの第１の予測を判定し、予測モードの第１のセットが、拡張参照サンプルがない場合に複数の最も近い参照サンプルを使用する予測モードを含み、予測モードの第２のセットの第２の予測モードを使用して予測ブロックの第２の予測を判定し、予測モードの第２のセットが、第１のセットの予測モードのサブセットを含み、サブセットが、複数の拡張参照サンプルに関連付けられるように構成されることができる。ビデオデコーダは、第１の予測と第２の予測とを組み合わせて、符号化データ内の予測ブロックの予測として組み合わされた予測を取得するように構成されることができる。

予測ブロックは、第１の予測ブロックとすることができ、ビデオデコーダは、第２の予測ブロックに関連する複数の拡張参照サンプルがない場合に、第２の予測ブロックに関連する複数の最も近い参照サンプルを使用してビデオの第２の予測ブロックを予測するように構成されることができる。ビデオデコーダは、さらに、符号化データ内の予測が予測の組み合わせに基づくか、または複数の最も近い参照サンプルがない場合に複数の拡張参照サンプルを使用する予測に基づくことを示す結合情報を受信し、それに応じて符号化データを復号するように構成されることができる。

ビデオデコーダは、第１の予測モードを所定の予測モードとして使用するように構成されることができる。

ビデオデコーダは、第１の予測モードを第２の予測モードと同じモードであり且つ拡張参照サンプルがない場合に最も近い参照サンプルを使用するとして選択し、または、第１の予測モードを平面モードなどのプリセット予測モードとして使用するように構成されることができる。

参照領域インデックスｉが拡張参照サンプルの使用を示す場合（ｉ＞０）、バイ予測フラグ（ｂｉｐｒｅｄフラグ）と以下で呼ぶバイナリ情報またはフラグなどのそれぞれの情報を使用して、拡張参照サンプルを使用する予測が最も近い参照サンプルを使用する予測と組み合わされるかどうかを通知する。

ｂｉｐｒｅｄフラグが最も近い（ｉ＝０）および拡張参照サンプル（ｉ＞０）からの予測の組み合わせを示す場合、拡張参照サンプルｍ_ｉのモードは、ここで説明するように、参照領域インデックスｉの前または後に通知される。最も近い参照サンプル予測ｍ_０のモードは固定されており、例えば、常に平面などの特定のモードに設定するか、拡張参照サンプルと同じモードに設定する。

以下に説明するように、実施形態にかかるビデオエンコーダは、画像内予測を含むブロックベースの予測符号化によって、ビデオの画像を符号化データに符号化し、画像内予測において、画像の予測ブロックを符号化するために、画像の複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、少なくとも予測ブロックに直接隣接する複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離され、複数の拡張参照サンプルの所定のセットにしたがって複数の拡張参照サンプルを使用し、すなわち、エリアインデックスのリストが生成および／または使用されることができ、リストが、最も近い参照サンプルのみ、拡張参照サンプルの少なくとも１つの距離、および／または拡張参照サンプルの異なる距離の組み合わせなどの参照サンプルの特定のサブセットを示すように構成されることができる。

ビデオエンコーダは、セット内の複数が、参照サンプルとして使用される画像のサンプルのラインおよび／または行の数または組み合わせによって互いに異なるように、拡張参照サンプルの複数の所定のセットを判定するように構成されることができる。

ビデオエンコーダは、予測ブロックのブロックサイズおよび／または予測ブロックを予測するために使用される予測モードに基づいて、複数の拡張参照サンプルの所定のセットを判定するように構成されることができる。

ビデオエンコーダは、予測ブロックのブロックサイズが少なくとも所定の閾値である複数の拡張参照サンプルのセットを判定し、ブロックサイズが所定の閾値を下回る場合に複数の拡張参照サンプルのセットの通知をスキップするように構成されることができる。

所定の閾値は、予測ブロックの幅または高さに沿った所定のサンプル数、および／または幅および高さに沿った予測ブロックの所定のアスペクト比とすることができる。

所定のサンプル数は、任意の数であってもよいが、好ましくは８である。あるいは、またはさらに、アスペクト比は、おそらくアスペクト比の１つの商を定義する８つのサンプルの数に基づいて、１／４よりも大きく且つ４未満とすることができる。

ビデオエンコーダは、複数の拡張参照サンプルを使用して第１の予測ブロックとして予測ブロックを予測し、拡張参照サンプルを使用せずに第２の予測ブロック（同じまたは異なる画像の一部とすることができる）を予測するように構成されることができ、ビデオエンコーダは、第１の予測ブロックに関連付けられた複数の拡張参照サンプルの所定のセットを通知し、第２の予測ブロックに関連付けられた拡張参照サンプルの所定のセットを通知しないように構成される。所定のセットは、例えば、参照領域インデックスｉによって示されることができる。

ビデオエンコーダは、各予測ブロックについて、複数の拡張参照サンプルの特定の複数のセットの１つを示す情報、および画像内予測モードを示す情報の前にのみ最も近い参照サンプルの使用を通知するように構成されることができる。

ビデオエンコーダは、それによって複数の拡張参照サンプルの複数のセットの示された特定の複数にしたがって、または最も近い参照サンプルのみの示された使用にしたがって予測モードを示すように、画像内予測を示す情報を通知するように構成されることができる。

対応するビデオデコーダは、画像内予測を含むブロックベースの予測復号によって、データをビデオに符号化することで符号化された画像を復号し、画像内予測において、画像の予測ブロックを復号するために、画像の複数の拡張参照サンプルを使用し、複数の拡張参照サンプルの各拡張参照サンプルが、少なくとも予測ブロックに直接隣接する複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離され、複数の拡張参照サンプルの所定のセットにしたがって、複数の拡張参照サンプルを使用するように構成される。

ビデオデコーダは、セット内の複数が、参照サンプルとして使用される画像のサンプルの行および／または行の数または組み合わせによって互いに異なるように、拡張参照サンプルの複数の所定のセットを判定するように構成されることができる。

ビデオデコーダは、予測ブロックのブロックサイズおよび／または予測ブロックを予測するために使用される予測モードに基づいて、複数の拡張参照サンプルの所定のセットを判定するように構成されることができる。

ビデオエンコーダは、予測ブロックのブロックサイズが少なくとも所定の閾値である複数の拡張参照サンプルのセットを判定し、ブロックサイズが所定の閾値を下回る場合に複数の拡張参照サンプルのセットの使用をスキップするように構成されることができる。

例えば、位置（ｘ０，ｙ０）にある現在のブロックの左上のサンプルが符号化ツリーブロック（ＣＴＢ）内の最初の行にある場合、セットの通知（パラメータ情報ｉまたは同様の構文を使用することができる）をスキップすることができる。ＣＴＢは、画像が分割され、さらにブロックのサブ分割のルートとなる基本的な処理ユニットと見なすことができる。

これは、垂直ｙ座標ｙ０がＣＴＢサイズの倍数でないかどうかをチェックすることによって実行されることができる。例えば、ＣＴＢサイズが６４輝度サンプルの場合、最初のＣＴＢ行では、ＣＴＢ内の上記のブロックは、ｙ０＝０を有し、第２のＣＴＢ行では、それらは、ｙ０＝６４を有するというようになる。したがって、このＣＴＢの上限にあるＣＴＢ内の全てのブロック（例えば、以下のモジュロ演算によってチェックされることができる：ｙ０％ＣｔｂＳｉｚｅＹ＝＝０）の場合、パラメータｉまたは同様の構文の通知は、スキップされることができる。

したがって、所定の閾値は、予測ブロックの幅または高さに沿った所定のサンプル数、および／または幅および高さに沿った予測ブロックの所定のアスペクト比とすることができる。

したがって、所定のサンプル数は、８とすることができ、および／またはアスペクト比は、１／４よりも大きく且つ４未満である必要があり得る。

ビデオデコーダは、複数の拡張参照サンプルを使用して第１の予測ブロックとして予測ブロックを予測し、拡張参照サンプルを使用しない第２の予測ブロックを予測するように構成されることができ、ビデオデコーダは、例えば、エリアインデックスｉを使用して、第１の予測ブロックに関連付けられた複数の拡張参照サンプルの所定のセットを示す情報を受信し、それぞれの信号がない場合に第２の予測ブロックに関連付けられた拡張参照サンプルの所定のセットを判定するように構成される。

ビデオデコーダは、各予測ブロックについて、複数の拡張参照サンプルの特定の複数のセットの１つを示す情報と、画像内予測モードを示す情報の前にのみ最も近い参照サンプルの使用を受信するように構成されることができる。

ビデオデコーダは、それにより、複数の拡張参照サンプルの複数のセットの示された特定の複数にしたがって、または最も近い参照サンプルのみの示された使用にしたがって予測モードを示すように、画像内予測を示す情報を受信するように構成されることができる。

参照領域インデックスは、ブロックごとに変更することができるため、インデックスは、適用される全ての予測ブロックのビットストリームで送信されることができる。実施形態は、デコーダが正しいサンプルを使用できるようにするための拡張参照サンプル領域通知に関する。この領域は、拡張参照サンプルまたは最も近い参照サンプルを示すパラメータｉに対応することができる。通知とさらに離れた拡張参照サンプルの使用をトレードオフするために、拡張参照サンプルラインの所定のセットを使用することができる。例えば、インデックス１と３のラインである２つの追加の拡張参照ラインのみを使用することができる。実施形態にかかるセットは、｜Ｉ｜＝３であるＩ＝｛０，１，３｝とすることができる。これは、参照サンプル領域を最大３行まで拡張することを可能にするが、必要なのは２つの通知のみである。セットはまた、４行、例えばＩ＝｛０，１，３，４｝に拡張されることもでき、第１のＭａｘＮｕｍＲｅｆＡｒｅａＩｄｘ要素のみが使用されるが、ＭａｘＮｕｍＲｅｆＡｒｅａＩｄｘは、シーケンス、画像、またはスライスレベルで固定または通知されることができる。セットＩへのインデックスｎは、３および４に等しいＭａｘＮｕｍＲｅｆＡｒｅａＩｄｘの特定の参照領域セットの切り捨てられた単一コードの例を示す図１１に示される表に示すように、エントロピーコーディングと切り捨てられた単一コードを使用してビットストリームで通知されることができる。

異なるブロックサイズの異なる空間特性を説明するために、参照サンプルラインのセットはまた、予測ブロックサイズおよび／またはイントラ予測モードにも依存することができる。別の実施形態では、セットは、小さなブロックの場合はインデックス２の追加の１行のみを含み、インデックス１および３行の大きいブロックの場合は２行のみを含む。イントラ予測モードに依存するセット選択の実施形態は、水平方向と垂直方向との間の予測方向のための参照サンプルラインの異なるセットを有することである。

通知を必要としない小さなブロックサイズに対して空のセットを選択することにより、参照領域インデックスの通知をより大きなブロックサイズに制限することもできる。これは、基本的に、ブロックサイズが小さい場合の拡張参照サンプルの使用を無効にすることができる。一実施形態では、拡張参照サンプルの使用は、幅Ｗおよび高さＨの双方が８以上であるブロックに制限されることができる。それに加えて、例えば、３２×８ブロック、または前述の対称性に基づいて８×３２ブロックなど、一方の側がもう一方の側の４分の１以下であるブロックもまた、拡張参照サンプルの使用から除外されることができる。図１２ａおよび図１２ｂは、参照符号１１０２によって示されるように、一般に画像内予測（図１２ａ）のためにいくつかのブロックサイズが既に除外され、ブロックがそれに応じて陰影付けされているこの実施形態を示している。この実施形態では、画像内予測スライスおよび画像間予測スライスは、異なるブロックサイズの組み合わせを可能にすることが想定されている。サンプル１１０４およびそれに応じて陰影が付けられたブロックは、拡張参照サンプル、すなわち、ｉ＞０には許可されない。図１２ａおよび図１２ｂは、画像内予測スライスおよび画像間予測スライスの拡張参照サンプルに対する制限の例を示している。見られるように、ブロックサイズ、特にブロックのアスペクト比に依存するブロックの許容または制限は、商Ｗ／ＨおよびＨ／Ｗに対して対称とすることができる。

拡張参照サンプルを使用しない他のイントラ予測モードが存在する場合、参照領域インデックスは、拡張参照サンプルを使用する予測モードが通知された場合にのみ通知される。別の方法は、他の全てのイントラモード情報が通知される前に、参照エリアインデックスを通知することである。参照領域インデックスｉが拡張参照サンプル（ｉ＞０）を示している場合、拡張参照サンプルを使用しないモード情報の通知（例えば、テンプレートマッチングやトレーニング済み予測子など）はスキップされることができる。これは、拡張参照サンプルを使用する予測の予測残差に適用されない特定の変換の通知情報をスキップすることもできる。

以下では、並列符号化の考慮事項を参照する実施形態を参照する。

実施形態にかかるビデオエンコーダは、画像内予測を含むブロックベースの予測符号化によって、複数の予測ブロックを符号化データに符号化し、画像内予測のために、複数の予測ブロックの予測ブロックを符号化するために、画像の複数の拡張参照サンプルを使用するように構成されることができ、複数の拡張参照サンプルの各拡張参照サンプルが、少なくとも予測ブロックに直接隣接する複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離され、ビデオエンコーダは、複数の予測ブロックの隣接する予測ブロックの少なくとも部分的な一部となるように拡張参照サンプルを判定し、隣接する予測ブロックがまだ予測されていないことを判定し、予測ブロックに関連付けられ、隣接する予測ブロックに利用不可能なサンプルとして配置された拡張予測サンプルを示す情報を通知するように構成されることができる。

ビデオエンコーダは、波面アプローチにしたがってブロックの並列符号化線によって画像を符号化し、角度予測に基づいて予測ブロックを予測するように構成されることができ、ビデオエンコーダは、画像の既に予測されたブロックに配置されるように予測ブロックを予測するために使用される拡張参照サンプルを判定するように構成される。波面アプローチによれば、第２のラインの符号化または復号は、例えば、１つのブロックによって分離された第１のラインの復号を追跡することができる。例えば、４５°の垂直角度モードでは、２行目から開始するときに、右上の最大１ブロックを復号して符号化されることができる。

ビデオエンコーダは、予測ブロックに関連付けられ、隣接する予測ブロックに、シーケンスレベル、すなわち、画像のシーケンス、画像レベル、またはスライスレベルで利用不可能なサンプルまたは利用可能なサンプルとして異形に配置される拡張予測サンプルを通知するように構成されることができ、スライスは、画像の一部である。

ビデオエンコーダは、予測ブロックに関連付けられ、画像の並列符号化を示す情報とともに利用不可能なサンプルとして隣接する予測ブロックに配置された拡張予測サンプルを示す情報を通知するように構成されることができる。

対応するデコーダは、画像内予測を含むブロックベースの予測復号によって、符号化データで符号化された画像をビデオに復号し、各画像について、複数の予測ブロックが復号され、画像内予測のために、複数の予測ブロックの予測ブロックを復号するために、画像の複数の拡張参照サンプルを使用するように構成されることができ、複数の拡張参照サンプルの各拡張参照サンプルが、少なくとも予測ブロックに直接隣接する複数の参照サンプルのうちの１つの最も近い参照サンプルによって予測ブロックから分離され、ビデオデコーダは、複数の予測ブロックの隣接する予測ブロックの少なくとも部分的な一部となるように拡張参照サンプルを判定し、隣接する予測ブロックがまだ予測されていないことを判定し、予測ブロックに関連付けられ、隣接する予測ブロックに利用不可能なサンプルとして配置された拡張予測サンプルを示す情報を受信するように構成される。

ビデオデコーダは、波面アプローチにしたがってブロックの並列復号ラインによって画像を復号し、角度予測に基づいて予測ブロックを予測するように構成されることができ、ビデオデコーダは、画像の既に予測されたブロックに配置されるように予測ブロックを予測するために使用される拡張参照サンプルを判定するように構成される。

ビデオデコーダは、予測ブロックに関連付けられ、隣接する予測ブロックに、シーケンスレベル、画像レベル、またはスライスレベルで利用できないサンプルまたは利用可能なサンプルとして異形に配置された拡張予測サンプルを示す情報を受信するように構成されることができる。

ビデオデコーダは、予測ブロックに関連付けられ、画像の並列復号を示す情報とともに利用不可能なサンプルとして隣接する予測ブロックに配置された拡張予測サンプルを示す情報を受信するように構成されることができる。

角度画像内予測では、参照サンプルが指定された方向に沿って現在の予測領域にコピーされる。この方向が右上を指している場合、必要な参照サンプル領域もまた、予測領域の境界までの距離が大きくなるほど右にシフトする。図１３は、Ｗ×Ｈ予測ブロックの４５度の角度での垂直角度予測の実施形態を示している。最も近い参照サンプル領域（青）がＨサンプルを現在のＷ×Ｈブロックの右上に拡張していることがわかる。予測をより離れた参照サンプル領域に拡張すると、拡張参照サンプル（緑）は、Ｈ＋１、Ｈ＋２、・・・個のサンプルを現在のＷ×Ｈブロックの右上に拡張する。

例えば、正方形符号化ツリーユニット（ＣＴＵ）が基本処理ユニットとして使用される場合、最大イントラ予測ブロックサイズは、最大ブロックサイズ、すなわち、ＣＴＵブロックサイズＮ×Ｎに等しくすることができる。図１４ａおよび図１４ｂは、Ｗ×Ｈ予測ブロックがＮ×ＮのＣＴＵブロックサイズに等しい、図１３からの実施形態を示している。それに対応して、拡張参照サンプル１０６４_１および／または１０６４_２は、右上のＣＴＵ（ＣＴＵ２）にまたがり、少なくとも１つのサンプルを次のＣＴＵ（ＣＴＵ３）に到達させる。すなわち、４５°垂直角度予測の拡張参照サンプル１０６４_１および／または１０６４_２の一部は、未処理のＣＴＵ３に配置されることができる。ＣＴＵ３およびＣＴＵ５が並行して処理される場合、これらのサンプルは、利用不可能とすることができる。

図１４ａおよび図１４ｂは、対角垂直画像内予測の場合に必要な最も近い参照サンプル１０６２および拡張参照サンプル１０６４の例を示している。

図１４ｂでは、２つのＣＴＵラインを見ることができる。波面のようなアプローチを使用して２つのラインを並列に符号化する場合、ＣＴＵ２が符号化され、ＣＴＵ３の符号化が開始されると、第２のＣＴＵラインの符号化は、ＣＴＵ５から開始することができる。この場合、一部の参照サンプル１１０４は、ＣＴＵ３の内部に位置するため、拡張参照サンプルを用いた４５度垂直角度予測は、ＣＴＵ５では使用されることができない。以下のアプローチは、この問題を解決することができる：
１．本実施形態に関連して説明されるように、次の基本的な処理領域内の拡張参照を利用不可能としてマークする。そうすれば、例えば、画像、スライス、またはタイルの境界で、または画像内予測領域の参照として画像間予測領域からのサンプルを使用することを許可しない制約付き内部予測が使用される場合、他の利用不可能な参照サンプルのように扱うことができる。

２．参照サンプルが現在の領域の右上にある複数の基本処理ユニットに拡張されないように、領域および画像内予測モードにのみ拡張参照サンプルの使用を許可する。

双方のアプローチは、シーケンス、画像、またはスライスレベルの高レベルフラグによって切り替え可能にすることができる。このようにして、エンコーダは、エンコーダの並列処理スキームで必要な場合に制限を適用するようにデコーダに通知することができる。必要がない場合、エンコーダは、制限が適用されないことをデコーダに通知することができる。

別の方法は、双方の制限の通知を並列符号化方式の通知と組み合わせることである。例えば、波面並列処理が有効にされ、ビットストリームで通知される場合、拡張参照サンプルの制限も適用される。

以下に、いくつかの有利な実施形態を説明する。

１．一実施形態では、イントラ予測は、参照サンプルエリアインデックスｉ＝１およびｉ＝３を有する２つの追加の参照ラインを使用している（図３を参照）。これらの拡張参照サンプルラインでは、ここで説明されている角度予測のみが許可される。参照サンプルエリアインデックスｉの通知は、図１１に関連してＭａｘＮｕｍＲｅｆＡｒｅａＩｄｘ＝３で説明されているように実行され、イントラ予測モードを通知する前に通知される。参照領域インデックスが０に等しくない場合、すなわち拡張参照ラインが使用されている場合、ＤＣおよび平面内予測モードは使用されない。不要な通知を回避するために、ＤＣモードと平面モードは、イントラ予測モードの通知から除外される。イントラ予測モードは、最も可能性の高いモード（ＭＰＭ）のリストへのインデックスを使用して符号化されることができる。ＭＰＭリストは、隣接するブロックから派生した固定数の予測モード候補を含む。隣接するブロックが最も近い参照ライン（ｉ＝０）を使用して符号化されている場合、ＤＣまたは平面モードを使用することができるため、ＭＰＭリストの導出プロセスは、ＤＣおよび平面モードを含まないように変更される。削除された場合、ＤＣモードと平面モードは、水平、垂直、左下の対角角モードに置き換えられて、リストを埋めることができる（図４ａから図４ｅを参照）。これは、冗長性を回避する方法で行われ、例えば、隣接ブロックから派生した第１の候補モードが垂直であり、第２の候補モードがＤＣの場合、ＤＣモードは、まだリストにないため、垂直モードではなく水平モードに置き換えられる。ｉ＞０の場合にＤＣおよび平面モードの不要な通知を防ぐ別の方法は、予測モードの後に参照領域インデックスｉに通知し、予測モードにおいてｉの通知を調整することである。イントラ予測モードがＤＣまたは平面に等しい場合、インデックスｉは通知されない。しかしながら、ＭＰＭリストへのインデックスを使用してイントラ予測モードが通知される場合、この方法では解析の依存関係が導入されるため、前述の方法がこの方法よりも優先される。ｉを解析することができるようにするために、ＭＰＭリストの導出を必要とするイントラ予測モードを再構築する必要がある。一方、ＭＰＭリストの導出は、ｉを解析する前に再構築する必要がある隣接ブロックの予測モードを参照する。この望ましくない構文解析の依存関係は、予測モードの前にｉを通知し、上述したようにそれに応じてＭＰＭリストの派生を変更することによって解決される。ビデオエンコーダは、複数の最も可能性の高い予測モードのリストを、予測モードのための複数の最も近い参照サンプルの使用または複数の拡張参照サンプルの使用に基づいて判定するように構成されることができ、ビデオエンコーダは、予測モードで許可されているモードによって、使用されている参照サンプルに対して制限されている予測モードを置換するように構成される。対応するビデオデコーダは、複数の最も近い参照サンプルの使用または予測モードのための複数の拡張参照サンプルの使用に基づいて最も可能性の高い予測モードのリストを判定するように構成されることができ、ビデオデコーダは、予測モードで許可されたモードによって、使用された参照サンプルに対して制限された予測モードを置換するように構成される。

２．別の実施形態では、拡張参照サンプルのイントラ予測は、輝度サンプルのみに適用されるようにさらに制限される。すなわち、ビデオエンコーダは、輝度情報のみを含む画像に拡張参照サンプルを使用して予測を適用するように構成されることができる。したがって、ビデオデコーダは、輝度情報のみを含む画像に拡張参照サンプルを使用して予測を適用するように構成されることができる。

３．別の実施形態では、最も近い参照サンプル（ｉ＝０）の幅および高さを超える拡張参照サンプル（ｉ＞０）（図３のＷ＋Ｈを参照）は、既に再構築されたサンプルを使用することによって生成されないが（利用可能な場合）、例えば図３の右上のサンプルの場合はｒ（２３，－１－ｉ）、左下のサンプルの場合はｒ（－１－ｉ，２３）など、最後のサンプルからのパディングによって生成される。これは、拡張参照サンプルラインのメモリアクセスを低減する。すなわち、ビデオエンコーダは、最も近い拡張参照サンプルからパディングすることによって、第１および第２の画像方向に沿って最も近い参照サンプルの幅および／または高さを超える拡張参照サンプルを生成するように構成されることができる。したがって、ビデオデコーダは、最も近い拡張参照サンプルからパディングすることによって、第１および第２の画像方向に沿って最も近い参照サンプルの幅および／または高さを超える拡張参照サンプルを生成するように構成されることができる。

４．別の実施形態では、毎秒の角度モードのみが、拡張された参照サンプルに使用されることができる。その結果、ＭＰＭリストの導出は、ｉ＞０の場合のＤＣモードと平面モードに加えて、これらのモードも除外するように変更される。すなわち、ビデオエンコーダは、角度予測モードの可能な角度からの角度のサブセットのみを使用する角度予測モードを使用して予測を予測し、デコーダへの符号化情報の通知から未使用の角度を除外するように構成されることができる。したがって、ビデオデコーダは、角度予測モードの可能な角度からの角度のサブセットのみを使用する角度予測モードを使用して予測を予測し、予測から未使用の角度を除外するように構成されることができる。

５．別の実施形態では、追加の参照サンプルラインの数が３に増加する（ＭａｘＮｕｍＲｅｆＡｒｅａＩｄｘ＝４による図１１を参照）。すなわち、拡張参照サンプルは、最も近い参照サンプル、好ましくは少なくとも３ラインおよび行に加えて、少なくとも２ラインおよび行に配置されることができる。そのような構成は、ビデオエンコーダおよびデコーダに適用することができる。ビデオエンコーダは、予測ブロックを予測するために複数の拡張参照サンプルの特定の複数のセットを使用するように構成されることができ、ビデオエンコーダは、セットによって拡張された複数の最も近い参照サンプルと比較されたときの画像コンテンツの最も低い類似性を含むように複数のセットから特定の複数を選択し、すなわち、例えば、同じ参照領域インデックスを有する関連する参照サンプルを使用するように構成される。したがって、ビデオデコーダは、予測ブロックを予測するために、特定の複数の複数の拡張参照サンプルのセットを使用するように構成されることができ、ビデオデコーダは、セットによって拡張された複数の最も近い参照サンプルと比較したときの画像コンテンツの最も低い類似性を含むように、複数のセットから特定の複数を選択するように構成される。

６．別の実施形態では、インデックスｉの代わりに、拡張参照サンプルが使用されるかどうかを示すフラグが通知される。拡張参照サンプルが使用されることをフラグが示している場合、インデックスｉ（ｉ＞０）は、参照ラインｉ＞０と参照ラインｉ＝０との間の類似性を計算することによって（例えば、絶対差の合計を使用して）導出される。類似性が最も低くなるインデックスｉが選択される。その背後にある考え方は、拡張参照サンプル（ｉ＞０）と通常の参照サンプル（ｉ＝０）との相関が高いほど、結果の予測の相関が高くなるため、予測において拡張参照サンプルを使用しても追加のメリットがないということである。すなわち、ビデオエンコーダは、フラグまたは他の、おそらくバイナリの情報を使用して、拡張参照サンプルの使用を通知するように構成されることができる。したがって、ビデオデコーダは、そのようなフラグによる拡張参照サンプルの使用を示す情報を受信するように構成されることができる。

７．別の実施形態では、分離不可能な二次変換（ＮＳＳＴ）のような二次変換は、予測内残差の第１の変換の後に適用されることができる。拡張参照サンプルラインの場合、二次変換は実行されず、ｉ＞０の場合はＮＳＳＴに関連する全ての通知が無効になる。すなわち、ビデオエンコーダは、拡張参照サンプルまたは最も近い参照サンプルのみを選択的に使用するように構成されることができ、ビデオエンコーダは、第１の変換手順を使用して予測ブロックを予測することによって得られた残差を変換して、第１の変換結果を取得し、第２の変換手順を使用して第１の変換結果を変換して、拡張参照サンプルが予測ブロックを予測するために使用されないときに第２の変換結果を取得するように構成される。これは、第２の変換が使用されるかどうかの通知にも影響を与える可能性がある。すなわち、第２の変換の使用を通知する必要がある場合、拡張参照サンプルが使用されるときに通知がスキップされることができる。ビデオエンコーダは、二次変換の使用を通知し、または、拡張参照サンプルの使用を示すときに二次変換の不使用を暗黙的に通知し、符号化データに二次変換の結果に関連する情報を含めないように構成されることができる。

したがって、ビデオデコーダは、拡張参照サンプルまたは最も近い参照サンプルのみを選択的に使用するように構成されることができ、ビデオデコーダは、第１の変換手順を使用して予測ブロックを予測することによって得られた残差を変換して、第１の変換結果を取得し、第２の変換手順を使用して第１の変換結果を変換して、拡張された参照サンプルが予測ブロックを予測するために使用されないときに第２の変換結果を取得するように構成される。ビデオデコーダは、二次変換の使用を示す情報を受信し、または、拡張参照サンプルの使用を示すときに二次変換の不使用を導出し、符号化データの二次変換の結果に関連する情報を受信しないように構成されることができる。

８．別の実施形態では、拡張参照サンプル（ｉ＞０）を使用する予測は、最も近い参照サンプル（ｉ＝０）を使用する平面予測と組み合わされる。異なる拡張予測モードの組み合わせに関連して概説されているように、すなわち、拡張参照サンプルを使用して、重み付けを固定（例えば、０．５および０．５）するか、ブロックサイズに依存するか、またはスライス、画像、またはシーケンスレベルで通知することができる。拡張参照サンプルが使用される場合（ｉ＞０）、追加のフラグは、組み合わせ予測が適用されるかどうかを示す。すなわち、ビデオエンコーダは、構成されることができる。したがって、ビデオデコーダは、構成されることができる。

９．別の実施形態では、通知化のオーバーヘッドを低減するために、上記からの組み合わされた予測の通知は省略される。代わりに、組み合わせ予測を適用するかどうかの判定は、最も近い参照サンプル（ｉ＝０）の分析に基づいて導出される。考えられる分析の１つは、最も近い参照サンプルの平坦度とすることができる。最も近い参照サンプル信号がフラット（エッジなし）の場合、組み合わせが適用され、高周波およびエッジが含まれている場合、組み合わせは適用されない。すなわち、ビデオエンコーダは、構成されることができる。したがって、ビデオデコーダは、構成されることができる。

いくつかの態様が装置の文脈で説明されたが、これらの態様は、対応する方法の説明も表すことは明らかであり、ブロックまたは装置は、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明された態様は、対応する装置の対応するブロックまたは項目または機能の説明も表す。

特定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装されることができる。実装は、電子的に読み取り可能な制御信号が記憶され、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（または協働することができる）、例えば、フロッピーディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリなどのデジタル記憶媒体を使用して行うことができる。

本発明にかかるいくつかの実施形態は、本明細書に記載の方法の１つが実行されるように、プログラム可能なコンピュータシステムと協調することができる電子的に読み取り可能な制御信号を有するデータキャリアを備える。

一般に、本発明の実施形態は、プログラムコードを備えたコンピュータプログラム製品として実装されることができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに方法の１つを実行するために動作する。プログラムコードは、例えば、機械可読キャリアに記憶されてもよい。

他の実施形態は、機械可読キャリアに記憶された、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを備える。

換言すれば、本発明の方法の実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。

したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムをその上に記録したデータキャリア（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。

したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、インターネットなどのデータ通信接続を介して転送されるように構成されてもよい。

さらなる実施形態は、本明細書に記載の方法の１つを実行するように構成または適合された処理手段、例えば、コンピュータ、またはプログラマブルロジックデバイスを含む。

さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムをその上にインストールしたコンピュータを備える。

いくつかの実施形態では、プログラマブルロジックデバイス（例えば、フィールドプログラマブルゲートアレイ）を使用して、本明細書に記載の方法の機能のいくつかまたは全てを実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法の１つを実行するためにマイクロプロセッサと協調することができる。一般に、方法は、好ましくは、任意のハードウェア装置によって実行される。

上述した実施形態は、本発明の原理を単に例示するものである。本明細書に記載された構成および詳細の変更および変形は、当業者にとって明らかであろうことが理解される。したがって、本明細書の実施形態の説明および説明として提示された特定の詳細によってではなく、差し迫った特許請求の範囲によってのみ限定されることが意図されている。

Claims (7)

1. ビデオエンコーダ（１０００）であって、
   画像の予測ブロック（１０６６）に対して、複数の拡張参照サンプルであって、前記複数の拡張参照サンプルの各拡張参照サンプルが、前記予測ブロックから、少なくとも、前記予測ブロックに直接隣接する１つの最も近い参照サンプル（１０６２）によって分離されている、前記複数の拡張参照サンプルを、
   シーケンスに従って、前記複数の拡張参照サンプルの各拡張参照サンプルの利用可能性または利用不可能性を順次判定し、
   利用不可能と判定された拡張参照サンプルを置換サンプルによって置換する
   ことによって生成するように構成され、
   前記複数の拡張参照サンプルの最も近い拡張参照サンプルをコピーすることによって、参照領域に１つ以上の拡張参照サンプルを生成するように構成され、前記参照領域における前記１つ以上の拡張参照サンプルのそれぞれの位置は、前記複数の拡張参照サンプルの拡張参照サンプル位置を第１の画像方向および第２の画像方向に沿って超えている、
   ブロックベースの画像内予測符号化によって、ビデオの画像を符号化データに符号化するように構成され、前記予測ブロックの前記ブロックベースの画像内予測符号化は、前記複数の拡張参照サンプルおよび前記参照領域内の前記１つ以上の拡張参照サンプルを使用する、
   前記置換サンプルは、前記シーケンスで利用可能であると判定された最後の拡張参照サンプルのコピーとして決定され、および／または
   前記置換サンプルは、前記シーケンスで利用可能であると判定された次の拡張参照サンプルのコピーとして決定される、ビデオエンコーダ。
2. 前記ビデオエンコーダが、
   利用可能であると判定され、且つ、利用不可能であると判定された拡張参照サンプルの前のシーケンスに配置された拡張参照サンプルと、利用可能であると判定され、且つ、利用不可能であると判定された拡張参照サンプルの後のシーケンスに配置された拡張参照サンプルと、の組み合わせに基づいて、前記置換サンプルを決定する
   ように構成される、請求項１に記載のビデオエンコーダ。
3. ビデオデコーダ（１００８）であって、
   画像の予測ブロック（１０６６）に対して、複数の拡張参照サンプルであって、前記複数の拡張参照サンプルの各拡張参照サンプルが、前記予測ブロックから、少なくとも、前記予測ブロックに直接隣接する１つの最も近い参照サンプル（１０６２）によって分離されている、前記複数の拡張参照サンプルを、
   シーケンスに従って、前記複数の拡張参照サンプルの各拡張参照サンプルの利用可能性または利用不可能性を順次判定し、
   利用不可能と判定された拡張参照サンプルを置換サンプルによって置換する
   ことによって生成するように構成され、
   前記複数の拡張参照サンプルの最も近い拡張参照サンプルをコピーすることによって、参照領域に１つ以上の拡張参照サンプルを生成するように構成され、前記参照領域における前記１つ以上の拡張参照サンプルのそれぞれの位置は、前記複数の拡張参照サンプルの拡張参照サンプル位置を第１の画像方向および第２の画像方向に沿って超えている、
   ブロックベースの画像内予測符号化によって、符号化データに符号化された画像を復号してビデオを生成するように構成され、前記予測ブロックの前記ブロックベースの画像内予測符号化は、前記複数の拡張参照サンプルおよび前記参照領域内の前記１つ以上の拡張参照サンプルを使用する、
   前記置換サンプルは、前記シーケンスで利用可能であると判定された最後の拡張参照サンプルのコピーとして決定され、および／または
   前記置換サンプルは、前記シーケンスで利用可能であると判定された次の拡張参照サンプルのコピーとして決定される、ビデオデコーダ。
4. 前記ビデオデコーダが、
   利用可能であると判定され、且つ、利用不可能であると判定された拡張参照サンプルの前のシーケンスに配置された拡張参照サンプルと、利用可能であると判定され、且つ、利用不可能であると判定された拡張参照サンプルの後のシーケンスに配置された拡張参照サンプルと、の組み合わせに基づいて、前記置換サンプルを決定する
   ように構成される、請求項３に記載のビデオデコーダ。
5. ビデオを符号化する方法であって、
   画像の予測ブロック（１０６６）に対して、複数の拡張参照サンプルであって、前記複数の拡張参照サンプルの各拡張参照サンプルが、前記予測ブロックから、少なくとも、前記予測ブロックに直接隣接する１つの最も近い参照サンプル（１０６２）によって分離されている、前記複数の拡張参照サンプルを、
   シーケンスに従って、前記複数の拡張参照サンプルの各拡張参照サンプルの利用可能性または利用不可能性を順次判定し、
   利用不可能と判定された拡張参照サンプルを置換サンプルによって置換する
   ことによって生成することと、
   前記複数の拡張参照サンプルの最も近い拡張参照サンプルをコピーすることによって、参照領域に１つ以上の拡張参照サンプルを生成することと、前記参照領域における前記１つ以上の拡張参照サンプルのそれぞれの位置は、前記複数の拡張参照サンプルの拡張参照サンプル位置を第１の画像方向および第２の画像方向に沿って超えている、
   ブロックベースの画像内予測符号化によって、ビデオの画像を符号化データに符号化することと、前記予測ブロックの前記ブロックベースの画像内予測符号化は、前記複数の拡張参照サンプルおよび前記参照領域内の前記１つ以上の拡張参照サンプルを使用する、を備え、
   前記置換サンプルは、前記シーケンスで利用可能であると判定された最後の拡張参照サンプルのコピーとして決定され、および／または
   前記置換サンプルは、前記シーケンスで利用可能であると判定された次の拡張参照サンプルのコピーとして決定される、ビデオを符号化する方法。
6. ビデオを復号する方法であって、
   画像の予測ブロック（１０６６）に対して、複数の拡張参照サンプルであって、前記複数の拡張参照サンプルの各拡張参照サンプルが、前記予測ブロックから、少なくとも、前記予測ブロックに直接隣接する１つの最も近い参照サンプル（１０６２）によって分離されている、前記複数の拡張参照サンプルを、
   シーケンスに従って、前記複数の拡張参照サンプルの各拡張参照サンプルの利用可能性または利用不可能性を順次判定し、
   利用不可能と判定された拡張参照サンプルを置換サンプルによって置換する
   ことによって生成することと、
   前記複数の拡張参照サンプルの最も近い拡張参照サンプルをコピーすることによって、参照領域に１つ以上の拡張参照サンプルを生成することと、前記参照領域における前記１つ以上の拡張参照サンプルのそれぞれの位置は、前記複数の拡張参照サンプルの拡張参照サンプル位置を第１の画像方向および第２の画像方向に沿って超えている、
   ブロックベースの画像内予測符号化によって、符号化データに符号化された画像を復号してビデオを生成することと、前記予測ブロックの前記ブロックベースの画像内予測符号化は、前記複数の拡張参照サンプルおよび前記参照領域内の前記１つ以上の拡張参照サンプルを使用する、を備え、
   前記置換サンプルは、前記シーケンスで利用可能であると判定された最後の拡張参照サンプルのコピーとして決定され、および／または
   前記置換サンプルは、前記シーケンスで利用可能であると判定された次の拡張参照サンプルのコピーとして決定される、ビデオを復号する方法。
7. コンピュータ上で実行されるときに、請求項５または６に記載の方法を実行するためのプログラムコードを有するコンピュータプログラムを記憶した非一時的記憶媒体。

Images