JP2024516076A - ＧＰＭ（ｇｅｏｍｅｔｒｉｃ ｐａｒｔｉｔｉｏｎ ｍｏｄｅ）に関する動きベクトル精密化のための方法、装置、及び非一時的コンピュータ可読記憶媒体 - Google Patents

Abstract

映像データ処理のための方法、装置、及び非一時的コンピュータ可読記憶媒体を提供する。この方法は、ＧＰＭ（geometric partition mode）によって符号化された符号化ユニットを含むビットストリームを受信すること、符号化ユニットに関連する第１のパラメータを復号化することであって、第１のパラメータは符号化ユニットにテンプレートマッチングが適用されているかどうかを示す、復号化すること、及び第１のパラメータに従って符号化ユニットに関する動き情報を決定することであって、符号化ユニットにテンプレートマッチングが適用されることを第１のパラメータが示す場合、テンプレートマッチングを使用して動き情報が精密化される、決定することを含む。

Description

関連出願の相互参照
[0001] 本開示は、参照によりその全体を本明細書に援用する、２０２１年４月１２日に出願された米国仮特許出願第６３／１７３，５４０号、２０２１年５月２９日に出願された米国仮特許出願第６３／１９４，２６０号、及び２０２１年６月２７日に出願された米国仮特許出願第６３／２１５，５１９号に対する優先権の利益を主張する。

技術分野
[0002] 本開示は一般に映像処理に関し、より詳細にはＧＰＭ（geometric partition mode）に関する動きベクトル精密化のための方法及びシステムに関する。

背景
[0003] 映像は、視覚情報を取り込んだ静的ピクチャ（又は「フレーム」）のセットである。記憶メモリ及び伝送帯域幅を低減するために、映像を記憶又は伝送前に圧縮し、表示前に復元することができる。圧縮プロセスは通常、符号化と称され、復元プロセスは通常、復号化と称される。最も一般的には、予測、変換、量子化、エントロピー符号化、及びインループフィルタリングに基づく、標準化映像符号化技術を用いる様々な映像符号化フォーマットが存在する。特定の映像符号化フォーマットを指定する、高効率ビデオコーディング（High Efficiency Video Coding）（ＨＥＶＣ／Ｈ．２６５）規格、多用途ビデオコーディング（Versatile Video Coding）（ＶＶＣ／Ｈ．２６６）、及び標準ＡＶＳ規格などの、映像符号化規格が標準化機関によって開発されている。進化した映像符号化技術が映像規格に次々と採用されるに従って、新たな映像符号化規格の符号化効率はますます高くなる。

本開示の概要
[0004] 本開示の実施形態は、映像データ処理のための方法を提供する。この方法は、ＧＰＭ（geometric partition mode）によって符号化された符号化ユニットを含むビットストリームを受信すること、符号化ユニットに関連する第１のパラメータを復号化することであって、第１のパラメータは符号化ユニットにテンプレートマッチングが適用されているかどうかを示す、復号化すること、及び第１のパラメータに従って符号化ユニットに関する動き情報を決定することであって、符号化ユニットにテンプレートマッチングが適用されることを第１のパラメータが示す場合、テンプレートマッチングを使用して動き情報が精密化される、決定することを含む。

[0005] 本開示の実施形態は、映像データ処理を行うための装置を提供する。この装置は、命令を記憶するように構成されるメモリと、１つ以上のプロセッサとを含み、１つ以上のプロセッサは、命令を実行して、ＧＰＭ（geometric partition mode）によって符号化された符号化ユニットを含むビットストリームを受信すること、符号化ユニットに関連する第１のパラメータを復号化することであって、第１のパラメータは符号化ユニットにテンプレートマッチングが適用されているかどうかを示す、復号化すること、及び第１のパラメータに従って符号化ユニットに関する動き情報を決定することであって、符号化ユニットにテンプレートマッチングが適用されることを第１のパラメータが示す場合、テンプレートマッチングを使用して動き情報が精密化される、決定することを装置に行わせるように構成される。

[0006] 本開示の実施形態は、映像データ処理を行うための方法を装置に開始させるために装置の１つ以上のプロセッサによって実行可能な命令のセットを記憶する非一時的コンピュータ可読記憶媒体を提供し、その方法は、ＧＰＭ（geometric partition mode）によって符号化された符号化ユニットを含むビットストリームを受信すること、符号化ユニットに関連する第１のパラメータを復号化することであって、第１のパラメータは符号化ユニットにテンプレートマッチングが適用されているかどうかを示す、復号化すること、及び第１のパラメータに従って符号化ユニットに関する動き情報を決定することであって、符号化ユニットにテンプレートマッチングが適用されることを第１のパラメータが示す場合、テンプレートマッチングを使用して動き情報が精密化される、決定することを含む。

図面の簡単な説明
[0007] 本開示の実施形態及び様々な態様が以下の詳細な説明及び添付の図面において例示される。図に示される様々な特徴は、原寸に比例して描かれていない。

[0008]図１は、本開示のいくつかの実施形態に係る、例示的な映像シーケンスの構造を示す概略図である。 [0009]図２Ａは、本開示の実施形態に従う、ハイブリッド映像符号化システムの例示的な符号化プロセスを示す概略図である。 [0010]図２Ｂは、本開示の実施形態に従う、ハイブリッド映像符号化システムの別の例示的な符号化プロセスを示す概略図である。 [0011]図３Ａは、本開示の実施形態に従う、ハイブリッド映像符号化システムの例示的な復号化プロセスを示す概略図である。 [0012]図３Ｂは、本開示の実施形態に従う、ハイブリッド映像符号化システムの別の例示的な復号化プロセスを示す概略図である。 [0013]図４は、本開示のいくつかの実施形態に係る、映像を符号化又は復号化するための例示的な装置のブロック図である。 [0014]本開示のいくつかの実施形態に係る、同一角度によってグループ化された例示的なＧＰＭ（geometric partition mode）の分割を示す。 [0015]本開示のいくつかの実施形態に係る、ＧＰＭのための例示的な単方向予測動きベクトル（ＭＶ）選択プロセスを示す。 [0016]本開示のいくつかの実施形態に係る、ＧＰＭを用いた重みｗ_０の例示的生成を示す。 [0017]本開示のいくつかの実施形態に係る、角度加重予測（ＡＷＰ）の重み予測のための例示的プロセスを示す。 [0018]本開示のいくつかの実施形態に係る、ＡＷＰモードでサポートされる８個の例示的なイントラ予測角度を示す。 [0019]本開示のいくつかの実施形態に係る、ＡＷＰモードにおける７個の異なる例示的な重みアレイ設定を示す。 [0020]本開示のいくつかの実施形態に係る、初期ＭＶの周りの探索領域に対して行われるテンプレートマッチングを示す。 [0021]本開示のいくつかの実施形態に係る、動きを精密化するためにＧＰＭにテンプレートマッチングを適用するための方法の例示的なフローチャートを示す。 [0022]本開示のいくつかの実施形態に係る、ＧＰＭのための例示的テンプレートを示す。 [0022]本開示のいくつかの実施形態に係る、ＧＰＭのための例示的テンプレートを示す。 [0022]本開示のいくつかの実施形態に係る、ＧＰＭのための例示的テンプレートを示す。 [0023]本開示のいくつかの実施形態に係る、動きを精密化するためにＧＰＭにテンプレートマッチングを適用するための方法の別の例示的なフローチャートを示す。 [0024]本開示のいくつかの実施形態に係る、ＧＰＭのための例示的テンプレートの別の改変形態を示す。 [0024]本開示のいくつかの実施形態に係る、ＧＰＭのための例示的テンプレートの別の改変形態を示す。 [0025]本開示のいくつかの実施形態に係る、ＧＰＭ区分モードとＧＰＭ区分角度との間の例示的関係を示す。 [0026]本開示のいくつかの実施形態に係る、１６×１６ブロックに関する例示的な角度を示す。 [0027]本開示のいくつかの実施形態に係る、１６×１６ブロックに関する図１７に示す区分角度ごとのＧＰＭ区分モードの各サンプルの例示的な重みを示す。 [0027]本開示のいくつかの実施形態に係る、１６×１６ブロックに関する図１７に示す区分角度ごとのＧＰＭ区分モードの各サンプルの例示的な重みを示す。 [0027]本開示のいくつかの実施形態に係る、１６×１６ブロックに関する図１７に示す区分角度ごとのＧＰＭ区分モードの各サンプルの例示的な重みを示す。 [0027]本開示のいくつかの実施形態に係る、１６×１６ブロックに関する図１７に示す区分角度ごとのＧＰＭ区分モードの各サンプルの例示的な重みを示す。 [0027]本開示のいくつかの実施形態に係る、１６×１６ブロックに関する図１７に示す区分角度ごとのＧＰＭ区分モードの各サンプルの例示的な重みを示す。 [0027]本開示のいくつかの実施形態に係る、１６×１６ブロックに関する図１７に示す区分角度ごとのＧＰＭ区分モードの各サンプルの例示的な重みを示す。 [0027]本開示のいくつかの実施形態に係る、１６×１６ブロックに関する図１７に示す区分角度ごとのＧＰＭ区分モードの各サンプルの例示的な重みを示す。 [0027]本開示のいくつかの実施形態に係る、１６×１６ブロックに関する図１７に示す区分角度ごとのＧＰＭ区分モードの各サンプルの例示的な重みを示す。 [0027]本開示のいくつかの実施形態に係る、１６×１６ブロックに関する図１７に示す区分角度ごとのＧＰＭ区分モードの各サンプルの例示的な重みを示す。 [0027]本開示のいくつかの実施形態に係る、１６×１６ブロックに関する図１７に示す区分角度ごとのＧＰＭ区分モードの各サンプルの例示的な重みを示す。 [0027]本開示のいくつかの実施形態に係る、１６×１６ブロックに関する図１７に示す区分角度ごとのＧＰＭ区分モードの各サンプルの例示的な重みを示す。 [0027]本開示のいくつかの実施形態に係る、１６×１６ブロックに関する図１７に示す区分角度ごとのＧＰＭ区分モードの各サンプルの例示的な重みを示す。 [0027]本開示のいくつかの実施形態に係る、１６×１６ブロックに関する図１７に示す区分角度ごとのＧＰＭ区分モードの各サンプルの例示的な重みを示す。 [0027]本開示のいくつかの実施形態に係る、１６×１６ブロックに関する図１７に示す区分角度ごとのＧＰＭ区分モードの各サンプルの例示的な重みを示す。 [0027]本開示のいくつかの実施形態に係る、１６×１６ブロックに関する図１７に示す区分角度ごとのＧＰＭ区分モードの各サンプルの例示的な重みを示す。 [0027]本開示のいくつかの実施形態に係る、１６×１６ブロックに関する図１７に示す区分角度ごとのＧＰＭ区分モードの各サンプルの例示的な重みを示す。 [0027]本開示のいくつかの実施形態に係る、１６×１６ブロックに関する図１７に示す区分角度ごとのＧＰＭ区分モードの各サンプルの例示的な重みを示す。 [0027]本開示のいくつかの実施形態に係る、１６×１６ブロックに関する図１７に示す区分角度ごとのＧＰＭ区分モードの各サンプルの例示的な重みを示す。 [0027]本開示のいくつかの実施形態に係る、１６×１６ブロックに関する図１７に示す区分角度ごとのＧＰＭ区分モードの各サンプルの例示的な重みを示す。 [0027]本開示のいくつかの実施形態に係る、１６×１６ブロックに関する図１７に示す区分角度ごとのＧＰＭ区分モードの各サンプルの例示的な重みを示す。 [0028]本開示のいくつかの実施形態に係る、動きを精密化するためにＧＰＭにテンプレートマッチングを適用するための方法の別の例示的なフローチャートを示す。 [0029]本開示のいくつかの実施形態に係る、動きを精密化するためにＧＰＭにテンプレートマッチングを適用するための方法の別の例示的なフローチャートを示す。 [0030]本開示のいくつかの実施形態に係る、ＧＰＭ、ＴＭ、及びＭＭＶＤを適用するための方法の例示的なフローチャートを示す。 [0031]本開示のいくつかの実施形態に係る、ＧＰＭ、ＴＭ、及びＭＭＶＤを適用するための方法の例示的なフローチャートを示す。

詳細な説明
[0032] 次に、添付の図面に例が示された、例示的な実施形態を詳細に参照する。以下の説明は添付の図面を参照し、図面において、異なる図面における同じ符号は、別途示されない限り、同じ又は同様の要素を表す。例示的な実施形態の以下の説明において示される実装形態は、本発明に従う全ての実装形態を表すものではない。むしろ、それらは、添付の請求項において列挙されるとおりの本発明に関連する態様に従う装置及び方法の単なる例にすぎない。本開示の特定の態様が以下においてより詳細に説明される。参照により組み込まれる用語及び／又は定義と矛盾する場合には、本明細書において提供される用語及び定義が優先する。

[0033] ２０２０年７月、ＩＴＵ－Ｔビデオコーディングエキスパートグループ（ＩＴＵ－Ｔ ＶＣＥＧ）及びＩＳＯ／ＩＥＣムービングピクチャエクスパートグループ（ＩＳＯ／ＩＥＣ ＭＰＥＧ）のジョイントビデオエクスパーツチーム（ＪＶＥＴ）によって策定された多用途ビデオコーディング（ＶＶＣ／Ｈ．２６６）規格が完成し、国際規格として公開された。ＶＶＣ規格は、その前身である高効率ビデオコーディング（ＨＥＶＣ／Ｈ．２６５）規格の圧縮効率を２倍にすることを目指している。換言すれば、ＶＶＣの目標は半分の帯域幅を用いてＨＥＶＣ／Ｈ．２６５と同じ主観的品質を達成することである。

[0034] 半分の帯域幅を用いてＨＥＶＣ／Ｈ．２６５と同じ主観的品質を達成するために、ＪＶＥＴは、共同探索モデル（ＪＥＭ（joint exploration model））参照ソフトウェアを用いてＨＥＶＣを超える技術を開発している。符号化技術がＪＥＭに組み込まれたため、ＪＥＭはＨＥＶＣよりも実質的に高い符号化性能を達成した。

[0035] ＶＶＣ規格は最近開発されたものであり、より優れた圧縮性能をもたらすより多くの符号化技術を組み込み続けている。ＶＶＣは、ＨＥＶＣ、Ｈ．２６４／ＡＶＣ、ＭＰＥＧＴ２、Ｈ．２６３等などの現代的な映像圧縮規格において用いられてきた同じハイブリッド映像符号化システムに基づく。

[0036] ＶＶＣ規格の完成後、ＪＶＥＴはＶＶＣ規格の符号化性能をさらに改善するための新たな符号化ツールを探索し始める。２０２１年１月、強化圧縮モデル（ＥＣＭ）が提唱されており、ＶＶＣ規格を上回る開発ツールのための新たなソフトウェア基盤として使用されている。

[0037] 映像は、視覚情報を記憶するために時系列で配列された静的ピクチャ（又は「フレーム」）のセットである。映像取り込みデバイス（例えば、カメラ）を、それらのピクチャを時系列で取り込んで記憶するために用いることができ、映像再生デバイス（例えば、テレビ、コンピュータ、スマートフォン、タブレットコンピュータ、ビデオプレーヤ、又は表示機能を有する任意のエンドユーザ端末）を、このようなピクチャを時系列で表示するために用いることができる。また、用途によっては、映像取り込みデバイスが、取り込まれた映像を、監視、会議開催、又は生放送などのために、映像再生デバイス（例えば、モニタを有するコンピュータ）へリアルタイムに伝送することができる。

[0038] このような用途によって必要とされる記憶空間及び伝送帯域幅を低減するために、映像を記憶及び伝送前に圧縮し、表示前に復元することができる。圧縮及び復元は、プロセッサ（例えば、汎用コンピュータのプロセッサ）によって実行されるソフトウェア、又は特殊ハードウェアによって実施され得る。圧縮のためのモジュールは一般的に「符号器」と称され、復元のためのモジュールは一般的に「復号器」と称される。符号器及び復号器はまとめて「コーデック」と称され得る。符号器及び復号器は、種々の好適なハードウェア、ソフトウェア、又はこれらの組み合わせのうちの任意のものとして実施することができる。例えば、符号器及び復号器のハードウェア実装形態は、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（DSP（digital signal processor））、特定用途向け集積回路（ASIC（application-specific integrated circuit））、フィールドプログラマブルゲートアレイ（FPGA（field-programmable gate array））、ディスクリート論理回路、又はこれらの任意の組み合わせなどの、回路機構を含むことができる。符号器及び復号器のソフトウェア実装形態は、プログラムコード、コンピュータ実行可能命令、ファームウェア、又はコンピュータ可読媒体内に固定された任意の好適なコンピュータ実施アルゴリズム若しくはプロセスを含むことができる。映像圧縮及び復元は、ＭＰＥＧ－１、ＭＰＥＧ－２、ＭＰＥＧ－４、Ｈ．２６ｘシリーズ、又は同様のものなどの、様々なアルゴリズム又は規格によって実施され得る。用途によっては、コーデックは映像を第１の符号化規格から復元し、復元された映像を、第２の符号化規格を用いて再圧縮することができる。この場合には、コーデックは「トランスコーダ」と称され得る。

[0039] 映像符号化プロセスは、ピクチャを再構成するために用いることができる有用な情報を識別して維持し、再構成のために重要でない情報を無視することができる。無視された、重要でない情報を完全に再構成することができない場合には、このような符号化プロセスは「非可逆」と称され得る。さもなければ、それは「可逆」と称され得る。大抵の符号化プロセスは非可逆であり、これは、必要とされる記憶空間及び伝送帯域幅を低減するためのトレードオフである。

[0040] 符号化中のピクチャ（「現在のピクチャ」と称される）の有用な情報は、参照ピクチャ（例えば、以前に符号化され、再構成されたピクチャ）に対する変化を含む。このような変化は、ピクセルの位置の変化、明るさの変化、又は色の変化を含むことができ、これらの中でも、位置の変化に最も関心が持たれる。オブジェクトを表現するピクセルのグループの位置の変化は、参照ピクチャと現在のピクチャとの間のオブジェクトの動きを反映することができる。

[0041] 別のピクチャを参照することなく符号化されたピクチャ（すなわちそのピクチャがそれ自身の参照ピクチャである）は「Ｉピクチャ」と称される。１つの参照ピクチャを用いてイントラ予測又はインター予測を使用してピクチャ内の一部の又は全てのブロック（例えばビデオピクチャの一部を概して指すブロック）が予測される場合（例えば単方向予測）、そのピクチャは「Ｐピクチャ」と称される。２つの参照ピクチャを用いてピクチャ内の少なくとも１つのブロックが予測される場合（例えば双方向予測）、そのピクチャは「Ｂピクチャ」と称される。

[0042] 図１は、本開示のいくつかの実施形態に係る、例示的な映像シーケンス１００の構造を示す。映像シーケンス１００は、ライブ映像、又は取り込まれ、アーカイブされた映像であることができる。映像１００は、現実の映像、コンピュータ生成映像（例えば、コンピュータゲーム映像）、又はこれらの組み合わせ（例えば、拡張現実感効果を伴う現実の映像）であることができる。映像シーケンス１００は、映像取り込みデバイス（例えば、カメラ）、以前に取り込まれた映像を包含する映像アーカイブ（例えば、記憶デバイス内に記憶された映像ファイル）、又は映像コンテンツプロバイダからの映像を受信するための映像供給インターフェース（例えば、映像放送トランシーバ）から入力され得る。

[0043] 図１に示されるように、映像シーケンス１００は、ピクチャ１０２、１０４、１０６、及び１０８を含む、タイムラインに沿って時間的に配列された一連のピクチャを含むことができる。ピクチャ１０２～１０６は連続しており、ピクチャ１０６及び１０８の間にはさらなるピクチャが存在する。図１において、ピクチャ１０２はＩピクチャであり、その参照ピクチャはピクチャ１０２自身である。ピクチャ１０４はＰピクチャであり、その参照ピクチャは、矢印によって指示されるように、ピクチャ１０２である。ピクチャ１０６はＢピクチャであり、その参照ピクチャは、矢印によって指示されるように、ピクチャ１０４及び１０８である。実施形態によっては、ピクチャ（例えば、ピクチャ１０４）の参照ピクチャは当該ピクチャの直前又は直後になくてもよい。例えば、ピクチャ１０４の参照ピクチャはピクチャ１０２の前のピクチャであることができる。ピクチャ１０２～１０６の参照ピクチャは単なる例にすぎず、本開示は参照ピクチャの実施形態を、図１に示される例として限定しないことに留意されたい。

[0044] 典型的に、映像コーデックは、このようなタスクの計算の複雑性のゆえに、ピクチャ全体を一度に符号化又は復号化しない。むしろ、それらはピクチャを基本セグメントに分割し、ピクチャをセグメントごとに符号化又は復号化することができる。このような基本セグメントは本開示において基本処理ユニット（「ＢＰＵ（basic processing unit）」）と称される。例えば、図１における構造１１０は映像シーケンス１００のピクチャ（例えば、ピクチャ１０２～１０８のうちの任意のもの）の例示的な構造を示す。構造１１０においては、ピクチャが４×４基本処理ユニットに分割され、それらの境界は破線として示されている。実施形態によっては、基本処理ユニットは、いくつかの映像符号化規格（例えば、ＭＰＥＧファミリー、Ｈ．２６１、Ｈ．２６３、又はＨ．２６４／ＡＶＣ）では、「マクロブロック」と、或いはいくつかの他の映像符号化規格（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣ）では、「符号化ツリーユニット」（「ＣＴＵ（coding tree unit）」）と称され得る。基本処理ユニットは、１２８×１２８、６４×６４、３２×３２、１６×１６、４×８、１６×３２などの、ピクチャにおける可変サイズ、或いはピクセルの任意の形状及びサイズを有することができる。基本処理ユニットのサイズ及び形状は、ピクチャのために、符号化効率と、基本処理ユニットにおいて維持されるべき詳細さのレベルとのバランスに基づいて選択することができる。

[0045] 基本処理ユニットは、コンピュータメモリ内に（例えば、映像フレームバッファ内に）記憶された異なる種類の映像データのグループを含むことができる、論理ユニットであることができる。例えば、カラーピクチャの基本処理ユニットは、無色の輝度情報を表現するルマ成分（Ｙ）、色情報を表現する１つ以上のクロマ成分（例えば、Ｃｂ及びＣｒ）、並びに関連シンタックス要素を含むことができ、ここで、ルマ及びクロマ成分は基本処理ユニットの同じサイズを有することができる。ルマ及びクロマ成分は、いくつかの映像符号化規格（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣ）では、「符号化ツリーブロック」（「ＣＴＢ（coding tree block）」）と称され得る。基本処理ユニットに対して遂行される任意の演算はそのルマ及びクロマ成分の各々に対して繰り返し遂行され得る。

[0046] 映像符号化は複数の演算段階を有し、図２Ａ～図２Ｂ及び図３Ａ～図３Ｂにその例が示されている。各段階にとって、基本処理ユニットのサイズは依然として処理のために大きすぎるものになり得、それゆえ、本開示において「基本処理サブユニット」と称されるセグメントにさらに分割され得る。実施形態によっては、基本処理サブユニットは、いくつかの映像符号化規格（例えば、ＭＰＥＧファミリー、Ｈ．２６１、Ｈ．２６３、又はＨ．２６４／ＡＶＣ）では、「ブロック」と、或いはいくつかの他の映像符号化規格（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣ）では、「符号化ユニット」（「ＣＵ」）と称され得る。基本処理サブユニットは、基本処理ユニットと同じ、又はそれよりも小さいサイズを有することができる。基本処理ユニットと同様に、基本処理サブユニットもまた、コンピュータメモリ内に（例えば、映像フレームバッファ内に）記憶された異なる種類の映像データ（例えば、Ｙ、Ｃｂ、Ｃｒ、及び関連シンタックス要素）のグループを含むことができる、論理ユニットである。基本処理サブユニットに対して遂行される任意の動作はそのルマ及びクロマ成分の各々に対して繰り返し遂行され得る。このような分割は処理の必要に応じてさらなるレベルまで遂行され得ることに留意されたい。また、異なる段階は、異なる方式を用いて基本処理ユニットを分割することができることにも留意されたい。

[0047] 例えば、モード決定段階（図２Ｂにその一例が示されている）において、符号器は、どのような予測モード（例えば、イントラピクチャ予測又はインターピクチャ予測）を基本処理ユニットのために用いるかを決定することができるが、基本処理ユニットは、このような決定を行うには大きすぎるものになり得る。符号器は基本処理ユニットを複数の基本処理サブユニット（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣの場合のように、ＣＵ）に分割し、個々の基本処理サブユニットごとに予測の種類を決めることができる。

[0048] 別の例として、予測段階（図２Ａ～図２Ｂにその例が示されている）において、符号器は基本処理サブユニット（例えば、ＣＵ）のレベルで予測演算を遂行することができる。しかし、場合によっては、基本処理サブユニットは、依然として、処理するには大きすぎるものになり得る。符号器は基本処理サブユニットをより小さいセグメント（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣでは「予測ブロック（prediction block）」又は「ＰＢ」と称される）にさらに分割することができ、そのレベルで予測演算が遂行され得る。

[0049] 別の例として、変換段階（図２Ａ～図２Ｂにその例が示されている）において、符号器は残差基本処理サブユニット（例えば、ＣＵ）のための変換演算を遂行することができる。しかし、場合によっては、基本処理サブユニットは、依然として、処理するには大きすぎるものになり得る。符号器は基本処理サブユニットをより小さいセグメント（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣでは「変換ブロック（transform block）」又は「ＴＢ」と称される）にさらに分割することができ、そのレベルで変換演算が遂行され得る。同じ基本処理サブユニットの分割方式が予測段階及び変換段階において異なってもよいことに留意されたい。例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣでは、同じＣＵの予測ブロック及び変換ブロックが異なるサイズ及び数を有してもよい。

[0050] 図１の構造１１０においては、基本処理ユニット１１２は３×３基本処理サブユニットにさらに分割され、それらの境界は点線として示されている。同じピクチャの異なる基本処理ユニットは異なる方式で基本処理サブユニットに分割されてもよい。

[0051] 実装形態によっては、並列処理及び誤り耐性の能力を映像符号化及び復号化にもたらすために、１つのピクチャを処理のための領域に分割することができ、これにより、符号化又は復号化プロセスは、ピクチャの１つの領域に関して、当該ピクチャのいかなる他の領域からの情報にも依存しなくてすむ。換言すれば、ピクチャの各領域は独立して処理され得る。そうすることによって、コーデックはピクチャの異なる領域を並行して処理することができ、それゆえ、符号化効率を増大させる。また、領域のデータが処理中に破損したか、又はネットワーク伝送中に失われたときには、コーデックは、破損した、又は失われたデータを頼ることなく、同じピクチャの他の領域を正しく符号化又は復号化することもでき、それゆえ、誤り耐性の能力をもたらす。いくつかの映像符号化規格では、ピクチャを異なる種類の領域に分割することができる。例えば、Ｈ．２６５／ＨＥＶＣ及びＨ．２６６／ＶＶＣは２種類の領域：「スライス」及び「タイル」を提供する。また、映像シーケンス１００の異なるピクチャは、ピクチャを領域に分割するための異なる区分方式を有することができることにも留意されたい。

[0052] 例えば、図１では、構造１１０は３つの領域１１４、１１６、及び１１８に分割され、それらの境界は構造１１０の内部の実線として示されている。領域１１４は４つの基本処理ユニットを含む。領域１１６及び１１８の各々は６つの基本処理ユニットを含む。図１における構造１１０の基本処理ユニット、基本処理サブユニット、及び領域は単なる例にすぎず、本開示はその実施形態を限定しないことに留意されたい。

[0053] 図２Ａは、本開示の実施形態に従う、例示的な符号化プロセス２００Ａの概略図を示す。例えば、符号化プロセス２００Ａは符号器によって遂行され得る。図２Ａに示されるように、符号器はプロセス２００Ａに従って映像シーケンス２０２を映像ビットストリーム２２８に符号化することができる。図１における映像シーケンス１００と同様に、映像シーケンス２０２は、時間的順序で配列されたピクチャ（「原ピクチャ」と称される）のセットを含むことができる。図１における構造１１０と同様に、映像シーケンス２０２の各原ピクチャは、符号器によって処理のために基本処理ユニット、基本処理サブユニット、又は領域に分割され得る。実施形態によっては、符号器は映像シーケンス２０２の原ピクチャごとに基本処理ユニットのレベルでプロセス２００Ａを遂行することができる。例えば、符号器はプロセス２００Ａを反復的な仕方で遂行することができ、その場合、符号器は基本処理ユニットをプロセス２００Ａの１回の反復において符号化することができる。実施形態によっては、符号器はプロセス２００Ａを映像シーケンス２０２の各原ピクチャの領域（例えば、領域１１４～１１８）のために並行して遂行することができる。

[0054] 図２Ａにおいて、符号器は映像シーケンス２０２の原ピクチャの基本処理ユニット（「原ＢＰＵ」と称される）を予測段階２０４に供給し、予測データ２０６及び予測ＢＰＵ２０８を生成することができる。符号器は予測ＢＰＵ２０８を原ＢＰＵから減算し、残差ＢＰＵ２１０を生成することができる。符号器は残差ＢＰＵ２１０を変換段階２１２及び量子化段階２１４に供給し、量子化変換係数２１６を生成することができる。符号器は予測データ２０６及び量子化変換係数２１６を２値符号化段階２２６に供給し、映像ビットストリーム２２８を生成することができる。構成要素２０２、２０４、２０６、２０８、２１０、２１２、２１４、２１６、２２６、及び２２８は「順方向経路」と称され得る。プロセス２００Ａの間、量子化段階２１４の後に、符号器は量子化変換係数２１６を逆量子化段階２１８及び逆変換段階２２０に供給し、再構成残差ＢＰＵ２２２を生成することができる。符号器は再構成残差ＢＰＵ２２２を予測ＢＰＵ２０８に加算し、プロセス２００Ａの次の反復のために予測段階２０４において用いられる、予測基準２２４を生成することができる。プロセス２００Ａの構成要素２１８、２２０、２２２、及び２２４は「再構成経路」と称され得る。再構成経路は、符号器及び復号器の両方が同じ参照データを予測のために用いることを確実にするために用いられ得る。

[0055] 符号器は、原ピクチャの各原ＢＰＵを（順方向経路内で）符号化し、原ピクチャの次の原ＢＰＵを符号化するための予測基準２２４を（再構成経路内で）生成するために、プロセス２００Ａを反復的に遂行することができる。原ピクチャの全ての原ＢＰＵを符号化した後に、符号器は、映像シーケンス２０２内の次のピクチャを符号化するために進むことができる。

[0056] プロセス２００Ａを参照すると、符号器は、映像取り込みデバイス（例えば、カメラ）によって生成された映像シーケンス２０２を受信することができる。本明細書において用いられる用語「受信する」は、受信すること、入力すること、獲得すること、取得すること、得ること、読み込むこと、アクセスすること、又はデータを入力するための任意の仕方による任意の行為を指すことができる。

[0057] 予測段階２０４において、現在の反復において、符号器は原ＢＰＵ及び予測基準２２４を受信し、予測演算を遂行し、予測データ２０６及び予測ＢＰＵ２０８を生成することができる。予測基準２２４はプロセス２００Ａの以前の反復の再構成経路から生成され得る。予測段階２０４の目的は、予測データ２０６を抽出することによって、情報冗長性を低減することであり、予測データ２０６は、予測データ２０６及び予測基準２２４から原ＢＰＵを予測ＢＰＵ２０８として再構成するために用いることができる。

[0058] 理想的には、予測ＢＰＵ２０８は原ＢＰＵと同一であることができる。しかし、非理想的な予測及び再構成演算のゆえに、予測ＢＰＵ２０８は、概して、原ＢＰＵとは若干異なる。このような差を記録するために、予測ＢＰＵ２０８を生成した後に、符号器はそれを原ＢＰＵから減算し、残差ＢＰＵ２１０を生成することができる。例えば、符号器は予測ＢＰＵ２０８のピクセルの値（例えば、グレースケール値又はＲＧＢ値）を原ＢＰＵの対応するピクセルの値から減算することができる。残差ＢＰＵ２１０の各ピクセルは、原ＢＰＵ及び予測ＢＰＵ２０８の対応するピクセルの間のこのような減算の結果としての残差値を有することができる。原ＢＰＵと比べて、予測データ２０６及び残差ＢＰＵ２１０はより少数のビットを有することができるが、それらは、著しい品質劣化を伴うことなく原ＢＰＵを再構成するために用いられ得る。それゆえ、原ＢＰＵは圧縮される。

[0059] 残差ＢＰＵ２１０をさらに圧縮するために、変換段階２１２において、符号器は、残差ＢＰＵ２１０を２次元「基底パターン」のセットに分解することによって、残差ＢＰＵ２１０の空間的冗長性を低減することができ、各基底パターンは「変換係数」に関連付けられている。基底パターンは同じサイズ（例えば、残差ＢＰＵ２１０のサイズ）を有することができる。各基底パターンは残差ＢＰＵ２１０の変化周波数（例えば、輝度変化の周波数）成分を表現することができる。基底パターンはいずれも、いかなる他の基底パターンのいかなる結合（例えば、線形結合）からも再現することができない。換言すれば、分解は残差ＢＰＵ２１０の変化を周波数領域に分解することができる。このような分解は関数の離散フーリエ変換と類似しており、この場合、基底パターンは、離散フーリエ変換の基底関数（例えば、三角関数）と類似しており、変換係数は、基底関数に関連付けられた係数と類似している。

[0060] 異なる変換アルゴリズムは異なる基底パターンを用いることができる。例えば、離散余弦変換、離散正弦変換、又は同様のものなどの、様々な変換アルゴリズムを変換段階２１２において用いることができる。変換段階２１２における変換は逆演算可能である。すなわち、符号器は変換の逆演算（「逆変換」と称される）によって残差ＢＰＵ２１０を回復することができる。例えば、残差ＢＰＵ２１０のピクセルを回復するために、逆変換は、基底パターンの対応するピクセルの値にそれぞれの関連係数を乗算し、積を加算していき、加重和を生成することができる。映像符号化規格のために、符号器及び復号器は両方とも同じ変換アルゴリズム（それゆえ、同じ基底パターン）を用いることができる。それゆえ、符号器は変換係数のみを記録することができ、復号器は、基底パターンを符号器から受信することなく、変換係数から残差ＢＰＵ２１０を再構成することができる。残差ＢＰＵ２１０と比べて、変換係数はより少数のビットを有することができるが、それらは、著しい品質劣化を伴うことなく残差ＢＰＵ２１０を再構成するために用いられ得る。それゆえ、残差ＢＰＵ２１０はさらに圧縮される。

[0061] 符号器は量子化段階２１４において変換係数をさらに圧縮することができる。変換プロセスにおいて、異なる基底パターンは異なる変化周波数（例えば、輝度変化周波数）を表現することができる。人間の眼は、概して、低周波数変化を認識することがより得意であるため、符号器は、復号化において著しい品質劣化を生じさせることなく高周波数変化の情報を無視することができる。例えば、量子化段階２１４において、符号器は、各変換係数を整数値（「量子化スケールファクタ」と称される）で除算し、商をその最近傍の整数に丸めることによって、量子化変換係数２１６を生成することができる。このような演算の後に、高周波数基底パターンの一部の変換係数は０に変換され得、低周波数基底パターンの変換係数はより小さい整数に変換され得る。符号器は０値の量子化変換係数２１６を無視することができ、これによって変換係数はさらに圧縮される。量子化プロセスもまた逆演算可能であり、この場合、量子化変換係数２１６は量子化の逆演算（「逆量子化」と称される）において変換係数に再構成され得る。

[0062] 符号器はこのような除算の剰余を丸め演算において無視するため、量子化段階２１４は非可逆になり得る。典型的に、量子化段階２１４はプロセス２００Ａにおいて最大の情報損失に寄与し得る。情報損失が大きいほど、量子化変換係数２１６が必要とするビットは少なくなる。異なる情報損失レベルを得るために、符号器は、量子化パラメータ又は量子化プロセスの任意の他のパラメータの異なる値を用いることができる。

[0063] ２値符号化段階２２６において、符号器は、例えば、エントロピー符号化、可変長符号化、算術符号化、ハフマン符号化、コンテキスト適応２値算術符号化、又は任意の他の可逆若しくは非可逆圧縮アルゴリズムなどの、２値符号化技法を用いて、予測データ２０６及び量子化変換係数２１６を符号化することができる。実施形態によっては、予測データ２０６及び量子化変換係数２１６のほかに、符号器は、例えば、予測段階２０４において用いられる予測モード、予測演算のパラメータ、変換段階２１２における変換の種類、量子化プロセスのパラメータ（例えば、量子化パラメータ）、符号器制御パラメータ（例えば、ビットレート制御パラメータ）、又は同様のものなどの、他の情報を２値符号化段階２２６において符号化することができる。符号器は２値符号化段階２２６の出力データを用いて映像ビットストリーム２２８を生成することができる。実施形態によっては、映像ビットストリーム２２８をネットワーク伝送のためにさらにパケット化することができる。

[0064] プロセス２００Ａの再構成経路を参照すると、逆量子化段階２１８において、符号器は量子化変換係数２１６に対して逆量子化を遂行し、再構成変換係数を生成することができる。逆変換段階２２０において、符号器は、再構成変換係数に基づいて再構成残差ＢＰＵ２２２を生成することができる。符号器は再構成残差ＢＰＵ２２２を予測ＢＰＵ２０８に加算し、プロセス２００Ａの次の反復において用いられることになる予測基準２２４を生成することができる。

[0065] プロセス２００Ａの他の変形を、映像シーケンス２０２を符号化するために用いることもできることに留意されたい。実施形態によっては、プロセス２００Ａの段階は符号器によって、異なる順序で遂行され得る。実施形態によっては、プロセス２００Ａの１つ以上の段階を単一の段階に組み合わせることができる。実施形態によっては、プロセス２００Ａの単一の段階を複数の段階に分割することができる。例えば、変換段階２１２及び量子化段階２１４を単一の段階に組み合わせることができる。実施形態によっては、プロセス２００Ａは追加の段階を含むことができる。実施形態によっては、プロセス２００Ａは図２Ａにおける１つ以上の段階を省略することができる。

[0066] 図２Ｂは、本開示の実施形態に従う、別の例示的な符号化プロセス２００Ｂの概略図を示す。プロセス２００Ｂはプロセス２００Ａから変更され得る。例えば、プロセス２００Ｂは、ハイブリッド映像符号化規格（例えば、Ｈ．２６ｘシリーズ）に準拠した符号器によって用いられ得る。プロセス２００Ａと比べて、プロセス２００Ｂの順方向経路はモード決定段階２３０を追加的に含み、予測段階２０４を空間的予測段階２０４２及び時間的予測段階２０４４に分割する。プロセス２００Ｂの再構成経路はループフィルタ段階２３２及びバッファ２３４を追加的に含む。

[0067] 概して、予測技法は２つの種類：空間的予測及び時間的予測に分類することができる。空間的予測（例えば、イントラピクチャ予測又は「イントラ予測」）は、現在のＢＰＵを予測するために、同じピクチャ内の１つ以上のすでに符号化された隣接ＢＰＵからのピクセルを用いることができる。すなわち、空間的予測における予測基準２２４は隣接ＢＰＵを含むことができる。空間的予測はピクチャの固有の空間的冗長性を低減することができる。時間的予測（例えば、インターピクチャ予測又は「インター予測」）は、現在のＢＰＵを予測するために、１つ以上のすでに符号化されたピクチャからの領域を用いることができる。すなわち、時間的予測における予測基準２２４は符号化ピクチャを含むことができる。時間的予測はピクチャの固有の時間的冗長性を低減することができる。

[0068] プロセス２００Ｂを参照すると、順方向経路内において、符号器は予測演算を空間的予測段階２０４２及び時間的予測段階２０４４において遂行する。例えば、空間的予測段階２０４２において、符号器はイントラ予測を遂行することができる。符号化中のピクチャの原ＢＰＵのために、予測基準２２４は、（順方向経路内で）符号化され、（再構成経路内で）再構成された１つ以上の隣接ＢＰＵを同じピクチャ内に含むことができる。符号器は、隣接ＢＰＵを外挿することによって予測ＢＰＵ２０８を生成することができる。外挿技法は、例えば、線形外挿若しくは補間、多項式外挿若しくは補間、又は同様のものを含むことができる。実施形態によっては、符号器は、予測ＢＰＵ２０８のピクセルごとに、対応するピクセルの値を外挿することによるなどして、外挿をピクセルレベルで遂行することができる。外挿のために用いられる隣接ＢＰＵは、（例えば、原ＢＰＵの上の）鉛直方向、（例えば、原ＢＰＵの左の）水平方向、（例えば、原ＢＰＵの左下、右下、左上、若しくは右上の）対角方向、又は用いられる映像符号化規格において定義される任意の方向などの、様々な方向から原ＢＰＵに対して位置することができる。イントラ予測のために、予測データ２０６は、例えば、用いられる隣接ＢＰＵの場所（例えば、座標）、用いられる隣接ＢＰＵのサイズ、外挿のパラメータ、原ＢＰＵに対する用いられる隣接ＢＰＵの方向、又は同様のものを含むことができる。

[0069] 別の例として、時間的予測段階２０４４において、符号器はインター予測を遂行することができる。現在のピクチャの原ＢＰＵのために、予測基準２２４は、（順方向経路内で）符号化され、（再構成経路内で）再構成された１つ以上のピクチャ（「参照ピクチャ」と称される）を含むことができる。実施形態によっては、参照ピクチャはＢＰＵごとに符号化され、再構成され得る。例えば、符号器は再構成残差ＢＰＵ２２２を予測ＢＰＵ２０８に加算し、再構成ＢＰＵを生成することができる。同じピクチャの全ての再構成ＢＰＵが生成されたとき、符号器は再構成ピクチャを参照ピクチャとして生成することができる。符号器は、参照ピクチャのある範囲（「探索窓」と称される）内のマッチング領域を探索するために「動き推定」の演算を遂行することができる。参照ピクチャ内の探索窓の位置は、現在のピクチャの原ＢＰＵの位置に基づいて決定することができる。例えば、探索窓は、参照ピクチャ内で、現在のピクチャ内の原ＢＰＵと同じ座標を有する位置に中心を有することができ、所定の距離にわたって外へ拡張され得る。符号器が、（例えば、画素再帰（pel-recursive）アルゴリズム、ブロックマッチングアルゴリズム、又は同様のものを用いることによって）探索窓内で原ＢＰＵと同様の領域を識別したとき、符号器はこのような領域をマッチング領域として決定することができる。マッチング領域は、原ＢＰＵとは異なる（例えば、原ＢＰＵよりも小さい、それに等しい、それよりも大きい、又は異なる形状の）寸法を有することができる。参照ピクチャ及び現在のピクチャが（例えば、図１に示されるように）タイムライン内で時間的に分離されているため、時間が経過するにつれてマッチング領域は原ＢＰＵの場所へ「移動する」と見なすことができる。符号器はこのような動きの方向及び距離を「動きベクトル」として記録することができる。（例えば、図１におけるピクチャ１０６のような）複数の参照ピクチャが用いられるときには、符号器は、参照ピクチャごとにマッチング領域を探索し、その関連する動きベクトルを決定することができる。実施形態によっては、符号器は、それぞれのマッチングする参照ピクチャのマッチング領域のピクセル値に重みを付与することができる。

[0070] 動き推定は、例えば、並進、回転、ズーミング、又は同様のものなどの、様々な種類の動きを識別するために用いることができる。インター予測のために、予測データ２０６は、例えば、マッチング領域の位置（例えば、座標）、マッチング領域に関連付けられた動きベクトル、参照ピクチャの数、参照ピクチャに関連付けられた重み、又は同様のものを含むことができる。

[0071] 予測ＢＰＵ２０８を生成するために、符号器は「動き補償」の演算を遂行することができる。動き補償は、予測データ２０６（例えば、動きベクトル）及び予測基準２２４に基づいて予測ＢＰＵ２０８を再構成するために用いることができる。例えば、符号器は、動きベクトルに従って、参照ピクチャのマッチング領域を移動させることができ、その場合、符号器は、現在のピクチャの原ＢＰＵを予測することができる。（例えば、図１におけるピクチャ１０６のような）複数の参照ピクチャが用いられるときには、符号器は、それぞれの動きベクトルに従って参照ピクチャのマッチング領域を移動させ、マッチング領域のピクセル値を平均することができる。実施形態によっては、符号器がそれぞれのマッチングする参照ピクチャのマッチング領域のピクセル値に重みを付与した場合には、符号器は、移動させたマッチング領域のピクセル値の加重和を加えることができる。

[0072] 実施形態によっては、インター予測は一方向性又は双方向性であることができる。一方向性インター予測は現在のピクチャに対して同じ時間方向の１つ以上の参照ピクチャを用いることができる。例えば、図１におけるピクチャ１０４は、参照ピクチャ（すなわち、ピクチャ１０２）がピクチャ１０４に先行する、一方向インター予測ピクチャである。双方向インター予測は、現在のピクチャに対して両方の時間方向にある１つ以上の参照ピクチャを用いることができる。例えば、図１におけるピクチャ１０６は、参照ピクチャ（すなわち、ピクチャ１０４及び１０８）がピクチャ１０４に対して両方の時間方向にある、双方向インター予測ピクチャである。

[0073] プロセス２００Ｂの順方向経路をなおも参照すると、空間的予測２０４２及び時間的予測段階２０４４の後に、モード決定段階２３０において、符号器は予測モード（例えば、イントラ予測又はインター予測のうちの一方）をプロセス２００Ｂの現在の反復のために選択することができる。例えば、符号器はレート－歪み最適化技法を遂行することができる。本技法では、符号器は、候補予測モードのビットレート、及び候補予測モード下での再構成された参照ピクチャの歪みに応じて、コスト関数の値を最小化するための予測モードを選択することができる。選択された予測モードに応じて、符号器は、対応する予測ＢＰＵ２０８及び予測データ２０６を生成することができる。

[0074] プロセス２００Ｂの再構成経路内において、イントラ予測モードが順方向経路内で選択された場合には、予測基準２２４（例えば、現在のピクチャにおいて符号化され、再構成された現在のＢＰＵ）を生成した後に、符号器は予測基準２２４を後の使用のために（例えば、現在のピクチャの次のＢＰＵの外挿のために）空間的予測段階２０４２に直接供給することができる。符号器は予測基準２２４をループフィルタ段階２３２に供給することができ、そこで、符号器はループフィルタを予測基準２２４に適用し、予測基準２２４の符号化の間に導入された歪み（例えば、ブロッキングアーチファクト）を低減又は解消することができる。符号器は、例えば、デブロッキング、サンプル適応オフセット、適応ループフィルタ、又は同様のものなどの、様々なループフィルタ技法をループフィルタ段階２３２において適用することができる。ループフィルタリングされた参照ピクチャは、後の使用のために（例えば、映像シーケンス２０２の将来のピクチャのためのインター予測参照ピクチャとして用いられるために）バッファ２３４（又は「復号化ピクチャバッファ」）内に記憶され得る。符号器は、１つ以上の参照ピクチャを、時間的予測段階２０４４において用いられるためにバッファ２３４内に記憶することができる。実施形態によっては、符号器は、ループフィルタのパラメータ（例えば、ループフィルタ強度）を、量子化変換係数２１６、予測データ２０６、及び他の情報と共に、２値符号化段階２２６において符号化することができる。

[0075] 図３Ａは、本開示の実施形態に従う、例示的な復号化プロセス３００Ａの概略図を示す。プロセス３００Ａは、図２Ａにおける圧縮プロセス２００Ａに対応する復元プロセスであることができる。実施形態によっては、プロセス３００Ａはプロセス２００Ａの再構成経路と似たものであることができる。復号器はプロセス３００Ａに従って映像ビットストリーム２２８を映像ストリーム３０４に復号化することができる。映像ストリーム３０４は映像シーケンス２０２とよく似たものであることができる。しかし、圧縮及び復元プロセス（例えば、図２Ａ～図２Ｂにおける量子化段階２１４）における情報損失のゆえに、概して、映像ストリーム３０４は映像シーケンス２０２と同一ではない。図２Ａ～図２Ｂにおけるプロセス２００Ａ及び２００Ｂと同様に、復号器は、映像ビットストリーム２２８内に符号化されたピクチャごとに基本処理ユニット（ＢＰＵ）のレベルでプロセス３００Ａを遂行することができる。例えば、復号器はプロセス３００Ａを反復的な仕方で遂行することができ、その場合、復号器は基本処理ユニットをプロセス３００Ａの１回の反復において復号化することができる。実施形態によっては、復号器は、プロセス３００Ａを、映像ビットストリーム２２８内に符号化された各ピクチャの領域（例えば、領域１１４～１１８）のために並行して遂行することができる。

[0076] 図３Ａにおいて、復号器は、符号化ピクチャの基本処理ユニット（「符号化ＢＰＵ」と称される）に関連付けられた映像ビットストリーム２２８の一部を２値復号化段階３０２に供給することができる。２値復号化段階３０２において、復号器は当該一部を予測データ２０６及び量子化変換係数２１６に復号化することができる。復号器は量子化変換係数２１６を逆量子化段階２１８及び逆変換段階２２０に供給し、再構成残差ＢＰＵ２２２を生成することができる。復号器は予測データ２０６を予測段階２０４に供給し、予測ＢＰＵ２０８を生成することができる。復号器は再構成残差ＢＰＵ２２２を予測ＢＰＵ２０８に加算し、予測基準２２４を生成することができる。実施形態によっては、予測基準２２４をバッファ（例えば、コンピュータメモリ内の復号化ピクチャバッファ）内に記憶することができる。復号器は、予測演算をプロセス３００Ａのｆために、予測基準２２４を予測段階２０４に供給することができる。

[0077] 復号器は、符号化ピクチャの各符号化ＢＰＵを復号化し、符号化ピクチャの次の符号化ＢＰＵを符号化するための予測基準２２４を生成するために、プロセス３００Ａを反復的に遂行することができる。符号化ピクチャの全ての符号化ＢＰＵを復号化した後に、復号器はピクチャを表示のために映像ストリーム３０４に出力し、映像ビットストリーム２２８内の次の符号化ピクチャを復号化するために進むことができる。

[0078] ２値復号化段階３０２において、復号器は、符号器によって用いられた２値符号化技法（例えば、エントロピー符号化、可変長符号化、算術符号化、ハフマン符号化、コンテキスト適応２値算術符号化、又は任意の他の可逆圧縮アルゴリズム）の逆演算を遂行することができる。実施形態によっては、予測データ２０６及び量子化変換係数２１６のほかに、復号器は、例えば、予測モード、予測演算のパラメータ、変換の種類、量子化プロセスのパラメータ（例えば、量子化パラメータ）、符号器制御パラメータ（例えば、ビットレート制御パラメータ）、又は同様のものなどの、他の情報を２値復号化段階３０２において復号化することができる。実施形態によっては、映像ビットストリーム２２８がネットワークを通じてパケットの形で伝送される場合には、復号器は映像ビットストリーム２２８を、それを２値復号化段階３０２に供給する前にデパケット化することができる。

[0079] 図３Ｂは、本開示の実施形態に従う、別の例示的な復号化プロセス３００Ｂの概略図を示す。プロセス３００Ｂはプロセス３００Ａから変更され得る。例えば、プロセス３００Ｂは、ハイブリッド映像符号化規格（例えば、Ｈ．２６ｘシリーズ）に準拠した復号器によって用いられ得る。プロセス３００Ａと比べて、プロセス３００Ｂは予測段階２０４を空間的予測段階２０４２及び時間的予測段階２０４４に追加的に分割し、ループフィルタ段階２３２及びバッファ２３４を追加的に含む。

[0080] プロセス３００Ｂにおいて、復号化中の符号化ピクチャ（「現在のピクチャ」と称される）の符号化基本処理ユニット（「現在のＢＰＵ」と称される）に関して、復号器によって２値復号化段階３０２から復号化される予測データ２０６は、現在のＢＰＵを符号化するためにいずれの予測モードが符号器によって用いられたのかに依存して、様々な種類のデータを含むことができる。例えば、現在のＢＰＵを符号化するためにイントラ予測が符号器によって用いられた場合には、予測データ２０６は、イントラ予測、イントラ予測演算のパラメータ、又は同様のものを指示する予測モードインジケータ（例えば、フラグ値）を含むことができる。イントラ予測演算のパラメータは、例えば、基準として用いられる１つ以上の隣接ＢＰＵの場所（例えば、座標）、隣接ＢＰＵのサイズ、外挿のパラメータ、原ＢＰＵに対する隣接ＢＰＵの方向、又は同様のものを含むことができる。別の例として、現在のＢＰＵを符号化するためにインター予測が符号器によって用いられた場合には、予測データ２０６は、インター予測、インター予測演算のパラメータ、又は同様のものを指示する予測モードインジケータ（例えば、フラグ値）を含むことができる。インター予測演算のパラメータは、例えば、現在のＢＰＵに関連付けられた参照ピクチャの数、参照ピクチャにそれぞれ関連付けられた重み、それぞれの参照ピクチャ内の１つ以上のマッチング領域の位置（例えば、座標）、マッチング領域にそれぞれ関連付けられた１つ以上の動きベクトル、又は同様のものを含むことができる。

[0081] 予測モードインジケータに基づいて、復号器は、空間的予測段階２０４２において空間的予測（例えば、イントラ予測）を遂行するべきか、又は時間的予測段階２０４４において時間的予測（例えば、インター予測）を遂行するべきかを決定することができる。このような空間的予測又は時間的予測を遂行することの詳細は図２Ｂにおいて説明されており、以下、繰り返されない。このような空間的予測又は時間的予測を遂行した後に、復号器は予測ＢＰＵ２０８を生成することができる。復号器は、図３Ａにおいて説明されたように、予測ＢＰＵ２０８及び再構成残差ＢＰＵ２２２を加算し、予測基準２２４を生成することができる。

[0082] プロセス３００Ｂにおいて、復号器は、プロセス３００Ｂの次の反復において予測演算を行うために、予測基準２２４を空間的予測段階２０４２又は時間的予測段階２０４４に供給することができる。例えば、現在のＢＰＵが空間的予測段階２０４２においてイントラ予測を用いて復号化される場合には、予測基準２２４（例えば、復号化された現在のＢＰＵ）を生成した後に、復号器は、後の使用のために（例えば、現在のピクチャの次のＢＰＵの外挿のために）空間的予測段階２０４２に予測基準２２４を直接供給することができる。現在のＢＰＵが時間的予測段階２０４４においてインター予測を用いて復号化される場合には、予測基準２２４（例えば、全てのＢＰＵが復号化された参照ピクチャ）を生成した後に、符号器は、ループフィルタ段階２３２に予測基準２２４を供給し、歪み（例えば、ブロッキングアーチファクト）を低減又は解消することができる。復号器は、図２Ｂにおいて説明されたとおりの仕方でループフィルタを予測基準２２４に適用することができる。ループフィルタリングされた参照ピクチャは、後の使用のために（例えば、映像ビットストリーム２２８の将来の符号化ピクチャのためのインター予測参照ピクチャとして用いられるために）バッファ２３４（例えば、コンピュータメモリ内の復号化ピクチャバッファ）内に記憶され得る。復号器は、１つ以上の参照ピクチャを、時間的予測段階２０４４において用いられるためにバッファ２３４内に記憶することができる。実施形態によっては、予測データがループフィルタのパラメータ（例えばループフィルタの強度）をさらに含み得る。実施形態によっては、現在のＢＰＵを符号化するためにインター予測が使用されたことを予測データ２０６の予測モードインジケータが示す場合、予測データがループフィルタのパラメータを含む。

[0083] 図４は、本開示の実施形態に従う、映像を符号化又は復号化するための例示的な装置４００のブロック図である。図４に示されるように、装置４００はプロセッサ４０２を含むことができる。プロセッサ４０２が、本明細書において説明される命令を実行したとき、装置４００は映像符号化又は復号化のための特殊機械になることができる。プロセッサ４０２は、情報を操作又は処理する能力を有する任意の種類の回路機構であることができる。例えば、プロセッサ４０２は、中央処理装置（又は「ＣＰＵ」）、グラフィック処理装置（又は「ＧＰＵ」）、ニューラル処理装置（「ＮＰＵ」）、マイクロコントローラユニット（「ＭＣＵ」）、光プロセッサ、プログラマブル論理コントローラ、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ、知的財産（ＩＰ）コア、プログラマブル論理アレイ（ＰＬＡ）、プログラマブルアレイ論理（ＰＡＬ）、ジェネリックアレイ論理（ＧＡＬ）、複合プログラマブル論理装置（ＣＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、システムオンチップ（ＳｏＣ）、特定用途向け集積回路（ＡＳＩＣ）、又は同様のもののうちの、任意の数の任意の組み合わせを含むことができる。実施形態によっては、プロセッサ４０２はまた、単一の論理構成要素としてグループ化されたプロセッサのセットであることもできる。例えば、図４に示されるように、プロセッサ４０２は、プロセッサ４０２ａ、プロセッサ４０２ｂ、及びプロセッサ４０２ｎを含む、複数のプロセッサを含むことができる。

[0084] 装置４００はまた、データ（例えば、命令のセット、コンピュータコード、中間データ、又は同様のもの）を記憶するように構成されたメモリ４０４を含むことができる。例えば、図４に示されるように、記憶されるデータは、プログラム命令（例えば、プロセス２００Ａ、２００Ｂ、３００Ａ、又は３００Ｂにおける段階を実施するためのプログラム命令）、並びに処理のためのデータ（例えば、映像シーケンス２０２、映像ビットストリーム２２８、又は映像ストリーム３０４）を含むことができる。プロセッサ４０２は、（例えば、バス４１０を介して）プログラム命令、及び処理のためのデータにアクセスし、プログラム命令を実行し、処理のためのデータに対する演算又は操作を行うことができる。メモリ４０４は高速ランダムアクセス記憶デバイス又は不揮発性記憶デバイスを含むことができる。実施形態によっては、メモリ４０４は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、光ディスク、磁気ディスク、ハードドライブ、ソリッドステートドライブ、フラッシュドライブ、セキュリティデジタル（ＳＤ）カード、メモリスティック、コンパクトフラッシュ（登録商標）（ＣＦ）カード、又は同様のもののうちの任意の数の任意の組み合わせを含むことができる。メモリ４０４はまた、単一の論理構成要素としてグループ化されたメモリのグループ（図４には示されていない）であることもできる。

[0085] バス４１０は、内部バス（例えば、ＣＰＵ－メモリバス）、外部バス（例えば、ユニバーサルシリアルバスポート、周辺コンポーネントインターコネクトエクスプレスポート）、又は同様のものなどの、装置４００の内部の構成要素の間でデータを転送する通信デバイスであることができる。

[0086] 曖昧さを生じさせることなく説明を容易にするために、プロセッサ４０２及び他のデータ処理回路は、本開示においてまとめて「データ処理回路」と称される。データ処理回路は、完全にハードウェアとして、或いはソフトウェア、ハードウェア、又はファームウェアの組み合わせとして実施され得る。加えて、データ処理回路は、単一の独立モジュールであることができるか、或いは装置４００の任意の他の構成要素に完全に、又は部分的に組み合わせられ得る。

[0087] 装置４００は、ネットワーク（例えば、インターネット、イントラネット、ローカルエリアネットワーク、移動通信ネットワーク、又は同様のもの）との有線又は無線通信を提供するためのネットワークインターフェース４０６をさらに含むことができる。実施形態によっては、ネットワークインターフェース４０６は、ネットワークインターフェースコントローラ（ＮＩＣ）、無線周波数（ＲＦ）モジュール、トランスポンダ、トランシーバ、モデム、ルータ、ゲートウェイ、有線ネットワークアダプタ、無線ネットワークアダプタ、Bluetooth（登録商標）アダプタ、赤外線アダプタ、近距離無線通信（「ＮＦＣ」）アダプタ、セルラーネットワークチップ、又は同様のもののうちの、任意の数の任意の組み合わせを含むことができる。

[0088] 実施形態によっては、任意選択的に、装置４００は、１つ以上の周辺デバイスへの接続を提供するための周辺インターフェース４０８をさらに含むことができる。図４に示されるように、周辺デバイスは、限定するものではないが、カーソル制御デバイス（例えば、マウス、タッチパッド、又はタッチスクリーン）、キーボード、ディスプレイ（例えば、陰極線管ディスプレイ、液晶ディスプレイ、又は発光ダイオードディスプレイ）、映像入力デバイス（例えば、カメラ、又は映像アーカイブに結合された入力インターフェース）、或いは同様のものを含むことができる。

[0089] 映像コーデック（例えば、プロセス２００Ａ、２００Ｂ、３００Ａ、又は３００Ｂを遂行するコーデック）は、装置４００内の任意のソフトウェア又はハードウェアモジュールの任意の組み合わせとして実施され得ることに留意されたい。例えば、プロセス２００Ａ、２００Ｂ、３００Ａ、又は３００Ｂの一部又は全ての段階は、メモリ４０４内にロードされ得るプログラム命令などの、装置４００の１つ以上のソフトウェアモジュールとして実装され得る。別の例として、プロセス２００Ａ、２００Ｂ、３００Ａ、又は３００Ｂの一部又は全ての段階は、特殊データ処理回路（例えば、ＦＰＧＡ、ＡＳＩＣ、ＮＰＵ、又は同様のもの）などの、装置４００の１つ以上のハードウェアモジュールとして実装され得る。

[0090] 本開示は、ＧＰＭに関する動きベクトル精密化を行うための方法を提供する。

[0091] ＶＶＣでは、インター予測のためにＧＰＭ（geometric partition mode）がサポートされる。ＧＰＭは、通常マージモード、動きベクトル差分によるマージモード（ＭＭＶＤ）モード、結合インター－イントラ予測（ＣＩＩＰ）モード、及びサブブロックマージモードなどの他のマージモードと共に、マージモードの一種としてＣＵレベルフラグを使用してシグナリングされる。採用し得るＣＵサイズｗ×ｈ＝２^ｍ×２^ｎごとに合計６４個の区分がＧＰＭによってサポートされ、但しｍ，ｎ∈｛３・・・６｝であり、８×６４及び６４×８は除外する。

[0092] ＧＰＭが使用される場合、幾何学的に位置決めされる直線によってＣＵが２つの部分に分割される。図５は、本開示のいくつかの実施形態に係る、同一角度によってグループ化された例示的なＧＰＭ（geometric partition mode）の分割を示す。図５に示すように、分割線の位置は特定の区分の角度及びオフセットパラメータから数学的に導出される。ＣＵ内の幾何学的区分のそれぞれの部分がその独自の動きを使用してインター予測され、各区分について単方向予測だけが許可される。つまり各部分は、１つの動きベクトル及び１つの参照インデックスを有する。この単方向予測の動き制約は、各ＣＵについて２つの動き補償予測だけが必要である（これは、従来の双方向予測と同じである）ことを確実にするために適用される。区分ごとの単方向予測の動きは、以下でより詳細に説明する単方向予測候補リスト構成プロセスを使用して導出される。

[0093] 現在のＣＵにＧＰＭが使用される場合、ＣＵ全体のための予測信号が以下のように表される。幾何学的区分の区分モードを示す幾何学的区分インデックス（角度及びオフセット）がシグナリングされる。次いで２つのマージインデックス（区分ごとに１つ）がさらにシグナリングされる。最大ＧＰＭ候補数のサイズがＳＰＳ内で明確にシグナリングされ、ＧＰＭマージインデックスに関するシンタックスの２値化を指定する。幾何学的区分の一部のそれぞれを予測した後、以下でより詳細に説明する適応重みを伴う混合処理を使用して幾何学的区分の縁に沿ったサンプル値を調節する。ＣＵ全体に適用される変換及び量子化プロセスは他の予測モードで適用されるプロセスと同じになる。最後に、ＧＰＭを使用して予測されるＣＵの動きフィールドが記憶される。ＧＰＭに関する動きフィールドを記憶するための詳細なプロセスを以下でより詳細に説明する。

[0094] 単方向予測候補リスト構成プロセスの詳細を以下に説明する。単方向予測候補リストは、通常マージモードのために構成されるマージ候補リストから直接導出される。幾何学的単方向予測候補リスト内の単方向予測の動きのインデックスをｎで示す。ＧＰＭのためのｎ番目の単方向予測動きベクトルとして、ＬＸ（Ｘはｎのパリティに等しい）で示すｎ番目の拡張マージ候補の動きベクトルを使用する。図６は、本開示のいくつかの実施形態に係る、ＧＰＭのための例示的な単方向予測動きベクトル（ＭＶ）選択プロセスを示す。図６に示すように、動きベクトルが「ｘ」で印付けされている。ｎ番目の拡張マージ候補の対応するＬＸ動きベクトルが存在しない場合、ＧＰＭのための単方向予測動きベクトルとして同じ候補のＬ（１－Ｘ）動きベクトルを代わりに使用する。

[0095] 幾何学的区分の縁に沿った混合のためのプロセスに関して、その独自の動きを使用して幾何学的区分の各部分を予測した後、各部分の２つの予測信号に混合を適用して幾何学的区分の縁の周りのサンプルを導出する。ＣＵの位置ごとの混合重みは、個別の位置と区分の縁との間の距離に基づいて導出される。

[0096] 図７は、本開示のいくつかの実施形態に係る、ＧＰＭを用いた重みｗ_０の例示的生成を示す。図７に示すように、区分の縁までの位置（ｘ，ｙ）の距離を以下のように導出し：

但しｉ、ｊは、シグナリングされる幾何学的区分インデックスに依存する幾何学的区分の角度及びオフセットそれぞれのインデックスである。ｐ_ｘ，ｊ及びｐ_ｙ，ｊの符号は角度インデックスｉに依存する。ｗはＣＵの幅であり、ｈはＣＵの高さである。

[0097] 幾何学的区分の各部分の重みを以下のように導出し：

但しｗＩｄｘＬ（ｘ，ｙ）は重みを導出するための中間値であり、ｗ_０（ｘ，ｙ）及びｗ_１（ｘ，ｙ）は各区分の対応する重みをそれぞれ示す。ｐａｒｔＩｄｘは角度インデックスｉに依存する。

[0098] ＧＰＭに関するフィールドの記憶に関して、幾何学的区分の第１の部分からのＭＶ１、幾何学的区分の第２の部分からのＭＶ２、及びＭＶ１とＭＶ２との結合ＭＶがＧＰＭ符号化ＣＵの動きフィールド内に記憶される。

[0099] 動きフィールド内の個々の位置ごとの記憶される動きベクトルの種類は以下のように決定され：
ｓＴｙｐｅ＝ａｂｓ（ｍｏｔｉｏｎＩｄｘ）＜３２？２：（ｍｏｔｉｏｎＩｄｘ≦０？（１－ｐａｒｔＩｄｘ）：ｐａｒｔＩｄｘ） （８）
但しｍｏｔｉｏｎＩｄｘは方程式（１）から再計算されるｄ（４ｘ＋２，４ｙ＋２）に等しい。ｐａｒｔＩｄｘは角度インデックスｉに依存する。

[00100] ｓＴｙｐｅが０又は１に等しい場合、ＭＶ１又はＭＶ２が対応する動きフィールド内に記憶され、そうではなくｓＴｙｐｅが２に等しい場合はＭＶ１及びＭＶ２からの結合ＭＶが記憶される。結合ＭＶは次のプロセスを使用して生成される：（１）ＭＶ１及びＭＶ２が異なる参照ピクチャリストから（一方がＬ０からで他方がＬ１から）のものである場合、ＭＶ１及びＭＶ２を単純に結合して双方向予測動きベクトルを形成し、（２）そうではなくＭＶ１及びＭＶ２が同じリストからのものである場合、単方向予測動きＭＶ２だけが記憶される。

[00101] ＶＶＣにおけるＧＰＭと同様に、オーディオビデオコーディング規格３（ＡＶＳ３）において角度加重予測（ＡＷＰ）と呼ばれる或るツールが採用される。ＡＶＳ３ビデオ規格は、２００２年に中国で創設されたＡＶＳワークグループによって開発された。ＡＶＳ３規格の前身であるＡＶＳ１及びＡＶＳ２は中国の国内規格として２００６年及び２０１６年にそれぞれ公表された。ＡＶＳ３では、ＡＷＰモードがスキップ及びダイレクトモードについてサポートされる。ＡＷＰモードは、スキップ又はダイレクトモードの一種としてＣＵレベルフラグを使用してシグナリングされる。ＡＷＰモードでは、空間的隣接ブロック及び時間的動きベクトル予測子から動きベクトルを導出することにより、５つの異なる単方向予測動きベクトルを含む動きベクトル候補リストが構成される。次いで、動きベクトル候補リストから２つの単方向予測動きベクトルを選択して現在のブロックを予測する。全てのサンプルについて等しい重みを有する双方向予測インターモードと異なり、ＡＷＰモードで符号化される各サンプルは異なる重みを有し得る。各サンプルの重みは０から８までの値を有する重みアレイから予測される。

[00102] 図８は、本開示のいくつかの実施形態に係る、角度加重予測（ＡＷＰ）の重み予測のための例示的プロセスを示す。図９は、本開示のいくつかの実施形態に係る、ＡＷＰモードでサポートされる８個の例示的なイントラ予測角度を示す。図１０は、本開示のいくつかの実施形態に係る、ＡＷＰモードにおける７個の異なる例示的な重みアレイ設定を示す。図８に示すように、角度重み予測はイントラ予測モードのプロセスと同様である。ｍ，ｎ∈｛３・・・６｝であるあり得るＣＵサイズｗ×ｈ＝２^ｍ×２^ｎごとに、（図９に示す）８個のイントラ予測角度及び（図１０に示す）７個の異なる重みアレイ設定を含む合計５６個の異なる種類の重みがＡＷＰモードによってサポートされる。ＡＷＰモードは、予測なしに復号器に直接シグナリングされることを指摘しておく。ＡＷＰモードインデックスは切り捨て二進法を使用して２値化される。つまり０から７までのインデックスは５ビット使用して符号化され、８から５５までのインデックスは６ビット使用して符号化される。

[00103] 選択される２つの単方向予測動きベクトルがＭＶ１及びＭＶ２だと仮定する。ＭＶ１及びＭＶ２をそれぞれ使用して動き補償を行うことによって２つの予測ブロックＰ０及びＰ１が得られる。最終的な予測ブロックＰが以下のように計算され：
Ｐ＝（Ｐ０×ｗ０＋Ｐ１×（８－ｗ０））＞＞３ （９）
但しｗ０は上述の重み予測方法によって導出される重み行列である。

[00104] 予測後、単方向予測動きベクトルが４×４の細分性で記憶される。４×４のユニットごとに、２つの単方向予測動きベクトルのうちの１つが記憶される。

[00105] テンプレートマッチング（ＴＭ）は、現在のピクチャ内のテンプレート（例えば現在のＣＵの上の及び／又は左の隣接ブロック）と参照ピクチャ内のブロック（例えばテンプレートと同じサイズ）との間の最も近いマッチを見つけることによって現在のＣＵの動き情報を精密化するための復号器側のＭＶ導出方法である。図１１は、本開示のいくつかの実施形態に係る、初期ＭＶの周りの探索領域に対して行われるテンプレートマッチングを示す。図１１に示すように、［－８，＋８］画素の探索範囲内において、現在のＣＵの最初の動きの周りで、より優れたＭＶが探索される。ＴＭモードはマージモード及びＡＭＶＰモードに適用することができる。

[00106] マージモードに適用するとき、シグナリングされるマージインデックスによって指示されるマージ候補が最初の動きとして使用される。動きを精密化するために表１に示す探索方法を実行する。（ＡＭＶＲが半画素モードのものであるとき使用される）代替的な補間フィルタがマージされる動き情報に従って使用されるかどうかに応じて、ＴＭは１／８画素のＭＶＤ精度まで実行することができ、又は半画素のＭＶＤ精度を超えるものはスキップすることができる。

[00107] ＡＭＶＰモードでは、現在のブロックのテンプレートと参照ブロックのテンプレートとの間の最小差に達するものを手に入れるためにテンプレートマッチングの誤差に基づいてＭＶＰ候補を決定し、次いでＴＭは、ＭＶ精密化に関して、この特定のＭＶＰ候補に対してのみ実行する。ＴＭは、反復的ダイヤモンド探索を使用することにより、［－８，＋８］画素の探索範囲内で、１画素ＭＶＤ精度（又は４画素対４画素（4-pel for 4-pel）ＡＭＶＲモード）から開始して、このＭＶＰ候補を精密化する。表１に指定するＡＭＶＲモードに応じて、１画素ＭＶＤ精度（又は４画素対４画素ＡＭＶＲモード）を有するクロス探索と、その後に続く半画素及び１／４画素のものを使用することにより、ＡＭＶＰ候補をさらに精密化することができる。この探索プロセスは、ＭＶＰ候補がＴＭプロセスの後でＡＭＶＲモードによって示されるのと同じＭＶ精度を引き続き保つことを確実にする。

[00108] マージ候補に関するＭＶＤをシグナリングする動きベクトル差分によるマージモード（ＭＭＶＤ）がＶＶＣに導入される。ＭＭＶＤモードがＣＵに使用されるかどうかを指定するために、通常のマージフラグを送信した直後にＭＭＶＤフラグがシグナリングされる。ＭＭＶＤでは、マージ候補が選択された後、シグナリングされるＭＶＤ情報によってその候補がさらに精密化される。さらなる情報は、マージ候補フラグ、動きの大きさを示すためのインデックス、及び動きの方向を指示するためのインデックスを含む。ＭＭＶＤモードでは、ＭＶの基礎として使用するためにマージリスト内の最初の２つの候補の１つが選択される。第１のマージ候補と第２のマージ候補との間でどちらを使用するのかを示すためのＭＭＶＤ候補フラグがシグナリングされる。

[00109] 距離インデックスは、動きの大きさの情報を指定し、開始点からの既定のオフセットを示す。ＭＭＶＤモードでは、開始ＭＶの水平成分又は垂直成分にオフセットが加えられる。距離インデックスと既定のオフセットとの関係を以下の表２に指定する。

[00110] 方向インデックスは、開始点に対するＭＶＤの方向を表す。方向インデックスは以下の表で示すように４つの方向を表し得る。開始ＭＶの情報に応じてＭＶＤの符号の意味を変えることができることを指摘しておく。現在のピクチャの同じ側を両方のリストがポイントした（例えば２つの参照のピクチャ順序カウント（ＰＯＣ）がどちらも現在のピクチャのＰＯＣよりも大きい、又はどちらも現在のピクチャのＰＯＣよりも小さい）状態で、開始ＭＶが単方向予測ＭＶ又は双方向予測ＭＶである場合、以下の表の符号は開始ＭＶに加えられるＭＶオフセットの符号を指定する。現在のピクチャの異なる側を２つのＭＶがポイントした（例えば一方の参照のＰＯＣが現在のピクチャのＰＯＣよりも大きく、他方の参照のＰＯＣが現在のピクチャのＰＯＣよりも小さい）状態で、開始ＭＶが双方向予測ＭＶであり、リスト０内のＰＯＣの差がリスト１内のＰＯＣの差よりも大きい場合、以下の表の符号は開始ＭＶのリスト０のＭＶ成分に加えられるＭＶオフセットの符号を指定し、リスト１のＭＶの符号は反対の値を有する。そうではなくリスト１内のＰＯＣの差がリスト０よりも大きい場合、以下の表の符号は開始ＭＶのリスト１のＭＶ成分に加えられるＭＶオフセットの符号を指定し、リスト０のＭＶの符号は反対の値を有する。

[00111] 最近、ＭＭＶＤがＧＰＭに適用されることが提唱されている。ＧＰＭモードを使用してＣＵが符号化される場合、各幾何学的区分はシグナリングされるＭＶＤ情報によって自らの動きが精密化されるかどうかを自由に選択することができる。２つの幾何学的区分にＭＭＶＤがそれぞれ適用されるかどうかを示すために、２つの追加のフラグがシグナリングされる。２つのＧＰＭ区分のＭＶを精密化するより柔軟な組み合わせを可能にするために、２つのＧＰＭ区分の２つの被選択ＭＶに以下の条件を適用できることを指摘しておく：
ａ．第１のＧＰＭ区分及び第２のＧＰＭ区分のどちらもＭＶ精密化を適用しない場合、２つのＧＰＭ区分の２つの被選択ＭＶが同一であることは認められない。
ｂ．２つのＧＰＭ区分の一方がＭＶ精密化を適用し、他方が適用しない場合、２つのＧＰＭ区分の２つの被選択ＭＶが同一であることは認められる。
ｃ．２つのＧＰＭ区分の両方がＭＶ精密化を適用する場合、２つの区分のＭＶ精密化が異なる場合は２つの被選択ＭＶが同じであることが認められ、２つのＭＶ精密化が同一である場合は同じであることが認められない。

[00112] ＴＭモードは、動きベクトル差分をシグナリングすることなしに復号器側において動きを精密化する。但し、それはＧＰＭではなく通常マージモードにしか適用されない。従ってＧＰＭは、ＧＰＭ区分のいずれか又は両方に関するより正確な動き予測を提供可能なＴＭモードの恩恵を受けることができない。

[00113] 本開示では、動きを精密化するためにＧＰＭにテンプレートマッチングを適用するための方法を提唱する。

[00114] 図１２は、本開示のいくつかの実施形態に係る、動きを精密化するためにＧＰＭにテンプレートマッチングを適用するための方法１２００の例示的なフローチャートを示す。方法１２００は、映像符号化プロセス（例えば図２Ａのプロセス２００Ａ又は図２Ｂのプロセス２００Ｂ）の一部として、又は装置（例えば図４の装置４００）の１つ以上のソフトウェア若しくはハードウェアコンポーネントによって実行されてもよい。例えばプロセッサ（例えば図４のプロセッサ４０２）が方法１２００を実行し得る。実施形態によっては、方法１２００は、コンピュータ（例えば図４の装置４００）によって実行される、プログラムコードなどのコンピュータ実行可能命令を含むコンピュータ可読媒体において具現化されるコンピュータプログラム製品によって実施され得る。図１２を参照し、方法１２００は以下のステップ１２０２～１２０６を含み得る。

[00115] ステップ１２０２において、ＣＵがＧＰＭによって符号化されているかどうかを判定する。

[00116] ステップ１２０４において、第１の区分及び第２の区分へとＣＵを分割するＧＰＭによってＣＵが符号化されていることに応答し、ＴＭが適用されるかどうかを示すためのパラメータをシグナリングする。例えばパラメータは、ＴＭがＣＵ全体に適用されるかどうかを示すために使用されるフラグとすることができ（例えばそのフラグはＣＵレベルでシグナリングされる）、又はＴＭが様々な区分にそれぞれ適用されるかどうかを示すために複数のパラメータ（例えばフラグ）を使用することができる。パラメータに関するさらなる詳細については以下でさらに説明する。

[00117] ステップ１２０６において、ＴＭが適用されていることに応答し、ＴＭを使用してＧＰＭ区分の動きを精密化する。ＣＵにＴＭが適用されない場合、動きは精密化されない。実施形態によっては、ＣＵにＴＭが適用されない場合は他の方法を使用して動きを精密化することができる。

[00118] 実施形態によっては、さらなる柔軟性を得るために、各区分に対してＴＭをそれぞれ適用するかどうかを決定する。例えば符号化ユニットがＧＰＭによって符号化される場合、第１の区分の（第１のマージインデックスによって示される）第１の動きがＴＭを使用して精密化されるかどうかを示すための第１のパラメータ（例えば第１のフラグ）がシグナリングされる。次いで、第２の区分の（第２のマージインデックスによって示される）第２の動きがＴＭを使用して精密化されるかどうかを示すための第２のパラメータ（例えば第２のフラグ）がシグナリングされる。一例を表４に示す。

[00119] 第１のパラメータ及び第２のパラメータがどちらも０に等しい場合、２つの区分にＴＭは適用されない。第１のパラメータが０に等しく第２のパラメータが１に等しい場合、第２の区分にだけＴＭが適用される。第１のパラメータが１に等しく第２のパラメータが０に等しい場合、第１の区分にだけＴＭが適用される。第１のパラメータ及び第２のパラメータがどちらも１に等しい場合、両方の区分にＴＭが適用される。

[00120] 表５に示すように、第１のパラメータ及び第２のパラメータは、第３のパラメータ（例えばインデックス）へと結合できることを指摘しておく。

[00121] 第３のパラメータが０に等しい場合、２つの区分にＴＭは適用されない。第１の区分の第１の動きも第２の区分の第２の動きもＴＭを使用して精密化されない。第３のパラメータが１に等しい場合、第２の区分にだけＴＭが適用される。第２の区分の第２の動きはＴＭを使用して精密化されるのに対し、第１の区分の第１の動きは精密化されない。第３のパラメータが２に等しい場合、第１の区分にだけＴＭが適用される。第１の区分の第１の動きはＴＭを使用して精密化されるのに対し、第２の区分の第２の動きは精密化されない。第３のパラメータが３に等しい場合、両方の区分にＴＭが適用される。第１の動き及び第２の動きの両方がＴＭを使用して精密化される。実施形態によっては、第３のパラメータが１に等しい場合、第１の区分にだけＴＭが適用される。第３のパラメータが２に等しい場合、第２の区分にだけＴＭが適用される。

[00122] 実施形態によっては、ＧＰＭの動きを精密化する場合、左及び／又は上の隣接サンプルからテンプレートが構成される。図１３Ａから図１３Ｃは、本開示のいくつかの実施形態に係るＧＰＭのための３つの例示的テンプレートをそれぞれ示す。

[00123] 図１３Ａに示すように、テンプレートは左の隣接サンプル及び上の隣接サンプルの両方から構成される。さらなる柔軟性を得るために、実施形態によっては上の隣接サンプル及び左の隣接サンプルの両方を常に使用する代わりに、左の隣接サンプルだけ又は上の隣接サンプルだけを使用することができる。図１３Ｂに示すように、テンプレートは上の隣接サンプルだけから構成される。図１３Ｃに示すように、テンプレートは左の隣接サンプルだけから構成される。さらに、ＧＰＭ符号化ブロックにＴＭが適用される場合、３つのテンプレートのどれが使用されるのかを示すために複数のパラメータがシグナリングされる。例えばテンプレートを示すためのインデックスがシグナリングされる。インデックスが０に等しい場合、（図１３Ａに示すように）テンプレートを構成するために上の隣接サンプル及び左の隣接サンプルが使用される。インデックスが１に等しい場合、（図１３Ｂに示すように）上の隣接サンプルが使用される。インデックスが２に等しい場合、（図１３Ｃに示すように）左の隣接サンプルが使用される。実施形態によっては、３つのテンプレートをそれぞれ示す３つのパラメータがシグナリングされる。

[00124] 各区分がテンプレートを個別に選択できると考えられる。例えば第１の区分はテンプレートとして上の隣接サンプルを選択することができ、第２の区分はテンプレートとして左の隣接サンプルを選択することができる。

[00125] 上記の実施形態は任意の適切なやり方で組み合わせることができる。図１４は、本開示のいくつかの実施形態に係る、動きを精密化するためにＧＰＭにテンプレートマッチングを適用するための方法１４００の別の例示的なフローチャートを示す。図１４に示すように、方法１４００は以下のステップ１４０２～１４１０を含み得る。

[00126] ステップ１４０２において、ＣＵがＧＰＭによって符号化されているかどうかを判定する。

[00127] ステップ１４０４において、第１の区分及び第２の区分へとＣＵを分割するＧＰＭによってＣＵが符号化されていることに応答し、第１の区分にＴＭが適用されるかどうかを示すための第１のパラメータ（例えば第１のフラグ）をシグナリングする。

[00128] ステップ１４０６において、第２の区分にＴＭが適用されるかどうかを示すための第２のパラメータ（例えば第２のフラグ）をシグナリングする。従って、区分にＴＭが適用されているかどうかを個々に明らかにすることができる。

[00129] ステップ１４０８において、第１の区分にＴＭが適用されていることに応答し、第１の区分の動きを精密化するために３つのテンプレートのどれが使用されるのかを示すための第１のインデックスをシグナリングする。第１の区分にＴＭが適用されない場合、第１のインデックスはシグナリングされない。

[00130] ステップ１４１０において、第２の区分にＴＭが適用されていることに応答し、第２の区分の動きを精密化するために３つのテンプレートのどれが使用されるのかを示すための第２のインデックスをシグナリングする。第２の区分にＴＭが適用されない場合、第２のインデックスはシグナリングされない。

[00131] これで、第１のインデックスによって決定されたテンプレートと共にＴＭを使用して第１の区分の動きを精密化することができ、第２のインデックスによって決定されたテンプレートと共にＴＭを使用して第２の区分の動きを精密化することができる。

[00132] 実施形態によっては、どのテンプレートを使用するのかをシグナリングする代わりに、ＧＰＭに基づいてテンプレートを導出することを提唱する。

[00133] 図１５Ａ及び図１５Ｂは、本開示のいくつかの実施形態に係る、ＧＰＭのための例示的テンプレートの別の改変形態を示す。概して、所与のＧＰＭ区分のためのテンプレートのインデックスをシグナリングする代わりに、テンプレート（左の隣接サンプル、上の隣接サンプル、又は左の隣接サンプル及び上の隣接サンプルの両方）の選択はＧＰＭの区分モードに依存し得る。ＧＰＭ区分のいずれかを例に取り、ＧＰＭ区分が上の隣接サンプルだけを有する場合は上のテンプレートだけが使用され、ＧＰＭ区分が左の隣接サンプルだけを有する場合は左のテンプレートだけが使用され、ＧＰＭ区分が上の隣接サンプル及び左の隣接サンプルの両方を有する場合は上のテンプレート及び左のテンプレートの両方が使用される。

[00134] 図１５Ａに示すように、第１の区分１５１０Ａでは、動きを精密化するために上のテンプレート１５１１Ａだけが使用される。第２の区分１５２０Ａでは、動きを精密化するために左のテンプレート１５２１Ａだけが使用される。

[00135] 図１５Ｂに示すように、第１の区分１５１０Ｂでは、動きを精密化するために左のテンプレート及び上のテンプレートの両方１５１１Ｂが使用される。第２の区分１５２０Ｂでは、動きを精密化するために上のテンプレート１５２１Ｂだけが使用される。

[00136] 実施形態によっては、テンプレートがＧＰＭ区分角度に基づいて導出される。図１６は、本開示のいくつかの実施形態に係る、ＧＰＭ区分モードとＧＰＭ区分角度との間の例示的関係を示す。シンタックス内では、ＧＰＭ区分モードはｍｅｒｇｅ＿ｇｐｍ＿ｐａｒｔｉｔｉｏｎ＿ｉｄｘと示すことができ、ＧＰＭ区分角度はａｎｇｌｅＩｄｘと示すことができ、距離はｄｉｓｔａｎｃｅＩｄｘと示すことができる。図１６に示すように、２０個の角度及び４個の距離を含む合計６４個の区分モードがある。

[00137] ＧＰＭの動きの精密化中、テンプレートが、区分角度に従って左の隣接サンプルだけから、上の隣接サンプルだけから、又は左の隣接サンプル及び上の隣接サンプルの両方から最初に選択される。テンプレートの選択に関する基本原理は次のとおりである。区分について、上の隣接サンプル及び左の隣接サンプルを決定する。その区分で上の隣接サンプルだけが利用でき、左の隣接サンプルが利用できない場合、テンプレートは上の隣接サンプルだけから選択される。その区分で左の隣接サンプルだけが利用でき、上の隣接サンプルが利用できない場合、テンプレートは左の隣接サンプルだけから選択される。左の隣接サンプル及び上の隣接サンプルの両方が利用できる場合、テンプレートは左の隣接サンプル及び上の隣接サンプルの両方から選択される。

[00138] 図１７は、本開示のいくつかの実施形態に係る１６×１６ブロックに関する例示的な角度を示す。図１７に示すように、ブロックは例えば区分角度として示す異なる数値を有する様々な角度で区分することができる。図１８Ａ～図１８Ｔは、本開示のいくつかの実施形態に係る、１６×１６ブロックに関する、図１７に示す区分角度ごとの様々なＧＰＭ区分モードの各サンプルの例示的な重みを示す。図１８Ａ～図１８Ｔに示すように、ＣＵが分割線によって第１の区分１８１０及び第２の区分１８２０に分割される。適応重みを使用し、幾何学的区分の縁（分割線）に沿ったサンプル値を調節する。第１の区分１８１０は第１のマージインデックスによって示される第１の動きを使用して予測され、第２の区分１８２０は第２のマージインデックスによって示される第２の動きを使用して予測される。第１のマージインデックス及び第２のマージインデックスは、ブロックがＧＰＭを使用して符号化される場合にシグナリングされる。とりわけ図１８Ａ、図１８Ｂ、図１８Ｃ、図１８Ｉ、図１８Ｊ、図１８Ｋ、図１８Ｌ、図１８Ｍ、図１８Ｓ、及び図１８Ｔに示すように、区分角度０、２、３、１３、１４、１６、１８、１９、２９、及び３０のそれぞれについて、第１の動きを使用して予測される第１の区分のためのテンプレートとして上の隣接サンプルが選択され、第２の動きを使用して予測される第２の区分のためのテンプレートとして左の隣接サンプル及び上の隣接サンプルが選択される。図１８Ｄ及び図１８Ｎに示すように、区分角度４及び２０のそれぞれについて、第１の区分のためのテンプレートとして上の隣接サンプルが選択され、第２の区分のためのテンプレートとして左の隣接サンプルが選択される。図１８Ｅ、図１８Ｆ、図１８Ｇ、図１８Ｏ、図１８Ｐ、及び図１８Ｑに示すように、区分角度５、８、１１、２１、２４、及び２７のそれぞれについて、第１の区分のためのテンプレートとして左の隣接サンプル及び上の隣接サンプルがどちらも選択され、第２の区分のためのテンプレートとして左の隣接サンプルが選択される。区分角度１２及び２８では、第１の区分及び第２の区分のためのテンプレートとして左の隣接サンプル及び上の隣接サンプルがどちらも選択される。

[00139] ＧＰＭの動きを精密化するとき、探索パターンは表１に示すパターンのいずれか１つとすることができる。実施形態によっては、探索方法は、代替的な補間フィルタがオフの状態でマージモードに使用される方法と同じであり得る。

[00140] 図１９は、本開示のいくつかの実施形態に係る、動きを精密化するためにＧＰＭにテンプレートマッチングを適用するための方法１９００の別の例示的なフローチャートを示す。方法１９００は、映像符号化プロセス（例えば図２Ａのプロセス２００Ａ又は図２Ｂのプロセス２００Ｂ）として、又は装置（例えば図４の装置４００）の１つ以上のソフトウェア若しくはハードウェアコンポーネントによって実行されてもよい。例えばプロセッサ（例えば図４のプロセッサ４０２）が方法１９００を実行し得る。実施形態によっては、方法１９００は、コンピュータ（例えば図４の装置４００）によって実行される、プログラムコードなどのコンピュータ実行可能命令を含むコンピュータ可読媒体において具現化されるコンピュータプログラム製品によって実施され得る。図１９を参照し、方法１９００は以下のステップ１９０２～１９１２を含み得る。

[00141] ステップ１９０２において、ＣＵがＴＭモードによって符号化されているかどうかを判定する。

[00142] ステップ１９０４において、ＣＵがＴＭモードによって符号化されていることに応答し、ＣＵが２つの区分に分割されＧＰＭを使用して予測されるかどうかを示すためのフラグをシグナリングする。例えばフラグが１に等しい場合、ＣＵが第１の区分及び第２の区分へと分割され、ＧＰＭが予測に使用される。フラグが０に等しい場合、ＧＰＭは適用されず、ＣＵは分割されない。

[00143] ステップ１９０６において、ＣＵにＧＰＭが適用されていることに応答し、１つの区分モード及び２つのマージインデックスをさらにシグナリングする。従ってＧＰＭが適用される場合、ＣＵは区分モードに基づいて分割される。第１の区分及び第２の区分それぞれの２つの動きを示す２つのマージインデックスがシグナリングされる。

[00144] ステップ１９０８において、ＴＭを使用して２つのマージインデックスによって示された２つの動きを精密化する。

[00145] 実施形態によっては、方法１９００がステップ１９１０及び１９１２をさらに含み得る。

[00146] ステップ１９１０において、精密化した動きを使用して動き補償を行う。

[00147] ステップ１９１２において、区分モードに従って幾何学的区分の縁に沿った混合プロセスを適用する。

[00148] 実施形態によっては、ステップ１９１０及び１９１２は、任意の他の方法、例えばＧＰＭによって符号化されるＣＵの動きを精密化するためにＴＭが使用される方法１２００及び１４００内で実行することができる。

[00149] ＧＰＭにＴＭを適用する方法は、ＡＶＳ３規格におけるＡＷＰモードにも適用できることを指摘しておく。

[00150] 図２０は、本開示のいくつかの実施形態に係る、動きを精密化するためにＧＰＭにテンプレートマッチングを適用するための方法２０００の別の例示的なフローチャートを示す。方法２０００は、映像復号化プロセス（例えば図３Ａのプロセス３００Ａ又は図３Ｂのプロセス３００Ｂ）の一部として、又は装置（例えば図４の装置４００）の１つ以上のソフトウェア若しくはハードウェアコンポーネントによって実行されてもよい。例えばプロセッサ（例えば図４のプロセッサ４０２）が方法２０００を実行し得る。実施形態によっては、方法２０００は、コンピュータ（例えば図４の装置４００）によって実行される、プログラムコードなどのコンピュータ実行可能命令を含むコンピュータ可読媒体において具現化されるコンピュータプログラム製品によって実施され得る。図２０を参照し、方法２０００は以下のステップ２００２～２００８を含み得る。

[00151] ステップ２００２において、符号化ユニットを含むビットストリーム（例えば図３Ｂの映像ビットストリーム２２８）が復号器によって受信される。

[00152] ステップ２００４において、ＣＵがＧＰＭによって符号化されているかどうかを判定する。

[00153] ステップ２００６において、第１の区分及び第２の区分へとＣＵを分割するＧＰＭによってブロックが符号化されていることに応答し、ＴＭが適用されているかどうかを示すためのパラメータ（例えばフラグ）を復号化する。実施形態によっては、パラメータは各区分に対してＴＭがそれぞれ適用されているかどうかを示す複数のフラグを含み得る（再び表４を参照する）。実施形態によっては、パラメータはＴＭに適用されている区分の組み合わせを示すインデックスを含み得る（再び表５を参照する）。

[00154] ステップ２００８において、ＴＭが適用されていることに応答し、ＴＭを使用してＧＰＭ区分の動きを精密化する。ＣＵにＴＭが適用されない場合、動きは精密化されない。実施形態によっては、ＣＵにＴＭが適用されない場合は他の方法を使用して動きを精密化することができる。

[00155] 本開示では、ＧＰＭをＭＭＶＤ及びＴＭと組み合わせる方法をさらに提供する。

[00156] 実施形態によっては、ＭＭＶＤ及びＴＭを同じＣＵに適用することはできない。ＧＰＭを使用してＣＵが符号化される場合、ＣＵにＴＭが適用されるかどうかを示すための第１のパラメータ（例えば第１のフラグ）がシグナリングされる。ＴＭが適用される場合、ＧＰＭ及び２つのマージインデックスがさらにシグナリングされる。次いで、２つのＧＰＭ区分の両方の動きがＴＭを使用して精密化される。ＣＵにＴＭが適用されない場合、ＧＰＭ区分にＭＭＶＤが適用されるかどうかを示すための第２のパラメータがシグナリングされる。ＧＰＭ区分にＭＭＶＤが適用される場合、ＭＶＤ情報がさらにシグナリングされ、シグナリングされたＭＶＤ情報を使用して動きが精密化される。一例では、第２のパラメータが第２のフラグ及び第３のフラグを含む。第２のフラグは第１のＧＰＭ区分にＭＭＶＤが適用されるかどうかを示し、第３のフラグは第２のＧＰＭ区分にＭＭＶＤが適用されるかどうかを示す。別の例では、第２のパラメータが第４のフラグだけを含み、第４のフラグは２つのＧＰＭ区分の両方にＭＭＶＤが適用されるかどうかを示す。

[00157] 実施形態によっては、ＭＭＶＤ及びＴＭを同じＧＰＭ区分に適用することはできない。ＣＵがＧＰＭによって符号化される場合、ＣＵは２つのＧＰＭ区分に分割される。それぞれのＧＰＭ区分について、ＧＰＭ区分にＴＭが適用されるかどうかを示すための第１のパラメータがシグナリングされる。ＴＭが適用される場合、ＧＰＭ区分の動きがＴＭを使用して精密化される。ＴＭが適用されない場合、ＧＰＭ区分にＭＭＶＤが適用されるかどうかを示すための第２のパラメータがシグナリングされる。ＧＰＭ区分にＴＭが適用されることを第１のパラメータが示す場合、第２のパラメータはシグナリングされないことを指摘しておく。２つのＧＰＭ区分は、動きを精密化するためにＴＭ又はＭＭＶＤを使用するのかどうかを個別に選択できることも指摘しておく。つまり、一方のＧＰＭ区分の動きはＴＭを使用して精密化することができ、他方のＧＰＭ区分の動きはＭＭＶＤを使用して精密化することができる。

[00158] 実施形態によっては、２つのパラメータ（ＴＭが適用されるかどうかを示すパラメータとＭＭＶＤが適用されるかどうかを示す別のパラメータ）のシグナリングの順序を並べ替えることができる。ＭＭＶＤが適用されているかどうかを示すパラメータは、ＴＭが適用されているかどうかを示すパラメータの前にシグナリングすることができる。パラメータが、ＭＭＶＤが最初にシグナリングされ、ＭＭＶＤがＧＰＭ区分に適用されるかどうかを示す場合、ＴＭが適用されているかどうかを示すパラメータはもはやシグナリングされず、オフだと推論される。従ってＧＰＭ区分にＴＭは適用されない。図２１は、本開示のいくつかの実施形態に係る、ＧＰＭ、ＴＭ、及びＭＭＶＤを適用するための方法２１００の例示的なフローチャートを示す。方法２１００は、映像符号化プロセス（例えば図２Ａのプロセス２００Ａ又は図２Ｂのプロセス２００Ｂ）の一部として、又は装置（例えば図４の装置４００）の１つ以上のソフトウェア若しくはハードウェアコンポーネントによって実行されてもよい。例えばプロセッサ（例えば図４のプロセッサ４０２）が方法２１００を実行し得る。実施形態によっては、方法２１００は、コンピュータ（例えば図４の装置４００）によって実行される、プログラムコードなどのコンピュータ実行可能命令を含むコンピュータ可読媒体において具現化されるコンピュータプログラム製品によって実施され得る。図２１を参照し、方法２１００は以下のステップ２１０２～２１１０を含み得る。

[00159] ステップ２１０２において、ＣＵがＧＰＭによって符号化されているかどうかを判定する。

[00160] ステップ２１０４において、第１の区分及び第２の区分へとＣＵを分割するＧＰＭによってＣＵが符号化されていることに応答し、第１の区分にＭＭＶＤが適用されるかどうかを示すための第１のパラメータをシグナリングする。例えば第１のパラメータは第１のフラグであり得る。第１のフラグが１に等しい場合、第１の区分にＭＭＶＤが適用される。第１のフラグが０に等しい場合、第１の区分にＭＭＶＤが適用されない。

[00161] ステップ２１０６において、第２の区分にＭＭＶＤが適用されるかどうかを示すための第２のパラメータをシグナリングする。例えば第２のパラメータは第２のフラグであり得る。第２のフラグが１に等しい場合、第２の区分にＭＭＶＤが適用される。第２のフラグが０に等しい場合、第２の区分にＭＭＶＤが適用されない。

[00162] ステップ２１０８において、第１の区分又は第２の区分のいずれにもＭＭＶＤが適用されないという判定に応答し、第１の区分及び第２の区分の両方にＴＭが適用されるかどうかを示すための第３のパラメータをシグナリングする。例えば第３のパラメータは第３のフラグであり得る。第３のフラグが１に等しい場合、両方の区分にＴＭが適用される。第３のフラグが０に等しい場合、どちらの区分にもＴＭが適用されない。

[00163] ステップ２１１０において、第１の区分及び第２の区分の両方にＴＭが適用されていることに応答し、ＴＭを使用して第１の区分及び第２の区分の動きを精密化する。さらに実施形態によっては、動きを精密化するために使用されるテンプレートが区分モード又は区分角度に従って決定される。

[00164] 図２２は、本開示のいくつかの実施形態に係る、ＧＰＭ、ＴＭ、及びＭＭＶＤを適用するための方法２２００の例示的なフローチャートを示す。方法２１００は、映像復号化プロセス（例えば図３Ａのプロセス３００Ａ又は図３Ｂのプロセス３００Ｂ）の一部として、又は装置（例えば図４の装置４００）の１つ以上のソフトウェア若しくはハードウェアコンポーネントによって実行されてもよい。例えばプロセッサ（例えば図４のプロセッサ４０２）が方法２２００を実行し得る。実施形態によっては、方法２２００は、コンピュータ（例えば図４の装置４００）によって実行される、プログラムコードなどのコンピュータ実行可能命令を含むコンピュータ可読媒体において具現化されるコンピュータプログラム製品によって実施され得る。図２２を参照し、方法２２００は以下のステップ２２０２～２２１２を含み得る。

[00165] ステップ２２０２において、符号化ユニットを含むビットストリーム（例えば図３Ｂの映像ビットストリーム２２８）が復号器によって受信される。

[00166] ステップ２２０４において、ＣＵがＧＰＭによって符号化されているかどうかを判定する。

[00167] ステップ２２０６において、第１の区分及び第２の区分へとＣＵを分割するＧＰＭによってブロックが符号化されていることに応答し、第１の区分にＭＭＶＤが適用されているかどうかを示す第１のパラメータを復号化する。例えば第１のパラメータは第１のフラグとすることができ、第１のフラグが１に等しい場合、第１の区分にＭＭＶＤが適用され、第１のフラグが０に等しい場合、第１の区分にＭＭＶＤが適用されない。

[00168] ステップ２２０８において、第２の区分にＭＭＶＤが適用されているかどうかを示す第２のパラメータを復号化する。例えば第２のパラメータは第２のフラグとすることができ、第２のフラグが１に等しい場合、第２の区分にＭＭＶＤが適用され、第２のフラグが０に等しい場合、第２の区分にＭＭＶＤが適用されない。

[00169] ステップ２２１０において、第１の区分又は第２の区分にＭＭＶＤが適用されないという判定に応答し、第１の区分及び第２の区分の両方にＴＭが適用されているかどうかを示す第３のパラメータを復号化する。例えば第３のパラメータは第３のフラグとすることができ、第３のフラグが１に等しい場合、両方の区分にＴＭが適用され、第３のフラグが０に等しい場合、どちらの区分にもＴＭが適用されない。

[00170] ステップ２２１０において、第１の区分及び第２の区分の両方にＴＭが適用されていることに応答し、ＴＭを使用して第１の区分及び第２の区分の動きを精密化する。さらに実施形態によっては、動きを精密化するために使用されるテンプレートが区分モード又は区分角度に従って決定される。実施形態によっては、動きを精密化するために使用されるテンプレートが複数のパラメータを復号化することによって決定される。

[00171] 実施形態によっては、ＭＭＶＤ及びＴＭを同じＧＰＭ区分に適用することができる。ＧＰＭ区分ごとに、ＴＭ及びＭＭＶＤが適用されるかどうかを示すための第１のパラメータ及び第２のパラメータがそれぞれシグナリングされる。一例では、ＴＭ及びＭＭＶＤの両方がＧＰＭ区分に適用される場合、ＴＭを使用して動きを最初に精密化する。次いでシグナリングされたＭＶＤ情報を加えることにより、精密化済みの動きをさらに修正する。別の例では、ＴＭ及びＭＭＶＤの両方がＧＰＭ区分に適用される場合、シグナリングされたＭＶＤ情報が動きに最初に加えられる。次いで、修正済みの動きがＴＭの開始点として使用され、ＴＭによって精密化される。

[00172] 実施形態によっては、シグナリングされるＭＶＤ情報が複数の条件を満たす場合にのみ、ＭＭＶＤ及びＴＭを同じＧＰＭ区分に適用することができる。一例では、複数の条件は、シグナリングされるＭＶＤ情報の距離インデックスが既定値未満であること（例えば１、つまりＭＶＤオフセットが１／２画素未満であること）を含む。ＧＰＭ区分ごとに、ＭＭＶＤが適用されるかどうかを示すための第２のパラメータがシグナリングされる。ＭＭＶＤが適用される場合、距離インデックス及び方向インデックスを含むＭＶＤ情報がさらにシグナリングされる。距離インデックスが既定値未満である場合、ＴＭが適用されるかどうかを示すための第１のパラメータがシグナリングされる。ＭＭＶＤが適用されない場合、ＴＭが適用されるかどうかを示すための第１のパラメータが常にシグナリングされる。別の例では、複数の条件は、シグナリングされるＭＶＤ情報の距離インデックスが既定値を上回ることを含む。

[00173] 実施形態によっては、ＧＰＭによって符号化されたＣＵのサイズ／符号化モードが一定の条件を満たす場合にのみ、ＭＭＶＤ及びＴＭを同じＧＰＭ区分に適用することができる。一例では、ＣＵの幅及び／又は高さが既定の閾値（例えば１６又は３２）を上回る場合、ＭＭＶＤ及びＴＭを同じＧＰＭ区分に両方適用することができる。別の例では、ＣＵのアスペクト比が既定の閾値未満である場合、ＭＭＶＤ及びＴＭを同じＧＰＭ区分に両方適用することができる。アスペクト比はＣＵ＿ｗｉｄｔｈ＞ＣＵ＿ｈｅｉｇｈｔが成立する場合、ＣＵ＿ｗｉｄｔｈ／ＣＵ＿ｈｅｉｇｈｔ、又はＣＵ＿ｈｅｉｇｈｔ＞＝ＣＵ＿ｗｉｄｔｈが成立する場合、ＣＵ＿ｈｅｉｇｈｔ／ＣＵ＿ｗｉｄｔｈとして定めることができる。別の例では、スキップモードではなくマージモードを使用してＣＵが符号化される場合、ＭＭＶＤ及びＴＭを同じＧＰＭ区分に両方適用することができる。別の例では、マージモードではなくスキップモードを使用してＣＵが符号化される場合、ＭＭＶＤ及びＴＭを同じＧＰＭ区分に両方適用することができる。

[00174] 実施形態は、以下の条項を用いてさらに記述することができる。
１．ＧＰＭ（geometric partition mode）によって符号化された符号化ユニットを含むビットストリームを受信すること、
符号化ユニットに関連する第１のパラメータを復号化することであって、第１のパラメータは符号化ユニットにテンプレートマッチングが適用されているかどうかを示す、復号化すること、及び
第１のパラメータに従って符号化ユニットに関する動き情報を決定することであって、符号化ユニットにテンプレートマッチングが適用されていることを第１のパラメータが示す場合、テンプレートマッチングを使用して動き情報が精密化される、決定すること
を含む、映像復号化方法。
２．符号化ユニットが第１の区分及び第２の区分に分割され、符号化ユニットの動き情報が第１の区分の第１の動き及び第２の区分の第２の動きを含み、第１のパラメータが第１のフラグを含み、テンプレートマッチングを使用して動き情報が精密化されることが
第１のフラグに従って、テンプレートマッチングを使用し、第１の区分の第１の動き及び第２の区分の第２の動きの両方を精密化すること
をさらに含む、条項１に記載の方法。
３．符号化ユニットが第１の区分及び第２の区分に分割され、第１のパラメータは第１の区分にテンプレートマッチングが適用されているかどうかを示す第１のフラグ及び第２の区分にテンプレートマッチングが適用されているかどうかを示す第２のフラグを含み、動き情報の精密化が
第１のフラグに従って、テンプレートマッチングを使用し、第１の区分の第１の動きを精密化すること、及び
第２のフラグに従って、テンプレートマッチングを使用し、第２の区分の第２の動きを精密化すること
をさらに含む、条項１に記載の方法。
４．符号化ユニットが第１の区分及び第２の区分に分割され、第１のパラメータは第１の区分及び第２の区分にテンプレートマッチングが適用されているかどうかを示すインデックスを含み、動き情報の精密化が、
第１の区分の第１の動き、第２の区分の第２の動き、又は第１の区分の第１の動き及び第２の区分の第２の動きの両方を、インデックスの値に従って精密化すること
をさらに含む、条項１に記載の方法。
５．符号化ユニットが第１の区分及び第２の区分に分割され、動き情報が第１の区分の第１の動き及び第２の区分の第２の動きを含み、動き情報の精密化が、
第１の区分のための第１のテンプレートを構成することであって、第１のテンプレートは第１の隣接サンプルのセットから構成されること、
第２の区分のための第２のテンプレートを構成することであって、第２のテンプレートは第２の隣接サンプルのセットから構成されること、
第１のテンプレート及び第２のテンプレートを使用して第１の動き及び第２の動きをそれぞれ精密化すること
をさらに含み、
第１の隣接サンプルのセット及び第２の隣接サンプルのセットのそれぞれは、
左の隣接サンプルだけ、
上の隣接サンプルだけ、又は
左の隣接サンプル及び上の隣接サンプルの両方
から選択される１つ以上の隣接サンプルを含む、
条項１～４のいずれか一項に記載の方法。
６．第１の隣接サンプルのセットが第１の区分の左の隣接サンプル及び上の隣接サンプルの可用性に基づいて選択され、
第２の隣接サンプルのセットが第２の区分の左の隣接サンプル及び上の隣接サンプルの可用性に基づいて選択される、
条項５に記載の方法。
７．第１のテンプレート及び第２のテンプレートをＧＰＭ区分モードに基づいて構成すること
をさらに含む、条項５又は６に記載の方法。
８．第１のテンプレート及び第２のテンプレートをＧＰＭ区分角度に基づいて構成すること
をさらに含む、条項７に記載の方法。
９．第１のテンプレートに関連する第２のパラメータを復号化すること、
第２のテンプレートに関連する第３のパラメータを復号化すること
をさらに含み、第２のパラメータ及び第３のパラメータは、第１の隣接サンプルのセット及び第２の隣接サンプルのセットが、
左の隣接サンプルだけ、
上の隣接サンプルだけ、又は
左の隣接サンプル及び上の隣接サンプルの両方
から選択されるかどうかをそれぞれ示す、条項５～８のいずれか一項に記載の方法。
１０．第１の隣接サンプルのセットが第２の隣接サンプルのセットと異なる、条項５～９のいずれか一項に記載の方法。
１１．第１の隣接サンプルのセットが第２の隣接サンプルのセットと同じである、条項５～９のいずれか一項に記載の方法。
１２．精密化した動きを使用して動き補償を行うこと、及び
ＧＰＭ区分モードに従って幾何学的区分の縁に沿った混合プロセスを適用すること
をさらに含む、条項１～１１のいずれか一項に記載の方法。
１３．符号化ユニットにテンプレートマッチングが適用されていないことに応答し、動きベクトル差分によるマージモード（ＭＭＶＤ）が適用されているかどうかを示す第２のパラメータを復号化すること、
ＭＭＶＤが適用されていることに応答し、動きベクトル差分（ＭＶＤ）情報を復号化すること、及び
ＭＶＤ情報を使用して動きを精密化すること
をさらに含む、条項１～１２のいずれか一項に記載の方法。
１４．第２のパラメータは、第１の区分にＭＭＶＤが適用されているかどうかを示す第１のフラグ、及び第２の区分にＭＭＶＤが適用されているかどうかを示す第２のフラグを含む、条項１３に記載の方法。
１５．符号化ユニットが第１の区分及び第２の区分に分割され、方法が、
第１の区分にＭＭＶＤが適用されているかどうかを示す第２のパラメータを復号化すること、
第２の区分にＭＭＶＤが適用されているかどうかを示す第３のパラメータを復号化すること、
第１の区分又は第２の区分にＭＭＶＤが適用されていないことに応答し、第１の区分及び第２の区分の両方にテンプレートマッチングが適用されているかどうかを、第１のパラメータに従って判定すること、
第１の区分及び第２の区分の両方にテンプレートマッチングが適用されていることに応答し、テンプレートマッチングを使用して第１の区分及び第２の区分の動き情報を精密化すること
をさらに含む、条項１～１２のいずれか一項に記載の方法。
１６．動きを精密化するために使用されるテンプレートが区分モードに基づいて決定される、条項１５に記載の方法。
１７．映像データ処理を行うための装置であって、
命令を記憶するように構成されるメモリと、
１つ以上のプロセッサと、を含み、１つ以上のプロセッサが命令を実行して、
ＧＰＭ（geometric partition mode）によって符号化された符号化ユニットを含むビットストリームを受信すること、
符号化ユニットに関連する第１のパラメータを復号化することであって、第１のパラメータは符号化ユニットにテンプレートマッチングが適用されているかどうかを示す、復号化すること、及び
第１のパラメータに従って符号化ユニットに関する動き情報を決定することであって、符号化ユニットにテンプレートマッチングが適用されることを第１のパラメータが示す場合、テンプレートマッチングを使用して動き情報が精密化される、決定すること
を装置に行わせるように構成される、装置。
１８．符号化ユニットが第１の区分及び第２の区分に分割され、符号化ユニットの動き情報が第１の区分の第１の動き及び第２の区分の第２の動きを含み、第１のパラメータが第１のフラグを含み、
プロセッサが命令を実行して、
第１のフラグに従って、テンプレートマッチングを使用し、第１の区分の第１の動き及び第２の区分の第２の動きの両方を精密化すること
を装置に行わせるように構成される、
条項１７に記載の装置。
１９．符号化ユニットが第１の区分及び第２の区分に分割され、第１のパラメータは第１の区分にテンプレートマッチングが適用されているかどうかを示す第１のフラグ及び第２の区分にテンプレートマッチングが適用されているかどうかを示す第２のフラグを含み、
プロセッサが命令を実行して、
第１のフラグに従って、テンプレートマッチングを使用し、第１の区分の第１の動きを精密化すること、及び
第２のフラグに従って、テンプレートマッチングを使用し、第２の区分の第２の動きを精密化すること
を装置に行わせるようにさらに構成される、
条項１７に記載の装置。
２０．符号化ユニットが第１の区分及び第２の区分に分割され、第１のパラメータは第１の区分及び第２の区分にテンプレートマッチングが適用されているかどうかを示すインデックスを含み、
プロセッサが命令を実行して、
第１の区分の第１の動き、第２の区分の第２の動き、又は第１の区分の第１の動き及び第２の区分の第２の動きの両方を、インデックスの値に従って精密化すること
を装置に行わせるようにさらに構成される、
条項１７に記載の装置。
２１．符号化ユニットが第１の区分及び第２の区分に分割され、動き情報が第１の区分の第１の動き及び第２の区分の第２の動きを含み、
プロセッサが命令を実行して、
第１の区分のための第１のテンプレートを構成することであって、第１のテンプレートは第１の隣接サンプルのセットから構成されること、
第２の区分のための第２のテンプレートを構成することであって、第２のテンプレートは第２の隣接サンプルのセットから構成されること、
第１のテンプレート及び第２のテンプレートを使用して第１の動き及び第２の動きをそれぞれ精密化すること
を装置に行わせるようにさらに構成され、
第１の隣接サンプルのセット及び第２の隣接サンプルのセットのそれぞれは、
左の隣接サンプルだけ、
上の隣接サンプルだけ、又は
左の隣接サンプル及び上の隣接サンプルの両方
から選択される１つ以上の隣接サンプルを含む、
条項１７～２０のいずれか一項に記載の装置。
２２．第１の隣接サンプルのセットが第１の区分の左の隣接サンプル及び上の隣接サンプルの可用性に基づいて選択され、
第２の隣接サンプルのセットが第２の区分の左の隣接サンプル及び上の隣接サンプルの可用性に基づいて選択される、
条項２１に記載の装置。
２３．プロセッサが命令を実行して、
第１のテンプレート及び第２のテンプレートをＧＰＭ区分モードに基づいて構成すること
を装置に行わせるようにさらに構成される、
条項２１又は２２に記載の装置。
２４．プロセッサが命令を実行して、
第１のテンプレート及び第２のテンプレートをＧＰＭ区分角度に基づいて構成すること
を装置に行わせるようにさらに構成される、
条項２３に記載の装置。
２５．プロセッサが命令を実行して、
第１のテンプレートに関連する第２のパラメータを復号化すること、
第２のテンプレートに関連する第３のパラメータを復号化すること
を装置に行わせるようにさらに構成され、
第２のパラメータ及び第３のパラメータは、第１の隣接サンプルのセット及び第２の隣接サンプルのセットが、
左の隣接サンプルだけ、
上の隣接サンプルだけ、又は
左の隣接サンプル及び上の隣接サンプルの両方
から選択されるかどうかをそれぞれ示す、条項２１～２４のいずれか一項に記載の装置。
２６．第１の隣接サンプルのセットが第２の隣接サンプルのセットと異なる、条項２１～２５のいずれか一項に記載の装置。
２７．第１の隣接サンプルのセットが第２の隣接サンプルのセットと同じである、条項２１～２５のいずれか一項に記載の装置。
２８．プロセッサが命令を実行して、
精密化した動きを使用して動き補償を行うこと、及び
ＧＰＭ区分モードに従って幾何学的区分の縁に沿った混合プロセスを適用すること
を装置に行わせるようにさらに構成される、
条項１７～２７のいずれか一項に記載の装置。
２９．プロセッサが命令を実行して、
符号化ユニットにテンプレートマッチングが適用されていないことに応答し、動きベクトル差分によるマージモード（ＭＭＶＤ）が適用されているかどうかを示す第２のパラメータを復号化すること、
ＭＭＶＤが適用されていることに応答し、動きベクトル差分（ＭＶＤ）情報を復号化すること、及び
ＭＶＤ情報を使用して動きを精密化すること
を装置に行わせるようにさらに構成される、
条項１７～２８のいずれか一項に記載の装置。
３０．第２のパラメータは、第１の区分にＭＭＶＤが適用されているかどうかを示す第１のフラグ、及び第２の区分にＭＭＶＤが適用されているかどうかを示す第２のフラグを含む、条項２９に記載の装置。
３１．符号化ユニットが第１の区分及び第２の区分に分割され、
プロセッサが命令を実行して、
第１の区分にＭＭＶＤが適用されているかどうかを示す第２のパラメータを復号化すること、
第２の区分にＭＭＶＤが適用されているかどうかを示す第３のパラメータを復号化すること、
第１の区分又は第２の区分にＭＭＶＤが適用されていないことに応答し、第１の区分及び第２の区分の両方にテンプレートマッチングが適用されるかどうかを第１のパラメータに従って判定すること、
第１の区分及び第２の区分の両方にテンプレートマッチングが適用されていることに応答し、テンプレートマッチングを使用して第１の区分及び第２の区分の動き情報を精密化すること
を装置に行わせるようにさらに構成される、
条項１７～２８のいずれか一項に記載の装置。
３２．動きを精密化するために使用されるテンプレートが区分モードに基づいて決定される、条項３１に記載の装置。
３３．映像データ処理を行うための方法を装置に開始させるために装置の１つ以上のプロセッサによって実行可能な命令のセットを記憶する非一時的コンピュータ可読媒体であって、方法は
ＧＰＭ（geometric partition mode）によって符号化された符号化ユニットを含むビットストリームを受信すること、
符号化ユニットに関連する第１のパラメータを復号化することであって、第１のパラメータは符号化ユニットにテンプレートマッチングが適用されているかどうかを示す、復号化すること、及び
第１のパラメータに従って符号化ユニットに関する動き情報を決定することであって、符号化ユニットにテンプレートマッチングが適用されることを第１のパラメータが示す場合、テンプレートマッチングを使用して動き情報が精密化される、決定すること
を含む、非一時的コンピュータ可読媒体。
３４．符号化ユニットが第１の区分及び第２の区分に分割され、符号化ユニットの動き情報が第１の区分の第１の動き及び第２の区分の第２の動きを含み、第１のパラメータが第１のフラグを含み、
命令のセットは、
第１のフラグに従ってテンプレートマッチングを使用し、第１の区分の第１の動き及び第２の区分の第２の動きの両方を精密化すること
を装置にさらに行わせるために装置の１つ以上のプロセッサによって実行可能である、条項３３に記載の非一時的コンピュータ可読媒体。
３５．符号化ユニットが第１の区分及び第２の区分に分割され、第１のパラメータは第１の区分にテンプレートマッチングが適用されているかどうかを示す第１のフラグ及び第２の区分にテンプレートマッチングが適用されているかどうかを示す第２のフラグを含み、
命令のセットは、
第１のフラグに従って、テンプレートマッチングを使用し、第１の区分の第１の動きを精密化すること、及び
第２のフラグに従って、テンプレートマッチングを使用し、第２の区分の第２の動きを精密化すること
を装置にさらに行わせるために装置の１つ以上のプロセッサによって実行可能である、条項３３に記載の非一時的コンピュータ可読媒体。
３６．符号化ユニットが第１の区分及び第２の区分に分割され、第１のパラメータは第１の区分及び第２の区分にテンプレートマッチングが適用されているかどうかを示すインデックスを含み、
命令のセットは、
第１の区分の第１の動き、第２の区分の第２の動き、又は第１の区分の第１の動き及び第２の区分の第２の動きの両方を、インデックスの値に従って精密化すること
を装置にさらに行わせるために装置の１つ以上のプロセッサによって実行可能である、条項３３に記載の非一時的コンピュータ可読媒体。
３７．符号化ユニットが第１の区分及び第２の区分に分割され、動き情報が第１の区分の第１の動き及び第２の区分の第２の動きを含み、
命令のセットは、
第１の区分のための第１のテンプレートを構成することであって、第１のテンプレートは第１の隣接サンプルのセットから構成されること、
第２の区分のための第２のテンプレートを構成することであって、第２のテンプレートは第２の隣接サンプルのセットから構成されること、
第１のテンプレート及び第２のテンプレートを使用して第１の動き及び第２の動きをそれぞれ精密化すること
を装置にさらに行わせるために装置の１つ以上のプロセッサによって実行可能であり、
第１の隣接サンプルのセット及び第２の隣接サンプルのセットのそれぞれは、
左の隣接サンプルだけ、
上の隣接サンプルだけ、又は
左の隣接サンプル及び上の隣接サンプルの両方
から選択される１つ以上の隣接サンプルを含む、
条項３３～３６のいずれか一項に記載の非一時的コンピュータ可読媒体。
３８．第１の隣接サンプルのセットが第１の区分の左の隣接サンプル及び上の隣接サンプルの可用性に基づいて選択され、
第２の隣接サンプルのセットが第２の区分の左の隣接サンプル及び上の隣接サンプルの可用性に基づいて選択される、
条項３７に記載の非一時的コンピュータ可読媒体。
３９．命令のセットは、
第１のテンプレート及び第２のテンプレートをＧＰＭ区分モードに基づいて構成すること
を装置にさらに行わせるために装置の１つ以上のプロセッサによって実行可能である、条項３７又は３８に記載の非一時的コンピュータ可読媒体。
４０．命令のセットは、
第１のテンプレート及び第２のテンプレートをＧＰＭ区分角度に基づいて構成すること
を装置にさらに行わせるために装置の１つ以上のプロセッサによって実行可能である、条項３９に記載の非一時的コンピュータ可読媒体。
４１．命令のセットは、
第１のテンプレートに関連する第２のパラメータを復号化すること、
第２のテンプレートに関連する第３のパラメータを復号化すること
を装置にさらに行わせるために装置の１つ以上のプロセッサによって実行可能であり、
第２のパラメータ及び第３のパラメータは、第１の隣接サンプルのセット及び第２の隣接サンプルのセットが、
左の隣接サンプルだけ、
上の隣接サンプルだけ、又は
左の隣接サンプル及び上の隣接サンプルの両方
から選択されるかどうかをそれぞれ示す、条項３７～４０のいずれか一項に記載の非一時的コンピュータ可読媒体。
４２．第１の隣接サンプルのセットが第２の隣接サンプルのセットと異なる、条項３７～４１のいずれか一項に記載の非一時的コンピュータ可読媒体。
４３．第１の隣接サンプルのセットが第２の隣接サンプルのセットと同じである、条項３７～４１のいずれか一項に記載の非一時的コンピュータ可読媒体。
４４．命令のセットは、
精密化した動きを使用して動き補償を行うこと、及び
ＧＰＭ区分モードに従って幾何学的区分の縁に沿った混合プロセスを適用すること
を装置にさらに行わせるために装置の１つ以上のプロセッサによって実行可能である、条項３３～４３のいずれか一項に記載の非一時的コンピュータ可読媒体。
４５．命令のセットは、
符号化ユニットにテンプレートマッチングが適用されていないことに応答し、動きベクトル差分によるマージモード（ＭＭＶＤ）が適用されているかどうかを示す第２のパラメータを復号化すること、
ＭＭＶＤが適用されていることに応答し、動きベクトル差分（ＭＶＤ）情報を復号化すること、及び
ＭＶＤ情報を使用して動きを精密化すること
を装置にさらに行わせるために装置の１つ以上のプロセッサによって実行可能である、条項３３～４４のいずれか一項に記載の非一時的コンピュータ可読媒体。
４６．第２のパラメータは、第１の区分にＭＭＶＤが適用されているかどうかを示す第１のフラグ、及び第２の区分にＭＭＶＤが適用されているかどうかを示す第２のフラグを含む、条項４５に記載の非一時的コンピュータ可読媒体。
４７．符号化ユニットが第１の区分及び第２の区分に分割され、
命令のセットは、
第１の区分にＭＭＶＤが適用されているかどうかを示す第２のパラメータを復号化すること、
第２の区分にＭＭＶＤが適用されているかどうかを示す第３のパラメータを復号化すること、
第１の区分又は第２の区分にＭＭＶＤが適用されていないことに応答し、第１の区分及び第２の区分の両方にテンプレートマッチングが適用されるかどうかを第１のパラメータに従って判定すること、
第１の区分及び第２の区分の両方にテンプレートマッチングが適用されていることに応答し、テンプレートマッチングを使用して第１の区分及び第２の区分の動き情報を精密化すること
を装置にさらに行わせるために装置の１つ以上のプロセッサによって実行可能である、条項３３～４４のいずれか一項に記載の非一時的コンピュータ可読媒体。
４８．動きを精密化するために使用されるテンプレートが区分モードに基づいて決定される、条項４７に記載の非一時的コンピュータ可読媒体。
４９．ビットストリームを記憶する非一時的コンピュータ可読媒体であって、ビットストリームが、符号化ユニットに関連する第１のパラメータを含み、
第１のパラメータはテンプレートマッチングが適用されているかどうかを示し、符号化ユニットはＧＰＭ（geometric partition mode）によって符号化される、非一時的コンピュータ可読媒体。
５０．符号化ユニットが第１の区分及び第２の区分に分割され、第１のパラメータは、
第１の区分にテンプレートマッチングが適用されているかどうかを示す第１のフラグ、及び
第２の区分にテンプレートマッチングが適用されているかどうかを示す第２のフラグ
をさらに含む、条項４９に記載の非一時的コンピュータ可読媒体。
５１．ビットストリームが、符号化ユニットに関連する第２のパラメータを含み、
第２のパラメータはテンプレートマッチングのためのテンプレートを示し、テンプレートは、
左の隣接サンプルだけ、
上の隣接サンプルだけ、又は
左の隣接サンプル及び上の隣接サンプルの両方
から選択される１つ以上の隣接サンプルから構成される、
条項４９に記載の非一時的コンピュータ可読媒体。
５２．ビットストリームが、
符号化ユニットに関連する第２のパラメータであって、動きベクトル差分によるマージモード（ＭＭＶＤ）が適用されているかどうかを示す、第２のパラメータ
をさらに含む、条項４９に記載の非一時的コンピュータ可読媒体。
５３．符号化ユニットが第１の区分及び第２の区分に分割され、ビットストリームが、
符号化ユニットに関連する第２のパラメータであって、第１の区分に動きベクトル差分によるマージモード（ＭＭＶＤ）が適用されているかどうかを示す、第２のパラメータ、及び
映像データに関連する第３のパラメータであって、第２の区分にＭＭＶＤが適用されているかどうかを示す、第３のパラメータ
をさらに含む、条項４９に記載の非一時的コンピュータ可読媒体。

[00175] 実施形態によっては、命令を含む非一時的コンピュータ可読記憶媒体も提供される。実施形態によっては、媒体は、ＣＵ又は区分に適用されているＧＰＭ、ＴＭ、又はＭＭＶＤを示す１つ以上のフラグを有する映像ビットストリームの全て又は一部を記憶することができる。実施形態によっては、媒体は、上記の方法を実行するために（開示した符号器及び復号器などの）デバイスによって実行され得る命令を記憶することができる。一般的な形態の非一時的媒体は、例えばフロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、又は任意の他の磁気データ記憶媒体、ＣＤ－ＲＯＭ、任意の他の光学データ記憶媒体、孔のパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、及びＥＰＲＯＭ、ＦＬＡＳＨ（登録商標）－ＥＰＲＯＭ又は任意の他のフラッシュメモリ、ＮＶＲＡＭ、キャッシュ、レジスタ、任意の他のメモリチップ又はカートリッジ、及びこれらのネットワーク化バージョンを含む。デバイスは１つ以上のプロセッサ（ＣＰＵ）、入力／出力インターフェース、ネットワークインターフェース、及び／又はメモリを含み得る。

[00176] 「第１（first）」及び「第２（second）」などの本明細書における関係語は、単に、実体又は動作を別の実体又は動作と区別するために使用されるにすぎず、これらの実体又は動作の間のいかなる実際の関係又は順序も必要とせず、暗示もしないことに留意されたい。さらに、単語「備える（comprising）」、「有する（having）」、「包含する（containing）」、及び「含む（including）」、並びに他の同様の形式は、意味が同等であり、これらの単語のうちの任意のものに続く要素若しくは要素群は、このような要素若しくは要素群の限定列挙であることを意味しない、又は列挙された要素若しくは要素群のみに限定されることを意味しないという点で、オープンエンドなものであることを意図される。

[00177] 本明細書において使用するとき、別途特に断りのない限り、用語「又は（or）」は、実行不可能な場合を除き、全ての可能な組み合わせを包含する。例えば、データベースがＡ又はＢを含み得ると述べられた場合には、このとき、別途特に断りのない限り、又は実行不可能でない限り、データベースは、Ａ、Ｂ、Ａ及びＢを含み得る。第２の例として、データベースがＡ、Ｂ、又はＣを含み得ると述べられた場合には、このとき、別途特に断りのない限り、又は実行不可能でない限り、データベースは、Ａ、Ｂ、Ｃ、Ａ及びＢ、Ａ及びＣ、Ｂ及びＣ、Ａ及びＢ及びＣを含み得る。

[00178] 上述の実施形態は、ハードウェア、又はソフトウェア（プログラムコード）、或いはハードウェア及びソフトウェアの組み合わせによって実施され得ることが理解される。ソフトウェアによって実施される場合には、それは上述のコンピュータ可読媒体内に記憶され得る。ソフトウェアは、プロセッサによって実行されたときに、本開示の方法を遂行することができる。本開示において説明される計算ユニット及び他の機能ユニットは、ハードウェア、又はソフトウェア、或いはハードウェア及びソフトウェアの組み合わせによって実施され得る。当業者は、上述のモジュール／ユニットのうちの複数のものを１つのモジュール／ユニットとして組み合わせてもよく、上述のモジュール／ユニットの各々を複数のサブモジュール／サブユニットにさらに分割してもよいことも理解するであろう。

[00179] 上述の明細書において、実施形態は、実装形態ごとに異なり得る数多くの特定の詳細を参照して説明された。上述の実施形態の特定の適応及び変更を行うことができる。本明細書の考慮及び本明細書において開示された本発明の実施から、他の実施形態が当業者に明らかになり得る。明細書及び実施例は例としてのみ考慮されることが意図されており、本発明の真の範囲及び趣旨は添付の請求項によって指示される。また、図に示されるステップの配列は単に例示目的のためのものにすぎず、ステップのいかなる特定の配列にも限定されることを意図されないことも意図される。それゆえ、当業者は、これらのステップは、同じ方法を実施しながらも、異なる順序で遂行され得ることを理解することができる。

[00180] 図面及び明細書において、例示的な実施形態が開示された。しかし、これらの実施形態に対して多くの変形及び変更を行うことができる。したがって、特定の用語が採用されていても、これらは単に、一般的な説明の意味で使用されているにすぎず、限定を目的として使用されているものではない。

Claims (20)

1. ＧＰＭ（geometric partition mode）によって符号化された符号化ユニットを含むビットストリームを受信すること、
   前記符号化ユニットに関連する第１のパラメータを復号化することであって、前記第１のパラメータは前記符号化ユニットにテンプレートマッチングが適用されているかどうかを示す、復号化すること、及び
   前記第１のパラメータに従って前記符号化ユニットに関する動き情報を決定することであって、前記符号化ユニットに前記テンプレートマッチングが適用されていることを前記第１のパラメータが示す場合、前記テンプレートマッチングを使用して前記動き情報が精密化される、決定すること
   を含む、映像復号化方法。
2. 前記符号化ユニットが第１の区分及び第２の区分に分割され、前記符号化ユニットの前記動き情報が前記第１の区分の第１の動き及び前記第２の区分の第２の動きを含み、前記第１のパラメータが第１のフラグを含み、前記テンプレートマッチングを使用して前記動き情報が精密化されることが、
   前記第１のフラグに従って、前記テンプレートマッチングを使用し、前記第１の区分の前記第１の動き及び前記第２の区分の前記第２の動きの両方を精密化すること
   をさらに含む、請求項１に記載の方法。
3. 前記符号化ユニットが第１の区分及び第２の区分に分割され、前記第１のパラメータは前記第１の区分に前記テンプレートマッチングが適用されているかどうかを示す第１のフラグ及び前記第２の区分に前記テンプレートマッチングが適用されているかどうかを示す第２のフラグを含み、前記動き情報の前記精密化が、
   前記第１のフラグに従って、前記テンプレートマッチングを使用し、前記第１の区分の第１の動きを精密化すること、及び
   前記第２のフラグに従って、前記テンプレートマッチングを使用し、前記第２の区分の第２の動きを精密化すること
   をさらに含む、請求項１に記載の方法。
4. 前記符号化ユニットが第１の区分及び第２の区分に分割され、前記第１のパラメータは前記第１の区分及び前記第２の区分に前記テンプレートマッチングが適用されているかどうかを示すインデックスを含み、前記動き情報の前記精密化が、
   前記第１の区分の第１の動き、前記第２の区分の第２の動き、又は前記第１の区分の前記第１の動き及び前記第２の区分の前記第２の動きの両方を、前記インデックスの値に従って精密化すること
   をさらに含む、請求項１に記載の方法。
5. 前記符号化ユニットが第１の区分及び第２の区分に分割され、前記動き情報が前記第１の区分の第１の動き及び前記第２の区分の第２の動きを含み、前記動き情報の精密化が
   前記第１の区分のための第１のテンプレートを構成することであって、前記第１のテンプレートは第１の隣接サンプルのセットから構成されること、
   前記第２の区分のための第２のテンプレートを構成することであって、前記第２のテンプレートは第２の隣接サンプルのセットから構成されること、
   前記第１のテンプレート及び前記第２のテンプレートを使用して前記第１の動き及び前記第２の動きをそれぞれ精密化すること
   をさらに含み、
   前記第１の隣接サンプルのセット及び前記第２の隣接サンプルのセットのそれぞれは、
   左の隣接サンプルだけ、
   上の隣接サンプルだけ、又は
   前記左の隣接サンプル及び前記上の隣接サンプルの両方
   から選択される１つ以上の隣接サンプルを含む、
   請求項１に記載の方法。
6. 前記符号化ユニットに前記テンプレートマッチングが適用されていないことに応答し、動きベクトル差分によるマージモード（ＭＭＶＤ）が適用されているかどうかを示す第２のパラメータを復号化すること、
   前記ＭＭＶＤが適用されていることに応答し、動きベクトル差分（ＭＶＤ）情報を復号化すること、及び
   前記ＭＶＤ情報を使用して前記動きを精密化すること
   をさらに含む、請求項１に記載の方法。
7. 前記符号化ユニットが第１の区分及び第２の区分に分割され、前記方法が、
   前記第１の区分にＭＭＶＤが適用されているかどうかを示す第２のパラメータを復号化すること、
   前記第２の区分に前記ＭＭＶＤが適用されているかどうかを示す第３のパラメータを復号化すること、
   前記第１の区分又は前記第２の区分に前記ＭＭＶＤが適用されていないことに応答し、前記第１の区分及び前記第２の区分の両方に前記テンプレートマッチングが適用されているかどうかを前記第１のパラメータに従って判定すること、
   前記第１の区分及び前記第２の区分の両方に前記テンプレートマッチングが適用されていることに応答し、前記テンプレートマッチングを使用して前記第１の区分及び前記第２の区分の動き情報を精密化すること
   をさらに含む、請求項１に記載の方法。
8. 映像データ処理を行うための装置であって、
   命令を記憶するように構成されるメモリと、
   １つ以上のプロセッサと、を含み、前記１つ以上のプロセッサが前記命令を実行して、
   ＧＰＭ（geometric partition mode）によって符号化された符号化ユニットを含むビットストリームを受信すること、
   前記符号化ユニットに関連する第１のパラメータを復号化することであって、前記第１のパラメータは前記符号化ユニットにテンプレートマッチングが適用されているかどうかを示す、復号化すること、及び
   前記第１のパラメータに従って前記符号化ユニットに関する動き情報を決定することであって、前記符号化ユニットに前記テンプレートマッチングが適用されていることを前記第１のパラメータが示す場合、前記テンプレートマッチングを使用して前記動き情報が精密化される、決定すること
   を前記装置に行わせるように構成される、装置。
9. 前記符号化ユニットが第１の区分及び第２の区分に分割され、前記符号化ユニットの前記動き情報が前記第１の区分の第１の動き及び前記第２の区分の第２の動きを含み、前記第１のパラメータが第１のフラグを含み、
   前記プロセッサが前記命令を実行して、
   前記第１のフラグに従って、前記テンプレートマッチングを使用し、前記第１の区分の前記第１の動き及び前記第２の区分の前記第２の動きの両方を精密化すること
   を前記装置に行わせるようにさらに構成される、
   請求項８に記載の装置。
10. 前記符号化ユニットが第１の区分及び第２の区分に分割され、前記第１のパラメータは前記第１の区分に前記テンプレートマッチングが適用されているかどうかを示す第１のフラグ及び前記第２の区分に前記テンプレートマッチングが適用されているかどうかを示す第２のフラグを含み、
    前記プロセッサが前記命令を実行して、
    前記第１のフラグに従って、前記テンプレートマッチングを使用し、前記第１の区分の第１の動きを精密化すること、及び
    前記第２のフラグに従って、前記テンプレートマッチングを使用し、前記第２の区分の第２の動きを精密化すること
    を前記装置に行わせるようにさらに構成される、
    請求項８に記載の装置。
11. 前記符号化ユニットが第１の区分及び第２の区分に分割され、前記第１のパラメータは前記第１の区分及び前記第２の区分に前記テンプレートマッチングが適用されているかどうかを示すインデックスを含み、
    前記プロセッサが前記命令を実行して、
    前記第１の区分の第１の動き、前記第２の区分の第２の動き、又は前記第１の区分の前記第１の動き及び前記第２の区分の前記第２の動きの両方を、前記インデックスの値に従って精密化すること
    を前記装置に行わせる前記命令を実行するように前記プロセッサがさらに構成される、請求項８に記載の装置。
12. 前記符号化ユニットが第１の区分及び第２の区分に分割され、前記動き情報が前記第１の区分の第１の動き及び前記第２の区分の第２の動きを含み、
    前記プロセッサが前記命令を実行して、
    前記第１の区分のための第１のテンプレートを構成することであって、前記第１のテンプレートは第１の隣接サンプルのセットから構成されること、
    前記第２の区分のための第２のテンプレートを構成することであって、前記第２のテンプレートは第２の隣接サンプルのセットから構成されること、
    前記第１のテンプレート及び前記第２のテンプレートを使用して前記第１の動き及び前記第２の動きをそれぞれ精密化すること
    を前記装置に行わせるようにさらに構成され、
    前記第１の隣接サンプルのセット及び前記第２の隣接サンプルのセットのそれぞれは、
    左の隣接サンプルだけ、
    上の隣接サンプルだけ、又は
    前記左の隣接サンプル及び前記上の隣接サンプルの両方
    から選択される１つ以上の隣接サンプルを含む、
    請求項８に記載の装置。
13. 前記プロセッサが前記命令を実行して、
    前記符号化ユニットに前記テンプレートマッチングが適用されていないことに応答し、動きベクトル差分によるマージモード（ＭＭＶＤ）が適用されているかどうかを示す第２のパラメータを復号化すること、
    前記ＭＭＶＤが適用されていることに応答し、動きベクトル差分（ＭＶＤ）情報を復号化すること、及び
    前記ＭＶＤ情報を使用して前記動きを精密化すること
    を前記装置に行わせるようにさらに構成される、請求項８に記載の装置。
14. 前記符号化ユニットが第１の区分及び第２の区分に分割され、
    前記プロセッサが前記命令を実行して、
    前記第１の区分にＭＭＶＤが適用されているかどうかを示す第２のパラメータを復号化すること、
    前記第２の区分に前記ＭＭＶＤが適用されているかどうかを示す第３のパラメータを復号化すること、
    前記第１の区分又は前記第２の区分に前記ＭＭＶＤが適用されていないことに応答し、前記第１の区分及び前記第２の区分の両方に前記テンプレートマッチングが適用されているかどうかを前記第１のパラメータに従って判定すること、並びに
    前記第１の区分及び前記第２の区分の両方に前記テンプレートマッチングが適用されていることに応答し、前記テンプレートマッチングを使用して前記第１の区分及び前記第２の区分の動き情報を精密化すること
    を前記装置に行わせるようにさらに構成される、
    請求項８に記載の装置。
15. 映像データ処理を行うための方法を装置に開始させるために前記装置の１つ以上のプロセッサによって実行可能な命令のセットを記憶する非一時的コンピュータ可読媒体であって、前記方法は、
    ＧＰＭ（geometric partition mode）によって符号化された符号化ユニットを含むビットストリームを受信すること、
    前記符号化ユニットに関連する第１のパラメータを復号化することであって、前記第１のパラメータは前記符号化ユニットにテンプレートマッチングが適用されているかどうかを示す、復号化すること、及び
    前記第１のパラメータに従って前記符号化ユニットに関する動き情報を決定することであって、前記符号化ユニットに前記テンプレートマッチングが適用されることを前記第１のパラメータが示す場合、前記テンプレートマッチングを使用して前記動き情報が精密化される、決定すること
    を含む、非一時的コンピュータ可読媒体。
16. 前記符号化ユニットが第１の区分及び第２の区分に分割され、前記符号化ユニットの前記動き情報が前記第１の区分の第１の動き及び前記第２の区分の第２の動きを含み、前記第１のパラメータが第１のフラグを含み、
    前記命令のセットは、
    前記第１のフラグに従って、前記テンプレートマッチングを使用し、前記第１の区分の前記第１の動き及び前記第２の区分の前記第２の動きの両方を精密化すること
    を装置にさらに行わせるために前記装置の１つ以上のプロセッサによって実行可能である、請求項１５に記載の非一時的コンピュータ可読媒体。
17. 前記符号化ユニットが第１の区分及び第２の区分に分割され、前記第１のパラメータは前記第１の区分に前記テンプレートマッチングが適用されているかどうかを示す第１のフラグ及び前記第２の区分に前記テンプレートマッチングが適用されているかどうかを示す第２のフラグを含み、
    前記命令のセットは、
    前記第１のフラグに従って、前記テンプレートマッチングを使用し、前記第１の区分の第１の動きを精密化すること、及び
    前記第２のフラグに従って、前記テンプレートマッチングを使用し、前記第２の区分の第２の動きを精密化すること
    を装置にさらに行わせるために前記装置の１つ以上のプロセッサによって実行可能である、請求項１５に記載の非一時的コンピュータ可読媒体。
18. 前記符号化ユニットが第１の区分及び第２の区分に分割され、前記第１のパラメータは前記第１の区分及び前記第２の区分に前記テンプレートマッチングが適用されているかどうかを示すインデックスを含み、
    前記命令のセットは、
    前記第１の区分の第１の動き、前記第２の区分の第２の動き、又は前記第１の区分の前記第１の動き及び前記第２の区分の前記第２の動きの両方を、前記インデックスの値に従って精密化すること
    を装置にさらに行わせるために前記装置の１つ以上のプロセッサによって実行可能である、請求項１５に記載の非一時的コンピュータ可読媒体。
19. 前記符号化ユニットが第１の区分及び第２の区分に分割され、前記動き情報が前記第１の区分の第１の動き及び前記第２の区分の第２の動きを含み、
    前記命令のセットは、
    前記第１の区分のための第１のテンプレートを構成することであって、前記第１のテンプレートは第１の隣接サンプルのセットから構成されること、
    前記第２の区分のための第２のテンプレートを構成することであって、前記第２のテンプレートは第２の隣接サンプルのセットから構成されること、
    前記第１のテンプレート及び前記第２のテンプレートを使用して前記第１の動き及び前記第２の動きをそれぞれ精密化すること
    を装置にさらに行わせるために前記装置の１つ以上のプロセッサによって実行可能であり、
    前記第１の隣接サンプルのセット及び前記第２の隣接サンプルのセットのそれぞれは、
    左の隣接サンプルだけ、
    上の隣接サンプルだけ、又は
    前記左の隣接サンプル及び前記上の隣接サンプルの両方
    から選択される１つ以上の隣接サンプルを含む、
    請求項１５に記載の非一時的コンピュータ可読媒体。
20. 前記符号化ユニットが第１の区分及び第２の区分に分割され、
    前記命令のセットは、
    前記第１の区分にＭＭＶＤが適用されているかどうかを示す第２のパラメータを復号化すること、
    前記第２の区分に前記ＭＭＶＤが適用されているかどうかを示す第３のパラメータを復号化すること、
    前記第１の区分又は前記第２の区分に前記ＭＭＶＤが適用されていないことに応答し、前記第１の区分及び前記第２の区分の両方に前記テンプレートマッチングが適用されるかどうかを前記第１のパラメータに従って判定すること、
    前記第１の区分及び前記第２の区分の両方に前記テンプレートマッチングが適用されていることに応答し、前記テンプレートマッチングを使用して前記第１の区分及び前記第２の区分の動き情報を精密化すること
    を装置にさらに行わせるために前記装置の１つ以上のプロセッサによって実行可能である、請求項１５に記載の非一時的コンピュータ可読媒体。

Images