JP2024519848A - 動きベクトル精緻化を伴う幾何学的分割モード - Google Patents

Abstract

ＧＰＭでビデオブロックを復号するための方法及びデバイスが提供される。この方法は、ビデオブロックを第１及び第２の幾何学的分割に分割することと、第１の幾何学的分割に対する第１のテンプレートマッチング（ＴＭ）イネーブルフラグ及び第２の幾何学的分割に対する第２のＴＭイネーブルフラグを受信することであって、第１のＴＭイネーブルフラグは、第１の分割の片方向動きがＴＭによって精緻化されているか否かを示し、第２のＴＭイネーブルフラグは、第２の分割の片方向動きがＴＭによって精緻化されているか否かを示す、受信することと、第１の幾何学的分割の第１のマージＧＰＭインデックスと、第２の幾何学的分割の第２のマージＧＰＭインデックスとを受信することと、ＧＰＭの片方向動きベクトル（ＭＶ）候補リストを構築することと、第１の幾何学的分割に対する片方向ＭＶと、第２の幾何学的分割に対する片方向ＭＶとを生成することと、を含む。

Description

［関連出願の相互参照］
本出願は、２０２１年５月１７日に出願された米国仮特許出願第６３／１８９，６６１号の優先権の利益を主張するものであり、参照することによって同特許出願の開示の全体が、あらゆる目的において本明細書に組み込まれる。

本開示は、ビデオコーディング及び圧縮に関する。より詳しくは、本開示は、重み付き角予測（angular weighted prediction：ＡＷＰ）モードとしても知られる幾何学的分割モード（geometric partition mode：ＧＰＭ）のコーディング効率を改善する方法及び装置に関する。

ビデオデータを圧縮するために、各種ビデオコーディング技術を使用できる。ビデオコーディングは、１以上のビデオコーディング規格に従って実行される。例えば、最近では、周知のビデオコーディング規格には、多用途ビデオコーディング（Versatile Video Coding：ＶＶＣ）、高効率ビデオコーディング（High Efficiency Video Coding:ＨＥＶＣ、Ｈ．２６５又はＭＰＥＧ－Ｈ Ｐａｒｔ２としても知られる）、アドバンスド・ビデオコーディング（Advanced Video Coding：ＡＶＣ、Ｈ．２６４又はＭＰＥＧ－４ Ｐａｒｔ １０としても知られる）が含まれ、これらはＩＳＯ／ＩＥＣ ＭＰＥＧ及びＩＴＵ－Ｔ ＶＥＣＧによって共同開発されている。ＡＯＭｅｄｉａ Ｖｉｄｅｏ １ （ＡＶ１）は、Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ （ＡＯＭ）によって、以前の規格ＶＰ９の後継として開発された。オーディオビデオコーディング（Audio Video Coding：ＡＶＳ）は、デジタルオーディオ及びデジタルビデオ圧縮規格を指し、中国のオーディオ及びビデオコーディング規格ワークグループ（Audio and Video Coding Standard Workgroup）によって開発されたもう１つのビデオ圧縮規格シリーズである。既存のビデオコーディング規格の大部分は、有名なハイブリッドビデオコーディングフレームワークに基づいて構築される、すなわちビデオ画像又はシーケンスに存在する冗長性を削減するためにブロックベースの予測方法（例えば、インター予測、イントラ予測）を使用し、予測誤差のエネルギーを圧縮するために変換コーディングを使用する。ビデオコーディング技術の重要な目標は、ビデオ品質の劣化を回避しもしくは最小限に抑えながら、より低いビットレートを使用する形式にビデオデータを圧縮することである。

本開示の例は、ビデオコーディングのための方法及び装置、及び非一時的コンピュータ可読記憶媒体を提供する。

本開示の第１の態様によれば、ＧＰＭでビデオブロックを復号する方法が提供される。この方法は、ビデオブロックを第１及び第２の幾何学的分割に分割することを含んでもよい。この方法は、第１の幾何学的分割に対する第１のテンプレートマッチング（ＴＭ）イネーブルフラグを受信することと、第２の幾何学的分割に対する第２のＴＭイネーブルフラグを受信することとを含み、第１のＴＭイネーブルフラグは、第１の分割の片方向動きがＴＭによって精緻化されているか否かを示し、第２のＴＭイネーブルフラグは、第２の分割の片方向動きがＴＭによって精緻化されているか否かを示す。この方法は、第１の幾何学的分割の第１のマージＧＰＭインデックスと、第２の幾何学的分割の第２のマージＧＰＭインデックスとを受信することを含んでもよい。この方法は、ＧＰＭの片方向動きビクター（ＭＶ）候補リストを構築することを含んでもよい。この方法は、第１の幾何学的分割に対する片方向ＭＶと、第２の幾何学的分割に対する片方向ＭＶとを生成することを含んでもよい。

本開示の第２の態様によれば、ＧＰＭでビデオブロックを復号する方法が提供される。この方法は、ビデオブロックを第１及び第２の幾何学的分割に分割することを含んでもよい。この方法は、ＧＰＭの片方向ＭＶ候補リストを構築することを含んでもよい。この方法は、第１の幾何学的分割の第１のマージＧＰＭインデックスと、第２の幾何学的分割の第２のマージＧＰＭインデックスとを受信することを含んでもよい。この方法は、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスに基づいて片方向ＭＶ候補リストを更新することを含んでもよく、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスは、単一の片方向ＭＶがテンプレートマッチング（ＴＭ）によって精緻化されているか否かを示す。

本開示の第３の態様によれば、ビデオ復号のための装置が提供される。この装置は、１以上のプロセッサと、非一時的コンピュータ可読記憶媒体とを含んでもよい。非一時的コンピュータ可読記憶媒体は、１以上のプロセッサによって実行可能な命令を格納するよう構成される。１以上のプロセッサは、命令の実行時に、第１又は第２の態様で方法を実行するよう構成される。

本開示の第４の態様によれば、非一時的コンピュータ可読記憶媒体が提供される。非一時的コンピュータ可読記憶媒体は、１以上のコンピュータプロセッサによって実行されると、１以上のコンピュータプロセッサに、第１又は第２の態様でこの方法を実行させるコンピュータで実行可能な命令を格納してもよい。

本明細書に組み込まれ、本明細書の一部をなす添付の図面は、本開示と一致する例を説明し、明細書と共に、本開示の原理を説明するのに役立つ。

図１は、本開示の一例によるエンコーダのブロック図である。 図２は、本開示の一例によるデコーダのブロック図である。 図３Ａは、本開示の一例によるマルチタイプツリー構造におけるブロック分割を示す図である。 図３Ｂは、本開示の一例によるマルチタイプツリー構造におけるブロック分割を示す図である。 図３Ｃは、本開示の一例によるマルチタイプツリー構造におけるブロック分割を示す図である。 図３Ｄは、本開示の一例によるマルチタイプツリー構造におけるブロック分割を示す図である。 図３Ｅは、本開示の一例によるマルチタイプツリー構造におけるブロック分割を示す図である。 図４は、本開示の一例による、許容される幾何学的分割（Geometric Partitioning：ＧＰＭ）による分割の例である。 図５は、本開示の一例による片方向予測動きベクトル選択を示す表である。 図６Ａは、本開示の一例による差分動きベクトルマージモード（Merge mode with Motion Vector Difference：ＭＭＶＤ）の説明図である。 図６Ｂは、本開示の一例によるＭＭＶＤモードの説明図である。 図７は、本開示の一例によるテンプレートマッチング（ＴＭ）アルゴリズムの説明図である。 図８は、本開示の一例による、ＧＰＭでビデオブロックを復号する方法である。 図９は、本開示の一例による、ＧＰＭでビデオブロックを復号する方法である。 図１０は、本開示の一例による、ユーザインタフェースと結合された演算環境を示す図である。

ここで、実施形態を詳細に参照する。その例は添付の図面に示されている。以下の説明は、別段の表示がない限り、異なる図面における同一の番号が同一又は類似の要素を表す添付図面を参照する。以下の実施の説明に記載される実施形態は、本開示と一致するすべての実施を表すものではない。代わりに、それらは、添付の特許請求の範囲に記載されている本開示に関連する態様と一致する装置及び方法の単なる例である。

本開示で使用される用語は、特定の実施形態を説明することのみを目的としており、本開示を限定することを意図するものではない。本開示及び添付の特許請求の範囲で使用されるように、単数形「a」、「an」、及び「the」は、文脈で明確に別段の指示がない限り、複数形も含むことを意図している。ここで使用される「及び／又は」という用語は、関連するリストされた項目の１以上の任意又はすべての可能な組み合わせを意味し、それらを含むことを意図していることも理解されたい。

ここで「第１」、「第２」、「第３」などの用語を使用して様々な情報を説明することができるが、情報はこれらの用語によって限定されるべきではないことを理解されたい。これらの用語は、あるカテゴリの情報を別のカテゴリと区別するためにのみ使用される。例えば、本開示の範囲から逸脱することなく、第１の情報を第２の情報と呼ぶことができ、同様に、第２の情報を第１の情報と呼ぶこともできる。ここで使用される場合、「の場合（if）」という用語は、文脈に応じて、「のとき（when）」又は「すると（upon）」又は「判定に応じて（in response to a judgment）」を意味するものと理解され得る。

第１世代ＡＶＳ規格には、中国国家規格「Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｖｉｄｅｏ Ｃｏｄｉｎｇ， Ｐａｒｔ ２： Ｖｉｄｅｏ」 （ＡＶＳ１として知られる）と「Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ， Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｐａｒｔ １６： Ｒａｄｉｏ Ｔｅｌｅｖｉｓｉｏｎ Ｖｉｄｅｏ」（ＡＶＳ＋として知られる）」が含まれる。これは、ＭＰＥＧ－２規格と比較して、同じ知覚品質で約５０％のビットレート節約を提供できる。ＡＶＳ１規格のビデオパートは、２００６年２月に中国国家規格として公布された。第２世代ＡＶＳ規格には、中国の一連の国家規格「Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ， Ｅｆｆｉｃｉｅｎｔ Ｍｕｌｔｉｍｅｄｉａ Ｃｏｄｉｎｇ」（ＡＶＳ２として知られる）が含まれ、これは主に超高解像度テレビ番組の伝送を対象としている。ＡＶＳ２のコーディング効率はＡＶＳ＋の２倍である。２０１６年５月には、中国国家規格としてＡＶＳ２が公布された。一方、ＡＶＳ２規格のビデオパートは、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）によって、アプリケーションの国際規格の１つとして提出された。ＡＶＳ３規格は、最新の国際規格であるＨＥＶＣのコーディング効率を上回ることを目的とした、ＵＨＤビデオアプリケーション用の１つの新しい世代のビデオコーディング規格である。２０１９年３月、第６８回ＡＶＳ会議において、ＡＶＳ３－Ｐ２ベースラインが完成し、ＨＥＶＣ規格より約３０％ビットレートが節約された。現在、高性能モデル（ＨＰＭ）と呼ばれる１つのリファレンスソフトウェアがＡＶＳグループによって維持されており、ＡＶＳ３規格のリファレンス実装を実証している。

ＨＥＶＣと同様に、ＡＶＳ３規格はブロックベースのハイブリッドビデオコーディングフレームワークに基づいて構築されている。

図１は、ＶＶＣのためのブロックベースのビデオエンコーダの概略図を示す。具体的には、図１は、典型的なエンコーダ１００を示す。エンコーダ１００は、ビデオ入力１１０、動き補償１１２、動き推定１１４、イントラ／インターモード決定１１６、ブロック予測子１４０、サマー（summer）１２８、変換１３０、量子化１３２、予測関連情報１４２、イントラ予測１１８、ピクチャバッファ１２０、逆量子化１３４、逆変換１３６、加算器１２６、メモリ１２４、ループ内フィルタ１２２、エントロピーコーディング１３８、及びビットストリーム１４４を有する。

エンコーダ１００において、ビデオフレームは処理のために複数のビデオブロックに分割される。所与の各ビデオブロックについて、インター予測アプローチ又はイントラ予測アプローチのいずれかに基づいて予測が形成される。

ビデオ入力１１０の一部である現ビデオブロックと、ブロック予測子１４０の一部であるその予測子との差を表す予測残差が、加算器１２８から変換１３０に送られる。次いで、変換係数は、エントロピー削減のために変換１３０から量子化１３２に送られる。次に、量子化係数がエントロピーコーディング１３８に供給され、圧縮されたビデオビットストリームが生成される。図１に示されるように、ビデオブロック分割情報、動きベクトル（motion vector：ＭＶ）、参照ピクチャインデックス、及びイントラ予測モードなどの、イントラ／インターモード決定１１６からの予測関連情報１４２も、エントロピーコーディング１３８を介して供給され、圧縮ビットストリーム１４４に保存される。圧縮ビットストリーム１４４は、ビデオビットストリームを含む。

エンコーダ１００では、予測の目的で画素を再構築するために、デコーダ関連回路も必要とされる。第１に、予測残差は、逆量子化１３４及び逆変換１３６によって再構築される。この再構築された予測残差は、ブロック予測子１４０と組み合わされ、現ビデオブロックのための、フィルタリングされていない再構築された画素を生成する。

空間予測（又は「イントラ予測」）は、現ビデオブロックと同じビデオフレーム内のすでにコード化された隣接ブロックのサンプル（参照サンプルと呼ばれる。）からの画素を使用して、現ビデオブロックを予測する。

時間予測（「インター予測」とも呼ばれる。）は、すでに符号化されたビデオピクチャからの再構築された画素を使用して、現ビデオブロックを予測する。時間予測は、ビデオ信号に固有の時間冗長性を削減する。所与のコーディングユニット（ＣＵ）又はコーディングブロックについての時間予測信号は、通常、現ＣＵとその時間参照との間の動きの量と方向を示す１以上の動きベクトル（ＭＶ）によってシグナリングされる。また、複数の参照ピクチャがサポートされている場合には、１つの参照ピクチャインデックスが追加で送信される。これは、時間予測信号が参照ピクチャストアにおけるどの参照ピクチャから来るかを識別するために使用される。

動き推定１１４は、ビデオ入力１１０及びピクチャバッファ１２０からの信号を取り込み、動き推定信号を動き補償１１２に出力する。動き補償１１２は、ビデオ入力１１０と、ピクチャバッファ１２０からの信号と、動き推定１１４からの動き推定信号とを取り込み、動き補償信号をイントラ／インターモード決定１１６へ出力する。

空間予測及び／又は時間予測が実施された後、エンコーダ１００内のイントラ／インターモード決定１１６は、例えばレート歪み最適化方法に基づいて、最適な予測モードを選択する。次いで、ブロック予測子１４０は現ビデオブロックから減算され、結果として生じる予測残差は変換１３０及び量子化１３２を使用して脱相関される。結果として生じる量子化された残差係数は、再構築された残差を形成するために、逆量子化１３４によって逆量子化され、逆変換１３６によって逆変換され、次いで、再構築された残差は、ＣＵの再構築された信号を形成するために、予測ブロックに戻って加算される。さらに、デブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）、及び／又は適応ループ内フィルタ（ＡＬＦ）などのループ内フィルタリング１２２は、ピクチャバッファ１２０の参照ピクチャストアに入れられる前に、再構築されたＣＵ上で適用され、将来のビデオブロックをコーディングするために使用され得る。出力ビデオビットストリーム１４４を形成するために、コーディングモード（インター又はイントラ）、予測モード情報、動き情報、及び量子化された残差係数は全て、ビットストリームを形成するためにエントロピーコーディングユニット１３８に送信され、さらに圧縮され、パッキングされる。

図１は、一般的なブロックベースのハイブリッドビデオ符号化システムのブロック図を示す。入力ビデオ信号は、ブロック（コーディングユニット（ＣＵ）と呼ばれる）ごとに処理される。クワッドツリーのみに基づいてブロックを区分するＨＥＶＣとは異なり、ＡＶＳ３では、１つのコーディングツリーユニット（ＣＴＵ）は、クワッド／バイナリ／拡張クワッドツリーに基づいて、変動する局所特性に適合するようにＣＵにスプリットされる。加えて、ＨＥＶＣにおける複数の分割ユニットタイプの概念は取り除かれ、すなわち、ＣＵ、予測ユニット（ＰＵ）、及び変換ユニット（ＴＵ）の区別はＡＶＳ３には存在せず、その代わりに、さらなる分割なしに、予測と変換の両方のための基本単位として各ＣＵが常に使用される。ＡＶＳ３のツリー分割構造では、１つのＣＴＵは最初にクワッドツリー構造に基づいて分割化される。次に、各クワッドツリーのリーフノードは、バイナリ及び拡張クワッドツリー構造に基づいてさらに分割できる。

図３Ａ、図３Ｂ、図３Ｃ、図３Ｄ、及び図３Ｅに示されるように、四分割、水平二分割、垂直二分割、水平拡張クワッドツリー分割、及び垂直拡張クワッドツリー分割という５つのスプリットタイプがある。

図３Ａは、本開示による、マルチタイプツリー構造におけるブロック四分割を示す図である。

図３Ｂは、本開示による、マルチタイプツリー構造におけるブロック垂直二分割を示す図である。

図３Ｃは、本開示による、マルチタイプツリー構造におけるブロック水平二分割を示す図である。

図３Ｄは、本開示による、マルチタイプツリー構造におけるブロック垂直三分割を示す図である。

図３Ｅは、本開示による、マルチタイプツリー構造におけるブロック水平三分割を示す図である。

図１では、空間予測及び／又は時間予測が実行され得る。空間予測（又は「イントラ予測」）は、現ビデオブロックを予測するために、すでにコード化された隣接ブロックのサンプル（参照サンプルと呼ばれる）からの画素を同じビデオピクチャ／スライスにおいて使用する。空間予測は、ビデオ信号に固有の空間冗長性を削減する。時間予測（「インター予測」又は「動き補償予測」とも呼ばれる）は、現ビデオブロックを予測するために、すでにコード化されたビデオピクチャからの再構築された画素を使用する。時間予測は、ビデオ信号に固有の時間冗長性を削減する。所与のＣＵのための時間予測信号は、通常、現ＣＵとその時間参照との間の動きの量及び方向を示す１以上の動きベクトル（ＭＶ）によってシグナリングされる。また、複数の参照ピクチャがサポートされる場合、時間予測信号が参照ピクチャストア内のどの参照ピクチャから来ているかを識別するために使用される１つの参照ピクチャインデックスが追加的に送信される。空間及び／又は時間予測の後、エンコーダ内のモード決定ブロックは、例えばレート歪み最適化方法に基づいて、最適な予測モードを選択する。次いで、予測ブロックは現ビデオブロックから減算され、予測残差は変換及び量子化を使用して脱相関される。量子化された残差係数は、再構築された残差を形成するために逆量子化及び逆変換され、再構築された残差は、ＣＵの再構築された信号を形成するために、予測ブロックに戻って加算される。さらに、デブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）、及び適応ループ内フィルタ（ＡＬＦ）などのループ内フィルタリングは、参照ピクチャストアに入れられる前に、再構築されたＣＵに適用され、将来のビデオブロックをコーディングするために使用されてもよい。出力ビデオビットストリームを形成するために、コーディングモード（インター又はイントラ）、予測モード情報、動き情報、及び量子化された残差係数は全て、ビットストリームを形成するためにエントロピーコーディングユニットに送信されて、さらに圧縮され、パッキングされる。

図２は、ＶＶＣのためのビデオデコーダの概略ブロック図を示す。具体的には、図２は、典型的なデコーダ２００のブロック図を示す。デコーダ２００は、ビットストリーム２１０、エントロピー復号２１２、逆量子化２１４、逆変換２１６、加算器２１８、イントラ／インターモード選択２２０、イントラ予測２２２、メモリ２３０、ループ内フィルタ２２８、動き補償２２４、ピクチャバッファ２２６、予測関連情報２３４、及びビデオ出力２３２を有する。

デコーダ２００は、図１のエンコーダ１００にある再構築関連のセクションと同様である。デコーダ２００において、量子化された係数レベル及び予測関連情報を導出するために、入ってくるビデオビットストリーム２１０が最初にエントロピー復号２１２によって復号される。次いで、再構築された予測残差を取得するために、量子化された係数レベルが逆量子化２１４及び逆変換２１６を通じて処理される。イントラ／インターモード選択器２２０において実装されるブロック予測子機構は、復号された予測情報に基づいて、イントラ予測２２２又は動き補償２２４のいずれかを実施するよう構成される。フィルタリングされていない再構築された画素のセットは、サマー２１８を使用して、逆変換２１６からの再構築予測残差とブロック予測子機構によって生成された予測出力を合計することによって取得される。

再構築されたブロックはさらに、参照ピクチャストアとして機能するピクチャバッファ２２６に格納される前に、ループ内フィルタ２２８を通過してもよい。ピクチャバッファ２２６内の再構築されたビデオは、表示装置を駆動するために送信されてもよく、また将来のビデオブロックを予測するために使用されてもよい。ループ内フィルタ２２８がオンである状況では、最終的な再構築されたビデオ出力２３２を導出するために、これらの再構築された画素に対してフィルタリング動作が実行される。

図２は、ブロックベースのビデオデコーダの概略ブロック図を示す。ビデオビットストリームはまず、エントロピー復号ユニットでエントロピー復号される。コーディングモード及び予測情報は、予測ブロックを生成するために、空間予測ユニット（イントラコード化される場合）又は時間予測ユニット（インターコード化される場合）のいずれかに送信される。残差変換係数は、残差ブロックを再構築するために、逆量子化ユニット及び逆変換ユニットに送信される。次いで、予測ブロックと残差ブロックが合計される。再構築されたブロックはさらに、参照ピクチャストアに格納される前に、ループ内フィルタリングを通過してもよい。次いで、参照ピクチャストア内の再構築されたビデオは、表示のために送信され、また将来のビデオブロックを予測するために使用される。

開示の焦点は、ＶＶＣとＡＶＳ３の両規格で使用される幾何学的分割モード（ＧＰＭ）のコーディング性能を改善することである。ＡＶＳ３では、このツールはＧＰＭの同じ設計精神に従う重み付き角予測（angular weighted prediction：ＡＷＰ）としても知られているが、特定の設計詳細には微妙な違いがある。開示の記載を容易にするため、以下では、ＶＶＣ規格における既存のＧＰＭ設計を例として使用して、ＧＰＭ／ＡＷＰツールの主要な態様を説明する。一方、ＶＶＣとＡＶＳ３規格の両方に適用される、差分動きベクトルマージモード（ＭＭＶＤ）と呼ばれる他の既存のインター予測技術も、本開示で提案された技術と密接に関連することを考慮して、簡潔に考察される。その後、現ＧＰＭ／ＡＷＰ設計のいくつかの欠点が識別される。最後に、提案された方法を詳細に示す。ＶＶＣ規格の既存のＧＰＭ設計は、開示を通して例として使用されているが、現代のビデオコーディング技術の当業者には、提案された技術は、同じ又は類似の設計精神を有する他のＧＰＭ／ＡＷＰ設計又は他のコーディングツールにも適用できることに留意されたい。

幾何学的分割モード（ＧＰＭ）

ＶＶＣにおいて、インター予測について幾何学的分割モードがサポートされている。幾何学的分割モードは、１つの特殊マージモードとして１つのＣＵレベルフラグによってシグナリングされる。現ＧＰＭ設計では、８×６４及び６４×８を除き、幅及び高さが８より小さくなく６４より大きくない可能なＣＵサイズごとに、ＧＰＭモードで合計６４分割がサポートされている。

このモードを使用すると、図４（説明は以下に行う）に示すように、ＣＵが幾何学的に配置された直線によって２つの部分に分割される。分割線の位置は、特定の分割の角度及びオフセットパラメータから数学的に導出される。ＣＵにおける幾何学的分割の各部分は、それ自体の動きによってインター予測される；分割ごとに片方向予測のみが許される、すなわち、各部分は、１つの動きベクトルと１つの参照インデックスを有する。片方向予測動き制約は、従来の双方向予測と同様に、各ＣＵに必要な動き補償予測が２つだけであることを保証するために適用される。現ＣＵに幾何学的分割モードが使用されている場合、幾何学的分割（角度とオフセット）の分割モードを示す幾何学的分割インデックスと、２つのマージインデックス（各分割に１つずつ）がさらにシグナリングされる。最大ＧＰＭ候補のサイズの数は、シーケンスレベルで明示的にシグナリングされる。

図４は、許可されたＧＰＭ分割を示しており、各ピクチャのスプリット方向は同一である。

片方向予測候補リスト構築

１つの幾何学的分割に対する片方向予測動きベクトルを導出するために、１つの片方向予測候補リストを最初に通常のマージ候補リスト生成処理で直接導出する。幾何学的片方向予測候補リストでは、片方向予測動きのインデックスをｎで示す。ｎ番目のマージ候補のＬＸ動きベクトル（Ｘはｎのパリティに等しい）を、幾何学的分割モードのｎ番目の片方向予測動きベクトルとして使用する。

これらの動きベクトルには、図５（後述）において「ｘ」の印が付されている。ｎ番目の拡張マージ候補の対応するＬＸ動きベクトルが存在しない場合、幾何学的分割モードのための片方向予測動きベクトルとして、同じ候補のＬ（１－Ｘ）動きベクトルが代わりに使用される。

図５は、ＧＰＭのマージ候補リストの動きベクトルからの片方向予測動きベクトル選択を示している。

幾何学的分割エッジに沿ったブレンド

それぞれの幾何学的分割がそれ自身の動きを用いて取得された後、幾何学的分割エッジの周囲のサンプルを導出するために２つの片方向予測信号にブレンドが適用される。ＣＵの各位置のブレンド重み付けは、各個々のサンプル位置から対応する分割エッジまでの距離に基づいて導出される。

ＧＰＭシグナリング設計

現ＧＰＭ設計によれば、ＧＰＭの使用はＣＵレベルで１つのフラグをシグナリングすることによって示される。このフラグは、現ＣＵがマージモード又はスキップモードでコーディングされている場合にのみシグナリングされる。具体的には、フラグが１に等しい場合、ＧＰＭによって現ＣＵが予測されることを示す。そうでない場合（フラグが０に等しい）、ＣＵは、通常のマージモード、動きベクトル差分を伴うマージモード、インター予測とイントラ予測の組み合わせなど、別のマージモードでコード化される。現ＣＵに対してＧＰＭが有効である場合、１つのシンタックス要素、すなわちmerge_gpm_partition_idxが、適用された幾何学的分割モード（図４に示すように、ＣＵを２つの分割に分割するＣＵセンターからの直線の方向とオフセットを指定する）を示すようさらにシグナリングされる。その後、２つのシンタックス要素merge_gpm_idx0tomerge_gpm_idx1が、１番目と第２のＧＰＭ分割に使用される片方向予測マージ候補のインデックスを示すようにシグナリングされる。具体的には、「片方向予測マージリスト構築」のセクションで説明されているように、これらの２つのシンタックス要素を使用して、片方向予測マージリストから２つのＧＰＭ分割の片方向ＭＶを決定する。現ＧＰＭ設計によれば、２つの片方向ＭＶをより異なったものにするためには、２つのインデックスを同一にすることはできない。このような事前知識に基づいて、第１のＧＰＭ分割の片方向予測マージインデックスを最初にシグナリングし、第２のＧＰＭ分割の片方向予測マージインデックスのシグナリングオーバーヘッドを削減するための予測子として使用する。詳細には、第２の片方向予測マージインデックスが第１の片方向予測マージインデックスよりも小さい場合、元の値が直接シグナリングされる。そうでない場合（第２の片方向予測マージインデックスが第１の片方向予測マージインデックスよりも大きい場合）、値が１減算されてからビットストリームにシグナリングされる。デコーダ側では、第１の片方向予測マージインデックスは、最初はデコーダである。次に、第２の片方向予測マージインデックスの復号では、解析された値が第１の片方向予測マージインデックスより小さい場合、第２の片方向予測マージインデックスは解析値と同じに設定される。そうでない場合（解析された値が第１の片方向予測マージインデックスと同じかそれより大きい場合）、第２の片方向予測マージインデックスは解析された値に１を加えた値に設定される。表１は、現ＶＶＣ仕様でＧＰＭモードに使用されている既存のシンタックス要素を示している。

一方、現ＧＰＭ設計では、２つの片方向予測マージインデックス、すなわちmerge_gpm_idx0tomerge_gpm_idx1のバイナリ化に、切り捨てされた単項コードが使用される。さらに、２つの片方向予測マージインデックスを同じではあり得ないため、２つの片方向予測マージインデックスのコードワードを切り捨てるために異なる最大値が使用される。これらのマージインデックスは、それぞれmerge_gpm_idx0及びmerge_gpm_idx1に対してMaxGPMMergeCand-1及びMaxGPMMergeCand-2に設定される。MaxGPMMergeCandは、片方向予測マージリスト内の候補の数である。

ＧＰＭ／ＡＷＰモードが適用されると、２つの異なるバイナリ化方法が適用され、merge_gpm_partition_idxシンタックスがバイナリビットの文字列に変換される。具体的には、シンタックス要素は、それぞれ、ＶＶＣ及びＡＶＳ３規格において、固定長コード及び切り捨てされたバイナリコードによってバイナリ化される。一方、ＡＶＳ３のＡＷＰモードでは、シンタックス要素の値のバイナリ化に異なる最大値が使用される。具体的には、ＡＶＳ３では、許可されるＧＰＭ／ＡＷＰ分割モードの数は５６（すなわちmerge_gpm_partition_idxの最大値は５５）であるが、ＶＶＣでは６４（すなわちmerge_gpm_partition_idxの最大値は６３）に増加する。

差分動きベクトルマージモード（ＭＭＶＤ）

１つの現ブロックの動き情報をその空間的／時間的ネイバーから導出する従来のマージモードに加えて、ＭＭＶＤ／ＵＭＶＥモードが、１つの特殊マージモードとしてＶＶＣ及びＡＶＳ規格の両方で導入される。具体的には、ＶＶＣとＡＶＳ３の両方で、モードはコーディングブロックレベルで１つのＭＭＶＤフラグによってシグナリングされる。ＭＭＶＤモードでは、通常のマージモードのマージリストの最初の２つの候補が、ＭＭＶＤの２つの基本マージ候補として選択される。１つの基本マージ候補が選択され、シグナリングされた後、選択されたマージ候補の動きに追加される動きベクトル差分（ＭＶＤ）を示すために、追加のシンタックス要素がシグナリングされる。ＭＭＶＤシンタックス要素には、基本マージ候補を選択するためのマージ候補フラグ、ＭＶＤマグニチュードを指定する距離インデックス、及びＭＶＤ方向を示す方向インデックスが含まれる。

既存のＭＭＶＤ設計では、距離インデックスはＭＶＤの大きさを指定し、ＭＶＤマグニチュードは開始点から予め定義されたオフセットの１セットに基づいて定義される。図６Ａ及び図６Ｂに示されるように、オフセットは、開始ＭＶの水平又は垂直成分（すなわち、選択された基本マージ候補のＭＶ）のいずれかに追加される。

図６Ａに、L0参照のＭＭＶＤモードを示す。図６Ｂに、L1参照のＭＭＶＤモードを示す。

表２に、ＡＶＳ３に適用されるＭＶＤオフセットをそれぞれ示す。

表３に示すように、方向インデックスは、シグナリングされたＭＶＤの符号を指定するために使用される。ＭＶＤ符号の意味は、開始ＭＶに応じて変わり得ることに留意されたい。開始ＭＶが、そのＰＯＣが、ともに現ピクチャのＰＯＣよりも大きいか、現ピクチャのＰＯＣよりも小さい、２つの参照ピクチャを指すＭＶを持つ、片方向予測ＭＶ又は双方向予測ＭＶである場合、シグナリングされた符号は、開始ＭＶに追加されたＭＶＤの符号である。開始ＭＶが、１つのピクチャのＰＯＣが現ピクチャよりも大きく、もう１つのピクチャのＰＯＣが現ピクチャよりも小さい、２つの参照ピクチャを指す双方向予測ＭＶである場合、シグナリングされた符号はL0 ＭＶＤに適用され、シグナリングされた符号の逆の値がL1 ＭＶＤに適用される。

レギュラインターモードの動きシグナリング

ＨＥＶＣ規格と同様に、マージ／スキップモードに加えて、ＶＶＣとＡＶＳ３の両方で、１つのＣＵ間でビットストリーム内の動き情報を明示的に指定できる。全体として、ＶＶＣとＡＶＳ３の両方における動き情報シグナリングは、ＨＥＶＣ規格におけるものと同じに保たれる。具体的には、１つのインター予測シンタックス、すなわちinter_pred_idcは、まず、リストL0、L1、又は両方からの予測シンタックスを示すべくシグナリングされる。使用される各参照リストについて、対応する参照ピクチャが、対応する参照リストの１つの参照ピクチャインデックスref_idx_lx（X=0,1）をシグナリングすることによって識別され、対応するＭＶは、ＭＶ予測子（ＭＶＰ）を選択するために使用される１つのＭＶＰインデックスmvp_lx_flag（X=0,1）によって表され、対象ＭＶと選択されたＭＶＰとの間の動きベクトル差分（ＭＶＤ）が続く。さらに、ＶＶＣ規格では１つの制御フラグmvd_l1_zero_flagがスライスレベルでシグナリングされる。mvd_l1_zero_flagが０に等しいとき、L1 ＭＶＤはビットストリームでシグナリングされる。そうでないとき（mvd_l1_zero_flagが１に等しいとき）、L1 ＭＶＤはシグナリングされず、その値は常にエンコーダ及びデコーダで０であると推測される。

ＣＵレベルの加重による双方向予測

ＶＶＣとＡＶＳ３の前の以前の規格では、加重予測（ＷＰ）が適用されない場合、双方向予測信号は、２つの参照ピクチャから取得された片方向予測信号を平均化することによって生成される。ＶＶＣでは、１つのツールコーディング、すなわちＣＵレベル重み（ＢＣＷ）による双方向予測が、双方向予測の効率を改善するために導入された。具体的には、ＢＣＷの双方向予測は、単純な平均化の代わりに、次のように２つの予測信号の加重平均化を可能とすることで拡張される。

ＶＶＣでは、現ピクチャが１つの低遅延ピクチャである場合、１つのＢＣＷコーディングブロックの重みを、予め定義された重み値w∈{-2,3,4,5,10}の集合から選択することができ、４の重みは、２つの片方向予測信号が等しく重み付けされる従来の双方向予測の場合を表す。低遅延のためには、３つの重みw∈{3,4,5}のみが許容される。一般的に、ＷＰとＢＣＷの間には幾つかの設計上の類似性があるが、２つのコーディングツールは異なる粒度で照明変化問題を解決することを目標としている。しかし、ＷＰとＢＣＷの間の相互作用がＶＶＣ設計を複雑にする可能性があるため、２つのツールを同時に有効にすることはできない。具体的には、ＷＰが１つのスライスに対して有効である場合、スライス内のすべての双方向予測ＣＵのＢＣＷ重みはシグナリングされず、４（すなわち、等しい重みが適用される）であると推測される。

テンプレートマッチング

テンプレートマッチング（ＴＭ）は、現ＣＵの上及び左に隣接する再構築されたサンプルからなる１つのテンプレートと、参照ピクチャ内の参照ブロック（つまり、テンプレートと同じサイズ）との間の最適マッチングを見出だすことによって、現ＣＵの動き情報を精緻化するデコーダ側ＭＶ導出手法である。図７に示されるように、１つのＭＶは、［－８，＋８］ペルの探索範囲内において、現ＣＵの初期動きベクトルの周囲で探索される。最適マッチングは、現テンプレートと参照テンプレートとの間で、例えば、絶対値の差の合計（Sum of Absolute Difference：ＳＡＤ）、絶対変換された差の合計（Sum of Absolute Transformed Difference：ＳＡＴＤ）の合計など、最小マッチングコストを達成するＭＶとして定義されてもよい。ＴＭモードをインターコーディングに適用するには、次の２つの方法がある。

ＡＭＶＰモードでは、ＭＶＰ候補は、現ブロックテンプレートと参照ブロックテンプレートとの差が最小となるものをピックアップするためのテンプレートマッチングの差分に基づいて決定され、ＴＭは、ＭＶ精緻化のためのこの特定のＭＶＰ候補に対してのみ実行される。ＴＭは、［－８，＋８］ペルの探索範囲内のフルペルＭＶＤ精度（又は４ペルＡＭＶＲモードの場合は４ペル）から、反復ダイヤモンド検索を使用して、このＭＶＰ候補を絞り込む。ＡＭＶＰ候補は、フルペルＭＶＤ精度（又は４ペルＡＭＶＲモードの場合は４ペル）でのクロスサーチを使用してさらに絞り込まれ、続いて、下記の表１３で指定されるＡＭＶＲモードに応じて、１／２ペル及び１／４ペルのクロスサーチを使用して絞り込まれてもよい。この検索処理により、ＭＶＰ候補が、ＴＭ処理後にＡＭＶＲモードで示されるのと同じＭＶ精度を維持することが保証される。

マージモードでは、マージインデックスで示されるマージ候補に対して同様の検索方法が適用される。上の表に示すように、ＴＭは、マージされた動き情報に従って代替の補間フィルタ（ＡＭＶＲが１／２ペルモードの場合に使用される）を使用するかどうかに応じて、１／８ペルＭＶＤ精度まで完全に実行し、又は１／２ペルＭＶＤ精度を超えるものをスキップしてもよい。

前述のように、２つのＧＰＭ分割の予測サンプルを生成するために使用される片方向動きは、通常のマージ候補から直接取得される。空間的／時間的な隣接ブロックのＭＶ間に強い相関がない場合、マージ候補から導出した片方向ＭＶは、各ＧＰＭ分割の真の動きをキャプチャするのに十分に正確ではない可能性がある。動き推定は、より正確な動きを提供することが可能であるが、既存の片方向ＭＶに適用し得る任意の動き精緻化のために、無視できないシグナリングオーバーヘッドという代償を伴う。一方、ＭＶＭＤモードは、ＶＶＣ及びＡＶＳ３規格の両方で使用され、これは、ＭＶＤシグナリングオーバーヘッドを削減するための１つの効率的なシグナリングメカニズムであることが証明されている。従って、ＧＰＭをＭＭＶＤモードと組み合わせることも有益である。そのような組み合わせは、各ＧＰＭ分割の個々の動きを捕捉するためにより正確なＭＶを提供することにより、ＧＰＭツールの全体的なコーディング効率を潜在的に向上させ得る。

前述したように、ＶＶＣとＡＶＳ３の両規格では、ＧＰＭモードはマージ／スキップモードにのみ適用される。全ての非マージインターＣＵがＧＰＭの柔軟な非矩形分割から利益を得られないことを考慮すると、このような設計は、コーディング効率の点では最適でない可能性がある。他方、上記と同じ理由により、通常のマージ／スキップモードから導出された片方向予測動き候補は、２つの幾何学的分割の真の動きをキャプチャするには必ずしも正確ではない。このような解析に基づいて、ＧＰＭモードを非マージインターモードに合理的に拡張することにより、追加のコーディングゲインが期待できる（すなわち、ビットストリーム中でそれらの動き情報を明示的にシグナリングするＣＵ）。しかし、ＭＶ精度の向上は、シグナリングオーバーヘッドの増加という代償を伴う。従って、ＧＰＭモードを明示的インターモードに効率的に適用するためには、２つの幾何学的分割に対してより正確なＭＶを提供しながら、シグナリングコストを最小限に抑えることができる１つの効果的なシグナリングスキームを識別することが重要である。

提案される方法

本開示では、各ＧＰＭ分割に適用される既存の片方向ＭＶにさらに動き精緻化を適用することにより、ＧＰＭのコーディング効率をさらに向上させる方法を提案する。提案される方法を、動きベクトル精緻化を伴う幾何学的分割モード（ＧＰＭ－ＭＶＲ）と命名する。さらに、提案されるスキームでは、動き精緻化は、既存のＭＭＶＤ設計の１つの類似した方法、すなわち、予め定義されたＭＶＤマグニチュードと動き精緻化の方向の集合に基づいてシグナリングされる。

開示の別の態様では、ＧＰＭモードを明示的インターモードに拡張するための解決法が提供される。記述を容易にするため、これらのスキームを、明示的動きシグナリングを伴う幾何学的分割モード（ＧＰＭ－ＥＭＳ）と命名する。具体的には、通常のインターモードとのより良い調和を達成するために、提案されたＧＰＭ－ＥＭＳスキームにおいて、２つの幾何学的分割の対応する片方向ＭＶを指定するために、既存の動きシグナリング機構、すなわちＭＶＰ＋ＭＶＤが利用される。

分離動きベクトル精緻化を伴う幾何学的分割モード

ＧＰＭのコーディング効率を改善するため、本セクションでは、別個の動きベクトル精緻化を伴う１つの改良された幾何学的分割モードが提案される。具体的には、ＧＰＭ分割が与えられると、提案された方法は、まず既存のシンタックスmerge_gpm_idx0tomerge_gpm_idx1を使用して、既存の片方向予測マージ候補リストから２つのＧＰＭ分割の片方向ＭＶを識別し、それらをベースＭＶとして使用する。２つのベースＭＶが決定された後、２つの新しいシンタックス要素のセットが導入され、２つのＧＰＭ分割のベースＭＶに別々に適用される動き精緻化の値が指定される。具体的には、２つのフラグ、すなわちgpm_MVR_partIdx0_enable_flagtogpm_MVR_partIdx1_enable_flagは、最初はＧＰＭ－ＭＶＲがそれぞれ第１及び第２のＧＰＭ分割に適用されるか否かを示す信号である。１つのＧＰＭ分割のフラグが１に等しい場合、分割のベースＭＶに適用されるＭＶＲの対応する値は、ＭＭＶＤスタイルでシグナリングされる。すなわち、１つの距離インデックス（シンタックス要素gpm_mvr_partIdx0_distance_idx及びgpm_mvr_partIdx1_distance_idxで示される）はＭＶＲマグニチュードを指定し、１つの方向インデックス（シンタックス要素gpm_mvr_partIdx0_direction_idx及びgpm_mvr_partIdx1_distance_idxで示される）はＭＶＲの方向を指定する。表４は、提案されたＧＰＭ－ＭＶＲ法により導入されたシンタックス要素を示している。

表４に示すような提案されたシンタックス要素に基づいて、デコーダにおいて、各ＧＰＭ分割の片方向予測サンプルを生成するために使用される最終ＭＶは、シグナリングされた動きベクトル精緻化と対応するベースＭＶの合計に等しい。実際には、異なるＭＶＲマグニチュードと方向のセットを事前に定義し、提案したＧＰＭ－ＭＶＲスキームに適用することができ、これにより動きベクトル精度とシグナリングオーバーヘッドとの間の様々なトレードオフを提供できる。１つの具体例において、提案されたＧＰＭ－ＭＶＲスキームのためのＶＶＣ規格で使用される８つのＭＶＤオフセット（すなわち、１／４ペル、１／２ペル、１ペル、２ペル、４ペル、８ペル、１６ペル及び３２ペル）及び４つのＭＶＤ方向（すなわち、＋／－ｘ軸及びｙ軸）を再利用することが提案される。別の例では、ＡＶＳ３規格で使用されている既存の５つのＭＶＤオフセット｛１／４ペル、１／２ペル、１ペル、２ペル及び４ペル｝と４つのＭＶＤ方向（すなわち、＋／－ｘ軸及びｙ軸）が、提案されたＧＰＭ－ＭＶＲスキームに適用されている。

「ＧＰＭシグナリング設計」のセクションで説明したように、２つのＧＰＭ分割に使用される片方向ＭＶは同一にはなり得ないことから、既存のＧＰＭ設計では、２つの片方向予測マージインデックスを強制的に異ならせる１つの制約が適用される。しかし、提案されたＧＰＭ－ＭＶＲスキームでは、さらなる動き精緻化が既存のＧＰＭ片方向ＭＶに適用される。したがって、２つのＧＰＭ分割のベースＭＶが同一であっても、２つの分割を予測するために使用される最終的な片方向ＭＶは、２つの動きベクトル精緻化の値が同じでない限り、依然として異なる可能性がある。上記の考察に基づいて、提案したＧＰＭ－ＭＶＲスキームが適用されるとき、制約（２つの片方向予測マージインデックスが異なるように制限する）は除去される。さらに、２つの片方向予測マージインデックスが同一であることが許容されているため、merg_gpm_idx0とmerge_gpm_idx1の両方のバイナリ化に同じ最大値MaxGPMMergeCand-1が使用される。MaxGPMMergeCandは、片方向予測マージリスト内の候補の数である。

上で分析したように、２つのＧＰＭ分割の片方向予測マージインデックス（すなわち、merge_gpm_idx0とmerge_gpm_idx1）が同一である場合、２つの分割に使用される最終ＭＶが異なることを保証するために、２つの動きベクトル精緻化の値を同じにすることはできない。このような条件に基づいて、開示の一実施形態において、２つのＧＰＭ分割の片方向予測マージインデックスが同じ（すなわち、merge_gpm_idx0がmerge_gpm_idx1と等しい）場合、第１のＧＰＭ分割のＭＶＲを使用して第２のＧＰＭ分割のＭＶＲのシグナリングオーバーヘッドを削減する、１つのシグナリング冗長性除去方法が提案される。一例では、次のシグナリング条件が適用される：

第一に、フラグgpm_MVR_partIdx0_enable_flagが０に等しい（すなわち、ＧＰＭ－ＭＶＲが第１のＧＰＭ分割に適用されない）とき、gpm_MVR_partIdx1_enable_flagのフラグはシグナリングされず、１であると推測される（すなわち、ＧＰＭ－ＭＶＲが第２のＧＰＭ分割に適用される）。

次に、両方のフラグgpm_MVR_partIdx0_enable_flagとgpm_MVR_partIdx1_enable_flagが１に等しく（すなわちＧＰＭ－ＭＶＲが２つのＧＰＭ分割に適用される）、gpm_mvr_partIdx0_direction_idxがgpm_mvr_partIdx1_direction_idxに等しい場合（すなわち２つのＧＰＭ分割のＭＶＲが同じ方向を有する場合）、第１のＧＰＭ分割のＭＶＲマグニチュード（すなわち、gpm_mvr_partIdx0_distance_idx）が、第２のＧＰＭ分割のＭＶＲの大きさ（すなわち、gpm_mvr_partIdx1_distance_idx）を予測するために使用される。具体的には、gpm_mvr_partIdx1_distance_idxがgpm_mvr_partIdx0_distance_idxより小さい場合、元の値が直接シグナリングされる。そうでない場合（gpm_mvr_partIdx1_distance_idxがgpm_mvr_partIdx0_distance_idxより大きい場合）、その値はビットストリームにシグナリングされる前に１ずつ減算される。デコーダ側では、gpm_mvr_partIdx1_distance_idxの値を復号するために、解析された値がgpm_mvr_partIdx0_distance_idxより小さい場合、gpm_mvr_partIdx1_distance_idxは解析値に設定される。そうでない場合（解析された値がgpm_mvr_partIdx0_distance_idxと等しいかそれより大きい場合）、gpm_mvr_partIdx1_distance_idxは解析された値に１を加えた値に設定される。このような場合、オーバーヘッドをさらに削減するために、異なる最大値MaxGPMMVRDistance-1及びMaxGPMMVRDistance-2をgpm_mvr_partIdx0_distance_idx及びgpm_mvr_partIdx1_distance_idxのバイナリ化に使用できる。MaxGPMMVRDistanceは、動きベクトル精緻化に許容されるマグニチュードの数である。

別の実施形態では、ＭＶＲマグニチュードがＭＶＲマグニチュードの前にシグナリングされるように、シグナリングの順序をgpm_mvr_partIdx0_direction_idx／gpm_mvr_partIdx1_direction_idx及びgpm_mvr_partIdx0_distance_idx／gpm_mvr_partIdx1_distance_idxに切り替えることが提案される。このように、上述したロジックと同様に、エンコーダ／デコーダは、第１のＧＰＭ分割のＭＶＲ方向を使用して、第２のＧＰＭ分割のＭＶＲ方向のシグナリングを条件付けることができる。別の実施形態では、第２のＧＰＭ分割のＭＶＲマグニチュード及び方向を第１にシグナリングし、それらを使用して、第２のＧＰＭ分割のＭＶＲマグニチュード及び方向のシグナリングを条件付けることが提案される。

別の実施形態では、既存のＧＰＭシンタックス要素のシグナリングの前に、ＧＰＭ－ＭＶＲ関連のシンタックス要素をシグナリングすることが提案される。具体的には、このような設計では、２つのフラグ、gpm_MVR_partIdx0_enable_flagとgpm_MVR_partIdx1_enable_flagは、最初はＧＰＭ－ＭＶＲがそれぞれ第１及び第２のＧＰＭ分割に適用されるか否かを示す信号である。１つのＧＰＭ分割のフラグが１に等しい場合、距離インデックス（シンタックス要素gpm_mvr_partIdx0_distance_idx及びgpm_mvr_partIdx1_distance_idxによって示される）と方向インデックス（シンタックス要素gpm_mvr_partIdx0_direction_idx及びgpm_mvr_partIdx1_distance_idxによって示される）がＭＶＲの方向を特定するためにシグナリングされる。その後、既存のシンタックスmerge_gpm_idx0及びmerge_gpm_idx1が、２つのＧＰＭ分割、すなわち、ベースのＭＶの片方向ＭＶを識別するためにシグナリングされる。表５は、提案されたＧＰＭ－ＭＶＲシグナリングスキームを示す。

表４のシグナリング法と同様に、表５のＧＰＭ－ＭＶＲシグナリング法を適用して、２つのＧＰＭ分割の予測に使用される、結果として得られるＭＶが同一でないことを保証する場合、特定の条件が適用されてもよい。具体的には、片方向予測マージインデックスmerge_gpm_idx0及びmerge_gpm_idx1のシグナリングを、第１及び第２のＧＰＭ分割に適用されるＭＶＲの値に応じて制約するために、次の条件が提案される。

第一に、gpm_MVR_partIdx0_enable_flagとgpm_MVR_partIdx1_enable_flagの両方の値が０に等しい（すなわち、ＧＰＭ－ＭＶＲが２つのＧＰＭ分割の両方に対して無効である）とき、merge_gpm_idx0とmerge_gpm_idx1の値は同じにはならない；

第二に、gpm_MVR_partIdx0_enable_flagが１に等しく（すなわち、ＧＰＭ－ＭＶＲが第１のＧＰＭ分割に対して有効である）、gpm_MVR_partIdx1_enable_flagが０に等しい（すなわちＧＰＭ－ＭＶＲが第２のＧＰＭ分割に対して無効である）とき、merge_gpm_idx0とmerge_gpm_idx1の値は同一であることが許容される；

第三に、gpm_MVR_partIdx0_enable_flagが０に等しく（すなわち、ＧＰＭ－ＭＶＲが第１のＧＰＭ分割に対して無効である）、gpm_MVR_partIdx1_enable_flagが１に等しい（すなわちＧＰＭ－ＭＶＲが第２のＧＰＭ分割に対して有効である）とき、merge_gpm_idx0とmerge_gpm_idx1の値は同一であることが許容される；

第四に、gpm_MVR_partIdx0_enable_flagとgpm_MVR_partIdx1_enable_flagの両方の値が１に等しい（すなわち、ＧＰＭ－ＭＶＲが２つのＧＰＭ分割の両方に対して有効である）とき、merge_gpm_idx0とmerge_gpm_idx1の値が同一であることが許容されるか否かの判定は、２つのＧＰＭ分割に適用されるＭＶＲの値（gpm_mvr_partIdx0_direction_idxとgpm_mvr_partIdx0_distance_idx、及びgpm_mvr_partIdx1_direction_idxとgpm_mvr_partIdx1_distance_idxで示される）に依存する。２つのＭＶＲの値が等しいとき、merge_gpm_idx0とmerge_gpm_idx1は同一ではない。そうでないとき（２つのＭＶＲの値が等しくないとき）、merge_gpm_idx0とmerge_gpm_idx1の値は同一であることが許容される。

上記４つのケースでは、merge_gpm_idx0とmerge_gpm_idx1の値が同一であることが許容されないとき、一方の分割のインデックス値をもう一方の分割のインデックス値の予測子として使用できる。１つの方法では、最初にmerge_gpm_idx0をシグナリングし、その値を、merge_gpm_idx1を予測するために使用することが提案される。具体的には、エンコーダでmerge_gpm_idx1がmerge_gpm_idx0より大きい場合、デコーダに送信されるmerge_gpm_idx1の値は１ずつ減少する。デコーダでは、merge_gpm_idx1の受信値がmerge_gpm_idx0の受信値と等しいかそれより大きい場合、merge_gpm_idx1の値は１だけ増加する。別の方法では、最初にmerge_gpm_idx1をシグナリングし、その値を、merge_gpm_idx0を予測するために使用することが提案される。そのため、エンコーダでmerge_gpm_idx0がmerge_gpm_idx1より大きい場合、デコーダに送信されるmerge_gpm_idx0の値は１減少する。デコーダでは、merge_gpm_idx0の受信値がmerge_gpm_idx1の受信値と等しいかそれより大きい場合、merge_gpm_idx0の値は１だけ増加する。加えて、既存のＧＰＭシグナリング設計と同様に、MaxGPMMergeCand-1及びMaxGPMMergeCand-2の異なる最大値を、シグナリング順序に従って、それぞれ第１及び第２のインデックス値のバイナリ化に使用できる。一方、２つのインデックス値の間に相関関係がないため、merge_gpm_idx0とmerge_gpm_idx1の値が同一であることが許容される場合、同じ最大値MaxGPMMergeCand-1が両方のインデックス値の２値に使用される。

上記の方法では、シグナリングコストを削減するために、merge_gpm_idx0とmerge_gpm_idx1のバイナリ化に異なる最大値を適用できる。対応する最大値の選択は、（gpm_mvr_partIdx0_enable、gpm_mvr_partIdx1_enable、gpm_mvr_partIdx0_direction_idx、gpm_mvr_partIdx1_direction_idx、gpm_mvr_partIdx0_distance_idx及びgpm_mvr_partIdx1_distance_idx_によって示されるように）ＭＶＲの復号された値に依存する。このような設計は、異なるＧＰＭシンタックス要素間の望ましくないシンタックス解析依存関係を導入し、このことが解析全体に影響を与える可能性がある。こうした問題を解決するため、一実施形態では、merge_gpm_idx0及びmerge_gpm_idx1の値を解析するために、常に同じ最大値（例えば、MaxGPMMergeCand-1）が１つ提案される。このような方法を使用する場合、２つのＧＰＭ分割の２つの復号されたＭＶが同じにならないように、１つのビットストリーム適合性制約を使用してもよい。別の方法では、２つのＧＰＭ分割の復号されたＭＶが同じであることが許されるように、このような非同一性制約を除去することもできる。一方、そのような方法が適用される場合（すなわち、merge_gpm_idx0とmerge_gpm_idx1に同じ最大値を使用する場合）、merge_gpm_idx0／merge_gpm_idx1と他のＧＰＭ－ＭＶＲシンタックス要素の間には解析依存関係はない。したがって、これらのシンタックス要素をシグナリングする順序は、もはや重要ではない。一例として、merge_gpm_idx0／merge_gpm_idx1のシグナリングをgpm_mvr_partIdx0_enable、gpm_mvr_partIdx1_enable、gpm_mvr_partIdx0_direction_idx、gpm_mvr_partIdx1_direction_idx、gpm_mvr_partIdx0_distance_idx及びgpm_mvr_partIdx1_distance_idxのシグナリングの前に移動することが提案される。

対称動きベクトル精緻化を伴う幾何学的分割モード

上述のＧＰＭ－ＭＶＲ方法では２つの別々のＭＶＲ値が適用されてシグナリングされ、そのうちの１つのＭＶＲ値が、１つのＧＰＭ分割のみのベースＭＶを改善するために適用される。そのような方法は、ＧＰＭ分割ごとに独立した動き精緻化を可能とすることで、予測精度の向上に関して効率的である。しかし、このようなフレキシブルな動き精緻化には、２つの異なるＧＭＰ－ＭＶＲシンタックス要素のセットがエンコーダからデコーダに送られる必要があることを考慮すると、シグナリングオーバーヘッドの増加という代償がある。本セクションでは、シグナリングオーバーヘッドを削減するために、対称動きベクトル精緻化を伴う１つの幾何学的分割モードを提案する。具体的には、この方法では、１つのＧＰＭ ＣＵに対して１つの単一ＭＶＲ値がシグナリングされ、２つのＧＰＭ分割の両方に、現ピクチャのピクチャオーダーカウント（ＰＯＣ）値と２つのＧＰＭ分割に関連付けられた参照ピクチャとの間の対称関係に従って使用される。表６は、提案された方法を適用したときのシンタックス要素を示している。

表６に示すように、２つのＧＰＭ分割のベースＭＶが選択された後（merge_gpm_idx0とmerge_gpm_idx1に基づいて）、ＧＰＭ－ＭＶＲモードが現ＧＰＭ ＣＵに適用されるか否かを示すために、１つのフラグgpm_mvr_enable_flagがシグナリングされる。フラグが１に等しい場合、２つのＧＰＭ分割のベースＭＶを強化するために動き精緻化が適用されることを示す。そうでない場合（フラグが０に等しい場合）、動き精緻化が２つの分割のどちらにも適用されないことを示す。ＧＰＭ－ＭＶＲモードが有効である場合、追加のシンタックス要素は、方向インデックスgpm_mvr_direction_idxとマグニチュードインデックスgpm_mvr_distance_idxによって、適用されたＭＶＲの値を指定するために、さらにシグナリングされる。加えて、ＭＭＶＤモードと同様に、ＭＶＲ符号の意味は、現ピクチャのＰＯＣとＧＰＭ分割の２つの参照ピクチャの間の関係に応じて変わり得る。具体的には、２つの参照ピクチャの両方のＰＯＣが、現ピクチャのＰＯＣよりも大きいか、又は小さい場合、シグナリングされた符号は、２つのベースＭＶの両方に追加されるＭＶＲの符号である。そうでない場合（一方の参照ピクチャのＰＯＣが現ピクチャよりも大きく、他方の参照ピクチャのＰＯＣが現ピクチャよりも小さい場合）、シグナリングされた符号は第１のＧＰＭ分割のＭＶＲに適用され、逆の符号が第２のＧＰＭ分割に適用される。表６では、merge_gpm_idx0とmerge_gpm_idx1の値は同一であることが許容される。

別の実施形態では、２つのＧＰＭ分割のＧＰＭ－ＭＶＲモードの有効化／無効化を別々に制御するために、２つの異なるフラグにシグナリングすることが提案される。ただし、ＧＰＭ－ＭＶＲモードが有効な場合、シンタックス要素gpm_mvr_direction_idx及びgpm_mvr_distance_idxに基づいてシグナリングされるのは１つのＭＶＲのみである。そのようなシグナリング法の対応するシンタックステーブルを表７に示す。

表７のシグナリング法が適用される場合、merge_gpm_idx0とmerge_gpm_idx1の値は同一であることが許容される。ただし、２つのＧＰＭ分割に適用された、結果として得られるＭＶが冗長でないことを確認するために、フラグgpm_MVR_partIdx0_enable_flagが０に等しい（すなわち、ＧＰＭ－ＭＶＲが第１のＧＰＭ分割に適用されない）とき、フラグgpm_MVR_partIdx1_enable_flagはシグナリングされず、１であると推測される（すなわち、ＧＰＭ－ＭＶＲが第２のＧＰＭ分割に適用される）。

ＧＰＭ－ＭＶＲのための許容されたＭＶＲの適応

上述のＧＰＭ－ＭＶＲ法では、ＭＶＲ値の１つの固定グループは、１つのビデオシーケンス内のエンコーダとデコーダの両方でＧＰＭ ＣＵに使用される。このような設計は、高解像度や激しい動きを持つビデオコンテンツには最適ではない。これらの場合、ＭＶは非常に大きくなる傾向があるため、固定ＭＶＲ値はそれらのブロックの実際の動きをキャプチャするのに最適でないことがある。ＧＰＭ－ＭＶＲモードのコーディング性能をさらに向上させるために、本開示では、シーケンスレベル、ピクチャ／スライスピクチャ、コーディングブロックグループレベルなどの種々のコーディングレベルでＧＰＭ－ＭＶＲモードによって選択されることが許容されるＭＶＲ値の適応をサポートすることが提案される。例えば、複数のＭＶＲセット及び対応するコードワードは、様々なビデオシーケンスの特定の動き特性に従ってオフラインで導出され得る。エンコーダは、最適ＭＶＲセットを選択し、選択したセットの対応するインデックスをデコーダに対しシグナリングしてもよい。

ＧＰＭ－ＭＶＲレート歪み最適化のためのエンコーダスピードアップロジック

提案されたＧＰＭ－ＭＶＲスキームに対して、ＧＰＭ分割ごとの最適ＭＶＲを決定するために、エンコーダは、適用されるＭＶＲ値を変えて、各ＧＰＭ分割のレート歪みコストを複数回テストする必要がある場合がある。このことはＧＰＭモードの符号化の複雑性を著しく高める可能性がある。符号化の複雑さの問題に対処するために、本セクションでは以下の高速符号化ロジックが提案される。

第一に、ＶＶＣとＡＶＳ３で適用されるクワッド／バイナリ／ターナリツリーブロック分割構造のために、１つの同じコーディングブロックが、１つの異なる分割パスを通して分割された、レート歪み最適化（ＲＤＯ）処理の間にチェックされ得る。現ＶＴＭ／ＨＰＭエンコーダの実装では、ＧＰＭとＧＰＭ－ＭＶＲモードは、異なるブロック分割の組み合わせによって１つの同じＣＵが得られるたびに、他のインター及びイントラコーディングモードとともに常にテストされる。一般的に、異なる分割パスに対しては、１つのＣＵの隣接するブロックのみが異なる可能性がある。ただし、１つのＣＵが選択する最適なコーディングモードに与える影響は比較的小さいはずである。このような考察に基づいて、適用されるＧＰＭＲＤＯの総数を削減するため、１つのＣＵのＲＤコストが初めてチェックされる際にＧＰＭモードが選択されるか否かの決定を保存することが提案された。その後、再度ＲＤＯ処理で同じＣＵがチェックされると（別の分割パスによって）、ＧＰＭのＲＤコスト（ＧＰＭ－ＭＶＲを含む）は、最初にＣＵにＧＰＭが選択された場合にのみチェックされる。１つのＣＵの初期ＲＤチェックにＧＰＭが選択されていない場合、同じＣＵが別の分割パスを介して達成されると、ＧＰＭのみ（ＧＰＭ－ＭＶＲなし）がテストされる。別の方法では、１つのＣＵの最初のＲＤチェックにＧＰＭが選択されていない場合、同じＣＵが別の分割パスを介して達成されると、ＧＰＭとＧＰＭ－ＭＶＲの両方はテストされない。

第二に、ＧＰＭ－ＭＶＲモードのためのＧＰＭ分割数を削減するため、１つのＣＵのＲＤコストを初めてチェックしたとき、最小ＲＤコストなしで最初のＭ個のＧＰＭ分割モードを維持することが提案される。その後、同じＣＵが再度ＲＤＯ処理によってチェックされると（別の分割パスによって）、これらのＭ個のＧＰＭ分割モードのみがＧＰＭ－ＭＶＲモードでテストされる。

第三に、１の初期ＲＤＯ処理に対して試験されるＧＰＭ分割の数を削減するために、２つのＧＰＭ分割に対して異なる片方向予測マージ候補を使用するとき、最初に絶対値の差の合計（Sum Absolute Difference：ＳＡＤ）値を計算することが提案される。次に、１つの特定の分割モードの各ＧＰＭ分割に対して、最小のＳＡＤ値を持つ最適片方向予測マージ候補を選択し、２つのＧＰＭ分割の最適片方向予測マージ候補のＳＡＤ値の合計に等しい分割モードの対応するＳＡＤ値を計算する。次に、次のＲＤ処理では、前のステップの最適ＳＡＤ値を持つ最初のＮ個の分割モードのみがＧＰＭ－ＭＶＲモードでテストされる。

明示的動きシグナリングを使用した幾何学的分割

本セクションでは、ＧＰＭモードを、ＧＰＭモードの２つの片方向ＭＶがエンコーダからデコーダへ明示的にシグナリングされる正規インターモードの双方向予測に拡張するために、複数の方法が提案される。

第１の解決法（解決法１）では、ＧＰＭモードで２つの片方向ＭＶにシグナリングするために、双方向予測の既存の動き信号を完全に再利用することが提案される。表８は、新しく追加されたシンタックス要素が斜体の太字である提案されたスキームの修正されたシンタックステーブルを示す。表８に示すように、この解決法では、信号L0及びL1動き情報の既存のすべてのシンタックス要素が、２つのＧＰＭ分割の片方向ＭＶを示すために、それぞれ完全に再利用される。さらに、L0 ＭＶは常に第１のＧＰＭ分割に関連付けられ、L1 ＭＶは常に第２のＧＰＭ分割に関連付けられていると想定される。一方、表８において、インター予測シンタックス、すなわちinter_pred_idcは、ＧＰＭフラグ（すなわち、gpm_flag）の前にシグナリングされ、inter_pred_idcの値を使用してgpm_flagの存在を条件付けすることができる。具体的には、フラグgpm_flagは、inter_pred_idcがPRED_BI（すなわち双方向予測）と等しく、inter_affine_flagとsym_mvd_flagの両方が０に等しい（すなわち、ＣＵはアフィンモードとＳＭＶＤモードのどちらによってもコード化されない）場合にのみシグナリングする必要がある。フラグgpm_flagがシグナリングされない場合、その値は常に０であると推測される（すなわち、ＧＰＭモードは無効である）。gpm_flagが１の場合、別のシンタックス要素gpm_partition_idxは、現ＣＵの選択されたＧＰＭモード（合計６４個のＧＰＭ分割のうち）を示すように、さらにシグナリングされる。

別の方法では、フラグgpm_flagのシグナリングを他のインターシグナリングシンタックス要素の前に配置して、gpm_flagの値が、他のインターシンタックス要素が存在する必要があるか否かを決定するために使用できるようにすることが提案される。表９は、新しく追加されたシンタックス要素が斜体の太字である場合に、そのような方法が適用される場合の対応するシンタックステーブルを示している。示されるように、gpm_flagは、表９で最初にシグナリングされる。gpm_flagが１の場合、対応するinter_pred_idc、inter_affine_flag、sym_mvd_flagのシグナリングはバイパスできる。代わりに、３つのシンタックス要素の対応する値を、それぞれPRED_BI、0、及び0と推論できる。

表８と表９の両方において、ＳＭＶＤモードをＧＰＭモードと組み合わせることはできない。別の例では、現ＣＵがＧＰＭモードによってコード化される場合、ＳＭＶＤモードを許容することが提案される。このような組み合わせが許容される場合、ＳＭＶＤの同じ設計に従うことによって、２つのＧＰＭ分割のＭＶＤは対称であると仮定され、よって第１のＧＰＭ分割のＭＶＤのみがシグナリングされる必要があり、第２のＧＰＭ分割のＭＶＤは常に第１のＭＶＤに対して対称である。このような方法を適用すると、gpm_flagのsym_mvd_flagの対応するシグナリング条件を削除できる。

前述のように、第１の解決法では、第１のＧＰＭ分割にL0 ＭＶが使用され、第２のＧＰＭ分割にL1 ＭＶが使用されることを常に前提としている。このような設計は、この方法が２つのＧＰＭ分割のＭＶを１つの同じ予測リスト（L0又はL1）から取得することを禁止するという意味で最適ではない可能性がある。このような問題を解決するために、別のＧＰＭ－ＥＭＳスキームである解決法２が、表１０に示すような信号設計で提案される。表１０では、新しく追加されたシンタックス要素は斜体の太字である。表１０に示すように、フラグgpm_flagは最初にシグナリングされる。フラグが１に等しい（ＧＰＭが有効である）場合、選択されたＧＰＭモードを特定するために、シンタックスgpm_partition_idxがシグナリングされる。次に、１つの追加フラグgpm_pred_dir_flag0が、第１のＧＰＭ分割のＭＶがその元である対応する予測リストを示すためにシグナリングされる。フラグgpm_pred_dir_flag0が１に等しい場合、第１のＧＰＭ分割のＭＶがL1から来たことを示す。そうでない（フラグが０に等しい）場合、第１のＧＰＭ分割のＭＶがL0から来たことを示す。その後、既存のシンタックス要素ref_idx_l0、mvp_l0_flag、及びmvd_coding()を使用して、参照ピクチャインデックス、ｍｖｐインデックス、及び第１のＧＰＭ分割のＭＶＤの値をシグナリングする。一方、第１の分割と同様に、別のシンタックス要素gpm_pred_dir_flag1が、第２のＧＰＭ分割の対応する予測リストを選択するために導入され、第２のＧＰＭ分割のＭＶを導出するために使用される既存のシンタックス要素ref_idx_l1、mvp_l1_flag、及びmvd_coding()が続く。

また、最後に、ＧＰＭモードが２つの片方向予測分割（分割エッジ上のブレンディングサンプルを除く）からなる点を考慮すると、双方向オプティカルフロー、デコーダ側動きベクトル精緻化（ＤＭＶＲ）及びＣＵ重み付き双方向予測（ＢＣＷ）など、特に双方向予測用に設計されたＶＶＣ及びＡＶＳ３の既存のコーディングツールは、提案されたＧＰＭ－ＥＭＳスキームが１つのインターＣＵに対して有効であるとき、自動的にバイパスされてもよい。例えば、提案されたＧＰＭ－ＥＭＳの１つが１つのＣＵに対して有効である場合、ＢＣＷがＧＰＭモードに適用できないことを考慮すると、シグナリングオーバーヘッドを削減するために、対応するＢＣＷ重みをＣＵに対してさらにシグナリングする必要はない。

ＧＰＭ－ＭＶＲとＧＰＭ－ＥＭＳの組み合わせ

本セクションでは、幾何学的分割を伴う１つのＣＵに対してＧＰＭ－ＭＶＲとＧＰＭ－ＥＭＳを組み合わせることが提案される。具体的には、提案されたスキームでは、マージベースの動きシグナリング又は明示的シグナリングのうちの１つのみを２つのＧＰＭ分割の片方向予測ＭＶの信号に適用できるＧＰＭ－ＭＶＲ又はＧＰＭ－ＥＭＳのいずれかとは異なり、１）ＧＰＭ－ＭＶＲベースの動きシグナリングを使用する１つの分割と、ＧＰＭ－ＥＭＳベースの動きシグナリングを使用するもう１つの分割、又は２）ＧＰＭ－ＭＶＲベースの動きシグナリングを使用する２つの分割、又は３）ＧＰＭ－ＥＭＳベースの動きシグナリングを使用する２つの分割を許容する。表４のＧＰＭ－ＭＶＲシグナリングと表１０のＧＰＭ－ＥＭＳを使用して、表１１に、提案されたＧＰＭ－ＭＶＲとＧＰＭ－ＥＭＳを組み合わせた後の対応するシンタックステーブルを示す。表１１では、新しく追加されたシンタックス要素は斜体の太字である。表１１に示すように、分割＃１及び＃２にはそれぞれ、２つの追加のシンタックス要素gpm_merge_flag0及びgpm_merge_flag1が導入されており、これらは対応する分割がＧＰＭ－ＭＶＲベースのマージシグナリング又はＧＰＭ－ＥＭＳベースの明示的シグナリングを使用することを指定する。フラグが１の場合、ＧＰＭ片方向予測動きがmerge_gpm_idxX、gpm_mvr_partIdxX_enabled_flag、gpm_mvr_partIdxX_direction_idx及びgpm_mvr_partIdxX_distance_idx（X=0,1）によってシグナリングされる分割に対してＧＰＭ－ＭＶＲベースのシグナリングが有効であることを意味する。そうでない場合、フラグが０の場合、分割の片方向予測動きはシンタックス要素gpm_pred_dir_flagX、ref_idx_lX、mvp_lX_flag、及びmvd_lX（X=0,1）を使用してＧＰＭ－ＥＭＳ方式により明示的にシグナリングされることを意味する。

ＧＰＭ－ＭＶＲとテンプレートマッチングの組み合わせ

このセクションでは、ＧＰＭ－ＭＶＲとテンプレートマッチングを組み合わせるための様々な解決法が提供される。

方法１では、１つのＣＵがＧＰＭモードでコード化される場合、２つのＧＰＭ分割に対して２つの別々のフラグをシグナリングすることが提案され、フラグの各々は、対応する分割の片方向動きがテンプレートマッチングによってさらに精緻化されるか否かを示す。フラグが有効になると、現ＣＵの左側と上側の隣接する再構築されたサンプルを使用してテンプレートが生成される。次いで、「テンプレートの照合」セクションで紹介したのと同じ手順に従って、テンプレートとその参照サンプルの間の差分を最小化することによって、分割の片方向の動きが絞り込まれる。そうでない場合（フラグが無効になっている場合）、テンプレートマッチングは分割に適用されず、ＧＰＭ－ＭＶＲがさらに適用されてもよい。表５のＧＰＭ－ＭＶＲシグナリング法を例に、表１１に、ＧＰＭ－ＭＶＲとテンプレートマッチングを組み合わせた場合の対応するシンタックステーブルを示す。

表１１に示すように、提案されたスキームでは、２つの追加フラグgpm_tm_enable_flag0とgpm_tm_enable_flag1が、それぞれ２つのＧＰＭ分割に対して動きが精緻化されているか否かを示すために、最初にシグナリングされる。フラグが１の場合、ＴＭが１つの分割の片方向ＭＶを精緻化するために適用されていることを示す。フラグが０の場合、ＧＰＭ－ＭＶＲがＧＰＭ分割に適用されているか否かを示す１つのフラグ（gpm_MVR_partIdx0_enable_flag又はgpm_MVR_partIdx1_enable_flag）がさらにシグナリングされる。１つのＧＰＭ分割のフラグが１に等しい場合、距離インデックス（シンタックス要素gpm_mvr_partIdx0_distance_idx及びgpm_mvr_partIdx1_distance_idxによって示される）と方向インデックス（シンタックス要素gpm_mvr_partIdx0_direction_idx及びgpm_mvr_partIdx1_distance_idxによって示される）がＭＶＲの方向を特定するためにシグナリングされる。その後、既存のシンタックスmerge_gpm_idx0及びmerge_gpm_idx1が、２つのＧＰＭ分割の片方向ＭＶを識別するためにシグナリングされる。一方、表５に適用されるシグナリング条件と同様に、２つのＧＰＭ分割の予測に使用される、結果として得られるＭＶが同一でないことを保証するために、以下の条件を適用できる。

第一に、gpm_tm_enable_flag0とgpm_tm_enable_flag1の両方の値が１である（すなわち、２つのＧＰＭ分割の両方でＴＭが有効である）場合、merge_gpm_idx0とmerge_gpm_idx1の値は同じではあり得ない。

第二に、gpm_tm_enable_flag0とgpm_tm_enable_flag1の一方が１で他方が０の場合、merge_gpm_idx0とmerge_gpm_idx1の値は同一であることが許容される。

そうでない場合、すなわちgpm_tm_enable_flag0とgpm_tm_enable_flag1の両方が１に等しいとき：第一に、gpm_MVR_partIdx0_enable_flagとgpm_MVR_partIdx1_enable_flagの両方の値が０に等しい（すなわち、ＧＰＭ－ＭＶＲが２つのＧＰＭ分割の両方に対して無効である）とき、merge_gpm_idx0とmerge_gpm_idx1の値は同じにはならない；第二に、gpm_MVR_partIdx0_enable_flagが１に等しく（すなわち、ＧＰＭ－ＭＶＲが第１のＧＰＭ分割に対して有効である）、gpm_MVR_partIdx1_enable_flagが０に等しい（すなわちＧＰＭ－ＭＶＲが第２のＧＰＭ分割に対して無効である）とき、merge_gpm_idx0とmerge_gpm_idx1の値は同一であることが許容される；第三に、gpm_MVR_partIdx0_enable_flagが０に等しく（すなわち、ＧＰＭ－ＭＶＲが第１のＧＰＭ分割に対して無効である）、gpm_MVR_partIdx1_enable_flagが１に等しい（すなわちＧＰＭ－ＭＶＲが第２のＧＰＭ分割に対して有効である）とき、merge_gpm_idx0とmerge_gpm_idx1の値は同一であることが許容される；第四に、gpm_MVR_partIdx0_enable_flagとgpm_MVR_partIdx1_enable_flagの両方の値が１に等しい（すなわち、ＧＰＭ－ＭＶＲが２つのＧＰＭ分割の両方に対して有効である）とき、merge_gpm_idx0とmerge_gpm_idx1の値が同一であることが許容されるか否かの判定は、２つのＧＰＭ分割に適用されるＭＶＲの値（gpm_mvr_partIdx0_direction_idxとgpm_mvr_partIdx0_distance_idx、及びgpm_mvr_partIdx1_direction_idxとgpm_mvr_partIdx1_distance_idxで示される）に依存する。２つのＭＶＲの値が等しいとき、merge_gpm_idx0とmerge_gpm_idx1は同一ではない。そうでないとき（２つのＭＶＲの値が等しくないとき）、merge_gpm_idx0とmerge_gpm_idx1の値は同一であることが許容される。

上記の方法１では、ＴＭとＭＶＲはＧＰＭに排他的に適用される。このようなスキームでは、ＴＭモードの精緻化されたＭＶにＭＶＲをさらに適用することは禁じられる。従って、ＧＰＭのためにより多くのＭＶ候補を提供するために、ＴＭ精緻化ＭＶにＭＶＲオフセットを適用できる方法２を提案した。表１２に、ＧＰＭ－ＭＶＲがテンプレートマッチングと組み合わされた場合の対応するシンタックステーブルを示す。

表１２に示すように、表１１とは異なり、gpm_tm_enable_flag0及びgpm_tm_enable_flag1でのgpm_MVR_partIdx0_enable_flag及びgpm_MVR_partIdx1_enable_flagのシグナリング条件が削除される。従って、ＴＭが１つのＧＰＭ分割の片方向動きを精緻化するために適用されるか否かにかかわらず、ＭＶ精緻化は常にＧＰＭ分割のＭＶに適用することが許される。上述と同様に、２つのＧＰＭ分割の結果得られるＭＶが同一でないことを確認するには、次の条件を適用する必要がある。

まず、gpm_tm_enable_flag0とgpm_tm_enable_flag1の一方が１で他方が０の場合、merge_gpm_idx0とmerge_gpm_idx1の値は同一であることが許容される。

そうでない場合、すなわちgpm_tm_enable_flag0とgpm_tm_enable_flag1の両方が１に等しいか、あるいは両フラグが０に等しいとき：第一に、gpm_MVR_partIdx0_enable_flagとgpm_MVR_partIdx1_enable_flagの両方の値が０に等しい（すなわち、ＧＰＭ－ＭＶＲが２つのＧＰＭ分割の両方に対して無効である）とき、merge_gpm_idx0とmerge_gpm_idx1の値は同じにはならない；第二に、gpm_MVR_partIdx0_enable_flagが１に等しく（すなわち、ＧＰＭ－ＭＶＲが第１のＧＰＭ分割に対して有効である）、gpm_MVR_partIdx1_enable_flagが０に等しい（すなわちＧＰＭ－ＭＶＲが第２のＧＰＭ分割に対して無効である）とき、merge_gpm_idx0とmerge_gpm_idx1の値は同一であることが許容される；第三に、gpm_MVR_partIdx0_enable_flagが０に等しく（すなわち、ＧＰＭ－ＭＶＲが第１のＧＰＭ分割に対して無効である）、gpm_MVR_partIdx1_enable_flagが１に等しい（すなわちＧＰＭ－ＭＶＲが第２のＧＰＭ分割に対して有効である）とき、merge_gpm_idx0とmerge_gpm_idx1の値は同一であることが許容される；第四に、gpm_MVR_partIdx0_enable_flagとgpm_MVR_partIdx1_enable_flagの両方の値が１に等しい（すなわち、ＧＰＭ－ＭＶＲが２つのＧＰＭ分割の両方に対して有効である）とき、merge_gpm_idx0とmerge_gpm_idx1の値が同一であることが許容されるか否かの判定は、２つのＧＰＭ分割に適用されるＭＶＲの値（gpm_mvr_partIdx0_direction_idxとgpm_mvr_partIdx0_distance_idx、及びgpm_mvr_partIdx1_direction_idxとgpm_mvr_partIdx1_distance_idxで示される）に依存する。２つのＭＶＲの値が等しいとき、merge_gpm_idx0とmerge_gpm_idx1は同一ではない。そうでないとき（２つのＭＶＲの値が等しくないとき）、merge_gpm_idx0とmerge_gpm_idx1の値は同一であることが許容される。

上記の２つの方法では、ＴＭが各ＧＰＭ分割に適用されているか否かを示すために、２つの個別のフラグをシグナリングする必要がある。付加されたシグナリングは、特に低ビットレートにおいて、付加的なオーバーヘッドのために、全体的なコーディング効率を低下させ得る。シグナリングオーバーヘッドを削減するために、付加的なシグナリングを導入する代わりに、ＴＭベースの片方向ＭＶをＧＰＭモードの片方向ＭＶ候補リストに挿入する方法３が提案される。ＴＭベースの片方向ＭＶは、「テンプレートマッチング」の項で説明したものと同じＴＭ処理に従って、ＧＰＭの元の片方向ＭＶを初期ＭＶとして使用して生成される。このようなスキームにより、エンコーダからデコーダへ追加の制御フラグの信号をさらに送る必要はない。代わりに、デコーダは、ビットストリームから受信した対応するマージインデックス（すなわち、merge_gpm_idx0及びmerge_gpm_idx1）を介して、１つのＭＶがＴＭによって精緻化されたか否かを識別できる。通常のＧＰＭ ＭＶ候補（すなわち、非ＴＭ）及びＴＭベースのＭＶ候補を配置するための様々な方法が存在し得る。１つの方法では、ＭＶ候補リストの先頭にＴＭベースのＭＶ候補を置き、続いて非ＴＭベースのＭＶ候補を置くことが提案される。別の方法では、最初に非ＴＭベースのＭＶ候補を最初に置き、続いてＴＭベース候補を置くことが提案される。別の方法では、ＴＭベースのＭＶ候補と非ＴＭベースのＭＶ候補をインタリーブ方式で配置することが提案される。例えば、最初にＮ個の非ＴＭベースの候補を置き、次にすべてのＴＭベースの候補を置き、最後に残りの非ＴＭベースの候補を置くことができる。別の例では、最初にＮ個のＴＭベースの候補を置き、次にすべての非ＴＭベースの候補を置き、最後に残りのＴＭベースの候補を置くことができる。別の例では、非ＴＭベースの候補とＴＭベースの候補とを１つずつ順に、すなわち、１つの非ＴＭベースの候補、１つのＴＭベースの候補、などと配置することが提案される。

上記の方法は、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子部品を含む、１以上の回路を含む装置を用いて実施されてもよい。装置は、上記の方法を実行するために、他のハードウェア又はソフトウェア成分と組み合わせて回路を使用できる。上記開示された各モジュール、サブモジュール、ユニット、又はサブユニットは、少なくとも部分的に１以上の回路を使用して実装されてもよい。

図１０は、ユーザインタフェース１０６０と結合された演算環境（又は演算装置）１０１０を示す。演算環境１０１０は、データ処理サーバの一部とすることができる。一部の実施形態において、演算装置１０１０は、本開示の各種例に従って、上述のような様々な方法又は処理（符号化／復号方法又は処理など）のいずれかを実行できる。演算環境１０１０は、プロセッサ１０２０、メモリ１０４０、及びＩ／Ｏインタフェース１０５０を含んでもよい。

プロセッサ１０２０は、典型的には、表示、データ収集、データ通信、及び画像処理に関連する操作などの、演算環境１０１０の全体的な操作を制御する。プロセッサ１０２０は、上述した方法のすべて又は一部のステップを実行するための命令を実行するための１以上のプロセッサを含んでもよい。さらに、プロセッサ１０２０は、プロセッサ１０２０と他の構成要素との間の相互作用を容易にする１以上のモジュールを含んでもよい。プロセッサは、中央演算処理装置（ＣＰＵ）、マイクロプロセッサ、シングルチップマシン、ＧＰＵなどとすることができる。

メモリ１０４０は、演算環境１０１０の動作をサポートするため、各種タイプのデータを格納するよう構成される。メモリ１０４０は、所定のソフトウェア１０４２を含んでもよい。このようなデータの例には、演算環境１０１０で動作する任意のアプリケーション又は方法のための命令、ビデオデータセット、画像データなどが含まれる。メモリ１１３０は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、読取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク、光ディスクなどの任意のタイプの揮発性又は不揮発性メモリデバイス、又はそれらの組み合わせを使用することによって実施することができる。

Ｉ／Ｏインタフェース１０５０は、プロセッサ１０２０と、キーボード、クリックホイール、ボタンなどの周辺インタフェースモジュールとの間のインタフェースを提供する。ボタンとしては、限定されるものではないが、ホームボタン、スキャン開始ボタン、及びスキャン停止ボタンが含まれ得る。Ｉ／Ｏインタフェース１０５０は、エンコーダ及びデコーダと結合されることができる。

一部の実施形態では、上述の方法を実行するために、メモリ１０４０内に含まれ、演算環境１０１０内のプロセッサ１０２０によって実行可能な複数のプログラムを含む非一時的コンピュータ可読記憶媒体も提供される。例えば、非一時的コンピュータ可読記憶媒体は、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データストレージデバイスなどであってもよい。

非一時的コンピュータ可読記憶媒体は、１以上のプロセッサを有する演算装置によって実行するための複数のプログラムを格納しており、複数のプログラムは、１以上のプロセッサによって実行されると、上記動作予測のための方法を演算装置に実行させる。

一部の実施形態では、演算環境１０１０は、上記の方法を実行するために、１以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィカルプロセシングユニット（ＧＰＵ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子部品を用いて実施されてもよい。

図８は、本開示の一例によるＧＰＭでビデオブロックを復号する方法を示すフローチャートである。

ステップ８０１において、プロセッサ１０２０は、ビデオブロックを第１及び第２の幾何学的分割に分割できる。

ステップ８０２において、プロセッサ１０２０は、第１の幾何学的分割のための第１のＴＭイネーブルフラグを受信でき、第２の幾何学的分割のための第２のＴＭイネーブルフラグを取得できる。

一部の例では、第１のＴＭイネーブルフラグは、第１の分割の片方向動きがＴＭによって精緻化されるか否かを示し、第２のＴＭイネーブルフラグは、第２の分割の片方向動きがＴＭによって精緻化されるか否かを示す。例えば、第１のＴＭイネーブルフラグは、表１１又は表１２に示すようにフラグgpm_tm_enable_flag0となり、第２のＴＭイネーブルフラグは、表１１又は表１２に示すようにフラグgpm_tm_enable_flag1となる。

ステップ８０３において、プロセッサ１０２０は、第１の幾何学的分割の第１のマージＧＰＭインデックスと、第２の幾何学的分割の第２のマージＧＰＭインデックスとを受信してもよい。

一部の例では、第１のマージＧＰＭインデックスは、第１の幾何学的分割の片方向ＭＶを識別し、第２のマージＧＰＭインデックスは、第２の幾何学的分割の片方向ＭＶを識別する。

一部の例では、第１のマージＧＰＭインデックスは、表１１又は１２に示されているように、シンタックス要素merge_gpm_idx0であり、第２のマージＧＰＭインデックスは、表１１又は１２に示されているように、シンタックス要素merge_gpm_idx1であってもよい。

ステップ８０４において、プロセッサ１０２０は、ＧＰＭの片方向ＭＶ候補リストを構築できる。

ステップ８０５において、プロセッサ１０２０は、第１の幾何学的分割に対する片方向ＭＶと、第２の幾何学的分割に対する片方向ＭＶとを生成してもよい。

一部の例では、表１１に示されるように、プロセッサ１０２０は、第１のＴＭイネーブルフラグが１に等しいとの判定に応じて、第１の幾何学的分割の片方向ＭＶを精緻化するためにＴＭが適用され、第１の幾何学的分割に対してＭＶＲが適用されないと判定してもよい。

一部の例では、表１１に示されるように、プロセッサ１０２０は、第１のＴＭイネーブルフラグが０に等しいとの判定に応じて、第１の幾何学的分割のための第１のＧＰＭ（ＧＰＭ－ＭＶＲ）イネーブルフラグを有する第１のＧＰＭを受信することができ、第１のＧＰＭ－ＭＶＲイネーブルフラグは、ＧＰＭ－ＭＶＲが第１の幾何学的分割に適用されるか否かを示すことができる。第１のＧＰＭ－ＭＶＲイネーブルフラグは、表１１に示すように、gpm_tm_enable_flag0とすることができる。

一部の例では、表１１に示されるように、プロセッサ１０２０は、第１のＧＰＭ－ＭＶＲイネーブルフラグが１に等しいとの判定に応じて、第１の幾何学的分割に対する第１のＧＰＭ－ＭＶＲ距離インデックス及び第１のＧＰＭ－ＭＶＲ方向インデックスを受け取ることができる。第１のＧＰＭ－ＭＶＲ距離インデックスと第１のＧＰＭ－ＭＶＲ方向インデックスは、表１１に示すように、それぞれ第１の幾何学的分割のＭＶＲの方向を指定できる。

一部の例では、表１１に示されるように、プロセッサ１０２０は、第２のＴＭイネーブルフラグが１に等しいとの判定に応じて、第２の幾何学的分割の片方向ＭＶを精緻化するためにＴＭが適用され、第２の幾何学的分割に対してＭＶＲが適用されないことを決定してもよい。

一部の例では、表１１に示されるように、プロセッサ１０２０は、第２のＴＭイネーブルフラグが０に等しいとの判定に応じて、第２の幾何学的分割のための動きベクトル精緻化（ＧＰＭ－ＭＶＲ）イネーブルフラグを有する第２のＧＰＭを受信できる。第２のＧＰＭ－ＭＶＲイネーブルフラグは、ＧＰＭ－ＭＶＲが第２の幾何学的分割に適用されるか否かを示すことができる。

一部の例では、表１１に示されるように、プロセッサ１０２０は、第２のＧＰＭ－ＭＶＲイネーブルフラグが１に等しいとの判定に応じて、第１の幾何学的分割に対する第２のＧＰＭ－ＭＶＲ距離インデックス及び第１のＧＰＭ－ＭＶＲ方向インデックスを受け取ることができる。第２のＧＰＭ－ＭＶＲ距離インデックス及び第２のＧＰＭ－ＭＶＲ方向インデックスは、それぞれ第２の幾何学的分割についてＭＶＲの方向を指定してもよい。

一部の例では、プロセッサ１０２０は、第１のＴＭイネーブルフラグと第２のＴＭイネーブルフラグに基づいて、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスをさらに制約してもよい。

一部の例では、プロセッサ１０２０は、第１のＴＭイネーブルフラグと第２のＴＭイネーブルフラグがそれぞれ１に等しいとの判定に応じて、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスが異なると判定してもよい。

一部の例では、プロセッサ１０２０は、第１のＴＭイネーブルフラグ及び第２のＴＭイネーブルフラグの一方が１に等しく、他方が０に等しいとの判定に応じて、第１のマージＧＰＭインデックス及び第２のマージＧＰＭインデックスが同一であることが許容されると判定してもよい。一部の例では、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスが同一であることが許容されている場合、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスは同じであっても、異なっていてもよい。

例えば、一部の例では、gpm_tm_enable_flag0とgpm_tm_enable_flag1の一方が１で他方が０の場合、merge_gpm_idx0とmerge_gpm_idx1の値は同一であってもよい。一部の例では、gpm_tm_enable_flag0とgpm_tm_enable_flag1の一方が１で他方が０の場合、merge_gpm_idx0とmerge_gpm_idx1の値は異なっていてもよい。

一部の例では、プロセッサ１０２０は、第１のＴＭイネーブルフラグ及び第２のＴＭイネーブルフラグがそれぞれ１に等しいとの判定に応じて、第１のＧＰＭ－ＭＶＲイネーブルフラグ及び第２のＧＰＭ－ＭＶＲイネーブルフラグに基づいて、第１のマージＧＰＭインデックス及び第２のマージＧＰＭインデックスをさらに制約してもよい。

例えば、プロセッサ１０２０は、第１のＧＰＭ－ＭＶＲイネーブルフラグと第２のＧＰＭ－ＭＶＲイネーブルフラグがそれぞれ０に等しいとの判定に応じて、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスが異なると判定してもよい。

例えば、プロセッサ１０２０は、第１のＧＰＭ－ＭＶＲイネーブルフラグが１に等しく、第２のＧＰＭ－ＭＶＲイネーブルフラグが０に等しいとの判定に応じて、又は第１のＧＰＭ－ＭＶＲイネーブルフラグが０に等しく、第２のＧＰＭ－ＭＶＲイネーブルフラグが１に等しいとの判定に応じて、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスが同一であることが許容されると判定してもよい。一部の例では、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスが同一であることが許容されている場合、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスは同じであっても、異なっていてもよい。

例えば、プロセッサ１０２０は、第１のＧＰＭ－ＭＶＲイネーブルフラグ及び第２のＧＰＭ－ＭＶＲイネーブルフラグがそれぞれ１に等しいとの判定に応じて、第１の幾何学的分割の第１のＭＶＲ及び第２の幾何学的分割の第２のＭＶＲに基づいて、第１のマージＧＰＭインデックス及び第２のマージＧＰＭインデックスを決定してもよい。

一部の例では、プロセッサ１０２０は、第１のＭＶＲが第２のＭＶＲに等しいとの判定に応じて、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスが異なると判定してもよい。

一部の例では、プロセッサ１０２０は、第１のＭＶＲが第２のＭＶＲに等しくないとの判定に応じて、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスが同一であることが許容されると判定してもよい。一部の例では、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスが同一であることが許容されている場合、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスは同じであっても、異なっていてもよい。

一部の例では、プロセッサ１０２０は、表１２に示されるように、第１のＴＭイネーブルフラグと第２のＴＭイネーブルフラグに基づいて、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスをさらに制約してもよい。

例えば、プロセッサ１０２０は、第１のＴＭイネーブルフラグ及び第２のＴＭイネーブルフラグの一方が１に等しく、他方が０に等しいとの判定に応じて、第１のマージＧＰＭインデックス及び第２のマージＧＰＭインデックスが同一であることが許容されると判定してもよい。

例えば、プロセッサ１０２０は、第１のＴＭイネーブルフラグと第２のＴＭイネーブルフラグの両方が０に等しいか、第１のＴＭイネーブルフラグと第２のＴＭイネーブルフラグの両方が１に等しいとの判定に応じて、第１の幾何学的分割の第１のＧＰＭ動きベクトル精緻化（ＧＰＭ－ＭＶＲ）イネーブルフラグ及び第２の幾何学的分割の第２のＧＰＭ－ＭＶＲイネーブルフラグに基づいて、第１のマージＧＰＭインデックス及び第２のマージＧＰＭインデックスを制約してもよい。第１のＧＰＭ－ＭＶＲイネーブルフラグは、ＧＰＭ－ＭＶＲが第１の幾何学的分割に適用されるか否かを示すことができ、第２のＧＰＭ－ＭＶＲイネーブルフラグは、ＧＰＭ－ＭＶＲが第２の幾何学的分割に適用されるか否かを示すことができる。

一部の例では、プロセッサ１０２０は、第１のＧＰＭ－ＭＶＲイネーブルフラグと第２のＧＰＭ－ＭＶＲイネーブルフラグが０であるとの判定に応じて、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスが異なると判定してもよい。

一部の例では、プロセッサ１０２０は、第１のＧＰＭ－ＭＶＲイネーブルフラグが１に等しく、第２のＧＰＭ－ＭＶＲイネーブルフラグが０に等しいとの判定に応じて、又は第１のＧＰＭ－ＭＶＲイネーブルフラグが０に等しく、第２のＧＰＭ－ＭＶＲイネーブルフラグが１に等しいとの判定に応じて、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスが同一であることが許容されると判定してもよい。第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスが同一であることが許容されている場合、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスは同じであっても、異なっていてもよい。

一部の例では、プロセッサ１０２０は、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスがそれぞれ１に等しいとの判定に応じて、第１のマージＧＰＭインデックス及び第２のマージＧＰＭインデックスを、第１の幾何学的分割の第１の動きベクトル精緻化（ＭＶＲ）及び前記第２の幾何学的分割の第２のＭＶＲに基づいて決定してもよい。

一部の例では、プロセッサ１０２０は、第１のＭＶＲが第２のＭＶＲに等しいとの判定に応じて、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスが異なると判定してもよい。さらに、プロセッサ１０２０は、第１のＭＶＲが第２のＭＶＲに等しくないとの判定に応じて、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスが同一であることが許容されると判定してもよい。

図９は、本開示の一例によるＧＰＭでビデオブロックを復号する方法を示すフローチャートである。

ステップ９０１において、プロセッサ１０２０は、ビデオブロックを第１及び第２の幾何学的分割に分割できる。

ステップ９０２において、プロセッサ１０２０は、ＧＰＭの片方向ＭＶ候補リストを構築できる。

ステップ９０３において、プロセッサ１０２０は、第１の幾何学的分割の第１のマージＧＰＭインデックスと、第２の幾何学的分割の第２のマージＧＰＭインデックスとを受信してもよい。

一部の例では、第１のマージＧＰＭインデックスは、表１１又は１２に示されているように、シンタックス要素merge_gpm_idx0であり、第２のマージＧＰＭインデックスは、表１１又は１２に示されているように、シンタックス要素merge_gpm_idx1であってもよい。

ステップ９０４において、プロセッサ１０２０は、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスに基づいて片方向ＭＶ候補リストを更新してもよい。

一部の例では、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスは、単一の片方向ＭＶが洗練されているか否かを示す。

一部の例では、プロセッサ１０２０は、初期ＭＶとしてＧＰＭの元の片方向ＭＶに基づいて、ＴＭベースの片方向ＭＶを生成してもよく、ＴＭベースの片方向ＭＶを片方向ＭＶ候補リストに追加することによって、更新された片方向ＭＶ候補リストを取得してもよい。第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスは、ＴＭベースの片方向ＭＶを示し得る。

一部の例では、プロセッサ１０２０は、以下の操作のうちの１つによって、ＴＭベースの片方向ＭＶを片方向ＭＶ候補リストに追加してもよい：非ＴＭベースの片方向ＭＶがＴＭベースの片方向ＭＶに続くように、片方向ＭＶ候補リストの先頭にＴＭベースの片方向ＭＶを追加すること；ＴＭベースの片方向ＭＶが、片方向ＭＶ候補リスト内の非ＴＭベースの片方向ＭＶに続くように、片方向ＭＶ候補リストにＴＭベースの片方向ＭＶを追加すること；片方向ＭＶ候補リストにおいてＴＭベースの片方向ＭＶと非ＴＭベースの片方向ＭＶがインタリーブ方式で配置されるように、片方向ＭＶ候補リストにＴＭベースの片方向ＭＶを追加すること。

一部の例では、ＧＰＭでビデオブロックを復号するための装置が提供される。装置は、プロセッサ１０２０と、プロセッサによって実行可能な命令を格納するよう構成されたメモリ１０４０とを含み、プロセッサは、命令の実行時に、図８又は図９に示す方法を実行するよう構成される。

他の一部の例では、命令が格納された非一時的コンピュータ可読記憶媒体が提供される。命令がプロセッサ１０２０によって実行されると、命令は図８又は図９に示されるような方法をプロセッサに実行させる。

本開示の他の例は、ここに開示される本開示の明細書及び実施の検討から当業者には明らかとなろう。本出願は、その一般原理に従う開示のあらゆる変形、使用、又は適合をカバーすることを意図しており、当技術分野における既知の又は慣習的実施に含まれる本開示からの逸脱を含む。明細書及び例は、あくまで例示的であるとみなされることが意図されている。

本開示は、上記で説明され、添付の図面に示された例のみに限定されるものではなく、その範囲を逸脱することなく、種々の修正及び変更を行うことができることが理解されるであろう。

本開示は、ビデオコーディング及び圧縮に関する。より詳しくは、本開示は、重み付き角予測（angular weighted prediction：ＡＷＰ）モードとしても知られる幾何学的分割モード（geometric partition mode：ＧＰＭ）のコーディング効率を改善する方法及び装置に関する。

ビデオデータを圧縮するために、各種ビデオコーディング技術を使用できる。ビデオコーディングは、１以上のビデオコーディング規格に従って実行される。例えば、最近では、周知のビデオコーディング規格には、多用途ビデオコーディング（Versatile Video Coding：ＶＶＣ）、高効率ビデオコーディング（High Efficiency Video Coding:ＨＥＶＣ、Ｈ．２６５又はＭＰＥＧ－Ｈ Ｐａｒｔ２としても知られる）、アドバンスド・ビデオコーディング（Advanced Video Coding：ＡＶＣ、Ｈ．２６４又はＭＰＥＧ－４ Ｐａｒｔ １０としても知られる）が含まれ、これらはＩＳＯ／ＩＥＣ ＭＰＥＧ及びＩＴＵ－Ｔ ＶＥＣＧによって共同開発されている。ＡＯＭｅｄｉａ Ｖｉｄｅｏ １ （ＡＶ１）は、Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ （ＡＯＭ）によって、以前の規格ＶＰ９の後継として開発された。オーディオビデオコーディング（Audio Video Coding：ＡＶＳ）は、デジタルオーディオ及びデジタルビデオ圧縮規格を指し、中国のオーディオ及びビデオコーディング規格ワークグループ（Audio and Video Coding Standard Workgroup）によって開発されたもう１つのビデオ圧縮規格シリーズである。既存のビデオコーディング規格の大部分は、有名なハイブリッドビデオコーディングフレームワークに基づいて構築される、すなわちビデオ画像又はシーケンスに存在する冗長性を削減するためにブロックベースの予測方法（例えば、インター予測、イントラ予測）を使用し、予測誤差のエネルギーを圧縮するために変換コーディングを使用する。ビデオコーディング技術の重要な目標は、ビデオ品質の劣化を回避しもしくは最小限に抑えながら、より低いビットレートを使用する形式にビデオデータを圧縮することである。

本開示の例は、ビデオコーディングのための方法及び装置、及び非一時的コンピュータ可読記憶媒体を提供する。

本開示の第１の態様によれば、ＧＰＭでビデオブロックを復号する方法が提供される。この方法は、ビデオブロックを第１の幾何学的分割及び第２の幾何学的分割に分割することを含んでもよい。この方法は、第１の幾何学的分割に対する第１のテンプレートマッチング（ＴＭ）イネーブルフラグを受信することと、第２の幾何学的分割に対する第２のＴＭイネーブルフラグを受信することとを含み、第１のＴＭイネーブルフラグは、第１の幾何学的分割の片方向動きがＴＭによって精緻化されているか否かを示し、第２のＴＭイネーブルフラグは、第２の幾何学的分割の片方向動きがＴＭによって精緻化されているか否かを示す。この方法は、第１の幾何学的分割の第１のマージＧＰＭインデックスと、第２の幾何学的分割の第２のマージＧＰＭインデックスとを受信することを含んでもよい。この方法は、ＧＰＭの片方向動きベクトル（ＭＶ）候補リストを構築することを含んでもよい。この方法は、第１の幾何学的分割に対する片方向ＭＶと、第２の幾何学的分割に対する片方向ＭＶとを生成することを含んでもよい。

本開示の第２の態様によれば、ＧＰＭでビデオブロックを復号する方法が提供される。この方法は、ビデオブロックを第１の幾何学的分割及び第２の幾何学的分割に分割することを含んでもよい。この方法は、ＧＰＭの片方向ＭＶ候補リストを構築することを含んでもよい。この方法は、第１の幾何学的分割の第１のマージＧＰＭインデックスと、第２の幾何学的分割の第２のマージＧＰＭインデックスとを受信することを含んでもよい。この方法は、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスに基づいて片方向ＭＶ候補リストを更新することを含んでもよく、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスは、単一の片方向ＭＶがテンプレートマッチング（ＴＭ）によって精緻化されているか否かを示す。

本開示の第３の態様によれば、ビデオ復号のための装置が提供される。この装置は、１以上のプロセッサと、非一時的コンピュータ可読記憶媒体とを含んでもよい。非一時的コンピュータ可読記憶媒体は、１以上のプロセッサによって実行可能な命令を格納するよう構成される。１以上のプロセッサは、命令の実行時に、第１又は第２の態様で方法を実行するよう構成される。

本開示の第４の態様によれば、非一時的コンピュータ可読記憶媒体が提供される。非一時的コンピュータ可読記憶媒体は、１以上のコンピュータプロセッサによって実行されると、１以上のコンピュータプロセッサに、第１又は第２の態様でこの方法を実行させるコンピュータで実行可能な命令を格納してもよい。

本明細書に組み込まれ、本明細書の一部をなす添付の図面は、本開示と一致する例を説明し、明細書と共に、本開示の原理を説明するのに役立つ。

図１は、本開示の一例によるエンコーダのブロック図である。 図２は、本開示の一例によるデコーダのブロック図である。 図３Ａは、本開示の一例によるマルチタイプツリー構造におけるブロック分割を示す図である。 図３Ｂは、本開示の一例によるマルチタイプツリー構造におけるブロック分割を示す図である。 図３Ｃは、本開示の一例によるマルチタイプツリー構造におけるブロック分割を示す図である。 図３Ｄは、本開示の一例によるマルチタイプツリー構造におけるブロック分割を示す図である。 図３Ｅは、本開示の一例によるマルチタイプツリー構造におけるブロック分割を示す図である。 図４は、本開示の一例による、許容される幾何学的分割（Geometric Partitioning：ＧＰＭ）による分割の例である。 図５は、本開示の一例による片方向予測動きベクトル選択を示す表である。 図６Ａは、本開示の一例による差分動きベクトルマージモード（Merge mode with Motion Vector Difference：ＭＭＶＤ）の説明図である。 図６Ｂは、本開示の一例によるＭＭＶＤモードの説明図である。 図７は、本開示の一例によるテンプレートマッチング（ＴＭ）アルゴリズムの説明図である。 図８は、本開示の一例による、ＧＰＭでビデオブロックを復号する方法である。 図９は、本開示の一例による、ＧＰＭでビデオブロックを復号する方法である。 図１０は、本開示の一例による、ユーザインタフェースと結合された演算環境を示す図である。

ここで、実施形態を詳細に参照する。その例は添付の図面に示されている。以下の説明は、別段の表示がない限り、異なる図面における同一の番号が同一又は類似の要素を表す添付図面を参照する。以下の実施の説明に記載される実施形態は、本開示と一致するすべての実施を表すものではない。代わりに、それらは、添付の特許請求の範囲に記載されている本開示に関連する態様と一致する装置及び方法の単なる例である。

本開示で使用される用語は、特定の実施形態を説明することのみを目的としており、本開示を限定することを意図するものではない。本開示及び添付の特許請求の範囲で使用されるように、単数形「a」、「an」、及び「the」は、文脈で明確に別段の指示がない限り、複数形も含むことを意図している。ここで使用される「及び／又は」という用語は、関連するリストされた項目の１以上の任意又はすべての可能な組み合わせを意味し、それらを含むことを意図していることも理解されたい。

ここで「第１」、「第２」、「第３」などの用語を使用して様々な情報を説明することができるが、情報はこれらの用語によって限定されるべきではないことを理解されたい。これらの用語は、あるカテゴリの情報を別のカテゴリと区別するためにのみ使用される。例えば、本開示の範囲から逸脱することなく、第１の情報を第２の情報と呼ぶことができ、同様に、第２の情報を第１の情報と呼ぶこともできる。ここで使用される場合、「の場合（if）」という用語は、文脈に応じて、「のとき（when）」又は「すると（upon）」又は「判定に応じて（in response to a judgment）」を意味するものと理解され得る。

第１世代ＡＶＳ規格には、中国国家規格「Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｖｉｄｅｏ Ｃｏｄｉｎｇ， Ｐａｒｔ ２： Ｖｉｄｅｏ」 （ＡＶＳ１として知られる）と「Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ， Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｐａｒｔ １６： Ｒａｄｉｏ Ｔｅｌｅｖｉｓｉｏｎ Ｖｉｄｅｏ」（ＡＶＳ＋として知られる）」が含まれる。これは、ＭＰＥＧ－２規格と比較して、同じ知覚品質で約５０％のビットレート節約を提供できる。ＡＶＳ１規格のビデオパートは、２００６年２月に中国国家規格として公布された。第２世代ＡＶＳ規格には、中国の一連の国家規格「Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ， Ｅｆｆｉｃｉｅｎｔ Ｍｕｌｔｉｍｅｄｉａ Ｃｏｄｉｎｇ」（ＡＶＳ２として知られる）が含まれ、これは主に超高解像度テレビ番組の伝送を対象としている。ＡＶＳ２のコーディング効率はＡＶＳ＋の２倍である。２０１６年５月には、中国国家規格としてＡＶＳ２が公布された。一方、ＡＶＳ２規格のビデオパートは、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）によって、アプリケーションの国際規格の１つとして提出された。ＡＶＳ３規格は、最新の国際規格であるＨＥＶＣのコーディング効率を上回ることを目的とした、ＵＨＤビデオアプリケーション用の１つの新しい世代のビデオコーディング規格である。２０１９年３月、第６８回ＡＶＳ会議において、ＡＶＳ３－Ｐ２ベースラインが完成し、ＨＥＶＣ規格より約３０％ビットレートが節約された。現在、高性能モデル（ＨＰＭ）と呼ばれる１つのリファレンスソフトウェアがＡＶＳグループによって維持されており、ＡＶＳ３規格のリファレンス実装を実証している。

ＨＥＶＣと同様に、ＡＶＳ３規格はブロックベースのハイブリッドビデオコーディングフレームワークに基づいて構築されている。

図１は、ＶＶＣのためのブロックベースのビデオエンコーダの概略図を示す。具体的には、図１は、典型的なエンコーダ１００を示す。エンコーダ１００は、ビデオ入力１１０、動き補償１１２、動き推定１１４、イントラ／インターモード決定１１６、ブロック予測子１４０、サマー（summer）１２８、変換１３０、量子化１３２、予測関連情報１４２、イントラ予測１１８、ピクチャバッファ１２０、逆量子化１３４、逆変換１３６、加算器１２６、メモリ１２４、ループ内フィルタ１２２、エントロピーコーディング１３８、及びビットストリーム１４４を有する。

エンコーダ１００において、ビデオフレームは処理のために複数のビデオブロックに分割される。所与の各ビデオブロックについて、インター予測アプローチ又はイントラ予測アプローチのいずれかに基づいて予測が形成される。

ビデオ入力１１０の一部である現ビデオブロックと、ブロック予測子１４０の一部であるその予測子との差を表す予測残差が、加算器１２８から変換１３０に送られる。次いで、変換係数は、エントロピー削減のために変換１３０から量子化１３２に送られる。次に、量子化係数がエントロピーコーディング１３８に供給され、圧縮されたビデオビットストリームが生成される。図１に示されるように、ビデオブロック分割情報、動きベクトル（motion vector：ＭＶ）、参照ピクチャインデックス、及びイントラ予測モードなどの、イントラ／インターモード決定１１６からの予測関連情報１４２も、エントロピーコーディング１３８を介して供給され、圧縮ビットストリーム１４４に保存される。圧縮ビットストリーム１４４は、ビデオビットストリームを含む。

エンコーダ１００では、予測の目的で画素を再構築するために、デコーダ関連回路も必要とされる。第１に、予測残差は、逆量子化１３４及び逆変換１３６によって再構築される。この再構築された予測残差は、ブロック予測子１４０と組み合わされ、現ビデオブロックのための、フィルタリングされていない再構築された画素を生成する。

空間予測（又は「イントラ予測」）は、現ビデオブロックと同じビデオフレーム内のすでにコード化された隣接ブロックのサンプル（参照サンプルと呼ばれる。）からの画素を使用して、現ビデオブロックを予測する。

時間予測（「インター予測」とも呼ばれる。）は、すでに符号化されたビデオピクチャからの再構築された画素を使用して、現ビデオブロックを予測する。時間予測は、ビデオ信号に固有の時間冗長性を削減する。所与のコーディングユニット（ＣＵ）又はコーディングブロックについての時間予測信号は、通常、現ＣＵとその時間参照との間の動きの量と方向を示す１以上の動きベクトル（ＭＶ）によってシグナリングされる。また、複数の参照ピクチャがサポートされている場合には、１つの参照ピクチャインデックスが追加で送信される。これは、時間予測信号が参照ピクチャストアにおけるどの参照ピクチャから来るかを識別するために使用される。

動き推定１１４は、ビデオ入力１１０及びピクチャバッファ１２０からの信号を取り込み、動き推定信号を動き補償１１２に出力する。動き補償１１２は、ビデオ入力１１０と、ピクチャバッファ１２０からの信号と、動き推定１１４からの動き推定信号とを取り込み、動き補償信号をイントラ／インターモード決定１１６へ出力する。

空間予測及び／又は時間予測が実施された後、エンコーダ１００内のイントラ／インターモード決定１１６は、例えばレート歪み最適化方法に基づいて、最適な予測モードを選択する。次いで、ブロック予測子１４０は現ビデオブロックから減算され、結果として生じる予測残差は変換１３０及び量子化１３２を使用して脱相関される。結果として生じる量子化された残差係数は、再構築された残差を形成するために、逆量子化１３４によって逆量子化され、逆変換１３６によって逆変換され、次いで、再構築された残差は、ＣＵの再構築された信号を形成するために、予測ブロックに戻って加算される。さらに、デブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）、及び／又は適応ループ内フィルタ（ＡＬＦ）などのループ内フィルタリング１２２は、ピクチャバッファ１２０の参照ピクチャストアに入れられる前に、再構築されたＣＵ上で適用され、将来のビデオブロックをコーディングするために使用され得る。出力ビデオビットストリーム１４４を形成するために、コーディングモード（インター又はイントラ）、予測モード情報、動き情報、及び量子化された残差係数は全て、ビットストリームを形成するためにエントロピーコーディングユニット１３８に送信され、さらに圧縮され、パッキングされる。

図１は、一般的なブロックベースのハイブリッドビデオ符号化システムのブロック図を示す。入力ビデオ信号は、ブロック（コーディングユニット（ＣＵ）と呼ばれる）ごとに処理される。クワッドツリーのみに基づいてブロックを区分するＨＥＶＣとは異なり、ＡＶＳ３では、１つのコーディングツリーユニット（ＣＴＵ）は、クワッド／バイナリ／拡張クワッドツリーに基づいて、変動する局所特性に適合するようにＣＵにスプリットされる。加えて、ＨＥＶＣにおける複数の分割ユニットタイプの概念は取り除かれ、すなわち、ＣＵ、予測ユニット（ＰＵ）、及び変換ユニット（ＴＵ）の区別はＡＶＳ３には存在せず、その代わりに、さらなる分割なしに、予測と変換の両方のための基本単位として各ＣＵが常に使用される。ＡＶＳ３のツリー分割構造では、１つのＣＴＵは最初にクワッドツリー構造に基づいて分割化される。次に、各クワッドツリーのリーフノードは、バイナリ及び拡張クワッドツリー構造に基づいてさらに分割できる。

図３Ａ、図３Ｂ、図３Ｃ、図３Ｄ、及び図３Ｅに示されるように、四分割、水平二分割、垂直二分割、水平拡張クワッドツリー分割、及び垂直拡張クワッドツリー分割という５つのスプリットタイプがある。

図３Ａは、本開示による、マルチタイプツリー構造におけるブロック四分割を示す図である。

図３Ｂは、本開示による、マルチタイプツリー構造におけるブロック垂直二分割を示す図である。

図３Ｃは、本開示による、マルチタイプツリー構造におけるブロック水平二分割を示す図である。

図３Ｄは、本開示による、マルチタイプツリー構造におけるブロック垂直三分割を示す図である。

図３Ｅは、本開示による、マルチタイプツリー構造におけるブロック水平三分割を示す図である。

図１では、空間予測及び／又は時間予測が実行され得る。空間予測（又は「イントラ予測」）は、現ビデオブロックを予測するために、すでにコード化された隣接ブロックのサンプル（参照サンプルと呼ばれる）からの画素を同じビデオピクチャ／スライスにおいて使用する。空間予測は、ビデオ信号に固有の空間冗長性を削減する。時間予測（「インター予測」又は「動き補償予測」とも呼ばれる）は、現ビデオブロックを予測するために、すでにコード化されたビデオピクチャからの再構築された画素を使用する。時間予測は、ビデオ信号に固有の時間冗長性を削減する。所与のＣＵのための時間予測信号は、通常、現ＣＵとその時間参照との間の動きの量及び方向を示す１以上の動きベクトル（ＭＶ）によってシグナリングされる。また、複数の参照ピクチャがサポートされる場合、時間予測信号が参照ピクチャストア内のどの参照ピクチャから来ているかを識別するために使用される１つの参照ピクチャインデックスが追加的に送信される。空間及び／又は時間予測の後、エンコーダ内のモード決定ブロックは、例えばレート歪み最適化方法に基づいて、最適な予測モードを選択する。次いで、予測ブロックは現ビデオブロックから減算され、予測残差は変換及び量子化を使用して脱相関される。量子化された残差係数は、再構築された残差を形成するために逆量子化及び逆変換され、再構築された残差は、ＣＵの再構築された信号を形成するために、予測ブロックに戻って加算される。さらに、デブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）、及び適応ループ内フィルタ（ＡＬＦ）などのループ内フィルタリングは、参照ピクチャストアに入れられる前に、再構築されたＣＵに適用され、将来のビデオブロックをコーディングするために使用されてもよい。出力ビデオビットストリームを形成するために、コーディングモード（インター又はイントラ）、予測モード情報、動き情報、及び量子化された残差係数は全て、ビットストリームを形成するためにエントロピーコーディングユニットに送信されて、さらに圧縮され、パッキングされる。

図２は、ＶＶＣのためのビデオデコーダの概略ブロック図を示す。具体的には、図２は、典型的なデコーダ２００のブロック図を示す。デコーダ２００は、ビットストリーム２１０、エントロピー復号２１２、逆量子化２１４、逆変換２１６、加算器２１８、イントラ／インターモード選択２２０、イントラ予測２２２、メモリ２３０、ループ内フィルタ２２８、動き補償２２４、ピクチャバッファ２２６、予測関連情報２３４、及びビデオ出力２３２を有する。

デコーダ２００は、図１のエンコーダ１００にある再構築関連のセクションと同様である。デコーダ２００において、量子化された係数レベル及び予測関連情報を導出するために、入ってくるビデオビットストリーム２１０が最初にエントロピー復号２１２によって復号される。次いで、再構築された予測残差を取得するために、量子化された係数レベルが逆量子化２１４及び逆変換２１６を通じて処理される。イントラ／インターモード選択器２２０において実装されるブロック予測子機構は、復号された予測情報に基づいて、イントラ予測２２２又は動き補償２２４のいずれかを実施するよう構成される。フィルタリングされていない再構築された画素のセットは、サマー２１８を使用して、逆変換２１６からの再構築予測残差とブロック予測子機構によって生成された予測出力を合計することによって取得される。

再構築されたブロックはさらに、参照ピクチャストアとして機能するピクチャバッファ２２６に格納される前に、ループ内フィルタ２２８を通過してもよい。ピクチャバッファ２２６内の再構築されたビデオは、表示装置を駆動するために送信されてもよく、また将来のビデオブロックを予測するために使用されてもよい。ループ内フィルタ２２８がオンである状況では、最終的な再構築されたビデオ出力２３２を導出するために、これらの再構築された画素に対してフィルタリング動作が実行される。

図２は、ブロックベースのビデオデコーダの概略ブロック図を示す。ビデオビットストリームはまず、エントロピー復号ユニットでエントロピー復号される。コーディングモード及び予測情報は、予測ブロックを生成するために、空間予測ユニット（イントラコード化される場合）又は時間予測ユニット（インターコード化される場合）のいずれかに送信される。残差変換係数は、残差ブロックを再構築するために、逆量子化ユニット及び逆変換ユニットに送信される。次いで、予測ブロックと残差ブロックが合計される。再構築されたブロックはさらに、参照ピクチャストアに格納される前に、ループ内フィルタリングを通過してもよい。次いで、参照ピクチャストア内の再構築されたビデオは、表示のために送信され、また将来のビデオブロックを予測するために使用される。

開示の焦点は、ＶＶＣとＡＶＳ３の両規格で使用される幾何学的分割モード（ＧＰＭ）のコーディング性能を改善することである。ＡＶＳ３では、このツールはＧＰＭの同じ設計精神に従う重み付き角予測（angular weighted prediction：ＡＷＰ）としても知られているが、特定の設計詳細には微妙な違いがある。開示の記載を容易にするため、以下では、ＶＶＣ規格における既存のＧＰＭ設計を例として使用して、ＧＰＭ／ＡＷＰツールの主要な態様を説明する。一方、ＶＶＣとＡＶＳ３規格の両方に適用される、差分動きベクトルマージモード（ＭＭＶＤ）と呼ばれる他の既存のインター予測技術も、本開示で提案された技術と密接に関連することを考慮して、簡潔に考察される。その後、現ＧＰＭ／ＡＷＰ設計のいくつかの欠点が識別される。最後に、提案された方法を詳細に示す。ＶＶＣ規格の既存のＧＰＭ設計は、開示を通して例として使用されているが、現代のビデオコーディング技術の当業者には、提案された技術は、同じ又は類似の設計精神を有する他のＧＰＭ／ＡＷＰ設計又は他のコーディングツールにも適用できることに留意されたい。

幾何学的分割モード（ＧＰＭ）

ＶＶＣにおいて、インター予測について幾何学的分割モードがサポートされている。幾何学的分割モードは、１つの特殊マージモードとして１つのＣＵレベルフラグによってシグナリングされる。現ＧＰＭ設計では、８×６４及び６４×８を除き、幅及び高さが８より小さくなく６４より大きくない可能なＣＵサイズごとに、ＧＰＭモードで合計６４分割がサポートされている。

このモードを使用すると、図４（説明は以下に行う）に示すように、ＣＵが幾何学的に配置された直線によって２つの部分に分割される。分割線の位置は、特定の分割の角度及びオフセットパラメータから数学的に導出される。ＣＵにおける幾何学的分割の各部分は、それ自体の動きによってインター予測される；分割ごとに片方向予測のみが許される、すなわち、各部分は、１つの動きベクトルと１つの参照インデックスを有する。片方向予測動き制約は、従来の双方向予測と同様に、各ＣＵに必要な動き補償予測が２つだけであることを保証するために適用される。現ＣＵに幾何学的分割モードが使用されている場合、幾何学的分割（角度とオフセット）の分割モードを示す幾何学的分割インデックスと、２つのマージインデックス（各分割に１つずつ）がさらにシグナリングされる。最大ＧＰＭ候補のサイズの数は、シーケンスレベルで明示的にシグナリングされる。

図４は、許可されたＧＰＭ分割を示しており、各ピクチャのスプリット方向は同一である。

片方向予測候補リスト構築

１つの幾何学的分割に対する片方向予測動きベクトルを導出するために、１つの片方向予測候補リストを最初に通常のマージ候補リスト生成処理で直接導出する。幾何学的片方向予測候補リストでは、片方向予測動きのインデックスをｎで示す。ｎ番目のマージ候補のＬＸ動きベクトル（Ｘはｎのパリティに等しい）を、幾何学的分割モードのｎ番目の片方向予測動きベクトルとして使用する。

これらの動きベクトルには、図５（後述）において「ｘ」の印が付されている。ｎ番目の拡張マージ候補の対応するＬＸ動きベクトルが存在しない場合、幾何学的分割モードのための片方向予測動きベクトルとして、同じ候補のＬ（１－Ｘ）動きベクトルが代わりに使用される。

図５は、ＧＰＭのマージ候補リストの動きベクトルからの片方向予測動きベクトル選択を示している。

幾何学的分割エッジに沿ったブレンド

それぞれの幾何学的分割がそれ自身の動きを用いて取得された後、幾何学的分割エッジの周囲のサンプルを導出するために２つの片方向予測信号にブレンドが適用される。ＣＵの各位置のブレンド重み付けは、各個々のサンプル位置から対応する分割エッジまでの距離に基づいて導出される。

ＧＰＭシグナリング設計

現ＧＰＭ設計によれば、ＧＰＭの使用はＣＵレベルで１つのフラグをシグナリングすることによって示される。このフラグは、現ＣＵがマージモード又はスキップモードでコーディングされている場合にのみシグナリングされる。具体的には、フラグが１に等しい場合、ＧＰＭによって現ＣＵが予測されることを示す。そうでない場合（フラグが０に等しい）、ＣＵは、通常のマージモード、動きベクトル差分を伴うマージモード、インター予測とイントラ予測の組み合わせなど、別のマージモードでコード化される。現ＣＵに対してＧＰＭが有効である場合、１つのシンタックス要素、すなわちmerge_gpm_partition_idxが、適用された幾何学的分割モード（図４に示すように、ＣＵを２つの分割に分割するＣＵセンターからの直線の方向とオフセットを指定する）を示すようさらにシグナリングされる。その後、２つのシンタックス要素merge_gpm_idx0tomerge_gpm_idx1が、第１のＧＰＭ分割と第２のＧＰＭ分割に使用される片方向予測マージ候補のインデックスを示すようにシグナリングされる。具体的には、「片方向予測マージリスト構築」のセクションで説明されているように、これらの２つのシンタックス要素を使用して、片方向予測マージリストから２つのＧＰＭ分割の片方向ＭＶを決定する。現ＧＰＭ設計によれば、２つの片方向ＭＶをより異なったものにするためには、２つのインデックスを同一にすることはできない。このような事前知識に基づいて、第１のＧＰＭ分割の片方向予測マージインデックスを最初にシグナリングし、第２のＧＰＭ分割の片方向予測マージインデックスのシグナリングオーバーヘッドを削減するための予測子として使用する。詳細には、第２の片方向予測マージインデックスが第１の片方向予測マージインデックスよりも小さい場合、元の値が直接シグナリングされる。そうでない場合（第２の片方向予測マージインデックスが第１の片方向予測マージインデックスよりも大きい場合）、値が１減算されてからビットストリームにシグナリングされる。デコーダ側では、第１の片方向予測マージインデックスは、最初はデコーダである。次に、第２の片方向予測マージインデックスの復号では、解析された値が第１の片方向予測マージインデックスより小さい場合、第２の片方向予測マージインデックスは解析値と同じに設定される。そうでない場合（解析された値が第１の片方向予測マージインデックスと同じかそれより大きい場合）、第２の片方向予測マージインデックスは解析された値に１を加えた値に設定される。表１は、現ＶＶＣ仕様でＧＰＭモードに使用されている既存のシンタックス要素を示している。

一方、現ＧＰＭ設計では、２つの片方向予測マージインデックス、すなわちmerge_gpm_idx0tomerge_gpm_idx1のバイナリ化に、切り捨てされた単項コードが使用される。さらに、２つの片方向予測マージインデックスを同じではあり得ないため、２つの片方向予測マージインデックスのコードワードを切り捨てるために異なる最大値が使用される。これらのマージインデックスは、それぞれmerge_gpm_idx0及びmerge_gpm_idx1に対してMaxGPMMergeCand-1及びMaxGPMMergeCand-2に設定される。MaxGPMMergeCandは、片方向予測マージリスト内の候補の数である。

ＧＰＭ／ＡＷＰモードが適用されると、２つの異なるバイナリ化方法が適用され、merge_gpm_partition_idxシンタックスがバイナリビットの文字列に変換される。具体的には、シンタックス要素は、それぞれ、ＶＶＣ及びＡＶＳ３規格において、固定長コード及び切り捨てされたバイナリコードによってバイナリ化される。一方、ＡＶＳ３のＡＷＰモードでは、シンタックス要素の値のバイナリ化に異なる最大値が使用される。具体的には、ＡＶＳ３では、許可されるＧＰＭ／ＡＷＰ分割モードの数は５６（すなわちmerge_gpm_partition_idxの最大値は５５）であるが、ＶＶＣでは６４（すなわちmerge_gpm_partition_idxの最大値は６３）に増加する。

差分動きベクトルマージモード（ＭＭＶＤ）

１つの現ブロックの動き情報をその空間的／時間的ネイバーから導出する従来のマージモードに加えて、ＭＭＶＤ／ＵＭＶＥモードが、１つの特殊マージモードとしてＶＶＣ及びＡＶＳ規格の両方で導入される。具体的には、ＶＶＣとＡＶＳ３の両方で、モードはコーディングブロックレベルで１つのＭＭＶＤフラグによってシグナリングされる。ＭＭＶＤモードでは、通常のマージモードのマージリストの最初の２つの候補が、ＭＭＶＤの２つの基本マージ候補として選択される。１つの基本マージ候補が選択され、シグナリングされた後、選択されたマージ候補の動きに追加される動きベクトル差分（ＭＶＤ）を示すために、追加のシンタックス要素がシグナリングされる。ＭＭＶＤシンタックス要素には、基本マージ候補を選択するためのマージ候補フラグ、ＭＶＤマグニチュードを指定する距離インデックス、及びＭＶＤ方向を示す方向インデックスが含まれる。

既存のＭＭＶＤ設計では、距離インデックスはＭＶＤの大きさを指定し、ＭＶＤマグニチュードは開始点から予め定義されたオフセットの１セットに基づいて定義される。図６Ａ及び図６Ｂに示されるように、オフセットは、開始ＭＶの水平又は垂直成分（すなわち、選択された基本マージ候補のＭＶ）のいずれかに追加される。

図６Ａに、L0参照のＭＭＶＤモードを示す。図６Ｂに、L1参照のＭＭＶＤモードを示す。

表２に、ＡＶＳ３に適用されるＭＶＤオフセットをそれぞれ示す。

表３に示すように、方向インデックスは、シグナリングされたＭＶＤの符号を指定するために使用される。ＭＶＤ符号の意味は、開始ＭＶに応じて変わり得ることに留意されたい。開始ＭＶが、そのＰＯＣが、ともに現ピクチャのＰＯＣよりも大きいか、現ピクチャのＰＯＣよりも小さい、２つの参照ピクチャを指すＭＶを持つ、片方向予測ＭＶ又は双方向予測ＭＶである場合、シグナリングされた符号は、開始ＭＶに追加されたＭＶＤの符号である。開始ＭＶが、１つのピクチャのＰＯＣが現ピクチャよりも大きく、もう１つのピクチャのＰＯＣが現ピクチャよりも小さい、２つの参照ピクチャを指す双方向予測ＭＶである場合、シグナリングされた符号はL0 ＭＶＤに適用され、シグナリングされた符号の逆の値がL1 ＭＶＤに適用される。

レギュラインターモードの動きシグナリング

ＨＥＶＣ規格と同様に、マージ／スキップモードに加えて、ＶＶＣとＡＶＳ３の両方で、１つのＣＵ間でビットストリーム内の動き情報を明示的に指定できる。全体として、ＶＶＣとＡＶＳ３の両方における動き情報シグナリングは、ＨＥＶＣ規格におけるものと同じに保たれる。具体的には、１つのインター予測シンタックス、すなわちinter_pred_idcは、まず、リストL0、L1、又は両方からの予測シンタックスを示すべくシグナリングされる。使用される各参照リストについて、対応する参照ピクチャが、対応する参照リストの１つの参照ピクチャインデックスref_idx_lx（X=0,1）をシグナリングすることによって識別され、対応するＭＶは、ＭＶ予測子（ＭＶＰ）を選択するために使用される１つのＭＶＰインデックスmvp_lx_flag（X=0,1）によって表され、対象ＭＶと選択されたＭＶＰとの間の動きベクトル差分（ＭＶＤ）が続く。さらに、ＶＶＣ規格では１つの制御フラグmvd_l1_zero_flagがスライスレベルでシグナリングされる。mvd_l1_zero_flagが０に等しいとき、L1 ＭＶＤはビットストリームでシグナリングされる。そうでないとき（mvd_l1_zero_flagが１に等しいとき）、L1 ＭＶＤはシグナリングされず、その値は常にエンコーダ及びデコーダで０であると推測される。

ＣＵレベルの加重による双方向予測

ＶＶＣとＡＶＳ３の前の以前の規格では、加重予測（ＷＰ）が適用されない場合、双方向予測信号は、２つの参照ピクチャから取得された片方向予測信号を平均化することによって生成される。ＶＶＣでは、１つのツールコーディング、すなわちＣＵレベル重み（ＢＣＷ）による双方向予測が、双方向予測の効率を改善するために導入された。具体的には、ＢＣＷの双方向予測は、単純な平均化の代わりに、次のように２つの予測信号の加重平均化を可能とすることで拡張される。

ＶＶＣでは、現ピクチャが１つの低遅延ピクチャである場合、１つのＢＣＷコーディングブロックの重みを、予め定義された重み値w∈{-2,3,4,5,10}の集合から選択することができ、４の重みは、２つの片方向予測信号が等しく重み付けされる従来の双方向予測の場合を表す。低遅延のためには、３つの重みw∈{3,4,5}のみが許容される。一般的に、ＷＰとＢＣＷの間には幾つかの設計上の類似性があるが、２つのコーディングツールは異なる粒度で照明変化問題を解決することを目標としている。しかし、ＷＰとＢＣＷの間の相互作用がＶＶＣ設計を複雑にする可能性があるため、２つのツールを同時に有効にすることはできない。具体的には、ＷＰが１つのスライスに対して有効である場合、スライス内のすべての双方向予測ＣＵのＢＣＷ重みはシグナリングされず、４（すなわち、等しい重みが適用される）であると推測される。

テンプレートマッチング

テンプレートマッチング（ＴＭ）は、現ＣＵの上及び左に隣接する再構築されたサンプルからなる１つのテンプレートと、参照ピクチャ内の参照ブロック（つまり、テンプレートと同じサイズ）との間の最適マッチングを見出だすことによって、現ＣＵの動き情報を精緻化するデコーダ側ＭＶ導出手法である。図７に示されるように、１つのＭＶは、［－８，＋８］ペルの探索範囲内において、現ＣＵの初期動きベクトルの周囲で探索される。最適マッチングは、現テンプレートと参照テンプレートとの間で、例えば、絶対値の差の合計（Sum of Absolute Difference：ＳＡＤ）、絶対変換された差の合計（Sum of Absolute Transformed Difference：ＳＡＴＤ）の合計など、最小マッチングコストを達成するＭＶとして定義されてもよい。ＴＭモードをインターコーディングに適用するには、次の２つの方法がある。

ＡＭＶＰモードでは、ＭＶＰ候補は、現ブロックテンプレートと参照ブロックテンプレートとの差が最小となるものをピックアップするためのテンプレートマッチングの差分に基づいて決定され、ＴＭは、ＭＶ精緻化のためのこの特定のＭＶＰ候補に対してのみ実行される。ＴＭは、［－８，＋８］ペルの探索範囲内のフルペルＭＶＤ精度（又は４ペルＡＭＶＲモードの場合は４ペル）から、反復ダイヤモンド検索を使用して、このＭＶＰ候補を絞り込む。ＡＭＶＰ候補は、フルペルＭＶＤ精度（又は４ペルＡＭＶＲモードの場合は４ペル）でのクロスサーチを使用してさらに絞り込まれ、続いて、下記の表１３で指定されるＡＭＶＲモードに応じて、１／２ペル及び１／４ペルのクロスサーチを使用して絞り込まれてもよい。この検索処理により、ＭＶＰ候補が、ＴＭ処理後にＡＭＶＲモードで示されるのと同じＭＶ精度を維持することが保証される。

マージモードでは、マージインデックスで示されるマージ候補に対して同様の検索方法が適用される。上の表に示すように、ＴＭは、マージされた動き情報に従って代替の補間フィルタ（ＡＭＶＲが１／２ペルモードの場合に使用される）を使用するかどうかに応じて、１／８ペルＭＶＤ精度まで完全に実行し、又は１／２ペルＭＶＤ精度を超えるものをスキップしてもよい。

前述のように、２つのＧＰＭ分割の予測サンプルを生成するために使用される片方向動きは、通常のマージ候補から直接取得される。空間的／時間的な隣接ブロックのＭＶ間に強い相関がない場合、マージ候補から導出した片方向ＭＶは、各ＧＰＭ分割の真の動きをキャプチャするのに十分に正確ではない可能性がある。動き推定は、より正確な動きを提供することが可能であるが、既存の片方向ＭＶに適用し得る任意の動き精緻化のために、無視できないシグナリングオーバーヘッドという代償を伴う。一方、ＭＶＭＤモードは、ＶＶＣ及びＡＶＳ３規格の両方で使用され、これは、ＭＶＤシグナリングオーバーヘッドを削減するための１つの効率的なシグナリングメカニズムであることが証明されている。従って、ＧＰＭをＭＭＶＤモードと組み合わせることも有益である。そのような組み合わせは、各ＧＰＭ分割の個々の動きを捕捉するためにより正確なＭＶを提供することにより、ＧＰＭツールの全体的なコーディング効率を潜在的に向上させ得る。

前述したように、ＶＶＣとＡＶＳ３の両規格では、ＧＰＭモードはマージ／スキップモードにのみ適用される。全ての非マージインターＣＵがＧＰＭの柔軟な非矩形分割から利益を得られないことを考慮すると、このような設計は、コーディング効率の点では最適でない可能性がある。他方、上記と同じ理由により、通常のマージ／スキップモードから導出された片方向予測動き候補は、２つの幾何学的分割の真の動きをキャプチャするには必ずしも正確ではない。このような解析に基づいて、ＧＰＭモードを非マージインターモードに合理的に拡張することにより、追加のコーディングゲインが期待できる（すなわち、ビットストリーム中でそれらの動き情報を明示的にシグナリングするＣＵ）。しかし、ＭＶ精度の向上は、シグナリングオーバーヘッドの増加という代償を伴う。従って、ＧＰＭモードを明示的インターモードに効率的に適用するためには、２つの幾何学的分割に対してより正確なＭＶを提供しながら、シグナリングコストを最小限に抑えることができる１つの効果的なシグナリングスキームを識別することが重要である。

提案される方法

本開示では、各ＧＰＭ分割に適用される既存の片方向ＭＶにさらに動き精緻化を適用することにより、ＧＰＭのコーディング効率をさらに向上させる方法を提案する。提案される方法を、動きベクトル精緻化を伴う幾何学的分割モード（ＧＰＭ－ＭＶＲ）と命名する。さらに、提案されるスキームでは、動き精緻化は、既存のＭＭＶＤ設計の１つの類似した方法、すなわち、予め定義されたＭＶＤマグニチュードと動き精緻化の方向の集合に基づいてシグナリングされる。

開示の別の態様では、ＧＰＭモードを明示的インターモードに拡張するための解決法が提供される。記述を容易にするため、これらのスキームを、明示的動きシグナリングを伴う幾何学的分割モード（ＧＰＭ－ＥＭＳ）と命名する。具体的には、通常のインターモードとのより良い調和を達成するために、提案されたＧＰＭ－ＥＭＳスキームにおいて、２つの幾何学的分割の対応する片方向ＭＶを指定するために、既存の動きシグナリング機構、すなわちＭＶＰ＋ＭＶＤが利用される。

分離動きベクトル精緻化を伴う幾何学的分割モード

ＧＰＭのコーディング効率を改善するため、本セクションでは、別個の動きベクトル精緻化を伴う１つの改良された幾何学的分割モードが提案される。具体的には、ＧＰＭ分割が与えられると、提案された方法は、まず既存のシンタックスmerge_gpm_idx0tomerge_gpm_idx1を使用して、既存の片方向予測マージ候補リストから２つのＧＰＭ分割の片方向ＭＶを識別し、それらをベースＭＶとして使用する。２つのベースＭＶが決定された後、２つの新しいシンタックス要素のセットが導入され、２つのＧＰＭ分割のベースＭＶに別々に適用される動き精緻化の値が指定される。具体的には、２つのフラグ、すなわちgpm_MVR_partIdx0_enable_flagtogpm_MVR_partIdx1_enable_flagは、最初はＧＰＭ－ＭＶＲがそれぞれ第１のＧＰＭ分割及び第２のＧＰＭ分割に適用されるか否かを示す信号である。１つのＧＰＭ分割のフラグが１に等しい場合、分割のベースＭＶに適用されるＭＶＲの対応する値は、ＭＭＶＤスタイルでシグナリングされる。すなわち、１つの距離インデックス（シンタックス要素gpm_mvr_partIdx0_distance_idx及びgpm_mvr_partIdx1_distance_idxで示される）はＭＶＲマグニチュードを指定し、１つの方向インデックス（シンタックス要素gpm_mvr_partIdx0_direction_idx及びgpm_mvr_partIdx1_distance_idxで示される）はＭＶＲの方向を指定する。表４は、提案されたＧＰＭ－ＭＶＲ法により導入されたシンタックス要素を示している。

表４に示すような提案されたシンタックス要素に基づいて、デコーダにおいて、各ＧＰＭ分割の片方向予測サンプルを生成するために使用される最終ＭＶは、シグナリングされた動きベクトル精緻化と対応するベースＭＶの合計に等しい。実際には、異なるＭＶＲマグニチュードと方向のセットを事前に定義し、提案したＧＰＭ－ＭＶＲスキームに適用することができ、これにより動きベクトル精度とシグナリングオーバーヘッドとの間の様々なトレードオフを提供できる。１つの具体例において、提案されたＧＰＭ－ＭＶＲスキームのためのＶＶＣ規格で使用される８つのＭＶＤオフセット（すなわち、１／４ペル、１／２ペル、１ペル、２ペル、４ペル、８ペル、１６ペル及び３２ペル）及び４つのＭＶＤ方向（すなわち、＋／－ｘ軸及びｙ軸）を再利用することが提案される。別の例では、ＡＶＳ３規格で使用されている既存の５つのＭＶＤオフセット｛１／４ペル、１／２ペル、１ペル、２ペル及び４ペル｝と４つのＭＶＤ方向（すなわち、＋／－ｘ軸及びｙ軸）が、提案されたＧＰＭ－ＭＶＲスキームに適用されている。

「ＧＰＭシグナリング設計」のセクションで説明したように、２つのＧＰＭ分割に使用される片方向ＭＶは同一にはなり得ないことから、既存のＧＰＭ設計では、２つの片方向予測マージインデックスを強制的に異ならせる１つの制約が適用される。しかし、提案されたＧＰＭ－ＭＶＲスキームでは、さらなる動き精緻化が既存のＧＰＭ片方向ＭＶに適用される。したがって、２つのＧＰＭ分割のベースＭＶが同一であっても、２つの分割を予測するために使用される最終的な片方向ＭＶは、２つの動きベクトル精緻化の値が同じでない限り、依然として異なる可能性がある。上記の考察に基づいて、提案したＧＰＭ－ＭＶＲスキームが適用されるとき、制約（２つの片方向予測マージインデックスが異なるように制限する）は除去される。さらに、２つの片方向予測マージインデックスが同一であることが許容されているため、merg_gpm_idx0とmerge_gpm_idx1の両方のバイナリ化に同じ最大値MaxGPMMergeCand-1が使用される。MaxGPMMergeCandは、片方向予測マージリスト内の候補の数である。

上で分析したように、２つのＧＰＭ分割の片方向予測マージインデックス（すなわち、merge_gpm_idx0とmerge_gpm_idx1）が同一である場合、２つの分割に使用される最終ＭＶが異なることを保証するために、２つの動きベクトル精緻化の値を同じにすることはできない。このような条件に基づいて、開示の一実施形態において、２つのＧＰＭ分割の片方向予測マージインデックスが同じ（すなわち、merge_gpm_idx0がmerge_gpm_idx1と等しい）場合、第１のＧＰＭ分割のＭＶＲを使用して第２のＧＰＭ分割のＭＶＲのシグナリングオーバーヘッドを削減する、１つのシグナリング冗長性除去方法が提案される。一例では、次のシグナリング条件が適用される：

第一に、フラグgpm_MVR_partIdx0_enable_flagが０に等しい（すなわち、ＧＰＭ－ＭＶＲが第１のＧＰＭ分割に適用されない）とき、gpm_MVR_partIdx1_enable_flagのフラグはシグナリングされず、１であると推測される（すなわち、ＧＰＭ－ＭＶＲが第２のＧＰＭ分割に適用される）。

次に、両方のフラグgpm_MVR_partIdx0_enable_flagとgpm_MVR_partIdx1_enable_flagが１に等しく（すなわちＧＰＭ－ＭＶＲが２つのＧＰＭ分割に適用される）、gpm_mvr_partIdx0_direction_idxがgpm_mvr_partIdx1_direction_idxに等しい場合（すなわち２つのＧＰＭ分割のＭＶＲが同じ方向を有する場合）、第１のＧＰＭ分割のＭＶＲマグニチュード（すなわち、gpm_mvr_partIdx0_distance_idx）が、第２のＧＰＭ分割のＭＶＲの大きさ（すなわち、gpm_mvr_partIdx1_distance_idx）を予測するために使用される。具体的には、gpm_mvr_partIdx1_distance_idxがgpm_mvr_partIdx0_distance_idxより小さい場合、元の値が直接シグナリングされる。そうでない場合（gpm_mvr_partIdx1_distance_idxがgpm_mvr_partIdx0_distance_idxより大きい場合）、その値はビットストリームにシグナリングされる前に１ずつ減算される。デコーダ側では、gpm_mvr_partIdx1_distance_idxの値を復号するために、解析された値がgpm_mvr_partIdx0_distance_idxより小さい場合、gpm_mvr_partIdx1_distance_idxは解析値に設定される。そうでない場合（解析された値がgpm_mvr_partIdx0_distance_idxと等しいかそれより大きい場合）、gpm_mvr_partIdx1_distance_idxは解析された値に１を加えた値に設定される。このような場合、オーバーヘッドをさらに削減するために、異なる最大値MaxGPMMVRDistance-1及びMaxGPMMVRDistance-2をgpm_mvr_partIdx0_distance_idx及びgpm_mvr_partIdx1_distance_idxのバイナリ化に使用できる。MaxGPMMVRDistanceは、動きベクトル精緻化に許容されるマグニチュードの数である。

別の実施形態では、ＭＶＲマグニチュードがＭＶＲマグニチュードの前にシグナリングされるように、シグナリングの順序をgpm_mvr_partIdx0_direction_idx／gpm_mvr_partIdx1_direction_idx及びgpm_mvr_partIdx0_distance_idx／gpm_mvr_partIdx1_distance_idxに切り替えることが提案される。このように、上述したロジックと同様に、エンコーダ／デコーダは、第１のＧＰＭ分割のＭＶＲ方向を使用して、第２のＧＰＭ分割のＭＶＲ方向のシグナリングを条件付けることができる。別の実施形態では、第２のＧＰＭ分割のＭＶＲマグニチュード及び方向を第１にシグナリングし、それらを使用して、第２のＧＰＭ分割のＭＶＲマグニチュード及び方向のシグナリングを条件付けることが提案される。

別の実施形態では、既存のＧＰＭシンタックス要素のシグナリングの前に、ＧＰＭ－ＭＶＲ関連のシンタックス要素をシグナリングすることが提案される。具体的には、このような設計では、２つのフラグ、gpm_MVR_partIdx0_enable_flagとgpm_MVR_partIdx1_enable_flagは、最初はＧＰＭ－ＭＶＲがそれぞれ第１のＧＰＭ分割及び第２のＧＰＭ分割に適用されるか否かを示す信号である。１つのＧＰＭ分割のフラグが１に等しい場合、距離インデックス（シンタックス要素gpm_mvr_partIdx0_distance_idx及びgpm_mvr_partIdx1_distance_idxによって示される）と方向インデックス（シンタックス要素gpm_mvr_partIdx0_direction_idx及びgpm_mvr_partIdx1_distance_idxによって示される）がＭＶＲの方向を特定するためにシグナリングされる。その後、既存のシンタックスmerge_gpm_idx0及びmerge_gpm_idx1が、２つのＧＰＭ分割、すなわち、ベースのＭＶの片方向ＭＶを識別するためにシグナリングされる。表５は、提案されたＧＰＭ－ＭＶＲシグナリングスキームを示す。

表４のシグナリング法と同様に、表５のＧＰＭ－ＭＶＲシグナリング法を適用して、２つのＧＰＭ分割の予測に使用される、結果として得られるＭＶが同一でないことを保証する場合、特定の条件が適用されてもよい。具体的には、片方向予測マージインデックスmerge_gpm_idx0及びmerge_gpm_idx1のシグナリングを、第１のＧＰＭ分割及び第２のＧＰＭ分割に適用されるＭＶＲの値に応じて制約するために、次の条件が提案される。

第一に、gpm_MVR_partIdx0_enable_flagとgpm_MVR_partIdx1_enable_flagの両方の値が０に等しい（すなわち、ＧＰＭ－ＭＶＲが２つのＧＰＭ分割の両方に対して無効である）とき、merge_gpm_idx0とmerge_gpm_idx1の値は同じにはならない；

第二に、gpm_MVR_partIdx0_enable_flagが１に等しく（すなわち、ＧＰＭ－ＭＶＲが第１のＧＰＭ分割に対して有効である）、gpm_MVR_partIdx1_enable_flagが０に等しい（すなわちＧＰＭ－ＭＶＲが第２のＧＰＭ分割に対して無効である）とき、merge_gpm_idx0とmerge_gpm_idx1の値は同一であることが許容される；

第三に、gpm_MVR_partIdx0_enable_flagが０に等しく（すなわち、ＧＰＭ－ＭＶＲが第１のＧＰＭ分割に対して無効である）、gpm_MVR_partIdx1_enable_flagが１に等しい（すなわちＧＰＭ－ＭＶＲが第２のＧＰＭ分割に対して有効である）とき、merge_gpm_idx0とmerge_gpm_idx1の値は同一であることが許容される；

第四に、gpm_MVR_partIdx0_enable_flagとgpm_MVR_partIdx1_enable_flagの両方の値が１に等しい（すなわち、ＧＰＭ－ＭＶＲが２つのＧＰＭ分割の両方に対して有効である）とき、merge_gpm_idx0とmerge_gpm_idx1の値が同一であることが許容されるか否かの判定は、２つのＧＰＭ分割に適用されるＭＶＲの値（gpm_mvr_partIdx0_direction_idxとgpm_mvr_partIdx0_distance_idx、及びgpm_mvr_partIdx1_direction_idxとgpm_mvr_partIdx1_distance_idxで示される）に依存する。２つのＭＶＲの値が等しいとき、merge_gpm_idx0とmerge_gpm_idx1は同一ではない。そうでないとき（２つのＭＶＲの値が等しくないとき）、merge_gpm_idx0とmerge_gpm_idx1の値は同一であることが許容される。

上記４つのケースでは、merge_gpm_idx0とmerge_gpm_idx1の値が同一であることが許容されないとき、一方の分割のインデックス値をもう一方の分割のインデックス値の予測子として使用できる。１つの方法では、最初にmerge_gpm_idx0をシグナリングし、その値を、merge_gpm_idx1を予測するために使用することが提案される。具体的には、エンコーダでmerge_gpm_idx1がmerge_gpm_idx0より大きい場合、デコーダに送信されるmerge_gpm_idx1の値は１ずつ減少する。デコーダでは、merge_gpm_idx1の受信値がmerge_gpm_idx0の受信値と等しいかそれより大きい場合、merge_gpm_idx1の値は１だけ増加する。別の方法では、最初にmerge_gpm_idx1をシグナリングし、その値を、merge_gpm_idx0を予測するために使用することが提案される。そのため、エンコーダでmerge_gpm_idx0がmerge_gpm_idx1より大きい場合、デコーダに送信されるmerge_gpm_idx0の値は１減少する。デコーダでは、merge_gpm_idx0の受信値がmerge_gpm_idx1の受信値と等しいかそれより大きい場合、merge_gpm_idx0の値は１だけ増加する。加えて、既存のＧＰＭシグナリング設計と同様に、MaxGPMMergeCand-1及びMaxGPMMergeCand-2の異なる最大値を、シグナリング順序に従って、それぞれ第１及び第２のインデックス値のバイナリ化に使用できる。一方、２つのインデックス値の間に相関関係がないため、merge_gpm_idx0とmerge_gpm_idx1の値が同一であることが許容される場合、同じ最大値MaxGPMMergeCand-1が両方のインデックス値の２値に使用される。

上記の方法では、シグナリングコストを削減するために、merge_gpm_idx0とmerge_gpm_idx1のバイナリ化に異なる最大値を適用できる。対応する最大値の選択は、（gpm_mvr_partIdx0_enable、gpm_mvr_partIdx1_enable、gpm_mvr_partIdx0_direction_idx、gpm_mvr_partIdx1_direction_idx、gpm_mvr_partIdx0_distance_idx及びgpm_mvr_partIdx1_distance_idx_によって示されるように）ＭＶＲの復号された値に依存する。このような設計は、異なるＧＰＭシンタックス要素間の望ましくないシンタックス解析依存関係を導入し、このことが解析全体に影響を与える可能性がある。こうした問題を解決するため、一実施形態では、merge_gpm_idx0及びmerge_gpm_idx1の値を解析するために、常に同じ最大値（例えば、MaxGPMMergeCand-1）が１つ提案される。このような方法を使用する場合、２つのＧＰＭ分割の２つの復号されたＭＶが同じにならないように、１つのビットストリーム適合性制約を使用してもよい。別の方法では、２つのＧＰＭ分割の復号されたＭＶが同じであることが許されるように、このような非同一性制約を除去することもできる。一方、そのような方法が適用される場合（すなわち、merge_gpm_idx0とmerge_gpm_idx1に同じ最大値を使用する場合）、merge_gpm_idx0／merge_gpm_idx1と他のＧＰＭ－ＭＶＲシンタックス要素の間には解析依存関係はない。したがって、これらのシンタックス要素をシグナリングする順序は、もはや重要ではない。一例として、merge_gpm_idx0／merge_gpm_idx1のシグナリングをgpm_mvr_partIdx0_enable、gpm_mvr_partIdx1_enable、gpm_mvr_partIdx0_direction_idx、gpm_mvr_partIdx1_direction_idx、gpm_mvr_partIdx0_distance_idx及びgpm_mvr_partIdx1_distance_idxのシグナリングの前に移動することが提案される。

対称動きベクトル精緻化を伴う幾何学的分割モード

上述のＧＰＭ－ＭＶＲ方法では２つの別々のＭＶＲ値が適用されてシグナリングされ、そのうちの１つのＭＶＲ値が、１つのＧＰＭ分割のみのベースＭＶを改善するために適用される。そのような方法は、ＧＰＭ分割ごとに独立した動き精緻化を可能とすることで、予測精度の向上に関して効率的である。しかし、このようなフレキシブルな動き精緻化には、２つの異なるＧＭＰ－ＭＶＲシンタックス要素のセットがエンコーダからデコーダに送られる必要があることを考慮すると、シグナリングオーバーヘッドの増加という代償がある。本セクションでは、シグナリングオーバーヘッドを削減するために、対称動きベクトル精緻化を伴う１つの幾何学的分割モードを提案する。具体的には、この方法では、１つのＧＰＭ ＣＵに対して１つの単一ＭＶＲ値がシグナリングされ、２つのＧＰＭ分割の両方に、現ピクチャのピクチャオーダーカウント（ＰＯＣ）値と２つのＧＰＭ分割に関連付けられた参照ピクチャとの間の対称関係に従って使用される。表６は、提案された方法を適用したときのシンタックス要素を示している。

表６に示すように、２つのＧＰＭ分割のベースＭＶが選択された後（merge_gpm_idx0とmerge_gpm_idx1に基づいて）、ＧＰＭ－ＭＶＲモードが現ＧＰＭ ＣＵに適用されるか否かを示すために、１つのフラグgpm_mvr_enable_flagがシグナリングされる。フラグが１に等しい場合、２つのＧＰＭ分割のベースＭＶを強化するために動き精緻化が適用されることを示す。そうでない場合（フラグが０に等しい場合）、動き精緻化が２つの分割のどちらにも適用されないことを示す。ＧＰＭ－ＭＶＲモードが有効である場合、追加のシンタックス要素は、方向インデックスgpm_mvr_direction_idxとマグニチュードインデックスgpm_mvr_distance_idxによって、適用されたＭＶＲの値を指定するために、さらにシグナリングされる。加えて、ＭＭＶＤモードと同様に、ＭＶＲ符号の意味は、現ピクチャのＰＯＣとＧＰＭ分割の２つの参照ピクチャの間の関係に応じて変わり得る。具体的には、２つの参照ピクチャの両方のＰＯＣが、現ピクチャのＰＯＣよりも大きいか、又は小さい場合、シグナリングされた符号は、２つのベースＭＶの両方に追加されるＭＶＲの符号である。そうでない場合（一方の参照ピクチャのＰＯＣが現ピクチャよりも大きく、他方の参照ピクチャのＰＯＣが現ピクチャよりも小さい場合）、シグナリングされた符号は第１のＧＰＭ分割のＭＶＲに適用され、逆の符号が第２のＧＰＭ分割に適用される。表６では、merge_gpm_idx0とmerge_gpm_idx1の値は同一であることが許容される。

別の実施形態では、２つのＧＰＭ分割のＧＰＭ－ＭＶＲモードの有効化／無効化を別々に制御するために、２つの異なるフラグにシグナリングすることが提案される。ただし、ＧＰＭ－ＭＶＲモードが有効な場合、シンタックス要素gpm_mvr_direction_idx及びgpm_mvr_distance_idxに基づいてシグナリングされるのは１つのＭＶＲのみである。そのようなシグナリング法の対応するシンタックステーブルを表７に示す。

表７のシグナリング法が適用される場合、merge_gpm_idx0とmerge_gpm_idx1の値は同一であることが許容される。ただし、２つのＧＰＭ分割に適用された、結果として得られるＭＶが冗長でないことを確認するために、フラグgpm_MVR_partIdx0_enable_flagが０に等しい（すなわち、ＧＰＭ－ＭＶＲが第１のＧＰＭ分割に適用されない）とき、フラグgpm_MVR_partIdx1_enable_flagはシグナリングされず、１であると推測される（すなわち、ＧＰＭ－ＭＶＲが第２のＧＰＭ分割に適用される）。

ＧＰＭ－ＭＶＲのための許容されたＭＶＲの適応

上述のＧＰＭ－ＭＶＲ法では、ＭＶＲ値の１つの固定グループは、１つのビデオシーケンス内のエンコーダとデコーダの両方でＧＰＭ ＣＵに使用される。このような設計は、高解像度や激しい動きを持つビデオコンテンツには最適ではない。これらの場合、ＭＶは非常に大きくなる傾向があるため、固定ＭＶＲ値はそれらのブロックの実際の動きをキャプチャするのに最適でないことがある。ＧＰＭ－ＭＶＲモードのコーディング性能をさらに向上させるために、本開示では、シーケンスレベル、ピクチャ／スライスピクチャ、コーディングブロックグループレベルなどの種々のコーディングレベルでＧＰＭ－ＭＶＲモードによって選択されることが許容されるＭＶＲ値の適応をサポートすることが提案される。例えば、複数のＭＶＲセット及び対応するコードワードは、様々なビデオシーケンスの特定の動き特性に従ってオフラインで導出され得る。エンコーダは、最適ＭＶＲセットを選択し、選択したセットの対応するインデックスをデコーダに対しシグナリングしてもよい。

ＧＰＭ－ＭＶＲレート歪み最適化のためのエンコーダスピードアップロジック

提案されたＧＰＭ－ＭＶＲスキームに対して、ＧＰＭ分割ごとの最適ＭＶＲを決定するために、エンコーダは、適用されるＭＶＲ値を変えて、各ＧＰＭ分割のレート歪みコストを複数回テストする必要がある場合がある。このことはＧＰＭモードの符号化の複雑性を著しく高める可能性がある。符号化の複雑さの問題に対処するために、本セクションでは以下の高速符号化ロジックが提案される。

第一に、ＶＶＣとＡＶＳ３で適用されるクワッド／バイナリ／ターナリツリーブロック分割構造のために、１つの同じコーディングブロックが、１つの異なる分割パスを通して分割された、レート歪み最適化（ＲＤＯ）処理の間にチェックされ得る。現ＶＴＭ／ＨＰＭエンコーダの実装では、ＧＰＭとＧＰＭ－ＭＶＲモードは、異なるブロック分割の組み合わせによって１つの同じＣＵが得られるたびに、他のインター及びイントラコーディングモードとともに常にテストされる。一般的に、異なる分割パスに対しては、１つのＣＵの隣接するブロックのみが異なる可能性がある。ただし、１つのＣＵが選択する最適なコーディングモードに与える影響は比較的小さいはずである。このような考察に基づいて、適用されるＧＰＭＲＤＯの総数を削減するため、１つのＣＵのＲＤコストが初めてチェックされる際にＧＰＭモードが選択されるか否かの決定を保存することが提案された。その後、再度ＲＤＯ処理で同じＣＵがチェックされると（別の分割パスによって）、ＧＰＭのＲＤコスト（ＧＰＭ－ＭＶＲを含む）は、最初にＣＵにＧＰＭが選択された場合にのみチェックされる。１つのＣＵの初期ＲＤチェックにＧＰＭが選択されていない場合、同じＣＵが別の分割パスを介して達成されると、ＧＰＭのみ（ＧＰＭ－ＭＶＲなし）がテストされる。別の方法では、１つのＣＵの最初のＲＤチェックにＧＰＭが選択されていない場合、同じＣＵが別の分割パスを介して達成されると、ＧＰＭとＧＰＭ－ＭＶＲの両方はテストされない。

第二に、ＧＰＭ－ＭＶＲモードのためのＧＰＭ分割数を削減するため、１つのＣＵのＲＤコストを初めてチェックしたとき、最小ＲＤコストなしで最初のＭ個のＧＰＭ分割モードを維持することが提案される。その後、同じＣＵが再度ＲＤＯ処理によってチェックされると（別の分割パスによって）、これらのＭ個のＧＰＭ分割モードのみがＧＰＭ－ＭＶＲモードでテストされる。

第三に、１の初期ＲＤＯ処理に対して試験されるＧＰＭ分割の数を削減するために、２つのＧＰＭ分割に対して異なる片方向予測マージ候補を使用するとき、最初に絶対値の差の合計（Sum Absolute Difference：ＳＡＤ）値を計算することが提案される。次に、１つの特定の分割モードの各ＧＰＭ分割に対して、最小のＳＡＤ値を持つ最適片方向予測マージ候補を選択し、２つのＧＰＭ分割の最適片方向予測マージ候補のＳＡＤ値の合計に等しい分割モードの対応するＳＡＤ値を計算する。次に、次のＲＤ処理では、前のステップの最適ＳＡＤ値を持つ最初のＮ個の分割モードのみがＧＰＭ－ＭＶＲモードでテストされる。

明示的動きシグナリングを使用した幾何学的分割

本セクションでは、ＧＰＭモードを、ＧＰＭモードの２つの片方向ＭＶがエンコーダからデコーダへ明示的にシグナリングされる正規インターモードの双方向予測に拡張するために、複数の方法が提案される。

第１の解決法（解決法１）では、ＧＰＭモードで２つの片方向ＭＶにシグナリングするために、双方向予測の既存の動き信号を完全に再利用することが提案される。表８は、新しく追加されたシンタックス要素が斜体の太字である提案されたスキームの修正されたシンタックステーブルを示す。表８に示すように、この解決法では、信号L0及びL1動き情報の既存のすべてのシンタックス要素が、２つのＧＰＭ分割の片方向ＭＶを示すために、それぞれ完全に再利用される。さらに、L0 ＭＶは常に第１のＧＰＭ分割に関連付けられ、L1 ＭＶは常に第２のＧＰＭ分割に関連付けられていると想定される。一方、表８において、インター予測シンタックス、すなわちinter_pred_idcは、ＧＰＭフラグ（すなわち、gpm_flag）の前にシグナリングされ、inter_pred_idcの値を使用してgpm_flagの存在を条件付けすることができる。具体的には、フラグgpm_flagは、inter_pred_idcがPRED_BI（すなわち双方向予測）と等しく、inter_affine_flagとsym_mvd_flagの両方が０に等しい（すなわち、ＣＵはアフィンモードとＳＭＶＤモードのどちらによってもコード化されない）場合にのみシグナリングする必要がある。フラグgpm_flagがシグナリングされない場合、その値は常に０であると推測される（すなわち、ＧＰＭモードは無効である）。gpm_flagが１の場合、別のシンタックス要素gpm_partition_idxは、現ＣＵの選択されたＧＰＭモード（合計６４個のＧＰＭ分割のうち）を示すように、さらにシグナリングされる。

別の方法では、フラグgpm_flagのシグナリングを他のインターシグナリングシンタックス要素の前に配置して、gpm_flagの値が、他のインターシンタックス要素が存在する必要があるか否かを決定するために使用できるようにすることが提案される。表９は、新しく追加されたシンタックス要素が斜体の太字である場合に、そのような方法が適用される場合の対応するシンタックステーブルを示している。示されるように、gpm_flagは、表９で最初にシグナリングされる。gpm_flagが１の場合、対応するinter_pred_idc、inter_affine_flag、sym_mvd_flagのシグナリングはバイパスできる。代わりに、３つのシンタックス要素の対応する値を、それぞれPRED_BI、0、及び0と推論できる。

表８と表９の両方において、ＳＭＶＤモードをＧＰＭモードと組み合わせることはできない。別の例では、現ＣＵがＧＰＭモードによってコード化される場合、ＳＭＶＤモードを許容することが提案される。このような組み合わせが許容される場合、ＳＭＶＤの同じ設計に従うことによって、２つのＧＰＭ分割のＭＶＤは対称であると仮定され、よって第１のＧＰＭ分割のＭＶＤのみがシグナリングされる必要があり、第２のＧＰＭ分割のＭＶＤは常に第１のＭＶＤに対して対称である。このような方法を適用すると、gpm_flagのsym_mvd_flagの対応するシグナリング条件を削除できる。

前述のように、第１の解決法では、第１のＧＰＭ分割にL0 ＭＶが使用され、第２のＧＰＭ分割にL1 ＭＶが使用されることを常に前提としている。このような設計は、この方法が２つのＧＰＭ分割のＭＶを１つの同じ予測リスト（L0又はL1）から取得することを禁止するという意味で最適ではない可能性がある。このような問題を解決するために、別のＧＰＭ－ＥＭＳスキームである解決法２が、表１０に示すような信号設計で提案される。表１０では、新しく追加されたシンタックス要素は斜体の太字である。表１０に示すように、フラグgpm_flagは最初にシグナリングされる。フラグが１に等しい（ＧＰＭが有効である）場合、選択されたＧＰＭモードを特定するために、シンタックスgpm_partition_idxがシグナリングされる。次に、１つの追加フラグgpm_pred_dir_flag0が、第１のＧＰＭ分割のＭＶがその元である対応する予測リストを示すためにシグナリングされる。フラグgpm_pred_dir_flag0が１に等しい場合、第１のＧＰＭ分割のＭＶがL1から来たことを示す。そうでない（フラグが０に等しい）場合、第１のＧＰＭ分割のＭＶがL0から来たことを示す。その後、既存のシンタックス要素ref_idx_l0、mvp_l0_flag、及びmvd_coding()を使用して、参照ピクチャインデックス、ｍｖｐインデックス、及び第１のＧＰＭ分割のＭＶＤの値をシグナリングする。一方、第１の幾何学的分割と同様に、別のシンタックス要素gpm_pred_dir_flag1が、第２のＧＰＭ分割の対応する予測リストを選択するために導入され、第２のＧＰＭ分割のＭＶを導出するために使用される既存のシンタックス要素ref_idx_l1、mvp_l1_flag、及びmvd_coding()が続く。

また、最後に、ＧＰＭモードが２つの片方向予測分割（分割エッジ上のブレンディングサンプルを除く）からなる点を考慮すると、双方向オプティカルフロー、デコーダ側動きベクトル精緻化（ＤＭＶＲ）及びＣＵ重み付き双方向予測（ＢＣＷ）など、特に双方向予測用に設計されたＶＶＣ及びＡＶＳ３の既存のコーディングツールは、提案されたＧＰＭ－ＥＭＳスキームが１つのインターＣＵに対して有効であるとき、自動的にバイパスされてもよい。例えば、提案されたＧＰＭ－ＥＭＳの１つが１つのＣＵに対して有効である場合、ＢＣＷがＧＰＭモードに適用できないことを考慮すると、シグナリングオーバーヘッドを削減するために、対応するＢＣＷ重みをＣＵに対してさらにシグナリングする必要はない。

ＧＰＭ－ＭＶＲとＧＰＭ－ＥＭＳの組み合わせ

本セクションでは、幾何学的分割を伴う１つのＣＵに対してＧＰＭ－ＭＶＲとＧＰＭ－ＥＭＳを組み合わせることが提案される。具体的には、提案されたスキームでは、マージベースの動きシグナリング又は明示的シグナリングのうちの１つのみを２つのＧＰＭ分割の片方向予測ＭＶの信号に適用できるＧＰＭ－ＭＶＲ又はＧＰＭ－ＥＭＳのいずれかとは異なり、１）ＧＰＭ－ＭＶＲベースの動きシグナリングを使用する１つの分割と、ＧＰＭ－ＥＭＳベースの動きシグナリングを使用するもう１つの分割、又は２）ＧＰＭ－ＭＶＲベースの動きシグナリングを使用する２つの分割、又は３）ＧＰＭ－ＥＭＳベースの動きシグナリングを使用する２つの分割を許容する。表４のＧＰＭ－ＭＶＲシグナリングと表１０のＧＰＭ－ＥＭＳを使用して、表１１に、提案されたＧＰＭ－ＭＶＲとＧＰＭ－ＥＭＳを組み合わせた後の対応するシンタックステーブルを示す。表１１では、新しく追加されたシンタックス要素は斜体の太字である。表１１に示すように、分割＃１及び＃２にはそれぞれ、２つの追加のシンタックス要素gpm_merge_flag0及びgpm_merge_flag1が導入されており、これらは対応する分割がＧＰＭ－ＭＶＲベースのマージシグナリング又はＧＰＭ－ＥＭＳベースの明示的シグナリングを使用することを指定する。フラグが１の場合、ＧＰＭ片方向予測動きがmerge_gpm_idxX、gpm_mvr_partIdxX_enabled_flag、gpm_mvr_partIdxX_direction_idx及びgpm_mvr_partIdxX_distance_idx（X=0,1）によってシグナリングされる分割に対してＧＰＭ－ＭＶＲベースのシグナリングが有効であることを意味する。そうでない場合、フラグが０の場合、分割の片方向予測動きはシンタックス要素gpm_pred_dir_flagX、ref_idx_lX、mvp_lX_flag、及びmvd_lX（X=0,1）を使用してＧＰＭ－ＥＭＳ方式により明示的にシグナリングされることを意味する。

ＧＰＭ－ＭＶＲとテンプレートマッチングの組み合わせ

このセクションでは、ＧＰＭ－ＭＶＲとテンプレートマッチングを組み合わせるための様々な解決法が提供される。

方法１では、１つのＣＵがＧＰＭモードでコード化される場合、２つのＧＰＭ分割に対して２つの別々のフラグをシグナリングすることが提案され、フラグの各々は、対応する分割の片方向動きがテンプレートマッチングによってさらに精緻化されるか否かを示す。フラグが有効になると、現ＣＵの左側と上側の隣接する再構築されたサンプルを使用してテンプレートが生成される。次いで、「テンプレートの照合」セクションで紹介したのと同じ手順に従って、テンプレートとその参照サンプルの間の差分を最小化することによって、分割の片方向の動きが絞り込まれる。そうでない場合（フラグが無効になっている場合）、テンプレートマッチングは分割に適用されず、ＧＰＭ－ＭＶＲがさらに適用されてもよい。表５のＧＰＭ－ＭＶＲシグナリング法を例に、表１１に、ＧＰＭ－ＭＶＲとテンプレートマッチングを組み合わせた場合の対応するシンタックステーブルを示す。

表１１に示すように、提案されたスキームでは、２つの追加フラグgpm_tm_enable_flag0とgpm_tm_enable_flag1が、それぞれ２つのＧＰＭ分割に対して動きが精緻化されているか否かを示すために、最初にシグナリングされる。フラグが１の場合、ＴＭが１つの分割の片方向ＭＶを精緻化するために適用されていることを示す。フラグが０の場合、ＧＰＭ－ＭＶＲがＧＰＭ分割に適用されているか否かを示す１つのフラグ（gpm_MVR_partIdx0_enable_flag又はgpm_MVR_partIdx1_enable_flag）がさらにシグナリングされる。１つのＧＰＭ分割のフラグが１に等しい場合、距離インデックス（シンタックス要素gpm_mvr_partIdx0_distance_idx及びgpm_mvr_partIdx1_distance_idxによって示される）と方向インデックス（シンタックス要素gpm_mvr_partIdx0_direction_idx及びgpm_mvr_partIdx1_distance_idxによって示される）がＭＶＲの方向を特定するためにシグナリングされる。その後、既存のシンタックスmerge_gpm_idx0及びmerge_gpm_idx1が、２つのＧＰＭ分割の片方向ＭＶを識別するためにシグナリングされる。一方、表５に適用されるシグナリング条件と同様に、２つのＧＰＭ分割の予測に使用される、結果として得られるＭＶが同一でないことを保証するために、以下の条件を適用できる。

第一に、gpm_tm_enable_flag0とgpm_tm_enable_flag1の両方の値が１である（すなわち、２つのＧＰＭ分割の両方でＴＭが有効である）場合、merge_gpm_idx0とmerge_gpm_idx1の値は同じではあり得ない。

第二に、gpm_tm_enable_flag0とgpm_tm_enable_flag1の一方が１で他方が０の場合、merge_gpm_idx0とmerge_gpm_idx1の値は同一であることが許容される。

そうでない場合、すなわちgpm_tm_enable_flag0とgpm_tm_enable_flag1の両方が１に等しいとき：第一に、gpm_MVR_partIdx0_enable_flagとgpm_MVR_partIdx1_enable_flagの両方の値が０に等しい（すなわち、ＧＰＭ－ＭＶＲが２つのＧＰＭ分割の両方に対して無効である）とき、merge_gpm_idx0とmerge_gpm_idx1の値は同じにはならない；第二に、gpm_MVR_partIdx0_enable_flagが１に等しく（すなわち、ＧＰＭ－ＭＶＲが第１のＧＰＭ分割に対して有効である）、gpm_MVR_partIdx1_enable_flagが０に等しい（すなわちＧＰＭ－ＭＶＲが第２のＧＰＭ分割に対して無効である）とき、merge_gpm_idx0とmerge_gpm_idx1の値は同一であることが許容される；第三に、gpm_MVR_partIdx0_enable_flagが０に等しく（すなわち、ＧＰＭ－ＭＶＲが第１のＧＰＭ分割に対して無効である）、gpm_MVR_partIdx1_enable_flagが１に等しい（すなわちＧＰＭ－ＭＶＲが第２のＧＰＭ分割に対して有効である）とき、merge_gpm_idx0とmerge_gpm_idx1の値は同一であることが許容される；第四に、gpm_MVR_partIdx0_enable_flagとgpm_MVR_partIdx1_enable_flagの両方の値が１に等しい（すなわち、ＧＰＭ－ＭＶＲが２つのＧＰＭ分割の両方に対して有効である）とき、merge_gpm_idx0とmerge_gpm_idx1の値が同一であることが許容されるか否かの判定は、２つのＧＰＭ分割に適用されるＭＶＲの値（gpm_mvr_partIdx0_direction_idxとgpm_mvr_partIdx0_distance_idx、及びgpm_mvr_partIdx1_direction_idxとgpm_mvr_partIdx1_distance_idxで示される）に依存する。２つのＭＶＲの値が等しいとき、merge_gpm_idx0とmerge_gpm_idx1は同一ではない。そうでないとき（２つのＭＶＲの値が等しくないとき）、merge_gpm_idx0とmerge_gpm_idx1の値は同一であることが許容される。

上記の方法１では、ＴＭとＭＶＲはＧＰＭに排他的に適用される。このようなスキームでは、ＴＭモードの精緻化されたＭＶにＭＶＲをさらに適用することは禁じられる。従って、ＧＰＭのためにより多くのＭＶ候補を提供するために、ＴＭ精緻化ＭＶにＭＶＲオフセットを適用できる方法２を提案した。表１２に、ＧＰＭ－ＭＶＲがテンプレートマッチングと組み合わされた場合の対応するシンタックステーブルを示す。

表１２に示すように、表１１とは異なり、gpm_tm_enable_flag0及びgpm_tm_enable_flag1でのgpm_MVR_partIdx0_enable_flag及びgpm_MVR_partIdx1_enable_flagのシグナリング条件が削除される。従って、ＴＭが１つのＧＰＭ分割の片方向動きを精緻化するために適用されるか否かにかかわらず、ＭＶ精緻化は常にＧＰＭ分割のＭＶに適用することが許される。上述と同様に、２つのＧＰＭ分割の結果得られるＭＶが同一でないことを確認するには、次の条件を適用する必要がある。

まず、gpm_tm_enable_flag0とgpm_tm_enable_flag1の一方が１で他方が０の場合、merge_gpm_idx0とmerge_gpm_idx1の値は同一であることが許容される。

そうでない場合、すなわちgpm_tm_enable_flag0とgpm_tm_enable_flag1の両方が１に等しいか、あるいは両フラグが０に等しいとき：第一に、gpm_MVR_partIdx0_enable_flagとgpm_MVR_partIdx1_enable_flagの両方の値が０に等しい（すなわち、ＧＰＭ－ＭＶＲが２つのＧＰＭ分割の両方に対して無効である）とき、merge_gpm_idx0とmerge_gpm_idx1の値は同じにはならない；第二に、gpm_MVR_partIdx0_enable_flagが１に等しく（すなわち、ＧＰＭ－ＭＶＲが第１のＧＰＭ分割に対して有効である）、gpm_MVR_partIdx1_enable_flagが０に等しい（すなわちＧＰＭ－ＭＶＲが第２のＧＰＭ分割に対して無効である）とき、merge_gpm_idx0とmerge_gpm_idx1の値は同一であることが許容される；第三に、gpm_MVR_partIdx0_enable_flagが０に等しく（すなわち、ＧＰＭ－ＭＶＲが第１のＧＰＭ分割に対して無効である）、gpm_MVR_partIdx1_enable_flagが１に等しい（すなわちＧＰＭ－ＭＶＲが第２のＧＰＭ分割に対して有効である）とき、merge_gpm_idx0とmerge_gpm_idx1の値は同一であることが許容される；第四に、gpm_MVR_partIdx0_enable_flagとgpm_MVR_partIdx1_enable_flagの両方の値が１に等しい（すなわち、ＧＰＭ－ＭＶＲが２つのＧＰＭ分割の両方に対して有効である）とき、merge_gpm_idx0とmerge_gpm_idx1の値が同一であることが許容されるか否かの判定は、２つのＧＰＭ分割に適用されるＭＶＲの値（gpm_mvr_partIdx0_direction_idxとgpm_mvr_partIdx0_distance_idx、及びgpm_mvr_partIdx1_direction_idxとgpm_mvr_partIdx1_distance_idxで示される）に依存する。２つのＭＶＲの値が等しいとき、merge_gpm_idx0とmerge_gpm_idx1は同一ではない。そうでないとき（２つのＭＶＲの値が等しくないとき）、merge_gpm_idx0とmerge_gpm_idx1の値は同一であることが許容される。

上記の２つの方法では、ＴＭが各ＧＰＭ分割に適用されているか否かを示すために、２つの個別のフラグをシグナリングする必要がある。付加されたシグナリングは、特に低ビットレートにおいて、付加的なオーバーヘッドのために、全体的なコーディング効率を低下させ得る。シグナリングオーバーヘッドを削減するために、付加的なシグナリングを導入する代わりに、ＴＭベースの片方向ＭＶをＧＰＭモードの片方向ＭＶ候補リストに挿入する方法３が提案される。ＴＭベースの片方向ＭＶは、「テンプレートマッチング」の項で説明したものと同じＴＭ処理に従って、ＧＰＭの元の片方向ＭＶを初期ＭＶとして使用して生成される。このようなスキームにより、エンコーダからデコーダへ追加の制御フラグの信号をさらに送る必要はない。代わりに、デコーダは、ビットストリームから受信した対応するマージインデックス（すなわち、merge_gpm_idx0及びmerge_gpm_idx1）を介して、１つのＭＶがＴＭによって精緻化されたか否かを識別できる。通常のＧＰＭ ＭＶ候補（すなわち、非ＴＭ）及びＴＭベースのＭＶ候補を配置するための様々な方法が存在し得る。１つの方法では、ＭＶ候補リストの先頭にＴＭベースのＭＶ候補を置き、続いて非ＴＭベースのＭＶ候補を置くことが提案される。別の方法では、最初に非ＴＭベースのＭＶ候補を最初に置き、続いてＴＭベース候補を置くことが提案される。別の方法では、ＴＭベースのＭＶ候補と非ＴＭベースのＭＶ候補をインタリーブ方式で配置することが提案される。例えば、最初にＮ個の非ＴＭベースの候補を置き、次にすべてのＴＭベースの候補を置き、最後に残りの非ＴＭベースの候補を置くことができる。別の例では、最初にＮ個のＴＭベースの候補を置き、次にすべての非ＴＭベースの候補を置き、最後に残りのＴＭベースの候補を置くことができる。別の例では、非ＴＭベースの候補とＴＭベースの候補とを１つずつ順に、すなわち、１つの非ＴＭベースの候補、１つのＴＭベースの候補、などと配置することが提案される。

上記の方法は、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子部品を含む、１以上の回路を含む装置を用いて実施されてもよい。装置は、上記の方法を実行するために、他のハードウェア又はソフトウェア成分と組み合わせて回路を使用できる。上記開示された各モジュール、サブモジュール、ユニット、又はサブユニットは、少なくとも部分的に１以上の回路を使用して実装されてもよい。

図１０は、ユーザインタフェース１０６０と結合された演算環境（又は演算装置）１０１０を示す。演算環境１０１０は、データ処理サーバの一部とすることができる。一部の実施形態において、演算装置１０１０は、本開示の各種例に従って、上述のような様々な方法又は処理（符号化／復号方法又は処理など）のいずれかを実行できる。演算環境１０１０は、プロセッサ１０２０、メモリ１０４０、及びＩ／Ｏインタフェース１０５０を含んでもよい。

プロセッサ１０２０は、典型的には、表示、データ収集、データ通信、及び画像処理に関連する操作などの、演算環境１０１０の全体的な操作を制御する。プロセッサ１０２０は、上述した方法のすべて又は一部のステップを実行するための命令を実行するための１以上のプロセッサを含んでもよい。さらに、プロセッサ１０２０は、プロセッサ１０２０と他の構成要素との間の相互作用を容易にする１以上のモジュールを含んでもよい。プロセッサは、中央演算処理装置（ＣＰＵ）、マイクロプロセッサ、シングルチップマシン、ＧＰＵなどとすることができる。

メモリ１０４０は、演算環境１０１０の動作をサポートするため、各種タイプのデータを格納するよう構成される。メモリ１０４０は、所定のソフトウェア１０４２を含んでもよい。このようなデータの例には、演算環境１０１０で動作する任意のアプリケーション又は方法のための命令、ビデオデータセット、画像データなどが含まれる。メモリ１１３０は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、読取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク、光ディスクなどの任意のタイプの揮発性又は不揮発性メモリデバイス、又はそれらの組み合わせを使用することによって実施することができる。

Ｉ／Ｏインタフェース１０５０は、プロセッサ１０２０と、キーボード、クリックホイール、ボタンなどの周辺インタフェースモジュールとの間のインタフェースを提供する。ボタンとしては、限定されるものではないが、ホームボタン、スキャン開始ボタン、及びスキャン停止ボタンが含まれ得る。Ｉ／Ｏインタフェース１０５０は、エンコーダ及びデコーダと結合されることができる。

一部の実施形態では、上述の方法を実行するために、メモリ１０４０内に含まれ、演算環境１０１０内のプロセッサ１０２０によって実行可能な複数のプログラムを含む非一時的コンピュータ可読記憶媒体も提供される。例えば、非一時的コンピュータ可読記憶媒体は、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データストレージデバイスなどであってもよい。

非一時的コンピュータ可読記憶媒体は、１以上のプロセッサを有する演算装置によって実行するための複数のプログラムを格納しており、複数のプログラムは、１以上のプロセッサによって実行されると、上記動作予測のための方法を演算装置に実行させる。

一部の実施形態では、演算環境１０１０は、上記の方法を実行するために、１以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィカルプロセシングユニット（ＧＰＵ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子部品を用いて実施されてもよい。

図８は、本開示の一例によるＧＰＭでビデオブロックを復号する方法を示すフローチャートである。

ステップ８０１において、プロセッサ１０２０は、ビデオブロックを第１の幾何学的分割及び第２の幾何学的分割に分割できる。

ステップ８０２において、プロセッサ１０２０は、第１の幾何学的分割のための第１のＴＭイネーブルフラグを受信でき、第２の幾何学的分割のための第２のＴＭイネーブルフラグを取得できる。

一部の例では、第１のＴＭイネーブルフラグは、第１の幾何学的分割の片方向動きがＴＭによって精緻化されるか否かを示し、第２のＴＭイネーブルフラグは、第２の幾何学的分割の片方向動きがＴＭによって精緻化されるか否かを示す。例えば、第１のＴＭイネーブルフラグは、表１１又は表１２に示すようにフラグgpm_tm_enable_flag0となり、第２のＴＭイネーブルフラグは、表１１又は表１２に示すようにフラグgpm_tm_enable_flag1となる。

ステップ８０３において、プロセッサ１０２０は、第１の幾何学的分割の第１のマージＧＰＭインデックスと、第２の幾何学的分割の第２のマージＧＰＭインデックスとを受信してもよい。

一部の例では、第１のマージＧＰＭインデックスは、第１の幾何学的分割の片方向ＭＶを識別し、第２のマージＧＰＭインデックスは、第２の幾何学的分割の片方向ＭＶを識別する。

一部の例では、第１のマージＧＰＭインデックスは、表１１又は１２に示されているように、シンタックス要素merge_gpm_idx0であり、第２のマージＧＰＭインデックスは、表１１又は１２に示されているように、シンタックス要素merge_gpm_idx1であってもよい。

ステップ８０４において、プロセッサ１０２０は、ＧＰＭの片方向ＭＶ候補リストを構築できる。

ステップ８０５において、プロセッサ１０２０は、第１の幾何学的分割に対する片方向ＭＶと、第２の幾何学的分割に対する片方向ＭＶとを生成してもよい。

一部の例では、表１１に示されるように、プロセッサ１０２０は、第１のＴＭイネーブルフラグが１に等しいとの判定に応じて、第１の幾何学的分割の片方向ＭＶを精緻化するためにＴＭが適用され、第１の幾何学的分割に対してＭＶＲが適用されないと判定してもよい。

一部の例では、表１１に示されるように、プロセッサ１０２０は、第１のＴＭイネーブルフラグが０に等しいとの判定に応じて、第１の幾何学的分割のための第１のＧＰＭ（ＧＰＭ－ＭＶＲ）イネーブルフラグを有する第１のＧＰＭを受信することができ、第１のＧＰＭ－ＭＶＲイネーブルフラグは、ＧＰＭ－ＭＶＲが第１の幾何学的分割に適用されるか否かを示すことができる。第１のＧＰＭ－ＭＶＲイネーブルフラグは、表１１に示すように、gpm_tm_enable_flag0とすることができる。

一部の例では、表１１に示されるように、プロセッサ１０２０は、第１のＧＰＭ－ＭＶＲイネーブルフラグが１に等しいとの判定に応じて、第１の幾何学的分割に対する第１のＧＰＭ－ＭＶＲ距離インデックス及び第１のＧＰＭ－ＭＶＲ方向インデックスを受け取ることができる。第１のＧＰＭ－ＭＶＲ距離インデックスと第１のＧＰＭ－ＭＶＲ方向インデックスは、表１１に示すように、それぞれ第１の幾何学的分割のＭＶＲの方向を指定できる。

一部の例では、表１１に示されるように、プロセッサ１０２０は、第２のＴＭイネーブルフラグが１に等しいとの判定に応じて、第２の幾何学的分割の片方向ＭＶを精緻化するためにＴＭが適用され、第２の幾何学的分割に対してＭＶＲが適用されないことを決定してもよい。

一部の例では、表１１に示されるように、プロセッサ１０２０は、第２のＴＭイネーブルフラグが０に等しいとの判定に応じて、第２の幾何学的分割のための動きベクトル精緻化（ＧＰＭ－ＭＶＲ）イネーブルフラグを有する第２のＧＰＭを受信できる。第２のＧＰＭ－ＭＶＲイネーブルフラグは、ＧＰＭ－ＭＶＲが第２の幾何学的分割に適用されるか否かを示すことができる。

一部の例では、表１１に示されるように、プロセッサ１０２０は、第２のＧＰＭ－ＭＶＲイネーブルフラグが１に等しいとの判定に応じて、第１の幾何学的分割に対する第２のＧＰＭ－ＭＶＲ距離インデックス及び第１のＧＰＭ－ＭＶＲ方向インデックスを受け取ることができる。第２のＧＰＭ－ＭＶＲ距離インデックス及び第２のＧＰＭ－ＭＶＲ方向インデックスは、それぞれ第２の幾何学的分割についてＭＶＲの方向を指定してもよい。

一部の例では、プロセッサ１０２０は、第１のＴＭイネーブルフラグと第２のＴＭイネーブルフラグに基づいて、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスをさらに制約してもよい。

一部の例では、プロセッサ１０２０は、第１のＴＭイネーブルフラグと第２のＴＭイネーブルフラグがそれぞれ１に等しいとの判定に応じて、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスが異なると判定してもよい。

一部の例では、プロセッサ１０２０は、第１のＴＭイネーブルフラグ及び第２のＴＭイネーブルフラグの一方が１に等しく、他方が０に等しいとの判定に応じて、第１のマージＧＰＭインデックス及び第２のマージＧＰＭインデックスが同一であることが許容されると判定してもよい。一部の例では、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスが同一であることが許容されている場合、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスは同じであっても、異なっていてもよい。

例えば、一部の例では、gpm_tm_enable_flag0とgpm_tm_enable_flag1の一方が１で他方が０の場合、merge_gpm_idx0とmerge_gpm_idx1の値は同一であってもよい。一部の例では、gpm_tm_enable_flag0とgpm_tm_enable_flag1の一方が１で他方が０の場合、merge_gpm_idx0とmerge_gpm_idx1の値は異なっていてもよい。

一部の例では、プロセッサ１０２０は、第１のＴＭイネーブルフラグ及び第２のＴＭイネーブルフラグがそれぞれ１に等しいとの判定に応じて、第１のＧＰＭ－ＭＶＲイネーブルフラグ及び第２のＧＰＭ－ＭＶＲイネーブルフラグに基づいて、第１のマージＧＰＭインデックス及び第２のマージＧＰＭインデックスをさらに制約してもよい。

例えば、プロセッサ１０２０は、第１のＧＰＭ－ＭＶＲイネーブルフラグと第２のＧＰＭ－ＭＶＲイネーブルフラグがそれぞれ０に等しいとの判定に応じて、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスが異なると判定してもよい。

例えば、プロセッサ１０２０は、第１のＧＰＭ－ＭＶＲイネーブルフラグが１に等しく、第２のＧＰＭ－ＭＶＲイネーブルフラグが０に等しいとの判定に応じて、又は第１のＧＰＭ－ＭＶＲイネーブルフラグが０に等しく、第２のＧＰＭ－ＭＶＲイネーブルフラグが１に等しいとの判定に応じて、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスが同一であることが許容されると判定してもよい。一部の例では、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスが同一であることが許容されている場合、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスは同じであっても、異なっていてもよい。

例えば、プロセッサ１０２０は、第１のＧＰＭ－ＭＶＲイネーブルフラグ及び第２のＧＰＭ－ＭＶＲイネーブルフラグがそれぞれ１に等しいとの判定に応じて、第１の幾何学的分割の第１のＭＶＲ及び第２の幾何学的分割の第２のＭＶＲに基づいて、第１のマージＧＰＭインデックス及び第２のマージＧＰＭインデックスを決定してもよい。

一部の例では、プロセッサ１０２０は、第１のＭＶＲが第２のＭＶＲに等しいとの判定に応じて、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスが異なると判定してもよい。

一部の例では、プロセッサ１０２０は、第１のＭＶＲが第２のＭＶＲに等しくないとの判定に応じて、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスが同一であることが許容されると判定してもよい。一部の例では、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスが同一であることが許容されている場合、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスは同じであっても、異なっていてもよい。

一部の例では、プロセッサ１０２０は、表１２に示されるように、第１のＴＭイネーブルフラグと第２のＴＭイネーブルフラグに基づいて、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスをさらに制約してもよい。

例えば、プロセッサ１０２０は、第１のＴＭイネーブルフラグ及び第２のＴＭイネーブルフラグの一方が１に等しく、他方が０に等しいとの判定に応じて、第１のマージＧＰＭインデックス及び第２のマージＧＰＭインデックスが同一であることが許容されると判定してもよい。

例えば、プロセッサ１０２０は、第１のＴＭイネーブルフラグと第２のＴＭイネーブルフラグの両方が０に等しいか、第１のＴＭイネーブルフラグと第２のＴＭイネーブルフラグの両方が１に等しいとの判定に応じて、第１の幾何学的分割の第１のＧＰＭ動きベクトル精緻化（ＧＰＭ－ＭＶＲ）イネーブルフラグ及び第２の幾何学的分割の第２のＧＰＭ－ＭＶＲイネーブルフラグに基づいて、第１のマージＧＰＭインデックス及び第２のマージＧＰＭインデックスを制約してもよい。第１のＧＰＭ－ＭＶＲイネーブルフラグは、ＧＰＭ－ＭＶＲが第１の幾何学的分割に適用されるか否かを示すことができ、第２のＧＰＭ－ＭＶＲイネーブルフラグは、ＧＰＭ－ＭＶＲが第２の幾何学的分割に適用されるか否かを示すことができる。

一部の例では、プロセッサ１０２０は、第１のＧＰＭ－ＭＶＲイネーブルフラグと第２のＧＰＭ－ＭＶＲイネーブルフラグが０であるとの判定に応じて、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスが異なると判定してもよい。

一部の例では、プロセッサ１０２０は、第１のＧＰＭ－ＭＶＲイネーブルフラグが１に等しく、第２のＧＰＭ－ＭＶＲイネーブルフラグが０に等しいとの判定に応じて、又は第１のＧＰＭ－ＭＶＲイネーブルフラグが０に等しく、第２のＧＰＭ－ＭＶＲイネーブルフラグが１に等しいとの判定に応じて、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスが同一であることが許容されると判定してもよい。第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスが同一であることが許容されている場合、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスは同じであっても、異なっていてもよい。

一部の例では、プロセッサ１０２０は、第１のＧＰＭ－ＭＶＲイネーブルフラグと第２のＧＰＭ－ＭＶＲイネーブルフラグがそれぞれ１に等しいとの判定に応じて、第１のマージＧＰＭインデックス及び第２のマージＧＰＭインデックスを、第１の幾何学的分割の第１の動きベクトル精緻化（ＭＶＲ）及び前記第２の幾何学的分割の第２のＭＶＲに基づいて決定してもよい。

一部の例では、プロセッサ１０２０は、第１のＭＶＲが第２のＭＶＲに等しいとの判定に応じて、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスが異なると判定してもよい。さらに、プロセッサ１０２０は、第１のＭＶＲが第２のＭＶＲに等しくないとの判定に応じて、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスが同一であることが許容されると判定してもよい。

図９は、本開示の一例によるＧＰＭでビデオブロックを復号する方法を示すフローチャートである。

ステップ９０１において、プロセッサ１０２０は、ビデオブロックを第１の幾何学的分割及び第２の幾何学的分割に分割できる。

ステップ９０２において、プロセッサ１０２０は、ＧＰＭの片方向ＭＶ候補リストを構築できる。

ステップ９０３において、プロセッサ１０２０は、第１の幾何学的分割の第１のマージＧＰＭインデックスと、第２の幾何学的分割の第２のマージＧＰＭインデックスとを受信してもよい。

一部の例では、第１のマージＧＰＭインデックスは、表１１又は１２に示されているように、シンタックス要素merge_gpm_idx0であり、第２のマージＧＰＭインデックスは、表１１又は１２に示されているように、シンタックス要素merge_gpm_idx1であってもよい。

ステップ９０４において、プロセッサ１０２０は、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスに基づいて片方向ＭＶ候補リストを更新してもよい。

一部の例では、第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスは、単一の片方向ＭＶが洗練されているか否かを示す。

一部の例では、プロセッサ１０２０は、初期ＭＶとしてＧＰＭの元の片方向ＭＶに基づいて、ＴＭベースの片方向ＭＶを生成してもよく、ＴＭベースの片方向ＭＶを片方向ＭＶ候補リストに追加することによって、更新された片方向ＭＶ候補リストを取得してもよい。第１のマージＧＰＭインデックスと第２のマージＧＰＭインデックスは、ＴＭベースの片方向ＭＶを示し得る。

一部の例では、プロセッサ１０２０は、以下の操作のうちの１つによって、ＴＭベースの片方向ＭＶを片方向ＭＶ候補リストに追加してもよい：非ＴＭベースの片方向ＭＶがＴＭベースの片方向ＭＶに続くように、片方向ＭＶ候補リストの先頭にＴＭベースの片方向ＭＶを追加すること；ＴＭベースの片方向ＭＶが、片方向ＭＶ候補リスト内の非ＴＭベースの片方向ＭＶに続くように、片方向ＭＶ候補リストにＴＭベースの片方向ＭＶを追加すること；片方向ＭＶ候補リストにおいてＴＭベースの片方向ＭＶと非ＴＭベースの片方向ＭＶがインタリーブ方式で配置されるように、片方向ＭＶ候補リストにＴＭベースの片方向ＭＶを追加すること。

一部の例では、ＧＰＭでビデオブロックを復号するための装置が提供される。装置は、プロセッサ１０２０と、プロセッサによって実行可能な命令を格納するよう構成されたメモリ１０４０とを含み、プロセッサは、命令の実行時に、図８又は図９に示す方法を実行するよう構成される。

他の一部の例では、命令が格納された非一時的コンピュータ可読記憶媒体が提供される。命令がプロセッサ１０２０によって実行されると、命令は図８又は図９に示されるような方法をプロセッサに実行させる。

本開示の他の例は、ここに開示される本開示の明細書及び実施の検討から当業者には明らかとなろう。本出願は、その一般原理に従う開示のあらゆる変形、使用、又は適合をカバーすることを意図しており、当技術分野における既知の又は慣習的実施に含まれる本開示からの逸脱を含む。明細書及び例は、あくまで例示的であるとみなされることが意図されている。

本開示は、上記で説明され、添付の図面に示された例のみに限定されるものではなく、その範囲を逸脱することなく、種々の修正及び変更を行うことができることが理解されるであろう。

Claims (19)

1. ビデオブロックを第１の幾何学的分割及び第２の幾何学的分割に分割することと、
   第１の分割の片方向動きがテンプレートマッチングすなわちＴＭによって精緻化されているか否かを示す、前記第１の幾何学的分割に対する第１のＴＭイネーブルフラグ、及び第２の分割の片方向動きが前記ＴＭによって精緻化されているか否かを示す、前記第２の幾何学的分割に対する第２のＴＭイネーブルフラグを受信することと、
   前記第１の幾何学的分割の第１のマージＧＰＭインデックスと、前記第２の幾何学的分割の第２のマージＧＰＭインデックスとを受信することと、
   幾何学的分割モードすなわちＧＰＭの片方向動きビクター（ＭＶ）候補リストを構築することと、
   前記第１の幾何学的分割に対する片方向ＭＶと、前記第２の幾何学的分割に対する片方向ＭＶとを生成することと、
   を含む、幾何学的分割モード（ＧＰＭ）でビデオブロックを復号する方法。
2. 前記第１のＴＭイネーブルフラグが１に等しいとの判定に応じて、前記第１の幾何学的分割の片方向ＭＶを精緻化するために前記ＴＭが適用され、前記第１の幾何学的分割に対して動きベクトル精緻化、すなわちＭＶＲが適用されないと判定することと、
   前記第１のＴＭイネーブルフラグが０に等しいとの判定に応じて、前記第１の幾何学的分割に対するＭＶＲ、すなわちＧＰＭ－ＭＶＲが前記第１の幾何学的分割に適用されているか否かを示す、第１のＧＰＭ－ＭＶＲイネーブルフラグを有する第１のＧＰＭを受信することと、
   をさらに含む、請求項１に記載の方法。
3. 前記第１のＧＰＭ－ＭＶＲイネーブルフラグが１に等しいとの判定に応じて、前記第１の幾何学的分割について第１のＧＰＭ－ＭＶＲ距離インデックス及び第１のＧＰＭ－ＭＶＲ方向インデックスを受信することであって、前記第１のＧＰＭ－ＭＶＲ距離インデックス及び前記第１のＧＰＭ－ＭＶＲ方向インデックスは、前記第１の幾何学的分割について前記ＭＶＲの方向を指定することをさらに含む、請求項２に記載の方法。
4. 前記第２のＴＭイネーブルフラグが１に等しいとの判定に応じて、前記第２の幾何学的分割の片方向ＭＶを精緻化するために前記ＴＭが適用され、前記第２の幾何学的分割に対して前記動きベクトル精緻化（ＭＶＲ）が適用されないと判定することと、
   前記第２のＴＭイネーブルフラグが０に等しいとの判定に応じて、前記第２の幾何学的分割について動きベクトル精緻化を伴う第２のＧＰＭ（ＧＰＭ－ＭＶＲ）イネーブルフラグが、前記ＧＰＭ－ＭＶＲが第２の幾何学的分割に適用されているか否かを示す、第２のＧＰＭ－ＭＶＲイネーブルフラグを受信することと、
   をさらに含む、請求項３に記載の方法。
5. 前記第２のＧＰＭ－ＭＶＲイネーブルフラグが１に等しいとの判定に応じて、前記第１の幾何学的分割について第２のＧＰＭ－ＭＶＲ距離インデックス及び第２のＧＰＭ－ＭＶＲ方向インデックスを受信することであって、前記第２のＧＰＭ－ＭＶＲ距離インデックス及び前記第２のＧＰＭ－ＭＶＲ方向インデックスは、前記第２の幾何学的分割について前記ＭＶＲの方向を指定する、請求項４に記載の方法。
6. 前記第１のＴＭイネーブルフラグと前記第２のＴＭイネーブルフラグに基づいて前記第１のマージＧＰＭインデックスと前記第２のマージＧＰＭインデックスを制約することをさらに含む、請求項５に記載の方法。
7. 前記第１のＴＭイネーブルフラグと前記第２のＴＭイネーブルフラグに基づいて前記第１のマージＧＰＭインデックスと前記第２のマージＧＰＭインデックスを制約することは、
   前記第１のＴＭイネーブルフラグと前記第２のＴＭイネーブルフラグがそれぞれ１に等しいとの判定に応じて、前記第１のマージＧＰＭインデックスと前記第２のマージＧＰＭインデックスが異なると判定することと、
   前記第１のＴＭイネーブルフラグと前記第２のＴＭイネーブルフラグの一方が１に等しく、他方が０に等しいとの判定に応じて、前記第１のマージＧＰＭインデックスと前記第２のマージＧＰＭインデックスが同一であることが許容されると判定することと、
   を含む、請求項６に記載の方法。
8. 前記第１のＴＭイネーブルフラグと前記第２のＴＭイネーブルフラグがそれぞれ１に等しい判定したことに応じて、前記第１のＧＰＭ－ＭＶＲイネーブルフラグと前記第２のＧＰＭ－ＭＶＲイネーブルフラグに基づいて前記第１のマージＧＰＭインデックスと前記第２のマージＧＰＭインデックスを制約することをさらに含む、請求項６に記載の方法。
9. 前記第１のＧＰＭ－ＭＶＲイネーブルフラグと前記第２のＧＰＭ－ＭＶＲイネーブルフラグに基づいて前記第１のマージＧＰＭインデックスと前記第２のマージＧＰＭインデックスを制約することは、
   前記第１のＧＰＭ－ＭＶＲイネーブルフラグと前記第２のＧＰＭ－ＭＶＲイネーブルフラグがそれぞれ０に等しいとの判定に応じて、前記第１のマージＧＰＭインデックスと前記第２のマージＧＰＭインデックスが異なると判定することと、
   前記第１のＧＰＭ－ＭＶＲイネーブルフラグが１に等しく、前記第２のＧＰＭ－ＭＶＲイネーブルフラグが０に等しいとの判定に応じて、前記第１のマージＧＰＭインデックスと前記第２のマージＧＰＭインデックスが同一であることが許容されると判定することと、
   前記第１のＧＰＭ－ＭＶＲイネーブルフラグが０に等しく、前記第２のＧＰＭ－ＭＶＲイネーブルフラグが１に等しいとの判定に応じて、前記第１のマージＧＰＭインデックスと前記第２のマージＧＰＭインデックスが同一であることが許容されると判定することと、
   前記第１のＧＰＭ－ＭＶＲイネーブルフラグと前記第２のＧＰＭ－ＭＶＲイネーブルフラグがそれぞれ１に等しいとの判定に応じて、前記第１のマージＧＰＭインデックス及び前記第２のマージＧＰＭインデックスを、前記第１の幾何学的分割の第１の動きベクトル精緻化、すなわち第１のＭＶＲ、及び前記第２の幾何学的分割の第２のＭＶＲに基づいて決定することと、
   を含む、請求項８に記載の方法。
10. 前記第１のＭＶＲが前記第２のＭＶＲに等しいとの判定に応じて、前記第１のマージＧＰＭインデックスと前記第２のマージＧＰＭインデックスが異なると判定することと、
    前記第１のＭＶＲが前記第２のＭＶＲと等しくないとの判定に応じて、前記第１のマージＧＰＭインデックスと前記第２のマージＧＰＭインデックスが同一であることが許容されると判定することと、
    をさらに含む、請求項９に記載の方法。
11. 前記第１のＴＭイネーブルフラグと前記第２のＴＭイネーブルフラグに基づいて前記第１のマージＧＰＭインデックスと前記第２のマージＧＰＭインデックスを制約することをさらに含む、請求項１に記載の方法。
12. 前記第１のＴＭイネーブルフラグと前記第２のＴＭイネーブルフラグに基づいて前記第１のマージＧＰＭインデックスと前記第２のマージＧＰＭインデックスを制約することは、
    前記第１のＴＭイネーブルフラグと前記第２のＴＭイネーブルフラグの一方が１に等しく、他方が０に等しいとの判定に応じて、前記第１のマージＧＰＭインデックスと前記第２のマージＧＰＭインデックスが同一であることが許容されると判定することと、
    前記第１のＴＭイネーブルフラグと前記第２のＴＭイネーブルフラグの両方が０又は両方とも１に等しいとの判定に応じて、
    前記第１の幾何学的分割にＧＰＭ－ＭＶＲが適用されているか否かを示す、前記第１の幾何学的分割の第１のＧＰＭ動きベクトル精緻化イネーブルフラグすなわち第１のＧＰＭ－ＭＶＲイネーブルフラグ、及び前記第２の幾何学的分割にＧＰＭ－ＭＶＲが適用されているか否かを示す、前記第２の幾何学的分割の第２のＧＰＭ動きベクトル精緻化イネーブルフラグすなわち第２のＧＰＭ－ＭＶＲイネーブルフラグに基づいて、前記第１のマージＧＰＭインデックスと前記第２のマージＧＰＭインデックスを制約することと、
    を含む、請求項１１に記載の方法。
13. 前記第１の幾何学的分割の前記第１のＧＰＭ－ＭＶＲイネーブルフラグ及び前記第２の幾何学的分割の前記第２のＧＰＭ－ＭＶＲイネーブルフラグに基づいて、前記第１のマージＧＰＭインデックス及び前記第２のマージＧＰＭインデックスを制約することは、
    前記第１のＧＰＭ－ＭＶＲイネーブルフラグと前記第２のＧＰＭ－ＭＶＲイネーブルフラグが０であるとの判定に応じて、前記第１のマージＧＰＭインデックスと前記第２のマージＧＰＭインデックスが異なると判定することと、
    前記第１のＧＰＭ－ＭＶＲイネーブルフラグが１に等しく、前記第２のＧＰＭ－ＭＶＲイネーブルフラグが０に等しいとの判定に応じて、前記第１のマージＧＰＭインデックスと前記第２のマージＧＰＭインデックスが同一であることが許容されると判定することと、
    前記第１のＧＰＭ－ＭＶＲイネーブルフラグが０に等しく、前記第２のＧＰＭ－ＭＶＲイネーブルフラグが１に等しいとの判定に応じて、前記第１のマージＧＰＭインデックスと前記第２のマージＧＰＭインデックスが同一であることが許容されると判定することと、
    前記第１のマージＧＰＭインデックスと前記第２のマージＧＰＭインデックスがそれぞれ１に等しいとの判定に応じて、前記第１のマージＧＰＭインデックス及び前記第２のマージＧＰＭインデックスを、前記第１の幾何学的分割の第１の動きベクトル精緻化すなわち第１のＭＶＲ及び前記第２の幾何学的分割の第２の動きベクトル精緻化すなわち第２のＭＶＲに基づいて決定することと、
    を含む、請求項１２に記載の方法。
14. 前記第１のＭＶＲが前記第２のＭＶＲに等しいとの判定に応じて、前記第１のマージＧＰＭインデックスと前記第２のマージＧＰＭインデックスが異なると判定することと、
    前記第１のＭＶＲが前記第２のＭＶＲと等しくないとの判定に応じて、前記第１のマージＧＰＭインデックスと前記第２のマージＧＰＭインデックスが同一であることが許容されると判定することと、
    をさらに含む、請求項１３に記載の方法。
15. ビデオブロックを第１の幾何学的分割及び第２の幾何学的分割に分割することと、
    幾何学的分割モードすなわちＧＰＭの片方向動きビクター候補リストすなわち片方向ＭＶ候補リストを構築することと、
    前記第１の幾何学的分割の第１のマージＧＰＭインデックスと、前記第２の幾何学的分割の第２のマージＧＰＭインデックスとを受信することと、
    単一の片方向ＭＶがテンプレートマッチング（ＴＭ）によって精緻化されているか否かを示す、前記第１のマージＧＰＭインデックス及び前記第２のマージＧＰＭインデックスに基づいて、前記片方向ＭＶ候補リストを更新することと、
    を含む、幾何学的分割モード（ＧＰＭ）でビデオブロックを復号する方法。
16. 初期ＭＶとしてＧＰＭの元の片方向ＭＶに基づいて、ＴＭベースの片方向ＭＶを生成することであって、前記第１のマージＧＰＭインデックスと前記第２のマージＧＰＭインデックスは、前記ＴＭベースの片方向ＭＶを示すことと、
    前記ＴＭベースの片方向ＭＶを前記片方向ＭＶ候補リストに追加することにより、更新された片方向ＭＶ候補リストを取得することと、
    をさらに含む、請求項１５に記載の方法。
17. 前記片方向ＭＶ候補リストに前記ＴＭベースの片方向ＭＶを追加することは、
    非ＴＭベースの片方向ＭＶが前記ＴＭベースの片方向ＭＶに続くように、前記片方向ＭＶ候補リストの先頭に前記ＴＭベースの片方向ＭＶを追加することと、
    前記ＴＭベースの片方向ＭＶが、前記片方向ＭＶ候補リスト内の非ＴＭベースの片方向ＭＶに続くように、前記片方向ＭＶ候補リストに前記ＴＭベースの片方向ＭＶを追加することと、
    前記片方向ＭＶ候補リストにおいて前記ＴＭベースの片方向ＭＶと前記非ＴＭベースの片方向ＭＶがインタリーブ方式で配置されるように、前記片方向ＭＶ候補リストに前記ＴＭベースの片方向ＭＶを追加することと、
    の操作のうちの１つを含む、請求項１６に記載の方法。
18. １以上のプロセッサと、
    前記１以上のプロセッサによって実行可能な命令を格納するよう構成される非一時的コンピュータ可読記憶媒体であって、前記１以上のプロセッサは、命令の実行時に、請求項１乃至１７のいずれか一項に記載の方法を実行するよう構成される、非一時的コンピュータ可読記憶媒体と、
    を含む、ビデオコーディングのための装置。
19. １以上のコンピュータプロセッサによって実行されると、前記１以上のコンピュータプロセッサに、請求項１乃至１７のいずれか一項に記載の方法を実行させる、コンピュータで実行可能な命令を格納する、非一時的コンピュータ可読記憶媒体。