JP7516333B2 - 画像復号装置、画像復号方法及びプログラム - Google Patents

Description

本発明は、画像復号装置、画像復号方法及びプログラムに関する。

非特許文献１では、ＧＰＭ（Ｇｅｏｍｅｔｒｉｃ Ｐａｒｔｉｔｉｏｎｉｎｇ Ｍｏｄｅ）が開示されている。

ＧＰＭは、矩形ブロックを斜めに２分割しそれぞれを動き補償する。具体的には、ＧＰＭにおいて、分割された２領域は、それぞれマージモードの動きベクトルにより動き補償され、重み付き平均により合成される。斜めの分割パターンとしては、角度と位置とによって６４パターンが用意されている。

ＩＴＵ-Ｔ Ｈ.２６６/ＶＶＣ ＪＶＥＴ-Ｗ００２４、「ＥＥ２：Ｓｕｍｍａｒｙ Ｒｅｐｏｒｔ ｏｎ Ｅｎｈａｎｃｅｄ Ｃｏｍｐｒｅｓｓｉｏｎ ｂｅｙｏｎｄ ＶＶＣ ｃａｐａｂｉｌｉｔｙ」 ＪＶＥＴ-Ｕ０１００、「Ｃｏｍｐｒｅｓｓｉｏｎ ｅｆｆｉｃｉｅｎｃｙ ｍｅｔｈｏｄｓ ｂｅｙｏｎｄ ＶＶＣ」

しかしながら、非特許文献１で開示されているＧＰＭは、インター予測に限定されているため、符号化性能の改善余地があるという問題点があった。 そこで、本発明は、上述の課題に鑑みてなされたものであり、ＧＰＭにおいてイントラ予測モードを追加する場合、イントラ予測及びインター予測で構成されるＧＰＭのインター予測領域に双予測を適用することで、インター予測領域の予測性能が改善させることができ、符号化性能を向上させることができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。

本発明の第１の特徴は、画像復号装置であって、幾何学分割モードに対する動き情報を導出して動き補償画素を生成するように構成されているインター予測部と、前記幾何学分割モードに対するイントラ予測モードを導出してイントラ予測画素を生成するように構成されているイントラ予測部と、前記幾何学分割モードが適用された復号対象ブロックの動き情報又はイントラ予測モードと、インター予測及びイントラ予測のいずれかが適用されたかを判定可能な予測種別とを含む予測情報を保存又は出力するように構成されている予測情報バッファと、を備え、前記インター予測部は、所定条件に基づいて、双予測による動き情報の導出の可不可を制御し、導出された前記動き情報を用いて、前記動き補償画素を生成し、前記動き情報を前記予測情報バッファに保存するように構成されていることを要旨とする。

本発明の第２の特徴は、画像復号方法であって、幾何学分割モードに対する動き情報を導出して動き補償画素を生成する工程Ａと、前記幾何学分割モードに対するイントラ予測モードを導出してイントラ予測画素を生成する工程Ｂと、前記幾何学分割モードが適用された復号対象ブロックの動き情報又はイントラ予測モードと、インター予測及びイントラ予測のいずれかが適用されたかを判定可能な予測種別とを含む予測情報を保存又は出力する工程Ｃと、を備え、前記工程Ａにおいて、所定条件に基づいて、双予測による動き情報の導出の可不可を制御し、導出された前記動き情報を用いて、前記動き補償画素を生成し、前記動き情報を前記予測情報バッファに保存することを要旨とする。

本発明の第２の特徴は、コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、幾何学分割モードに対する動き情報を導出して動き補償画素を生成するように構成されているインター予測部と、 前記幾何学分割モードに対するイントラ予測モードを導出してイントラ予測画素を生成するように構成されているイントラ予測部と、前記幾何学分割モードが適用された復号対象ブロックの動き情報又はイントラ予測モードと、インター予測及びイントラ予測のいずれかが適用されたかを判定可能な予測種別とを含む予測情報を保存又は出力するように構成されている予測情報バッファと、を備え、前記インター予測部は、所定条件に基づいて、双予測による動き情報の導出の可不可を制御し、導出された前記動き情報を用いて、前記動き補償画素を生成し、前記動き情報を前記予測情報バッファに保存するように構成されていることを要旨とする。

本発明によれば、ＧＰＭにおいてイントラ予測モードを追加する場合、イントラ予測及びインター予測で構成されるＧＰＭのインター予測領域に双予測を適用することで、インター予測領域の予測性能が改善させることができ、符号化性能を向上させることができる画像復号装置、画像復号方法及びプログラムを提供することができる。

図１は、一実施形態に係る画像処理システム１の構成の一例を示す図である。 図２は、一実施形態に係る画像符号化装置１００の機能ブロックの一例を示す図である。 図３は、一実施形態に係る画像復号装置２００の機能ブロックの一例を示す図である。 図４は、非特許文献１に開示されている幾何学分割モードにより、矩形の復号対象ブロックが幾何学分割モードの分割線によって、幾何学形状の分割領域Ａと分割領域Ｂに２分割されるケースの一例を示す図である。 図５は、本実施形態に係るＧＰＭに対するイントラ予測モードの適用の一例を示す。 図６は、本実施形態に係るＧＰＭに対するイントラ予測モードの適用の一例を示す。 図７は、非特許文献１で開示されているマージ候補リストの構築方法を示す図である。 図８は、非特許文献１及び本実施形態に係るＧＰＭの各分割領域Ａ/Ｂの予測画素に対する重み係数ｗの値の一例を示す図である。 図９は、ＧＰＭの分割線の角度を規定するａｎｇｌｅＩｄｘの一例を示す図である。 図１０は、ｄｉｓＬｕｔの一例を示す図である。 図１１は、非特許文献１で開示されている被保存予測情報種別及び本実施形態に係る被保存予測情報種別が４×４画素サブブロックごとに特定される例を示す図である。 図１２は、ＧＰＭ適用ブロックを構成するサブブロックのｓＴｙｐｅの値に応じて保存される非特許文献１で開示されている動き情報及び本実施形態に係る予測情報の一覧を示す図である。 図１３は、図４のような異なる２つのインター予測から構成されるＧＰＭに対して保存される予測情報の一例を示す図である。 図１４は、図５のようなイントラ予測とインター予測から構成されるＧＰＭに対して保存される予測情報の一例を示す図である。 図１５は、図６のような異なる２つのイントラ予測から構成されるＧＰＭに対して保存される予測情報の一例を示す図である。 図１６は、図７のような異なる２つのイントラ予測から構成されるＧＰＭに対して保存される予測情報の一例を示す図である。 図１７Ａは、非特許文献２に開示されているＯＢＭＣにより、動き補償される矩形の復号対象ブロックの一例を示す図である。 図１７Ｂは、非特許文献２に開示されているＯＢＭＣにより、動き補償される矩形の復号対象ブロックの一例を示す図である。 図１８は、インター予測部２４１の動作の一例を示すフローチャートである。 図１９は、本実施形態におけるＧＰＭが適用されるブロックに対するＯＢＭＣの適用の一例を示す。 図２０は、本実施形態におけるＩｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭのインター予測領域に双予測が適用され、当該領域にＤＭＶＲが適用され、且つ、当該領域を構成する所定のブロックサイズがもつ動きベクトルが異なる場合に、それらのブロックの上下左右のブロック境界に対してＯＢＭＣが適用される一例を示す図である。 図２１は、方法１（構成１）に係る合成部２４３の機能ブロックの一例を示す図である。 図２２は、方法２（構成２）に係るインター予測部２４１の機能ブロックの一例を示す図である。 図２３は、方法３（構成３）又は方法４（構成４）に係る画像符号化装置１００の機能ブロックの一例を示す図である。 図２４は、方法３（構成３）又は方法４（構成４）に係る画像復号装置２００の機能ブロックの一例を示す図である。 図２５は、方法３（構成３）に係るインター予測部２４１の機能ブロックの一例を示す図である。 図２６は、方法４（構成４）に係るインター予測部２４１の機能ブロックの一例を示す図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

＜第１実施形態＞
以下、図１～図２６を参照して、本発明の第１実施形態に係る画像処理システム１０について説明する。図１は、本実施形態に係る画像処理システム１０について示す図である。

（画像処理システム１０）
図１に示すように、本実施形態に係る画像処理システム１０は、画像符号化装置１００及び画像復号装置２００を有する。

画像符号化装置１００は、入力画像信号（ピクチャ）を符号化することによって符号化データを生成するように構成されている。画像復号装置２００は、符号化データを復号することによって出力画像信号を生成するように構成されている。

ここで、かかる符号化データは、画像符号化装置１００から画像復号装置２００に対して伝送路を介して送信されてもよい。また、符号化データは、記憶媒体に格納された上で、画像符号化装置１００から画像復号装置２００に提供されてもよい。

（画像符号化装置１００）
以下、図２を参照して、本実施形態に係る画像符号化装置１００について説明する。図２は、本実施形態に係る画像符号化装置１００の機能ブロックの一例について示す図である。

図２に示すように、画像符号化装置１００は、インター予測部１１１と、イントラ予測部１１２と、合成部１１３と、予測情報バッファ１１４と、減算器１２１と、加算器１２２と、変換・量子化部１３１と、逆変換・逆量子化部１３２と、符号化部１４０と、インループフィルタ処理部１５０と、フレームバッファ１６０とを有する。

インター予測部１１１は、インター予測（フレーム間予測）によってインター予測信号を生成するように構成されている。

具体的には、インター予測部１１１は、符号化対象フレーム（対象フレーム）とフレームバッファ１６０に格納される参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する動きベクトル（ＭＶ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を決定するように構成されている。ここで、参照フレームは、対象フレームとは異なるフレームである。

また、インター予測部１１１は、参照ブロック及び動きベクトルに基づいて符号化対象ブロック（以下、対象ブロック）に含まれるインター予測信号を対象ブロック毎に生成するように構成されている。

また、インター予測部１１１は、インター予測信号を合成部１１３に出力するように構成されている。

また、インター予測部１１１は、図２には図示していないが、インター予測の制御に関する情報（具体的には、インター予測モードや動きベクトルや参照フレームリストや参照フレーム番号等の情報）を符号化部１４０に出力するように構成されている。

イントラ予測部１１２は、イントラ予測（フレーム内予測）によってイントラ予測信号を生成するように構成されている。

具体的には、イントラ予測部１１２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいてイントラ予測信号を対象ブロック毎に生成するように構成されている。ここで、参照ブロックは、対象ブロックについて参照されるブロックである。例えば、参照ブロックは、対象ブロックに隣接するブロックである。

また、イントラ予測部１１２は、イントラ予測信号を合成部１１３に出力するように構成されている。

また、イントラ予測部１１２は、図２には図示していないが、イントラ予測の制御に関する情報（具体的には、イントラ予測モード等の情報）を符号化部１４０に出力するように構成されている。

合成部１１３は、インター予測部１１１から入力されたインター予測信号又は/且つイントラ予測部１１２から入力されたイントラ予測信号を、予め設定された重み係数を用いて合成し、合成された予測信号（以下、まとめて予測信号と記載）を減算器１２１及び加算器１２２に出力するように構成されている。

予測情報バッファ１１４は、インター予測部１１１又はイントラ予測部１１２から入力される予測情報を保存する、或いは、保存された予測情報をインター予測部１１１又はイントラ予測部１１２又は合成部１１３又はインループフィルタ処理部１５０に出力するように構成されている。ここで、予測情報の詳細については後述する。

ここで、合成部１１３のインター予測信号又は/且つイントラ予測信号の合成処理に関しては、非特許文献１と同様の構成を本実施形態でも採ること可能であるため、説明は省略する。

減算器１２１は、入力画像信号から予測信号を減算し、予測残差信号を変換・量子化部１３１に出力するように構成されている。ここで、減算器１２１は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成するように構成されている。

加算器１２２は、逆変換・逆量子化部１３２から出力される予測残差信号に合成部１１３から出力される予測信号を加算してフィルタ処理前復号信号を生成し、かかるフィルタ処理前復号信号をイントラ予測部１１２及びインループフィルタ処理部１５０に出力するように構成されている。

ここで、フィルタ処理前復号信号は、イントラ予測部１１２で用いる参照ブロックを構成する。

変換・量子化部１３１は、予測残差信号の変換処理を行うとともに、係数レベル値を取得するように構成されている。さらに、変換・量子化部１３１は、係数レベル値の量子化を行うように構成されていてもよい。

ここで、変換処理は、予測残差信号を周波数成分信号に変換する処理である。かかる変換処理としては、離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、以下、ＤＣＴと記す）に対応する基底パタン（変換行列）が用いられてもよく、離散サイン変換（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、以下、ＤＳＴと記す）に対応する基底パタン（変換行列）が用いられてもよい。

また、変換処理としては、非特許文献１で開示されている複数の変換基底から予測残差信号の係数の偏りに適したものを水平・垂直方向毎に選択可能とするＭＴＳ（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ）や、１次変換後の変換係数をさらに低周波数領域に集中させることで符号化性能を改善するＬＦＮＳＴ（Ｌｏｗ Ｆｒｅｑｕｅｃｎｙ Ｎｏｎ-Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ）が用いられてもよい。

逆変換・逆量子化部１３２は、変換・量子化部１３１から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部１３２は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。

ここで、逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。

符号化部１４０は、変換・量子化部１３１から出力された係数レベル値を符号化し、符号化データを出力するように構成されている。

ここで、例えば、符号化は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化である。

また、符号化部１４０は、係数レベル値に加えて、復号処理で用いる制御データを符号化するように構成されている。

ここで、制御データは、符号化ブロックサイズ、予測ブロックサイズ、変換ブロックサイズ等のブロックサイズに関する情報（フラグやインデックス）を含んでもよい。

また、制御データは、後述する画像復号装置２００における逆変換・逆量子化部２２０の逆変換・逆量子化処理やインター予測部２４１のインター予測信号生成処理やイントラ予測部２４２のイントラ予測信号生成処理や合成部２４３のインター予測信号又は/且つイントラ予測信号の合成処理やインループフィルタ処理部２５０のフィルタ処理等の制御に必要な情報（フラグやインデックス）を含んでもよい。

なお、非特許文献１では、これらの制御データは、シンタックスと呼称され、その定義は、セマンティクスと呼称されている。

また、制御データは、後述するシーケンス・パラメータ・セット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）やピクチャ・パラメータ・セット（ＰＰＳ：Ｐｉｃｕｔｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）やピクチャヘッダ（ＰＨ：Ｐｉｃｔｕｒｅ Ｈｅａｄｅｒ）やスライスヘッダ（ＳＨ：Ｓｌｉｃｅ Ｈｅａｄｅｒ）等のヘッダ情報を含んでもよい。

インループフィルタ処理部１５０は、加算器１２２から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ１６０に出力するように構成されている。

ここで、例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック又は変換ブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理や画像符号化装置１００から伝送されるフィルタ係数やフィルタ選択情報、画像の絵柄の局所的な性質等に基づいてフィルタを切り替える適応ループフィルタ処理である。

フレームバッファ１６０は、インター予測部１１１で用いる参照フレームを蓄積するように構成されている。

ここで、フィルタ処理後復号信号は、インター予測部１１１で用いる参照フレームを構成する。

（画像復号装置２００）
以下、図３を参照して、本実施形態に係る画像復号装置２００について説明する。図３は、本実施形態に係る画像復号装置２００の機能ブロックの一例について示す図である。

図３に示すように、画像復号装置２００は、復号部２１０と、逆変換・逆量子化部２２０と、加算器２３０と、インター予測部２４１と、イントラ予測部２４２と、合成部２４３と、予測情報バッファ２２４と、インループフィルタ処理部２５０と、フレームバッファ２６０とを有する。

復号部２１０は、画像符号化装置１００によって生成される符号化データを復号し、係数レベル値を復号するように構成されている。

ここで、復号は、例えば、符号化部１４０で行われるエントロピー符号化とは逆の手順のエントロピー復号である。

また、復号部２１０は、符号化データの復号処理によって制御データを取得するように構成されていてもよい。

ここで、制御データは、上述した復号ブロック（上述の画像符号化装置１００における符号化対象ブロックと同義。以下、まとめて対象ブロックと記載）のブロックサイズに関する情報を含んでもよい。

また、制御データは、逆変換・逆量子化部２２０の逆変換・逆量子化処理やインター予測部２４１やイントラ予測部２４２の予測画素生成処理やインループフィルタ処理部２５０のフィルタ処理等の制御に必要な情報（フラグやインデックス）が含んでもよい。

また、制御データは、上述したシーケンス・パラメータ・セット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）やピクチャ・パラメータ・セット（ＰＰＳ：Ｐｉｃｕｔｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）やピクチャヘッダ（ＰＨ：Ｐｉｃｔｕｒｅ Ｈｅａｄｅｒ）やスライスヘッダ（ＳＨ：Ｓｌｉｃｅ Ｈｅａｄｅｒ）等のヘッダ情報を含んでもよい。

逆変換・逆量子化部２２０は、復号部２１０から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部２２０は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。

ここで、逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。

インター予測部２４１は、インター予測部１１１と同様に、インター予測（フレーム間予測）によってインター予測信号を生成するように構成されている。

具体的には、インター予測部２４１は、符号化データから復号した動きベクトル及び参照フレームに含まれる参照信号に基づいてインター予測信号を生成するように構成されている。インター予測部２４１は、インター予測信号を合成部２４３に出力するように構成されている。

イントラ予測部２４２は、イントラ予測部１１２と同様に、イントラ予測（フレーム内予測）によってイントラ予測信号を生成するように構成されている。

具体的には、イントラ予測部２４２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいてイントラ予測信号を予測ブロック毎に生成するように構成されている。イントラ予測部２４２は、イントラ予測信号を合成部２４３に出力するように構成されている。

合成部２４３は、合成部１１３と同様に、インター予測部２４１から入力されたインター予測信号又は/且つイントラ予測部２４２から入力されたイントラ予測信号を、予め設定された重み係数を用いて合成し、合成された予測信号（以下、まとめて予測信号と記載）を加算器２３０に出力するように構成されている。

予測情報バッファ２４４は、予測情報バッファ１１４と同様に、インター予測部２２１又はイントラ予測部２２２から入力される予測情報を保存する、或いは、保存された予測情報をインター予測部２４１又はイントラ予測部２４２又は合成部２４３又はインループフィルタ処理部２５０に出力するように構成されている。ここで、予測情報の詳細については後述する。

加算器２３０は、逆変換・逆量子化部２２０から出力される予測残差信号に合成部２４３から出力される予測信号を加算してフィルタ処理前復号信号を生成し、かかるフィルタ処理前復号信号をインループフィルタ処理部２５０に出力するように構成されている。

ここで、フィルタ処理前復号信号は、イントラ予測部２４２で用いる参照ブロックを構成する。

インループフィルタ処理部２５０は、インループフィルタ処理部１５０と同様に、加算器２３０から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ２６０に出力するように構成されている。

ここで、例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック、変換ブロック或いはそれらを分割したサブブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理や、画像符号化装置１００から伝送されるフィルタ係数やフィルタ選択情報や画像の絵柄の局所的な性質等に基づいてフィルタを切り替える適応ループフィルタ処理である。

フレームバッファ２６０は、フレームバッファ１６０と同様に、インター予測部２４１で用いる参照フレームを蓄積するように構成されている。

ここで、フィルタ処理後復号信号は、インター予測部２４１で用いる参照フレームを構成する。

（幾何学分割モード）
以下、図４を用いて、復号部２１０とインター予測部２４１とイントラ予測部２４２に係る非特許文献１で開示されている幾何学分割モード（ＧＰＭ）について説明する。

図４は、非特許文献１に開示されている幾何学分割モードにより、矩形の復号対象ブロックが幾何学分割モードの分割線Ｌによって、幾何学形状の分割領域Ａと分割領域Ｂに２分割されるケースの一例を示す。

ここで、非特許文献１で開示されている幾何学分割モードの分割線Ｌは、角度と位置とによって６４パターンが用意されている。

また、非特許文献１に係るＧＰＭは、分割領域Ａ及び分割領域Ｂのそれぞれに対して、インター予測を適用し、インター予測（動き補償）画素を生成する。

具体的には、かかるＧＰＭでは、非特許文献1で開示されているマージ候補リストを構築し、かかるマージ候補リスト及び画像符号化装置１００から伝送される各分割領域Ａ/Ｂに対する２つのマージインデックス（ｍｅｒｇｅ_ｇｐｍ_ｉｄｘ０、ｍｅｒｇｅ_ｇｐｍ_ｉｄｘ１）に基づいて、各分割領域Ａ/Ｂの動きベクトル（ｍｖＡ、ｍｖＢ）及び参照フレームを導出して、参照ブロック、すなわち、インター予測（又は、動き補償）ブロックを生成し、最終的に各分割領域Ａ/Ｂのインター予測画素が、予め設定された重みによって加重平均されて合成される。

（ＧＰＭへのイントラ予測の適用）
以下、図５及び図６を用いて、復号部２１０とインター予測部２４１とイントラ予測部２４２に係る非特許文献１で開示されている幾何学分割モード（ＧＰＭ：Ｇｅｏｍｅｔｒｉｃ Ｐａｒｔｉｔｉｏｎｉｎｇ Ｍｏｄｅ）及び本実施形態に係る第１の幾何学分割モード（ＧＰＭ）へのイントラ予測モードへの適用について説明する。

図５及び図６は、本実施形態に係るＧＰＭに対するイントラ予測モードの適用の一例を示す。

具体的に、図５は、各分割領域Ａ/Ｂに対してイントラ予測（ｍｏｄｅＸ）及びインター予測が適用される場合の本実施形態に係るＧＰＭの構成例を示す。図６は、各分割領域にＡ/Ｂ対して、異なる２つのイントラ予測（ｍｏｄｅＸ、ｍｏｄｅＹ）が適用される場合の本実施形態に係るＧＰＭの構成例を示す。

ここで、本実施形態に係る第１のＧＰＭでは、各分割領域Ａ/Ｂに対しては、インター予測或いはイントラ予測モードのいずれも適用することができ、さらにイントラ予測モードの種別は、対象ブロックの分割形状（分割線）に応じて限定する。

また、本実施形態に係る第２のＧＰＭでは、復号対象ブロックにおけるイントラ予測モードを追加適用したＧＰＭの適用の可不可及びＧＰＭ適用時の各分割領域Ａ/Ｂにおける予測モード種別の特定方法に関して規定している。

これにより、イントラ予測モードを追加適用したＧＰＭが適切に復号対象ブロックに適用されると共に、最適な予測モードが特定されることで、結果として符号化性能のさらなる改善余地を実現することができる。

なお、以降では、図４に示すような異なる２つのインター予測で構成されるＧＰＭ、図５に示すようなイントラ予測及びインター予測で構成されるＧＰＭ、図６に示すような２つのイントラ予測で構成されるＧＰＭを、それぞれ、Ｉｎｔｅｒ/Ｉｎｔｅｒ-ＧＰＭ、Ｉｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭ、Ｉｎｔｒａ/Ｉｎｔｒａ-ＧＰＭと呼称する。

さらに、本実施形態では、Ｂスライスに含まれるＩｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭのインター予測に対して双予測を適用する方法に関して規定している。

ここで、Ｂスライスは、インター予測ブロックに対して双予測の適用が制限されていないスライスである。これに対して、Ｐスライスは、インター予測ブロックに対して双予測の適用が制限（禁止）されている、すなわち、インター予測ブロックに対して片予測のみが適用可能なスライスである。ここで、片予測とは、１つの動きベクトルのみによってインター予測（動き補償）画素が生成されるインター予測（動き補償）である。

これにより、ＧＰＭにおけるインター予測適用領域の予測性能が向上し、結果として符号化性能のさらなる改善余地を実現することができる。

以降では、本実施形態で提案するＧＰＭへのイントラ予測の適用パターンのうち、Ｉｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭへの双予測の適用方法について、以下、３つの観点で説明する。

ここで、３つの観点とは、インター予測部２４１におけるＩｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭへの双予測の適用時の動き情報導出方法、インター予測部２４１及びイントラ予測部２４２及び予測情報バッファ２４４における予測情報の保存方法、インター予測部２４１及びイントラ予測部２４２及び合成部２４３における予測画素生成方法である。

［インター予測部における双予測適用時の動き情報導出方法］
（マージ候補リスト）
図７は、非特許文献１で開示されているマージ候補リストの構築方法を示す図である。

かかるマージ候補リストは、図７に示すように、２つの予測方向を示すリスト０（Ｌ０）及びリスト１（Ｌ１）から構成され、さらに各リストに対して複数の後述する動き情報の候補をリストに構築する。

第１に、非特許文献１で開示されている通常マージモードの動き情報は、ｍｅｒｇｅ_ｉｄｘによって導出される。具体的には、ｍｅｒｇｅ_ｉｄｘが示すリスト番号に対応するマージ候補リストの動き情報が、通常マージモードの動き情報として決定される。

ここで、通常マージモードで使用される動き情報は、後述するＧＰＭの２つのマージインデックスのそれぞれで選択される動き情報とは異なり、双予測であってもよい（２つの動きベクトル、すなわち、Ｌ０及びＬ１のそれぞれのリストに１つずつ動きベクトルを有してもよい）。

なお、この通常マージ向けのマージ候補リストの構築時に、非特許文献１では、マージ候補リスト内に同一の動きベクトルが保存を回避する剪定（Ｐｒｕｎｉｎｇ）処理が導入されいている。

非特許文献１の剪定処理では、非特許文献１で開示されている空間マージ、時間マージ、ヒストリーマージ、ペアワイズ平均マージ、ゼロマージの順で、マージ候補リスト内に新規のマージ候補として動き情報を追加する際に、既にマージ候補リスト内に保存されているマージ候補が有する参照フレームと動きベクトルとの一致性を比較して剪定するかどうかを判定する。

具体的には、まず参照フレームが完全一致するかが比較され、完全一致する場合は、次に動きベクトルが完全一致するかどうかが判定される。

参照フレームが完全一致しない場合は、たとえ動きベクトルが一致していても、剪定対象とみなされない。その場合、比較対象のうち、マージ候補リストにはない動き情報は、新規のマージ候補としてマージ候補リストに追加される構成となっている。

第２に、参照フレームが完全一致し且つ動きベクトルが完全一致している場合は、剪定対象とみなされる。それ以外の場合は、比較対象のうち、マージ候補リストにはない動き情報は、新規のマージ候補としてマージ候補リストに追加される構成となっている。

なお、動き情報が、双予測、すなわち、動きベクトル及び参照フレームをＬ０及びＬ１のそれぞれ１つずつ持つ場合は、比較対象のマージ候補のＬ０及びＬ１の動きベクトル及び参照フレームのそれぞれと完全一致する場合に剪定対象とみなされる。

本実施形態で提案する、Ｉｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭのインター予測に適用する双予測に対しては、インター予測部２４１は、この通常マージモード向けのマージ候補リストから動き情報を導出してもよい。

なぜなら、非特許文献１で開示されているＩｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭのそれぞれのインター予測領域には、双予測の適用が制限（禁止）されているため、それぞれのインター予測領域に対する動き情報の導出には、後述するＧＰＭ向けのマージ候補リストを用いられているが、本実施形態では、インター予測領域に、双予測の適用が制限（禁止）されていないため、通常マージモードの向けのマージ候補リストをそのまま使用することが可能であるためである。

なお、通常マージモード向けのマージ候補リストを用いる場合、マージインデックスｍｅｒｇｅ_ｉｄｘが示すリスト番号に対応するマージ候補リストの動き情報が、片予測である場合（すなわち、Ｌ０或いはＬ１のいずれかがゼロベクトル）である場合は、インター予測部２４１は、Ｉｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭのインター予測領域は双予測ではなく、片予測として動き情報を導出し、予測画素を生成してもよい。

ここで、本実施形態の変更例として、非特許文献１で開示されているＧＰＭ向けのマージ候補リストから動き情報を導出してもよい。

具体的には、非特許文献１では、Ｉｎｔｅｒ/Ｉｎｔｅｒ-ＧＰＭの分割領域Ａ/Ｂに対するインター予測の動き情報を、復号部２１０で復号或いは推定された２つのマージインデックス（ｍｅｒｇｅ_ｇｐｍ_ｉｄｘ０/ｍｅｒｇｅ_ｇｐｍ_ｉｄｘ１）の値と、図５に示すＧＰＭ向けのマージ候補リスト（ＭｅｒｇｅＣａｎｄＬｉｓｔ［ｍ，ｎ］）とによって導出する。

ここで、ｍｅｒｇｅ_ｇｐｍ_ｉｄｘ０及びｍｅｒｇｅ_ｇｐｍ_ｉｄｘ１に基づいて導出される動き情報が極力重複しないように、ｍｅｒｇｅ_ｇｐｍ_ｉｄｘ０及びｍｅｒｇｅ_ｇｐｍ_ｉｄｘ１で選択される動き情報の導出対象となるリスト番号は、図５のＸに示すようにＭｅｒｇｅＣａｎｄＬｉｓｔの偶数番号と奇数番号とで入れ子構造になっている。

具体的には、ｍｅｒｇｅ_ｇｐｍ_ｉｄｘ０及びｍｅｒｇｅ_ｇｐｍ_ｉｄｘ１に基づき、以下のｍ及びｎを計算する。

ｍ＝ｍｅｒｇｅ_ｇｐｍ_ｉｄｘ０［ｘＣｂ］［ｙＣｂ］
ｎ＝ｍｅｒｇｅ_ｇｐｍ_ｉｄｘ１［ｘＣｂ］［ｙＣｂ］＋（（ｍｅｒｇｅ_ｇｐｍ_ｉｄｘ１［ｘＣｂ］［ｙＣｂ］＞＝ｍ）？１：０）
このように算出されたｍの値に基づき、分割領域Ａの動き情報を構成する動きベクトル、参照画像インデックス及び予測リストフラグが、以下のように導出される。

まず、Ｘの値をｍ＆０ｘ０１（ｍの値が偶数であるか否かの判定）及びｎ＆０ｘ０１（ｎの値が偶数であるか否かの判定）から算出する。ここで、算出されたＸが０の場合は、Ｘの値を（１－Ｘ）とする。

最後に、分割領域Ａの動きベクトルｍｖＡ、参照画像インデックスｒｅｆＩｄｘＡ、予測リストフラグｐｒｅＬｉｓｔＦｌａｇＡ、分割領域Ｂの動きベクトルｍｖＢ、参照画像インデックスｒｅｆＩｄｘＢ、予測リストフラグｐｒｅＬｉｓｔＦｌａｇＢを、それぞれ以下のように導出する。

ｍｖＡ＝ｍｖＬＸＭ
ｒｅｆＩｄｘＡ＝ｒｅｆＩｄｘＬＸＭ
ｐｒｅＬｉｓｔＦｌａｇＡ＝Ｘ
ｍｖＢ＝ｍｖＬＸＮ
ｒｅｆＩｄｘＢ＝ｒｅｆＩｄｘＬＸＮ
ｐｒｅＬｉｓｔＦｌａｇＢ＝Ｘ
ここで、Ｍ及びＮは、それぞれマージ候補リストにおけるｍ及びｎが示すマージ候補の番号、すなわち、
Ｍ＝ＭｅｒｇｅＣａｎｄＬｉｓｔ［ｍ］
Ｎ＝ＭｅｒｇｅＣａｎｄＬｉｓｔ［ｎ］
である。

ただし、本実施形態では、分割領域Ａ/Ｂの片方のみがインター予測である場合の双予測の適用を提案するため、上述のように、２つのマージインデックスの復号は不要であり、１つのマージインデックスのみで動きベクトルを導出できる。

ここで、非特許文献１で開示されているＧＰＭ向けのマージ候補リストに対して、１つのマージインデックスを用いて動きベクトルを導出することは、通常マージモード向けのマージ候補リストに対して、1つのマージインデックスを用いて動きベクトルを導出することと実質的に同じである。

ここで、非特許文献１で開示されているＧＰＭ向けのマージ候補リストに対して、非特許文献２で開示されているＧＰＭ向けのマージ候補リストは、非特許文献１で開示されいている上述の通常マージ向けのマージ候補リストに導入されている剪定処理（以下、通常マージ向け剪定処理）よりも強力な剪定処理（以下、ＧＰＭ向け剪定処理）が導入されている。

具体的には、ＧＰＭ向け剪定処理では、非特許文献１で開示されている通常マージ向け剪定処理とは異なり、動き情報を剪定対象とするかどうかの判定について、動き情報が有する参照フレームが非特許文献１と同じく完全一致するかどうかで判定するが、動き情報が有する動きベクトルについては完全一致ではなく、復号対象ブロックのブロックサイズに基づく閾値により判定している。

具体的に、復号対象ブロックサイズが６４画素未満である場合、かかる閾値は１/４画素に設定されており、復号対象ブロックサイズが６４画素以上で且つ２５６画素未満である場合、かかる閾値は１/２画素に設定されており、復号対象ブロックサイズが２５６画素以上である場合、かかる閾値は1画素に設定されている。

ＧＰＭ向け剪定処理の具体的なフローでは、通常マージ向け剪定処理と同様に、第１に、参照フレームが完全一致するかについて比較され、参照フレームが完全一致する場合は、第２に、動きベクトルが完全一致するかどうかについて判定される。

参照フレームが完全一致しない場合は、たとえ動きベクトルが閾値未満であっても、剪定対象とみなされない。その場合、比較対象のうちマージ候補リストにはない動き情報は、新規のマージ候補としてマージ候補リストに追加される構成となっている。

第３に、参照フレームが完全一致し且つ動きベクトルが閾値未満である場合は、剪定対象とみなされる。それ以外の場合は、比較対象のうちマージ候補リストにはない動き情報は、新規のマージ候補としてマージ候補リストに追加される構成となっている。

これにより、通常マージ向け剪定処理では剪定対象ではなかった動きベクトルが類似する場合の動き情報も剪定対象に含まれることになるため、ＧＰＭの２つのマージインデックスによって導出される動き情報の類似性を排除でき、符号化性能の改善が期待できる。

なお、非特許文献２で開示されているＧＰＭ向け剪定処理において、動き情報が、双予測、すなわち、動きベクトル及び参照フレームをＬ０及びＬ１のそれぞれ１つずつ持つ場合は、比較対象のマージ候補のＬ０及びＬ１の参照フレームのそれぞれと完全一致する場合に剪定対象とみなされる。

本実施形態では、インター予測部２４１は、かかるＧＰＭ向け剪定処理が追加されたＧＰＭのマージ候補リストを通常マージモード向けの代替として用いて動き情報を導出してもよい。

これにより、より類似度が低い動き情報から構成されたマージ候補リスト内から動き情報を導出できるため、結果として符号化性能の改善が期待できる。

更なる変更例として、インター予測部２４１は、動きベクトルの導出に使用するマージ候補リストとして、通常マージモード向けのマージ候補リスト及びＧＰＭ向けのマージ候補リストのいずれを使用するかをフラグによって切り替えてもよい。

具体的には、復号部２１０が復号する、例えば、１ビットのフラグを制御データに含まれるように構成することで、復号部２１０が、かかるフラグの値を復号或いは推定して、インター予測部２４１に伝達することで、この切換が実現できる。

これにより、インター予測部２４１は、より多様なバリエーションから動き情報が導出することができるため、予測性能が向上し、結果として符号化性能の改善が期待できる。

（ＧＰＭの重み係数）
以下、図８～図１０を用いて、復号部２１０、インター予測部２４１、イントラ予測部２４２及び合成部２４３に係る非特許文献１及び本実施形態に係るＧＰＭの重み係数ｗについて説明する。

図８は、非特許文献１及び本実施形態に係るＧＰＭの各分割領域Ａ/Ｂの予測画素に対する重み係数ｗの値の一例を示す図である。

インター予測部２４１又はイントラ予測部２４２によって生成された各分割領域Ａ/Ｂの予測画素が、合成部２４３で重み係数ｗによって合成（加重平均）される。

非特許文献１において、重み係数ｗの値は、０～８の値が用いられており、本実施形態でも、かかる重み係数ｗの値を用いてもよい。ここで、重み係数ｗの値０、８は、非ブレンディング領域（非Ｂｌｅｎｄｉｎｇ領域）を示し、重み係数ｗの値１～７は、ブレンディング領域（Ｂｌｅｎｄｉｎｇ）を示す。

なお、本実施形態において、重み係数ｗの計算方法は、非特許文献１と同様の方法で、画素位置（ｘＬ、ｙＬ）及び対象ブロックサイズから算出されるオフセット値（ｏｆｆｓｅｔＸ、ｏｆｆｓｅｔＹ）、図９に示す幾何学分割モード（ＧＰＭ）の分割線の角度を規定するａｎｇｌｅＩｄｘから算出される変位（ｄｉｐｌａｃｅｍｅｎｔＸ、ｄｉｐｌａｃｅｍｅｎｔＹ）及び図１０に示すｄｉｐｌａｃｅｍｅｎｔＸ、ｄｉｐｌａｃｅｍｅｎｔＹから算出されるテーブル値ｄｉｓＬｕｔから、以下のように算出するように構成することができる。

ｗｅｉｇｈｔＩｄｘ＝（（（ｘＬ＋ｏｆｆｓｅｔＸ）＜＜１）＋１）×ｄｉｓＬｕｔ［ｄｉｐｌａｃｅｍｅｎｔＸ］＋（（（ｙＬ＋ｏｆｆｓｅｔＹ）＜＜１）＋１）×ｄｉｓＬｕｔ［ｄｉｐｌａｃｅｍｅｎｔＹ］
ｗｅｉｇｈｔＩｄｘＬ＝ｐａｒｔＦｌｉｐ？３２＋ｗｅｉｇｈｔＩｄｘ：３２－ｗｅｉｇｈｔＩｄｘ
ｗ＝Ｃｌｉｐ３（０，８，（ｗｅｉｇｈｔＩｄｘＬ＋４）＞＞３）

［インター予測部、イントラ予測部、予測情報バッファにおける予測情報保存方法］
（被保存動き情報種別および被保存予測情報種別）
以下、図１１を用いて、復号部２１０、インター予測部２４１、イントラ予測部２４２及び予測情報バッファ２４４に非特許文献１で開示されている被保存動き情報種別及び本実施形態に係る被保存予測情報種別について説明する。

図１１は、非特許文献１で開示されている被保存予測情報種別及び本実施形態に係る被保存予測情報種別が４×４画素サブブロックごとに特定される例を示す図である。

両者の計算方法は、以下に示すように同じであるが、図８に示すように、保存される情報が、非特許文献１では動き情報であるのに対して、本実施形態では予測情報である点が異なる。

第１に、被保存動き情報種別の値及び被保存予測情報種別の値（計算方法が同じであるため、以降では、便宜的に、いずれの値もｓＴｙｐｅとして定義する）は、非特許文献１と同様に、４×４画素サブブロック単位のインデックス（ｘＳｂＩｄｘ、ｙＳｂＩｄｘ）、上述の重み係数ｗと同様に算出されるオフセット値（ｏｆｆｓｅｔＸ、ｏｆｆｓｅｔＹ）、変位（ｄｉｐｌａｃｅｍｅｎｔＸ、ｄｉｐｌａｃｅｍｅｎｔＹ）及びテーブル（ｄｉｓＬｕｔ）から、以下のように計算される。

ｍｏｔｉｏｎＩｄｘ＝（（（４×ｘＳｂＩｄｘ＋ｏｆｆｓｅｔＸ）＜＜１）＋５）×ｄｉｓＬｕｔ［ｄｉｐｌａｃｅｍｅｎｔＸ］＋（（（４×ｙＳｂＩｄｘ＋ｏｆｆｓｅｔＹ）＜＜１）＋５）×ｄｉｓＬｕｔ［ｄｉｐｌａｃｅｍｅｎｔＹ］
ｓＴｙｐｅ＝Ａｂｓ（ｍｏｔｉｏｎＩｄｘ）＜３２？２：（ｍｏｔｉｏｎＩｄｘ＜＝０？（１－ｉｓＦｌｉｐ）：ｉｓＦｌｉｐ）
ここで、ｓＴｙｐｅの値は、図１１に示すように、０，１，２の３種類の値から構成され、それぞれの値に応じて、予測情報バッファ２４４に保存される動き情報及び予測情報が、以下のように、インター予測部２４１及びイントラ予測部２４２によって制御される。

ｓＴｙｐｅの値が０の場合は、非特許文献１では分割領域Ａの動き情報を保存し、本実施形態では分割領域Ａの予測情報を保存する。

ｓＴｙｐｅの値が１の場合は、非特許文献１では分割領域Ｂの動き情報を保存し、本実施形態では分割領域Ｂの予測情報を保存する。

ｓＴｙｐｅの値が２の場合は、非特許文献１では分割領域Ａ及び分割領域Ｂの動き情報又は分割領域Ｂのみの動き情報を保存し、本実施形態では分割領域Ａ及び分割領域Ｂの予測情報又は分割領域Ｂのみの予測情報を保存する。

ここで、保存される動き情報及び予測情報については後述する。

なお、上述のｓＴｙｐｅの算出単位及び後述する動き情報又は予測情報の保存単位を、上述の４×４画素サブブロック単位から、設計者の意図で変更してもよい。

具体的には、保存する情報量を削減するために、上述のｓＴｙｐｅの算出単位及び後述する動き情報又は予測情報の保存単位を８×８画素や１６×１６画素等と大きくしてもよい。

或いは、保存する情報量が増えるが、他のブロックやフレームから参照される際の動き情報又は予測情報の精度を向上させるために、上述のｓＴｙｐｅの算出単位及び後述する動き情報又は予測情報の保存単位を２×２画素等と小さくしてもよい。

（予測情報バッファに保存される動き情報及び予測情報）
以下、図１２及び図１３を用いて、インター予測部２４１から予測情報バッファ２４４に保存される非特許文献１で開示されている動き情報及び本実施形態にかかる予測情報についてそれぞれ説明する。

図１２は、ＧＰＭ適用ブロックを構成するサブブロックのｓＴｙｐｅの値に応じて保存される非特許文献１で開示されている動き情報及び本実施形態に係る予測情報の一覧を示す図である。

第１に、非特許文献１で開示されているＧＰＭで最終的に保存される動き情報は、以下のパラメータから構成される。
・予測方向（ｐｒｅｄＦｌａｇＬ０、ｐｒｅｄＦｌａｇＬ１）
・Ｌ０及びＬ１の動きベクトル（ｍｖＬ０、ｍｖＬ１）
・Ｌ０及びＬ１の参照画像インデックス（ｒｅｆＩｄｘＬ０、ｒｅｆＩｄｘＬ１）
・ＢｃｗＩｄｘ
なお、予測方向（ｐｒｅｄＦｌａｇＬ０、ｐｒｅｄＦｌａｇＬ１）は、後述するｓＴｙｐｅに応じて保存されるサブブロックの予測方向を示すパラメータであり、ｐｒｅｄＦｌａｇＬ０の値及びｐｒｅｄＦｌａｇＬ１の値に基づいて、Ｌ０片予測、Ｌ１片予測、Ｌ０/Ｌ１双予測の３種類に分類される。

ここで、Ｌ０片予測とは、Ｌ０リストから導出した１つの動きベクトルによるインター予測であり、ｐｒｅｄＦｌａｇＬ０が１であり且つｐｒｅｄＦｌａｇＬ１が０であるケースが、この条件を示す値としてそれぞれ保存される。

また、Ｌ１片予測とは、Ｌ１リストから導出した１つの動きベクトルによるインター予測であり、ｐｒｅｄＦｌａｇＬ０が０であり且つｐｒｅｄＦｌａｇＬ１が１であるケースが、この条件を示す値としてそれぞれ保存される。

また、Ｌ０/Ｌ１双予測とは、Ｌ０リスト及びＬ１リストのそれぞれから導出した２つの動きベクトルによるインター予測であり、ｐｒｅｄＦｌａｇＬ０が１であり且つｐｒｅｄＦｌａｇＬ１が１であるケースが、この条件を示す値としてそれぞれ保存される。

また、Ｌ０及びＬ１の動きベクトル（ｍｖＬ０、ｍｖＬ１）は、上述のリスト番号Ｌ０及びＬ１に対する動きベクトルである。

また、Ｌ０及びＬ１の参照画像インデックス（ｒｅｆＩｄｘＬ０、ｒｅｆＩｄｘＬ１）は、それぞれｍｖＬ０及びｍｖＬ１が参照する参照フレームを示すインデックスである。

また、ＢｃｗＩｄｘは、非特許文献１で開示されているＢＣＷ（Ｂｉ-ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ-ｌｅｖｅｌ ｗｅｉｇｈｔｓ）の重み係数の値を特定するインデックスである。

これらの非特許文献１で開示されている予測情報バッファ２４４に保存される動き情報に対して、本実施形態において予測情報バッファ２４４に保存される予測情報として、図１２に示すように、予測種別及びイントラ予測モードが保存されるパラメータとして追加される。

ここで、予測種別は、図１２に示すようにインター予測（Ｉｎｔｅｒ）とイントラ予測（Ｉｎｔｒａ）のいずれかを示す内部パラメータである。

また、本実施形態に係る予測情報として、図１２に示すように、ｈｐｅＩｆＩｄｘやＩＢＣ ＦｌａｇやＬＩＣ Ｆｌａｇが追加されてもよい。

ここで、ｈｐｅＩｆＩｄｘ及びＩＢＣ Ｆｌａｇは、それぞれ非特許文献１で開示されているＳＩＦ（Ｓｗｉｔｃｈａｂｌｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ）及びＩＢＣ（Ｉｎｔｒａ Ｂｌｏｃｋ Ｃｏｐｙ）、及び、非特許文献２で開示されているＬＩＣ（Ｌｏｃａｌ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）の適用有無を特定するフラグである。

（被保存予測情報種別に応じて保存される予測情報の詳細）
以下、図１３～図１５を用いて、本実施形態に係るインター予測部２４１又はイントラ予測部２４２が被保存予測情報種別ｓＴｙｐｅに応じて、予測情報バッファ２４４に保存する予測情報の詳細を説明する。

図１３は、図４のような異なる２つのインター予測から構成されるＧＰＭに対して保存される予測情報の一例を示す図である。以下に、ｓＴｙｐｅの値に応じて保存される各予測情報の詳細を説明する。

第１に、予測種別は、全てのｓＴｙｐｅ領域でインター予測（Ｉｎｔｅｒ）であることが保存される。

第２に、ｐｒｅｄＦｌａｇＬ０、ｐｒｅｄＦｌａｇＬ１、ｍｖＬ０、ｍｖＬ１、ｒｅｆＩｄｘＬ０及びｒｅｆＩｄｘＬ１は、ｓＴｙｐｅの値と、上述の分割領域Ａ/Ｂの動きベクトルの導出先を示すマージ候補リストのリスト番号を示すｐｒｅｄＬｉｓｔＦｌａｇＡ及びｐｒｅｄＬｉｓｔＦｌａｇＢの値とに応じて、非特許文献１に開示されている方法と同様に、以下のように保存される。

まず、ｓＴｙｐｅ＝０の場合は、以下のように計算される。

ｐｒｅｄＦｌａｇＬ０＝（ｐｒｅｄＬｉｓｔＦｌａｇＡ＝＝０）？１：０
ｐｒｅｄＦｌａｇＬ１＝（ｐｒｅｄＬｉｓｔＦｌａｇＡ＝＝０）？０：１
ｒｅｆＩｄｘＬ０＝（ｐｒｅｄＬｉｓｔＦｌａｇＡ＝＝０）？ｒｅｆＩｄｘＡ：－１
ｒｅｆＩｄｘＬ１＝（ｐｒｅｄＬｉｓｔＦｌａｇＡ＝＝０）？－１：ｒｅｆＩｄｘＡ
ｍｖＬ０＝（ｐｒｅｄＬｉｓｔＦｌａｇＡ＝＝０）？ｍｖＡ：０
ｍｖＬ１＝（ｐｒｅｄＬｉｓｔＦｌａｇＡ＝＝０）？０：ｍｖＡ
次に、ｓＴｙｐｅ＝１の場合、又は、ｓＴｙｐｅ＝２且つｐｒｅｄＬｉｓｔＦｌａｇＡ＋ｐｒｅｄＬｉｓｔＦｌａｇＢ≠１の場合は、以下のように計算される。

ｐｒｅｄＦｌａｇＬ０＝（ｐｒｅｄＬｉｓｔＦｌａｇＢ＝＝０）？１：０
ｐｒｅｄＦｌａｇＬ１＝（ｐｒｅｄＬｉｓｔＦｌａｇＢ＝＝０）？０：１
ｒｅｆＩｄｘＬ０＝（ｐｒｅｄＬｉｓｔＦｌａｇＢ＝＝０）？ｒｅｆＩｄｘＢ：－１
ｒｅｆＩｄｘＬ１＝（ｐｒｅｄＬｉｓｔＦｌａｇＢ＝＝０）？－１：ｒｅｆＩｄｘＢ
ｍｖＬ０＝（ｐｒｅｄＬｉｓｔＦｌａｇＢ＝＝０）？ｍｖＢ：０
ｍｖＬ１＝（ｐｒｅｄＬｉｓｔＦｌａｇＢ＝＝０）？０：ｍｖＢ
ここで、ｐｒｅｄＬｉｓｔＦｌａｇＡ＋ｐｒｅｄＬｉｓｔＦｌａｇＢ≠１は、分割領域Ａ/Ｂのリスト番号が一致する場合を示す。このとき、動きベクトルの重複を避けるため、ｓＴｙｐｅ＝２の場合であっても分割領域Ｂの動きベクトルのみを保存する構成としている。

次に、ｓＴｙｐｅ＝２且つｐｒｅｄＬｉｓｔＦｌａｇＡ＋ｐｒｅｄＬｉｓｔＦｌａｇＢ＝１の場合は、以下のように計算される。

ｐｒｅｄＦｌａｇＬ０＝１
ｐｒｅｄＦｌａｇＬ１＝１
ｒｅｆＩｄｘＬ０＝（ｐｒｅｄＬｉｓｔＦｌａｇＡ＝＝０）？ｒｅｆＩｄｘＡ：ｒｅｆＩｄｘＢ
ｒｅｆＩｄｘＬ１＝（ｐｒｅｄＬｉｓｔＦｌａｇＡ＝＝０）？ｒｅｆＩｄｘＢ：ｒｅｆＩｄｘＡ
ｍｖＬ０＝（ｐｒｅｄＬｉｓｔＦｌａｇＡ＝＝０）？ｍｖＡ：ｍｖＢ
ｍｖＬ１＝（ｐｒｅｄＬｉｓｔＦｌａｇＡ＝＝０）？ｍｖＢ：ｍｖＡ
ここで、ｐｒｅｄＬｉｓｔＦｌａｇＡ＋ｐｒｅｄＬｉｓｔＦｌａｇＢ＝１は、分割領域Ａ/Ｂのリスト番号が一致しない場合を示す。このとき、分割領域Ａ/Ｂの２つ動きベクトルをそのまま保存する構成としている。

なお、図１３では図示していないが、上述のｍｖＬ０及びｍｖＬ１は、非特許文献２で開示されているＧＰＭに対するＭＭＶＤ（Ｍｅｒｇｅ ｗｉｔｈ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）やＩｎｔｅｒ ＴＭ（Ｔｅｍｐｌａｔｅ Ｍａｔｃｈｉｎｇ）により修正される前の動きベクトルを保存してもよい。

或いは、上述のｍｖＬ０及びｍｖＬ１は、非特許文献２で開示されているＧＰＭに対するＭＭＶＤやＩｎｔｅｒ ＴＭにより修正された後の動きベクトルであってもよい。

修正後の動きベクトルを保存する場合は、当該ＧＰＭ適用ブロックから動きベクトルを取得して予測画素を生成する予測ブロックの予測精度が向上する。

一方、修正前の動きベクトルを保存する場合は、当該ＧＰＭから動きベクトルを参照する予測ブロックの予測精度の向上は期待できないが、当該ＧＰＭブロックに対するＭＭＶＤ及びＩｎｔｅｒ ＴＭの処理完了を待たずに、当該ＧＰＭ適用ブロックの参照元ブロックの動きベクトルの導出処理を開始できるようになるため、復号処理時間の削減が期待できる。

なお、修正前後のいずれの動きベクトルを保存するかは、後述する図１３～図１５に対しても同様に選択可能である。

次に、イントラ予測モードは、全てのｓＴｙｐｅ領域で保存しないとしてもよい。或いは、全てのｓＴｙｐｅ領域でイントラ予測が無効であることを示す値が保存されてもよい。なぜなら、図１３に示す構成では、全ての領域がインター予測であるため、対象ブロックに適用されたイントラ予測モードが存在しえないためである。

一方で、各ｓＴｙｐｅ領域に保存されるイントラ予測モードとして、各ｓＴｙｐｅ領域に保存される動き情報の参照先がイントラ予測ブロックである場合は、その参照ブロックのイントラ予測モードを、当該対象ブロックのイントラ予測モードとして保存してもよい。

また、各ｓＴｙｐｅ領域に保存される動き情報の参照先がインター予測ブロックである場合は、当該対象ブロックのイントラ予測モードを、Ｐｌａｎａｒモードとして保存してもよいし、或いは、その参照先のインター予測ブロックに保存された動き情報の参照先を用いて、さらにイントラ予測モードを再帰的に追跡してもよい。

ただし、追跡範囲には限度があるため、追跡上限に達した場合にイントラ予測モードの参照先が見つからなければ、Ｐｌａｎａｒモードを当該対象ブロックのイントラ予測モードとして保存してもよい。

これにより、当該対象ブロックの所定領域の予測種別がインター予測であっても、当該対象ブロックからフレーム内の別のブロック（例えば、隣接ブロック）から参照された場合に、イントラ予測を参照することができる。

次に、ＢｃｗＩｄｘ、ｈｐｅＩｆＩｄｘ、ＩＢＣ Ｆｌａｇ、ＬＩＣ Ｆｌａｇは、全てのｓＴｙｐｅ領域で無効である値ことを示す値が保存されてもよい。なぜなら、ＢＣＷ、ＳＩＦ、ＩＢＣ及びＬＩＣは、いずれもＧＰＭと排他の符号化ツールであるため、ＧＰＭが適用された対象ブロックでは、これらの符号化ツールが無効であることが自明であるためである。

関連して、図１２及び図１３には図示していないが、ＩＢＣで使用される動きベクトルは保存しなくてもよいし、ゼロベクトルが保存されてもよい。これらのパラメータは、後述する図１４及び図１５においても、同様の構成を採る採ることができるため、図１４及び図１５におけるこれらパラメータの詳細の説明は、以降では省略する。

図１４及び図１５は、図６のようなイントラ予測とインター予測から構成されるＧＰＭに対して保存される予測情報の一例を示す図である。以下に、ｓＴｙｐｅの値に応じて保存される各予測情報の詳細を説明する。

第１に、ｓＴｙｐｅｒ＝１の場合にインター予測が適用されている分割領域（Ｉｎｔｅｒの分割領域）で保存される予測情報は、本実施形態においては、対象ブロックがＢスライスに含まれない場合（Ｐスライスに含まれる場合）には、片予測が適用されるが、対象ブロックがＢスライスに含まれる場合には、上述の通りマージインデックスに対応するマージ候補の動き情報次第では、双予測が適用される。

以下に、この２つのケースにおけるｓＴｙｐｅｒ＝１の場合に、インター予測が適用されている分割領域（Ｉｎｔｅｒの分割領域）で保存される予測情報を示す。

図１４は、対象ブロックがＢスライスに含まれない場合（Ｐスライスに含まれる場合）に片予測が適用されるケースで保存される予測情報の一例である。

保存される予測情報は、図１４に示すように、図１３のｓＴｙｐｅｒ＝１の場合にインター予測が適用されている分割領域（Ｉｎｔｅｒの分割領域）で保存される予測情報の構成例と同じ構成を採ることができる。

図１４に対して、図１５は、対象ブロックがＢスライスに含まれ且つ双予測が適用されるケースで保存される予測情報の一例である。

保存される予測情報は、図１５に示すように、図１３のｓＴｙｐｅｒ＝１の場合にインター予測が適用されている分割領域（Ｉｎｔｅｒの分割領域）で保存される予測情報の構成例とは異なる。

具体的に、かかる分割領域に対する１つのマージインデックスに対応するマージ候補が有する動き情報から、Ｌ０及びＬ１のそれぞれの動きベクトルＭＶＬ０及びＭＶＬ１、及び、Ｌ０及びＬ１のそれぞれの参照フレームを示すインデックスＲｅｆＩｄｘＬ０及びＲｅｆＩｄｘＬ１が保存される。

なお、図１５のケースにおいても、保存される予測情報のうちイントラ予測モードについては、図１３のｓＴｙｐｅｒ＝１の場合にインター予測が適用されている分割領域（Ｉｎｔｅｒの分割領域）で保存される予測情報の構成例と同じ構成を採ってもよい。

第２に、ｓＴｙｐｅｒ＝０の場合にイントラ予測が適用されている分割領域（Ｉｎｔｒａの分割領域）で保存される予測情報は、図１４及び図１５に示すように以下のように保存される。

予測種別＝Ｉｎｔｒａ
ｐｒｅｄＦｌａｇ０＝０
ｐｒｅｄＦｌａｇ１＝０
ｍｖＬ０＝０
ｍｖＬ１＝０
ｒｅｆＩｄｘＬ０＝－１
ｒｅｆＩｄｘＬ１＝－１
イントラ予測モード＝ｍｏｄｅＸ
ここで、かかる分割領域では、イントラ予測が適用されているため、上述のように、予測種別としてＩｎｔｒａが保存され、イントラ予測モードとしてｍｏｄｅＸが保存される。

なお、変更例として、例えば、非特許文献１のように、隣接からサブブロック単位でイントラ予測種別のみを参照し、イントラ予測モードを参照しない符号化ツールしか含まれていない場合は、予測種別としてＩｎｔｒａを保存しつつ、イントラ予測モードを保存しない構成を採ってもよい。

一方で、動き情報を持たないため、上述のようにｐｒｅｄＦｌａｇ０及びｐｒｅｄＦｌａｇＬ１として０を保存し、ｍｖＬ０及びｍｖＬ１として０（ゼロベクトルを意味する）を保存し、ｒｅｆＩｄｘＬ０及びｒｅｆＩｄｘＬ１として‐１（参照フレームが存在しないことを意味する）を保存してもよい。

或いは、変更例として、予測情報バッファ２４４のバッファ領域の容量の逼迫を回避するために、これらの動き情報を保存しない構成を採ってもよい。

第３に、ｓＴｙｐｅｒ＝２の場合にイントラ予測及びインター予測が適用されている分割領域（Ｉｎｔｒａ＋Ｉｎｔｅｒの分割領域）で保存される予測情報は、前述のｓＴｙｐｅｒ＝１に保存される予測情報の構成次第で、図１４及び図１５に示すように異なる。

図１４に示すケースでは、以下のように保存される。

予測種別＝Ｉｎｔｅｒ
ｐｒｅｄＦｌａｇ０＝（ｐｒｅｄＬｉｓｔＦｌａｇＢ＝＝０）？１：０
ｐｒｅｄＦｌａｇ１＝（ｐｒｅｄＬｉｓｔＦｌａｇＢ＝＝０）？０：１
ｒｅｆＩｄｘＬ０＝（ｐｒｅｄＬｉｓｔＦｌａｇＢ＝＝０）？ｒｅｆＩｄｘＢ：－１
ｒｅｆＩｄｘＬ１＝（ｐｒｅｄＬｉｓｔＦｌａｇＢ＝＝０）？－１：ｒｅｆＩｄｘＢ
ｍｖＬ０＝（ｐｒｅｄＬｉｓｔＦｌａｇＢ＝＝０）？ｍｖＢ：０
ｍｖＬ１＝（ｐｒｅｄＬｉｓｔＦｌａｇＢ＝＝０）？０：ｍｖＢ
イントラ予測モード＝ｍｏｄｅＸ
一方、図１５に示すケースでは、以下のように保存される。

予測種別＝Ｉｎｔｅｒ
ｐｒｅｄＦｌａｇ０＝１
ｐｒｅｄＦｌａｇ１＝１
ｒｅｆＩｄｘＬ０＝ＲｅｆＩｄｘＬ０
ｒｅｆＩｄｘＬ１＝ＲｅｆＩｄｘＬ１
ｍｖＬ０＝ＭＶＬ０
ｍｖＬ１＝ＭＶＬ１
イントラ予測モード＝ｍｏｄｅＸ
ここで、かかる分割領域では、ｓＴｙｐｅ＝１のイントラ予測が適用されているため、予測情報のうち、予測種別及びイントラ予測モードとしては、上述の通り、ｓＴｙｐｅ＝１で保存されるものと同じパラメータが保存される。将来的に保存できるイントラ予測モードが２種類になった場合は、かかる分割領域では、ｓＴｙｐｅ＝０のイントラ予測モードを追加で保存してもよい。

また、かかる分割領域では、ｓＴｙｐｅ＝２のインター予測が適用されているため、予測情報のうち、動き情報に係るパラメータとしては、上述の通り、ｓＴｙｐｅ＝２で保存されるものと同じパラメータが保存される。

図１６は、図７のような異なる２つのイントラ予測から構成されるＧＰＭに対して保存される予測情報の一例を示す図である。以下に、ｓＴｙｐｅの値に応じて保存される各予測情報の詳細を説明する。

第１に、全てのｓＴｙｐｅ領域で保存される予測情報のうち、イントラ予測モード以外のパラメータは、図１４で説明したｓＴｙｐｅ＝０の場合にＩｎｔｒａの分割領域で保存されるパラメータと同一の構成を採ることができるため、説明を省略する。

第２に、ｓＴｙｐｅ＝０の領域及びｓＴｙｐｅ＝１の領域のイントラ予測モードとしては、図１４に示すように、各領域で適用された異なる２つのイントラ予測モードｍｏｄｅＸ及びｍｏｄｅＹがそれぞれ保存される。

第３に、ｓＴｙｐｅ＝２の領域では、図１５に示すように、ｓＴｙｐｅ＝０の領域及びｓＴｙｐｅ＝１の領域のイントラ予測モードの双方を保存してもよいし、いずれか１つのイントラ予測モードを保存してもよい。

前者については、例えば、２つのイントラ予測モードが画像符号化装置１００及び画像復号装置２００で使用可能か場合は、２つのイントラ予測モードを保存する構成を採ってもよい。

後者については、例えば、決め打ちでｓＴｙｐｅ＝０のイントラ予測モードをｓＴｙｐｅ＝２のイントラ予測モードとして選択してもよい。

或いは、例えば、４×４画素サブブロックがいずれのイントラ予測モードから支配的に生成されたかを、例えば、４×４画素サブブロックをさらに細分割した２×２画素サブブロック単位で計算して、支配的なイントラ予測モードをｓＴｙｐｅ＝２の領域のイントラ予測モードとして選択してもよい。

或いは、当該サブブロックが有する２つのイントラ予測モードが示す方向に存在する隣接する参照画素と当該サブブロックとの距離が小さい方をｓＴｙｐｅ＝２のイントラ予測モードとして選択してもよい。

以上に説明した予測情報及び予測情報の保存方法を用いることで、ＧＰＭにイントラ予測を追加する場合の予測情報を、フレーム内或いはフレーム外から適切に参照することができるため、結果的に符号化性能の向上が期待できる。

なお、以上で説明した予測情報バッファ２４４に保存される予測情報のうち、イントラ予測モード以外のパラメータについては、フレーム内或いはフレーム外から参照されなくなった場合に、予測情報バッファ２４４から削除してもよい。

また、当該パラメータ分の保存領域を、予測情報バッファ２４４に確保している場合は、初期化してもよい。ここで、フレーム外から参照されなくなるタイミングは、フレームバッファ２６０（フレームバッファ１６０）から当該ＧＰＭ適用ブロックが含まれるフレームが削除されるタイミングと同じである。

さらに、予測情報バッファ２４４に保存される予測情報のうち、イントラ予測モードについては、フレーム内から参照されなくなった場合に、予測情報バッファ２４４から削除してもよい。また、当該イントラ予測モード分だけの保存領域を、予測情報バッファ２４４に確保している場合は、初期化してもよい。

［インター予測部２４１、イントラ予測部２４２及び合成部２４３における予測画素生成方法］
（重複ブロック動き補償およびデコーダ動きベクトル修正）
以下、図１７及び図１８を用いて、復号部２１０及びインター予測部２４１に係る非特許文献２で開示されている重複ブロック動き補償（ＯＢＭＣ：Ｏｖｅｒｌａｐｐｅｄ Ｂｌｏｃｋ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）について説明する。

図１７は、非特許文献２に開示されているＯＢＭＣにより、動き補償（ＭＣ：Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）される矩形の復号対象ブロックの２つの例を示す。

図１７Ａは、復号対象ブロックが有する動きベクトル（ＭＶ）が復号対象ブロックに対して一様である場合に、復号対象ブロックの上側及び左側に面するブロック境界に対してＯＢＭＣが適用される例である。

一方で、図１７Ｂは、復号対象ブロックが有するＭＶが復号対象ブロックに対して一様ではない場合、例えば、図１７Ｂに示すように、復号対象ブロックが所定のブロックサイズごとに異なるＭＶを持つ場合に、各ブロックの上下左右のブロック境界に対してＯＢＭＣが適用される例である。

図１７Ｂに示すような例は、非特許文献１で開示されている、例えば、デコーダ動きベクトル修正（Ｄｅｃｏｄｅｒ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｍｅｎｔ：ＤＭＶＲ）が有効な場合に、生じる場合がある。

ここで、ＤＭＶＲとは、インター予測部２４１による動きベクトルの導出後、導出した動きベクトルを１６×１６画素単位で再探索により修正する技術である。

ＤＭＶＲは、双予測に限定した復号ツールである。また、非特許文献１では、ＤＭＶＲ以外にＢＤＯＦ（Ｂｉ―Ｐｒｅｄｉｃｔｉｏｎａｌ Ｏｐｔｉｃａｌ Ｆｌｏｗ）と呼ばれる双予測限定のツールが存在する。

非特許文献１で開示されているＧＰＭでは、各分割領域のインター予測時にＤＭＶＲとＢＤＯＦの適用は制限されていたが、本実施形態におけるＩｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭのインター予測領域には双予測が適用できるため、インター予測部２４１はＩｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭのインター予測領域にＤＭＶＲ又はＢＯＤＦを適用してもよい。

これにより、Ｉｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭのインター予測領域の双予測により生成される予測画素値の精度が向上するため、さらなる符号化性能の効果が期待できる。

なお、ＤＭＶＲ又はＢＯＤＦの適用判定方法は、非特許文献１と同じ構成を本実施形態においても用いることが可能であるため、詳細な説明は省略する。

一方で、インター予測部２４１は、本実施形態におけるＩｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭのインター予測領域に双予測が適用できる場合であっても、ＤＭＶＲ又はＢＯＤＦの適用を常に制限（禁止）してもよい。

すなわち、上述の非特許文献１で開示されているＤＭＶＲ又はＢＯＤＦの適用可不可の判定条件を満たす場合であっても、Ｉｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭのインター双予測領域にはＤＭＶＲ又はＢＯＤＦの適用を制限する。

具体的には、非特許文献１で開示されているＤＭＶＲ又はＢＯＤＦの適用条件に、復号対象ブロックが有する非特許文献１で開示されているＧＰＭの適用有無を示すフラグに基づく判定条件を追加することで実現できる。

これにより、さらなる符号化性能の改善は期待できないが、Ｉｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭのインター予測領域に対するＤＭＶＲ又はＢＤＯＦの追加適用による再探索等に伴うインター予測部２４１の処理量増加を回避できる。

（重複ブロック動き補償の適用制御方法）
また、非特許文献２で開示されているＯＢＭＣが適用されるか否かについての判定処理及びＯＢＭＣが適用される場合のＯＢＭＣの適用処理は、図１７に示すように、４×４画素のサブブロック（以下、対象サブブロック）の単位で実施される。

なお、非特許文献２では、図１８に示すように、インター予測部２４１が、ＯＢＭＣが適用されるか否かについて判定している。

図１８に示すように、ステップＳ２４１-０１において、インター予測部２４１は、対象サブブロックが有する予測種別がＩｎｔｅｒ予測（インター予測）であるか否かについて判定する。

かかる条件が満たされると判定される場合、本動作は、ステップＳ２４１-０２に進み、かかる条件が満たされないと判定される場合、すなわち、対象サブブロックが有する予測種別がＩｎｔｒａ予測（イントラ予測）であると判定される場合は、本動作は、ステップＳ２４１-０３に進む。

なお、ステップＳ２４１-０３では、インター予測部２４１は、ＯＢＭＣが対象サブブロックにおいて非適用と判定し、本動作は、終了する。

ステップＳ２４１-０２において、インター予測部２４１は、対象サブブロックが有するｏｂｍｃ_ｆｌａｇが１であるか否かについて判定する。

かかる条件が満たされると判定される場合、本動作は、ステップＳ２４１-０４に進み、かかる条件が満たされないと判定される場合、すなわち、ｏｂｍｃ_ｆｌａｇが１であると判定される場合は、本動作は、ステップＳ２４１-０５に進む。

なお、ステップＳ２４１-０５では、インター予測部２４１は、ＯＢＭＣが対象サブブロックにおいて非適用と判定し、本動作は、終了する。

ここで、ｏｂｍｃ_ｆｌａｇは、復号対象ブロック単位のＯＢＭＣの適用可不可を示すシンタックスである。ｏｂｍｃ_ｆｌａｇの値が０の場合は、ＯＢＭＣが適用されないことを示し、ｏｂｍｃ_ｆｌａｇの値が１の場合は、ＯＢＭＣが適用されることを示す。

ｏｂｍｃ_ｆｌａｇの値が０か１のいずれかであるかは、復号部２１０が復号して値を特定するか、或いは、復号せずに値を推定する。

ｏｂｍｃ_ｆｌａｇの復号方法及びｏｂｍｃ_ｆｌａｇの値の特定方法及び推定方法は、非特許文献２と同じ構成を取ることができるため、詳細な説明は省略する。

ステップＳ２４１-０４において、インター予測部２４１は、対象サブブロックに対してブロック境界を跨いだ隣接ブロックが動きベクトル（ＭＶ）を有するか否かについて判定する。

かかる条件が満たされると判定される場合、本動作は、ステップＳ２４１-０６に進み、かかる条件が満たされないと判定される場合、本動作は、ステップＳ２４１-０７に進む。

なお、ステップＳ２４１-０７では、インター予測部２４１は、ＯＢＭＣが対象サブブロックにおいて非適用と判定し、本動作は、終了する。

ステップＳ２４１-０６において、インター予測部２４１は、対象サブブロックが有するＭＶと隣接ブロックが有するＭＶとの差が所定閾値以上であるか否かについて判定する。

かかる条件が満たされると判定される場合、本動作は、ステップＳ２４１-０８に進み、かかる条件が満たされないと判定される場合、本動作は、ステップＳ２４１-０９に進む。

なお、ステップＳ２４１-０８では、インター予測部２４１は、ＯＢＭＣが対象サブブロックにおいて適用と判定し、本動作は、終了する。一方、ステップＳ２４１-０９では、インター予測部２４１は、ＯＢＭＣが対象サブブロックにおいて非適用と判定し、本動作は、終了する。

ここで、所定閾値は、固定値を用いてもよい。例えば、所定閾値を１画素としてもよい。あるいは0画素としてもよい（すなわち、完全一致しない場合のみＯＢＭＣを適用すると判定する）
或いは、所定閾値として、対象サブブロックが有するＭＶの本数に応じた可変値を用いてもよい。例えば、対象サブブロックが１つのＭＶを持つ場合は、所定閾値を１画素とし、対象サブブロックが２つのＭＶを持つ場合は、所定閾値を０.５画素としてもよい。

以上の構成により、非特許文献２では、ＭＶを有する対象サブブロックに対して、隣接ブロックとのＭＶの差が大きい場合に限定して、ＯＢＭＣを適用することで、対象サブブロックと隣接ブロックとの間のブロック境界の不連続性（以下、ブロック境界歪）を解消し、結果として予測性能の向上が期待できる。

（ＧＰＭに対するＯＢＭＣの適用例及び適用制御方法）
以下、図１９及び図２０を用いて、復号部２１０、インター予測部２４１及びイントラ予測部２４２に係るＧＰＭに対するＯＢＭＣの適用例及び適用制御方法について説明する。

図１９は、本実施形態におけるＧＰＭが適用されるブロックに対する復号対象ブロックの上側と左側のブロック境界に対するＯＢＭＣの適用例を示す。

図１９に示すように、ＧＰＭの分割形状（分割線Ｌ）に応じて、ＯＢＭＣが適用される対象サブブロックには、以下、最大３つのパターンが存在する。

具体的には、第１パターンとして、分割領域Ａに属する対象サブブロックがあり、第２パターンとして、分割領域Ｂに属する対象サブブロックがあり、第３パターンとして、分割領域Ａ/Ｂ双方に属する対象サブブロックがある。

かかる３パターンの対象サブブロックは、分割領域Ａ及び分割領域Ｂに適用される予測種別がインター予測であるかイントラ予測であるかによって更に分けられる。

具体的には、第１パターン及び第２のパターンの対象サブブロックは、インター予測及びイントラ予測の２ケースに分けられる。

一方、第３パターンの対象サブブロックは、異なる２つのインター予測のケース、インター予測及びイントラ予測のケース、異なる２つのイントラ予測のケースの合計３ケースに分けられる。

なお、本実施形態では、対象サブブロックが有する予測種別は、１つのみとする。そのため、第３パターンの対象サブブロックにおいて、対象サブブロックが有する予測種別は、対象サブブロックを構成する２つの予測の組み合わせで決定される。具体的に、異なる２つのインター予測で構成される予測種別は、インター予測として扱い、インター予測及びイントラ予測で構成される予測種別は、インター予測として扱い、異なる２つのイントラ予測で構成される予測種別は、イントラ予測として扱うこととする。

ここで、上述したＯＢＭＣの適用対象である対象サブブロックのうち、予測種別がイントラ予測である対象サブブロックについては、以下の理由により、ＯＢＭＣを適用不可と判定すべきである。なぜなら、同条件の対象サブブロックの予測画素は、対象サブブロックが隣接する参照画素（再構成画素）を用いたイントラ予測によって生成されるため、かかる参照画素と生成した予測画素との間のブロック境界では、インター予測のようにブロック境界歪が定性的に発生しづらい。

以上の理由により、本実施形態では、上述したＯＢＭＣの適用対象である対象サブブロックのうち、予測種別がイントラ予測である対象サブブロックに対してはＯＢＭＣの適用を制限する（ＯＢＭＣを適用不可とする）。

一方で、本実施形態では、上述したＯＢＭＣの適用対象である対象サブブロックのうち、予測種別がインター予測である対象サブブロックに対してはＯＢＭＣを適用可とする。

図２０は、本実施形態におけるＩｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭのインター予測領域に双予測が適用され、当該領域にＤＭＶＲが適用され、且つ、当該領域を構成する所定のブロックサイズがもつ動きベクトルが異なる場合に、それらのブロックの上下左右のブロック境界に対してＯＢＭＣが適用される一例を示す。

図２０のケースにおいては、イントラ領域には、上述のケースと同様に、ＯＢＭＣの適用を制限（禁止）してもよい。

さらに、図２０のケースにおいては、復号対象ブロックを構成する所定ブロックサイズごとの上下左右のブロック境界に対して適用されるＯＢＭＣについて、図１８で示したブロック単位のＯＢＭＣの適用制御方法に基づいて、再度ＯＢＭＣの適用可不可を判定してもよい。

具体的に、図２０に示すように、復号対象ブロックのイントラ領域が隣接するブロック境界に対しては、ＯＢＭＣを適用しないと制御することにより、不要にＯＢＭＣを適用すること回避できる。

以降では、本実施形態に係るＧＰＭに対するＯＢＭＣの適用可不可を考慮した最終的な予測画素の生成方法について説明する。

（ＧＰＭに対するＯＢＭＣの適用可不可を考慮した最終予測画素の生成方法）
以下、図３及び図２１～図２６を用いて、本実施形態のインター予測部２４１、イントラ予測部２４２及び合成部２４３に係るＧＰＭに対するＯＢＭＣの適用可不可を考慮した最終予測画素の生成方法について説明する。

［方法１（構成１）］
方法１（構成１）では、図２１に示すように、図３に示す合成部２４３は、予測画素合成部２４３Ａと、ＯＢＭＣ部２４３Ｂとを備えている。

予測画素合成部２４３Ａは、インター予測部２４１又はイントラ予測部２４２から出力される動き補償画素（ＭＣ画素）とイントラ予測画素とを合成した上で、ＯＢＭＣ部２４３Ｂに予測画素を出力するように構成されている。

また、予測画素合成部２４３Ａは、復号対象ブロックがＧＰＭ適用ブロックであれば、インター予測部２４１又はイントラ予測部２４２から出力される予測画素を、前述の重み係数ｗによって合成（加重平均）するように構成されている。

ＯＢＭＣ部２４３Ｂは、予測画素合成部２４３Ａから出力される復号対象ブロックの予測画素に対して、上述したＯＢＭＣの適用制御方法に従って、復号対象ブロックのブロック境界に面したサブブロック単位で、ＯＢＭＣの適用可不可を判定し、最終予測画素を出力するように構成されている。

以上の構成により、以下の２つの効果が期待できる。

第１に、ＧＰＭが適用される復号対象ブロックのブロック境界に面したサブブロックに対して、適切にＯＢＭＣを適用することができる（具体的には、予測種別がインター予測であるサブブロックに対してはＯＢＭＣを適用可とし、予測種別がイントラ予測であるサブブロックに対してはＯＢＭＣを適用不可とする）ため、結果として予測性能の向上が期待できる。

ただし、本構成例には、一部、以下の課題がある。具体的に、予測種別がインター予測であるサブブロックであっても、もともとはインター予測及びイントラ予測の２つの予測種別を持つサブブロックの場合は、インター予測画素とイントラ予測画素との合成後にＯＢＭＣを適用するよりも、ＯＢＭＣの適用後のインター予測画素とイントラ予測とを合成する方がよい。なぜなら、前者については、本来隣接画素とブロック境界歪が発生しづらいイントラ予測画素に対してもＯＢＭＣを適用してしまうことになるが、後者の場合は、そうはならない。この課題を解消する最終予測画素の生成方法については、本構成の変更例として後述する。

第２に、ＧＰＭにより合成（加重平均）された予測画素に対して、ＯＢＭＣの適用可不可を判定してＯＢＭＣを適用できるため、従来のＧＰＭに対して、ＯＢＭＣの処理実行数（処理ステージ）及びＯＢＭＣの実行に必要なメモリバンド幅の増加を必要最小限に抑えることができる。

具体的には、ＧＰＭ適用ブロックは、最大２つのインター予測、すなわち、２つのＭＶから構成されるケースが存在するため、ＧＰＭ適用ブロックにおける参照領域の最悪値（最大値）は、この２つのＭＶの示す参照領域の画素数である。一方で、ＧＰＭ適用ブロックにＯＢＭＣを適用する場合、隣接のＭＶの参照領域が追加で必要となるが、本構成の場合は、ＧＰＭにより合成（加重平均）された予測画素に対してＯＢＭＣを適用するため、ＧＰＭ適用ブロックを構成する最大２つのインター予測それぞれに対してＯＢＭＣを適用することを回避でき、ＯＢＭＣによる追加の参照領域の増加を当該回避パターンに対して１/２に抑えることができる。同様の考え方で、ＯＢＭＣの処理実行数（処理ステージ）も当該回避パターンに対して、１/２に抑えることができる。

［方法２（構成２）］
図２２は、図１４で実現できるＧＰＭに対するＯＢＭＣの適用可不可を考慮した最終予測画素の生成方法（構成）の変更例である。

方法２（構成２）では、図２２に示すように、インター予測部２４１は、ＭＶ導出部２４１Ａと、ＭＣ部２４１Ｂと、ＯＢＭＣ部２４１Ｃとを備えている。

ＭＶ導出部２４１Ａは、フレームバッファ部から出力される参照フレーム及び復号部２１０から出力される制御データに基づいて、ＧＰＭを含むインター予測に必要なＭＶをＭＣ部２４１Ｂに出力するように構成されている。

ＭＣ部２４１Ｂは、ＭＶ導出部２４１Ａから出力されるＭＶ及びフレームバッファ部から出力される参照フレームに基づいて、ＭＣ画素を生成して、ＯＢＭＣ部２４１Ｃに出力するように構成されている。

ＯＢＭＣ部２４１Ｃは、ＭＣ部２４１Ｂから出力されるＭＣ画素に対して、ＯＢＭＣの適用可不可を判定するとともに、ＯＢＭＣが適用可な場合は、ＯＢＭＣを適用して、最終的な動き補償画素を生成して、後段の合成部２４３に出力するように構成されている。

なお、本構成における後段の合成部２４３は、方法１（構成１）で示したＯＢＭＣ部２４３Ｂを備えず、インター予測部２４１又はイントラ予測部２４２から出力される動き補償画素又はイントラ予測画素を合成するように構成されている。

すなわち、上述のＯＢＭＣ部２４３Ｂに対して、ＯＢＭＣ部２４１Ｃは、予測種別がインター予測であるサブブロックのみに対してＯＢＭＣの適用可不可を判定できる。

図２２に示す本構成をとることで、図２１に示す構成１に対して、さらに予測性能の向上が期待できる一方で、ＯＢＭＣに必要なメモリバンド幅とＯＢＭＣの処理実行数は増加する。

具体的に、合成部２４３によるＧＰＭの最終予測画素の生成前に、インター予測画素のみに対して直接ＯＢＭＣを実行できるため、上述した予測種別がインター予測であるサブブロックであっても、もともとはインター予測及びイントラ予測の２つの予測種別を持つサブブロックのイントラ予測画素に対してＯＢＭＣを非適用にできる。これにより、本来隣接画素とブロック境界歪が発生しづらいイントラ予測画素に対してＯＢＭＣを不要に適用することを回避できるため、結果として、予測性能が向上する。

他方、合成部２４３によるＧＰＭの最終予測画素の生成前に、インター予測画素のみに対して直接ＯＢＭＣを実行するため、上述の構成１と比較して、ＯＢＭＣに必要なメモリバンド幅とＯＢＭＣの処理実行数が倍増する。

［方法３（構成３）］
図２３～図２５を用いて、図２、図３及び図２１で実現できるＧＰＭに対するＯＢＭＣの適用可不可を考慮した最終予測画素の生成方法（方法１）或いは図２、図３及び図２２で実現できるＧＰＭに対するＯＢＭＣの適用可不可を考慮した最終予測画素の生成方法（方法２）の変更例である方法３（構成３）について説明する。

方法３（構成３）では、図２３に示すように、図２に対して、イントラ予測部１１２がインター予測部１１１に対してイントラ予測画素を出力する線が追加されている。これにより、後述するが、インター予測部１１１にて、ＧＰＭによる加重平均された最終予測画素を生成できる。すなわち、上述の方法１（構成１）や方法２（構成２）における合成部１１３が不要にできる。

また、方法３（構成３）では、図２４に示すように、図３に対して、イントラ予測部２４２がインター予測部２４１に対してイントラ予測画素を出力する線が追加されている。これにより、後述するが、インター予測部２４１にて、ＧＰＭによる加重平均された最終予測画素を生成できる。すなわち、上述の方法１（構成１）や方法２（構成２）における合成部２４３が不要にできる。

方法３（構成３）では、図２５に示すように、インター予測部２４１（１１１）は、ＭＶ導出部２４１Ａと、ＭＣ部２４１Ｂと、予測画素合成部２４３Ａと、ＯＢＭＣ部２４１Ｃとを備えている。

ここで、ＭＶ導出部２４１Ａ及びＭＣ部２４１Ｂは、図２２に示すＭＶ導出部２４１Ａ及びＭＣ部２４１Ｂと同じ構成を取ることできる。

また、予測画素合成部２４３Ａ及びＯＢＭＣ部２４３Ｂは、図２１に示す合成部２４３の予測画素合成部２４３Ａ及びＯＢＭＣ部２４３Ｂと同じ構成を取ることができる。

以上の構成により期待できる効果は、構成１と同じである。

［方法４（構成４）］
図２３、図２４及び図２６を用いて、図２、図３及び図２１で実現できるＧＰＭに対するＯＢＭＣの適用可不可を考慮した最終予測画素の生成方法（方法１）或いは図２、図３及び図１２２実現できるＧＰＭに対するＯＢＭＣの適用可不可を考慮した最終予測画素の生成方法（方法２）の変更例である方法４（構成４）について説明する。以下、既出の構成に対する差分のみを以下で説明する。

方法４（構成４）では、図２６に示すように、インター予測部２４１（１１１）は、ＭＶ導出部２４１Ａと、ＭＣ部２４１Ｂと、ＯＢＭＣ部２４１Ｃと、予測画素合成部２４３Ａとを備えている。

ここで、ＭＶ導出部２４１Ａ、ＭＣ部２４１Ｂ及びＯＢＭＣ部２４１Ｃは、図１４に示すＭＶ導出部２４１Ａ、ＭＣ部２４１Ｂ及びＯＢＭＣ部２４１Ｃと同じ構成を取ることできる。

また、予測画素合成部２４３Ａは、図２１に示す合成部２４３の予測画素合成部２４３Ａと同じ構成を取ることができる。

以上の構成により期待できる効果は、構成２と同じである。

上述した構成１～構成４のいずれかを選択するかは、符号化性能又は画像復号装置１００における復号処理量とメモリバンド幅の制約のトレードオフに基づいて、設計者の意図で選択してもよい。

なお、上述では、ＧＰＭにより、矩形ブロックが幾何学形状に２分割される事例を参照して、その場合のＧＰＭへのイントラ予測モードの適用時のシグナリング方法について説明したが、ＧＰＭにより矩形ブロックが幾何学形状に３分割以上に分割される事例においても、同様の概念で、本実施形態で説明したシグナリング方法は適用できる。

上述の画像符号化装置１００及び画像復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

なお、上述の各実施形態では、本発明を画像符号化装置１００及び画像復号装置２００への適用を例にして説明したが、本発明は、これのみに限定されるものではなく、画像符号化装置１００及び画像復号装置２００の各機能を備えた画像符号化システム及び画像復号システムにも同様に適用できる。

なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

１０…画像処理システム
１００…画像符号化装置
１１１、２４１…インター予測部
１１２、２４２…イントラ予測部
１１３、２４３…合成部
１１４、２２４…予測情報バッファ
１２１…減算器
１２２、２３０…加算器
１３１…変換・量子化部
１３２、２２０…逆変換・逆量子化部
１４０…符号化部
１５０、２５０…インループフィルタ処理部
１６０、２６０…フレームバッファ
２００…画像復号装置
２１０…復号部
２４１Ａ…ＭＶ導出部
２４１Ｂ…ＭＣ部
２４１Ｃ、２４３Ｂ…ＯＢＭＣ部
２４３Ａ…予測画素合成部

Claims (11)

1. 画像復号装置であって、
   幾何学分割モードに対する動き情報を導出して動き補償画素を生成するように構成されているインター予測部と、
   前記幾何学分割モードに対するイントラ予測モードを導出してイントラ予測画素を生成するように構成されているイントラ予測部と、
   前記幾何学分割モードが適用された復号対象ブロックの動き情報又はイントラ予測モードと、インター予測及びイントラ予測のいずれかが適用されたかを判定可能な予測種別とを含む予測情報を保存又は出力するように構成されている予測情報バッファと、を備え、
   前記インター予測部は、
   所定条件に基づいて、双予測による動き情報の導出の可不可を制御し、
   導出された前記動き情報を用いて、前記動き補償画素を生成し、
   前記動き情報を前記予測情報バッファに保存するように構成されていることを特徴とする画像復号装置。
2. 前記インター予測部は、前記復号対象ブロックがＢスライスに含まれており且つ前記復号対象ブロックに適用される前記幾何学分割モードによって分割される一方の分割領域に前記イントラ予測が適用され、他方の分割領域に前記インター予測が適用される場合に、前記インター予測の適用領域に対して前記双予測による動き情報が導出可であると判定するように構成されていることを特徴とする請求項１の画像復号装置。
3. 前記インター予測部は、前記幾何学分割モードが有効で且つ前記インター予測の適用領域に前記双予測が適用可能な場合に、通常マージモード向けのマージ候補リストから前記双予測による動き情報を導出するように構成されていることを特徴とする請求項１又は２に記載の画像復号装置。
4. 前記インター予測部は、前記幾何学分割モードが有効で且つ前記インター予測の適用領域に前記双予測が適用可能な場合に、前記幾何学分割モード向けのマージ候補リストから前記双予測による動き情報を導出するように構成されていることを特徴とする請求項１又は２に記載の画像復号装置。
5. 復号部を備え、
   前記インター予測部は、前記幾何学分割モードが有効で且つ前記インター予測の適用領域に前記双予測が適用される場合において、前記双予測による動き情報が導出された場合は、前記復号部によって復号される所定フラグにより、通常マージモード向けのマージ候補リスト或いは前記幾何学分割モード向けのマージ候補リストのいずれを用いるかを選択し、選択した前記マージ候補リストから前記双予測による動き情報を導出するように構成されていることを特徴とする請求項１又は２に記載の画像復号装置。
6. 前記インター予測部は、前記幾何学分割モードが有効で且つ前記インター予測の適用領域に前記双予測が適用される場合において、前記双予測による動き情報が導出された場合は、前記予測情報バッファにサブブロック単位で適用された前記双予測による動き情報を保存するように構成されていることを特徴とする請求項１～５のいずれか一項に記載の画像復号装置。
7. 前記インター予測部は、前記幾何学分割モードが有効で且つ前記インター予測の適用領域に前記双予測による動き情報が導出され場合において、導出された前記動き情報をＤＭＶＲにより修正するように構成されていることを特徴とする請求項１～５のいずれか一項に記載の画像復号装置。
8. 前記インター予測部は、前記幾何学分割モードが有効で且つ前記インター予測の適用領域に前記双予測による動き情報が導出され場合において、導出された前記動き情報をＤＭＶＲにより修正しないように構成されていることを特徴とする請求項１～５のいずれか一項に記載の画像復号装置。
9. 前記インター予測部は、前記幾何学分割モードが有効で且つ前記インター予測の適用領域に前記双予測による動き情報が導出され場合において、導出された前記動き情報をＤＭＶＲにより修正される場合、インター予測領域におけるＤＭＶＲで修正されたブロックごとにＯＢＭＣの適用の可不可を制御するように構成されていることを特徴とする請求項１～５、７のいずれか一項に記載の画像復号装置。
10. 画像復号方法であって、
    幾何学分割モードに対する動き情報を導出して動き補償画素を生成する工程Ａと、
    前記幾何学分割モードに対するイントラ予測モードを導出してイントラ予測画素を生成する工程Ｂと、
    前記幾何学分割モードが適用された復号対象ブロックの動き情報又はイントラ予測モードと、インター予測及びイントラ予測のいずれかが適用されたかを判定可能な予測種別とを含む予測情報を保存又は出力する工程Ｃと、を備え、
    前記工程Ａにおいて、
    所定条件に基づいて、双予測による動き情報の導出の可不可を制御し、
    導出された前記動き情報を用いて、前記動き補償画素を生成し、
    前記動き情報を予測情報バッファに保存することを特徴とする画像復号方法。
11. コンピュータを、画像復号装置として機能させるプログラムであって、
    前記画像復号装置は、
    幾何学分割モードに対する動き情報を導出して動き補償画素を生成するように構成されているインター予測部と、
    前記幾何学分割モードに対するイントラ予測モードを導出してイントラ予測画素を生成するように構成されているイントラ予測部と、
    前記幾何学分割モードが適用された復号対象ブロックの動き情報又はイントラ予測モードと、インター予測及びイントラ予測のいずれかが適用されたかを判定可能な予測種別とを含む予測情報を保存又は出力するように構成されている予測情報バッファと、を備え、
    前記インター予測部は、
    所定条件に基づいて、双予測による動き情報の導出の可不可を制御し、
    導出された前記動き情報を用いて、前記動き補償画素を生成し、
    前記動き情報を前記予測情報バッファに保存するように構成されていることを特徴とするプログラム。

Images