JP7842718B2 - 画像復号装置、画像復号方法及びプログラム - Google Patents

Description

本発明は、画像復号装置、画像復号方法及びプログラムに関する。

非特許文献１及び２では、イントラテンプレートマッチング予測（ＩｎｔｒａＴＭＰ：Ｉｎｔｒａ Ｔｅｍｐｌａｔｅ Ｍａｔｃｈｉｎｇ Ｐｒｅｄｉｃｔｉｏｎ）が開示されている。

ＩｎｔｒａＴＭＰは、復号対象フレームの復号済み画素領域からテンプレートマッチングで一致する画素を参照し、復号対象ブロックの予測画素とする。

具体的には、画像符号化装置は、復号済みの近傍画素をテンプレートとし、同一フレームからテンプレートマッチングのコストが小さい座標を探索し、かかる座標までの変位量をブロックベクトル（ＢＶ）とする。

画像符号化装置は、テンプレートマッチングのコストが小さい順にＢＶリスト（参照リスト）を構築し、かかるＢＶリストのインデックスを符号化する。

画像復号装置でも、同じ方法で探索すると共に、上述のＢＶリストを再構築することで、かかるＢＶリストのインデックスからＢＶを復号する。

図２に示すように、画像復号装置は、復号対象ブロックのＢＶが示す参照ブロックから画素をコピーすることで予測画素として利用する。

K. Naser, et al., "EE2: Intra Template Matching," Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, JVET-V0130, 22nd meeting, Apr. 2021 M. Coban, et al., "Algorithm description of Enhanced Compression Model 9 (ECM 9)", JVET-AD2025, 2023

非特許文献１及び２では、テンプレートマッチングのコストとして、絶対値誤差和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）が用いられている。

また、非特許文献２では、探索を高速化するために、２階層でＢＶの探索が実施されている。

ここで、１階層目のＢＶの探索では、粗くＢＶを探索し、ＳＡＤが小さい座標を選択する。２階層目のＢＶの探索では、１階層目でＳＡＤが小さかった座標を中心として詳細にＢＶを探索する。

このとき、１階層目のＢＶの探索で局所最小に陥らないようにするため、ＳＡＤが小さい上位Ｎ個のＢＶ候補を保持する。

さらに、２階層目は、それぞれのＢＶ候補を中心として周囲のＳＡＤを算出する際に、ＢＶ候補中で最大となるＳＡＤを基準としてＢＶ候補を制限する。

しかしながら、上位Ｎ個のＳＡＤが全て同値の場合は、２階層目の探索対象のＢＶが失われるため、有効なＢＶを探索できないという問題点があった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、符号化効率の高い画像復号装置、画像復号方法及びプログラムを提供することを目的とする。

本発明の第１の特徴は、画像復号装置であって、制御情報並びに量子化値を復号する復号部と、前記量子化値を逆量子化して変換係数とする逆量子化部と、前記変換係数を逆変換して予測残差とする逆変換部と、復号済み画素と前記制御情報とに基づいて、第１予測画素を生成する第１フレーム内予測部と、前記復号済み画素と前記制御情報とに基づいて参照リストを構築し、前記参照リストを用いて第２予測画像を生成する第２フレーム内予測部と、前記復号済み画素を蓄積する蓄積部と、前記蓄積された復号済み画素と前記制御情報とに基づいて、第３予測画素を生成するフレーム間予測部と、前記予測残差と前記第１乃至第３予測画素とを加算して前記復号済み画素を得る加算器とを具備し、前記第２フレーム内予測部は、イントラテンプレートマッチング予測を行う場合、２階層目のブロックベクトルの探索において、１階層目の参照リスト内の最大コスト＋Ｍ（Ｍ＞０）よりも小さいコストを持つブロックベクトルＶを登録することを要旨とする。

本発明の第２の特徴は、画像復号方法であって、制御情報並びに量子化値を復号する工程Ａと、前記量子化値を逆量子化して変換係数とする工程Ｂと、前記変換係数を逆変換して予測残差とする工程Ｃと、復号済み画素と前記制御情報とに基づいて、第１予測画素を生成する工程Ｄと、前記復号済み画素と前記制御情報とに基づいて参照リストを構築し、前記参照リストを用いて第２予測画像を生成する工程Ｅと、前記復号済み画素を蓄積する工程Ｆと、前記蓄積された復号済み画素と前記制御情報とに基づいて、第３予測画素を生成する工程Ｇと、前記予測残差と前記第１乃至第３予測画素とを加算して前記復号済み画素を得る工程Ｈとを有し、前記工程Ｅにおいて、イントラテンプレートマッチング予測を行う場合、２階層目のブロックベクトルの探索において、１階層目の参照リスト内の最大コスト＋Ｍ（Ｍ＞０）よりも小さいコストを持つブロックベクトルを登録することを要旨とする。

本発明の第３の特徴は、コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、制御情報並びに量子化値を復号する復号部と、前記量子化値を逆量子化して変換係数とする逆量子化部と、前記変換係数を逆変換して予測残差とする逆変換部と、復号済み画素と前記制御情報とに基づいて、第１予測画素を生成する第１フレーム内予測部と、前記復号済み画素と前記制御情報とに基づいて参照リストを構築し、前記参照リストを用いて第２予測画像を生成する第２フレーム内予測部と、前記復号済み画素を蓄積する蓄積部と、前記蓄積された復号済み画素と前記制御情報とに基づいて、第３予測画素を生成するフレーム間予測部と、前記予測残差と前記第１乃至第３予測画素とを加算して前記復号済み画素を得る加算器とを具備し、前記第２フレーム内予測部は、イントラテンプレートマッチング予測を行う場合、２階層目のブロックベクトルの探索において、１階層目の参照リスト内の最大コスト＋Ｍ（Ｍ＞０）よりも小さいコストを持つブロックベクトルを登録することを要旨とする。

本発明の第４の特徴は、画像復号装置であって、制御情報並びに量子化値を復号する復号部と、前記量子化値を逆量子化して変換係数とする逆量子化部と、前記変換係数を逆変換して予測残差とする逆変換部と、復号済み画素と前記制御情報とに基づいて、第１予測画素を生成する第１フレーム内予測部と、前記復号済み画素と前記制御情報とに基づいて参照リストを構築し、前記参照リストを用いて第２予測画像を生成する第２フレーム内予測部と、前記復号済み画素を蓄積する蓄積部と、前記蓄積された復号済み画素と前記制御情報とに基づいて、第３予測画素を生成するフレーム間予測部と、前記予測残差と前記第１乃至第３予測画素とを加算して前記復号済み画素を得る加算器とを具備し、前記第２フレーム内予測部は、イントラテンプレートマッチング予測を行う場合、２階層目のブロックベクトルの探索において１階層目の参照リスト内の最大コストよりも小さいコストを持つブロックベクトルが存在しない場合、２階層目の参照リストに、前記１階層目の参照リスト内の任意のブロックベクトルを登録することを要旨とする。

本発明によれば、符号化効率の高い画像復号装置、画像復号方法及びプログラムを提供することができる。

図１は、一実施形態に係る画像復号装置２００の機能ブロックの一例を示す図である。 図２は、ＩｎｔｒａＴＭＰの一例について説明するための図である。 図３は、シーケンス単位で補正の方法を設定する方法の一例を示すフローチャートである。 図４は、ブロック単位でＩｎｔｒａＴＭＰのＢＶの探索を制御する方法の一例を示すフローチャートである。 図５は、テンプレートの一例を説明するための図である。 図６は、ＢＶリストの一例を説明するための図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

＜第１実施形態＞
以下、図１～図６を参照して、本実施形態に係る画像復号装置２００について説明する。図１は、本実施形態に係る画像復号装置２００の機能ブロックの一例について示す図である。

図１に示すように、画像復号装置２００は、符号入力部２１０と、復号部２０１と、逆量子化部２０２と、逆変換部２０３と、第１フレーム内予測部２０４と、第２フレーム内予測部２０５と、フレーム間予測部２０６と、加算器２０７と、蓄積部２０８と、画像出力部２２０とを有する。

符号入力部２１０は、画像符号化装置によって符号化された符号情報を取得するように構成されている。

復号部２０１は、符号入力部２１０から入力された符号情報から、制御情報並びに量子化値を復号するように構成されている。例えば、復号部２０１は、かかる符号情報に対して可変長復号を行うことで制御情報及び量子化値を出力するように構成されている。

ここで、量子化値は、逆量子化部２０２に送られ、制御情報は、第１フレーム内予測部２０４、第２フレーム内予測部２０５及びフレーム間予測部２０６に送られる。なお、かかる制御情報は、第１フレーム内予測部２０４、第２フレーム内予測部２０５及びフレーム間予測部２０６等の制御に必要な情報を含み、シーケンスパラメータセットやピクチャパラメータセットやピクチャヘッダやスライスヘッダ等のヘッダ情報を含んでもよい。

逆量子化部２０２は、復号部２０１から送られた量子化値を逆量子化して変換係数とするように構成されている。かかる変換係数は、逆変換部２０３に送られる。

逆変換部２０３は、逆量子化部２０２から送られた変換係数を逆変換して予測残差とするように構成されている。かかる予測残差は、加算器２０７に送られる。

第１フレーム内予測部２０４は、加算器２０７を介して得られる復号済み画素及び復号部２０１で復号された制御情報に基づいて、加算器２０７で予測残差と加算するための第１予測画素を生成するように構成されている。かかる第１予測画素は、加算器２０７及び第２フレーム内予測部２０５に送られる。

フレーム間予測部２０６は、蓄積部２０８を参照して得られる復号済み画素及び復号部２０１で復号された制御情報に基づいて、加算器２０７で予測残差と加算するための第３予測画素を生成するように構成されている。かかる第３予測画素は、加算器２０７に送られる。

蓄積部２０８は、加算器２０７から送られた復号済み画素を累積的に蓄積するように構成されている。かかる復号済み画素は、蓄積部２０８を介してフレーム間予測部２０６からの参照を受ける。

加算器２０７は、逆変換部２０３から送られる予測残差と、第１フレーム内予測部２０４、第２フレーム内予測部２０５及びフレーム間予測部２０６から送られる第１乃至第３予測画素のいずれかとを加算して復号済み画素を得るように構成されている。かかる復号済み画素は、画像出力部２２０、蓄積部２０８、第１フレーム内予測部２０４及び第２フレーム内予測部２０５へ送られる。

（第２フレーム内予測部２０５）
以下、第２フレーム内予測部２０５による第２予測画素を導出する方法の一例について説明する。

第２フレーム内予測部２０５の役割は、後段の加算器２０７において復号対象ブロックを高精度に補償するために、かかる復号対象ブロックに対してブロックベクトル（以下、ＢＶと表記）を導出して、ＢＶが参照するブロックの画素を予測すること（第２フレーム内予測）にある。

第２フレーム内予測の例には、非特許文献２で開示されているイントラテンプレートマッチング予測（以下、ＩｎｔｒａＴＭＰと表記）がある。

第２フレーム内予測部２０５は、ＩｎｔｒａＴＭＰを行う場合、同一フレーム内の復号済み画素をテンプレートとして、同じく同一フレームで当該テンプレートが一致する座標を探索し、当該座標までの変位量をＢＶとし、復号対象ブロックからＢＶへ変位したブロックを復号対象ブロックの予測画素として参照する。

テンプレートは、復号対象ブロックの近傍画素を利用でき、任意のライン数を用いることができる。また、テンプレートは、図５に示すように、復号対象ブロックの上の近傍画素及び左の近傍画素の両方を用いることができるし、上の近傍画素だけ或いは左の近傍画素だけを用いることもできる。

ここで、第２フレーム内予測部２０５は、ＩｎｔｒａＴＭＰを行う場合、探索時間を短縮するため、階層的にＢＶを探索する。

階層数は、任意の値を設定できるが、以下では、第２フレーム内予測部２０５が、２階層でＢＶを探索する例を示す。また、ＢＶ探索のテンプレートマッチングのコストとしてＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いる場合を説明するが、ＳＡＴＤ等の任意のコストを利用できる。

第２フレーム内予測部２０５は、１階層目で、粗くＢＶを探索してＢＶ候補を選別した後に、２階層目で、詳細にＢＶを探索してＢＶを確定する。

ここで、第２フレーム内予測部２０５は、１階層目で粗くＢＶを探索する際に、ＢＶの探索の粗密を設定する制御情報に基づいて、ＢＶの探索の粗密を変更するように構成されていてもよい。

例えば、文書等のスクリーンコンテンツでは、完全に一致する座標が存在し得ることから、一画素でもずれるとＳＡＤが大きく変化するため、スクリーンコンテンツでは、密にＢＶを探索するよう設定することが望ましい。

一方、カメラ撮影コンテンツでは、ＳＡＤの分布が比較的なだらかであるため、カメラ撮影コンテンツでは、疎にＢＶを探索するよう設定することが望ましい。

また、第２フレーム内予測部２０５は、明示的な制御情報を用いることなく、ＢＶの探索方向に応じて、ＢＶの探索の粗密を変更するように構成されていてもよい。

同じテクスチャが反復している場合を想定すると、完全一致する座標が真横或いは真上に存在することが多いため、真横方向或いは真上方向へは、密にＢＶを探索することが望ましい。一方、斜め方向には、疎にＢＶを探索することが望ましい。

或いは、第２フレーム内予測部２０５は、明示的な制御情報を用いることなく、ブロックサイズに応じて、ＢＶの探索の粗密を変更するように構成されていてもよい。

ブロックサイズが小さいほど、完全一致する座標が探索されやすいため、ブロックサイズが小さいほど、密にＢＶを探索することが望ましい。

逆に、ブロックサイズが大きいほど、一致する座標を探索できた場合に符号化効率の改善幅が大きいため、ブロックサイズが大きいほど、密にＢＶを探索してもよい。

いずれの場合も、第２フレーム内予測部２０５は、１階層目のＢＶの探索で、上位Ｎ個のＢＶ候補を選択し、２階層目のＢＶの探索に利用する。

第２フレーム内予測部２０５は、階層的にＢＶを探索する場合、各階層においてＢＶリストを構築する。

なお、ＢＶリストは、テンプレートの種類ごとに用意することができる。例えば、図５に示すように、復号対象ブロックの上及び左の両方の近傍画素をテンプレートとする場合と、復号対象ブロックの上の近傍画素だけをテンプレートとする場合、復号対象ブロックの左の近傍画素だけをテンプレートにする場合のそれぞれに異なるＢＶリストを用意する。それぞれのＢＶリストの長さは、一致していてもよいし異なっていてもよい。

ＳＡＤ算出は、復号対象ブロックの上の近傍画素だけのテンプレートによるＳＡＤ及び復号対象ブロックの左の近傍画素だけのテンプレートによるＳＡＤをそれぞれ算出し、両ＳＡＤは、両ＳＡＤの合計とすることで計算量を削減することができる。

或いは、復号対象ブロックの上の近傍画素だけのテンプレートによるＳＡＤ及び復号対象ブロックの左の近傍画素だけのテンプレートによるＳＡＤを算出した後、ＳＡＤ算出は、復号対象ブロックの上の近傍画素だけのテンプレートによるＳＡＤ及び復号対象ブロックの左の近傍画素だけのテンプレートによるＳＡＤを、両ＳＡＤからそれぞれのテンプレートに該当する分だけ差し引いて算出することで計算量を削減することができる。
第２フレーム内予測部２０５は、各階層において複数のＢＶを登録できるＢＶリストを用意しておき、各座標のＳＡＤを算出した際に、かかるＢＶリスト内の所定のＳＡＤより小さいＢＶのみ、ＢＶリストに登録する。

所定のＳＡＤは、前階層のＢＶリストが全て埋まっている場合は、当該ＢＶリストのＳＡＤの最大値とし、そうでない場合は、予め設定した値とする。

予め設定する値は、復号対象ブロックの画素数やビット深度に応じて変更することもできる。

ＢＶリストが全て埋まっている場合、所定のＳＡＤより小さなＳＡＤを持つＢＶを追加するともにＳＡＤが最大となるＢＶを削除する。

ＢＶを登録する際は、ＢＶリストをＳＡＤの昇順に並べ替えておくことが望ましい。

また、テンプレートの種類ごとのＢＶリストを保持している場合は、それぞれのＢＶリストごとに所定のＳＡＤを設定することができる。或いは、複数のＢＶリストのそれぞれの最大ＳＡＤの中から最小値を選択し所定のＳＡＤとして共通に設定してもよい。

また、第２フレーム内予測部２０５は、テンプレートの種類ごとにＢＶリストを保持している場合は、全階層のＢＶ探索が終了した時点でＢＶリストのＳＡＤの昇順でＢＶリストに収まる数だけ選択しＢＶリストを１つに統合した上でＢＶリストのインデックスを決定する。

或いは、第２フレーム内予測部２０５は、階層を跨ぐごとにＢＶリストを１つに統合してもよい。このとき、第２フレーム内予測部２０５は、ＢＶが重複している場合は、ＳＡＤが小さいＢＶを残し、ＳＡＤが大きいＢＶはリストから削除する。

テンプレートの種類ごとにＢＶリストを保持している場合で且つＢＶリストが埋まっている場合は、第２フレーム内予測部２０５は、図６に示すように、それぞれのＢＶリストからＢＶリストに収まる数のＢＶの中で最小のＳＡＤを選択し、次階層の所定のＳＡＤに設定してもよい。

また、第２フレーム内予測部２０５は、ＳＡＤの算出の途中であっても、ＢＶリスト内の所定のＳＡＤ以上になった時点で、ＳＡＤの算出処理を中断することで、無駄な探索を早期に打ち切ることができ、探索処理を高速化することができる。

さらに、第２フレーム内予測部２０５は、ＢＶリストが全て埋まった状態でＢＶが追加される場合、所定のＳＡＤをＢＶリストの最大ＳＡＤに更新することが望ましい。

ただし、ＢＶの探索が、階層を跨いで行われる場合、第２フレーム内予測部２０５は、先にＢＶを探索した階層のＢＶリスト内の最大ＳＡＤ＋Ｍ（Ｍ＞０）より小さいＳＡＤを持つＢＶを、現在ＢＶを探索している階層のＢＶリストに登録する。

第２フレーム内予測部２０５は、２階層目のＢＶリストが空の状態で、１階層目のＢＶリスト内のＢＶ候補を中心として近傍を詳細に探索することで２階層目の探索を始める。例えば、Ｍ＝１とした場合、第２フレーム内予測部２０５は、２階層目のＢＶ探索では、１階層目のＢＶリスト内の最大ＳＡＤ＋１より小さいＳＡＤのＢＶのみ２階層目のＢＶリストに登録する。

すなわち、２階層目のＳＡＤ及び１階層目のＢＶリスト内の最大ＳＡＤが全て同値である場合であっても、ＢＶリストに１つもＢＶが登録されないという不具合を回避できる効果が得られる。

また、１階層目のＢＶリスト内の最大ＳＡＤ＋１を超える場合は、それ以上の当該座標における探索を打ち切ることで処理時間の短縮を図ることができるという効果が得られる。

ＢＶリストは、複数の異なるＢＶをＩｎｔｒａＴＭＰの加重平均予測（ＩｎｔｒａＴＭＰ Ｆｕｓｉｏｎ）や整数画素精度に加えて小数画素精度のＢＶを許容するＩｎｔｒａＴＭＰ（Ｆｒａｃｔｉｏｎａｌ ＩｎｔｒａＴＭＰ）、複数のＢＶ候補から１つ或いはＢＶリストの最大以下の任意の数のＢＶを選択するＩｎｔｒａＴＭＰ（Ｍｕｌｔｉ-ｃａｎｄｉｄａｔｅ ＩｎｔｒａＴＭＰ）においても利用できる。

別の実施例では、第２フレーム内予測部２０５は、２階層目のリストが空にならないよう、１階層目のＢＶリスト内の任意のＢＶ候補を２階層目のＢＶリストに登録してもよい。

かかる場合、１階層目のＢＶリスト内のＳＡＤが最小となるＢＶ候補を、２階層目のＢＶリストに登録することが望ましい。

ＢＶリスト内のＳＡＤが最小となるＢＶが複数存在する場合は、第２フレーム内予測部２０５は、ＳＡＤ以外の基準で選択する。

例えば、かかる基準としては、ＢＶの長さやｘ軸或いはｙ軸からの距離を利用することができ、いずれも小さいＢＶを選択することが望ましい。

また、複数のＢＶ候補におけるブロック同士が完全一致する（ＢＶが違ってもＢＶリストに実質的な重複が存在する）場合、インデックスに無駄が生じるので、第２フレーム内予測部２０５は、ＢＶリストに登録されている２つ以上のＢＶが参照するブロック間の差異が所定閾値より小さい場合は、かかる２つ以上のＢＶのうち１つを除いてＢＶリストから除外する。

以下、図３及び図４を参照して、第２フレーム内予測を行う際に復号部２０１によって復号される制御情報について説明する。

復号部２０１に入力される符号は、シーケンス単位の制御情報をまとめたシーケンスパラメータセット（ＳＰＳ）を含むことができる。

また、かかる符号は、ピクチャ単位の制御情報をまとめたピクチャパラメータセット（ＰＰＳ）或いはピクチャヘッダ（ＰＨ）を含むことができる。かかる符号は、スライス単位の制御情報をまとめたスライスヘッダ（ＳＨ）を含んでもよい。

図３を参照して、シーケンス単位で補正の方法を設定する方法について述べる。

図３に示すように、ステップＳ１０１において、復号部２０１は、シーケンスパラメータセットで、ｓｐｓ_ｉｔｍｐ_ｅｎａｂｌｅｄ_ｆｌａｇが１であるか否かについて判定する。

ｓｐｓ_ｉｔｍｐ_ｅｎａｂｌｅｄ_ｆｌａｇは、ＩｎｔｒａＴＭＰの有無を制御するシンタックスであり、ｓｐｓ_ｉｔｍｐ_ｅｎａｂｌｅｄ_ｆｌａｇが１である場合は、ＩｎｔｒａＴＭＰが有効であることを示し、ｓｐｓ_ｉｔｍｐ_ｅｎａｂｌｅｄ_ｆｌａｇが０である場合は、ＩｎｔｒａＴＭＰが無効であることを示す。

ｓｐｓ_ｉｔｍｐ_ｅｎａｂｌｅｄ_ｆｌａｇが１である場合は、本動作は、ステップＳ１０２に進み、ｓｐｓ_ｉｔｍｐ_ｅｎａｂｌｅｄ_ｆｌａｇが０である場合は、本動作は、終了する。

ステップＳ１０２において、復号部２０１は、ｓｐｓ_ｉｔｍｐ_ｍｏｄｅを復号する。

ｓｐｓ_ｉｔｍｐ_ｍｏｄｅは、ＩｎｔｒａＴＭＰの方法を制御するシンタックスである。

ｓｐｓ_ｉｔｍｐ_ｍｏｄｅを用いることで、シーケンス単位で画像特性に応じたＩｎｔｒａＴＭＰの方法を変更できるため、符号化効率を最大化する効果が期待できる。

例えば、ＣＧで構成されるシーケンスに対しては画素分布が同値で構成されることが多いので、ＩｎｔｒａＴＭＰのＢＶの探索を密にするように設定でき、自然画像で構成されるシーケンスに対しては画素分布が多様であるため、ＩｎｔｒａＴＭＰのＢＶの探索を疎にするように設定でき、符号化効率の最大化が図れる。

ピクチャ単位で補正の方法を設定する場合は、復号部２０１は、ピクチャパラメータセット或いはピクチャヘッダで、ｐｐｓ_ｉｔｍｐ_ｅｎａｂｌｅｄ_ｆｌａｇ及びｐｐｓ_ｉｔｍｐ_ｍｏｄｅを同様に復号する。

ｐｐｓ_ｉｔｍｐ_ｍｏｄｅを用いることで、ピクチャ単位で画像特性に応じた補正の方法が設定変更できるため、符号化効率を最大化する効果が期待できる。

例えば、ＣＧで構成されるピクチャに対しては画素分布が同値で構成されることが多いので、ＩｎｔｒａＴＭＰのＢＶの探索を密にするように設定でき、自然画像で構成されるピクチャに対しては画素分布が多様であるため、ＩｎｔｒａＴＭＰのＢＶの探索を疎にするように設定でき、符号化効率の最大化が図れる。

スライス単位で補正の方法を設定する場合は、復号部２０１は、スライスヘッダで、ｓｈ_ｉｔｍｐ_ｅｎａｂｌｅｄ_ｆｌａｇ及びｓｈ_ｉｔｍｐ_ｍｏｄｅを同様に復号する。

ｓｈ_ｉｔｍｐ_ｍｏｄｅを用いることで、スライス単位で画像特性に応じた補正の方法が設定変更できるため、符号化効率を最大化する効果が期待できる。

例えば、ＣＧで構成されるスライス領域に対しては画素分布が同値で構成されることが多いので、ＩｎｔｒａＴＭＰのＢＶの探索を密にするように設定でき、自然画像で構成されるスライス領域に対しては画素分布が多様であるため、ＩｎｔｒａＴＭＰのＢＶの探索を疎にするように設定でき、符号化効率の最大化が図れる。

上位層でのみ設定することで符号量の増大を抑制することもできるし、下位層でも設定した上で下位層での設定を優先することで適応的な制御ができる。

或いは、上述の補正の方法が事前に設定されている場合は、かかる補正の方法の復号自体を省略することができる。

なお、上述の例では、シーケンス単位、ピクチャ単位或いはスライス単位でＩｎｔｒａＴＭＰの方法の設定方法を述べたが、これらを設定せずに、後述のブロック単位で直接方法を選択してもよい。この場合、上述のヘッダ情報の増加を回避できる。

以下、図４を参照して、ブロック単位でＩｎｔｒａＴＭＰのＢＶの探索を制御する方法について述べる。

図４に示すように、ステップＳ２０１において、復号部２０１は、ｓｐｓ_ｉｔｍｐ_ｅｎａｂｌｅｄ_ｆｌａｇ、ｐｐｓ_ｉｔｍｐ_ｅｎａｂｌｅｄ_ｆｌａｇ又はｓｈ_ｉｔｍｐ_ｅｎａｂｌｅｄ_ｆｌａｇのいずれかが１であるか否かについて判定する。

いずれも１でない場合は、本動作は、終了し、いずれかが１である場合、本動作は、ステップＳ２０２に進む。

ステップＳ２０２において、復号部２０１は、ＩｎｔｒａＴＭＰの制御信号であるｃｕ_ｉｔｍｐ_ｍｏｄｅを復号する。

ステップＳ２０３において、復号部２０１は、インデックスを表す制御信号であるｃｕ_ｉｔｍｐ_ｉｎｄｅｘを復号する。

本実施形態によれば、ＩｎｔｒａＴＭＰのＢＶの復号において適応的にＢＶリストを設定することで比較的少ない符号量から復号するので、符号化効率を向上させることができる。

上述の画像復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

２００…画像復号装置
２０１…復号部
２０２…逆量子化部
２０３…逆変換部
２０４…第１フレーム内予測部
２０５…第２フレーム内予測部
２０６…フレーム間予測部
２０７…加算器
２０８…蓄積部
２１０…符号入力部
２２０…画像出力部

Claims (14)

1. 画像復号装置であって、
   制御情報並びに量子化値を復号する復号部と、
   前記量子化値を逆量子化して変換係数とする逆量子化部と、
   前記変換係数を逆変換して予測残差とする逆変換部と、
   復号済み画素と前記制御情報とに基づいて、第１予測画素を生成する第１フレーム内予測部と、
   前記復号済み画素と前記制御情報とに基づいて参照リストを構築し、前記参照リストを用いて第２予測画素を生成する第２フレーム内予測部と、
   前記復号済み画素を蓄積する蓄積部と、
   前記蓄積された復号済み画素と前記制御情報とに基づいて、第３予測画素を生成するフレーム間予測部と、
   前記予測残差と前記第１乃至第３予測画素とを加算して前記復号済み画素を得る加算器とを具備し、
   前記第２フレーム内予測部は、イントラテンプレートマッチング予測を行う場合、２階層目のブロックベクトルの探索において、１階層目の参照リスト内の最大コスト＋Ｍ（Ｍ＞０）よりも小さいコストを持つブロックベクトルを登録することを特徴とする画像復号装置。
2. 画像復号装置であって、
   制御情報並びに量子化値を復号する復号部と、
   前記量子化値を逆量子化して変換係数とする逆量子化部と、
   前記変換係数を逆変換して予測残差とする逆変換部と、
   復号済み画素と前記制御情報とに基づいて、第１予測画素を生成する第１フレーム内予測部と、
   前記復号済み画素と前記制御情報とに基づいて参照リストを構築し、前記参照リストを用いて第２予測画素を生成する第２フレーム内予測部と、
   前記復号済み画素を蓄積する蓄積部と、
   前記蓄積された復号済み画素と前記制御情報とに基づいて、第３予測画素を生成するフレーム間予測部と、
   前記予測残差と前記第１乃至第３予測画素とを加算して前記復号済み画素を得る加算器とを具備し、
   前記第２フレーム内予測部は、イントラテンプレートマッチング予測を行う場合、２階層目のブロックベクトルの探索において１階層目の参照リスト内の最大コストよりも小さいコストを持つブロックベクトルが存在しない場合、２階層目の参照リストに、前記１階層目の参照リスト内の任意のブロックベクトルを登録することを特徴とする画像復号装置。
3. 前記コストは、差分絶対値和であることを特徴とする請求項１又は２に記載の画像復号装置。
4. 前記Ｍは、１であることを特徴とする請求項１に記載の画像復号装置。
5. 前記制御情報は、ブロックベクトルの探索の粗密を設定する情報であり、
   前記第２フレーム内予測部は、前記制御情報に基づいて、前記ブロックベクトルの探索の粗密を変更することを特徴とする請求項１に記載の画像復号装置。
6. 前記第２フレーム内予測部は、ブロックベクトル探索方向に応じて、ブロックベクトルの探索の粗密を変更することを特徴とする請求項１に記載の画像復号装置。
7. 前記第２フレーム内予測部は、真横方向或いは真上方向へは密にブロックベクトルを探索することを特徴とする請求項６に記載の画像復号装置。
8. 前記第２フレーム内予測部は、斜め方向には疎にブロックベクトルを探索することを特徴とする請求項６に記載の画像復号装置。
9. 前記第２フレーム内予測部は、ブロックサイズに応じてブロックベクトルの探索の粗密を変更することを特徴とする請求項１に記載の画像復号装置。
10. 前記第２フレーム内予測部は、ブロックサイズが小さいほど密にブロックベクトルを探索することを特徴とする請求項９に記載の画像復号装置。
11. 前記第２フレーム内予測部は、ブロックサイズが大きいほど密にブロックベクトルを探索することを特徴とする請求項９に記載の画像復号装置。
12. 前記第２フレーム内予測部は、２つ以上のブロックベクトルが参照するブロック間の差異が所定閾値より小さい場合は、前記２つ以上のブロックベクトルのうち１つを除いて前記参照リストから除外することを特徴とする請求項１に記載の画像復号装置。
13. 画像復号方法であって、
    制御情報並びに量子化値を復号する工程Ａと、
    前記量子化値を逆量子化して変換係数とする工程Ｂと、
    前記変換係数を逆変換して予測残差とする工程Ｃと、
    復号済み画素と前記制御情報とに基づいて、第１予測画素を生成する工程Ｄと、
    前記復号済み画素と前記制御情報とに基づいて参照リストを構築し、前記参照リストを用いて第２予測画素を生成する工程Ｅと、
    前記復号済み画素を蓄積する工程Ｆと、
    前記蓄積された復号済み画素と前記制御情報とに基づいて、第３予測画素を生成する工程Ｇと、
    前記予測残差と前記第１乃至第３予測画素とを加算して前記復号済み画素を得る工程Ｈとを有し、
    前記工程Ｅにおいて、イントラテンプレートマッチング予測を行う場合、２階層目のブロックベクトルの探索において、１階層目の参照リスト内の最大コスト＋Ｍ（Ｍ＞０）よりも小さいコストを持つブロックベクトルを登録することを特徴とする画像復号方法。
14. コンピュータを、画像復号装置として機能させるプログラムであって、
    前記画像復号装置は、
    制御情報並びに量子化値を復号する復号部と、
    前記量子化値を逆量子化して変換係数とする逆量子化部と、
    前記変換係数を逆変換して予測残差とする逆変換部と、
    復号済み画素と前記制御情報とに基づいて、第１予測画素を生成する第１フレーム内予測部と、
    前記復号済み画素と前記制御情報とに基づいて参照リストを構築し、前記参照リストを用いて第２予測画素を生成する第２フレーム内予測部と、
    前記復号済み画素を蓄積する蓄積部と、
    前記蓄積された復号済み画素と前記制御情報とに基づいて、第３予測画素を生成するフレーム間予測部と、
    前記予測残差と前記第１乃至第３予測画素とを加算して前記復号済み画素を得る加算器とを具備し、
    前記第２フレーム内予測部は、イントラテンプレートマッチング予測を行う場合、２階層目のブロックベクトルの探索において、１階層目の参照リスト内の最大コスト＋Ｍ（Ｍ＞０）よりも小さいコストを持つブロックベクトルを登録することを特徴とするプログラム。