JP2024058004A - 画像復号装置、画像復号方法及びプログラム - Google Patents
画像復号装置、画像復号方法及びプログラム Download PDFInfo
- Publication number
- JP2024058004A JP2024058004A JP2022165080A JP2022165080A JP2024058004A JP 2024058004 A JP2024058004 A JP 2024058004A JP 2022165080 A JP2022165080 A JP 2022165080A JP 2022165080 A JP2022165080 A JP 2022165080A JP 2024058004 A JP2024058004 A JP 2024058004A
- Authority
- JP
- Japan
- Prior art keywords
- intra prediction
- pixels
- decoded
- unit
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 109
- 238000013139 quantization Methods 0.000 claims description 19
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 description 95
- 238000003786 synthesis reaction Methods 0.000 description 95
- 238000005192 partition Methods 0.000 description 33
- 238000000638 solvent extraction Methods 0.000 description 33
- 230000008569 process Effects 0.000 description 30
- 238000009795 derivation Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 25
- 238000012545 processing Methods 0.000 description 18
- 230000000694 effects Effects 0.000 description 16
- 238000002156 mixing Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 15
- 238000010187 selection method Methods 0.000 description 10
- 238000013138 pruning Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】イントラ予測において符号化効率を向上させること。【解決手段】本発明に係る画像復号装置200は、復号済み画素と制御情報とに基づいてイントラ予測に用いる参照画素を生成して生成情報とする生成部205と、制御情報と生成情報とに基づいて第1予測画素を生成するイントラ予測部204と、蓄積された復号済み画素と制御情報とに基づいて第2予測画素を生成する動き補償部208と、第1予測画素又は第2予測画素のいずれかと予測残差とを加算して復号済み画素を得る加算器206とを具備する。【選択図】図1
Description
本発明は、画像復号装置、画像復号方法及びプログラムに関する。
非特許文献1には、イントラ(Intra)予測が開示されている。イントラ予測は、復号対象ブロックに隣接する近傍画素を復号対象ブロックに複製することで予測値を生成する。イントラ予測は、複数の異なる方向へ複製する予測モードを用意することで予測精度の向上を図る。予測値は、差分値と加算されることで、復号済み画素を再構成するために用いられる。
非特許文献2には、隣接する近傍画素だけでなく1画素以上離れた近傍画素(非隣接近傍画素)も用いて予測値を生成する手法が開示されている。具体的には、隣接近傍画素の予測値と非隣接近傍画素の予測値とをそれぞれ生成した上で3:1の重み平均で最終的な予測値を合成する。
ITU-T H.266/VVC
JVET-AA0137:Intra Prediction Fusion
Algorithm description of Enhanced Compression Model 5(ECM 5)
EE2-2.7:GPM adaptive blending(JVET-Z0059、JVET-Z0137)、JVET-AA0058
非特許文献1では、復号対象ブロックの隣接する近傍画素1ラインしか参照画素として利用していないため、予測値の精度が十分ではないという問題点がある。
一方、非特許文献2では、複数ラインの近傍画素を参照画素として利用するため、非特許文献1における問題点の一部を解決することができる。
しかしながら、非特許文献2によれば、3:1による固定的な重み平均のため、表現できる予測値の分布には制限があり、予測値の精度は十分に解決されていないという問題点があった。
例えば、非特許文献2は、復号対象ブロックのイントラ予測方向の1ラインの平均aが、対応する隣接近傍画素bと非隣接近傍画素cとの重み平均(3b+c)/4に近い場合(少なくともb<a<c或いはc<a<bの場合)にのみ効果が見込まれる。
逆に言えば、a<min(b、c)となる単調減少や、a>max(b,c)となる単調増加の場合には、非特許文献2では対応できないという問題点があった。
また、非特許文献2によれば、隣接近傍画素と非隣接近傍画素とによるイントラ予測を2回実行する必要があるため、ハードウェア実装の回路規模が大きくなるという問題点があった。 そこで、本発明は、上述の課題に鑑みてなされたものであり、符号化効率の高い画像復号装置、画像復号方法及びプログラムを提供することを目的とする。
本発明の第1の特徴は、画像復号装置であって、制御情報並びに量子化値を復号する復号部と、前記量子化値を逆量子化して変換係数とする逆量子化部と、前記変換係数を逆変換して予測残差とする逆変換部と、復号済み画素と前記制御情報とに基づいてイントラ予測に用いる参照画素を生成して生成情報とする生成部と、前記制御情報と前記生成情報とに基づいて第1予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する蓄積部と、前記蓄積された復号済み画素と前記制御情報とに基づいて第2予測画素を生成する動き補償部と、前記第1予測画素又は前記第2予測画素のいずれかと前記予測残差とを加算して前記復号済み画素を得る加算器とを具備することを要旨とする。
本発明の第2の特徴は、画像復号方法であって、制御情報並びに量子化値を復号する工程と、前記量子化値を逆量子化して変換係数とする工程と、前記変換係数を逆変換して予測残差とする工程と、復号済み画素と前記制御情報とに基づいてイントラ予測に用いる参照画素を生成して生成情報とする工程と、前記制御情報と前記生成情報とに基づいて第1予測画素を生成する工程と、前記復号済み画素を蓄積する工程と、前記蓄積された復号済み画素と前記制御情報とに基づいて第2予測画素を生成する工程と、前記第1予測画素又は前記第2予測画素のいずれかと前記予測残差とを加算して前記復号済み画素を得る工程とを有することを要旨とする。
本発明の第3の特徴は、コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、制御情報並びに量子化値を復号する復号部と、前記量子化値を逆量子化して変換係数とする逆量子化部と、前記変換係数を逆変換して予測残差とする逆変換部と、復号済み画素と前記制御情報とに基づいてイントラ予測に用いる参照画素を生成して生成情報とする生成部と、前記制御情報と前記生成情報とに基づいて第1予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する蓄積部と、前記蓄積された復号済み画素と前記制御情報とに基づいて第2予測画素を生成する動き補償部と、前記第1予測画素又は前記第2予測画素のいずれかと前記予測残差とを加算して前記復号済み画素を得る加算器とを具備することを要旨とする。
本発明によれば、符号化効率の高い画像復号装置、画像復号方法及びプログラムを提供することができる。
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
<第1実施形態>
以下、図1~図5を参照して、本実施形態に係る画像復号装置200について説明する。図1は、本実施形態に係る画像復号装置200の機能ブロックの一例について示す図である。
以下、図1~図5を参照して、本実施形態に係る画像復号装置200について説明する。図1は、本実施形態に係る画像復号装置200の機能ブロックの一例について示す図である。
図1に示すように、画像復号装置200は、符号入力部210と、復号部201と、逆量子化部202と、逆変換部203と、イントラ予測部204と、生成部205と、加算器206と、蓄積部207と、動き補償部208と、画像出力部220とを有する。
符号入力部210は、画像符号化装置によって符号化された符号情報を取得するように構成されている。
復号部201は、符号入力部210から入力された符号情報から、制御情報並びに量子化値を復号するように構成されている。例えば、復号部201は、かかる符号情報に対して可変長復号を行うことで制御情報及び量子化値を出力するように構成されている。
ここで、量子化値は、逆量子化部202に送られ、制御情報は、イントラ予測部204、生成部205及び動き補償部208に送られる。なお、かかる制御情報は、イントラ予測部204、生成部205及び動き補償部208等の制御に必要な情報を含み、シーケンスパラメータセットやピクチャパラメータセットやピクチャヘッダやスライスヘッダ等のヘッダ情報を含んでもよい。
逆量子化部202は、復号部201から送られた量子化値を逆量子化して復号された変換係数とするように構成されている。かかる変換係数は、逆変換部203に送られる。
逆変換部203は、逆量子化部202から送られた変換係数を逆変換して復号された予測残差とするように構成されている。かかる予測残差は、加算器206に送られる。
イントラ予測部204は、復号部201で復号された制御情報と生成部205で生成された生成情報とに基づいて第1予測画素を生成するように構成されている。なお、第1予測画素は、加算器206に送られる。
蓄積部207は、加算器206から送られた復号済み画素を累積的に蓄積するように構成されている。かかる復号済み画素は、蓄積部207を介して動き補償部208からの参照を受ける。
動き補償部208は、蓄積部207を参照して得られる復号済み画素及び復号部201で復号された制御情報に基づいて、加算器206で予測残差と加算するための第2予測画素を生成するように構成されている。生成された第2予測画素は、加算器206へ送られる。
加算器206は、イントラ予測部204から入力された第1予測画素又は動き補償部208から入力された第2予測画素のいずれかと予測残差とを加算して復号済み画素を得るように構成されている。かかる復号済み画素は、画像出力部220、蓄積部207及びイントラ予測部204へ送られる。
生成部205は、加算器206を介して得られる復号済み画素と復号部201から送られた制御情報とに基づいて、イントラ予測部204においてイントラ予測に用いる参照画素を生成して生成情報とするように構成されている。生成された参照画素は、生成情報として、イントラ予測部204に送られる。
以下、本実施形態に係る画像復号装置200の特徴的な構成である生成部205について説明する。
生成部205の役割は、後段のイントラ予測部204で用いられる参照画素をイントラ予測の方向に応じて適応的に生成することにより、イントラ予測の予測精度を高めて符号化効率を高めることにある。
後段のイントラ予測部204自体は、既存の構成を踏襲できるため、非特許文献2に示すようなハードウェア実装の回路規模の増加を回避する効果が得られる。
図2は、復号対象ブロックを斜めのイントラ予測の方向でイントラ予測させたケースの一例を表している。
非特許文献1では、隣接近傍画素の1ラインだけを用いて復号対象ブロックの予測値を生成し、非特許文献2では、隣接近傍画素の1ラインと任意の非隣接近傍画素の1ラインの2ラインからそれぞれ復号対象ブロックの予測値を生成した上で3:1による重み平均で復号対象ブロックの予測値を生成するように構成されている。
これに対して、生成部205は、複数ラインの近傍画素から近傍画素の変化を予測して新たな参照画素を生成するように構成されている。
例えば、生成部205は、複数の参照ラインを使ってイントラ予測の方向毎に、予測式p_i=α×x+βの係数α、βを求めて適用するように構成されている。ここで、復号対象ブロックの左上座標を(0,0)とし、近傍画素座標をマイナスとし、p_iは、iライン離れた場所の予測方向毎に補間された近傍画素値を表す。
第1に、生成部205は、上述の予測式の係数α_i、β_iを近傍画素から推定するように構成されている。
ここで、生成部205は、4ラインを利用する場合は、p_{-1}=-1×α+β、p_{-2}=-2×α+β、p_{-3}=-3×α+β、p_{-4}=-4×α+βとなるように、最小二乗法で係数α、βを導出するように構成されている。具体的には、生成部205は、以下のように、係数α、βを導出することができる。
α=(-3×p_{-4}-p_{-3}+p_{-2}+3×p_{-1})/10
β=(-p_{-4}+p_{-2})/2+p_{-1}
或いは、生成部205は、2つの代表値を算出して、かかる代表値を結ぶ線分の係数として、係数α、βを導出してもよい。
β=(-p_{-4}+p_{-2})/2+p_{-1}
或いは、生成部205は、2つの代表値を算出して、かかる代表値を結ぶ線分の係数として、係数α、βを導出してもよい。
ここで、生成部205は、代表値として、ライン毎に画素値の上位N個の平均値と下位M個の平均値とを利用してもよいし、復号対象ブロックに近いN個の平均値と復号対象ブロックから遠いM個の平均値とを利用してもよい。
また、生成部205は、イントラ予測の方向毎に近傍画素を得る際に、斜めの角度の場合は、補間フィルタを用いるが、処理負荷を軽減するために、補間フィルタのフィルタ係数を少なくしてもよい。
生成部205は、予測式の係数を推定するのに利用するライン数について、予め固定に設定することもできるし可変に設定することもできる。
また、生成部205は、予測式について、任意の式を利用することができ、予め固定に設定しておくこともできるし可変に設定することもできる。
いずれも可変の場合は、生成部205は、制御信号として復号する。
第2に、生成部205は、イントラ予測の予測方向のライン毎に誤差が小さくなるような異なる値を適応的に上述の係数及び予測式へ代入することで、イントラ予測の参照画素を生成するように構成されている。
例えば、生成部205は、イントラ予測の方向毎に復号対象ブロックの中点となるxで、予測値p_{x}=α×x+βを算出するように構成されている。
生成部205は、イントラ予測の方向が右上から左下の45度の斜めである場合は、左からx=0、x=0.5、x=1…を代入する。一方、生成部205は、イントラ予測の方向が垂直の場合、全てのラインにx=2を代入する。
図3に、4×4画素の復号対象ブロックに対して、イントラ予測の方向が垂直のケースの一例を示す。
ここで、生成部205は、イントラ予測の方向の1ライン毎に近傍画素4画素から予測式の係数α、βを求める。図3の例では、1ライン毎の係数α、βは、左からそれぞれp(x)=3x+12、p(x)=x+10、p(x)=x+5、p(x)=2x+12として導出される。
次に、生成部205は、復号対象ブロックを貫くイントラ予測の1ライン毎の中点を求める。図3の例では、いずれも中点をx=2とした。
続いて、生成部205は、かかる中点の値をそれぞれの予測式に代入して参照画素としての予測値18、12、7、16を算出する。
最後に、生成部205は、かかる予測値が隣接近傍画素1ラインであるかのように生成画素としてイントラ予測部204へ出力すると、イントラ予測部204において、図3に示す予測値が生成される。
別の実施例では、生成部205は、イントラ予測の方向に依存せず固定値を予測式へ代入することでイントラ予測の参照画素を生成するように構成されていてもよい。例えば、全てx=0とした際の予測値p_{x}=βを参照画素とすると、αや中点の算出を省略できるため、計算量を軽減する効果が得られる。
また、生成部205は、上述の新たな参照画素(生成情報)の生成を適用する復号対象ブロックを限定することができる。例えば、ブロックサイズが大きい場合にのみ、上述の新たな参照画素の生成を適用することで処理速度を向上させる効果が得られる。逆にブロックサイズが小さい場合にのみ、上述の新たな参照画素の生成を適用することで符号化効率を向上させる効果が得られる。
同様に、生成部205は、上述の新たな参照画素の生成を適用するイントラ予測方向を限定することができる。例えば、水平垂直の場合にのみ、上述の新たな参照画素の生成を適用することで処理速度を向上させる効果が得られる。逆に、上述の新たな参照画素の生成について水平垂直の場合を除外することで、符号化効率を向上させる効果が得られる。
以降で、新たな参照画素の生成方法に関して、復号部201が復号する制御情報について説明する。
画像復号装置200に入力される符号情報は、シーケンス単位の制御情報をまとめたシーケンスパラメータセット(SPS)を含むことができる。また、かかる符号情報は、ピクチャ単位の制御情報をまとめたピクチャパラメータセット(PPS)或いはピクチャヘッダ(PH)を含むことができる。さらに、かかる符号情報は、スライス単位の制御情報をまとめたスライスヘッダ(SH)を含んでもよい。
図4を参照して、シーケンス単位で新たな参照画素の生成方法を設定する動作の一例について述べる。
図4に示すように、ステップS101において、復号部201は、シーケンスパラメータセットで、sps_gen_enabled_flagが1であるか否かについて判定する。
ここで、sps_gen_enabled_flagは、新たな参照画素の生成の有無を制御するシンタックスであり、sps_gen_enabled_flagが1である場合は、参照画素の生成が有効であることを示し、sps_gen_enabled_flagが0である場合は、参照画素の生成が無効であることを示す。
sps_gen_enabled_flagが1である場合、本動作は、ステップS102に進み、sps_gen_enabled_flagが0である場合、本動作は、終了する。
ステップS102において、復号部201は、近傍画素が利用できるかどうかチェックする。例えば、復号部201は、復号対象ブロックがフレームの端や処理単位(CTU:Coding Tree Unit)の端である場合は、近傍画素を利用できないと判定する。
復号部201は、近傍画素が利用できる場合は、sps_gen_modeを復号する。sps_gen_modeは、参照画素の生成方法を制御するシンタックスである。
sps_gen_modeを用いることで、シーケンス単位で画像特性に応じた参照画素の生成方法の設定を変更できるため、符号化効率を最大化する効果が期待できる。例えば、CGで構成されるシーケンスに対しては画素が線形で変化することが多いので予測式を線形にするように設定でき、自然画像で構成されるシーケンスに対しては予測式を非線形にするように設定できるため、符号化効率の最大化が図れる。
ピクチャ単位で参照画素の生成方法を設定する場合は、復号部201は、pps_gen_enabled_flag及びpps_gen_modeを、ピクチャパラメータセット或いはピクチャヘッダで同様に復号する。
pps_gen_modeを用いることで、ピクチャ単位で画像特性に応じた参照画素の生成方法の設定を変更できるため、符号化効率を最大化する効果が期待できる。
例えば、CGで構成されるピクチャに対しては予測式を線形にするように設定でき、自然画像で構成されるピクチャに対しては予測式を非線形にするように設定できるため、符号化効率の最大化が図れる。
スライス単位で参照画素の生成方法を設定する場合は、復号部201は、sh_gen_enabled_flag及びsh_gen_modeを、スライスヘッダで同様に復号する。
sh_gen_modeを用いることで、スライス単位で画像特性に応じた参照画素の生成方法の設定を変更できるため、符号化効率を最大化する効果が期待できる。
例えば、CGで構成される部分画像が含まれるスライス領域に対しては予測式を線形にするように設定でき、自然画像が含まれるスライス領域に対しては予測式を非線形にするように設定できるため、符号化効率の最大化が図れる。
上位層でのみ設定することで符号量の増大を抑制することもできるし、下位層でも設定した上で下位層での設定を優先することで適応的な制御ができる。
或いは、参照画素の生成方法が事前に設定されている場合は、参照画素の生成方法の復号自体を省略することができる。
なお、上述の例では、シーケンス単位、ピクチャ単位或いはスライス単位で参照画素の生成方法を設定する動作について述べたが、これらを設定せずに、後述のブロック単位で、直接、参照画素の生成方法を設定してもよい。
図5を参照して、ブロック単位で参照画素の生成方法を設定する動作の一例について述べる。
図5に示すように、ステップS201において、復号部201は、sps_gen_enabled_flag、pps_gen_enabled_flag及びsh_gen_enabled_flagのいずれかが1であるか否かについて判定する。
いずれも1ではない場合、本動作は、ステップS202に進み、いずれかが1である場合、本動作は、ステップS203に進む。
ステップS202において、復号部201は、参照画素の生成を適用しないと判断して、本動作は、終了する。
ステップS203において、復号部201は、復号対象ブロックがイントラ予測モードであるか否かについて判断する。
Yesの場合、本動作は、ステップS204に進み、Noの場合、本動作は、ステップS202に進む。
ステップS204において、復号部201は、イントラ予測の方向を表す制御信号であるcu_intra_modeを復号する。
ステップS205において、復号部201は、近傍画素が利用できるかどうかチェックする。例えば、復号部201は、復号対象ブロックがフレームの端や処理単位(CTU)の端である場合は、近傍画素を利用できないと判定する。
Yesの場合、本動作は、ステップS206に進み、Noの場合、本動作は、ステップS202に進む。
ステップS206において、復号部201は、参照画素の生成に用いる近傍画素を表す制御信号であるcu_gen_idxを復号する。
本実施形態に係る画像復号装置200によれば、イントラ予測の参照画素を近傍画素の変化に応じて生成するので、符号化効率を向上させることができる。
<第2実施形態>
以下、図6~図25を参照して、本発明の第2実施形態に係る画像復号装置200について、上述の第1実施形態に係る画像復号装置200との相違点に着目して説明する。
以下、図6~図25を参照して、本発明の第2実施形態に係る画像復号装置200について、上述の第1実施形態に係る画像復号装置200との相違点に着目して説明する。
図6は、本実施形態に係る画像復号装置200の機能ブロックの一例について示す図である。図6に示すように、画像復号装置200は、符号入力部210と、復号部201と、逆量子化部202と、逆変換部203と、イントラ予測部204と、合成部205と、加算器206と、蓄積部207と、動き補償部208と、画像出力部220とを有する。
符号入力部210は、画像符号化装置によって符号化された符号情報を取得するように構成されている。
復号部201は、符号入力部210から入力された符号情報から、制御情報並びに量子化値を復号するように構成されている。例えば、復号部201は、かかる符号情報に対して可変長復号を行うことで制御情報及び量子化値を出力するように構成されている。
ここで、量子化値は、逆量子化部202に送られ、制御情報は、イントラ予測部204、合成部205及び動き補償部208に送られる。なお、かかる制御情報は、イントラ予測部204、合成部205及び動き補償部208等の制御に必要な情報を含み、シーケンスパラメータセットやピクチャパラメータセットやピクチャヘッダやスライスヘッダ等のヘッダ情報を含んでもよい。
逆量子化部202は、復号部201から送られた量子化値を逆量子化して復号された変換係数とするように構成されている。かかる変換係数は、逆変換部203に送られる。
逆変換部203は、逆量子化部202から送られた変換係数を逆変換して復号された予測残差とするように構成されている。かかる予測残差は、加算器206に送られる。
イントラ予測部204は、復号済み画素と復号部201から送られた制御情報とに基づいて第1予測画素を生成するように構成されている。ここで、復号済み画素は、加算器206を介して得られて蓄積部207に蓄積されるものである。なお、第1予測画素は、加算器206に送られる。
蓄積部207は、加算器206から送られた復号済み画素を累積的に蓄積するように構成されている。かかる復号済み画素は、蓄積部207を介して動き補償部208からの参照を受ける。
動き補償部208は、蓄積部207を参照して得られる復号済み画素及び復号部201で復号された制御情報に基づいて、加算器206で予測残差と加算するための第2予測画素を生成するように構成されている。生成された第2予測画素は、加算器206或いは合成部205へ送られる。
加算器206は、復号済み画素等から生成された第1~第3予測画素のいずれかと、逆変換部203から送られる予測残差とを加算して復号済み画素を得るように構成されている。かかる復号済み画素は、画像出力部220、蓄積部207及びイントラ予測部204へ送られる。
合成部205は、復号部201によって復号された制御情報に基づいて、上述の第1予測画素及び第2予測画素の少なくとも一方を含む任意の組み合わせを、複数の線分で分割された小領域にそれぞれ合成して第3予測画素とするように構成されている。
以下、本実施形態に係る画像復号装置200の特徴的な構成である合成部205について説明する。
合成部205の役割は、後段の加算部206で復号済み画素を算出する際に、予測残差を少ない符号量で表現できるように復号対象ブロックを複数の小領域に分割(小領域分割)し、それぞれに対応する第1予測画素或いは第2予測画素を合成(合成予測)することで復号対象ブロックの画素を高精度に予測することにある。
図7は、小領域分割として、幾何学分割モード(GPM)を用いたケースの一例について示す。図7の例では、復号対象ブロックが、斜めの1直線で小領域A及び小領域Bに分割されている。
しかしながら、幾何学分割モードでは、分割が1直線に限定されるため、前景と背景との境界が複雑な場合に対応できず、符号化効率を十分に改善できないという問題がある。
(複数線分分割モードの基本概念)
かかる問題を解決するため、本実施形態に係る画像復号装置200では、合成部205が、復号対象ブロックをN(Nは、1より大きい自然数)本の線分で分割するという手順を取る。
かかる問題を解決するため、本実施形態に係る画像復号装置200では、合成部205が、復号対象ブロックをN(Nは、1より大きい自然数)本の線分で分割するという手順を取る。
例えば、図8は、N=2本の線分で復号対象ブロックを分割したケースの一例を示し、図9は、N=3本の線分で復号対象ブロックを分割したケースの一例を示す。
このような複数(N本)の線分による復号対象ブロックの小領域分割及び合成予測を、以降では「複数線分分割モード」と記す。
合成部205は、制御情報で、複数線分分割モードの分割種類について判定してもよい。詳細は、後述する。
複数線分分割モードにおける線分の数Nを増やすことで予測精度を高められる効果が得られ、複数線分分割モードにおける線分の数Nを少なくすることで分割形状を表現する制御情報の符号量を抑制できる効果が得られる。
合成部205は、複数線分分割モードにおける線分の数Nについて固定値に設定してもよい。例えば、合成部205は、上述のように、N=2、N=3、N=4、N=5等を設定してもよい。
合成部205は、復号対象ブロックの短辺の長さ、長辺の長さ、サイズ(面積)又は縦横比によらず、かかる固定値を共通の値に設定してもよい。
或いは、合成部205は、復号対象ブロックの短辺の長さ、長辺の長さ、サイズ(面積)又は縦横比に基づいて、かかる固定値を異なる値に設定してもよい。
また、合成部205は、複数線分分割モードにおける線分の数Nを可変に設定してもよい。例えば、合成部205は、複数線分分割モードにおける線分の数Nを可変に設定する場合は、復号対象ブロックの短辺の長さ、長辺の長さ、サイズ(面積)に比例させて、かかる線分の数Nを決定してもよい。
また、合成部205は、分割形状を表現する制御情報の符号量を抑制するため、複数の線分の位置関係及び角度の少なくとも一方を限定してもよい。
例えば、合成部205は、1本目の線分については、復号対象ブロックの水平方向(0度)或いは垂直方向(90度)だけに限定してもよい。さらに、合成部205は、n+1本目の線分については、n本目の線分に対して垂直方向(90度)のみに限定してもよい。
ただし、復号対象ブロックを田の字に4等分するような分割形状は、非特許文献1で開示されている再帰的な矩形のブロック分割(四分木・二分木・三分木分割)で実現できるため、合成部205は、かかる既存のブロック分割で実現可能な配置については選択できないように限定することが望ましい。
かかる限定を適用することは、例えば、複数線分分割モードにおける線分の数N=2の場合は、図10に示す複数の分割点で水平方向及び垂直方向に分割するパターン(32パターン)の中から、復号対象ブロックの分割形状(複数の線分)を選択することに相当する。
或いは、かかる限定を適用することは、1本目の線分が、水平方向(0度)及び垂直方向(90度)に加えて斜め方向(45度)となり得る場合は、図10に示すパターン及び図11に示す斜め方向に分割するパターンの中から、復号対象ブロックの分割形状(複数の線分)を選択することに相当する。
ここで、上述の限定を少なくすることで予測精度を高められる効果が得られ、上述の限定を多くすることで分割形状を表現する制御情報の符号量を削減できる効果が得られる。
合成部205は、上述の限定方法について、固定的に設定することもできるし可変的に設定することもできる。
また、合成部205は、復号対象ブロックの大きさ(短辺の長さ、長辺の長さ、サイズ(面積)又は縦横比等)に応じて異なる限定を設定することができる。
例えば、図10に示す分割点について、かかる分割点を一定画素数ごとに配置すると、分割点の数は、復号対象ブロックの辺の長さに比例する。
逆に、合成部205は、かかる分割点の配置を変更することで、復号対象ブロックの大きさに依存せず、分割点の数を固定的に設定することができる。
例えば、合成部205は、復号対象ブロックの縦方向或いは横方向に固定的にK個(Kは、自然数)の分割点の数を配置する場合、復号対象ブロックの辺の長さL(Lは、自然数)と画素との比率として、L/(K+1)画素ごとに分割点を配置してもよい。
ここで、Lは、非特許文献1のように、4、8、16、32、64又は128のように、4以上の2のべき乗の自然数であってもよい。同様に、Kも、4、8、16、32、64又は128のように、4以上の2のべき乗の自然数であってもよい。
また、Kの取りうる値については、L/(K+1)画素が4、8、16、32、64又は128のように、4以上の2のべき乗の自然数になるように制限してもよい。
また、合成部205は、復号対象ブロックの縦横比が異なる場合、復号対象ブロックの縦及び横の辺(縦幅と横幅)に対して、異なるK個の分割点を設定してもよい。
また、合成部205は、図10の復号対象ブロックの中心を分割点に含めてもよい。
分割点の数を増やすことで予測精度を高められる効果が得られ、分割点の数を減らすことで分割形状を表現する符号量を削減できる効果が得られる。
(複数線分分割モードにおける第3予測画素の生成方法)
以降で、複数線分分割モードにおける合成部205による第3予測画素の生成方法について説明する。
以降で、複数線分分割モードにおける合成部205による第3予測画素の生成方法について説明する。
合成部205は、複数線分分割された復号対象ブロックの小領域A及び小領域Bに対するそれぞれの予測画素を分割線の距離に応じて重み付け平均(すなわち、合成予測)するように構成されている。
かかる小領域A及び小領域Bの予測画素の種類は、非特許文献1で開示されている幾何学分割モードのように異なるインター予測画素の組み合わせであってもよいし、非特許文献3で開示されている幾何学分割モードイントラ予測のようにインター予測画素とイントラ予測画素との組み合わせであってもよいし、異なるイントラ予測画素の組み合わせであってもよい。
ここで、異なるインター予測画素は、異なる動きベクトルに基づき生成され、異なるイントラ予測画素は、異なるイントラ予測モードで生成される。
合成部205による小領域Aと小領域Bとの合成予測については、非特許文献1や非特許文献4で開示されている幾何学分割モードの合成予測向けに使用されているような分割線からの距離に応じた重み付け平均を使用できる。
複数の予測画素に対する重み係数の合計値は、画素ごとに1になるように設計しておき、かかる重み係数を用いて複数の予測画素を重み付け平均により合成した結果を合成部205による予測画素とする。
ここで、重み係数を1(すなわち、最大値)とした画素は、当該入力予測画素を採用し、重み係数を0(すなわち、最小値)とした画素は、当該入力予測画素を用いないことになるため、概念としては、単位ブロックを複数の小領域に分割することに相当し、複数の入力予測画素のどの画素をどの割合でどこに適用するかを決定することになる。
図12は、図7に示す小領域Bの分割境界に割り当てる3パターンの重み係数の一例を示す。図12の例では、分割境界(分割線)の位置から画素単位の距離を横軸とし、縦軸に重み係数を表す。
具体的には、予め設定した分割境界の位置からの予測画素単位の距離a,bに対して[a,b]の範囲に重み係数[0,1]を割り当てたパターン(1)と、同様に距離a,bをそれぞれ2倍にして[2a,2b]の範囲に重み係数[0,1]を割り当てたパターン(2)と、同様に距離a,bをそれぞれ1/2倍にして[a/2,b/2]の範囲に重み係数[0,1]を割り当てたパターン(3)とを用意している。
これらは、重み係数が分割境界(分割線)からの距離d(xc,yc)によって一意に定められるxc,ycとして規定される場合、非特許文献4で開示されている小領域の分割境界の幅、すなわち、重み係数が最小値又は最大値以外になる幅τに対して、限定パターン(固定値)ではなく複数パターン(可変値)を用意することに等しい。
ここで、xc,ycは、復号対象ブロック内の座標である。すなわち、合成部205は、分割境界からの画素間距離に応じて複数の重み係数を設定するように構成されていてもよい。
なお、a=bとして分割境界に対して対称的な重み係数を設定してもよい。すなわち、合成部205は、上述の重み係数として、分割境界に対して対称的な重み係数を設定するように構成されていてもよい。かかる構成によれば、bが不要になることから符号量を少なくことができる。
また、a≠bとして分割境界に対して非対称な重み係数を設定してもよい。すなわち、合成部205は、上述の重み係数として、分割境界に対して非対称な重み係数を設定するように構成されていてもよい。かかる構成によれば、境界の両側で異なるボケ具合がある場合に、高精度に予測することができる。
また、a及びbの2個に限らず数を増やして複数の線分等で重み係数を設定することもできる。すなわち、合成部205は、分割境界からの画素間距離に応じて複数の線分で重み係数を設定するように構成されていてもよい。かかる構成によれば、非線形にボケが発生している場合に、高精度に予測することができる。
このように、分割境界からの画素間距離に応じて複数の重み係数を設定することで、8×8や64×16等、様々なブロックサイズでも一律に導出できる効果が得られる。
合成部205は、上述のパターンの種類、形状及び数については、任意に設定できる。
例えば、上述の例では、複数パターンとして距離a,bの2倍と1/2倍を説明したが、4倍や1/4倍であってもよい。また、上式では、重み係数を0~8の値に設定したが、0~16や0~32等の他の値に設定することもできる。特に、分割境界からの画素間距離が2倍や4倍の場合は、重み係数の最大値を大きくすることで、画素単位の重み付け平均が高精度化できる。
合成部205は、小領域A及び小領域Bに対する複数の重み係数(ブレンディング領域の幅、重み係数の最大値及び最小値)の設定について、復号部201から送られた制御情報に基づいて、予め用意された組み合わせの中から選択してもよい。
例えば、合成部205は、非特許文献4に開示されているように、かかる制御情報を用いて、予め用意された複数パターン(非特許文献4では、1/4倍幅、1/2倍幅、1倍幅、2倍幅及び4倍幅の5パターン)から、上述の重み係数を選択してもよい。
或いは、合成部205は、非特許文献4で開示されているように、制御情報を用いつつ、復号対象ブロックのサイズ、短辺の長さ、長辺の長さ又はアスペクト比に応じて、予め用意された複数パターンの候補から選択可能な候補を削減した後、制御情報が示すブレンディング幅を選択してもよい。
ここで、複数線分分割モードでは、非特許文献1、3、4で開示されている幾何学分割モード向けの合成予測とは異なり、小領域を分割する分割境界(分割線)が複数存在するため、それらの複数の分割線に対して合成予測が行われる。
図13は、図10に示すように、復号対象ブロックに対して垂直方向及び水平方向2本の分割線で分割境界が構成され、それら2つの分割線(分割線1と分割線2)からの距離に応じて予測画素単位で合成予測が行われるケースの一例を示す。
これらの複数の分割線に対する合成予測に対して、合成部205は、共通の重み付き平均を適用してもよい。
或いは、合成部205は、前述した異なる重み係数の最大値及び分割線からの距離で構成される重み付き平均を適用してもよい。
さらに、合成部205は、復号対象ブロックの短辺の長さ、長辺の長さ、縦横比、サイズ(画素数)又は分割モードの種類の少なくとも1つに応じて、複数の重み係数の中から重み係数を選択するように構成されていてもよい。
或いは、合成部205は、小領域A又は小領域Bにイントラ予測が適用される場合、そのイントラ予測モードの種類に応じて、複数の重み係数の中から重み係数を選択するように構成されていてもよい。
或いは、合成部205は、複数線分分割モードによって、復号対象ブロック内で区分される小領域A又は小領域Bのサイズ(画素数)に応じて、複数の重み係数の中から重み係数を選択するように構成されていてもよい。
或いは、合成部205は、分割線の大きさ(画素数)に応じて、複数の重み係数の中から重み係数を選択するように構成されていてもよい。
或いは、合成部205は、分割線の方向が、復号対象ブロックに対して水平方向又は垂直方向である場合、同じ方向の復号対象ブロックの辺との比率に応じて、複数の重み係数の中から重み係数を選択するように構成されていてもよい。
また、複数線分分割モードでは、分割境界を構成する線分が複数存在する性質上、重み付き平均における重み係数が最大値或いは最小値である領域、すなわち、異なる複数の予測画素が合成予測される領域(ブレンディング領域)が各分割線の垂直方向に重複する場合がある。
図14は、分割線1及び分割線2に対するブレンディング領域(図14(a)における灰色の領域)の一例について説明するための図である。
図14(a)に示すように、分割線1及び分割線2に対するブレンディング領域が重複する領域(以下、重複ブレンディング領域)が破線の枠で示される。
また、図14(b)に、分割線1に関して小領域Aの予測画素に適用する重み係数W_1Aの例、及び、分割線2に関して小領域Aの予測画素に適用する重み係数W_2Aの例を示す。
それぞれの小領域Bに対する重み係数W_1B及び重み係数W_2Bは、重み係数の最大値からW_1A及びW_2Aを差し引いた値を取る。
合成部205は、ブレンディング領域及び重複ブレンディング領域の第3予測画素を、図14(c)の計算例1に示すように、重み係数の各要素W_1A及びW_2Aの最小値を選択して新たに生成される重み係数を用いて予測合成してもよい。
或いは、合成部205は、ブレンディング領域及び重複ブレンディング領域の第3予測画素を、図14(c)の計算例2に示すように、重み係数の各要素W_1A及びW_2Aの積を算出して新たに生成される重み係数を用いて予測合成してもよい。
(複数線分分割モードの適用可不可及び分割種類の判定方法)
以降で、復号部201によって復号される制御情報について説明する。
以降で、復号部201によって復号される制御情報について説明する。
画像復号装置200に入力される符号情報は、シーケンス単位の制御情報をまとめたシーケンスパラメータセット(SPS)を含むことができる。また、かかる符号情報は、ピクチャ単位の制御情報をまとめたピクチャパラメータセット(PPS)或いはピクチャヘッダ(PH)を含むことができる。さらに、かかる符号情報は、スライス単位の制御情報をまとめたスライスヘッダ(SH)を含んでもよい。
図15を参照して、シーケンス単位で複数線分分割モードの選別方法を設定する動作の一例について述べる。
図15に示すように、ステップS101において、復号部201は、シーケンスパラメータセットで、sps_div_enabled_flagが1であるか否かについて判定する。
ここで、sps_div_enabled_flagは、分割モードの有無を制御するシンタックスであり、sps_div_enabled_flagが1である場合は、分割モードが有効であることを示し、sps_div_enabled_flagが0である場合は、分割モードが無効であることを示す。
sps_div_enabled_flagが1である場合、本動作は、ステップS102に進み、sps_div_enabled_flagが0である場合、本動作は、終了する。
ステップS102において、復号部201は、sps_div_multi_flagを復号する。
ここで、sps_div_multi_flagは、複数線分分割モードの有無を制御するシンタックスであり、sps_div_multi_flagが1である場合は、複数線分分割モードが有効(N>1)であることを示し、sps_div_multi_flagが0である場合は、数線分分割モードが無効(N=1)であることを示す。
sps_div_multi_flagが1である場合、本動作は、ステップS103に進み、sps_div_multi_flagが0である場合、本動作は、終了する。
ステップS103において、復号部201は、sps_div_multi_modeを復号する。ここで、sps_div_multi_modeは、複数線分分割モードを制御するシンタックスである。
sps_div_multi_modeを用いることで、シーケンス単位で画像特性に応じた複数線分分割モードの設定を変更できるため、符号化効率を最大化する効果が期待できる。
例えば、CGで構成されるシーケンスに対しては水平方向及び垂直方向を含む境界が多いので直角からなる分割種類に限定するように設定でき、自然画像で構成されるシーケンスに対しては分割種類の限定を緩和するように設定できるため、符号化効率の最大化が図れる。
ピクチャ単位で境界幅候補の選別方法を設定する場合は、復号部201は、pps_div_enabled_flag、pps_div_multi_flag及びpps_div_multi_modeを、ピクチャパラメータセット或いはピクチャヘッダで同様に復号する。
pps_div_multi_modeを用いることで、ピクチャ単位で画像特性に応じた複数線分分割モードの設定を変更できるため、符号化効率を最大化する効果が期待できる。
例えば、CGで構成されるピクチャに対しては直角からなる分割種類に限定するように設定でき、自然画像で構成されるピクチャに対しては分割種類の限定を緩和するように設定できるため、符号化効率の最大化が図れる。
スライス単位で境界幅候補の選別方法を設定する場合は、復号部201は、sh_div_enabled_flag、sh_div_multi_flag及びsh_div_multi_modeを、スライスヘッダで同様に復号する。
sh_div_multi_modeを用いることで、スライス単位で画像特性に応じた複数線分分割モードの設定を変更できるため、符号化効率を最大化する効果が期待できる。
例えば、CGで構成される部分画像が含まれるスライス領域に対しては直角からなる分割種類に限定するように設定でき、自然画像が含まれるスライス領域に対しては分割種類の限定を緩和するように設定できるため、符号化効率の最大化が図れる。
上位層でのみ設定することで符号量の増大を抑制することもできるし、下位層でも設定した上で下位層での設定を優先することで適応的な制御ができる。
或いは、複数線分分割モードが事前に設定されている場合は、複数線分分割モードの復号自体を省略することができる。
なお、上述の例では、シーケンス単位、ピクチャ単位或いはスライス単位で、複数線分分割モードを設定する方法を述べたが、これらを設定せずに、後述のブロック単位で、直接、複数線分分割モードを設定してもよい。
この場合、複数線分分割モードの設定の自由度が低下するが、上述のヘッダ情報の増加を回避できる。
図24を参照して、シーケンス単位で複数線分分割モードの選別方法を設定する動作の変更例について述べる。
図24に示すように、図24と図15との差異は、ステップS104が含まれる点にある。
ステップ104において、復号部201は、シーケンスパラメータセットで、後述するテンプレートマッチングに基づく分割モードを特定するためのcu_div_idx(制御情報)の復号値に対応付けられる分割モードの並び替えに関する技術(以下、テンプレートに基づく分割モード添え字並び替え)が有効であるか否かを、シーケンス単位で制御するsps_div_template_reordering_enabled_flag(制御情報)が1であるか否かによって判定する。
ここで、sps_div_template_reordering_enabled_flagが1である場合は、テンプレートに基づく分割モード添え字並び替えが有効であることを示し、sps_div_template_reordering_enabled_flagが0である場合は、テンプレートに基づく分割モード添え字並び替えが無効であることを示す。
なお、sps_div_template_reordering_enabled_flagは、復号部201によりステップS104より前に復号されるか或いは復号されずに値が推定される。
sps_div_template_reordering_enabled_flagが復号されない場合は、復号部201は、sps_div_template_reordering_enabled_flagの値を0と推定する。
復号部201は、sps_div_template_reordering_enabled_flagが1(Yes)である場合は、ステップS102に進む。sps_div_template_reordering_enabled_flagが0(No)である場合は、本処理を終了する。
詳細は後述するが、テンプレートに基づく分割モード添え字並び替えは、分割モード添え字の符号長を短縮する効果がある。そのため、テンプレートに基づく分割モード添え字並び替えが有効である場合にのみ、複数線分割モードを有効と判定することで、複数線分分割モードの種類或いは複数線分分割モードを含んだ分割モードの種類を対象ブロック単位で特定するためのcu_div_idxの符号量を削減でき、結果として符号化性能の向上が期待できる。
図16を参照して、ブロック単位で複数線分分割モードの選別方法を設定する動作の一例について述べる。
図16に示すように、ステップS201において、復号部201は、sps_div_enabled_flag、pps_div_enabled_flag及びsh_div_enabled_flagのいずれかが1であるか否かについて判定する。
いずれも1ではない場合、本動作は、終了し、いずれかが1である場合、本動作は、ステップS202に進む。
ステップS202において、復号部201は、復号対象ブロックが分割モードであるか否かについて判断する。
Yesの場合、本動作は、ステップS203に進み、Noの場合、本動作は、終了する。
ステップS203において、復号部201は、分割モードを表す制御信号であるcu_div_idxを復号する。
cu_div_idxは、復号対象ブロックに適用される最下層のdiv_multi_modeで選別される複数線分分割モードの候補中の1つを特定するよう復号される。
復号部205は、上述のcu_div_idxを復号して、復号した値に応じて複数線分分割モードを特定する。
例えば、図10に示す複数線分分割モードの32パターンの分割モード候補に対応付けられた図23に示すような32パターンのcu_div_idxの復号値が用意される。
cu_div_idxの各復号値は、図10に示す複数線分分割モードのパターンを特定するための4パターンの分割方向(左上、右上、右下又は左下のいずれに分割境界(分割線で区分された領域)があるか)を示す内部パラメータであるdivDirectionIdx及び8パターンの分割点を決める内部パラメータであるdivLocationIdxにそれぞれ対応する。
この複数線分分割モードを非特許文献1の幾何学分割モードに追加適用する場合は、cu_div_idxを、幾何学分割モードを特定するmerge_gpm_partition_idxの64パターンの復号値が対応付けられたテーブルに追加することで実現できる。
merge_gpm_partition_idxは、幾何学分割モードの64パターンの分割線を表現するための20パターンの角度を表すangleIdx及び4パターンの距離を表すdistanceIdxに対応付けられる。
複数線分分割モードを幾何学分割モードに追加適用する場合は、内部パラメータとして、divDirectionIdx及びdivLocationIdxを、angleIdx及びdistanceIdxの新たな値として構成すれば、復号部201が、merge_gpm_partition_idxの復号によって、幾何学分割モードに加えて、複数線分分割モードのパターンを特定できる。
図25を参照して、ブロック単位で複数線分分割モードを含む分割モードの選別方法を設定する動作の一例について述べる。
図25に示すように、図25と図16との差異は、ステップS204及びステップS205が含まれる点にある。
ステップ104では、復号部201は、所定条件を満たすかどうかを判定する。復号部201は、所定条件を満たすと判定した場合は、ステップS205に進み、所定条件を満たさないと判定した場合は、ステップS203に進む。
ここで、所定条件には、対象ブロックのブロックサイズが所定のブロックサイズ以下(或いは、未満)であるという条件が含まれてもよい。所定のブロックサイズとしては、例えば、8×8画素、16×16画素、32×32画素、64×64画素、128×128画素のような、2のべき乗の画素数で指定してもよい。
複数線分分割モードは、対象ブロック内を複数の線分で分割するという性質上、大サイズブロックでは、複数の線分による分割境界がブロック内にあるブロック境界に整合しづらい。
一方で、小サイズブロックでは複数の線分による分割境界がブロック内にあるブロック境界に整合しやすいため、上述のように大サイズブロックを制限するようにブロックサイズの閾値を設定することで、小サイズブロックにのみ複数線分分割モードを有効にすることができ、結果として符号化性能が向上できる。
変更例として、対象ブロックのブロックサイズに基づく閾値判定ではなく、対象ブロックの短辺に基づく閾値判定であってもよい。
具体的には、ステップS204の所定条件に対象ブロックの短辺が所定の画素以下(或いは、は未満)であるという条件が含まれてもよい。所定の画素は、例えば、8画素、16画素、32画素、64画素、128×128画素のような、2のべき乗の画素数で指定してもよい。
これにより、上述した対象ブロックのブロックサイズに基づく閾値判定と同様の効果が得られる。
逆に、この所定条件に対して、対象ブロックのブロックサイズが所定のブロックサイズ以上である(或いは、より大きい)という条件が含まれてもよい。所定のブロックサイズは、例えば、4×4画素、8×8画素、16×16画素、32×32画素のような、2のべき乗の画素数で指定してもよい。
複数線分分割モードは、対象ブロック内を複数の線分で分割するという性質上、上述の通り、小サイズブロックでは、複数の線分による分割境界がブロック内にあるブロック境界に整合しやすいが、極度に小さいブロックサイズでは、複数の線分同士或いは複数の線分と対象ブロック境界との間の距離が短くなるため、対象ブロック内を1つの線分で分割する従来の分割モードや従来の符号化ブロック分割との差異が生じづらい。
よって、極度に小さいブロックサイズに対して、上述のように、ブロックサイズに基づく閾値判定により、極度に小さいサイズの対象ブロックへの複数線分分割モードを無効にできるため、複数線分分割モードの特定に必要な制御情報の符号量が削減され、結果として符号化性能が向上する。
変更例として、対象ブロックのブロックサイズに基づく閾値判定ではなく、対象ブロックの長編に基づく閾値判定であってもよい。具体的には、ステップS204の所定条件に対象ブロックの長辺が所定の画素以上(或いは、より大きい)であるという条件が含まれてもよい。所定の画素は、例えば、4画素、8画素、16画素、32画素のような、2のべき乗の画素数で指定してもよい。
これにより、上述した対象ブロックのブロックサイズに基づく閾値判定と同様の効果が得られる。
復号部201は、シーケンスパラメータセットで、後述するテンプレートマッチングに基づく、分割モードを特定するためのcu_div_idx(制御情報)の復号値に対応付けられる分割モードの並び替えに関する技術(以下、テンプレートに基づく分割モード添え字並び替え)が有効であるか否かをシーケンス単位で制御するsps_div_template_reordering_enabled_flag(制御情報)が1であるか否かについて判定する。
sps_div_template_reordering_enabled_flagが1である場合は、テンプレートに基づく分割モード添え字並び替えが有効であることを示し、sps_div_template_reordering_enabled_flagが0である場合は、テンプレートに基づく分割モード添え字並び替えが無効であることを示す。
復号部201は、sps_div_template_reordering_enabled_flagが1(Yes)である場合は、ステップS102に進む。
一方、復号部201は、sps_div_template_reordering_enabled_flagが0(No)である場合は、本処理を終了する。
詳細は、後述するが、テンプレートに基づく分割モード添え字並び替えは、分割モード添え字の符号長を短縮する効果がある。そのため、テンプレートに基づく分割モード添え字並び替えが有効である場合にのみ、複数線分割モードを有効と判定することで、複数線分分割モードの種類或いは複数線分分割モードを含んだ分割モードの種類を復号対象ブロック単位で特定するためのcu_div_idx(制御情報)の符号量を削減でき、結果として符号化性能の向上が期待できる。
(複数線分分割モード向けの動き情報の導出方法)
以下、複数線分分割モード向けの動き情報の導出方法について説明する。
以下、複数線分分割モード向けの動き情報の導出方法について説明する。
複数線分分割モードで分割される小領域A又は小領域Bに対する動き情報は、非特許文献1で開示されている幾何学分割モードと同じ動き情報の導出方法を適用してもよい。
具体的には、動き補償部208は、小領域A及び小領域Bに対して、復号対象ブロックの近傍ブロックの動き情報から構成される動き情報候補リスト(マージ候補リスト)を作成し、画像符号化装置から伝送される当該マージ候補リスト内の動き情報を識別する制御情報(マージインデックス)を用いて、当該マージ候補リストの中から動き情報を導出する。
小領域A及び小領域Bがいずれもインター予測である場合は、復号部201は、それぞれに異なる動き情報が導出されるように、異なる動き情報の候補を示すマージインデックスを復号する。
なお、動き情報候補リストに動き情報の候補を導出して登録する方法として、非特許文献1では空間マージという技術が開示されている。具体的には、図22に示す復号対象ブロックに隣接するA0、A1、B0、B1、B2の位置にある動き情報を、復号対象ブロックの動き情報の候補(空間マージ候補)として、動き情報候補リストに登録する。
動き補償部208は、この動き情報候補リストに登録可能な空間マージ候補を、複数線分分割モードに応じて限定してもよい。具体的には、複数線分分割モードに応じて区分される各小領域に隣接する空間マージのみに登録を限定してもよい。
各小領域に対していずれの空間マージ候補も隣接しない場合は、登録可能な空間マージ候補を、最近接の空間マージ候補のみに限定するか、或いは、全M個(Mは自然数、上述では5個のケースを例示)に対して近接位置にあるN個(Nは自然数、N<M)の空間マージ候補のみに限定してもよい。
また、複数線分分割モードにより区分される小領域が復号対象ブロックの右下端に位置するといった、全ての空間マージ候補から距離が離れている場合は、この小領域に対して全ての候補を登録対象に含めてもよい。
なお、図22では、空間マージ候補として、復号対象ブロックの左上端1個、右端2個、左下端2個の合計5個のケースを例示しているが、B2とB0との間や、B2とA0との間といった、非特許文献1に対して新たな空間マージ候補位置を扱うケースであっても、本技術が適用できる。
(複数線分分割モード向けのイントラ予測モードの導出方法)
以下、複数線分分割モード向けのイントラ予測モードの導出方法について説明する。
以下、複数線分分割モード向けのイントラ予測モードの導出方法について説明する。
合成部205は、複数線分分割モードで分割される小領域A又は小領域Bに対するイントラ予測モードについて、各分割線に対して、平行な角度予測モード(Angular予測モード)を適用してもよい。
或いは、合成部205は、複数線分分割モードで分割される小領域A又は小領域Bに対するイントラ予測モードについて、各分割線に対して、垂直な角度予測モード(Angular予測モード)を適用してもよい。
図17は、分割線1に対して平行な角度予測モードを適用するケースの一例を示す。
或いは、合成部205は、複数線分分割モードで分割される小領域A又は小領域Bに対するイントラ予測モードについて、非特許文献3で開示されている隣接画素の解析に基づく導出技術を用いて導出してもよい。
以下に、3種類の導出技術について説明する。
[隣接参照画素に基づくイントラ予測モード導出方法1]
以下、図18~図20を用いて、非特許文献3に係る通常イントラ予測に対する隣接参照画素に基づくイントラ予測モードの導出方法、及び、かかる導出方法を応用した本実施形態に係る幾何学分割モードに対する隣接参照画素に基づくイントラ予測モードの導出方法1を説明する。
以下、図18~図20を用いて、非特許文献3に係る通常イントラ予測に対する隣接参照画素に基づくイントラ予測モードの導出方法、及び、かかる導出方法を応用した本実施形態に係る幾何学分割モードに対する隣接参照画素に基づくイントラ予測モードの導出方法1を説明する。
図18は、非特許文献3に係る通常イントラ予測に対する隣接参照画素に基づくイントラ予測モードの導出方法、及び、かかる導出方法を応用した本実施形態に係る幾何学分割モードに対する隣接参照画素に基づくイントラ予測モードの導出方法1の一例を示す図である。以降では、これらの導出方法を総じて「DIMD(Decoder-side Intra Mode Derivation)」と呼称する。
非特許文献3では、かかるDIMDにおいて、図18に示すように、復号対象ブロックに隣接する隣接参照画素に対して、3×3画素のウインドウサイズの横及び縦方向のSobelフィルタを適用して、通常イントラ予測向けの全Angular予測モードに対する画素値のヒストグラムを計算する。ここで、Sobelフィルタを適用して各Angular予測モードに対応付けるための隣接参照画素の角度及び画素値の計算方法については、非特許文献3と同じ構成を本実施形態でも採ることができるため、詳細な説明は省略する。
非特許文献3では、また、復号対象ブロックのブロックサイズに応じて、ヒストグラムの計算に使用する隣接参照画素領域が、図18に示すように制御されている。具体的には、4×4画素ブロックでは、復号対象ブロックの最上左端の画素の上及び左のそれぞれの3×3画素領域のみを使用して、ヒストグラムが計算される。
非特許文献3では、計算されたヒストグラムの中で最高及び次点の画素値であるイントラ予測モード及びPlanarモードを用いてイントラ予測画素が生成され、さらに、生成されたイントラ予測画素が所定の重み値を用いて加重平均されて、最終的なイントラ予測画素が生成される。
本実施形態では、合成部205は、上述の非特許文献3で開示されているDIMDを複数線分分割モードのイントラ予測モードの導出のみに適用してもよい。すなわち、導出された複数のイントラ予測モードを用いたイントラ予測画素の合成/生成処理は行わない。
これにより、複数線分分割モードのイントラ予測領域(Intra/Intra-複数線分分割モードの場合は、2つのイントラ予測領域)に対して、1つのイントラ予測モードでイントラ予測画素生成できるため、ハードウェア実装された画像復号装置における複数線分分割モードのイントラ予測画素の生成に必要な回路規模の増大を回避しつつ、復号対象ブロックの隣接参照画素のヒストグラムの解析によって、複数線分分割モードの分割形状に適したエッジ等のテクスチャを反映したイントラ予測を適用できるようになるため、イントラ予測性能が向上し、結果として符号化性能の改善が期待できる。
なお、本実施形態において、非特許文献3と同様に、復号部201は、DIMDの適用可不可を判定するフラグを復号或いは推定することで、イントラ予測モードを導出するかしないかについて判定するように構成してもよい。
また、本実施形態に係る合成部205は、複数線分分割モード向けのイントラ予測モード候補リストに既に同一のイントラ予測モードが含まれない場合は、かかるDIMDにより導出したイントラ予測モードを登録し、複数線分分割モード向けのイントラ予測モード候補リストに既に同一のイントラ予測モードが含まれる場合は、かかるDIMDにより導出したイントラ予測モードを登録しないように構成されていてもよい。
かかる構成によれば、イントラ予測モード候補リスト内に同じイントラ予測モードが重複して登録されることを回避できる。
ここで、かかるイントラ予測モード候補リストに対する新規のイントラ予測モードを登録する際に、既存のイントラ予測モードとの一致性を比較して、両者が一致する場合は、剪定する処理を、以降では、「イントラ予測モード候補剪定処理」と呼称する。
また、本実施形態に係る合成部205は、かかるDIMDにより導出したイントラ予測モードのうち、イントラ予測モード候補リストに登録するイントラ予測モード数を1つに限定してもよい。その場合、合成部205は、ヒストグラムの中から最高画素値(輝度値)であるAngular予測モードを導出する。
なお、上述のイントラ予測モード候補剪定処理で、最高画素値(輝度値)であるAngular予測モード(以下、1st Angular予測モード)が剪定される場合は、順次ヒストグラムの高い方から既存のイントラ予測モードと比較して、両者が一致しないものを登録してもよい。
或いは、上述のイントラ予測モード候補剪定処理で、1st Angular予測モードが剪定される場合は、DIMDによるイントラ予測モードの導出処理を終了してもよい。
変更例として、DIMDにより導出したイントラ予測モードのうち、イントラ予測モード候補リストに登録するイントラ予測モード数を2つに限定してもよい。かかる場合、合成部205は、ヒストグラムの中から1st Angular予測モード及び最高画素値(輝度値)の次点である2nd Angular予測モードを導出する。
なお、1st Angular予測モード又は2nd Angular予測モードが剪定される場合は、上述の場合と同様に、これらの次にヒストグラムの高い方から既存のイントラ予測モードと比較して、両者が一致しないものを登録してもよいし、そのままDIMDによるイントラ予測モードの導出処理を終了してもよい。
また、本実施形態に係る合成部205は、複数線分分割モードの分割形状(すなわち、複数線分分割モード分割線の角度)に基づいて、上述のDIMDのヒストグラム計算に用いる隣接参照画素を所定領域に制限してもよい。
図19は、非特許文献3で開示されている複数線分分割モード向けのテンプレートマッチングという技術において、複数線分分割モードの分割線に基づいて参照するテンプレート(隣接参照画素)のエリアを制限するためのテーブルを示す図である。
具体的には、図19に示すA及びLは、それぞれ復号対象ブロックの上部及び左部を示す。
本実施形態では、この非特許文献3で開示されている複数線分分割モードの分割線に基づいて規定された(制限された)隣接参照画素のテーブルを、DIMDのヒストグラムの計算に適用することで、DIMDのヒストグラムの計算において、復号対象ブロックに隣接する全ての隣接参照画素を計算に使用することを回避しつつ、複数線分分割モードの分割線の方向にのみ存在する隣接参照画素を用いてAngular予測を導出できるため、複数線分分割モードのインター予測に対するDIMDによるイントラ予測モードの導出処理負荷を軽減できる。
或いは、合成部205は、上述の図19の隣接参照画素テーブルではなく、図20に示すように、複数線分分割モードで区分される小領域A又は小領域Bに対して、復号対象ブロックの左又は上のブロック境界に跨いで面する参照画素領域のみを使用して、DIMDによるイントラ予測モードを導出してもよい。
また、合成部205は、複数線分分割モードで、図20(c)の例に示すように、小領域A又は小領域Bに対して、復号対象ブロックの左又は上のブロック境界に跨いで面する参照画素領域がない場合は、図20(c)に示すように、全ての参照画素を使用してDIMDによるイントラ予測モードを導出してもよい。
[隣接参照画素に基づくイントラ予測モード導出方法2]
以下、図19~図21を用いて、非特許文献4に係る通常イントラ予測に対する隣接参照画素に基づくイントラ予測モードの導出方法、及び、かかる導出方法を応用した本実施形態に係る幾何学分割モードに対する隣接参照画素に基づくイントラ予測モードの導出方法2を説明する。
以下、図19~図21を用いて、非特許文献4に係る通常イントラ予測に対する隣接参照画素に基づくイントラ予測モードの導出方法、及び、かかる導出方法を応用した本実施形態に係る幾何学分割モードに対する隣接参照画素に基づくイントラ予測モードの導出方法2を説明する。
図21は、非特許文献4に係る通常イントラ予測に対する隣接参照画素に基づくイントラ予測モードの導出方法、及び、かかる導出方法を応用した本実施形態に係る幾何学分割モードに対する隣接参照画素に基づくイントラ予測モードの導出方法2の一例を示す図である。以降では、これらの導出方法を総じて「TIMD(Template-based Intra Mode Derivation)」と呼称する。
非特許文献4では、TIMDにおいて、図21に示すように、復号対象ブロックに隣接する所定ラインの隣接参照画素(以下、テンプレート)、及び、かかるテンプレート向けの隣接参照画素及び所定のイントラ予測モードを用いて生成したテンプレート向けイントラ予測画素(以下、テンプレート向けイントラ予測画素)のSATD(Sum of Absolute Transformed Difference)を計算し、所定のイントラ予測モードの中でSATDが最小及びその次点であるイントラ予測モードを、TIMDのイントラ予測モードとして導出して、イントラ予測画素を生成する。
ここで、上述のTIMDのSATDの計算において使用されるイントラ予測モードは、通常イントラ予測向けのイントラ予測モード候補リストに含まれるイントラ予測モードである。
非特許文献4におけるTIMDでは、通常イントラ予測向けイントラ予測モード候補リストに、垂直予測モード、水平予測モード及びDC予測モードが含まれていない場合は、これらを含んだ状態で、SATDを計算して、イントラ予測モードを導出する。
本実施形態では、かかる非特許文献4で開示されているTIMDを応用して、合成部205は、イントラ予測モードを導出してもよい。すなわち、合成部205は、導出した複数のイントラ予測モードを用いたイントラ予測画素の合成/生成処理について行わない。
かかる構成によれば、複数線分分割モードのイントラ予測領域(Intra/Intra-複数線分分割モードの場合は、2つのイントラ予測領域)に対して、1つのイントラ予測モードでイントラ予測画素を生成できるため、ハードウェア実装された画像復号装置における複数線分分割モードのイントラ予測画素の生成に必要な回路規模の増大を回避しつつ、復号対象ブロックの隣接参照画素のヒストグラムの解析によって、複数線分分割モードの分割形状に適したエッジ等のテクスチャを反映したイントラ予測を適用できるようになるため、イントラ予測性能が向上し、結果として符号化性能の改善が期待できる。
なお、本実施形態において、非特許文献3と同様に、復号部201は、TIMDの適用可不可を判定するフラグを復号又は推定することで、イントラ予測モードを導出するかしないかについて判定するように構成されていてもよい。
また、本実施形態に係る合成部205は、複数線分分割モード向けのイントラ予測モード候補リストに既に同一のイントラ予測モードが含まれない場合、TIMDにより導出したイントラ予測モードを登録し、複数線分分割モード向けのイントラ予測モード候補リストに既に同一のイントラ予測モードが含まれている場合、TIMDにより導出したイントラ予測モードを登録しないように構成されていてもよい。
かかる構成によれば、イントラ予測モード候補リスト内に同じイントラ予測モードが重複して登録されることを回避できる。
ここで、かかるイントラ予測モード候補リストに対する新規のイントラ予測モードを登録する際に、既存のイントラ予測モードとの一致性を比較して、両者が一致する場合に剪定する処理を、以降では、「イントラ予測モード候補剪定処理」と呼称する。
また、本実施形態に係る合成部205は、TIMDにより導出したイントラ予測モードのうち、イントラ予測モード候補リストに登録するイントラ予測モード数を1つに限定してもよい。かかる場合、合成部205は、SATDの計算の中から最小のSATDコストであるイントラ予測モード(Angular予測)を導出する。
ただし、本実施形態では、かかるTIMD処理におけるSATDの計算において、非特許文献4とは異なり、DC予測モードをSATDの計算の中から除外してもよい。
なぜなら、復号対象ブロックに隣接する隣接参照画素の全てを用いてイントラ予測画素を生成するDC予測は、複数線分分割モードの分割形状に応じたエッジ等のテクスチャを適切に反映できずに、イントラ予測画素を生成してしまう可能性があるため、DC予測をTIMD処理におけるSATDの計算から除外することで、TIMDでDC予測モードが導出されることを回避できる。
なお、上述のイントラ予測モード候補剪定処理において、最小のSATDコストであるAngular予測モード(以下、1st Angular予測モード)が剪定される場合は、順次SATDコストの低い方から既存のイントラ予測モードと比較して、両者が一致しないものを登録してもよい。或いは、1st Angular予測モードが剪定される場合は、TIMDによるイントラ予測モードの導出処理を終了してもよい。
変更例として、TIMDにより導出したイントラ予測モードのうち、イントラ予測モード候補リストに登録するイントラ予測モード数を2つに限定してもよい。かかる場合、合成部205は、SATDコストの中から1st Angular予測モード及び最小のSATDコストの次点である2nd Angular予測モードを導出する。
なお、1st Angular予測モード又は2nd Angular予測モードが剪定される場合は、上述の場合と同様に、これらの次にSATDコストの低い方から既存のイントラ予測モードと比較して、両者が一致しないものを登録してもよいし、そのままTIMDによるイントラ予測モードの導出処理を終了してもよい。
また、本実施形態に係る合成部205は、複数線分分割モードの分割形状(すなわち、複数線分分割モード分割線の角度)に基づいて、上述のTIMDのヒストグラムの計算に用いる隣接参照画素を所定領域に制限してもよい。
本実施形態では、図19に示す非特許文献3で開示されている複数線分分割モードの分割線に基づいて規定された隣接参照画素領域のテーブルを、TIMD処理におけるSATDの計算に適用することで、TIMD処理におけるSATDの計算において、復号対象ブロックに隣接する全ての隣接参照画素を計算に使用することを回避しつつ、複数線分分割モードの分割線の方向にのみ存在する隣接参照画素を用いてAngular予測を導出できるため、複数線分分割モードのインター予測に対するTIMDによるイントラ予測モードの導出処理の負荷を軽減できる。
さらに、本実施形態に係る合成部205は、TIMD処理におけるSATDの計算に使用するイントラ予測モードと同一のイントラ予測モードが既にイントラ予測モード候補リストに登録されている場合は、かかるイントラ予測モードのSATDの計算以降を処理しないように構成してもよい。
かかる構成によれば、イントラ予測モードに既に登録されたイントラ予測モードに対して、重複してTIMD処理を経て同一のイントラ予測モードが登録されることを回避できるため、複数線分分割モードのインター予測に対するTIMD処理の負荷を軽減できる。
或いは、合成部205は、上述の図19に示す隣接参照画素テーブルではなく、図20に示すように、複数線分分割モードで区分される小領域A又は小領域Bに対して、復号対象ブロックの左又は上のブロック境界に跨いで面する参照画素領域のみを使用して、TIMDによるイントラ予測モードを導出してもよい。
また、合成部205は、複数線分分割モードで、図20(c)に示すように、小領域A又は小領域Bに対して、復号対象ブロックの左又は上のブロック境界に跨いで面する参照画素領域がない場合は、図20(c)に示すように、全ての参照画素を使用してTIMDによるイントラ予測モードを導出してもよい。
[隣接参照ブロックに基づくイントラ予測モード導出方法]
以下、図19、22を用いて、非特許文献1及び非特許文献3に係る通常イントラ予測に対する隣接参照ブロックに基づくイントラ予測モードの導出方法、及び、かかる導出方法を応用した本実施形態に係る幾何学分割モードに対する隣接参照ブロックに基づくイントラ予測モードの導出方法について説明する。
以下、図19、22を用いて、非特許文献1及び非特許文献3に係る通常イントラ予測に対する隣接参照ブロックに基づくイントラ予測モードの導出方法、及び、かかる導出方法を応用した本実施形態に係る幾何学分割モードに対する隣接参照ブロックに基づくイントラ予測モードの導出方法について説明する。
図22は、非特許文献1及び非特許文献3に係る通常イントラ予測に対する隣接参照ブロックに基づくイントラ予測モードの導出方法、及び、かかる導出方法を応用した本実施形態に係る幾何学分割モードに対する隣接参照ブロックに基づくイントラ予測モードの導出方法の一例を示す図である。以降では、これらの導出方法を総じて「BIMD(Block-based Intra Mode Derivation)」と呼称する。
非特許文献4では、BIMDにおいて、図22に示すように、復号対象ブロックに隣接する所定位置の隣接参照ブロックが有するイントラ予測モードを、BIMDのイントラ予測モードとして導出して、イントラ予測画素を生成する。なお、ここで導出される隣接参照ブロックのイントラ予測モードは、隣接参照ブロックがイントラ予測ブロックである場合は、当該隣接参照ブロックが有するイントラ予測モードがそのまま参照されるが、隣接参照ブロックがインター予測ブロックであるか、或いは、インター予測ブロックかつイントラ予測が適用された複数線分分割モード適用ブロックである場合には、後述する4×4サブブロック画素単位で保存されるイントラ予測モードが参照される。
ここで、非特許文献1及び非特許文献3では、上述のBIMDにおいて参照される隣接参照ブロックは、図22に示すように、復号対象ブロックの左(A0)、左下(A1)、上(B0)、右上(B1)及び左上(B2)に設定されている。
本実施形態では、非特許文献1及び非特許文献3で開示されているBIMDを応用して、合成部205は、イントラ予測モードを導出してもよい。すなわち、合成部205は、導出した複数のイントラ予測モードを用いたイントラ予測画素の合成/生成処理は行わない。
かかる構成によれば、複数線分分割モードのイントラ予測領域(Intra/Intra-複数線分分割モードの場合は、2つのイントラ予測領域)に対して、復号対象ブロックの隣接参照ブロックが有するイントラ予測モードが含まれうるイントラ予測モード候補リストからイントラ予測モードを選択してイントラ予測画素を生成できるため、複数線分分割モードの分割形状に適したエッジ等のテクスチャを反映したイントラ予測を適用できるようになり、イントラ予測性能が向上し、結果として符号化性能の改善が期待できる。
また、本実施形態に係る合成部205は、複数線分分割モード向けのイントラ予測モード候補リストに既に同一のイントラ予測モードが含まれない場合は、BIMDにより導出したイントラ予測モードを登録し、複数線分分割モード向けのイントラ予測モード候補リストに既に同一のイントラ予測モードが含まれる場合は、BIMDにより導出したイントラ予測モードを登録しないように構成されていてもよい。
かかる構成によれば、イントラ予測モード候補リスト内に同じイントラ予測モードが重複して登録されることを回避できる。
ここで、イントラ予測モード候補リストに対する新規のイントラ予測モードを登録する際に、既存のイントラ予測モードとの一致性を比較して、両者が一致する場合に剪定する処理を、以降では、「イントラ予測モード候補剪定処理」と呼称する。
また、本実施形態に係る合成部205は、非特許文献1及び非特許文献3とは異なり、BIMDにより導出したイントラ予測モードがDC予測モードである場合は、イントラ予測モード候補リストに登録しないように構成されていてもよい。
なぜなら、復号対象ブロックに隣接する隣接参照画素の全てを用いてイントラ予測画素を生成するDC予測は、複数線分分割モードの分割形状に応じたエッジ等のテクスチャを適切に反映できずに、イントラ予測画素を生成してしまう可能性があるため、DC予測をBIMDのイントラ予測モードから除外して、DC予測モードがイントラ予測画素の生成に使用されることを回避できる。
また、本実施形態に係る合成部205、BIMDによるイントラ予測モードの導出において、参照する図22に示す最大5つの隣接参照ブロックの順序を、非特許文献1及び非特許文献3と同様に構成してもよい。なお、その参照順については、非特許文献1及び非特許文献3で開示されているため、本実施形態では詳細な説明は省略する。
変更例として、本実施形態では、図19に示す非特許文献3で開示されている複数線分分割モードの分割線に基づいて規定された(制限された)隣接参照画素領域のテーブルを、BIMDの隣接参照ブロックの参照に適用することで、BIMDのイントラ予測モードの導出において、復号対象ブロックに隣接する全ての隣接参照ブロックのイントラ予測モードを参照することを回避しつつ、複数線分分割モードの分割線の方向にのみ存在する隣接参照ブロックが有するイントラ予測モード(Angular予測)のみを参照してイントラ予測モードを導出できるため、複数線分分割モードのインター予測に対するBIMDによるイントラ予測モードの導出処理の負荷を軽減できる。
[制御情報を用いたイントラ予測モード導出方法]
上述した異なるイントラ予測モードの種類について、合成部205は、上述のイントラ予測モードを一意に適用してもよいし、制御情報に応じてイントラ予測モード候補リストに含まれる異なる複数のイントラ予測モード候補から実際に適用するイントラ予測モードを選択してもよい。
上述した異なるイントラ予測モードの種類について、合成部205は、上述のイントラ予測モードを一意に適用してもよいし、制御情報に応じてイントラ予測モード候補リストに含まれる異なる複数のイントラ予測モード候補から実際に適用するイントラ予測モードを選択してもよい。
イントラ予測モード候補リストに含まれる異なる複数のイントラ予測モードの構成例を以下に示す。ここで、分割線に対する平行な角度予測モード(Parallel)、分割線に対する垂直な角度予測モード(Perpendicular)と記す。
構成例1. DIMD⇒Parallel(又は、Perpendicular)
構成例2. TIMD⇒Parallel(又は、Perpendicular)
構成例3. BIMD⇒Parallel(又は、Perpendicular)
構成例4. DIMD⇒TIMD⇒Parallel(又は、Perpendicular)
構成例5. DIMD⇒BIMD⇒Parallel(又は、Perpendicular)
構成例6. TIMD⇒BIMD⇒Parallel(又は、Perpendicular)
構成例7. DIMD⇒TIMD⇒BIMD⇒Parallel(又は、Perpendicular)
まず、構成例1~3は、DIMD、TIMD及びBIMDそれぞれにParallel(又は、Perpendicular)を組み合わせた方法である。
構成例1. DIMD⇒Parallel(又は、Perpendicular)
構成例2. TIMD⇒Parallel(又は、Perpendicular)
構成例3. BIMD⇒Parallel(又は、Perpendicular)
構成例4. DIMD⇒TIMD⇒Parallel(又は、Perpendicular)
構成例5. DIMD⇒BIMD⇒Parallel(又は、Perpendicular)
構成例6. TIMD⇒BIMD⇒Parallel(又は、Perpendicular)
構成例7. DIMD⇒TIMD⇒BIMD⇒Parallel(又は、Perpendicular)
まず、構成例1~3は、DIMD、TIMD及びBIMDそれぞれにParallel(又は、Perpendicular)を組み合わせた方法である。
Parallel(又は、Perpendicular)で導出されるイントラ予測モードは、DIMD、TIMD及びBIMDで導出されるイントラ予測モードよりも、より簡易的かつ直接的に分割線に基づくエッジ等のテクスチャを反映したイントラ予測モードを導出できるが、隣接参照画素の解析に基づくDIMD、TIMD及びBIMDよりも高精度な予測モードを導出する可能性が低いため、これらのイントラ予測モード候補よりも後にリスト内で配置する。
次に、構成例4及び5は、DIMDをTIMD又はBIMDよりも前に配置する構成例である。
DIMDをTIMDより前に配置した理由は、DIMDによるイントラ予測モードの導出処理がSATDの計算等の比較的重い計算処理が含まれるTIMDによるイントラ予測モードの導出よりも軽量であるためである。
一方で、DIMDをBIMDより前に配置した理由は、ヒストグラムの計算が含まれるDIMDによるイントラ予測モードの導出処理がBIMDによるイントラ予測モードの導出よりも軽量でないが、DIMDで導出されたイントラ予測モードの方がBIMDで導出されたイントラ予測―ドよりも、ヒストグラムの計算により、よりGPMの分割線に基づくエッジ等のテクスチャを反映したイントラ予測モードを導出できる可能性があるため、イントラ予測性能の向上効果が高くなりやすいと考えられるためである。
構成例6では、TIMDをBIMDより前に配置している。配置理由は、上述のDIMDをBIMDより前に配置する理由と同じである。
構成例7は、GIMD、DIMD、TIMD及びBIMDの全てを組み合わせた構成例であり、上述の理由により、この順序でイントラ予測モードを導出すると、より効率的に予測性能の高いイントラ予測モードを導出できることが期待できる。
(各イントラ予測モード導出方法の開始制限)
本実施形態に係る合成部205は、上述した幾何学ブロック分割モードに対するイントラ予測モードの各導出処理の開始時点で、イントラ予測モード候補リストに含まれるイントラ予測モードの候補数がイントラ予測モード候補リストサイズの最大値に達していない場合は、各導出処理を開始し、かかる候補数がイントラ予測モード候補リストサイズの最大値に達している場合は、各導出処理を開始しない。
本実施形態に係る合成部205は、上述した幾何学ブロック分割モードに対するイントラ予測モードの各導出処理の開始時点で、イントラ予測モード候補リストに含まれるイントラ予測モードの候補数がイントラ予測モード候補リストサイズの最大値に達していない場合は、各導出処理を開始し、かかる候補数がイントラ予測モード候補リストサイズの最大値に達している場合は、各導出処理を開始しない。
かかる構成によれば、不要なイントラ予測モードの導出処理の実行を回避でき、合成部205の全体の処理負荷の軽減が期待できる。
(イントラ予測モード導出完了後のイントラ予測モード候補リストの登録方法)
本実施形態に係る合成部205は、上述した幾何学ブロック分割モードに対するイントラ予測モードの導出処理の完了時点で、イントラ予測モード候補リストに含まれるイントラ予測モードの候補数がイントラ予測モード候補リストサイズの最大値に達していない場合には、イントラ予測モード候補リストに既に同一の予測モードが含まれる場合、所定のイントラ予測モードを登録しないように構成されていてもよい。
本実施形態に係る合成部205は、上述した幾何学ブロック分割モードに対するイントラ予測モードの導出処理の完了時点で、イントラ予測モード候補リストに含まれるイントラ予測モードの候補数がイントラ予測モード候補リストサイズの最大値に達していない場合には、イントラ予測モード候補リストに既に同一の予測モードが含まれる場合、所定のイントラ予測モードを登録しないように構成されていてもよい。
例えば、構成例1から構成例7において、DIMD、TIMD、BIMDによって導出されるイントラ予測モードと後続のParallel(又はPerpendicular)と同じである場合は、リストサイズが最大値に達していない。
かかる場合、合成部205は、未登録のPerpendicular(又はParallel)モードを登録してもよい。或いは、合成部205は、Planarモードを登録してもよい。或いは、合成部205は、DCモードを登録してもよい。或いは、合成部205は、イントラ予測モード候補リストに最初に登録されているイントラ予測モードの近傍のイントラ予測モードを登録してもよい。
(複数線分割複数線分分割モード向けの予測情報の保存方法)
イントラ予測部204は、複数線分分割モードで分割される小領域A又は小領域Bに対して適用されるイントラ予測モードを、復号対象ブロックを分割した所定サイズのサブブロック単位で保存する。
イントラ予測部204は、複数線分分割モードで分割される小領域A又は小領域Bに対して適用されるイントラ予測モードを、復号対象ブロックを分割した所定サイズのサブブロック単位で保存する。
かかる所定サイズは、例えば、符号化ブロック、予測ブロック又は変換ブロックの最小サイズであってもよい。或いは、かかる所定サイズは、2×2画素や4×4画素等といった固定サイズであってもよい。
このように、小領域A又は小領域Bのそれぞれに適用されたイントラ予測モードを復号対象ブロック単位ではなくサブブロック単位で保存することでブレンディング領域におけるイントラ予測モードを正確に保存することができる。
イントラ予測部204は、ブレンディング領域内にあるサブブロックについて、小領域A又は小領域Bのイントラ予測モードの双方を保存してもよい。或いは、イントラ予測部204は、サブブロックの中心座標から分割線を挟んで小領域A又は小領域Bのいずれに属するかで、対応するイントラ予測モードのみを保存してもよい。
動き補償部208は、複数線分分割モードで分割される小領域Aまたは小領域Bに対して適用される動き情報(参照画像リスト、参照画像インデックス、動きベクトル)を、復号対象ブロックを分割した所定サイズのサブブロック単位で保存する。
かかる所定サイズは、例えば、符号化ブロック、予測ブロック又は変換ブロックの最小サイズであってもよい。或いは、かかる所定サイズは、2×2画素や4×4画素等といった固定サイズであってもよい。
このように、小領域A又は小領域Bのそれぞれに適用された動き情報を復号対象ブロック単位ではなくサブブロック単位で保存することでブレンディング領域における動き情報を正確に保存することができる。
動き補償部208は、ブレンディング領域内にあるサブブロックについて、小領域A又は小領域Bの動き情報の双方を保存してもよい。或いは、動き補償部208は、サブブロックの中心座標から分割線を挟んで小領域A又は小領域Bのいずれに属するかで、対応する動き情報のみを保存してもよい。
或いは、動き補償部208は、小領域A及び小領域Bの参照画像リストが異なる場合(すなわち、片方が当該フレームから見て未来方向の異なるフレームを参照し、もう片方が当該フレームから見て過去方向の異なるフレームを参照する場合)、それぞれの動きベクトルを非特許文献1に開示されている双予測のように、当該フレームと参照フレームそれぞれの距離に応じて加重平均して新たな動きベクトルを生成して保存してもよい。
或いは、動き補償部208は、小領域A及び小領域Bの参照画像リストが同じ場合(すなわち、片方が当該フレームから見て未来方向(又は、過去方向)の異なるフレームを参照し、もう片方も当該フレームから見て未来方向(又は、過去方向)の異なるフレームを参照する場合)、小領域Bの動きベクトルのみを保存してもよい。あるいは、同ケースで、動き補償部208は、小領域Aのみを保存してもよい。
(複数線分割複数線分分割方式モード添え字の符号順序入替方法)
合成部205は、複数線分分割モードを特定するための制御情報cu_div_idxの復号値に対応付けられる複数線分分割モードを、非特許文献3で開示されているテンプレートマッチングにより並び替えてもよい。
合成部205は、複数線分分割モードを特定するための制御情報cu_div_idxの復号値に対応付けられる複数線分分割モードを、非特許文献3で開示されているテンプレートマッチングにより並び替えてもよい。
具体的には、合成部205は、インター予測によって複数線分分割モードが構成される場合は、全ての複数線分分割モードについて、復号対象ブロック及び参照ブロックのそれぞれの隣接画素(テンプレート)の誤差(例として、SAD:Sum of Absolute Difference)を比較する。合成部205は、SADを算出する際は、分割線を隣接画素に対して延伸した形で重みつけ平均する。
合成部205は、イントラ予測によって複数線分分割モードが構成される場合は、復号対象ブロックの隣接参照画素よりも1ライン以上先の参照画素にイントラ予測モードを適用して隣接画素を生成し、生成された隣接画素及び復号対象ブロックの隣接画素のSADを比較する。
合成部205は、かかるSADの比較により、SADの小さい順にcu_div_idxの復号値に対応付けられる複数線分分割モードを並び替えることで、予測精度の高い複数線分分割モードをより小さい復号値(符号長)で利用できるようになるため、結果として符号化効率が向上する効果が得られる。
また、合成部205は、SADの小さい順に、cu_div_idxの復号値に対応付けられる複数線分分割モードを並び替えるだけでなく、SADの小さい順から所定数に達した段階で、選択可能な複数線分分割モードの候補から除外してもよい。
例えば、所定数としては、選択可能な複数線分分割モードの半分の候補数や複数線分分割モードを幾何学分割モードに加えた合計数の半分の候補数を設定してもよい。
これにより、cu_div_idxに対応付けられる複数線分分割モード、ひいては、分割モードの候補数が削減されるため、cu_div_idxのさらなる符号長短縮が期待でき、結果として、結果として符号化効率が向上する効果が得られる。
本実施形態に係る画像復号装置200によれば、単位ブロックごとに複数線分から構成される小領域に分割することによって復号するので、符号化効率を向上させることができる。
(変更例)
なお、上述の実施形態では、複数の線分によって2つの小領域に分割するケースについて例示しているが、本発明は、かかるケースに限定されるものではなく、複数の線分によって3つ以上の小領域に分割するケースについても適用できる。
なお、上述の実施形態では、複数の線分によって2つの小領域に分割するケースについて例示しているが、本発明は、かかるケースに限定されるものではなく、複数の線分によって3つ以上の小領域に分割するケースについても適用できる。
また、上述の実施形態では、全ての小領域が復号対象ブロックの辺を含むように分割されるケースについて例示しているが、本発明は、かかるケースに限定されるものではなく、少なくとも1つの小領域が復号対象ブロックの辺を含まないように分割されるケース(すなわち、少なくとも1つの小領域が復号対象ブロックの外周に接しないように分割されるケース)についても適用できる。
上述の画像復号装置200は、コンピュータに各機能(各工程)を実行させるプログラムであって実現されていてもよい。
なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標(SDGs)の目標9「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。
200…画像復号装置
201…復号部
202…逆量子化部
203…逆変換部
204…イントラ予測部
205…生成部
206…加算器
207…蓄積部
208…動き補償部
210…符号入力部
220…画像出力部
201…復号部
202…逆量子化部
203…逆変換部
204…イントラ予測部
205…生成部
206…加算器
207…蓄積部
208…動き補償部
210…符号入力部
220…画像出力部
Claims (13)
- 画像復号装置であって、
制御情報並びに量子化値を復号する復号部と、
前記量子化値を逆量子化して変換係数とする逆量子化部と、
前記変換係数を逆変換して予測残差とする逆変換部と、
復号済み画素と前記制御情報とに基づいてイントラ予測に用いる参照画素を生成して生成情報とする生成部と、
前記制御情報と前記生成情報とに基づいて第1予測画素を生成するイントラ予測部と、
前記復号済み画素を蓄積する蓄積部と、
前記蓄積された復号済み画素と前記制御情報とに基づいて第2予測画素を生成する動き補償部と、
前記第1予測画素又は前記第2予測画素のいずれかと前記予測残差とを加算して前記復号済み画素を得る加算器とを具備することを特徴とする画像復号装置。 - 前記生成部は、イントラ予測の方向に応じて、前記イントラ予測部で用いる参照画素を生成することを特徴とする請求項1に記載の画像復号装置。
- 前記生成部は、複数ラインの近傍画素から近傍画素の変化を予測して新たな参照画素を生成することを特徴とする請求項1に記載の画像復号装置。
- 前記生成部は、予測式の係数を近傍画素から推定することを特徴とする請求項1に記載の画像復号装置。
- 前記生成部は、予測式の係数を推定するために利用するライン数について、予め固定に設定する、或いは、可変に設定することを特徴とする請求項1に記載の画像復号装置。
- 前記生成部は、予測式について、予め固定に設定する、或いは、可変に設定することを特徴とする請求項1に記載の画像復号装置
- 前記生成部は、前記予測式及び利用ライン数の少なくとも一方が可変の場合、前記予測式及び前記利用ライン数のそれぞれを制御信号として復号することを特徴とする請求項6に記載の画像復号装置。
- 前記生成部は、前記イントラ予測の予測方向のライン毎に異なる値を予測式へ代入することで、前記イントラ予測の参照画素を生成することを特徴とする請求項1に記載の画像復号装置。
- 前記生成部は、前記イントラ予測の方向に依存せず固定値を予測式へ代入することで、前記イントラ予測の参照画素を生成することを特徴とする請求項1に記載の画像復号装置。
- 前記生成部は、前記生成情報の生成を適用する復号対象ブロックをブロックサイズに応じて限定することを特徴とする請求項1に記載の画像復号装置。
- 前記生成部は、前記生成情報の生成を適用するイントラ予測の方向を限定することを特徴とする請求項1記載の画像復号装置。
- 画像復号方法であって、
制御情報並びに量子化値を復号する工程と、
前記量子化値を逆量子化して変換係数とする工程と、
前記変換係数を逆変換して予測残差とする工程と、
復号済み画素と前記制御情報とに基づいてイントラ予測に用いる参照画素を生成して生成情報とする工程と、
前記制御情報と前記生成情報とに基づいて第1予測画素を生成する工程と、
前記復号済み画素を蓄積する工程と、
前記蓄積された復号済み画素と前記制御情報とに基づいて第2予測画素を生成する工程と、
前記第1予測画素又は前記第2予測画素のいずれかと前記予測残差とを加算して前記復号済み画素を得る工程とを有することを特徴とする画像復号方法。 - コンピュータを、画像復号装置として機能させるプログラムであって、
前記画像復号装置は、
制御情報並びに量子化値を復号する復号部と、
前記量子化値を逆量子化して変換係数とする逆量子化部と、
前記変換係数を逆変換して予測残差とする逆変換部と、
復号済み画素と前記制御情報とに基づいてイントラ予測に用いる参照画素を生成して生成情報とする生成部と、
前記制御情報と前記生成情報とに基づいて第1予測画素を生成するイントラ予測部と、
前記復号済み画素を蓄積する蓄積部と、
前記蓄積された復号済み画素と前記制御情報とに基づいて第2予測画素を生成する動き補償部と、
前記第1予測画素又は前記第2予測画素のいずれかと前記予測残差とを加算して前記復号済み画素を得る加算器とを具備することを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022165080A JP2024058004A (ja) | 2022-10-13 | 2022-10-13 | 画像復号装置、画像復号方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022165080A JP2024058004A (ja) | 2022-10-13 | 2022-10-13 | 画像復号装置、画像復号方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024058004A true JP2024058004A (ja) | 2024-04-25 |
Family
ID=90790154
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022165080A Pending JP2024058004A (ja) | 2022-10-13 | 2022-10-13 | 画像復号装置、画像復号方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024058004A (ja) |
-
2022
- 2022-10-13 JP JP2022165080A patent/JP2024058004A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11936907B2 (en) | Intra-frame prediction method and device | |
KR102383104B1 (ko) | 비디오 신호 처리 방법 및 장치 | |
KR102416257B1 (ko) | 비디오 신호 처리 방법 및 장치 | |
CN110063056B (zh) | 用于处理视频信号的方法和设备 | |
KR20200054105A (ko) | 영상 신호 부호화/복호화 방법 및 이를 위한 장치 | |
CN114363629A (zh) | 图像编码方法、图像解码方法以及装置 | |
US11956425B2 (en) | Image encoding/decoding method and device | |
CN110832854B (zh) | 利用插值进行帧内预测的方法和装置 | |
CN113709460B (zh) | 一种编解码方法、装置及其设备 | |
WO2024079986A1 (ja) | 画像復号装置、画像復号方法及びプログラム | |
JP2024058004A (ja) | 画像復号装置、画像復号方法及びプログラム | |
JP2024058003A (ja) | 画像復号装置、画像復号方法及びプログラム | |
JP2024058005A (ja) | 画像復号装置、画像復号方法及びプログラム | |
KR20210046804A (ko) | 영상 부호화/복호화 방법 및 장치 | |
KR20240062999A (ko) | 영상 부호화/복호화 방법 및 비트스트림을 저장하는 기록 매체 | |
KR20240034140A (ko) | 영상 부호화/복호화 방법 및 비트스트림을 저장하는 기록 매체 | |
CN117917076A (zh) | 图像解码装置、图像解码方法及程序 | |
KR20230137250A (ko) | 영상 부호화/복호화 방법 및 장치 | |
JP2024090266A (ja) | 画像復号装置、画像復号方法及びプログラム | |
CN117693938A (zh) | 基于深度学习的精细化帧内预测信号的视频编解码方法和装置 |