JPWO2016142977A1 - 映像符号化装置、映像符号化方法および映像符号化プログラム - Google Patents

Abstract

映像符号化装置は、上位レイヤの画像領域の符号化に際して、上位レイヤの画像領域に対応する下位レイヤの画像領域のブロックサイズを用いて、上位レイヤの画像領域のブロックサイズを決定するブロックサイズ決定手段11と、上位レイヤの画像領域に対応する下位レイヤの画像領域の予測モードを用いて、上位レイヤの画像領域の予測モードを決定する予測モード決定手段12と、下位レイヤの再構築画像を用いてレイヤ間予測を行うレイヤ間予測手段13と、上位レイヤの再構築画像を用いてインター予測を行うインター予測手段14とを備え、予測モード決定手段12は、下位レイヤの画像領域の予測モードがイントラ予測モードのとき、上位レイヤの画像領域の予測モードをレイヤ間予測モードに決定する。

Description

本発明は、スケーラブル符号化方式を用いるクアッドツリー構造のブロック分割に基づく映像符号化装置、映像符号化方法および映像符号化プログラムに関する。

本願発明の発明者らは、特願２０１３−１８５９９４で、処理負荷が分散される新たな映像符号化技術を提案した。

当該映像符号化技術によれば、入力画像は、前段映像符号化器（以下、前段ともいう。）と後段映像符号化器（以下、後段ともいう。）とで符号化される。当該映像符号化技術は、前段で得られた符号化データを後段の符号化に活用する符号化データ変換／併合手段を有することを特徴とする。

その符号化データ変換／併合手段は、図9 に示すように、前段で得られたブロック分割形状を、後段で利用できるように符号化データを変換する。例えば、イントラ予測モードでかつイントラ予測方向が同じ場合、それらのブロックを大きなブロックに併合する。

なお、図9 には、符号化データ変換／併合手段における変換手段がブロックのサイズを拡張（縦横２倍に拡張）した例が示されている。また、ブロックにおける左下の分割ブロックのイントラ予測方向が同じであって１つのブロック（ｘ画素×ｙ画素のブロック）に併合された例が示されている。

上記の映像符号化技術を、High efficiency video coding (HEVC)におけるScalable High-efficiency Video Coding （SHVC）に基づく映像符号化方式に適用することを想定する。SHVCでは、入力画像をダウンサンプリングして得られた低解像度映像が低解像度層（最下位レイヤまたはBL :Base Layer）として符号化され、入力画像が高解像度層（上位レイヤまたはEL :Enhancement Layer ）として符号化される。

BLに対応する解像度の画像の各フレームおよびELに対応する解像度の画像の各フレームは、符号化ツリーユニット（CTU:Coding Tree Unit）に分割されて符号化される。各CUは、予測ユニット（PU：Prediction Unit ）に分割されて予測される。また、各CUの予測誤差は、クアッドツリー構造で、変換ユニット（TU：Transform Unit ）に分割されて周波数変換される。なお、最大サイズのCUおよび最小サイズのCUを、LCU （Largest Coding Unit ：最大符号化ユニット）およびSCU （Smallest Coding Unit：最小符号化ユニット）と呼ぶ。

CUは、イントラ予測／フレーム間予測の符号化単位である。また、フレーム間予測のCUについては、フレーム間予測の一種であるレイヤ間予測も利用できる。以下、イントラ予測、フレーム間予測およびレイヤ間予測を説明する。

イントラ予測は、符号化対象フレームの再構築画像から予測画像を生成する予測である。図10はイントラ予測の一種である角度イントラ予測を示す説明図である。角度イントラ予測では、符号化対象ブロック周辺の再構築画素を図10に示す33種類の方向のいずれかに外挿して、イントラ予測信号が生成される。以下、イントラ予測を用いるCUをイントラCUと呼ぶ。

フレーム間予測は、符号化対象フレームと表示時刻が異なる再構築フレーム（参照ピクチャ）の画像に基づく予測である。以下、フレーム間予測をインター予測とも呼ぶ。図11は、フレーム間予測の例を示す説明図である。動きベクトルMV＝（mv_x, mv_y）は、符号化対象ブロックに対する参照ピクチャの再構築画像ブロックの平行移動量を示す。インター予測では、参照ピクチャの再構築画像ブロックに基づいて（必要であれば画素補間を用いて）、インター予測信号が生成される。

動きベクトルの予測として、AMVP（Advanced Motion Vector Prediction ）とマージモードとの２種類がある。AMVPは、参照ピクチャの動きベクトルを用いて、動きベクトルの差分が最小となるように動きベクトルを予測する技術である。AMVPでは、参照ピクチャインデックス、AMVP予測動きベクトルに関連づけられたAMVPインデックス、および、AMVP予測動きベクトルの組が伝送される。マージモードは、参照ピクチャの動きベクトルをそのまま流用する技術である。マージモードでは、マージ予測が有効であることを示すマージフラグと流用する動きベクトルと関連づけられたマージ候補インデックスの組が伝送される。

レイヤ間予測は、符号化済みのBLの再構築フレームのアップサンプル画像を用いるインター予測である。図12は、レイヤ間予測を示す説明図である。レイヤ間予測では、符号化済みBLの再構築フレームを、ELのフレームと同じ解像度にアップサンプルしたアップサンプル画像をフレーム間予測することによって、レイヤ間予測信号が生成される。

以下、イントラ予測を用いるCUをイントラCU、インター予測を用いるCUをインターCU、レイヤ間予測を用いるCUをレイヤ間CUと呼ぶ。

なお、イントラCUのみで符号化されたフレームはＩフレーム（またはＩピクチャ）と呼ばれる。イントラCUだけでなく、インターCUやレイヤ間CUも含めて符号化されたフレームはＰフレーム（またはＰピクチャ）と呼ばれる。ブロックのインター予測に１枚の参照ピクチャだけでなく、さらに同時に２枚の参照ピクチャを用いるインターCUを含めて符号化されたフレームはＢフレーム（またはＢピクチャ）と呼ばれる。

次に、図13を参照して、各解像度画像の各フレームの各CTUを入力画像としてビットストリームを出力する映像符号化装置であってスケーラブル符号化方式を用いる映像符号化装置の構成と動作を説明する。

図13に示す映像符号化装置は、BLを符号化する低解像度層HEVCエンコーダ（BL符号化器）100A、ELを符号化する高解像度層HEVCエンコーダ（EL符号化器）300B、ダウンサンプル器109 、およびマルチプレクサ110 を備える。ダウンサンプル器109 は、入力画像をダウンサンプルして得られた低解像度画像（BL画像）をBL符号化器100Aに供給する。

BL符号化器100Aは、推定器101A、予測器102A、周波数変換器103A、量子化器104A、逆量子化／逆周波数変換器105A、バッファ106A、およびエントロピー符号化器107Aを備える。

BL画像のフレームの各CTU は、クアッドツリー構造に基づいて、可変サイズのCUに分割される。BL画像の各CUの予測誤差は、CTU と同様に、クアッドツリー構造に基づいて、可変サイズのTUに分割される。

具体的には、推定器101Aは、例えば符号化コストを最小にするCU分割形状すなわちCUクアッドツリー構造を決定する。また、推定器101Aは、BL画像のCTU 毎に、PUブロック予測パラメータおよびTUクアッドツリー構造を決定する。

予測器102Aは、推定器101Aが決定したCUクアッドツリー構造およびPUブロック予測パラメータに基づいて、BL画像のCUに対する予測信号を生成する。予測信号は、上述したイントラ予測またはインター予測に基づいて生成される。

周波数変換器103Aは、推定器101Aが決定したTUクアッドツリー構造に基づいて、BL画像の画像信号から予測信号を減じた予測誤差画像を周波数変換する。量子化器104Aは、周波数変換された予測誤差画像（直交変換係数）を量子化する。以下、量子化された直交変換係数を係数レベルと呼ぶ。また、０以外の値を持つ係数レベルを有意係数レベルと呼ぶ。

エントロピー符号化器107Aは、BL画像のCTU のクアッドツリー構造を示すcu_split_flag 、PUのブロック予測パラメータ、TUのクアッドツリー構造を示すsplit_transform_flagおよび係数レベルをエントロピー符号化し、BL画像のビットストリーム（低解像度層（BL）サブビットストリーム）を出力する。以後、エンロトピー符号化するパラメータ群を符号化パラメータと呼ぶ。

逆量子化／逆周波数変換器105Aは、係数レベルを逆量子化する。さらに、逆量子化／逆周波数変換器105Aは、逆量子化した直交変換係数を逆周波数変換する。逆周波数変換されたBL画像の再構築予測誤差画像は、予測信号が加えられて、BL画像の再構築画像としてバッファ106Aに供給される。バッファ106Aは、BL画像の再構築画像を以後の符号化処理のために格納する。

EL符号化器300Bは、推定器101B、予測器102B、周波数変換器103B、量子化器104B、逆量子化／逆周波数変換器105B、バッファ106B、エントロピー符号化器107B 、アップサンプル器108 、予測モード決定器111 、およびブロックサイズ決定器112 を備える。

なお、提案済の映像符号化技術による前段映像符号化器と後段映像符号化器とが、図13におけるBL符号化器100AとEL符号化器300Bとに対応する。また、符号化データ変換／併合手段の機能が、図13におけるブロックサイズ決定器112 と予測モード決定器111 との組み合わせによって実現されている。

EL符号化器300Bに入力される入力画像（EL画像）のフレームの各CTU は、クアッドツリー構造に基づいて、可変サイズのCUに分割される。EL画像の各CUの予測誤差は、CTU と同様に、クアッドツリー構造に基づいて、可変サイズのTUに分割される。

ブロックサイズ決定器112 は、推定器101Aで決定された（処理対象のEL画像のCTU に対応するBL画像の画像領域に包含される。）BL画像のブロック分割形状と同一になるように、EL画像の各CTU のCUクアッドツリー構造を決定する。

予測モード決定器111 は、推定器101Aで決定されたCU（処理対象のEL画像のCUに対応するBL画像の画像領域に対応するCU）の予測モードと同一になるように、EL画像の各CUの予測モードを決定する。予測モード決定器111 は、例えば、BL画像のCUの予測モードがイントラ予測のとき、BL画像のCUの画像領域に対応するEL画像のCUの予測モードをイントラ予測に決定する。また、BL画像のCUの予測モードがインター予測の場合、そのEL画像のCUの予測モードをインター予測に決定する。

推定器101Bは、ブロックサイズ決定器112 で決定されたCUクアッドツリー構造、および予測モード決定器111で決定されたCU毎の予測モードに基づいて、EL画像の各CUのPUブロック予測パラメータおよびTUクアッドツリー構造を決定する。

予測器102Bは、ブロックサイズ決定器112 で決定されたCUクアッドツリー構造および推定器101Bで決定されたPUブロック予測パラメータに基づいて、EL画像のCUの画像信号に対する予測信号を生成する。

周波数変換器103Bは、推定器101Bが決定したTUクアッドツリー構造に基づいて、EL画像の画像信号から予測信号を減じた予測誤差画像を周波数変換する。量子化器104Bは、周波数変換された予測誤差画像（直交変換係数）を量子化する。

エントロピー符号化器107Bは、EL画像のCTU のクアッドツリー構造を示すcu_split_flag 、PUのブロック予測パラメータ、TUのクアッドツリー構造を示すsplit_transform_flagおよび係数レベルをエントロピー符号化し、EL画像のビットストリーム（ELサブビットストリーム）を出力する。

逆量子化／逆周波数変換器105Bは、係数レベルを逆量子化する。さらに、逆量子化／逆周波数変換器105Bは、逆量子化した直交変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、再構築画像としてバッファ106Bに供給される。バッファ106Bは、EL画像の再構築画像と、アップサンプル器108 によってアップサンプルされたBL画像の再構築画像を以後の符号化処理のために格納する。

マルチプレクサ110は、BLビットストリームとELビットストリームとを多重化してスケーラブルビットストリームを生成する。

上述した動作に基づいて、映像符号化装置は、入力画像からスケーラブルビットストリームを生成する。

Information technology - High efficiency coding and media delivery in heterogeneous environments Part 2: High efficiency video coding, ISO/IEC FDIS 23008-2, 2014

上述した映像符号化装置は、上位レイヤ（上記の例では、EL）の予測モードを、対応する下位レイヤの予測モードと同じにする。よって、下位レイヤが最下位レイヤ（上記の例では、BL）の場合、下位レイヤの符号化ではレイヤ間予測を利用できない。従って、最下位レイヤの予測モードはイントラ予測モードまたはインター予測モードになるので、最下位レイヤの上位レイヤにおいて、イントラ予測モードまたはインター予測モードしか選択できない。その結果、レイヤ間予測を選択することによる空間スケーラブル符号化の圧縮性能を十分に引き出すことができず、画質が低下する。

なお、上位レイヤでレイヤ間予測を選択できるようにするために、予測モード決定器111 を、下位レイヤの予測モードとレイヤ間予測モードの両方の予測モードで圧縮して最も符号化効率がよい予測モードを選択する両探索予測モード決定器に変更することによって、空間スケーラブル符号化の圧縮性能を活用することが考えられるが、そのように構成すると、両方の予測モードで圧縮する処理が必要とされるので、演算量が増加するという課題が生じる。

本発明は、演算量の増加を抑制しつつ、上位レイヤの画像を高画質で圧縮できるクアッドツリー構造のブロック分割に基づく映像符号化装置、映像符号化方法および映像符号化プログラムを提供することを目的とする。

本発明によるクアッドツリー構造のブロック分割に基づく映像符号化装置は、上位レイヤの画像領域の符号化に際して、上位レイヤの画像領域に対応する下位レイヤの画像領域のブロックサイズを用いて、上位レイヤの画像領域のブロックサイズを決定するブロックサイズ決定手段と、上位レイヤの画像領域に対応する下位レイヤの画像領域の予測モードを用いて、上位レイヤの画像領域の予測モードを決定する予測モード決定手段と、下位レイヤの再構築画像を用いてレイヤ間予測を行うレイヤ間予測手段と、上位レイヤの再構築画像を用いてインター予測を行うインター予測手段とを備え、予測モード決定手段は、下位レイヤの画像領域の予測モードがイントラ予測モードのとき、上位レイヤの画像領域の予測モードをレイヤ間予測モードに決定することを特徴とする。

本発明によるクアッドツリー構造のブロック分割に基づく映像符号化方法は、上位レイヤの画像領域の符号化に際して、上位レイヤの画像領域に対応する下位レイヤの画像領域のブロックサイズを用いて、上位レイヤの画像領域のブロックサイズを決定し、上位レイヤの画像領域に対応する下位レイヤの画像領域の予測モードを用いて、上位レイヤの画像領域の予測モードを決定し、下位レイヤの再構築画像を用いてレイヤ間予測を行い、上位レイヤの再構築画像を用いてインター予測を行い、予測モードを決定するときに、下位レイヤの画像領域の予測モードがイントラ予測モードのとき、上位レイヤの画像領域の予測モードをレイヤ間予測モードに決定することを特徴とする。

本発明によるクアッドツリー構造のブロック分割に基づく映像符号化プログラムは、コンピュータに、上位レイヤの画像領域の符号化に際して、上位レイヤの画像領域に対応する下位レイヤの画像領域のブロックサイズを用いて、上位レイヤの画像領域のブロックサイズを決定する処理と、上位レイヤの画像領域に対応する下位レイヤの画像領域の予測モードを用いて、上位レイヤの画像領域の予測モードを決定する処理と、下位レイヤの再構築画像を用いてレイヤ間予測を行う処理と、上位レイヤの再構築画像を用いてインター予測を行う処理と、予測モードを決定するときに、下位レイヤの画像領域の予測モードがイントラ予測モードのとき、上位レイヤの画像領域の予測モードをレイヤ間予測モードに決定する処理とを実行させることを特徴とする。

本発明によれば、演算量の増加を抑制しつつ、上位レイヤの画像を高画質で圧縮できる。

映像符号化装置の第１の実施形態を示すブロック図である。 第１の実施形態の動作を示す説明図である。 第１の実施形態における高画質化予測モード決定器の動作を示すフローチャートである。 映像符号化装置の第２の実施形態を示すブロック図である。 第２の実施形態の動作を示す説明図である。 第２の実施形態における高画質化予測モード決定器の動作を示すフローチャートである。 本発明による映像符号化装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。 本発明による映像符号化装置の主要部を示すブロック図である。 符号化データ変換／併合の処理を示す説明図である。 イントラ予測の例を示す説明図である。 フレーム間予測の例を示す説明図である。 レイヤ間予測を示す説明図である。 スケーラブル符号化方式を用いる映像符号化装置の一例を示すブロック図である。

実施形態１．
図1 は、本発明による映像符号化装置の第１の実施形態を示すブロック図である。図1 を参照して、ディジタル化された映像の各フレームを入力画像としてビットストリームを出力する第１の実施形態の映像符号化装置の構成を説明する。

本実施形態の映像符号化装置は、高画質化予測モード決定手段が、インター予測、レイヤ間予測、イントラ予測の順で符号化効率が高いという傾向を利用して、下位レイヤの予測モードがイントラ予測モードのとき、その上位レイヤの予測モードとして、より符号化効率が高いレイヤ間予測モードを選択できるように構成される。

本実施形態の映像符号化装置は、図13に示された映像符号化装置と同様に、BLを符号化するBL符号化器100A、ELを符号化するEL符号化器100B、ダウンサンプル器109 、およびマルチプレクサ110 を備える。

本実施形態におけるBL符号化器100Aの構成および動作は、図13に示された映像符号化装置におけるBL符号化器100Aの構成および動作と同じである。

しかし、本実施形態におけるEL符号化器100Bの構成および動作は、図13に示された映像符号化装置におけるEL符号化器300Bの構成および動作とは異なる。

EL符号化器100Bにおける推定器101B、予測器102B、周波数変換器103B、量子化器104B、逆量子化／逆周波数変換器105B、バッファ106B、エントロピー符号化器107B 、アップサンプル器108 、およびブロックサイズ決定器112 の構成および動作は、図13に示されたEL符号化器300Bにおけるそれらの構成および動作と同じである。

しかし、予測モード決定器111 が高画質化予測モード決定器113 に置き換えられている。

以下、本実施形態の特徴的な要素である高画質化予測モード決定器113 の動作を説明する。

高画質化予測モード決定器113 は、処理対象のEL画像のCUに対応する画像領域のBL画像のCUの予測モード（推定器101Aによって決定される。）を入力として、EL画像の各CUの予測モードを決定する。具体的には、符号化効率は、インター予測＞レイヤ間予測＞イントラ予測であるため、高画質化予測モード決定器113 は、BL画像のCUの予測モードがインター予測モードの場合、EL画像に対してもインター予測が最も符号化効率が高いと判断して、処理対象のEL画像のCUの予測モードをインター予測モードにする。一方、BL画像のCUの予測モードがイントラ予測モードの場合には、EL画像に対してイントラ予測よりもレイヤ間予測の方がより符号化効率が高いと判断して、処理対象のEL画像のCUの予測モードをレイヤ間予測モードにする。

図2 は、高画質化予測モード決定器113 の動作を説明するための説明図である。図2 に示す例では、処理対象のEL画像のCUに対応するBL画像の画像領域（対応領域）において、右上のブロック（CU）は、インター予測モードのCUであり、他のブロックは、イントラ予測モードのCUである。よって、図2 に示す例では、高画質化予測モード決定器113 は、処理対象のEL画像における画像領域（符号化対象領域）において、右上のCUの予測モードをインター予測モードに決定し、他のCUの予測モードを、レイヤ間予測モードに決定する（図2(B)参照）。

次に、図3 のフローチャートを参照して、高画質化予測モード決定器113 の動作を説明する。

ステップS101で、高画質化予測モード決定器113 は、入力されたBL画像のCU毎の予測モードがイントラ予測であるか否かを判断する。BLのCU毎の予測モードがイントラ予測モードである場合、ステップS102に移行する。BLのCU毎の予測モードがイントラ予測でない場合、ステップS103に移行する。

ステップS102で、高画質化予測モード決定器113 は、ELのCU毎の予測モードを出力する。具体的には、高画質化予測モード決定器113 は、ELのCU毎の予測モードとしてレイヤ間予測モードを出力する。

ステップS103で、高画質化予測モード決定器113 は、ELのCU毎の予測モードを出力する。具体的には、高画質化予測モード決定器113 は、ELのCU毎の予測モードとしてインター予測モードを出力する。

予測器102Bは、高画質化予測モード決定器113 が決定した予測モード（推定器101Aを介して通知される。）で、ブロックサイズ決定器112 で決定されたCUクアッドツリー構造および推定器101Bで決定されたPUブロック予測パラメータに基づいて、EL画像のCUの画像信号に対する予測信号を生成する。すなわち、予測器102Bは、下位レイヤの再構築画像（バッファ106Aに格納されている。）を用いてレイヤ間予測を行う機能と、上位レイヤの再構築画像を用いてインター予測を行う機能とを備える。

本実施形態の映像符号化装置は、予測モード決定部の演算量を一般技術による演算量と同レベルに保ちながら、一般技術に比して高画質に上位レイヤの画像を圧縮できる。

なお、本実施形態では生じないが、高画質化予測モード決定器113 は、下位レイヤの画像のCUの予測モードがレイヤ間予測モードであるときには、処理対象のEL画像のCUの予測モードをレイヤ間予測モードにする。EL画像に対してインター予測の方がより符号化効率が高いが、インター予測のために好適な動きベクトルを推定するために多くの処理量を消費する可能性が高いからである。

また、本実施形態では生じないが、高画質化予測モード決定器113 は、下位レイヤの画像のCUの予測モードがイントラ予測モードであっても、処理中のレイヤがレイヤ間予測を用いることができない場合、処理中のレイヤの画像のCUの予測モードをイントラ予測モードにする。

実施形態２．
上記した第１の実施形態では、ビット数が最小となるレイヤ間予測を選択することが必ずしも保証されない。

ビット数が最小となるレイヤ間予測を選択するために、図4 に示す第２の実施形態の映像符号化装置を用いることがより好ましい。第２の実施形態では、高画質化ブロックサイズ決定手段によって、ELの画面中のすべてのレイヤ間予測モードの動きベクトルが同一となることを利用して、ELの画像領域のレイヤ間予測モードとなるCUの数を最小化するように、ELの画像領域のCUのブロックサイズを決定できる。

図4 は、本発明による映像符号化装置の第２の実施形態を示すブロック図である。図4 を参照して、ディジタル化された映像の各フレームを入力画像としてビットストリームを出力する第２の実施形態の映像符号化装置の構成を説明する。

本実施形態の映像符号化装置は、第１の実施形態の映像符号化装置と同様に、BLを符号化するBL符号化器100A、ELを符号化するEL符号化器200B、ダウンサンプル器109 、およびマルチプレクサ110を備える。

本実施形態におけるBL符号化器100Aの構成および動作は、図1 に示された第１の実施形態におけるBL符号化器100Aの構成および動作と同じである。しかし、本実施形態におけるEL符号化器200Bでは、図13に示されたEL符号化器300Bにおけるブロックサイズ決定器112 が高画質化ブロックサイズ決定器114 で置き換えられている。

つまり、本実施形態において、EL符号化器200Bにおける推定器101B、予測器102B、周波数変換器103B、量子化器104B、逆量子化／逆周波数変換器105B、バッファ106B、エントロピー符号化器107B 、アップサンプル器108 、および高画質化予測モード決定器113 は、図1 に示された第１の実施形態における推定器101B、予測器102B、周波数変換器103B、量子化器104B、逆量子化／逆周波数変換器105B、バッファ106B、エントロピー符号化器107B 、アップサンプル器108 、および高画質化予測モード決定器113 と同じである。

高画質化ブロックサイズ決定器114 は、処理対象のEL画像のCUに対応する画像領域のBL画像のCUクアッドツリー構造（推定器101Aによって決定される。）とCUの予測モード（推定器101Aによって決定される。）とを入力として、EL画像の各CUのブロックサイズを出力する。第１の実施形態におけるブロックサイズ決定器112 とは異なり、高画質化ブロックサイズ決定器114 は、後述する動作に基づいて、EL画像のCTU に含まれるイントラ予測モードCUの個数を最小化できる。

第２の実施形態では、EL画像のCUの予測モードは、高画質化予測モード決定器113 によって決定されることに着目する。高画質化予測モード決定器113 は、EL画像のCUに対応する画像領域のBL画像のCUの予測モードがイントラ予測モードのとき、EL画像のCUの予測モードとしてレイヤ間予測モードを設定する。

その結果、高画質化ブロックサイズ決定器114 は、図5 に示すように、CTUを細かなブロックサイズでレイヤ間予測するのではなく、可能な限り大きなブロックサイズでレイヤ間予測できる（図5(B)における右側参照）。

次に、図6 のフローチャートを参照して、高画質化ブロックサイズ決定器114の動作を説明する。ただし、最大CU（LCU: Largest Coding Unit）と最小CU（SCU: Smallest Coding Unit ）のブロックサイズ（辺の長さ）を、それぞれ64と8 とする。

符号化処理の開始時には、後述するステップS202,S203,S204において用いられるブロックサイズ（Kb）の初期値が8 （＝SCUのブロックサイズ）に設定される。

ステップS201で、高画質化ブロックサイズ決定器114 は、処理対象のEL画像のCTU に対応するBL画像の画像領域に包含されるBL画像のブロック分割形状と同一になるように、EL画像の仮のブロックサイズ（Eb）を決定する。さらに、処理対象のEL画像のCUに対応するBL画像の画像領域に対応するCUの予測モードと同一になるように、EL画像の仮の各CUの予測モード（Epred）を決定する。

ステップS202において、高画質化ブロックサイズ決定器114 は、EL画像のCTU をKbの２倍のブロックサイズ（Ob＝Kb×２）で区切られる各ブロック（Ob×Ob のブロック）について、以下の２つの条件を満たす４つのサブブロックで埋められるか否か判断する。

条件(1) サブブロックの仮のブロックサイズEbがKbと同じである。
条件(2) サブブロックの仮の予測モードEpred がイントラ予測モードである。

埋められる場合、さらに、高画質化ブロックサイズ決定器114 は、４つの該当するサブブロックのブロックサイズEbをObに更新する。埋められない場合には、高画質化ブロックサイズ決定器114 は、４つの該当するサブブロックのブロックサイズEbを維持する。

上述したステップS202の処理によって、高画質化予測モード決定器113 がレイヤ間予測モードを選択するEL画像のCUのブロックサイズをひとまわり拡大できる。

ステップS203で、高画質化ブロックサイズ決定器114 は、Kbが32（＝LCUのブロックサイズ／２）であるか否か判断する。Kbが32である場合には、これ以上ブロックをまとめることができないため、処理を終了する。Kbが32でない場合には、さらに大きなブロックサイズにまとめることができるため、ステップS204に移行する。

ステップS204で、高画質化ブロックサイズ決定器114 は、KbをKb×２に更新し、ステップS202に移行する。

上述した処理によって高画質化ブロックサイズ決定器114 は、EL画像のCTU に含まれるEpredがイントラ予測モードの画像領域に含まれるCUの個数を最小化できる。

また、EL画像のCUの予測モードが、高画質化予測モード決定器113 によって決定されることに着目して、高画質化予測モード決定器113が、EL画像のCUに対応する画像領域のBL画像のCUの予測モードがイントラ予測モードの時、EL画像のCUの予測モードとしてレイヤ間予測モードを設定するので、本実施形態の映像符号化装置は、EL画像のCTU に含まれるレイヤ間予測モードの画像領域を最小の個数のCUで処理できる。

その結果、CTU を細かなブロックサイズでレイヤ間予測するのではなく、可能な限り大きなブロックサイズでレイヤ間予測できる。大きなブロックサイズでレイヤ間予測をできるようにすることによって、CTU のパラメータ群のビット数を削減して圧縮効率を高めることができる。すなわち、第１の実施形態よりも高画質に上位レイヤを圧縮できる。

上記の各実施形態において明記しなかった、下位レイヤで用いるSCU（LL_SCU：Low Layer SCU ）とLCU（LL_LCU：Low Layer LCU ）、および、上位レイヤで用いるSCU（EL_SCU：Enhancement Layer SCU ）とLCU（EL_LCU：Enhancement Layer LCU ）の好適な関係を以下で補足説明する。ただし、以下の補足説明において、上位レイヤと下位レイヤの解像度比をRRとする（上記の各実施形態では上位レイヤは下位レイヤの２倍でありRR＝２）。

上記の各実施形態におけるブロックサイズ決定手段（ブロックサイズ決定器112 、高画質化ブロックサイズ決定器114 ）は、下位レイヤの画像領域のブロックサイズを用いて上位レイヤの画像領域のブロックサイズを決定する。このため、EL_LCUがRR×SL_LCU以上になる関係を満たす必要がある。つまり、上記の各実施形態の映像符号化装置は、上記のLL_LCUとEL_LCUの関係を満たすように、設定されたLL_LCU（または、EL_LCU）に応じてEL_LCU（または、LL_LCU）の値を自動設定する手段を備えていてもよい。

同様に、SCUのサイズについては、EL_SCUがRR×LL_SCU以上になる関係を満たす必要がある。つまり、上記の各実施形態の映像符号化装置は、上記のLL_SCUとEL_SCUの関係を満たすように、設定されたLL_SCU（または、EL_SCU）に応じてEL_SCU（または、LL_SCU）の値を自動設定する手段を備えていてもよい。

なお、上記の好適な関係を満たさない場合には、ブロックサイズ決定手段は、下位レイヤの画像領域のブロックサイズと同様な予測となるように、上位レイヤの画像領域を最小のブロック数で分割すればよい。

また、上記の各実施形態を、ハードウェア回路で構成することも可能であるが、コンピュータプログラムにより実現することも可能である。

図7 に示す情報処理システムは、プロセッサ1001、プログラムメモリ1002、映像データを格納するための記憶媒体1003およびビットストリームを格納するための記憶媒体1004を備える。記憶媒体1003と記憶媒体1004とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。

図7 に示された情報処理システムにおいて、プログラムメモリ1002には、図1 または図4 に示された各ブロックの機能を実現するためのプログラムが格納される。そして、プロセッサ1001は、プログラムメモリ1002に格納されているプログラムに従って処理を実行することによって、図1 に示された映像符号化装置の機能または図4 に示された映像符号化装置の機能を実現する。

図8 は、本発明によるクアッドツリー構造のブロック分割に基づく映像符号化装置の主要部を示すブロック図である。図8に示すように、映像符号化装置は、上位レイヤの画像領域の符号化に際して、上位レイヤの画像領域に対応する下位レイヤの画像領域のブロックサイズを用いて、上位レイヤの画像領域のブロックサイズを決定するブロックサイズ決定手段11（例えば、図1 に示すブロックサイズ決定器112 や、図4 に示す高画質化ブロックサイズ決定器114 で実現される。）と、上位レイヤの画像領域に対応する下位レイヤの画像領域の予測モードを用いて、上位レイヤの画像領域の予測モードを決定する予測モード決定手段12（例えば、図1 および図4 に示す高画質化予測モード決定器113 で実現される。）と、下位レイヤの再構築画像を用いてレイヤ間予測を行うレイヤ間予測手段13（例えば、図1 および図4 に示す予測器102Bで実現される。）と、上位レイヤの再構築画像を用いてインター予測を行うインター予測手段14（例えば、図1 および図4 に示す予測器102Bで実現される。）とを備え、予測モード決定手段12は、下位レイヤの画像領域の予測モードがイントラ予測モードのとき、上位レイヤの画像領域の予測モードをレイヤ間予測モードに決定することを特徴とする。

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１５年３月９日に出願された日本特許出願２０１５−０４５６１９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

11 ブロックサイズ決定手段
12 予測モード決定手段
13 レイヤ間予測手段
14 インター予測手段
100A BL符号化器
100B,200B EL符号化器
101A,101B 推定器
102A,102B 予測器
103A,103B 周波数変換器
104A,104B 量子化器
105A,105B 逆量子化／逆周波数変換器
106A,106B バッファ
107A,107B エントロピー符号化器
108 アップサンプル器
109 ダウンサンプル器
110 マルチプレクサ
111 予測モード決定器
112 ブロックサイズ決定器
113 高画質化予測モード決定器
114 高画質化ブロックサイズ決定器
1001 プロセッサ
1002 プログラムメモリ
1003,1004 記憶媒体

Claims (9)

1. 上位レイヤの画像領域の符号化に際して、前記上位レイヤの画像領域に対応する下位レイヤの画像領域のブロックサイズを用いて、前記上位レイヤの画像領域のブロックサイズを決定するブロックサイズ決定手段と、
   前記上位レイヤの画像領域に対応する前記下位レイヤの画像領域の予測モードを用いて、前記上位レイヤの画像領域の予測モードを決定する予測モード決定手段と、
   前記下位レイヤの再構築画像を用いてレイヤ間予測を行うレイヤ間予測手段と、
   前記上位レイヤの再構築画像を用いてインター予測を行うインター予測手段とを備え、
   前記予測モード決定手段は、前記下位レイヤの画像領域の予測モードがイントラ予測モードのとき、前記上位レイヤの画像領域の予測モードをレイヤ間予測モードに決定する
   ことを特徴とするクアッドツリー構造のブロック分割に基づく映像符号化装置。
2. 前記ブロックサイズ決定手段は、前記下位レイヤの画像領域の予測モードとブロックサイズとを用いて、前記レイヤ間予測手段によってレイヤ間予測される前記上位レイヤの画像領域を最小のブロック数で分割するブロックサイズを決定する
   請求項１記載のクアッドツリー構造のブロック分割に基づく映像符号化装置。
3. 前記ブロックサイズ決定手段は、前記下位レイヤの画像領域のブロックサイズを用いて前記上位レイヤの画像領域のブロックサイズを仮決定し、さらに、前記下位レイヤの画像領域の予測モードを用いて仮決定したブロックサイズを条件付きで拡大することによって、前記最小のブロック数で分割するブロックサイズを決定する
   請求項２記載のクアッドツリー構造のブロック分割に基づく映像符号化装置。
4. 上位レイヤの画像領域の符号化に際して、前記上位レイヤの画像領域に対応する下位レイヤの画像領域のブロックサイズを用いて、前記上位レイヤの画像領域のブロックサイズを決定し、
   前記上位レイヤの画像領域に対応する前記下位レイヤの画像領域の予測モードを用いて、前記上位レイヤの画像領域の予測モードを決定し、
   前記下位レイヤの再構築画像を用いてレイヤ間予測を行い、
   前記上位レイヤの再構築画像を用いてインター予測を行い、
   予測モードを決定するときに、前記下位レイヤの画像領域の予測モードがイントラ予測モードのとき、前記上位レイヤの画像領域の予測モードをレイヤ間予測モードに決定する
   ことを特徴とするクアッドツリー構造のブロック分割に基づく映像符号化方法。
5. 前記下位レイヤの画像領域の予測モードとブロックサイズとを用いて、レイヤ間予測される前記上位レイヤの画像領域を最小のブロック数で分割するブロックサイズを決定する
   請求項４記載のクアッドツリー構造のブロック分割に基づく映像符号化方法。
6. 前記下位レイヤの画像領域のブロックサイズを用いて前記上位レイヤの画像領域のブロックサイズを仮決定し、さらに、前記下位レイヤの画像領域の予測モードを用いて仮決定したブロックサイズを条件付きで拡大することによって、前記最小のブロック数で分割するブロックサイズを決定する
   請求項５記載のクアッドツリー構造のブロック分割に基づく映像符号化方法。
7. コンピュータに、
   上位レイヤの画像領域の符号化に際して、前記上位レイヤの画像領域に対応する下位レイヤの画像領域のブロックサイズを用いて、前記上位レイヤの画像領域のブロックサイズを決定する処理と、
   前記上位レイヤの画像領域に対応する前記下位レイヤの画像領域の予測モードを用いて、前記上位レイヤの画像領域の予測モードを決定する処理と、
   前記下位レイヤの再構築画像を用いてレイヤ間予測を行う処理と、
   前記上位レイヤの再構築画像を用いてインター予測を行う処理と、
   予測モードを決定するときに、前記下位レイヤの画像領域の予測モードがイントラ予測モードのとき、前記上位レイヤの画像領域の予測モードをレイヤ間予測モードに決定する処理とを実行させる
   ためのクアッドツリー構造のブロック分割に基づく映像符号化プログラム。
8. コンピュータに、
   前記下位レイヤの画像領域の予測モードとブロックサイズとを用いて、レイヤ間予測される前記上位レイヤの画像領域を最小のブロック数で分割するブロックサイズを決定させる請求項７記載のクアッドツリー構造のブロック分割に基づく映像符号化プログラム。
9. コンピュータに、
   前記下位レイヤの画像領域のブロックサイズを用いて前記上位レイヤの画像領域のブロックサイズを仮決定し、さらに、前記下位レイヤの画像領域の予測モードを用いて仮決定したブロックサイズを条件付きで拡大することによって、前記最小のブロック数で分割するブロックサイズを決定させる請求項８記載のクアッドツリー構造のブロック分割に基づく映像符号化プログラム。

Images