JPWO2015141116A1

JPWO2015141116A1 - 映像符号化装置、映像符号化方法および映像符号化プログラム

Info

Publication number: JPWO2015141116A1
Application number: JP2016508477A
Authority: JP
Inventors: 卓永山; 慶一蝶野; 貴之石田; 直也辻; 謙介霜觸
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2014-03-19
Filing date: 2015-02-04
Publication date: 2017-04-06
Also published as: WO2015141116A1; AR099669A1; EP3122049A4; US20160323579A1; EP3122049A1

Abstract

映像符号化装置は、量子化処理に使用されるパラメータを量子化手段11に供給する制御手段12を備え、量子化手段11が、量子化処理の一部を構成する演算であって、量子化パラメータに基づく値と視覚的な画質調整に用いられる量子化重み付け係数とが取り得る複数の値の各々を用いた演算の結果値が格納された２次元テーブル13と、制御手段12から供給された２つのパラメータに応じた結果値を入力し、入力した結果値を用いて量子化係数を生成する演算手段14とを含む。

Description

本発明は、映像符号化処理の計算負荷を分散する技術が適用された映像符号化装置に関する。

非特許文献１に基づいた映像符号化方式では、ディジタル化された映像の各フレームは符号化ツリーユニット（CTU:Coding Tree Unit）に分割され、ラスタスキャン順に各CTU が符号化される。各CTUは、クアッドツリー構造で、符号化ユニット（CU:Coding Unit）に分割されて符号化される。各CUは、予測ユニット（PU:Prediction Unit）に分割されて予測される。また、各CUの予測誤差は、クアッドツリー構造で、変換ユニット（TU: Transform Unit）に分割されて周波数変換される。以後、最も大きなサイズのCUを最大CU（LCU: Largest Coding Unit）、最も小さなサイズのCUを最小CU（SCU: Smallest Coding Unit ）という。なお、LCU サイズとCTU サイズは同一となる。

CUは、イントラ予測またはフレーム間予測によって予測符号化される。以下、イントラ予測およびフレーム間予測を説明する。

イントラ予測は、符号化対象フレームの再構築画像から予測画像を生成する予測である。非特許文献１では、図7 に示す33種類の角度イントラ予測が定義されている。角度イントラ予測は、符号化対象ブロック周辺の再構築画素を図7 に示す33種類の方向のいずれかに外挿して、イントラ予測信号を生成する。非特許文献１では、33種類の角度イントラ予測に加えて、符号化対象ブロック周辺の再構築画素を平均するDCイントラ予測、および、符号化対象ブロック周辺の再構築画素を線形補間するPlanarイントラ予測が定義されている。以後、イントラ予測に基づいて符号化されたCUをイントラCUという。

フレーム間予測は、符号化対象フレームと表示時刻が異なる再構築フレーム（参照ピクチャ）の画像に基づく予測である。以下、フレーム間予測をインター予測ともいう。図8 は、フレーム間予測の例を示す説明図である。動きベクトルMV＝(mv_x, mv_y)は、符号化対象ブロックに対する参照ピクチャの再構築画像ブロックの平行移動量を示す。インター予測は、参照ピクチャの再構築画像ブロックに基づいて（必要であれば画素補間を用いて）、インター予測信号を生成する。以後、フレーム間予測に基づいて符号化されたCUをインターCUという。

各CUがイントラCU／インターCUのいずれであるかは、非特許文献１に記載されるpred_mode_flagシンタクスによってシグナリングされる。

イントラCUのみで符号化されたフレームはＩフレーム（またはＩピクチャ）と呼ばれる。イントラCUだけでなくインターCUも含めて符号化されたフレームはＰフレーム（またはＰピクチャ）と呼ばれる。ブロックのインター予測に１枚の参照ピクチャだけでなく、さらに同時に２枚の参照ピクチャを用いるインターCUを含めて符号化されたフレームはＢフレーム（またはＢピクチャ）と呼ばれる。

図9 を参照して、ディジタル化された映像の各フレームの各CUを入力画像としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。

図9 に示す映像符号化装置は、周波数変換／量子化器1021、エントロピー符号化器1026、逆量子化／逆周波数変換器1022、バッファ1023、予測器1024、および推定器1025を備える。

図10は、フレームの空間解像度がCIF （CIF:Common Intermediate Format）、CTU サイズが64の場合のフレームt のCTU 分割例、および、フレームt に含まれる第８のCTU （CTU8）のCU分割例を示す説明図である。また、図11は、CTU8のCU分割例に対応する、クアッドツリー構造を示す説明図である。各CTU のクアッドツリー構造、すなわち、CU分割形状は、非特許文献１に記載されるsplit_cu_flag シンタクスによってシグナリングされる。

図12は、CUのPU分割形状を示す説明図である。イントラCUの場合、正方形のPU分割を選択できる。インターCUの場合、正方形はもちろん長方形のPU分割も選択できる。各CUのPU分割形状は、非特許文献１に記載されるpart_mode シンタクスによってシグナリングされる。

図13は、CUのTU分割例を示す説明図である。上段には、2N×2N PU 分割形状のイントラCUのTU分割例が示されている。イントラCUの場合、クアッドツリーの根（Root）はPUに配置され、各PUの予測誤差がクアッドツリー構造で表現される。下段には、2N×N PU分割形状のインターCUのTU分割例が示されている。インターCUの場合、クアッドツリーの根（Root）はCUに配置され、該CUの予測誤差がクアッドツリー構造で表現される。上述した予測誤差のクアッドツリー構造、すなわち、各CUのTU分割形状は、非特許文献１に記載されるsplit_tu_flag シンタクスによってシグナリングされる。

推定器1025は、CTU 毎に、符号化コストを最小とする、CU分割形状を決定するsplit_cu_flag シンタクス値を決定する。推定器1025は、CU毎に、符号化コストを最小とする、イントラ予測／インター予測を決定するpred_mode_flagシンタクス値、PU分割形状を決定するpart_mode シンタクス値、および、TU分割形状を決定するsplit_tu_flag シンタクス値を決定する。推定器1025は、PU毎に、符号化コストを最小とする、イントラ予測方向、および、動きベクトルなどを決定する。

周波数変換／量子化器1021は、推定器1025が決定したTU分割形状に基づいて、入力画像信号から予測信号を減じた予測誤差画像を周波数変換する。

さらに、周波数変換／量子化器1021は、周波数変換した予測誤差画像（周波数変換係数）を量子化する。以下、周波数変換係数を、単に、変換係数といい、量子化された変換係数を量子化係数という。

エントロピー符号化器1026は、推定器1025が決定したsplit_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向の差分情報、動きベクトルの差分情報、および、量子化係数をエントロピー符号化する。

逆量子化／逆周波数変換器1022は、量子化係数を逆量子化する。さらに、逆量子化／逆周波数変換器1022は、逆量子化した変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ1023に供給される。バッファ1023は、再構築画像を格納する。

上述した動作に基づいて、一般的な映像符号化装置はビットストリームを生成する。

特開２０１１−１０９７１１号公報特開２０１３−１５０３２７号公報

ITU-T 勧告 H.265 High efficiency video coding, April 2013 ITU-T H.264 2011/06

非特許文献２に記載されたH.264/AVC 規格では、周波数変換（直交変換）のブロックサイズとして、4×4、8×8の２種類が用いられる。しかし、非特許文献１に記載されたH.265/HEVC 規格では、直交変換のブロックサイズ（TUサイズ）として、4×4、8×8、16×16、32×32の４種類が用いられる。

変換係数c_ij の量子化係数q_ij を求める演算式を、（１）式に示す。

f は量子化丸めを決定するためのオフセットであるが、offsetQ はHM（HEVC test Model）に基づくスライスタイプ（slice_type）に依存する値（量子化オフセット）である。q_step は、量子化ステップサイズである。"<<"は、左シフトを示す。BitDepthは、入力画像の画素ビット深度である。N はTUサイズである。

Qscaleは、量子化ステップ係数であり、量子化ステップサイズq_step による量子化を実現するための乗算係数である。Qp％6は量子化パラメータQpを6 で割った剰余である。Qscale(Qp％6) は、Qscaleが量子化パラメータQpを6 で割った剰余Qp％6の値に応じた値であることを意味する。以下、Qscale(Qp％6)を、Qp％6に応じた量子化ステップ係数という。m_ij は視覚的な画質調整に用いられる量子化重み付け係数行列（以下、単に、重み付け係数という。）であり、行列の要素m は1 〜255 のいずれかの値である。なお、図14(A) には、m = 16の場合の例が示されているが、m = 1 〜15，17〜255 についても、Qp％6に応じた量子化ステップ係数（Qscale(Qp％6)）の値が定められる。

また、量子化ステップ係数Qscaleは、H.265/HEVC規格において規定されていないが、H.265/HEVC規格において逆量子化ステップ係数InvQscale （図14(B) 参照）が規定されている。

量子化ステップ係数Qscaleは、以下の制約式（（２）式）を満たす必要がある。

量子化ステップ係数Qscaleの最大値は419,430 であり、19ビットで表現される。

重み付け係数（m_ij ）は、色成分毎、直交変換のTUサイズ毎、およびイントラ予測／インター予測に応じて異なる。

周波数変換／量子化器1021が、画素毎に上記の（１）式に基づいて量子化係数q_ij を算出すると計算量が多くなってしまう。特に、（１）式には重み付け係数（m_ij ）を除数とする除算の計算が含まれるので、計算負荷が高くなる。そこで、一般に、量子化係数q_ij を得るために、（１）式の右辺の一部を構成する値が、ルックアップテーブル（以下、テーブルまたはＬＵＴという。）としてメモリに格納される構成が採用されると考えられる。

重み付け係数（m_ij ）は、色成分（輝度成分Y 、色差信号のU 成分およびV 成分）毎、イントラ予測／インター予測、および直交変換のTUサイズ毎に応じて異なるので、多数のテーブルがメモリに格納される必要がある。そして、各々のテーブルを構成するデータのビット数は多い。

なお、量子化係数q_ij を得るときにテーブルを使用する例が、特許文献１，２に記載されている。

図15は、重み付け係数（m_ij ）のパターン数を説明するための説明図である。図15に示すように、TUサイズが4×4、8×8または16×16である場合には、各々のTUサイズについて、色成分（３種類）およびイントラ予測／インター予測の別（すなわち、２種類）に応じて、計６種類の重み付け係数（m_ij ）がある。32×32のTUサイズは、輝度成分Y についてのみ使用されるので、イントラ予測／インター予測の別（すなわち、２種類）に応じて、計２種類の重み付け係数（m_ij ）がある。

また、Qscaleとして６種類の値のいずれかが用いられるので、重み付け係数（m_ij ）の各要素が19ビットで表現される場合、（１）における除算部分（下記の（３）式）をテーブル化した場合には、図16に示すように、全テーブルサイズは、452,342 ビットと膨大になる。なお、以下、（３）式を用いて算出される値を量子化乗数という。

本発明は、データテーブルを利用して量子化係数を得る場合に、データテーブルの容量を節減することを目的とする。

本発明による映像符号化装置は、周波数変換された予測誤差画像である変換係数の量子化係数を生成する量子化処理を実行する量子化手段を備える映像符号化装置であって、量子化処理に使用されるパラメータを量子化手段に供給する制御手段を備え、量子化手段は、量子化処理の一部を構成する演算であって、量子化パラメータに基づく値と視覚的な画質調整に用いられる量子化重み付け係数とが取り得る複数の値の各々に対応する演算の結果値が格納された２次元テーブルと、制御手段から供給されたパラメータに応じた結果値を２次元テーブルから入力し、入力した結果値を用いて量子化係数を生成する演算手段とを含むことを特徴とする。

本発明による映像符号化方法は、周波数変換された予測誤差画像である変換係数の量子化係数を生成する量子化処理を含む映像符号化方法であって、量子化処理の一部を構成する演算であって、量子化パラメータに基づく値と視覚的な画質調整に用いられる量子化重み付け係数とが取り得る複数の値の各々に対応する演算の結果値が格納された２次元テーブルから、実際に量子化処理に使用されるパラメータに応じた結果値を入力し、入力した結果値を用いて量子化係数を生成することを特徴とする。

本発明による映像符号化プログラムは、コンピュータに、周波数変換された予測誤差画像である変換係数の量子化係数を生成する量子化処理の一部を構成する演算であって、量子化パラメータに基づく値と視覚的な画質調整に用いられる量子化重み付け係数とが取り得る複数の値の各々に対応する演算の結果値が格納された２次元テーブルから、量子化処理に使用されるパラメータに応じた結果値を入力する処理と、入力した結果値を用いて量子化係数を生成する処理とを実行させることを特徴とする。

本発明によれば、データテーブルを利用して量子化係数を得る場合に、データテーブルの容量を節減できる。

一実施形態の映像符号化装置の構成例を示すブロック図である。量子化器の入力パラメータを説明するための説明図である。量子化器の構成例を示すブロック図である。量子化器の１ブロック分の量子化係数q_ij の算出に関する動作を示すフローチャートである。映像符号化装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。本発明による映像符号化装置の主要部を示すブロック図である。 33種類の角度イントラ予測の例を示す説明図である。フレーム間予測の例を示す説明図である。一般的な映像符号化装置の構成を示す説明図である。フレームt のCTU 分割例、および、フレームt のCTU8のCU分割例を示す説明図である。 CTU8のCU分割例に対応するクアッドツリー構造を示す説明図である。 CUのPU分割例を示す説明図である。 CUのTU分割例を示す説明図である。量子化ステップ係数の一例を示す説明図である。重み付け係数（m_ij ）のパターン数を説明するための説明図である。テーブル数を説明するための説明図である。

以下、本発明の実施形態を図面を参照して説明する。

図1 は、一実施形態の映像符号化装置の構成例を示すブロック図である。図1 に示す映像符号化装置は、H.265/HEVC規格に基づいて符号化処理を実行する。なお、所定の係数の量子化処理を含む他の規格（方式）の符号化処理に対して、本実施形態を適用することもできる。

映像符号化装置は、周波数変換器102 、量子化器103、量子化制御器104 、エントロピー符号化器1026、逆量子化／逆周波数変換器1022、バッファ1023、予測器1024、および推定器1025を備える。

エントロピー符号化器1026、逆量子化／逆周波数変換器1022、バッファ1023、予測器1024、および推定器1025の機能は、図9 に示されたそれらの機能と同じである。

周波数変換器102 は、推定器1025が決定したTU分割形状に基づいて、入力画像信号から予測信号を減じた予測誤差画像を周波数変換し、変換係数c_ij を生成する。量子化器103 は、変換係数c_ij の量子化係数q_ij を生成する。量子化制御器104 は、量子化パラメータQp等のパラメータを量子化器103 に供給する。

具体的には、図2 に示すように、量子化器103 は、量子化パラメータQp、重み付け係数（mij ）、量子化オフセットoffsetQ 、ブロックサイズ（TUサイズ）Ｎ、画素ビット深度BitDepth、色成分、およびインター予測であるのかインター予測であるのかを示すデータを量子化制御器104 から入力する。そして、量子化器103 は、量子化制御器104 から入力したデータに基づいて、変換係数c_ij から量子化係数q_ij を算出する。

なお、量子化制御器104 は、推定器1025からパラメータを得る。また、量子化制御器104 は、推定器1025に組み込まれていてもよい。

図3 は、量子化器103 の構成例を示すブロック図である。図3 に示す例では、量子化器103 は、演算器1031、２次元ルックアップテーブル（２次元ＬＵＴ）1032およびＱｐ％６算出部1033を含む。

図3 に示すように、２次元ＬＵＴ1032は、重み付け係数（m_ij ）の要素m がとりうる値（1 〜255 ）およびQp％6のそれぞれの値（0 〜5 ）に対応する量子化乗数（上記の（３）式参照）が設定されているＲＯＭ（Read Only Memory）で実現される。

Ｑｐ％６算出部1033は、量子化パラメータQpを6 で割って、剰余をQp％6とする。

図4 は、量子化器103 の１ブロック分の量子化係数q_ij の算出に関する動作を示すフローチャートである。図4 に示すように、ステップS101で、量子化器103 は、量子化制御器104 からパラメータを入力する。パラメータには、量子化パラメータQp、重み付け係数（mij ）、量子化オフセットoffsetQ 、TUサイズＮ、画素ビット深度BitDepth、色成分、およびインター予測であるのかインター予測であるのかを示すデータが含まれる。なお、（i,j ）は、ブロックにおける画素位置を示す。また、演算器1031は、入力したパラメータを一時記憶する。

次いで、ステップS102で、２次元ＬＵＴ1032は、入力したパラメータに含まれる重み付け係数（mij ）の要素m と、入力したパラメータに含まれる量子化パラメータQp（具体的には、Qp%6）とに対応する量子化乗数を出力する。そして、ステップS103で、演算器1031は、下記の（４）式に基づいて量子化係数q_ij を算出する。

（［量子化乗数］×｜c_ij ｜＋f ・q_step ）／q_step （４）

全ての（i,j ）について、ステップS102〜S103の処理を実行したら、量子化係数q_ij の算出処理を終了する（ステップS104）。未処理の（i,j ）がある場合には、演算器1031および２次元ＬＵＴ1032は、次の（i,j ）を対象として、ステップS102〜 S103の処理を実行する。

以上のように、量子化部103 は、ＬＵＴを利用して量子化係数q_ij を算出する。

本実施形態では、変換係数c_ij の量子化係数q_ij を算出する際に、重み付け係数（m_ij ）で量子化ステップ係数を除する処理を実行しない。よって、量子化係数q_ij を求める際の演算量を低減することができる。

また、以下に説明するように、ＬＵＴのサイズを小さくすることができる。

２次元ＬＵＴ1032のサイズは、ＬＵＴの要素が19ビットで表現されている場合、255 ×6 ×19 = 29,070ビットである。

Qp%6毎にテーブルを分けた場合には、テーブルのサイズは、452,342 ビットである（図16参照）。すなわち、本実施形態では、２次元ＬＵＴ1032のサイズが削減されている。

本実施形態で、２次元ＬＵＴ1032のサイズが削減される理由は、以下の通りである。すなわち、重み付け係数（m_ij ）の要素m の値（1 〜255 ）は、色成分またはTUサイズが異なっていても、また、イントラ予測であるかインター予測であるかに関わらず、共通である。よって、Qp%6毎に要素m の値（1 〜255 ）に応じた量子化乗数の値が設定された１つのテーブルを用意するだけで、すなわち、１つの２次元ＬＵＴを用意するだけで、種々の色成分、イントラ予測／インター予測の別、および種々のTUサイズに応じた量子化乗数の値が得られる。つまり、Qp%6毎のテーブルを設けなくてよい。

なお、上記の実施形態の映像符号化装置を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。

図5 に示す情報処理システムは、プロセッサ1001、プログラムメモリ1002、映像データを格納するための記憶媒体1003およびビットストリームを格納するための記憶媒体1004を備えている。記憶媒体1003と記憶媒体1004とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。

図5 に示された情報処理システムにおいて、プログラムメモリ1002には、図1 に示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ1001は、プログラムメモリ1002に格納されているプログラムに従って処理を実行することによって、上記の実施形態の映像符号化装置の機能を実現する。

なお、量子化器103 については、図2 に示された演算器1031の機能が、プログラムに従って処理を実行するプロセッサ1001で実現可能である。

図6 は、本発明による映像符号化装置の主要部を示すブロック図である。図6 に示すように、映像符号化装置は、量子化手段（量子化部：例えば、量子化器103 で実現される。）11と、量子化処理に使用されるパラメータを量子化手段11に供給する制御手段（制御部：例えば、量子化制御器104 で実現される。）12とを備え、量子化手段11は、量子化処理の一部を構成する演算であって、量子化パラメータに基づく値と視覚的な画質調整に用いられる量子化重み付け係数（例えば、量子化パラメータQp（具体的には、Qp％6）と重み付け係数行列m_ij）とが取り得る複数の値の各々に対応する演算の結果値（例えば、量子化乗数）が格納された２次元テーブル（例えば、２次元LUT1032）13と、制御手段12から供給されたパラメータに応じた結果値を２次元テーブルから入力し、入力した結果値を用いて量子化係数を生成する演算手段（演算部：例えば、量子化器103 の演算部1031で実現される。）14とを含む。

なお、上記の実施形態では、量子化重み付け係数は、色成分やブロックサイズが異なっていても、値が共通（例えば、1 〜255 共通範囲における各値）である。

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１４年３月１９日に出願された日本特許出願２０１４−０５５８４１を基礎とする優先権を主張し、その開示の全てをここに取り込む。

11 量子化手段（量子化部）
12 制御手段（制御部）
13 ２次元テーブル
14 演算手段（演算部）
102 周波数変換器
103 量子化器
104 量子化制御器
1021 周波数変換／量子化器
1022 逆量子化／逆周波数変換器
1023 バッファ
1024 予測器
1025 推定器
1026 エントロピー符号化器
1031 演算器
1032 ２次元ルックアップテーブル（２次元ＬＵＴ）
1033 Ｑｐ％６算出部

Claims

周波数変換された予測誤差画像である変換係数の量子化係数を生成する量子化処理を実行する量子化手段を備える映像符号化装置であって、
前記量子化処理に使用されるパラメータを前記量子化手段に供給する制御手段を備え、
前記量子化手段は、
前記量子化処理の一部を構成する演算であって、量子化パラメータに基づく値と視覚的な画質調整に用いられる量子化重み付け係数とが取り得る複数の値の各々に対応する演算の結果値が格納された２次元テーブルと、
前記制御手段から供給された前記パラメータに応じた結果値を前記２次元テーブルから入力し、入力した結果値を用いて前記量子化係数を生成する演算手段とを含む
映像符号化装置。
前記量子化処理の一部を構成する演算は、前記量子化パラメータに基づく値と前記量子化重み付け係数とを用いる除算である
請求項１記載の映像符号化装置。
前記量子化手段は、H.265/HEVC規格に基づいて前記量子化処理を実行する
請求項１または請求項２記載の映像符号化装置。
周波数変換された予測誤差画像である変換係数の量子化係数を生成する量子化処理を含む映像符号化方法であって、
前記量子化処理の一部を構成する演算であって、量子化パラメータに基づく値と視覚的な画質調整に用いられる量子化重み付け係数とが取り得る複数の値の各々に対応する演算の結果値が格納された２次元テーブルから、実際に前記量子化処理に使用されるパラメータに応じた結果値を入力し、
入力した結果値を用いて前記量子化係数を生成する
映像符号化方法。
前記量子化処理の一部を構成する演算は、前記量子化パラメータに基づく値と前記量子化重み付け係数とを用いる除算である
請求項４記載の映像符号化方法。
H.265/HEVC規格に基づいて前記量子化処理を実行する
請求項４または請求項５記載の映像符号化方法。
コンピュータに、
周波数変換された予測誤差画像である変換係数の量子化係数を生成する量子化処理の一部を構成する演算であって、量子化パラメータに基づく値と視覚的な画質調整に用いられる量子化重み付け係数とが取り得る複数の値の各々に対応する演算の結果値が格納された２次元テーブルから、前記量子化処理に使用されるパラメータに応じた結果値を入力する処理と、
入力した結果値を用いて前記量子化係数を生成する処理とを実行させる
ための映像符号化プログラム。
H.265/HEVC規格に基づいて前記量子化処理を実行させる請求項７記載の映像符号化プログラム。