JP5574072B1 - 映像符号化装置、映像符号化方法および映像符号化プログラム - Google Patents

映像符号化装置、映像符号化方法および映像符号化プログラム Download PDF

Info

Publication number
JP5574072B1
JP5574072B1 JP2014515952A JP2014515952A JP5574072B1 JP 5574072 B1 JP5574072 B1 JP 5574072B1 JP 2014515952 A JP2014515952 A JP 2014515952A JP 2014515952 A JP2014515952 A JP 2014515952A JP 5574072 B1 JP5574072 B1 JP 5574072B1
Authority
JP
Japan
Prior art keywords
coefficient level
value
position information
significant
significant coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014515952A
Other languages
English (en)
Other versions
JPWO2014103182A1 (ja
Inventor
健太 徳満
慶一 蝶野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2014515952A priority Critical patent/JP5574072B1/ja
Application granted granted Critical
Publication of JP5574072B1 publication Critical patent/JP5574072B1/ja
Publication of JPWO2014103182A1 publication Critical patent/JPWO2014103182A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

映像符号化装置は、画像ブロックを直交変換して直交変換係数を計算する直交変換部11と、直交変換係数を量子化して係数レベルを計算する量子化部12と、係数レベルのうちすべての有意係数レベルの位置情報をエントロピー符号化した後に、それぞれの有意係数レベルの値情報をエントロピー符号化してビットストリームを出力するエントロピー符号化部13とを備え、量子化部11は、画像ブロックに含まれる伝送順で最初に有意な係数レベルの位置に基づいて決定される位置情報ビット数を計算する位置情報ビット数計算部と、有意な係数レベルの値情報ビット数を計算する値情報ビット数計算部と、位置情報ビット数と値情報ビット数とが所定の条件を満たす有意な係数レベルを０とする高コスト係数レベル検出／除去部とを含む。

Description

本発明は、直交変換係数を量子化する量子化技術であって、例えば、HEVCを用いた映像符号化装置に好適に適用される。
非特許文献1 に記載された方法に基づいた映像符号化方式は、ディジタル化された映像の各フレームを符号化ツリーユニット（CTU ：Coding Tree Unit）に分割し、ラスタスキャン順に各CTU を符号化する。各CTU は、クアッドツリー構造で、符号化ユニット（CU：Coding Unit ）に分割されて符号化される。各CUは、予測ユニット（PU：Prediction Unit ）に分割されて予測される。また、各CUの予測誤差は、クアッドツリー構造で、変換ユニット（TU：Transform Unit ）に分割されて周波数変換される。
CUは、イントラ予測／フレーム間予測の符号化単位である。以下、イントラ予測およびフレーム間予測を説明する。
イントラ予測は、符号化対象フレームの再構築画像から生成する予測である。非特許文献1 では、図14に示す33種類の角度イントラ予測などが定義されている。角度イントラ予測では、符号化対象ブロック周辺の再構築画素を図14に示す33種類の方向のいずれかに外挿して、イントラ予測信号が生成される。以下、イントラ予測を用いるCUをイントラCUと呼ぶ。
フレーム間予測は、符号化対象フレームと表示時刻が異なる再構築フレーム（参照ピクチャ）の画像に基づく予測である。以下、フレーム間予測をインター予測とも呼ぶ。図15は、フレーム間予測の例を示す説明図である。動きベクトルMV＝（mvx, mvy）は、符号化対象ブロックに対する参照ピクチャの再構築画像ブロックの平行移動量を示す。インター予測は、参照ピクチャの再構築画像ブロックに基づいて（必要であれば画素補間を用いて）、インター予測信号を生成する。以下、インター予測を用いるCUをインターCUと呼ぶ。
なお、イントラCUのみで符号化されたフレームはＩフレーム（またはＩピクチャ）と呼ばれる。イントラCUだけでなくインターCUも含めて符号化されたフレームはPフレーム（またはＰピクチャ）と呼ばれる。ブロックのインター予測に１枚の参照ピクチャだけでなく、さらに同時に２枚の参照ピクチャを用いるインターCUを含めて符号化されたフレームはＢフレーム（またはＢピクチャ）と呼ばれる。
次に、図16を参照して、ディジタル化された映像の各フレームの各CUを入力画像としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。
図16に示す映像符号化装置は、周波数変換器101 、量子化器1020、エントロピー符号化器103 、逆周波数変換／逆量子化器104 、バッファ105 、予測器106 、および推定器107 を備える。
図17は、フレームの空間解像度がCIF （Common Intermediate Format）、CTU サイズが64の場合のフレームt のCTU 分割例、および、フレームt の第8CTU（CTU8）のCU分割例を示す説明図である。また、図18は、CTU8のCU分割例に対応するクアッドツリー構造を示す説明図である。
図19は、CUのTU分割例を示す説明図である。上段には、イントラ予測 2N×2N PU のCUのTU分割例が示されている。CUがイントラ予測の場合、クアッドツリーの根（Root）をPUに配置し、予測誤差をクアッドツリー構造で表現する。下段には、インター予測 2N×N PUのCUのTU分割例が示されている。CUがインター予測の場合、クアッドツリーの根（Root）をCUに配置し、予測誤差をクアッドツリー構造で表現する。
推定器107 は、CTU 毎に、エントロピー符号化コストを最小とするCUクアッドツリー構造、PU分割形状、およびTUクアッドツリー構造を決定する。
予測器106 は、推定器107 が決定したCUクアッドツリー構造およびPU分割形状に基づいて、CUの入力画像信号に対する予測信号を生成する。予測信号は、上述したイントラ予測またはインター予測に基づいて生成される。
周波数変換器101 は、推定器107 が決定したTUクアッドツリー構造に基づいて、入力画像信号から予測信号を減じた予測誤差画像を周波数変換する。
量子化器1020は、周波数変換された予測誤差画像（直交変換係数）を量子化する。以下、量子化された直交変換係数を係数レベルと呼ぶ。また、０ではない値を持つ係数レベルのことを有意係数レベルと呼ぶ。図20に示すように、量子化器1020は、直交変換係数Kij と量子化パラメータQPとを入力し、係数レベルLij を出力する係数レベル計算部1201を備えている。
エントロピー符号化器103 は、CTU のクアッドツリー構造を示すcu_split_flag、予測パラメータ、および係数レベルをエントロピー符号化する。
逆周波数変換／逆量子化器104 は、係数レベルを逆量子化する。さらに、逆周波数変換／逆量子化器104 は、逆量子化した直交変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ105 に供給される。バッファ105 は、再構築画像を格納する。
上述した動作に基づいて、一般的な映像符号化装置はビットストリームを生成する。
以下、量子化器1020とエントロピー符号化器103 のそれぞれの動作を、図21に示す 4×4 TUの例を用いてさらに詳しく説明する。
まず、 4×4 TUの直交変換係数Kij と係数レベルLij を以下のように定義する。
Kij （0 ≦ i, j ≦ 3）を、周波軸での水平位置i および垂直位置j における直交変換係数の値と定義する。同様に、係数レベルLij を、直交変換係数Kij に対応する係数レベルの値と定義する。ただし、i 、j の値が大きいほど、Kij およびLij は高周波成分となる。
次に、量子化を詳しく説明する。係数レベル計算部1201は、Kij を量子化ステップQsで割ることによって、係数レベルLij を計算する。定式的には、係数レベルLij は、（１）式で表される。
Lij ＝ Sign（Kij ）・Floor （｜Kij ｜／Qs＋f ） （１）
ただし、Sign（a ）は入力a の正負の符号を返す関数、Floor（a ）は入力a 以下の最も大きな整数を返す関数、f は量子化特性を決定するパラメータ（0 ≦f ≦ 0.5）である。f の値を、インター予測においては1/6 、イントラ予測においては1/3 とする。
なお、Qsは、量子化パラメータQPを用いて以下の（２）式で示される。
Figure 0005574072
ただし、N はTUのブロックサイズである。図21に示す 4×4 TUにおいては N=4 である。図21には、Kij を、4096の値を持つQsおよび1/3の値を持つf で量子化した例が示されている。
続いて、エントロピー符号化を詳しく説明する。まず、係数レベルに対するエントロピー符号化の説明において用いる位置情報と値情報とを定義する。
本明細書において、位置情報は、TUのすべての有意係数レベルの位置を示す情報である。
非特許文献1 の7.4.9.11を参照すると、HEVCにおける位置情報は、最初に伝送する有意係数レベルの水平位置および垂直位置を示す情報last_significant_xおよびlast_significant_y と、（last_significant_x、last_significant_y ）より後続の位置から（0, 0 ）までのそれぞれの位置における有意係数レベルの有無を示す情報siginificant_coeff_flag とで構成される。ゆえに、位置情報ビット数は、最初に伝送する有意係数レベルの位置に基づいて決定されるlast_significant_xのビット数、last_significant_yのビット数、およびsiginificant_coeff_flag のビット数の総和である。
本明細書において、値情報は、有意係数レベルの値を示す情報である。
非特許文献1 の7.4.9.11を参照すると、HEVCにおける値情報は、有意係数レベルの絶対値が１より大きいか否かを示す情報coeff_abs_level_greater1_flag 、有意係数レベルの絶対値が２より大きいか否かを示す情報coeff_abs_level_greater2_flag 、有意係数レベルの正負の符号を示す情報coeff_sign_flag 、およびcoeff_abs_level_greater1_flag やcoeff_abs_level_greater2_flag よりも大きな有意係数レベルの絶対値から、coeff_abs_level_greater1_flag とcoeff_abs_level_greater2_flag とを減じた値（有意係数レベルの残り）の絶対値を示す情報coeff_abs_level_remaining で構成される。ゆえに、値情報ビット数は、有意係数レベルのcoeff_abs_level_greater1_flag のビット数、coeff_abs_level_greater2_flag のビット数、coeff_sign_flag のビット数、およびcoeff_abs_level_remaining のビット数の総和である。
図22には、位置情報および値情報と係数レベルLij との関係が示されている。図22において、横軸に対する縦軸の項目は、図21に示された 4×4 TUにおける各Lij の情報を示す。
図22におけるlast_significant_x、last_significant_yは、最初に伝送する有意係数レベルL30 = 1 の位置（i, j）=（3, 0）を示す。siginificant_coeff_flag は、（3, 0）より後続の位置から（0, 0）までのそれぞれの位置における有意係数レベルの有無を示す。有意係数レベルである場合はsiginificant_coeff_flag= 1、有意係数レベルでない場合にはsiginificant_coeff_flag =0とする。図22では、L30=1 およびL01=1 は、それぞれcoeff_abs_level_greater1_flag=0 とcoeff_sign_flag=0 （正）とで表現される。なお、両方とも値が２未満であるため、coeff_abs_level_greater2_flag とcoeff_abs_level_remaining とは用いられない。
図23には、位置情報および値情報と値情報のビット数との関係が示されている。図23において、横軸に対する縦軸の項目は、図21に示された 4×4 TUの位置情報ビット数と値情報ビット数を示す。
図23における各情報ビット数はbin 数で示される。bin は、エントロピー符号化器103 によって出力されるビットストリームに変換される前の中間ビット列における１つのビットを指す。
図21に示された 4×4 TUの場合、エントロピー符号化器103 は、TU内のすべての有意係数レベルの位置情報のビット13bin を伝送してから、それぞれの有意係数レベルの値情報のビット数、計4binを伝送する。位置情報は、last_significant_x、last_significant_yおよびsiginificant_coeff_flag で構成される。last_significant_xおよびlast_significant_yは、最初に伝送する有意係数の位置である（i, j）=（3, 0）を示し、4binである。siginificant_coeff_flag は、最初の伝送する有意係数の位置より後続の位置（2, 1）から、（0, 0）までの 9 位置それぞれの有意係数レベルの有無を示し、9binである。
値情報はcoeff_abs_level_greater1_flag 、coeff_coeff_abs_level_greater2_flag 、coeff_sign_flag 、およびcoeff_abs_level_remaining で構成される。coeff_abs_level_greater1_flag は、L30 とL01 に対し、１より大きいか否かを示し2binである。coeff_coeff_abs_level_greater2_flag は、有意係数レベルの絶対値が２より大きい係数レベルが存在しないため、0binである。coeff_sign_flag は、L30 とL01 の正負の符号を示し、2binである。coeff_abs_level_remaining は、有意係数レベルの絶対値が２より大きい係数レベルが存在しないため、0binである。
なお、 4×4 TUの場合、それぞれの情報の最大bin 数は下記の通りである。すなわち、非特許文献1 の7.4.9.11に基づけば 4×4 TUにおいては最大値が3 （=N-1=4-1）であるから、last_significant_xは最大3binである。同様に、last_significant_yも、最大3binである。非特許文献1 の7.3.9.11に基づけば 4×4 TUあたり最大15であるから、siginificant_coeff_flag は最大15bin である。非特許文献1 の7.3.9.11に基づけば 4×4 TUあたり最大8 であるから、coeff_abs_level_greater1_flag は最大8binである。非特許文献1 の7.3.9.11に基づけば 4×4 TUあたり最大1 であるから、coeff_coeff_abs_level_greater2_flag は最大1binである。非特許文献1 の7.3.9.11に基づけば 4×4 TUあたり最大16であるから、coeff_sign_flag は最大16bin である。非特許文献1 の9.2.2.8 に基づいて、coeff_abs_level_remaining に対するbin が算出される。
なお、非特許文献1 の9.2.2.8 の式（9-6 ）および（9-7 ）からわかるように、最後に伝送した有意係数レベルの値が所定の閾値を超える度に、coeff_abs_level_remaining のprefix部のbin string には高次元のTU符号が適用されるようになり、coeff_abs_level_remaining のsuffix部のbin stringには高次元のExp-Golom 符号が適用される。つまり、小さな値のcoeff_abs_level_remaining のsuffix部に対するbin 数は多くなり、大きな値のcoeff_abs_level_remainingのsuffix部に対するbin は少なくなる。
High efficiency video coding （HEVC） text specification draft 9, JCTVC-K1003_v9, Joint Collaborative Team on Video Coding （JCT-VC） of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 11th Meeting： Shanghai, CN, 10209 October 2012.
HEVCを用いたエントロピー符号化器は、TU単位で、TU内のすべての有意係数レベルの位置情報をエントロピー符号化してから、それぞれの有意係数レベルの値情報をエントロピー符号化する。ゆえに、有意係数レベルの位置情報のビット数と値情報のビット数とが所定の条件を満たすと伝送の際に高コストとなる有意係数レベル（以下、高コスト係数レベルと呼ぶ）が存在する。例えば、位置情報のビット数が、値情報のビット数より大きい場合、係数レベルは、高コスト係数レベルになる。また、有意係数レベルの値が小さい場合、係数レベルが高コスト係数レベルになる傾向がある。高コスト係数レベルを伝送すると、圧縮効率が低下する。
本発明の目的は、高コスト係数レベルの伝送を防ぎ、圧縮効率を低下させないようにする映像符号化装置を提供することである。
本発明による映像符号化装置は、画像ブロックを直交変換して直交変換係数を計算する直交変換手段と、直交変換係数を量子化して係数レベルを計算する量子化手段と、係数レベルのうちすべての有意係数レベルの位置情報をエントロピー符号化した後に、それぞれの有意係数レベルの値情報をエントロピー符号化してビットストリームを出力するエントロピー符号化手段とを備える映像符号化装置であって、量子化手段は、画像ブロックに含まれる伝送順で最初に有意な係数レベルの位置に基づいて決定される位置情報ビット数を計算する位置情報ビット数計算手段と、有意な係数レベルの値情報ビット数を計算する値情報ビット数計算手段と、位置情報ビット数と値情報ビット数とが所定の条件を満たす有意な係数レベルを０とする高コスト係数レベル検出／除去手段とを含むことを特徴とする。
本発明による映像符号化方法は、画像ブロックを直交変換して直交変換係数を計算し、直交変換係数を量子化して係数レベルを計算し、係数レベルのうちすべての有意係数レベルの位置情報をエントロピー符号化した後に、それぞれの有意係数レベルの値情報をエントロピー符号化してビットストリームを出力する映像符号化方法であって、係数レベルを計算する際に、画像ブロックに含まれる伝送順で最初に有意な係数レベルの位置に基づいて決定される位置情報ビット数を計算し、有意な係数レベルの値情報ビット数を計算し、位置情報ビット数と値情報ビット数とが所定の条件を満たす有意な係数レベルを０とすることを特徴とする。
本発明による映像符号化プログラムは、コンピュータに、画像ブロックを直交変換して直交変換係数を計算する処理と、直交変換係数を量子化して係数レベルを計算する処理と、係数レベルのうちすべての有意係数レベルの位置情報をエントロピー符号化した後に、それぞれの有意係数レベルの値情報をエントロピー符号化してビットストリームを出力する処理とを実行させ、係数レベルを計算する処理で、画像ブロックに含まれる伝送順で最初に有意な係数レベルの位置に基づいて決定される位置情報ビット数を計算する処理と、有意な係数レベルの値情報ビット数を計算する処理と、位置情報ビット数と値情報ビット数とが所定の条件を満たす有意な係数レベルを０とする処理とを実行させることを特徴とする。
本発明によれば、圧縮効率が低下する原因となる高コスト係数レベルを検出して除去することによって、高コスト係数レベルの伝送が防がれ、圧縮効率の低下が防止される。
本発明による映像符号化装置の第１の実施形態を示すブロック図である。 第１の実施形態における適応量子化器の構成を示すブロック図である。 適応量子化器の動作を示すフローチャートである。 第２の実施形態における適応量子化器の構成を示すブロック図である。 適応量子化器の動作を示すフローチャートである。 第３の実施形態における適応量子化器の構成を示すブロック図である。 第４の実施形態における適応量子化器の構成を示すブロック図である。 適応量子化器の動作を示すフローチャートである。 第５の実施形態における適応量子化器の構成を示すブロック図である。 適応量子化器の動作を示すフローチャートである。 第６の実施形態における適応量子化器の構成を示すブロック図である。 プログラムを用いた情報処理システムの例を示すブロック図である。 本発明による映像符号化装置の主要部を示すブロック図である。 33種類の角度イントラ予測の例を示す説明図である。 フレーム間予測の例を示す説明図である。 一般的な映像符号化装置の構成を示す説明図である。 フレームt のCTU 分割例、および、フレームt のCTU8のCU分割例を示す説明図である。 CTU8のCU分割例に対応するクアッドツリー構造を示す説明図である。 CUのTU分割例を示す説明図である。 一般的な適応量子化器の構成を示すブロック図である。 Kij を、4096の値を持つQsおよび1/6の値を持つパラメータf で量子化した例を示す説明図である。 位置情報および値情報と係数レベルLij との関係を示す説明図である。 位置情報および値情報と値情報のビット数との関係を示す説明図である
実施形態１．
図1 は、本発明による映像符号化装置の第１の実施形態を示すブロック図である。図1 を参照して、ディジタル化された映像の各フレームを入力画像としてビットストリームを出力する第1 の実施形態の映像符号化装置の構成を説明する。
図1 に示す第１の実施形態の映像符号化装置は、周波数変換器101 、適応量子化器1021、エントロピー符号化器103 、逆周波数変換／逆量子化器104 、バッファ105 、予測器106 、および推定器107 を備える。図16に示す映像符号化装置と比較すると、量子化器1020に代えて適応量子化器1021が設けられている。図1 に示す映像符号化装置における他のブロックは、図16に示す映像符号化装置におけるブロックと同じである。例えば、エントロピー符号化器103 は、TU単位で、TU内のすべての有意係数レベルの位置情報をエントロピー符号化してから、それぞれの有意係数レベルの値情報をエントロピー符号化する。よって、以下、適応量子化器1021のみを説明する。
図2 は、適応量子化器1021の構成を示すブロック図である。図2 に示す適応量子化器は、図20に示す量子化器の係数レベル計算部1201に加えて、値情報ビット数計算部（Rvalue 計算部）1202、位置情報ビット数計算部（Rlocate 計算部）1203、および高コスト係数レベル検出／除去部1204を有する。
係数レベル計算部1201は、直交変換係数Kij と量子化パラメータQPとを入力し、仮係数レベルL’ijを出力する。
Rvalue計算部1202は、仮係数レベルL’ijを入力し、値情報ビット数であるRvalueを出力する。Rvalueは、L’ijの値を示す情報のビット数である。具体的には、Rvalueは、有意係数レベルの絶対値が１より大きいか否かを示す情報coeff_abs_level_greater1_flag のビット数、有意係数レベルの絶対値が２より大きいか否かを示す情報coeff_coeff_abs_level_greater2_flag のビット数、有意係数レベルの正負の符号を示す情報coeff_sign_flag のビット数、および非特許文献1 の9.2.2.8 の記載に基づいて計算される、有意係数レベルの絶対値からcoeff_abs_level_greater1_flag とcoeff_abs_level_greater2_flag を減じた値の絶対値を示す情報coeff_abs_level_remaining のビット数の和で構成される。
Rlocate 計算部1203は、直交変換係数位置 （i, j）を入力し、位置情報ビット数であるRlocate を出力する。Rlocate は、TUのすべての有意係数レベルの周波数軸上での位置を示す情報のビット数である。Rlocate は、具体的には、最初に伝送される有意係数レベルの水平位置および垂直位置をそれぞれ示す情報last_significant_xおよびlast_significant_yのビット数と、（last_significant_x、last_significant_y）より後続の位置から （0, 0）までの位置における有意係数レベルの有無を示す情報siginificant_coeff_flagのビット数の和である。
高コスト係数レベル検出／除去部1204は、L’ij、Rvalue、およびRlocate を入力し、係数レベルLij を出力する。高コスト係数レベル検出／除去部1204は、例えば、Rlocate が０より大きく、かつ、Rlocate がRvalueより大きい場合、L’ijを高コスト係数レベルとして検出し、Lij として０の値を出力する。そうでない場合には、仮係数レベルL’ijをLij として出力する。すなわち、高コスト係数レベル検出／除去部1204は、高コスト係数レベルを検出して除去する。
次に、図3 のフローチャートを参照して、適応量子化器1021の動作を説明する。適応量子化器1021は、TU毎に、TU内の各直交変換係数Kij （0 ≦ i, j ≦ 3） に対して、伝送順 （（3, 3）→（3, 2）→（2, 3）→（3, 1）→（2, 2）→（1, 3）→（3, 0）→（2, 1）→（1, 2）→（0, 3）→（2, 0）→（1, 1）→（0, 2）→（1, 0）→（0, 1）→（0, 0）の順）に以下のように動作する。
ステップS101で、係数レベル計算部1201は、例えば上記の（１）式を用いて、直交変換係数Kij に対応する仮係数レベルL’ijを計算する。
ステップS102で、L’ijの値が０でない場合には、ステップS103に移行する。L’ijの値が０である場合には、ステップS106に移行する。
ステップS103で、Rvalue 計算部1202は、L’ijの値情報のビット数Rvalueを計算する。
ステップS104で、Rlocate 計算部1203は、すでにTU内で非０のLij を出力したか否か判断する。まだ、TU内で非０のLij を出力していない場合には、ステップS105に移行する。すでにTU内で非０のLij が出力した場合には、Rlocate の値を０とし、ステップS106に移行する。
ステップS105で、Rlocate 計算部1203は、L’ijの位置に基づいて決定される位置情報のビット数Rlocate を計算する。
ステップS106で、高コスト係数レベル検出／除去部1204は、ステップS102でL’ijの値が０であると判定された場合には、係数レベルLij （= 0）を出力する。そうでない場合には、高コスト係数レベル検出／除去部1204は、Rlocate が０より大きく、かつRlocate がRvalueよりも大きい場合に、L’ijを高コスト係数レベルとして検出し、Lij として０の値を出力する。そうでない場合には、L’ijをLij として出力する。
以上に説明したように、本実施形態における適応量子化器1021では、高コスト係数レベル検出／除去部1204が、Rlocate が０より大きく、かつRlocate がRvalueよりも大きい場合に、L’ijを高コスト係数レベルとして検出し、Lij として０の値を出力することによって、高コスト係数レベルは伝送されない。よって、本実施形態の映像符号化装置は、高コスト係数レベルの伝送を防止することによって、圧縮効率を低下させないようにすることができる。
実施形態２．
上記した第１の実施形態では、高コスト係数レベルを正確に検出できない場合がある。そこで、高コスト係数レベルをより正確に検出するために、第２の実施形態では、図4 に示す構成の適応量子化器1022を用いる。なお、第２の実施形態の映像符号化装置は、基本的に図１に示されるように構成されるが、適応量子化器1021に代えて、適応量子化器1022が設けられる。
図4 に示す適応量子化器1022は、係数レベル計算部1201、値情報ビット数計算部（Rvalue計算部）1202、位置情報ビット数計算部（Rlocate 計算部）1203、高コスト係数レベル検出／除去部1204、および２乗誤差削減量計算部（D 計算部）1205を有する。
係数レベル計算部1201は、直交変換係数Kij と量子化パラメータQPとを入力し、仮係数レベルL’ijを出力する。
D 計算部1205は、量子化パラメータQPとL’ijとを入力し、２乗誤差削減量D を出力する。２乗誤差削減量D は、Kij に対する２乗誤差削減量である。本実施形態では、D 計算部1205は、以下の（３）式に示すように、量子化ステップQsの２乗の値とL’ijの２乗の値との積を用いて、２乗誤差削減量D を計算する。
D = Qs2・（L’ij＋α）2 −Qs2・α2 = Qs2・L’ij・（L’ij＋2α） （３）
ただし、αは、-f ＜α＜1-f を満たす係数である。
Rvalue計算部1202は、L’ijを入力し、値情報ビット数であるRvalueを出力する。Rlocate 計算部1203は、直交変換係数位置 （i, j）を入力し、位置情報ビット数であるRlocate を出力する。
高コスト係数レベル検出／除去部1204は、L’ij、Rvalue 、Rlocate 、D を入力し、係数レベルLij を出力する。高コスト係数レベル検出／除去部1204は、Rlocate とRvalue との和に対するDの傾きλを用いる。なお、λは、２乗誤差削減量と伝送符号量との関係の勾配である。λは、量子化パラメータQPに依存し、量子化パラメータが小さくなるほど（量子化ステップサイズが小さくなるほど）小さな値となり、量子化パラメータが大きくなるほど（量子化ステップサイズが大きくなるほど）大きな値となる。λは、一様量子化の場合、Qsを用いて、以下の（４）式で示される。
Figure 0005574072
高コスト係数レベル検出／除去部1204は、L’ijの絶対値が０より大きく、かつ、Rlocate とRvalueとの和とλの積が、D 以上の場合には、L’ijを高コスト係数レベルと判断し、０の値をLij として出力する。L’ijが高コスト係数レベルではない場合には、L’ijをLij として出力する。
次に、図5 のフローチャートを参照して、適応量子化器1022の動作を説明する。適応量子化器1022は、TU毎に、TU内の各直交変換係数Kij （0 ≦ i, j ≦ 3） に対して、伝送順 （（3, 3）→（3, 2）→（2, 3）→（3, 1）→（2, 2）→（1, 3）→（3, 0）→（2, 1）→（1, 2）→（0, 3）→（2, 0）→（1, 1）→（0, 2）→（1, 0）→（0, 1）→（0, 0）の順）に以下のように動作する。
ステップS201で、係数レベル計算部1201は、例えば上記の（１）式を用いて、直交変換係数Kij に対応する仮係数レベルL’ijを計算する。
ステップS202で、L’ijの値が０でない場合には、ステップS203に移行する。L’ijの値が０である場合には、ステップS207に移行する。
ステップS203で、D 計算部1205は、直交変換係数に対する２乗誤差削減量であるD を計算する。
ステップS204で、Rvalue計算部1202は、L’ijの値情報のビット数Rvalueを計算する。
ステップS205で、Rlocate 計算部1203は、すでにTU内で非０のLij を出力したか判断する。まだ、TU内で非０のLij を出力していない場合には、ステップS206に移行する。すでにTU内で非０のLij が出力した場合には、Rlocate を計算せず（Rlocate の値を０とし）、ステップS207に移行する。
ステップS206で、Rlocate 計算部1203は、L’ijの位置に基づいて決定される位置情報のビット数Rlocate を計算する。
ステップS207で、高コスト係数レベル検出／除去部120４は、ステップS202でL’ijの値が０であると判定された場合には、係数レベルLij （= 0）を出力する。そうでない場合には、高コスト係数レベル検出／除去部1204は、Rlocate とRvalueとの和とλの積が、D 以上の場合には、L’ijを高コスト係数レベルと判断し、０の値をLij として出力する。L’ijが高コスト係数レベルではない場合には、L’ijをLij として出力する。
本実施形態における適応量子化器1022は、２乗誤差削減量計算部（D 計算部）1205によって算出されたKij に対する２乗誤差削減量を用いることによって、第１の実施形態における適応量子化器1021よりも、正確に高コスト係数レベルを検出できる。よって、本実施形態の映像符号化装置では、高コスト係数レベルの伝送を防止することによって圧縮効率を低下させない効果がより大きくなる。
実施形態３．
第２の実施形態では、Kij を用いずに２乗誤差削減量を計算するために、正確に高コスト係数レベルを検出できない場合がある。そこで、高コスト係数レベルをより正確に検出するために、第３の実施形態では、図6 に示す構成の適応量子化器1023を用いる。なお、第３の実施形態の映像符号化装置は、基本的に図１に示されるように構成されるが、適応量子化器1021に代えて、適応量子化器1023が設けられる。
図6 に示す適応量子化器1023は、係数レベル計算部1201、値情報ビット数計算部（Rvalue計算部）1202、位置情報ビット数計算部（Rlocate 計算部）1203、高コスト係数レベル検出／除去部1204、および２乗誤差削減量計算部（D 計算部）1205を有する。
係数レベル計算部1201は、直交変換係数Kij と量子化パラメータQPとを入力し、例えば上記の（１）式を用いて仮係数レベルL’ijを計算し、仮係数レベルL’ijを出力する。
本実施形態では、D計算部1205は、量子化パラメータQP、L’ij、およびKij を入力し、２乗誤差削減量D を出力する。２乗誤差削減量Dは、Kij に対する２乗誤差削減量である。本実施形態では、D 計算部1205は、以下の（５）式に示すように、Kij 、Qs、およびL’ijを用いて、D を計算する。
D = （Kij − 0）2 −（Kij − Qs・L’ij）2 ＝ 2・Kij ・Qs・L’ij−Qs2・L’ij2 （５）
Rvalue計算部1202は、L’ijを入力し、値情報ビット数であるRvalueを出力する。Rlocate 計算部1203は、直交変換係数位置 （i, j ）を入力し、位置情報ビット数であるRlocate を出力する。
高コスト係数レベル検出／除去部1204は、L’ij、Rvalue、Rlocate 、D を入力し、係数レベルLij を出力する。高コスト係数レベル検出／除去部1204は、L’ijの絶対値が０より大きく、かつ、Rlocate とRvalueとの和とλの積が、D 以上の場合には、L’ijを高コスト係数レベルと判断し、0の値をLij として出力する。L’ijが高コスト係数レベルではない場合には、L’ijをLij として出力する。
第２の実施形態では、D 計算部1205が、量子化パラメータQPとL’ijとを用いてD を計算するのに対して、本実施形態では、D 計算部1205は、Kij 、Qs、およびL’ijを用いてD を計算するが、その他の処理は、第２の実施形態の場合と同じである。
本実施形態における適応量子化器1023は、量子化パラメータQP、L’ijおよびKij を入力するD 計算部1205によって算出されたKij に対する２乗誤差削減量を用いることにより、第２の実施形態よりも正確に高コスト係数レベルを検出できる。よって、本実施形態の映像符号化装置では、高コスト係数レベルの伝送を防止することによって圧縮効率を低下させない効果がさらに大きくなる。
実施形態４．
図7 は、第４の実施形態の映像符号化装置における適応量子化器1024の構成を示すブロック図である。適応量子化器1024は、最初に伝送する有意係数レベルの位置から決定されるcoeff_sign_flag の最大ビット数を位置情報ビット数に含める。なお、第４の実施形態の映像符号化装置は、基本的に図１に示されるように構成されるが、適応量子化器1021に代えて、適応量子化器1024が設けられる。
図7 を参照して、適応量子化器1024の構成を説明する。図7 に示す適応量子化器1024は、係数レベル計算部1201、絶対値情報ビット数計算部（Rabs計算部）1206、位置／符号個数情報ビット数計算部（Rlocate_sign計算部）1207、および高コスト係数レベル検出／除去部1204を有する。
係数レベル計算部1201は、直交変換係数Kij と量子化パラメータQPを入力し、仮係数レベルL’ijを出力する。
Rabs計算部1206は、L’ijを入力し、絶対値情報ビット数であるRabsを出力する。Rabsは、L’ijの絶対値を示す情報のビット数である。具体的には、Rabsは、有意係数レベルの絶対値が1より大きいか否かを示す情報coeff_abs_level_greater1_flag のビット数、有意係数レベルの絶対値が２より大きいか否かを示す情報coeff_coeff_abs_level_greater2_flag のビット数、および非特許文献1 の9.2.2.8 の記載に基づいて計算される、有意係数レベルの絶対値からcoeff_abs_level_greater1_flag とcoeff_abs_level_greater2_flag とを減じた値の絶対値を示す情報coeff_abs_level_remaining のビット数の和である。
Rlocate_sign計算部1207は、直交変換係数位置（i, j）を入力し、位置／符号個数情報ビット数であるRlocate_signを出力する。Rlocate_signは、TUのすべての有意係数レベルの周波数軸上での位置を示す情報のビット数である。具体的には、Rlocate_signは、最初に伝送する有意係数レベルの水平位置および垂直位置を示す情報last_significant_xおよびlast_significant_yのビット数、（last_significant_x、last_significant_y）より後続の位置から（0, 0）までの位置における有意係数レベルの有無を示す情報siginificant_coeff_flag のビット数、および有意係数レベルの正負の符号を示す情報coeff_sign_flag の最大ビット数の和である。
高コスト係数レベル検出／除去部1204は、L’ij、Rabs、およびRlocate_signを入力し、係数レベルLij を出力する。Rlocate_sign が０より大きく、かつRlocate_signがRabsより大きい場合、L’ijを高コスト係数レベルとして検出し、０の値をLij として出力する。そうでない場合は、仮係数レベルL’ijをLij として出力する。
次に、図8 のフローチャートを参照して、適応量子化器1024の動作を説明する。適応量子化器1024は、TU毎に、TU内の各直交変換係数Kij （0 ≦ i, j ≦ 3） に対して、伝送順 （（3, 3）→（3, 2）→（2, 3）→（3, 1）→（2, 2）→（1, 3）→（3, 0）→（2, 1）→（1, 2）→（0, 3）→（2, 0）→（1, 1）→（0, 2）→（1, 0）→（0, 1）→（0, 0）の順）に以下のように動作する。
ステップS301で、係数レベル計算部1201は、例えば上記の（１）式を用いて、直交変換係数Kij に対応する仮係数レベルL’ijを計算する。
ステップS302で、L’ijの値が０でない場合には、ステップS303に移行する。L’ijの値が０である場合には、ステップS306に移行する。
ステップS303で、Rabs計算部1206は、L’ijの絶対値情報のビット数Rabsを計算する。
ステップS304で、Rlocate_sign計算部1207は、すでにTU内で非０のLij を出力したか否か判断する。まだ、TU内で非０のLij を出力していない場合には、ステップS305に移行する。すでにTU内で非０のLij を出力した場合には、Rlocate_signの値を０とし、ステップS306に移行する。
ステップS305で、Rlocate_sign計算部1207は、L’ijの位置に基づいて決定される位置／符号個数情報のビット数Rlocate_signを計算する。
ステップS306で、高コスト係数レベル検出／除去部1204は、ステップS302でL’ijの値が０であると判定された場合には、係数レベルLij （= 0）を出力する。そうでない場合には、高コスト係数レベル検出／除去部1204は、Rlocate_signが０より大きく、かつRlocate_signがRabsよりも大きい場合、L’ijを高コスト係数レベルとして検出し、０の値をLij として出力する。そうでない場合には、L’ijをLij として出力する。
本実施形態の適応量子化器1024では、高コスト係数レベル検出／除去部1204が、Rlocate_signが0より大きく、かつRlocate_signがRabsよりも大きい場合、L’ijを高コスト係数レベルとして検出し、０の値をLij として出力することによって、高コスト係数レベルは伝送されない。よって、本実施形態の映像符号化装置は、高コスト係数レベルの伝送を防止することによって、圧縮効率を低下させないようにすることができる。
実施形態５．
図9 は、第５の実施形態の映像符号化装置における適応量子化器1025の構成を示すブロック図である。適応量子化器1025は、最初に伝送する有意係数レベルの位置から決定されるcoeff_sign_flag の最大ビット数を位置情報ビット数に含める。また、適応量子化器1025は、２乗誤差削減量計算部（D 計算部）1205によって算出されたKij に対する２乗誤差削減量を用いる。なお、第５の実施形態の映像符号化装置は、基本的に図１に示されるように構成されるが、適応量子化器1021に代えて、適応量子化器1025が設けられる。
図9 に示す適応量子化器1025は、係数レベル計算部1201、絶対値情報ビット数計算部（Rabs計算部）1206、位置／符号個数情報ビット数計算部（Rlocate_sign計算部）1207、高コスト係数レベル検出／除去部1204、および２乗誤差削減量計算部（D 計算部）1205を有する。
係数レベル計算部1201は、直交変換係数Kij と量子化パラメータQPを入力し、仮係数レベルL’ijを出力する。
D 計算部1205は、量子化パラメータQPとL’ijを入力し、D を出力する。D は、Kij に対する２乗誤差削減量である。本実施形態では、上記の（３）式に示すように、量子化ステップQsの２乗の値とL’ijの２乗の値との積を用いて、２乗誤差削減量D を計算する。
Rabs計算部1206は、L’ijを入力し、絶対値情報ビット数であるRabsを出力する。Rlocate_sign計算部1207は、直交変換係数位置（i, j ）を入力し、位置／符号個数情報ビット数であるRlocate_signを出力する。
高コスト係数レベル検出／除去部1204は、L’ij、Rabs、Rlocate_signおよびD を入力し、係数レベルLij を出力する。高コスト係数レベル検出／除去部1204は、Rlocate_signとRabsの和に対するDの傾きλを用いる。なお、λは、一様量子化の場合、Qsを用いて、上記の（４）式で示される。
高コスト係数レベル検出／除去部1204は、L’ijの絶対値が０より大きく、かつ、Rlocate とRvalueとの和とλの積が、D 以上の場合には、L’ijを高コスト係数レベルと判断し、０の値をLij として出力する。L’ijが高コスト係数レベルではない場合には、L’ijをLij として出力する。
次に、図10 のフローチャートを参照して、適応量子化器1025の動作を説明する。適応量子化器1025は、TU毎に、TU内の各直交変換係数Kij （0 ≦ i, j ≦ 3） に対して、伝送順 （（3, 3）→（3, 2）→（2, 3）→（3, 1）→（2, 2）→（1, 3）→（3, 0）→（2, 1）→（1, 2）→（0, 3）→（2, 0）→（1, 1）→（0, 2）→（1, 0）→（0, 1）→（0, 0）の順）に以下のように動作する。
ステップS401で、係数レベル計算部1201は、例えば上記の（１）式を用いて、直交変換係数Kij に対応する仮係数レベルL’ijを計算する。
ステップS402で、L’ijの値が０でない場合には、ステップS403に移行する。L’ijの値が０である場合には、ステップS407に移行する。
ステップS403で、D 計算部1205は、直交変換係数に対する２乗誤差削減量であるD を計算する。
ステップS404で、Rabs計算部1206は、L’ijの絶対値情報のビット数Rabsを計算する。
ステップS405で、Rlocate_sign計算部1207は、すでにTU内で非０のLij が出力したか判断する。まだ、TU内で非０のLij を出力していない場合には、ステップS406に移行する。すでにTU内で非０のLij が出力した場合には、Rlocate_signを計算せず（Rlocate_signの値を０とし）、ステップS407に移行する。
ステップS406で、Rlocate_sign計算部1207は、L’ijの位置に基づいて決定される位置／符号個数情報のビット数Rlocate_signを計算する。
ステップS407で、高コスト係数レベル検出／除去部1204は、ステップS402でL’ijの値が０であると判定された場合には、係数レベルLij （= 0）を出力する。そうでない場合には、高コスト係数レベル検出／除去部1204は、Rlocate_signとRabsの和とλの積が、D 以上の場合には、L’ijを高コスト係数レベルと判断し、０の値をLij として出力する。高コスト係数レベル検出／除去部1204は、L’ijが高コスト係数レベルではない場合には、L’ijをLij として出力する。
実施形態６．
図11は、第６の実施形態の映像符号化装置における適応量子化器1026の構成を示すブロック図である。適応量子化器1026は、最初に伝送する有意係数レベルの位置から決定されるcoeff_sign_flag の最大ビット数を位置情報ビット数に含める。また、適応量子化器1026は、Kij に対する２乗誤差削減量を用いる。なお、第６の実施形態の映像符号化装置は、基本的に図１に示されるように構成されるが、適応量子化器1021に代えて、適応量子化器1026が設けられる。
図11に示す適応量子化器1026は、係数レベル計算部1201、絶対値情報ビット数計算部（Rabs計算部）1206、位置／符号個数情報ビット数計算部（Rlocate_sign計算部）1207、高コスト係数レベル検出／除去部1204、および２乗誤差削減量計算部（D 計算部）1205を有する。
係数レベル計算部1201は、直交変換係数Kij と量子化パラメータQPを入力し、例えば上記の（１）式を用いて仮係数レベルL’ijを計算し、仮係数レベルL’ijを出力する。
D 計算部1205は、量子化パラメータQP、L’ij、およびKij を入力し、D を出力する。D は、Kij に対する２乗誤差削減量である。本実施形態では、D 計算部1205は、上記の（５）式に示すように、Kij 、Qs、およびL’ijを用いて、D を計算する。
Rabs計算部1206は、L’ijを入力し、絶対値情報ビット数であるRabsを出力する。
Rlocate_sign計算部1207は、直交変換係数位置（i, j）を入力し、位置／符号個数情報ビット数であるRlocate_signを出力する。
高コスト係数レベル検出／除去部1204は、L’ij、Rabs、Rlocate_sign、およびDを入力し、係数レベルLij を出力する。L’ijの絶対値が０より大きく、かつ、Rlocate_signとRabsの和とλの積が、D 以上の場合には、L’ijを高コスト係数レベルと判断し、０の値をLij として出力する。高コスト係数レベル検出／除去部1204は、L’ijが高コスト係数レベルではない場合には、L’ijをLij として出力する。
第５の実施形態では、D 計算部1205が、量子化パラメータQPとL’ijとを用いてD を計算するのに対して、本実施形態では、D 計算部1205は、Kij 、Qs、およびL’ijを用いてD を計算するが、その他の処理は、第５の実施形態の場合と同じである。
なお、上記の各々の実施形態では、すべての非０の仮係数レベルL’ijに対して高コスト係数レベルの検出と除去とが適用されたが、ある閾値（量子化パラメータQPや映像の性質によって変化する任意の値であるが、例えば２）より大きな絶対値の仮係数レベルL’ijが高コスト係数レベルにならないことに着目し、計算量を低減するために、その閾値以下の非０の仮係数レベルL’ijに対してのみ上記の各実施形態における高コスト係数レベルの検出と除去とを適用してもよい。
また、ある閾値以下の非０の仮係数レベルL’ijにのみ上記の高コスト係数レベルの検出と除去とを適用する場合には、その閾値（例えば２）以下の絶対値の仮係数レベルL’ijのcoeff_abs_level_remaining のビット数がprefix部のTU符号だけで表現されることに着目し、計算量を低減するために、その閾値以下の非０の仮係数レベルL’ijのcoeff_abs_level_remaining のビット数を、L’ijの絶対値からcoeff_abs_level_greater1_flag の値およびcoeff_abs_level_greater2_flag の値を減じた値としてもよい。
上記の各実施形態では、適応量子化器が、すべての直交変換係数に上記の高コスト係数レベルの検出と除去とを適用したが、イントラ予測された直交変換係数において高コスト係数レベルがほとんど発生しないことに着目し、計算量を低減させるために、適応量子化器は、インター予測された直交変換係数のみに上記の高コスト係数レベルの検出と除去とを適用してもよい。
上記の各実施形態では、直交変換係数を周波数変換された予測誤差画像としたが、非特許文献1 の7.3.9.11 Residual coding syntaxに示されるtransform_skip_flag が１、すなわち、4×4 TUにおいて周波数変換の代わりに単位行列に基づいた変換が適用された予測誤差画像に本発明の適応量子化器を適用してもよい。
上記の各実施形態では、位置情報をTUのすべての有意係数レベルの位置を示す情報（last_significant_x、last_significant_y, siginificant_coeff_flagのビット数の総和）としたが、4×4 よりも大きなTU （ 8×8 TU, 16×16 TU, および32×32 TU）においては、位置情報に加えて、非特許文献1の7.3.9.11 Residual coding syntaxの記載に基づいて定義される、16の係数レベルを持つ 4×4 サブブロックにおける有意係数レベル有無を示すcoded_sub_block_flagのビット数を追加してよい。
また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
図12に示す情報処理システムは、プロセッサ1001、プログラムメモリ1002、映像データを格納するための記憶媒体1003およびビットストリームを格納するための記憶媒体1004を備える。記憶媒体1003と記憶媒体1004とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
図12に示された情報処理システムにおいて、プログラムメモリ1002には、図1 に示された各ブロックの機能を実現するためのプログラムが格納される。そして、プロセッサ1001は、プログラムメモリ1002に格納されているプログラムに従って処理を実行することによって、図1 に示された映像符号化装置の機能を実現する。
図13は、本発明による映像符号化装置の主要部を示すブロック図である。図13に示すように、本発明による映像符号化装置は、画像ブロックを直交変換して直交変換係数を計算する直交変換部11と、直交変換係数を量子化して係数レベルを計算する量子化部12と、係数レベルのうちすべての有意係数レベルの位置情報をエントロピー符号化した後に、それぞれの有意係数レベルの値情報をエントロピー符号化してビットストリームを出力するエントロピー符号化部13とを備え、量子化部12は、画像ブロックに含まれる伝送順で最初に有意な係数レベルの位置に基づいて決定される位置情報ビット数を計算する位置情報ビット数計算部と、有意な係数レベルの値情報ビット数を計算する値情報ビット数計算部と、位置情報ビット数と値情報ビット数とが所定の条件を満たす有意な係数レベルを０とする高コスト係数レベル検出／除去部とを含む。
上記の実施形態の一部又は全部は以下の付記のようにも記載されうるが、本発明の構成は以下の構成に限定されない。
（付記１）画像ブロックを直交変換して直交変換係数を計算する直交変換手段と、前記直交変換係数を量子化して係数レベルを計算する量子化手段と、前記係数レベルのうちすべての有意係数レベルの位置情報をエントロピー符号化した後に、それぞれの前記有意係数レベルの値情報をエントロピー符号化してビットストリームを出力するエントロピー符号化手段とを備える映像符号化装置であって、前記量子化手段は、前記画像ブロックに含まれる伝送順で最初に有意な係数レベルの位置に基づいて決定される位置情報ビット数を計算する位置情報ビット数計算手段と、有意な係数レベルの値情報ビット数を計算する値情報ビット数計算手段と、前記位置情報ビット数と前記値情報ビット数とが所定の条件を満たす有意な係数レベルを０とする高コスト係数レベル検出／除去手段とを含むことを特徴とする映像符号化装置。
（付記２）前記高コスト係数レベル検出／除去手段が、前記位置情報ビット数が前記値情報ビット数よりも大きい場合に、有意な係数レベルを０とする付記１の映像符号化装置。
（付記３）前記量子化手段が、量子化パラメータと前記有意な係数レベルとを用いて、直交変換係数に対する２乗誤差削減量を計算する２乗誤差削減量計算手段を含み、前記高コスト係数レベル検出／除去手段は、前記位置情報ビット数、前記値情報ビット数、および前記２乗誤差削減量を用いて、前記２乗誤差削減量が、前記位置情報ビット数と前記値情報ビットとの和に対して所定の乗数を乗じた値以下となる前記有意な係数レベルを０とする付記１または付記２の映像符号化装置。
（付記４）前記２乗誤差削減量計算手段は、前記量子化パラメータ、前記有意係数レベル、および前記直交変換係数を用いて、前記２乗誤差削減量を計算する付記３の映像符号化装置。
（付記５）前記位置情報ビット数計算手段は、前記位置情報ビット数として、伝送順で最初に有意な係数レベルの位置情報ビット数とブロック内のすべての有意な係数レベルの正負の符号を示す情報のビット数との和を計算し、前記値情報ビット数計算手段は、前記値情報ビット数として、前記有意な係数レベルの絶対値の情報のビット数を計算する付記１から付記４のうちのいずれかの映像符号化装置。
（付記６）前記量子化手段は、前記有意な係数レベルの絶対値が所定の閾値以下の場合にのみ、前記高コスト係数レベル検出／除去手段を用いる付記１から付記５のうちのいずれかの映像符号化装置。
（付記７）前記所定の閾値が２以下である付記６の映像符号化装置。
（付記８）前記値情報ビット数計算手段は、前記値情報ビット数に含まれる、２より大きな前記有意係数レベルの絶対値情報から、前記有意係数レベルが１より大きいか否かを示す情報と前記有意係数レベルが２より大きいか否かを示す情報とを減じた値（残りの絶対値情報のビット数）を、前記有意係数レベルの絶対値から２を減じた値とする付記７の映像符号化装置。
（付記９）インター予測された直交変換係数のみに対して、前記高コスト係数レベル検出／除去手段を用いる付記５から付記８のうちのいずれかの映像符号化装置。
（付記１０）前記量子化手段は、周波数変換の代わりに、単位行列に基づいた変換が適用された予測誤差画像を量子化して係数レベルを計算する付記５から付記９のうちのいずれかの映像符号化装置。
（付記１１） 前記位置情報ビット数計算手段は、 4×4 よりも大きな画像ブロック( 8×8 画像ブロック、16×16画像ブロック、または32×32画像ブロック) において、前記位置情報ビット数に、16の係数レベルをもつ 4×4 サブブロックにおける有意係数レベルの有無を示す情報のビット数を含める付記５から付記９のうちのいずれかの映像符号化装置。
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１２年１２月２７日に出願された日本特許出願２０１２−２８５２３８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
11 直交変換部
12 量子化部
13 エントロピー符号化部
101 周波数変換器
1020〜1025 適応量子化器
103 エントロピー符号化器
104 逆周波数変換／逆量子化器
105 バッファ
106 予測器
107 推定器
1001 プロセッサ
1002 プログラムメモリ
1003 記憶媒体
1004 記憶媒体
1201 係数レベル計算部
1202 値情報ビット数計算部（Rvalue 計算部）
1203 位置情報ビット数計算部（Rlocate 計算部）
1204 高コスト係数レベル検出／除去部
1205 ２乗誤差削減量計算部（D 計算部）
1206 絶対値情報ビット数計算部（Rabs計算部）
1207 位置／符号個数情報ビット数計算部（Rlocate_sign計算部）

Claims (10)

  1. 画像ブロックを直交変換して直交変換係数を計算する直交変換手段と、
    前記直交変換係数を量子化して係数レベルを計算する量子化手段と、
    前記係数レベルのうちすべての有意係数レベルの位置情報をエントロピー符号化した後に、それぞれの前記有意係数レベルの値情報をエントロピー符号化してビットストリームを出力するエントロピー符号化手段とを備える映像符号化装置であって、
    前記量子化手段は、
    前記画像ブロックに含まれる伝送順で最初に有意な係数レベルの位置に基づいて決定される位置情報ビット数を計算する位置情報ビット数計算手段と、
    有意な係数レベルの値情報ビット数を計算する値情報ビット数計算手段と、
    前記位置情報ビット数と前記値情報ビット数とが所定の条件を満たす有意な係数レベルを０とする高コスト係数レベル検出／除去手段とを含む
    ことを特徴とする映像符号化装置。
  2. 前記高コスト係数レベル検出／除去手段は、前記位置情報ビット数が前記値情報ビット数よりも大きい場合に、有意な係数レベルを０とする
    請求項１記載の映像符号化装置。
  3. 前記量子化手段は、量子化パラメータと前記有意な係数レベルとを用いて、直交変換係数に対する２乗誤差削減量を計算する２乗誤差削減量計算手段を含み、
    前記高コスト係数レベル検出／除去手段は、前記位置情報ビット数、前記値情報ビット数、および前記２乗誤差削減量を用いて、前記２乗誤差削減量が、前記位置情報ビット数と前記値情報ビットとの和に対して所定の乗数を乗じた値以下となる前記有意な係数レベルを０とする
    請求項１または請求項２記載の映像符号化装置。
  4. 前記２乗誤差削減量計算手段は、前記量子化パラメータ、前記有意係数レベル、および前記直交変換係数を用いて、前記２乗誤差削減量を計算する
    請求項３記載の映像符号化装置。
  5. 画像ブロックを直交変換して直交変換係数を計算し、
    前記直交変換係数を量子化して係数レベルを計算し、
    前記係数レベルのうちすべての有意係数レベルの位置情報をエントロピー符号化した後に、それぞれの前記有意係数レベルの値情報をエントロピー符号化してビットストリームを出力する映像符号化方法であって、
    前記係数レベルを計算する際に、
    前記画像ブロックに含まれる伝送順で最初に有意な係数レベルの位置に基づいて決定される位置情報ビット数を計算し、
    有意な係数レベルの値情報ビット数を計算し、
    前記位置情報ビット数と前記値情報ビット数とが所定の条件を満たす有意な係数レベルを０とする
    ことを特徴とする映像符号化方法。
  6. 前記所定の条件を、前記位置情報ビット数が前記値情報ビット数よりも大きいことであるとする
    請求項５記載の映像符号化方法。
  7. 前記係数レベルを計算する際に、量子化パラメータと前記有意な係数レベルとを用いて、直交変換係数に対する２乗誤差削減量を計算し、
    前記位置情報ビット数、前記値情報ビット数、および前記２乗誤差削減量を用いて、前記２乗誤差削減量が、前記位置情報ビット数と前記値情報ビットとの和に対して所定の乗数を乗じた値以下となる前記有意な係数レベルを０とする
    請求項５または請求項６記載の映像符号化方法。
  8. 前記量子化パラメータ、前記有意係数レベル、および前記直交変換係数を用いて、前記２乗誤差削減量を計算する
    請求項７記載の映像符号化方法。
  9. コンピュータに、
    画像ブロックを直交変換して直交変換係数を計算する処理と、
    前記直交変換係数を量子化して係数レベルを計算する処理と、
    前記係数レベルのうちすべての有意係数レベルの位置情報をエントロピー符号化した後に、それぞれの前記有意係数レベルの値情報をエントロピー符号化してビットストリームを出力する処理とを実行させ、
    前記係数レベルを計算する処理で、
    前記画像ブロックに含まれる伝送順で最初に有意な係数レベルの位置に基づいて決定される位置情報ビット数を計算する処理と、
    有意な係数レベルの値情報ビット数を計算する処理と、
    前記位置情報ビット数と前記値情報ビット数とが所定の条件を満たす有意な係数レベルを０とする処理とを
    実行させるための映像符号化プログラム。
  10. コンピュータに、
    前記位置情報ビット数が前記値情報ビット数よりも大きい場合に、有意な係数レベルを０とする処理を実行させるための請求項９記載の映像符号化プログラム。
JP2014515952A 2012-12-27 2013-12-03 映像符号化装置、映像符号化方法および映像符号化プログラム Expired - Fee Related JP5574072B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014515952A JP5574072B1 (ja) 2012-12-27 2013-12-03 映像符号化装置、映像符号化方法および映像符号化プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012285238 2012-12-27
JP2012285238 2012-12-27
JP2014515952A JP5574072B1 (ja) 2012-12-27 2013-12-03 映像符号化装置、映像符号化方法および映像符号化プログラム
PCT/JP2013/007080 WO2014103182A1 (ja) 2012-12-27 2013-12-03 映像符号化装置、映像符号化方法および映像符号化プログラム

Publications (2)

Publication Number Publication Date
JP5574072B1 true JP5574072B1 (ja) 2014-08-20
JPWO2014103182A1 JPWO2014103182A1 (ja) 2017-01-12

Family

ID=51020309

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014515952A Expired - Fee Related JP5574072B1 (ja) 2012-12-27 2013-12-03 映像符号化装置、映像符号化方法および映像符号化プログラム

Country Status (5)

Country Link
US (1) US10003804B2 (ja)
EP (1) EP2941000B1 (ja)
JP (1) JP5574072B1 (ja)
BR (1) BR112015015122A2 (ja)
WO (1) WO2014103182A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6143866B2 (ja) * 2013-09-30 2017-06-07 日本放送協会 画像符号化装置、画像復号装置及びそれらのプログラム
US9930348B2 (en) * 2014-03-14 2018-03-27 Qualcomm Incorporated Coefficient level coding in a video coding process

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010087771A (ja) * 2008-09-30 2010-04-15 Nec Electronics Corp 画像符号化装置及び方法
JP2011509642A (ja) * 2008-01-08 2011-03-24 クゥアルコム・インコーポレイテッド Ｃａｂａｃコーダのためのレート歪みモデリングに基づいた量子化
JP2011176483A (ja) * 2010-02-23 2011-09-08 Oki Electric Industry Co Ltd 量子化装置、プログラム及び方法、並びに、動画像符号化装置
WO2012075193A1 (en) * 2010-12-03 2012-06-07 Qualcomm Incorporated Coding the position of a last significant coefficient within a video block based on a scanning order for the block in video coding

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6819803B2 (en) * 2001-07-02 2004-11-16 International Business Machines Corporation Faster lossless rotation of JPEG images
US20120207400A1 (en) * 2011-02-10 2012-08-16 Hisao Sasai Image coding method, image coding apparatus, image decoding method, image decoding apparatus, and image coding and decoding apparatus
PT2773109T (pt) * 2011-10-31 2016-12-22 Samsung Electronics Co Ltd Método e aparelho para determinar um modelo de contexto para a transformação de nível de coeficiente de codificação e descodificação de entropia

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011509642A (ja) * 2008-01-08 2011-03-24 クゥアルコム・インコーポレイテッド Ｃａｂａｃコーダのためのレート歪みモデリングに基づいた量子化
JP2010087771A (ja) * 2008-09-30 2010-04-15 Nec Electronics Corp 画像符号化装置及び方法
JP2011176483A (ja) * 2010-02-23 2011-09-08 Oki Electric Industry Co Ltd 量子化装置、プログラム及び方法、並びに、動画像符号化装置
WO2012075193A1 (en) * 2010-12-03 2012-06-07 Qualcomm Incorporated Coding the position of a last significant coefficient within a video block based on a scanning order for the block in video coding

Also Published As

Publication number Publication date
EP2941000B1 (en) 2020-11-04
BR112015015122A2 (pt) 2017-07-11
US10003804B2 (en) 2018-06-19
EP2941000A4 (en) 2016-06-08
JPWO2014103182A1 (ja) 2017-01-12
US20150319440A1 (en) 2015-11-05
EP2941000A1 (en) 2015-11-04
WO2014103182A1 (ja) 2014-07-03

Similar Documents

Publication Publication Date Title
US20220060755A1 (en) Method of Coding and Decoding Images, Coding and Decoding Device and Computer Programs Corresponding Thereto
JP6074476B2 (ja) 映像データを復号化する装置
JP5537681B2 (ja) 変換ユニット内の複数サインビット秘匿
JP6023842B2 (ja) マージモードにおける映像符号化装置
CN107071458B (zh) 用于编码运动画面的设备
CN107396116B (zh) 视频编码和解码设备及非暂时性计算机可读存储介质
US9838681B2 (en) Apparatus of decoding video data
US20140294087A1 (en) Method of constructing merge list
KR20140064972A (ko) 화상 부호화 및 복호 방법, 장치, 프로그램
JP2013501451A (ja) 映像の符号化方法及び装置、その復号化方法及び装置
JPWO2018123313A1 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置及びプログラム
KR101973571B1 (ko) 영상 변환 부호화/복호화 방법 및 장치
JP6376130B2 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
JP5574072B1 (ja) 映像符号化装置、映像符号化方法および映像符号化プログラム
WO2014084674A2 (ko) 잔차 변환을 이용한 인트라 예측 방법 및 장치
JP5644987B1 (ja) 映像符号化装置、映像符号化方法および映像符号化プログラム
KR20180040827A (ko) 부호화 유닛의 그룹을 사용하는 비디오 코딩 방법 및 장치

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20140528

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140603

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140616

R150 Certificate of patent or registration of utility model

Ref document number: 5574072

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees