JP6191609B2 - 映像符号化装置、映像符号化方法および映像符号化プログラム - Google Patents

映像符号化装置、映像符号化方法および映像符号化プログラム Download PDF

Info

Publication number
JP6191609B2
JP6191609B2 JP2014536569A JP2014536569A JP6191609B2 JP 6191609 B2 JP6191609 B2 JP 6191609B2 JP 2014536569 A JP2014536569 A JP 2014536569A JP 2014536569 A JP2014536569 A JP 2014536569A JP 6191609 B2 JP6191609 B2 JP 6191609B2
Authority
JP
Japan
Prior art keywords
node
cost
child
representative
video encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014536569A
Other languages
English (en)
Other versions
JPWO2014045515A1 (ja
Inventor
慶一 蝶野
慶一 蝶野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2014045515A1 publication Critical patent/JPWO2014045515A1/ja
Application granted granted Critical
Publication of JP6191609B2 publication Critical patent/JP6191609B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、HEVCなどの再帰的クアッドツリー構造に基づいた映像符号化方式のクアッドツリー構造決定技術であって、例えば映像符号化装置に好適に適用される。
非特許文献１の記載に基づいた映像符号化方式は、ディジタル化された映像の各フレームを符号化ツリーユニット（CTU ：Coding Tree Unit）に分割し、ラスタスキャン順に各CTU を符号化する。各CTU は、クアッドツリー構造で、符号化ユニット（CU：Coding Unit ）に分割されて符号化される。各CUは、予測ユニット（PU：Prediction Unit ）に分割されて予測される。また、各CUの予測誤差は、クアッドツリー構造で、変換ユニット（TU：Transform Unit）に分割されて周波数変換される。
CUは、イントラ予測／フレーム間予測の符号化単位である。以下では、イントラ予測およびフレーム間予測を説明する。
イントラ予測は、符号化対象フレームの再構築画像から生成する予測である。非特許文献１には、図６に示す３３種類の角度イントラ予測などが定義されている。角度イントラ予測では、符号化対象ブロック周辺の再構築画素を図６に示す３３種類の方向のいずれかに外挿して、イントラ予測信号が生成される。以後、イントラ予測に用いられるCUをイントラCUと呼ぶ。
フレーム間予測は、符号化対象フレームと表示時刻が異なる再構築フレーム（参照ピクチャ）の画像に基づく予測である。以下、フレーム間予測をインター予測とも呼ぶ。図７は、フレーム間予測の例を示す説明図である。動きベクトルMV＝(mvx, mvy)は、符号化対象ブロックに対する参照ピクチャの再構築画像ブロックの平行移動量を示す。インター予測では、参照ピクチャの再構築画像ブロックに基づいて（必要であれば画素補間を用いて）、インター予測信号を生成する。以後、インター予測を用いるCUをインターCUと呼ぶ。
なお、イントラCUのみで符号化されたフレームはＩフレーム（もしくはＩピクチャ）と呼ばれる。イントラCUだけでなくインターCUも含めて符号化されたフレームはＰフレーム（もしくはＰピクチャ）と呼ばれる。ブロックのインター予測に１枚の参照ピクチャだけでなく、さらに同時に２枚の参照ピクチャを用いるインターCUを含めて符号化されたフレームはＢフレーム（もしくはＢピクチャ）と呼ばれる。
以上で、イントラ予測およびフレーム間予測の説明を終了する。
次に、図８を参照して、ディジタル化された映像の各フレームの各CUを入力画像としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。
図８に示す映像符号化装置は、周波数変換／量子化器101 、エントロピー符号化器102 、逆周波数変換／逆量子化器103 、バッファ104 、予測器105 、および推定器106 を備える。
図９は、フレームの空間解像度がCIF （CIF ：Common Intermediate Format）、CTU サイズが64の場合のフレームt のCTU 分割例、および、フレームt のCTU8のCU分割例を示す説明図である。また、図１０は、CTU8のCU分割例に対応する、クアッドツリー構造を示す説明図である。
CTU8のクアッドツリー構造は、64x64 領域を分割することを示すCUDepth=0 のcu_split_flag=1 、最初の３つの32x32 CU（CU0, CU1、およびCU2 ）を分割しないことを示す３つのCUDepth=1 のcu_split_flag=0 、最後の32x32 CUを分割することを示すCUDepth=1 のcu_split_flag=1 、最初の３つの16x16 CU（CU3, CU4, およびCU5 ）を分割しないことを示す３つのCUDepth=2 のcu_split_flag=0 、最後の16x16 CUを分割することを示すCUDepth=2 のcu_split_flag=1 、すべての8x8 CU（CU6, CU7, CU8 、およびCU9 ）を分割しないことを示す４つのCUDepth=3 のcu_split_flag=0 で表現できる。
図１１は、CUのPU分割形状を示す説明図である。CUがイントラ予測の場合、正方形のPU分割を選択できる（ただし、CUが最小サイズよりも大きい場合、2Nx2N のみを選択できる）。CUがインター予測の場合、CUが８よりも大きい場合、NxN 以外のPU分割を選択できる（ただし、CUが８の場合、2Nx2N 、2NxN、およびNx2Nのいずれかのみを選択できる）。
図１２は、CUのTU分割例を示す説明図である。上段は、イントラ予測2Nx2N PUのCUのTU分割例を示す。CUがイントラ予測の場合、クアッドツリーの根（Root）をPUに配置し、予測誤差をクアッドツリー構造で表現する。下段は、インター予測 2NxN PUのCUのTU分割例を示す。CUがインター予測の場合、クアッドツリーの根（Root）をCUに配置し、予測誤差をクアッドツリー構造で表現する。
推定器106 は、CTU 毎に、符号化コストを最小とするCUクアッドツリー構造／PU分割形状／TUクアッドツリー構造を決定する。
以下では、非特許文献２に記載されたCUクアッドツリー構造／PU分割形状決定プロセスを説明する。
非特許文献２の4.8.3 Intra/Inter/PCM mode decisionには、CUレベルモード決定プロセスが開示されている。CUレベルモード決定プロセスは、CUのPU分割形状およびイントラ予測／インター予測を決定するプロセスである。また、上記箇所には、CUクアッドツリーのデプス（CUDepth ）毎にCUレベルモード決定プロセスを再帰的に実行する、CUクアッドツリー構造決定プロセスが開示されている。
まず、CUレベルモード決定プロセスを説明する。インター予測のPU分割形状候補の集合InterCandidate、イントラ予測のPU分割形状候補の集合IntraCandidate、あるモード（mode）の２乗誤差和（SSE ：Sum of Square Error ）符号化コストJSSE(mode)を以下のように定義する。
InterCandidate = { INTER_2Nx2N, INTER_2NxN, INTER_Nx2N, INTER_2NxN, INTER_Nx2N, INTER_2NxnU, INTER_2NxnD, INTER_nLx2N, INTER_nRx2N, INTER_NxN }.
IntraCandidate = {INTRA_2Nx2N, INTRA_NxN}.
JSSE(mode) = DSSE(mode) + λmode・Rmode (mode)
λmode = 2(QP-12)/3
ただし、DSSE(mode)、Rmode(mode)、QPは、それぞれ、CUの入力画像信号とmodeを用いた再構築画像信号との２乗誤差和、modeを用いて符号化したCUのビット数（後述する変換量子化値のビット数も含む）、量子化パラメータを示す。
CUレベルモード決定プロセスでは、InterCandidateおよびIntraCandidateから、SSE 符号化コストJSSE(mode)を最小とするPU分割形状およびイントラ予測／インター予測bestPUmodeを選択する。定式的には、CUレベルモード決定プロセスを以下のように表現できる。
Figure 0006191609
PUCandidate = { InterCandidate, IntraCandidate }
以上で、CUレベルモード決定プロセスの説明を終了する。続いて、CUクアッドツリー構造決定プロセスを説明する。
CUDepth のCU（以後、ノードと呼ぶ）のSSE 符号化コストは、そのCUのbestPUmodeのSSE 符号化コストである。つまり、ノードSSE 符号化コストJSSE(node, CUDepth) を以下のように定義する。
Figure 0006191609
CUDepth のCUのi 番目(1≦i ≦4)の子CU（以後、子ノードやリーフなどと呼ぶ）のSSE 符号化コストは、CUDepth+1 のCUのSSE 符号化コストである。つまり、i 番目のリーフSSE 符号化コストJSSE(leaf(i), CUDepth)を以下で定義する。
JSSE(leaf(i), CUDepth) = JSSE(node, CUDepth+1)
ノードのSSE 符号化コストがそのリーフのSSE 符号化コストの和よりも大きいか否かを比較することによって、CUを子CUに分割するか否かを決定できる。JSSE(node, CUDepth) が以下に示す式１の値よりも大きい場合、CUを子CUに分割すると決定する（cu_split_flag=1 とする）。
Figure 0006191609
そうでない場合（JSSE(node, CUDepth)が上記に示す式１の値以下の場合)、CUを子CUに分割しないと決定する（cu_split_flag=0 とする）。
CUクアッドツリー構造決定プロセスでは、上述した比較をCUDepth 毎に再帰的に実行し、CTU のクアッドツリー構造を決定する（つまり、CUDepth 毎にリーフのcu_split_flag を決定する）。
以上で、CUクアッドツリー構造決定プロセスの説明を終了する。
なお、TUクアッドツリー構造は、上述したCUクアッドツリー構造決定プロセスと同様のプロセスによって決定できる。
予測器105 は、推定器106 が決定したCUクアッドツリー構造およびPU形状に基づいて、CUの入力画像信号に対する予測信号を生成する。予測信号は、上述したイントラ予測もしくはインター予測に基づいて生成される。
周波数変換／量子化器101 は、推定器106 が決定したTUクアッドツリー構造に基づいて、入力画像信号から予測信号を減じた予測誤差画像を周波数変換する。
さらに、周波数変換／量子化器101 は、周波数変換した予測誤差画像（周波数変換係数）を量子化する。以下、量子化された周波数変換係数を変換量子化値と呼ぶ。
エントロピー符号化器102 は、CTU のクアッドツリー構造を示すcu_split_flag 、予測パラメータ、および変換量子化値をエントロピー符号化する。
逆周波数変換／逆量子化器103 は、変換量子化値を逆量子化する。さらに、逆周波数変換／逆量子化器103 は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ104 に供給される。
バッファ104 は、再構築画像を格納する。
上述した動作に基づいて、一般的な映像符号化装置はビットストリームを生成する。
High efficiency video coding (HEVC) text specification draft 7, JCTVC-I1003_d9, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 9th Meeting: Geneva, CH, 27 April-7 May 2012. HM7: High Efficiency Video Coding (HEVC) Test Model 7 Encoder Description, JCTVC-I1002, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 9th Meeting: Geneva, CH, 27 April-7 May 2012.
ノードCUの予測誤差に局所的に大きな値が含まれる場合、周波数変換と量子化によってノードCU全体の再構築画像（2Nx2N サイズ）に量子化雑音が拡散してリンギングノイズが発生することが知られている。
あるノードCUのSSE 符号化コストJSSE(node, CUDepth) とそのリーフCUのSSE 符号化コストの和（上記に示す式１参照。）を単純に比較する技術は、局所的に大きな予測誤差を考慮しないでCUクアッドツリー構造を決定するため、誤って非分割を多く選択し、リンギングノイズを発生させる。
リンギングノイズ発生は、SSE 符号化コストの代わりに、再構築画像を用いない以下に示すSAD 符号化コストJSAD(mode)やSATD符号化コストJSATD(mode)を利用した場合に、より顕著になる。
JSAD(mode) = DSAD(mode) + λmotion・Rmotion(mode)
JSATD(mode) = DSATD(mode) + λmotion・Rmotion(mode)
λmotion = 2(QP-12)/6
ただし、DSAD(mode)、Rmode(mode)、DSATD(mode) は、それぞれ、CUの入力画像信号とmodeを用いた予測信号との絶対誤差和（SAD ：Sum of Absolute Difference）、modeを用いて符号化したCUのヘッダビット数（変換量子化値のビット数を含まない）、CUの入力画像信号とmodeを用いた予測信号との絶対誤差アダマール変換和（SATD:Sum of Absolute Hadamard Transformed Difference ）を示す。
本発明は、リンギングノイズ発生を防止できる映像符号化装置、映像符号化方法および映像符号化プログラムを提供することを目的とする。
本発明による映像符号化装置は、再帰的クアッドツリー構造に基づいた映像符号化を行う映像符号化装置であって、処理対象ノードに対応するノード画像ブロックのノード符号化コストを決定する手段と、処理対象ノードの４つの子ノードに対応する子ノード画像ブロックそれぞれの子ノード符号化コストを決定する手段と、処理対象ノードの４つの子ノードから１つ以上の代表子ノードを選択する手段と、選択した１つ以上の代表子ノード数に基づいてノード符号化コストを正規化する手段と、正規化したノード符号化コストと代表子ノードの子ノード符号化コストを比較して、処理対象ノードを分割するか否かを決定する手段とを備えたことを特徴とする。
本発明による映像符号化方法は、再帰的クアッドツリー構造に基づいた映像符号化を行う映像符号化方法であって、処理対象ノードに対応するノード画像ブロックのノード符号化コストを決定し、処理対象ノードの４つの子ノードに対応する子ノード画像ブロックそれぞれの子ノード符号化コストを決定し、処理対象ノードの４つの子ノードから１つ以上の代表子ノードを選択し、選択された１つ以上の代表子ノード数に基づいてノード符号化コストを正規化し、正規化されたノード符号化コストと代表子ノードの子ノード符号化コストを比較して、処理対象ノードを分割するか否かを決定することを特徴とする。
本発明による映像符号化プログラムは、再帰的クアッドツリー構造に基づいた映像符号化を行うコンピュータに適用される映像符号化プログラムであって、コンピュータに、処理対象ノードに対応するノード画像ブロックのノード符号化コストを決定する処理、処理対象ノードの４つの子ノードに対応する子ノード画像ブロックそれぞれの子ノード符号化コストを決定する処理、処理対象ノードの４つの子ノードから１つ以上の代表子ノードを選択する処理、選択した１つ以上の代表子ノード数に基づいてノード符号化コストを正規化する処理、および、正規化したノード符号化コストと代表子ノードの子ノード符号化コストを比較して、処理対象ノードを分割するか否かを決定する処理を実行させることを特徴とする。
本発明によれば、処理対象ノードの４つの子ノードの代表子ノードの符号化コストと、代表子ノード数に基づいて正規化された処理対象ノードの符号化コストとを比較して、処理対象ノードの分割／非分割を決定する。処理対象ノードの予測誤差に局所的に大きな値が含まれている場合、代表子ノードの符号化コスト和は正規化された符号化コストよりも小さくなる。すなわち、処理対象ノードの予測誤差に局所的に大きな値が含まれている場合、処理対象ノードの分割を選択する。本発明を用いた映像符号化装置は、局所的に大きな予測誤差を考慮してCUクアッドツリー構造を決定するため、リンギングノイズ発生を防止できる。
本発明による映像符号化装置の一実施形態を示すブロック図である。 本発明の推定器の構成例を示す説明図である。 本発明の推定器の動作例を示す説明図である。 本発明によるプログラムを用いた情報処理システムの例を示すブロック図である。 本発明による映像符号化装置の主要部を示すブロック図である。 ３３種類の角度イントラ予測の例を示す説明図である。 フレーム間予測の例を示す説明図である。 一般的な映像符号化装置の構成を示す説明図である。 フレームt のCTU 分割例、および、フレームt のCTU8のCU分割例を示す説明図である。 クアッドツリー構造を示す説明図である。 CUのPU分割形状を示す説明図である。 CUのTU分割例を示す説明図である。
図１を参照して、ディジタル化された映像の各フレームを入力画像としてビットストリームを出力する本実施形態の映像符号化装置の構成と動作を説明する。
図１に示す映像符号化装置は、図６に示された映像符号化装置と同様に、周波数変換／量子化器101 、エントロピー符号化器102 、逆周波数変換／逆量子化器103 、バッファ104 、および予測器105を備える。さらに、本実施形態の映像符号化装置は、推定器1060を備える。
図２を参照して、本発明の特徴を示す推定器1060の構成および動作を説明する。
推定器1060は、ノードコスト計算器10601、第１リーフコスト計算器10602 、第２リーフコスト計算器10603 、第３リーフコスト計算器10604 、第４リーフコスト計算器10605 、代表リーフ選択器10606 、ノードコスト正規化器10607 、および、ノード分割判定器10608 によって構成される。推定器1060は、CTU のCUクアッドツリー構造／PU分割形状を決定する。
ノードコスト計算器10601 は、現在のCUDepth のCUに対して、上述したSATD符号化コストJSATD(mode) を最小とするPU分割形状およびイントラ予測／インター予測bestPUmodeを選択する。定式的には以下のように示される。
Figure 0006191609
さらに、ノードコスト計算器10601 は、CUのSATD符号化コストJSATD(node, CUDepth)にbestPUmodeのSATD符号化コストを設定する。定式的には以下のように示される。
Figure 0006191609
なお、CUのi 番目(1≦i ≦4)の子CU（以後、子ノードやリーフなどと呼ぶ）のSATD符号化コストは、CUDepth+1 のCUのSATD符号化コストである。i 番目(1≦i ≦4)のリーフCUのSATD符号化コストJSATD(leaf(i), CUDepth) を以下のように定義する。
JSATD(leaf(i), CUDepth) = JSATD(node, CUDepth+1)
第１リーフコスト計算器10602 は、CUの最初のリーフ(i=1) のSATD符号化コストJSATD(leaf(1), CUDepth) を計算する。すなわち、CUの最初のリーフ(i=1) に対して、SATD符号化コストJSATD(mode) を最小とするPU分割形状およびイントラ予測／インター予測bestPUmodeを選択する。
同様に、第２リーフコスト計算器10603 、第３リーフコスト計算器10604 、第４リーフコスト計算器10605 は、それぞれ、CUの第２リーフ(i=2) 、第３リーフ(i=3) 、第４リーフ(i=4) のSATD符号化コストJSATD(leaf(i), CUDepth) を計算する。
例を用いて、ノードとリーフの関係（CUと子CUの関係）を補足する。CTU サイズを64と仮定すると、CUDepth=0 のノードの最初のリーフは、64x64 画像ブロック内の左上32x32 画像ブロックに対応する。同様に、CUDepth=0 のノードの第２リーフ、第３リーフ、第４リーフは、それぞれ、64x64 画像ブロック内の右上32x32 画像ブロック、左下32x32 画像ブロック、右下32x32 画像ブロックに対応する。
代表リーフ選択器10606 は、各リーフのSATD符号化コストJSATD(leaf(i), CUDepth) に基づいて、K 個(1≦K ≦4)の代表リーフを選択する。具体的には、代表リーフ選択器10606 は、SATD符号化コストが小さい順で第L 番目(1≦L ＜4)から第M 番目(L＜M ≦4)のリーフを代表リーフとして選択する。以後の説明のために、小さい順でソートされたSATD符号化コストをJ'SATD(leaf(i), CUDepth)と定義する。
さらに、代表リーフ選択器10606 は、代表リーフ個数K と代表リーフのJ'SATD(leaf(i), CUDepth) (L≦i ≦M)をノードコスト正規化器10607 とノード分割判定器10608 にそれぞれ供給する。
ノードコスト正規化器10607 は、ノードコスト計算器10601 から供給されるノードSATD符号化コストJSATD(node, CUDepth) を代表リーフ個数K で正規化する。以後の説明のために、正規化されたノードSATD符号化コストをJ'SATD(node, CUDepth)と定義する。定式的には以下のように示される。
J'SATD(leaf(i), CUDepth) = JSATD(leaf(i), CUDepth) / K
ノード分割判定器10608 は、正規化されたノードSATD符号化コストと代表リーフのSATD符号化コストを比較して、現在のCUDepth のCUを分割するか否かを決定する（cu_split_flag を決定する）。具体的には、ノード分割判定器10608 は、J'SATD(node, CUDepth) が以下に示す式２の値よりも大きい場合、CUを分割すると決定する（cu_split_flag=1 ）。
Figure 0006191609
そうでない場合（J'SATD(node, CUDepth) が上記に示す式２の値以下の場合）、ノード分割判定器10608 は、CUを分割しないと決定する（cu_split_flag=0 ）。
推定器1060は、上述した比較をCUDepth 毎に再帰的に実行し、CTU のCUクアッドツリー構造／PU分割形状を決定する。
続いて、図３を参照して、推定器1060の動作を説明する。
ステップS101にて、ノードコスト計算器10601 は、現在のCUDepth のCUのSATD符号化コストJSATD(node, CUDepth)を計算する。
ステップS102にて、第１リーフコスト計算器10602 、第２リーフコスト計算器10603 、第３リーフコスト計算器10604 、第４リーフコスト計算器10605 は、CUの子CU（リーフ）のSATD符号化コストJSATD(leaf(i), CUDepth) (1≦i ≦4)をそれぞれ計算する。
ステップS103にて、代表リーフ選択器10606 は、各リーフのSATD符号化コストJSATD(leaf(i), CUDepth) (1≦i ≦4)に基づいて、K 個(1≦K ≦4)の代表リーフを選択する。
ステップS104にて、ノード分割判定器10608 は、代表リーフのSATD符号化コストの和（上記に示す式２参照。）を計算する。
ステップS105にて、ノードコスト正規化器10607 は、代表リーフ個数K に基づいて正規化ノードSATD符号化コストJ'SATD(node, CUDepth) を計算する。
ステップS106にて、ノード分割判定器10608 は、J'SATD(node, CUDepth) が上記に示す式２の値よりも大きいか否かを判断する。大きい場合、ステップS107に進む。そうでない場合、ステップS108に進む。
ステップS107にて、ノードコスト正規化器10607 は、現在のCUDepth のCUを分割すると決定し（cu_split_flag=1 ）、現在のCUDepth のCUに対する分割／非分割決定を終了する。
ステップS108にて、ノードコスト正規化器10607 は、現在のCUDepth のCUを分割しないと決定し（cu_split_flag=0 ）、現在のCUDepth のCUに対する分割／非分割決定を終了する。
以上で、発明の特徴を示す推定器1060の構成および動作の説明を終了する。
上述した本実施形態の推定器1060は、処理対象ノードの４つの子ノード（リーフ）の代表子ノード（代表リーフ）の符号化コストと、代表子ノード数に基づいて正規化された処理対象ノードの符号化コストとを比較して、処理対象ノードの分割／非分割を決定する。処理対象ノードの予測誤差に局所的に大きな値が含まれている場合、代表リーフの符号化コスト和（上記に示す式２参照。）は正規化された符号化コスト（J'SATD(node, CUDepth) ）よりも小さくなる。すなわち、処理対象ノードの予測誤差に局所的に大きな値が含まれている場合、処理対象ノードの分割を選択する（cu_split_flag=1 を選択する）。本実施形態の映像符号化装置は、局所的に大きな予測誤差を考慮してCUクアッドツリー構造を決定するため、リンギングノイズ発生を防止できる。
なお、上述した実施形態において、CUサイズ(2Nx2N) とは関係なく、SATD符号化コストJSATD(mode) の計算に用いるアダマール変換のブロックサイズを8x8 もしくは4x4 に固定しても同等の効果が得られることは言うまでもない。
また、上述した実施形態において、SATD符号化コストJSATD(mode) の代わりに、SAD 符号化コストJSAD(mode)やSSE 符号化コストJSSE(mode)を用いても同等の効果が得られることは言うまでもない。
また、上述した実施形態において、代表リーフの個数K を現在のCUDepth のCUの大きさによって変えてもよい。例えば、より大きなCUほどリンギングノイズが目立つことを考慮して、所定サイズよりも大きなCUにおいてはK=1 （L=1 およびM=1 ）、所定サイズよりも小さなCUにおいてはK=3 （L=1 およびM=3 ）としてもよい。なお、K=1 （L=1 およびM=1 ）は、代表リーフ選択器10606 が、最小のリーフ符号化コストに関連づけられたリーフを選択することと等価であることは言うまでもない。
また、上述した推定器1060のCUクアッドツリー構造決定をTUクアッドツリー構造決定に用いることによって、局所的に大きな予測誤差を考慮してTUクアッドツリー構造を決定できることは言うまでもない。
また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
図４に示す情報処理システムは、プロセッサ1001、プログラムメモリ1002、映像データを格納するための記憶媒体1003及びビットストリームを格納するための記憶媒体1004を備える。記憶媒体1003と記憶媒体1004とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
図４に示された情報処理システムにおいて、プログラムメモリ1002には、図１に示された各ブロックの機能を実現するためのプログラムが格納される。そして、プロセッサ1001は、プログラムメモリ1002に格納されているプログラムに従って処理を実行することによって、図１に示された映像符号化装置の機能を実現する。
図５は、本発明による映像符号化装置の主要部を示すブロック図である。図５に示すように、本発明による映像符号化装置は、再帰的クアッドツリー構造に基づいた映像符号化を行う映像符号化装置であって、処理対象ノードに対応するノード画像ブロックのノード符号化コストを決定する符号化コスト決定部１１と、処理対象ノードの４つの子ノードに対応する子ノード画像ブロックそれぞれの子ノード符号化コストを決定する子ノード符号化コスト決定部１２と、処理対象ノードの４つの子ノードから１つ以上の代表子ノードを選択する代表子ノード選択部１３と、選択した１つ以上の代表子ノード数に基づいてノード符号化コストを正規化する正規化部１４と、正規化したノード符号化コストと代表子ノードの子ノード符号化コストを比較して、処理対象ノードを分割するか否かを決定する分割決定部１５とを備える。
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１２年９月１８日に出願された日本特許出願２０１２−２０３８７９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１１ 符号化コスト決定部
１２ 子ノード符号化コスト決定部
１３ 代表子ノード選択部
１４ 正規化部
１５ 分割決定部
１０１ 周波数変換／量子化器
１０２ エントロピー符号化器
１０３ 逆周波数変換／逆量子化器
１０４ バッファ
１０５ 予測器
１０６，１０６０ 推定器
１０６０１ ノードコスト計算器
１０６０２ 第１リーフコスト計算器
１０６０３ 第２リーフコスト計算器
１０６０４ 第３リーフコスト計算器
１０６０５ 第４リーフコスト計算器
１０６０６ 代表リーフ選択器
１０６０７ ノードコスト正規化器
１０６０８ ノード分割判定器
１００１ プロセッサ
１００２ プログラムメモリ
１００３ 記憶媒体
１００４ 記憶媒体

Claims (9)

  1. 再帰的クアッドツリー構造に基づいた映像符号化を行う映像符号化装置であって、
    処理対象ノードに対応するノード画像ブロックのノード符号化コストを決定する手段と、
    処理対象ノードの４つの子ノードに対応する子ノード画像ブロックそれぞれの子ノード符号化コストを決定する手段と、
    処理対象ノードの４つの子ノードから１つ以上の代表子ノードを選択する手段と、
    前記選択した１つ以上の代表子ノード数に基づいてノード符号化コストを正規化する手段と、
    前記正規化したノード符号化コストと前記代表子ノードの子ノード符号化コストを比較して、処理対象ノードを分割するか否かを決定する手段とを備えた
    ことを特徴とする映像符号化装置。
  2. 前記代表子ノードを選択する手段が、子ノード符号化コストが小さい順に１以上４以下の個数の代表子ノードを選択する
    請求項１記載の映像符号化装置。
  3. 処理対象ノードに対応するノード画像ブロックの大きさに応じて、前記代表子ノード数を調整する
    請求項２記載の映像符号化装置。
  4. 再帰的クアッドツリー構造に基づいた映像符号化を行う映像符号化方法であって、
    処理対象ノードに対応するノード画像ブロックのノード符号化コストを決定し、
    処理対象ノードの４つの子ノードに対応する子ノード画像ブロックそれぞれの子ノード符号化コストを決定し、
    処理対象ノードの４つの子ノードから１つ以上の代表子ノードを選択し、
    選択された１つ以上の代表子ノード数に基づいてノード符号化コストを正規化し、
    正規化されたノード符号化コストと前記代表子ノードの子ノード符号化コストを比較して、処理対象ノードを分割するか否かを決定する
    ことを特徴とする映像符号化方法。
  5. 前記代表子ノードを選択する際、子ノード符号化コストが小さい順に１以上４以下の個数の代表子ノードを選択する
    請求項４記載の映像符号化方法。
  6. 処理対象ノードに対応するノード画像ブロックの大きさに応じて、代表子ノード数を調整する
    請求項５記載の映像符号化方法。
  7. 再帰的クアッドツリー構造に基づいた映像符号化を行うコンピュータに適用される映像符号化プログラムであって、
    前記コンピュータに、
    処理対象ノードに対応するノード画像ブロックのノード符号化コストを決定する処理、
    処理対象ノードの４つの子ノードに対応する子ノード画像ブロックそれぞれの子ノード符号化コストを決定する処理、
    処理対象ノードの４つの子ノードから１つ以上の代表子ノードを選択する処理、
    前記選択した１つ以上の代表子ノード数に基づいてノード符号化コストを正規化する処理、および、
    前記正規化したノード符号化コストと前記代表子ノードの子ノード符号化コストを比較して、処理対象ノードを分割するか否かを決定する処理
    を実行させるための映像符号化プログラム。
  8. コンピュータに、
    前記代表子ノードを選択する処理で、子ノード符号化コストが小さい順に１以上４以下の個数の代表子ノードを選択させる
    請求項７記載の映像符号化プログラム。
  9. コンピュータに、
    処理対象ノードに対応するノード画像ブロックの大きさに応じて、代表子ノード数を調整させる
    請求項８記載の映像符号化プログラム。
JP2014536569A 2012-09-18 2013-08-16 映像符号化装置、映像符号化方法および映像符号化プログラム Expired - Fee Related JP6191609B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012203879 2012-09-18
JP2012203879 2012-09-18
PCT/JP2013/004876 WO2014045515A1 (ja) 2012-09-18 2013-08-16 映像符号化装置、映像符号化方法および映像符号化プログラム

Publications (2)

Publication Number Publication Date
JPWO2014045515A1 JPWO2014045515A1 (ja) 2016-08-18
JP6191609B2 true JP6191609B2 (ja) 2017-09-06

Family

ID=50340857

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014536569A Expired - Fee Related JP6191609B2 (ja) 2012-09-18 2013-08-16 映像符号化装置、映像符号化方法および映像符号化プログラム

Country Status (5)

Country Link
US (1) US20150237345A1 (ja)
EP (1) EP2899974A4 (ja)
JP (1) JP6191609B2 (ja)
BR (1) BR112015005387A2 (ja)
WO (1) WO2014045515A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105120291B (zh) * 2015-08-07 2018-04-10 中山大学 一种基于方差的自适应快速视频编码方法
US10805635B1 (en) * 2016-03-22 2020-10-13 NGCodec Inc. Apparatus and method for coding tree unit bit size limit management
US10506258B2 (en) * 2017-07-13 2019-12-10 Google Llc Coding video syntax elements using a context tree

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5241395A (en) * 1989-08-07 1993-08-31 Bell Communications Research, Inc. Adaptive transform coding using variable block size
JP2000511366A (ja) * 1995-10-25 2000-08-29 サーノフ コーポレイション ４分割ツリーベースの可変ブロックサイズ動き推定装置および方法
US6633611B2 (en) * 1997-04-24 2003-10-14 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for region-based moving image encoding and decoding
US7672377B2 (en) * 2006-04-21 2010-03-02 Dilithium Holdings, Inc. Method and system for video encoding and transcoding
US7456760B2 (en) * 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
EP2651128B1 (en) * 2010-12-06 2018-07-25 Sun Patent Trust Image encoding method, image decoding method, image encoding device, and image decoding device

Also Published As

Publication number Publication date
WO2014045515A1 (ja) 2014-03-27
BR112015005387A2 (pt) 2017-07-04
EP2899974A4 (en) 2016-03-09
US20150237345A1 (en) 2015-08-20
JPWO2014045515A1 (ja) 2016-08-18
EP2899974A1 (en) 2015-07-29

Similar Documents

Publication Publication Date Title
KR102329587B1 (ko) 인트라 예측 방법 및 그 장치
US10848759B2 (en) Intra prediction mode-based image processing method and apparatus therefor
KR101651595B1 (ko) 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR102303515B1 (ko) 비디오 신호의 처리 방법 및 장치
JP6076415B2 (ja) 映像の符号化方法及び装置、並びに映像の復号化方法及び装置
US10904567B2 (en) Intra prediction mode-based image processing method, and apparatus therefor
US10681354B2 (en) Image encoding/decoding method and apparatus therefor
KR20180029905A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20180037581A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102412934B1 (ko) 인트라 예측 방법 및 그 장치
KR20190043482A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
JP6332275B2 (ja) 映像符号化装置、映像符号化方法及びプログラム
US20200228831A1 (en) Intra prediction mode based image processing method, and apparatus therefor
KR20180061025A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
JP6191609B2 (ja) 映像符号化装置、映像符号化方法および映像符号化プログラム
JP6390627B2 (ja) 映像符号化装置、映像符号化方法およびプログラム
KR102069784B1 (ko) 두 개의 후보 인트라 예측 모드를 이용한 화면 내 예측 모드의 부/복호화 방법 및 이러한 방법을 사용하는 장치
KR101601856B1 (ko) 방향적 인트라 예측 장치 및 그 예측 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170724

R150 Certificate of patent or registration of utility model

Ref document number: 6191609

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees