KR20130019737A - Ｓｄｉｐ 모드의 색차성분 부호화 방법 - Google Patents

Abstract

SDIP 모드의 색차성분 부호화 방법이 제공된다.

Description

ＳＤＩＰ 모드의 색차성분 부호화 방법 {.}

본 발명은 영상 처리에 관한 것으로써, 보다 상세하게는 SDIP 모드의 색차성분 부호화 방법에 관한 것이다.

인트라 예측은 화면 내 예측을 의미한다.

본 발명의 기술적 과제는 SDIP 모드의 색차성분 부호화 방법을 제공함에 있다.

본 발명의 일 실시형태는 SDIP 모드의 색차성분 부호화 방법이다.

부호화 효율이 향상될 수 있다.

도 1은 SDIP Luma 블록을 나타낸다.

현재의 SDIP는 하나의 CU를 1/2Nx2N, 2Nx1/2N 크기를 가지는 4개의 직사각형 블록으로 나누어 각각을 인트라 예측함으로써 압축효율을 높이기 위한 인코딩 도구이다.

SDIP 예측을 사용하는 경우, 휘도성분의 예측모드는 직사각형 블록의 PU(Prediction Unit) 단위로 수행된다. 직사각형 블록의 예측모드는 정사각형 블록의 예측모드와 같이 수직, 수평, DC, Planar, 그리고 다양한 방향의 angular 예측으로 이루어진다.

색차성분의 예측모드는 휘도성분과 같이 직사각형 블록의 PU단위로 수행할 수도 있고, 정사각형블록의 CU 단위로 수행할 수도 있다. 인간의 눈은 휘도성분의 변화보다 색차성분의 변화에 덜 민감하므로 CU 단위로 예측하는 것이 부호화 효율을 더 높일 수 있다.

SDIP를 사용하지 않는 경우, 기존의 색차성분의 예측모드는 다음 [표 1]과 같이 5개의 예측모드값을 후보로 가진다. 여기서 DM(Direct mode)는 휘도성분의 예측모드값을 그대로 사용한다는 의미이다. 색차성분의 픽셀값이 휘도성분의 픽셀값과 선형관계가 있다는 관찰로부터 LM(Linear Model) 모드가 포함되어 [표 2]와 같은 색차성분 모드값을 사용하는 방법도 제시되었다.

[표 1] Intra 예측모드 번호와 코드워드

[표 2] LM모드가 포함된 Intra 예측모드 번호와 코드워드

SDIP 모드가 사용되는 경우에는 한 CU 당 4개의 직사각형 블록으로 나누어지므로 [표 1], [표 2]의 색차성분의 예측모드를 그대로 사용하는 것보다는 SDIP와 색차성분의 특성을 이용하여 새로운 모드값을 할당하는 것이 바람직하다.

[F505]에서는 SDM(SDIP Direct Mode)를 정의하고, 휘도성분 블록들의 예측모드값의 분포에 따라 [표 3]-[표 6]과 같이 예측모드와 코드워드를 제안하였다.

[표 3] luma_mode_num=1인 경우, Intra 색차성분 예측모드 인덱스와 코드워드

[표 4] luma_mode_num=2 인 경우, Intra 색차성분 예측모드 인덱스와 코드워드

[표 5] luma_mode_num=3 인 경우, Intra 색차성분 예측모드 인덱스와 코드워드

[표 6] luma_mode_num=4 인 경우, Intra 색차성분 예측모드 인덱스와 코드워드

위의 luma_mode_num=4 인 경우, 즉 4개의 SDIP 휘도성분 PU들이 모두 같은 모드값을 가지는 경우에는 휘도성분이 SDIP 모드로 부호화될 가능성이 별로 없을 것이다. 왜냐하면 4개의 PU 블록이 같은 모드는 가진다는 것은 하나의 CU 블록이 그 모드를 가진다는 것을 의미하기 때문에 굳이 4개로 구분될 필요가 없다는 것이다.

그리고 luma_mode_num=k, k=3,2,1 인 경우, 즉 4개의 SDIP 휘도성분 PU들이 k개씩 같은 모드값을 가지는 경우에도 모드값이 CU 경계값으로부터 구해지는 것이 아니라, SDIP 블록의 바로 위쪽과 왼쪽의 주변블록의 값들로부터 구해지는 것이기 때문에 LumaMode가 SDM 모드보다 우선한다고 보기 어렵다.

본 발명에서는 SDIP 모드의 색차성분을 예측할 때 예측모드를 다음과 같이 사용할 것을 제안한다.

1. 색차성분에 대해 [표 7]과 같은 예측모드를 제안한다. LM 모드 다음 우선순위로 SDM을 배치하고, 그 다음에 첫번째 SDIP 블록의 인트라 모드(L0)를 배치한다. L0는 [도 1]에 보인 것처럼 맨 좌측 또는 맨 윗측 블록의 예측모드이다.

[표 7] SDIP 모드의 색차성분 예측모드

2. 작은 CU 블록에 SDIP를 적용하면 복잡도가 커지므로, SDIP는 16x16, 32x32, 64x64 CU에만 적용하고, 4개의 직사각형 PU로 분할되는 것으로 한정한다. 이 때 색차성분의 예측모드는 [표 7]과 같다.

3. CU 블록크기가 32x32, 64x64 인 경우에는 8개의 직사각형 PU로 분할된다. 8개의 PU로 분할되는 경우에도 색차성분의 예측모드는 [표 7]과 같다.

I. 인코딩 프로세스

1. 현재 프레임의 새로운 코딩유닛이 입력된다..

A. 코딩유닛(Coding Unit)은 Inter/Intra 예측을 위해 사용되는 영역분할의 기본 단위이다. CU는 항상 정사각형(square)이며, 크기는 8x8 Luma 블록부터 TB(Tree Block, 64x64)까지 될 수 있다. CU는 TB로부터 시작하여 동일한 크기의 4개의 블록으로 순환적으로(recursively) 분할될 수 있다.

B. 예측유닛(PU)은 코딩유닛(CU: Coding Unit)보다 작은 블록이며, 반드시 square일 필요는 없으며, rectangular 형태의 블록일 수도 있다.

i. PU의 Intra 예측은 기본적으로 2N*2N 과 N*N 블록 단위로 수행되나, SDIP 모드가 사용되는 경우에는 PU의 크기는 hN*2N/2N*hN, 여기서 h=1/2이다.

예를 들어, SDIP 모드를 쓰면 CU는 다음과 같이 Non-squared 블록으로 나뉜다.

- 64*64 CU => 16*64, 64*16

- 32*32 CU => 8*32, 32*8

- 16*16 CU => 4*16, 16*4

- 8*8 CU => 2*8, 8*2

2. 인트라 예측에 필요한 참조픽셀을 생성한다.

A. 현재 예측블록에 인접한 왼쪽 블럭의 맨 오른쪽 수직라인상의 픽셀들과 상위 블럭의 맨 아래쪽 수평라인상의 픽셀들이 참조픽셀 생성에 사용된다. 예측블럭의 크기가 N이라면 각 방향에서 2N개의 픽셀을 참조픽셀로 사용한다.

B. 참조픽셀은 그냥 쓸 수도 있고, 스무딩해서 쓸 수도 있으며, 스무딩을 할 경우 이를 시그널링한다.

i. 스무딩하는 경우, AIS(Adaptive Intra Smoothing) 필터를 사용한다. 필터계수는 [1,2,1], [1,1,4,1,1] 중 하나를 사용한다. 후자의 필터가 더 sharp한 경계면을 제공한다.

ii. 필터를 쓸 건지 말건 지, 그리고 필터를 쓰는 경우 어떤 필터를 쓸건 지를 시그널링한다.

iii. hN*2N, 2N*hN 예측블록인 경우에도 참조픽셀은 인접블록들의 재생된 픽셀들을 이용하여 생성하며, AIS 필터를 선택적으로 사용할 수 있다.

3. 인트라 예측모드를 결정한다.

A. 인트라 예측모드는 PU 단위로 수행된다. SDIP를 사용하는 경우 hN*2N/2N*hN 크기로 예측한다.

B. 소요 비트율과 왜곡량의 관계를 고려하여 최적의 예측모드를 결정한다.

C. PU 블록 크기에 따라 Luma 성분에 대한 예측모드의 개수는 다음과 같다.

SDIP를 쓰는 경우, 위 표에서 8x8 이상의 블록크기에 대해서만 적용하며, hN*2N / 2N*hN 블럭에 대한 예측모드의 개수는 다음 중 하나를 선택하여 사용한다

i. 2Nx2N의 경우와 동일하게 정한다.

ii. hN*2N/2N*hN 블록은 NxN보다 방향성이 강하게 나타날 수 있으므로, 특정방향의 예측모드값을 더 낮은 값으로 Reordering한다.

iii. hN*2N/2N*hN 블록은 NxN보다 방향성이 강하게 나타날 수 있으므로 모든 Intra 예측모드에 대해 예측하지 않고, 예측모드의 갯수를 제한한다

iv. 방향성에 따라 한쪽방향의 예측모드만 사용하고, 다른 방향의 예측모드는 사용하지 않는다.

D. 인트라 예측모드의 예측방향은 다음 그림과 같다.

i. 0번은 인접블럭 픽셀값을 수직방향으로, 1번은 수평방향으로, 2번은 현재 PU의 평균밝기값(DC)으로 예측블럭을 생성한다.

ii. 나머지 모드들은 해당 각도에 따라 인접블럭 픽셀값들을 이용하여 예측한다.

E. Chroma 성분의 예측모드를 구한다.

i. Chroma 성분의 예측모드 인덱스와 코드워드는 다음(상기 [표 7])과 같으며, L0 모드에 사용되는 첫번째 블록의 위치는 상기 [도 1]과 같다.

SDIP 모드의 색차성분 예측모드

4. 현재 블록의 예측모드를 부호화한다.

i. 현재 블록의 Luma 블록과 Chroma 블록에 대해 예측모드를 부호화한다.

ii. 현재 블록의 예측모드는 인접블록의 예측모드와 상관성이 크기 때문에 인접블록의 예측모드를 이용하여 현재블록의 예측모드를 부호화함으로써 비트량을 절감한다.

iii. 현재 블록의 MPM(Most Probable Mode)을 결정하고, MPM을 이용하여 현재 블록의 예측모드를 부호화한다.

5. 현재 블럭의 픽셀값과 예측블록의 픽셀값을 픽셀단위로 차분을 구해서 Residual 신호를 얻는다.

6. Residual 신호를 변환 부호화한다.

A. 변환부호화 커널은 2x2, 4x4, 8x8, 16x16, 32x32, 64x64 를 사용한다.

B. n*n 블록에 대해 변환계수 C는 다음과 같이 계산된다.

C(n,n)=T(n,n) x B(n,n) x T(n,n)^T

C. Rectangular m*n 블록을 수평방향으로는 n개의 커널로, 수직방향으로는 m개의 커널로 변환하여 m*n개의 변환계수를 얻을 수도 있다. 즉 C(m,n)=T(m,m) x B(m,n) x T(n,n)^T.

D. 변환계수를 양자화한다.

7. Residual 신호와 변환계수 중 어떤 것을 전송할 지 RDO를 통해 결정한다.

A. 예측이 잘된 경우 변환부호화하지 않고 Residual 신호를 그대로 전송할 수 있다.

B. 변환부호화 전/후 코스트함수를 비교하여 코스트가 minimize되는 방법을 선택한다.

C. 현재 블록에 대해 전송할 신호의 타입(Residual 또는 변환계수)을 시그널링한다.

8. 변환계수를 스캔한다.

9. 스캔된 변환계수와 인트라 예측모드를 엔트로피 부호화한다.

II. 디코딩 프로세스

1. 수신된 비트스트림을 엔트로피 복호화한다.

A. VLC 테이블로부터 블록타입을 알아내고, 현재 블록의 예측모드를 얻는다.

B. 현재 블록에 대해 전송되어 온 신호가 Residual 인지, 아니면 변환계수인지 타입을 알아낸다.

C. 현재 블록에 대한 Residual 신호나 변환계수를 얻는다.

2. 엔트로피 복호화된 Residual 신호나 변환계수를 역스캔(inverse scan)하여 2차원 블록을 생성한다.

A. Residual 신호의 경우, Residual 블록을 생성한다.

B. 변환계수인 경우, 변환블록을 생성한다.

3. 변환계수인 경우, 역양자화, 역변환을 하여 Residual 블록을 얻는다.

A. B(n,n)=T(n,n) x C(n,n) x T(n,n)^T. 또는 B(m,n)=T(m,m) x C(m,n) x T(n,n)^T.

B. 역변환을 통해 Residual 신호를 얻는다.

4. 참조픽셀을 생성한다.

A. 인코더에서 참조픽셀을 생성할 때 스무딩 필터를 썼는지, 썼다면 어떤 타입의 필터를 썼는지 시그널링된 정보를 참조하여 디코더에서 참조픽셀을 생성한다.

B. 현재 예측블록에 인접한, 이미 디코딩되어 재생되어 있는 왼쪽 블럭의 맨 오른쪽 수직라인상의 픽셀들과 상위 블럭의 맨 아래쪽 수평라인상의 픽셀들이 참조픽셀 생성에 사용된다.

C. 인코더에서 사용한 참조픽셀 생성방법에 따라

i. 스무딩된 경우, Adaptive Intra Smoothing 필터를 사용한다..

ii. 필터타입 정보를 이용하여 필터계수는 [1,2,1], [1,1,4,1,1] 중 하나를 선택한다.

5. 예측모드를 이용하여 예측블럭을 생성한다.

A. 엔트로피 복호화된 현재 블록의 예측모드로부터 참조픽셀을 이용하여 예측블럭을 생성한다.

B. 예측블럭의 생성 과정은 인코더의 예측모드 결정에 사용된 과정과 동일하다.

6. 예측블럭 픽셀값과 Residual 블록 픽셀값을 더하여 재생블럭을 생성한다.

Claims (1)

1. SDIP 모드의 색차성분 부호화 방법.

Images