KR20220121424A

KR20220121424A - 비디오 신호 처리 방법 및 장치

Info

Publication number: KR20220121424A
Application number: KR1020210025450A
Authority: KR
Inventors: 임성원
Original assignee: 주식회사 케이티
Priority date: 2021-02-25
Filing date: 2021-02-25
Publication date: 2022-09-01

Abstract

본 발명은 잔차 신호의 부/복호화 방법 및 이를 위한 장치를 제공한다.

Description

비디오 신호 처리 방법 및 장치{A METHOD AND AN APPARATUS FOR PROCESSING A VIDEO SIGNAL}

본 발명은 비디오 신호 처리 방법 및 장치에 관한 것이다.

비디오 영상은 시공간적 중복성 및 시점 간 중복성을 제거하여 압축부호화되며, 이는 통신 회선을 통해 전송되거나 저장 매체에 적합한 형태로 저장될 수 있다.

본 발명은 비디오 신호의 코딩 효율을 향상시키고자 함에 있다.

상기 과제를 해결하기 위하여 잔차 신호의 부/복호화 방법 및 이를 위한 장치를 제공한다.

본 발명에 따른 비디오 신호 처리 방법 및 장치는 영상 부호화/복호화 효율을 향상시킬 수 있다.

최근, 초고해상도 영상은 디지털 방송뿐 아니라 넷플릭스 및 유튜브 등의 스트리밍 서비스 분야의 핵심이다. 게다가 기존의 2D영상이외에도 VR, 3D 영상 서비스가 상용화되고 있으며, 디지털 TV뿐만 아니라 스마트폰과 같은 모바일 장비에서도 위와 같은 영상 서비스를 사용할 수 있다. 이러한 영상 서비스의 공통점은, 영상 압축의 적용 없이는 서비스가 불가능하다는 점이다. Full-HD라고 할 수 있는 1080p@60Hz의 경우, 1920x1080크기의 화면을 1초에 60번 전송해야 한다. 3D 영상과 같이 양쪽 눈에 정보를 전달하기 위해서는 2배의 데이터가 필요하며, 4K(4096x2048), 8K(8192x4096) 등 초고해상도 영상 서비스는 한 화면을 1초에 120번 이상 전송해야 되기 때문에 full-HD대비 엄청난 데이터가 발생된다. 이러한 데이터를 감당하기 위해서는 통신 대역폭, 영상 압축 기술 등 다양한 분야의 기술이 필요하다. 우선, 데이터에 예측 기술이 사용되어 잔차 값을 생성한다. 예측이 정확하게 수행될수록 원본 데이터와의 잔차 신호들은 0에 가까워진다. 그 후 변환을 통해 에너지를 집중시키며, 양자화된 계수 값들은 문맥 정보를 참조하여 부호화가 수행된다.

특히 낮은 QP를 이용하여 부호화하는 경우, 혹은 12비트 이상의 의료영상이나 초고화질 영상의 경우, 부호화해야될 레지듀얼 신호는 극단적으로 커질 수 있다. 이러한 값들을 위해 최적화된 부호화 방식이 사용된다면, 부호화 효율을 크게 증가시켜줄 수 있다.

1. 블록 내 레지듀얼 신호 부호화 방법

블록을 부호화 할 때, 레지듀얼(residual) 신호를 생성하고, 생성된 레지듀얼 신호에 대하여 엔트로피 부호화를 수행한다. 이 레지듀얼 신호는 다양한 방법으로 생성될 수 있다. 일 예로, 원본 블록안에 존재하는 샘플(화소)들로부터, 화면 간 예측 혹은 화면 내 예측 등과 같은 예측을 통해 생성된 예측 샘플(화소)들을 차분하여, 잔차 값들로 이루어진 잔차 블록이 생성된다. 이 잔차 블록들에 변환, 및 양자화가 이루어진 양자화된 변환 계수가 레지듀얼 신호로 설정될 수 있다. 혹은, 예측, 변환, 또는 양자화 중 적어도 하나 이상을 스킵한 채, 레지듀얼 신호를 생성할 수도 있다.

생성된 레지듀얼 신호는 다양한 신택스로 표현되고, 이들에 대한 엔트로피 부호화가 수행된다. 이진화 과정을 거쳐 다수의 빈(bin)들로 변경된 후, 엔트로피 부호화를 이용하여 부호화 된다. 이때, 블록을 추가적으로 서브 블록 단위로 분할한 뒤, 서브 블록 단위로 레지듀얼 신호에 대해 엔트로피 부호화를 수행할 수도 있다.

엔트로피 부호화는 문맥 정보(context)를 이용한 부호화와 문맥 정보를 이용하지 않는 부호화를 포함할 수 있다.

엔트로피 코더의 처리율(throughput)을 증가시키기 위해, 부호화 하려는 블록마다 문맥정보를 이용하여 엔트로피 부호화를 수행하는 빈의 개수를 제한할 수 있다. 이를 위해, 임계값을 정한다. 발생한 다수의 빈들 중 정해진 임계값 만큼은, 문맥 정보를 이용한 부호화가 수행된다. 문맥 정보를 이용하여 부호화된 빈의 개수를 카운팅(counting)하고, 카운팅 된 값이 임계값을 넘어서는 경우, 나머지 빈들에 대해서는, 문맥 정보를 이용하지 않고 부호화한다.

임계값은 적응적으로 결정될 수 있다. 일 예로, 임계값은 블록의 크기, 형태, 0이 아닌 레지듀얼 신호의 개수, 변환(또는 변환 스킵)이 적용되었는지 여부, 변환 커널의 종류, 양자화가 적용되었는지 여부, 예측 모드, 컬러 콤포넌트(YCbCr), 양자화 파라미터 또는 비트 심도(BitDepth) 중 적어도 하나를 기초로 결정될 수 있다.

일 예로, 블록 내에 존재하는 0이 아닌 양자화 된 계수의 개수를 기초로 임계값이 결정될 수 있다. 일 예로, 상기 개수의 실수 배 또는 상기 개수에 오프셋을 가산/감산한 값이 임계값으로 정의 될 수 있다.

일 예로, 블록 내에 존재하는 화소의 개수(즉, 블록 크기)에 기초하여 임계값이 결정될 수 있다. 일 예로, 상기 개수의 실수 배 또는 상기 개수에 오프셋을 가산/감산한 값이 임계값으로 정의 될 수 있다.

다른 예로, 임계값을 결정하기 위한 정보가 부호화되어 시그날링될 수 있다. 일 예로, 상기 정보는 혹은 상위 헤더를 통해 부호화 되어 복호화기로 전송 될 수 있다.

다른 예로, 블록 크기/형태 별로 임계값이 기 정의되어 있을 수 있다. 또는, 블록 크기/형태 별로 임계값 후보들을 기 정의한 뒤, 복수의 임계값 후보들 중 하나를 부호화하여 시그날링할 수 있다.

또는, 부호화기 및 복호화기에서 고정된 값을 임계값으로 정의할 수 있다.

레지듀얼 신호를 부호화하는 방법에는 RC(Residual Codong) 방식과 TSRC(Transform Skip Residual Coding) 방식이 존재한다. 예를 들어 블록에 RC방법이 적용된다면 블록 내 존재하는 모든 서브블록들은 RC로 수행된다. 여기서 서브 블록은, 엔트로피 부호화가 수행되기 전, TSRC 혹은 RC가 사용되는 단위를 의미한다.

1-1: RC방법

다음의 그림 1은 RC 방법의 예시이다. 설명의 편의를 위해, 서브 블록의 크기는 4x4크기라고 가정한다. 또한, 문맥 정보를 이용하여 부호화되는 사용할 빈의 개수(즉, 임계값, CCB(Coded Context Bin))은 52라고 가정한다.

그림 1

위 그림 1 에서, C₁₅~C₀은 서브 블록 내에 존재하는 레지듀얼 신호를 의미한다. 서브 블록 내 레지듀얼 신호는 서브 블록 내 오른쪽 아래방향에서부터 왼쪽 위 방향으로 부호화가 진행된다. 위 그림에서 C₁₅는 서브 블록 내 오른쪽 아래에 존재하는 신호이며, C₀은 서브 블록 내 왼쪽 위에 존재하는 신호를 의미한다. 또한 검은색 화살표(context coding)로 표시된 부분은, 문맥정보를 이용하여 부호화되는 빈들을 나타내고, 파란색 화살표(bypass coding)로 표시된 부분은, 문맥정보를 이용하지 않고 부호화되는 빈들을 나타낸다. 또한, 화살표 방향을 따라, 각 신택스들에 대한 부호화가 수행될 수 있다.

또한, sig_coeff_flag, abs_level_gtx_flag[0], par_level_flag, abs_level_gtx_flag[1], abs_remainder, dec_abs_level, coeff_sign_flag는 다음의 표에 존재하는 수식과 같이 정의될 수 있다.

Pass	신택스명	수식
pass 1	sig_coeff_flag	C_N != 0
	abs_level_gtx_flag[0]	!! ( \|C_N\| - 1 )
	par_level_flag	( \|C_N\| - 2 ) & 1
	abs_level_gtx_flag[1]	( \|C_N\| - 2 ) >> 1
pass 2-1	abs_remainder	( \|C_N\| - 4 ) >> 1
pass 2-2	dec_abs_level
pass 3	coeff_sign_flag	C_N < 0 ? 1 : 0

만약, C₁₅의 값이 -21 이라면, C₁₅에 해당하는 sig_coeff_flag는 1, abs_level_gtx_flag[0]는 1, par_level_flag은 1, abs_level_gtx_flag[1]는 1, abs_remainder의 값은 8이되며, coeff_sign_flag의 값은 1로 표현되며 이 신택스들이 엔트로피 부호화되어 디코더로 시그널링 된다.

디코더에서는 다음의 표를 이용하여 레지듀얼 신호를 복원한다.

	수식
TmpC_N	sig_coeff_flag + abs_level_gtx_flag[0] + par_level_flag + (abs_level_gtx_flag[1]<<1)
\|C_N\|	TmpC_N + (abs_remainder<<1)

상기 설명한 대로 |C₁₅|에 대해 복원하면, TmpC_N의 값은 1+1+1+(1<<1)를 통해 5가 되며, (abs_remainder<<1)의 결과를 더해 21로 복원 된다. 그 후, coeff_sign_flag값을 통해 C₁₅의 값은 -21로 최종 복원된다.

1-2: TSRC방법

다음의 그림 2는 TSRC 방식의 예시이다. 설명의 편의를 위해, 서브 블록의 크기는 4x4크기라고 가정한다. 또한 문맥 정보를 이용하여 부호화되는 빈의 개수(즉, 임계값, CCB(Coded Context Bin))은 112라고 가정한다.

그림 2

위 그림 2에서, C₀~C₁₅는 서브 블록 내에 존재하는 레지듀얼 신호를 의미한다. TSRC 방식이 적용 될 때, 서브 블록 내에 존재하는 레지듀얼 신호는 서브 블록내 왼쪽 위 방향에서 오른쪽 아래방향으로 부호화가 진행된다. 위 그림에서 C₁₅는 서브 블록 내 오른쪽 아래에 존재하는 신호이며, C₀은 서브 블록 내 왼쪽 위에 존재하는 신호를 의미한다. 또한 검은색 화살표(context coding)로 표시된 부분은 문맥정보를 이용하여 부호화가 수행되는 빈들을 나타낸다. 파란색 화살표(bypass coding)로 표시된 부분은 문맥정보를 이용하지 않고 부호화되는 빈을 나타낸다. 또한, 화살표 방향대로, 각 신택스들에 대한 부호화가 수행될 수 있다.

또한, sig_coeff_flag, coeff_sign_flag, abs_level_gtx_flag[0], par_level_flag, abs_level_gtx_flag[1], abs_level_gtx_flag[2], abs_level_gtx_flag[3], abs_level_gtx_flag[4], abs_remainder는 다음의 표에 존재하는 수식과 같이 정의된다.

pass	신택스명	수식
pass 1	sig_coeff_flag	C_N != 0
	coeff_sign_flag	C_N < 0 ? 1 : 0
	abs_level_gtx_flag[0]	!! ( \|C_N\| - 1 )
	par_level_flag	( \|C_N\| - 2 ) & 1
pass 2	abs_level_gtx_flag[1]	( \|C_N\| - 2 ) >= 4
	abs_level_gtx_flag[2]	( \|C_N\| - 2 ) >= 6
	abs_level_gtx_flag[3]	( \|C_N\| - 2 ) >= 8
	abs_level_gtx_flag[4]	( \|C_N\| - 2 ) >= 10
pass 3	abs_remainder	( \|C_N\| - 10 ) >> 1

만약, C₀의 값이 -21 이라면, C₀에 해당하는 sig_coeff_flag는 1, coeff_sign_flag는 1, abs_level_gtx_flag[0]는 1, par_level_flag는1, abs_level_gtx_flag[1]은 1, abs_level_gtx_flag[2]는 1, abs_level_gtx_flag[3]은 1, abs_level_gtx_flag[4]는 1, abs_remainder의 값은 5로 표현되며, 이 신택스들이 엔트로피 부호화되어 디코더로 시그널링 된다.

	수식
TmpC_N	sig_coeff_flag + abs_level_gtx_flag[0] + par_level_flag
C_N	TmpC_N + (abs_level_gtx_flag[1]<<1) + (abs_level_gtx_flag[2]<<1) + (abs_level_gtx_flag[3]<<1) + (abs_level_gtx_flag[4]<<1) + (abs_remainder<<1)

상기 설명한 대로 |C₀|에 대해 복원하면, TmpC_N의 값은 1+1+1을 통해 3이 되며, (abs_level_gtx_flag[1]<<1) + (abs_level_gtx_flag[2]<<1) + (abs_level_gtx_flag[3]<<1) + (abs_level_gtx_flag[4]<<1) 을 통해 8이 복원되고, (abs_remainder<<1)을 통해 10이 복원됨으로, 전부 합하면 21로 복원 된다. 그 후, coeff_sign_flag값을 통해 C₀의 값은 -21로 최종 복원된다.

1-3: 절삭된 라이스 (TR: Truncated Rice) 이진화 방법

어떤 값에 대해 엔트로피 부호화를 수행하기 위해서는 이진화가 선행되어야 한다. 다양한 이진화 방법들 중, 절삭된 라이스(TR) 이진화 방법을 수행하기 위해서는 두개의 파라미터가 요구된다. 구체적으로, 절삭된 라이스 이진화 방법을 수행하기 위해, cMax 파라미터와 라이스파라미터(cRiceParam)가 결정되어야 한다.

TR 이진화 방식이 적용되는 경우, 파라미터에 기초하여, 부호화하려는 값을 프리픽스(prefix) 부분과 서픽스(suffix) 부분으로 분류할 수 있다. 이후, 각 부분을 설정된 방법에 따라 이진화할 수 있다. 프리픽스 부분은 다음의 수식으로 분류된다.

prefixVal = symbolVal >> cRiceParam (1)

위 수식에서 symbolVal은 부호화하려는 값을 의미하며 prefixVal은 프리픽스를 의미한다. 그 후, 다음의 테이블을 이용하여 이진화한다.

prefixVal	Bin string
0	0
1	1	0
2	1	1	0
3	1	1	1	0
4	1	1	1	1	0
5	1	1	1	1	1	0
...
bin index	0	1	2	3	4	5	...

이 때, prefixVal의 값이 (cMax >> cRiceParam)의 결과보다 작은 경우, 위의 표와 같이 이진화할 수 있다. 그렇지 않은 경우, 빈 스트링(Bin string)의 길이를 더 이상 늘리지 않고, 마지막 빈을 1로 대체한다. 예를 들어 (cMax >> cRiceParam)의 값이 6이고 prefixVal의 값이 6인 경우, 아래와 같이 빈 스트링이 설정될 수 있다.

prefixVal	Bin string
0	0
1	1	0
2	1	1	0
3	1	1	1	0
4	1	1	1	1	0
5	1	1	1	1	1	0
6	1	1	1	1	1	1
bin index	0	1	2	3	4	5

cMax가 symbolVal보다 크고 cRiceParam이 0보다 큰 경우에만 서픽스를 사용할 수 있다. 그렇지 않은 경우, 서픽스는 사용되지 않는다. 서픽스가 사용되는 경우, 다음의 수식에 의해 서픽스 값이 설정된다.

suffixVal = symbolVal - (prefixVal << cRiceParam) (2)

그 후, suffixVal의 이진화할 때, 고정길이 (FL : Fixed-length)이진화 방식이 적용될 수 있다. FL이진화를 위한 cMax값은 (1 << cRiceParam)-1 의 값으로 설정된다.

고정길이 이진화 방식 하에서, 고정길이가 다음의 수식과 같이 설정될 수 있다.

fixedLength = Ceil ( Log2 (cMax+1) ) (3)

fixedLength은 FL이진화 방식에 사용되는 고정길이를 의미하며 Ceil( )는 올림 연산을 의미한다. 또한, (2^fixedLength) 개의 값을 이진화 할 수 있다. 예를 들어 fixedLength가 2 설정된 경우 2² = 4개의 값을 이진화 할 수 있다. 다음의 표는 이에 따른 예시이다.

Val	Bin string
0	0	0
1	0	1
2	1	0
3	1	1
bin index	0	1

1-4: 제한된 k차 지수골룸 (Limited k-th order Exp-Golomb) 이진화 방법

이 이진화 방식의 입력으로는, 이진화하려는 값인 symbolVal과, 변수 k, maxPreExtLen, truncSuffixLen이 존재한다.

이 입력값들을 이용하여 제한된 k차 지수골룸 이진화하는 방법은 다음의 표를 통해 설명된다.

codeValue = symbolVal >> k
preExtLen = 0
while( ( preExtLen < maxPreExtLen ) && ( codeValue > ( ( 2 << preExtLen ) - 2 ) ) ) {
preExtLen++
put( 1 )
}
if( preExtLen = = maxPreExtLen )
escapeLength = truncSuffixLen
else {
escapeLength = preExtLen + k
put( 0 )
}
symbolVal = symbolVal - ( ( ( 1 << preExtLen ) - 1 ) << k )
while( ( escapeLength-- ) > 0 )
put( ( symbolVal >> escapeLength ) & 1 )

1-5: abs_remainder과 dec_abs_level의 이진화 방법

abs_remainder의 이진화를 위해 abs_remainder를 프리픽스 부분과 서픽스 부분으로 분류한다. 그 후, 프리픽스 부분은 TR방식으로 이진화하고, 서픽스 부분은 제한된 k차 지수골룸 (Limited k-th order Exp-Golomb )방식으로 이진화가 수행된다. 이 때, TR방식으로 이진화한 결과가 111111인 경우에만(즉, prefixVal의 값이 (cMax >> cRiceParam)인 경우), abs_remainder의 서픽스를 생성하여 이진화한다.

우선, abs_remainder의 프리픽스를 TR방식으로의 이진화하기 위해, cRiceParam의 값과 cMax값이 설정되어야 한다. 이때, cRiceParam의 값은, 레지듀얼 신호의 부호화 방식에 따라 결정될 수 있다. 일 예로, 레지듀얼 신호의 부호화를 위해 TSRC방식이 적용된 경우, cRiceParam가 기 정의된 상수로 설정될 수 있다. 여기서, 기 정의된 상수는, 1일 수 있다. 만약, 레지듀얼 신호의 부호화를 위해, RC이 적용된 경우, 다음 설명에 따라, cRiceParam가 설정된다.

우선 그림 3과 같이, 현재 부호화하려는 위치를 기준으로 주변 참조위치 각각에 존재하는 레지듀얼 신호들의 절대값합(locSumAbs)를 유도한다.

그림 3

이때, 참조위치에 존재하는 각 레지듀얼 신호의 절대값은 표 2를 이용해서 생성된다. 그 후, 다음의 수식 (4)를 통해 클리핑을 수행한다. 여기서 Clip3 (A,B,C)의 의미는, 만약 C의 값이 A이하라면 A를 출력하고, 그게 아니라 만약 C의 값이 B이상이라면 B를 출력하며, 그게아니라면 C를 출력한다는 의미이다.

locSumAbs = Clip3(0, 31, locSumAbs - baseLevel*5 ) (4)

위 수식에서 baseLevel은 4로 고정된다. 그 후, 수식에 의해 계산된 locSumAbs에 따라서 다음의 표와 같이 cRiceParam를 유도한다.

locSumAbs	0	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
cRiceParam	0	0	0	0	0	0	0	1	1	1	1	1	1	1	2	2
locSumAbs	16	17	18	19	20	21	22	23	24	25	26	27	28	29	30	31
cRiceParam	2	2	2	2	2	2	2	2	2	2	2	2	3	3	3	3

파라미터 cMax는 다음의 수식을 이용하여 설정된다.

cMax = 6<< cRiceParam (5)

상기 설명한 방식을 이용하여, abs_remainder의 프리픽스를 TR방식으로의 이진화하기 위해 cRiceParam의 값과 cMax값이 설정되면, abs_remainder의 프리픽스를 다음의 수식 (6)을 이용하여 설정한다.

prefixVal = Min (cMax, abs_remainder) (6)

이렇게 설정된 prefixVal은 파라미터 cMax와 cRiceParam를 이용하여 TR방식으로 이진화 된다.

다음의 예시는, abs_remainder를 이진화하는 예시를 나타낸다. 설명의 편의를 위해 cRiceParam은 2, abs_remainder의 값은 23이라고 가정한다.

우선, cRiceParam가 2이기 때문에, 수식 (5)에 의해 cMax는 24로 설정된다. 그 후, 수식 (6)에 의해 abs_remainder의 프리픽스 값이 23으로 설정된다. 이 프리픽스 값과 cMax, cRiceParam를 입력값으로 이용하여 TR이진화를 수행한다. 이 때. 이 프리픽스 값이 TR이진화의 symbolVal로 입력된다.

TR이진화를 수행하기 위해 symbolVal을 프리픽스와 서픽스로 분류한다. symbolVal이 23이고 수식 (1)을 통해, prefixVal이 5로 설정된다. 그 후, 이 프리픽스 값은 (cMax >> cRiceParam)의 결과인 6보다 작으므로 표 5에 의해 111110 으로 이진화 된다.

그리고, cMax값이 symbolVal 값인 23보다 크고 cRiceParam이 2이기 때문에, symbolVal의 서픽스를 추가로 설정하여야 한다. 수식 (2)와 같이 설정하면 suffixVal의 값은 23 - (5<<2)의 결과인 3이 설정되며, (1 << cRiceParam)-1의 값을 FL이진화 방식을 위한 cMax로 설정된다. 그 후, suffixVal 값인 3과, cMax 값인 3을 고정길이 (FL : Fixed-length)이진화 방식의 입력으로 적용하여 이진화를 수행한다. 이 때, 수식 (3)에 의해 fixedLength의 값은 2가 되며, 표 7에 의해 11로 이진화된다.

위와 같은 방식으로, abs_remainder의 프리픽스 값인 23을 TR이진화를 수행하면 111110 11 로 표현된다. 따라서, 111111이 아니기때문에 abs_remainder의 서픽스는 생성하지 않고 abs_remainder의 이진화 과정이 종료된다.

다음의 예시는, abs_remainder를 이진화하는 또다른 예시를 나타낸다. 설명의 편의성을 위해 cRiceParam은 2, abs_remainder의 값은 25라고 가정한다.

우선, cRiceParam가 2이기 때문에, 수식 (5)에 의해 cMax는 24로 설정된다. 그 후, 수식 (6)에 의해 abs_remainder의 프리픽스 값이 24으로 설정된다. 이 프리픽스 값과 cMax, cRiceParam를 입력값으로 이용하여 TR이진화를 수행한다. 이 때. 이 프리픽스 값이 TR이진화의 symbolVal로 입력된다.

TR이진화를 수행하기 위해 symbolVal을 프리픽스와 서픽스로 분류한다. symbolVal이 24이고 수식 (1)을 통해, prefixVal이 6으로 설정된다. 그 후, 이 프리픽스 값은 (cMax >> cRiceParam)의 결과인 6보다 작지 않기 때문에, 표 6에 의해 111111 로 이진화 된다.

그리고, cMax값이 symbolVal 값인 24보다 크지 않기 때문에 TR이진화의 서픽스를 생성하지 않으며, abs_remainder의 프리픽스를 이진화한 결과는 111111로 종료된다.

그 후, abs_remainder의 프리픽스를 TR방식으로 이진화한 결과가 111111이기 때문에, abs_remainder의 서픽스를 다음의 수식으로 생성한다.

SuffixVal = abs_remainder - cMax (7)

따라서 수식 (7)을 적용하면, 25-24의 결과인 1이 서픽스 값으로 생성된다. 그 후 k의 값을 cRiceParam+1의 결과로 설정하고, maxPreExtLen과 truncSuffixLen를 각각 11과 15로 설정한다. 마지막으로 서픽스값, k, maxPreExtLen, truncSuffixLen을 입력값으로 이용하여 제한된 k차 지수골룸 (Limited k-th order Exp-Golomb )방식으로 이진화한다.

dec_abs_level의 이진화는 abs_remainder의 이진화와 동일하다. 단, 수식(4)에 사용되는 baseLevel은 0으로 고정된다.

2. 레지듀얼 신호 기반 확장된 라이스파라미터 유도 방법

abs_remainder와 dec_abs_level을 이진화할 때 그림 3과 표 9를 이용하지 않고, 레지듀얼 신호를 이용하여 라이스파라미터를 유도하는 방식을 설명한다. 다음의 그림 4는 블록이 4x4인 경우에 대한 예시이다. 설명의 편의를 위해, 본 예시에서는 그림 4의 C15위치에서부터 역순(C15, C14, C13, C12....C0)으로 레지듀얼 신호가 인코딩/디코딩되는것으로 가정한다. 또한 C0~C15위치에 존재하는 값들은 모두 abs_remainder 혹은 dec_abs_level를 이용하여 표현되는 것으로 가정하고 설명한다.

그림 4

다음의 그림 5은 라이스 파라미터 유도 방법의 흐름도를 나타낸다. 이 흐름도는 라이스 파라미터를 사용하는 블록 내 abs_remainder 혹은 dec_abs_level를 이용하여 부호화/복호화되는 위치에서만 적용된다.

그림 5

우선, 변수 buf를 초기화한다. 이 변수의 초기값은 임의의 상수로 설정될 수 있다. 일 예로, 0, 1, 또는 2 등이 초기값으로 설정될 수 있다. 또는, SPS, PPS, 픽쳐헤더 등 상위 헤더를 통해 초기값이 시그널링 될 수 있다. 또는, 슬라이스, 타일, CTU등 픽쳐내 임의의 영역마다 초기값이 시그널링 될 수 있다. 혹은 인코더와 디코더에서 초기값이 기 정의되어 있을 수 있다.

첫번째 레지듀얼 신호 C15에 대한, 라이스 파라미터는 다음의 수학식에 의해 유도될 수 있다.

cRiceParam = buf (8)

첫번째 레지듀얼 신호 C15에 대해서는, buf가 초기값으로 설정된 상태인 바, cRiceParam가 초기값과 동일한 값을 갖는다.

변수 buf에 기초하여, 라이스 파라미터가 유도되면, 복원된 레지듀얼 신호에 log_2를 취한 값에 기초하여, 변수 buf를 업데이트할 수 있다. 즉, 유도된 라이스파라미터를 C15위치의 값에 해당하는 라이스파라미터로 설정한 후 후, 변수 buf를 다음의 수식을 이용하여 업데이트 한다.

buf = ( buf + Floor(Log2(X)) ) >> 1 (9)

위 수식에서 X는 abs_remainder 혹은 dec_abs_level의 값을 의미한다. 그 후, C14위치로 이동하여 C15에서와 동일한 방법(즉, 수학식 (8))으로 라이스 파라미터를 설정할 수 있다. 이후, C14 위치의 값을 이용하여, buf를 업데이트 한다.

위와 같은 방식을 적용하면 C15~C0위치에 대하여, 존재하는 값을 기반으로 라이스파라미터가 적응적으로 설정될 수 있다.

위에 설명한 바와 같이, N번째 레지듀얼 신호에 대한 RiceParameter는 N-1번째 레지듀얼 신호의 값을 기초로 결정될 수 있다.

다른 예로, 빈의 개수가 CCB에 도달하는 경우, 변수 buf를 다시 한번 초기화 하도록 설정할 수 있다. 구체적으로, 빈의 개수가 CCB에 도달하는 경우, abs_remainder 대신, dec_abs_level가 부호화/복호화되므로, abs_remainder의 부호화/복호화가 종료된 시점에 변수 buf를 초기값으로 리셋할 수 있다.

혹은 위와 같은 리셋 과정 없이, abs_remainder를 이용하여 부호화/복호화되는 레지듀얼 신호의 값을 기초로 dec_abs_level을 이용하여 부호화/복호화되는 레지듀얼 신호의 변수 buf를 유도할 수도 있다.

혹은, abs_remainder과 dec_abs_level 각각에 대한 라이스 파라미터 유도방식을 상이하게 설정할 수 있다. 예를 들어 abs_remainder를 이용하는 부호화/복호화 위치에서는, 다음의 수식 (10) 및 수식 (11)과 같이 라이스파라미터 설정 및 업데이트를 수행하고, dec_abs_level을 이용하는 부호화/복호화 위치에서는 수식 (8) 및 수식 (9)와 같이 라이스 파라미터 설정 및 업데이트를 수행할 수 있다.

cRiceParam = buf - 2 < 0 ? 0 : buf - 2 (10)

buf = ( buf + Floor(Log2(abs_remainder)) + 2) >> 1 (11)

수식 (9) 혹은 (11)의 예에서, 변수 buf 업데이트 시, 반올림 처리를 위한 오프셋을 이용할 수 있다. 일 예로, 수식 (9)와 (11)은 오른쪽 쉬프트 연산 1회 적용 및 오프셋 1이 적용되는 다음의 수식 (12)와 (13)으로 변경될 수 있다. 오프셋의 크기는 쉬프트 연산의 크기에 따라 상이할 수 있다.

buf = ( buf + Floor(Log2(X)) + 1) >> 1 (12)

buf = ( buf + Floor(Log2(abs_remainder)) + 3) >> 1 (13)

상기 설명한 라이스 파라미터 유도 및 업데이트 과정이, 컬러 콤포넌트 별 독립적으로 적용될 수 있다. 이런경우 변수 buf는 buf[comp]로 변경될 수 있다. 여기서 comp는 콤포넌트 인덱스를 나타낸다. 예를 들어 YUV영상의 경우, comp는 0~2 사이의 값으로 설정될 수 있다. buf[0]은 Y, buf[1]은 U, buf[2]는 V와 관련된 변수를 의미할 수 있다.

위 처리 과정을 간소화하기 위해, 픽셀 단위로 변수 buf를 업데이트하는 대신, 임의의 영역(예컨대, 복수의 픽셀) 단위로 변수 buf를 업데이트할 수 있다. 예를 들어, 변수 buf의 업데이트가 2x2영역 단위로 수행된다면, 2x2 영역 내에서는, 동일한 라이스파라미터가 사용될 수 있다.

혹은, RC혹은 TSRC의 수행 단위인 서브 영역(예컨대, Sub-TU)의 가로 길이와 세로 길이의 비율에 따라 변수 buf의 업데이트 양상이 상이할 수 있다. 예를 들어, RC 혹은 TSRC가 수행 단위인 서브 영역의 가로 길이와 세로 길이가 동일한 경우(예컨대, 4x4인 경우), x좌표와 y좌표가 동일한 픽셀에 대해서만 변수 buf의 업데이트를 수행할 수 있다. 혹은, 서브 영역의 가로 길이와 세로 길이의 비율이 4:1인 경우(예컨대, 8x2인 경우), 4*x와 y가 동일한 픽셀에 대해서만 변수 buf의 업데이트를 수행할 수 있다.

상기 설명한 업데이트 영역 단위는 CTU, CU, TU, 또는 Sub-TU 단위 중 어느 하나일수 있다. 여기서 Sub-TU는 RC 혹은 TSRC가 수행되는 단위를 의미한다.

상기 설명한 업데이트 영역 단위가 정해지면, 업데이트 영역 내 특정 위치 샘플에 대해서만, 변수 buf의 업데이트가 수행되게 할 수 있다. 예를 들어, 업데이트 영역 내 사용하는 첫 번째 레지듀얼 신호 위치에서만 변수 buf를 업데이트할 수 있다. 혹은 영역 내 계수의 가로위치와 세로위치가 동일한 경우에만 변수 buf를 업데이트할 수 있다.

혹은 업데이트 영역의 형태에 따라 업데이트되는 위치를 가변적으로 결정할 수 있다. 일 예로, 업데이트 영역이 정사각형인 경우 영역 내 계수의 가로 위치와 세로 위치가 동일한 픽셀에 대해서만 변수 buf를 업데이트할 수 있다. 반면, 업데이트 영역이 직사각형인 경우, 기설정된 위치에서만 변수 buf를 업데이트 할 수도 있다.

이전 픽셀의 값 대신, 이전 업데이트 영역내 특정 위치 샘플을 이용하여 변수 buf를 업데이트할 수 있다. 일 예로, 현재 업데이트 영역의 변수 buf는 이전 업데이트 영역 내 첫번째 또는 마지막 픽셀의 값을 이용하여 업데이트될 수 있다.

또는, 이전 업데이트 영역에 포함된 픽셀들 값의 평균값, 최소값 또는 최대값 중 적어도 하나에 기초하여 변수 buf를 업데이트할 수도 있다.

또한, 병렬처리를 위해 WPP(Wavefront Parallel Processing)가 사용되는 경우, CABAC의 컨텍스트 초기화 방법과 유사하게 buf의 초기화가 이뤄질 수 있다. 일 예로 현재 슬라이스의 시작점에서 초기화값으로 사용되는 buf의 값은, 이전 슬라이스에서 가져와 초기값으로 사용할 수 도 있다. 혹은 WPP와 상관없이 슬라이스의 시작점에서는 언제나 기설정된 초기화값(일 예로 0, 1, 2 등)을 사용할 수도 있다.

혹은, 상기 설명한 buf값을 이용하여 locSumAbs를 유도할 수도 있다. 그림 3에서 주변 참조위치 각각에 존재하는 레지듀얼 신호들의 절대값합인 locSumAbs을 계산할 때, 주변 참조 위치가 블록의 바운더리를 벗어날 수 있다. 이 벗어난 위치에 대해서는 다음의 수식을 이용하여 임시 레지듀얼 신호값 tmp를 생성한 후, 해당 위치(블록 바운더리를 벗어난 위치)에 존재하는 레지듀얼 신호의 절대값으로 가정하여 locSumAbs을 유도할 때 사용한다.

tmp = 1 << buf (14)

tmp값은 buf의 업데이트가 수행될 때마다 갱신될 수 있다. 혹은 상기 설명한 buf 업데이트의 간소화와 유사하게, 임의의 영역 단위로 변수 tmp를 갱신할 수 있다. 여기서 tmp의 업데이트 영역과 buf의 업데이트 영역은 동일 또는 상이할 수 있다. 일 예로, 업데이트 영역 내 첫 번째로 존재하는 abs_remainder 혹은 dec_abs_level에서만 tmp를 설정할 수 있다.

상기 설명한 방식으로 locSumAbs을 유도한 후 수식 (4)와 표 9를 이용하여 라이스파라미터를 유도할 수 있다. 혹은 shift 변수를 이용하여 locSumAbs를 스케일다운하고, 표 9를 이용하여 라이스파라미터를 유도한 후, 유도된 라이스파라미터에 shift 변수를 더하여 최종적인 라이스 파라미터를 유도하는 것 또한 가능하다. 이 때 shift 변수는 상위 헤더를 통해 시그널링될 수 있다. 또는 부호화기 및 복호화기에서 shift 변수가 기 정의되어 있을 수 있다.

Claims

잔차 신호의 부호화/복호화 방법.