KR20130002221A

KR20130002221A - Ｉｎｔｅｒ 예측에서의 ＭＶＰ후보 결정 방법

Info

Publication number: KR20130002221A
Application number: KR1020110063294A
Authority: KR
Inventors: 권재철
Original assignee: 주식회사 케이티
Priority date: 2011-06-28
Filing date: 2011-06-28
Publication date: 2013-01-07

Abstract

본 발명에서는 Inter 예측효율을 향상시키기 위해 가장 큰 크기의 인접블록을 가장 높은 우선순위 예측후보로 선택하는 방법을 제안한다. 제안하는 방법은 기존의 AMVP와 Merge 모드에서 예측후보를 결정하는 새로운 방법으로 사용할 수 있으며, 시간적 예측후보 및 공간적 예측후보 모두에 적용할 수 있다.

Description

Ｉｎｔｅｒ 예측에서의 ＭＶＰ후보 결정 방법{Method of determining MVP candidate in inter prediction}

본 발명은 Inter 예측에서의 MVP후보 결정에 관한 기술이다.

모션예측의 효율을 높이기 위해 AMVP 모드에서는 시공간적으로 현재 PU의 인접블록을 이용하여 MV를 예측한 후, 예측오차가 가장 작은 인접블록과의 차이를 부호화하는 방법을 사용한다.

AMVP에서는 세 방향의 후보리스트를 가지고 있으며, 이 후보들 중 RDO 관점에서 최적의 예측값을 계산한다. AMVP에서는 왼쪽 블록, 오른쪽 블록, Co-located 블록을 MV 후보로 가지며, 각 인접블록들 중 스캔순서로 가용한(available) 첫번째 블록을 대표 블록으로 채택한다.

기존 방법의 공간방향에서의 후보블록에 대한 스캔순서는 상위블록들의 경우 오른쪽에서 왼쪽 방향으로, 왼쪽블록들의 경우 아래쪽에서 위쪽으로 스캔한다.

기존 방법의 시간방향에서의 후보블럭을 결정하는 방법은 우선적으로 현재 PU의 Co-located 블록의 오른쪽 아래 블록을 대상으로 하고, 차순위로 이전 픽처의 동일위치(Co-located) 블록의 정보를 이용한다.

이전 픽처의 동일위치(Co-located) 블록의 정보를 이용하는 경우, 이전 블록이 분할되어 다양한 형태로 부호화될 수 있기 때문에, Co-located 블록이 여러 개의 블록으로 분할되어 있는 경우, Median 값을 가지는 블록이나 Center 부분에 위치한 블록의 모션정보가 사용된다.

본 발명의 목적은 Inter 예측에서의 MVP후보 결정 방법을 제공함에 있다.

Inter 예측에서의 MVP후보 결정 방법

Inter 예측효율을 향상시킬 수 있다.

도 1은 기존의 공간적 AMVP 후보 결정 방법을 나타낸다.
도 2는 기존의 시간적 AMVP 후보 결정 방법을 나타낸다.
도 3은 기존 방법의 시간적 인접블록의 MV 예측후보 결정 방법을 나타낸다.
도 4는 제안 방법의 시간적 인접블록에 대한 MV 예측후보 결정방법의 예를 나타낸다.
도 5는 Merge 모드의 예측후보 우선순위를 나타낸다.

Ⅰ. 발명의 개요

도 1은 기존의 공간적 AMVP 후보 결정 방법을 나타낸다.

기존 방법의 공간방향에서의 후보블록에 대한 스캔순서는 도 1의 (가), (나)와 같이 상위블록들의 경우 오른쪽에서 왼쪽 방향으로, 왼쪽블록들의 경우 아래쪽에서 위쪽으로 스캔한다. 즉 A0 블록이 가용하지 않은 경우 A1블록을 그 다음 순위로 스캔하여, A1이 가용하면 A1을 왼쪽블록들의 후보블록으로 채택한다. 마찬가지로 상위블록들의 경우 B0부터 스캔하여 가용한 첫번째 블록을 후보블록으로 채택한다.

도 2는 기존의 시간적 AMVP 후보 결정 방법을 나타낸다.

기존 방법의 시간방향에서의 후보블럭을 결정하는 방법은 우선적으로 도 2와 같이 현재 PU의 Co-located 블록의 오른쪽 아래 블록(T_BR)을 대상으로 하고, 차순위로 이전 픽처의 동일위치(Co-located) 블록의 정보를 이용한다.

도 3은 기존 방법의 시간적 인접블록의 MV 예측후보 결정 방법을 나타낸다.

이전 픽처의 동일위치(Co-located) 블록의 정보를 이용하는 경우, 이전 블록이 분할되어 다양한 형태로 부호화될 수 있기 때문에, Co-located 블록이 여러 개의 블록으로 분할되어 있는 경우, Median 값을 가지는 블록이나 Center 부분에 위치한 블록의 모션정보가 사용된다. 예를 들면 도 3에서 현재 블록 P의 Co-located 블록이 오른쪽과 같이 여러 개의 서브블록으로 분할되는 경우, 현재 블록의 가장 가운데 부분에 위치하는 D 블록의 모션정보가 채택된다.

그러나 도 3의 경우, 현재 블록 P의 모션 방향성을 결정짓는데 가장 영향을 미치는 블록이 D라 보기에는 무리가 있다. 오히려 A, B, C, D, E, F 중 가장 큰 블록인 F가 P와 가장 상관성이 클 수 있다.

본 발명에서는 이러한 점에 착안하여, Temporal Co-located 블록 후보의 우선순위를 다음과 같은 방법으로 할당한다. T_BR이 가용(available)하다고 가정한다.

1. 가장 큰 블록을 가장 높은 우선순위 후보로 두고, T_BR을 차순위 후보로 두는 방법

A. 가장 큰 블록이 2개 이상 존재하는 경우에는 오른쪽 → 왼쪽, 아래쪽 → 위쪽으로 스캔하는 순서로 첫번째 가용한 블록을 후보로 선택한다.

2. T_BR을 가장 높은 우선순위 후보로 두고, 가장 큰 블록을 차순위 후보로 두는 방법

도 4는 제안 방법의 시간적 인접블록에 대한 MV 예측후보 결정방법의 예를 나타낸다.

차순위 후보는 가장 높은 우선순위 후보가 가용하지 않을 때, 예를 들면 이 블록이 Intra로 부호화된 경우, 선택된다. 가장 큰 블록이 둘 이상 존재하는 경우, 오른쪽에서 왼쪽으로, 아래쪽에서 위쪽으로 스캔하면서 가용한 첫번째 블록을 후보로 채택한다.

제안된 방법을 적용하는 경우, Temporal Co-located 블록후보의 예는 도 4와 같다.

가장 큰 블록 대신 Median 벡터값을 가지는 블록을 가장 높은 우선순위로 할당할 수도 있다. 가장 큰 블록을 사용할 것인지, Median 벡터값을 가지는 블록을 사용할 것인지는 픽처/슬라이스 단위, 혹은 CU 단위로 선택적으로 설정할 수도 있고, 시퀀스레벨에서 사전에 지정할 수도 있다. 선택적으로 설정하는 경우에는 해당 방법이 사용되었다는 플래그를 전송해 주어야 한다. 후보결정 방법은 다음과 같다.

1. Median 벡터값을 가지는 블록을 가장 높은 우선순위 후보로 두고, T_BR을 차순위 후보로 두는 방법

2. T_BR을 가장 높은 우선순위 후보로 두고, Median 벡터값을 가지는 블록을 차순위 후보로 두는 방법

도면 1에서 공간적 AMVP 후보를 결정하는 방법에도 가장 큰 블록을 후보로 선택하는 방법을 적용할 수 있다. 도 1 (가)와 같이 인접블럭이 존재하는 경우, 왼쪽영역(Left)의 후보를 A3, 상위영역(Top)의 후보를 B2로 선택한다.

도 5는 Merge 모드의 예측후보 우선순위를 나타낸다.

동일한 방법으로 Merge 모드의 후보를 결정하는데도 적용할 수 있다.

기존의 공간적 Merge 모드의 후보는 도 5와 같이 결정되며, 후보들간 우선순위는 A → B → Co-located → C → D 순으로 정해진다.

만일 현재 PU의 인접블록이 다음 도면과 같이 구성된다고 가정하면, 제안된 방법을 적용해서 구해지는 공간적 Merge 예측후보는 A와 G가 선택된다. 만일 가장 큰 블록이 2개 이상 존재하는 경우에는 오른쪽 → 왼쪽, 아래쪽 → 위쪽으로 스캔하는 순서로 첫번째 가용한 블록을 후보로 선택한다.

시간적 Merge 모드 예측후보를 선택하는데도 적용가능하며, 이는 상기 도 4에서 기술한 바와 동일하므로 설명은 생략한다.

결론적으로 제안된 방법은 기존 AMVP 모드 예측방법과 Merge 모드 예측방법에 적용가능하며, 두 방법 모두에서 공간적 예측후보 및 시간적 예측후보를 선택하는데 적용할 수 있다.

Ⅱ. 인코딩 프로세스

1. 현재 프레임의 새로운 코딩유닛(CU)이 입력된다.

A. 하나의 Inter CU는 여러 개의 Inter PU로 구성되며, 2가지의 예측모드(PredMode), MODE_SKIP와 MODE_INTER를 가진다. MODE_SKIP의 경우 더 작은 PU로 분할되지 않으며, 파티션모드(PartMode)가 PART_2Nx2N인 PU의 모션정보가 할당된다.

B. MODE_INTER CU인 경우에는 4가지 형태의 PU 파티션으로 존재할 수 있으며, CU 레벨의 신택스에 PredMode==MODE_INTER와 파티션 형태를 나타내는 PartMode==PART_2Nx2N 또는 PART_2NxN, PART_Nx2N, PART_NxN이 시그널링된다.

2. 현재 Inter PU에 대해 모션예측을 수행한다.

A. CU가 여러 개의 PU로 파티션되면 현재 부호화될 PU가 입력된다.

B. 현재의 PU에 대해 이전 프레임, 또는 이전 및 이후 프레임을 이용하여 모션예측을 수행한다. 모션예측을 통해 현재의 PU에 대한 모션정보 {모션벡터, 참조픽처인덱스, 예측방향 인덱스}를 구한다.

3. 현재 Inter PU의 모션예측값(MVP)을 구한다.

A. 현재 PU의 모션정보는 그대로 보내지 않고, 압축효율을 높이기 위하여 시공간적으로 인접한 블록들로부터 얻은 예측값과의 차이를 보낸다. 예측모드의 종류에는 Merge 모드와 AMVP 모드가 있다. 예측후보를 선택하는 방법은 본 발명에서 제안된, 가장 큰 인접블록을 가장 높은 우선순위로 할당하는 방법을 사용한다.

B. Merge 모드는 시공간적으로 현재 PU와 인접한 블록들의 모션정보로부터 Merge 후보들을 구한다. 후보들 중 현재 PU의 모션정보와 같은 후보가 있으면, Merge 모드를 사용한다는 플래그와 그 후보의 인덱스를 전송한다.

C. Merge 모드의 부호화 순서는 다음과 같다.

ｉ. 현재 PU의 Temporal Merge 후보를 구하기 위해 참조픽처인덱스(refIdxLX)를 구한다.

1) A 블록의 참조픽처인덱스(refIdxLXA), B 블록의 참조픽처인덱스(refIdxLXB), C 블록의 참조픽처인덱스(refIdxLXC)를 구한다. C 블록이 가용하지 않으면, D 블록으로 대체한다.

2) redIdxLX는 다음과 같이 계산한다.

A) refIdxLXA= refIdxLXB= refIdxLXC 인 경우,

refIdxLXA =-1 이면(즉 가용(available)하지 않으면), redIdxLX= 0.

그렇지 않으면 redIdxLX= refIdxLXA

B) refIdxLXA= refIdxLXB 인 경우,

refIdxLXA =-1 이면, redIdxLX= refIdxLXC.

그렇지 않으면 redIdxLX= refIdxLXA

C) refIdxLXB= refIdxLXC 인 경우,

refIdxLXB =-1 이면, redIdxLX= refIdxLXA.

그렇지 않으면 redIdxLX= refIdxLXB

D) refIdxLXA= refIdxLXC 인 경우,

refIdxLXA =-1 이면, redIdxLX= refIdxLXB.

그렇지 않으면 redIdxLX= refIdxLXA

E) refIdxLXA =-1 이면, redIdxLX= min (refIdxLXB, refIdxLXC)

F) refIdxLXB =-1 이면, redIdxLX= min (refIdxLXA, refIdxLXC)

G) refIdxLXC =-1 이면, redIdxLX= min (refIdxLXA, refIdxLXB)

H) 모두 가용하면, redIdxLX= min (refIdxLXA, refIdxLXB, refIdxLXC)

여기서 “가용하다(available)”는 것은 그 블록의 모션벡터와 참조픽처인덱스가 존재한다는 것을 의미한다.

ⅱ. 계산된 참조픽처인덱스(refIdxLX)를 이용하여 가용한 Temporal 모션벡터 예측값을 구한다.

ⅲ. Merge 후보 리스트(MergeCandList)를 작성한다. Merge 후보들 중 동일한 참조픽처인덱스를 가지면 가장 우선순위가 높은 것을 제외한 나머지 후보들을 리스트에서 삭제한다.

ⅳ. 현재 PU와 같은 모션정보를 가지는 후보가 있으면, Merge_Flag=1로 세팅하고, 그 후보의 인덱스(Merge_Idx)를 부호화한다.

D. AMVP 모드는 시공간적으로 현재 PU와 인접한 블록들의 모션정보로부터 AMVP 후보들을 구한다.

ｉ. Luma 모션벡터 예측값(mvpLX)을 구한다.

1) 인접 PU들로부터 Spatial 모션벡터후보(MVP)를 추출한다.

2) 모션추정 프로세스에서 구해진 RefIdxLX을 가지고 Co-located 블록의 Temporal 모션벡터후보를 추출한다.

3) MVP 리스트 (mvpListLX)를 작성한다. 모션벡터의 우선순위는 다음과 같다. 단 가용한 벡터에 한정한다.

A) Temporal Co-located 블록의 모션벡터 (mvLXCol)

B) 왼쪽 인접블럭 (mvLXA)

C) 상위 인접블럭 (mvLXB)

4) 여러 개의 모션벡터가 동일한 값을 가지면, 가장 우선순위가 높은 것을 제외한 모든 모션벡터를 리스트에서 삭제한다.

5) mvListLX 내 모션후보들 중 best predictor의 모션벡터를 mvpLX에 할당한다. Best Predictor는 코스트함수 J_{Mot SAD}를 최소화하는 후보블럭이다.

4. 현재 PU의 모션정보를 부호화한다.

A. Merge 모드의 경우, Merger 후보들 중 현재 PU와 같은 모션정보를 가진 후보가 존재하면 현재 PU를 Merge 모드로 선언하고, Merge 모드를 사용했음을 알리는 Merge_Flag와 Merge 후보들 중 어떤 후보인지를 알리는 Merge_Idx를 보낸다. 그 다음 모션보상을 한 후 현재 PU와 Merge 모드로 예측된 PU와의 차이신호(잔여신호)를 얻는다. 보내야 할 잔여신호가 없을 때는 Merge_SKIP 모드로 보낸다.

B. AMVP 모드의 경우, AMVP 후보들 중 현재 부호화할 PU의 모션벡터 정보와 비교하여 코스트함수가 최소화되는 후보를 결정한다. 코스트함수를 최소화하는 후보의 모션정보와의 차이값과 이 AMVP 후보를 이용하여 모션보상 후 잔여신호를 얻는다. PU의 모션벡터를 best predictor 모션벡터와의 차이(MVD)를 엔트로피 부호화한다.

5. 이동보상을 통해 현재블럭의 픽셀값과 예측블록의 픽셀값을 픽셀단위로 차분을 구해서 Residual 신호를 얻는다.

6. Residual 신호를 변환 부호화한다.

A. 변환부호화 커널은 2x2, 4x4, 8x8, 16x16, 32x32, 64x64 를 사용할 수 있으며, 변환에 사용될 커널을 사전에 제한할 수도 있다.

B. n*n 블록에 대해 변환계수 C는 다음과 같이 계산된다.

C(n,n)=T(n,n) x B(n,n) x T(n,n)^T

C. 변환계수를 양자화한다.

7. Residual 신호와 변환계수 중 어떤 것을 전송할 지 RDO를 통해 결정한다.

A. 예측이 잘된 경우 변환부호화 하지 않고 Residual 신호를 그대로 전송할 수 있다.

B. 변환부호화 전/후 코스트함수를 비교하여 코스트가 minimize되는 방법을 선택한다.

C. 현재 블록에 대해 전송할 신호의 타입(Residual 또는 변환계수)을 시그널링한다.

8. 변환계수를 스캔한다.

9. 스캔된 변환계수와 Inter 예측모드를 엔트로피 부호화한다.

Ⅲ. 디코딩 프로세스

1. 수신된 비트스트림을 엔트로피 복호화한다.

A) VLC 테이블로부터 블록타입을 알아내고, 현재 블록의 예측모드를 얻는다.

B) 현재 블록에 대해 전송되어 온 신호가 Residual 인지, 아니면 변환계수인지 타입을 알아낸다.

C) 현재 블록에 대한 Residual 신호나 변환계수를 얻는다.

2. 엔트로피 복호화된 Residual 신호나 변환계수를 역스캔(inverse scan)하여 2차원 블록을 생성한다.

A. Residual 신호의 경우, Residual 블록을 생성한다.

B. 변환계수인 경우, 변환블록을 생성한다.

3. 변환계수인 경우, 역양자화, 역변환을 하여 Residual 블록을 얻는다.

A. B(n,n)=T(n,n) x C(n,n) x T(n,n)^T.

B. 역변환을 통해 Residual 신호를 얻는다.

4. Inter 예측을 수행하여 예측후보를 결정한다.

예측후보를 선택하는 방법은 본 발명에서 제안된, 가장 큰 인접블록을 가장 높은 우선순위로 할당하는 방법을 사용한다.

A. Merge 모드의 경우

ｉ. PredMode==MODE_SKIP ＆＆ Merge_Flag==1이면 Merge 모드를 통해 Luma 모션벡터(mvLX), 참조픽처인덱스(refIdxLX)를 구해야 한다.

ⅱ. 이 정보들을 구하기 위해 인접 PU 파티션들로부터 Merge 후보를 추출한다.

ⅲ. 현재 PU의 Temporal Merge 후보를 구하기 위해 참조픽처인덱스(refIdxLX)를 구한다.

1) A 블록의 참조인덱스(refIdxLXA), B 블록의 참조인덱스(refIdxLXB), C 블록의 참조인덱스(refIdxLXC)를 구한다. C 블록이 가용하지 않으면, D 블록으로 대체한다.

2) redIdxLX를 다음과 같이 계산한다.

A) refIdxLXA= refIdxLXB= refIdxLXC 인 경우

refIdxLXA =-1 이면, redIdxLX= 0.

그렇지 않으면 redIdxLX= refIdxLXA

B) refIdxLXA= refIdxLXB 인 경우,

refIdxLXA =-1 이면, redIdxLX= refIdxLXC.

그렇지 않으면 redIdxLX= refIdxLXA

C) refIdxLXB= refIdxLXC 인 경우,

refIdxLXB =-1 이면, redIdxLX= refIdxLXA.

그렇지 않으면 redIdxLX= refIdxLXB

D) refIdxLXA= refIdxLXC 인 경우,

refIdxLXA =-1 이면, redIdxLX= refIdxLXB.

그렇지 않으면 redIdxLX= refIdxLXA

E) refIdxLXA =-1 이면, redIdxLX= min (refIdxLXB, refIdxLXC)

F) refIdxLXB =-1 이면, redIdxLX= min (refIdxLXA, refIdxLXC)

G) refIdxLXC =-1 이면, redIdxLX= min (refIdxLXA, refIdxLXB)

H) 모두 가용하면, redIdxLX= min (refIdxLXA, refIdxLXB, refIdxLXC)

ⅳ. 계산된 참조픽처인덱스(redIdxLX)를 이용하여, 가용한 Temporal 모션벡터예측값(MVP)을 구한다.

ⅴ. Merge 후보 리스트(MergeCandList)를 작성한다.

ⅵ. MergeCandList 내의 후보갯수(NumMergeCand)가 ‘1’이면 Merge_Idx=1로 세팅하고, 그렇지 않으면 Merge_Idx를 수신한 Merge 인덱스값으로 세팅한다. 이 인덱스값이 가리키는 후보의 모션벡터(mvLX)와 참조픽처인덱스(refIdxLX)를 추출하여, 이동보상에 사용한다.

B. AMVP 모드의 경우

ｉ. Merge 모드가 아니면, 현재 PU의 참조픽처인덱스(refIdxLX)를 추출한다.

ⅱ. 참조픽처인덱스를 이용하여 Luma 모션벡터예측값(mvpLX)을 구한다.

1) 인접 PU들로부터 Spatial 모션벡터후보(MVP)를 추출한다.

2) 참조픽처인덱스가 가리키는 Co-located 블록의 Temporal MVP를 추출한다.

A) Temporal Co-located 블록의 모션벡터 (mvLXCol)

B) 왼쪽 인접블럭 (mvLXA)

C) 상위 인접블럭 (mvLXB)

5) mvpListLX 안에 있는 Mvp 후보의 개수 (NumMVPCand(LX))가 ‘1’이면, mvpIdx=0으로 세팅하고, ‘1’이 아니면(즉 후보가 2개 이상이면) mpvIdx를 수신한 인덱스값으로 세팅한다.

6) mvListLX 내 모션후보들 중 mvpIdx가 가리키는 모션벡터를 mvpLX에 할당한다.

7) `모션벡터 mvLX를 계산한다.

A) mvLX[0] = mvdLX[0] + mvpLX[0] ; x 방향

B) mvLX[1] = mvdLX[1] + mvpLX[1] ; y 방향

5. Residual 신호와 이전 프레임의 신호를 더하여 재생신호를 생성한다.

A. 계산된 모션벡터를 이용하여 이전 프레임에서 이동보상된 예측신호과 디코딩된 현재 PU의 잔여신호를 더해서 재생신호를 생성한다.

Claims

Inter 예측에서의 MVP후보 결정 방법.