KR101841352B1

KR101841352B1 - 참조 프레임 선택 방법 및 그 장치

Info

Publication number: KR101841352B1
Application number: KR1020160101728A
Authority: KR
Inventors: 유성욱; 홍승범; 박병길; 신성윤; 양동준; 김형욱
Original assignee: 중앙대학교 산학협력단
Priority date: 2016-08-10
Filing date: 2016-08-10
Publication date: 2018-03-23
Also published as: KR20180018903A

Abstract

참조 프레임 선택 방법 및 그 장치가 개시된다. 참조 프레임 선택 방법은, (a) 현재 블록의 제1 예측 유닛(PU)에 대해 이용 가능한 모든 참조 프레임들을 대상으로 인터 예측을 수행하여 제1 베스트 참조 프레임을 결정하는 단계; (b) 상기 현재 블록의 제2 예측 유닛(PU)에 대해 머지 예측(merge prediction)을 수행하여 제2 베스트 참조 프레임을 결정하는 단계; 및 (c) 상기 제1 및 제2 베스트 참조 프레임을 대상으로 상기 제2 예측 유닛에 대한 단방향 예측을 수행하여 제3 베스트 참조 프레임을 결정하는 단계를 포함한다.

Description

참조 프레임 선택 방법 및 그 장치{Reference frame selection method and apparatus}

본 발명은 HEVC에서의 참조 프레임 선택 방법 및 그 장치에 관한 것이다.

최근 비디오 코딩 표준에서, HEVC가 ITU-T VCEG(video coding experts group) 및 ISO/IEC MPEG(moving pictures experts group)에 의해 개발되었으며, 의미있는 성능 향상을 보이고 있다.

HEVC에서 CTU(coding tree unit)는 몇 가지 CU(coding unit)들로 나뉠 수 있는 기본 처리 단위이다. 또한, CU는 몇 가지 PU(prediction unit)으로 분리될 수 있다. 인터 예측에서 PU는 2N x 2N, N x 2N 및 2N x N과 같은 몇 가지 유형을 가지고 있으며, 2N x nU, 2N x nD, nL x 2N 및 nR x 2N과 같은 4가지의 AMP(asymmetric motion partitions)이 HEVC에서 지원된다.

많은 경우에 있어, 현재 블록의 모션 벡터는 이웃 블록의 모션 벡터와 동일하다. HEVC는 현재 블록이 이웃 블록의 모션 정보를 공유하는 것이 가능한 머지 모드를 지원하고 있다. AMVP는 HEVC에서 부호화 효율을 증가시키는 새로운 기술이다.

H.264와 마찬가지로, HEVC는 멀티 참조 프레임 모션 예측(MRF-ME)을 지원한다. HEVC에는 AI (all intra), LP (low delay with P pictures), LB (low delay with B pictures) 및 RA (random access)의 부호화 구조가 있는데, 그 중에서 AI를 제외한 LP, LB, RA 부호화 구조의 경우, MRF-ME를 요구한다. 멀티 참조 프레임의 사용은 부호화 성능을 위해 매우 중요하나, 모션 예측은 가장 많은 시간을 소비하는 프로세스로 복잡도 문제를 악화시킬 수 있고, 모션 예측의 복잡도는 사용되는 참조 프레임의 수에 따라 거의 선형적으로 증가된다.

따라서, MRF-ME의 복잡도를 줄일 수 있도록 참조 프레임을 빠르게 선택할 수 있는 방안에 대한 연구가 필요하다.

본 발명은 MRF-ME의 복잡도를 줄일 수 있는 참조 프레임 선택 방법 및 그 장치를 제공하기 위한 것이다.

또한, 본 발명은 베스트 참조 프레임의 시간적 상관도와 예측 유닛(PU)간 베스트 참조 프레임의 상관도를 이용하여 현재 예측 유닛에 대한 인터 예측시 참조되는 참조 프레임을 결정함으로써 부호화 효율을 높일 수 있는 참조 프레임 선택 방법 및 그 장치를 제공하기 위한 것이다.

또한, 본 발명은 인터 예측 모드간 베스트 참조 프레임의 상관도를 이용하여 현재 예측 유닛의 예측 모드를 수행할 참조 프레임을 결정할 수 있는 참조 프레임 선택 방법 및 그 장치를 제공하기 위한 것이다.

본 발명의 일 측면에 따르면, 인터 예측에 대한 참조 프레임을 선택하는 방법이 제공된다.

본 발명의 일 실시예에 따르면, (a) 현재 블록의 제1 예측 유닛(PU)에 대해 이용 가능한 모든 참조 프레임들을 대상으로 인터 예측을 수행하여 제1 베스트 참조 프레임을 결정하는 단계; (b) 상기 현재 블록의 제2 예측 유닛(PU)에 대해 머지 예측(merge prediction)을 수행하여 제2 베스트 참조 프레임을 결정하는 단계; 및 (c) 상기 제1 및 제2 베스트 참조 프레임을 대상으로 상기 제2 예측 유닛에 대한 단방향 예측을 수행하여 제3 베스트 참조 프레임을 결정하는 단계를 포함하는 참조 프레임 선택 방법이 제공될 수 있다.

상기 제2 예측 유닛은 상기 제1 예측 유닛보다 크기가 작은 예측 유닛이다.

상기 (c) 단계는, 상기 제3 베스트 참조 프레임의 모션 벡터 차이값이 기준 설정값(Zero)인지 여부를 판단하는 단계; 및 상기 모션 벡터 차이값이 기준 설정값이면, 상기 이용 가능한 모든 참조 프레임들 중 상기 제1 베스트 참조 프레임과 상기 제2 베스트 참조 프레임을 제외한 나머지 참조 프레임들에 대한 상기 제2 예측 유닛과의 단방향 예측을 스킵(SKIP)하는 단계를 포함할 수 있다.

상기 (c) 단계는, 상기 모션 벡터 차이값이 상기 기준 설정값이 아닌 경우, 상기 나머지 참조 프레임들을 대상으로 상기 제2 예측 유닛과의 단방향 예측을 추가적으로 더 수행하는 단계; 및 상기 단방향 예측의 추가적인 수행에 따라 율 왜곡 코스트가 최저인 참조 프레임을 상기 제3 베스트 참조 프레임으로 결정하는 단계를 더 할 수 있다.

상기 나머지 참조 프레임들을 대상으로 상기 제2 예측 유닛과의 단방향 예측을 추가적으로 더 수행하는 단계는, 상기 제1 베스트 참조 프레임의 율 왜곡 코스트를 이용하여 상기 나머지 참조 프레임들 중 추가적으로 상기 제2 예측 유닛과 단방향 예측을 수행할 참조 프레임을 결정할 수 있다.

상기 (c) 단계는, 현재 프레임에 가장 인접한 참조 프레임을 대상으로 상기 제2 예측 유닛에 대한 단방향 예측을 더 수행하여 상기 제3 베스트 참조 프레임을 결정할 수 있다.

상기 (c) 단계 이후에, 상기 제2 예측 유닛에 대한 단방향 예측 수행 결과를 이용하여 상기 제2 예측 유닛에 대한 양방향 예측을 수행하여 제4 베스트 참조 프레임을 결정하는 단계를 더 포함할 수 있다.

상기 제1 베스트 참조 프레임, 상기 제2 베스트 참조 프레임, 상기 제3 베스트 참조 프레임 및 상기 제4 베스트 참조 프레임의 율 왜곡 코스트가 최저인 예측 모드를 상기 현재 블록의 베스트 예측 모드로 결정하고, 상기 베스트 예측 모드에 상응하는 예측 유닛을 베스트 예측 유닛으로 결정하는 단계를 더 포함할 수 있다.

상기 예측 모드는, 단방향 예측, 양방향 예측 및 머지 예측을 포함할 수 있다.

본 발명의 다른 측면에 따르면, 인터 예측에 대한 참조 프레임을 선택하는 장치가 제공된다.

본 발명의 일 실시예에 따르면, 참조 프레임들을 저장하는 버퍼; 상기 참조 프레임들을 대상으로 현재 블록의 제1 예측 유닛(PU)와의 인터 예측을 수행하여 제1 베스트 참조 프레임을 결정하는 예측부; 및 상기 현재 블록의 제2 예측 유닛에 대한 인터 예측 모드의 수행 순서를 결정하고, 상기 현재 블록에 대해 선 수행된 인터 예측 모드 결과를 이용하여 상기 현재 블록의 제2 예측 유닛에 대한 참조 가능한 참조 프레임들을 결정하는 결정부를 포함하되, 상기 예측부는 상기 수행 순서에 따라 상기 제2 예측 유닛에 대해 결정된 참조 프레임들을 대상으로 인터 예측 모드에 따른 인터 예측을 수행하여 베스트 참조 프레임을 결정하는 것을 특징으로 하는 참조 프레임 선택 장치가 제공될 수 있다.

상기 제2 예측 유닛은 상기 제1 예측 유닛보다 크기가 작은 예측 유닛이며,

상기 수행 순서는 머지 예측, 단방향 예측 및 양방향 예측 순이다.

상기 결정부는, 상기 제2 예측 유닛의 단방향 예측에 대해 상기 제1 예측 유닛의 인터 예측 수행 결과와 상기 제2 예측 유닛의 머지 예측 수행 결과를 이용하여 참조할 참조 프레임들을 결정할 수 있다.

상기 결정부는, 상기 제2 예측 유닛의 단방향 예측에 대해 현재 프레임에 가장 인접한 참조 프레임을 참조할 참조 프레임으로 더 결정할 수 있다.

상기 결정부는, 상기 제2 예측 유닛의 양방향 예측에 대해 상기 제2 예측 유닛의 단방향 예측에서 이용된 참조 프레임들을 참조할 참조 프레임들로 결정할 수 있다.

상기 결정부는, 상기 제1 예측 유닛의 인터 예측 수행 결과와 상기 제2 예측 유닛의 머지 예측 수행 결과를 이용하여 제2 예측 유닛의 단방향 예측에 따라 결정된 베스트 참조 프레임의 모션 벡터 차이값이 기준 설정값이 아닌 경우, 상기 제1 베스트 참조 프레임의 율 왜곡 코스트를 이용하여 상기 버퍼에 저장된 나머지 참조 프레임들 중 참조할 참조 프레임을 결정할 수 있다.

본 발명의 일 실시예에 따른 참조 프레임 선택 방법 및 그 장치를 제공함으로써, MRF-ME의 복잡도를 줄일 수 있는 참조 프레임 선택 방법 및 그 장치를 제공하기 위한 것이다.

또한, 본 발명은 베스트 참조 프레임의 시간적 상관도와 예측 유닛(PU)간 베스트 참조 프레임의 상관도를 이용하여 현재 예측 유닛에 대한 인터 예측시 참조되는 참조 프레임을 결정할 수 있다.

또한, 본 발명은 인터 예측 모드간 베스트 참조 프레임의 상관도를 이용하여 현재 예측 유닛의 예측 모드를 수행할 참조 프레임을 결정할 수 있다.

이를 통해, 본 발명은 부호화 효율을 높일 수 있는 이점이 있다.

도 1은 본 발명의 일 실시예에 따른 부호화 장치의 구성을 개략적으로 도시한 블록도.
도 2는 본 발명의 일 실시예에 따른 복호화 장치의 구성을 나타내는 블록도.
도 3은 본 발명의 일 실시예에 따른 인터 예측에서 참조 프레임을 결정하는 방법을 나타낸 순서도.
도 4는 본 발명의 일 실시예에 따른 HEVC의 블록 단위를 설명하기 위해 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 CU레벨에서 각 예측 유닛별 베스트 예측 유닛으로 선택될 확률을 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 제1 예측 유닛과 제2 예측 유닛의 베스트 참조 프레임이 동일할 확률을 나타낸 도면.
도 7은 본 발명의 일 실시예에 따른 현재 프레임에 가장 인접한 참조 프레임(RF₀)이 베스트 참조 프레임으로 선택될 확률을 나타낸 도면.
도 8은 본 발명의 일 실시예에 따른 베스트 참조 프레임의 모션 벡터 차이값(MVD)가 기준 설정값(Zero)인 경우, 현재 프레임에 가장 인접한 참조 프레임(RF₀), 제1 베스트 참조 프레임 및 제2 베스트 참조 프레임 중에서 후보 베스트 참조 프레임이 결정될 확률을 나타낸 도면.
도 9는 본 발명의 일 실시예에 따른 스케일 팩터 조정에 따른 참조 프레임의 적중률을 나타낸 도면.
도 10은 종래와 본 발명의 일 실시예에 따른 참조되는 참조 프레임을 비교한 도면.
도 11은 본 발명의 일 실시예에 따른 참조 프레임 선택 장치의 구성을 개략적으로 도시한 블록도.

본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 부호화 장치의 구성을 개략적으로 도시한 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 프레임 버퍼(190)를 포함하여 구성된다.

부호화 장치(100)는 입력 영상에 대해 인트라(Intra) 모드 또는 인터(Inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다. 인트라 모드인 경우, 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환될 수 있다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 산출한 후 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다.

인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 산출할 수 있다.

인터 모드인 경우, 움직임 예측부(111)는 움직임 예측 과정에서 참조 프레임 버퍼(190)에 저장된 참조 프레임에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다.

움직임 보상부(112)는 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 산출할 수 있다.

감산기(125)는 입력 블록과 산출된 예측 블록의 차분에 의해 잔차 블록을 산출할 수 있다.

변환부(130)는 잔차 블록에 대한 트랜스폼을 수행하여 변환 계수를 출력할 수 있다. 여기서, 변환 계수는 잔차 블록 및/또는 잔차 신호에 대한 변환을 수행함으로써 산출될 계수값을 의미할 수 있다.

양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 변환 계수 레벨(quantized transform coefficient level)을 출력할 수 있다.

엔트로피 부호화부(150)는 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로 엔트로피 부호화를 수행하여 비트스트림을 출력할 수 있다.

예를 들어, 엔트로피 부호화부(150)는 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다.

도 1의 부호화 장치(100)는 인터 예측 부호화를 수행하므로 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서, 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환된다.

역양자화되고, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 산출된다.

복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블로킹 필터, SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)를 거친 복원 블록은 참조 프레임 버퍼(190)에 저장될 수 있다.

도 2는 본 발명의 일 실시예에 따른 복호화 장치의 구성을 나타내는 블록도이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 가산기(255), 필터부(260) 및 참조 프레임 버퍼(270)를 포함하여 구성된다.

복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드의 경우 스위치가 인트라 모드로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다.

복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔차 블록을 얻고, 예측 블록을 산출한 후 복원된 잔차 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 산출할 수 있다.

엔트로피 복호화부(210)는 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여 양자화된 계수 형태의 심볼을 포함한 심볼들을 산출할 수 있다.

양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환되어 역양자화/역변환된 결과, 복원된 잔차 블록이 산출될 수 있다.

인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 복호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 산출할 수 있다.

인터 모드인 경우, 움직임 보상부(112)는 움직임 벡터 및 참조 프레임 버퍼(190)에 저장되어 있는 참조 프레임을 이용하여 움직임 보상을 수행함으로써, 예측 블록을 산출할 수 있다.

복원된 잔차 블록과 예측 블록은 가산기(175)를 통해 더해지고, 더해진 블록은 필터부(180)를 거칠 수 있다. 필터부(180)는 디블로킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)는 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 복원 영상은 참조 픽쳐 버퍼(190)에 저장되어 인터 예측에 사용될 수 있다.

본 발명의 일 실시예에 따른 부호화 장치 및 복호화 장치에서 영상을 처리하는 단위는 부호화 단위(CU: Coding unit), 예측 유닛(PU: prediction unit), 변환 단위(TU: transform unit)이 사용된다.

부호화 단위는 부호화/복호화를 수행하는 영상 처리 단위로서 부호화 장치/복호화 장치에서 수행되는 휘도 샘플 또는 색차 샘플의 블록 단위 집합인 부호화 블록과 부호화 블록의 샘플들을 부호화 또는 복호화하는데 사용되는 정보를 포함할 수 있다.

예측 유닛은 예측을 수행하는 영상 처리 단위로 예측이 수행되는 휘도 샘플 또는 색차 샘플의 블록 단위 집합인 예측 블록과 예측 블록의 샘플들을 예측하는데 사용되는 정보들을 포함할 수 있다.

부호화 블록은 복수의 예측 블록으로 나누어 질 수 있다(도 4 참조).

또한, 예측 블록은 복수의 예측 블록으로 나누어질 수 있다. 즉 2N x 2N 예측 블록과 2N x 2N 예측 블록 보다 크기가 작은 2N x N 예측 블록, N x 2N 예측 블록, N x N 예측 블록, AMP 예측 블록(2N x nU 예측 블록, 2N x nD 예측 블록, nl x 2N 예측 블록, nR x 2N 예측 블록)을 포함할 수 있다.

본 명세서에서 특별히 구분하여 표시하지 않는 한, 블록과 유닛은 동일한 의미로 해석되어야 할 것이다.

또한, 본 명세서에서 현재 블록은 현재 예측이 수행되는 예측 블록, 현재 부호화가 수행되는 부호화 블록과 같이 특정한 영상 처리가 수행되는 블록을 지칭하는 것으로 이해되어야 할 것이다.

본 발명은 현재 블록에 대한 인터 예측시 참조 프레임을 선택하는 방법에 대한 것이다. 이하에서는 이에 대해 상세히 설명하기로 한다.

또한, 인터 예측은 부호화기 또는 복호화기의 일 구성으로 포함되나, 이하에서는 참조 프레임 선택 장치로 통칭하여 설명하기로 한다.

도 3은 본 발명의 일 실시예에 따른 인터 예측에서 참조 프레임을 결정하는 방법을 나타낸 순서도이고, 도 4는 본 발명의 일 실시예에 따른 HEVC의 블록 단위를 설명하기 위해 도시한 도면이고, 도 5는 본 발명의 일 실시예에 따른 CU레벨에서 각 예측 유닛별 베스트 예측 유닛으로 선택될 확률을 도시한 도면이며, 도 6은 본 발명의 일 실시예에 따른 제1 예측 유닛과 제2 예측 유닛의 베스트 참조 프레임이 동일할 확률을 나타낸 도면이고, 도 7은 본 발명의 일 실시예에 따른 현재 프레임에 가장 인접한 참조 프레임(RF₀)이 베스트 참조 프레임으로 선택될 확률을 나타낸 도면이며, 도 8은 본 발명의 일 실시예에 따른 베스트 참조 프레임의 모션 벡터 차이값(MVD)가 기준 설정값(Zero)인 경우, 현재 프레임에 가장 인접한 참조 프레임(RF₀), 제1 베스트 참조 프레임 및 제2 베스트 참조 프레임 중에서 후보 베스트 참조 프레임이 결정될 확률을 나타낸 도면이며, 도 9는 본 발명의 일 실시예에 따른 스케일 팩터 조정에 따른 참조 프레임의 적중률을 나타낸 도면이고, 도 10은 종래와 본 발명의 일 실시예에 따른 참조되는 참조 프레임을 비교한 도면이다.

단계 310에서, 참조 프레임 선택 장치(1000)는 현재 블록의 제1 예측 유닛에 대해 참조 가능한 참조 프레임들을 대상으로 인터 예측을 수행하여 제1 예측 유닛에 대한 베스트 참조 프레임을 결정한다. 이하, 이해와 설명의 편의를 도모하기 위해 제1 예측 유닛에 대한 베스트 참조 프레임을 제1 베스트 참조 프레임이라 칭하기로 한다.

또한, 제1 예측 유닛은 2N x 2N 예측 유닛일 수 있다. 여기서, n은 자연수일 수 있다.

도 4에는 HEVC의 블록 단위가 도시되어 있다.

도 4에 도시된 바와 같이, 예측 유닛(PU: prediction unit)는 2N x 2N PU, 2N x N PU, N x 2N PU, AMP(Asymmetric Motion Partitioning)을 포함한다.

이하, 본 명세서에서는 2N x 2N PU를 제1 예측 유닛으로 통칭하며, 제1 예측 유닛보다 크기가 작은 예측 유닛을을 제2 예측 유닛으로 통칭하여 설명하기로 한다.

즉, 제2 예측 유닛은 복수의 예측 유닛을 포함하는 것으로 이해되어야 할 것이다. 다만, 제2 예측 유닛들에 대한 참조 프레임을 결정하는 방법 자체는 모두 동일하므로, 하나의 제2 예측 유닛에 대해서만 설명하기로 한다.

도 5는 각 부호화 단위(CU: Coding Unit) 레벨에서 제1 예측 유닛(2N x 2N PU)가 베스트 예측 유닛으로 선택될 확률을 나타낸다.

도 5에서 보여지는 바와 같이, 제1 예측 유닛이 모든 예측 유닛 타입들 중에서 베스트 예측 유닛으로 선택될 확률이 가장 높다.

따라서, 본 발명의 일 실시예에 따른 참조 프레임 선택 장치(1000)는 제1 예측 유닛에 대해서는 참조 가능한 모든 참조 프레임들을 대상으로, 어떠한 참조 프레임도 스킵(SKIP)하지 않고, 인터 예측을 수행하여 제1 베스트 참조 프레임을 결정할 수 있다.

단계 310을 수행함으로써 제1 방향으로의(L0) 단방향 예측에 따른 베스트 참조 프레임과 제2 방향(L1)으로의 단방향 예측에 따른 베스트 참조 프레임이 각각 결정된다.

L0 단방향 예측 및 L1 단방향 예측은 각각 동일하므로, 이하에서는 L0 단방향 예측을 중심으로 설명하기로 한다.

도 6는 현재 블록의 제1 예측 유닛(2N x 2N 예측 블록)와 다른 예측 유닛 타입의 베스트 참조 프레임이 동일할 확률을 나타낸다. 도 6에서 보여지는 바와 같이, 제2 예측 유닛의 베스트 참조 프레임은 제1 예측 유닛의 베스트 참조 프레임과 상관이 높은 것을 알 수 있다.

따라서, 본 발명의 일 실시예에서는 제2 예측 유닛에 대한 인터 예측을 수행함에 있어, 제1 예측 유닛의 인터 예측 결과를 이용하여 이용 가능한 참조 프레임을 제한하여 인터 예측을 수행함으로써 부호화 효율을 높일 수 있는 이점이 있다.

다만, 도 6에서 보여지는 바와 같이, 제2 예측 유닛의 베스트 참조 프레임이 제1 예측 유닛의 베스트 참조 프레임과 상관이 높기는 하지만, 평균적으로 약 82.3% 일치되는 것으로, 나머지 참조 프레임들을 모두 건너뛰기에는 일치되는 확률이 충분히 높다고 보기는 어려운 면이 있다.

도 7은 현재 프레임에 가장 인접한 참조 프레임(RF₀)이 베스트 참조 프레임으로 선택될 확률을 나타낸다. 도 7에 도시된 바와 같이, 널리 알려진 바와 같이, 현재 프레임에 가장 인접한 참조 프레임(가장 최근에 사용된 참조 프레임)이 베스트 참조 프레임으로 선택될 확률이 가장 높은 것을 알 수 있다.

따라서, 본 발명의 일 실시예에서는 2N x 2N 예측 블록(제1 예측 유닛)에 대한 인터 예측 수행 결과 결정된 베스트 참조 프레임과 가장 최근에 이용된(가장 인접한) 참조 프레임을 대상으로 제2 예측 유닛에 대한 인터 예측을 우선적으로 수행하여 부호화 효율을 높일 수 있다.

단계 315에서 참조 프레임 선택 장치(1000)는 제2 예측 유닛에 대한 머지 예측을 수행하여 베스트 참조 프레임(이하, 제2 베스트 참조 프레임이라 칭하기로 함)을 결정한다.

단계 320에서 참조 프레임 선택 장치(1000)는 제1 예측 유닛의 인터 예측 수행 결과와 제2 예측 유닛의 머지 예측 수행 결과를 이용하여 제2 예측 유닛에 대한 단방향 예측을 수행하여 베스트 참조 프레임(이하, 제3 베스트 참조 프레임이라 칭하기로 함)을 결정한다.

보다 상세하게, 참조 프레임 선택 장치(1000)는 제2 예측 유닛에 대한 단방향 예측 수행시, 제1 예측 유닛의 인터 예측 수행 결과 결정된 제1 베스트 참조 프레임과 제2 예측 유닛의 머지 예측 수행 결과 결정된 제2 베스트 참조 프레임을 대상으로 단방향 예측을 수행할 수 있다.

즉, 제2 예측 유닛에 대해 모든 참조 가능한 참조 프레임을 대상으로 단방향 예측을 수행하지 않고, 단방향 예측을 수행할 참조 프레임을 제한함으로써 부호화 효율을 높일 수 있다.

또한, 도 7에서 설명한 바와 같이, 현재 프레임에 가장 인접한 참조 프레임(RF₀)이 베스트 참조 프레임으로 결정될 확률이 높은 점을 고려하여 이에 대해 추가적으로 단방향 예측을 더 수행할 수 있다.

단계 320에서는 단방향 예측을 통하여 설명하고 있으나, 이는 L0 단방향 예측 및 L1 단방향 예측을 각각 포함하는 것으로, L0 단방향 예측과 L1 단방향 예측은 순차적으로 수행될 수 있음은 당연하다.

또한, 참조 프레임 선택 장치(1000)는 제1 예측 유닛의 인터 예측 결과와 제2 예측 유닛의 머지 예측 결과를 이용하여 제2 예측 유닛에 대한 단방향 예측을 수행하여 율 왜곡(RD: Rate Distortion)이 가장 적은(RD Cost가 가장 적은) 참조 프레임을 제2 예측 유닛의 단방향 예측에 대한 제3 베스트 참조 프레임으로 결정할 수 있다.

단계 325에서 참조 프레임 선택 장치(1000)는 제2 예측 유닛에 대해 결정된 후보 베스트 참조 프레임의 모션 벡터 차이값(MVD)가 기준 설정값(Zero)인지 여부를 판단한다.

도 8은 후보 베스트 참조 프레임의 모션 벡터 차이값(MVD)가 기준 설정값(Zero)인 경우, 현재 프레임에 가장 인접한 참조 프레임(RF₀), 제1 베스트 참조 프레임 및 제2 베스트 참조 프레임 중에서 후보 베스트 참조 프레임이 결정될 확률이 예시되어 있다.

도 8에서 보여지는 바와 같이, 후보 베스트 참조 프레임의 모션 벡터 차이값(MVD)가 기준 설정값(Zero)인 경우, 현재 프레임에 가장 인접한 참조 프레임(RF₀), 제1 베스트 참조 프레임 및 제2 베스트 참조 프레임 중에서 제2 예측 유닛과의 단방향 예측 수행에 따른 베스트 참조 프레임이 결정될 확률은 평균적으로 92% 이상인 것을 알 수 있다.

따라서, 본 발명의 일 실시예에서는 RF₀, 제1 베스트 참조 프레임 및 제2 베스트 참조 프레임에 대해 제2 예측 유닛에 대한 단방향 예측을 우선 수행하여 후보 베스트 참조 프레임을 결정한 후 모션 벡터 차이값을 이용하여 추가적으로 남은 참조 프레임들을 대상으로 선택적으로 단방향 예측을 수행할지 여부를 결정할 수 있다.

만일 후보 베스트 참조 프레임의 모션 벡터 차이값이 기준 설정값이 아니면, 단계 330에서 참조 프레임 선택 장치(1000)는 이용 가능한 참조 프레임들 중 제2 예측 유닛에 대해 단방향 예측을 수행하지 않은 나머지 참조 프레임들을 대상으로 단방향 예측을 수행하여 율 왜곡 코스트가 최저인 참조 프레임을 베스트 참조 프레임(이하, 제3 베스트 참조 프레임)으로 결정한다.

이때, 참조 프레임 선택 장치(1000)는 단계 320의 제2 예측 유닛의 단방향 예측에 이용되지 않은 나머지 참조 프레임들 전체를 대상으로 단방향 예측을 수행하지 않고, 제1 예측 유닛의 인터 예측 수행시 모든 참조 프레임들을 대상으로 인터 예측을 수행하였으므로 그 결과를 이용하여 나머지 참조 프레임들 중 추가적으로 제2 예측 유닛에 대한 단방향 예측을 수행할 참조 프레임을 제한할 수 있다.

참조 프레임 선택 장치(1000)는 제1 예측 유닛의 인터 예측 수행 결과 결정된 제1 베스트 참조 프레임의 율 왜곡 코스트를 이용하여 나머지 참조 프레임들 중 추가적으로 제2 예측 유닛에 대한 단방향 예측을 수행할 참조 프레임을 제한할 수 있다.

보다 상세하게, 참조 프레임 선택 장치(1000)는 제1 예측 유닛의 인터 예측 수행 결과 결정된 제1 베스트 참조 프레임의 율 왜곡 코스트와의 차이값이 기준치 이내인 참조 프레임들만 선별적으로 제2 예측 유닛에 대한 단방향 예측을 수행하도록 할 수 있다.

이를 수학식으로 나타내면, 수학식 1과 같다.

여기서,

는 나머지 참조 프레임들의 율 왜곡 코스트를 나타내고,

는 제1 베스트 참조 프레임의 율 왜곡 코스트를 나타내며,

는 1 보다 큰 스케일링 팩터를 나타낸다.

즉, 참조 프레임 선택 장치(1000)는 스케일링 팩터를 조정하여 제1 베스트 참조 프레임의 율 왜곡 코스트와 일정 차이 이내에 있는 참조 프레임들만을 선택하여 추가적으로 제2 예측 유닛에 대한 단방향 예측을 수행할 수 있다.

도 9는 스케일링 팩터를 1.2로 설정한 경우, 본 발명의 일 실시예에 따른 제2 예측 유닛에 대한 베스트 참조 프레임의 적중률(hit rate)을 나타낸 도면이다.

정확도를 더 높이기 위해서는 스케일링 팩터를 더 크게 함으로써 더 많은 참조 프레임들을 대상으로 제2 예측 유닛에 대한 추가적인 단방향 예측을 수행하도록 할 수 있다.

도 10을 참조하여 종래와 본 발명의 일 실시예에 따른 인터 예측에 이용된 참조 프레임을 비교하여 설명하기로 한다.

예를 들어, 이용 가능한 참조 프레임들이 RF₀, RF₁, RF₂, RF₃와 같다고 가정하면, 종래에는 RF₀부터 순차적으로 RF₃까지 참조 프레임들과의 단방향 예측을 수행하여 베스트 참조 프레임을 결정하였다.

그러나, 본 발명의 일 실시예에서는 제1 예측 유닛에 대한 인터 예측 수행 결과 결정된 제1 베스트 참조 프레임이 RF₃이고, 제2 예측 유닛에 대한 머지 예측 수행 결과 결정된 제2 베스트 참조 프레임이 RF₀이고, RF₃와 RF₀ 중 제2 예측 유닛에 대한 단방향 예측 수행 결과 후보 베스트 참조 프레임으로 결정된 프레임의 모션 벡터 차이값이 기준 설정값이면, 나머지 참조 프레임인 RF₁와 RF₂에 대해서는 제2 예측 유닛에 대한 단방향 예측을 수행하지 않는다.

그러나 만일 제2 예측 유닛에 대한 단방향 예측 수행 결과 결정된 후보 베스트 참조 프레임의 모션 벡터 차이값이 기준 설정값(Zero)가 아니면, 참조 프레임 선택 장치(1000)는 제1 베스트 참조 프레임의 율 왜곡 코스트값을 이용하여 나머지 참조 프레임들 중 추가적으로 단방향 예측을 수행할 참조 프레임을 선택할 수 있다.

즉, 제1 베스트 참조 프레임의 율 왜곡 코스트가 예를 들어, 1000이라고 가정하고, RF₁의 율 왜곡 코스트가 2000이라고 가정하며, RF₂의 율 왜곡 코스트가 500이라고 가정하자.

이때, 스케일링 팩터가 1.2라고 가정하면, 참조 프레임 선택 장치(1000)는 율 왜곡 코스트가 1200 미만인 참조 프레임에 대해서만 선택적으로 추가적인 단방향 예측을 더 수행할 수 있다.

따라서, 참조 프레임 선택 장치(1000)는 제2 예측 유닛에 대한 단방향 예측 수행 결과 결정된 후보 베스트 참조 프레임의 모션 벡터 차이값이 기준 설정값(Zero)가 아니면, RF₂에 대해 추가적으로 제2 예측 유닛과의 단방향 예측을 수행할 수 있다.

다시, 도 3을 참조하여 단계 335에서 참조 프레임 선택 장치(1000)는 단방향 예측 블록에서 이용된 참조 프레임들을 대상으로 제2 예측 유닛에 대한 양방향 예측을 수행하여 제4 베스트 참조 프레임을 결정한다.

단계 340에서 참조 프레임 선택 장치(1000)는 모든 제2 예측 유닛에 대한 인터 예측이 완료되었는지 판단한다.

만일 모든 제2 예측 유닛에 대한 인터 예측이 완료되지 않은 경우, 단계 315로 진행하여 다른 예측 블록에 대해서 단계 315 내지 단계 335를 반복 수행한다.

모든 제2 예측 유닛에 대해 인터 예측이 완료된 경우, 단계 345에서 참조 프레임 선택 장치(1000)는 제1 예측 유닛 및 제2 예측 유닛 각각에 대해 결정된 베스트 참조 프레임의 율 왜곡 코스트가 최저인 예측 모드를 베스트 예측 모드로 결정한다. 또한, 참조 프레임 선택 장치(1000)는 베스트 예측 모드에 상응하는 예측 유닛을 베스트 예측 유닛으로 결정할 수 있다.

도 11은 본 발명의 일 실시예에 따른 참조 프레임 선택 장치의 구성을 개략적으로 도시한 블록도이다.

도 11을 참조하면, 본 발명의 일 실시예에 따른 참조 프레임 선택 장치(1000)는 버퍼(1010), 결정부(1015), 예측부(1020), 메모리(1025) 및 프로세서(1030)를 포함하여 구성된다.

이하에서 설명되는 참조 프레임 선택 장치(1000)는 영상 부호화기 또는 복호화기의 인터 예측을 위한 일 구성에 포함될 수 있음은 자명하다.

버퍼(1010)는 참조 가능한 참조 프레임들을 저장한다.

결정부(1015)는 예측 유닛(PU)에 대한 참조할 참조 프레임들을 결정하는 기능을 한다. 또한, 결정부(1015)는 예측 유닛 중 일부의 인터 예측 모드 수행 순서를 결정한다.

예를 들어, 예측 유닛이 제2 예측 유닛(즉, 제1 예측 유닛보다 크기가 작은 예측 유닛)인 경우, 인터 예측 모드의 수행 순서를 머지 예측, 단방향 예측 및 양방향 예측 순으로 결정할 수 있다.

또한, 결정부(1015)는 예측 유닛간 베스트 참조 프레임 상관도, 베스트 참조 프레임의 시간적 상관도를 고려하여 현재 예측 유닛에 대한 참조할 참조 프레임을 결정할 수 있다.

예를 들어, 결정부(1015)는 현재 블록에 대해 선 수행된 인터 예측 모드 결과를 이용하여 현재 블록의 제2 예측 유닛에 대한 참조 가능한 참조 프레임들을 결정할 수 있다. 이에 대해서는 도 3에서 상세히 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.

예측부(1020)는 참조 프레임들을 대상으로 현재 블록의 제1 예측 유닛(PU)와의 인터 예측을 수행하여 제1 베스트 참조 프레임을 결정한다.

또한, 예측부(1020)는 수행 순서에 따라 제2 예측 유닛에 대해 결정된 참조 프레임들을 대상으로 인터 예측 모드에 따른 인터 예측을 수행하여 베스트 참조 프레임을 결정할 수 있다.

이에 대해서도 도 3에서 설명한 바와 중복되므로 이에 대한 추가적인 설명은 생략하기로 한다.

메모리(1025)는 본 발명의 일 실시예에 따른 인터 예측에 따른 참조 프레임을 선택하는 방법을 수행하기 위해 필요한 다양한 알고리즘, 이 과정에서 파생되는 다양한 데이터 등을 저장한다.

프로세서(1030)는 본 발명의 일 실시예에 따른 참조 프레임 선택 장치(1000)의 내부 구성 요소들(예를 들어, 버퍼(1010), 결정부(1015), 예측부(1020), 메모리(1025) 등)을 제어하기 위한 수단이다.

한편, 전술된 실시예의 구성 요소는 프로세스적인 관점에서 용이하게 파악될 수 있다. 즉, 각각의 구성 요소는 각각의 프로세스로 파악될 수 있다. 또한 전술된 실시예의 프로세스는 장치의 구성 요소 관점에서 용이하게 파악될 수 있다.

또한 앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

1000: 참조 프레임 선택 장치
1010: 버퍼
1015: 결정부
1020: 예측부
1025: 메모리
1030: 프로세서

Claims

(a) 현재 블록의 제1 예측 유닛(PU)에 대해 이용 가능한 모든 참조 프레임들을 대상으로 인터 예측을 수행하여 제1 베스트 참조 프레임을 결정하는 단계;
(b) 상기 현재 블록의 제2 예측 유닛(PU)에 대해 머지 예측(merge prediction)을 수행하여 제2 베스트 참조 프레임을 결정하는 단계;
(c) 상기 제1 및 제2 베스트 참조 프레임을 대상으로 상기 제2 예측 유닛에 대한 단방향 예측을 수행하여 제3 베스트 참조 프레임을 결정하는 단계; 및
(d) 상기 제1 예측 유닛과 상기 제2 예측 유닛 각각에 대해 결정된 상기 제1 베스트 참조 프레임, 상기 제2 베스트 참조 프레임 및 상기 제3 베스트 참조 프레임의 율 왜곡 코스트가 최저인 예측 모드를 상기 현재 블록의 베스트 예측 모드로 결정하고, 상기 베스트 예측 모드에 상응하는 예측 유닛을 상기 현재 블록의 베스트 예측 유닛으로 결정하며, 상기 베스트 예측 유닛의 상기 베스트 예측 모드에 대해 결정된 베스트 참조 프레임을 최적의 참조 프레임으로 결정하는 단계를 포함하되,
상기 베스트 예측 유닛은 상기 제1 예측 유닛 및 상기 제2 예측 유닛 중 어느 하나인 것을 특징으로 하는 참조 프레임 선택 방법.
상기 제1 항에 있어서,
상기 제2 예측 유닛은 상기 제1 예측 유닛보다 크기가 작은 예측 유닛인 것을 특징으로 하는 참조 프레임 선택 방법.
제1 항에 있어서, 상기 (c) 단계는,
상기 현재 블록의 제2 예측 유닛과 상기 현재 블록의 상기 제2 예측 유닛에 대해 결정된 상기 제3 베스트 참조 프레임의 모션 벡터 차이값이 기준 설정값(Zero)인지 여부를 판단하는 단계; 및
상기 모션 벡터 차이값이 기준 설정값이면, 상기 이용 가능한 모든 참조 프레임들 중 상기 제1 베스트 참조 프레임과 상기 제2 베스트 참조 프레임을 제외한 나머지 참조 프레임들에 대한 상기 제2 예측 유닛의 단방향 예측을 스킵(SKIP)하는 단계를 포함하는 것을 특징으로 하는 참조 프레임 선택 방법.
제3 항에 있어서, 상기 (c) 단계는,
상기 모션 벡터 차이값이 상기 기준 설정값이 아닌 경우, 상기 나머지 참조 프레임들을 대상으로 상기 제2 예측 유닛과의 단방향 예측을 추가적으로 더 수행하는 단계; 및
상기 단방향 예측의 추가적인 수행에 따라 율 왜곡 코스트(RD cost)가 최저인 참조 프레임을 상기 제3 베스트 참조 프레임으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 참조 프레임 선택 방법.
제4 항에 있어서,
상기 나머지 참조 프레임들을 대상으로 상기 제2 예측 유닛과의 단방향 예측을 추가적으로 더 수행하는 단계는,
상기 제1 베스트 참조 프레임의 율 왜곡 코스트를 이용하여 상기 나머지 참조 프레임들 중 추가적으로 상기 제2 예측 유닛과 단방향 예측을 수행할 참조 프레임을 결정하는 것을 특징으로 하는 참조 프레임 선택 방법.
제1 항에 있어서, 상기 (c) 단계는,
현재 프레임에 가장 인접한 참조 프레임을 대상으로 상기 제2 예측 유닛에 대한 단방향 예측을 더 수행하여 상기 제3 베스트 참조 프레임을 결정하는 것을 특징으로 하는 참조 프레임 선택 방법.
제1 항에 있어서, 상기 (c) 단계 이후에,
상기 제2 예측 유닛의 단방향 예측에 이용된 참조 프레임들을 대상으로 상기 제2 예측 유닛에 대한 양방향 예측을 수행하여 제4 베스트 참조 프레임을 결정하는 단계를 더 포함하는 참조 프레임 선택 방법.
제7 항에 있어서,
상기 (d) 단계에서, 상기 베스트 예측 모드 결정시 상기 제4 베스트 참조 프레임을 더 이용하는 것을 특징으로 하는 참조 프레임 선택 방법.
제8 항에 있어서,
상기 예측 모드는, 단방향 예측, 양방향 예측 및 머지 예측을 포함하는 것을 특징으로 하는 참조 프레임 선택 방법.
제1 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체.
참조 프레임들을 저장하는 버퍼;
현재 블록의 제1 예측 유닛(PU)에 대해 이용 가능한 모든 참조 프레임들을 대상으로 인터 예측을 수행하여 제1 베스트 참조 프레임을 결정하는 예측부; 및
상기 현재 블록에 대해 선 수행된 인터 예측 모드 결과를 이용하여 상기 현재 블록의 제2 예측 유닛에 대한 참조 가능한 참조 프레임들을 결정하는 결정부를 포함하되,
상기 예측부는,
상기 현재 블록의 제2 예측 유닛에 대해 결정된 참조 가능한 참조 프레임들을 대상으로 상기 현재 블록의 제2 예측 유닛(PU)에 대해 머지 예측(merge prediction)을 수행하여 제2 베스트 참조 프레임을 결정하고, 상기 제1 및 제2 베스트 참조 프레임을 대상으로 상기 제2 예측 유닛에 대한 단방향 예측을 수행하여 최적의 베스트 프레임으로 제3 베스트 참조 프레임을 결정하며, 상기 제1 예측 유닛과 상기 제2 예측 유닛 각각에 대해 결정된 상기 제1 베스트 참조 프레임, 상기 제2 베스트 참조 프레임 및 상기 제3 베스트 참조 프레임의 율 왜곡 코스트가 최저인 예측 모드를 상기 현재 블록의 베스트 예측 모드로 결정하고, 상기 베스트 예측 모드에 상응하는 예측 유닛을 상기 현재 블록의 베스트 예측 유닛으로 결정하며, 상기 베스트 예측 유닛의 상기 베스트 예측 모드에 대해 결정된 참조 프레임을 최적의 참조 프레임으로 결정하되,
상기 베스트 예측 유닛은 상기 제1 예측 유닛 및 상기 제2 예측 유닛 중 어느 하나인 것을 특징으로 하는 참조 프레임 선택 장치.
제11 항에 있어서,
상기 제2 예측 유닛은 상기 제1 예측 유닛보다 크기가 작은 예측 유닛인 것을 특징으로 하는 참조 프레임 선택 장치.
삭제
제11 항에 있어서,
상기 결정부는,
상기 제2 예측 유닛의 단방향 예측에 대해 상기 제1 예측 유닛의 인터 예측 수행 결과와 상기 제2 예측 유닛의 머지 예측 수행 결과를 이용하여 참조할 참조 프레임들을 결정하는 것을 특징으로 하는 참조 프레임 선택 장치.
제11 항에 있어서,
상기 결정부는,
상기 제2 예측 유닛의 단방향 예측에 대해 현재 프레임에 가장 인접한 참조 프레임을 참조할 참조 프레임으로 더 결정하는 것을 특징으로 하는 참조 프레임 선택 장치.
제11 항에 있어서,
상기 결정부는,
상기 제2 예측 유닛의 양방향 예측에 대해 상기 제2 예측 유닛의 단방향 예측에서 이용된 참조 프레임들을 참조할 참조 프레임들로 결정하는 것을 특징으로 하는 참조 프레임 선택 장치.
제14 항에 있어서,
상기 결정부는,
상기 제1 예측 유닛의 인터 예측 수행 결과와 상기 제2 예측 유닛의 머지 예측 수행 결과를 이용하여 제2 예측 유닛의 단방향 예측에 따라 결정된 베스트 참조 프레임의 모션 벡터 차이값이 기준 설정값이 아닌 경우, 상기 제1 베스트 참조 프레임의 율 왜곡 코스트를 이용하여 상기 버퍼에 저장된 나머지 참조 프레임들 중 참조할 참조 프레임을 결정하는 것을 특징으로 하는 참조 프레임 선택 장치.