KR20140124436A - 움직임 벡터 예측을 이용한 비디오 부호화/복호화 방법 및 장치 - Google Patents

Abstract

본 발명의 실시 예에 따른 움직임 정보 예측을 이용한 비디오 복호화 방법은 비디오 복호화 방법에 있어서, 비디오 데이터의 영상을 구성하는 일부 유닛을 복호화 하는 단계; 상기 복호된 일부 유닛의 참조 화소값들을 이용하여 복호할 유닛의 주변 화소값들에 대한 변화량 정보를 산출하는 단계; 상기 변화량 정보에 기초하여 움직임 벡터 예측자의 후보 리스트를 구성하는 단계; 및 상기 후보 리스트를 이용하여 상기 복호할 유닛의 움직임 정보를 에측하는 단계를 포함한다.

Description

움직임 벡터 예측을 이용한 비디오 부호화/복호화 방법 및 장치{Method for encoding and decoding video using motion vector prediction, and apparatus thereof}

본 발명은 비디오 코덱에 관한 것으로, 더욱 상세하게는 부호화 및 복호화 시 코딩 블록의 주변 블록들로부터 정보를 상속받는 비디오 부호화 제공 방법 및 장치에 관한 것이다.

일반적인 비디오 부호화 및 복호화에 있어서, 현재 코딩 블록이 inter coded block 일 때, 주변 블록들의 움직임벡터(MV)와 참조 영상 index 등을 바탕으로 MVP를 계산하거나, Merge skip mode를 고려한다. 현재 코딩 블록이 intra coded block 일 때, 주변 블록들의 인트라 예측 모드들을 바탕으로 현재 블록을 intra coding하기 위한 MPM을 계산한다. 그러나, 이러한 일반적인 방법에서는, 주변 블록들로부터 상속받는 정보들의 종류가 제한적이라는 문제점이 있다.

본 발명의 실시 예는 비디오 코덱에서 지금보다 더 다양한 정보들을 주변블록들로부터 상속받는 방법을 제공한다.

다만, 본 발명의 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 비디오 부호화 제공 방법은 주변 블록들로부터 상속받을 수 있는 정보들의 종류 및 개수를 증가시키고, 이전에 부호화 및 복호화된 복수 개의 픽쳐들에서 정보를 추출하여 부호화에 이용한다.

또한, 상기한 기술적 과제를 달성하기 위한 본 발명의 실시 예에 따른 움직임 정보 예측을 이용한 비디오 복호화 방법은 비디오 복호화 방법에 있어서, 비디오 데이터의 영상을 구성하는 일부 유닛을 복호화 하는 단계; 상기 복호된 일부 유닛의 참조 화소값들을 이용하여 복호할 유닛의 주변 화소값들에 대한 변화량 정보를 산출하는 단계; 상기 변화량 정보에 기초하여 움직임 벡터 예측자의 후보 리스트를 구성하는 단계; 및 상기 후보 리스트를 이용하여 상기 복호할 유닛의 움직임 정보를 에측하는 단계를 포함한다.

본 발명에 따르면, 지금보다 더 다양한 정보들을 주변블록들로부터 상속받아 부호화 효율을 향상시킬 수 있다.

도 1은 비디오 부호화 장치의 구성에 대한 일예를 나타내는 블록도이다.
도 2는 인터 예측 부호화 장치 구조에 대한 일예를 나타내는 블록도이다.
도 3은 인터 예측 복호화 장치의 구성에 대한 일예를 나타내는 블록도이다.
도 4는 움직임 벡터 예측을 고려하는 방식에 대한 일예를 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 MVP 결정 방법을 설명하기 위한 도면이다.
도 6 내지 도 8은 MVP 결정 시 고려되는 주변 영역들에 대한 실시예들을 나타내는 도면들이다.
도 9는 일반적인 부호화 블록 구조 및 그 결정 방법을 나타낸다.
도 10은 MVP candidates의 예를 나타낸다.
도 11은 해상도에 따른 영상 분할 차이를 나타낸다.
도 12a 내지 도 12e는 현재 PU의 크기가 4 X 4 일때, 현재 PU의 특성과 유사한 주변 영역을 탐색하기 위해서 주변의 어느 곳을 분석해야 하는지를 설명하는 도면들이다.
도 13a 내지 도 13e은 U크기마다 각 MVP 후보에 대응되는 주변 참조화소들의 집합을 나타낸다.
도 14는 주변 참조 화소들의 변화량 계산 과정을 나타낸다.
도 15는 변화량에 따른 공간적 MVP 후보 스캔 순서 예시를 나타낸다.
도 16은 움직임 정보의 스케일링 과정을 나타낸다.
도 17은 본 발명의 실시 예에 따른 부호화 및 복호화 방법에 있어서, MVP를 구성하는 과정을 설명하는 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시 예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재 ??상에?? 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본원의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본원 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

본원 명세서 전체에서, 마쿠시 형식의 표현에 포함된 ??이들의 조합??의 용어는 마쿠시 형식의 표현에 기재된 구성 요소들로 이루어진 군에서 선택되는 하나 이상의 혼합 또는 조합을 의미하는 것으로서, 상기 구성 요소들로 이루어진 군에서 선택되는 하나 이상을 포함하는 것을 의미한다.

실제 영상과 그것의 깊이 정보 맵을 부호화하는 방법의 일예로, 현재까지 개발된 비디오 부호화 표준 중에서 최고의 부호화 효율을 가지는 MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)에서 공동으로 표준화를 진행 중인 HEVC(High Efficiency Video Coding)를 이용하여 부호화를 수행할 수 있다.

도 1은 비디오 부호화 장치의 구성에 대한 일예를 블록도로 도시한 것으로, HEVC의 부호화 구조도를 나타낸 것이다.

도 1에서와 같이 HEVC에는 부호화 단위 및 구조, 화면 간(Inter) 예측, 화면 내(Intra) 예측, 보간(Interpolation), 필터링(filtering), 변환(Transform) 방법 등 다양한 새로운 알고리즘들을 포함하고 있다.

도 2는 인터 예측 부호화 장치 구조에 대한 일예를 블록도로 도시한 것으로, 인터 예측 부호화 장치는 움직임 정보 결정부(110), 움직임 정보 부호화 모드 결정부(120), 움직임 정보 부호화부(130), 예측 블록 생성부(140), 잔차 블록 생성부(150), 잔차 블록 부호화부(160) 및 멀티 플렉서(170)를 포함하여 구성될 수 있다.

도 2를 참조하면, 움직임 정보 결정부(110)는 현재 블록의 움직임 정보를 결정한다. 움직임 정보는 참조 픽쳐 인덱스와 움직임 벡터를 포함한다. 참조 픽쳐 인덱스는 이전에 부호화되어 복원된 픽쳐 중 어느 하나를 나타낸다. 현재 블록이 단방향 인터 예측 부호화되는 경우에는 리스트 0(L0)에 속하는 참조 픽쳐들 중의 어느 하나를 나타낸다.

반면에, 현재 블록이 양방향 예측 부호화되는 경우에는 리스트 0(L0)의 참조 픽쳐들 중 하나를 나타내는 참조픽쳐 인덱스와 리스트 1(L1)의 참조 픽쳐들 중의 하나를 나타내는 참조픽쳐 인덱스를 포함할 수 있다. 또한, 현재 블록이 양방향 예측 부호화되는 경우에는 리스트 0과 리스트 1을 결합하여 생성된 복합 리스트(LC)의 참조 픽쳐들 중의 1개 또는 2개의 픽쳐를 나타내는 인덱스를 포함할 수 있다.

움직임 벡터는 각각의 참조픽쳐 인덱스가 나타내는 픽쳐 내의 예측 블록의 위치를 나타낸다. 움직임 벡터는 화소단위(정수단위)일수도 있으나, 서브화소단위일 수도 있다. 예를 들어, 1/2, 1/4, 1/8 또는 1/16 화소의 해상도를 가질 수 있다. 움직임 벡터가 정수단위가 아닐 경우에는 예측 블록은 정수 단위의 화소들로부터 생성된다.

움직임 정보 부호화 모드 결정부(120)는 현재 블록의 움직임 정보를 스킵 모드로 부호화할지, 머지 모드로 부호화할지, AMVP 모드로 부호화할지를 결정한다.

스킵 모드는 현재 블록의 움직임 정보와 동일한 움직임 정보를 갖는 스킵 후보자가 존재하고, 잔차신호가 0인 경우에 적용된다. 또한, 스킵 모드는 현재 블록이 코딩 유닛과 사이즈가 같을 때 적용된다. 현재 블록은 예측 유닛으로 볼 수 있다.

머지 모드는 현재 블록의 움직임 정보와 동일한 움직임 정보를 갖는 머지 후보자가 존재할 때 적용된다. 머지 모드는 현재 블록이 코딩 유닛과 사이즈가 다르거나, 사이즈가 같을 경우에는 잔차 신호가 존재하는 경우에 적용된다. 머지 후보자와 스킵 후보자는 동일할 수 있다.

AMVP 모드는 스킵 모드 및 머지 모드가 적용되지 않을 때 적용된다. 현재 블록의 움직임 벡터와 가장 유사한 움직임 벡터를 갖는 AMVP 후보자를 AMVP 예측자로 선택한다.

움직임 정보 부호화부(130)는 움직임 정보 부호화 모드 결정부(120)에 의해 결정된 방식에 따라 움직임 정보를 부호화한다. 움직임 정보 부호화 모드가 스킵 모드 또는 머지 모드일 경우에는 머지 움직임 벡터 부호화 과정을 수행한다. 움직임 정보 부호화 모드가 AMVP일 경우에는 AMVP 부호화 과정을 수행한다.

예측 블록 생성부(140)는 현재 블록의 움직임 정보를 이용하여 예측 블록을 생성한다. 움직임 벡터가 정수 단위일 경우에는, 참조픽쳐 인덱스가 나타내는 픽쳐 내의 움직임 벡터가 나타내는 위치에 대응하는 블록을 복사하여 현재 블록의 예측 블록을 생성한다.

그러나, 움직임 벡터가 정수 단위가 아닐 경우에는, 참조픽쳐 인덱스가 나타내는 픽쳐내의 정수 단위 화소들로 부터 예측 블록의 화소들을 생성한다. 이 경우, 휘도 화소의 경우에는 8탭의 보간 필터를 사용하여 예측 화소를 생성할 수 있다. 색차 화소의 경우에는 4탭 보간 필터를 사용하여 예측 화소를 생성할 수 있다.

잔차 블록 생성부(150)는 현재 블록과 현재 블록의 예측 블록을 이용하여 잔차 블록을 생성한다. 현재 블록의 크기가 2Nx2N인 경우에는 현재 블록과 현재 블록에 대응하는 2Nx2N 크기의 예측 블록을 이용하여 잔차 블록을 생성한다.

그러나, 예측에 이용되는 현재 블록의 크기가 2NxN 또는 Nx2N인 경우에는 2Nx2N을 구성하는 2개의 2NxN 블록 각각에 대한 예측 블록을 구한 후, 상기 2개의 2NxN 예측 블록을 이용하여 2Nx2N 크기의 최종 예측 블록을 생성할 수 있다. 그리고, 상기 2Nx2N 크기의 예측 블록을 이용하여 2Nx2N 의 잔차 블록을 생성할 수도 있다. 2NxN 크기의 2개의 예측블록들의 경계부분의 불연속성을 해소하기 위해 경계 부분의 픽셀들을 오버랩 스무딩할 수 있다.

잔차 블록 부호화부(160)는 생성된 잔차 블록을 하나 이상의 변환 유닛으로 나눈다. 그리고, 각 변환 유닛을 변환 부호화, 양자화 및 엔트로피 부호화된다. 이때, 변환 유닛의 크기는 잔차 블록의 크기에 따라 쿼드트리 방식으로 결정될 수 있다.

잔차 블록 부호화부(160)는 인터 예측 방법에 의해 생성된 잔차 블록을 정수기반 변환 매트릭스를 이용하여 변환한다. 상기 변환 매트릭스는 정수기반 DCT 매트릭스이다. 잔차 블록 부호화부(160)는 상기 변환 매트릭스에 의해 변환된 잔차 블록의 계수들을 양자화하기 위해 양자화 매트릭스를 이용한다. 상기 양자화 매트릭스는 양자화 파라미터에 의해 결정된다. 상기 양자화 파라미터는 미리 정해진 크기 이상의 코딩 유닛별로 결정된다. 상기 미리 정해진 크기는 8x8 또는 16x16일 수 있다.

따라서 현재 코딩 유닛이 상기 미리 정해진 크기보다 작은 경우에는 상기 미리 정해진 크기 내의 복수개의 코딩 유닛 중 부호화 순서상 첫번째 코딩 유닛의 양자화 파라미터만을 부호화하고, 나머지 코딩 유닛의 양자화 파라미터는 상기 파라미터와 동일하므로 부호화할 필요가 없다.

그리고, 결정된 양자화 파라미터 및 예측 모드에 따라 결정되는 양자화 매트릭스를 이용하여 상기 변환 블록의 계수들을 양자화한다.

상기 미리 정해진 크기 이상의 코딩 유닛별로 결정되는 양자화 파라미터는 현재 코딩 유닛에 인접한 코딩 유닛의 양자화 파라미터를 이용하여 예측 부호화된다. 현재 코딩 유닛의 좌측 코딩 유닛, 상측 코딩 유닛 순서로 검색하여 유효한 1개 또는 2개의 유효한 양자화 파라미터를 이용하여 현재 코딩 유닛의 양자화 파라미터 예측자를 생성할 수 있다.

예를 들어, 상기 순서로 검색된 유효한 첫번째 양자화 파라미터를 양자화 파라미터 예측자로 결정할 수 있다. 또한, 좌측 코딩 유닛, 부호화 순서상 바로 이전의 코딩 유닛 순으로 검색하여 유효한 첫 번째 양자화 파라미터를 양자화 파라미터 예측자로 결정할 수 있다.

양자화된 변환 블록의 계수들은 스캐닝되어 1차원의 양자화 계수들로 변환한다. 스캐닝 방식은 엔트로피 부호화 모드에 따라 달리 설정될 수 있다. 예를 들어, CABAC으로 부호화될 경우에는 인터 예측 부호화된 양자화 계수들은 미리 정해진 하나의 방식(지그재그, 또는 대각선 방향으로의 래스터 스캔)으로 스캐닝될 수 있다. 반면에 CAVLC으로 부호화될 경우에는 상기 방식과 다른 방식으로 스캐닝될 수 있다. 예를 들어, 스캐닝 방식이 인터의 경우에는 지그재그, 인트라의 경우에는 인트라 예측 모드에 따라 결정될 수 있다.

또한, 계수 스캐닝 방식은 변환 단위의 크기에 따라 달리 결정될 수도 있다. 상기 스캔 패턴은 방향성 인트라 예측 모드에 따라 달라질 수 있다. 양자화 계수들의 스캔순서는 역방향으로 스캔한다.

멀티플렉서(170)는 상기 움직임 정보 부호화부(130)에 의해 부호화된 움직임 정보들과 상기 잔차 블록 부호화부에 의해 부호화된 잔차 신호들을 다중화한다. 상기 움직임 정보는 부호화 모드에 따라 달라질 수 있다. 즉, 스킵 또는 머지일 경우에는 예측자를 나타내는 인덱스만을 포함한다. 그러나, AMVP일 경우에는 현재 블록의 참조 픽쳐 인덱스, 차분 움직임 벡터 및 AMVP 인덱스를 포함한다.

도 3은 인터 예측 복호화 장치의 구성에 대한 일예를 블록도로 도시한 것으로, 인터 예측 복호화 장치(200)는 디멀티플렉서(210), 움직임 정보 부호화 모드 판단부(220), 머지 모드 움직임 정보 복호화부(230), AMVP 모드 움직임 정보 복호화부(240), 예측블록 생성부(250), 잔차 블록 복호화부(260) 및 복원블록 생성부(270)를 포함하여 구성될 수 있다.

도 3을 참조하면, 디멀티플렉서(210)는 수신된 비트스트림으로부터 현재 부호화된 움직임 정보와 부호화된 잔차 신호들을 역다중화한다. 디멀티플렉서(210)는 상기 역다중화된 움직임 정보를 움직임 정보 부호화 모드 판단부(220)로 전송하고, 역다중화된 잔차신호를 잔차블록 복호화부(260)로 전송한다.

움직임 정보 부호화 모드 판단부(220)는 현재 블록의 움직임 정보 부호화 모드를 판단한다. 움직임 정보 부호화 모드 판단부(220)는 수신된 비트스트림의 skip_flag가 1의 값을 갖는 경우에는 현재 블록의 움직임 정보 부호화 모드가 스킵 부호화 모드로 부호화된 것으로 판단한다. 움직임 정보 부호화 모드 판단부(220)는 수신된 비트스트림의 skip_flag가 0의 값을 갖고, 디멀티블렉서(210)로부터 수신된 움직임 정보가 머지 인덱스만을 갖는 현재 블록의 움직임 정보 부호화 모드가 머지 모드로 부호화된 것으로 판단한다.

움직임 정보 부호화 모드 판단부(220)는 수신된 비트스트림의 skip_flag가 0의 값을 갖고, 디멀티블렉서(210)로부터 수신된 움직임 정보가 참조 픽쳐 인덱스와 차분 움직임 벡터와 AMVP인덱스를 갖는 경우에는 현재 블록의 움직임 정보 부호화 모드가 AMVP 모드로 부호화된 것으로 판단한다.

머지 모드 움직임 정보 복호화부(230)는 움직임 정보 부호화 모드 판단부(220)가 현재 블록의 움직임 정보 부호화 모드를 스킵 또는 머지 모드로 판단한 경우에 활성화된다.

AMVP 모드 움직임 정보 복호화부(240)는 움직임 정보 부호화 모드 판단부(220)가 현재 블록의 움직임 정보 부호화 모드를 AMVP 모드로 판단한 경우에 활성화된다.

예측블록 생성부(250)는 상기 머지 모드 움직임 정보 복호화부(230) 또는 AMVP 모드 움직임 정보 복호화부(240)에 의해 복원된 움직임 정보를 이용하여 현재 블록의 예측 블록을 생성한다. 움직임 벡터가 정수 단위일 경우에는, 참조픽쳐 인덱스가 나타내는 픽쳐 내의 움직임 벡터가 나타내는 위치에 대응하는 블록을 복사하여 현재 블록의 예측 블록을 생성한다.

그러나, 움직임 벡터가 정수 단위가 아닐 경우에는, 참조픽쳐 인덱스가 나타내는 픽쳐내의 정수 단위 화소들로부터 예측 블록의 화소들을 생성한다. 이 경우, 휘도 화소의 경우에는 8탭의 보간 필터를 사용하여 예측 화소를 생성할 수 있다. 색차 화소의 경우에는 4탭 보간 필터를 사용하여 예측 화소를 생성할 수 있다.

잔차 블록 복호화부(260)는 잔차신호를 엔트로피 복호화한다. 그리고, 엔트로피 복호화된 계수들을 역스캐닝하여 2차원의 양자화된 계수 블록을 생성한다. 역스캐닝 방식은 엔트로피 복호화 방식에 따라 달라질 수 있다.

즉, CABAC 기반으로 복호화된 경우와 CAVLC 기반으로 복호화된 경우의 인터 예측 잔차신호의 역스캐닝 방식이 달라질 수 있다. 예를 들어, CABAC 기반으로 복호화된 경우에는 대각선 방향의 래스터 역스캔 방식으로, CAVLC 기반으로 복호화된 경우에는 지그재그 역스캔 방식이 적용될 수 있다. 또한, 예측 블록의 크기에 따라 역스캐닝 방식이 달리 결정될 수도 있다.

잔차블록 복호화부(260)는 생성된 계수블록을 역양자화 매트릭스를 이용하여 역양자화한다. 상기 양자화 매트릭스를 유도하기 위해 양자화 파리미터를 복원한다. 양자화 스텝 사이즈는 미리 정해진 크기 이상의 코딩 유닛별로 복원된다.

상기 미리 정해진 크기는 8x8 또는 16x16일 수 있다. 따라서, 현재 코딩 유닛이 상기 미리 정해진 크기보다 작은 경우에는 상기 미리 정해진 크기 내의 복수개의 코딩 유닛 중 부호화 순서상 첫번째 코딩 유닛의 양자화 파라미터만을 복원하고, 나머지 코딩 유닛의 양자화 파라미터는 상기 파라미터와 동일하므로 부호화할 필요가 없다.

상기 미리 정해진 크기 이상의 코딩 유닛별로 결정된 양자화 파라미터를 복원하기 위해 현재 코딩 유닛에 인접한 코딩 유닛의 양자화 파라미터를 이용한다. 현재 코딩 유닛의 좌측 코딩 유닛, 상측 코딩 유닛 순서로 검색하여 유효한 첫번째 양자화 파라미터를 현재 코딩 유닛의 양자화 파라미터 예측자로 결정할 수 있다. 또한, 좌측 코딩 유닛, 부호화 순서상 바로 이전의 코딩 유닛 순으로 검색하여 유효한 첫번째 양자화 파라미터를 양자화 파라미터 예측자로 결정할 수 있다.

상기 결정된 양자화 파라미터 예측자와 차분 양자화 파라미터를 이용하여 현재 예측 유닛의 양자화 파라미터를 복원한다.

잔차블록 복호화부(260)는 상기 역양자화된 계수 블록을 역변환하여 잔차블록을 복원한다.

복원블록 생성부(270)는 상기 예측블록 생성부(250)에 의해 생성된 예측블록과 상기 잔차블록 복호화부(260)에 의하여 생성된 잔차블록을 더하여 복원블록을 생성한다.

현재 코딩 블록이 inter coded block 일 때, 주변에 이미 부호화된 블록들의 움직임벡터(MV)와 참조 영상 index 등을 바탕으로 MVP를 결정하거나, Merge Mode, Merge Skip Mode를 고려한다.

도 4는 움직임 벡터 예측(MVP, Motion Vector Prediction)을 고려하는 방식에 대한 일예를 설명하기 위한 도면이다.

도 4를 참조하면, 현재 코딩 블록이 inter coded block 일 때, 주변에 이미 부호화된 블록들의 움직임벡터(MV)와 참조 영상 index 등을 바탕으로 MVP를 결정하여 현재 블록의 움직임 벡터를 부호화한다.

이때, 실제로 부호화되는 것은 현재 블록의 MV와 주위 블록들로부터 결정된 MVP의 차이 벡터(MVD)이다. 주변 블록들의 MV로부터 결정된 MVP가 현재 블록의 MV와 비슷하면 비슷할수록 MVD의 크기가 작아지기 때문에 부호화 효율이 향상된다. 따라서, 정확한 MVP를 결정하는 기술은 비디오 코덱의 압축 효율에 매우 중요한 영향을 끼치고 있다.

MVP를 결정하는 방식은, 도 4에 도시된 바와 같이, 현재 블록의 왼쪽 블록(A1), 왼쪽 아래 블록(A2), 오른쪽 위 블록(B0), 위 블록(B1), 왼쪽 위 블록(B2)을 고려한 Spatial candidates와 다른 참조 프레임에 Col-located block의 오른쪽 아래(H) 그리고 가운데(C3) 고려한 Temporal candidate에서 이미 부호화된 MV를 가져와 MVP로 고려한다.

본 발명의 일실시예에 따르면, 현재 코딩 블록의 MVP를 결정하기 위해, 참조할 수 있는 주변 블록의 개수를 증가시켜 더 멀리 위치한 블록들의 정보들까지도 참조한다.

도 5는 본 발명의 일실시예에 따른 MVP 결정 방법을 설명하기 위한 도면이다.

도 5를 참조하면, B(i,j)가 현재 코딩 블록이라고 할 때, 주변의 이미 부호화를 마치고 복원된 블록들의 코딩 정보들을 이용하여 현재 블록을 부호화할 수 있다.

도 4에 도시된 경우에 있어서, MVP를 결정할 때, 정보를 참고하는 주변 블록의 범위가 현재 블록을 기준으로 바로 윗줄의 블록들과 바로 왼편의 블록들에 한정되어 있기 때문에 (즉, B(i,j-1), B(i-1,j-1), B(i-1,j), B(i-1,j+1) 들의 정보들만 이용), 초고해상도 영상을 부호화하는 과정에서 부호화 효율성이 제한되고 있다.

따라서 본 발명의 일실시예에 따르면 더 넓은 범위의 주변 블록들의 움직임 정보(MV) 및 다양한 추가 정보들을 고려하여 MVP를 결정한다.

MVP를 결정할 때, 정보를 참고하는 주변 블록의 범위가 현재 블록을 기준으로 바로 윗줄의 블록들과 바로 왼편의 블록들에 한정되어 있기 때문에 (즉, B(i,j-1), B(i-1,j-1), B(i-1,j), B(i-1,j+1) 들의 정보들만 이용), 초고해상도 영상을 부호화하는 과정에서 부호화 효율성이 제한되고 있다.

이를 해결하기 위하여, 본 발명의 일실시예에서는, 더 넓은 범위의 주변 블록들을 사용한다. 이때, MVP의 결정을 위해 사용되는 주변 블록들의 정보들은 움직임 정보(MV, MVD, 참조 영상 번호 등)뿐만 아니라 양자화 파라미터, PU 분할 정보, merge 정보 등이 추가되며, 이러한 정보들을 조합하여 MVP를 결정한다.

도 6 내지 도 8은 MVP 결정 시 고려되는 주변 영역들에 대한 실시예들을 도시한 것이다.

도 6을 참조하면, 현재 코딩 블록과 직접 붙어있는 주변 블록들 뿐 아니라 더 넓은 영역의 블록들의 정보를 이용하여 현재 코딩 블록의 MVP를 결정할 수 있다.

도 7을 참조하면, 임의의 위치에 있는 블록들의 정보를 이용하여 현재 코딩 블록의 MVP를 결정할 수 있다.

도 8을 참조하면, 현재 코딩 블록과 직접 붙어있는 주변 블록들을 제외한 더 떨어진 영역의 블록들의 정보를 이용하여 현재 코딩 블록의 MVP를 결정할 수 있다.

확장 MVP 결정 방법

본 발명의 또 다른 실시예에 따르면, MVP를 결정함에 있어 주변 블록들로부터 상속받는 정보들은 MV, reference frame index 이외에도 다양한 정보들을 이용할 수 있다.

본 발명의 실시예에서 고려하는 상속 정보들은 다음과 같을 수 있다.

(1) MV, reference frame index

(2) MV 및 MVD의 크기, 개수

(3) MV 및 MVD의 해상도 (정수, 반화소, 1/4화소)

(4) CU, PU, TU partition types

(5) merge skip 여부 등 coding

(6) CBF 정보

상기한 바와 같은 상속 정보들은 각각 독립적으로 이용될 수 있다.

상속 정보 종류들을 여러 개의 set들로 구성한 후 set로 구성된 상속 정보 모음 단위로 참조될 수도 있다.

예를 들어, 주변 블록들을 여러 가지 형태 및 종류의 Group들로 구분 지은 후 (이 Group 개수는 복수), 선택된 Group의 이웃 블록들만을 참조하여 현재 블록을 부호화할 수 있다. 이 경우, Group들의 구성 및 선택된 Group으로부터 상속받는 정보들의 종류는 여러 가지 조합으로 사용될 수 있다.

또한, Group 선택 및 상속 정보 set 선택 및 개별적인 상속 정보 선택 등은 현재 블록을 부호화하면서 사용되는 비용함수를 기준으로 경쟁 과정을 통해서 결정될 수도 있고, 주변 정보들을 이용해서 간단하게 결정될 수도 있고, 경우에 따라서 미리 결정될 수도 있다.

그리고, 상기 선택된 상속 정보들을 전송할 수도 있고, 수신단에서 알 수 있는 경우에는 전송하지 않을 수 있다.

이하에서는 초고해상도 영상을 위한 주변화소값 변화량 기반의 예측 움직임 벡터 결정 방법 을 설명한다.

앞서 설명한 바와 같이, 다양한 크기의 코딩 유닛을 사용함으로써, 영상의 공간 해상도 및 블록 특성을 효과적으로 고려하여 부호화할 수 있다.

도 9는 일반적인 부호화 블록 구조 및 그 결정 방법을 나타낸다.

도 9에 도시된 바와 같이, 일반적으로 영상의 해상도가 작거나 화소값들이 국지적으로 크게 변화는 경우에는 작은 크기의 코딩 유닛들을 이용하여 인트라 및 인터 예측을 수행하는 것이 효율적일 수 있다. 작은 크기의 코딩 유닛을 이용하게 되면 부호화에 필요한 헤더 비트량은 증가하지만, 상대적으로 예측이 정밀하게 이루어져 양자화 에러와 변환 계수의 부호화에 필요한 비트량이 감소하는 장점이 있다.

반대로 영상의 공간해상도가 크거나 화소값들의 변화가 적은 영역에서는 큰 코딩 유닛를 사용하는 것이 부호화 효율을 높일 수 있다. 이 경우에는 큰 코딩 유닛를 사용하여도 작은 코딩 유닛을 사용하여 예측하는 경우에 비하여 예측오차가 크게 증가하지 않는 경향이 있으므로 이러한 블록들을 부호화할 경우, 큰 코딩 유닛을 사용하여 헤더 비트량을 절약하는 것이 효율적일 수 있다.

일반적으로, 표준화된 코덱들(MPEG-2, H.264/AVC 등)에서는 한 개의 MVP(Motion Vector Predictor)를 사용했으나, 복수 개의 MVP들이 사용될 수 있다.

도 10은 MVP candidates의 예를 나타낸다.

도 10은 HEVC에서 사용되는 AMVP(Advanced Motion Vector Prediction) 에 관한 것으로, 복수 MVP의 후보자를 추출하는 위치를 나타내고 있다.

도 10과 같이, AMVP에서는 공간적 이웃 위치의 움직임 정보와 시간적 이웃 위치의 움직임 정보를 사용하여 MVP list를 구성한다. 공간적 이웃 위치의 움직임 정보는 현재 PU의 왼쪽에 위치한 주변 블록들 중 1개의 움직임 정보와 현재 PU의 위쪽에 위치한 주변 블록들 중 1개의 움직임 정보를 사용한다. 시간적 이웃 위치의 움직임 정보는 현재 PU가 참조하려는 참조 영상 내부에 현재 PU와 동일한 위치에 있는 블록의 움직임 정보를 사용한다.

공간적 이웃 위치의 움직임 정보는 현재 PU 왼쪽의 블록들에 대해 A0→ A1→Scaling A0→Scaling A1 순서로 스캔하며 움직임 정보를 찾는다. 그 다음 현재 PU 위쪽에 위치한 주변 블록에 대해서 B0→B1→B2 순서로 스캔하며, 만약 A0와 A1의 움직임 정보가 없을 경우 B0→Scaling B0→B1→Scaling B1→B2 순서로 스캔하여 움직임 정보를 찾는다. 스케일링은 주변 블록을 스캔 하였으나 현재 PU가 참조하려는 참조 영상과 주변 블록의 움직임 정보가 참조하는 참조 영상이 다를 경우에 주변 블록의 움직임 정보를 현재 PU가 참조하려는 참조 영상으로 스케일링하는 것을 의미한다.

시간적 이웃 위치의 움직임 정보는 T0→T1 순서로 스캔하며, 이때 이웃 위치의 움직임 벡터가 현재 PU가 참조하는 영상을 가리키지 않는다면 현재 PU가 참조하는 영상으로 움직임 정보를 스케일링하여 사용한다.

AMVP는 2개의 MVP를 사용한다. 먼저 공간적 위치의 움직임 정보를 MVP list에넣고 list가 채워지지 않으면, 시간적 위치의 움직임 정보를 list에 채워 넣는다. 만약 동일한 움직임 정보가 MVP list에 채워지면 중복되는 움직임 정보는 제거한다. 그러나 공간적 및 시간적 위치를 모두 고려한 후에도 2개의 MVP list를 채우지 못하면 list에 (0.0)을 채워 넣는다.

이렇게 MVP list를 구성한 후, list에 있는 MVP들 중 하나와 현재 PU의 움직임 벡터 사이의 차이 벡터를 부호화한다. 이때 어느 MVP 들 중에서 부호화 효율이 가장 높은 MVP를 선택하여 사용한다. 그리고 선택된 MVP가 어느 것인지 알려주는 색인(index) 정보를 추가로 부호화한다.

도 11은 해상도에 따른 영상 분할 차이를 나타낸다.

도 11에 도시된 바와 같이, 초고해상도 영상과 저해상도 영상을 같은 크기의 블록으로 나누면, 저해상도의 영상보다 초고해상도의 영상의 블록간의 상관도가 높다. 동일한 영역을 같은 크기의 블록으로 나누면 저해상도 영상에서보다 초고해상도 영상에서 블록 간 상관도가 높음을 알 수 있다.

따라서, 본 발명의 실시 예에 따르면, 고해상도 영상을 부호화할 때 현재 PU의 이웃 블록들의 정보를 이용함으로써 현재 PU의 부호화 효율을 높일 수 있다. 그러나 기존 기술에서는 이웃 블록들의 화소 특성을 고려하지 않고, 단지 도 10에 정해진 스캔 방법에 따라 이전에 복호된 PU들의 움직임 정보를 사용하고 있다.

본 발명에서는 현재 PU 주변의 복호된 참조 화소값들을 이용하여 주변 화소값들의 변화량을 계산한 후, 이 주변 변화량 정보에 기반한 MVP list를 구성하는 방법을 제안한다. 즉, 현재 PU 주변의 움직임 정보 스캔 순서를 현재 PU의 주변 상황에 따라 적응적으로 변경하여 기존의 방법보다 효율적인 MVP list를 구성한다.

이하에서는 본 발명의 실시 예에 따른 부호화/복호화 방법을 설명한다.

본 발명의 일 실시 예에서는 현재 PU 주변의 참조 화소값의 변화량을 측정한 후, 변화량이 적은 주변 영역이 현재 PU와 유사한 특성을 가진다고 판단하고, 그 영역의 움직임 벡터를 현재 PU를 위한 MVP로 먼저 고려한다. 즉, 현재 PU의 왼쪽, 위쪽, 우측상단, 좌측상단 쪽의 이웃 화소들을 분석하여, 화소값 변화량이 적은 영역이 현재 PU 내부의 특성과 유사하다고 판단하고, 그 영역의 움직임 벡터를 MVP 후보로 먼저 고려한다.

(1) 주변 참조 화소 집합 결정

도 12a 내지 도 12e에서는 현재 PU의 크기가 4 X 4 일때, 현재 PU의 특성과 유사한 주변 영역을 탐색하기 위해서 주변의 어느 곳을 분석해야 하는지를 설명하고 있다.

이 도 12a 내지 도 12e에서는 앞서 설명한 A0, A1, B0, B1, B2 위치와 관련 있는 영역을 음영으로 표시하고 있다. 이 영역들은 두 줄의 화소 라인으로 구성되며, A0, A1, B0, B1, B2 위치를 포함하는 넓은 영역으로 구성되어 있다. 본 발명에서는 이 각 영역 내 화소값들의 변화량을 측정한 후, 이 변화량이 작은 영역일수록 그 영역의 PU가 가지고 있는 움직임 벡터를 현재 PU를 위한 MVP로 먼저 고려한다. 단, 참조 화소 집합과 대응되는 위치에 움직임 정보가 존재하지 않는다면, 해당하는 위치에서 참소 화소들의 변화량은 계산하지 않는다.

도 13a 내지 도 13e은 PU크기마다 각 MVP 후보에 대응되는 주변 참조화소들의 집합을 나타낸다.

도 13a 내지 도 13e에서는 다양한 크기의 PU에 대해서 현재 PU의 특성과 유사한 주변 영역을 탐색하기 위해서 주변의 어느 곳을 분석해야 하는지를 설명하고 있다.

(2) 주변 참조 화소들의 변화량 계산

도 14는 주변 참조 화소들의 변화량 계산 과정을 나타낸다.

주변 화소 영역들의 변화량은 도 14와 같이 현재 PU 주변의 움직임 정보들과 대응되는 참조 화소들의 집합마다 정해진 방향으로 변화량을 계산한다. 영역별 화소값의 변화량을 계산 방법은 수학식 1 내지 수학식 5와 같다.

수학식 1 내지 <수학식 5>에서 V는 변화량을 의미하며, R(i,j)는 현재 PU 주변의 복원된 참조 화소를 의미한다. 또한 Width는 PU의 가로 길이이며, Height는 PU의 세로 길이를 의미한다.

(3)MVP 후보 스캔 결정 방법

이하에서는 앞의 도 14와 수학식 1 내지 수학식 5를 통해 계산된 변화량을 바탕으로 MVP list를 구성하는 방법을 설명한다.

수학식 1 내지 수학식 5를 이용하여 계산한 변화량은 PU 주변의 유사성을 판단하는 정보로 사용된다. 작은 변화량을 갖는 주변 영역은 현재 PU와 유사한 영역으로써 그 영역의 움직임 정보와 현재 PU의 움직임 정보 간의 상관도가 높다. 큰 변화량을 갖는 영역은 현재 PU와 유사하지 않은 영역으로써 해당 영역의 움직임 정보와 현재 PU 움직임 정보 간의 상관도가 낮다. 그러므로 가장 작은 변화량을 갖고 있는 영역의 움직임 정보는 현재 PU를 위한 MVP list를 구성하는 단계에서 가장 먼저 고려되고, 큰 변화량을 갖는 영역의 움직임 정보 일수록 나중에 고려된다.

도 15는 변화량에 따른 공간적 MVP 후보 스캔 순서 예시를 나타낸다.

도 15를 참조하면, MVP list 구성에 있어서 변화량에 따른 현재 PU 주변의 움직임 정보 스캔 순서의 예시를 나타내고 있다. 각 PU를 위한 MVP list 구성에 있어서, 사용 가능하지 않은 움직임 정보는 스캔순서에서 제외한다. 사용 가능하지 않은 움직임 정보란 현재 PU 주변 블록들 중에 Intra 모드로 부호화 되었거나 움직임 벡터가 존재하지 않는 경우를 의미한다.

MVP list 구성에 있어 현재 PU와 모든 주변 블록들의 참조 영상이 같을 경우, 변화량 크기에 근거하여 움직임 정보를 스캔한다. 그러나 현재 PU와 일부 주변 블록들의 참조 영상이 다를 경우, 먼저 같은 참조 영상을 사용하는 블록들의 움직임 정보를 변화량에 따라 작은 것부터 스캔한다. 그 다음 현재 PU와 다른 참조 영상을 참조하는 주변 블록의 움직임 벡터를 현재 PU가 참조하려는 참조영상 위치에 맞게 주변 블록들의 움직임 정보를 스케일링한 후, 수학식 1 내지 수학식 5로 계산된 변화량의 크기가 작은 것부터 스캔할 수 있다.

도 16은 움직임 정보의 스케일링 과정을 나타낸다.

스케일링은 도 16과 하기의 수학식 6을 통해 수행될 수 있다.

구체적으로는 현재 PU가 속한 픽쳐의 POC와 참조하려는 픽쳐의 POC차이와 현재 PU가 속한 픽쳐의 POC와 주변 움직임 정보가 참조하는 픽쳐의 POC차이의 비율을 주변 움직임 정보에 곱해서 사용한다.

앞에서 설명한 제안 방법으로 먼저 공간적 위치의 움직임 정보를 MVP list에 넣고 list가 채워지지 않으면, 시간적 위치의 움직임 정보를 list에 채워 넣는다. 만약 동일한 움직임 정보가 MVP list에 채워지면 중복되는 움직임 정보는 제거한다. 그러나 공간적 및 시간적 위치를 모두 고려한 후에도 2개의 MVP list를 채우지 못하면 list에 (0.0)을 채워 넣는다.

도 17은 본 발명의 실시 예에 따른 부호화 및 복호화 방법에 있어서, MVP를 구성하는 과정을 설명하는 흐름도이다.

도 17에 도시된 바와 같이, 본 발명의 실시 예에 따른 부호화 및 복호화 방법이 수행될 수 있다. 앞서 설명한 바와 같이, AMVP에 있어서, MVP의 list를 구성하는 방법들이 도 17에 도시된 바와 같은 단계들로 구현될 수 있다.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

Claims (10)

1. 비디오 복호화 방법에 있어서,
   비디오 데이터의 영상을 구성하는 일부 유닛을 복호화 하는 단계;
   상기 복호된 일부 유닛의 참조 화소값들을 이용하여 복호 대상 유닛에 대한 주변 화소들의 화소값 변화량을 영역별로 산출하는 단계;
   상기 영역별 변화량에 기초하여 참조 화소 영역을 결정하는 단계;
   상기 참조 화소 영역의 움직임 벡터에 기초하여 움직임 벡터 예측자의 후보 리스트를 구성하는 단계; 및
   상기 후보 리스트를 이용하여 상기 복호 대상 유닛의 움직임 정보를 예측하는 단계를 포함하는 비디오 복호화 방법.
2. 제1항에 있어서,
   상기 후보 리스트를 구성하는 단계는
   상기 영역별 변화량이 가장 적은 영역을 상기 참조 화소 영역으로 결정하고, 상기 참조 화소 영역의 움직임 벡터를 상기 움직임 벡터 예측자의 후보 리스트에 포함시키는 단계를 포함하는
   비디오 복호화 방법.
3. 제1항에 있어서,
   상기 참조 화소 영역에 대응되는 위치에 움직임 정보가 존재하지 않는 경우 상기 위치에 대응되는 변화량은 계산하지 않는 것을 특징으로 하는 비디오 복호화 방법.
4. 제1항에 있어서,
   상기 변화량은 상기 복호 대상 유닛 주변 영역의 움직임 정보에 대응되는 방향에 따라 계산되는 것을 특징으로 하는 비디오 복호화 방법.
5. 제1항에 있어서,
   상기 후보 리스트를 구성하는 단계는,
   상기 참조 화소 영역이 인트라 부호화된 경우 후보 리스트 대상에서 제외하는 단계를 포함하는 비디오 복호화 방법.
6. 비디오 복호화 장치에 있어서,
   비디오 데이터의 영상을 구성하는 일부 유닛을 복호화 하는 복호화부;
   상기 복호된 일부 유닛의 참조 화소값들을 이용하여 복호 대상 유닛에 대한 주변 화소들의 화소값 변화량을 영역별로 산출하는 변화량 산출부; 및
   상기 영역별 변화량에 기초하여 참조 화소 영역을 결정하고, 상기 참조 화소 영역의 움직임 벡터에 기초하여 움직임 벡터 예측자의 후보 리스트를 구성하는 리스트 구성부를 포함하고,
   상기 복호화부는 상기 후보 리스트를 이용하여 상기 복호 대상 유닛의 움직임 정보를 예측하는 비디오 복호화 장치.
7. 제6항에 있어서,
   상기 리스트 구성부는 상기 영역별 변화량이 가장 적은 영역을 상기 참조 화소 영역으로 결정하고, 상기 참조 화소 영역의 움직임 벡터를 상기 움직임 벡터 예측자의 후보 리스트에 포함시키는 비디오 복호화 장치.
8. 제6항에 있어서,
   상기 변화량 상출부는 상기 참조 화소 영역에 대응되는 위치에 움직임 정보가 존재하지 않는 경우 상기 위치에 대응되는 변화량은 계산하지 않는 비디오 복호화 장치.
9. 제6항에 있어서,
   상기 변화량은 상기 복호 대상 유닛 주변 영역의 움직임 정보에 대응되는 방향에 따라 계산되는 것을 특징으로 하는 비디오 복호화 장치.
10. 제6항에 있어서,
    상기 리스트를 구성부는 상기 참조 화소 영역이 인트라 부호화된 경우 후보 리스트 대상에서 제외하는 비디오 복호화 장치.

Images