KR20090083290A

KR20090083290A - 어파인 변환 기반의 움직임 보상을 이용한 비디오 부호화 및 복호화 방법 및 장치

Info

Publication number: KR20090083290A
Application number: KR1020090007038A
Authority: KR
Inventors: 김동형; 정세윤; 최진수; 정원식; 문경애; 홍진우
Original assignee: 한국전자통신연구원
Priority date: 2008-01-29
Filing date: 2009-01-29
Publication date: 2009-08-03
Also published as: KR101003105B1; US8665958B2; US20100329347A1

Abstract

본 발명은 어파인 변환 기반의 움직임 보상을 이용한 비디오 부호화 및 복호과 방법과 그 장치에 관한 것이다. 본 비디오 부호화 방법은, 움직임 보상을 수행할 현재 블럭에 어파인(affine) 변환 객체가 존재하는지 여부를 판단하여, 어파인 변환 객체가 존재하는 경우에는 어파인 변환에 기초하여 현재 블럭을 움직임 보상하여 예측 블럭을 생성하고, 어파인 변환 객체가 존재하지 않는 경우에는 현재 블럭의 움직임 벡터에 기초하여 현재 블럭을 움직임 보상하여 예측 블럭을 생성한다. 이에 의해, 어파인 변환이 존재하는 경우에도 높은 성능을 유지할 수 있도록 비디오 신호를 부호화 및 복호화할 수 있다.

비디오, 부호화, 복호화, 어파인, 움직임 보상

Description

어파인 변환 기반의 움직임 보상을 이용한 비디오 부호화 및 복호화 방법 및 장치{Method for encoding and decoding video signal using motion compensation based on affine transform and apparatus thereof}

본 발명은 비디오 신호의 부호화 및 복호화 과정에서 어파인(affine) 변환에 기반한 움직임 보상(motion compensation)을 사용하여 비디오 신호를 부호화하는 비디오 부호화 및 복호화 방법과 그 장치에 관한 것이다.

본 발명은 정보통신부 및 정보통신연구진흥원의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2007-S-005-01, 과제명: AV 코덱 고도화를 통한 리치미디어 방송 기술개발].

H.264 비디오 표준 등의 인터프레임(inter frame) 부호화에서는, 블럭 단위의 움직임 추정을 통하여 현재의 블럭을 예측하고, 예측 오차에 대해서만 부호화를 수행한다는 점에서는 이전의 여러 부호화 방식과 유사하다. 그러나, 다양한 매크로 블럭(macroblock) 모드를 사용하며, 각 매크로블럭 모드에 따라 서로 다른 블럭크기로 움직임을 추정(estimation) 및 보상(compensation)한다는 점에서는 이전의 부호화 표준들과 비교된다. 이러한 특징으로 인해 H.264 등을 이용한 인터프레임 부호화는 다양한 매크로블럭 모드들에 대한 움직임 추정 이후 율-왜곡(Rate-Distortion) 관점에서 최적의 매크로블럭 모드를 선택하는 과정이 포함되며, 선택된 최적 매크로 블럭 모드에서의 예측 오차, 즉 현재 부호화블럭과 움직임 보상값의 차를 부호화함으로써 인터프레임의 부호화를 수행한다.

그런데, H.264 등을 이용한 인터프레임의 부호화 과정 등에서는 이전의 여러 비디오 부호화 표준들과 유사하게 수평 또는 수직 이동 성분만을 포함한 움직임 벡터를 추정하고 보상하고 있다. 즉, 도 1에 도시한 바와 같이, 현재 부호화 대상 블럭의 움직임 예측과 보상은 참조 프레임에서의 좌우 이동(mv_x) 및 상하 이동(mv_y)만을 고려하고 있다.

그러나, 이러한 수평 또는 수직방향으로의 이동만을 고려한 움직임 추정 및 보상은 상대적으로 낮은 복잡도를 가지지만, 부호화할 픽쳐 내의 객체(Object)들이 수평 또는 수직 이동 이외에, 회전, 확대, 축소 등과 같은 어파인(affine) 변환을 가지는 경우에는 높은 부호화 성능을 가질 수 없다. 반면에 부호화 과정에 포함되는 모든 움직임 추정 및 보상과정에서 객체의 모든 변화를 고려한다면 부호화 성능면에서는 향상을 가져올 수 있지만, 부호화 과정의 복잡도, 특히 움직임 추정단계에서의 복잡도는 현저히 증가하게 된다.

따라서, 본 발명의 목적은, 부호화할 픽쳐 내의 객체가 시간에 따라 회전, 확대, 축소 등과 같은 어파인 변환이 존재하는 경우에도 높은 성능을 유지할 수 있도록 비디오 신호를 부호화하는 비디오 부호화 방법 및 복호화 방벙과 그 장치를 제공함에 있다.

상기 목적을 달성하기 위한 본 발명에 따른 비디오 부호화 방법은, 움직임 보상을 수행할 현재 블럭에 어파인(affine) 변환 객체가 존재하는지 여부를 판단하는 단계, 상기 어파인 변환 객체가 존재하는 경우, 어파인 변환에 기초하여 상기 현재 블럭을 움직임 보상하여 예측 블럭을 생성하는 단계, 및 상기 어파인 변환 객체가 존재하지 않는 경우, 상기 현재 블럭의 움직임 벡터에 기초하여 상기 현재 블럭을 움직임 보상하여 상기 예측 블럭을 생성하는 단계를 포함한다.

상기 목적을 달성하기 위한 본 발명에 따른 비디오 부호화 장치는, 참조 블럭을 참조하여, 현재 블럭의 움직임벡터를 산출하는 움직임 추정부, 상기 현재 블럭에 어파인 변환 객체가 존재하는지 여부를 검출하여 대응하는 신호를 출력하는 어파인 객체 검출부, 및상기 어파인 객체 검출부에서 출력되는 신호에 따라, 어파인 변환 및 상기 움직임 벡터 중 어느 하나에 기초하여 상기 현재 블럭을 움직임 보상하여 예측 블럭을 생성하는 움직임 보상부를 포함한다.

한편, 본 발명에 따른 비디오 복호화 방법은, 참조 블럭에 어파인(affine) 변환 객체가 존재하는지 여부를 판단하는 단계, 상기 어파인 변환 객체가 존재하는 경우, 어파인 변환에 기초하여 상기 참조 블럭을 움직임 보상하여 예측 블럭을 생성하는 단계, 및 상기 어파인 변환 객체가 존재하지 않는 경우, 움직임 벡터에 기 초하여 상기 참조 블럭을 움직임 보상하여 상기 예측 블럭을 생성하는 단계를 포함한다.

또한, 상기 목적을 달성하기 위한 본 발명에 따른 비디오 복호화 장치는, 참조 블럭에 어파인(affine) 변환 객체가 존재하는지 여부를 검출하여 대응하는 신호를 출력하는 어파인 객체 검출부, 상기 어파인 객체 검출부에서 출력되는 신호에 따라, 어파인 변환 및 움직임 벡터 중 어느 하나에 기초하여 상기 참조 블럭을 움직임 보상하여 예측 블럭을 생성하는 움직임 보상부, 및 상기 예측 블럭과 잔여 신호의 합에 기초하여 현재 블럭을 생성하는 가산기를 포함한다.

상기 목적을 달성하기 위하여 본 발명에서는, 상기 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 프로세서가 읽을 수 있는 기록매체를 제공한다.

본 발명에 따르면, 어파인 변환 블럭을 검출하고 해당 블럭에 대해서 어파인 변환을 이용하여 움직임 추정 및 보상을 수행할 수 있다. 이에 따라, 일반적인 비디오 부호화 및 복호화 방법에서 블럭 단위로 움직임 추정(ME) 및 움직임 보상 예측(MCP)을 수행하는 경우, 수직 또는 수평 이동만을 고려하는 단점을 보안할 수 있다. 따라서, 본 발명을 사용하면, 부호화할 블럭 내의 객체(Object)가 회전, 확대, 축소 등과 같은 어파인 변환을 가지는 경우에도 높은 성능을 유지할 수 있으므로, 물체가 회전, 크기 변형, 외형 변형 등이 있거나, 카메라 움직임이 있는 경우에 성능이 저하되는 것을 방지할 수 있다.

또한, 본 발명에서는 이전 부화화된 매크로 블럭(MB)의 움직임 벡터만을 이 용하여 어파인 변환 모델을 구하므로, H.264 등과 같이 MB단위로 부호화를 처리하는 부호화 장치 등에 바로 적용가능하다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

도 2는 일반적인 인터프레임의 부호화 과정의 설명에 참조되는 도면이다. 도 2를 참조하면, 일반적인 인터프레임의 부호화 과정은 크게 4단계로 구성될 수 있다.

먼저, 1단계와 2단계(Phase 1, Phase 2)는 움직임을 추정하는 단계이다. 1단계(Phase 1)에서는 inter 16x16, inter 16x8, inter 8x16내의 각 블럭에 대한 움직임 벡터를 추정한다. 2단계(Phase 2)에서는 inter 8x8블럭 내에 포함되어 있는 각 부-매크로블럭에 대해서 inter 8x8, inter 8x4, inter 4x8, inter 4x4의 움직임 벡터를 추정한다.

3단계(Phase 3)는 inter 8x8 매크로 블럭내에 포함된 하나의 부-매크로블럭의 모드를 선택하는 과정으로서 율-왜곡 관점에서 최소의 비용값을 갖는 부-매크로블럭 모드를 선택한다. 이 과정에 사용되는 율-왜곡 함수는 다음의 식과 같다.

위의 [수학식 1]에서 Rate는 현재 부호화를 수행하는 블럭과 해당 블럭의 움직임 벡터를 사용하여 보상된 값과의 차이값 즉, 예측 오차와 움직임벡터와 같은 부가정보를 부호화하는데 사용되는 비트율을 나타낸다. 그리고, Distortion은 복 원된 값과 현재부호화 블럭의 값의 차이에 대한 제곱의 합을 나타낸다.

마지막으로 4단계(Phase 4)에서는 SKIP 및 인트라매크로 블럭 모드를 포함하여 모든 매크로 블럭 모드들 중 율-왜곡 관점에서의 최적의 모드를 선택한다.

이와 같은 일반적인 부호화 방법에 대해, 본 발명에 따른 비디오 부호화 및 복호화 방법은, 복잡도를 고려하여 움직임 추정 및 보상의 전과정에서 어파인 변환을 적용하는 대신, 움직임 보상과정(단계3 및 단계4)에서만 어파인 변환을 적용할 수 있다. 즉, 움직임 벡터의 추정시에는 수평 또는 수직 이동만을 고려하고, 이후 부 매크로블 모드 또는 매크로블럭 모드 선택 과정 내에 포함되는 움직임 보상 단계에서 객체의 회전, 확대, 축소 등을 고려할 수 있는 어파인(affine) 변환 기법의 움직임 보상을 수행함으로써, 복잡도의 증가를 최소함과 동시에 높은 부호화 성능을 가지도록 구성할 수 있다.

또한, 모든 부호화 블럭이 아닌 현재의 매크로 블럭 내에 회전, 확대, 축소 등의 어파인 변환을 가지는 객체가 있다고 고려되는 블럭에 대해서만 수행함으로써 복잡도의 증가를 최소화한다. 추가적으로 본 발명에서는 어파인변환 기반의 움직임 보상을 수행하는 블럭에 대해서도 기존 어파인 모델을 도출하기 위해 필요한 역행렬의 연산과정을 생략할 수 있는 방법을 제시함으로써, 낮은 추가 연산량만으로도 높은 부호화 성능을 가질 수 있도록 한다.

도 3은 본 발명의 일실시예에 따른 비디오 부호화 장치의 블럭도이다. 도 3을 참조하면, 본 비디오 부호화 장치는, 움직임 추정부(110), 어파인 객체 산출부(120), 및 움직임 보상부(130)를 포함한다.

움직임 추정부(120)는 참조 블럭을 참조하여 현재 블럭의 움직임 벡터를 산출한다. 어파인 객체 산출부(120)는 현재 블럭에 어파인 변환 객체가 존재하는지 여부를 검출한다. 움직임 보상부(130)는 어파인 객체 산출부(120)에서 검출된 신호에 따라, 후술하는 어파인 변환이나, 혹은 움직임 추정부(120)에서 산출한 움직임 벡터를 이용하여 현재 블럭을 보상하여 예측 블럭을 생성한다. 그리고, 도면에는 도시하지 않았지만, 현재 블럭과 예측 블럭의 차에 기초한 신호와 움직임 벡터 등의 부가정보가 포함된 신호를 부호화한 비트스트림을 생성하는 부호화부를 더 포함할 수 있다.

도 4는 본 발명에 따른 비디오 부호화 방법의 설명에 참조되는 도면이다. 도 4를 참조하면, 본 발명에 따른 비디오 부호화 방법은 크게 두 가지 단계로 구성될 수 있다. 단계 1(200)은 어파인 객체 산출부(120)에 의해 현재 블럭에 어파인 변환 객체가 포함되어 있는지의 여부를 판단하는 단계이다. 단계 2(220)는 단계 1에서 어파인 변환 객체가 포함되어 있다고 판단되는 경우, 주변 움직임 벡터의 정보들을 사용하여 현재 블럭을 어파인 변환을 통하여 보상한다(221). 또한, 어파인 변환 객체가 포함되어 있지 않다고 판단되는 경우, 일반적인 움직임 보상이 수행된다(223).

본 발명의 단계 1(200)에서는 현재의 블럭 내에 어파인 변화를 가지는 객체가 포함되어 있는지의 여부를 판단하는 단계로서, 현재 블럭과 주변블럭에서의 움직임 벡터와 참조프레임 그리고 부호화 과정에서 사용된 매크로 블럭 모드 정보 등이 사용된다(201).

다음의 두 항목은 현재 부호화 블럭 내에 어파인 변화를 가지는 객체가 있다고 판단하는 기준을 나타내며, 이외의 경우에 대해서는 움직임 보상과정에서 어파인 변환을 적용하지 않는다.

첫째, 현재 부호화 블럭의 움직임 벡터와 주변 블럭들의 움직임벡터들 간의 최대 각이 미리 정의된 일정 각도 이내에 포함되는 경우, 둘째, 어파인 변환을 적용한 경우 기존의 수평 및 수직 이동만을 고려한 경우와 비교하여 최대 변이량이 미리 정의한 일정값 이내로 한정되는 경우 등이다.

또한, 다음의 조건에 해당하는 블럭에 대해서도 어파인 변환을 적용하지 않는다.

첫째, 주변에 위치한 블럭 중 하나 이상이 인트라로 부호화 된 경우, 둘째, 현재의 블럭이 화면의 좌측 및 상단 가장자리에 위치한 경우, 그리고, 세째, 주변 블럭 및 현재 부호화 블럭에서의 참조프레임이 다른 경우 등이다.

상기의 조건에 따라 현재 블럭 내에 어파인 객체의 포함 여부를 판별하고, 이에 따라 어파인 변환에 기초한 움직임 보상 및 본 발명의 적용 여부를 결정하다.

본 발명에 따른 비디오 부호화 및 복호화 방법에서는 기본적으로 8x8 블럭단위로 수행되며, 단계 1에서 현재부호화대상 블럭 내에 어파인 변환을 가지는 객체가 포함되어 있다고 판단되는 경우에 한해서 어파인 변환기반의 움직임 보상을 수행한다. 이 과정에서 인과성(causality)이 성립하는 범위 내의 움직임벡터만을 사용하여 어파인 변환 기반의 움직임 보상을 수행함으로써, 이중패스부호화(two-pass coding)구조와 같은 복잡도 문제를 가지지 않는다.

도 5는 본 발명의 적용에 있어 8x8 블럭들은 다시 8개의 삼각형 조각들(300, 301, 302, 303, 304, 305, 306, 307)로 나뉘어지 것을 나타내며, 이들 각각은 서로 다른 어파인 모델을 사용하여 움직임을 보상한다.

도 6은 8x8 블럭 내에 포함되어 있는 각 삼각형 조각들의 위치에서 어파인 모델을 도출하기 위해 사용되는 움직임벡터를 나타내며, 각 삼각형 조각 위치에서의 어파인 모델은 현재 부호화 대상 블럭(8x8)에서 고려하고 있는 매크로블럭 모드 및 주변 블럭들의 매크로블럭 모드에 따라 다르게 선택될 수 있다. 가령, 현재 부호화 대상 블럭(8x8)의 위치가 매크로블럭의 우하단부(즉, 매크로블럭 내에서 마지막 8x8 블럭)에 위치하고, 고려하고 있는 현재 매크로블럭 모드가 16x16인 경우, Block0 ~ Block7 에 사용되는 모든 움직임벡터는 동일한 값을 가지기 때문에 모든 어파인 모델은 기존의 방법과 같은 이동(Translation)만을 포함하게 되며, 모든 블럭에서 동일한 모델식을 갖는다.

다음의 수학식 2는 (x,y) →(x', y')으로의 어파인 변환식을 나타낸다. 어파인모델에 포함되어있는 a, b, c, d, e, 그리고 f의 값을 구하기 위해서는 모두 6개의 방정식이 필요하며, 이를 위해서 (x,y)쌍에 대한 최소 3개의 변환 값이 필요하다. (만일 3개 이상인 경우 Least Square Solution 문제임). 이들 세 개의 변환 값들에 대한 쌍을 각각 (x₀, y₀), (x₁, y₁), (x₂, y₂) 및 (x'₀, y'₀), (x'₁, y'₁), (x'₂, y'₂)라 한다면, 어파인 행렬에 포함된 6개의 파라미터는 [수학식 3]를 이용하여 구할 수 있다.

본 발명에 따른 비디오 부호화 및 복호화 방법에서, 8x8 블럭 내에 포함되어 있는 각각의 삼각형 조각의 꼭지점 위치에서의 변위량을 이용하여 해당 삼각형 조각 위치에서의 어파인 모델을 도출한다. 본 발명의 실제 적용에 있어 [수학식 3]에 포함되어 있는 6x6 역행렬은 연산과정은 포함할 필요가 없다. 이는 각 블럭 내의 위치에 대응하는 8개의 역행렬을 미리 구하고 이를 이용하기 때문이며, 이로 인해 본 발명은 매우 낮은 복잡도만을 가진다. 이에 대한 설명은 후에 예제와 함께 기술하기로 한다.

도 7은 현재 부호화 블럭에서 Block0 에 위치하는 블럭이 이전 프레임 내의 가로축으로는 1/2로 축소되고, 오른쪽으로 45도 기울어진 객체를 포함한 경우를 도시하고 있다.

이때 Block0에 대한 어파인 모델을 구하기 위한 세 개의 변위점은, 도 8에 도시한 바와 같이, (x₀,y₀)→(x₀+mv_x0, y₀+mv_y0), (x₁,y₁)→(x₁+mv_x1, y₁+mv_y1), (x₂,y₂)→(x₂+mv_x2, y₂+mv_y2)이다. H.264 비디오 부호화 방식 등은 최소 4x4 블럭단위로 움직임벡터를 가지기 때문에 mv_x0~ mv_x2은 각각 다른 값을 가질 수 있다. 단, 주변 블럭이 4x4 블럭이상의 단위로 움직임벡터를 갖는 경우에는 해당 블럭에 포함된 모든 4x4블럭들이 동일한 움직임벡터를 갖는 것으로 고려한다.

이들 세 개의 변위점을 사용하여 어파인 모델을 구하는 수식은 다음의 식과 같다.

상기의 수학식 4에 있어 행렬 A에는 현재 부호화 블럭과 주변 블럭에서의 좌표값이 포함되어 있지만, x0와 y0의 값을 원점에 매핑함으로써 현재 부호화 블럭의 위치에 상관없이 블럭내의 위치(block0~block1)에 따라 항상 동일하게 적용할 수 있다.

가령 상기의 예제의 경우에는 다음의 [수학식 5]와 같이 변환가능하며 이를 적용한 것이 [수학식 6]이다. 이때 H.264 비디오 부호화는 움직임벡터 추정시 1/4-화소단위로 수행하기 때문에 한 화소간의 거리는 4의 값을 갖는다.

따라서,어파인 모델을 사용하여 상기 예제의 좌표를 가지는 삼각형 내에 포함되어 있는 (4,-12)의 화소가 (4+mv_x2+Δx, -12+mv_y2+Δy)만큼 이동하였다면, 임의의 블럭위치에서도 동일한 변위량인 Δx 및 Δy 만큼의 변위를 갖게 되기 때문이다. 이는 연산량의 감소에 매우 중요한 역할을 수행하게 되는데 이는 행렬 A의 역행렬을 구하기 위한 과정 없이 각 블럭의 위치에서 미리 계산된 값을 사용하여 어파인모델을 구할 수 있기 때문이다.

블럭 내에 포함되어 있는 나머지 삼각형 조각들(Block1 ~ Block7)에 대해서도 이와 동일한 방법을 적용한다.

마지막으로 상기의 과정을 통해서 어파인 모델이 구해지면, [수학식 7]을 통하여 움직임보상을 수행한다.

이와 같은 과정에 의해, 부호화할 현재 블럭에 어파인 변환 객체가 존재하는경우, 어파인 변환에 기초한 움직임 보상을 수행하여 높은 부호화 성능을 유지할 수 있다.

한편, 전술한 방법에 의해 부호화된 신호를 복호화 과정에서는 전술한 부호화 과정이 역으로 수행된다. 즉, 참조 블럭에 어파인(affine) 변환 객체가 존재하는지 여부를 판단하여, 어파인 변환 객체가 존재하는 경우에는, 어파인 변환에 기초하여 참조 블럭을 움직임 보상하여 예측 블럭을 생성한다. 또한, 어파인 변환 객체가 존재하지 않는 경우에는, 움직임 벡터에 기초하여 참조 블럭을 움직임 보상하여 예측 블럭을 생성한다. 그리고, 생성한 예측 블럭과 복호화할 비디오 신호에 포함된 잔여신호를 이용하여 현재 블럭을 생성할 수 있다. 따라서, 복호화 장치에도 참조 블럭에 어파인 객체가 존재하는지 여부를 검출하는 어파인 객체 산출부가 포함될 수 있으며, 그 밖의 과정은 일반적인 비디오 복호화 과정에서 이용되는 구성요소를 이용할 수 있다.

그리고, 본 발명에 따른 비디오 부호화 및 복호화 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택 적으로 조합되어 구성될 수도 있다.

한편, 본 발명은 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

도 1은 움직임 예측과 보상시 좌우 이동 및 상하 이동만을 고려하는 경우를 설명하기 위한 도면,

도 2는 일반적인 인터프레임 부호화 과정의 설명에 참조되는 도면,

도 3은 본 발명의 일실시예에 따른 비디오 부호화 장치의 블럭도,

도 4는 본 발명에 따른 비디오 부호화 방법의 설명에 참조되는 도면,

도 5는 8×8 블럭의 8개의 삼각형 조각으로 나누어진 상태를 도시한 도면,

도 6은 8×8 블럭에 포함되는 삼각형 조각들의 위치에서 어파인 변환을 도출하기 위해 사용되는 움직임 벡터를 설명하기 위한 도면, 그리고

도 7 및 도 8은 본 발명에서 사용되는 어파인 변환을 설명하기 위해 참조되는 도면이다.

Claims

움직임 보상을 수행할 현재 블럭에 어파인(affine) 변환 객체가 존재하는지 여부를 판단하는 단계;

상기 어파인 변환 객체가 존재하는 경우, 어파인 변환에 기초하여 상기 현재 블럭을 움직임 보상하여 예측 블럭을 생성하는 단계; 및

상기 어파인 변환 객체가 존재하지 않는 경우, 상기 현재 블럭의 움직임 벡터에 기초하여 상기 현재 블럭을 움직임 보상하여 상기 예측 블럭을 생성하는 단계를 포함하는 비디오 부호화 방법.
제1항에 있어서,

상기 현재 블럭과 상기 예측 블럭의 차에 기초하는 신호를 생성하는 단계를 더 포함하는 것을 특징으로 하는 비디오 부호화 방법.
제2항에 있어서,

상기 신호를 부호화한 데이터가 포함된 비트스트림을 생성하는 단계를 더 포함하는 것을 특징으로 하는 비디오 부호화 방법.
제1항에 있어서,

참조 블럭을 참조하여, 상기 현재 블럭의 움직임벡터를 산출하는 단계를 더 포함하는 것을 특징으로 하는 비디오 부호화 방법.
제1항에 있어서,

상기 어파인 변환 객체가 존재하지만, 상기 현재 블럭이 화면의 좌측 및 상단 경계에 위치하는 경우, 상기 현재 블럭의 움직임 벡터에 기초한 움직임 보상을 수행하는 것을 특징으로 하는 비디오 부호화 방법.
제1항에 있어서,

상기 어파인 변환 객체가 존재하지만, 상기 현재 블럭의 주변 블럭중 적어도 하나가 인트라 부호화된 경우 및 상기 주변 블럭 및 상기 현재 블럭의 참조 블럭이 다른 경우, 상기 현재 블럭의 움직임 벡터에 기초한 움직임 보상을 수행하는 것을 특징으로 하는 비디오 부호화 방법.
제1항에 있어서,

상기 어파인 변환 객체가 존재하지만, 상기 현재 블럭의 움직임 벡터와 주변 블럭의 움직임 벡터들간의 최대각이 기준각도 보다 큰 경우, 상기 현재 블럭의 움직임 벡터에 기초한 움직임 보상을 수행하는 것을 특징으로 하는 비디오 부호화 방법.
제1항에 있어서,

상기 어파인 변환 객체가 존재하지만, 상기 어파인 변환시 최대 변이량이 기준 변이량 보다 큰 경우, 상기 현재 블럭의 움직임 벡터에 기초한 움직임 보상을 수행하는 것을 특징으로 하는 비디오 부호화 방법.
제1항에 있어서,

상기 어파인 변환시, 상기 현재 블럭을 소정 개의 삼각 블럭으로 분할하고, 각 삼각 블럭에 서로 다른 어파인 모델을 적용하는 것을 특징으로 하는 비디도 부호화 방법.
참조 블럭을 참조하여, 현재 블럭의 움직임벡터를 산출하는 움직임 추정부;

상기 현재 블럭에 어파인(affine) 변환 객체가 존재하는지 여부를 검출하여 대응하는 신호를 출력하는 어파인 객체 검출부; 및

상기 어파인 객체 검출부에서 출력되는 신호에 따라, 어파인 변환 및 상기 움직임 벡터 중 어느 하나에 기초하여 상기 현재 블럭을 움직임 보상하여 예측 블럭을 생성하는 움직임 보상부를 포함하는 부호화 장치.
제10항에 있어서,

상기 현재 블럭과 상기 예측 블럭의 차에 기초한 신호를 생성하는 차분기를 더 포함하는 것을 특징으로 하는 비디오 부호화 장치.
제11항에 있어서,

상기 신호를 부호화한 데이터가 포함된 비트스트림을 생성하는 부호화부를 더 포함하는 것을 특징으로 하는 비디오 부호화 장치.
참조 블럭에 어파인(affine) 변환 객체가 존재하는지 여부를 판단하는 단계;

상기 어파인 변환 객체가 존재하는 경우, 어파인 변환에 기초하여 상기 참조 블럭을 움직임 보상하여 예측 블럭을 생성하는 단계; 및

상기 어파인 변환 객체가 존재하지 않는 경우, 움직임 벡터에 기초하여 상기 참조 블럭을 움직임 보상하여 상기 예측 블럭을 생성하는 단계를 포함하는 비디오 복호화 방법.
제13항에 있어서,

수신한 비디오 신호의 비트스트림을 재구성하여, 상기 참조 블럭의 움직임 보상에 사용되는 움직임 벡터 및 잔여 신호를 생성하는 단계를 더 포함하는 것을 특징으로 하는 비디오 복호화 방법.
제14항에 있어서,

상기 예측 블럭과 상기 잔여 신호에 기초하여 현재 블럭을 생성하는 단계를 더 포함하는 것을 특징으로 하는 비디오 복호화 방법.
제13항에 있어서,

상기 어파인 변환시, 상기 현재 블럭을 소정 개의 삼각 블럭으로 분할하고, 각 삼각 블럭에 서로 다른 어파인 모델을 적용하는 것을 특징으로 하는 비디도 복호화 방법.
참조 블럭에 어파인(affine) 변환 객체가 존재하는지 여부를 검출하여 대응하는 신호를 출력하는 어파인 객체 검출부;

상기 어파인 객체 검출부에서 출력되는 신호에 따라, 어파인 변환 및 움직임 벡터 중 어느 하나에 기초하여 상기 참조 블럭을 움직임 보상하여 예측 블럭을 생성하는 움직임 보상부; 및

상기 예측 블럭과 잔여 신호의 합에 기초하여 현재 블럭을 생성하는 가산기를 포함하는 비디오 복호화 장치.
제17항에 있어서,

수신한 비디오 신호의 비트스트림을 재구성하여, 상기 참조 블럭의 움직임 보상에 각각 사용되는 움직임벡터 및 상기 잔여신호를 생성하는 복호화부를 더 포함하는 것을 특징으로 하는 비디오 복호화 장치.
움직임 보상을 수행할 현재 블럭에 어파인(affine) 변환 객체가 존재하는지 여부를 판단하는 단계;

상기 어파인 변환 객체가 존재하는 경우, 어파인 변환에 기초하여 상기 현재 블럭을 움직임 보상하여 예측 블럭을 생성하는 단계; 및

상기 어파인 변환 객체가 존재하지 않는 경우, 상기 현재 블럭의 움직임 벡터에 기초하여 상기 현재 블럭을 움직임 보상하여 상기 예측 블럭을 생성하는 단계를 포함하는 비디오 부호화 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 프로세서가 읽을 수 있는 기록매체.
참조 블럭에 어파인(affine) 변환 객체가 존재하는지 여부를 판단하는 단계;

상기 어파인 변환 객체가 존재하는 경우, 어파인 변환에 기초하여 상기 참조 블럭을 움직임 보상하여 예측 블럭을 생성하는 단계; 및

상기 어파인 변환 객체가 존재하지 않는 경우, 움직임 벡터에 기초하여 상기 참조 블럭을 움직임 보상하여 상기 예측 블럭을 생성하는 단계를 포함하는 비디오 복호화 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 프로세서가 읽을 수 있는 기록매체.