KR20110087871A

KR20110087871A - 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치

Info

Publication number: KR20110087871A
Application number: KR1020100007506A
Authority: KR
Inventors: 정제창; 이강준
Original assignee: 한양대학교 산학협력단; 중앙대학교 산학협력단
Priority date: 2010-01-27
Filing date: 2010-01-27
Publication date: 2011-08-03
Also published as: KR101562343B1

Abstract

본 발명은 1/4 픽셀 해상도의 모션 추정 및 모션 보상에서 사용되는 1/4 픽셀 해상도의 영상 보간 기술에 관한 것이다. 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법은, 복수의 인트라 모드 중에서 최적의 인트라 모드를 얻는 단계와, 입력 영상을 하프 픽셀 정밀도로 보간하는 단계와, 상기 하프 픽셀 정밀도로 보간된 영상으로부터 쿼터 픽셀 정밀도로 보간하기 전에, 쿼터 픽셀 위치에 대한 모든 주변 픽셀이 이미 복원되어 있으면 상기 쿼터 픽셀 위치를 제2 분류로, 그렇지 않으면 상기 쿼터 픽셀 위치를 제1 분류로 분류하는 분류하는 단계와, 상기 제1 분류에 속하는 쿼터 픽셀 위치에 속하는 쿼터 픽셀을 상기 최적의 인트라 모드와 상관없이 보간하는 단계와, 상기 제2 분류에 속하는 쿼터 픽셀 위치에 속하는 쿼터 픽셀을, 상기 최적의 인트라 모드가 나타내는 방향을 참조하여 보간하는 단계로 이루어진다.

Description

인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치{Method and apparatus for image interpolation having quarter pixel accuracy using intra prediction modes}

본 발명은 비디오 압축 방법에 관한 것으로, 보다 상세하게는, 1/4 픽셀 해상도의 모션 추정 및 모션 보상에서 사용되는 1/4 픽셀 해상도의 영상 보간 기술에 관한 것이다.

인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송 시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.

데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려한 심리시각 중복을 제거함으로써 데이터를 압축할 수 있다.

이러한 동영상 압축 기법의 표준화를 위하여, MPEG(Moving Picture Experts Group)-2, MPEG-4, H.264 등 다양한 비디오 코딩 표준들이 등장하고 있다. 도 1에 도시된 바와 같이, 모든 비디오 코딩 기술들은 인접한 비디오 프레임들 간의 시간적 중복성을 제거하기 위하여 블록 모션 추정(block motion estimation)이라는 기법을 채택하고 있다.

예를 들어, 현재 프레임(10) 내의 어떤 블록(12)을 부호화하기 위해서는, 현재 프레임(10)과 다른 시간적 위치에 있는 참조 프레임(15)에서 상기 블록(12)과 매칭되는 블록(17)을 찾는다. 이 후, 현재 프레임(10)의 블록(12)과 참조 프레임(15)의 블록(17) 간의 차분(residual)을 구한 후, 이 차분을 부호화함으로써 부호화 효율을 높이는 것이다. 여기서, 블록들 간의 변위는 모션 벡터로서 표시되며, 모션 벡터에 의하여 참조 프레임(15)에 관한 모션 보상이 이루어진다.

이와 같이 모션 보상된 프레임을 예측 영상으로 하여, 원래의 영상으로부터 이를 차분함으로써 코딩될 데이터의 크기를 감소시킬 수 있는 것이다.

도 2는 종래의 H.264에 따른 1/4 픽셀 해상도의 영상 보간 방법을 설명하기 위한 도면이다. 도 2에서 x, y의 위치에 있는 총 16개의 픽셀 중에서 회색으로 표시된 픽셀은 정수 픽셀을, 붉은 색으로 표시된 픽셀은 하프 픽셀을, 그리고 노란색 또는 녹색으로 표시된 픽셀은 쿼터 픽셀을 각각 나타낸다.

코딩 효율의 향상을 위하여, H.264의 모션 추정 및 보상은 전술한 바와 같이 1/4 픽셀 해상도에 기초하고 있다. 따라서, 모션 보상 예측을 수행하기 위하여는, 참조 영상은 1/4 픽셀 해상도로 보간되어야 한다. 이러한 과정에서, H.264에서는 6탭의 위너(Wiener) 보간 필터가 사용된다.

상기 보간 과정은, 두 개의 단계로 수행되는데, 도 2를 참조하면, 먼저 제1 단계에서는, B(x, y-2), B(x, y-1), B(x, y), B(x, y+1), B(x, y+2), B(x, y+3)과, H(x-1, x), H(x, y), H(x+1, y), H(x+2, y), H(x+3, y)가 6탭의 위너 필터를 사용하여 계산된다. 그 다음, J(x, y)는 동일한 위너 보간 필터를 사용하여 B(x, y-2), B(x, y-1), B(x, y), B(x, y+1), B(x, y+2), B(x, y+3)을 필터링함으로써 생성된다.

A(x, y), C(x, y) 및 I(x, y), K(x, y)는 인접한 정수 픽셀 또는 하프 픽셀 위치의 샘플들을 이용하여 수평으로 보간된다. 그리고, D(x, y), F(x, y), L(x, y), N(x, y)는 수직으로 보간된다.

마지막으로, E(x, y), G(x, y), M(x, y), O(x, y)는 대각선 방향으로 보간된다.

이러한 간단한 보간 과정이 H.264에서 사용되기 때문에 계산의 복잡성은 상당히 감소될 수 있는 것이다. 그러나, 상기 참조 영상의 지역적인 특성이 고려되고 있지 않기 때문에, 상기 예측 효율은 감소될 수밖에 없다.

따라서, 본 발명은 4x4 인트라 예측으로부터의 정보에 기초하여 적응적인 보간 기술을 제안하고자 한다. 따라서, 본 발명은 최적의 인트라 모드가 픽셀들 간의 방향성과 매우 높은 연관성을 가질 가능성이 높다는 가정을 바탕으로 한다.

본 발명은 상기한 필요성을 감안하여 창안된 것으로, 보다 높은 정확성을 가지면서도 연산량을 그다지 증가시키지 않는 1/4 픽셀 해상도의 모션 보간 방법 및 장치를 제공하는 것을 목적으로 한다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법은, (a) 복수의 인트라 모드 중에서 최적의 인트라 모드를 얻는 단계; (b) 입력 영상을 하프 픽셀 정밀도로 보간하는 단계; (c) 상기 하프 픽셀 정밀도로 보간된 영상으로부터 쿼터 픽셀 정밀도로 보간하기 전에, 쿼터 픽셀 위치에 대한 모든 주변 픽셀이 이미 복원되어 있으면 상기 쿼터 픽셀 위치를 제2 분류로, 그렇지 않으면 상기 쿼터 픽셀 위치를 제1 분류로 분류하는 분류하는 단계; (d) 상기 제1 분류에 속하는 쿼터 픽셀 위치에 속하는 쿼터 픽셀을 상기 최적의 인트라 모드와 상관없이 보간하는 단계; 및 (e) 상기 제2 분류에 속하는 쿼터 픽셀 위치에 속하는 쿼터 픽셀을, 상기 최적의 인트라 모드가 나타내는 방향을 참조하여 보간하는 단계를 포함한다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 장치는, 복수의 인트라 모드 중에서 최적의 인트라 모드를 얻는 인트라 예측부; 입력 영상을 하프 픽셀 정밀도로 보간하는 하프 픽셀 보간부; 상기 하프 픽셀 정밀도로 보간된 영상으로부터 쿼터 픽셀 정밀도로 보간하기 전에, 쿼터 픽셀 위치에 대한 모든 주변 픽셀이 이미 복원되어 있으면 상기 쿼터 픽셀 위치를 제2 분류로, 그렇지 않으면 상기 쿼터 픽셀 위치를 제1 분류로 분류하는 분류하는 쿼터 픽셀 분류부; 상기 제1 분류에 속하는 쿼터 픽셀 위치에 속하는 쿼터 픽셀을 상기 최적의 인트라 모드와 상관없이 보간하는 제1 보간부; 및 상기 제2 분류에 속하는 쿼터 픽셀 위치에 속하는 쿼터 픽셀을, 상기 최적의 인트라 모드가 나타내는 방향을 참조하여 보간하는 제2 보간부를 포함한다.

본 발명에 따르면, 이미 구해져 있는 인트라 모드를 그대로 이용하기 때문에, 종래의 H.264에서의 쿼터 픽셀 해상도의 모션 보간 기법에 비하여, 연산량을 그다지 증가시키지 않으면서도 보다 높은 정확성을 갖는 쿼터 픽셀 해상도의 모션 보간이 가능하게 된다.

도 1은 통상의 블록 모션 추정의 개념을 보여주는 도면.
도 2는 종래의 H.264에 따른 1/4 픽셀 해상도의 영상 보간 방법을 설명하기 위한 도면.
도 3은 본 발명의 일 실시예에 따른 쿼터 픽셀 해상도의 영상 보간 장치를 도시하는 블록도.
도 4는 H.264의 9개의 인트라 모드를 보여주는 도면.
도 5는 제2 분류에 속하는 쿼터 픽셀 및 그 주변 픽셀들을 보여주는 도면.
도 6은 본 발명의 일 실시예에 따른 비디오 인코더의 구성을 도시한 블록도.
도 7은 본 발명의 일 실시예에 따른 비디오 디코더의 구성을 도시한 블록도.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

도 3은 본 발명의 일 실시예에 따른 쿼터 픽셀 해상도의 영상 보간 장치(100)를 도시하는 블록도이다. 영상 보간 장치(100)는 인트라 예측부(105), 하프 픽셀 보간부(110), 쿼터 픽셀 분류부(120), 제1 보간부(130), 제2 보간부(140) 및 픽셀 버퍼(150)를 포함하여 구성될 수 있다.

인트라 예측부(105)는 현재 블록에 대한 최적의 방향적 인트라 모드(이하, 인트라 모드라고 함)를 예측한다. 구체적으로 최적의 인트라 모드는 율-왜곡(rate-distortion)에 기반하여 수학식 1과 같은 비용 함수(C)에 기초하여 계산될 수 있다. 여기서, E는 부호화된 비트를 디코딩하여 복원된 신호와 원 신호와의 차이를 의미하고, B는 각각의 코딩에 있어서 소요되는 비트량을 의미한다. 또한, λ는 라그랑지안 계수로서 E와 B의 반영 비율을 조절할 수 있는 계수를 의미한다.

[수학식 1]

C = E + λ×B

H.264에서는 인트라 모드는 도 4와 같은 총 9개의 모드가 존재한다. 즉, 현재 블록에 인접한 픽셀들(A 내지 M의 최대 13개의 픽셀)로부터 다양한 인트라 모드로 예측을 수행하여 상기 비용 함수를 구한 후, 상기 비용 함수가 최소로 되는 인트라 모드를 상기 현재 블록의 인트라 모드로 결정하는 것이다. 이와 같이 결정된 인트라 모드는 대응되는 방향으로 픽셀들 간의 연관성이 가장 높다는 것을 말해준다. 예를 들어, 모드 0의 경우에는 수직 방향으로 픽셀들 간의 연관성이 가장 높다는 것을 의미한다.

이와 같이, 비디오 인코더에서 영상 보간을 수행하는 경우라면 이와 같이 최적의 인트라 모드를 계산하여야 하지만, 비디오 디코더에서 영상 보간을 수행하는 경우라면 별도의 인트라 모드 계산은 불필요하고, 비디오 인코더로부터 제공된 인트라 모드 정보를 이용하면 된다.

하프 픽셀 보간부(110)는 정수 픽셀 해상도를 갖는 입력 영상을 하프 픽셀 해상도를 갖는 영상으로 보간한다. 이러한 보간은 도 2에서 회색의 정수픽셀로부터 붉은 색의 하프 픽셀을 보간하는 과정으로서 종래의 H.264에서와 동일한 6탭의 위너 필터를 사용하여도 무방하다.

쿼터 픽셀 분류부(120)는 쿼터 픽셀 해상도로 보간을 수행하기 이전에 쿼터 픽셀들의 종류(위치)에 따라서 제1 분류에 속하는 쿼터 픽셀과 제2 분류에 속하는 쿼터 픽셀로 분류한다. 상기 제1 분류에 속하는 쿼터 픽셀 위치는 제1 보간부(130)에 제공되고 상기 제2 분류에 속하는 쿼터 픽셀 위치는 제2 보간부(140)에 제공된다.

상기 제1 분류는 해당 쿼터 픽셀을 둘러싼 주변 픽셀들(예: 8개의 픽셀) 중에 복원되지 않는 픽셀이 존재하는 경우를 나타내고, 상기 제2 분류는 해당 쿼터 픽셀을 둘러싼 상기 주변 픽셀들이 모두 복원되어 있는 경우를 나타낸다.

제1 보간부(130)는 상기 제1 분류에 속하는 쿼터 픽셀 위치를 참조하여, 상기 제1 분류에 속하는 쿼터 픽셀을 종래의 방식에 따라 보간한다. 도 2를 참조하면, 쿼터 픽셀들(전술한 바와 같이 노란색 또는 녹색으로 표시된 픽셀들) 중에서 노란색으로 표시된 픽셀들, 즉 A(x, y), C(x, y), D(x, y), F(x, y), I(x, y), K(x, y), L(x, y) 및 N(x, y)는 그 픽셀들을 보간하기 전에 주변의 8개의 픽셀이 모두 복원되어 있지 않으므로, 본 발명에서 제안하는 인트라 모드를 적용하기가 용이하지 않다. 따라서, 이러한 픽셀들에 대해서는 예를 들어, 종래의 H.264에서와 마찬가지의 방식으로 보간을 수행하는 것이다.

즉, A(x, y), C(x, y) 및 I(x, y), K(x, y)는 인접한 정수 픽셀 또는 하프 픽셀 위치의 샘플들을 이용하여 수평으로 보간되고, D(x, y), F(x, y), L(x, y), N(x, y)는 인접한 정수 픽셀 또는 하프 픽셀 위치의 샘플들을 이용하여 수직으로 보간된다.

한편, 제2 보간부(140)는 상기 제2 분류에 속하는 쿼터 픽셀 위치를 참조하여, 상기 제2 분류에 속하는 쿼터 픽셀을 이미 계산된 인트라 모드에 따른 방향성을 고려하여 보간한다. 예를 들어, 도 2에서 녹색으로 표시된 픽셀인 E(x, y), G(x, y), M(x, y) 및 O(x, y)는 이미 주변의 9개의 픽셀이 모두 복원되어 있기 때문에, 방향성을 고려한 보간이 가능하다. 이러한 제2 분류에 속하는 쿼터 픽셀의 위치는 하나의 정수 픽셀을 기준으로 보면 상기 정수 픽셀의 4개의 모서리 위치에 있는 주변 픽셀의 위치라고도 볼 수 있다.

그런데, 비디오 인코더의 경우에는 특정 픽셀이 인터 매크로블록에 속하든지 인트라 매크로블록에 속하든지 상관없이 최적의 인트라 모드가 계산되므로 상기 계산된 정보를 항상 이용할 수 있지만, 비디오 디코더의 경우에는 특정 픽셀이 인트라 매크로블록에 속하는 경우에만 이와 같은 방향성을 고려한 보간이 가능함은 물론이다.

구체적으로 제2 분류에 속하는 쿼터 픽셀을 보간하는 구체적인 방법은 도 5를 참조하여 설명된다.

도 5에서 보간하고자 하는 쿼터 픽셀 중에서 E(x, y)의 주변에는 총 8개의 픽셀들이 둘러싸고 있다. 이 때, 만약, x, y의 위치에 있는 정수 픽셀, 즉 P(x, y)의 인트라 모드를 P_mode(x,y)라고 표시한다면, 쿼터 픽셀 E(x, y)는 다음의 표 1과 같은 의사 코드에 의하여 보간될 수 있다.

If(P_mode(x,y)=1, 6 or 8)
E(x,y) = [D(x,y)+F(x,y)]/2
Else If(P_mode(x,y)=0, 5 or 7)
E(x,y) = [A(x,y)+I(x,y)]/2
Else If(P_mode(x,y)=4)
E(x,y) = [P(x,y)+J(x,y)]/2
Else If(P_mode(x,y)=3)
E(x,y) = [B(x,y)+H(x,y)]/2
Else
E(x,y) = [A(x,y)+D(x,y)+F(x,y)+I(x,y)]/4

즉, 인트라 모드가 1(horizontal), 6(horizontal down) 또는 8(horizontal up)인 경우에는 픽셀들 간에는 수평 방향으로 연관성이 높다고 볼 수 있으므로, 주변 픽셀들 중에서 좌우의 픽셀들의 평균에 의하여 현재 쿼터 픽셀을 보간한다.

인트라 모드가 0(vertical), 5(vertical right) 또는 7(vertical left)인 경우에는 픽셀들 간에는 수직 방향으로 연관성이 높다고 볼 수 있으므로 주변 픽셀들 중에서 상하의 픽셀들의 평균에 의하여 현재 쿼터 픽셀을 보간한다.

인트라 모드가 4(diagonal down-right)인 경우에는 픽셀들 간에는 우하 대각선 방향으로 연관성이 높다고 볼 수 있으므로 주변 픽셀들 중에서 좌상 및 우하의 픽셀 간의 평균에 의하여 현재 쿼터 픽셀을 보간한다.

인트라 모드가 3(diagonal down-left)인 경우에는 픽셀들 간에는 수평 방향으로 연관성이 높다고 볼 수 있으므로 주변 픽셀들 중에서 우상 및 좌하의 픽셀 간의 평균에 의하여 현재 쿼터 픽셀을 보간한다.

그 이외 경우, 즉 인트라 모드가 2(DC)인 경우에는 픽셀들 간에는 방향성이 없다고 볼 수 있으므로 현재 쿼터 픽셀에 가장 근접한 4개의 픽셀의 평균에 의하여 현재 쿼터 픽셀을 보간한다.

이상에서는 E(x,y)의 보간에 대하여 설명하였지만, 나머지 G(x, y), M(x, y) 및 O(x, y)도 동일한 방식으로 주변의 8개의 픽셀들로부터 보간될 수 있음은 물론이다.

마지막으로 픽셀 버퍼(150)는 원래의 입력 영상으로부터 얻어지는 정수 픽셀, 하프 픽셀 보간부(110)로부터 얻어지는 하프 픽셀 및 제1 보간부(130)와 제2 보간부(140)로부터 얻어지는 쿼터 픽셀을 조합하여 쿼터 픽셀 해상도를 갖는 보간된 영상을 생성한다.

다음의 도 6 및 7은 본 발명에 따른 쿼터 픽셀 보간 방법이 적용될 수 있는 실질적인 환경에 대해서 설명하기 위한 도면이다. 이 중에서 도 6은 비디오 인코더에 관한 블록도이고, 도 7은 비디오 디코더에 관한 블록도이다.

도 6은 본 발명의 일 실시예에 따른 비디오 인코더(200)의 구성을 도시한 블록도이다.

비디오 인코더(200)는 인트라 예측부(210), 공간적 변환부(220), 양자화부(230), 엔트로피 부호화부(240), 모션 추정부(250), 모션 보상부(260), 선택부(280), 역 양자화부(271), 역 공간적 변환부(272), 인트라 복원부(273)와 본 발명의 일 실시예에 따른 영상 보간 장치(100)를 포함하여 구성될 수 있다.

선택부(280)는 인트라 예측 및 인터 예측 중에서 유리한 예측 방법을 선택한다. 통상 이러한 선택은 매크로블록 단위로 이루어진다. 선택부(280)는 두 가지 예측 방법에 실제 부호화를 수행하여 그 비용(cost)이 더 낮은 예측 방법을 선택하게 된다. 여기서, 비용(C)은 여러 가지 방식으로 정의될 수 있는데, 대표적으로 전술한 율-왜곡에 기반한 비용 함수로 정의될 수 있다.

인트라 예측부(210)는 첫 번째 단계로, 9개의 인트라 모드 중에서 현재 블록(예: 4x4 블록)에 대한 최적의 인트라 모드를 결정한다. 이러한 인트라 모드의 결정 또한 전술한 율-왜곡 비용의 관점에서 결정될 수 있다. 인트라 예측부(210)는 결정된 인트라 모드에 의하여 예측 블록을 생성하고, 현재 블록을 상기 예측 블록과 차분하여 얻어지는 잔차 블록(residual block)을 얻는다.

상기 잔차 블록은 DCT 등과 같은 공간적 변환을 수행하기 위하여 공간적 변환부(220)에 제공한다.

한편, 이러한 인트라 예측과 상보적으로 사용되는 인터 예측과 관련된 동작에 있어서 영상 보간 장치(100)가 사용될 수 있다.

모션 추정부(250)는 입력 비디오 프레임 중에서, 참조 프레임을 기준으로 현재 프레임의 모션 추정을 수행하고 모션 벡터를 구한다. 이러한 움직임 추정을 위해 널리 사용되는 알고리즘은 블록 매칭(block matching) 알고리즘이다. 그런데, H.264와 같은 표준 코덱에서는 쿼터 픽셀 해상도의 모션 추정을 수행하기 때문에 현재 프레임의 블록과 참조 프레임의 탐색 영역은 각각 쿼터 픽셀 해상도로 보간되어야 한다. 영상 보간 장치(100)는 도 3의 실시예에서와 같은 방식으로 이러한 쿼터 픽셀 해상도의 보간을 수행한다. 물론, 도 6과 같이 비디오 인코더(200)에 별도의 인트라 예측부(210)가 구비되어 있는 경우에는 도 3의 인트라 예측부(105)는 생략될 수 있다. 모션 추정부(250)는 모션 추정 결과 구해지는 모션 벡터, 모션 블록의 크기, 참조 프레임 번호 등의 모션 데이터를 엔트로피 부호화부(240)에 제공한다.

모션 보상부(260)는 상기 입력 비디오 프레임의 시간적 중복성을 감소시킨다. 이 경우 모션 보상부(260)는 상기 모션 추정부(250)에서 계산된 모션 벡터를 이용하여 참조 프레임에 대하여 모션 보상(motion compensation)을 수행함으로써 현재 프레임에 대한 인터 예측 프레임을 생성한다. H.264에서는 상기 모션 보상 과정에 있어서도 쿼터 픽셀 해상도의 보간을 필요로 한다. 따라서, 영상 보간 장치(100)는 모션 보상 과정에서도 마찬가지로 쿼터 픽셀 해상도의 보간을 수행할 수 있다. 물론, 모션 추정과 보상을 단일의 과정(즉, 모션 추정에서 보간된 영상을 메모리에 저장하고 모션 보상시 이를 읽어와서 사용하는 방식)으로 처리하는 경우에는 모션 보상에 있어서 별도의 보간은 불필요할 수도 있다.

차분기(215)는 현재 프레임과 상기 인터 예측 프레임을 차분함으로써 비디오의 시간적 중복성을 제거한다. 차분기(215)에서의 출력, 즉 인터 예측에서의 잔차 블록은 공간적 변환부(220)에 제공된다.

공간적 변환부(220)는 인트라 예측부(210) 또는 차분기(215)로부터 제공된 잔차 블록에 대하여, 공간적 변환법을 사용하여 공간적 중복성를 제거한다. 이러한 공간적 변환법으로는 주로 DCT(Discrete Cosine Transform)가 사용되는데, 공간적 변환 결과 구해지는 계수들을 변환 계수라고 한다.

양자화부(230)는 공간적 변환부(220)에서 구한 변환 계수를 양자화한다. 양자화(quantization)란 임의의 실수 값으로 표현되는 상기 변환 계수를 일정 구간으로 나누어 불연속적인 값(discrete value)으로 나타내고, 이를 소정의 인덱스로 매칭(matching)시키는 작업을 의미한다.

엔트로피 부호화부(240)는 양자화부(230)에 의하여 양자화된 변환 계수와, 모션 추정부(250)에 의하여 제공되는 모션 데이터 또는 인트라 예측부(210)로부터 제공되는 인트라 모드를 무손실 부호화하고 비트스트림을 생성한다. 이러한 무손실 부호화 방법으로는, 산술 부호화(arithmetic coding), 가변 길이 부호화(variable length coding), 허프만 부호화 등이 사용될 수 있다.

한편, 비디오 인코더(200)가 인코더 단과 디코더 단 간의 드리프팅 에러(drifting error)를 감소하기 위해서 통상 폐루프 비디오 인코딩(closed-loop video encoding) 기법을 사용한다. 이를 위해서는, 역양자화부(271), 역 공간적 변환부(272), 인트라 복원부(273) 등이 더 구비되어야 한다.

역 양자화부(271)는 양자화부(230)에서 양자화된 계수를 역 양자화한다. 이러한 역 양자화 과정은 양자화 과정의 역에 해당되는 과정이다. 역 공간적 변환부(272)는 상기 역양자화 결과를 역 공간적 변환하고 이를 가산기(225) 또는 인트라 복원부(273)에 제공한다. 이 경우, 상기 역 공간적 변환된 결과 복원되는 잔차 영상은 원래 인트라 예측에 의하여 생성된 프레임이면 인트라 복원부(273)에 제공하고, 인터 예측에 의하여 생성된 영상이면 가산기(225)에 제공한다.

가산기(225)는 역 공간적 변환부(272)로부터 제공되는 잔차 영상과, 모션 보상부(260)로부터 제공되어 프레임 버퍼(미도시됨)에 저장된 이전 프레임을 가산하여 비디오 프레임을 복원하고, 복원된 비디오 프레임을 모션 추정부(250)에 참조 프레임으로서 제공한다.

인트라 복원부(273)는 상기 잔차 영상을 구성하는 잔차 블록과, 인트라 모드의 값을 이용하여, 주변에 기 생성된 블록으로부터 얻어지는 예측 블록으로부터 현재 블록을 복원한다. 현재 블록은 간단히 잔차 블록과 예측 블록의 합에 의하여 복원될 수 있는데, 상기 예측 블록을 구할 때 인트라 모드의 값이 이용되는 것이다. 결정된 인트라 모드를 기준으로 예측 블록을 구하는 과정은 인트라 예측부(210)에서와 동일하다.

도 7은 본 발명의 일 실시예에 따른 비디오 디코더(500)의 구성을 도시한 블록도이다.

비디오 디코더(500)는 엔트로피 복호화부(510), 역 양자화부(520), 역 공간적 변환부(530), 인트라 복원부(540), 모션 보상부(550) 및 영상 보간 장치(100)를 포함하여 구성될 수 있다.

엔트로피 복호화부(510)는 엔트로피 부호화 방식의 역으로 무손실 복호화를 수행하여, 인터 예측에 있어서의 모션 데이터(모션 벡터 및 참조 프레임 등), 인트라 예측에 있어서의 인트라 모드 및 텍스쳐 데이터 등을 추출한다. 텍스쳐 데이터는 역 양자화부(520)에 제공하고, 모션 데이터는 모션 보상부(550)에 제공하며, 상기 인트라 모드는 인트라 복원부(540)에 제공한다.

역 양자화부(520)는 엔트로피 복호화부(510)로부터 전달된 텍스쳐 데이터를 역 양자화한다. 역 양자화 과정은 인코더(200) 단에서 소정의 인덱스로 표현하여 전달한 값으로부터 이와 매칭되는 양자화된 계수를 찾는 과정이다.

역 공간적 변환부(530)는 공간적 변환을 역으로 수행하여, 상기 역 양자화 결과 생성된 계수들(주파수 영역)을 공간적 영역에서의 잔차 블록으로 변환한다. 예를 들어, 비디오 인코더 단에서 DCT 방식으로 공간적 변환된 경우에는 역 DCT 변환이 수행될 것이다.

인트라 복원부(540)는 엔트로피 복호화부(510)로부터 전달되는 인트라 모드의 값과, 역 공간적 변환부(530)로부터 제공되는 잔차 블록을 이용하여, 이미 생성된 주변의 블록으로부터 얻어지는 예측 블록으로부터 현재 블록을 복원한다. 현재 블록은 간단히 잔차 블록과 예측 블록의 합에 의하여 복원될 수 있는데, 상기 예측 블록을 구할 때 인트라 모드의 값이 이용되는 것이다. 결정된 인트라 모드의 값을 기준으로 예측 블록을 구하는 과정은 비디오 인코더(200)에서의 인트라 예측부(210)에서와 동일하다.

한편, 인터 예측으로부터의 복원을 위하여, 모션 보상부(550)가 이용된다. 모션 보상부(550)는 엔트로피 복호화부(510)로부터 제공되는 모션 데이터를 이용하여, 기 복원된 프레임을 모션 보상하여 모션 보상 프레임을 생성한다.

그런데, H.264와 같은 표준 코덱에서는 쿼터 픽셀 해상도의 모션 추정을 수행하기 때문에 이와 같은 모션 보상에 있어서 쿼터 픽셀 해상도의 보간이 필요하다. 영상 보간 장치(100)는 도 3의 실시예에서와 같은 방식으로 이러한 쿼터 픽셀 해상도의 보간을 수행한다. 물론, 비디오 디코더(500)의 경우에는 별도의 인트라 예측부(도 3의 105)는 불필요하고, 단순히 엔트로피 복호화부(510)로부터 제공되는 인트라 모드에 관한 정보만 영상 보간 장치(100)에 제공되면 된다.

가산기(515)는 역 공간적 변환부에서 복원되는 잔차 블록이 인터 예측에 의하여 생성된 것일 때에는, 상기 잔차 블록과 모션 보상부(550)로부터 제공되는 모션 보상된 프레임을 가산하여 현재 블록을 복원한다.

결국, 인트라 복원부(540)에서 복원된 블록 및 가산기(515)에서 복원된 블록의 조합에 의하여 하나의 복원된 프레임이 생성될 수 있는 것이다.

지금까지 도 3, 6 및 7의 각 구성요소는 소프트웨어(software) 또는, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)를 의미할 수 있다. 그렇지만 상기 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성요소들 안에서 제공되는 기능은 더 세분화된 구성요소에 의하여 구현될 수 있으며, 복수의 구성요소들을 합하여 특정한 기능을 수행하는 하나의 구성요소로 구현할 수도 있다.

본 발명에 따른 보간 알고리즘을 시뮬레이션하기 위하여 JM 12.4 인코더를 사용하였고, CIF 크기의 비디오 시퀀스들(Akiyo, Bus, Paris, Mobile, Stefan 등)에 대하여 테스트하였다. 본 발명에 따른 보간 알고리즘의 율왜곡 성능을 평가하기 위하여, 본 발명은 H.264와 비교된다. 여기서, 모션 검색 범위는 32로 선택되었고, 참조 프레임의 수는 1로 선택되었다. 또한 율왜곡 최적화 및 CAVLC(context-adaptive variable length coding)이 적용되었으며, GOP(group of pictures)의 구조는 IPPP를 사용하였다. 상기 CIF 시퀀스들은 양자화 파라미터(QP)가 28, 32 및 36인 경우에 대하여 각각 테스트되었다. 표 2에서, ΔPSNR 및 ΔBitrate는 H.264와 비교하였을 때의 PSNR의 변화량 및 비트율의 변화량을 각각 나타낸다.

QP	Sequence	?PSNR (dB)	?Bitrate (%)
28	Bus	0.01	-0.04
	Paris	0.01	-0.14
	Mobile	-0.01	-0.91
	Stefan	0.01	-0.31
32	Bus	0	0.06
	Paris	0	-0.19
	Mobile	-0.01	-1.61
	Stefan	0	-0.18
36	Bus	-0.01	0.25
	Paris	-0.01	-0.08
	Mobile	0	-1.41
	Stefan	0.01	0.31
평균		0	-0.354

표 2의 결과로부터, 본 발명에 따르면, 기존의 H.264에 비하여 평균적으로 PSNR은 변화가 없는 데에 비하여, 비트율은 평균 0.354%가 감소되는 효과가 제공됨을 알 수 있다. 이와 같은 비트율의 감소는 전체적인 비트스트림의 관점에서는 그다지 크지 않을 수 있으나 쿼터 픽셀의 보간 과정만 고려한다면 상당한 감소 효과를 나타낸 것으로 볼 수 있다. 특히, 하나의 정수 픽셀로부터 총 15개의 서브 픽셀로 보간함에 있어서 4개의 쿼터 픽셀에만 변경된 방식을 적용한 점을 감안하면 그 효과는 상당하다고 볼 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.

100: 영상 보간 장치 105: 인트라 예측부
110: 하프 픽셀 보간부 120: 쿼터 픽셀 분류부
130: 제1 보간부 140: 제2 보간부
150: 픽셀 버퍼

Claims

(a) 복수의 인트라 모드 중에서 최적의 인트라 모드를 얻는 단계;
(b) 입력 영상을 하프 픽셀 정밀도로 보간하는 단계;
(c) 상기 하프 픽셀 정밀도로 보간된 영상으로부터 쿼터 픽셀 정밀도로 보간하기 전에, 쿼터 픽셀 위치에 대한 모든 주변 픽셀이 이미 복원되어 있으면 상기 쿼터 픽셀 위치를 제2 분류로, 그렇지 않으면 상기 쿼터 픽셀 위치를 제1 분류로 분류하는 분류하는 단계;
(d) 상기 제1 분류에 속하는 쿼터 픽셀 위치에 속하는 쿼터 픽셀을 상기 최적의 인트라 모드와 상관없이 보간하는 단계; 및
(e) 상기 제2 분류에 속하는 쿼터 픽셀 위치에 속하는 쿼터 픽셀을, 상기 최적의 인트라 모드가 나타내는 방향을 참조하여 보간하는 단계를 포함하는, 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법.
제1항에 있어서, 상기 (b) 단계는
6탭 위너(Wiener) 필터를 사용하여 이루어지는, 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법.
제1항에 있어서, 상기 (d) 단계는
상기 제1 분류에 속하는 쿼터 픽셀 위치에 속하는 쿼터 픽셀을 대각선 방향으로 보간하는 단계를 포함하는, 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법.
제1항에 있어서, 상기 제2 분류에 속하는 쿼터 픽셀 위치는
상기 정수 픽셀의 4개의 모서리 위치에 있는 주변 픽셀의 위치인, 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법.
제4항에 있어서,
상기 쿼터 픽셀 위치에 대한 모든 주변 픽셀은 총 8개의 픽셀인, 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법.
제5항에 있어서, 상기 (e) 단계는
상기 8개의 주변 픽셀들 중에서 인트라 모드가 나타내는 방향에 관련되는 픽셀들을 이용하여, 상기 제2 분류에 속하는 쿼터 픽셀 위치에 속하는 쿼터 픽셀을 보간하는 단계를 포함하는, 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법.
제6항에 있어서, 상기 (e) 단계에서
상기 제2 분류에 속하는 쿼터 픽셀 위치에 속하는 쿼터 픽셀은,
상기 인트라 모드가 수평, 수평 아래, 수평 위를 나타내는 경우에는 상기 8개의 주변 픽셀들 중에서 좌측 픽셀 및 우측 픽셀의 평균으로 보간되고,
상기 인트라 모드가 수직, 수직 오른쪽, 수직 왼쪽을 나타내는 경우에는 상기 8개의 주변 픽셀들 중에서 상측 픽셀 및 하측 픽셀의 평균으로 보간되고,
상기 인트라 모드가 우하 대각선 방향을 나타내는 경우에는 상기 8개의 주변 픽셀들 중에서 좌상측 픽셀 및 우하측 픽셀의 평균으로 보간되고,
상기 인트라 모드가 좌하 대각선 방향을 나타내는 경우에는 상기 8개의 주변 픽셀들 중에서 우상측 픽셀 및 좌하측 픽셀의 평균으로 보간되는, 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법.
제7항에 있어서, 상기 제2 분류에 속하는 쿼터 픽셀 위치에 속하는 쿼터 픽셀은,
상기 인트라 모드가 방향성을 갖지 않는 경우에는, 상기 8개의 주변 픽셀들 중에서 상기 좌측 픽셀, 상기 우측 픽셀, 상기 상측 픽셀 및 상기 하측 픽셀의 평균으로 보간되는, 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법.
복수의 인트라 모드 중에서 최적의 인트라 모드를 얻는 인트라 예측부;
입력 영상을 하프 픽셀 정밀도로 보간하는 하프 픽셀 보간부;
상기 하프 픽셀 정밀도로 보간된 영상으로부터 쿼터 픽셀 정밀도로 보간하기 전에, 쿼터 픽셀 위치에 대한 모든 주변 픽셀이 이미 복원되어 있으면 상기 쿼터 픽셀 위치를 제2 분류로, 그렇지 않으면 상기 쿼터 픽셀 위치를 제1 분류로 분류하는 분류하는 쿼터 픽셀 분류부;
상기 제1 분류에 속하는 쿼터 픽셀 위치에 속하는 쿼터 픽셀을 상기 최적의 인트라 모드와 상관없이 보간하는 제1 보간부; 및
상기 제2 분류에 속하는 쿼터 픽셀 위치에 속하는 쿼터 픽셀을, 상기 최적의 인트라 모드가 나타내는 방향을 참조하여 보간하는 제2 보간부를 포함하는, 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 장치.
제9항에 있어서, 상기 하프 픽셀 보간부는
6탭 위너(Wiener) 필터를 사용하여 상기 입력 영상을 하프 픽셀 정밀도로 보간하는, 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 장치.
제9항에 있어서, 상기 제1 보간부는
상기 제1 분류에 속하는 쿼터 픽셀 위치에 속하는 쿼터 픽셀을 대각선 방향으로 보간하는, 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 장치.
제9항에 있어서, 상기 제2 분류에 속하는 쿼터 픽셀 위치는
상기 정수 픽셀의 4개의 모서리 위치에 있는 주변 픽셀의 위치인, 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 장치.
제12항에 있어서,
상기 쿼터 픽셀 위치에 대한 모든 주변 픽셀은 총 8개의 픽셀인, 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 장치.
제13항에 있어서, 상기 제2 보간부는
상기 8개의 주변 픽셀들 중에서 인트라 모드가 나타내는 방향에 관련되는 픽셀들을 이용하여, 상기 제2 분류에 속하는 쿼터 픽셀 위치에 속하는 쿼터 픽셀을 보간하는, 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 장치.
제14항에 있어서, 상기 제2 보간부는
상기 제2 분류에 속하는 쿼터 픽셀 위치에 속하는 쿼터 픽셀을,
상기 인트라 모드가 수평, 수평 아래, 수평 위를 나타내는 경우에는, 상기 8개의 주변 픽셀들 중에서 좌측 픽셀 및 우측 픽셀의 평균으로 보간하고,
상기 인트라 모드가 수직, 수직 오른쪽, 수직 왼쪽을 나타내는 경우에는, 상기 8개의 주변 픽셀들 중에서 상측 픽셀 및 하측 픽셀의 평균으로 보간하고,
상기 인트라 모드가 우하 대각선 방향을 나타내는 경우에는, 상기 8개의 주변 픽셀들 중에서 좌상측 픽셀 및 우하측 픽셀의 평균으로 보간하며,
상기 인트라 모드가 좌하 대각선 방향을 나타내는 경우에는, 상기 8개의 주변 픽셀들 중에서 우상측 픽셀 및 좌하측 픽셀의 평균으로 보간하는, 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 장치.
제15항에 있어서, 상기 제2 보간부는
상기 인트라 모드가 방향성을 갖지 않는 경우에는, 상기 제2 분류에 속하는 쿼터 픽셀 위치에 속하는 쿼터 픽셀을 상기 8개의 주변 픽셀들 중에서 상기 좌측 픽셀, 상기 우측 픽셀, 상기 상측 픽셀 및 상기 하측 픽셀의 평균으로 보간하는, 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 장치.