KR0144295B1 - 오버랩된 움직임 보상장치 및 그 방법 - Google Patents

Abstract

본 발명은 블럭정합 알고리즘을 이용한 영상 부호화시에 야기되는 블록킹 현상을 방지할 수 있는 오버랩된 움직임 보상장치에 관한 것으로, 이를 위하여, 본 발명은, 현재 프레임의 각 블럭의 경계가 서로 인접하는 블럭의 경계와 서로 겹치도록 분할한 다음 이전 프레임의 각 블럭에 의거하여 움직임 보상을 수행하고, 이 움직임 보상된 각 블럭에 대하여 서로 겹치는 위치에 의거하여 인접 블럭들과의 평균을 이용하여 그 경계의 화소값을 구한 다음 이를 선택적으로 출력하는 기술적수단을 채용함으로서, 움직임 보상을 위해 분할되는 블럭들사이에서 야기되는 블록킹 현상을 방지할 수가 있고, 또한 각 블럭에서 움직임 보상에 따른 에지의 불연속성등과 같은 노이즈를 줄일 수 있는 것이다.

Description

오버랩된 움직임 보상장치 및 그 방법

제 1 도는 영상신호를 압축 부호화하는 통상의 전형적인 부호화시스템에 대한 개략적인 블럭구성도

제 2 도는 본 발명의 바람직한 실시예에 따른 오버랩된 움직임 보상장치에 대한 블럭구성도

제 3 도는 본 발명에 따라 분할되는 각 블럭들이 서로 겹치게 분할되는 형태의 일예를 보여주는 도면

제 4 도는 본 발명에 따라 움직임 보상된 후의 프레임의 각 화소값들을 구하는 과정을 설명하기 위해 일예로서 도시한 도면

제 5 도는 종래방식에 따른 블럭정합 알고리즘을 설명하기 위해 일예로서 도시한 도면

*도면의 주요부분에 대한 부호의 설명

30 : 어드레스 발생부 30a,30b,30c,30d : 어드레스 발생기

40 : 메모리부 40a,40b,40c,40d : 프레임 메모리

50 : 출력절환부 51, 53, 55 : 가산기

52, 54, 56 : 감산기 60 : 멀티플렉서

본 발명은 전송 데이타량을 줄이기 위하여 영상신호를 압축 부호화하는 부호화 시스템에 관한 것으로, 특히 부호화 시스템에서의 차분 부호화를 위해 영상의 움직임을 추정하여 보상하는 움직임 보상장치 및 그 보상방법에 관한 것이다.

통상적으로, 영상전화기, HDTV 등과 같이 영상신호와 오디오신호를 디지탈신호로 전송하고자 하는 경우, 이에 수반되는 방대한 데이타량을 저감시키기 위하여 고율의 데이타 압축방법을 이용하여 전송되는 디지탈 데이타를 압축, 즉 부호화하여 전송하게 된다. 이때, 영상신호와 오디오신호는 그들 신호의 특성상 각각 다른 부호화장치를 통해 각각 부호화되며, 이러한 부호화에 있어서 오디오신호에 비해 보다 많은 양의 데이타가 발생하게 되는 영상신호의 부호화는 특히 중요한 부분을 차지한다.

다시말해, 이러한 압축 부호화에 있어서의 영상신호의 부호화에서 실질적으로 가장 중요한 것은 전송하고자 하는 데이타량을 줄이는데 있다고 볼 수 있다. 따라서, 송신측에서는 영상신호를 전송할때 영상신호가 갖는 공간적, 시간적인 상관성을 이용하여 부호화한 다음 전송채널을 통해 수신측에 전송하게 된다.

보다 상세하게, 송신측의 부호화 시스템에서는 이산 코사인 변환(Discrete Cosine Transform : 이하 DCT라 약칭함)등의 변환부호화를 이용하여 영상신호의 공간적인 중복성을 제거하고, 또한 움직임 추정, 예측등을 통한 차분부호화를 이용하여 영상신호의 시간적인 중복성을 제거함으로서, 영상신호를 효율적으로 압축하게 된다.

상기와 같이, 송신측에서의 압축전송을 위해 영상신호를 압축 부호화하는 전형적인 부호화 시스템의 일예로서는 제 1 도에 도시된 바와같은 형태의 것이 있다. 동도면에 도시된 바와같이, 전형적인 부호화 시스템은 DCT부(10), 양자화부(12), 역양자화부(14), IDCT부(16), 버퍼(18), 움직임 추정부(20), 움직임 보상부(22) 및 가변장 부호화부(variable length coding : 이하 VLC라 약칭함)(22)를 포함한다.

동도면에 있어서, DCT부(10)는 입력되는 움직임추정 및 예측에 의거하는 차분신호에 대한 시간영역의 영상신호를 코사인함수를 이용하여 주파수영역의 변환계수로 변환한다. 또한, 양자화부(12)는 상기한 DCT부(10)로 부터의 변환계수에 대해 비선형연산을 통해 유한한 갯수의 값으로 양자화하기 위한 것으로, 부호화하고자 하는 프레임과 예측된 프레임간의 차이신호를 양자화한다. 이와같은 양자화시에 양자화부(12)는 동도면에서 도시 생략된 출력버퍼로 부터의 데이타의 충만도에 따르는 양자화 파라메타(QP)에 의해 양자와 스텝사이즈가 조절된다.

한편, 상기한 바와같은 움직임 예측 차분 부호화를 수행하기 위한 수단으로서 부호화 시스템에 채용되는 역양자화부(14)와 IDCT부(16)는 상기한 DCT(10)와 양자화부(12)를 통해 압축 부호화된 영상신호를 움직임 추정, 보상을 위해 부호화 되기 이전의 원래의 신호로 복원하여 버퍼(18)에 제공한다.

따라서, 움직임 추정부(20)와 움직임 보상부(22)는 입력측으로 부터의 현재 프레임과 상기한 버퍼(18)로 부터의 이전 프레임을 이용해 움직임벡터를 추정하여 이전 프레임의 신호를 움직임벡터 만큼 이동시켜 주므로서 움직임 보상을 수행하여 감산기에 제공한다. 여기에서, 본 발명은 이러한 움직임 보상을 위해 추정된 움직임벡터를 이용하여 영상신호의 움직임을 보상하는 보상장치의 개선에 관련된다.

다른한편, VLC부(24)는 상기한 바와같이 양자화부(12)를 통해 양자화된 차분 부호화된 영상신호를 각 부호의 발생빈도에 따라 가변적, 즉 부호의 발생빈도가 많은 것은 짧은 길이의 부호로, 부호의 발생빈도가 적은 것은 긴 길이의 부호로 부호화하여 전송을 위해 도시 생략된 출력버퍼로 출력한다. 이와같이 VLC부(24)를 통해 모든 부호에 서로 다른 길이를 할당하는 이유는 실질적으로 부호 길이의 평균치를 줄임으로서 부호화 효율을 높이기 위한 것이다.

제 1 도에 도시되고 본 발명에 관련되며 상술한 바와같은, 종래의 전형적인 부호화 시스템에서 시간적인 상관성을 고려한 부호화를 위해 움직임을 추정하고 보상하는 구성소자들 (역양자화부(14), IDCT부(16), 버퍼(18), 움직임 추정부(20), 움직임 보상부(22))은 양자화부(12)에서 VLC부(24)로 전송되는 데이타를 원래의 프레임 데이타로 복원한 뒤 현재 입력되는 영상신호와의 움직임 보상에 의한 차이신호를 상기한 DCT부(10)로 전송하기 위한 것이다.

한편, 상기한 바와같이 움직임 보상 차분 부호화를 수행하는 종래방법에 있어서의 움직임 검출은 제 5 도에 도시된 바와같이, 현재 프레임을 바둑판 처럼 나눈 다음 각각의 블럭들에 대하여 가장 매칭이 잘되는 이전 프레이의 블럭을 가져와서 메우는 블럭정합 알고리즘 방식이다.

제 5 도에 있어서, 참조부호 a는 다음 프레임을 예측하기 위해 사용되는 이전 프레임의 블럭을 나타내고, 참조부호 b는 블럭 위치를 조정하기 위해 움직임 벡터를 사용한 이후의 이전 프레임을 나타낸다. 불럭정합 알고리즘에서는 이전 프레임의 블럭 중 현재 프레임의 블럭과의 에러가 가장 작은 블럭을 움직임 추정 예측영상의 블럭으로 사용한다.

그러나, 상술한 바와같은 블럭정합 알고리즘을 이용하여 구한 예측영상에 의해 얻어지는 차이영상은 8×8 블럭 이산여현 변환(DCT) 부호화와 같이 블럭단위의 부호화에서는 매우 효율적이지만, 최종 복원되는 영상이 각 블럭의 가장자리가 서로 구분이 되어 화면을 잘게 나눈 것이 눈에 띄는 현상인 블록킹 현상이 야기된다는 문제점이 있다.

따라서, 본 발명은 상술한 종래기술의 문제점을 해소하기 위한 것으로, 블럭정합 알고리즘을 이용한 영상 부호화시에 야기되는 블록킹 현상을 방지할 수 있는 오버랩된 움직임 보상장치르 제공하는데 그 목적이 있다.

본 발명의 다른 목적은 블럭정합 알고리즘을 이용한 영상부호화시에 야기되는 불록킹 현상을 방지할 수 있는 오버랩된 움직임 보상방법을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명의 일관점에 따르면, 소정의 크기로 분할되는 이전 프레임의 블럭과 이에 대응하는 현재 프레임의 블럭간의 차를 이용하여 영상의 움직임을 보상하는 움직임 보상장치에 있어서, 그 경계가 서로 겹치도록 소정의 크기로 분할되는 상기 현재 프레임의 각 블럭에 대한 움직임 벡터에 의거하여 해당 블럭의 어드레스를 각각 발생하기 위한 복수의 어드레스 발생수단, 상기 현재 프레임의 블럭에 각각 대응하는 이전 프레임의 블럭이 저장되며 상기 복수의 어드레스 발생수단에 대응하는 수의 메모리로 구성되어 상기 현재 프레임의 각 블럭에 대한 움직임 보상된 블럭을 출력하는 복수의 프레임 메모리수단, 상기 움직임 보상된 인접 블럭들간에 서로 겹치는 부분에 대한 화소값을 산출하기 위하여 상기 각 프레임 메모리수단의 출력에 가감산을 수행하여 서로 다른 복수의 출력신호를 발생하는 출력절환수단, 및 서로 겹치는 위치에 의거하여 상기 출력절환수단으로 부터의 상기 복수의 출력신호를 선택적으로 절환하여 움직임 보상된 프레임 데이타를 출력하는 멀티플렉서수단으로 이루어진 오버랩된 움직임 보상장치가 제공된다.

또한, 상기한 바와같은 구성을 갖는 본 발명에 다른 움직임 보상장치에 채용되는 복수의 어드레스 발생수단과 복수의 프레임 메모리수단은 각각 대응하는 4 개의 어드레스 발생기와 4 개의 프레임 메모리로 구성된다. 또한, 이 4 개의 프레임 메모리에는 모두 동일한 복원된 이전 프레임이 저장되어 있으며, 4 개의 어드레스를 멀티플렉싱시킬 수 있을 정도로 메모리가 빠르면 이를 하나의 프레임 메모리로 대치시킬 수 있다.

더욱이, 본 발명에 구비되는 출력절환수단은, 상기 제1 및 제2프레임 메모리의 출력을 가산하는 제1가산기, 이 제1가산기의 출력을 1/2 감산하여 상기 멀티플렉서에 상기 복수의 출력신호중의 하나로서 제공하는 제1감산기, 상기 제1 및 제3프레임 메모리의 출력을 가산하는 제2가산기, 이 가산기의 출력을 1/2 감산하여 상기 멀티플렉서에 상기 복수의 출력신호중의 다른 하나로서 제공하는 제2감산기, 상기 제1, 제2, 제3 및 제4프레임 메모리의 각 출력을 가산하는 제3가산기, 및 이 제3가산기의 출력을 1/4 감산하여 상기 멀티플렉서에 상기 복수의 출력신호중의 또다른 하나로서 제공하는 제3감산기로 구성된다.

상기 목적을 달성하기 위한 본 발명의 다른 관점에 따르면, 소정의 크기로 분할되는 이전 프레임의 블럭과 이에 대응하는 현재 프레임의 블럭간의 차를 이용하여 영상의 움직임을 보상하는 움직임 보상방법에 있어서, 상기 현재 프레임의 각 블럭의 경계가 서로 인접하는 블럭의 경계와 서로 겹치도록 분할한 다음 상기 이전 프레임의 각 블럭에 의거하여 움직임 보상을 수행하고, 이 움직임 보상된 각 블럭에 대하여 서로 겹치는 위치에 의거하여 인접 블럭들과의 평균을 이용하여 그 경게의 화소값을 구한 다음 이를 선택적으로 출력하는 것을 특징으로 하는 오버랩된 움직임 보상방법이 제공된다.

한편, 상기한 바와같은 본 발명의 움직임 보상방법에 있어서, 움직임 보상을 위행 분할되는 각 블럭의 경계에 대한 화소값들은 실질적으로 소정의 크기로 분할되는 각 블럭의 움직임 보상된 블럭의 출력값의 가감산 연산을 통해 산출된다.

본 발명의 기타 목적과 여러가지 장점은 이 기술분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시예로 부터 더욱 명확하게 될 것이다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.

제 2 도는 본 발명의 바람직한 실시예에 따른 오버랩된 움직임 보상장치에 대한 블럭구성도를 나타낸다. 동도면에 도시된 바와같이, 본 발명의 움직임 보상장치는 어드레스 발생부(30), 메모리부(40), 출력절환부(50) 및 멀티플렉서(60)를 포함한다.

한편, 어드레스 발생부(30)는 본 발명에 따라 분할된 각 블럭의 움직임 벡터값에 의거하여 각각의 어드레스를 발생하는 4 개의 어드레스 발생기(30a,30b,30c,30d)로 구성되고, 메모리부 (40)는 상기한 각 어드레스 발생기에 각각 대응하는 4 개의 프레임 메모리(40a,40b,40c,40d)로 구성된다. 또한, 출력절환부(50)는 3 개의 가산기(51,53,55)와 3 개의 감산기(52,54,56)로 구성된다.

다음에, 상기한 바와같은 구성을 갖는 본 발명에 따른 오버랩된 움직임 보상장치의 동작과정에 대하여 설명한다.

제 2 도에 있어서, 어드레스 발생부(30)는 본 발명에 따라, 제 4 도에 도시된 바와같이, 바둑판처럼 서로 겹치게 분할된 각 블럭, 일예로서 A,B,C,D 블럭에 대한 각각의 움직임 벡터 a,b,c,d 입력받아 그 움직임 벡터들 만큼씩 시프트 시켜 각각의 어드레스를 발생한다.

보다 상세하게, 어드레스 발생기(30a)는 제 3 도의 A블럭에 대한 움직임 벡터 a 에 의거하여 어드레스를 발생하고, 어드레스 발생기(30b)는 B 블럭에 대한 움직임 벡터 b 에 의거하여 어드레스를 발생하며, 어드레스 발생기(30c)는 C 블럭에 대한 움직임 벡터 c 에 의거하여 어드레스를 발생하고, 어드레스 발생기(30d)는 D 블럭에 대한 움직임 벡터 d 에의거하여 어드레스를 발생하여 메모리부(40)내의 각 프레임 메모리에 제공한다.

한편, 메모리부(40)내의 각 프레임 메모리(40a,40b,40c,40d)에는 모두가 동일한 이전 프레임의 데이타가 들어 있기 때문에 각 프레임 메모리(40a,40b,40c,40d)들의 출력은 분할된 A,B,C,D 블럭들의 움직임 보상된 블럭들이 되며, 이들 블럭들은 3 개의 가산기(51,53,55)와 3 개의 감산기(52,54,56)로 구성된 출력절환부(50)에 제공된다.

즉, 프레임 메모리(40a)의 직접 출력은 다음단의 멀티플렉서(60)에 제1출력으로서 제공되고, 프레임 메모리(40a)의 출력과 프레임 메모리(40b)의 출력은 가산기(51)를 통해 가산된 다음 1/2 감산기(52)를 통해 감산되어 다음단의 멀티플렉서(60)에 제1출력으로서 제공되며, 프레임 메모리(40a)의 출력과 프레임 메모리(40c)의 출력은 가산기(53)를 통해 가산된 다음 1/2 감산기(54)를 통해 감산되어 다음단의 멀티플렉서(60)에 제3출력으로서 제공되고, 또한, 프레임 메모리(40a)의 출력과 프레임 메모리(40b)의 출력과 프레임 메모리(40c)의 출력과 프레임 메모리(40d)의 출력은 가산기(55)를 통해 가산된 다음 1/4 감산기956)를 통해 감산되어 다음단의 멀티플렉서(60)에 제4출력으로서 제공된다.

여기에서, 멀티플렉서(60)는, 앞에서 이미 언급한 바와같이, 본 발명에 따라 분할되는 A,B,C,D 각 블럭들이 오버랩(overlapped) 되어 있으므로 그 오버랩되는 부분을 선택하기 위한 것이다.

즉, 제 4 도에 도시된 바와같이, 지금의 위치가 A 블럭내이면 멀티플렉서(60)는 출력절환부950)의 제1출력을 선택하고, 지금의 위치가 ((P_A+ P_B)/2) 부분이면 멀티플렉서(60)는 출력절환부(50)의 제2출력을 선택하며, 지금의 위치가 ((P_A+ P_B)/2) 부분이면 멀티플렉서(60)는 출력절환부(50)의 제3출력을 선택하고, 지금의 위치가 ((P_A+ P_{B +}P_C+ P_D)/2) 부분이면 멀티플렉서(60)는 출력절환부(50)의 제4출력을 선택한다.

이상과 같이, 본 발명에 따라 현재의 프레임을 바둑판처럼 분할하되 각 블럭이 인접하는 불럭과 서로 겹치게 구성, 즉 각 블럭의 사이즈를 약간 크게 하여 서로 겹치게 함으로서, 실질적으로 움직임 보상후에 각 블럭의 경계(제 3 도에서 빗금친 부분)부분은 서로 겹치는 인접블럭들의 값을 평균하여 구할 수가 있다.

예를들어, 경계가 겹치게 분할된 A,B,C,D 블럭들의 크기가 H×V 이고, 제 5 도에 도시된 바와같이, 움직임 보상을 거쳐서 이전 프레임에서 가져온 H×V 크기의 블럭내의 화소값들을 P_A,P_B,P_C, P_D라고 가정하면 움직임 보상후의 프레임의 각 화소값들은 앞에서 이미 설명하고 제 4 도에 도시된 바와같이 구할 수가 있게 된다.

이상 설명한 바와같이, 본 발명은 상기한 바와같이 분할되는 각 블럭의 경게가 겹치게 구성하고 그 겹치는 경계부분은 서로 겹치는 인접블럭들의 값들을 평균하여 구함으로서 움직임 보상을 위해 분할되는 블럭들 사이에서 야기되는 블록킹 현상을 방지할 수가 있고, 또한 각 블럭에서 움직임 보상에 따른 에지의 불연속성등과 같은 노이즈를 줄일 수가 있으므로 통상적으로 그 다음에 이어지는 DCT부분에서 데이타의 감소를 꾀할 수 있는 효과가 있다.

Claims (5)

1. 소정의 크기로 분할되는 이전 프레임의 블럭과 이에 대응하는 현재 프레임의 브럭간의 차를 이용하여 영상의 움직임을 보상하는 움직임 보상장치에 있어서, 그 경계가 서로 겹치도록 소정의 크기로 분할되는 상기 현재 프레임의 각 블럭에 대한 움직임 벡터에 의거하여 해당 블럭의 어드레스를 각각 발생하기 위한 복수의 어드레스 발생수단; 상기 현재 프레임의 블럭에 각각 대응하는 이전 프레임의 블럭이 저장되며 상기 복수의 어드레스 발생수단에 대응하는 수의 메모리로 구성되어 상기 현재 프레임의 각 블럭에 대한 움직임 보상된 블럭을 출력하는 복수의 프레임 메모리수단; 상기 움직임 보상된 인접 블럭들간에 서로 겹치는 부분에 대한 화소값을 산출하기 위하여 상기 각 프레임 메모리수단의 출력에 가감산을 수행하여 서로 다른 복수의 출력신호를 발생하는 출력절환수단; 및 서로 겹치는 위치에 의거하여 상기 출력절환수단으로 부터의 상기 복수의 출력신호를 선택적으로 절환하여 움직임 보상된 프레임 데이타를 출력하는 멀티플렉서수단으로 이루어진 오버랩된 움직임 보상장치.
2. 제 1 항에 있어서, 상기 복수의 어드레스 발생수단과 복수의 프레임 메모리수단은 각각 대응하는 4 개의 어드레스 발생기와 4 개의 프레임 메모리로 구성된 것을 특징으로 하는 오버랩된 움직임 보상장치.
3. 제 2 항에 있어서, 상기 출력절환수단은, 상기 제1 및 제2프레임 메모리의 출력을 가산하는 제1가산기; 상기 제1가산기의 출력을 1/2 감산하여 상기 멀티플렉서에 상기 복수의 출력신호중의 하나로서 제공하는 제1감산기; 상기 제1 및 제3프레임 메모리의 출력을 가산하는 제2가산기; 상기 제2가산기의 출력을 1/2 감산하여 상기 멀티플렉서에 상기 복수의 출력신호중의 다른 하나로서 제공하는 제2감산기; 상기 제1,제2,제3 및 제4프레임 메모리의 각 출력을 가산하는 제3가산기; 및 상기 제3가산기의 출력을 1/4 감산하여 상기 멀티플렉서에 상기 복수의 출력신호중의 또다른 하나로서 제공하는 제3감산기로 구성된 것을 특징으로 하는 오버랩된 움직임 보상장치.
4. 소정의 크기로 분할되는 이전 프레임의 블럭과 이에 대응하는 현재 프레임의 블럭간의 차를 이용하여 영상의 움직임을 보상하는 움직임 보상방법에 있어서, 상기 현재 프레임의 각 블럭의 경게가 서로 인접하는 블럭의 경계와 서로 겹치도록 분할한 다음 상기 이전 프레임의 각 블럭에 의거하여 움직임 보상을 수행하고, 이 움직임 보상된 각 블럭에 대하여 서로 겹치는 위치에 의거하여 인접 블럭들과의 평균을 이용하여 그 경게의 화소값을 구한 다음 이를 선택적으로 출력하는 것을 특징으로 하는 오버랩된 움직임 보상장치.
5. 제 4 항에 있어서, 상기 각 블럭의 경계에 대한 화소값들은 소정의 크기로 분할되는 각 블럭의 움직임 보상된 출력값의 가감산 연산을 통해 산출하는 것을 특징으로 하는 오버랩된 움직임 보상장치.