KR100448700B1 - 프레임속도변환의 크로스 페이드 보간 장치 및 방법 - Google Patents

Abstract

본 발명은 텔레비젼의 영상 화소를 동영상 추적기법으로 프레임 속도 변환을 수행하여 절대차 함수값에 따른 크로스 페이드를 보간함으로써, 화질을 개선할 수 있도록 한 프레임 속도 변환의 크로스 페이드 보간 장치 및 방법에 관한 것으로, 본 발명은 이전 영상(fn-1)과 현재 영상(fn)에 대하여 블럭매칭 알고리즘을 이용하는 블럭단위 움직임 추정방법인 동영상 추적 블럭과; 동영상 추적 블럭에서 움직임 벡터와 현재영상(Fn)을 움직임 벡터에 의하여 이동 결과 값을 출력하는 움직임 벡터 이동 블럭과; 상기 동영상 추적 블럭에 의한 절대차 함수와, 상기 움직임 벡터 이동블럭과의 출력 결과와, 이전 영상의 화소값을 연산하여 중간값을 필터링 하는 크로스 페이드로 구성하여서 된 것을 특징으로 한다.

Description

프레임속도변환의 크로스 페이드 보간 장치 및 방법{FRAME RATE CONVERSION OF CROSS FADE INTERP0LATION APPARATOUS AND METHOD THERE OF}

본 발명은 프레임 속도 변환의 크로스 페이드 보간 장치 및 방법에 관한 것으로, 보다 상세하게는 텔레비젼의 영상 화소를 동영상 추적기법으로 프레임 속도 변환을 수행하여 절대차 함수값에 따른 크로스 페이드를 보간함으로써, 화질을 개선할 수 있도록 한 프레임 속도 변환의 크로스 페이드 보간 장치 및 방법에 관한 것이다.

일반적으로 HDTV 등과 같이 동영상 신호를 디지탈신호로 전송하고자 하는 경우 이에 수반되는 방대한 데이터량을 저감하기 위하여 데이터를 압축하는 즉 부호화하여 전송하게 된다.

이와 같은 동영상신호의 부호화시에 가장 중요한 것은 전송하고자 하는 데이터량을 줄이는데 있고, 통상적으로 영상 데이터가 공간적, 시간적인 중복성을 가지므로 부호화시에 이산 코사인 변환(DCT)등의 변환 부호화를 사용하여 영상데이터의 공간적인 중복성을 제거하고 움직임 보상 차분 부호화를 사용하여 영상 데이터의 시간적인 중복성을 제거하게 된다.

여기서 움직임 보상 차분 부호화란 이전 프레임에서 현재 프레임으로의 움직임을 검출하여 이전 프레임으로 부터 현재 프레임에 근접한 화상(예측 프레임 신호)를 만든 후에 현재 프레임 신호와 움직임 신호와 움직임 보상된 예측 프레임 신호간의 차분 신호(에러신호)를 부호화하는 것으로서, 이때 중요한 것은 움직임보상 차분 부호화의 효율에 가장 큰 영향을 미치는 요인인 움직임 추정의 정밀도 이다.

그러므로 최근들어 프레임 속도 변환을 수행하기 위하여 동영상추적기법을 많이 사용하고 있다.

상기 동영상추적기법은 현재 영상과 이전영상과의 움직임 벡터를 구하여 원하는 시간에서의 움직임 위치를 추정할 수 있기 때문에 시간축으로 새로운 영상을 만들어야 하는 경우 유용하게 사용될 수 있다.

이와 같이 동영상추적기법으로 움직임 벡터를 구하는 기술은 대한민국 등록특허 제 226722호의 동영상 움직임 벡터 추정 방법은 그 추정방법에 있어서 계산량을 줄여 복잡도를 감소하고자 한 것이고, 등록 특허 제 128876호의 동영상 신호의 에러 블록 보간장치는 에러가 발생된 블럭을 검출하여 에러 정정을 통해서 완전한 프레임데이터를 얻어 화면에 선이 발생되지 않도록 한 것이며, 등록 특허 제 108561호 의 동영상 부호화기의 움직임 추정 방법 및 장치는 움직임 추정단위 블록에 대해 탐색영역내 복수의 후보 블록들중 그 절대차의 합이 적은 순서대로 다수개의 후보 블록을 결정하여 그에 대한 다수의 움직임 벡터를 추출하며, 결정된 다수의 후보 블록들에 대해서 반화소 단위로 움직임을 각각 추정하여 얻어지는 움직임들 중 가장 일그러짐이 적은 움직임을 해당 단위 블럭에 대한 최종의 움직임 벡터로서 추출함으로써 보다 고정밀한 움직임 추정이 가능하도록 한 것이 있다.

그러나 상기와 같은 특허들은 프레임속도 변환에서 사용할 경우 움직임을 정확하게 찾지 못한채 동영상 보간으로 영상을 만들 경우 오히려 더 안좋은 결과를 초래하게 된다.

즉 움직임이 정확하게 찾아졌는지 여부는 움직임 에러값만으로 판단하기는 매우 어려우며 아직까지 완전히 해결되지 않은 상태이다.

따라서 종래에는 도 1 에 도시한 바와 같이, 이전 영상(fn-1)과 현재 영상(fn)에 대하여 블럭매칭 알고리즘을 이용하는 블럭단위(8x8) 움직임 추정방법인 동영상추적블럭(10)과 움직임 벡터에 의한 이동을 하는 움직임 벡터에 의한 이동블럭(11)으로 구성된다.

상기 동영상 추적블럭(10)은 블럭단위로 움직임 벡터를 찾으므로 같은 블럭내의 화소들은 모두 같은 움직임 값을 갖는다.

상기 움직임 벡터는 다음과 같은 절대차함수(Mean Absolute Difference)가 가장 작은 값이 되는 지점과 현재 위치와의 오프셋(off set)로 한다.

즉 상기 수학식 1에서 절대차 함수(MAD)값이 최소가 되는 (m,n) 값이 움직임 벡터가 되는 것이다.

움직임 벡터 이동블럭(11)에서는 이 벡터를 사용하여 이전 영상의 화소들이 새로운 위치로 이동시킨다.

따라서 상기 동영상 추적블럭(10)에서는 도 2 a에 도시한 바와같이, 이전영상(fn-1)과 현재영상(fn)(x,y)에서의 움직임 벡터(x + vx , y + vy)를 추출한다.

이것은 블럭매칭 알고리즘 등의 방법으로 추출하는데, 프레임 속도 변환을 위하여 추출한 벡터를 새로이 만들여는 영상의 시간 간격에 맞추어 조절한 값을 보낸다.

여기서 동영상 추적기법을 수행할때 절대차 함수값(MAD)이 가장 적은 위치를 찾아서 현재 위치와의 오프 셋값을 움직임 벡터로 사용한다.

이렇게 추출된 벡터값을 가지고 도 2 b 에 도시한 바와 같이, 이전영상의 화소들이 새로운 위치로 옮겨서 새로운 영상을 만든다

이와 같이 종래에는 이전영상의 화소를 그대로 옮기는 방법을 사용하게 되므로, 움직임 벡터를 추출할때 블럭단위로 절대차 함수값을 계산하여 가장 작은 값이 나오는 위치를 찾는데 해당 객체의 모양이 변하거나 전체적인 밝기가 변하는 경우 올바른 위치를 찾을 수 없다.

이때는 절대차 함수(MAD)값 중에서 가장 작은 값이 나오는 위치를 찾는다고 해도 전반적인 절대차 함수(MAD)값이 매우 커진다.

또한 움직임 벡터는 불럭단위로 계산하므로 같은 블럭 내에 있는 화소들은 같은 벡터가 할당되고, 만일 같은 블럭내에 두개 이상의 방향으로 움직이는 화소들이 있다면 그중 하나의 움직임만 적용한 것이므로 이웃 불럭들과 불연속하게 연결된 결과가 초래되어 화질을 저하시키는 문제점을 가지게 되었다.

따라서 본 발명의 목적은 동영상에서 프레임속도 변환시 화소 합성 움직임 에러에 의한 불연속 연결을 보간하여 움직임 에러에 의하여 동영상의 불연속을 최소화함으로써 화질을 향상시킬 수 있도록 하는데 있다.

상기의 목적을 실현하기 위하여 본 발명은 이전 영상과 현재 영상에 대하여 블럭매칭 알고리즘을 이용하는 블럭단위 움직임 추정방법인 동영상 추적 블럭과; 동영상 추적 블럭에서 움직임 벡터와 현재 영상을 움직임 벡터에 의하여 이동 결과 값을 출력하는 움직임 벡터 이동 블럭과; 상기 동영상 추적 블럭에 의한 절대차 함수와, 상기 움직임 벡터 이동블럭과의 출력 결과와, 이전 영상의 화소값을 연산하여 중간값을 필터링 하는 크로스 페이드로 구성하여서 된 것을 특징으로 한다.

또한 본 발명은 현재위치에서 이전영상 화소값과 현재영상의 화소값을 비교하여 동영상추적기법으로 움직임 벡터를 산출하는 과정과; 이전 영상의 화소값과 현재영상의 화소값을 움직임 벡터만큼 이동하는 과정과; 움직임 벡터만큼 이동한 이전 영상의 화소값과 움직임 벡터만큼 이동한 현재 영상의 화소값의 차이값을 산출하는 과정; 및 이전영상의 화소값과 움직임 벡터만큼 이동한 현재 영상의 화소값과 이동한 위치에서의 차이값을 크로스 페이드하는 과정으로 이루어지는 것을 특징으로 한다.

도 1 은 종래 동영상추적기법에 의한 프레임속도 변환 구성도

도 2 는 종래 동영상 추적기법에 의한 새로운 영상 배치도

도 3 은 본 발명 프레임속도 변환의 크로스 페이드 보간 장치의 구성도

도 4 는 본 발명 프레임속도 변환의 크로스 페이드 보간 방법에 대한 플로 우챠트

* 도면의 주요부분에 대한 부호의 설명*

10; 동영상 추적 블럭 11; 움직임 벡터 이동 블럭

12; 크로스 페이드 블럭

이하 본 발명의 바람직한 실시예를 첨부되는 도면에 의거 상세히 설명하면 다음과 같다.

도 3 은 본 발명 프레임속도 변환의 크로스 페이드 보간 장치의 구성도 로서, 이전 영상(fn-1)과 현재 영상(fn)에 대하여 블럭매칭 알고리즘을 이용하는 블럭단위(8x8) 움직임 추정방법인 동영상 추적 블럭(10)과; 동영상 추적 블럭(10)에서 움직임 벡터와 현재영상(Fn)을 움직임 벡터에 의하여 이동 결과 값을 출력하는 움직임 벡터 이동 블럭(11)과; 상기 동영상 추적 블럭(10)에 의한 절대 차 함수 값과, 상기 움직임 벡터 이동블럭(11)과의 출력 결과와, 이전 영상의 화소값을 연산하여 중간값을 필터링 하는 크로스 페이드(13)로 구성된다.

도 4 는 본 발명 프레임속도 변환의 크로스 페이드 보간 방법에 대한 플로우챠트로서, 현재위치(x,y)에서 이전영상 화소값(f(x,y,t-1))과 현재영상의 화소값(f(x,y,t))을 비교하여 동영상추적기법으로 움직임 벡터(m,n)를 산출하는 과정(s21)과; 이전 영상의 화소값(f(x, y, t-1))과 현재영상의 화소값(f(x,y,t))을 움직임 벡터(m,n)만큼 이동하는 과정(s22)과; 움직임 벡터(m, n)만큼 이동한 이전 영상의 화소값(f(x+m(t-1), y+n(t-1), t-1))과 움직임 벡터(m, n)만큼 이동한 현재 영상의 화소값(f(x-m(t-1), y-n(t-1), t))의 차이값(e(x, y, t-1))을 산출하는 과정(s23); 및 이전영상의 화소값(f(x, y, t-1))과 움직임 벡터(m, n)만큼 이동한 현재 영상의 화소값(f(x-m(t-1), y-n(t-1), t))과 이동한 위치에서의 차이값을 크로스 페이드하는 과정(s24)으로 이루어지게 된다.

상기와 같이 이루어지는 본 발명은 현재 영상(x,y)위치에서의 이전 영상화소값을 f(x,y,t-1), 현재 영상의 화소값을 f(x,y,t)라고 하였을 때, 상기 이전 영상의 화소값 f(x,y,t-1)과 현재 영상의 화소값 f(x,y,t)사이에서 찾아진 움직임 벡터를 (m,n)이라고 가정하면, 상기 움직임 추적 블럭(10)을 통해서 움직임 벡터(m,n)로 추적하여 상기 이전 영상의 화소값 f(x,y,t-1), 현재 영상의 화소값 f(x,y,t)에 대하여 움직임이 정확히 찾아졌다면, 아래의 수학식 2와 같은 관계가 성립하게 된다. f(x+m,y+n,t-1)= f(x-m,y-n,t )

이때 이전영상의 화소값 f(x,y,t-1)을 움직임 벡터(m,n) 위치만큼 이동시킨 결과(f(x+m, y+n, t-1)와 현재 영상의 화소를 이동시킨 값(f(x-m,y-n,t)과의 차이 즉 이전영상과 현재영상의 차이를 절대값으로 하는 절대차 함수의 결과를 e(x,y,t-1)라고 한다.

상기 움직임 벡터(m,n)와 절대차 함수 e(x,y,t-1)는 모두 동영상 추적블럭(10)과, 움직임 벡터에 의한 이동블럭(11)으로 이루어지는 동영상 추적 블럭에서 계산된 결과이다.

상기 이전 영상의 화소값(f(x,y,t-1)), 움직임 벡터(m,n) 만큼 이동한 현재 영상의 화소값(f(x-m(t-1),y-n(t-1)) 및 이동한 위치에서의 차이값 즉, 절대차 함수 e(x,y,t-1)를 크로스 페이드하게 된다.

따라서 새로운 시간 t'(t-1 < t' < t)에서의 x,y 에서의 화소값 s(x,y,t')은 아래의 수학식 3과 같다.

+

(0 ≤e(x,y,t) ≤Max Err)

이때 상기 절대차 함수값이 클수록 크로스 페이드 값은 이전영상(t-1) 의 화소값을 사용하게 되고 절대차 함수 값이 작을 수록 움직임 벡터 만큼 이동한 값을 사용하게 된다.

여기서 상기 절대차 함수 값이 작다는 것은 그 만큼 움직임 벡터를 정확히 찾았다고 할 수 있으므로 이 찾아진 움직임 벡터만큼 이동시켜 보간하게 되는 것이다.

이상에서 설명한 바와 같이 본 발명은 동영상에서 현재 보간하려는 위치에 대한 이전영상의 화소값과 현재 영상의 화소값을 움직임 벡터에 의해 이동시킨 위치의 화소값과, 이전 영상의 화소값과, 절대차 함수값을 크로스 페이드 함으로써, 동영상에서 프레임속도 변환시 화소 합성 움직임 에러에 의한 불연속 연결을 보간하여 움직임 에러에 의하여 동영상의 불연속을 최소화 할 수 있고, 또한 상기 절대차 함수값이 클 수록 이전 영상값을 그대로 사용하도록 함으로써 화소의 위치가 잘못 바뀌지 않고 이전 위치 그대로 있게 되므로 화소의 위치가 바뀌어짐으로 인한 눈에 거슬리는 현상을 최소화하게 되어 보다 양질의 화소를 제공해 줄 수 있는 효과를 제공하게 되는 것이다.

Claims (3)

1. 이전 영상(fn-1)과 현재 영상(fn)에 대하여 블럭매칭 알고리즘을 이용하는 블럭단위 움직임 추정방법인 동영상 추적 블럭과; 동영상 추적 블럭에서 움직임 벡터와 현재 영상(Fn)을 움직임 벡터에 의하여 이동 결과 값을 출력하는 움직임 벡터 이동 블럭과; 상기 동영상 추적 블럭에 의한 절대차 함수와, 상기 움직임 벡터 이동블럭과의 출력 결과와, 이전 영상의 화소값을 연산하여 중간값을 필터링 하는 크로스 페이드로 구성하여서 된 것을 특징으로 하는 프레임 속도 변환의 크로스 페이드 보간 장치.
2. 제 1 항에 있어서, 상기 크로스 페이드는 아래의 수학식을 이용하는 것을 특징으로 하는 프레임 속도 변환의 크로스 페이드 보간 장치.

   +

   (0 ≤e(x,y,t) ≤Max Err)

   여기서, f(x,y,t-1)는 이전영상의 화소값, e(x,y,t-1)는 이전영상과 현재영상의 차이를 절대값으로 하는 절대차 함수, Max Err는 절대차 함수 에러값, (f(x-m(t-1),y-n(t-1))는 움직임벡터(m,n)만큼 이동한 현재 영상의 화소값이다.
3. 현재위치에서 이전영상 화소값과 현재영상의 화소값을 비교하여 동영상추적기법으로 움직임 벡터를 산출하는 과정과; 이전 영상의 화소값과 현재영상의 화소값을 움직임 벡터만큼 이동하는 과정과; 움직임 벡터만큼 이동한 이전 영상의 화소값과 움직임 벡터만큼 이동한 현재 영상의 화소값의 차이값을 산출하는 과정; 및 이전영상의 화소값과 움직임 벡터만큼 이동한 현재 영상의 화소값과 이동한 위치에서의 차이값을 크로스 페이드하는 과정으로 이루어지는 것을 특징으로 하는 프레임 속도 변환의 크로스 페이드 보간 방법.