KR19990011449A - 엣지에 근거한 영상신호의 수직 보간 방법 및 그에 적합한 장치 - Google Patents

Abstract

본 발명은 주어진 영상신호의 라인과 라인간을 보간하는 방법 및 장치에 관한 것이다. 본 발명은 비디오카메라, 캠코더, TV 혹은 VCR등으로부터의 동영상 신호로부터 정지 영상을 얻어 화면상에 디스플레이시키거나 프린터등을 통하여 출력시키는 경우에 효과적으로 응용될 수 있다. 본 발명에서는 입력 데이터의 엣지성분을 구하고, 상기 구해진 엣지성분으로부터 주변의 보간할 기울기 방향에 따르는 보간할 상태를 구하고, 상기 보간할 상태에 따라서 상기 입력데이터의 엣지를 고려하여 보간하는 과정으로 구성되어 있다.

Description

엣지에 근거한 영상신호의 수직 보간 방법 및 그에 적합한 장치

본 발명은 주어진 영상 신호의 라인과 라인을 보간하는 방법 및 그 장치에 관한 것으로, 특히 엣지 성분에 따라서 적응적으로 보간하는 보간 방법을 채용함으로써 두 필드로 이루어진 비월 주사 방식의 영상신호를 순차 주사 방식으로 변환하였을 때 두 필드간의 시간차에 의해서 발생하는 엣지 부분의 계단 현상 혹은 톱니 모양 현상 문제를 해결할 수 있는 방법 및 그 방법을 응용한 장치에 관한 것이다.

본 발명이 응용될 수 있는 경우의 하나인 1프레임이 2필드로 이루어진 비월 주사 방식의 비디오 카메라, 캠코더, TV 또는 VCR 등으로부터의 동영상 신호로부터 1 프레임영상을 추출하여 순차 주사 방식의 영상 신호를 얻는 경우, 첫 번째 필드와 두 번째 필드간의 시간차에 의하여, 움직임이 있는 동영상이거나 손떨림등에 의하여 영상내에 움직임이 발생되면, 각 필드간의 차이가 눈에 두드러지게 나타나게 되어 움직임이 발생된 부분의 엣지 부분에 계단 현상이나 톱니 모양의 현상이 발생하게 된다.

이러한 현상을 없애기 위하여, 비월 주사 방식의 영상 데이터를 적절히 보정하여 줄 필요가 있는데(이러한 과정을 디인터레이스(De-interlace)라 한다.) 이러한 보정 방법에는 한 필드 데이터의 라인과 라인을 보간하여 한 프레임의 데이터를 생성하는 방법과 두 필드 이상의 데이터를 이용하여 한 프레임의 데이터를 생성해 내는 방법이 있다. 본 발명에서는 전자의 경우인 한 필드 데이터의 라인과 라인을 보간하여 한 프레임의 데이터를 형성하는 기존의 방법을 개선한 것이다.

도 1은 종래의 라인보간 방법을 도식적으로 설명하기 위해 제시된 것이다.

도 1에 있어서 실선으로 도시된 것은 주어진 영상 신호의 수평 라인이고, 점선으로 도시된 것은 주어진 영상 신호로부터 보간되어진 영상의 수평 라인이다. 여기서, 주어진 영상 신호를 입력 데이터라 하고, 보간되어진 영상 신호를 보간 데이터라 가정한다.

이때, 라인 보간되어 생성되어진 영상 신호의 임의의 데이터 X라하고, I를 수평 딜레이, j를 수직 딜레이라 할 때, 주어진 영상 신호의 데이터를 X[i,2j]로 표시되고, 라인 보간되어 생성되어진 데이터를 X[i,2j+1]로 표시된다고 하면,

1) Duplication 방법

duplication 방법은 주어진 영상 신호(입력 데이터)를 기준으로 보간되어진 영상 신호(보간 데이터)를 생성해 낼 때 보간 데이터의 픽셀 값은 각각의 위치에 대응하는 입력 데이터의 픽셀 값을 그대로 사용하는 것이다.

즉, 생성 데이터의 임의의 픽셀 값 X[j,2j+1]은 X[j,2j+1]=X[i,2j]이다.

도 2는 duplication 방법의 결과를 도식적으로 보이는 것이다.

2) vertical line interpolation 방법

vertical line interpolation 방법은 입력 데이터를 기준으로 보간 데이터를 생성해 낼 때 보간 데이터의 픽셀 값은 수직으로 인접한 입력 데이터의 픽셀 값의 평균으로써 취하는 것이다.

즉, 보간 데이터의 픽셀 값 X[j,2j+1]은 X[j,2j+1]=(X[i,2j]+X[i,2j+1])/2이다.

도 3은 verticaI line interpolation 방법의 결과를 도식적으로 보이는 것이다.

종래 기술의 문제점은 도 2 및 도 3에 도시되는 바와같이 경사가 있는 윤곽(edge)부분에서 자연스럽지 못한 계단 현상(step effect)가 나타난다는 점이다.

본 발명은 상기의 문제점의 일부를 해결하기 위하여 안출된 것으로서 보간된어 생성될 데이터의 픽셀 값을 해당 픽셀의 윤곽 성분을 고려하여 보간하여 줌으로써 도 7에 도시된 바와같이 계단 현상이 완화된 수직 라인 보간 방법을 제공하는것을 그 목적으로 한다.

도 1은 종래의 수직 보간 방법을 도식적으로 설명하기 위해 제시된 것이다.

도 2는 종래의 수직 보간 방법중 duplication 방법의 결과를 도식적으로 보이는 것이다.

도 3은 종래의 수직 보간 방법중 vertical line interpolation 방법의 결과를 도식적으로 보이는 것이다.

도 4는 본 발명에 따른 수직 보간 방법을 보이는 흐름도이다.

도 5는 보간되어진 픽셀과 그 주변에 있는 주어진 영상신호(입력 데이터)의 윤곽 성분값의 공간적 분포를 보이는 것이다.

도 6은 보간될 상태와 생성될 픽셀, 그리고 참조될 픽셀의 관계를 보이기 위해 도시된 것이다.

도 7은 도 4에 도시된 방법의 결과를 도식적으로 보이는 것이다.

상기의 목적을 달성하는 본 발명에 따른 수직 라인 보간 방법은 주어진 영상신호(입력 데이터)로부터 라인 보간된 영상 신호(보간 데이터)를 생성하는 과정, 입력 데이터의 영상과 보간 데이터의 영상을 조합하여 라인 보간된 영상 신호를 발생하는 과정을 포함하는 라인 보간 방법에 있어서, 라인 보간되어진 영상신호를 생성하는 과정은 주어진 영상신호(입력 데이터)의 수평 방향 윤곽 성분을 추출하는과정, 상기 윤곽 성분에 근거하여 라인보간될 영상 데이터의 기울기 방향에 따르는 보간할 상태를 구하는 과정, 상기 산출된 기울기 방향을 고려하여 주어진 영상 신호에 속한 픽셀(이하 참조될 픽셀이라 함)들의 픽셀값을 라인 보간하는 과정을 포함함을 특징으로 한다.

여기서, 상기 기울기 방향을 산출하는 과정은 보간되어 생성될 픽셀 주변의 주어진 영역 내에서 상측 수평 라인과 하측 수평 라인에서 윤곽 성분이 최대인 픽셀을 선택하고, 상측 수평 라인에서의 참조될 픽셀의 윤곽 성분값을 E_up[i+d_u,j], 하측 수평 라인에서의 참조될 픽셀의 윤곽 성분값을 E_down[i+d_d,j+1], d_u는 보간되어 생성되어질 픽셀을 기준으로 할 때 보간되어질 픽셀과 상측 수평 라인의 수평 방향으로의 딜레이이며, d_u는 보간되어질 픽셀과 하측 수평라인의 수평방향의 딜레이라고 가정하고 d_ud_u의 절대치는 일정값을 넘지않는 정수값이라고 가정할 때 (d_ud_a의 절대치의 최대값은 설계자의 의도대로 결정되어질 수 있으나, 본 발명의 설명부분에서는 설명의 편의를 위하여 절대값의 최대치를 2로 정한다.)

하기의 5가지 조건을 만족하는 상태(이하 상태 1이라 함)와 그렇지 않은 상태(이하 상태 2라 함)로 분류하고, 상측 수평방향으로의 윤곽성분이 최대인 지점을

│E_up-_max[i+d_u,j]│

하측 수평방향으로의 윤곽성분이 최대인 지점을

│E_down-_max[i+d_u,j]│라 하고 d_u, d_a를 각각의 경우에 해당하는 수평방향의 딜레이라고 하였을 때

(조건1) 상측 수평방향의 윤곽성분이 최대인 값과 하측 수직방향의 윤곽 성분이 최대값의 차의 절대값은 일정한 상수 E_th보다 작아야하며,(이를 명확하게 하기위하여 수식으로 표현하면)

│E_up-_max[i+d_u,j] E_down-_max[i+d_d,j+1]│ E_th

(조건2) 각각의 딜레이 d_u, d_a의 절대값의 차는 1보다 같거나 작아야 하며 (이를 명확하게 하기위하여 수식으로 표현하면 다음과 같다.)

││d_u│-│d_d││ ≤ 1

(조건3) 각각의 딜레이 d_u, d_a의 방향은 보간되어질 픽셀을 기준으로 할 때 서로 다른 방향이어야 하며 (이를 명확하게 표현하기 위하여 수식으로 표현하면 다음과 같다.)

d_u× d_u〈 0

(조건4) 상측 수평 방향의 윤곽 성분이 최대인 값은 상측 수평 방향의 데이터들중 보간되어질 픽셀과 수직으로 인접한 데이터의 윤곽 성분보다 일정 상수 이상 커야하며(이를 명확하게 하기위하여 수직으로 표현하면)

E_up-_max[i+d_u,j] ≥ E_ref[i,j]+a

(조건5) 하측 수평방향의 윤곽성분이 최대인 값은 하측 수평 방향의 데이터들중 보간되어질 픽셀과 수직으로 인접한 데이터의 윤곽 성분보다 일정 상수이상 커야하며(이를 명확하게 하기위하여 수식으로 표현하면)

E_down-_max[i+d_d,j] ≥ E_ref[i,j]+a

여기서, E_th, a는 상수값으로써 영상 신호의 값과 영상 신호의 주파수 대역에 의해 설계자에 의하여 적절히 결정되는 상수값.

상기, 라인 보간되어진 영상 신호를 생성하는 과정은 상기 상태에 따라 하기와 같이 보간함을 특징으로 한다.

1) 상태 1의 경우에는

보간 생성될 영상 데이터의 픽셀값 X_gen[i,j]은 상측 수평방향으로 윤곽성분이 최대인 지점의 입력 데이터와 하측 수평 방향으로의 윤곽 성분이 최대인 지점의 입력 데이터의 평균값을 취하며(이를 명확하게 하기위하여 수식으로 표현하면다음과 같다.)

X_gen[i,j] = (X_ref[i+d_u,j] + X_ref[i+d_d,j+1])/2

2) 상태 2의 경우

보간 생성될 영상 데이터의 픽셀 값 X_gen[i,j]은 상측 수평 라인 및 하측 수평 라인에서 수직으로 인접한 두 픽셀 값의 평균값으로 취한다. (이를 명확하게 하기위하여 수식으로 표현하면 다음과 같다.)

X_gen[i,j] = (X_ref[i,j] + X_ref[i,j+1]/2

이하 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

도 4는 본 발명에 따른 라인 보간 방법을 보이는 흐름도이다. 도 4에 도시된 방법은 윤곽 성분 추출 과정(s400), 기울기 산출 과정(s410), 보간 과정(s420), 합성과정(s430)으로 구성된다. 여기서, 주어진 영상 신호 데이터(이하 아래에서는 입력 데이터라 명한다.)의 픽셀값을 X_ref[i,j]라 하고, 보간되어 생성될 영상 데이터(이하 아래에서는 보간 데이터라 명한다.) X_gen[i,j] 라 가정한다.

윤곽 성분 추출과정(s400)은 입력 데이터의 픽셀값 X_ref[i,j]으로부터 수평방향의 윤곽 성분을 추출한다. 수평 방향의 윤곽 성분은 수평 윤곽 검출 필터를 사용하여 구할 수 있으며, 이 필터의 가장 간단한 형태로서는 수평 주파수를 중심 주파수로 하는 고역 통과 필터를 들 수 있다. 입력 데이터의 픽셀값 X_ref[i,j]에 대응되는 윤곽 성분값을 E_ref[i,j]라 한다.

기울기 산출 과정(s410)은 입력 데이터의 윤곽 성분값 E_ref[i,j]로부터 보간 데이터에 속하는 픽셀의 기울기를 구하는 과정으로서 이 과정을 기울기 검출 회로와 같은 하드웨어적인 방법 혹은 정보 처리 수단을 이용한 소프트웨어적인 방법으로 구현될 수 있다.

본 발명에서 보간 데이터에 속한 픽셀과 그 주변에 있는 입력 데이터 윤곽 성분값은 공간적으로 도 5에 도시된 바와 같은 구성을 갖는다.

도 5에서 기울기 방향을 고려할 입력 데이터의 윤곽 성분 데이터수는 설계자의 의도대로 결정되어 질 수 있다.

기울기 산출 과정(s410)은 입력 데이터에 속하는 픽셀들 중에서 하기와 같은 조건들을 만족하는 픽셀들을 상하측 수평 라인별로 하나씩 선택한다.

먼저, 보간 생성될 퍽셀 주변의 영역내에서 상측 수평 라인과 하측수평 라인에서 윤곽 성분이 최대인 픽셀을 선택한다. 상측 수평 주사선에서의 참조될 픽셀의 윤곽 성분의 최대값을 E_up-_max[i+du,j], 하측 수평 주사선에서의 참조될 픽셀의 윤곽 성분의 최대값을 E_down-_max[i+d_d,j+1]라 가정한다.

여기서, d_u는 상측 기울기로서 생성될 픽셀과 이것의 상측에 위치하는 수평 주사선에 속하는 참조될 픽셀과의 수평 딜레이를 나타내며, d_a는 하측 기울기로서 생성될 픽셀과 이것의 하측에 위치하는 수평 주사선에 속하는 참조될 픽셀과의 수평 딜레이를 나타낸다. d_u는 도면에서 생성될 픽셀을 기준으로 우측 방향이 +값이고, 좌측 방향이 -값이며, d_a는 도면에서 생성될 픽셀을 기준으로 좌측 방향이 +값이고 우측 방향이 -값이다.

다음은 E_up-_max[i+d_u,j] 및 E_down-_max[i+d_d,j+1]를 사용하여 다음의 두가지 상태로 나눈다.

상태 1 :

상태 1은 다음의 5가지 조건을 모두 동시에 만족할 때의 상태이다.

(조건1)

│E_up-_max[i+d_u,j] E_down-_max[i+d_d,j+1]│ E_th

이 조건은, 상하측 수평 라인에서의 윤곽 성분의 최대값들의 차의 절대값이 소정의 값 E_th이하일 것을 의미한다.

(조건 2)

││d_u│ - │d_d││ ≤ 1

이 조건은 참조될 픽셀들 사이의 상대적 위치 관계를 제한함을 의미한다. 구체적으로 말하면 참조될 픽셀들 사이의 거리가 수직 혹은 대각선 방향에서 한 픽셀 거리 이내이어야 함을 의미한다.

(조건 3)

d_u× d_d0

이 조건은 참조될 픽셀들이 생성될 픽셀을 사이에 두고 대각선 방향으로 위치될 것을 의미한다.

(조건 4)

E_up-_max[i+d_u,j] ≥ E_ref[i,j] +a

이 조건은 상측의 수평 라인에 속하는 참조될 픽셀과 생성될 픽셀의 바로 위에 위치하는 참조될 픽셀과의 윤곽 성분의 차이가 소정의 값 a이상이 되어야 함을 의미 한다.

(조건 5)

E_down-_max[i+d_d,j] ≥ E_ref[i,j] +a

이 조건은 하측의 수평 라인에 속하는 참조될 픽셀과 생성될 픽셀의 바로 위에 위치하는 참조될 픽셀과의 윤곽 성분의 차이가 소정의 값 a이상이 되어야 함을 의미한다.

여기서, E_th, a는 상수값으로써 영상 신호의 값과 영상 신호의 주파수 대역에 의해 설계자에 의하여 적절히 결정되는 상수값이다.

상태 2 :

상태 1이 아닌 경우

본 발명에서는 상기 언급된 상태 1 및 상태 2를 보간될 상태라 한다.

도 6은 보간될 상태(상태 1과 상태 2)와 생성될 픽셀, 그리고 참조될 픽셀의 관계를 보이기 위해 도시된 것이다.

보간 과정(s420)은 기울기 산출 과정(s410)의 결과를 이용하여 생성될 픽셀값을 수직 선형 보간 방법에 의해 구한다.

보간 과정(s420)을 보간될 상태에 따라 다음과 같이 보간한다.

1) 상태 1의 경우

보간 생성될 영상데이터의 픽셀값 X_gen[i,j]은

X_gen[i,j] = (X_ref[i.j]+X_ref[i,j+1])/2이다.

상태 2의 경우는 종래의 수직 보간 방법과 동일함을 알 수 있다.

합성과정(s430)은 입력 데이터의 영상과 보간 과정(s420)의 결과로서 생성된 영상을 합성하여 프레임 영상을 출력한다.

도 7은 본 발명에 따른 보간 결과를 보이기 위해 도시된 것이다. 도 7에 도시된 바와 같이 입력 데이터의 윤곽 성분이 있을 경우에 이를 고려하여 보간된 영상 데이터를 생성함으로써 결과적으로 도 2 내지 도 3에 도시된 바와 같은 계단 현상이 완화된 것을 알 수 있다.

상술한 바와 같이 본 발명에 따른 라인보간 방법은 주어진 영상신호의 윤곽정보를 감안하여 보간을 행함으로써 계단 효과가 완화된 영상을 얻을 수 있는 효과를 가진다.

본 발명은 현재 가정에 많이 보급되어 있는 순차 주사 방식의 비디오 카메라, 캠코더, 텔레비젼, 혹은 비디오 신호등을 퍼스널 컴퓨터와 연결하여 캡쳐 화면을 얻는 경우에 이용될 수 있으며, 또한, 텔레비젼 혹은 기타 비디오 신호의 한 프레임을 캡쳐하여 프린트하는 컬러 비디오 프린터에도 이용될 수 있다

Claims (3)

1. 주어진 영상 신호로부터 라인 보간된 영상 신호를 생성하는 과정, 입력 데이터의 영상과 보간 데이터의 영상을 조합하여 라인 보간된 영상 신호를 발생하는 과정을 포함하는 라인 보간 방법에 있어서, 상기 라인 보간되어진 영상 신호를 생성하는 과정은 주어진 영상 신호의 수평 방향의 윤곽 성분을 추출하는 과정, 상기 구해진 수평 방향의 윤곽성분으로부터 주변의 보간할 기울기 방향에 따르는 보간할 상태를 구하는 과정, 상기 구해진 보간할 상태에 따라 주어진 영상신호를 라인 보간하여 라인 보간되어진 영상 신호를 생성하는 과정을 포함하는 것을 특징으로 하는 영상 신호의 수직 보간 방법.
2. 제 1항에 있어서, 상기 보간할 상태를 구하는 과정은 보간되어 생성될 픽셀 주변의 주어진 영역내에서 상측 수평 라인과 하측 수평 라인에서 윤곽 성분이 최대인 픽셀을 선택하고, 상측 수평 라인에서의 참조될 픽셀의 윤곽 성분값을 E_up[i+d_u,j], 하측 수평 라인에서의 참조될 픽셀의 윤곽 성분값을 E_down[i+d_d,j+1], d_u는 보간되어 생성되어질 픽셀을 기준으로 할 때 보간되어질 픽셀과 상측 수평 라인의 수평 방향으로의 딜레이이며, d_a는 보간되어질 픽셀과 하측 수평 라인의 수평 방향의 딜레이라고 가정하고 d_ud_a의 절대치는 일정값을 넘지않는 정수값이라고 가정할 때 (d_ud_a의 절대치의 최대값은 설계자의 의도대로 결정 되어질수 있다.), 하기의 5가지 조건을 만족하는 상태(이하 상태 1이라 함)과 그렇지 않은 상태(이하 상태 2라 함)로 분류하고,

   상측 수평 방향으로의 윤곽성분의 최대인 지점을 │E_up-_max[i+d_u,j]│

   하측 수평 방향으로의 윤곽성분이 최대인 지점을 │E_down-_max[i+d_u,j]라 하고 d_ud_a를 각각의 경우에 해당하는 수평 방향의 딜레이라고 하였을 때

   (조건 1) 상측 수평방향의 윤곽성분이 최대인 값과 하측 수직방향의 윤곽성분이 최대값의 차의 절대값은 일정한 상수 E_th보다 작아야하며,(이를 명확하게 하기위하여 수식으로 표현하면)

   │E_up-_max[i+d_u,j]-E_down-_max[i+d_u,j+1]│ ≤ E_th

   (조건 2) 각각의 딜레이 d_ud_a의 절대값의 차는 1보다 같거나 작아야 하며(이를 명확하게 하기 위하여 수식으로 표현하면 다음과 같다.)

   ││d_u│,│d_d││ ≤ 1

   (조건 3) 각각의 딜레이 d_u, d_a의 방향은 보간되어질 픽셀을 기준으로 할 때 서로 다른 방향이어야 하며(이를 명확하게 표현하기 위하여 수식으로 표현하면 다음과 같다)

   d_u× d_d0

   (조건 4) 상측 수평방향의 윤곽성분이 최대인값은 상측 수평방향의 데이터들중 보간되어질 픽셀과 수직으로 인접한 데이터의 윤곽성분보다 일정 상수이상 커야하며(이를 명확하게 하기위하여 수식으로 표현하면)

   │E_up-_max[i+d_u,j] ≥ E_ref[i,j]+a

   (조건5) 하측 수평 방향의 윤곽 성분이 최대인 값은 하측 수평 방향의 데이터들중 보간되어질 픽셀과 수직으로 인접한 데이터의 윤곽 성분보다 일정 상수 이상 커야하며(이를 명확하게 하기위하여 수식으로 표현하면)

   E_down-_max[i+d_d,j] ≥ E_ref[i,j]+a

   여기서, E_th, a는 상수값으로써 영상 신호의 값과 영상 신호의 주파수 대역에 의해 설계자에 의하여 적절히 결정되는 상수값.

   상기, 라인 보간되어진 영상 신호를 생성하는 과정 과정은 상기 상태에 따라 하기와 같이 보간함을 특징으로 하는 영상 신호의 수직 보간 방법.

   1) 상태 1의 경우에는

   보간 생성될 영상 데이터의 픽셀값 X_gen[i,j]은 상측 수평방향으로 윤곽성분이 최대인 지점의 입력 데이터와 하측 수평방향으로의 윤곽성분이 최대인 지점의 입력 데이터의 평균값을 취하며(이를 명확하게 하기위하여 수식으로 표현하면 다음과 같다.)

   X_gen[i,j] =(X_ref[i+d_d,j]+X_ref[i+d_d,j+1])/2

   2)상태 2의 경우

   보간 생성될 영상 데이터의 픽셀값 X_gen[i,j]은 상측 수평라인 및 하측 수평라인에서 수직으로 인접한 두 픽셀값의 평균값으로 취하는(이를 명확하게 하기위하여 수식으로 표현하면 다음과 같다.)

   X_gen[i,j] = (X_ref[i,j] + X_ref[i,j])/2
3. 영상신호의 라인과 라인간의 보간하는 장치에 있어서, 입력 영상 데이터로부터 엣지 성분을 검출하는 수단, 상기 엣지 성분으로부터 기울기 방향을 나타내는 상태를 검출하는 수단 및 상기 검출된 기울기 방향을 나타내는 상태에 따라서 상기 입력 영상 데이터의 엣지성분을 가중하면서 보간하여 보간된 영상을 출력하는 수단을 포함하는 영상신호의 수직 보간 장치.