KR20050019944A - 비월주사 영상을 순차 영상으로 변환하는 방법 및 장치 - Google Patents

비월주사 영상을 순차 영상으로 변환하는 방법 및 장치 Download PDF

Info

Publication number
KR20050019944A
KR20050019944A KR1020030055885A KR20030055885A KR20050019944A KR 20050019944 A KR20050019944 A KR 20050019944A KR 1020030055885 A KR1020030055885 A KR 1020030055885A KR 20030055885 A KR20030055885 A KR 20030055885A KR 20050019944 A KR20050019944 A KR 20050019944A
Authority
KR
South Korea
Prior art keywords
pixel
interpolated
value
difference
pixels
Prior art date
Application number
KR1020030055885A
Other languages
English (en)
Other versions
KR100552685B1 (ko
Inventor
김혜연
김현문
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020030055885A priority Critical patent/KR100552685B1/ko
Publication of KR20050019944A publication Critical patent/KR20050019944A/ko
Application granted granted Critical
Publication of KR100552685B1 publication Critical patent/KR100552685B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 비월주사 영상을 순차 영상으로 변환하는 방법 및 장치를 개시한다. 본 발명의 영상 변환 방법은, (a) 입력 필드 영상의 보간될 화소에 대해서, 선행 필드 영상들과 후행 필드 영상들을 이용하여 움직임을 검출하는 단계; (b) 움직임이 검출된 경우에, 다른 주사선상의 화소값을 이용하여 보간될 화소의 보간 방향을 결정하는 단계; (c) 보간 방향에 따른 소정의 필터를 이용하여 보간될 화소를 공간적으로 보간하는 단계; 및 (d) 보간될 화소에 수직 고주파수 성분이 존재하는 경우에, 선행 필드 및 후행 필드의 대응 화소값, 및 공간적으로 보간된 화소값을 이용하여 보간될 화소의 값을 재설정하는 단계를 포함한다.

Description

비월주사 영상을 순차 영상으로 변환하는 방법 및 장치{Method and apparatus for converting the interlaced images into progressive images.}
본 발명은 비월주사(interlaced) 영상을 순차(progressive) 영상으로 변환하는 방법 및 장치에 관한 것이며, 구체적으로는, 비월주사된 영상을 화소의 방향으로 고려하여 보간함으로써 순차 주사된 영상으로 변환하는 방법 및 장치에 관한 것이다.
비월주사 영상을 순차주사 영상으로 변환시키는 방법으로, 다양한 기술들이 공지되어 있다. 그 중 대표적인 방식 2가지로 블랜드(blend) 방식과 에지 종속 보간(edge dependent interpolation) 방식이 있는데 이에 대해 간략히 소개하면 다음과 같다.
블랜드 방식은 처리대상 화소의 비월주사상의 화소값과 이 화소의 수직 방향의 상하 화소값을 이용하여 보간 처리를 한 후 보간 처리된 값을 처리대상 화소의 값으로 하는 방식이다. 이 방식은 특히 영상의 에지 부분을 부드럽고 자연스럽게 표현할 수 있는 장점이 있다. 그러나 움직임이 많은 비월주사 영상을 상술한 방식을 이용하여 변환시키는 경우에 blur 현상(흐려짐 현상) 및 잔상이 생기는 결점이 있고, 또한, 사선 에지 부분의 표현시에 계단 현상이 발생하는 단점이 있다.
에지 종속 보간(edge dependent interpolation) 방식은 처리대상 화소값을 구하기 위해 처리대상 화소의 상하 화소값과 상하 화소값의 좌우 화소값을 사용하는 방식으로 도 1 에 도시된 바와 같이 처리대상 화소값(X)의 순차주사된 화소값(X')을 구하기 위해 이 화소의 왼쪽 위 대각선 방향 화소값(), 왼쪽 아래 대각선 방향 화소값(), 오른쪽 위 대각선 방향 화소값(), 오른쪽 아래 대각선 방향 화소값(), 상하 화소값()을 사용한다.
이 방식은 상하 화소값의 차(), 대각선 방향 화소값의 차()를 구해 그 차가 가장 작은 방향의 값으로 처리대상 화소값(X)을 보간하여 순차주사된 화소값(X')을 구한다. 이 방식은 상술한 바와 같이 대각선 방향의 화소를 고려하므로 자연스러운 사선 에지 표현이 가능하여 계단 현상을 방지시킬 수 있는 장점이 있다.
그러나 이 방식은 경계(에지)의 사선 방향 판단의 오류 위험성이 있으며, 보간시에 비월주사 영상의 한 필드만 사용하기 때문에 비월주사 영상의 색도값과 순차주사 영상의 색도값이 서로 현격한 차이가 날 수 있고 피사체의 움직임이 빠른 영상의 순차변환시에 색번짐 현상이 발생할 수 있는 문제점이 있다. 즉, 이러한 방법을 사용하기 위해서는 각 화소를 사선방향으로 보간하는 것이 유리한지 또는 수직방향으로 보간하는 것이 유리한지를 판단하는 것이 중요하다.
기존의 방법은 대부분 사선 방향을 판단하기 위해 상위 주사선상의 화소값들과 하위 주사선상의 화소 값들의 차의 절대값 |x(k) - y(-k)| , k = -N, .., 0, ....N 을 구해서 가장 값이 작은 쪽 방향으로 사선이 있다고 판단하는 방법을 사용한다. (예를 들어 미국 특허출원 US005532751A , US6421090B1 등) 그러나 이러한 방식은은 가능한 사선 방향에 있는 위, 아래 화소들의 조합의 절대값을 일일이 비교해야 하므로 모든 가능한 사선을 조사하려면 복잡도가 높아지고 몇 가지 종류의 사선만 체크하면 체크하지 않은 방향의 사선을 고려하지 못해 잘못된 판단에 의한 잡음이 생길 수 있는 문제가 있다.
또한, 정확한 변환을 위해서 움직임 예측이 필요하나, 이 방법은 많은 계산 능력과 메모리 bandwidth를 필요로 하므로 실시간으로 비월주사된 영상을 변환하는 것이 어려운 단점이 있다.
본 발명이 이루고자 하는 기술적 과제는 움직임 유무만을 판단하여 움직임에 적응적으로 비월주사 영상을 순차 주사 영상으로 변환할 수 있고, 다양한 각도의 사선을 한번에 판단하여 사선방향으로 보간함으로써, 사선 판단 복잡도가 낮아지며, 따라서, 잘못된 사선판단에 의한 잡음을 줄이면서 사선부분의 지그재그현상을 완화할 수 있는 변환 방법 및 장치를 제공하는 것이다.
상술한 기술적 과제를 이루기 위한 본 발명의 영상 변환 방법은, (a) 입력 필드 영상의 보간될 화소에 대해서, 선행 필드 영상들과 후행 필드 영상들을 이용하여 움직임을 검출하는 단계; (b) 움직임이 검출된 경우에, 다른 주사선상의 화소값을 이용하여 보간될 화소의 보간 방향을 결정하는 단계; (c) 보간 방향에 따른 소정의 필터를 이용하여 보간될 화소를 공간적으로 보간하는 단계; 및 (d) 보간될 화소에 수직 고주파수 성분이 존재하는 경우에, 선행 필드 및 후행 필드의 대응 화소값, 및 공간적으로 보간된 화소값을 이용하여 보간될 화소의 값을 재설정하는 단계를 포함한다.
또한, 전술한 변환 방법의 (a) 단계는, 보간될 화소의 인접 화소들에 대응되는, 선행 필드 영상들 및 후행 필드 영상들의 화소간의 차를 이용하여 움직임을 검출하는 것이 바람직하다.
또한, 전술한 변환 방법의 (a) 단계는, 보간될 제 1 화소 및 제 1 화소와 동일한 주사선상의 인접하는 제 2 화소들에 대응되는 선행 필드 영상의 화소들과 후행 필드 영상의 화소들간의 차, 제 1 화소에 인접하는 상위 및 하위 주사선상의 제 3 화소들과 제 3 화소들과 대응되는 선행 필드 영상의 화소들간의 차, 및 제 3 화소들과 대응되는 후행 필드 영상의 화소들간의 차를 이용하여 움직임을 검출하는 것이 바람직하다.
또한, 전술한 변환 방법의 (a) 단계는, 보간될 화소의 움직임이 없는 것으로 판단한 경우에, 보간될 화소에 대응되는 선행 필드 영상의 화소값을 보간될 화소의 화소값으로서 설정하여 보간될 화소를 보간하는 단계를 더 포함하는 것이 바람직하다.
또한, 전술한 변환 방법의 (b) 단계는, 보간될 화소에 대응되는 상위 주사선상의 화소값 및 하위 주사선상의 화소값간의 차가, 소정의 임계값 미만이면, 보간될 화소의 보간 방향을 수직 방향으로 결정하고, 소정의 임계값 이상이면, 보간될 화소의 보간 방향이 사선 방향인지 수직방향인지 결정하는 것이 바람직하다.
또한, 전술한 변환 방법의 (b) 단계는, 보간될 화소에 인접한 상위 주사선상의 소정수의 화소값들과 하위 주사선상의 소정수의 화소값들간의 차가 임계값보다 크면 차가 최소가 되는 방향으로 보간 방향을 결정하는 것이 바람직하다.
또한, 전술한 변환 방법의 (b) 단계는, (b1) 보간될 화소를 중심으로, 입력 필드 영상에서 제 1 사선 방향의 상위 주사선과 하위 주사선에 위치한 화소들간의 제 1 차분값을 구하는 단계; (b2) 보간될 화소를 중심으로, 입력 필드 영상에서 제 2 사선 방향의 상위 주사선과 하위 주사선에 위치한 화소들간의 제 2 차분값을 구하는 단계; (b3) 제 1 차분값과 제 2 차분값간의 제 3 차분값을 구하여 소정의 임계값과 비교하는 단계; 및 (b4) 제 3 차분값이 임계값보다 큰 경우에, 제 1 차분값과 제 2 차분값 중 작은 차분값에 대응되는 방향으로 보간 방향을 결정하는 단계를 포함하는 것이 바람직하다.
또한, 전술한 변환 방법의 (d) 단계는, 공간적으로 보간된 화소값에 소정의 제 1 가중치를 곱하고, 선행 필드의 대응 화소값 및 후행 필드의 대응 화소값에 소정의 제 2 가중치를 곱하여 가산한 결과를 소정의 상수로 나누어 화소의 값을 재설정하는 것이 바람직하다.
한편, 상술한 기술적 과제를 이루기 위한 본 발명의 영상 변환 장치는, 입력 필드 영상의 보간될 화소에 대해서, 선행 필드 영상들과 후행 필드 영상들을 이용하여 움직임을 검출하는 움직임 검출부; 다른 주사선상의 화소값을 이용하여 움직임이 검출된 보간될 화소의 보간 방향을 결정하는 보간 방향 결정부; 보간 방향에 따른 소정의 필터를 이용하여 보간될 화소를 공간적으로 보간하는 제 1 보간부; 및 보간될 화소에 수직 고주파수 성분이 존재하는 경우에, 선행 필드 및 후행 필드의 대응 화소값, 및 공간적으로 보간된 화소값을 이용하여 보간될 화소의 값을 재설정하는 제 2 보간부를 포함한다.
또한, 전술한 변환 장치의 움직임 검출부는, 보간될 화소의 인접 화소들에 대응되는, 선행 필드 영상들 및 후행 필드 영상들의 화소간의 차를 이용하여 움직임을 검출하는 것이 바람직하다.
또한, 전술한 변환 장치의 움직임 검출부는, 보간될 제 1 화소 및 제 1 화소와 동일한 주사선상의 인접하는 제 2 화소들에 대응되는 선행 필드 영상의 화소들과 후행 필드 영상의 화소들간의 차, 제 1 화소에 인접하는 상위 및 하위 주사선상의 제 3 화소들과 제 3 화소들과 대응되는 선행 필드 영상의 화소들간의 차, 및 제 3 화소들과 대응되는 후행 필드 영상의 화소들간의 차를 이용하여 움직임을 검출하는 것이 바람직하다.
또한, 전술한 변환 장치는, 움직임이 없는 보간될 화소에 대해서, 보간될 화소에 대응되는 선행 필드 영상의 화소값을 보간될 화소의 화소값으로서 설정하여 보간될 화소를 보간하는 제 3 보간부를 더 포함하는 것이 바람직하다.
또한, 전술한 변환 장치의 보간 방향 결정부는, 보간될 화소에 대응되는 상위 주사선상의 화소값 및 하위 주사선상의 화소값간의 차가, 소정의 임계값 미만이면, 보간될 화소의 보간 방향을 수직 방향으로 결정하고, 소정의 임계값 이상이면, 보간될 화소의 보간 방향이 사선 방향인지 수직방향인지 결정하는 것이 바람직하다.
또한, 전술한 변환 장치의 보간 방향 결정부는, 보간될 화소에 인접한 상위 주사선상의 소정수의 화소값들과 하위 주사선상의 소정수의 화소값들간의 차가 일정 임계값보다 크면 차가 최소가 되는 방향으로 보간 방향을 결정하는 것이 바람직하다.
또한, 전술한 변환 장치의 보간 방향 결정부는, 보간될 화소를 중심으로, 입력 필드 영상에서 제 1 사선 방향의 상위 주사선과 하위 주사선에 위치한 화소들간의 제 1 차분값을 계산하는 제 1 차분값 계산부; 보간될 화소를 중심으로, 입력 필드 영상에서 제 2 사선 방향의 상위 주사선과 하위 주사선에 위치한 화소들간의 제 2 차분값을 계산하는 제 2 차분값 계산부; 제 1 차분값과 제 2 차분값간의 제 3 차분값을 구하여 제 3 차분값이 소정의 임계값보다 큰 경우에, 제 1 차분값과 제 2 차분값 중 작은 차분값에 대응되는 방향으로 보간 방향을 결정하는 방향 결정부를 포함하는 것이 바람직하다.
또한, 전술한 변환 장치의 제 2 보간부는, 공간적으로 보간된 화소값에 소정의 제 1 가중치를 곱하고, 선행 필드의 대응 화소값 및 후행 필드의 대응 화소값에 소정의 제 2 가중치를 곱하여 가산한 결과를 소정의 상수로 나누어 화소의 값을 재설정하는 것이 바람직하다.
이하, 첨부된 도면을 참조하여, 본 발명의 바람직한 실시예에 따른 변환 방법 및 장치를 설명한다.
도 2a 는 본 발명의 바람직한 실시예에 따른 비월주사 영상 변환 장치의 구성을 도시하는 블록도이다. 본 발명의 변환 장치는 움직임 검출부(200), 보간 방향 결정부(220), 제 1 보간부(230), 제 2 보간부(240), 제 3 보간부(210), 및 출력부(250)를 포함한다.
한편, 도 2b 는 도 2a 에 도시된 보간 방향 결정부(220)의 구성을 도시하는 상세 블록도로서, 보간 방향 결정부(220)는 수직 차분값 계산부(222), 제 1 차분값 계산부(224), 제 2 차분값 계산부(226), 및 방향 결정부(228)를 포함한다.
도 3a 는 본 발명의 바람직한 실시예에 따른 비월주사 영상 변환 방법을 설명하는 흐름도이다. 도 3a 을 더 참조하여, 본 발명의 비월주사 영상을 순차주사 영상으로 변환하는 방법을 설명한다.
먼저, 비월 주사된 영상은 움직임 검출부(200)로 입력되고, 움직임 검출부(200)는 움직임이 검출되었는지 여부를 판단한다. 본 발명의 움직임 검출 방법을 설명하기 위한 화소 배치도인 도 4 를 더 참조하여 움직임 검출부(200)의 동작을 설명한다.
도 4 에 도시된 바와 같이, 움직임이 없는 경우에는 입력 필드 영상의 선행 필드 영상과 후행 필드 영상 사이에 화소값의 변화가 거의 없다는 것을 알 수 있으므로, 선행 필드 영상들과 후행 필드 영상들의 화소값을 이용해 현재 입력된 필드 영상의 화소에 움직임이 있는지 여부를 판단한다. 움직임 검출부(200)는 선행 필드 영상 두 개와 후행 필드 영상 두 개를 이용하여 다음의 수학식 1에 따라서, 화소값의 변화정도를 나타내는 값 M 을 구하고, M 값이 소정의 임계값보다 작으면 움직임이 없다고 판단하고, M 값이 소정의 임계값 보다 크면 움직임이 있다고 판단한다.
M=|g-j|+|h-k|+|i-l|+|a-m|+|b-n|+|c-o|+|d-p|+|e-q|+|f-r|+|a-s| +|b-t|+|c-u|+|d-v|+|e-w|+|f-x|
수학식 1 및 도 4 에서 X 는 현재 입력된 필드 영상에서 보간될 화소를 나타내고, a 내지 x 는 도 4 에 도시된 필드 영상의 화소값을 의미한다.
움직임 검출부(200)가 입력된 필드 영상의 화소에 움직임이 없다고 판단하면, 제 3 보간부(210)는 입력된 필드 영상의 보간될 화소를 선행 필드 영상의 대응되는 화소로 보간하는데, 구체적으로는 입력 필드의 보간될 화소값으로 선행 필드의 화소값을 설정한다.
이하, 움직임이 검출된 경우에 대해서, 본 발명의 바람직한 실시예에 따른 보간 방향 결정 방법을 설명하기 위한 화소 배치도인 도 5, 및 제 S320 의 상세 흐름도인 도 3b 를 더 참조하여 설명한다.
움직임 검출부(200)가 보간될 화소에 움직임이 있다고 판단하면, 먼저, 보간 방향 결정부(220)의 수직 차분값 계산부(222)가 보간 방향이 수직방향인지를 결정하기 위해서 다음의 수학식 2를 계산하고, 계산된 값을 방향 결정부(228)로 출력하면, 방향 결정부(228)는 입력된 수직 차분값(vert)을 소정의 임계값(T1)과 비교한다(S321).
vert = |E-B|
수학식 2에서 B 및 E 는 도 5 에 도시된 바와 같이, 보간될 화소의 상위 및 하위에 있는 화소값을 의미한다.
방향 결정부(228)는 수직 차분값이 임계값(T1)보다 작으면 수직 방향으로 보간 방향을 결정하여 제 1 보간부(230)로 출력한다(S323).
한편, 수직 차분값이 임계값(T1)보다 크거나 같으면, 방향 결정부(228)는 제 1 차분값 계산부(224)로부터 도 5 에 도시된 제 1 사선 방향의 차분값을 입력받고, 제 2 차분값 계산부(226)로부터 도 5 에 도시된 제 2 사선 방향의 차분값을 입력받아, 다음의 수학식 3 과 같은 Bias 값을 계산한다(S325).
Bias = ||-B-C+D+E| - |-A-B+E+F||
수학식 3 에서 |-B-C+D+E|는 제 1 차분값 계산부(224)로부터 입력된 제 1 사선 방향의 차분값을 나타내고, |-A-B+E+F|는 제 2 차분값 계산부(226)로부터 입력된 제 2 사선 방향의 차분값을 나타낸다.
그 후, 방향 결정부(228)는 입력된 Bias 값이 소정의 임계값(T2)보다 큰지를 조사하고(S327), Bias 값이 임계값(T2)보다 크지 않으면 보간 방향을 수직 방향으로 결정하고(S323), Bias 값이 임계값(T2)보다 크면 Bias 에 따른 사선 방향으로 보간 방향을 결정한다(S329).
제 S327 단계 및 제 S329 단계를 구체적으로 설명한다. 일단, 고주파수 성분이 수직방향에 존재하는 것으로 결정되면, 즉, 보간될 화소의 상위 화소의 값과 하위 화소의 값간의 차이가 크다고 판단되면, 보간될 화소가 사선 영역에 포함되는지 여부를 결정해야 한다. 도 5 에 도시된 바와 같이, 현재 pixel X의 방향을 판단하기 위해, X의 상위 3개의 화소와 하위 3개의 화소의 값을 사용하며 상위 pixel A, B, C의 가중치와, 하위 pixel D, E, F의 값의 가중치의 부호를 반대로 주고 가중치를 곱해서 더한 값으로 방향을 판단한다. 상위 및 하위 주사선에 속한 pixel들의 부호를 다르게 해서 더하는 것의 효과는, 상위 주사선의 어느 한 pixel과 하위 주사선의 어느 한 pixel이 유사한 값일 때 부호를 다르게 해서 더하면 0에 가까운 숫자가 되므로, 전체 더한 값은 작은 값이 되기 때문에, 유사한 값이 없을 경우의 값과 차이가 나서 사선을 검출해 낼 수 있기 때문이다. 결국, 이는 화소값들간의 차이를 구하는 것과 동일하며, 상술한 바와 같이 계산함으로써, 여러 pixel 그룹에서 사선이 나올 모든 경우의 수를 고려하지 않더라도 상위 주사선과 하위 주사선의 부호를 다르게 해서 더하는 것에 의해 사선을 검출해 낼 수 있다.
방향 결정부(228)는 상술한 수학식 3의 Bias 값을 사선 방향을 판단하는데 사용하며, Bias값이 임계값(T2)보다 크면 절대값이 작은 차분값의 방향으로 사선 방향을 결정한다. 즉, Bias> T2 이고 |-B-C+D+E| < |-A-B+E+F|면 제 1 사선 방향(오른쪽 위 왼쪽 아래 방향)으로 사선이 존재한다고 판단하고, |-B-C+D+E| > |-A-B+E+F| 이면 제 2 사선 방향(왼쪽 위 오른쪽 아래방향)으로 사선이 존재한다고 판단한다.
화소가 수직방향에 속하는지 또는 사선방향에 속하는지를 판단하기 위해 기존 방법들은 일반적으로 위 아래 pixel 값의 차의 절대값을 사용하여 그 방향으로 edge가 있는지 판단하는데 반해, 본 발명에서는 pixel 여러 개를 사용하여 한번에 비교하여 다양한 각도의 edge들을 찾아내도록 방향판단을 한다는 데에 장점이 있다. 도 5 의 예에서는 A, B, E, F 를 걸치는 여러 각도의 edge를 한번에 판단한다. 이러한 본 발명의 방법에 따르면, 사선 검출의 오류로 인해서 발생되는 잡음(artifact)를 줄일 수 있으며, 기존의 방법에 비해 복잡도를 크게 감소시킬 수 있다.
보간 방향 결정부(220)로부터 보간 방향을 입력받은 제 1 보간부(230)는 보간 방향에 따른 소정의 공간 필터(spatial filter)를 이용하여 입력 화소를 공간적으로 보간한다(S330).
도 6 은 결정된 보간 방향에 따라서 현재 입력 필드의 정보만을 이용하여 공간 필터링을 수행하는 방법을 설명하기 위한 화소 배치도이다. 제 1 보간부(230)는 보간될 X값을 구할 때, 사선 방향은 low pass filter인 2tab 필터를 사용하고 수직 방향은 high pass filter인 6tab 필터를 사용한다. 공간 필터를 이용하여 보간하는 구체적인 보간 방법을 다음의 수학식 4 내지 6 에 기재하였다.
X = (C + D )>>1
X = (A + F )>>1
X = ( 20*(B +E)- 5*(H + I) +G+J ) >>5 ,
수학식 4 내지 6 에서 A 내지 J 값은 도 6 에 도시된 화소의 값이며, 연산자 >> 는 쉬프트 연산자로서, x >> y 함수는 x 값을 2y 로 나누는 함수이다.
제 1 보간부(230)는 보간 방향 결정부(220)로부터 입력된 보간 방향이 제 1 사선 방향(오른쪽 위 왼쪽 아래방향)인 경우에 수학식 4에 의해 X 값을 계산하고, 보간 방향이 제 2 사선 방향(왼쪽 위 오른쪽 아래방향)일 때는 수학식 5에 의해서 X 값을 계산한다. 또한, 보간 방향이 수직 방향인 경우에는 6 tab으로 필터링하는 수학식 6에 따라서 보간될 화소 X 의 값을 계산한다.
본 발명에서는, 사선 방향 edge가 있을 때 사선 방향을 살리는 high pass filter를 사용하는 일반적인 방법과 달리, 지그재그 현상을 없애기 위해 lowpass filter인 2 tab 필터를 사용하여 smoothing하는 효과를 주었고, 나머지 영역에서는 high pass filter인 6 tab filter를 사용하여 고주파 성분을 살려 주었다.
한편, 제 1 보간부(230)로부터 공간적으로 보간된 입력 화소값을 입력받은 제 2 보간부(240)는 전술한 수학식 2에 의해서 계산된 vert 값을 소정의 임계값(T3)과 비교하여 공간적으로 보간된 입력 화소에 수직방향 고주파수 성분이 존재하는지를 판단한다(S340). 제 2 보간부(240)는 vert 값이 임계값(T3)보다 크면 수직방향 고주파수 성분이 존재한다고 판단하고 작으면 없다고 판단한다.
수직방향 고주파수 성분이 있는 경우에는 수평방향으로 edge가 있는 경우에 해당되고, 이전 필드의 값과 현재 필드의 값이 확연히 틀려 flickering이 생기는 문제를 보완하기 위해서, 시간적인 정보를 이용하여 공간 보간된 화소값을 재설정한다. 이를 위해서 제 2 보간부(240)는 다음의 수학식 7 을 이용하여 화소값을 재설정한다(S350).
X’ = (10*X + 3*h + 3*k)>>4
본 발명은 상술한 제 S310 단계 내지 제 S350 단계를 입력된 필드 영상의 보간될 모든 화소에 대해서 수행하여, 입력된 필드 영상을 순차 영상으로 변환하고, 출력부(250)는 변환된 순차 영상을 출력한다(S360).
720*240 사이즈의 비월주사 영상을 720*480의 순차 영상으로 변환한 예들을 도7a 내지 도 7b, 및 도 8a 내지 도 8c 에 각각 도시하였다.
도 7a는 비월주사된 입력 영상, 도 7b는 본 발명에 의해 변환된 순차 영상이고, 도 7c는 종래 기술에 의해서 변환된 순차 영상이다. 도 7c 의 경우는 사람의 오른쪽 팔 부분, 왼쪽 어깨 부분에 지그재그현상이 나타나지만, 본 발명에 의한 도 7b 에서는 그 현상이 완화된 것을 볼 수 있다. 그리고, 도 7c 의 경우에는, 탁구대 선 부분이 뭉개져 보이지만, 본 발명에 따른 도 7b 에서는 그 현상이 완화된 것을 알 수 있다.
마찬가지로, 도 8a 는 비월 주사된 입력 영상을, 도 8b는 본 발명에 의해 변환된 순차 영상을, 도 8c 는 종래 기술에 의해서 변환된 순차 영상을 각각 도시한 도면이다. 도 8c 에 도시된 글씨의 사선 부분에 지그재그 현상이 나타나는 것을 알 수 있으며, 도 8b 에는 지그재그 현상이 완화된 것을 볼 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
본 발명은 움직임이 있는 부분에 대해서는 상술한 바와 같이 보간을 수행하고, 움직임이 없는 부분에 대해서는 이전 필드의 화소값을 그대로 사용하여, 움직임에 적응적으로 원 영상의 손상을 줄이면서 비월 주사된 영상을 순차 주사된 영상으로 변환할 수 있는 효과가 있다.
특히, 화소의 방향 판단시에 잘못된 방향 판단의 가능성을 최대한 줄여 노이즈를 감소시키는 효과가 있다. 또한, 방향 결정시 간단한 알고리즘을 사용하여 사선부분을 검출할 수 있는 효과가 있다.
도 1은 종래의 에지 종속 보간 방식의 설명을 위한 화소 배치도를 도시한 도면이다.
도 2a 는 본 발명의 바람직한 실시예에 따른 비월주사 영상 변환 장치의 구성을 도시하는 블록도이고, 도 2b 는 도 2a 에 도시된 보간 방향 결정부(220)의 구성을 도시하는 상세 블록도이다.
도 3a 는 본 발명의 바람직한 실시예에 따른 비월주사 영상 변환 방법을 설명하는 흐름도이고, 도 3b 는 도 3a의 제 S320 단계의 상세 흐름도이다.
도 4 는 본 발명의 움직임 검출 방법을 설명하기 위한 화소 배치도이다.
도 5 는 본 발명의 바람직한 실시예에 따른 보간 방향 결정 방법을 설명하기 위한 화소 배치도이다.
도 6 은 결정된 보간 방향에 따라서 현재 입력 필드의 정보만을 이용하여 공간 필터링을 수행하는 방법을 설명하기 위한 화소 배치도이다.
도 7a 내지 도 7c, 및 도 8a 내지 도 8c 는 입력된 비월주사된 영상, 본 발명에 따라서 변환된 순차주사 영상, 및 종래 기술에 따라서 변환된 순차주사 영상을 각각 도시하는 도면이다.

Claims (27)

  1. 비월주사된 필드 영상을 보간하여 순차주사된 프레임 영상으로 변환하는 방법으로서,
    (a) 입력 필드 영상의 보간될 화소에 대해서, 선행 필드 영상들과 후행 필드 영상들을 이용하여 움직임을 검출하는 단계;
    (b) 움직임이 검출된 경우에, 다른 주사선상의 화소값을 이용하여 상기 보간될 화소의 보간 방향을 결정하는 단계;
    (c) 상기 보간 방향에 따른 소정의 필터를 이용하여 상기 보간될 화소를 공간적으로 보간하는 단계; 및
    (d) 상기 보간될 화소에 수직 고주파수 성분이 존재하는 경우에, 선행 필드 및 후행 필드의 대응 화소값, 및 상기 공간적으로 보간된 화소값을 이용하여 상기 보간될 화소의 값을 재설정하는 단계를 포함하는 것을 특징으로 하는 변환 방법.
  2. 제 1 항에 있어서, 상기 (a) 단계는
    상기 보간될 화소의 인접 화소들에 대응되는, 상기 선행 필드 영상들 및 후행 필드 영상들의 화소간의 차를 이용하여 움직임을 검출하는 것을 특징으로 하는 변환 방법.
  3. 제 1 항에 있어서, 상기 (a) 단계는
    상기 보간될 제 1 화소 및 상기 제 1 화소와 동일한 주사선상의 인접하는 제 2 화소들에 대응되는 선행 필드 영상의 화소들과 후행 필드 영상의 화소들간의 차, 상기 제 1 화소에 인접하는 상위 및 하위 주사선상의 제 3 화소들과 상기 제 3 화소들과 대응되는 선행 필드 영상의 화소들간의 차, 및 상기 제 3 화소들과 대응되는 후행 필드 영상의 화소들간의 차를 이용하여 상기 움직임을 검출하는 것을 특징으로 하는 변환 방법.
  4. 제 3 항에 있어서, 상기 화소들간의 차는
    상기 화소들의 값의 차의 절대값이며, 상기 절대값들의 합이 소정의 임계값보다 크면 움직임이 있는 것으로 판단하는 것을 특징으로 하는 변환 방법.
  5. 제 1 항에 있어서, 상기 (a) 단계는
    상기 보간될 화소의 움직임이 없는 것으로 판단한 경우에, 상기 보간될 화소에 대응되는 상기 선행 필드 영상의 화소값을 상기 보간될 화소의 화소값으로서 설정하여 상기 보간될 화소를 보간하는 단계를 더 포함하는 것을 특징으로 하는 변환 방법.
  6. 제 1 항에 있어서, 상기 (b) 단계는
    상기 보간될 화소에 대응되는 상위 주사선상의 화소값 및 하위 주사선상의 화소값간의 차가, 소정의 임계값 미만이면, 상기 보간될 화소의 보간 방향을 수직 방향으로 결정하는 것을 특징으로 하는 변환 방법.
  7. 제 1 항에 있어서, 상기 (b) 단계는
    상기 보간될 화소에 대응되는 상위 주사선상의 화소값 및 하위 주사선상의 화소값간의 차가, 소정의 임계값 이상이면, 상기 보간될 화소의 보간 방향을 사선 방향으로 결정하는 것을 특징으로 하는 변환 방법.
  8. 제 7 항에 있어서, 상기 (b) 단계는
    상기 보간될 화소에 인접한 상위 주사선상의 소정수의 화소값들과 하위 주사선상의 상기 소정수의 화소값들간의 차가 최소가 되는 방향으로 상기 보간 방향을 결정하는 것을 특징으로 하는 변환 방법.
  9. 제 1 항에 있어서, 상기 (b) 단계는
    (b1) 상기 보간될 화소를 중심으로, 상기 입력 필드 영상에서 제 1 사선 방향의 상위 주사선과 하위 주사선에 위치한 화소들간의 제 1 차분값을 구하는 단계;
    (b2) 상기 보간될 화소를 중심으로, 상기 입력 필드 영상에서 제 2 사선 방향의 상위 주사선과 하위 주사선에 위치한 화소들간의 제 2 차분값을 구하는 단계;
    (b3) 상기 제 1 차분값과 상기 제 2 차분값간의 제 3 차분값을 구하여 소정의 임계값과 비교하는 단계; 및
    (b4) 상기 제 3 차분값이 상기 임계값보다 큰 경우에, 상기 제 1 차분값과 제 2 차분값 중 작은 차분값에 대응되는 방향으로 상기 보간 방향을 결정하는 단계를 포함하는 것을 특징으로 하는 변환 방법.
  10. 제 1 항에 있어서, 상기 (c) 단계는
    상기 보간 방향이 수직방향인 경우에, 6탭 필터를 이용하여 상기 화소를 보간하는 것을 특징으로 하는 변환 방법.
  11. 제 1 항에 있어서, 상기 (c) 단계는
    상기 보간 방향이 수직방향이 아닌 경우에, 상기 사선 방향에 따른 2탭 필터를 이용하여 상기 화소를 보간하는 것을 특징으로 하는 변환 방법.
  12. 제 1 항에 있어서, 상기 (d) 단계는
    공간적으로 보간된 화소값에 소정의 제1 가중치를 곱하고, 선행 필드의 대응 화소값 및 후행 필드의 대응 화소값에 소정의 제 2 가중치를 곱하여 가산한 결과를 소정의 상수로 나누어 상기 화소의 값을 재설정하는 것을 특징으로 하는 변환 방법.
  13. 제 1 항에 있어서, 상기 선행 필드 영상들은 상기 입력 필드 영상에 시간적으로 선행하는 두개의 필드 영상이며, 상기 후행 필드 영상들은 상기 입력 필드 영상에 시간적으로 후행하는 두개의 필드 영상인 것을 특징으로 하는 변환 방법.
  14. 제 1 항 내지 제 13 항 중 어느 한 항의 변환 방법을 컴퓨터에서 판독할 수 있고, 실행 가능한 프로그램 코드로 기록한 기록 매체.
  15. 비월주사된 필드 영상을 보간하여 순차주사된 프레임 영상으로 변환하는 장치로서,
    입력 필드 영상의 보간될 화소에 대해서, 선행 필드 영상들과 후행 필드 영상들을 이용하여 움직임을 검출하는 움직임 검출부;
    다른 주사선상의 화소값을 이용하여 움직임이 검출된 상기 보간될 화소의 보간 방향을 결정하는 보간 방향 결정부;
    상기 보간 방향에 따른 소정의 필터를 이용하여 상기 보간될 화소를 공간적으로 보간하는 제 1 보간부; 및
    상기 보간될 화소에 수직 고주파수 성분이 존재하는 경우에, 선행 필드 및 후행 필드의 대응 화소값, 및 상기 공간적으로 보간된 화소값을 이용하여 상기 보간될 화소의 값을 재설정하는 제 2 보간부를 포함하는 것을 특징으로 하는 변환 장치.
  16. 제 15 항에 있어서, 상기 움직임 검출부는
    상기 보간될 화소의 인접 화소들에 대응되는, 상기 선행 필드 영상들 및 후행 필드 영상들의 화소간의 차를 이용하여 움직임을 검출하는 것을 특징으로 하는 변환 장치.
  17. 제 15 항에 있어서, 상기 움직임 검출부는
    상기 보간될 제 1 화소 및 상기 제 1 화소와 동일한 주사선상의 인접하는 제 2 화소들에 대응되는 선행 필드 영상의 화소들과 후행 필드 영상의 화소들간의 차, 상기 제 1 화소에 인접하는 상위 및 하위 주사선상의 제 3 화소들과 상기 제 3 화소들과 대응되는 선행 필드 영상의 화소들간의 차, 및 상기 제 3 화소들과 대응되는 후행 필드 영상의 화소들간의 차를 이용하여 상기 움직임을 검출하는 것을 특징으로 하는 변환 장치.
  18. 제 17 항에 있어서, 상기 화소들간의 차는
    상기 화소들의 값의 차의 절대값이며, 상기 절대값들의 합이 소정의 임계값보다 크면 움직임이 있는 것으로 판단하는 것을 특징으로 하는 변환 장치.
  19. 제 15 항에 있어서,
    움직임이 없는 상기 보간될 화소에 대해서, 상기 보간될 화소에 대응되는 상기 선행 필드 영상의 화소값을 상기 보간될 화소의 화소값으로서 설정하여 상기 보간될 화소를 보간하는 제 3 보간부를 더 포함하는 것을 특징으로 하는 변환 장치.
  20. 제 15 항에 있어서, 상기 보간 방향 결정부는
    상기 보간될 화소에 대응되는 상위 주사선상의 화소값 및 하위 주사선상의 화소값간의 차가, 소정의 임계값 미만이면, 상기 보간될 화소의 보간 방향을 수직 방향으로 결정하는 것을 특징으로 하는 변환 장치.
  21. 제 15 항에 있어서, 상기 보간 방향 결정부는
    상기 보간될 화소에 대응되는 상위 주사선상의 화소값 및 하위 주사선상의 화소값간의 차가, 소정의 임계값 이상이면, 상기 보간될 화소의 보간 방향을 사선 방향으로 결정하는 것을 특징으로 하는 변환 장치.
  22. 제 21 항에 있어서, 상기 보간 방향 결정부는
    상기 보간될 화소에 인접한 상위 주사선상의 소정수의 화소값들과 하위 주사선상의 상기 소정수의 화소값들간의 차가 최소가 되는 방향으로 상기 보간 방향을 결정하는 것을 특징으로 하는 변환 장치.
  23. 제 15 항에 있어서, 상기 보간 방향 결정부는
    상기 보간될 화소를 중심으로, 상기 입력 필드 영상에서 제 1 사선 방향의 상위 주사선과 하위 주사선에 위치한 화소들간의 제 1 차분값을 계산하는 제 1 차분값 계산부;
    상기 보간될 화소를 중심으로, 상기 입력 필드 영상에서 제 2 사선 방향의 상위 주사선과 하위 주사선에 위치한 화소들간의 제 2 차분값을 계산하는 제 2 차분값 계산부;
    상기 제 1 차분값과 상기 제 2 차분값간의 제 3 차분값을 구하여 상기 제 3 차분값이 소정의 임계값보다 큰 경우에, 상기 제 1 차분값과 제 2 차분값 중 작은 차분값에 대응되는 방향으로 상기 보간 방향을 결정하는 방향 결정부를 포함하는 것을 특징으로 하는 변환 장치.
  24. 제 15 항에 있어서, 상기 제 1 보간부는
    상기 보간 방향이 수직방향인 경우에, 6탭 필터를 이용하여 상기 화소를 보간하는 것을 특징으로 하는 변환 장치.
  25. 제 15 항에 있어서, 상기 제 1 보간부는
    상기 보간 방향이 사선방향인 경우에, 상기 사선 방향에 따른 2탭 필터를 이용하여 상기 화소를 보간하는 것을 특징으로 하는 변환 장치.
  26. 제 15 항에 있어서, 상기 제 2 보간부는
    공간적으로 보간된 화소값에 소정의 제1 가중치를 곱하고, 선행 필드의 대응 화소값 및 후행 필드의 대응 화소값에 소정의 제 2 가중치를 곱하여 가산한 결과를 소정의 상수로 나누어 상기 화소의 값을 재설정하는 것을 특징으로 하는 변환 장치.
  27. 제 15 항에 있어서, 상기 선행 필드 영상들은 상기 입력 필드 영상에 시간적으로 선행하는 두개의 필드 영상이며, 상기 후행 필드 영상들은 상기 입력 필드 영상에 시간적으로 후행하는 두개의 필드 영상인 것을 특징으로 하는 변환 장치.
KR1020030055885A 2003-08-12 2003-08-12 비월주사 영상을 순차 영상으로 변환하는 방법 및 장치 KR100552685B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030055885A KR100552685B1 (ko) 2003-08-12 2003-08-12 비월주사 영상을 순차 영상으로 변환하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030055885A KR100552685B1 (ko) 2003-08-12 2003-08-12 비월주사 영상을 순차 영상으로 변환하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20050019944A true KR20050019944A (ko) 2005-03-04
KR100552685B1 KR100552685B1 (ko) 2006-02-20

Family

ID=37228927

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030055885A KR100552685B1 (ko) 2003-08-12 2003-08-12 비월주사 영상을 순차 영상으로 변환하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100552685B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100662891B1 (ko) * 2005-11-30 2007-01-02 삼성전자주식회사 움직임 정보를 이용하는 잡음처리장치 및 그의잡음처리방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100662891B1 (ko) * 2005-11-30 2007-01-02 삼성전자주식회사 움직임 정보를 이용하는 잡음처리장치 및 그의잡음처리방법

Also Published As

Publication number Publication date
KR100552685B1 (ko) 2006-02-20

Similar Documents

Publication Publication Date Title
JP4631966B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US7406208B2 (en) Edge enhancement process and system
US7265791B2 (en) Method and apparatus for de-interlacing video signal
US8175417B2 (en) Apparatus, method, and computer-readable recording medium for pixel interpolation
KR100995398B1 (ko) 수직 및 수평 방향의 패턴을 고려한 전역 움직임 보상순차주사화 방법
EP1912172B1 (en) Interpolation method for a motion compensated image and device for the implementation of said method
EP2107521A2 (en) Detecting a border region in an image
KR100979811B1 (ko) 수평 방향 에지의 패턴을 고려한 순차주사화 장치 및 방법
US8213736B2 (en) Image processing device and image processing method
US20040126037A1 (en) Apparatus and method for enhancing quality of reproduced image
US7808553B2 (en) Apparatus and method for converting interlaced image into progressive image
CN111294545B (zh) 图像数据插值方法及装置、存储介质、终端
Park et al. Covariance-based adaptive deinterlacing method using edge map
KR100552685B1 (ko) 비월주사 영상을 순차 영상으로 변환하는 방법 및 장치
KR101158847B1 (ko) 에지맵을 이용한 디인터레이싱 장치 및 방법
KR101235488B1 (ko) 위너필터 기반의 가중치를 부여하여 화소를 보간하는 디인터레이싱 장치 및 방법
KR20030082249A (ko) 움직임 적응 시공간 디인터레이싱 방법
KR101069712B1 (ko) 에지 방향성의 가중치를 이용한 필드내 주사선 보간 방법 및 그 장치
KR100874380B1 (ko) 변형된 소벨 연산자를 이용한 디인터레이싱 장치 및 방법, 그리고 기록매체
KR100949137B1 (ko) 영상 보간 장치와 그 방법 및 그 방법이 기록된 컴퓨터로읽을 수 있는 기록매체
KR20190070134A (ko) 대형 디스플레이의 영상 크기 조절 장치 및 방법
KR101192402B1 (ko) 공분산 기반 적응적 디인터레이싱 장치 및 방법, 그리고 복잡도를 고려한 하이브리드 디인터레이싱 장치 및 방법
JP4239063B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
Venkatesan et al. Video deinterlacing with control grid interpolation
KR101652266B1 (ko) 자기상관 기반 인터레이스 대 프로그레시브 포맷 변환

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130130

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140128

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee