KR20050018023A - 수평 방향 에지의 패턴을 고려한 순차주사화 알고리즘 - Google Patents

수평 방향 에지의 패턴을 고려한 순차주사화 알고리즘

Info

Publication number
KR20050018023A
KR20050018023A KR1020030055812A KR20030055812A KR20050018023A KR 20050018023 A KR20050018023 A KR 20050018023A KR 1020030055812 A KR1020030055812 A KR 1020030055812A KR 20030055812 A KR20030055812 A KR 20030055812A KR 20050018023 A KR20050018023 A KR 20050018023A
Authority
KR
South Korea
Prior art keywords
vector
image pattern
image
pixels
value
Prior art date
Application number
KR1020030055812A
Other languages
English (en)
Other versions
KR100979811B1 (ko
Inventor
강문기
박민규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020030055812A priority Critical patent/KR100979811B1/ko
Priority to US10/898,526 priority patent/US7268822B2/en
Priority to GB0418004A priority patent/GB2405047B/en
Priority to CNB2004100566947A priority patent/CN100515025C/zh
Publication of KR20050018023A publication Critical patent/KR20050018023A/ko
Application granted granted Critical
Publication of KR100979811B1 publication Critical patent/KR100979811B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Abstract

하나의 프레임이 2 개의 필드로 이루어진 비월주사방식의 영상 신호로부터 순차주사방식의 영상 신호를 얻기 위한 순차주사화 방법이 개시된다. 순차주사화 방법은, j-1번째 영상 라인 중 N 개의 화소들을 포함하는 상위 벡터를 선택하고, j+1 영상 라인 중 N 개의 화소들을 포함하는 하위 벡터를 선택하는 단계를 포함한다. 상기 상위 벡터 내의 화소들 간의 관계 및 상기 하위 벡터 내의 화소들 간의 관계에 근거해서 가중치가 구해진다. 상기 선택된 상위 벡터, 하위 벡터 그리고 상기 가중치로부터 에지 방향이 선택된다. 그리고, 선택된 에지 방향에 근거해서 j번째 영상 라인에 속하는 화소가 보간된다.

Description

수평 방향 에지의 패턴을 고려한 순차주사화 알고리즘{DEINTERLACING ALGORITHM BASED ON HORIZONTAL EDGE PATTERN}
본 발명은 영상 신호의 라인과 라인을 보간하는 알고리즘에 관한 것이다.
하나의 프레임이 2 개의 필드로 이루어진 비월주사(interlaced scanning) 방식의 비디오 카메라, 캠코더, 텔레비젼 또는 VCR(Video Cassette Recorder) 등으로부터의 동영상 신호로부터 1 프레임 영상을 추출하여 순차주사(non-interlace scanning) 방식의 영상 신호를 얻는 경우, 첫번째 필드와 두번째 필드 간의 시간차에 의해서 움직임이 있는 동영상이나 손떨림 등에 의하여 영상 내의 움직임이 발생되면, 각 필드간의 차이가 눈에 두드러지게 나타나게 되어 움직임이 발생된 부분의 에지 부분에 계단현상이나 톱니 모양의 현상이 발생하게 된다.
이러한 현상을 없애기 위하여, 비월주사 방식의 영상 데이터를 적절히 보정하여 줄 필요가 있는데, 이러한 과정을 디인터레이스(de-interlace)라 하고, 보정 방법에는 한 필드 데이터의 라인과 라인을 보간하여 한 프레임의 데이터를 생성하는 필드내 보간법(intra-field method)과 두 필드 이상의 데이터를 이용하여 한 프레임의 데이터를 생성해 내는 필드간 보간법(inter-field method)이 있다.
필드내 보간법으로는, 선형 보간법(linear interpolation), 메디안 필터링(median filtering), NMF(nest median filter)/MAF(median averaging filter) 및 에지-적응형 보간법(edge-adaptive interpolation) 등이 있고, 필드간 보간법으로는, 움직임 적응형(motion adaptive method), VT(vertical temporal) 필터링, MC(motion compensation) 및 가중 메디안 필터링(weighted median filtering) 등이 있다. 또, 디인터레이스 방법으로는 한 필드 데이터의 라인과 라인을 보간하여 한 프레임의 데이터를 생성하는 방법과 두 필드 이상의 데이터를 이용하여 한 프레임의 데이터를 생성해 내는 방법을 혼합한 하이브리드 방식(hybrid-typed method)이 있다. 현재 기술에서는 에지 적응형 보간법과 하이브리드 방식이 가장 많이 사용되고 있다.
에지의 방향을 고려한 에지 적응형 보간법은 선형 보간법에 비해 에지라는 또 하나의 정보를 사용한 것으로, 간단한 에지 적응형 보간법인 ELA(edge line average)는 다음과 같이 정의된다.
수학식 1에서, 는 수평 방향의 에지 이동 값이다. 는 다음과 같은 규칙으로 차이값을 이용해 구한다.
수학식 2에서, 차이값 diff(d)은 수학식 3으로부터 계산된다.
에지의 특성은 수직 방향 뿐만 아니라 수평 방향으로도 나타나기 때문에 윤곽선이 잘 보존될 뿐만 아니라, 수직 방향의 해상도를 수평 방향의 정보로 이용하면서 EDI(edge dependent interpolation) 과정을 수행하였기 때문에 선형 방법에 비해 앨리어싱(aliasing)이 더 잘 제거된다. 그러나, 영상 신호에 잡음이 포함된 경우, 동일한 밝기 값을 갖는 배경에 대해 얇은 에지를 갖는 경우, 체크 무늬와 같이 동일한 무늬가 반복적으로 나타나는 경우, 에지의 경계가 뚜렷하지 않은 경우 또는 동일한 영역에 대해 밝기 값이 다른 경우에, 에지에 의존한 보간을 사용하는 순차주사화는 에지의 방향을 잘못 추정하여 순차주사화 과정에서 에러와 아티팩트(artifact)가 발생한다.
따라서 본 발명의 목적은 비월주사방식의 영상 데이터를 원래의 영상 프레임에 가깝도록 복원할 수 있는 순차주사화 알고리즘을 제공하는데 있다.
(구성)
상술한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 의하면, 순차주사화 방법은: 제 1 및 제 3 영상 라인들을 입력받는 단계, 제 1 영상 라인 중 N 개의 화소들을 포함하는 상위 벡터를 선택하고, 제 2 영상 라인 중 N 개의 화소들을 포함하는 하위 벡터를 선택하는 단계, 상기 상위 벡터 내의 화소들 간의 관계 및 상기 하위 벡터 내의 화소들 간의 관계에 근거해서 가중치를 구하는 단계, 상기 선택된 상위 벡터, 하위 벡터 그리고 상기 가중치로부터 에지 방향을 선택하는 단계 그리고 선택된 에지 방향에 근거해서 상기 제 1 및 제 3 영상 라인들 사이의 제 2 영상 라인에 속하는 화소를 보간하는 단계를 포함한다.
바람직한 실시예에 있어서, 상기 가중치를 구하는 단계는, 상기 상위 벡터 내의 화소들 간의 관계로부터 상위 영상 패턴을 분류하고, 상기 하위 벡터 내의 화소들 간의 관계로부터 하위 영상 패턴을 분류하는 단계 및 상기 분류된 상위 영상 패턴과 하위 영상 패턴으로부터 상기 가중치를 구하는 단계를 포함한다. 상기 상위 영상 패턴은 상기 상위 벡터 내의 인접한 화소들 간의 밝기 차와 문턱값의 비교 결과에 따라 분류되고, 상기 하위 영상 패턴은 상기 하위 벡터 내의 인접한 화소들 간의 밝기 차와 상기 문턱값의 비교 결과에 따라 분류된다.
상기 상위 영상 패턴은 상기 상위 벡터 내의 인접한 두 화소들 간의 밝기 변화에 따라서 증가(I), 감소(D) 또는 일정(F)으로 각각 정의되는 N-1개의 심볼들을 포함하고, 상기 하위 영상 패턴은 상기 하위 벡터 내의 인접한 두 화소들 간의 밝기 변화에 따라서 증가(I), 감소(D) 또는 일정(F)으로 정의되는 N-1개의 심볼들을 포함한다.
이 실시예에서, 상기 가중치는 상기 상위 영상 패턴에 대한 N-1 개의 심볼들 및 상기 하위 영상 패턴에 대한 N-1 개의 심볼들에 각각 대응하는 N-1 개이다.
이 실시예에 있어서, 상기 상위 영상 패턴에 대한 n(n=1, 2, , N-1)번째 심볼이 증가(I)이고 그리고 상기 하위 영상 패턴에 대한 n번째 심볼이 증가(I)이면, n번째 가중치는 제 1 값으로 설정된다. 상기 상위 영상 패턴에 대한 n(n=1, 2, , N-1)번째 심볼이 감소(D)이고 그리고 상기 하위 영상 패턴에 대한 n번째 심볼이 감소(D)이면, n번째 가중치는 제 1 값으로 설정된다. 상기 상위 영상 패턴에 대한 n(n=1, 2, , N-1)번째 심볼이 일정(F)이고 그리고 상기 하위 영상 패턴에 대한 n번째 심볼이 증가(I) 또는 감소(D)이면, n번째 가중치는 제 2 값으로 설정된다. 상기 하위 영상 패턴에 대한 n(n=1, 2, , N-1)번째 심볼이 일정(F)이고 그리고 상기 상위 영상 패턴에 대한 n번째 심볼이 증가(I) 또는 감소(D)이면, n번째 가중치는 제 2 값으로 설정된다. 상기 상위 영상 패턴에 대한 n(n=1, 2, , N-1)번째 심볼이 증가(I)이고 그리고 상기 하위 영상 패턴에 대한 n번째 심볼이 감소(D)이면, n번째 가중치는 제 3 값으로 설정된다. 상기 상위 영상 패턴에 대한 n(n=1, 2, , N-1)번째 심볼이 감소(D)이고 그리고 상기 하위 영상 패턴에 대한 n번째 심볼이 증가(I)이면, n번째 가중치는 제 3 값으로 설정된다. 상기 상위 영상 패턴에 대한 n(n=1, 2, , N-1)번째 심볼이 일정(D)이고 그리고 상기 하위 영상 패턴에 대한 n번째 심볼이 일정(I)이면, n번째 가중치는 제 2 값으로 설정된다. 상기 제 3 값은 상기 제 2 값보다 크고, 상기 제 2 값은 상기 제 1 값보다 크다.
바람직한 실시예에 있어서, 상기 에지 방향을 선택하는 단계는, 상기 상위 벡터와 상기 하위 벡터의 차의 절대값에 상기 가중치들을 곱해서 상기 상위 벡터와 상기 하위 벡터의 차를 계산하는 단계 그리고 상기 상위 벡터와 상기 하위 벡터의 차가 최소인 상기 상위 벡터와 상기 하위 벡터로부터 상기 에지의 방향을 선택하는 단계를 더 포함한다.
바람직한 실시예에 있어서, 상기 문턱값은 영상 데이터의 국부 영역에 대한 분산 값과 국부 영역에 대한 히스토그램의 상위 20% 및 하위 20%에 각각 해당하는 밝기의 차에 비례한다.
본 발명의 다른 특징에 의하면, 순차주사화 장치는: 제 1 및 제 3 영상 라인들을 각각 저장하기 위한 제 1 및 제 2 라인 메모리들과, 상기 제 1 라인 메모리에 저장된 제 1 영상 라인 중 N 개의 화소들을 포함하는 상위 벡터를 선택하고, 선택된 상위 벡터 내의 화소들 간의 관계로부터 상위 영상 패턴을 분류하며, 상기 제 2 라인 메모리에 저장된 제 2 영상 라인 중 N 개의 화소들을 포함하는 하위 벡터를 선택하고, 선택된 하위 벡터 내의 화소들 간의 관계로부터 하위 영상 패턴을 분류하는 영상 패턴 분류기와, 상기 영상 패턴 분류기에 의해서 분류된 상기 상위 영상 패턴과 상기 하위 영상 패턴에 근거해서 적어도 하나의 가중치를 구하는 가중치 결정기와, 상기 선택된 상위 벡터, 하위 벡터 그리고 상기 가중치로부터 에지 방향을 선택하는 에지 방향 선택기 그리고 선택된 에지 방향에 근거해서 상기 제 1 영상 라인과 상기 제 3 영상 라인 사이의 제 2 영상 라인에 속하는 화소를 보간하는 에지 보간기를 포함한다.
바람직한 실시예에 있어서, 상기 영상 패턴 분류기는, 상기 상위 벡터 내의 인접한 화소들 간의 밝기 차와 문턱값의 비교 결과에 따라 상기 영상 패턴을 분류하고, 상기 하위 벡터 내의 인접한 화소들 간의 밝기 차와 상기 문턱값의 비교 결과에 따라 상기 하위 영상 패턴을 분류한다.
이 실시예에 있어서, 상기 문턱값은 영상 데이터의 국부 영역에 대한 분산 값과 국부 영역에 대한 히스토그램의 상위 20% 및 하위 20%에 각각 해당하는 밝기의 차에 비례한다.
(실시예)
이하 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다.
일반적으로 에지의 패턴은 에지의 방향을 따라서 나타난다. 그러나, 에지의 패턴은 에지의 방향 뿐만 아니라 수평 방향이나 수직 방향을 따라서도 존재한다. 도 1은 이러한 특징을 단적으로 보여주고 있다. 도 1에 도시된 직각 삼각형의 에지는 수평 방향과 수직 방향에 대해서 일정한 패턴을 유지한다. 이러한 패턴은 수평/수직 방향에 따라 그리고 물체마다 다르게 나타나며, 영상 데이터의 보간 즉, 순차주사화 과정에 이용될 수 있다.
본 발명의 수평 방향 에지 패턴을 고려한 순차주사화 알고리즘은 픽셀 단위의 접근 대신에 N의 크기를 갖는 벡터를 기반으로 한다. 벡터를 기반으로 한 순차주사화 알고리즘은 잡음과 같은 외부적 요인에 덜 민감하다.
도 2는 크기가 3인 상위 벡터(upper vector)와 하위 벡터(lower vector)를 나타내고 있고, 도 3은 크기가 3인 벡터의 다양한 패턴들을 보여주고 있다. 도 3의 각 패턴들은 중간 화소의 밝기가 동일하다. 그러나, 인접한 화소의 밝기의 변화에 따라 각 패턴들은 다른 형태를 갖게된다.
도 2를 참조하면, 보간될 수평 라인 j에 속하는 화소의 영상 데이터 x(i, j)는 상위 수평 라인(j-1)과 하위 수평 라인(j+1)의 영상 데이터로부터 보간된다. 화소 x(i, j)에 대한 보간을 위하여 상위 벡터와 하위 벡터를 각각 u(l, d) 및 v(m, d)로 정의할 수 있다.
수학식 4 및 수학식 5에서, l과 m은 각각 보간해야 하는 화소 x(i, j)의 위치에서 수평 방향으로 벡터의 위치를 표현하는 파라미터이고, 는 에지의 기울기를 의미한다. T1, T2, T3은 상위 벡터에서 각 화소의 밝기 값을 의미하고, B1, B2, B3은 하위 벡터에서 각 화소의 밝기 값을 나타낸다.
앞서 설명한 바와 같이, 일반적으로 에지 방향은 상위 벡터와 하위 벡터의 차이 값들의 합이 가장 적은 방향으로 추정되었다. 그러나, 잡음이 존재하거나 에지가 얇은 경우 상위 벡터와 하위 벡터의 차이 값에만 의존하는 종래의 순차주사화 알고리즘으로는 좋은 성능을 기대할 수 없다. 도 4a 내지 도 4b는 종래 기술의 문제점을 보여주고 있다.
도 4a에 도시된 오리지널 프레임(original frame)을 비월 주사 방식으로 스캔하는 경우, 도 4b에 도시된 바와 같이, j-1번째 라인과 j+1번째 라인의 영상 데이터가 제공된다. 이 때, j번째 라인의 영상 데이터가 보간되어야 한다. 화소 x(i,j)에 대한 보간에 있어서, 에지가 얇고 배경이 크므로, 화소 x(i,j)는 물제의 에지 대신에 배경을 따라서 보간될 수 있다. 본 발명에서는 이러한 문제점을 해결하기 위해 에지 패턴을 이용하여 윤곽선 보간을 수행한다.
에지 패턴은 앞서 언급한 바와 같이 크게 에지 방향, 수직 방향, 수평 방향을 따라서 존재한다. 본 명세서에서는 수평 방향의 패턴만을 고려한 순차주사화 알고리즘을 개시한다. 그러나, 당업자라면 본 발명으로부터 수직 방향의 패턴을 고려한 순차주사화 알고리즘을 용이하게 구현할 수 있다.
도 5는 본 발명의 바람직한 실시예에 따른 순차주사화 알고리즘을 수행하기 위한 하드웨어를 보여주고 있고, 도 6은 본 발명에 따른 순차주사화 알고리즘의 플로우차트이다.
도 5를 참조하면, 한 프레임의 j-1번째 수평 라인의 영상 데이터는 라인 메모리(101)에 저장되고, j+1번째 수평 라인의 영상 데이터는 라인 메모리(102)에 저장된다(단계 S200). 라인 메모리들(101, 102)의 크기는 각각 하나의 수평 라인의 영상 데이터를 동시에 저장할 수 있는 크기이다.
수평 패턴 분류기(130)는 라인 메모리들(101, 102)에 저장된 데이터의 영상 패턴을 분류한다. 영상 패턴을 분류하기 위해서는 도 2에 도시된 바와 같은 상위 벡터와 하위 벡터를 선택해야 한다(단계 S230). 이 실시예에서, 상위 벡터와 하위 벡터의 크기 N은 각각 3이다. 즉, 상위 벡터는 3 개의 화소들(T1, T2, T3)을 포함하고, 하위 벡터는 3 개의 화소들(B1, B2, B3)을 포함한다.
수평 패턴 분류기(130)는 선택된 상위 벡터와 하위 벡터 내에서 인접한 두 화소들 간의 관계로부터 영상 패턴을 분류한다. 영상 패턴은 크게 세 그룹으로 분류된다.
인접한 영상 데이터의 차가 문턱값(threshold, th)보다 크고, T2가 T1보다 클 때, 영상 패턴은 제 1 그룹 즉, '증가'로 분류된다. 인접한 영상 데이터의 차가 문턱값(th)보다 크고, T1이 T2보다 클 때, 영상 패턴은 제 2 그룹 즉, '감소'로 분류된다. 마지막으로, 인접한 영상 데이터의 차가 문턱값(th)보다 작으면 제 3 그룹 즉, '일정'으로 분류된다. '증가'로 분류된 영상 패턴은 'I'로, '감소'로 분률된 영상 패턴은 'D' 그리고 '일정'으로 분류된 영상 패턴은 'F'의 심볼로 표시된다. 이와 같은 방법으로, T2와 T3, B1과 B2 그리고 B2 와 B3에 대한 영상 패턴이 분류된다. 문턱값(th)에 대해서는 추후 상세히 설명된다.
가중치 결정기(140)는 분류된 상위 영상 패턴과 하위 영상 패턴으로부터 가중치 w1 및 w2를 결정한다(단계 S250). 본 명세서에서는 상위 영상 벡터 및 하위 영상 벡터가 각각 3 개의 화소들을 포함하므로, 2 개의 가중치들이 구해진다. 만일 상위 벡터 및 하위 벡터가 각각 5 개의 화소들을 포함하면, 4 개의 가중치들이 구해진다. 가중치를 구하는 방법은 수학식 7과 같다.
여기서, 상위 벡터의 패턴이 증가()이고, 하위 벡터의 패턴이 증가()이거나 상위 벡터의 패턴이 감소()이고, 하위 벡터의 패턴이 감소()이면 가중치를 적게(w1=1)하고, 반대로 상위 벡터의 패턴이 증가()이고, 하위 벡터의 패턴이 감소()이거나 상위 벡터의 패턴이 감소()이고, 하위 벡터의 패턴이 증가()이면 가중치를 크게(w1=3)한다. 여기서 주목할 점은 상위 벡터 및 하위 벡터의 패턴이 모두 일정(, )한 경우 중간 정도의 가중치를 중간값(w1=2)으로 설정한다는 것이다. 앞서 설명한 도 4a와 같이, 에지가 얇은 경우, 배경 부분을 찾을 때 벡터의 화소들이 유사한 밝기를 갖기 때문에 '일정(F)'으로 분류하여 원래의 에지 방향에 따르는 부분보다 가중치의 값이 크게 결정된다. 그러므로, 에지의 방향을 정확하게 찾을 수 있다.
수학식 7은 T1, T2, B1, 그리고 B2로부터 가중치(w1)을 구하는 방법을 보여주고 있으며, 이와 유사한 방법으로 T2, T3, B2, 그리고 B3으로부터 가중치(w2)를 구할 수 있다.
에지 방향 선택기(150)는 가중치들(w1, w2)로부터 에지의 방향을 선택한다(단계 S260).
그리고, , 및 는 다음과 같이 결정된다.
여기서, l과 m의 범위는 -1부터 1까지이고, 에지 방향의 기울기인 d의 범위는 -R부터 R까지이다. R의 크기에 따라 에지 방향의 기울기를 찾는 각의 한계가 결정된다.
에지 보간기(160)는 수학식 9에서 결정된 , 및 로부터 j번째 라인의 화소 x(i,j)를 보간한다(단계 S270).
여기서, a, b, c 및 e는 다음 수학식 11과 같이 정해진다.
여기서, 는 에지의 방향을 나타내는 값이다. 또한, 에지의 부화소 단위(여기서는 0.5 화소 단위)로 에지의 방향을 추정하기 위해 다시 과 까지도 연산하였다. 그러므로, 본 발명에서는 과 에 따라 부화소 단위의 에지 방향의 추정이 가능해진다.
앞서, 수평 패턴 분류기(130)는 선택된 상위 벡터와 하위 벡터 내에서 인접한 두 화소들 간의 관계로부터 영상 패턴을 분류하기 위해 문턱값(th)을 필요로 하였다. 이 문턱값은 국부 분산에 비례하도록 정한다. 그러나, 하나의 영상 안에서도 밝기의 레벨이 서로 다르고, 여러 영상을 처리할 경우 각각의 영상마다 밝기의 콘트라스트(contrast)가 다르기 때문에 문턱값이 국부 분산에만 비례하도록 설정하는 것은 바람직하지 않다. 예컨대, 영상이 전반적으로 어둡거나 전반적으로 밝은 경우에는 국부 분산과 같은 고주파 성분뿐만 아니라 밝기 자체에도 크게 영향을 받는다. 이러한 문제를 해결하기 위해 본 발명에서는 영상의 히스토그램을 이용한다. 도 5에 도시된 국부 분산(local variance) 및 히스토그램 계산기(110)는 한 프레임의 영상 데이터로부터 국부 분산 및 히스토그램을 계산한다(단계 S210).
도 7은 국부 영역(32×32)의 히스토그램을 보여주고 있다. 도 7에서 H20은 상위 20% 포인트의 밝기를 나타내는 값이고, L20은 하위 20% 포인트의 밝기를 나타내는 값이다. H20-L20은 콘트라스트를 나타내는 척도가 된다. 문턱값 계산기(120)는 계산된 국부 분산(Var)과 H20-L20로부터 문턱값(th)을 계산한다(단계 S220).
수학식 12에서, , 그리고 k는 상수이고, var는 국부 영역의 분산이다. 이와 같은 문턱값(th)은 매 프레임마다 자동으로 계산된다.
도 8은 일반적인 선형 보간 방법, EDI(edge dependent interpolation) 그리고 본 발명의 실시예에 따라서 모바일 시퀀스(mobile sequence)에서 순차주사화를 수행했을 때의 PSNR(peak-signal-to-noise ratio)을 비교해서 보여주고 있다. 도 8에서 알 수 있는 바와 같이, 본 발명의 순차주사화 알고리즘은 일반적인 선형 보간 방법이나 EDI에 비해 월등히 우수한 성능을 보인다.
예시적인 바람직한 실시예를 이용하여 본 발명을 설명하였지만, 본 발명의 범위는 개시된 실시예들에 한정되지 않는다는 것이 잘 이해될 것이다. 오히려, 본 발명의 범위에는 다양한 변형 예들 및 그 유사한 구성들이 모두 포함될 수 있도록 하려는 것이다. 따라서, 청구범위는 그러한 변형 예들 및 그 유사한 구성들 모두를 포함하는 것으로 가능한 폭넓게 해석되어야 한다.
이와 같은 본 발명에 의하면, 영상 신호에 잡음이 포함된 경우, 동일한 밝기 값을 갖는 배경에 대해 얇은 에지를 갖는 경우, 체크 무늬와 같이 동일한 무늬가 반복적으로 나타나는 경우, 에지의 경계가 뚜렷하지 않은 경우 또는 동일한 영역에 대해 밝기 값이 다른 경우에 있어서 순차주사화 결과가 향상된다. 그러므로, 비월주사방식의 영상 데이터를 원래의 영상 프레임에 가깝도록 복원할 수 있다.
도 1은 에지의 방향을 따라 존재하는 수평 방향 패턴과 수직 방향 패턴을 예시적으로 보여주는 도면;
도 2는 크기가 3인 상위 벡터와 하위 벡터의 일 예;
도 3은 크기가 3인 벡터의 다양한 패턴들을 보여주는 도면;
도 4a 내지 도 4b는 종래 기술의 문제점을 보여주는 도면;
도 5는 본 발명의 바람직한 실시예에 따른 순차주사화 알고리즘을 수행하기 위한 하드웨어;
도 6은 본 발명에 따른 순차주사화 알고리즘의 플로우차트;
도 7은 국부 영역(32×32)의 히스토그램;
도 8은 일반적인 선형 보간 방법, EDI 그리고 본 발명의 실시예에 따라서 모바일 시퀀스에서 순차주사화를 수행했을 때의 PSNR(peak-signal-to-noise ratio)을 비교해서 보여주고 있다.

Claims (22)

  1. 순차주사화 방법에 있어서:
    제 1 및 제 3 영상 라인들을 입력받는 단계와;
    제 1 영상 라인 중 N 개의 화소들을 포함하는 상위 벡터를 선택하고, 제 3 영상 라인 중 N 개의 화소들을 포함하는 하위 벡터를 선택하는 단계와;
    상기 상위 벡터 내의 화소들 간의 관계 및 상기 하위 벡터 내의 화소들 간의 관계에 근거해서 가중치를 구하는 단계와;
    상기 선택된 상위 벡터, 하위 벡터 그리고 상기 가중치로부터 에지 방향을 선택하는 단계; 그리고
    선택된 에지 방향에 근거해서 상기 제 1 및 제 3 영상 라인들 사이의 제 2 영상 라인에 속하는 화소를 보간하는 단계를 포함하는 것을 특징으로 하는 순차주사화 방법.
  2. 제 1 항에 있어서,
    상기 가중치를 구하는 단계는,
    상기 상위 벡터 내의 화소들 간의 관계로부터 상위 영상 패턴을 분류하고, 상기 하위 벡터 내의 화소들 간의 관계로부터 하위 영상 패턴을 분류하는 단계; 및
    상기 분류된 상위 영상 패턴과 하위 영상 패턴으로부터 상기 가중치를 구하는 단계를 포함하는 것을 특징으로 하는 순차주사화 방법.
  3. 제 2 항에 있어서,
    상기 상위 영상 패턴은 상기 상위 벡터 내의 인접한 화소들 간의 밝기 변화에 따라서 분류되고, 상기 하위 영상 패턴은 상기 하위 벡터 내의 인접한 화소들 간의 밝기 변화에 따라서 분류되는 것을 특징으로 하는 순차주사화 방법.
  4. 제 2 항에 있어서,
    상기 상위 영상 패턴은 상기 상위 벡터 내의 인접한 화소들 간의 밝기 차와 문턱값의 비교 결과에 따라 분류되고, 상기 하위 영상 패턴은 상기 하위 벡터 내의 인접한 화소들 간의 밝기 차와 상기 문턱값의 비교 결과에 따라 분류되는 것을 특징으로 하는 순차주사화 방법.
  5. 제 4 항에 있어서,
    상기 상위 영상 패턴은 상기 상위 벡터 내의 인접한 두 화소들 간의 밝기 변화에 따라서 증가(I), 감소(D) 또는 일정(F)으로 각각 정의되는 N-1개의 심볼들을 포함하고,
    상기 하위 영상 패턴은 상기 하위 벡터 내의 인접한 두 화소들 간의 밝기 변화에 따라서 증가(I), 감소(D) 또는 일정(F)으로 정의되는 N-1개의 심볼들을 포함하는 것을 특징으로 하는 순차주사화 방법.
  6. 제 5 항에 있어서,
    상기 가중치는 상기 상위 영상 패턴에 대한 N-1 개의 심볼들 및 상기 하위 영상 패턴에 대한 N-1 개의 심볼들에 각각 대응하는 N-1 개인 것을 특징으로 하는 순차주사화 방법.
  7. 제 6 항에 있어서,
    상기 상위 영상 패턴에 대한 n(n=1, 2, , N-1)번째 심볼이 증가(I)이고 그리고 상기 하위 영상 패턴에 대한 n번째 심볼이 증가(I)이면, n번째 가중치는 제 1 값으로 설정되는 것을 특징으로 하는 순차주사화 방법.
  8. 제 7 항에 있어서,
    상기 상위 영상 패턴에 대한 n(n=1, 2, , N-1)번째 심볼이 감소(D)이고 그리고 상기 하위 영상 패턴에 대한 n번째 심볼이 감소(D)이면, n번째 가중치는 제 1 값으로 설정되는 것을 특징으로 하는 순차주사화 방법.
  9. 제 8 항에 있어서,
    상기 상위 영상 패턴에 대한 n(n=1, 2, , N-1)번째 심볼이 일정(F)이고 그리고 상기 하위 영상 패턴에 대한 n번째 심볼이 증가(I) 또는 감소(D)이면, n번째 가중치는 제 2 값으로 설정되는 것을 특징으로 하는 순차주사화 방법.
  10. 제 9 항에 있어서,
    상기 하위 영상 패턴에 대한 n(n=1, 2, , N-1)번째 심볼이 일정(F)이고 그리고 상기 상위 영상 패턴에 대한 n번째 심볼이 증가(I) 또는 감소(D)이면, n번째 가중치는 제 2 값으로 설정되는 것을 특징으로 하는 순차주사화 방법.
  11. 제 10 항에 있어서,
    상기 상위 영상 패턴에 대한 n(n=1, 2, , N-1)번째 심볼이 증가(I)이고 그리고 상기 하위 영상 패턴에 대한 n번째 심볼이 감소(D)이면, n번째 가중치는 제 3 값으로 설정되는 것을 특징으로 하는 순차주사화 방법.
  12. 제 11 항에 있어서,
    상기 상위 영상 패턴에 대한 n(n=1, 2, , N-1)번째 심볼이 감소(D)이고 그리고 상기 하위 영상 패턴에 대한 n번째 심볼이 증가(I)이면, n번째 가중치는 제 3 값으로 설정되는 것을 특징으로 하는 순차주사화 방법.
  13. 제 12 항에 있어서,
    상기 상위 영상 패턴에 대한 n(n=1, 2, , N-1)번째 심볼이 일정(D)이고 그리고 상기 하위 영상 패턴에 대한 n번째 심볼이 일정(I)이면, n번째 가중치는 제 2 값으로 설정되는 것을 특징으로 하는 순차주사화 방법.
  14. 제 13 항에 있어서,
    상기 제 3 값은 상기 제 2 값보다 크고, 상기 제 2 값은 상기 제 1 값보다 큰 것을 특징으로 하는 순차주사화 방법.
  15. 제 14 항에 있어서,
    상기 에지 방향을 선택하는 단계는,
    상기 상위 벡터와 상기 하위 벡터의 차의 절대값에 상기 가중치들을 곱해서 상기 상위 벡터와 상기 하위 벡터의 차를 계산하는 단계를 포함하는 것을 특징으로 하는 순차주사화 방법.
  16. 제 15 항에 있어서,
    상기 상위 벡터와 상기 하위 벡터의 차가 최소인 상기 상위 벡터와 상기 하위 벡터로부터 상기 에지의 방향을 선택하는 단계를 더 포함하는 것을 특징으로 하는 순차주사화 방법.
  17. 제 4 항에 있어서,
    상기 문턱값은 영상 데이터의 국부 영역에 대한 분산 값에 비례하도록 설정되는 것을 특징으로 하는 순차주사화 방법.
  18. 제 17 항에 있어서,
    상기 문턱값은 국부 영역에 대한 히스토그램의 상위 20% 및 하위 20%에 각각 해당하는 밝기의 차에 비례하는 것을 특징으로 하는 순차주사화 방법.
  19. 순차주사화 장치에 있어서:
    제 1 및 제 3 영상 라인들을 각각 저장하기 위한 제 1 및 제 2 라인 메모리들과;
    상기 제 1 라인 메모리에 저장된 제 1 영상 라인 중 N 개의 화소들을 포함하는 상위 벡터를 선택하고, 선택된 상위 벡터 내의 화소들 간의 관계로부터 상위 영상 패턴을 분류하며, 상기 제 2 라인 메모리에 저장된 제 3 영상 라인 중 N 개의 화소들을 포함하는 하위 벡터를 선택하고, 선택된 하위 벡터 내의 화소들 간의 관계로부터 하위 영상 패턴을 분류하는 영상 패턴 분류기와;
    상기 영상 패턴 분류기에 의해서 분류된 상기 상위 영상 패턴과 상기 하위 영상 패턴에 근거해서 적어도 하나의 가중치를 구하는 가중치 결정기와;
    상기 선택된 상위 벡터, 하위 벡터 그리고 상기 가중치로부터 에지 방향을 선택하는 에지 방향 선택기; 그리고
    선택된 에지 방향에 근거해서 상기 제 1 영상 라인과 상기 제 3 영상 라인 사이의 제 2 영상 라인에 속하는 화소를 보간하는 에지 보간기를 포함하는 것을 특징으로 하는 순차주사화 장치.
  20. 제 19 항에 있어서,
    상기 영상 패턴 분류기는,
    상기 상위 벡터 내의 인접한 화소들 간의 밝기 차와 문턱값의 비교 결과에 따라 상기 영상 패턴을 분류하고, 상기 하위 벡터 내의 인접한 화소들 간의 밝기 차와 상기 문턱값의 비교 결과에 따라 상기 하위 영상 패턴을 분류하는 것을 특징으로 하는 순차주사화 장치.
  21. 제 20 항에 있어서,
    상기 문턱값은 영상 데이터의 국부 영역에 대한 분산 값에 비례하도록 설정되는 것을 특징으로 하는 순차주사화 장치.
  22. 제 21 항에 있어서,
    상기 문턱값은 국부 영역에 대한 히스토그램의 상위 20% 및 하위 20%에 각각 해당하는 밝기의 차에 비례하는 것을 특징으로 하는 순차주사화 장치.
KR1020030055812A 2003-08-12 2003-08-12 수평 방향 에지의 패턴을 고려한 순차주사화 장치 및 방법 KR100979811B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020030055812A KR100979811B1 (ko) 2003-08-12 2003-08-12 수평 방향 에지의 패턴을 고려한 순차주사화 장치 및 방법
US10/898,526 US7268822B2 (en) 2003-08-12 2004-07-23 De-interlacing algorithm responsive to edge pattern
GB0418004A GB2405047B (en) 2003-08-12 2004-08-12 De-interlacing algorithm responsive to edge pattern
CNB2004100566947A CN100515025C (zh) 2003-08-12 2004-08-12 响应于边缘模式的解交错方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030055812A KR100979811B1 (ko) 2003-08-12 2003-08-12 수평 방향 에지의 패턴을 고려한 순차주사화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20050018023A true KR20050018023A (ko) 2005-02-23
KR100979811B1 KR100979811B1 (ko) 2010-09-02

Family

ID=33028883

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030055812A KR100979811B1 (ko) 2003-08-12 2003-08-12 수평 방향 에지의 패턴을 고려한 순차주사화 장치 및 방법

Country Status (4)

Country Link
US (1) US7268822B2 (ko)
KR (1) KR100979811B1 (ko)
CN (1) CN100515025C (ko)
GB (1) GB2405047B (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100942665B1 (ko) * 2008-04-25 2010-02-16 한양대학교 산학협력단 방향정보에 기반한 영상 보간장치, 그 방법 및 그 방법을기록한 컴퓨터로 읽을 수 있는 기록매체
KR100986607B1 (ko) * 2008-10-23 2010-10-11 중앙대학교 산학협력단 영상 보간 방법 및 그 방법이 기록된 컴퓨터로 읽을 수 있는 기록매체
CN110570439A (zh) * 2018-06-06 2019-12-13 康耐视公司 使用视觉系统在图像中查找和分类线的系统和方法
CN110570439B (zh) * 2018-06-06 2024-05-17 康耐视公司 使用视觉系统在图像中查找和分类线的系统和方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1631068A3 (en) * 2004-08-26 2008-09-03 Samsung Electronics Co., Ltd. Apparatus and method for converting interlaced image into progressive image
JP2006148827A (ja) * 2004-11-25 2006-06-08 Oki Electric Ind Co Ltd 走査線補間装置、及び走査線補間方法
TWI361616B (en) 2006-01-27 2012-04-01 Mstar Semiconductor Inc Edge adaptive de-interlacing apparatus and method thereof
CN101009768B (zh) * 2006-01-27 2010-05-12 晨星半导体股份有限公司 适应性角度的解交错装置及其解交错方法
CN100464579C (zh) * 2006-07-13 2009-02-25 北京中星微电子有限公司 一种对数字视频图像中物体边沿的处理方法及装置
US20090046202A1 (en) * 2007-08-17 2009-02-19 Himax Technologies Limited De-interlace method and apparatus
SG155797A1 (en) * 2008-03-20 2009-10-29 St Microelectronics Asia System and process for image rescaling with edge adaptive phase control in interpolation process
US8643777B2 (en) * 2009-09-25 2014-02-04 Vixs Systems Inc. Pixel interpolation with edge detection based on cross-correlation
GB2492039B (en) * 2010-05-11 2016-01-06 Zoran France Two dimensional super resolution scaling
US20120128244A1 (en) * 2010-11-19 2012-05-24 Raka Singh Divide-and-conquer filter for low-light noise reduction
US8755625B2 (en) 2010-11-19 2014-06-17 Analog Devices, Inc. Component filtering for low-light noise reduction
CN102364933A (zh) * 2011-10-25 2012-02-29 浙江大学 一种基于运动分类的自适应去隔行方法
TWI462576B (zh) * 2011-11-25 2014-11-21 Novatek Microelectronics Corp 固定圖案的邊緣偵測方法與電路
CN102868870B (zh) * 2012-09-28 2015-05-20 许丹 去隔行处理方法
US9076230B1 (en) * 2013-05-09 2015-07-07 Altera Corporation Circuitry and techniques for image processing

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI96559C (fi) 1994-06-10 1996-07-10 Nokia Technology Gmbh Menetelmä reunan suunnan tunnistamiseksi lomitellussa televisiokuvassa
EP0697788A3 (en) * 1994-08-19 1997-03-26 Eastman Kodak Co Adaptive and global motion compensated cancellation of the interlacing of successive video images with post-processing
KR100203270B1 (ko) * 1995-09-30 1999-06-15 윤종용 광역벡터의 상관성을 이용한 화소의 보간방법 및 그 장치
AU5546999A (en) * 1998-08-03 2000-02-28 Equator Technologies, Inc. Circuit and method for generating filler pixels from the original pixels in a video stream
US6421090B1 (en) 1999-08-27 2002-07-16 Trident Microsystems, Inc. Motion and edge adaptive deinterlacing
KR100327395B1 (ko) * 1999-09-03 2002-03-13 구자홍 움직임 보상을 기반으로 하는 격행주사 영상의 디인터레이싱 방법
KR100327396B1 (ko) * 1999-09-03 2002-03-13 구자홍 모서리 방향검출을 기반으로 하는 격행주사 영상의 디인터레이싱 방법
KR100631497B1 (ko) * 2000-01-13 2006-10-09 엘지전자 주식회사 디인터레이싱 방법 및 장치
KR100631496B1 (ko) * 2000-01-12 2006-10-09 엘지전자 주식회사 디인터레이싱 장치
JP2002199351A (ja) * 2000-12-27 2002-07-12 Matsushita Electric Ind Co Ltd 静止判定装置およびそれを備えた走査線補間装置
KR100423504B1 (ko) * 2001-09-24 2004-03-18 삼성전자주식회사 영상신호의 라인보간 장치 및 방법
US7023487B1 (en) * 2002-01-25 2006-04-04 Silicon Image, Inc. Deinterlacing of video sources via image feature edge detection
KR100505663B1 (ko) 2003-01-02 2005-08-03 삼성전자주식회사 적응형 윤곽 상관 보간에 의한 디스플레이 장치의 순차주사 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100942665B1 (ko) * 2008-04-25 2010-02-16 한양대학교 산학협력단 방향정보에 기반한 영상 보간장치, 그 방법 및 그 방법을기록한 컴퓨터로 읽을 수 있는 기록매체
KR100986607B1 (ko) * 2008-10-23 2010-10-11 중앙대학교 산학협력단 영상 보간 방법 및 그 방법이 기록된 컴퓨터로 읽을 수 있는 기록매체
CN110570439A (zh) * 2018-06-06 2019-12-13 康耐视公司 使用视觉系统在图像中查找和分类线的系统和方法
CN110570439B (zh) * 2018-06-06 2024-05-17 康耐视公司 使用视觉系统在图像中查找和分类线的系统和方法

Also Published As

Publication number Publication date
GB2405047B (en) 2006-08-16
CN100515025C (zh) 2009-07-15
CN1581931A (zh) 2005-02-16
US20050036062A1 (en) 2005-02-17
KR100979811B1 (ko) 2010-09-02
GB2405047A (en) 2005-02-16
US7268822B2 (en) 2007-09-11
GB0418004D0 (en) 2004-09-15

Similar Documents

Publication Publication Date Title
US7042512B2 (en) Apparatus and method for adaptive motion compensated de-interlacing of video data
KR100979811B1 (ko) 수평 방향 에지의 패턴을 고려한 순차주사화 장치 및 방법
KR100995398B1 (ko) 수직 및 수평 방향의 패턴을 고려한 전역 움직임 보상순차주사화 방법
US7075988B2 (en) Apparatus and method of converting frame and/or field rate using adaptive motion compensation
EP2080362B1 (en) Systems and methods for a motion compensated picture rate converter
US20050129306A1 (en) Method and apparatus for image deinterlacing using neural networks
JP4932900B2 (ja) ロバストな超解像度ビデオスケーリング方法及び装置
JPH02290387A (ja) 動き補正付きテレビジョン信号方式変換器
US8730393B2 (en) Gradient adaptive video de-interlacing
US20180205908A1 (en) Motion adaptive de-interlacing and advanced film mode detection
US20050195324A1 (en) Method of converting frame rate of video signal based on motion compensation
KR100422575B1 (ko) 디인터레이싱을 위한 공간축/시간축 보간 시스템 및 방법
US7881500B2 (en) Motion estimation with video mode detection
US20060039631A1 (en) Intra-field interpolation method and apparatus
Park et al. Covariance-based adaptive deinterlacing method using edge map
US7733421B1 (en) Vector interpolator
KR101158847B1 (ko) 에지맵을 이용한 디인터레이싱 장치 및 방법
JP5448983B2 (ja) 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法
KR100931110B1 (ko) 퍼지 룰 기반 에지 복원 알고리즘을 이용하는 디인터레이싱장치 및 방법
US20080111916A1 (en) Image de-interlacing method
KR100949137B1 (ko) 영상 보간 장치와 그 방법 및 그 방법이 기록된 컴퓨터로읽을 수 있는 기록매체
KR101192402B1 (ko) 공분산 기반 적응적 디인터레이싱 장치 및 방법, 그리고 복잡도를 고려한 하이브리드 디인터레이싱 장치 및 방법
KR100552685B1 (ko) 비월주사 영상을 순차 영상으로 변환하는 방법 및 장치
Venkatesan et al. Video deinterlacing with control grid interpolation
Zhang et al. Fusion-based edge-sensitive interpolation method for deinterlacing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130731

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140731

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160801

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180731

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190731

Year of fee payment: 10