KR100952667B1 - 저역 통과 필터링을 기반으로 한 영상 보간 장치 및 방법 - Google Patents

저역 통과 필터링을 기반으로 한 영상 보간 장치 및 방법 Download PDF

Info

Publication number
KR100952667B1
KR100952667B1 KR1020080025773A KR20080025773A KR100952667B1 KR 100952667 B1 KR100952667 B1 KR 100952667B1 KR 1020080025773 A KR1020080025773 A KR 1020080025773A KR 20080025773 A KR20080025773 A KR 20080025773A KR 100952667 B1 KR100952667 B1 KR 100952667B1
Authority
KR
South Korea
Prior art keywords
pixel
interpolation
value
target pixel
edge
Prior art date
Application number
KR1020080025773A
Other languages
English (en)
Other versions
KR20090100532A (ko
Inventor
백준기
유윤종
윤진영
김동균
신정호
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020080025773A priority Critical patent/KR100952667B1/ko
Priority to US12/407,900 priority patent/US8208748B2/en
Publication of KR20090100532A publication Critical patent/KR20090100532A/ko
Application granted granted Critical
Publication of KR100952667B1 publication Critical patent/KR100952667B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/403—Edge-driven scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Abstract

저역 통과 필터링을 기반으로 하는 영상 보간 장치 및 방법이 개시된다. 에지 방향 검출부는 영상 프레임 내의 화소값이 결정되어 있는 원화소들 중에서 화소값을 결정하고자 하는 보간대상화소와 가장 근접한 원화소가 속하는 에지의 방향을 산출하여 산출된 에지의 방향을 보간대상화소의 에지 방향으로 결정한다. 화소값 산출부는 보간대상화소를 중심으로 하는 소정 크기의 필터링 윈도우 내에 위치하는 보간위치의 화소값을 보간위치에 인접하는 원화소들의 화소값에 의해 산출한다. 필터링부는 사전에 설정된 수직방향, 수평방향, 좌대각방향 및 우대각방향 각각에 대응하는 저역 통과 필터 중에서 보간대상화소에 대해 결정된 에지 방향에 대응하는 저역 통과 필터에 의해 보간대상화소에 저역 통과 필터링을 수행한다. 본 발명에 따르면, 보간대상화소의 화소값 계산 과정을 단순화하고 처리 속도를 높일 수 있으며, 세밀한 에지가 존재하는 영역에 대해서 화소값의 오차에 의한 블록 현상과 같은 영상의 열화 현상이 일어나지 않는 고품질의 영상을 얻을 수 있다.
영상 보간, 에지 검출, 저역 통과 필터링

Description

저역 통과 필터링을 기반으로 한 영상 보간 장치 및 방법{Apparatus and method for image interpolation based on low-pass filtering}
본 발명은 영상 보간 장치 및 방법에 관한 것으로, 보다 상세하게는, 영상 프레임의 보간대상화소에 새로운 화소값을 할당하여 해상도를 향상시키는 장치 및 방법에 관한 것이다.
최근의 대형 디스플레이 시장에서는 액정패널(Liquid Crystal Display : LCD), 플라즈마표시패널(Plasma Display Panel : PDP) 등과 같은 평판형 디스플레이 장치(Flat Panel Display : FPD)들이 기존의 브라운관(Cathode-Ray Tube : CRT)을 급속히 대체하고 있다.
이러한 FPD들은 CRT와 비교할 때 표시영역이 넓고 해상도가 높다는 장점이 있으나, HD(High Definition)방송을 제외한 SD(Standard Definition)방송이나 DVD(Digital Video Disc)와 같은 대중적인 영상들의 해상도가 720x480i 이하인 관계로 FPD에 출력할 경우에 화질이 저하되는 문제가 있다. 나아가 FPD는 영상의 원본 해상도가 디스플레이 장치의 해상도와 동일하지 않으면 디스플레이 장치의 화소가 영상과 일대일로 매칭되지 않기 때문에, 영상을 그대로 화면에 표시할 경우 흐 릿한 느낌의 영상으로 표현되어 객관적 및 주관적 화질의 저하를 초래한다. 따라서 원본 영상의 해상도를 FPD의 해상도로 향상시킬 필요가 있다.
해상도를 향상시키기 위한 기존에 알려진 방법 중 공간적인 보간법인 최근린 보간법(nearest neighbor interpolation)은 화소값을 할당받을 화소의 위치와 가장 가까운 곳에 위치한 원본영상의 화소의 화소값을 할당하는 방법이다. 이 방법은 처리속도가 빠르지만 새로운 화소값이 계산되지 않고, 이미 존재하는 화소의 화소값을 이용해야 하므로 오차가 커지며, 확대된 영상에 계단현상과 같은 부적절한 현상이 나타날 수 있다.
또한 겹선형 보간법(bilinear interpoloation)은 화소값을 할당받을 화소와 가장 가까운 네 개의 원본영상의 화소의 화소값에 가중치를 곱한 값들을 합산하여 할당하는 방법이다. 겹선형 보간법에서 화소값에 곱해지는 가중치는 선형적인 방법으로 결정되며, 화소값을 할당받을 화소로부터의 거리에 반비례한다. 이러한 겹선형 보간법을 사용할 경우 많은 계산 과정을 필요로 하지만 최근린 보간법에 의해 생성된 영상보다 오차가 작아지게 된다. 그러나 화소값의 계산에 의해서만 빈 화소에 화소값을 할당하므로 여전히 블록현상과 같은 문제점이 존재한다.
본 발명이 이루고자 하는 기술적 과제는, 원본영상의 해상도를 향상시키는 데 있어서 세밀한 에지를 가지는 영역에 대해서도 영상의 흐림이나 블록 현상과 같은 부적절한 현상없이 고품질의 영상을 얻을 수 있는 영상 보간 장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 원본영상의 해상도를 향상시키는 데 있어서 세밀한 에지를 가지는 영역에 대해서도 영상의 흐림이나 블록 현상과 같은 부적절한 현상없이 고품질의 영상을 얻을 수 있는 영상 보간 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 저역 통과 필터링을 기반으로 한 영상 보간 장치는, 영상 프레임 내의 화소값이 결정되어 있는 원화소들 중에서 화소값을 결정하고자 하는 보간대상화소와 가장 근접한 원화소가 속하는 에지의 방향을 산출하여 산출된 에지의 방향을 상기 보간대상화소의 에지 방향으로 결정하는 에지 방향 검출부; 상기 보간대상화소를 중심으로 하는 소정 크기의 필터링 윈도우 내에 위치하는 보간위치의 화소값을 상기 보간위치에 인접하는 원화소들의 화소값에 의해 산출하는 화소값 산출부; 및 사전에 설정된 수직방향, 수평방향, 좌대각방향 및 우대각방향 각각에 대응하는 저역 통과 필터 중에서 상기 보간대상 화소에 대해 결정된 에지 방향에 대응하는 저역 통과 필터에 의해 상기 보간대상화소에 저역 통과 필터링을 수행하는 필터링부;를 구비한다.
상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 저역 통과 필터링을 기반으로 한 영상 보간 방법은, 영상 프레임 내의 화소값이 결정되어 있는 원화소들 중에서 화소값을 결정하고자 하는 보간대상화소와 가장 근접한 원화소가 속하는 에지의 방향을 산출하여 산출된 에지의 방향을 상기 보간대상화소의 에지 방향으로 결정하는 에지 방향 검출단계; 상기 보간대상화소를 중심으로 하는 소정 크기의 필터링 윈도우 내에 위치하는 보간위치의 화소값을 상기 보간위치에 인접하는 원화소들의 화소값에 의해 산출하는 화소값 산출단계; 및 사전에 설정된 수직방향, 수평방향, 좌대각방향 및 우대각방향 각각에 대응하는 저역 통과 필터 중에서 상기 보간대상화소에 대해 결정된 에지 방향에 대응하는 저역 통과 필터에 의해 상기 보간대상화소에 저역 통과 필터링을 수행하는 필터링단계;를 갖는다.
본 발명에 따른 저역 통과 필터링을 기반으로 한 영상 보간 장치 및 방법에 의하면, 원본영상에 존재하는 화소들의 화소값을 이용하여 보간대상화소의 화소값을 결정함으로써, 계산 과정의 단순화와 처리 속도의 증가가 가능하다. 또한 영상을 보간할 때 보간대상화소가 속하는 에지의 방향에 따른 저역 통과 필터링을 수행함으로써, 세밀한 에지가 존재하는 영역에 대해서 경계를 부드럽게 만들어 화소값의 오차에 의한 블록 현상과 같은 영상의 열화 현상이 일어나지 않는 고품질의 영상을 얻을 수 있다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 영상 보간 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 저역 통과 필터링을 기반으로 한 영상 보간 장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 저역 통과 필터링을 기반으로 한 영상 보간 장치는 에지 방향 검출부(110), 화소값 산출부(120) 및 필터링부(130)를 구비한다.
에지 방향 검출부(110)는 영상 프레임 내의 화소값이 결정되어 있는 원화소들 중에서 화소값을 결정하고자 하는 보간대상화소와 가장 근접한 원화소가 속하는 에지의 방향을 산출하고, 산출된 에지의 방향을 보간대상화소의 에지 방향으로 결정한다. 이를 위해 에지 방향 검출부(110)는 그라디언트 산출부(111) 및 에지 방향 결정부(112)를 구비한다.
화소의 에지 방향을 결정하는 방법으로는 공간 영역에서 화소값을 이용하여 그라디언트 값을 산출하는 방법과 주파수 영역에서 화소의 성분을 분석하여 에지의 방향을 결정하는 방법이 있다. 주파수 영역에서의 에지 검출 방법을 사용할 경우 다양한 에지의 방향을 검출할 수 있으므로 정확성이 높지만, 공간 영역에서의 화소를 주파수 영역으로 변환할 때 부하가 발생할 수 있으며 연산 과정이 복잡하다. 또한 화소에 대해 필터링을 수행할 때 에지의 방향에 대응하는 필터의 갯수가 한정되어 있어 검출한 에지의 방향의 양자화가 필요하므로, 공간 영역에서 산출한 그라디 언트 값을 기초로 에지의 방향을 결정하는 것이 빠른 연산을 위해 바람직하다.
그라디언트 산출부(111)는 원화소들 중에서 에지 방향을 검출하고자 하는 대상화소가 중심에 위치한 소정 크기(예를 들면, 3×3 픽셀 크기)의 에지 검출 윈도우 내의 원화소들에 대하여 수직방향, 수평방향, 좌대각방향 및 우대각방향의 에지 방향으로 상기 대상화소를 지나는 직선의 양쪽에 위치한 원화소들의 화소값을 각각 합산하여 평균화한 결과값 간의 차를 산출하여 각각의 에지 방향에 대응하는 그라디언트 값을 산출한다.
도 2는 영상 프레임에 설정된 에지 검출 윈도우(210) 및 에지 검출 윈도우에 속하는 원화소들(X, A, B, C, D, E, F, G, H)을 도시한 도면이다.
도 2를 참조하면, X는 보간대상화소와 가장 근접한 위치에 있는 화소로서 에지 방향을 검출하고자 하는 대상화소이고, A 내지 H는 각각 대상화소가 중심에 위치한 에지 검출 윈도우(210) 내에 속하는 원화소들이다. 에지 검출 윈도우(210)의 크기는 그라디언트 값의 산출을 위한 연산 과정을 간소화하기 위하여 3×3(픽셀) 크기로 결정되는 것이 바람직하다.
그라디언트 산출부(111)는 다음의 수학식 1에 의해 에지 검출 윈도우(210) 내의 원화소들(X, A, B, C, D, E, F, G, H) 수직방향, 수평방향, 좌대각방향 및 우대각방향의 에지방향으로 대상화소를 지나는 직선의 양쪽에 위치한 원화소들의 화소값을 각각 합산한다. 일예로 수평방향에 대한 그라디언트 값을 산출하는 경우에 A, B, C의 화소값과 D, E, F의 화소값을 각각 합산하고, 세 개의 화소의 화소값을 합산하였으므로 합산한 값을 각각 3으로 나눈다. 다음으로 그라디언트 산출부(111) 는 화소값을 합산하여 평균화한 결과값의 차를 구하여 각각의 에지 방향에 대응하는 그라디언트 값을 산출한다. 앞의 예에서 수평방향에 대한 그라디언트 값은 |(A+B+C)/3-(D+E+F)/3|이다. 또한 영상 프레임의 외곽에 위치하는 대상화소를 중심으로 에지 검출 윈도우(210)가 결정될 경우 에지 검출 윈도우(210) 내에 화소가 존재하지 않는 위치가 생겨날 수 있으며, 이때 화소가 존재하지 않는 위치의 화소값은 0으로 하여 그라디언트 값을 산출한다.
Figure 112008020175209-pat00001
여기서, Dihor는 수평 방향의 그라디언트 값, Diver는 수직 방향의 그라디언트 값, Di45는 좌대각 방향의 그라디언트 값, 그리고 Di135는 우대각 방향의 그라디언트 값을 나타낸다.
에지 방향 결정부(112)는 그라디언트 산출부(111)에서 산출된 네 개의 그라디언트 값들 중에서 최대인 그라디언트 값과 최소인 그라디언트 값의 차분값이 사전에 설정된 기준값 이하인 경우에는 보간대상화소의 에지 방향을 등방향으로 결정하고, 차분값이 기준값보다 큰 경우에는 네 개의 그라디언트 값들 중에서 최대인 그라디언트 값에 해당하는 에지 방향을 보간대상화소의 에지 방향으로 결정한다. 등방향은 특정한 에지의 방향이 존재하지 않는다는 것을 의미하고, 등방향을 결정 하는 기준값은 실험적으로 결정되며 에지 방향에 대한 타당한 결과를 도출하기 위해 17의 값을 가지도록 결정될 수 있다. 기준값이 0으로 결정되는 경우는 그라디언트 산출부(111)에서 산출된 네 개의 그라디언트 값이 모두 동일한 경우에만 보간대상화소의 에지 방향이 등방향으로 결정된다는 것을 의미한다. 에지 방향 결정부(112)에서 결정된 보간대상화소의 에지 방향은 보간대상화소에 대해 저역 통과 필터링을 수행할 때 사용될 저역 통과 필터의 결정 기준이 된다. 이때 보간대상화소로부터 동일한 거리에 여러 개의 원화소가 위치하는 경우, 대응하는 원화소의 수가 가장 많은 에지 방향이 보간대상화소의 에지 방향으로 결정된다.
화소값 산출부(120)는 보간대상화소를 중심으로 하는 소정 크기(예를 들면, 5×5 픽셀 크기)의 필터링 윈도우 내에 위치하는 보간위치의 화소값을 보간위치에 인접하는 원화소들의 화소값에 의해 산출한다. 이때 보간위치의 화소값은 보간위치로부터 인접한 각각의 원화소의 화소값에 보간위치까지의 거리에 대응하는 가중치를 곱한 값을 모두 합산하여 산출되며, 가중치 값은 각각의 원화소에서 보간위치까지의 거리에 반비례한다.
도 3은 영상 프레임(310)의 보간대상화소(320)를 중심으로 하는 격자 구조의 필터링 윈도우(330)의 교차점들 중 영상 프레임(310)의 원화소(340)가 존재하는 교차점을 제외한 나머지 교차점에 대응하는 보간위치(350)를 도시한 도면이다. 필터링 윈도우(330)의 크기는 에지의 방향을 충분히 고려하면서 계산 과정을 신속하게 하기 위해 5×5(픽셀) 크기로 결정되는 것이 바람직하다. 또한 에지 검출 윈도우(210)의 크기에 원화소만으로 이루어진 영상 프레임의 크기에 대한 보간대상화소 를 포함한 영상 프레임의 크기의 비를 곱하여 필터링 윈도우(330)의 크기를 결정할 수 있다.
필터링 윈도우(330) 내의 보간위치(350) 중 하나인 i위치의 화소값을 산출하는 경우, 화소값 산출부(120)는 i위치에 인접한 네 개의 원화소들(A, B, C, D)의 화소값에 다음의 수학식 2에 의해 산출되는 가중치를 곱한 값을 모두 합산한다.
Figure 112008020175209-pat00002
여기서, a,b,c 및 d는 각각 원화소 A,B,C 및 D에 곱해지는 가중치를 의미하며, SX는 수평 방향의 원화소(340) 사이의 거리에 대한 필터링 윈도우(330)의 교차점 사이의 거리의 비, 그리고 SY는 수직 방향의 원화소(340) 사이의 거리에 대한 필터링 윈도우(330)의 교차점 사이의 거리의 비를 나타낸다.
화소값 산출부(120)에 의해 필터링 윈도우(330) 내의 모든 보간위치(350)에 대한 화소값이 산출되면, 필터링부(130)는 사전에 설정된 수직방향, 수평방향, 좌대각방향 및 우대각방향 각각에 대응하는 저역 통과 필터 중에서 보간대상화소에 대해 결정된 에지 방향에 대응하는 저역 통과 필터에 의해 보간대상화소에 저역 통과 필터링을 수행한다.
화소의 에지 방향을 따라 수행되는 저역 통과 필터링은 고주파 성분을 감소시키고 평활화(smoothing)함으로써, 화소값의 급격한 변화로 인한 블록현상 등의 영상 열화 현상을 억제한다. 필터링 과정이 화소값 산출부(120)에 의해 영상 프레임 내의 모든 보간위치에 대해 화소값이 결정된 후 수행될 경우 추가적인 메모리를 필요로 하며, 순차적인 처리를 요구하는 하드웨어에서 구현이 어렵다는 문제점이 있으므로 필터링 윈도우(330) 내의 보간대상화소(320)를 포함한 보간위치(350)에 대한 화소값이 결정됨과 동시에 보간대상화소(320)에 대해 저역 통과 필터링을 수행하는 것이 바람직하다.
도 4 및 도 5는 각각 저역 통과 필터링을 수행하기 위해 결정된 영상 프레임(410, 510)의 보간대상화소(420, 520)를 중심으로 하는 격자 구조의 필터링 윈도우(430, 530)를 도시한 도면이다. 이 경우에도 격자 구조의 필터링 윈도우(430, 530)의 교차점 중에서 화소가 존재하지 않는 교차점이 이는 경우, 해당 위치의 화소값은 0으로 한다.
도 4 및 도 5를 참조하면, 필터링부(130)는 필터링 윈도우(430)의 모든 교차점에 위치하는 화소의 화소값에 다음의 수학식 3에 의해 에지의 방향에 대응하여 결정된 필터 계수를 곱한 값을 모두 합산하여 보간대상화소(420, 520)의 새로운 화소값을 산출한다. 이때 도 4에 도시된 바와 같이 필터링 윈도우(430)의 교차점에 원화소(440)가 위치하는 경우에는 원화소(440) 및 보간대상화소(420)를 포함하는 보간위치(450)의 화소값을 기초로 저역 통과 필터링이 수행된다. 그러나 도 5에 도시된 바와 같이 필터링 윈도우(530)의 교차점에 원화소(540)가 위치하지 않는 경우에는 보간대상화소(520)를 포함하는 보간위치(550)의 화소값에 저역 통과 필터의 필터 계수가 곱해지게 된다.
Figure 112008020175209-pat00003
여기서, h(x)는 저역 통과 필터의 필터 계수, X는 필터링 윈도우(430, 530)의 중심(420, 520)으로부터 각 교차점까지의 거리, 그리고 σ는 필터 계수의 크기를 조절하는 파라미터이다.
다음의 수학식 4에 의해 결정되는 파라미터 σ는 보간대상화소(420, 520)에 대해 결정된 에지의 방향에 따라 다르게 적용되며, 파라미터의 값이 커질수록 필터의 폭이 넓어지므로 평활화의 정도가 커지게 된다.
Figure 112008020175209-pat00004
여기서, σ는 파라미터 값, α는 주파수 영역에서 저역 통과 필터의 차단 주파수에 따른 필터 응답을 반영하는 비례계수, Ir은 영상 프레임의 해상도 확장비율, 그리고 β는 필터링이 수행된 영상의 선명도를 조절하는 상수이다.
비례계수 α는 주파수에 따라 최소 필터 응답을 도출하여 1차 함수의 그래프로 나타내었을 때의 기울기이며, 필터의 차단 주파수는 샘플링 주파수의 2배 이하가 되어야 한다는 나이퀴스트 비율(Nyquist rate)에 따라 최소 필터 응답을 구하여 기울기를 산출할 경우 α=0.013182의 값이 얻어진다.
해상도 확장비율 Ir은 원화소만으로 이루어진 영상 프레임의 크기에 대한 보간대상화소를 포함한 영상 프레임의 크기의 비로 구해지며, 상수 β는 필터링에 의 한 영상의 평활화 정도를 조절하는 값으로 β의 값이 커질수록 파라미터 σ의 값이 커져 결국 필터의 폭이 넓어져 평활화 정도가 커진다.
도 6은 본 발명에 따른 저역 통과 필터링을 기반으로 한 영상 보간 방법에 대한 바람직한 실시예의 수행 과정을 도시한 흐름도이다.
도 6을 참조하면, 그라디언트 산출부(111)는 영상 프레임 내의 화소값이 결정되어 있는 원화소들 중에서 화소값을 결정하고자 하는 보간대상화소와 가장 근접한 대상화소가 중심에 위치한 소정 크기의 에지 검출 윈도우 내의 원화소들의 화소값을 기초로 수직방향, 수평방향, 좌대각방향 및 우대각방향의 에지 방향에 대한 그라디언트 값을 산출한다(S610). 그라디언트 값은 수학식 1에 의해 산출된다. 다음으로 에지 방향 결정부(112)는 네 개의 에지 방향에 대해 산출된 그라디언트 값들 중에서 최대인 그라디언트 값과 최소인 그라디언트 값의 차분값을 사전에 설정된 기준값과 비교하여(S620) 차분값이 기준값 이하인 경우에는 보간대상화소의 에지 방향을 등방향으로 결정하고(S630), 차분값이 기준값보다 큰 경우에는 최대인 그라디언트 값에 해당하는 에지 방향을 보간대상화소의 에지 방향으로 결정한다(S640). 다음으로 화소값 산출부(120)는 보간대상화소를 중심으로 하는 격자 구조의 필터링 윈도우의 교차점 중에서 원화소가 위치하는 교차점을 제외한 나머지 교차점에 대응하는 보간위치로부터 인접한 원화소의 화소값에 보간위치까지의 거리에 대응하는 가중치를 곱한 값을 모두 합산하여 보간위치의 화소값을 산출한다(S650). 각각의 원화소에 곱해지는 가중치 값은 보간위치와 원화소 사이의 거리에 반비례하며, 수학식 2에 의해 결정된다. 또한 화소값을 산출하는 보간위치에는 보간대상화소가 포함된다. 마지막으로 필터링부(130)는 화소값 산출부(120)에 의해 보간대상화소를 포함하는 필터링 윈도우 내의 모든 보간위치에 대해 화소값이 결정되면 각각의 보간위치로부터 필터링 윈도우의 중심까지의 거리를 기초로 보간대상화소에 대해 결정된 에지의 방향에 대응하는 필터 계수를 산출하여 보간대상화소에 대해 저역 통과 필터링을 수행한다(S660). 필터 계수는 수학식 3에 의해 산출되고, 필터 계수의 크기를 조절하는 파라미터 값은 수학식 4에 의해 결정된다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
도 1은 본 발명에 따른 저역 통과 필터링을 기반으로 한 영상 보간 장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 2는 영상 프레임에 설정된 에지 검출 윈도우(210) 및 에지 검출 윈도우에 속하는 원화소들(X, A, B, C, D, E, F, G, H)을 도시한 도면,
도 3은 영상 프레임(310)의 보간대상화소(320)를 중심으로 하는 격자 구조의 필터링 윈도우(330)의 교차점들 중 영상 프레임(310)의 원화소(340)가 존재하는 교차점을 제외한 나머지 교차점에 대응하는 보간위치(350)를 도시한 도면,
도 4는 저역 통과 필터링을 수행하기 위해 결정된 영상 프레임(410)의 보간대상화소(420)를 중심으로 하는 격자 구조의 필터링 윈도우(430)의 교차점에 원화소(440)가 위치하는 경우를 도시한 도면,
도 5는 저역 통과 필터링을 수행하기 위해 결정된 영상 프레임(510)의 보간대상화소(520)를 중심으로 하는 격자 구조의 필터링 윈도우(530)의 교차점에 원화소(540)가 위치하지 않는 경우를 도시한 도면, 그리고,
도 6은 본 발명에 따른 저역 통과 필터링을 기반으로 한 영상 보간 방법에 대한 바람직한 실시예의 수행 과정을 도시한 흐름도이다.

Claims (13)

  1. 영상 프레임 내의 화소값이 결정되어 있는 원화소들 중에서 화소값을 결정하고자 하는 보간대상화소와 가장 근접한 원화소가 속하는 에지의 방향을 산출하여 산출된 에지의 방향을 상기 보간대상화소의 에지 방향으로 결정하는 에지 방향 검출부;
    상기 보간대상화소를 중심으로 하는 사전에 설정된 크기의 필터링 윈도우 내에 위치하는 보간위치의 화소값을 상기 보간위치에 인접하는 원화소들의 화소값에 의해 산출하는 화소값 산출부; 및
    사전에 설정된 수직방향, 수평방향, 좌대각방향 및 우대각방향 각각에 대응하는 저역 통과 필터 중에서 상기 보간대상화소에 대해 결정된 에지 방향에 대응하는 저역 통과 필터에 의해 상기 보간대상화소에 저역 통과 필터링을 수행하는 필터링부;를 포함하며,
    상기 에지 방향 검출부는,
    상기 원화소들 중에서 에지 방향을 검출하고자 하는 대상화소가 중심에 위치한 사전에 설정된 크기의 에지 검출 윈도우 내의 원화소들에 대하여 수직방향, 수평방향, 좌대각방향 및 우대각방향의 에지 방향으로 상기 대상화소를 지나는 직선의 양쪽에 위치한 원화소들의 화소값을 각각 합산하여 평균화한 결과값 간의 차를 산출하여 각각의 에지 방향에 대응하는 그라디언트 값을 산출하는 그라디언트 산출부; 및
    상기 그라디언트 산출부에서 산출된 네 개의 그라디언트 값들 중에서 최대인 그라디언트 값과 최소인 그라디언트 값의 차분값이 사전에 설정된 기준값 이하인 경우에는 상기 보간대상화소의 에지 방향을 등방향으로 결정하고, 상기 차분값이 상기 기준값보다 큰 경우에는 상기 네 개의 그라디언트 값들 중에서 최대인 그라디언트 값에 해당하는 에지 방향을 상기 보간대상화소의 에지 방향으로 결정하는 에지 방향 결정부;를 포함하는 것을 특징으로 하는 영상 보간 장치.
  2. 삭제
  3. 제 1항에 있어서,
    상기 필터링 윈도우의 각 좌표 중에서 화소가 위치하지 않는 좌표의 화소값은 0으로 하는 것을 특징으로 하는 영상 보간 장치.
  4. 제 1항 또는 제 3항에 있어서,
    상기 화소값 산출부는 격자 구조의 상기 필터링 윈도우의 중심에 상기 보간대상화소를 위치시키고, 상기 필터링 윈도우의 각 교차점 중에서 원화소가 존재하는 교차점을 제외한 나머지 교차점에 대응하는 보간위치로부터 인접한 각각의 원화소의 화소값에 상기 보간위치까지의 거리에 대응하는 가중치를 곱한 값을 모두 합산하여 상기 보간위치에 대응하는 화소값을 산출하는 것을 특징으로 하는 영상 보간 장치.
  5. 제 1항 또는 제 3항에 있어서,
    상기 필터링부는 상기 필터링 윈도우 내의 각각의 보간위치로부터 상기 필터링 윈도우의 중심까지의 거리를 기초로 상기 보간대상화소에 대해 결정된 에지의 방향에 대응하는 필터 계수를 산출하여 상기 보간대상화소에 대한 저역 통과 필터링을 수행하는 것을 특징으로 하는 영상 보간 장치.
  6. 제 5항에 있어서,
    상기 필터 계수의 크기를 조절하는 파라미터는 다음의 수학식에 의해 결정되는 것을 특징으로 하는 영상 보간 장치:
    Figure 112008020175209-pat00005
    여기서, σ는 상기 파라미터, α는 주파수 영역에서 저역 통과 필터의 차단 주파수에 따른 필터 응답을 반영하는 비례계수, Ir은 상기 영상 프레임의 해상도 확장비율, 그리고 β는 필터링이 수행된 영상의 선명도를 조절하는 상수이다.
  7. 영상 프레임 내의 화소값이 결정되어 있는 원화소들 중에서 화소값을 결정하고자 하는 보간대상화소와 가장 근접한 원화소가 속하는 에지의 방향을 산출하여 산출된 에지의 방향을 상기 보간대상화소의 에지 방향으로 결정하는 에지 방향 검출단계;
    상기 보간대상화소를 중심으로 하는 사전에 설정된 크기의 필터링 윈도우 내에 위치하는 보간위치의 화소값을 상기 보간위치에 인접하는 원화소들의 화소값에 의해 산출하는 화소값 산출단계; 및
    사전에 설정된 수직방향, 수평방향, 좌대각방향 및 우대각방향 각각에 대응하는 저역 통과 필터 중에서 상기 보간대상화소에 대해 결정된 에지 방향에 대응하는 저역 통과 필터에 의해 상기 보간대상화소에 저역 통과 필터링을 수행하는 필터링단계;를 포함하며,
    상기 에지 방향 검출단계는,
    상기 원화소들 중에서 에지 방향을 검출하고자 하는 대상화소가 중심에 위치한 사전에 설정된 크기의 에지 검출 윈도우 내의 원화소들에 대하여 수직방향, 수평방향, 좌대각방향 및 우대각방향의 에지 방향으로 상기 대상화소를 지나는 직선의 양쪽에 위치한 원화소들의 화소값을 각각 합산하여 평균화한 결과값 간의 차를 산출하여 각각의 에지 방향에 대응하는 그라디언트 값을 산출하는 그라디언트 산출단계; 및
    상기 그라디언트 산출부에서 산출된 네 개의 그라디언트 값들 중에서 최대인 그라디언트 값과 최소인 그라디언트 값의 차분값이 사전에 설정된 기준값 이하인 경우에는 상기 보간대상화소의 에지 방향을 등방향으로 결정하고, 상기 차분값이 상기 기준값보다 큰 경우에는 상기 네 개의 그라디언트 값들 중에서 최대인 그라디언트 값에 해당하는 에지 방향을 상기 보간대상화소의 에지 방향으로 결정하는 에지 방향 결정단계;를 포함하는 것을 특징으로 하는 영상 보간 방법.
  8. 삭제
  9. 제 7항에 있어서,
    상기 필터링 윈도우의 각 좌표 중에서 화소가 위치하지 않는 좌표의 화소값은 0으로 하는 것을 특징으로 하는 영상 보간 방법.
  10. 제 7항 또는 제 9항에 있어서,
    상기 화소값 산출단계에서, 격자 구조의 상기 필터링 윈도우의 중심에 상기 보간대상화소를 위치시키고, 상기 필터링 윈도우의 각 교차점 중에서 원화소가 존재하는 교차점을 제외한 나머지 교차점에 대응하는 보간위치로부터 인접한 각각의 원화소의 화소값에 상기 보간위치까지의 거리에 대응하는 가중치를 곱한 값을 모두 합산하여 상기 보간위치에 대응하는 화소값을 산출하는 것을 특징으로 하는 영상 보간 방법.
  11. 제 7항 또는 제 9항에 있어서,
    상기 필터링단계에서, 상기 필터링 윈도우 내의 각각의 보간위치로부터 상기 필터링 윈도우의 중심까지의 거리를 기초로 상기 보간대상화소에 대해 결정된 에지의 방향에 대응하는 필터 계수를 산출하여 상기 보간대상화소에 대한 저역 통과 필터링을 수행하는 것을 특징으로 하는 영상 보간 방법.
  12. 제 11항에 있어서,
    상기 필터 계수의 크기를 조절하는 파라미터는 다음의 수학식에 의해 결정되는 것을 특징으로 하는 영상 보간 방법:
    Figure 112008020175209-pat00006
    여기서, σ는 상기 파라미터, α는 주파수 영역에서 저역 통과 필터의 차단 주파수에 따른 필터 응답을 반영하는 비례계수, Ir은 상기 영상 프레임의 해상도 확장비율, 그리고 β는 필터링이 수행된 영상의 선명도를 조절하는 상수이다.
  13. 제 7항 또는 제 9항에 기재된 영상 보간 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020080025773A 2008-03-20 2008-03-20 저역 통과 필터링을 기반으로 한 영상 보간 장치 및 방법 KR100952667B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080025773A KR100952667B1 (ko) 2008-03-20 2008-03-20 저역 통과 필터링을 기반으로 한 영상 보간 장치 및 방법
US12/407,900 US8208748B2 (en) 2008-03-20 2009-03-20 Apparatus and method for image interpolation based on low pass filtering

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080025773A KR100952667B1 (ko) 2008-03-20 2008-03-20 저역 통과 필터링을 기반으로 한 영상 보간 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20090100532A KR20090100532A (ko) 2009-09-24
KR100952667B1 true KR100952667B1 (ko) 2010-04-13

Family

ID=41089014

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080025773A KR100952667B1 (ko) 2008-03-20 2008-03-20 저역 통과 필터링을 기반으로 한 영상 보간 장치 및 방법

Country Status (2)

Country Link
US (1) US8208748B2 (ko)
KR (1) KR100952667B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8571312B2 (en) * 2009-01-16 2013-10-29 Samsung Electronics Co., Ltd. Image interpolation method and apparatus using pattern characteristics of color filter array
US9020303B2 (en) * 2011-02-21 2015-04-28 Mitsubishi Electric Corporation Image magnification device and method
US8886503B2 (en) * 2011-04-19 2014-11-11 Schlumberger Technology Corporation Discontinuity detection
JP5592308B2 (ja) * 2011-05-19 2014-09-17 富士重工業株式会社 環境認識装置
AU2012202349B2 (en) * 2012-04-20 2015-07-30 Canon Kabushiki Kaisha Image resampling by frequency unwrapping
KR101934261B1 (ko) * 2012-07-09 2019-01-03 삼성전자 주식회사 이미지 해상도 변화 방법과 장치, 및 상기 장치를 포함하는 전자 장치
US9576346B2 (en) * 2015-03-24 2017-02-21 Intel Corporation Non-local means image denoising with an adaptive directional spatial filter
CN108230255A (zh) * 2017-09-19 2018-06-29 北京市商汤科技开发有限公司 用于实现图像增强的方法、装置和电子设备
CN115187552B (zh) * 2022-07-14 2023-04-25 南京思飞捷软件科技有限公司 一种基于边缘检测的车身门缝检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10155128A (ja) * 1996-11-22 1998-06-09 Sony Corp 画像補間装置、画像補間方法およびビデオプリンター
KR100335502B1 (ko) * 2000-06-12 2002-05-08 윤종용 윤곽선 정보에 의한 2차원 비선형 보간 시스템 및 그 방법
KR20050119689A (ko) * 2003-04-10 2005-12-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 공간 이미지 변환
KR20060014879A (ko) * 2004-08-12 2006-02-16 삼성전자주식회사 해상도 변환방법 및 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6339479B1 (en) * 1996-11-22 2002-01-15 Sony Corporation Video processing apparatus for processing pixel for generating high-picture-quality image, method thereof, and video printer to which they are applied
US6731342B2 (en) * 2000-01-06 2004-05-04 Lg Electronics Inc. Deinterlacing apparatus and method using edge direction detection and pixel interplation
JP4600011B2 (ja) * 2004-11-29 2010-12-15 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7982798B2 (en) * 2005-09-08 2011-07-19 Silicon Image, Inc. Edge detection
US7486844B2 (en) * 2005-11-17 2009-02-03 Avisonic Technology Corporation Color interpolation apparatus and color interpolation method utilizing edge indicators adjusted by stochastic adjustment factors to reconstruct missing colors for image pixels
US7944503B1 (en) * 2006-01-27 2011-05-17 Texas Instruments Incorporated Interlaced-to-progressive video processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10155128A (ja) * 1996-11-22 1998-06-09 Sony Corp 画像補間装置、画像補間方法およびビデオプリンター
KR100335502B1 (ko) * 2000-06-12 2002-05-08 윤종용 윤곽선 정보에 의한 2차원 비선형 보간 시스템 및 그 방법
KR20050119689A (ko) * 2003-04-10 2005-12-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 공간 이미지 변환
KR20060014879A (ko) * 2004-08-12 2006-02-16 삼성전자주식회사 해상도 변환방법 및 장치

Also Published As

Publication number Publication date
KR20090100532A (ko) 2009-09-24
US8208748B2 (en) 2012-06-26
US20090238488A1 (en) 2009-09-24

Similar Documents

Publication Publication Date Title
KR100952667B1 (ko) 저역 통과 필터링을 기반으로 한 영상 보간 장치 및 방법
RU2419243C1 (ru) Устройство и способ обработки изображений и устройство и способ отображения изображений
JP4098319B2 (ja) 解像度変換方法および解像度変換装置
US8189941B2 (en) Image processing device, display device, image processing method, and program
US7957611B2 (en) Image scaler with controllable sharpness
US7259794B2 (en) De-interlacing device and method therefor
US8204124B2 (en) Image processing apparatus, method thereof, and program
JP2006221403A (ja) 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
US7932955B2 (en) Method and system for content adaptive analog video noise detection
US9516260B2 (en) Video processing method and apparatus
US8345163B2 (en) Image processing device and method and image display device
US7808553B2 (en) Apparatus and method for converting interlaced image into progressive image
JP2007081611A (ja) 表示画面補正パラメータ設定方法
KR102654705B1 (ko) 촬상 장치 및 방법
KR100953328B1 (ko) 에지 가중치 영상 보간 장치 및 방법
JP2008033592A (ja) 画像処理装置および画像処理方法、並びにプログラム
JP4650683B2 (ja) 画像処理装置および方法、プログラム並びに記録媒体
KR101235488B1 (ko) 위너필터 기반의 가중치를 부여하여 화소를 보간하는 디인터레이싱 장치 및 방법
KR20070020996A (ko) 칼라 에러 보정장치 및 그 방법
US8675998B2 (en) Method and apparatus for high frequency component smoothing, and image display apparatus
WO2006054201A1 (en) Video data enhancement
KR20120040764A (ko) 에지맵을 이용한 디인터레이싱 장치 및 방법
KR100813923B1 (ko) 확장된 리샘플링 기법을 이용한 영상 보간 장치 및 방법
JP4650684B2 (ja) 画像処理装置および方法、プログラム並びに記録媒体
JP2006526832A (ja) 画像の補間

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130329

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140326

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150417

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160325

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170327

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190807

Year of fee payment: 10