KR101027323B1 - 비대칭 가우시안 필터를 이용한 영상 보간 장치 및 방법 - Google Patents

비대칭 가우시안 필터를 이용한 영상 보간 장치 및 방법 Download PDF

Info

Publication number
KR101027323B1
KR101027323B1 KR1020100005260A KR20100005260A KR101027323B1 KR 101027323 B1 KR101027323 B1 KR 101027323B1 KR 1020100005260 A KR1020100005260 A KR 1020100005260A KR 20100005260 A KR20100005260 A KR 20100005260A KR 101027323 B1 KR101027323 B1 KR 101027323B1
Authority
KR
South Korea
Prior art keywords
edge
energy
edge direction
pixel
image
Prior art date
Application number
KR1020100005260A
Other languages
English (en)
Inventor
고성제
한종우
천성현
왕태식
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020100005260A priority Critical patent/KR101027323B1/ko
Priority to US12/657,753 priority patent/US20110176744A1/en
Application granted granted Critical
Publication of KR101027323B1 publication Critical patent/KR101027323B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

비대칭 가우시안 필터를 이용한 영상 보간 장치 및 방법이 개시된다. 에지정보 산출부는 입력받은 저해상도 영상을 구성하는 복수의 화소 각각에 대하여 각각의 화소가 위치하는 에지의 방향인 제1에지방향 및 그에 대응하는 에지의 최대 강도인 제1에지방향 에너지를 산출한다. 영상 확대부는 저해상도 영상을 확대시킨 고해상도 영상을 구성하는 복수의 화소 중에서 저해상도 영상의 각 화소에 대응하는 기준화소들을 제외한 보간대상화소 각각에 대하여 인접한 기준화소의 제1에지방향 및 제1에지방향 에너지를 기초로 제2에지방향 및 제2에지방향 에너지를 산출한다. 화소값 산출부는 보간대상화소의 제2에지방향 및 제2에지방향 에너지에 의해 방향 및 너비가 결정되는 보간필터를 보간대상화소 각각에 적용하여 보간대상 화소 각각의 화소값을 산출한다. 본 발명에 따르면, 영상 확대로 얻어진 고해상도 영상의 화소값을 보간하기 위해 에지의 방향 및 강도에 따라 적응적으로 조절되는 방향 및 너비를 가지는 가우시안 필터를 사용함으로써, 적은 계산량으로 화질 열화를 최소화하여 고품질의 고해상도 영상을 생성할 수 있다.

Description

비대칭 가우시안 필터를 이용한 영상 보간 장치 및 방법{Apparatus and method for image interpolation using anisotropic Gaussian filter}
본 발명은 비대칭 가우시안 필터를 이용한 영상 보간 장치 및 방법에 관한 것으로, 보다 상세하게는, 저해상도 영상을 확대하여 고해상도 영상을 획득하는 장치 및 방법에 관한 것이다.
최근 영상 표시 장치의 해상도가 증가함에 따라 고해상도 영상 감상에 대한 소비자의 요구가 늘어나고 있는 추세이다. 또한 모바일폰 및 웹캠(web-cam)과 같은 저해상도 영상 획득 장치를 통해 획득한 영상을 TV 등의 대형 영상 표시 장치로 감상하고자 하는 요구도 증가하고 있다.
기존의 영상 확대 기술중 가장 대표적인 기법에 해당하는 bi-linear 기법 및 bi-cubic 기법은 계산량이 적고 쉽게 구현할 수 있다는 특징을 가지므로 많이 사용되고 있으나, 이를 통해 획득한 고해상도 영상에서 흐림(blur)이나 계단효과(jagging)가 발생하므로 만족스러운 결과를 얻을 수 없었다.
이러한 문제를 해결하기 위해 많은 연구가 진행되었으며, 초해상도 영상복원(Super-resolution image reconstruction : SR) 기법은 가장 많이 연구된 기법 중의 하나이다. SR 기법은 일반적으로 다양한 저해상도 참조 영상을 이용하여 이 영상들 간의 관계를 파악하고, 이를 이용하여 고해상도 영상을 획득한 후 추가적으로 후처리 과정을 통해 고화질 고해상도 영상을 생성한다. 그러나 이러한 방법은 계산량이 많고 참조 영상이 반드시 있어야 하며, 참조 영상들을 저장할 저장공간이 필요하다는 단점을 가진다. 이를 극복하기 위해 한 장의 영상과 미리 습득한 정보를 이용한 SR 기법도 개발되었으나 이 역시 계산량과 미리 습득한 정보를 저장하기 위한 공간을 필요로 한다.
한편, 일반적인 영상 보간 기법으로는 다항식을 이용한 기법, 영상 재구성(image reconstruction)을 이용한 기법 및 영상의 경계에 기반을 둔 기법들이 있다.
다항식을 이용한 기법은 공간적으로 밀접한 화소값이 유사하고 연속적으로 변할 것이라는 가정을 통해 개발되었다. 그러나 경계 부분에서는 이러한 가정이 통하지 않기 때문에 영상에서 흐림 효과가 많이 발생하게 된다. 따라서 이러한 기법은 추가적으로 영상 대조비 개선 기법들을 후처리로 사용해야 한다는 단점을 가진다.
영상 재구성을 이용한 기법은 이상적인 경우에 원영상과 원영상을 보간한 후 다시 축소시켜 획득한 영상이 동일하다는 것을 전제로 하여 개발되었다. 즉, 이 기법은 두 영상 간의 에러를 최소화하는 방향으로 고해상도 영상을 보간하기 때문에 고화질의 영상을 획득할 수 있다. 그러나 이 기법은 기본적으로 반복적인 영상 보간 및 축소의 과정을 거치기 때문에 계산량이 많아질 수밖에 없고 지역 최소(local minimum)에 의해 잘못된 영상 결과를 가져올 수 있다는 단점이 있다.
마지막으로 영상 경계에 기반을 둔 기법은 먼저 영상에서 경계를 암시적(implicitly) 및 명시적(explicitly)으로 찾은 다음 찾은 경계에 적응적으로 영상을 보간하여 고해상도 영상을 얻는 기법이다. 이 기법은 상대적으로 쉽게 구현할 수 있으므로 많이 사용되나, 경계를 찾는 기법에 따라 성능의 차이를 보인다는 단점이 있다.
위와 같은 단점들을 극복하고, 저해상도 영상으로부터 적은 흐림 및 계단 현상을 가지는 고해상도 영상을 적은 계산량으로 획득할 수 있는 방법이 필요하다.
본 발명이 이루고자 하는 기술적 과제는, 저해상도 영상으로부터 적은 흐림 및 계단 현상을 가지는 고해상도 영상을 적은 계산량으로 획득할 수 있는 비대칭 가우시안 필터를 이용한 영상 보간 장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 저해상도 영상으로부터 적은 흐림 및 계단 현상을 가지는 고해상도 영상을 적은 계산량으로 획득할 수 있는 비대칭 가우시안 필터를 이용한 영상 보간 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 비대칭 가우시안 필터를 이용한 영상 보간 장치는, 입력받은 저해상도 영상을 구성하는 복수의 화소 각각에 대하여 상기 각각의 화소의 에지의 방향인 제1에지방향 및 상기 제1에지방향에 대응하는 에지의 최대 강도인 제1에지방향 에너지를 산출하는 에지정보 산출부; 상기 저해상도 영상을 확대시킨 고해상도 영상을 구성하는 복수의 화소 중에서 상기 저해상도 영상의 각 화소에 대응하는 기준화소들을 제외한 보간대상화소 각각에 대하여 인접한 상기 기준화소의 제1에지방향 및 제1에지방향 에너지를 기초로 제2에지방향 및 제2에지방향 에너지를 산출하는 영상 확대부; 및 상기 보간대상화소의 제2에지방향 및 제2에지방향 에너지에 의해 방향 및 너비가 결정되는 보간필터를 상기 보간대상화소 각각에 적용하여 상기 보간대상 화소 각각의 화소값을 산출하는 화소값 산출부;를 구비한다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 비대칭 가우시안 필터를 이용한 영상 보간 방법은, 입력받은 저해상도 영상을 구성하는 복수의 화소 각각에 대하여 상기 각각의 화소의 에지의 방향인 제1에지방향 및 상기 제1에지방향에 대응하는 에지의 최대 강도인 제1에지방향 에너지를 산출하는 에지정보 산출단계; 상기 저해상도 영상을 확대시킨 고해상도 영상을 구성하는 복수의 화소 중에서 상기 저해상도 영상의 각 화소에 대응하는 기준화소들을 제외한 보간대상화소 각각에 대하여 인접한 상기 기준화소의 제1에지방향 및 제1에지방향 에너지를 기초로 제2에지방향 및 제2에지방향 에너지를 산출하는 영상 확대단계; 및 상기 보간대상화소의 제2에지방향 및 제2에지방향 에너지에 의해 방향 및 너비가 결정되는 가우시안 필터를 상기 보간대상화소 각각에 적용하여 상기 보간대상 화소 각각의 화소값을 산출하는 화소값 산출단계;를 갖는다.
본 발명에 따른 비대칭 가우시안 필터를 이용한 영상 보간 장치 및 방법에 의하면, 영상 확대로 얻어진 고해상도 영상의 화소값을 보간하기 위해 에지의 방향 및 강도에 따라 적응적으로 조절되는 방향 및 너비를 가지는 가우시안 필터를 사용함으로써, 적은 계산량으로 화질 열화를 최소화하여 고품질의 고해상도 영상을 생성할 수 있다.
도 1은 본 발명에 따른 비대칭 가우시안 필터를 이용한 영상 보간 장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 2는 에지정보 산출부에 의해 사용되는 에지검출 필터의 일 예를 도시한 도면,
도 3은 고해상도 영상에서 기준화소와 보간대상화소의 위치관계를 도시한 도면,
도 4는 보간대상화소에 적용되는 가우시안 필터의 예를 도시한 도면,
도 5는 보간대상화소와 에지의 위치 관계에 따른 가우시안 필터의 형태를 도시한 도면,
도 6은 본 발명에 따른 비대칭 가우시안 필터를 이용한 영상 보간 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,
도 7a 내지 도 7f는 본 발명의 성능 평가를 위한 실험에 사용된 시험영상을 각각 나타낸 도면,
도 8a 내지 도 8d는 도 7a의 'Fruit' 영상에 본 발명을 적용하였을 때 각 단계에서 얻어지는 영상들을 나타낸 도면,
도 9는 160×80 크기의 'Cycle' 영상에 본 발명 및 기존의 보간 기법들을 적용하여 얻어진 결과를 나타낸 도면,
도 10은 도 7c의 'Cafe' 영상에 본 발명 및 기존의 보간 기법들을 적용하여 얻어진 결과를 나타낸 도면, 그리고,
도 11은 도 7d의 'Bike' 영상에 본 발명 및 기존의 보간 기법들을 적용하여 얻어진 결과를 나타낸 도면이다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 비대칭 가우시안 필터를 이용한 영상 보간 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 비대칭 가우시안 필터를 이용한 영상 보간 장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 영상 보간 장치는, 에지정보 산출부(110), 에지영역 검출부(120), 영상 확대부(130) 및 화소값 산출부(140)를 구비한다.
에지정보 산출부(110)는 입력받은 저해상도 영상을 구성하는 복수의 화소 각각에 대하여 각각의 화소의 에지의 방향인 제1에지방향 및 제1에지방향에 대응하는 에지의 최대 강도인 제1에지방향 에너지를 산출한다.
저해상도 영상을 확대하여 고해상도 영상을 생성할 때, 고해상도 영상에서 저해상도 영상의 각 화소에 대응하는 기준화소들 사이에 삽입되는 보간대상화소의 화소값을 산출해야 한다. 확대된 영상에 대한 화소값 보간에는 가우시안 필터가 사용되는데, 본 발명에서는 보간대상화소 각각에 대해 얻어진 에지의 방향 및 강도에 따라 방향과 너비가 달라지는 비대칭 가우시안 필터를 사용하여 보간대상화소의 화소값을 산출하게 된다.
가우시안 필터의 방향 및 너비를 결정하기 위해서는 각각의 보간대상화소에 대한 에지의 방향 및 강도에 관한 정보가 필요하다. 이러한 보간대상화소의 에지정보는 고해상도 영상이 생성되기 이전의 영상, 즉 영상 확대 전의 저해상도 영상을 구성하는 각 화소의 에지정보로부터 얻어진다. 에지정보 산출부(110)는 이러한 저해상도 영상의 각 화소에 대한 에지정보를 산출하기 위해 구비된 것이다.
제1에지방향은 저해상도 영상의 각 화소가 위치하는 에지의 방향 또는 각 화소에 가장 근접한 에지의 방향이며, 제1에지방향 에너지는 그 에지의 최대 강도이다. 영상의 에지를 검출하여 그 방향 및 강도를 산출하기 위해 다양한 방법들이 사용되며, 본 발명에서는 방향 및 스케일에 따라 결정되는 복수의 필터뱅크로 이루어진 에지검출 필터인 Leung-Malik 필터(이하, 'LM필터'라 한다)를 사용하여 제1에지방향 및 제1에지방향 에너지를 산출한다.
LM필터는 36개의 방향성 필터(6개의 방향, 3개의 스케일, 그리고 2개의 위상에 대한 가우시안의 1차 및 2차 도함수), 8개의 LoG(Laplacian of Gaussain) 필터 및 4개의 가우시안 필터로 구성된다. 이때 에지 방향 검출의 정확도를 높이기 위해 방향과 스케일에 따른 방향성 필터의 개수를 증가시키고, 평탄한 영역을 나타내는 LoG 및 가우시안 필터를 제거하여 계산의 복잡도를 감소시킬 수 있다.
대표적인 실시예로서, 본 발명에서 사용되는 에지검출 필터는 -90°에서 67.5°까지 22.5°의 간격으로 8개의 방향 및 3개의 스케일에 대한 48개의 필터뱅크로 구성된다.도 2는 에지정보 산출부(110)에 의해 사용되는 에지검출 필터의 일 예를 도시한 도면이다. 도 2의 (a)는 8개의 방향 및 3개의 스케일에 대한 가우시안의 1차 도함수이고, (b)는 8개의 방향 및 3개의 스케일에 대한 가우시안의 2차 도함수이다.
에지정보 산출부는 저해상도 영상의 각 화소에 대한 에지정보를 산출하기 위해 먼저 에지검출 필터를 사용하여 각 화소에 대해 방향 및 스케일에 따른 에너지를 산출한다. 이는 다음의 수학식 1과 같이 산출된다.
Figure 112010003907925-pat00001
여기서,
Figure 112010003907925-pat00002
는 저해상도 영상의 (x,y)번째 화소에 대한 방향 및 스케일에 따른 에너지,
Figure 112010003907925-pat00003
는 저해상도 영상의 (x,y)번째 화소의 화소값, 그리고
Figure 112010003907925-pat00004
는 방향 및 스케일에 따른 에지검출 필터이다.
수학식 1에 의해 저해상도 영상의 각 화소에 대해 방향 및 스케일에 따른 에너지값이 산출되면, 제1에지방향은 다음의 수학식 2와 같이 그 에너지값을 최대로 하는 방향으로 결정된다.
Figure 112010003907925-pat00005
여기서,
Figure 112010003907925-pat00006
는 저해상도 영상의 (x,y)번째 화소에 대한 제1에지방향이고,
Figure 112010003907925-pat00007
는 제1에지방향에 대한 후보 방향들, 즉 앞에서 설명한 8개의 방향들이다.
다음으로 제1에지방향 에너지는 제1에지방향 및 스케일에 따라 수학식 1에 의해 산출되는 에너지값들 중에서 최대값으로 결정된다. 즉, 제1에지방향 에너지는 다음의 수학식 3과 같이 나타낼 수 있다.
Figure 112010003907925-pat00008
여기서,
Figure 112010003907925-pat00009
는 저해상도 영상의 (x,y)번째 화소에 대한 제1에지방향 에너지이고,
Figure 112010003907925-pat00010
는 제1에지방향 에너지를 결정하기 위한 후보 스케일들, 즉 앞에서 설명한 3개의 스케일들이다.
다음으로 에지영역 검출부(120)는 저해상도 영상을 구성하는 복수의 화소 중에서 제1에지방향 에너지가 사전에 설정된 기준 에너지 이상인 화소들로 이루어진 영역인 에지영역을 검출한다.
각각의 에지방향에 대한 에지방향 에너지 사이의 차이가 크지 않을 경우에 에지방향 에너지는 노이즈에 의해 쉽게 동요하게 된다. 따라서 에지방향에 대한 부정확한 추정이 발생할 수 있으며, 이는 결과적으로 고해상도 영상에서 일그러짐(artifact)을 일으키게 된다. 이러한 문제를 피하기 위해 저해상도 영상의 각 화소는 그에 대해 산출된 제1에지방향 에너지의 값을 기초로 에지 영역과 평탄한 영역으로 분류된다. 즉, 제1에지방향 에너지의 값이 기준 에너지보다 큰 화소들만을 검출하여 에지영역을 생성하는 것이다. 이는 다음의 수학식 4에 의해 수행된다.
Figure 112010003907925-pat00011
여기서, F(x,y)는 저해상도 영상의 (x,y)번째 화소에 대응하는 이진영상의 화소이고, T는 사전에 설정된 기준 에너지로서, 실험적으로 결정된다.
즉, 에지영역 검출부(120)는 저해상도 영상으로부터 이진영상을 생성하며, 이진영상에서 1의 값을 가지는 화소에 대응하는 저해상도 영상의 화소는 에지영역에 속하게 된다. 뒤에 설명할 영상 확대부(130)에서는 에지영역에 속하는 화소에 대해 산출된 제1에지방향만을 사용하여 확대된 영상의 각 화소에 대한 에지방향을 산출한다.
영상 확대부(130)는 저해상도 영상을 확대시킨 고해상도 영상을 구성하는 복수의 화소 중에서 저해상도 영상의 각 화소에 대응하는 기준화소들을 제외한 보간대상화소 각각에 대하여 인접한 기준화소의 제1에지방향 및 제1에지방향 에너지를 기초로 제2에지방향 및 제2에지방향 에너지를 산출한다.
앞에서 설명한 바와 같이 저해상도 영상을 확대하여 고해상도 영상을 생성하면, 고해상도 영상에서는 저해상도 영상의 각 화소에 대응하는 기준화소들 사이에 새로운 보간대상화소가 삽입된다. 도 3은 고해상도 영상에서 기준화소와 보간대상화소의 위치관계를 도시한 도면으로, 인접한 기준화소들 사이에 보간대상화소가 하나씩 삽입되어 있다. 따라서 도 3에 도시된 경우는 저해상도 영상이 두 배 확대된 경우, 즉 스케일링 인자의 값이 2인 경우에 해당하며, 스케일링 인자의 값이 더 커지면 인접한 기준화소들 사이에 삽입되는 보간대상화소의 개수가 증가한다.
이와 같이 고해상도 영상에서 새롭게 삽입되는 보간대상화소의 화소값 산출을 위해 사용되는 가우시안 필터의 방향 및 너비를 결정하기 위해서는 보간대상화소의 에지정보가 필요하며, 이는 기준화소, 즉 저해상도 영상의 각 화소에 대해 산출된 에지정보로부터 얻어진다.
고해상도 영상에서 각 화소의 에지방향은 계단효과(jagging)와 같은 일그러짐을 방지하기 위해 서서히 변화해야 한다. 따라서 저해상도 영상으로부터 고해상도 영상을 생성할 때 에지 방향의 급격한 변화를 억제하기 위한 기하학적 제약조건이 가중인자(weighting factor)로서 사용된다. 또한 고해상도 영상에서 에지방향을 정확하게 얻을 수 있도록 에지의 신뢰도(reliability)를 고려한다. 우세한 에지로부터 추정된 에지방향은 신뢰도가 높기 때문에 이러한 에지의 에지정보가 다른 에지보다 고해상도 영상의 에지정보 추정에 더 많이 기여한다. 이러한 에지의 신뢰도는 에지방향 에너지로부터 추정할 수 있다.
결과적으로, 고해상도 영상에서 보간대상화소의 제2에지방향을 산출하기 위해서는 인접한 기준화소와의 기하학적 거리정보뿐만 아니라 기준화소의 제1에지방향 에너지도 사용된다. 고해상도 영상의 보간대상화소 각각에 대한 제2에지방향은 다음의 수학식 5에 의해 산출된다.
Figure 112010003907925-pat00012
여기서,
Figure 112010003907925-pat00013
는 고해상도 영상의 (i,j)번째 보간대상화소의 제2에지방향,
Figure 112010003907925-pat00014
는 저해상도 영상의 (x,y)번째 화소, 즉 고해상도 영상의 (x,y)번째 기준화소의 제1에지방향이며, (i,j)∈[x,x+1],[y,y+1]의 관계를 가진다.
또한 기하학적 제약조건으로서의 가중인자인 t 및 s는 각각 다음의 수학식 6에 의해 정의된다.
Figure 112010003907925-pat00015
마지막으로 정규화 인자 K는 다음의 수학식 7에 의해 정의된다.
Figure 112010003907925-pat00016
수학식 5로부터 알 수 있는 바와 같이, (i,j)번째 보간대상화소는 (x,y)번째 기준화소, (x+1,y)번째 기준화소, (x,y+1)번째 기준화소 및 (x+1,y+1)번째 기준화소를 각 꼭지점으로 하는 사각형의 내부에 위치한다. 즉, 영상 확대부(130)는 고해상도 영상에서 기준화소들이 꼭지점에 위치하도록 복수의 단위셀을 생성하며, 각각의 보간대상화소의 제2에지방향은 해당 보간대상화소가 속하는 단위셀의 꼭지점에 위치하는 기준화소의 제1에지방향 및 제1에지방향 에너지를 기초로 산출된다.
이때 보간대상화소가 인접한 두 개의 단위셀의 경계에 위치하는 경우에 제2에지방향을 산출하기 위해 참조할 기준화소가 문제될 수 있으나, 이러한 경우에는 해당 보간대상화소가 위치하는 경계를 따라 보간대상화소와 인접한 기준화소의 제1에지방향 및 제2에지방향 에너지를 기초로 하여 보간대상화소의 제2에지방향을 산출할 수 있다.
예를 들면, 도 3에 도시된 바와 같이 4개의 기준화소에 의해 형성되는 단위셀에 속하는 5개의 보간대상화소들 중에서 가장 우측의 보간대상화소는 단위셀의 한 변에 위치한다. 이 보간대상화소의 제2에지방향은 단위셀의 변을 따라 상하에 위치하는 두 개의 기준화소의 에지정보를 기초로 산출될 수 있다.
다음으로 고해상도 영상의 보간대상화소 각각에 대한 제2에지방향 에너지는 제2에지방향과 동일한 방법으로 해당 보간대상화소가 속하는 단위셀의 꼭지점에 위치하는 기준화소의 제2에지방향 에너지를 기초로 산출한다. 이때 제2에지방향을 산출할 때와는 다르게 기준화소가 에지영역에 포함되는지 여부를 고려하지 않고, 모든 기준화소의 제1에지방향 에너지를 고려한다.
제2에지방향 에너지는 다음의 수학식 8에 의해 산출된다.
Figure 112010003907925-pat00017
여기서,
Figure 112010003907925-pat00018
는 고해상도 영상의 (i,j)번째 보간대상화소의 제2에지방향 에너지,
Figure 112010003907925-pat00019
는 저해상도 영상의 (x,y)번째 화소, 즉 고해상도 영상의 (x,y)번째 기준화소의 제1에지방향 에너지이며, 가중인자 t 및 s는 수학식 6에 의해 정의된다.
수학식 5 및 수학식 8에 의한 제2에지방향 및 제2에지방향 에너지의 산출 과정을 고해상도 영상의 모든 보간대상화소에 대하여 반복적으로 수행하면, 고해상도 영상을 구성하는 모든 화소에 대한 에지정보가 얻어진다. 즉, 고해상도 영상에서 기준화소는 제1에지방향 및 제1에지방향 에너지를 가지며, 보간대상화소는 제2에지방향 및 제2에지방향 에너지를 가진다.
화소값 산출부(140)는 보간대상화소의 제2에지방향 및 제2에지방향 에너지에 의해 방향 및 너비가 결정되는 보간필터를 보간대상화소 각각에 적용하여 보간대상화소 각각의 화소값을 산출한다.
보간대상화소의 화소값을 결정하기 위한 보간필터로서 가우시안 필터가 사용되며, 이는 방향과 너비가 에지정보에 따라 결정되는 비대칭 가우시안 필터라는 것을 앞에서 설명한 바 있다. 대칭적 가우시안 필터는 보간대상화소와 기준화소 사이의 거리와 같은 기하학적 제약조건만을 사용하므로, 영상에 포함된 객체의 경계에서 흐림 현상(blur)을 일으킬 수 있다. 이러한 문제를 해결하기 위해 사용되는 비대칭 가우시안 필터는 에지방향 에너지를 기초로 적응적으로 조절되는 너비를 가진다.
도 4는 보간대상화소에 적용되는 가우시안 필터의 예를 도시한 도면이다. 도 4의 (a)는 대칭적인 2차원 가우시안 필터의 형태를 도시한 것이며, (b)는 y축 방향으로의 너비가 감소된 형태를 도시한 것이다. 다음으로 도 4의 (c)는 회전행렬에 의해 방향이 부여된 가우시안 필터를 도시한 것이다.
화소값 산출부(140)는 도 4의 (c)에 도시된 것과 같이 방향 및 너비가 적응적으로 결정되는 가우시안 필터를 사용하여 보간대상화소의 화소값을 산출한다. 2차원 가우시안 필터는 다음의 수학식 9와 같이 표현할 수 있다.
Figure 112010003907925-pat00020
여기서, u-축은 가우시안 필터의 방향 θ에 평행한 축, v-축은 가우시안 필터의 방향 θ에 수직인 축, σu는 가우시안 필터의 u-축으로의 너비, 그리고 σv는 가우시안 필터의 v-축으로의 너비이다.
또한 u 및 v는 고해상도 영상의 각 축과 다음 수학식 10과 같은 관계를 가진다.
Figure 112010003907925-pat00021
여기서, x-축 및 y-축은 고해상도 영상의 각 축이다.
수학식 9로부터, 가우시안 필터의 너비는 σu>σv의 관계를 가지며, 방향 θ는 제2에지방향과 동일하다.
한편, σv의 값, 즉 제2에지방향에 수직인 방향으로의 가우시안 필터의 너비는 제2에지방향 에너지를 기초로 적응적으로 조절될 수 있다. 일반적으로 화소값들의 공간적 상관관계는 기하학적 거리에 의존적으로 변화한다. 즉, 특정 화소에 인접한 위치의 화소값은 해당 화소의 화소값을 합리적으로 추정할 수 있도록 한다. 그러나 객체의 경계 부근에서는 이러한 공간적 상관관계가 매우 낮기 때문에 흐림 현상이 나타날 수 있다.
따라서 화소값 산출부(140)는 에지 및 에지 부근에 위치하는 보간대상화소에 적용되는 가우시안 필터의 너비를 적응적으로 조절하여 관계없는 화소들의 간섭을 방지한다.
도 5는 보간대상화소와 에지의 위치 관계에 따른 가우시안 필터의 형태를 도시한 도면이다. 도 5의 (a) 및 (b)는 보간대상화소가 에지에 근접하여 위치한 경우로서, 보간대상화소와 에지 사이의 거리에 따라 가우시안 필터의 제2에지방향에 수직인 방향으로의 너비가 감소하는 예를 보여준다. 한편 도 5의 (c)는 보간대상화소가 에지로부터 먼 평탄한 영역에 위치하는 경우로서, 가우시안 필터가 (a) 및 (b)에 비해 원형에 가까운 형태를 가진다.
이러한 화소값의 공간적 상관관계는 에지방향 에너지를 사용하여 조사할 수 있으며, 에지방향 에너지의 값이 크면 공간적 상관관계가 상대적으로 낮다고 할 수 있다. 이와 같이 공간적 상관관계에 따라 적응적으로 조절되는 가우시안 필터의 너비는 다음의 수학식 11에 의해 산출된다.
Figure 112010003907925-pat00022
여기서,
Figure 112010003907925-pat00023
는 가우시안 필터의 제2에지방향에 수직인 방향으로의 너비에 대한 보정된 값,
Figure 112010003907925-pat00024
는 제2에지방향에 수직인 방향으로의 너비, Eavr은 고해상도 영상을 구성하는 모든 화소의 에지방향 에너지의 평균, 그리고
Figure 112010003907925-pat00025
는 고해상도 영상의 (i,j)번째 보간대상화소의 제2에지방향 에너지이다.
즉, 수학식 11을 참조하면, 어느 보간대상화소의 제2에지방향 에너지의 값이 고해상도 영상을 구성하는 모든 화소의 에지방향 에너지(기준화소들의 제1에지방향 에너지 및 보간대상화소들의 제2에지방향 에너지)의 평균보다 크면 해당 보간대상화소는 에지에 근접하게 위치한다는 것을 의미한다. 따라서 해당 보간대상화소에 적용되는 가우시안 필터의 제2에지방향에 수직인 방향으로의 너비는 수학식 11에 의해 감소된 값을 가지게 된다.
화소값 산출부(140)는 이와 같이 적응적으로 조절된 형태의 가우시안 필터를 사용하여 다음 수학식 12에 의해 보간대상화소의 화소값을 산출한다.
Figure 112010003907925-pat00026
여기서, N은 가우시안 필터의 크기를 나타내는 값이다.
나아가 저해상도 영상의 지역적 특성을 고려하여 이웃한 화소들에 대한 증폭인자(magnification factor)가 지역 그라디언트(gradient)를 사용하여 적응적으로 선택될 수 있다. 본 발명에서는 가중인자로서 에지방향 에너지의 역(reciprocal)이 사용된다. 제1에지방향 및 제1에지방향 에너지의 산출에 에지검출 필터, 즉 LM필터를 사용하였으므로, 에지방향을 고려하면서 그라디언트 에너지를 정확하게 측정할 수 있다. 이와 같이 그라디언트 에너지에 의해 적응적으로 조절된 가우시안 함수는 다음의 수학식 13과 같이 표현된다.
Figure 112010003907925-pat00027
결과적으로, 수학식 13의 가우시안 필터를 사용하면 보간대상화소의 화소값은 다음의 수학식 14에 의해 산출된다.
Figure 112010003907925-pat00028
이상에서 설명한 바와 같이 저해상도 영상을 확대하여 고해상도 영상을 생성할 때, 각 화소의 에지방향 및 에지방향 에너지를 고려하여 적응적으로 조절되는 형태를 가지는 가우시안 필터를 사용함으로써 계단효과와 흐림 현상 등의 화질 열화를 최소화하면서 화소값 보간을 빠르게 수행할 수 있다.
도 6은 본 발명에 따른 비대칭 가우시안 필터를 이용한 영상 보간 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
도 6을 참조하면, 에지정보 산출부(110)는 입력받은 저해상도 영상을 구성하는 복수의 화소 각각에 대하여 각각의 화소의 에지의 방향인 제1에지방향 및 제1에지방향에 대응하는 에지의 최대 강도인 제1에지방향 에너지를 산출한다(S610). 이때 에지정보 산출을 위해 방향과 스케일에 따른 복수의 필터뱅크를 가지는 에지검출 필터인 LM필터가 사용된다. 다음으로 에지영역 검출부(120)는 저해상도 영상을 구성하는 복수의 화소 중에서 제1에지방향 에너지가 사전에 설정된 기준 에너지 이상인 화소로 이루어진 에지영역을 검출한다(S620).
영상 확대부(130)는 저해상도 영상을 확대시킨 고해상도 영상을 구성하는 복수의 화소 중에서 저해상도 영상의 각 화소에 대응하는 기준화소들을 제외한 보간대상화소 각각에 대하여 인접한 기준화소의 제1에지방향 및 제1에지방향 에너지를 기초로 제2에지방향 및 제2에지방향 에너지를 산출한다. 이때 영상 확대부(130)는 인접한 기준화소들이 꼭지점에 위치하는 복수의 단위셀을 생성하고, 각각의 보간대상화소가 속하는 단위셀의 꼭지점에 해당하는 기준화소를 참조한다.
또한 각각의 보간대상화소에 대하여 해당 보간화소가 속하는 단위셀의 꼭지점에 위치하는 기준화소들 중에서 에지영역에 포함되는 기준화소의 제1에지방향 및 제1에지방향 에너지를 기초로 제2에지방향을 산출하며(S630), 단위셀의 꼭지점에 위치하는 모든 기준화소들의 제1에지방향 에너지를 기초로 제2에지방향 에너지를 산출한다(S640).
화소값 산출부(140)는 보간대상화소의 제2에지방향 및 제2에지방향 에너지에 의해 방향 및 너비가 결정되는 보간필터, 즉 가우시안 필터를 보간대상화소 각각에 적용하여 보간대상화소 각각의 화소값을 산출한다.
본 발명의 성능을 평가하기 위한 실험을 수행하였다. 실험을 위해 여러 개의 시험영상이 사용되었으며, 도 7a 내지 도 7f는 본 발명의 성능 평가를 위한 실험에 사용된 시험영상을 각각 나타낸 도면이다. 이하에서는 도 7a 내지 도 7f의 시험영상을 각각 'Fruit', 'Cycle', 'Cafe', 'Bike', 'Hammock' 및 'Lena'라 한다.
실험에서 도 7a 내지 도 7f의 시험영상들은 각각 스케일링 인자 2에 의해 두 배로 확대되었으며, LM필터와 조절 전 초기 가우시안 필터의 크기는 5×5로 설정되었다. 또한 조절된 가우시안 필터의 너비는 σu=3σv로 설정되었다. 에지영역을 검출하기 위한 기준 에너지의 값은 8비트 그레이스케일 영상과 24비트 RGB 영상에 대해 각각 10과 30으로 설정되었다.
도 8a 내지 도 8d는 도 7a의 'Fruit' 영상에 본 발명을 적용하였을 때 각 단계에서 얻어지는 영상들을 나타낸 도면이다. 도 8a는 확대 전의 원본영상이며, 도 8b는 각 화소에 대해 산출된 에지방향을 나타낸 도면이다. -90°에서 67.5°의 에지방향에 대해 76에서 255의 화소값이 할당되었으며, 가장 어두운 영역은 평탄한 영역을 나타낸다. 도 8c는 각 화소에 대해 산출된 정규화된 에지방향 에너지를 나타낸 도면이다. 도 8c로부터 급격한 에지가 더 높은 에지방향 에너지를 가진다는 것을 알 수 있다. 도 8d는 도 8a의 원본영상을 두 배로 확대시킨 영상이며, 영상 확대로 인한 화질 열화가 거의 나타나지 않는다는 것을 알 수 있다.
본 발명의 성능을 기존의 다른 보간 기법들과 비교하기 위해 bilinear 기법, Jensen의 기법, Li의 기법 및 Zhang의 기법을 사용하였다. 다른 기법들과의 성능 비교는 PSNR 값의 비교를 통해 수행되었는데, PSNR 성능을 평가하기 위해 먼저 시험영상을 축소하여 저해상도 영상을 생성하였다. 이를 위해 시험영상에 안티 앨리어싱(anti-aliasing) 필터가 적용되었으며, 스케일링 인자 2에 의해 다운샘플링되었다. 이와 같이 생성된 저해상도 영상에 각각의 기법을 적용하여 고해상도 영상을 생성한 후, 생성된 고해상도 영상을 원본 시험영상과 비교하기 위해 PSNR을 측정하였다. 그 결과를 아래의 표 1에 나타내었다.
영상 bilinear Jensen Li Zhang 본 발명
Fruit 29.68 30.32 30.34 30.38 30.34
Cycle 19.56 20.26 20.84 20.67 20.74
Cafe 24.31 24.04 24.15 24.39 24.27
Bike 25.56 25.65 25.74 25.91 25.95
Hammock 27.2 27.26 27.05 27.22 27.27
Lena 32.71 32.78 32.67 32.86 33.11
평균 26.5 26.72 26.79 26.9 26.95
표 1을 참조하면, 일부 영상에서는 기존의 다른 기법을 사용한 경우의 PSNR이 더 높게 나타났으나, 일반적으로 본 발명을 사용한 경우에 높은 PSNR 값이 얻어지는 것을 알 수 있다.
도 9는 160×80 크기의 'Cycle' 영상에 본 발명 및 기존의 보간 기법들을 적용하여 얻어진 결과를 나타낸 도면이다. 도 9의 (a) 내지 (f)는 각각 원본 시험영상, bilinear 기법을 적용한 결과, Jensen의 기법을 적용한 결과, Li의 기법을 적용한 결과, Zhang의 기법을 적용한 결과 및 본 발명을 적용한 결과를 나타낸다. 도 9의 시험영상은 원, 타원 및 -45°와 60°의 두 개의 에지를 포함하는 간단한 영상으로, 이를 통해 보간 기법들의 성능을 쉽게 비교할 수 있다. 도 9를 참조하면, 본 발명을 적용한 경우에 계단효과 및 흐림 현상이 가장 적게 나타나는 것을 확인할 수 있다.
도 10은 도 7c의 'Cafe' 영상에 본 발명 및 기존의 보간 기법들을 적용하여 얻어진 결과를 나타낸 도면이고, 도 11은 도 7d의 'Bike' 영상에 본 발명 및 기존의 보간 기법들을 적용하여 얻어진 결과를 나타낸 도면이다.
도 10 및 도 11을 참조하면, Jensen의 기법은 객체의 경계에서 날카로운 에지를 보존하지만, 정확한 에지방향의 검출에 실패하는 경우에는 계단효과를 발생시킨다. 특히, Jensen의 기법은 펄스 형태의 에지를 포함하는 영역에 대해 약점을 가지는데, 이는 소벨(Sobel) 기반의 에지 검출기는 스텝 에지를 제외한 에지를 정확하게 검출할 수 없기 때문이다.
Li의 기법은 계단효과와 흐림 현상 없이 에지를 선명하게 보존하지만, 정확한 공분산(convariance)을 얻기 어려운 영역에서의 질감을 축소하는 문제가 있다. 나아가 Li의 기법은 계산량이 많다는 문제가 있다. 또한 Zhang의 기법은 일반적으로 적은 계산량으로 선명한 에지를 생성하지만, LMMSE에 의해 부적당한 가중인자가 선택되면 스펙클(speckle) 노이즈를 발생시킬 수 있다.
상기와 같은 기존의 보간 기법들에 비해 본 발명은 적은 계단효과와 흐림 현상으로 고품질의 고해상도 영상을 생성할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
110 - 에지정보 산출부
120 - 에지영역 검출부
130 - 영상 확대부
140 - 화소값 산출부

Claims (15)

  1. 입력받은 저해상도 영상을 구성하는 복수의 화소 각각에 대하여 상기 각각의 화소의 에지의 방향인 제1에지방향 및 상기 제1에지방향에 대응하는 에지의 최대 강도인 제1에지방향 에너지를 산출하는 에지정보 산출부;
    상기 저해상도 영상을 확대시킨 고해상도 영상을 구성하는 복수의 화소 중에서 상기 저해상도 영상의 각 화소에 대응하는 기준화소들을 제외한 보간대상화소 각각에 대하여 인접한 상기 기준화소의 제1에지방향 및 제1에지방향 에너지를 기초로 제2에지방향 및 제2에지방향 에너지를 산출하는 영상 확대부; 및
    상기 보간대상화소의 제2에지방향 및 제2에지방향 에너지에 의해 방향 및 너비가 결정되는 보간필터를 상기 보간대상화소 각각에 적용하여 상기 보간대상 화소 각각의 화소값을 산출하는 화소값 산출부;를 포함하는 것을 특징으로 하는 영상 보간 장치.
  2. 제 1항에 있어서,
    상기 저해상도 영상을 구성하는 복수의 화소 중에서 상기 제1에지방향 에너지가 사전에 설정된 기준 에너지 이상인 화소들로 이루어진 영역인 에지영역을 검출하는 에지영역 검출부를 더 포함하며,
    상기 영상 확대부는 상기 각각의 보간대상화소에 인접한 기준화소들 중에서 상기 에지영역에 포함된 기준화소의 제1에지방향 및 제1에지방향 에너지를 기초로 상기 제2에지방향을 산출하는 것을 특징으로 하는 영상 보간 장치.
  3. 제 1항 또는 제 2항에 있어서,
    상기 에지정보 산출부는 방향 및 스케일에 따라 결정되는 복수의 필터뱅크로 이루어진 에지검출 필터와 상기 저해상도 영상을 구성하는 각각의 화소값과의 컨벌루션에 의해 산출되는 방향 및 스케일에 따른 에너지값들 중에서 최대값에 대응하는 방향을 상기 제1에지방향으로 결정하고, 상기 제1에지방향 및 스케일에 따른 에너지값들 중에서 최대값을 상기 제1에지방향 에너지로 결정하는 것을 특징으로 하는 영상 보간 장치.
  4. 제 1항 또는 제 2항에 있어서,
    상기 영상 확대부는 상기 고해상도 영상에서 상기 기준화소들이 꼭지점에 위치하도록 복수의 단위셀을 생성하고, 상기 각각의 보간대상화소가 속하는 단위셀의 꼭지점에 해당하는 상기 기준화소의 제1에지방향 및 제1에지방향 에너지를 기초로 상기 제2에지방향 및 제2에지방향 에너지를 산출하는 것을 특징으로 하는 영상 보간 장치.
  5. 제 4항에 있어서,
    상기 보간대상화소가 서로 인접한 단위셀의 경계에 위치하는 경우에는 상기 경계를 따라 상기 보간대상화소와 인접한 기준화소의 제1에지방향 및 제1에지방향 에너지를 기초로 상기 제2에지방향 및 제2에지방향 에너지를 산출하는 것을 특징으로 하는 영상 보간 장치.
  6. 제 1항 또는 제 2항에 있어서,
    상기 보간필터는 가우시안 필터이며, 상기 가우시안 필터는 상기 보간대상화소의 제2에지방향과 동일한 방향을 가지고, 상기 제2에지방향으로의 너비가 상기 제2에지방향에 수직인 방향으로의 너비보다 긴 것을 특징으로 하는 영상 보간 장치.
  7. 제 6항에 있어서,
    상기 가우시안 필터의 상기 제2에지방향에 수직인 방향으로의 너비는 상기 보간대상화소의 제2에지방향 에너지가 상기 고해상도 영상을 구성하는 모든 화소의 에지방향 에너지의 평균보다 크면 상기 제2에지방향 에너지에 대한 상기 에지방향 에너지의 평균의 비에 의해 감소된 값으로 결정되는 것을 특징으로 하는 영상 보간 장치.
  8. 입력받은 저해상도 영상을 구성하는 복수의 화소 각각에 대하여 상기 각각의 화소의 에지의 방향인 제1에지방향 및 상기 제1에지방향에 대응하는 에지의 최대 강도인 제1에지방향 에너지를 산출하는 에지정보 산출단계;
    상기 저해상도 영상을 확대시킨 고해상도 영상을 구성하는 복수의 화소 중에서 상기 저해상도 영상의 각 화소에 대응하는 기준화소들을 제외한 보간대상화소 각각에 대하여 인접한 상기 기준화소의 제1에지방향 및 제1에지방향 에너지를 기초로 제2에지방향 및 제2에지방향 에너지를 산출하는 영상 확대단계; 및
    상기 보간대상화소의 제2에지방향 및 제2에지방향 에너지에 의해 방향 및 너비가 결정되는 가우시안 필터를 상기 보간대상화소 각각에 적용하여 상기 보간대상 화소 각각의 화소값을 산출하는 화소값 산출단계;를 포함하는 것을 특징으로 하는 영상 보간 방법.
  9. 제 8항에 있어서,
    상기 저해상도 영상을 구성하는 복수의 화소 중에서 상기 제1에지방향 에너지가 사전에 설정된 기준 에너지 이상인 화소들로 이루어진 영역인 에지영역을 검출하는 에지영역 검출단계를 더 포함하며,
    상기 영상 확대단계에서, 상기 각각의 보간대상화소에 인접한 기준화소들 중에서 상기 에지영역에 포함된 기준화소의 제1에지방향 및 제1에지방향 에너지를 기초로 상기 제2에지방향을 산출하는 것을 특징으로 하는 영상 보간 방법.
  10. 제 8항 또는 제 9항에 있어서,
    상기 에지정보 산출단계에서, 방향 및 스케일에 따라 결정되는 복수의 필터뱅크로 이루어진 에지검출 필터와 상기 저해상도 영상을 구성하는 각각의 화소값과의 컨벌루션에 의해 산출되는 방향 및 스케일에 따른 에너지값들 중에서 최대값에 대응하는 방향을 상기 제1에지방향으로 결정하고, 상기 제1에지방향 및 스케일에 따른 에너지값들 중에서 최대값을 상기 제1에지방향 에너지로 결정하는 것을 특징으로 하는 영상 보간 방법.
  11. 제 8항 또는 제 9항에 있어서,
    상기 영상 확대단계에서, 상기 고해상도 영상에서 상기 기준화소들이 꼭지점에 위치하도록 복수의 단위셀을 생성하고, 상기 각각의 보간대상화소가 속하는 단위셀의 꼭지점에 해당하는 상기 기준화소의 제1에지방향 및 제1에지방향 에너지를 기초로 상기 제2에지방향 및 제2에지방향 에너지를 산출하는 것을 특징으로 하는 영상 보간 방법.
  12. 제 11항에 있어서,
    상기 보간대상화소가 서로 인접한 단위셀의 경계에 위치하는 경우에는 상기 경계를 따라 상기 보간대상화소와 인접한 기준화소의 제1에지방향 및 제1에지방향 에너지를 기초로 상기 제2에지방향 및 제2에지방향 에너지를 산출하는 것을 특징으로 하는 영상 보간 방법.
  13. 제 8항 또는 제 9항에 있어서,
    상기 보간대상화소 각각에 적용되는 가우시안 필터는 상기 보간대상화소의 제2에지방향과 동일한 방향을 가지며, 상기 제2에지방향으로의 너비가 상기 제2에지방향에 수직인 방향으로의 너비보다 긴 것을 특징으로 하는 영상 보간 방법.
  14. 제 13항에 있어서,
    상기 가우시안 필터의 상기 제2에지방향에 수직인 방향으로의 너비는 상기 보간대상화소의 제2에지방향 에너지가 상기 고해상도 영상을 구성하는 모든 화소의 에지방향 에너지의 평균보다 크면 상기 제2에지방향 에너지에 대한 상기 에지방향 에너지의 평균의 비에 의해 감소된 값으로 결정되는 것을 특징으로 하는 영상 보간 방법.
  15. 제 8항 또는 제 9항에 기재된 영상 보간 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020100005260A 2010-01-20 2010-01-20 비대칭 가우시안 필터를 이용한 영상 보간 장치 및 방법 KR101027323B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100005260A KR101027323B1 (ko) 2010-01-20 2010-01-20 비대칭 가우시안 필터를 이용한 영상 보간 장치 및 방법
US12/657,753 US20110176744A1 (en) 2010-01-20 2010-01-27 Apparatus and method for image interpolation using anisotropic gaussian filter

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100005260A KR101027323B1 (ko) 2010-01-20 2010-01-20 비대칭 가우시안 필터를 이용한 영상 보간 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101027323B1 true KR101027323B1 (ko) 2011-04-06

Family

ID=44049675

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100005260A KR101027323B1 (ko) 2010-01-20 2010-01-20 비대칭 가우시안 필터를 이용한 영상 보간 장치 및 방법

Country Status (2)

Country Link
US (1) US20110176744A1 (ko)
KR (1) KR101027323B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102760298A (zh) * 2011-04-26 2012-10-31 索尼公司 图像处理装置、图像处理方法和程序
KR20170025615A (ko) * 2015-08-31 2017-03-08 엘지디스플레이 주식회사 표시 장치
CN111524069A (zh) * 2020-04-16 2020-08-11 杭州国芯科技股份有限公司 一种图像插值卷积核的设计方法
CN113096062A (zh) * 2020-01-07 2021-07-09 通用汽车环球科技运作有限责任公司 高斯图像质量分析工具和操作方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5743615B2 (ja) * 2010-03-11 2015-07-01 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像処理方法、画像処理装置、集積回路およびプログラム
US9047531B2 (en) 2010-05-21 2015-06-02 Hand Held Products, Inc. Interactive user interface for capturing a document in an image signal
US8600167B2 (en) 2010-05-21 2013-12-03 Hand Held Products, Inc. System for capturing a document in an image signal
JP5709131B2 (ja) * 2011-05-11 2015-04-30 国立大学法人東京工業大学 画像処理システム
KR101318812B1 (ko) * 2011-07-18 2013-10-17 한양대학교 산학협력단 에지의 방향 성분을 검출하는 영상 필터링 방법 및 이를 이용한 영상 인식 방법
US20130177242A1 (en) * 2012-01-10 2013-07-11 James E. Adams, Jr. Super-resolution image using selected edge pixels
JP6009903B2 (ja) * 2012-10-24 2016-10-19 シャープ株式会社 画像処理装置
TWI539406B (zh) * 2013-07-12 2016-06-21 國立中央大學 影像插補方法以及應用影像插補方法之影像插補裝置與影像裝置
US9569880B2 (en) * 2013-12-24 2017-02-14 Intel Corporation Adaptive anisotropic filtering
GB2535613B (en) * 2014-12-19 2019-01-02 Apical Ltd Sensor noise profile
CN106878623A (zh) * 2017-04-20 2017-06-20 努比亚技术有限公司 拍照方法、移动终端及计算机可读存储介质
CN107358616B (zh) * 2017-06-30 2020-04-14 西安电子科技大学 基于各向异性形态学方向比率的sar图像边缘检测方法
KR102452653B1 (ko) 2018-02-20 2022-10-11 삼성전자주식회사 전자 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
US10664715B2 (en) * 2018-03-16 2020-05-26 University Of Wolverhampton Computer-implemented print analysis
CN108596844A (zh) * 2018-04-12 2018-09-28 中国人民解放军陆军装甲兵学院 用于弹炮遥控武器站的背景抑制方法
JP2020031960A (ja) * 2018-08-31 2020-03-05 コニカミノルタ株式会社 放射線画像撮影装置及び放射線画像撮影システム
KR20200068457A (ko) 2018-12-05 2020-06-15 삼성전자주식회사 에지 보전 스무딩을 수행하는 이미지 프로세싱 장치 및 이의 이미지 프로세싱 방법
CN109978794B (zh) * 2019-03-29 2021-03-23 中山爱瑞科技有限公司 一种乳腺双能图像的处理方法和系统
CN110490838B (zh) * 2019-07-10 2023-06-30 昇显微电子(苏州)股份有限公司 显示面板不同分辨率区域边界处理的方法及装置
CN110930289B (zh) * 2019-11-04 2021-07-23 中南大学 一种图像放大方法及用于实现图像放大的vlsi
CN114612294B (zh) * 2020-12-08 2025-01-03 武汉Tcl集团工业研究院有限公司 一种图像超分辨率处理方法和计算机设备
CN118397029B (zh) * 2024-07-01 2024-09-06 国科天成科技股份有限公司 一种基于边缘检测的抗锯齿系统和方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100700017B1 (ko) 2005-12-29 2007-03-26 엠텍비젼 주식회사 조정 가능한 임계값을 이용한 컬러 보간 장치
KR20070119879A (ko) * 2006-06-16 2007-12-21 삼성전자주식회사 영상의 해상도 변환 방법 및 그 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3781050B1 (ja) * 2005-02-22 2006-05-31 三菱電機株式会社 画像処理装置、画像処理方法、および画像表示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100700017B1 (ko) 2005-12-29 2007-03-26 엠텍비젼 주식회사 조정 가능한 임계값을 이용한 컬러 보간 장치
KR20070119879A (ko) * 2006-06-16 2007-12-21 삼성전자주식회사 영상의 해상도 변환 방법 및 그 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문(2007.05)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102760298A (zh) * 2011-04-26 2012-10-31 索尼公司 图像处理装置、图像处理方法和程序
KR20170025615A (ko) * 2015-08-31 2017-03-08 엘지디스플레이 주식회사 표시 장치
KR102379185B1 (ko) 2015-08-31 2022-03-25 엘지디스플레이 주식회사 표시 장치
CN113096062A (zh) * 2020-01-07 2021-07-09 通用汽车环球科技运作有限责任公司 高斯图像质量分析工具和操作方法
CN113096062B (zh) * 2020-01-07 2023-11-07 通用汽车环球科技运作有限责任公司 高斯图像质量分析工具和操作方法
CN111524069A (zh) * 2020-04-16 2020-08-11 杭州国芯科技股份有限公司 一种图像插值卷积核的设计方法

Also Published As

Publication number Publication date
US20110176744A1 (en) 2011-07-21

Similar Documents

Publication Publication Date Title
KR101027323B1 (ko) 비대칭 가우시안 필터를 이용한 영상 보간 장치 및 방법
Jeon et al. Accurate depth map estimation from a lenslet light field camera
Wei et al. Contrast-guided image interpolation
US9552641B2 (en) Estimation of shift and small image distortion
US10628924B2 (en) Method and device for deblurring out-of-focus blurred images
US6816197B2 (en) Bilateral filtering in a demosaicing process
US20100183240A1 (en) Image processing method and imaging apparatus
US8582820B2 (en) Coded aperture camera with adaptive image processing
US8150197B2 (en) Apparatus and method of obtaining high-resolution image
US10417749B2 (en) Method and system for edge denoising of a digital image
US8340471B2 (en) Parameter control processing apparatus and image processing apparatus
US9105106B2 (en) Two-dimensional super resolution scaling
Hua et al. Extended guided filtering for depth map upsampling
Trentacoste et al. Blur‐aware image downsampling
Wang et al. A new edge-directed image expansion scheme
EP2724316B1 (en) Method and device for processing of an image
US20150110405A1 (en) Point spread function cost function with non-uniform weights
US7813582B1 (en) Method and apparatus for enhancing object boundary precision in an image
Zhong et al. Predictor-corrector image interpolation
US10257418B2 (en) Image processing method for movement detection and compensation
Liu et al. Robust multi-frame super-resolution with adaptive norm choice and difference curvature based BTV regularization
Al Ismaeil et al. Multi-frame super-resolution by enhanced shift & add
Krämer et al. Super-resolution mosaicing from MPEG compressed video
Ousguine et al. A new image interpolation using laplacian operator
Džaja et al. Solving a two-colour problem by applying probabilistic approach to a full-colour multi-frame image super-resolution

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20100120

PA0201 Request for examination
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20110328

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20110330

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20110330

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20140120

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20140120

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20150108

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20150108

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20170109

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20170109

Start annual number: 7

End annual number: 7

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20190110