KR100812967B1 - 웨이블릿 변환을 이용한 영상 보간 장치 및 방법 - Google Patents

웨이블릿 변환을 이용한 영상 보간 장치 및 방법 Download PDF

Info

Publication number
KR100812967B1
KR100812967B1 KR1020060086682A KR20060086682A KR100812967B1 KR 100812967 B1 KR100812967 B1 KR 100812967B1 KR 1020060086682 A KR1020060086682 A KR 1020060086682A KR 20060086682 A KR20060086682 A KR 20060086682A KR 100812967 B1 KR100812967 B1 KR 100812967B1
Authority
KR
South Korea
Prior art keywords
wavelet
image
pole
coefficient
diagonal
Prior art date
Application number
KR1020060086682A
Other languages
English (en)
Inventor
김지훈
Original Assignee
주식회사 대우일렉트로닉스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 대우일렉트로닉스 filed Critical 주식회사 대우일렉트로닉스
Priority to KR1020060086682A priority Critical patent/KR100812967B1/ko
Application granted granted Critical
Publication of KR100812967B1 publication Critical patent/KR100812967B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 웨이블릿(wavelet) 변환을 이용한 영상 보간(interpolation) 기술에 관한 것으로, 축소하지 않은 웨이블릿을 사용하여 임의의 저해상도 영상을 L단계 스케일로 웨이블릿 분석을 수행하고, 웨이블릿 계수의 스케일간의 분포를 관찰하여 일정하게 감쇄해가는 지점을 에지로 검출하며, 검출된 에지에서 웨이블릿 계수의 스케일간의 극점 크기 변화를 모델링하고, 얻어진 감쇄 모델로부터 미지의 최상단 웨이블릿 계수의 크기를 예측하며, 검출된 에지의 극점 위치 주위에 N개의 후보들을 설정하고, 미지의 고주파 웨이블릿 계수의 수평 성분, 수직 성분, 대각 성분을 웨이블릿 역변환하여 수평/수직/대각 웨이블릿 계수의 복원 영상을 정의하며, 정의되는 수평/수직/대각 웨이블릿 계수의 복원 영상의 비용함수를 설계하고, 설계되는 비용함수의 최소값을 갖는 후보를 웨이블릿 계수의 극점으로 결정하여 최상단 웨이블릿 계수의 위치를 예측하며, 예측된 웨이블릿 계수의 크기 및 위치를 기반으로 최상단 웨이블릿 계수를 생성하는 것을 특징으로 한다. 본 발명에 의하면, 웨이블릿 변환에 따라 예측된 극점 주위의 N개의 후보를 선정하고 각 후보들에 대한 비용함수가 가장 적게 나오는 후보를 최종적으로 예측된 복원 영상의 극점으로 결정하도록 함으로써, 보간된 영상의 왜곡된 에지를 효과적으로 없앨 수 있다.
웨이블릿, 영상 보간, 후처리

Description

웨이블릿 변환을 이용한 영상 보간 장치 및 방법{METHOD AND APPARATUS FOR IMAGE INTERPOLATION USING OF WAVELET TRANSFORM}
도 1은 전형적인 웨이블릿 계수의 스케일 분포도,
도 2는 종래의 웨이블릿 변환을 이용한 영상 보간 방법을 구현하기 위한 구성 블록도,
도 3은 본 발명의 일 관점에 따른 웨이블릿 변환을 이용한 영상 보간 장치에 대한 구성 블록도,
도 4a 및 도 4b는 본 발명 다른 관점에 따라 웨이블릿 계수를 예측하는 방법을 설명한 것으로, 수직 웨이블릿 계수의 재구성 후보 선정 및 최종 후보 결정을 예시한 그래프,
도 5는 본 발명의 다른 관점에 따라 웨이블릿 계수를 예측하는 방법을 설명한 것으로, 수직 웨이블릿 계수의 수직 방향 미분값이 최소화되고 수평 방향 미분값이 최대화되는 지점을 예시한 도면.
<도면의 주요 부분에 대한 부호의 설명>
100 : 웨이블릿 변환부 102 : 에지 검출부
104 : 크기 예측부 106 : 웨이블릿 분석 및 예측부
108 : 후처리부 110 : 웨이블릿 계수 생성부
112a, 112b : 웨이블릿 합성 필터
본 발명은 웨이블릿 도메인(wavelet domain)에서의 영상 보간(interpolation) 기술에 관한 것으로, 특히 디지털 영상의 크기를 확대하는 경우에 영상의 왜곡(distortion)을 방지하고 에지(edge)를 효과적으로 보상하는데 적합한 웨이블릿 변환을 이용한 영상 보간 장치 및 방법에 관한 것이다.
표본 추출 이론을 기본 접근 방법으로 하는 기본적인 영상의 보간법들은 그 초점이 이상적인 저역 통과 필터에 가까우면서도 효율적인 보간 필터를 설계하는 데에 있다. 즉, 저해상도 영상에 포함되어 있는 저주파 신호 성분으로부터 에일리어싱(aliasing)과 영상의 흐림이 최소화되도록 신호를 복원하여 원영상과의 평균 제곱 오차를 최소화하는 것이 그 목표이다.
이들은 보간 과정에서 축소 필터를 통과하여 얻어진 불연속 신호를 축소 필터와 확대 필터의 적절한 조합에 의하여 복원하는 것에만 초점을 맞추고, 축소 필터의 작용으로 인하여 손상된 원신호의 고주파 성분에 대해서는 고려하지 않는다. 이와 같이 저주파에 한정된 신호 성분만을 복원하기 때문에 이 접근 방법은 기본적으로 신호의 연속성을 가정하고 있다.
그 결과, 상술된 저역 통과 필터의 설계에 의한 영상 보간법들은 영상의 에지(edge) 부분에서도 동일하게 영상을 연속적으로 복원해 에지의 흐림 현상을 야기 한다. 이러한 한계점을 극복하기 위하여 손실된 고주파 성분을 복원하는 다양한 알고리즘들이 제안되었다.
일반 영상에서 고주파 성분은 주로 물체간의 경계와 텍스쳐(texture) 부분에서 존재하는데, 이 에지 부분에서 영상은 보통 일정한 패턴을 가지고 있다. 제안된 영상 보간법들은 이러한 선험적(先驗的)인 지식을 보간에 사용하는데, 예를 들면 부드러운 단계 에지를 나타내는 불연속 신호가 주어졌다고 가정했을 때, 기존 표본 추출 이론에 입각한 보간법들은 표본들을 지나는 부드러운 신호를 복원한다. 그러나 에지를 고려하는 보간법은 비록 부드러운 불연속 신호 표본이 주어졌을지라도 선험적인 정보에 의해 신호가 에지라고 간주될 수 있다면 손상된 주파수 성분을 복원하여 보다 이상적인 에지에 가까운 신호를 복원한다.
한편, 영상을 축소할 때 상실된 고주파 성분의 정보는 주로 에지에 집중되어 있다. 따라서, 보다 선명한 영상의 보간을 위해서는 첫째로 영상의 에지 부분을 잘 검출해야 하며, 둘째로 찾은 에지부분에서 고주파 성분을 복원시켜야 한다.
「웨이블릿 도메인에서의 영상 보간법」이라 함은, 먼저 저해상도 영상을 미지의 고해상도 영상(고주파 성분)의 저역 통과 웨이블릿 분석 필터의 출력이라고 가정하고, 이 저주파 신호로부터 고주파 웨이블릿 계수를 예측하여 양자를 저역 및 고역 통과 합성 필터링해 보간된 고해상도 영상을 얻는 방법을 일컫는다. 이때, 미지의 고주파 영역의 웨이블릿 계수는, 저해상도 영상을 여러 스케일로 웨이블릿 분석을 수행했을 때 얻어지는 계수들 간의 상관관계를 이용하여 예측된다.
웨이블릿 변환은 그 자체적인 특성으로 인해 영상의 에지에서의 고주파 성분 복원에 효율적으로 쓰일 수 있는 장점을 가지고 있다. 웨이블릿 변환은 바람직한 에지 검출기의 역할을 한다.
또한, 신호의 에지 영역에서 웨이블릿 계수는 큰 극점 값들을 가지며 그 지점에서의 정규성에 따라 도 1에 도시한 바와 같이 여러 스케일들 간에 그 극점의 형태가 수렴함과 동시에 지속적으로 진행되어 가는 특징이 있다. 그러므로 특정 지점에서의 스케일 간의 웨이블릿 계수 분포를 살펴보면 그 영역이 에지임을 판별함과 동시에 어떠한 형태의 에지를 가지는지를 특징지을 수 있다. 웨이블릿을 기반으로 한 영상 보간법은 이러한 웨이블릿 변환 고유의 특성을 활용하여 상실된 고주파 영역을 효율적으로 복원함으로 에지를 고려하여 영상을 보간한다.
도 2는 종래의 웨이블릿 기반 영상 보간 방법을 수행하기 위한 구성 블록도로서, 웨이블릿 변환부(10), 에지 검출부(12), 크기 예측부(14), 위치 예측부(16), 웨이블릿 계수 생성부(18), 웨이블릿 합성 필터(19a)(19b)를 포함한다.
도 2에 도시한 바와 같이, 웨이블릿 변환부(10)는 임의의 저해상도(LR) 영상을, 축소하지 않은 웨이블릿을 사용하여 L단계 스케일로 웨이블릿 변환하는 역할을 수행한다.
에지 검출부(12)는 웨이블릿 변환된 영상의 스케일간 분포를 관찰하여 일정하게 감쇄해가는 지점을 에지로 검출한다.
크기 예측부(14)는 에지 검출부(12)를 통해 검출된 에지에서 스케일간의 극점 크기 변화를 모델링하여 최상단 웨이블릿 계수의 크기를 예측하는 역할을 하며, 위치 예측부(16)는 에지 검출부(12)를 통해 검출된 에지에서 극점 형태가 축소 수 렴하는 형태를 관찰하여 최상단 웨이블릿 계수의 위치를 예측하는 역할을 각각 수행한다.
웨이블릿 계수 생성부(18)는 크기 예측부(14) 및 위치 예측부(16)를 통해 예측된 영상의 크기와 위치를 기반으로 웨이블릿 계수를 생성한다.
고주파 웨이블릿 합성 필터(19a)는 임의의 저해상도 영상(LR)과 상기 생성된 웨이블릿 계수로 고주파 웨이블릿 합성 필터링을 수행하여 고해상도 영상을 생성하는 역할을 수행한다.
저주파 웨이블릿 합성 필터(19b)는 임의의 저해상도 영상(LR)을 저주파 웨이블릿 합성 필터링을 수행한다.
이와 같이, 종래의 웨이블릿 영상 보간 방법은 상술한 웨이블릿 계수 간의 상관관계를 직관적으로 적용하여 최상단의 웨이블릿 계수를 예측하여 주어진 저해상도 영상을 고해상도 영상으로 복원한다. 이를 단계적으로 간략히 설명하면 다음과 같다.
1. 먼저, 임의의 저해상도 영상(LR)을, 축소하지 않은 웨이블릿을 사용하여 L단계 스케일로 웨이블릿 분석을 수행한다.
2. 웨이블릿 계수의 스케일간의 분포를 관찰하여 일정하게 감쇄해가는 지점을 에지로 찾는다.
3. 검출된 에지에서 웨이블릿 계수의 스케일간의 극점 크기 변화를 선형 최소 제곱법(linear least square)을 사용하여 모델링하고, 얻어진 감쇄 모델로부터 미지의 최상단 웨이블릿 계수의 크기를 예측한다.
4. 검출된 에지에서 웨이블릿 계수의 극점 형태가 축소 수렴하는 형태를 관찰하여 미지의 최상단 웨이블릿 계수의 위치를 예측한다.
5. 미지의 최상단 웨이블릿 계수를 상기 3 및 4 단계에서 얻어진 크기와 위치를 가진 값으로 생성한다.
6. 생성된 웨이블릿 계수와 주어진 저해상도 영상으로 고해상도 영상을 만든다.
이상과 같은 방법을 이용하여 최상단 스케일 웨이블릿 계수를 생성할 때, 그 극점의 크기만 대략적으로 예측이 되어도 보간된 고해상도 영상의 에지는 비교적 잘 복원된다. 그러나 고주파의 웨이블릿 계수의 "위치"가 잘못 예측될 경우, 영상의 에지는 오히려 깨지기(왜곡되기) 때문에 계수의 위치를 정확하게 예측하는 것은 중요한 문제이다.
그런데 종래의 웨이블릿 영상 보간 방법에서 얻어진 예측 지점을 실험적으로 관찰하여 보면, 스케일간의 극점이 수렴해가는 현상이 근본적으로 가지고 있는 불확실성 때문에 최상단 스케일의 극점의 위치를 결정적인 방법만으로 한 지점으로 예측하는 것은 확률상 충분히 좋은 결과를 가져오지 않는다. 이는 일정하지 못하게 보간된 영상의 에지를 강화시켜 오히려 에지가 열화될 가능성이 있다.
본 발명은 상술한 종래 기술의 문제를 해결하기 위한 것으로, 기존의 계측된 극점 위치 주위에 후보들을 설정하고, 보간된 영상의 주관적인 화질을 고려한 후처리 과정(Post processing)을 통해 최상위 스케일의 웨이블릿 계수의 극점 위치를 판단하도록 함으로써, 보간된 영상의 왜곡된 에지를 없앨 수 있는 웨이블릿 변환을 이용한 영상 보간 장치 및 방법을 제공하는데 그 목적이 있다.
이러한 목적을 달성하기 위한 본 발명의 일 관점에 따르면, 웨이블릿 변환을 이용한 영상 보간 방법으로서, 축소하지 않은 웨이블릿을 사용하여 임의의 저해상도 영상을 L단계 스케일로 웨이블릿 분석을 수행하는 단계와, 웨이블릿 계수의 스케일간의 분포를 관찰하여 일정하게 감쇄해가는 지점을 에지로 검출하는 단계와, 상기 검출된 에지에서 웨이블릿 계수의 스케일간의 극점 크기 변화를 모델링하고, 상기 얻어진 감쇄 모델로부터 미지의 최상단 웨이블릿 계수의 크기를 예측하는 단계와, 상기 검출된 에지의 극점 위치 주위에 N개의 후보들을 설정하고, 미지의 고주파 웨이블릿 계수의 수평 성분, 수직 성분, 대각 성분을 웨이블릿 역변환하여 수평/수직/대각 웨이블릿 계수의 복원 영상을 정의하는 단계와, 상기 정의되는 수평/수직/대각 웨이블릿 계수의 복원 영상의 비용함수를 설계하는 단계와, 상기 설계되는 비용함수의 최소값을 갖는 후보를 웨이블릿 계수의 극점으로 결정하여 최상단 웨이블릿 계수의 위치를 예측하는 단계와, 상기 예측된 웨이블릿 계수의 크기 및 위치를 기반으로 최상단 웨이블릿 계수를 생성하는 단계를 포함하는 웨이블릿 변환을 이용한 영상 보간 방법을 제공한다.
본 발명의 목적을 달성하기 위한 다른 관점에 따르면, 축소하지 않은 웨이블릿을 사용하여 임의의 저해상도 영상을 L단계 스케일로 웨이블릿 변환하는 웨이블릿 변환부와, 상기 웨이블릿 변환부를 통해 웨이블릿 변환된 영상의 스케일간 분포를 관찰하여 일정하게 감쇄해가는 지점을 에지로 검출하는 에지 검출부와, 상기 에 지 검출부를 통해 검출된 에지에서 스케일간의 극점 크기 변화를 모델링하여 최상단 웨이블릿 계수의 크기를 예측하는 크기 예측부와, 상기 에지 검출부를 통해 검출된 에지를 예측한 후, 후처리 과정을 통해 각 에지의 극점 주위에 추가적으로 N개의 위치 후보들을 선정하여 보간 영상의 비용 함수가 최소인 후보를 최상위 스케일의 웨이블릿 계수의 극점 위치로 판단하는 웨이블릿 분석 및 예측부와, 상기 크기 예측부 및 웨이블릿 분석 및 예측부를 통해 예측된 영상의 크기와 위치를 기반으로 웨이블릿 계수를 생성하는 웨이블릿 계수 생성부와, 상기 저해상도 영상과 상기 생성된 웨이블릿 계수로 고주파 웨이블릿 합성 필터링을 수행하여 고해상도 영상을 생성하는 고주파 웨이블릿 합성 필터와, 상기 저해상도 영상에 대해 저주파 웨이블릿 합성 필터링을 수행하는 저주파 웨이블릿 합성 필터를 포함하는 웨이블릿 변환을 이용한 영상 보간 장치를 제공한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다. 하기에서 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다.
도 3은 본 발명의 바람직한 실시예에 따른 웨이블릿 변환을 이용한 영상 보간 방법을 구현하기 위한 구성 블록도로서, 웨이블릿 변환부(100), 에지 검출부(102), 크기 예측부(104), 웨이블릿 분석 및 예측부(106), 후처리부(108), 웨이블릿 계수 생성부(110), 웨이블릿 합성 필터(112a)(112b)를 포함한다.
도 3에 도시한 바와 같이, 웨이블릿 변환부(100)는 임의의 저해상도(LR) 영상을, 축소하지 않은 웨이블릿을 사용하여 L단계 스케일로 웨이블릿 변환하는 역할을 수행한다.
에지 검출부(102)는 웨이블릿 변환된 영상의 스케일간 분포를 관찰하여 일정하게 감쇄해가는 지점을 에지로 검출한다.
크기 예측부(104)는 에지 검출부(102)를 통해 검출된 에지에서 스케일간의 극점 크기 변화를 모델링하여 최상단 웨이블릿 계수의 크기를 예측하는 역할을 한다.
본 실시예에 따른 웨이블릿 분석 및 예측부(106)는 에지 검출부(102)를 통해 검출된 에지를 예측한 후, 후술하는 후처리부(108)를 통해 각 에지의 극점 주위에 추가적으로 N개의 위치 후보들을 선정하여 보간 영상이 에지를 효과적으로 보상해주었는지의 정도를 판단하여 최종적인 최상위 스케일의 웨이블릿 계수의 극점 위치를 판단한다.
즉, 본 실시예에서는, 종래와 같이, 에지 검출부(12)를 통해 검출된 에지에서 극점 형태가 축소 수렴하는 형태를 관찰하여 최상단 웨이블릿 계수의 위치를 예측하는 것과는 달리, 기존의 예측된 극점 위치 주위에 후보들을 설정하고, 보간된 영상의 주관적인 화질을 고려한 후 후처리 과정을 통해 이들 간의 추가적인 선별이 이루어질 수 있도록 구현한 것이다.
상기 후처리부(108)에서 수행되는 후처리 과정을 보다 상세히 설명하면 다음과 같다.
고해상도 영상을
Figure 112006064987475-pat00001
, 저해상도 영상만으로 보간된 영상을
Figure 112006064987475-pat00002
, 최상단 웨이블릿 계수를 합성 필터를 통해 복원된 영상을
Figure 112006064987475-pat00003
이라 할 때, 그 관계는 다음 [수학식 1]과 같다.
Figure 112006064987475-pat00004
임의의 지점에서 영상 픽셀 값이 그 픽셀의 주위에 의해서만 영향을 받는다고 가정할 때, 영상은 마코프 랜덤 필드(Markov random field)라고 가정되고, 이러한 영상의 확률분포 특성은 다음 [수학식 2]와 같이 깁스 분포(Gibbs distribution)로 모델링될 수 있다.
Figure 112006064987475-pat00005
[수학식 2]에서 Z와 T는 상수이고, Vc는 영상의 지역영역 c에서 정의된 임의의 함수이다. C는 영상에서 지역 영역 c의 합집합을 의미한다. [수학식 2]를 적용할 때 후처리 과정에서 최상단 스케일의 극점의 위치를 판별하는 것은 다음 [수학식 3]과 같이 정의된다.
Figure 112006064987475-pat00006
본 실시예에서는, 후처리 과정의 계산을 간편화하기 위해 최상단 수평 웨이블릿 계수 ωH와 수직 웨이블릿 계수 ωV, 대각 웨이블릿 계수 ωD를 각각 독립적으로 복원한다. 각각 ωH와 ωV, ωD만을 합성 필터를 통해 복원한 영상을
Figure 112006064987475-pat00007
와
Figure 112006064987475-pat00008
,
Figure 112006064987475-pat00009
라 할 때, [수학식 1]의
Figure 112006064987475-pat00010
와
Figure 112006064987475-pat00011
는 다음 [수학식 4]와 같이 변형된다.
Figure 112006064987475-pat00012
Figure 112006064987475-pat00013
Figure 112006064987475-pat00014
이때, ωH에 의해 복원되는
Figure 112006064987475-pat00015
영상에 대하여는 수직방향의 에지가 보상되므로
Figure 112006064987475-pat00016
가 수직방향으로는 불연속(미분값 최대)하고 수평방향으로는 연 속(미분값 최소)하도록 Vc를 설계한다. 역으로, ωV에 의해 복원되는
Figure 112006064987475-pat00017
영상에 대하여는 수평방향의 에지가 보상되므로
Figure 112006064987475-pat00018
가 수직방향으로 연속(미분값 최소)하고 수평방향으로는 불연속(미분값 최대)하도록 Vc를 설계한다. 또한, ωD에 의해 복원되는
Figure 112006064987475-pat00019
영상에 대하여는 대각에 수직한 방향의 에지가 보상되므로
Figure 112006064987475-pat00020
가 대각에 수직한 방향으로는 불연속(미분값 최대)하고 대각 방향으로는 연속(미분값 최소)하도록 Vc를 설계한다. 이와 같은 사전 확률 모델에 의해 정의되는 Vc는 다음 [수학식 5]와 같이 정의된다.
Figure 112006064987475-pat00021
Figure 112006064987475-pat00022
Figure 112006064987475-pat00023
이때, dH는 수평 방향으로의 2차 미분값을, dV는 수직 방향으로의 2차 미분값을, dD는 대각 방향으로의 2차 미분값을, dDT는 대각의 수직 방향으로의 2차 미분값을 의미한다. α와 β, γ는 두 수직 수평 성분간의 기여도를 조절해주는 상수 이다.
도 4a, 도 4b, 도 5는, 예컨대 수직 웨이블릿 계수의 예측에 있어서 상기 과정을 도식적으로 나타낸 것이다.
도 4a에서와 같이, 여러 가지의 후보가 선정되고, 도 4b에서와 같이 하나의 최종 후보가 결정된다.
그리고 이때의 판정 기준은 도 5와 같이, 수직 방향의 미분값이 최소화되고 수평 방향의 미분값은 최대화되는 지점이다. 이와 같이 특정 방향의 에지에 대하여 가중치를 둘 수 있는 이유는, 웨이블릿 변환이 특정 방향으로 영상의 고주파 성분을 분류하는 특성 때문이다.
상술한 바와 같이, 종래의 예측 과정에서 예측된 지점 주위의 N개의 후보들 중 위의 비용함수를 최소화시키는 값이 최종적인 최상단 웨이블릿 계수의 위치로 결정된다. 웨이블릿 계수의 크기는 크기 예측부(104)에서 예측된 값을 그대로 사용한다.
한편, 웨이블릿 계수 생성부(110)는 크기 예측부(104) 및 웨이블릿 분석 및 예측부(106)를 통해 예측된 영상의 크기와 위치를 기반으로 웨이블릿 계수를 생성한다.
고주파 웨이블릿 합성 필터(19a)는 임의의 저해상도 영상(LR)과 상기 생성된 웨이블릿 계수로 고주파 웨이블릿 합성 필터링을 수행하여 고해상도 영상을 생성하는 역할을 수행한다.
저주파 웨이블릿 합성 필터(19b)는 임의의 저해상도 영상(LR)을 저주파 웨이 블릿 합성 필터링을 수행한다.
이상과 같이, 본 발명은 웨이블릿 계수들이 갖는 특성을 이용하여 고주파 웨이블릿 계수를 예측하는 구조에서 주관적 화질 개선을 위한 비용 함수를 고려하는 영상 보간 후처리 기법을 구현한 것이다. 이를 단계적으로 간략히 설명하면 다음과 같다.
1. 먼저, 임의의 저해상도 영상(LR)을, 축소하지 않은 웨이블릿을 사용하여 L단계 스케일로 웨이블릿 분석을 수행한다.
2. 웨이블릿 계수의 스케일간의 분포를 관찰하여 일정하게 감쇄해가는 지점을 에지로 찾는다.
3. 검출된 에지에서 웨이블릿 계수의 스케일간의 극점 크기 변화를 선형 최소 자승법(linear least square)을 사용하여 모델링하고, 얻어진 감쇄 모델로부터 미지의 최상단 웨이블릿 계수의 크기를 예측한다.
4. 검출된 에지의 극점 위치 주위에 N개의 후보들을 설정하고, 미지의 고주파 웨이블릿 계수의 수평 성분, 수직 성분, 대각 성분을 웨이블릿 역변환하여 수평/수직/대각 웨이블릿 계수의 복원 영상을 정의한다.
5. 수평 웨이블릿 계수의 복원 영상의 수직방향으로는 불연속하고 수평방향으로는 연속하도록 비용함수를 설계한다.
6. 수직 웨이블릿 계수의 복원 영상의 수직방향으로는 연속하고 수평방향으로는 불연속하도록 비용함수를 설계한다.
7. 대각 웨이블릿 계수의 복원 영상의 수직방향으로는 불연속하고 대각방향 으로는 연속하도록 비용함수를 설계한다.
8. 상기 설계되는 비용함수의 최소값을 갖는 후보를 웨이블릿 계수의 극점으로 결정하여 최상단 웨이블릿 계수의 위치를 예측한다.
9. 미지의 최상단 웨이블릿 계수를 상기 3 및 8 단계에서 얻어진 크기와 위치를 가진 값으로 생성한다.
10. 생성된 웨이블릿 계수와 주어진 저해상도 영상으로 고해상도 영상을 만든다.
이상 설명한 바와 같이, 본 발명은 계측된 극점 위치 주위에 후보들을 설정하고, 보간된 영상의 주관적인 화질을 고려한 후처리 과정(Post processing)을 통해 최상위 스케일의 웨이블릿 계수의 극점 위치를 판단하도록 구현한 것이다.
본 발명에 의하면, 웨이블릿 변환에 따라 예측된 극점 주위의 N개의 후보를 선정하고 각 후보들에 대한 비용함수가 가장 적게 나오는 후보를 최종적으로 예측된 복원 영상의 극점으로 결정하도록 함으로써, 보간된 영상의 왜곡된 에지를 효과적으로 없앨 수 있다.
이상, 본 발명을 실시예에 근거하여 구체적으로 설명하였지만, 본 발명은 이러한 실시예에 한정되는 것이 아니라, 후술하는 특허청구범위의 기술적 사상과 범주 내에서 여러 가지 변형이 가능한 것은 물론이다.

Claims (8)

  1. 웨이블릿 변환을 이용한 영상 보간 방법으로서,
    축소하지 않은 웨이블릿을 사용하여 저해상도 영상을 L단계 스케일로 웨이블릿 분석을 수행하는 단계와,
    웨이블릿 계수의 스케일간의 분포를 관찰하여 일정한 비율로 극점의 크기가 감쇄해가는 지점을 에지로 검출하는 단계와,
    상기 검출된 에지에서 웨이블릿 계수의 스케일간의 극점 크기 변화를 모델링하고, 상기 얻어진 감쇄 모델로부터 미지의 최상단 웨이블릿 계수의 크기를 예측하는 단계와,
    상기 검출된 에지의 극점 위치 주위에 N개의 후보들을 설정하고, 미지의 고주파 웨이블릿 계수의 수평 성분, 수직 성분, 대각 성분을 웨이블릿 역변환하여 수평/수직/대각 웨이블릿 계수의 복원 영상을 정의하는 단계와,
    상기 정의되는 수평/수직/대각 웨이블릿 계수의 복원 영상의 비용함수를 설계하는 단계와,
    상기 설계되는 비용함수의 최소값을 갖는 후보를 웨이블릿 계수의 극점으로 결정하여 최상단 웨이블릿 계수의 위치를 예측하는 단계와,
    상기 예측된 웨이블릿 계수의 크기 및 위치를 기반으로 최상단 웨이블릿 계수를 생성하는 단계
    를 포함하는 웨이블릿 변환을 이용한 영상 보간 방법.
  2. 제 1 항에 있어서,
    상기 극점 크기 변화 모델링은,
    선형 최소 자승법(linear least square)을 사용하는 것을 특징으로 하는 웨이블릿 변환을 이용한 영상 보간 방법.
  3. 제 1 항에 있어서,
    상기 비용함수 설계 단계는,
    상기 수평 웨이블릿 계수의 복원 영상의 수직방향으로는 불연속하고 수평방향으로는 연속하도록 비용함수를 설계하는 단계와,
    상기 수직 웨이블릿 계수의 복원 영상의 수직방향으로는 연속하고 수평방향으로는 불연속하도록 비용함수를 설계하는 단계와,
    상기 대각 웨이블릿 계수의 복원 영상의 수직방향으로는 불연속하고 대각방향으로는 연속하도록 비용함수를 설계하는 단계
    를 포함하는 웨이블릿 변환을 이용한 영상 보간 방법.
  4. 제 3 항에 있어서,
    상기 비용함수는,
    수학식
    Figure 112006064987475-pat00024
    Figure 112006064987475-pat00025
    Figure 112006064987475-pat00026
    에 의해 구현되며,
    상기 dH는 상기 고주파 웨이블릿 계수의 수평 방향으로의 2차 미분값, 상기 dV는 상기 고주파 웨이블릿 계수의 수직 방향으로의 2차 미분값, 상기 dD는 상기 고주파 웨이블릿 계수의 대각 방향으로의 2차 미분값, 상기 dDT는 고주파 웨이블릿 계수의 대각의 수직 방향으로의 2차 미분값, 상기 α, β, γ는 상기 고주파 웨이블릿 계수의 수직/수평 성분간의 기여도를 조절해주는 상수인 것을 특징으로 하는 웨이블릿 변환을 이용한 영상 보간 방법.
  5. 제 3 항에 있어서,
    상기 수평 웨이블릿 계수의 비용함수는 복원 영상의 수평 방향의 미분값이 최소이며, 상기 수직 웨이블릿 계수의 비용함수는 복원 영상의 수직 방향의 미분값이 최소이고, 상기 대각 웨이블릿 계수의 비용함수는 복원 영상의 대각 방향의 미분값이 최소인 것을 특징으로 하는 웨이블릿 변환을 이용한 영상 보간 방법.
  6. 축소하지 않은 웨이블릿을 사용하여 저해상도 영상을 L단계 스케일로 웨이블릿 변환하는 웨이블릿 변환부와,
    상기 웨이블릿 변환부를 통해 웨이블릿 변환된 영상의 스케일간 분포를 관찰하여 일정한 비율로 극점의 크기가 감쇄해가는 지점을 에지로 검출하는 에지 검출부와,
    상기 에지 검출부를 통해 검출된 에지에서 스케일간의 극점 크기 변화를 모델링하여 최상단 웨이블릿 계수의 크기를 예측하는 크기 예측부와,
    상기 에지 검출부를 통해 검출된 에지를 예측한 후, 후처리 과정을 통해 각 에지의 극점 주위에 추가적으로 N개의 위치 후보들을 선정하여 보간 영상의 비용 함수가 최소인 후보를 최상위 스케일의 웨이블릿 계수의 극점 위치로 판단하는 웨이블릿 분석 및 예측부와,
    상기 크기 예측부 및 웨이블릿 분석 및 예측부를 통해 예측된 영상의 크기와 위치를 기반으로 웨이블릿 계수를 생성하는 웨이블릿 계수 생성부와,
    상기 저해상도 영상과 상기 생성된 웨이블릿 계수로 고주파 웨이블릿 합성 필터링을 수행하여 고해상도 영상을 생성하는 고주파 웨이블릿 합성 필터와,
    상기 저해상도 영상에 대해 저주파 웨이블릿 합성 필터링을 수행하는 저주파 웨이블릿 합성 필터
    를 포함하는 웨이블릿 변환을 이용한 영상 보간 장치.
  7. 제 6 항에 있어서,
    상기 웨이블릿 분석 및 예측부는,
    미지의 고주파 웨이블릿 계수의 수평 성분, 수직 성분, 대각 성분을 웨이블 릿 역변환하여 수평/수직/대각 웨이블릿 계수의 복원 영상을 정의하는 것을 특징으로 하는 웨이블릿 변환을 이용한 영상 보간 장치.
  8. 제 7 항에 있어서,
    상기 웨이블릿 분석 및 예측부는,
    상기 수평 웨이블릿 계수의 복원 영상의 수직방향으로는 불연속하고 수평방향으로는 연속하도록, 상기 수직 웨이블릿 계수의 복원 영상의 수직방향으로는 연속하고 수평방향으로는 불연속하도록, 상기 대각 웨이블릿 계수의 복원 영상의 수직방향으로는 불연속하고 대각방향으로는 연속하도록 각각 비용함수를 설계하는 것을 특징으로 하는 웨이블릿 변환을 이용한 영상 보간 장치.
KR1020060086682A 2006-09-08 2006-09-08 웨이블릿 변환을 이용한 영상 보간 장치 및 방법 KR100812967B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060086682A KR100812967B1 (ko) 2006-09-08 2006-09-08 웨이블릿 변환을 이용한 영상 보간 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060086682A KR100812967B1 (ko) 2006-09-08 2006-09-08 웨이블릿 변환을 이용한 영상 보간 장치 및 방법

Publications (1)

Publication Number Publication Date
KR100812967B1 true KR100812967B1 (ko) 2008-03-11

Family

ID=39398645

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060086682A KR100812967B1 (ko) 2006-09-08 2006-09-08 웨이블릿 변환을 이용한 영상 보간 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100812967B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109377463A (zh) * 2018-11-30 2019-02-22 上海集成电路研发中心有限公司 一种提高小波去噪效果的图像预处理方法
KR102402677B1 (ko) * 2021-06-15 2022-05-26 (주)지큐리티 영상 융합 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060038760A (ko) * 2004-11-01 2006-05-04 한국전자통신연구원 디지털 카메라 시스템의 비네팅 현상 제거 방법 및 이를적용한 디지털 카메라
KR20070023600A (ko) * 2005-08-24 2007-02-28 주식회사 메디슨 3차원 초음파 영상 처리 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060038760A (ko) * 2004-11-01 2006-05-04 한국전자통신연구원 디지털 카메라 시스템의 비네팅 현상 제거 방법 및 이를적용한 디지털 카메라
KR20070023600A (ko) * 2005-08-24 2007-02-28 주식회사 메디슨 3차원 초음파 영상 처리 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109377463A (zh) * 2018-11-30 2019-02-22 上海集成电路研发中心有限公司 一种提高小波去噪效果的图像预处理方法
CN109377463B (zh) * 2018-11-30 2022-01-04 上海集成电路研发中心有限公司 一种提高小波去噪效果的图像预处理方法
KR102402677B1 (ko) * 2021-06-15 2022-05-26 (주)지큐리티 영상 융합 방법 및 장치

Similar Documents

Publication Publication Date Title
Zhang et al. An edge-guided image interpolation algorithm via directional filtering and data fusion
Katkovnik et al. A spatially adaptive nonparametric regression image deblurring
CN102194216B (zh) 图像处理设备和图像处理方法
Lee et al. Regularized adaptive high-resolution image reconstruction considering inaccurate subpixel registration
EP0738447B1 (en) Method, post-processing filter, and video compression system for suppressing mosquito and blocking artifacts
Menon et al. Demosaicing with directional filtering and a posteriori decision
KR101548285B1 (ko) 고해상도 영상 획득 장치 및 그 방법
CN102354394B (zh) 图像超分辨方法及系统
JP2005020761A (ja) データ圧縮処理された低解像度の映像から超解像度の映像復元及び再構成方法
KR960033130A (ko) 영상 신호 처리기에 대한 일시적 및 공간적 오류 제거 장치 및 방법
Wong et al. Adaptive directional window selection for edge-directed interpolation
CN112712537B (zh) 视频时空超分辨率实现方法及装置
JP6056766B2 (ja) 動きベクトル推定装置、動きベクトル推定方法及び動きベクトル推定用プログラム
Park et al. Spatially adaptive high-resolution image reconstruction of DCT-based compressed images
KR101707337B1 (ko) 영상 디노이징을 위한 다중해상도 ｎｌｍ 필터링 방법
KR100812967B1 (ko) 웨이블릿 변환을 이용한 영상 보간 장치 및 방법
JP2005217532A (ja) 解像度変換方法及び解像度変換装置
Tian et al. A state-space super-resolution approach for video reconstruction
KR100570630B1 (ko) 복수 개의 저해상도 영상을 이용하여 해상도 향상 영상을생성하는 방법
Kokaram Practical, unified, motion and missing data treatment in degraded video
JP4373384B2 (ja) 時間解像度の拡大方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
JP4182574B2 (ja) 画像情報変換装置および変換方法
Sadaka et al. Super-resolution using a wavelet-based adaptive wiener filter
Lin et al. An iterative enhanced super-resolution system with edge-dominated interpolation and adaptive enhancements
Prendergast et al. Improving frequency domain super-resolution via undersampling model

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110302

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee