KR101180884B1 - 베이글릿-웨이블릿 분해에 의한 실시간 영상 복원 장치 및 방법 - Google Patents

베이글릿-웨이블릿 분해에 의한 실시간 영상 복원 장치 및 방법 Download PDF

Info

Publication number
KR101180884B1
KR101180884B1 KR1020100132516A KR20100132516A KR101180884B1 KR 101180884 B1 KR101180884 B1 KR 101180884B1 KR 1020100132516 A KR1020100132516 A KR 1020100132516A KR 20100132516 A KR20100132516 A KR 20100132516A KR 101180884 B1 KR101180884 B1 KR 101180884B1
Authority
KR
South Korea
Prior art keywords
wavelet
noise
image
baglet
function
Prior art date
Application number
KR1020100132516A
Other languages
English (en)
Other versions
KR20120070961A (ko
Inventor
백준기
강원석
김상진
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020100132516A priority Critical patent/KR101180884B1/ko
Publication of KR20120070961A publication Critical patent/KR20120070961A/ko
Application granted granted Critical
Publication of KR101180884B1 publication Critical patent/KR101180884B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

베이글릿-웨이블릿 분해에 의한 실시간 영상 복원 장치 및 방법이 개시된다. 웨이블릿 변환부는 입력받은 원본영상에 이산 웨이블릿 변환을 수행하여 복수의 서브밴드를 생성하고, 노이즈 제거부는 각각의 서브밴드를 구성하는 웨이블릿 계수들을 필터링하여 원본영상의 잡음을 제거한다. 점 확산 함수 추정부는 원본영상으로부터 추출된 에지의 방향을 기초로 원본영상의 점 확산 함수를 구성하는 계수들을 추정한다. 베이글릿 산출부는 이산 웨이블릿 변환을 위한 웨이블릿 기저함수와 추정된 점 확산 함수를 기초로 베이글릿 기저함수를 산출한다. 영상 복원부는 베이글릿 기저함수에 의해 필터링된 웨이블릿 계수들에 대한 웨이블릿 역변환을 수행하여 보정영상을 생성한다. 본 발명에 따르면, 웨이블릿 계수를 필터링하여 영상의 노이즈를 제거함과 동시에 영상의 에지 정보를 기초로 점 확산 함수를 추정하여 산출된 베이글릿 기저함수로 웨이블릿 역변환을 수행함으로써 영상에 남아있는 노이즈를 모두 제거하고 영상의 에지정보를 보존할 수 있다.

Description

베이글릿-웨이블릿 분해에 의한 실시간 영상 복원 장치 및 방법{Apparatus and method for real-time image restoration by Vaguelette-Wavelet decomposition}
본 발명은 베이글릿-웨이블릿 분해에 의한 실시간 영상 복원 장치 및 방법에 관한 것으로, 보다 상세하게는, 웨이블릿 기저함수로부터 생성된 베이글릿 기저함수에 의해 웨이블릿 역변환을 수행하여 영상을 복원하는 장치 및 방법에 관한 것이다.
디지털 영상 촬영 장치에 대한 수요 증가와 더불어 높은 해상도 및 신호 대 잡음비(Signal-to-Noise Ratio : SNR)를 위한 다양한 기법들이 요구되고 있다. 그 중에서 주어진 점 확산 함수(Point Spread Function : PSF)로부터의 훼손 영상 복원은 정립되지 않았으며, 그에 관련된 많은 영상 복원 기법들이 제안되었다.
그러나 현재까지 제안된 기법들은 연산 오버헤드 및 처리 시간 증가와 같은 문제로 인해 실시간으로 적용되기 어려우며, 복원된 영상의 가장자리에서 나타나는 링잉(ringing) 현상과 같은 인공물을 완전히 제거할 수 없다는 한계를 보인다.
위너(Wiener) 필터와 같은 기존의 영상 복원 필터가 가지는 노이즈 증폭 또는 과평탄화(over-smoothing)의 문제, 그리고 위에서 언급한 연산량의 문제를 극복하여 공간 주파수 영역에서 실시간으로 영상을 복원할 수 있는 방법이 필요하다.
본 발명이 이루고자 하는 기술적 과제는, 점 확산 함수를 추정하여 영상 복원에 사용함으로써 영상의 노이즈를 제거함과 동시에 에지성분을 보존하여 영상의 화질을 개선할 수 있는 베이글릿-웨이블릿 분해에 의한 실시간 영상 복원 장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 점 확산 함수를 추정하여 영상 복원에 사용함으로써 영상의 노이즈를 제거함과 동시에 에지성분을 보존하여 영상의 화질을 개선할 수 있는 베이글릿-웨이블릿 분해에 의한 실시간 영상 복원 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 베이글릿-웨이블릿 분해에 의한 실시간 영상 복원 장치는, 입력받은 원본영상에 이산 웨이블릿 변환을 수행하여 복수의 서브밴드를 생성하는 웨이블릿 변환부; 상기 각각의 서브밴드를 구성하는 웨이블릿 계수들을 필터링하여 상기 원본영상의 잡음을 제거하는 노이즈 제거부; 상기 원본영상으로부터 추출된 에지의 방향을 기초로 상기 원본영상의 점 확산 함수를 구성하는 계수들을 추정하는 점 확산 함수 추정부; 상기 이산 웨이블릿 변환을 위한 웨이블릿 기저함수와 상기 추정된 점 확산 함수를 기초로 베이글릿 기저함수를 산출하는 베이글릿 산출부; 및 상기 베이글릿 기저함수에 의해 상기 필터링된 웨이블릿 계수들에 대한 웨이블릿 역변환을 수행하여 보정영상을 생성하는 영상 복원부;를 구비한다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 베이글릿-웨이블릿 분해에 의한 실시간 영상 복원 방법은, 입력받은 원본영상에 이산 웨이블릿 변환을 수행하여 복수의 서브밴드를 생성하는 웨이블릿 변환단계; 상기 각각의 서브밴드를 구성하는 웨이블릿 계수들을 필터링하여 상기 원본영상의 잡음을 제거하는 노이즈 제거단계; 상기 원본영상으로부터 추출된 에지의 방향을 기초로 상기 원본영상의 점 확산 함수를 구성하는 계수들을 추정하는 점 확산 함수 추정단계; 상기 이산 웨이블릿 변환을 위한 웨이블릿 기저함수와 상기 추정된 점 확산 함수를 기초로 베이글릿 기저함수를 산출하는 베이글릿 산출단계; 및 상기 베이글릿 기저함수에 의해 상기 필터링된 웨이블릿 계수들에 대한 웨이블릿 역변환을 수행하여 보정영상을 생성하는 영상 복원단계;를 갖는다.
본 발명에 따른 베이글릿-웨이블릿 분해에 의한 실시간 영상 복원 장치 및 방법에 의하면, 웨이블릿 계수를 필터링하여 영상의 노이즈를 제거함과 동시에 영상의 에지 정보를 기초로 점 확산 함수를 추정하여 산출된 베이글릿 기저함수로 웨이블릿 역변환을 수행함으로써 영상에 남아있는 노이즈를 모두 제거하고 영상의 에지정보를 보존할 수 있다.
도 1은 본 발명에 따른 베이글릿-웨이블릿 분해에 의한 실시간 영상 복원 장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 2는 웨이블릿 계수 축소에 의해 평탄 영역의 노이즈가 제거된 일 예를 나타낸 도면,
도 3은 엔트로피 값을 비교하여 웨이블릿 계수를 축소하는 노이즈 제거 과정의 일 예를 나타낸 도면,
도 4는 반지름이 5인 등방성 점 확산 함수의 일 예를 이산 평면에서 도시한 도면,
도 5는 도 4의 점 확산 함수에서 최외곽에 위치한 원의 계단 응답을 도시한 그래프,
도 6은 1차원 스케일링 함수 및 웨이블릿 함수를 나타낸 도면,
도 7은 도 6의 1차원 스케일링 함수 및 웨이블릿 함수로부터 산출된 2차원 스케일링 함수 및 웨이블릿 함수를 나타낸 도면,
도 8은 도 7의 웨이블릿 함수가 변형되어 얻어진 웨이블릿 기저함수를 나타낸 도면,
도 9는 본 발명에 따른 베이글릿-웨이블릿 분해에 의한 실시간 영상 복원 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,
도 10은 기존의 영상 복원 기법과 본 발명의 성능을 비교한 결과를 나타낸 도면, 그리고,
도 11은 선행기술1 내지 선행기술3 외에 기존의 CLS 필터와 본 발명의 노이즈 제거 성능을 SNR 및 연산 수행 시간을 통하여 비교한 결과를 나타낸 것이다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 베이글릿-웨이블릿 분해에 의한 실시간 영상 복원 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 베이글릿-웨이블릿 분해에 의한 실시간 영상 복원 장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 실시간 영상 복원 장치는, 웨이블릿 변환부(110), 노이즈 제거부(120), 점 확산 함수 추정부(130), 베이글릿 산출부(140) 및 영상 복원부(150)를 구비한다.
웨이블릿 변환부(110)는 입력받은 원본영상에 이산 웨이블릿 변환을 수행하여 복수의 서브밴드를 생성하며, 노이즈 제거부(120)는 각각의 서브밴드를 구성하는 웨이블릿 계수들을 필터링하여 원본영상의 잡음을 제거한다.
이산 웨이블릿 변환(Discrete Wavelet Transform : DWT)은 데이터를 서로 다른 주파수 성분으로 분해하고 각 부대역에 해당하는 해상도와 연관된 각각의 성분들을 조사하는 방법이다. 웨이블릿 변환에서는 이산 신호에 대해 한 쌍의 필터, 즉 저역 통과 필터(LPF) 및 고역 통과 필터(HPF)를 적용시켜 저주파 대역과 고주파 대역으로 분리한다. 웨이블릿 변환은 각 부대역에서 공간 정보와 주파수 정보를 해석할 수 있기 때문에 잡음에 해당하는 특정 고주파 성분을 줄이거나, 특정 에지 정보를 보존하는 등의 적응적 영상 처리가 가능하다.
원본영상에 이산 웨이블릿 변환을 수행하여 얻어진 변환영상은 LL, LH, HL 및 HH의 네 개의 서브밴드(subband)로 이루어진다. LL 서브밴드는 원본영상에 수평과 수직 방향으로 저역 통과 필터를 적용하여 영상에서 고주파 성분이 배제된 계수들로 이루어져 있고, HH 서브밴드는 원본영상에 수평과 수직 방향으로 고역 통과 필터를 적용한 것으로 LL 서브밴드와는 반대로 고주파 성분만 나타난다. 또한 LH 서브밴드는 원본영상에 수평 방향으로 고역 통과 필터를 적용한 것으로 수평방향 주파수의 오차성분을 포함하고 있다. HL 서브밴드는 원본영상에 수직 방향으로 고역 통과 필터를 적용한 것으로, 수직 방향의 주파수의 오차성분을 포함하고 있다.
노이즈 제거부(120)는 웨이블릿 변환부(110)에 의해 얻어진 원본영상의 웨이블릿 계수들을 변형함으로써 결과적으로 원본영상의 잡음을 억제한다. 구체적으로, 노이즈 제거부(120)는 원본영상의 각 웨이블릿 계수들을 에지 영역(edge region)과 평탄 영역(flat region)으로 분리하여 각각의 영역에 대하여 적응적으로 노이즈 제거를 수행하게 된다. 에지 영역과 평탄 영역의 분리는 알파맵(alpha-map)에 의해 이루어지며, 알파맵은 웨이블릿 변환부(110)에 의해 얻어진 서브밴드들 중에서 저역성분인 LL 서브밴드를 구성하는 웨이블릿 계수들의 분산을 기초로 하여 얻어진다.
LL 서브밴드를 구성하는 각각의 웨이블릿 계수에 대한 분산값은 다음의 수학식 1에 의해 산출될 수 있다. 분산값 산출을 위해 사용되는 기준블록의 크기는 사용자의 설정에 따라 달라질 수 있으며, 바람직하게는 LL 서브밴드 상에서 분산값을 산출하고자 하는 웨이블릿 계수의 위치를 중심으로 하는 7×7 크기의 기준블록을 설정하여 분산값을 산출할 수 있다.
Figure 112010084879023-pat00001
여기서, v(x,y)는 기준블록의 (x,y) 위치에 해당하는 웨이블릿 계수의 분산값, PQ는 기준블록의 크기, f(x,y)는 기준블록의 (x,y) 위치에 해당하는 웨이블릿 계수, 그리고 mx ,y는 기준블록에 포함된 웨이블릿 계수들의 평균으로 다음의 수학식 2에 의해 산출된다.
Figure 112010084879023-pat00002
LL 서브밴드를 구성하는 모든 웨이블릿 계수에 대한 분산값이 산출되면, 노이즈 제거부(120)는 이를 기초로 각각의 웨이블릿 계수에 대응하는 알파맵 데이터값을 다음의 수학식 3에 의해 산출한다.
Figure 112010084879023-pat00003
여기서, α(x,y)는 LL 서브밴드에서 (x,y)의 위치에 해당하는 웨이블릿 계수에 대응하는 알파맵 데이터값, v(x,y)는 (x,y)의 위치에 해당하는 웨이블릿 계수에 대해 산출된 분산값, 그리고 σ는 복수의 알파맵 데이터값이 0과 1 사이에 균일하게 분포하도록 사전에 설정된 조절 매개변수이다. 만약 알파맵 데이터값이 정규화된 분포를 보인다면, 조절 매개변수의 값은 약 200으로 설정될 수 있다.
다음으로 노이즈 제거부(120)는 LL 서브밴드를 제외한 나머지 서브밴드를 구성하는 웨이블릿 계수들에 대하여 원본영상의 노이즈를 제거하기 위한 과정을 수행한다.
기존의 노이즈 제거 기법들은 영상의 고주파 성분을 억제함으로써 영상의 노이즈를 제거한다. 그러나 영상에 포함된 객체의 경계를 나타내는 에지 성분 역시 고주파 성분에 해당하는 것이므로 노이즈 제거를 위해 단순히 고주파 성분을 제거하게 되면 영상의 중요한 정보가 손실될 수 있다. 또한 고주파 성분이 많이 포함된 에지 영역뿐만 아니라 저주파 성분이 많이 포함된 평탄 영역에도 노이즈가 존재할 수 있으므로 기존의 방법에 의해서는 평탄 영역에 포함된 노이즈를 제거하기 어렵다.
따라서 노이즈 제거부(120)는 영상의 에지 정보를 보존하면서 평탄 영역과 에지 영역에 존재하는 노이즈를 효과적으로 제거하기 위해 두 가지의 영역에 각각 다른 방법을 적용하여 원본영상의 노이즈를 제거하는 방법을 사용한다.
먼저 노이즈 제거부(120)는 서브밴드들 중에서 LL 서브밴드를 제외한 나머지 서브밴드들(LH, HL 및 HH) 각각을 구성하는 웨이블릿 계수들에 알파맵 데이터값을 각각 곱하여 다음 수학식 4와 같이 평탄 영역과 에지 영역을 분할한다.
Figure 112010084879023-pat00004
여기서,
Figure 112010084879023-pat00005
은 LH, HL 및 HH 중 하나의 서브밴드에서 (m,n)의 위치에 해당하는 웨이블릿 계수, α는 LL 서브밴드에서 (m,n)의 위치에 해당하는 웨이블릿 계수에 대응하는 알파맵 데이터값, 그리고 H,V,D는 각각 LH 서브밴드, HL 서브밴드 및 HH 서브밴드를 나타낸다.
수학식 4의 우변에서
Figure 112010084879023-pat00006
은 평탄 영역을 나타내며,
Figure 112010084879023-pat00007
은 에지 영역을 나타낸다. 따라서 LL 서브밴드를 제외한 서브밴드들의 웨이블릿 계수들은 평탄 영역과 에지 영역에서 공유됨을 확인할 수 있다. 노이즈 제거부(120)는 이와 같이 분할된 영역에 서로 다른 웨이블릿 계수 축소 기법을 적용하여 원본영상의 노이즈를 제거한다.
먼저 평탄 영역의 경우에는 영상의 정보를 표현한다는 관점에서 보면 에지 영역에 비하여 그 중요성이 낮다고 볼 수 있다. 또한 인간의 시각은 밝기값이 급격히 변화하는 부분에서는 잡음에 둔감하지만, 밝기값의 변화가 없는 평탄한 부분에서는 잡음에 매우 민감한 특성을 가지므로 평탄 영역에 대한 노이즈 제거는 에지 영역에 비해 더 강하게 수행될 필요성이 있다. 따라서 노이즈 제거부(120)는 수학식 4와 같이 웨이블릿 계수들에 알파맵 데이터값들을 내적하여 평탄 영역의 노이즈를 제거한다. 이와 같이 알파맵 데이터값들이 곱해진 웨이블릿 계수는 보정 웨이블릿 계수로서 이후 에지 영역의 노이즈 제거에 사용된다.
도 2는 웨이블릿 계수 축소에 의해 평탄 영역의 노이즈가 제거된 일 예를 나타낸 도면이다. 도 2의 (a)는 잡음이 포함된 원본영상, (b)는 적색 채널에 대한 웨이블릿 변환 결과를 나타낸 도면이며, (c)는 위에서 제시한 방법에 의해 웨이블릿 계수들을 축소한 결과를 나타낸 것이다. 도 2의 (b)와 (c)를 대비하여 보면 평탄 영역의 웨이블릿 계수 축소에 의하여 영상의 세부 정보가 강조되고, 노이즈가 제거된 것을 확인할 수 있다.
다음으로 노이즈 제거부(120)는 에지 영역에서의 웨이블릿 계수 축소에 의해 노이즈를 제거하기 위하여 LH, HL 및 HH 서브대역 간의 연관성을 이용하며, 서브대역 간의 연관성은 다음의 수학식 5에 의해 엔트로피를 산출함으로써 얻어진다.
Figure 112010084879023-pat00008
여기서, E는 서브대역이 분할된 복수의 블록 각각에 대하여 산출되는 엔트로피, i는 블록 내의 모든 화소, 그리고 pi는 각 화소의 확률을 의미한다.
노이즈 제거부(120)는 LH, HL 및 HH 서브대역에서 동일한 위치에 해당하는 블록의 엔트로피 크기를 대비함으로써 웨이블릿 계수 축소를 수행한다. 엔트로피는 각 서브대역의 복잡도를 나타내며, 각 서브대역은 에지의 방향성에 따라 분리된 것으로 판단되기 때문에, 에지 성분이 많이 포함된 영역은 잡음만 분포하는 영역에 비해 엔트로피 크기가 작다. 따라서 각 서브대역의 동일한 위치에 해당하는 블록들 중에서 엔트로피 크기가 큰 블록의 웨이블릿 계수를 축소함으로써 에지 영역의 노이즈를 제거할 수 있다.
도 3은 엔트로피 값을 비교하여 웨이블릿 계수를 축소하는 노이즈 제거 과정의 일 예를 나타낸 도면이다.
도 3을 참조하면, 원본영상에 이산 웨이블릿 변환을 수행하여 생성된 네 개의 서브밴드 중에서 수직성분을 나타내는 HL 서브밴드(위쪽) 및 수평성분을 나타내는 LH 서브밴드(아래쪽)이 엔트로피 크기 비교에 사용된다. 노이즈 제거부(120)는 각각의 서브밴드를 블록으로 분할하여 엔트로피 값을 산출한다. 도 3의 가운데에 상하로 위치하는 두 개의 영상은 각각 HL 서브밴드 및 LH 서브밴드에 대해 산출된 엔트로피의 크기를 나타낸다. HL 서브밴드와 LH 서브밴드의 동일한 위치에서 더 큰 엔트로피 값을 가지는 블록은 적색으로, 더 작은 엔트로피 값을 가지는 블록은 청색으로 표시된다.
노이즈 제거부(120)는 동일한 위치에 해당하는 두 블록의 보정 웨이블릿 계수 중에서 더 큰 엔트로피 값을 가지는 블록, 즉 적색 블록 보정 웨이블릿 계수 값을 축소시켜 0으로 변환한다. 이러한 과정을 거쳐 웨이블릿 역변환이 수행된 영상은 도 3의 우측과 같이 얻어진다. 도 3으로부터 영상에 전반적으로 존재하는 노이즈가 제거되어 객체가 부드럽게 표현되었으나, 객체의 경계 등의 에지 부분은 손실되지 않았다는 것을 확인할 수 있다.
한편, HH 서브대역의 경우에는 에지의 대각성분을 포함하며, 대부분의 대각 방향 에지는 수평 및 수직 방향 에지를 포함하므로 HH 서브대역의 엔트로피는 LH 및 HL 서브대역에 영향을 받는다. 따라서 노이즈 제거부(120)는 HH 서브대역의 각 블록 중에서 LH 및 HL 서브대역의 동일한 지점에 위치하는 블록에 비해 엔트로피 크기가 큰 블록의 보정 웨이블릿 계수를 축소하여 에지 영역의 노이즈를 제거한다.
이상에서 설명한 과정에 의해 노이즈 제거부(120)가 원본영상의 노이즈를 제거하는 데에는 한계가 있다. 따라서 웨이블릿 계수 축소 이후에도 남아 있는 노이즈 성분이 웨이블릿 역변환에 의해 증폭되는 현상이 발생할 수 있다. 본 발명에 따른 실시간 영상 복원 장치는 원본영상의 에지 주변에 나타나는 노이즈를 억제하기 위하여 점 확산 함수 추정부(130) 및 베이글릿 산출부(140)를 구비한다.
점 확산 함수 추정부(130)는 원본영상으로부터 추출된 에지의 방향을 기초로 원본영상의 점 확산 함수를 구성하는 계수들을 추정하며, 베이글릿 산출부(140)는 이와 같이 추정된 점 확산 함수 및 웨이블릿 변환부(110)에 의해 사용된 웨이블릿 기저 함수를 기초로 웨이블릿 역변환을 위한 베이글릿 기저함수를 산출한다. 영상 복원부(150)가 원본영상의 화질이 개선된 보정영상을 복원하기 위하여 웨이블릿 역변환을 수행할 때 웨이블릿 기저함수 대신 베이글릿 기저함수를 사용하도록 하여 원본영상의 노이즈를 제거하면서도 에지 성분을 최대한 보존할 수 있다.
일반적으로 영상의 초점이 열화되었을 때 점 확산 함수는 등방성(isotropic)의 형태를 가진다. 따라서 점 확산 함수는 반지름과 그에 따른 값의 분포로 정의될 수 있다. 도 4는 반지름이 5인 등방성 점 확산 함수의 일 예를 이산 평면에서 도시한 도면이다. 도 4에서 r(0) 내지 r(5)는 반지름이 0 내지 5일 때의 점 확산 함수의 값을 나타낸다. 또한 'P'로 표시된 지점은 반지름이 4인 원과 반지름이 5인 원 사이의 지점으로, 이 지점에서의 점 확산 함수의 값은 r(4)와 r(5)의 평균값으로 결정된다.
점 확산 함수 추정부(130)는 이러한 점 확산 함수를 원본영상으로부터 추정하기 위해 원본영상으로부터 추출된 에지 정보를 기초로 에지 프로파일을 생성하고, 수집된 에지 프로파일을 평균하여 계단 응답(step response)을 생성한다. 도 5는 도 4의 점 확산 함수에서 최외곽에 위치한 원의 계단 응답을 도시한 그래프이다. 그래프의 가로축 j는 수평 방향 위치를 나타내며, 세로축 sr(j)는 각 위치에서의 계단 응답의 값을 나타낸다. 또한 도 5에서 D는 최외곽 원의 지름에 해당한다. 도 5에 도시된 계단 응답의 그래프는 밝기값이 0인 검은색 영역과 밝기값이 1인 흰색 영역 사이에서 나타나는 것으로, 다음의 수학식 6과 같이 표현된다.
Figure 112010084879023-pat00009
여기서, J는 점 확산 함수가 최초로 흰색 영역과 만나는 지점이므로, sr(J)는 최외곽 원인 반지름 5일 때의 점 확산 함수의 값을 나타내는 것이다.
이와 같은 점 확산 함수의 값은 증가 램프(ramp) 구간에서의 계단 응답으로부터 다음의 수학식 7의 해를 구함으로써 추정된다.
Figure 112010084879023-pat00010
여기서, A는 D×(R+1) 행렬로서 그 원소는 점 확산 함수의 값의 누적이며, r은 (R+1)×1 벡터로서 그 원소는 점 확산 함수의 정수배 반지름에 대응하는 값이다. 또한 s는 각 계단 응답의 값을 원소로 하는 D×1 벡터이다.
D>(R+1)과 같이 수학식 2로부터 얻어지는 방정식은 미지수의 개수보다 많으므로 방정식의 해인 r을 산출할 수 있다. 이를 위해서는 A의 역행렬을 구해야 하는데, 점 확산 함수의 크기가 커짐에 따라 A의 크기도 커지므로 역함수를 산출하는 것이 실질적으로 불가능하게 된다. 따라서 특이값 분해(Singular Value Decomposition : SVD)에 의해 의사 역행렬(pseudo-inverse)을 구하고, 이를 이용하여 해를 산출한다. 즉, 행렬 A는 다음의 수학식 8과 같이 분해된다.
Figure 112010084879023-pat00011
여기서, U는 D×D의 직교행렬(orthogonal matrix)이고, s는 D×(R+1)의 대각행렬(diagonal matrix), 그리고 V는 (R+1)×(R+1)의 직교행렬이다.
수학식 8과 같이 분해된 행렬 A의 의사 역행렬은 다음의 수학식 9와 같다.
Figure 112010084879023-pat00012
여기서, S+는 행렬 S의 전치행렬(transposed matrix)을 나타낸다. 따라서 수학식 7의 해는 다음의 수학식 10과 같이 산출된다.
Figure 112010084879023-pat00013
이상에서 설명한 과정에 의해 추정된 점 확산 함수는 이후 웨이블릿 기저함수로부터 베이글릿 기저함수를 산출하는 데 사용된다.
먼저 1차원 스케일링 함수 및 1차원 웨이블릿 함수는 다음의 수학식 11과 같이 정의된다.
Figure 112010084879023-pat00014
여기서, φ(x)는 1차원 스케일링 함수, ψ(x)는 1차원 웨이블릿 함수, hφ(n)은 스케일링 함수 계수, hψ(n)은 웨이블릿 함수 계수, 그리고 φ는 배율조정 함수이다.
도 6은 1차원 스케일링 함수 및 웨이블릿 함수를 나타낸 도면으로, 도 5의 (a)는 1차원 스케일링 함수, 그리고 (b)는 1차원 웨이블릿 함수이다.
수학식 11의 1차원 함수는 2차원으로 확장될 수 있는데, 2차원 스케일링 함수 및 2차원 웨이블릿 함수는 다음의 수학식 12와 같이 얻어진다.
Figure 112010084879023-pat00015
여기서, φ(x,y)는 2차원 스케일링 함수를 나타내며, ψH(x,y), ψV(x,y) 및 ψD(x,y)는 각각 수평, 수직 및 대각 방향의 웨이블릿 함수를 나타낸다.
도 7은 도 6의 1차원 스케일링 함수 및 웨이블릿 함수로부터 산출된 2차원 스케일링 함수 및 웨이블릿 함수를 나타낸 도면이다.
베이글릿 산출부(140)에 의해 사용되는 웨이블릿 기저함수는 다음의 수학식 13과 같이 웨이블릿 함수를 변형함으로써 얻어진다.
Figure 112010084879023-pat00016
여기서, hG는 대역폭이 웨이블릿 기저함수의 크기를 넘지 않는 가우시안 저역통과 필터이며, *는 컨벌루션(convolution)을 의미한다. 도 8은 도 7의 웨이블릿 함수가 변형되어 얻어진 웨이블릿 기저함수를 나타낸 도면이다.
베이글릿 산출부(140)는 수학식 10과 같이 추정된 점 확산 함수의 계수들과 수학식 13과 같이 산출된 웨이블릿 기저함수들을 사용하여 다음의 수학식 14와 같이 베이글릿 기저함수를 산출한다.
Figure 112010084879023-pat00017
여기서, h(x,y)- 1는 추정된 점 확산 함수의 역함수를 나타낸다.
영상 복원부(150)는 베이글릿 기저함수에 의해 필터링된 웨이블릿 계수들에 대한 웨이블릿 역변환을 수행하여 보정영상을 생성한다. 베이글릿 기저함수에 의한 웨이블릿 역변환은 다음의 수학식 15와 같이 표현된다.
Figure 112010084879023-pat00018
여기서,
Figure 112010084879023-pat00019
는 보정영상의 각 화소를 나타내며, Wi , UP은 각 서브대역을 구성하는 웨이블릿 계수를 2배로 업샘플링한 것을 의미한다.
이와 같은 베이글릿 기저함수에 의한 웨이블릿 역변환을 통하여 얻어진 보정영상은 원본영상으로부터 노이즈가 제거됨과 동시에 에지 성분이 보존된 결과를 나타낸다. 특히, 베이글릿 기저함수에 산출되는 점 확산 함수의 계수들을 임의로 설정하지 않고 원본영상의 에지성분으로부터 추정함으로써 화질 개선의 성능을 더욱 향상시킬 수 있다.
도 9는 본 발명에 따른 베이글릿-웨이블릿 분해에 의한 실시간 영상 복원 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
도 9를 참조하면, 웨이블릿 변환부(110)는 입력받은 원본영상에 이산 웨이블릿 변환을 수행하여 복수의 서브밴드를 생성한다(S910). 노이즈 제거부(120)는 각각의 서브밴드를 구성하는 웨이블릿 계수들을 필터링하여 원본영상의 잡음을 제거한다(S920). 이때 서브밴드들 중 LL 서브밴드를 구성하는 웨이블릿 계수들로부터 알파맵을 생성하여 평탄영역과 에지영역을 분할한 후 각각의 영역에 서로 다른 방법을 적용하여 노이즈를 제거할 수 있다. 노이즈 제거 과정에 대하여는 앞에서 설명한 바 있으므로 상세한 설명은 생략한다.
다음으로 에지 주변의 완전한 노이즈 제거를 위하여 웨이블릿 역변환에 사용될 베이글릿 기저함수의 산출이 수행된다. 점 확산 함수 추정부(130)는 원본영상으로부터 추출된 에지의 방향을 기초로 원본영상의 점 확산 함수를 구성하는 계수들을 추정한다(S930). 베이글릿 산출부(140)는 이산 웨이블릿 변환을 위한 웨이블릿 기저함수와 추정된 점 확산 함수를 기초로 베이글릿 기저함수를 산출한다(S940).
영상 복원부(150)는 산출된 베이글릿 기저함수를 사용하여 노이즈 제거부(120)에 의해 필터링된 웨이블릿 계수들에 대한 웨이블릿 역변환을 수행하여 보정영상을 생성한다(S950). 생성된 보정영상은 원본영상으로부터 노이즈는 제거되고 에지와 같은 중요한 성분은 보존된 결과를 나타낸다.
본 발명의 성능을 평가하기 위한 실험을 2.66GHz CPU와 8GB 램이 구비된 PC에서 수행하였다. 도 10은 기존의 영상 복원 기법과 본 발명의 성능을 비교한 결과를 나타낸 도면으로, (a)는 잡음이 없는 영상, (b)는 잡음이 추가되어 훼손된 영상, 그리고 (c) 내지 (f)는 각각 서로 다른 기법에 의해 복원된 영상을 나타낸다. 구체적으로, (c)는 Fourier-wavelet regularized deconvolution에 의한 노이즈 제거 기법(이하, '선행기술1'이라 한다)을 적용하여 복원된 영상, (d)는 Pointwise shape-adaptive DCT에 의한 노이즈 제거 기법(이하, '선행기술2'라 한다), (e)는 two-step iterative shrinkage/thresholding에 의한 노이즈 제거 기법(이하, '선행기술3'이라 한다)을 적용하여 복원된 영상, 그리고 (f)는 본 발명을 적용하여 복원된 영상이다.
또한 도 11은 선행기술1 내지 선행기술3 외에 기존의 CLS 필터와 본 발명의 노이즈 제거 성능을 SNR 및 연산 수행 시간을 통하여 비교한 결과를 나타낸 것이다. 도 10 및 도 11을 참조하면, 본 발명에 의하여 영상의 노이즈를 제거할 경우에 노이즈가 없는 원본영상과 가장 근접한 결과가 얻어짐을 시각적으로도 확인할 수 있으며, 선행기술1 내지 선행기술3에 비하여는 SNR과 연산시간 면에서 현저히 향상된 성능을 보임을 알 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
110 - 웨이블릿 변환부
120 - 노이즈 제거부
130 - 점 확산 함수 추정부
140 - 베이글릿 산출부
150 - 영상 복원부

Claims (11)

  1. 입력받은 원본영상에 이산 웨이블릿 변환을 수행하여 복수의 서브밴드를 생성하는 웨이블릿 변환부;
    상기 각각의 서브밴드를 구성하는 웨이블릿 계수들을 필터링하여 상기 원본영상의 잡음을 제거하는 노이즈 제거부;
    상기 원본영상을 복수의 하위영역으로 분할하여 상기 각각의 하위영역으로부터 추출된 에지의 방향에 대한 계단 응답을 산출하고, 상기 계단 응답의 평균을 기초로 상기 원본영상의 점 확산 함수를 구성하는 계수들을 추정하는 점 확산 함수 추정부;
    상기 이산 웨이블릿 변환을 위한 웨이블릿 기저함수와 상기 추정된 점 확산 함수를 기초로 베이글릿 기저함수를 산출하는 베이글릿 산출부; 및
    상기 베이글릿 기저함수에 의해 상기 필터링된 웨이블릿 계수들에 대한 웨이블릿 역변환을 수행하여 보정영상을 생성하는 영상 복원부;를 포함하는 것을 특징으로 하는 실시간 영상 복원 장치.
  2. 삭제
  3. 제 1항에 있어서,
    상기 노이즈 제거부는 상기 서브밴드들 중에서 저역성분의 서브밴드를 구성하는 웨이블릿 계수의 분산을 기초로 생성된 알파맵에 의해 상기 저역성분의 서브밴드를 제외한 나머지 서브밴드들의 웨이블릿 계수들을 평탄 영역과 에지 영역으로 분할하여 상기 원본영상의 잡음을 제거하는 것을 특징으로 하는 실시간 영상 복원 장치.
  4. 제 3항에 있어서,
    상기 노이즈 제거부는 상기 저역성분의 서브밴드를 제외한 나머지 서브밴드들의 웨이블릿 계수들에 상기 알파맵의 데이터값들을 각각 곱하여 상기 평탄 영역의 잡음을 제거하고, 상기 저역성분의 서브밴드를 제외한 나머지 서브밴드들 중 수직성분을 나타내는 서브밴드 및 수평성분을 나타내는 서브밴드의 동일한 지점에 위치하는 웨이블릿 계수들 중에서 엔트로피 값이 더 큰 웨이블릿 계수의 값을 축소하여 상기 에지 영역의 잡음을 제거하는 것을 특징으로 하는 실시간 영상 복원 장치.
  5. 제 1항에 있어서,
    상기 베이글릿 산출부는 상기 점 확산 함수의 역함수와 상기 웨이블릿 기저함수의 컨벌루션에 의해 상기 베이글릿 기저함수를 산출하는 것을 특징으로 하는 실시간 영상 복원 장치.
  6. 입력받은 원본영상에 이산 웨이블릿 변환을 수행하여 복수의 서브밴드를 생성하는 웨이블릿 변환단계;
    상기 각각의 서브밴드를 구성하는 웨이블릿 계수들을 필터링하여 상기 원본영상의 잡음을 제거하는 노이즈 제거단계;
    상기 원본영상을 복수의 하위영역으로 분할하여 상기 각각의 하위영역으로부터 추출된 에지의 방향에 대한 계단 응답을 산출하고, 상기 계단 응답의 평균을 기초로 상기 원본영상의 점 확산 함수를 구성하는 계수들을 추정하는 점 확산 함수 추정단계;
    상기 이산 웨이블릿 변환을 위한 웨이블릿 기저함수와 상기 추정된 점 확산 함수를 기초로 베이글릿 기저함수를 산출하는 베이글릿 산출단계; 및
    상기 베이글릿 기저함수에 의해 상기 필터링된 웨이블릿 계수들에 대한 웨이블릿 역변환을 수행하여 보정영상을 생성하는 영상 복원단계;를 포함하는 것을 특징으로 하는 실시간 영상 복원 방법.
  7. 삭제
  8. 제 6항에 있어서,
    상기 노이즈 제거단계에서, 상기 서브밴드들 중에서 저역성분의 서브밴드를 구성하는 웨이블릿 계수의 분산을 기초로 생성된 알파맵에 의해 상기 저역성분의 서브밴드를 제외한 나머지 서브밴드들의 웨이블릿 계수들을 평탄 영역과 에지 영역으로 분할하여 상기 원본영상의 잡음을 제거하는 것을 특징으로 하는 실시간 영상 복원 방법.
  9. 제 8항에 있어서,
    상기 노이즈 제거단계에서, 상기 저역성분의 서브밴드를 제외한 나머지 서브밴드들의 웨이블릿 계수들에 상기 알파맵의 데이터값들을 각각 곱하여 상기 평탄 영역의 잡음을 제거하고, 상기 저역성분의 서브밴드를 제외한 나머지 서브밴드들 중 수직성분을 나타내는 서브밴드 및 수평성분을 나타내는 서브밴드의 동일한 지점에 위치하는 웨이블릿 계수들 중에서 엔트로피 값이 더 큰 웨이블릿 계수의 값을 축소하여 상기 에지 영역의 잡음을 제거하는 것을 특징으로 하는 실시간 영상 복원 방법.
  10. 제 6항에 있어서,
    상기 베이글릿 산출단계에서, 상기 점 확산 함수의 역함수와 상기 웨이블릿 기저함수의 컨벌루션에 의해 상기 베이글릿 기저함수를 산출하는 것을 특징으로 하는 실시간 영상 복원 방법.
  11. 제 6항에 기재된 실시간 영상 복원 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020100132516A 2010-12-22 2010-12-22 베이글릿-웨이블릿 분해에 의한 실시간 영상 복원 장치 및 방법 KR101180884B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100132516A KR101180884B1 (ko) 2010-12-22 2010-12-22 베이글릿-웨이블릿 분해에 의한 실시간 영상 복원 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100132516A KR101180884B1 (ko) 2010-12-22 2010-12-22 베이글릿-웨이블릿 분해에 의한 실시간 영상 복원 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120070961A KR20120070961A (ko) 2012-07-02
KR101180884B1 true KR101180884B1 (ko) 2012-09-07

Family

ID=46706119

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100132516A KR101180884B1 (ko) 2010-12-22 2010-12-22 베이글릿-웨이블릿 분해에 의한 실시간 영상 복원 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101180884B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101361114B1 (ko) * 2012-07-12 2014-02-13 매크로영상기술(주) 디지털 영상을 위한 적응적 잡음 저감 시스템 및 그 방법
CN107067378A (zh) * 2017-03-14 2017-08-18 中国农业大学 一种人体运动序列降噪方法及装置
CN111815556B (zh) * 2020-05-28 2024-01-16 北京易航远智科技有限公司 基于纹理提取和小波变换的车载鱼眼相机自诊断方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005296331A (ja) 2004-04-12 2005-10-27 Toshiba Corp 超音波診断装置及び画像データ処理装置
JP2007072558A (ja) * 2005-09-05 2007-03-22 Matsushita Electric Ind Co Ltd 画像処理装置および画像処理方法
KR101025569B1 (ko) 2009-10-13 2011-03-28 중앙대학교 산학협력단 이산 웨이블렛 변환을 기반으로 하는 영상의 노이즈 제거 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005296331A (ja) 2004-04-12 2005-10-27 Toshiba Corp 超音波診断装置及び画像データ処理装置
JP2007072558A (ja) * 2005-09-05 2007-03-22 Matsushita Electric Ind Co Ltd 画像処理装置および画像処理方法
KR101025569B1 (ko) 2009-10-13 2011-03-28 중앙대학교 산학협력단 이산 웨이블렛 변환을 기반으로 하는 영상의 노이즈 제거 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문:전자공학회논문지*

Also Published As

Publication number Publication date
KR20120070961A (ko) 2012-07-02

Similar Documents

Publication Publication Date Title
JP5163489B2 (ja) 画像処理方法、画像処理プログラム、および画像処理装置
KR101265956B1 (ko) 블록 기반의 영상 복원 시스템 및 방법
KR100790980B1 (ko) 영상 신호의 주파수 성분에 따라 후처리를 달리하는 영상신호의 후처리 회로
JP5352942B2 (ja) 画像処理方法、画像処理プログラム、および画像処理装置
KR100965880B1 (ko) 영상의 잡음 제거 방법
Jalobeanu et al. Satellite image deconvolution using complex wavelet packets
Cho et al. Fast image enhancement in compressed wavelet domain
KR101044940B1 (ko) 에지 플로우 방향성 필터와 커블릿 변환을 이용한 블록현상 제거 방법 및 장치
JP4862897B2 (ja) 画像処理方法
CN105096280A (zh) 处理图像噪声的方法及装置
Jalobeanu et al. Satellite image deblurring using complex wavelet packets
WO2010086973A1 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
KR20110108918A (ko) 부호화된 영상의 확대비 및 노이즈 강도 추정장치 및 방법
Hossain et al. Medical image enhancement based on nonlinear technique and logarithmic transform coefficient histogram matching
JP5256582B2 (ja) 画像処理方法、画像処理プログラム、および画像処理装置
US9111339B1 (en) System and method for reducing noise from an image
KR101180884B1 (ko) 베이글릿-웨이블릿 분해에 의한 실시간 영상 복원 장치 및 방법
Makandar et al. Computation pre-processing techniques for image restoration
KR20090079470A (ko) 카메라 모듈에서 신호 의존적인 잡음 추정 장치 및 방법
Ono et al. Optimized JPEG image decompression with super-resolution interpolation using multi-order total variation
KR101025569B1 (ko) 이산 웨이블렛 변환을 기반으로 하는 영상의 노이즈 제거 장치 및 방법
KR101734419B1 (ko) 이미지 복원 장치 및 방법
Sari et al. Development of denoising method for digital image in low-light condition
He et al. A novel hybrid model framework to blind color image deconvolution
US20090226108A1 (en) Multi-pass algorithm to reduce ringing artifacts in noise removal and deblur effects

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150619

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170626

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee