KR101348931B1 - 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법 - Google Patents

이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법 Download PDF

Info

Publication number
KR101348931B1
KR101348931B1 KR1020110146485A KR20110146485A KR101348931B1 KR 101348931 B1 KR101348931 B1 KR 101348931B1 KR 1020110146485 A KR1020110146485 A KR 1020110146485A KR 20110146485 A KR20110146485 A KR 20110146485A KR 101348931 B1 KR101348931 B1 KR 101348931B1
Authority
KR
South Korea
Prior art keywords
resolution image
image
low
discrete wavelet
high frequency
Prior art date
Application number
KR1020110146485A
Other languages
English (en)
Other versions
KR20130077653A (ko
Inventor
임종명
유지상
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020110146485A priority Critical patent/KR101348931B1/ko
Publication of KR20130077653A publication Critical patent/KR20130077653A/ko
Application granted granted Critical
Publication of KR101348931B1 publication Critical patent/KR101348931B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

저해상도 영상을 입력받아, 저해상도 영상을 이산 웨이블릿 변환(DWT)으로 동일크기로 샘플링하여 고주파 부대역을 생성하고, 저해상도 영상 및 고주파 부대역을 조합하여 이산 웨이블릿 역변환(Inverse DWT)으로 고해상도 영상을 획득하는 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법에 관한 것으로서, (a) 저해상도 영상을 입력받는 단계; (b) 저해상도 영상을 이산 웨이블릿 변환(DWT)으로 동일크기로 샘플링하여 고주파 부대역들을 생성하는 단계; 및, (f) 저해상도 영상을 저주파 부대역으로 고주파 부대역들과 조합하고, 조합된 부대역을 이산 웨이블릿 역변환(Inverse DWT)으로 고해상도 영상을 획득하는 단계를 포함하는 구성을 마련한다.
상기와 같은 초고해상도 영상 획득 방법에 의하여, 기존의 보간법에 의한 고해상도 복원 방법에 비해 처리 효율을 향상시킬 수 있으며, 확률 기반의 고해상도 복원 방법들에 비해 처리시간을 줄일 수 있다.

Description

이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법 { A Super-resolution Method using Discrete Wavelet Transform for Single-image }
본 발명은 저해상도 영상을 입력받아, 상기 저해상도 영상을 이산 웨이블릿 변환(Discrete Wavelet Transform: DWT)으로 동일크기로 샘플링하여 고주파 부대역을 생성하고, 상기 저해상도 영상 및 상기 고주파 부대역을 조합하여 이산 웨이블릿 역변환(Inverse Discrete Wavelet Transform: Inverse DWT)으로 고해상도 영상을 획득하는 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법에 관한 것이다.
최근 통신 및 디스플레이 등의 기술 발달로 많은 응용분야에서 고해상도의 영상을 필요로 하고 있다. 고해상도란 영상내의 화소 밀도가 높은 것을 의미한다. 이는 더 세부적이고 정교한 처리를 가능하게 한다. 예를 들어 CCTV 촬영영상, 인공위성 관찰영상, 의료영상 등 정교한 분석을 요하는 영상처리 분야에서 그 필요성이 강조되고 있다. 디지털 영상과 동영상들의 획득이 쉬워짐에 따라 그 응용분야가 점점 더 넓어지고 있다. 하지만 고해상도의 영상을 획득하기 위해서는 높은 비용과 정밀 광학기술이 요구되어, 이 한계를 극복하기 위한 기술의 필요성이 대두 되었다[문헌 1, 2].
초고해상도 기법은 관찰되었던 단일 혹은 다수의 저해상도의 영상으로부터 고해상도의 영상을 생성하는 기술이다. 디지털 영상 매체에 의해 획득된 영상은 고해상도의 자연 영상이 저주파 대역필터를 통과한 후, 다운 샘플링된 영상으로 모델링 될 수 있다. 이 과정을 거치면서 획득된 영상은 에일리어싱(aliasing) 현상에 의해 많은 고주파 성분의 정보가 손실된다. 따라서 손실된 고주파 성분을 효과적으로 복원하고 영상의 해상도를 높이는 것이 초고해상도 기법의 목표이다[문헌 1-4].
단일 영상의 초고해상도 기법은 여러 영상을 참조하지 않는 특성상 데이터 손실 부분을 복원하는 부분에는 한계가 있다는 단점이 있지만, 그 처리 속도가 빠른 장점이 있다. 단일 영상의 초고해상도 기법과 밀접한 연관이 있는 보간법(interpolation)은 영상의 해상도를 높이기 위해 기존 화소들 사이에 적절한 값을 삽입하는 기술이다. 전통적인 영상 보간법은 저해상도 영상에서 화소의 가중치 합(weighted-sum)에 기반을 두고 있으며, 그 중 대표적인 방법으로 최단입점 보간법(nearest-neighbor interpolation), 이중 선형 보간법(bi-linear interpolation), 고등차수 보간법(bi-cubic interpolation) 등이 있다[문헌 5]. 이러한 방법들은 선형 필터의 개념으로 해석될 수 있다. 즉 저해상도 영상은 필터의 입력 신호가 되고 이 영상에 곱해지는 가중치들은 필터의 계수가 되며, 전체적인 영상의 확대 과정은 저해상도의 입력 영상을 업 샘플링한 후 필터를 적용하는 것으로 이해할 수 있다. 따라서 필터 계수가 되는 가중치들의 주파수 특성을 확인함으로써 해당 보간법의 성능을 분석할 수 있다. 이러한 관점에서 볼 때 가중치 기반 방법들은 대부분 저주파 대역필터의 특성을 가지고 있으므로 에일리어싱에 의해 손상된 고주파 성분을 효과적으로 복원할 수 없다.
이러한 문제를 해결하기 위하여 최근에는 영상 보간을 웨이블릿 영역에서 수행하는 여러 방법들이 제안되었다[문헌 6-9]. 웨이블릿 영역에서의 영상 보간은 저주파 대역을 나타내는 부대역(sub-band)들의 계수들로부터 고주파 대역을 나타내는 부대역의 계수의 크기와 부호를 추정하는 과정으로 볼 수 있다[문헌 10-12]. 웨이블릿 영역의 각 부대역들의 같은 위치에 해당하는 계수들은 통계적으로 밀접한 연관성을 가지고 있으며, 이 계수들의 크기는 은닉 마코프 트리(Hidden Markov Tree: HMT) 모델로 효과적으로 모델링 될 수 있다[문헌 13]. 이러한 웨이블릿 영역에서 HMT 모델은 잡음 제거 분야에서 좋은 성능을 보여준다. 그러나 잡음 제거와는 달리 영상 보간에서는 저해상도 입력 영상으로부터 고주파 대역의 부대역에 대한 어떤 정보도 직접 획득할 수 없으며, 이러한 정보는 보통 훈련(training)을 위한 데이터로부터 획득된다. 그러나 이렇게 획득된 통계적 정보는 입력 영상의 원래 정보와 비교할 때 신뢰성이 낮으며 연산의 복잡도가 증가하는 단점이 있다.
[문헌 1] S. Park, M. Park, and M. Kang, "Super-resolution image reconstruction : A technical overview", IEEE Signal Processing Magazine, vol. 20, pp.2136, May 2003. [문헌 2] M. Irani and S. Peleg, "Improving resolution by image registration", Computer Vision Graphical Image Processing : Graphical Models and Image Processing, vol. 53, pp. 231-239, 1991. [문헌 3] R. R. Schultz and R. L. Stevenson, "Extraction of high-resolution frames from video sequences", IEEE Trans. on Image Processing, vol. 5, pp. 9961011, June 1996 [문헌 4] Freeman W. T., Jonesm T. R., and Pasztor E. C. "Example-based super0resolution", IEEE, Trans. on Computer Graphics and Applications, vol. 22, pp. 56-65, 2002. [문헌 5] 강형곤, 전준철, "양선형 보간법을 이용한 텍스츄어 매핑", 한국정보과학회 봄 학술발표논문집, vol. 26, no. 1, pp. 644-646, 1999년. [문헌 6] Litakathunisa, C. N. Ravi Kumar and V.K. Ananthashayana, "Super resolution reconstruction of compressed low resolution images using wavelet lifting schemes", Proc. ICCEE'09, 2nd International Conference on Electrical & Computer Engineering, pp. 629-633, Dec 28-30, 2009. [문헌 7] Murat Belge, Misha E. Kilmer, and Eric L. Miller, "Wavelet domain image restoration with adaptive edge-preserving regularization", IEEE Trans. on Image Processing, vol. 9, no. 4, pp. 597-608, April 2000. [문헌 8] M. Dirk Robinson, Cynthia A. Toth, Joseph Y. Lo, and Sina Farsiu, "Efficient Fourier-wavelet super-resolution", IEEE Trans. on Image Processing, vol. 19, no. 10, pp. 2669-2681, Oct. 2010. [문헌 9] Li Pu, Weiqi Jin, and Yushu Liu, "A post wavelet iterative filtering MAP super-resolution algorithm", 4th International Conference on Fuzzy Systems and Knowledge Discovery, vol. 4, pp. 226-230, Dec. 2007. [문헌 10] G. Anbarjafari and H. Demirel, "Image super resolution based on interpolation of wavelet domain high frequency sub-bands and the spatial domain input image", ETRI Journal, vol. 32, no. 3, pp. 390-394, Jun. 2010. [문헌 11] Gajjar P. P. and Joshi M, V., "New learning based super-resolution : Use of DWT and IGMRF prior", IEEE Trans. on Image Processing, vol. 19, no. 5, pp. 1201-1213, May 2010. [문헌 12] 백영현, 변오성, 문성룡, "웨이브렛 기저를 이용한 초해상도 기반 복원 알고리즘", 대한전자공학회논문지, 제44권, SP편, 제1호, pp. 17-25, 2007년 1월. [문헌 13] L. Peter, A. Joch, J. Lainema, G. Bjontegaard and M. Karczewicz, "Adaptive de-blocking filter", IEEE Trans. on Circuits and Systems for Video Technology, vol. 13, pp. 614-619, July 2003. [문헌 14] 서영호, 김종현, 김대경, 유지상, 김동욱, "DWT를 이용한 영상압축을 위한 경계 화소의 효과적인 처리방법", 한국통신학회논문지, 제29권 제6A호, pp. 618-627, June 2002.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 저해상도 영상을 입력받아, 상기 저해상도 영상을 이산 웨이블릿 변환(DWT)으로 동일크기로 샘플링하여 고주파 부대역을 생성하고, 상기 저해상도 영상 및 상기 고주파 부대역을 조합하여 이산 웨이블릿 역변환(Inverse DWT)으로 고해상도 영상을 획득하는 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법을 제공하는 것이다.
즉, 본 발명의 목적은 이산 웨이블릿 변환을 이용하여 효율적인 초고해상도 방법으로서, 주어진 영상에 대하여 다운 샘플링을 하지 않고 DWT를 수행하여 주어진 영상과 동일한 해상도의 고주파 부대역들을 획득하고, 이 고주파 부대역들과 주어진 영상을 이산 웨이블릿 역변환(Inverse DWT)을 통해 합성함으로써 해상도가 높은 영상을 획득하는 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 저해상도 영상을 입력받아 상기 저해상도 영상으로부터 고해상도 영상을 획득하는 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법에 관한 것으로서, (a) 저해상도 영상을 입력받는 단계; (b) 상기 저해상도 영상을 이산 웨이블릿 변환(DWT)으로 동일크기로 샘플링하여 고주파 부대역들을 생성하는 단계; 및, (f) 상기 저해상도 영상을 저주파 부대역으로 상기 고주파 부대역들과 조합하고, 상기 조합된 부대역을 이산 웨이블릿 역변환(Inverse DWT)으로 고해상도 영상을 획득하는 단계를 포함하는 것을 특징으로 한다.
또한, 저해상도 영상을 입력받아 상기 저해상도 영상으로부터 고해상도 영상을 획득하는 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법에 관한 것으로서, (a) 저해상도 영상을 입력받는 단계; (b) 상기 저해상도 영상을 이산 웨이블릿 변환(DWT)으로 동일크기로 샘플링하여 고주파 부대역들(이하 제1 고주파 부대역들)을 생성하는 단계; (c) 상기 저해상도 영상에 0-화소 삽입 확장(Wavelet Zero Padding : WZP)을 적용하는 단계; (d) 상기 WZP을 적용한 영상에 이산 웨이블릿 변환(DWT)으로 다운샘플링하여 고주파 부대역들(이하 제2 고주파 부대역)을 구하는 단계; (e) 상기 제1 및 제2 고주파 부대역들을 합성하는 단계; 및, (f) 상기 저해상도 영상을 저주파 부대역으로 상기 합성한 고주파 부대역들과 조합하고, 상기 조합된 부대역을 이산 웨이블릿 역변환(Inverse DWT)으로 고해상도 영상을 획득하는 단계를 포함하는 것을 특징으로 한다.
또, 본 발명은 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법에 있어서, 상기 방법은, (g) 상기 고해상도 영상에 블록 현상 제거 필터(de-blocking filter)를 적용하는 단계를 더 포함하는 것을 특징으로 한다.
또, 본 발명은 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법에 있어서, 상기 (b)단계에서, 상기 저해상도 영상에 Daubechies 9/7의 계수를 이산 웨이블릿 변환(DWT)의 필터 계수로 사용하는 것을 특징으로 한다.
또, 본 발명은 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법에 있어서, 상기 (b)단계에서, 상기 고주파 부대역들의 데이터를 4로 나누어 보정하는 것을 특징으로 한다.
또, 본 발명은 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법에 있어서, 상기 (e)단계에서, 상기 제1 및 제2 고주파 부대역의 데이터를 평균하여 합성하는 것을 특징으로 한다.
또, 본 발명은 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법에 있어서, 상기 (g)단계에서, 상기 블록 현상 제거 필터를 블록단위로 적용하되, 블록이 영상의 경계가 아닌 경우에만 적용하는 것을 특징으로 한다.
또, 본 발명은 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법에 있어서, 상기 (g)단계에서, 상기 블록이 2*2인 것을 특징으로 한다.
또, 본 발명은 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법에 있어서, 상기 (g)단계에서, 상기 블록이 [수식 1]을 만족하는 경우에만 상기 블록 현상 제거 필터를 적용하는 것을 특징으로 한다.
[수식 1]
Figure 112011105202309-pat00001
단, α는 임의의 값, p0과 a0은 블록 경계의 화소 위치.
또한, 본 발명은 상기 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
상술한 바와 같이, 본 발명에 따른 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법에 의하면, 기존의 보간법에 의한 고해상도 복원 방법에 비해 처리 효율을 향상시킬 수 있으며, 확률 기반의 고해상도 복원 방법들에 비해 처리시간을 줄일 수 있는 효과가 얻어진다.
도 1은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 제1 실시예에 따른 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법을 설명하는 흐름도이다.
도 3은 본 발명에 따라 1차원 DWT를 설명하는 도면이다.
도 4는 본 발명에 따른 2차원 DWT의 과정을 설명하는 도면이다.
도 5는 본 발명에 따른 Daubechies 웨이블릿 필터 계수의 표를 도시한 것이다.
도 5는 본 발명에 따른 원본영상과 원본영상의 2차원 DWT 영상의 일례를 도시한 것이다.
도 6은 본 발명에 따른 1/2 화소 보간시의 6-tap FIR 필터 적용한 일례를 도시한 것이다.
도 7은 본 발명에 따른 저해상도 영상과 저해상도 영상으로부터 획득한 고주파 부대역을 합성한 2차원 DWT영상의 일례를 도시한 것이다.
도 8은 본 발명에 따른 서로 다른 해상도를 가지고 있는 영상의 화소의 일례를 도시한 것이다.
도 9는 본 발명의 제2 실시예에 따른 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법을 설명하는 흐름도이다.
도 10은 본 발명에 따른 제안하는 기법을 통해 획득한 2차원 DWT 영상의 일례를 도시한 것이다.
도 11은 본 발명에 따른 블록 현상 제거 필터 과정의 일례를 도시한 것이다.
도 12는 본 발명에 따른 블록 현상 제거 필터의 결과의 일례를 도시한 것이다.
도 13은 본 발명에 따른 Lena, MIT, Pepper 영상의 저해상도 영상과 제안된 기법을 적용하여 저해상도 영상을 복원한 영상의 일례를 도시한 것이다.
도 14는 본 발명에 따른 저해상도 영상을 최단입점 보간법, 이중 선형 보간법, 고등차수 보간법, WZP 그리고 본 발명을 이용하여 고해상도 영상으로 복원한 후, 고해상도 원본 영상과의 PSNR을 측정한 결과의 일례를 도시한 것이다.
도 15는 본 발명에 따른 Lena, MIT, Pepper 영상의 원본 영상과 실험 영상을 고등차수 보간법과 본 발명을 적용하여 고해상도화한 영상의 일례를 도시한 것이다.
도 16은 본 발명에 따라 Pepper 영상의 고해상도 원본 영상과 고등차수 보간법과 본 발명을 이용하여 복원한 결과 영상의 일부분을 2배 확대하여 나타낸 그림의 일례이다.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.
도 1에서 보는 바와 같이, 본 발명에 따른 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법은 저해상도 영상(또는 이미지)(10)을 입력받아 상기 이미지(또는 영상)상기 저해상도 영상으로부터 고해상도 영상을 획득하는 컴퓨터 단말(20) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 초고해상도 영상 획득 방법은 프로그램으로 구성되어 컴퓨터 단말(20)에 설치되어 실행될 수 있다. 컴퓨터 단말(20)에 설치된 프로그램은 하나의 프로그램 시스템(30)과 같이 동작할 수 있다.
한편, 다른 실시예로서, 초고해상도 영상 획득 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 저해상도 영상(또는 이미지)으로부터 고해상도 영상을 획득하는 것만을 전용으로 처리하는 전용 컴퓨터 단말(20)로 개발될 수도 있다. 이를 초고해상도 영상 복원 장치라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.
저해상도 영상(10)은 연속적인 시간상에서 일련의 프레임으로 구성된 영상일 수 있다. 이 경우, 각 프레임 단위의 이미지로부터 초고해상도 프레임을 획득하여, 일련의 초고해상도 프레임을 획득한다. 그리고 일련의 초고해상도 프레임을 연속적인 시간상으로 구성하여 초고해상도 영상을 획득한다.
또한, 저해상도 영상(10)은 하나의 이미지를 의미할 수도 있다. 이 경우, 하나의 저해상도 이미지로부터 초고해상도 이미지를 획득한다. 따라서 영상은 고유의 영상외에도 프레임, 이미지 등을 의미한다. 이하에서 이들 용어의 구별없이 영상으로 사용하고자 한다.
또한, 초고해상도 영상을 고해상도와 혼용하기로 한다.
다음으로, 본 발명의 제1 실시예에 따른 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법을 도 2를 참조하여 설명한다.
도 2에서 보는 바와 같이, 본 발명의 제1 실시예에 따른 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법은 (a) 저해상도를 입력받는 단계(S11); (b) 저해상도 영상을 동일크기 이산 웨이블릿 변환(DWT)로 샘플링하여 고주파 부대역을 생성하는 단계(S21); 및, (f) 저해상도 영상과 고주파 부대역을 조합하여 이산 웨이블릿 역변환(Inverse DWT 또는 역DWT)로 고해상도 영상을 획득하는 단계(S61)로 구성된다. 또한, (g) 고해상도 영상에 블록현상 제거 필터를 적용하는 단계(S71)를 더 추가하여 구성될 수 있다.
웨이블릿 영역에서 수행하는 여러 초고해상도 획득 방법들의 핵심은 웨이블릿 영역에서의 고주파 대역을 의미하는 부대역을 구하는 것이다. 본 발명에서는 DWT(Discrete Wavelet Transform)에서 기본적으로 수행되는 다운 샘플링과정을 수행하지 않음으로써 획득한 고주파 대역의 부대역을 획득한다(S21). Inverse DWT를 이용하여 입력된 영상과 획득한 고주파 부대역을 합성하여 해상도가 4배 향상된 영상을 얻는다(S61). 추가적으로, 생성된 고주파 부대역이 완벽하지 않기 때문에 나타나는 블록현상을 줄여주기 위해서 블록현상 제거필터를 적용할 수 있다(S71).
본 발명의 제1 실시예에 따른 초고해상도 영상 획득 방법을 구체적으로 설명하기 전에, 2차원 이산 웨이블릿 변환(DWT)에 관하여 도 3 및 도 4를 참조하여 보다 구체적으로 설명한다.
영상처리 분야에서 활용되는 2차원 DWT은 1차원 DWT의 확장으로 볼 수 있으며, 1차원 DWT는 웨이블릿 필터를 사용하여 다음 [수학식 1]의 변환을 수행한다.
[수학식 1]
Figure 112011105202309-pat00002
여기서 x(k)는 영상의 화소를 나타내고, h(k)와 g(k)는 각각 저대역 통과 웨이블릿 필터와 고대역 통과 웨이블릿 필터를 나타내며, N과 M은 저대역과 고대역 필터 계수의 개수를 각각 나타낸다.
이 때, 사용되는 필터는 특수하게 설계된 것으로, 직교 특성, 선형 특성, 고주파와 저주파 부분을 정확하게 분할하는 특성이 있다. [수학식 1]의 연산을 그림으로 표현하면 도 3과 같이 나타낼 수 있는데, 이 도면은 본 발명에 따른 방법에서 사용한 Daubechies 9/7 웨이블릿 필터의 계수처럼 필터 계수가 모두 9개의 값(9-tap)을 갖는 것으로 가정한 것이다. 도 3에서 볼 수 있듯이 N-탭 웨이블릿 필터를 사용하는 경우 빗금 친 한 화소의 이산 웨이블릿 변환(DWT)을 수행하기 위해서 N번의 곱셈과 N-1번의 덧셈을 수행한다.
이러한 1차원 이산 웨이블릿 변환(DWT)을 2차원 영상에 대해 열 방향과 행 방향으로 각각 수행함으로써 2차원 DWT를 구현할 수 있다. 도 4에 2차원 DWT를 나타내었다. 한 영상에 대해 2차원 DWT를 수행하면 모두 4개의 결과 영상을 얻는데 각각의 열과 행에 대해 고대역-고대역(HH), 고대역-저대역(HL), 저대역-고대역(LH), 저대역-저대역(LL)을 통과한 영상이다. 이 4개의 결과 영상을 모두 사용할 경우 원 영상의 4배에 해당하는 영상데이터를 처리해야 하므로, 일반적으로 각 DWT를 수행할 때 두 화소 중 하나만을 처리하여 DWT 결과 영상의 데이터 양을 원래 영상과 동일하게 한다.
다음으로, 본 발명의 제1 실시예에 따른 초고해상도 영상 획득 방법을 구체적으로 설명한다.
앞서 설명한 바와 같이, 먼저, 저해상도 영상을 입력받는다(S11). 여기서 영상은 고유의 영상외에도 영상의 프레임, 이미지 등을 의미한다.
다음으로, 저해상도 영상을 이산 웨이블릿 변환(DWT)으로 동일크기로 샘플링하여 고주파 부대역들을 생성한다(또는 획득한다)(S21).
본 발명에 따른 초고해상도 영상 획득 방법에서는 입력되는 영상(또는 저해상도 영상)(10)보다 4배의 해상도를 갖는 영상(또는 고해상도 영상)을 획득하는 것이 목표이므로 각각의 DWT를 수행할 때 두 화소 중 하나만을 처리하는 다운 샘플링 과정을 수행하지 않고 대신 모든 화소를 처리하게 되며, 각각의 부대역들은 입력된 영상과 동일한 해상도를 갖는다. 본 발명에서 사용한 웨이블릿 기저인 Daubechies 9/7의 계수를 도 5에 나타내었다.
즉, 입력된 저해상도 영상에 Daubechies 9/7의 계수를 이산 웨이블릿 변환(DWT)의 필터 계수로 사용한다.
도 6은 본 발명에서 사용한 실험 영상인 Lena, MIT, Pepper 영상의 고해상도 영상과 이 영상들을 2차원 DWT한 결과이다. Daubechies 9/7 웨이블릿 기저를 이용한 2차원 DWT에서는 고주파 부대역(HH, HL, LH)은 도 6처럼 계수의 크기가 크지 않게 나타난다. 제안하는 기법에서는 저해상도 영상으로 고해상도 영상의 2차원 DWT의 결과 영상인 도 6의 (d), (e), (f)와 가까운 영상을 다운 샘플링 과정을 생략한 2차원 DWT를 통해 획득한다.
도 7은 저해상도 영상에 대하여 다운샘플링을 하지 않는 2차원 DWT를 수행하여 얻은 고주파 부대역(HH, HL, LH)과 실험영상(LL)을 합성하여 나타낸 그림이다. 도 7의 (a), (b), (c) 영상을 도 6의 (d), (e), (f)와 비교했을 때, 고주파 부대역의 계수의 크기가 차이가 나는 것을 확인할 수 있다.
도 8은 동일영상의 고해상도 영상과 저해상도 영상의 한 화소가 나타내는 영상의 일부분이 저해상도 영상으로 갈수록 큰 비율을 차지하는 것을 나타내는 그림이다. 2차원 DWT가 수행되면서 각 부대역들의 화소에는 영상의 9개(9탭 필터의 경우)의 화소들이 웨이블릿 저주파 대역필터와 웨이블릿 고주파 대역필터를 거쳐 화소들이 가지고 있는 저주파, 고주파 성분으로 분할되어 각 부대역 별로 저장된다. 따라서 저해상도 영상의 DWT 결과는 화소들이 영상의 높은 비율을 차지함에 따라서 비율적으로 영상의 더 많은 부분의 정보들을 포함하게 된다. 그 결과, 저해상도 영상에서 다운 샘플링과정을 생략한 2차원 DWT를 통해 획득한 고주파 부대역의 계수들은 그 크기가 고해상도 영상에서 획득한 2차원 DWT영상에 비하여 커지게 된다. 따라서 본 발명에 따른 방법에서 도 7에 나타낸 고주파 부대역을 사용할 때, 그 계수의 값을 작게하는 과정을 거친다. 저해상도 영상의 한 화소가 차지하는 영상의 비율은 고해상도 영상의 한 화소가 차지하는 비율보다 4배 높다는 점을 참고하여 이 과정에서 고주파 부대역의 데이터를 4로 나누어 준다.
즉, 고주파 부대역들의 데이터를 4로 나누어 보정한다.
다음으로, 저해상도 영상을 저주파 부대역으로 상기 고주파 부대역들과 조합하고, 상기 조합된 부대역을 이산 웨이블릿 역변환(Inverse DWT)으로 고해상도 영상을 획득한다(S61).
제1 실시예에서는 저해상도 영상에서 다운 샘플링을 수행하지 않고 2차원 DWT를 수행하여 획득한 고주파 부대역의 크기를 낮추어준 후, Inverse DWT를 하기 위한 DWT영상의 고주파 부대역으로 사용한다. 이렇게 획득한 2차원 DWT 영상으로 각 부대역(LL, LH, HL, HH)들의 해상도는 입력된 저해상도 영상의 해상도와 동일하다.
추가적으로, 고해상도 영상에 블록 현상 제거 필터(de-blocking filter)를 적용할 수 있다(S71). 블록 형상 제거 필터를 적용하는 단계(S71)는 이하 제2 실시예에서 보다 구체적으로 설명한다.
다음으로, 본 발명의 제2 실시예에 따른 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법을 도 9를 참조하여 설명한다.
도 9에서 보는 바와 같이, 본 발명의 제2 실시예에 따른 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법은 (a) 저해상도를 입력받는 단계(S12); (b) 상기 저해상도 영상을 동일크기 이산 웨이블릿 변환(DWT)로 샘플링하여 제1 고주파 부대역을 생성하는 단계(S22); (c) 상기 저해상도 영상에 0-화소 삽입 확장(Wavelet Zero Padding : WZP)을 적용하는 단계(S32); (d) WZP 적용 영상에 DWT로 샘플링하여 제2 고주파 부대역을 생성하는 단계(S42); (e) 상기 제1 및 제2 고주파 부대역을 합성하는 단계(S52); 및, (f) 상기 저해상도 영상과 합성한 고주파 부대역을 조합하여 이산 웨이블릿 역변환(Inverse DWT 또는 역DWT)로 고해상도 영상을 획득하는 단계(S62)로 구성된다. 또한, (g) 상기 고해상도 영상에 블록현상 제거 필터를 적용하는 단계(S72)를 더 추가하여 구성될 수 있다.
본 발명의 제2 실시예는 상기 제1 실시예에 비하여 고주파 부대역을 획득하는 방법에 차이가 있다. 즉, 상기 제2 실시예는 제1 실시예와 같이 획득한 고주파 부대역(제1 고주파 부대역) 외에도, 저해상도 영상에 0-화소 삽입 확장(Wavelet Zero Padding : WZP) 및 DWT의 다운샘플링을 통해 고주파 부대역(제2 고주파 부대역)을 획득하여, 상기 제1 및 제2 고주파 부대역을 합성하여 최종 고주파 부대역을 획득한다.
즉, 본 발명에서는 DWT(Discrete Wavelet Transform)에서 기본적으로 수행되는 다운 샘플링과정을 수행하지 않음으로써 획득한 고주파 대역의 부대역(S22)과 웨이블릿 0-화소 삽입 확장(Wavelet Zero Padding: WZP)의 결과(S32)를 DWT하여 얻은 부대역(S42)을 합성하여 고주파 부대역을 획득한다(S52). Inverse DWT를 이용하여 입력된 영상과 획득한 고주파 부대역을 합성하여 해상도가 4배 향상된 영상을 얻는다(S62). 마지막으로 생성된 고주파 부대역이 완벽하지 않기 때문에 나타나는 블록현상을 줄여주기 위해서 블록현상 제거필터를 적용한다(S72).
먼저, 저해상도 영상을 입력받는다(S12). 이 단계는 제1 실시예와 동일하다.
다음으로, 저해상도 영상을 이산 웨이블릿 변환(DWT)으로 동일크기로 샘플링하여 고주파 부대역들(이하 제1 고주파 부대역들)을 생성한다(또는 획득한다)(S22). 이 단계는 앞서 설명한 제1 실시예의 고주파 부대역을 생성하는 단계(S21)와 동일하다. 다만, S22 단계에서 획득한 고주파 부대역을 제1 고주파 부대역이라 부르기로 한다.
다음으로, 가상의 고주파 성분들(값이 모두 0인)을 사용하여 저해상도 영상에 0-화소 삽입 확장(Wavelet Zero Padding : WZP)을 적용한다(S32). 그리고 WZP을 적용한 영상에 이산 웨이블릿 변환(DWT)으로 다운샘플링하여 고주파 부대역들(이하 제2 고주파 부대역)을 구한다(S42).
웨이블릿 0-화소 삽입 확장(Wavelet Zero Padding : WZP)이란 2차원 DWT된 영상에 대하여 2차원 Inverse DWT를 수행할 때, 고주파 부대역들의 데이터를 모두 0으로 삽입하여 수행하는 방법으로, 웨이블릿 저주파 대역필터만을 사용하여 영상의 해상도를 높이는 방법이다.
저해상도 영상에서 다운 샘플링을 수행하지 않고 2차원 DWT를 수행하여 획득한 고주파 부대역(제1 고주파 부대역)만을 활용하여 2차원 Inverse DWT를 수행한다면, 고주파 부대역이 완벽하지 않은 이유로 주관적인 화질이 낮아진다. 이 부분을 개선하기 위하여 저해상도 영상에서 WZP를 이용하여 해상도를 높인뒤 이 결과에 2차원 DWT를 수행하여 획득한 고주파 부대역(또는 제2 고주파 부대역)을 사용하였다. 이렇게 얻은 고주파 부대역은 추가적인 고주파성분은 가지고 있지 않지만, 2차원 Inverse DWT 수행시에 주관적 화질을 저하시키지 않는다.
다음으로, 제1 및 제2 고주파 부대역들을 합성하여 최종 고주파 부대역(또는 합성한 고주파 부대역)을 생성한다(S52). 특히, 상기 제1 및 제2 고주파 부대역의 데이터를 평균하여 합성한다.
제2 실시예에서는 저해상도 영상에서 다운 샘플링을 수행하지 않고 2차원 DWT를 수행하여 획득한 고주파 부대역의 크기를 낮추어준 후, WZP와 2차원 DWT를 이용하여 획득한 고주파 부대역의 평균값으로 고주파 부대역을 생성하여 Inverse DWT를 하기 위한 DWT영상의 고주파 부대역으로 사용하였다.
다음으로, 상기 저해상도 영상을 저주파 부대역으로 상기 합성한 고주파 부대역들과 조합하고, 상기 조합된 부대역을 이산 웨이블릿 역변환(Inverse DWT)으로 고해상도 영상을 획득한다(S72).
도 10은 제안하는 기법을 이용하여 획득한 2차원 DWT 영상으로 각 부대역(LL, LH, HL, HH)들의 해상도는 입력된 저해상도 영상의 해상도와 동일하다. 도 10에서 도 7의 결과보다 도 6의 (d), (e), (f)에 표시된 원본의 고해상도 영상의 DWT 결과와 가까워진 모습을 확인할 수 있다.
추가적으로, 상기 고해상도 영상에 블록 현상 제거 필터(de-blocking filter)를 적용할 수 있다(S72). 특히, 블록 현상 제거 필터를 블록단위로 적용하되, 블록이 영상의 경계가 아닌 경우에만 적용한다. 또한, 상기 블록이 2*2의 크기로 사용하는 것이 바람직하다.
2차원 DWT의 결과로 2차원 Inverse DWT를 수행할 때, 각 부대역(LL, LH, HL, HH)의 하나의 계수는 업샘플링(up-sampling)과정과 필터링(웨이블릿 저주파 합성필터, 웨이블릿 고주파 합성필터) 과정을 거쳐 2x2의 네 개의 값으로 복원된다.
본 발명에 따른 방법을 사용하여 저해상도 영상으로부터 획득한 고주파 부대역은 고해상도 영상의 2차원 DWT의 결과와 비교했을 때, 데이터의 정확성과 화소간의 연관성부분에서 완벽하지 못하다. 이로 인하여 2차원 Inverse DWT를 수행하는 과정에서 2x2 단위의 블록현상이 나타난다. 이를 감소시켜주고자 블록 현상 제거 필터(de-blocking filter)를 적용한다. 블록 현상 제거 필터를 적용하기 위해 2x2 단위의 블록의 경계중 복원된 영상(512x512)의 경계 부분을 구분하여 복원된 영상의 선명도를 떨어뜨리지 않도록 한다. 이때 영상의 경계와 블록의 경계를 구분할 때 [수학식 2]의 조건을 두어 블록 현상 제거 필터 적용여부를 결정한다. 영상의 경계란, 영상이 가지는 에지(Edge)성분을 말한다. 영상의 경계에 블록 현상 제거 필터를 적용하게 되면 영상의 에지성분이 흐려져 주관적 화질을 저하시킨다.
[수학식 2]
Figure 112011105202309-pat00003
여기서 α는 블록이 영상의 경계 부분인지 확인하는 임의의 값으로서, 반복적인 실험을 통하여 평균적으로 우수한 효율을 보이는 값으로 결정하고, 이 식을 만족할 경우 블록현상 제거필터를 수행한다. [수학식 2]에서 p0와 q0는 2x2 블록 경계의 화소 값을 나타낸다. 즉, 블록의 경계를 기준으로 좌, 우의 화소 혹은 위, 아래의 화소 값이 된다.
즉, 상기 블록이 [수학식 2]를 만족하는 경우에만 상기 블록 현상 제거 필터를 적용한다.
[수학식 2]를 사용하여 블록 현상 제거 필터의 적용 여부를 판별한 후 필터를 적용하는 과정을 도 11에 나타냈다. 도 11(a)의 경우는 [수학식 2]를 만족하여 필터를 적용하는 경우이고 도 11(b)는 영상의 경계로 판정하여 필터를 적용시키지 않은 경우이다.
도 12는 본 발명에서 사용한 블록 현상 제거 필터를 직접 영상에 적용한 결과이다. 사용된 영상은 Lena 영상으로 Lena 영상의 머리부분의 작은 장신구를 확대하여 블록 현상 제거 필터를 적용하기 전과 적용한 후의 영상을 비교하여 나타낸 것이다. 도 12에 사각형으로 표시된 부분에서 보듯이 블록 현상 제거 필터를 적용한 후 영상의 블록 효과가 줄어들어 영상이 부드러워진 것을 확인할 수 있다.
여기서 설명되지 않는 사항은 [문헌 13] 및 [문헌 14]를 참조한다.
다음으로, 본 발명의 효과를 도 13 내지 도 16을 참조하여 보다 구체적으로 설명한다.
본 발명에서는 도 6에 보인 고해상도(512x512)의 Lena 영상, MIT 영상, Pepper 영상을 다운 샘플링하여 저해상도(256x256)의 영상을 획득한 후, 제안하는 기법을 적용하여 고해상도 영상으로 복원한 후 기법의 성능을 비교한다.
본 발명의 성능은 대표적인 보간법인 최단입점 보간법(nearest-neighbor interpolation), 이중 선형 보간법(bi-linear interpolation), 고등차수 보간법(bi-cubic interpolation)과 저해상도 영상의 정보를 웨이블릿 저주파 합성 필터를 사용하여 복원하는 웨이블릿 0-화소 삽입 확장(Wavelet Zero Padding : WZP) 기법과 비교하였다.
도 13은 Lena, MIT, Pepper 영상의 저해상도 영상과 본 발명을 적용하여 저해상도 영상을 복원한 영상이며, 도 14는 저해상도 영상을 최단입점 보간법, 이중 선형 보간법, 고등차수 보간법, WZP 그리고 본 발명(또는 제안된 기법)을 이용하여 고해상도 영상으로 복원한 후, 고해상도 원본 영상과의 PSNR을 측정한 결과이다. 도 14에서 보듯 본 발명(제안된 기법)에 따른 방법이 기존의 보간법들에 비하여 평균적으로 Lena 영상의 경우 1.65 dB, MIT 영상의 경우 2.06 dB, Pepper 영상의 경우는 0.98 dB 향상된 결과를 보여주고 있으며 따라서 제안한 기법이 기존의 보간법들에 비하여 좋은 성능을 보이는 것을 확인할 수 있고, WZP의 결과보다도 0.4 ~ 1.5 dB 향상된 결과를 보임으로써 본 발명에 따른 방법으로 획득한 고주파 성분이 영상의 품질을 향상시키는 것을 확인할 수 있다.
도 14의 PSNR을 구하기 위하여 다음의 [수학식 3] 및 [수학식 4]를 이용하였다.
[수학식 3]
Figure 112011105202309-pat00004
[수학식 4]
Figure 112011105202309-pat00005
[수학식 3]에서 m과 n은 각각 영상의 가로 길이와 세로 길이를 뜻하며 I와 K는 비교할 두 영상을 말한다. 즉, I(i, j)와 K(i, j)는 각각 비교할 두 영상의 같은 위치의 화소값을 뜻하고, MSE는 화소별 차이 값의 제곱을 뜻한다. [수학식 4]의 MAXI 는 화소간의 차이가 가질 수 있는 최대값을 뜻하고, 실험에 사용한 영상들은 0~255의 값으로 화소가 표현되므로 이 실험에서의 MAXI 값은 차이의 최대값인 255가 된다.
도 15는 실험에 사용한 Lena, MIT, Pepper 영상의 원본 영상과 실험 영상을 고등차수 보간법과 본 발명을 적용하여 고해상도화한 영상이며, 도 16은 Pepper 영상의 고해상도 원본 영상과 고등차수 보간법과 본 발명을 이용하여 복원한 결과 영상의 일부분을 2배 확대하여 나타낸 그림이다. 확대된 부분은 Pepper 영상의 우측 하단에 있는 호박의 꼭지부분으로 저주파 성분과 고주파 성분이 적절히 분배된 부분으로 판단하였다. 도 16의 사각형으로 표시한 부분을 보면 고등차수 보간법을 이용하여 복원한 영상보다 제안된 기법을 이용하여 복원한 영상이 좀 더 선명한 경계부분을 얻는 것을 확인할 수 있다.
본 발명에서는 DWT를 이용하여 단일 영상에 적용할 수 있는 초고해상도 기법을 제안하였다. 본 발명에서는 먼저 DWT를 수행할 때 수반되는 다운 샘플링 과정을 수행하지 않고 입력된 영상에 대하여 DWT를 수행하여 획득한 고주파 부대역과 WZP방식 입력된 영상을 복원한 후 DWT를 수행하여 획득한 고주파 부대역의 가중치 평균을 구하여 입력된 영상과 동일한 해상도의 고주파 부대역을 생성하고 이를 이용하여 Inverse DWT를 수행한다. 또한 Inverse DWT 를 수행하여 얻은 영상에 생기는 블록 현상에 대하여 블록 현상 제거 필터를 적용시켜 영상의 주관적인 화질을 향상시켰다.
그 결과 본 발명이 기존의 보간법들에 비하여 향상된 성능을 보인다는 것을 확인할 수 있었다. 최근 처리속도의 개선을 위하여 GPU를 사용한 알고리즘 개발이 많이 개발되고 있다. 본 발명의 실험에서는 GPU를 사용하지는 않았지만, 주어진 실험환경(Visual Studio 2008, Windows 7 64bit, 8GB, i5-2500)에서 저해상도 영상(256x256)을 고해상도 영상(512x512)으로 복원하는 데 처리시간이 약 50ms가 소요되었다. 향후 GPU 등의 고속 프로세서를 사용하여 처리속도를 개선한다면 실시간 처리에도 이용할 수 있다.
이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
10 : 저해상도 영상 20 : 컴퓨터 단말
30 : 프로그램 시스템

Claims (10)

  1. 영상(이하 저해상도 영상)을 입력받아 상기 저해상도 영상으로부터 상기 저해상도 영상보다 해상도가 높은 영상(이하 고해상도 영상)을 획득하는 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법에 있어서,
    (a) 저해상도 영상을 입력받는 단계;
    (b) 상기 저해상도 영상을 이산 웨이블릿 변환(DWT)으로 고주파 부대역(HH,HL,LH)을 생성하되, 다운 샘플링 과정을 생략하여 상기 저해상도 영상과 동일한 해상도를 갖는 고주파 부대역을 생성하는 단계; 및,
    (f) 저주파 부대역(LL)으로 상기 저해상도 영상을 사용하여, 상기 저주파 부대역(LL) 및 상기 고주파 부대역(HH,HL,LH)에 대하여 이산 웨이블릿 역변환(Inverse DWT)을 적용하고, 역변환으로 생성된 영상을 고해상도 영상으로 획득하는 단계를 포함하고,
    상기 (b)단계에서, 상기 고주파 부대역의 데이터를 4로 나누어 보정하는 것을 특징으로 하는 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법.
  2. 영상(이하 저해상도 영상)을 입력받아 상기 저해상도 영상으로부터 상기 저해상도 영상보다 해상도가 높은 영상(이하 고해상도 영상)을 획득하는 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법에 있어서,
    (a) 저해상도 영상을 입력받는 단계;
    (b) 상기 저해상도 영상을 이산 웨이블릿 변환(DWT)으로 고주파 부대역들(이하 제1 고주파 부대역들)을 생성하되, 다운 샘플링 과정을 생략하여 상기 저해상도 영상과 동일한 해상도를 갖는 제1 고주파 부대역을 생성하는 단계;
    (c) 상기 저해상도 영상에 0-화소 삽입 확장(Wavelet Zero Padding : WZP)을 적용하는 단계;
    (d) 상기 WZP을 적용한 영상에 이산 웨이블릿 변환(DWT)으로 다운샘플링하여 고주파 부대역들(이하 제2 고주파 부대역)을 구하는 단계;
    (e) 상기 제1 및 제2 고주파 부대역들을 합성하는 단계; 및,
    (f) 상기 저해상도 영상을 저주파 부대역(LL)으로 사용하고, 합성한 고주파 부대역을 고주파 부대역(HH,HL,LH)으로 사용하여, 저주파 부대역(LL) 및 고주파 부대역(HH,HL,LH)에 대하여 이산 웨이블릿 역변환(Inverse DWT)을 적용하고, 역변환으로 생성된 영상을 고해상도 영상으로 획득하는 단계를 포함하고,
    상기 (b)단계에서, 상기 제1 고주파 부대역들의 데이터를 4로 나누어 보정하는 것을 특징으로 하는 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법.
  3. 제1항 또는 제2항에 있어서, 상기 방법은,
    (g) 상기 고해상도 영상에 블록 현상 제거 필터(de-blocking filter)를 적용하는 단계를 더 포함하는 것을 특징으로 하는 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 (b)단계에서, 상기 저해상도 영상에 Daubechies 9/7의 계수를 이산 웨이블릿 변환(DWT)의 필터 계수로 사용하는 것을 특징으로 하는 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법.
  5. 삭제
  6. 제2항에 있어서,
    상기 (e)단계에서, 상기 제1 및 제2 고주파 부대역의 데이터를 평균하여 합성하는 것을 특징으로 하는 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법.
  7. 제3항에 있어서,
    상기 (g)단계에서, 상기 블록 현상 제거 필터를 블록단위로 적용하되, 블록이 영상의 경계가 아닌 경우에만 적용하는 것을 특징으로 하는 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법.
  8. 제3항에 있어서,
    상기 (g)단계에서, 상기 블록이 2*2인 것을 특징으로 하는 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법.
  9. 제7항에 있어서,
    상기 (g)단계에서, 상기 블록이 [수식 1]을 만족하는 경우에만 상기 블록 현상 제거 필터를 적용하는 것을 특징으로 하는 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법.
    [수식 1]
    Figure 112011105202309-pat00006

    단, α는 임의의 값, p0과 a0은 블록 경계의 화소 위치.
  10. 제1항 또는 제2항의 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020110146485A 2011-12-29 2011-12-29 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법 KR101348931B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110146485A KR101348931B1 (ko) 2011-12-29 2011-12-29 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110146485A KR101348931B1 (ko) 2011-12-29 2011-12-29 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법

Publications (2)

Publication Number Publication Date
KR20130077653A KR20130077653A (ko) 2013-07-09
KR101348931B1 true KR101348931B1 (ko) 2014-01-09

Family

ID=48990851

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110146485A KR101348931B1 (ko) 2011-12-29 2011-12-29 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법

Country Status (1)

Country Link
KR (1) KR101348931B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10448037B2 (en) 2015-10-21 2019-10-15 Samsung Electronics Co., Ltd. Decoding apparatus and method for discrete wavelet transform with buffer management
US11004178B2 (en) 2018-03-01 2021-05-11 Nvidia Corporation Enhancing high-resolution images with data from low-resolution images

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101537536B1 (ko) 2013-10-25 2015-07-20 삼성전자주식회사 의료 영상 장치의 영상 처리 방법 및 그 의료 영상 장치
KR101468358B1 (ko) * 2014-03-28 2014-12-11 중앙대학교 산학협력단 안티 에일리어싱 방법 및 그 장치
KR102238693B1 (ko) 2014-06-20 2021-04-09 삼성전자주식회사 포인트 클라우드에서 특징 영역을 추출하는 방법 및 장치
CN104299193B (zh) * 2014-09-29 2017-02-15 杭州电子科技大学 一种基于高频和中频信息的图像超分辨率重建方法
KR101705877B1 (ko) * 2015-05-22 2017-02-13 라온피플 주식회사 적응적 영상 보정 방법 및 장치
KR101961177B1 (ko) * 2016-07-22 2019-03-22 한국과학기술원 뉴럴 네트워크를 이용한 영상 처리 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100036475A (ko) * 2008-09-30 2010-04-08 삼성전자주식회사 고해상도 영상 획득 장치 및 그 방법
KR20100117812A (ko) * 2009-04-27 2010-11-04 전남대학교산학협력단 화소 분류를 이용한 에지보존 디블로킹 필터
KR20110020144A (ko) * 2009-08-21 2011-03-02 광운대학교 산학협력단 컨벌루션 기반 이산 웨이블릿 변환 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100036475A (ko) * 2008-09-30 2010-04-08 삼성전자주식회사 고해상도 영상 획득 장치 및 그 방법
KR20100117812A (ko) * 2009-04-27 2010-11-04 전남대학교산학협력단 화소 분류를 이용한 에지보존 디블로킹 필터
KR20110020144A (ko) * 2009-08-21 2011-03-02 광운대학교 산학협력단 컨벌루션 기반 이산 웨이블릿 변환 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10448037B2 (en) 2015-10-21 2019-10-15 Samsung Electronics Co., Ltd. Decoding apparatus and method for discrete wavelet transform with buffer management
US11004178B2 (en) 2018-03-01 2021-05-11 Nvidia Corporation Enhancing high-resolution images with data from low-resolution images
US11544818B2 (en) 2018-03-01 2023-01-03 Nvidia Corporation Enhancing high-resolution images with data from low-resolution images

Also Published As

Publication number Publication date
KR20130077653A (ko) 2013-07-09

Similar Documents

Publication Publication Date Title
KR101348931B1 (ko) 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법
JP2013235594A (ja) 低解像度の入力データ構造の超解像度バージョンを生成する方法及び装置
US9830682B2 (en) Upsampling and signal enhancement
KR20140116406A (ko) 저해상도 입력 데이터 구조의 초고해상도 버전을 생성하기 위한 방법 및 장치
JP2002269556A (ja) デジタル画像からノイズを除去する複数解像度に基づく方法
WO2023000179A1 (zh) 视频超分辨网络及视频超分辨、编解码处理方法、装置
Bagawade Ramdas et al. Wavelet transform techniques for image resolution enhancement: a study
Harikrishna et al. Satellite image resolution enhancement using DWT technique
Rakhshanfar et al. Low-frequency image noise removal using white noise filter
Lim et al. Super-resolution algorithm using discrete wavelet transform for single-image
Tsai et al. Image up-sampling using discrete wavelet transform
Liu et al. Image super-resolution via hybrid NEDI and wavelet-based scheme
Panda et al. An efficient image interpolation using edge-error based sharpening
KR101434530B1 (ko) 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법
Ngocho et al. Single image super resolution with guided back-projection and LoG sharpening
WO2000056060A1 (fr) Dispositif et procede de traitement d'image, et support enregistre
Sadaka et al. Super-resolution using a wavelet-based adaptive wiener filter
Patil et al. Discrete Curvelet Transform Based super-resolution using sub-pixel image registration
KR102027886B1 (ko) 대형 디스플레이의 영상 크기 조절 장치 및 방법
Arif et al. Super-resolution using edge modification through stationary wavelet transform
Velisavljevic Edge-preservation resolution enhancement with oriented wavelets
KR101650897B1 (ko) 저해상도 컨텐츠를 위한 윈도우 사이즈 주밍 방법 및 그 장치
Panda et al. A Novel Image Upscaling Method Using High Order Error Sharpening
Verhack et al. Lossy image coding in the pixel domain using a sparse steering kernel synthesis approach
Morita et al. Retargeting pyramid using direct decimation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170103

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190114

Year of fee payment: 6