KR101434530B1

KR101434530B1 - 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법

Info

Publication number: KR101434530B1
Application number: KR1020130023298A
Authority: KR
Inventors: 임종명; 유지상
Original assignee: 광운대학교 산학협력단
Priority date: 2013-03-05
Filing date: 2013-03-05
Publication date: 2014-08-29

Abstract

이산 웨이블릿 변환(Discrete Wavelet Transform: DWT) 기반의 적응적 가중치 보간법을 이용하여 저해상도 영상에서 고해상도 영상을 생성하는, 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법에 관한 것으로서, (a) 저해상도 영상을 입력받는 단계; (b) 상기 저해상도 영상에 이산 웨이블릿 변환(DWT)을 적용하여 고주파 부대역을 구하는 단계; (c) 상기 고주파 부대역을 확장하고, 보간법을 이용하여 확장된 부화소들의 화소값을 구하는 단계; 및, (d) 확장된 고주파 부대역과 입력된 저해상도 영상을 역 이산 웨이블릿 변환(IDWT)으로 합성하는 단계를 포함하는 구성을 마련한다.
상기와 같은 초해상도 영상 생성 방법에 의하여, 기존의 보간법에 비해 향상된 효율을 보이며, 확률 기반의 기법들에 비해서도 성능은 비슷하지만 처리시간이 많이 줄어드는 성능을 가질 수 있다.

Description

적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법 { A Super Resolution Method based on Adaptive Weighted Interpolation and Discrete Wavelet Transform }

본 발명은 이산 웨이블릿 변환(Discrete Wavelet Transform: DWT) 기반의 적응적 가중치 보간법을 이용하여 저해상도 영상에서 고해상도 영상을 생성하는, 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법에 관한 것이다.

또한, 본 발명은 고주파 대역을 찾기 위한 방법으로 DWT를 이용하는 것으로서, 먼저 주어진 영상에 대하여 DWT를 수행하고, 생성된 고주파 부대역(sub-band)들을 적응적 가중치 보간법을 이용하여 입력 받은 영상과 동일한 크기의 고주파 부대역을 생성하고, 이 부대역들과 입력 받은 영상을 조합하여 이산 웨이블릿 역변환(Inverse Discrete Wavelet Transform: IDWT)을 수행함으로써 고해상도의 영상을 획득하는, 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법에 관한 것이다.

최근 통신 및 디스플레이 등의 기술 발전으로 많은 응용 분야에서 고해상도의 영상을 필요로 하고 있다. 고해상도란 영상내의 화소 밀도가 높은 것을 의미한다. 이는 더 세부적이고 정교한 처리를 가능하게 한다. 예를 들어 CCTV 촬영영상, 인공위성 관찰영상, 의료영상 등 정교한 분석을 요하는 영상처리 분야에서 그 필요성이 강조되고 있고 디지털 영상과 동영상들의 획득이 쉬워짐에 따라 그 응용분야가 점점 더 넓어지고 있다.

하지만 고해상도의 영상을 획득하기 위해서는 높은 비용과 정밀 광학기술이 요구되어, 이 한계를 극복하기 위한 기술의 필요성이 대두 되었다[비특허문헌 1, 2].

초고해상도 기법은 기 획득된 단일 혹은 다수의 저해상도의 영상으로부터 고해상도의 영상을 생성하는 기술이다. 디지털 영상 매체에 의해 획득된 영상은 고해상도의 자연 영상이 저주파 대역필터를 통과한 후, 다운 샘플링된 영상으로 모델링 될 수 있다. 이 과정을 거치면서 획득된 영상은 에일리어싱(aliasing) 현상에 의해 많은 고주파 성분의 정보가 손실된다. 따라서 손실된 고주파 성분을 효과적으로 복원하고 영상의 해상도를 높이는 것이 초고해상도 기법의 목표이다[비특허문헌 1-4].

단일 영상의 초고해상도 기법은 여러 영상을 참조하지 않는 특성상 데이터 손실 부분을 복원하는 정도에 한계가 있다는 단점이 있지만, 그 처리 속도가 비교적 빠르다는 장점도 있다.

단일 영상의 해상도를 높이는데 가장 많이 사용되는 보간법(interpolation)은 영상의 해상도를 높이기 위해 기존 화소들 사이에 적절한 값을 삽입하는 기술이다. 전통적인 영상 보간법은 저해상도 영상에서 화소의 가중치 합(weighted-sum)에 기반을 두고 있으며, 그 중 대표적인 방법으로 최단입점 보간법(nearest-neighbor interpolation), 이중 선형 보간법(bi-linear interpolation), 고등차수 보간법(bi-cubic interpolation) 등이 있다[비특허문헌 5].

이러한 방법들은 선형 필터의 개념으로 해석될 수 있다. 즉 저해상도 영상은 필터의 입력 신호가 되고 이 영상에 곱해지는 가중치들은 필터의 계수가 되며, 전체적인 영상의 확대 과정은 저해상도의 입력 영상을 업 샘플링한 후 필터를 적용하는 것으로 이해할 수 있다. 따라서 필터 계수가 되는 가중치들의 주파수 특성을 확인함으로써 해당 보간법의 성능을 분석할 수 있다.

이러한 관점에서 볼 때 가중치 기반 방법들은 대부분 저주파 대역필터의 특성을 가지고 있으므로 에일리어싱에 의해 손상된 고주파 성분을 효과적으로 복원할 수 없다는 문제가 있다.

이러한 문제를 해결하기 위하여 최근에는 영상 보간을 웨이블릿 영역에서 수행하는 여러 방법들이 제안되었다[비특허문헌 6-9]. 웨이블릿 영역에서의 영상 보간은 저주파 대역을 나타내는 부대역(sub-band)들의 계수들로부터 고주파 대역을 나타내는 부대역의 계수의 크기와 부호를 추정하는 과정으로 볼 수 있다[비특허문헌 10-12]. 웨이블릿 영역의 각 부대역들의 같은 위치에 해당하는 계수들은 통계적으로 밀접한 연관성을 가지고 있으며, 이 계수들의 크기는 은닉 마코프 트리(Hidden Markov Tree: HMT) 모델로 효과적으로 모델링 될 수 있다[비특허문헌 13]. 이러한 웨이블릿 영역에서 HMT 모델은 잡음 제거 분야에서 좋은 성능을 보여준다.

그러나 잡음 제거와는 달리 영상 보간에서는 저해상도 입력 영상으로부터 고주파 대역의 부대역에 대한 어떤 정보도 직접 획득할 수 없으며, 이러한 정보는 보통 훈련(training)을 위한 데이터로부터 획득된다. 그러나 이렇게 획득된 통계적 정보를 계산하기 위해서는 연산의 복잡도가 증가하는 단점이 있다.

[비특허문헌 1] S. Park, M. Park, and M. Kang, "Super-resolution image reconstruction : A technical overview", IEEE Signal Processing Magazine, vol. 20, pp.2136, May 2003. [비특허문헌 2] M. Irani and S. Peleg, "Improving resolution by image registration", Computer Vision Graphical Image Processing : Graphical Models and Image Processing, vol. 53, pp. 231-239, 1991. [비특허문헌 3] R. R. Schultz and R. L. Stevenson, "Extraction of high-resolution frames from video sequences", IEEE Trans. on Image Processing, vol. 5, pp. 9961011, June 1996 [비특허문헌 4] Freeman W. T., Jonesm T. R., and Pasztor E. C. "Example-based super-resolution", IEEE, Trans. on Computer Graphics and Applications, vol. 22, pp. 56-65, 2002. [비특허문헌 5] 강형곤, 전준철, "양선형 보간법을 이용한 텍스츄어 매핑", 한국정보과학회 봄 학술발표논문집, vol. 26, no. 1, pp. 644-646, 1999년. [비특허문헌 6] Litakathunisa, C. N. Ravi Kumar and V.K. Ananthashayana, "Super resolution reconstruction of compressed low resolution images using wavelet lifting schemes", Proc. ICCEE'09, 2nd International Conferenceon Electrical & Computer Engineering, pp. 629-633, Dec 28-30, 2009. [비특허문헌 7] Murat Belge, Misha E. Kilmer, and Eric L. Miller, "Wavelet domain image restoration with adaptive edge-preserving regularization", IEEE Trans. on Image Processing, vol. 9, no. 4, pp. 597-608, April 2000. [비특허문헌 8] M. Dirk Robinson, Cynthia A. Toth, Joseph Y. Lo, and Sina Farsiu, "Efficient Fourier-wavelet super-resolution", IEEE Trans. on Image Processing, vol. 19, no. 10, pp. 2669-2681, Oct. 2010. [비특허문헌 9] Li Pu, Weiqi Jin, and Yushu Liu, "A post wavelet iterative filtering MAP super-resolution algorithm", 4th International Conferenceon Fuzzy Systems and Knowledge Discovery, vol. 4, pp. 226-230, Dec. 2007. [비특허문헌 10] G. Anbarjafari and H. Demirel, "Image super resolution based on interpolation of wavelet domain high frequency sub-bands and the spatial domain input image", ETRI Journal, vol. 32, no. 3, pp. 390-394, Jun. 2010. [비특허문헌 11] Gajjar P. P. and Joshi M, V., "New learning based super-resolution : Use of DWT and IGMRF prior", IEEE Trans. on Image Processing, vol. 19, no. 5, pp. 1201-1213, May 2010. [비특허문헌 12] 백영현, 변오성, 문성룡, "웨이브렛 기저를 이용한 초해상도 기반 복원 알고리즘", 대한전자공학회논문지, 제44권, SP편, 제1호, pp. 17-25, 2007년 1월. [비특허문헌 13] Kinebuchi K., Muresan D. D., and Parks T. W. "Image interpolation using wavelet based hidden Markov trees", ICASSP' 01, vol. 3, pp. 1957-1960, May 2001. [비특허문헌 14] 임종명, 유지상, "이산 웨이블릿 변환 기반 초고해상도 기법", 한국방송공학회 추계학술대회, 2011년 11월. [비특허문헌 15] Xin Li and Michael T.Orchard, "New edge-directed interpolation", IEEE Transactions on Image Processing, vol. 10,no. 10, pp.1521-1527, Oct.2001 [비특허문헌 16] 임종명, 유지상, "적응적 가중치 보간법을 이용한 깊이 영상의 해상도 개선 기법", 한국방송공학회 하계학술대회, 2012년 7월. [비특허문헌 17] 서영호, 김종현, 김대경, 유지상, 김동욱, "DWT를 이용한 영상압축을 위한 경계 화소의 효과적인 처리방법", 한국통신학회논문지, 제29권 제6A호, pp. 618-627, June 2002. [비특허문헌 18] S. Zhao, H.Han, S.peng, "Wavelet-domain HMT-based image super resolution", IEEE Int. Conf. Image Process., vol. 3, pp. 933-936, 2003 [비특허문헌 19] Y. Yang, Z. Wang, "A new image super-resolution method in the wavelet domain", IEEE Int. Conf. Image and Graphics, vol. 6, pp. 163-167, 2011

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 이산 웨이블릿 변환(discrete Wavelet Transform: DWT)을 이용하여 효율적인 초고해상도 영상을 생성하는 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법을 제공하는 것이다.

특히, 본 발명의 목적은, 먼저 주어진 저해상도 영상에 대하여 DWT를 수행하여 저해상도 영상에서의 고주파 부대역(sub-band)을 획득하고, 획득된 고주파 부대역에 대하여 적응적 가중치 보간법을 이용하여 주어진 영상과 동일한 해상도를 갖도록 한 뒤, 이 고주파 부대역들과 저해상도의 입력 영상을 이산 웨이블릿 역변환 (Inverse Discrete Wavelet Transform: IDWT)을 통해 적절하게 합성함으로써 해상도가 높은 영상을 획득하는, 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법을 제공하는 것이다[비특허문헌 10], [비특허문헌 14].

상기 목적을 달성하기 위해 본 발명은 저해상도 영상을 입력받아 초해상도 영상을 생성하는 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법에 관한 것으로서, (a) 저해상도 영상을 입력받는 단계; (b) 상기 저해상도 영상에 이산 웨이블릿 변환(DWT)을 적용하여 고주파 부대역을 구하는 단계; (c) 상기 고주파 부대역을 확장하고, 적응적 가중치 보간법을 이용하여 확장된 부화소들의 화소값을 구하는 단계; 및, (d) 확장된 고주파 부대역과 입력된 저해상도 영상을 역 이산 웨이블릿 변환(IDWT)으로 합성하는 단계를 포함하는 것을 특징으로 한다.

또, 본 발명은 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법에 있어서, 상기 (b)단계에서, 상기 저해상도 영상에 2차원 DWT를 수행하여, 고대역-고대역(HH), 고대역-저대역(HL), 저대역-고대역(LH)의 고주파 부대역을 구하는 것을 특징으로 한다.

또, 본 발명은 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법에 있어서, 상기 (b)단계에서, 상기 저해상도 영상에 웨이블릿 필터를 사용하여 1차원 DWT를 구하고, 상기 1차원 DWT를 2차원 영상에 대하여 열 방향과 행 방향으로 각각 수행함으로써 2차원 DWT를 구하는 것을 특징으로 한다.

또, 본 발명은 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법에 있어서, 상기 (c)단계에서, 보간할 목표 화소의 주변에 위치하는 저해상도 영상의 화소들(이하 주변 저해상도 화소)의 가중치(이하 제2 가중치)에 의한 합으로 상기 목표 화소를 보간하되, 상기 제2 가중치는 상기 주변 저해상도 화소들간의 가중치(이하 제1 가중치)에 의해 구해지는 것을 특징으로 한다.

또, 본 발명은 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법에 있어서, 상기 제1 가중치는 적어도 2개의 주변 저해상도 화소에 의해 그 사이에 위치하는 주변 저해상도 화소를 가중치 합으로 구할 때, 사용되는 가중치인 것을 특징으로 한다.

또, 본 발명은 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법에 있어서, 보간할 목표 화소 Y의 주변에 연속적으로 위치하는 저해상도 영상의 화소들 X₁, X₂, X₃, X₄에 의하여, 목표 화소 Y의 화소값을 [수식 1]에 의해 구하는 것을 특징으로 한다.

[수식 1]

또, 본 발명은 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법에 있어서, 상기 (c)단계에서, 확장된 고주파 부대역의 부화소의 화소값을 보간할 때, 화소의 에너지가 최소인 방향으로 보간하는 것을 특징으로 한다.

또, 본 발명은 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법에 있어서, 상기 (c)단계에서, 보간할 부화소에서 가로와 세로, 그리고 대각선 방향에서의 화소들이 갖는 에너지를 계산한 후, 최소의 에너지를 갖는 방향으로 적응적 가중치 보간법을 적용하는 것을 특징으로 한다.

또, 본 발명은 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법에 있어서, 상기 에너지는 두 화소의 절대값으로 계산되는 것을 특징으로 한다.

또, 본 발명은 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법에 있어서, 상기 가중치는 0, 0.25, 0.5, 0.75, 1 중 어느 하나인 것을 특징으로 한다.

상술한 바와 같이, 본 발명에 따른 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법에 의하면, 기존의 보간법에 비해 향상된 효율을 보이며, 확률 기반의 기법들에 비해서도 성능은 비슷하지만 처리시간이 많이 줄어드는 효과가 얻어진다.

도 1은 본 발명을 실시하기 위한 전체 시스템의 구성도.
도 2는 본 발명의 일실시예에 따른 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법을 설명하는 흐름도.
도 3은 본 발명에 따른 Daubechies 웨이블릿 필터 계수의 일례를 나타낸 표.
도 4는 본 발명에 따른 일차원 DWT의 예시도.
도 5는 본 발명에 따른 이차원 DWT의 예시도.
도 6은 본 발명에 따른 적응적 가중치 보간법의 설명을 위한 화소 배치를 나타낸 그림.
도 7은 본 발명에 따라 가로방향과 세로방향으로 보간법을 적용한 결과의 예시도.
도 8은 본 발명에 따른 원본 영상과 2차원 DWT 계수의 예시도.
도 9는 본 발명의 실험에 따른 복원된 고해상도 영상으로서, (좌)고등차수 보간법과, (우)본 발명의 방법에 의한 결과 영상.
도 10은 본 발명의 실험에 따른 본 발명과 기존의 방법과의 성능 비교(SSIM)를 나타낸 표.
도 11은 본 발명의 실험에 따른 본 발명과 다른 방법과의 성능 비교(PSNR: dB)를 나타낸 표.
도 12는 본 발명의 실험에 따른 본 발명과 참고문헌의 방법과의 성능 비교(Processing Time: sec)를 나타낸 표.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.

도 1에서 보는 바와 같이, 본 발명에 따른 초해상도 영상 생성 방법은 저해상도 영상(10)을 입력받아 초해상도 영상(20)을 생성하는 컴퓨터 단말(30) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 초해상도 영상 생성 방법은 프로그램으로 구성되어 컴퓨터 단말(30)에 설치되어 실행될 수 있다. 컴퓨터 단말(30)에 설치된 프로그램은 하나의 프로그램 시스템(40)과 같이 동작할 수 있다.

한편, 다른 실시예로서, 초해상도 영상 생성 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 저해상도 영상(10)을 입력받아 초해상도 영상(20)을 생성하는 것만을 전용으로 처리하는 전용 컴퓨터 단말(30)로 개발될 수도 있다. 이를 초해상도 영상 생성 장치(40)라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.

저해상도 영상(10)은 컴퓨터 단말(30)에 직접 입력되어 저장되고, 초해상도 영상 생성 장치(40)에 의해 처리된다. 또는, 저해상도 영상(10)은 컴퓨터 단말(30)의 저장매체에 미리 저장되고, 초해상도 영상 생성 장치(40)에 의해 저장된 저해상도 영상(10)을 읽어 입력될 수도 있다.

저해상도 영상(10) 및 초해상도 영상(20)은 시간상으로 연속된 프레임(또는 연속된 시점의 프레임)으로 구성된다. 하나의 프레임은 하나의 이미지를 갖는다. 또한, 영상(10,20)은 하나의 프레임(또는 이미지)을 가질 수도 있다. 즉, 영상(10,20)은 하나의 이미지인 경우에도 해당된다.

저해상도 영상에서 초해상도 영상을 생성하는 것은, 곧 하나의 저해상도 프레임(또는 이미지)에서 하나의 초해상도 프레임(또는 이미지)을 생성하는 것을 의미하고, 또한, 모든 시점의 프레임에 대하여 각 초해상도 프레임이 생성되어 전체 저해상도 영상에 대한 초해상도 영상을 생성한다는 것을 의미한다.

이하에서 특별한 구별의 필요성이 없는 한, 영상이란 용어를 프레임 용어와 혼용하여 사용하기로 한다.

다음으로, 본 발명의 일실시예에 따른 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법을 도 2를 참조하여 설명한다. 도 2는 본 발명에 따른 초해상도 영상 생성 방법을 설명하는 흐름도이다.

도 2에서 보는 바와 같이, 본 발명에 따른 초해상도 영상 생성 방법은 (a) 영상 입력 단계(S10); (b) 웨이블릿 변환을 통해 고주파 부대역을 구하는 단계(S20); (c) 고주파 부대역을 적응적 가중치 보간법으로 확장하는 단계(S30); 및, (d) 역 웨이블릿 변환을 통해 확장된 고주파 부대역과 입력된 영상을 합성하는 단계(S40)으로 구성된다.

즉, 웨이블릿 영역에서 수행하는 여러 초고해상도 방법들의 핵심은 웨이블릿 영역에서의 고주파 성분을 가지는 부대역을 구하는 것이다. 본 발명의 방법에서는 이산 웨이블릿 변환(discrete Wavelet Transform: DWT)에서 획득되는 고주파 부대역을 적응적 가중치 보간법을 이용하여 확장함으로써 입력되는 영상과 동일한 해상도의 고주파 부대역으로 생성한다. 이렇게 획득된 고주파 부대역과 입력된 영상을 이산 웨이블릿 역변환(Inverse Discrete Wavelet Transform: IDWT)을 이용하여 합성하여 입력된 영상에 비하여 해상도가 향상된 영상을 얻을 수 있다.

먼저, 저해상도 영상을 입력받는다(S10).

앞서 설명한 바와 같이, 저해상도 영상(10)은 시간상으로 연속된 프레임(또는 연속된 시점의 프레임)으로 구성된다. 하나의 프레임은 하나의 이미지를 갖는다. 또한, 영상(10)은 하나의 프레임(또는 이미지)을 가질 수도 있다. 즉, 영상(10)은 하나의 이미지인 경우에도 해당된다. 이하에서 특별한 구별의 필요성이 없는 한, 영상이란 용어를 프레임 용어와 혼용한다.

다음으로, 입력된 저해상도 영상에 이산 웨이블릿 변환(Discrete Wavelet Transform: DWT)을 적용하여 고주파 부대역을 구한다(S20).

영상처리 분야에서 활용되는 2차원 DWT은 1차원 DWT의 확장으로 볼 수 있으며, 1차원 DWT는 웨이블릿 필터를 사용하여 다음 수식의 변환을 수행한다.

[수학식 1]

[수학식 2]

여기서 x(k)는 영상의 화소를 나타내고, h(k)와 g(k)는 각각 저대역 통과 웨이블릿 필터와 고대역 통과 웨이블릿 필터를 나타내며, N과 M은 저대역과 고대역 필터 계수의 개수를 각각 나타낸다.

사용되는 필터는 직교 특성, 선형 특성, 고주파와 저주파 부분을 정확하게 분할하는 특성을 갖는다. 도 4는 필터 계수가 9개(9-tap)인 필터를 사용할 때의 수학식 1과 2의 연산을 그림으로 표현한 것이다.

본 발명에서 사용한 필터는 Daubeches 9/7 필터로 다른 필터들에 비하여 블록 현상이 적게 나타는 장점이 있다. 본 발명에서 사용한 웨이블릿 기저인 Daubechies 9/7의 계수를 도 3의 표에 나타내었다.

도 4에서처럼 N-탭 웨이블릿 필터를 사용하는 경우 한 화소의 DWT를 수행하기 위해서 N번의 곱셈과 N-1번의 덧셈을 수행한다. DWT를 적용할 때, 상하, 좌우 영상의 경계에서 존재하지 않는 화소들이 발생하는데, 이 화소들은 반드시 필요하기 때문에 상하좌우의 화소를 확장하여 사용해야 한다.

일반적으로 N-탭 필터를 사용할 때,

개 화소를 확장하여 사용하여야 한다[비특허문헌 17]. 여기서 n, m은 각각 영상의 가로와 세로 크기를 뜻한다.

이러한 1차원 DWT를 도 5처럼 2차원 영상에 대해 열 방향과 행 방향으로 각각 수행함으로써 2차원 DWT를 구현할 수 있다. 한 영상에 대해 2차원 DWT를 수행하면 모두 4개의 결과 영상을 얻는데 각각의 열과 행에 대해 고대역-고대역(HH), 고대역-저대역(HL), 저대역-고대역(LH), 저대역-저대역(LL) 필터를 통과한 영상이다.

이 4개의 결과 영상을 모두 사용할 경우 원 영상의 4배에 해당하는 영상데이터를 처리해야 하므로, 일반적으로 각 DWT를 수행할 때 두 화소 중 하나만을 처리하여 DWT 결과 영상의 데이터 양을 원래 영상과 동일하게 한다.

그리고 2차원 DWT를 이용하여 고주파 부대역을 생성한다.

다음으로, 고주파 부대역을 확장하고, 적응적 가중치 보간법으로 확장된 부화소들의 화소값을 구한다(S30).

일반적으로 영상 내에서 하나의 화소는 주변 화소들의 선형 조합으로 나타낼 수 있다. 또한 이 선형 조합의 비율(가중치)은 대상 화소 주변의 화소에서의 비율과 일치한다고 가정할 수 있다[비특허문헌 15].

도 6은 본 발명의 적응적 가중치 보간법을 1차원적으로 나타낸 그림이다. 이하에서, 저해상도 영상은 고주파 부대역 영상이고, 고해상도 영상은 확장된 고주파 부대역 영상으로서, 확장된 고주파 부대역의 부화소(확장된 화소, 목표 화소, 또는 계수)를 구하는 것이다.

X는 저해상도 영상에서의 화소를, Y는 보간할 목표 화소인 고해상도 영상에서의 화소를 나타낸다. 수학식 3과 4는 저해상도 영상에서 좌, 우 화소들의 가중치 합으로 중앙의 화소를 나타낸 것이고, 수학식 5와 6은 그 가중치들을 활용하여 고해상도의 영상을 복원하는 과정을 나타낸 식이다.

[수학식 3]

[수학식 4]

[수학식 5]

[수학식 6]

즉, 보간할 목표 화소 Y의 주변에 위치하는 저해상도 영상의 화소들(이하 주변 저해상도 화소) X₂, X₃의 가중치(이하 제2 가중치) α에 의한 합으로 상기 목표 화소를 보간한다. 이때, 상기 제2 가중치 α는 상기 주변 저해상도 화소들 X₁, X₂, X₃, X₄간의 가중치(이하 제1 가중치)에 의해 구해진다. 즉, 제1 가중치는 적어도 2개의 주변 저해상도 화소에 의해 그 사이에 위치하는 주변 저해상도 화소를 가중치 합으로 구할 때, 사용되는 가중치이다. 이와 같이 가중치를 주변 화소에 의해 구하여 보간하는 것이 적응적 가중치 보간법이다.

한편, 수학식 3과 4에서의 각 α값은 0, 0.25, 0.5, 0.75, 1 중에서 하나를 택하게 되는데, 그 이유는 이 이상으로 정밀해져도 효율성이 크게 증가하지 않기 때문이다. 위의 다섯 개의 값 중 가장 오차가 적은 값을 사용하여 고해상도의 화소를 보간하게 되는데, 각각의 화소마다 적응적으로 그 가중치를 결정하게 된다. 저해상도의 화소로 가로 방향과 세로 방향에 적용하면 도 7의 y1~y4 에 해당하는 값들이 보간된다[비특허문헌 16].

도 7의 Y에 해당하는 고해상도의 화소를 보간할 때는 가로와 세로 그리고 두 대각선 방향에서의 화소들이 갖는 에너지(두 화소의 절대적 차이값)를 계산한 후, 최소의 에너지를 갖는 방향으로 적응적 가중치 보간법을 적용한다.

마지막으로, 확장되어 보간된 고주파 부대역을 입력된 영상과 합성한다(S40).

즉, 앞서 설명한 바와 같이, 입력 영상인 저해상도 영상에 대하여 DWT를 수행한 후 획득한 고주파 대역을 적응적 가중치 보간법을 사용하여 4배로 확장한다. 즉, 고주파 부대역(HH, HL, LH)의 계수를 구한다. 그리고 나서, 구한 고주파 부대역(HH, HL, LH)의 계수와 입력영상(LL)을 역 DWT를 적용하여 합성한다.

다음으로, 앞서 설명한 초해상도 영상 생성 방법을 도 8을 참조하여 요약한다.

본 발명에 따른 방법에서는 입력되는 영상보다 4배의 높은 해상도를 갖는 영상을 획득하는 것을 목표로 입력 영상과 동일한 해상도의 고주파 부대역을 획득해야 한다. 따라서 DWT를 수행한 후 얻는 고주파 부대역에 대하여 적응적 가중치 보간법을 적용하여 입력 영상과 같은 해상도의 고주파 부대역을 얻는다.

도 8은 본 발명에서 사용한 고해상도의 원본 영상과 이 영상에 대한 2차원 DWT 계수이다. Daubechies 9/7 웨이블릿 기저를 이용한 2차원 DWT에서는 고주파 부대역(HH, HL, LH)의 계수가 크지 않기 때문에, 도 8의 (b), (c), (d)에 표시한 고주파 계수의 크기를 임의로 크게 나타내었다. 본 발명에 따른 방법에서는 저해상도 영상으로부터 그림 6의 (b)에 보인 고해상도 영상의 고주파 부대역과 유사한 고주파 영상을 DWT와 적응적 가중치 보간법을 통해 획득하는 것이다.

도 8의 (c)는 입력 영상인 저해상도 영상에 대하여 DWT를 수행한 후 획득한 고주파 대역을 이하에서 설명할 적응적 가중치 보간법을 사용하여 4배로 확장한 고주파 부대역(HH, HL, LH)의 계수와 입력영상(LL)을 합성하여 나타낸 그림이다. 그림 6의 (c)에 보인 DWT 계수를 그림 6의 (b)와 비교했을 때, 고주파 부대역의 계수의 크기(밝기)가 차이가 나는 것을 확인할 수 있다.

영상에 대하여 2차원 DWT를 수행하면 저주파 대역필터와 고주파 대역필터를 거친 후 각 부대역 별로 저주파, 고주파 성분이 저장된다. 이 때, 한 화소가 차지하는 부분이 영상 전체에 대한 비율이 높을수록 더 많은 정보를 포함하게 되어 고주파 부대역의 계수의 크기가 커지게 된다. 이러한 이유로 원본 영상에 대하여 DWT를 수행한 결과와 입력 영상에 대하여 DWT를 수행한 결과에서 고주파 부대역의 계수의 크기가 달라지게 된다.

따라서 본 발명에 따른 방법에서는 도 8의 (c)에 나타낸 고주파 부대역의 계수 값을 작게 하는 과정을 거친다. 이 경우 저해상도 영상의 한 화소가 차지하는 비율이 고해상도 영상보다 4배 높다는 점을 참고하여 고주파 부대역의 계수를 4로 나누게 된다.

도 8의 (d)는 입력 영상에 대하여 DWT를 수행한 후 생성되는 고주파 부대역을 적응적 가중치 보간법을 이용하여 확장 후, 계수의 크기를 조절하여 입력영상과 합성한 그림이다. 그 결과, 도 8의 (b)에 나타낸 계수의 값이 비슷해졌음을 확인할 수 있다.

다음으로, 본 발명의 효과를 실험을 통해 구체적으로 설명한다.

일반적으로 카메라로 영상을 직접 획득할 때의 효과를 반영하기 위하여 본 발명에서는 고해상도(512x512)의 영상에 blurring 효과를 가한 후, 다운 샘플링하여 저해상도(256x256)의 영상을 획득하게 된다. 또한 본 발명에 따른 방법의 성능을 기존의 다른 방법들과 비교하기 위하여 다양한 실험을 수행하였다.

기존 방법으로는 대표적인 보간법인 최단입점 보간법(nearest-neighbor interpolation), 이중 선형 보간법(bi-linear interpolation), 고등차수 보간법(bi-cubic interpolation)을 이용하였고 성능 비교를 위해 각 방법의 결과 영상과 원본 영상과의 PSNR(peak signal-to-noise ratio)을 구하였다. 또한 확률 기반 방법들과 PSNR 및 수행시간을 비교하여 본 발명에 따른 방법의 효율성을 확인하였다.

도 9의 왼쪽은 저해상도의 실험 영상에 고등차수 보간법을 적용하여 고해상도 영상으로 복원한 그림이며, 오른쪽은 본 발명에 따른 방법을 적용한 그림이다. 각각의 영상에서 결과의 차이를 나타내기 위하여 일정부분을 확대하여 나타내었다.

도 9의 확대된 부분을 비교해 보면, 본 발명에 따른 방법이 보다 번짐 현상이 줄어든 선명한 결과를 가진다는 것을 확인할 수 있다. 도 10은 도 9의 나타낸 영상에 대하여 주관적인 화질을 비교하기 위하여 원본 영상과 복원된 영상과의 SSIM을 측정한 결과이다. SSIM 수치는 0~1의 실수로 나타나며 PSNR 수치에 비하여 사람의 눈 인식과의 일관성이 높다고 알려져 있다.

도 10의 SSIM을 구하기 위하여 다음의 식을 이용하였다. 수학식 7의 x와 y는 비교할 두 영상을, μ는 가우시안 평균을, σ는 분산을 의미하며, c1과 c2는 상수로 각각 6.5025와 58.5225의 값을 갖는다.

[수학식 7]

도 11은 본 발명에 따른 방법과 기존의 방법들과의 객관적인 성능 비교를 위하여 각각의 방법들을 사용하여 획득한 고해상도의 영상과 고해상도의 원본 영상과의 PSNR을 측정한 결과이다[비특허문헌 18,19]. 도 11의 PSNR을 구하기 위하여 다음의 식을 이용하였다.

[수학식 8]

[수학식 9]

수학식 8에서 m과 n은 각각 영상의 가로 길이와 세로 길이를 뜻하며 I와 K는 비교할 두 영상을 말한다. 즉, I(i, j)와 K(i, j)는 각각 비교할 두 영상의 같은 위치의 화소값을 뜻하고, MSE는 화소별 차이 값의 제곱을 뜻한다. 수학식 9의 MAX_I 는 화소간의 차이가 가질 수 있는 최대값을 뜻하고, 실험에 사용한 영상들은 0~255의 값으로 화소가 표현되므로 이 실험에서의 MAX_I 값은 차이의 최대값인 255가 된다.

도 11에서 본 발명에 따른 방법은 기존의 보간법들에 비하여 평균적으로 3.2dB 높은 결과를 보여주고, 확률 기반의 다른 방법들에 비하여 0.3dB 낮은 결과를 보여준다. 그러나 이 방법들은 고주파 부대역의 계수를 찾기 위해서 확률 기반의 은닉 마르코프 트리를 사용하여 수행시간이 매우 길어지게 된다.

방법들의 수행시간을 비교한 도 12를 보면 본 발명에 따른 방법의 처리시간이 다른 방법들에 비하여 매우 빠르다는 것을 알 수 있다. 확률 기반의 다른 방법들에 비하여 PSNR 측면에서는 다소 낮거나 비슷한 결과를 보이는 반면, 처리속도 측면에서는 아주 많은 개선이 있다는 것을 확인할 수 있다. 따라서 본 발명에 따른 방법은 간단한 구조를 가지면서 처리 속도면에서 매우 좋은 성능을 가지면서도 복원된 고해상도 영상의 화질도 복잡한 구조를 가지는 다른 방법에 비해 크게 뒤지지 않는다는 것을 알 수 있다. 따라서 실시간 처리가 요구되는 응용 분야에서 크게 활용될 가치가 있다고 판단된다.

본 발명에서는 DWT와 적응적 가중치 보간법을 이용하여 단일 영상에 적용할 수 있는 초고해상도 방법을 제안하였다. 본 발명에 따른 방법에서는 먼저 입력 영상에 대하여 DWT를 수행하여 획득한 고주파 부대역에 대하여 적응적 가중치 보간법을 적용하여 입력 영상과 동일한 해상도의 고주파 부대역을 생성한다. 그 후에, IDWT를 수행하여 입력된 영상과 생성한 고주파 부대역을 합성한다. 그 결과 본 발명에 따른 방법이 기존의 보간법들에 비하여 향상된 성능을 보인다는 것을 확인할 수 있었다. 또한 다른 방법들에 비하여 빠른 처리속도를 갖는다는 것을 확인할 수 있었다.

복잡한 구조를 가지는 확률 기반의 초고해상도 방법들과 정지영상이 아닌 동영상 혹은 다수의 영상을 사용하는 방법들의 경우, 복원 성능(PSNR)면에서는 뛰어나지만 연산량이 많아 처리시간이 오래 걸린다는 단점이 있다. 이 단점은 시간과 무관한 복원작업(CCTV 판독 등의 정밀함만을 요하는 영상처리 작업)의 경우는 문제가 되지 않지만, 실시간 처리를 필요로 하거나 TV와 같은 하드웨어에 임베디드 형식으로 구현할 경우에 이 단점은 큰 약점이 될 수 있다. 본 발명의 방법은 이러한 단점을 보완하기 위해 제안되었다. 실시간 처리의 가능 유무를 결정하는 처리시간은 약 30ms(30 fps)이다. 프로그램의 속도개선에 사용되는 병렬 프로그래밍이나 GPU 프로그래밍을 적용하거나 하드웨어적으로 구현한다면 해상도가 높은 영상에 대해서도 본 발명의 방법의 실시간 처리가 가능할 것으로 판단된다.

이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10 : 저해상도 영상 20 : 초해상도 영상
30 : 컴퓨터 단말 40 : 프로그램 시스템

Claims

저해상도 영상을 입력받아 초해상도 영상을 생성하는 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법에 있어서,
(a) 저해상도 영상을 입력받는 단계;
(b) 상기 저해상도 영상에 이산 웨이블릿 변환(DWT)을 적용하여 고주파 부대역을 구하는 단계;
(c) 상기 고주파 부대역을 확장하고, 적응적 가중치 보간법을 이용하여 확장된 부화소들의 화소값을 구하는 단계; 및,
(d) 확장된 고주파 부대역과 입력된 저해상도 영상을 역 이산 웨이블릿 변환(IDWT)으로 합성하는 단계를 포함하고,
상기 (c)단계에서, 보간할 목표 화소의 주변에 위치하는 저해상도 영상의 화소들(이하 주변 저해상도 화소)의 가중치(이하 제2 가중치)에 의한 합으로 상기 목표 화소를 보간하되, 상기 제2 가중치는 상기 주변 저해상도 화소들간의 가중치(이하 제1 가중치)에 의해 구해지는 것을 특징으로 하는 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법.
제1항에 있어서,
상기 (b)단계에서, 상기 저해상도 영상에 2차원 DWT를 수행하여, 고대역-고대역(HH), 고대역-저대역(HL), 저대역-고대역(LH)의 고주파 부대역을 구하는 것을 특징으로 하는 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법.
제2항에 있어서,
상기 (b)단계에서, 상기 저해상도 영상에 웨이블릿 필터를 사용하여 1차원 DWT를 구하고, 상기 1차원 DWT를 2차원 영상에 대하여 열 방향과 행 방향으로 각각 수행함으로써 2차원 DWT를 구하는 것을 특징으로 하는 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법.
삭제
제1항에 있어서,
상기 제1 가중치는 적어도 2개의 주변 저해상도 화소에 의해 그 사이에 위치하는 주변 저해상도 화소를 가중치 합으로 구할 때, 사용되는 가중치인 것을 특징으로 하는 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법.
제1항에 있어서,
보간할 목표 화소 Y의 주변에 연속적으로 위치하는 저해상도 영상의 화소들 X₁, X₂, X₃, X₄에 의하여, 목표 화소 Y의 화소값을 [수식 1]에 의해 구하는 것을 특징으로 하는 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법.
[수식 1]
제1항에 있어서,
상기 (c)단계에서, 확장된 고주파 부대역의 부화소의 화소값을 보간할 때, 화소의 에너지가 최소인 방향으로 보간하는 것을 특징으로 하는 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법.
제7항에 있어서,
상기 (c)단계에서, 보간할 부화소에서 가로와 세로, 그리고 대각선 방향에서의 화소들이 갖는 에너지를 계산한 후, 최소의 에너지를 갖는 방향으로 적응적 가중치 보간법을 적용하는 것을 특징으로 하는 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법.
제8항에 있어서,
상기 에너지는 두 화소의 절대값으로 계산되는 것을 특징으로 하는 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법.
제7항에 있어서,
상기 가중치는 0, 0.25, 0.5, 0.75, 1 중 어느 하나인 것을 특징으로 하는 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법.