KR20130001213A - 입력 이미지로부터 증가된 픽셀 해상도의 출력 이미지를 생성하는 방법 및 시스템 - Google Patents

Abstract

본 발명에 따른 방법 및 시스템(30)은 입력 이미지로부터 증가된 픽셀 해상도의 출력 이미지(21)를 발생하며, 상기 출력 이미지는 입력 이미지보다 더 많은 픽셀들을 갖는 업스케일 이미지(22)를 만들도록 논다이아딕하게 업스케일되며 평활 이미지(23)를 만들기 위해 저역필터된다. 뺄셈에 의해 하이 디테일 이미지(24)가 발생되고, 그리고 업스케일 이미지에 있는 각 픽셀에 대해, 상기 픽셀을 포함한 패치(25)가 식별된다. 업스케일 이미지에서 패치의 맵핑 위치 가까이 있는 평활 이미지에서 탐색함으로써 평활 이미지의 로컬 영역(27)내에 최적합 패치(26)가 발견된다. 업스케일 이미지의 패치에 있는 각 픽셀은 최적합 패치에 해당하는 하이 디테일 이미지의 등가 패치에 해당 픽셀 값을 고유하게 추가함으로써 보정되고, 보정된 업스케일 이미지는 더 처리를 위해 저장된다.

Description

입력 이미지로부터 증가된 픽셀 해상도의 출력 이미지를 생성하는 방법 및 시스템{Method and system for generating an output image of increased pixel resolution from an input image}

본 출원은 2010년 1월 28일자로 출원된 가출원 No. 61/299,036의 우선권을 주장하며 그 내용은 본 명세서에 참조로 포함되어 있다.

본 발명은 컴퓨터 이미지 처리 분야에 관한 것으로, 보다 상세하게는 디지털 컬러 보정을 위한 시스템 및 방법에 관한 것이다.

종래 기술

본 발명의 배경으로서 관련된 것으로 고려되는 종래 기술의 참조문헌들이 아래에 열거되어 있으며 이들 내용은 본 명세서에 참조로 포함된다. 본 명세서에서 참조문헌들의 인식은 이들이 어떤 방식으로 본 명세서에 개시된 본 발명의 특허자격과 관계가 있는 것을 의미하는 것으로 추정되지 않아야 한다. 각 참조문헌은 꺾쇠괄호에 포함된 번호로 식별되고 따라서 종래 기술은 본 명세서 전체에 걸쳐 꺽쇄괄호에 포함된 번호를 말한다.

[1] Aly, H. and Dubois, E. 2005. Image up-sampling using total-variation regularization with a new observation model. IEEE Trans. Image Processing 14, 10, 1647-1659.

[2] Barnsley, M. 1988. Fractal modelling of real world images. The Science of Fractal/mages, H.-D. Peitgen and D. Saupe, Eds. Springer-Verlag, New York.

[3] Bhat, P., Zitnick, C. L., Snavely, N., Agarwala, A., Agrawala, M., Curless, B., Cohen, M., and Kang, S. B. 2007. Using' photographs to enhance videos of a static scene. Rendering Techniques 2007, J. Kautz and S. Pattanaik, Eds. Eurographics, 327-338.

[4] Ebrahimi, M. and Vrscay, E. R. 2007. Solving the inverse problem of image zooming using self-examples. Proc. ICIAR 2007. Lecture Notes in Computer Science, vol. 4633. Springer, 117-130.

[5] Farsiu, S., Robinson, M., Elad, M., and Milanfar, P. 2004. Fast and robust multiframe super resolution. Image Processing, IEEE Transactions on 13, 10 (Oct.), 1327-1344.

[6] Fattal, R. 2007. Image upsampling via imposed edge statistics. ACM Trans. Graph. 26, 3, 95.

[7] Freeman, W. T., Jones, T. R., and Pasztor, E. C. 2002. Example-based superresolution. IEEE Comput. Graph. Appl. 22, 2 (March), 56-65.

[8] Freeman, W. T., Pasztor, E. c., and Carmichael, O. T. 2000. Learning low-level vision. Int. J. Comput. Vision 40, 1 (October), 25--47.

[9] Glasner, D., Bagon, S., and Irani, M. 2009. Super-resolution from a single image. ICCV09. 349-356.

[10] Li, X. and Orchard, M. T. 2001. New edge-directed interpolation. IEEE Trans. Image Processing 10, 10, 1521-1527.

[11] Lin, Z. and Shum, H.-Y. 2004. Fundamental limits of reconstruction-based super-resolution algorithms under local translation. IEEE Trans. Pattern Anal. Mach. Intell. 26, 1,83-97.

[12] Mallat, S. 1999. A Wavelet Tour of Signal Processing, Second Edition (Wavelet Analysis & Its Applications). Academic Press.

[13] Polidori, E. and Dugelay, J.-L. 1995. Zooming using iterated function systems.In NATO ASI on image coding and analysis, July 8-17,1995, Trondheim, Norway.

[14] Pollock, S. and Cascio, I. 2007. Non-dyadic wavelet analysis Optimisation, Econometric and Financial Analysis, 167-203.

[15] Pratt, W. K. 2001. Digital Image Processing: PIKS Inside. John Wiley & Sons, Inc., New York, NY, USA.

[16] Reusens, E. 1994. Overlapped adaptive partitioning for image coding based on the theory of iterated functions systems. Acoustics, Speech, and Signal Processing, 1994. ICASSP-94., 1994 IEEE International Conference on. Vol. v. V/569-V/572 vol.5.

[17] Robert, M. G.-A., Denardo, R., Tenda, Y., AND Huang, T. S. 1997. Resolution enhancement of images using fractal coding. In Visual Communications and Image Processing '97. 1089-1100.

[18] Shan, Q., Li, Z., Jia, J., and Tang, c.-K. 2008. Fast image/video upsampling. ACM Trans. Graph. 27, 5, 1-7.

[19] Su, D. and Willis, P. 2004. Image interpolation by pixel-level at a dependent triangulation. Computer Graphics Forum 23, 2, 189-202.

[20] Suetake, N., Sakano, M., and Uchino, E. 2008. Image super-resolution based on local self-similarity. Journal Optical Review 15, 1 (January), 26-30.

[21] Sun, J., Ning Zheng, N., Tao, H., and Yeung Shum, H. 2003. Image hallucination with primal sketch priors. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 729-736.

[22] Sun, J., Xu, Z., and Shum, H.-Y. 2008. Image super-resolution using gradient profile prior. Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on. 1-8.

[23] Tappen, M. F., Russell, B. c., and Freeman, W. T. 2004. Efficient graphical models for processing images. Proc. CVPR 2004.673-680.

[24] Thevenaz, P., Blu, T., and Unser, M. 2000. Image interpolation and resampling. Handbook of Medical Imaging, Processing and Analysis, I. Bankman, Ed. Academic Press, San Diego CA, USA, 393-420.

[25] Vrscay, E. R. 2002. From Fractal Image Compression to Fractal-Based Methods in Mathematics. The IMA Volumes in Mathematics and Its Applications. Springer-Verlag, New York.

[26] Xiong, R., Xu, J., and Wu, F. 2006. A lifting-based wavelet transform supporting non-dyadic spatial scalability. Image Processing, 2006 IEEE International Conference on. 1861-1864.

본 발명은 이미지 처리에 관한 것으로 보다 상세하게는 높아진 이미지 해상도 또는 이미지 업스케일링에 관한 것이다.

높아진 이미지 해상도 또는 이미지 업스케일링은 고도의 현실적 및 이론적 중요성의 도전적이며 기본적인 이미지 편집 동작이다. 요즘 디지털 카메라들이 고해상도 이미지를 생성하지만, 모바일 디바이스와 감시 시스템에서 발견된 기존의 저해상도 이미지뿐만 아니라 저등급의 센서들이 많이 있으며, 이들은 해상도 증대로 이득을 보게 될 것이다. 그 기본으로, 이미지 업스케일링은 개수의 작은 비율을 구성하는 입력 픽셀들을 기초로 수백 만개의 미지의 픽셀값들의 예상을 필요로 한다. 업스케일링은 또한 이미지 인페인팅(inpainting), 디블러링(deblurring), 디노이징(denoising), 및 압축과 같은 다양한 기타 문제들과 밀접하게 연관있다.

아마도 싱글-이미지 업스케일링의 가장 간단한 형태는 분석 보간식, 예컨대, 쌍일차(bilinear) 또는 쌍입방(bicubic) 방식을 이용해 새로운 픽셀들을 예상한다. 그러나, 본래의 이미지는 물체 가장자리와 같은 강한 불연속성을 포함하므로, 이들 방법들이 가정하는 분석적 매끄러움(smoothness)를 따르지 않는다. 이로써 링잉(ringing), 스테어케이싱(staircasing)(계단현상(jaggies)으로 알려짐), 및 블러링(blurring) 효과와 같이 가장자리를 따라 다수의 아티팩트(artifacts)가 현저해진다. 이미지 업스케일링은 컴퓨터 그래픽, 머신 비전(machine vision) 및 이미지 처리 커뮤니티에 의해 광범위하게 연구되어 왔다. 수년에 걸쳐 개발된 상기 방법들은 수식들이 다르고 종래 이미지 모델 및 그들이 사용한 입력 데이터를 강조한다. 본 명세서에서 간략히 문제 및 그 이면의 원리에 대한 주요 접근법을 기술한다. 본 출원인은 본 출원인의 신규한 방법의 가정된 셋팅들인 싱글 이미지 업스케일링 방법들에 초점을 맞춘다.

전통적인 가장 단순한 접근법은 중간 픽셀값들을 예상하기 위해 선형 보간법을 이용한다. 이 방법은 주로 쌍일차 및 쌍입방 필터와 같은 선형 필터링을 이용해 실행되고, 상업용 소프트웨어에서 주로 발견된다. 이들 보간 커넬(kernels)은 종종 내츄럴 이미지에서의 경우가 아닌 공간상 반반하거나 대역제한신호(band-limited signals)용으로 설계된다. 실제 이미지는 종종 에지(edges) 및 고주파 텍스쳐 영역(high-frequency textured region)과 같은 특이점들(singularities)을 포함한다. 그 결과, 이들 방법들은 링잉, 앨리어싱(aliasing), 계단현상, 및 블러링과 같은 다양한 에지 관련 시각적 아트팩트를 받게 된다. 테베나즈 등(Thevenaz et al. [25])은 이들 방법 및 이들의 등가물의 더 정교한 조사를 제공한다.

더 최신의 방법들은 이미지 컨텐츠를 기초로 한 보간 가중치를 적용한다. 예컨대, 리 등(Li et al. [10])은 로컬 에지 방향에 따라 보간 가중치를 적용하고 수 등(Su et al. [20])은 선형 보간을 위해 4개의 최근접 픽셀들 중 3개를 선택한다. 이는 링잉 효과가 줄어들게 하고 약간 더 선명한 에지를 얻는다. 비이차 평활화 함수(Non-quadratic smoothness functionals)는 업스케일링을 위해 사용될 수 있는 다른 타입의 비선형 이미지 정규화를 산출한다. 예컨대, 알리 및 두보이스(Aly and Dubois [1])는 총 변화 기능을 최소화함으로써 이미지를 확대시킨다. 샨 등(Shan et al. [19])은 출력 이미지들이 입력 해상도로 다운스케일링될 때 입력 이미지와 일치하게 유지하는 최신 피드백 컨트롤 프레임워크를 이용해 유사한 계측(metric)을 최소화시킨다.

내츄럴 이미지 통계학의 최근 연구에 고무된 여러 방법들은 랜덤 마코프 필드 모델(random Markov field models)을 이용해 업스케일 이미지 공간에 걸쳐 확률밀도를 정의한다. 많은 경우 출력 이미지는 이들 모델을 극대화함으로써 계산된다. 이들 접근법은 2개의 주요 분류로 나누어질 수 있다: 하나는 논파라미터 예제-기반 모델이고 하나는 분석 이미지 모델링을 기초로 한 것이다.

예제 기반 이미지 확대는 프리맨 등(Freeman et al. [8])에 의해 연구되었고 [Freeman et al. 7]에 더 발전 되었다. 이 이미지 예상 모델은 저주파 대역, 즉, 평활 버전과 잔여 고주파 대역으로 압축해제된 예제 패치들의 데이터베이스에 따른다. 입력 이미지는 분석 보간을 이용한 더 높은 해상도로 보간되고 상실한 고주파 대역은 그런 후 예제 패치들로부터 예상된다. 매칭은 예제 패치들이 저주파 성분에 따라 수행된다. 이 접근법은 물체 가장자리와 미세 텍스쳐 영역 모두의 이미지에 걸쳐 그럴듯한 세밀한 디테일을 만들 수 있다. 그러나, 데이터베이스에서 관련된 예들의 부족으로 인해 구배진 가장자리를 따라 불규칙을 나타내는 노이즈 이미지가 뚜렷해 진다. 더 큰 데이터베이스를 사용하는 것은 최단 이웃점 탐색(nearest-neighbor searches)에서 비교가 추가됨으로 인해 더 많은 시간이 소모된다. 적절한 최단 이웃점 탐색의 사용은 자신의 에러를 도입함에 따라 제한된 해결방안을 제공한다. 타펜 등(Tappen et al. [24])도 또한 패치-기반 모델을 이용하고 입력과 일치되는 출력을 필요로 한다.

이미지의 프랙탈 특성과 그 이미지 압축 적용을 연구한 반슬리(Barnsley [2])의 초기 연구에 의해 동기부여 받은 로버트 등(Robert et al. [18]) 및 블스케이(Vrscay et al. [26])은 여분의 디코딩 단계를 포함하는 프랙탈 압축 방식을 이용해 이미지를 보간한다. 이 접근법은 강한 블록 아티팩트를 받으며 이 아티팩트는 로우센스(Reusens [16]) 및 폴리도리 등(Polidori et al. [13])가 개시한 바와 같이 겹치는 범위 블록들을 이용해 감소될 수 있다. 이들 연구를 바탕으로, 에브라히미 및 블스케이(Ebrahimi and Vrscay [4])는 작은 패치들에서 자체 유사성에 따라 예제 패치들에 대한 소스로서 다수의 더 작은 스케일들로 입력 이미지를 이용한다. 이는 나중에 나타낸 바와 같이 범용 데이터베이스와 비교되는 제한된 크기의 예제 데이터베이스를 제공하는 한편, 이 예제 데이터는 확대된 입력 이미지와 상당히 더 관련있다. 수테이크 등(Suetake et al. [21])도 또한 입력 이미지를 이용해 프리맨 등(Freeman et al. [7])과 유사한 프레임워크로 추후 손실 고주파 대역을 평가하는데 이용되는 예제 코드북을 계산한다.

최근, 여러 기생 이미지 모델들이 업스케일링하기 위해 제안되었다. 이들 방법들은 분석 모델들이 다른 스케일에서 통계적 의존성을 나타내는 다양한 이미지 특징들을 기술하게 하는데 적합하다. 파탈(Fattal [6])은 입력에서 추출된 에지 디스크립터(edge descriptor)와 더 높은 해상도에서의 그래디언트들 간의 관계를 모델화시킨다. 재구성된 에지 프로파일 이전에 전체 분석이 선 등(Sun et al. [23])에 의해 사용된다. 이들 접근법들은 예제 기반의 카운터파트보다 상당히 더 빠르고 어떠한 명백한 노이즈 없이 선명한 에지를 재생성할 수 있다. 그럼에도 불구하고, 최종발생한 이미지들은 종종 컬러 플라토(color plateaus)를 분리하는 총체적 에지로 만들어지기 때문에 약간 비현실적이게 나타나는 경향이 있다. 선 등(Sun et al. [22])은 예제 기반 및 기생 모델링을 함께 결합한 마코브 랜덤 필드를 기술한다.

싱글 이미지 업스케일링 이외에, 많은 연구들은 변환-오프세트에서 취한 동일 장면의 여러 샷(shots)들이 장면의 단일 고해상 이미지를 생성하는데 이용되는 멀티-프레임 초해상도를 다룬다. 이는 또한 강건한 정규화를 이용해 이 동작을 제한하는 노이즈를 다루도록 제안되었다[5. 11]. 정적 장면의 고해상도 사진을 가정하면, 바트 등(Bhat et al. [3])은 사진으로부터 픽셀들을 랜더링함으로써 상기 장면의 비디오를 강화한다. 최근, 글래스너 등(Glasner et al. [9])은 멀티-프레임과 예제 기반의 초해상도 기술을 통합해 단일 이미지 방법을 도출한다. 이 방법은 멀티-프레임 초해상도 형식을 이용하나, 서브픽셀 오프세트만큼 다른 샘플들을 얻기 위해 이미지에서 자기유사성(self-similarity)에 의지한다.

로컬 자기유사성

프리맨 등(Freeman et al. [7])은 임의의 내츄럴 이미지로부터 취한 작은 패치들의 범례 데이터베이스를 이용한다. 다른 참조문헌들은 이미지내 자기유사성에 따른다[2, 26, 21, 9]; 내츄럴 이미지에서 작은 패치들은 이미지내 그리고 스케일에 걸쳐 스스로 반복되는 경향이 있다. 이는 외부 데이터베이스가 예제 패치들에 대한 소스로서 더 작은 스케일로 취해진 입력 이미지 자체와 교체되게 한다. 이는 임의의 크기의 외부 데이터베이스에 비해 제한된 개수의 예제 패치들을 제공하는 한편, 입력 이미지내에 발견된 패치들은 업스케일링에 더욱더 관계 있다. 따라서, 많은 경우 더 적은 예들을 이용하고 비기생 예제 기반의 이미지 모델의 주요 병목인 것으로 알려져 있는 최단 이웃점 탐색에 포함된 시간비용을 줄이면서 같거나 더 나은 결과를 얻을 수 있다.

본 발명은 여러 측면에서 기존의 예제 기반 초해상도 프레임워크를 확장한 새로운 고품질 및 효율적 싱글이미지 업스케일링 기술을 제안한다. 도 1은 작은 패치들(10)이 작은 스케일링 요소들에 대해 스스로 매우 유사한 내츄럴 이미지에서 로컬 스케일 불변인 본 발명의 접근법을 나타낸다. 이 속성은 내츄럴 이미지에서 로컬 스케일-유사성을 이용함으로써 이미지 업스케일링을 나타낸 도 1에 도시된 바와 같이 직선 및 코너 에지들과 같은 다양한 이미지 특이점들에 대해 적용된다. 다운스케일될 때 패치(10)는 재단된 형태(11)와 매우 유사하다. 이 관계는 다양한 타입의 특이점들에 적용된다. 본 발명은 이 관찰을 이용해 입력 이미지에서 극히 국소화된 영역에서 예제 패치들에 대해 한 단계 더 탐색하는 에브라히미 및 블스케이(Ebrahimi and Vrscay [4]) 접근법을 취한다. 이런 로컬 탐색을 예제 패치들을 얻기 위한 대안과 비교함으로써 계산 시간 및 매칭 에러 양면에서 상당히 더 잘 수행되는 것으로 나타난다.

스케일 불변 가정은 더 큰 검색능력의 더 많은 예제 패치들이 발견되는 작은 스케일링 팩터에 대해 더 잘 적용되는 것을 또한 알 수 있다. 따라서, 몇몇 실시예에 따르면, 본 발명은 소정의 확대 크기를 달성하기 위해 작은 스케일링 팩터의 여러 업스케일링 단계들을 수행한다. 본 발명은 일반적 N+1:N 업스케일링 및 다운샘플링 비율에 대해 도출된 새로운 전용 필터뱅크(novel filter bank)를 이용한 이들 논다이아딕 스케일링(non-dyadic scalings)을 실행한다. 새 필터는 업스케일링 프로세스를 모델화하는데 이용된 여러 원리들을 기초로 설계된다. 이들 원리들 중에 하나는 손실 고주파 대역이 예상되기 전에 업샘플 이미지가 초기 단계에서 입력 이미지와 일치하도록 필터들이 거의 배직교되는 요건이다. 이는 예제 기반의 학습 단계에서 요구되는 예상 분량을 줄임으로써 입력 데이터를 더 잘 이용하고 시각적 현실성을 높이게 한다. 이제껏 제안된 방법들은 대형 시스템의 후방투사 방정식의 해를 구함으로써 이 요건을 달성한 반면, 본 발명에 따른 필터뱅크는 잘 알 수 있고 이에 따라 효율적인 계산을 통해 이 일치를 달성한다.

본 발명에 따르면, 복수의 픽셀들을 갖는 입력 이미지로부터 증가된 픽셀 해상도의 출력 이미지를 만들기 위한 컴퓨터 실행 방법으로서,

제 1 메모리에 입력 이미지를 저장하는 단계와,

업스케일 이미지에서 각 픽셀이 입력 이미지에서 작은 개수의 픽셀들에 맵핑되도록 상기 입력 이미지를 논다이아딕하게 업스케일링함으로써 입력 이미지보다 더 많은 픽셀들을 갖는 업스케일 이미지를 발생하는 단계와,

상기 입력 이미지를 저역 필터링함으로써 평활 이미지를 발생하는 단계와,

각 픽셀 값은 입력 이미지에서 해당 픽셀값과 평활 이미지에서 해당 픽셀값 간의 차인 하이 디테일 이미지를 발생하는 단계와,

업스케일 이미지에서 각 픽셀에 대해, 작은 개수의 이웃 픽셀들과 함께 상기 픽셀을 포함하는 패치를 식별하는 단계와,

평활 이미지의 위치가 업스케일 이미지에서 패치의 맵핑 위치에 가까이 놓인 평활 이미지에서 패치들을 탐색함으로써 평활 이미지의 로컬 영역내 최적합 패치를 찾는 단계와,

평활 이미지의 최적합 패치에 해당하는 하이 디테일 이미지의 등가 패치에 해당 픽셀의 픽셀 값을 고유하게 추가함으로써 업스케일 이미지의 상기 패치에 있는 각 픽셀을 보정하는 단계와,

다른 처리를 위해 제 2 메모리에 보정된 업스케일 이미지를 저장하는 단계를 포함하는 컴퓨터 실행 방법이 제공된다.

본 발명에 따른 방법은 고품질 해상도 강화를 만들 수 있고 알고리즘을 전혀 변형함이 없이 비디오 시퀀스에 동일하게 적용될 수 있다. 본 발명에 따른 로컬 탐색 및 명시적 필터계산은 매우 효율적인 실행을 허용하고 저해상도 비디오를 고화질 포맷으로 강화할 경우 실시간 GPU 성능을 보고한다.

고속 알고리즘으로 인해, 앞서 제안된 접근법들에 비해 이미지 품질을 희생시키지 않고도 실시간으로 업스케일된 출력 이미지를 만드는데 이용될 수 있다.

본 발명의 내용에 포함됨.

본 발명을 이해하고 실제로 얼마나 실행될 수 있는지 알기 위해, 첨부도면을 참조로 단지 비제한적인 예로써 실시예들이 기술되어 있다.
도 1은 내츄럴 이미지에서 로컬 스케일-유사성을 이용함으로써 이미지 업스케일링을 도시한 것이다.
도 2는 본 발명에 따른 업스케일링 구성을 개략 도시한 것이다.
도 3은 다른 스케일링 팩터들에서 이미지 업샘플링시 로컬 검색에 있어 에러를 도시한 그래프이다.
도 4의 a 내지 도 4의 c는 3의 최종 확대계수를 달성하는데 이용된 다른 스케일링 단계들 간을 비교한 것이다.
도 5는 다양한 탐색 전략들의 에러 대 시간 비용을 도시한 그래프이다.
도 6은 다른 검색 기술을 이용한 3 계수에 의해 업스케일된 이미지를 비교한 것이다.
도 7a 및 도 7b는 그리드 관계 및 필터 배치를 도시한 것이다.
도 8a 내지 도 8d는 반복 이미지를 도시한 것이다.
도 9a 내지 도 9e는 거의 배직교 필터들 및 이 같은 고려없이 설계된 필터들 간의 비교를 도시한 것이다.
도 10은 본 발명의 실시예에 따라 실행된 원리적 동작의 개략 반복이다.

본 발명에 의해 사용된 기본 업스케일링 방식은 앞서 참조문헌[7, 21, 24]. 에 사용된 프레임워크와 밀접하게 관련 있다. 그러나, 사용하는 대부분의 구성요소들을 지금 설명하고 있는 신규한 특수용도의 구성요소들로 대체한다. 제 1 기여는 사용하도록 제안된 예시적인 패치들의 다른 소스이다. 하기에 내츄럴 이미지에서 세밀한 스케일의 유사성 속성을 논의하고 측정한다. 기존 방법들이 이용한 유사성 가정들은 이미지에 걸치고 상기 이미지의 멀티 스케일에서의 유사성을 이용한다. 본 출원인은 이 가정을 정교하게 하여 내츄럴 이미지에서 다양한 특이한 특징들이 작은 스케일링 팩터 하에서 스스로 유사해지는 것을 알았다. 로컬 자기유사성이라고 하는 이 속성은 입력 이미지에서 동일한 상관된 좌표들 주위의 매우 제한된 이웃들에서 관련 있는 예제 패치들을 탐색하여 찾게 한다. 이런 접근은 전체 이미지 검색에 비해 실질적으로 최근접 패치 탐색 회수 또는 외부 데이터베이스에서의 탐색을 줄인다.

이는 멀티 스케일로 정확한 반복을 포함하지 않는 대부분의 이미지들에서 명백한 시각적 손상없이 달성된다. 본 실험에서, 본 출원인은 작은 팩터들로 스케일링 적용시 입력 이미지에서 제한적인 상관된 이웃들에서 매우 상관있는 패치들이 발견될 수 있음을 입증하였다. 따라서, 이 접근을 유효하게 하기 위해, 작은 확대요소들의 여러 단계들로 이미지를 스케일링함으로써 예제 패치들에 있는 데이터량 및 적합성(relevance)을 극대화하였다. 이는 두번째 새로운 요소, 즉, 새로운 전용 논다이아딕 필터뱅크를 이용해 행해진다. 후술되는 이들 필터뱅크들은 2보다 작은 요소들로 스케일링을 수행하는 보간 및 완화 연산자(U 및 D)를 정의한다. 이들 새로운 필터 뱅크들이 달성되는 또 다른 바람직한 속성들은 상기 방법들이 하듯이 후방투사 방정식의 해를 구하지 않고 명백한 계산을 통한 입력 이미지와의 일치이다.

도 2는 본 발명에 따른 업스케일링 방식을 도시한 것이다. 업샘플 이미지(13)로부터 저주파 대역의 패치(12)는 저역통과 입력 이미지(16)에서 작은 윈도우(15)내 최근접 패치(12')와 일치한다(화살표 14). 입력시 일치된 필터에서 상부 주파수대역(17)은 출력 업샘플 이미지에서 손실 상부대역을 채우는데 이용된다(화살표 18). 픽셀(g₀)의 성긴 그리드에 정의된 입력 이미지(I₀)가 주어지면, g_l에서 g_i+1로 이미지를 맵핑시키는 선형 내삽 연산자(U)를 이용해 미세 그리드(finer grid)(g_l)에 입력 이미지를 보간함으로써 시작하며, g₁은 (l에 따라 증가하는) 스케일링 팩터씩 증가하는 해상도를 갖는 직사각형 픽셀 그리드이다. 이 초기 업샘플 이미지 L₁=U(I₀)는 스케일링 팩터에 비례하는 상부 주파수 대역의 비를 누락시킨다. 이 손실 대역은 외부 예제 데이터베이스에 의존하지 않고 오히려 아래와 같이 로컬 자기유사성 가정을 이용한 비기생 패치기반 모델을 이용해 예측된다. 예제 패치들은 입력 이미지 L₀=U(D(I₀))의 평활화 형태로부터 추출되며, D는 g_l에서 g_{l -1}로 이미지를 맵핑시키는 다운샘플링 연산자이며 또한 본 출원인의 전용 필터뱅크에 의해 정의된다. 평활화 입력(L₀)에서 가장 유사한 패치 q(p)⊂g₀ 로 업스트림 이미지(L₁)에서 패치 p⊂g₁마다 제 1 매칭을 함으로써 고주파 예측이 행해진다. 이 탐색은 L₀에서 패치마다 수행되지 않고 오히려 g_l에서 쿼리 패치(p)의 중심 좌표와 동일한 상대 좌표(g₀) 주변에 중심을 둔 (도 2에서 15로 표시된) 제한된 작은 윈도우들에 대해 수행된다. 후술되는 바와 같이, 이는 U 및 D 지정시 보장되는 2개의 이미지들이 스펙트럼적으로 호환가능한 것이 요구된다. 일치된 패치 H₀(q)=I₀(q)-L₀(q)에서의 입력 이미지에서 한쪽 고주파 컨텐츠는 단순히 붙여넣기(pasting)함으로써, 즉, I₁(p)=L₁(p)+H₀(q(p))함으로써 손실 고주파 대역을 채우는데 이용된다. 인근 패치들 간에 중첩으로 인한 동일한 픽셀에 대한 다른 원인들은 함께 평균된다. 이 방식의 특별함들이 다음 장에서 상세히 설명된다.

본 발명은 내츄럴 이미지에서 자기유사성 관찰을 정교하게 하고 내츄럴 이미지에서 공통으로 나타나고 해상도 강화를 필요로 하는 에지와 같은 다양한 특이점들이 스케일링 변환에 불변이며 따라서 실례를 바탕으로 스스로 유사함을 나타낸다. 이 속성을 로컬 자기유사성이라 하는데, 왜냐면 이는 관련된 예제 패치들이 매우 제한된 패치 세트에서 발견될 수 있고; 이미지에서 모든 패치에 대해, 매우 유사한 패치들은 동일한 상관 좌표 주위의 로컬 영역에서 다운스케일(또는 평활화) 형태로 발견될 수 있음을 의미하기 때문이다. 이는 강도의 불연속, 즉, 이미지에서 에지, 불연속 1차 도함수, 즉, 평면화된 표면의 음영을 포함한 패치들에 대한 경우이다. 이들 분리된 특이점들은 다른 기하학적 형태, 예컨대, 도 1에 도시된 바와 같이 선, 코너, T-결합, 호 등으로 나타날 수 있다. 본 발명은 이 로컬유사성을 이용해 매우 작게 정해지도록 내려진 이미지 픽셀들의 개수에 따르는 것으로부터 최근접 패치 탐색에 관여된 작업을 줄이게 한다. 본 출원인은 본 명세서에서 로컬 자기유사성이 지켜지고 그 사용과 다른 패치 탐색방법을 비교하는 정도를 정량화하는 여러 예들을 설명한다.

첫번째 예로, 본 출원인은 로컬 자기유사성이 다양한 스케일링 팩터에서 얼마나 잘 지켜지는지 정량화한다. 도 3은 평균 강도만큼 각 컬러 채널을 정규화한 후 RGB 컬러 공간에 계산된 다른 스케일링 팩터들(0과 1 사이의 픽셀 값들)로 이미지를 업샘플링할 때의 로컬 탐색에서 쿼리 및 검색된 패치들 간의 평균 L₁ 에러를 도시한 것이다. 쿼리 패치들은 5×5 픽셀들의 윈도우이고 N+1:N의 스케일링 팩터에 대한 2(N+1)×2(N+1) 픽셀들의 윈도우에서 탐색이 수행된다. 도면에서 그래프는 스케일링비가 더 크게 증가함에 따라 에러가 증가하는 것을 명확히 나타내고 있다. 이는 다음과 같이 설명될 수 있다. 큰 스케일링 팩터들은 예시적인 이미지 계산시 더 강한 평활화를 포함한다. 이는 큰 요소만큼 입력 이미지를 다운스케일링하는 것과 같다(다운스케일링 함으로써 수행된다). 이런 프로세스에서, 이미지 특징들은 서로 더 가까워지게 되고 예제 패치들은 스케일 불변 가정을 지키는 순수한 분리된 특이점들을 더 이상 포함하지 않게 된다. 도 4a 내지 도 4c는 최종 업스케일 이미지 후 얼마나 스케일링 단계들이 달라지는 지를 도시한 것이다. 사용된 스케일링 시퀀스는 5회 반복된 (도 4a) 2:1, 3:2, (도 4b) 5:4, 5:4, 4:3, 3:2, 및 (도 4c) 5:4이다. 큰 요소들, 이 경우 다이아딕에 의해 발생된 아티팩처들은 명백하다. 이것이 주어지면, 소정의 최종 확대를 달성하기 위해 작은 요소들의 멀티 스케일링 단계를 수행함으로써 이미지를 업스케일한다. 본 발명에 따라 이들 작은 논다이아딕 스케일링이 전용 필터뱅크를 이용해 수행되는 방식을 하기에 설명한다

제 2 예로, 본 출원인은 다양한 접근법뿐만 아니라 러닝타임(running time)에 의해 검색된 패치들의 품질을 비교한다. 본 명세서에서 또한, 본 출원인은 정규화 RGB 컬러 공간에서 5×5 픽셀들의 패치를 이용하고 5:4의 요소만큼 크케일 업된 6개의 테스트 이미지로부터 측정된 평균값을 알린다. 도 5는 10×10 픽셀들의 윈도우와 20×20 픽셀들의 윈도우내 로컬 탐색 및 전체 입력 이미지에서 정확한 최근접 탐색과 대략적인 최근접 탐색을 이용해 얻은 결과를 도시한 것이다. 이들 테스트들은 5:4의 스케일링 팩터로 수행되었고 그래프의 시간축은 로그 스케일로 도시되어 있다. 그래프는 본 출원인이 제안한 로컬 탐색이 더 정확하고 다양한 오차 한계로 정한 kd-기반의 근사 최근접 이웃 탐색 알로리즘의 사용보다 상당히 더 빠른 것을 보여준다. 전체 입력 이미지에서 남김없이 최근접 패치에 대한 탐색은 로컬 탐색에 비해 정확도에서 상당한 이득을 달성하지 못한다 - 사실, 두 방식들 간에 80% 일치한다. 실제로, 두 탐색 전략들 간의 상당한 시각적 차이가 없는 것은 외부 데이터 베이스(Ext.DB)에서 최근접 탐색, 전체 이미지(NN)내 최근접 패치, 및 본 출원인의 로컬탐색(LSS)을 이용한 3의 계수씩 업스케일된 이미지를 도시한 도 6a 내지 도 6c에 의해 지지된다. 2(N+1)×2(N+1) 픽셀보다 더 큰 윈도우내 탐색은 실질적으로 상당한 이득을 얻지 못하며, 계산하기에 4배보다 더 긴 시간이 걸린다.

게다가, 본 출원인은 총 픽셀과 동일한 개수를 포함한 또 다른 매우 상세한 이미지에 의해 풍부해진 프리맨 등(Freeman et al. [7])이 이용한 6개 이미지로 구성된 외부 데이터 베이스의 이용을 테스트하였다. 더 많은 예제 패치들을 갖고 정확한 최근접 이웃 탐색의 사용에도 불구하고, 도 6에 도시된 바와 같이, 이 옵션으로 상당히 에러가 더 높아졌다. 이미지 자체이 비해 이 데이터 베이스의 적합성이 낮은 것 이외에, 저주파 대역을 기초로 계산된 최근접 패치들은 모호해질 수 있다. 실제로, 프리맨 등(Freeman et al. [7])은 구축 중에 있는 고주파 성분을 기초로 또한 패치들을 매치시킨다. 이 해결방안은 패치를 탐색할 때 공간 의존성을 도입하며, 이는 로컬성 및 계산의 명확성을 악화시킨다.

종래 기술의 접근에 대한 향상

본 발명에 따른 예제 기반의 이미지 업스케일링의 사용에 의해 입증된 로컬 자기유사성은 본 발명을 이제까지 제안된 접근법들과 구별한다. 본 출원인의 테스트는 유사성이 허용되는 로컬 탐색이 전체 이미지 탐색에 비해 거의 품질이 떨어짐이 없이 상당한 속도를 달성하는 것을 나타낸다. 그러나, 글래스너 등(Glasner et al. [9])은 전체 입력 이미지내 및 스케일들에 걸친 탐색에 의해 동일한 특징의 다른 경우들이 발견될 수 있다. 도 8a 내지 도 8c는 이런 반복들이 발경되고 이용되는 경우를 도시한 것이다. 도 8a는 입력을 도시한 것이고, 도 8b 내지 도 8d는 선택된 영역(19)의 입력 픽셀들을 각각 도시한 것이며, 출력은 본 발명의 방법과 글래스너 등(Glasner et al. [9])의 결과에 의해 발생된다. 데이터에서 이들 반복을 찾기 위해, 글래스너 등(Glasner et al. [9])은 작은 논다이아딕 계수들과 작은 변환 오프세트(translational offsets)만큼 다른 멀티 스케일들로 철저한 탐색을 수행한다. 이 접근은 최근접 패치 탐색 노력을 높이지만, 이런 타입의 반복은 전체 내츄럴 이미지에서 대부분의 에지들을 따라 발견되는 로컬 자기유사성에 비해 부족하다. 게다가, 글래스너 등의 접근법에서, 출력 이미지는 초해상도뿐만 아니라 큰 선형 방정식의 후방투사 시스템의 해를 구함으로써 계산된다. 후술되는 바와 같이, 본 발명은 로컬 및 명백한 계산으로 구성된 커스텀(custum) 필터뱅크를 이용해 업스케일 이미지를 합성한다. 또한, 본 발명에 따른 접근은 예제 패치들 탐색시 그리고 출력 이미지 구성시 둘 다를 로컬적으로 실행하고 후술되는 바와 같이 전체 병렬 실행을 허용한다.

논다이아딕 필터 뱅크

상술한 테스트로부터의 주요 결론은, 스케일링 팩터가 작은 한, 작은 로컬 패치 탐색이 효과적이다는 것이다. 따라서, 본 출원인은 작은 팩터들의 멀티 업스케일링 단계를 수행한다. 상술한 업스케일링 방식은 분석 선형 보간(U) 및 평활화 D 연산자를 이용해 예제 패치들을 발생하는데 사용되는 초기 업샘플 이미지와 평활화 입력 이미지를 계산한다. 이들 연산자의 선택은 본 발명에 중요하고 여러 조건들은 이미지 업스케일링 프로세스를 모델화하기 위한 이들 필터 뱅크들에 의해 따라져야 한다. 이미지 차원이 배가 되는 다이아딕 이미지 업스케일링은 일반적으로 2개 픽셀들 마다 0이 추가되고 이어서 필터링 단계가 잇따라 이미지를 보간하는 것으로 구성된다. 다이아딕 다운스케일링은 이미지를 먼저 필터링하고 그런 후 다른 픽셀들 마다 서브샘플링하는 것으로 구성된다. 다운 스케일링 연산은 순방향 웨이블릿변환시 더 거친 수준의 근사계수의 계산과 같고, 업스케일링은 임의의 상세(웨이블릿) 성분을 추가함이 없이 적용된 역 웨이블릿변환에 해당한다. 실제로, 말랫(Mallat [12])이 개한 바와 같은 웨이블릿이론은 이런 스케일링 방식과 필터뱅크의 설계 및 분석과 주로 관련 있다. 이 방대한 문헌은 다이아딕 변환을 계산하기 위해 본 명세서에 논의하고 자하는 요건들 모두 또는 대부분을 따르는 무수한 필터뱅크들을 제안한다. 그러나, 스케일링 팩터가 2와 다른 논다이아딕 경우에 대해서는 이용될 수 있는 것이 아주 거의 없다. 시옹 등(Xiong et al. [27])은 리프팅(lifting) 방식을 이용해 이미지 코딩을 위해 3:2 스케일링을 계산한다. 이들 구성은 제 3의 값을 스킵하면서 선형함수를 포함된 동일 값으로 맵핑시킨다. 따라서, 이는 후술되는 본 출원에 매우 중요한 1차 다항식을 재구성하지 않는다. 폴록 등(Pollock et al. [14])은 무한이며 따라서 본 출원인의 요구에 맞지 않는 직교대칭 새넌형 웨이블릿(Shannon-like wavelets)을 기술하고 있다. 웨이블릿 패킷 분석[12]이 스펙트럼 타일링 트링(spectral tiling tree)을 일반화하는 반면, 이는 여전히 공통 다이아딕 공간 설정시 주로 실행된다.

여기서 본 출원인은 웨이블릿 변환의 다이아딕 스케일링을 N+1:N 스케일링 팩터로 확장하는 공식을 도출한다. 도 7a 및 도 7b는 N=2 및 N=4의 경우에 대해 이를 나타낸 것이다. 도 7a는 5:4 비율로 더 미세한 격자(상단)에 대해 배치된 성긴 격자(하단)를 도시한 것이다. 미세 격자 상의 0이 아닌 계수의 배치는 적색으로 도시되어 있고 단색으로 회색의 더 조밀한 음영으로 나타나 있다. 도 7b는 3:2 스케일링 팩터로 2개 필터들의 프로파일을 나타낸 것이다. 도면에 도시된 바와 같이, 성긴 g_l 및 미세한 g_{l +1} 격자점들의 상대 배치는 N 주기성을 갖는다. N=1인 다이아딕 경우 이외에, 필터가 엄밀하게 변환 불변임을 예상하는 것은 당연하다; 이들은 적어도 하나의 격자에서 샘플된 선형 램프함수를 더 성긴(또는 더 세밀한) 격자에서 샘플된 동일한 함수로 맵핑시킬 수 있다. 필터 가중치가 다른 (도면에 도시된) 격자들 간에 상대 오프세트들에 적용되고 따라서 N개 필터들의 각 주기내에서 달라진다. 그러므로, 다른 공간 의존성없이, N+1:N 변환은 N+1 격자점들의 주기에 변환 불변인 필터링으로 구성되고 이에 따라 불규칙 격자 관계를 다루기 위해 N개의 식별 필터들을 필요로 한다. 실제로, 이는 다운스케일링 연산자가 N개 표준 변환-불변 필터링 연산을 이용해 계산되고, g_l에서 총 N개의 값들 만들기 위해 g_{l +1}에 이어 N+1 픽셀들마다 각 필터 이미지를 서브샘플링하는 것이 수행될 수 있다. 수식으로, 이는 아래와 같이 주어진다:

여기서, p=N mod N, q=(N-p)/N이며, 필터(d₁,…,d_N)는 N개의 식별 평활화 필터이고, 필터 미러링은

[n]=d[-n]으로 주어지며, *은 이산 컨볼루션(discrete convolution)을 나타낸다. 다이아딕 경우의 아날로그 확장이 업샘플링 단계에 적용된다; N 주기내 매 샘플은 다른 업샘플링 필터(u₁,…,u_N)로 채워진다. 그런 후 이들 필터 이미지들은 다음과 같이 합해진다:

제로 업샘플링 연산자는 (↑I)[(N+1)n]=I[n]로 정의되며 그렇지 않으면 0이다.

맵핑과 맵핑의 역(逆)을 구성하는 필터들은 배직교 필터[12]로 알려져 있다. 본 출원인의 도출에서, 이 관계는 먼저 업샘플한 후 다운샘플할 경우, 즉,

에 필요할 수 있다.

역 순서로 연산자를 적용함으로써 동일한 맵핑이 될 것으로 예상할 수 없는데, 이는 g_l 및 g_{l +1}이 다른 공간 치수가 되기 때문이다. 수식으로, 연산자들 간의 수학식(3)은 모든 정수 k 및 1≤i, j≤N에 대해 필터에 의해 다음과 같이 표현될 수 있다:

여기서 <·,·>는 통상적인 도트 곱이며, k=0일 때 δ_k=1이고 그렇지 않으면 0이다. 다운샘플링시 입력에 따른 업샘플 이미지를 만드는 중요성은 하기의 설명으로부터 명백해진다.

변환 불변의 결여, 또는 N+1 격자점들에서 변환 불변은 본 출원인의 알고리즘의 고주파 예상 단계에 대해 저주파 및 고주파 예제 패치들을 발생할 때 사소한 복잡성을 야기한다. 서로 다른 N개의 식별 필터들은 동일한 입력 신호에 다르게 응답한다. 그러므로, 이들 출력은 패치들을 비교하고 붙여넣기 할 때 하이패스 예상 단계에서 섞이지 않아야 한다. 이를 방지하기 위해, 본 출원인은 N+1 픽셀들의 오프세트에 있는 예들을 탐색하므로, 동일한 필터 응답들이 항상 함께 정렬된다. 그런 후 본 출원인은 각 축을 따라 1,…,N+1 픽셀씩 입력 이미지 I₀를 오프세트시킴으로써 발생된 멀티 예제 이미지들 L₀=U(D(I₀))를 생성함으로써 예제 패치들의 개수 감소를 보상한다. 그러므로, 전체적으로 싱글 픽셀의 오프세트에서 탐색된 것처럼 예제 패치들의 개수가 같게 남아 있고, 필터 값들이 서로 섞이지 않는다.

웨이블릿 베이스로의 연결

이 도출은 업샘플링 필터(u_i)에 의해 이어진 공간의 보완인 통상적으로 더 미세한 공간(g_{l +1})의 고주파 서브공간을 잇는 하이패스 웨이블릿 필터를 포함하지 않는다. 이는 본 출원인의 업스케일링 방식으로 이들을 사용하지 않았기 때문이다; 하이패스 예상단계는 (통상적으로 픽셀 값을 얻기 위해 웨이블릿 필터들을 곱한) 세부 계수가 아니라 픽셀 값들에서 하이패스층을 직접 채운다. 픽셀 해상도에서의 작업은 웨이블릿 필터들이 도입되는 공간 해상도의 손실을 방지하고 패치 기반의 합성시 더 나은 품질 결과를 야기한다.

그러나, 보완 고주파 웨이블릿 공간에 고주파 층의 합성을 제한하지 않음으로써, 저주파 근사층, 즉, u_i씩 놓여진 업샘플 이미지도 또한 이 단계에 영향답게 된다. 따라서, 입력과의 일치가 손상될 것이다. 그러나, 본 출원인의 테스트는 예상된 고주파층이 다운샘플링시 미미한 효과를 가지며 입력으로부터 합성 이미지의 강도를 약 1%만큼 벗어나는 것을 보여준다.

필터 설계

본 명세서에서, 본 출원인은 이미지 업스케일링 프로세스를 모델화하도록 업샘플링 및 다운샘플링 필터들을 설계하는데 따른 가이드 원리들을 설명한다.

( C1 ) 균일한 스케일링: 이미지를 업스케일링 및 다운스케일링할 때, 본 출원인은 결과적으로 발생한 이미지가 유사성 변환; 공간상 균일한 스케일링 변환에 의해 달라지길 바란다. 이런 변환은 이미지 격자들 간의 스케일링 팩터인 고정된 계수만큼 매 2지점들 사이의 거리를 바꾼다. 이 속성은 선형함수에 의해 업샘플링 및 다운샘플링 연산자들에 부과될 수 있다. 선형함수는 고정된 거리(dx)의 지점들 간에 고정된 차 I(x+dx) - I(x)를 나타낸다. 그러므로, 본 출원인은 선형함수의 형태를 보존하기 위해, 즉, g_l에서 정의된 선형함수를 g_{l +1}에서 정의된 선형함수로 그리고 그 반대로도 맵핑시키기 위해 본 출원인의 연산자를 필요로 한다. 선형함수를 정확히 재생하는 이 조건은 웨이블릿 설계 문헌[12]에서 통상적으로 사용되는 사라지는 순간 조건의 짝을 이룬다.

( C2 ) 저주파 범위: 카메라는 유한 점확산 함수를 가질 뿐만 아니라 블러링 안티 알리아싱 필터(blurring anti-aliasing filter)를 포함한다. 이는 신호의 대역폭을 센서 샘플링 레이트에 따라 샘플링을 대략 만족시키게 제한하는데 사용된다. 이는 D 및 U 모두에서 영향을 준다. 따라서, 다운스케일링 연산자(D)는 신호를 g_l+1로 샘플링하기 전에 요구되는 블러링 및 g_l로의 낮은 샘플링 레이트에 요구되는 더 강한 블러링 량에서 차를 모델화해야 한다. 이는 저주파 대역[15]을 변환시키는 저역필터가 되게 D를 설계하는 통상적 실시에 숨어 있다. 이 주파수 대역의 길이는 대략 스케일링비, 즉, 본원의 경우 N/(N+1)에 비례한다.

유사한 조건이 보간 연산자(U)에 적용된다. 상술한 바와 같이, 카메라 필터링은 입력 이미지의 낮은 샘플링 레이트에 따라 신호의 스펙터럼을 제한한다. 초기 업샘플 이미지(L₁)는 더 큰 샘플링 레이트로 행해진 이 데이터를 포함해야 한다. 따라서, U의 재생 커넬들은 스펙트럼의 낮은 N/(N+1) 대역에 놓인 이 저주파 서프-스페이스(sup-space)에 놓여져야 한다.

( C3 ) 특이점 보존. 손실 고주파 대역의 예상 및 상술한 바와 같은 특이점의 적절한 재구성은 입력의 평활화 형태로 초기 업샘플 이미지로부터 패치들을 적절히 매칭하는 것에 달려 있다. 정확한 매치를 하기 위해, 평활화 이미지 L₀=U(D(I₀)) 및 초기 업샘플 이미지 L₁=U(D(I₀))에서의 특이점들은 유사한 형태를 가져야 한다. 이는 L₀ 및 L₁= 모두는 그 둘 간의 어떤 차가 U에 기인할 수 없는 것을 의미하는 U로 구성되기 때문에, 실제로, 업샘플링 연산자(U)라기보다는 다운샘플링 연산자(D)에 대한 조건을 둔다. 실제로, 이는 다운샘플링 연산자(D)가 I_-1을 만들 때 I₀에 나타나는 에지형 특이점 형태를 보존할 경우 충족된다.

( C4 ) 일정한 최선의 재생. 기존 접근법[24, 6, 19] 중 일부는 최종 업샘플 이미지가 입력 해상도로 다시 감소될 경우 입력 이미지와 동일해야 하는 점에서 입력과 일치해야 하는 것을 필요로 한다. 본 출원인은 이것이 또한 초기 단계에서 경우가 되어야 한다고 주장한다: 초기 업샘플 이미지(L₁)는 입력, 즉, 조밀한 격자에서 보유된 동일 정보를 포함할 때, D(L₁)=I₀와 일치되어야 한다. 그러나, L₁=U(I₀)이기 때문에, 이 조건은 D(U(I₀))=I₀, 즉, (3)에서 정의된 역관계와 같다. 다시 말하면, 업샘플링과 다운샘플링 연산자를 정의하는 필터들은 배직교 조건(4)을 따라야 한다.

이 속성을 달성하는 것은 예상단계가 그렇지 않으면 발생할 수 있는 데이터의 손실(또는 약화)을 없애는데 필요치 않은 것을 의미한다. 본래 픽셀의 이 최적 이용의 중요성이 도 9a 내지 도 9e에 설명되며, 입력 이미지가 도 9a에 도시되어 있다. 도 9b 및 도 9c는, 입력 해상도로 다운샘플, 즉, D(U(I₀))된 후, 고주파 예상단계를 실행함이 없이 초기 업샘플 이미지를 도시한 것이다. 도 9d 및 도 9e는 본 발명에 따른 업스케일링 방식의 출력을 도시한 것이다. 돌출한 에지들이 양 경우에 잘 재생되나, 배직교의 결여로 덜 사실적으로 보이게 하는 이미지에서 미세한 세부내용의 손실이 야기된다. 상술한 기존 방법들은 선형 솔버(linear solver)를 이용해, 내재적으로, D(I₁)=I₀의 해를 구하거나 비선형 반복방식을 통해 출력 이미지(I₁)에 대한 이 관계를 실행한다. 거의 배직교이게 본원의 필터뱅크를 설계함으로써, 본 출원인은 명백하며 이에 따라 효율적인 계산을 통해 L₁에 대한 이 조건에 가까워진다. 본 출원인의 이미지(I₁)는 앞서 설명된 부정확한 배직교와 고주파 예상 단계의 효과로 인해 정확히 I₀와 일치하지 않는다. 그러나, 본 출원인의 테스트는 I₀로부터 D(I₁)의 총 편차는 시각적으로 눈에 띄지 않는 픽셀 강도 값으로 약 2%가 된다.

부록에서, 본 출원인은 이들 조건들을 이용해 새로운 논다이아딕 필터뱅크들을 정의하는지 설명한다. 이는 2개의 주요 어려움을 해결하는 것을 필요로 한다. 첫째는 '간단한' 저주파 및 고주파 예제 이미지를 달성하기 위해 작은 계수의 논제로 계수들로 구성된 컴팩트 필터들을 정의하는데 필요한 사실로부터 발생한다. 이는 스케일 불변에 필요한 특이점들 간의 이격을 약화시킨다. 다른 한편으로, 작은 개수의 자유도는 본 출원인이 언급한 모든 설계 조건들을 완전히 지키지 않게 한다. 본 출원인은 어려운 구속조건들로 취급하기 보다는 최적화 문제에서 객체에 대한 요건들 중 일부를 완화시킴으로서 이 과잉결정을 신뢰한다. 두번째 어려움은 배직교 조건(4)의 비선형에서 유래한다. 이들 방정식들은 필터 설계가 동시에 모든 미지의 필터 계수들의 해를 구하거나 최적화기 어렵게 한다. 본 출원인은 배직교 조건(4)에 무관한 다운샘플링 필터(d_j)를 먼저 계산함으로써 이를 극복하고 그런 후 배직교를 고려하면서 주어진(d_j)에서 u_i를 계산한다.

부록의 표 1에서, 본 출원인은 이 프레임워크를 이용해 얻고 모든 결과들을 산출하는데 사용된 최적의 필터들을 제공한다.

결과

본 출원인은 본원의 방법을 C++로 실행하였고 인텔 코어 2 쿼드 CPU 2.8GHz 장치상에서 실행하였다. 본 출원인은 하기의 이유로 점진적으로 더 큰 스케일비율을 이용한 업스케일링을 수행한다. 이미지 크기가 근처에서 증가함에 따라, 특이점들이 더 고립되어 상술한 이미지 특이점들의 스케일 불변 속성을 악화시키지 않으며 더 강한 평활화를 이용하게 한다. 이런 고려를 염두해 둠으로써, 본 출원인은 필터들이 지지하는 작은 계수들, 즉, 5:4, 4:3, 및 3:2를 이용해 소정의 확대 계수로 근사시킨다. 예컨대, 3 배율을 달성하기 위해, 본 출원인은 5:4, 5:4, 4:3, 및 3:2를 이용하고, 4의 계수에 대해서는 5:4, 5:4, 4:3, 4:3, 및 3:2를 이용한다. 그런 후 본 출원인은 간단한 쌍입방 다운스케일링을 이용해 소정의 확대계수를 정확히 일치시킨다. 본 출원인은 YCbCr 컬러 공간에서 상기 방식을 실행하였으며, Y 채널에만 고주파를 추가하였다. 이는 RGB 컬러 공간을 이용한 것에 비해 약 3 계수의 속도를 가능하게 한다. 본 출원인은 테스트된 스케일링 팩터들에 대한 품질 저하를 관찰하지 못했다.

하나의 코어로 실행할 때 각 축을 따라 4의 계수씩 200×200 픽셀의 이미지를 업스케일하는데 4초 걸린다. 본 방법은 대수롭지 않게 병행되는데 이는 이미지내 다른 영역들이 본원의 명백한 계산에서 결합되지 않기 때문이며, 러닝타임이 코어의 개수로 더 나누어질 수 있음을 의미한다. 본 출원인은 본원의 알고리즘의 이 병렬 특성을 이용하였고, 또한 알고리즘에 전혀 변화없이 Cuda 3.0을 이용한 Nvidia™ Gefroce™ 480GTX GPU에서 실행하였다. 이 실행은 (디스플레이 시간을 ㅍ포함해) 23.9 FPS로 비디오 폼 640×360을 1920×1080로 (3의 계수) 업스케일하게 한다. 본 출원인은 4:3, 3:2 및 3:2의 스케일링 단계를 이용하였다.

본 출원인은 업스케일 이미지의 품질을 현재 최신 방법뿐만 아니라 주요 상업제품 Genuine Fractals^TM 에 의해 발생된 결과와 비교하였다. 글래스너 등(Glasner et al. [9])의 방법은 본원의 방법이 한 것보다 약간 더 선명한 에지를 재생하지만 또한 소량의 링잉과 계단현상을 일으킨다. 본원의 방법은 패치를 탐색할 때 상당히 계산을 더 적게 하고 큰 선형 시스템의 해를 구하는 것을 방지하며 이로써 단일 코어 실행시 크기 차수보다 더 빨리 실행한다. 예제 기반의 방법들임에도 불구하고, 본원의 러닝타임도 또한 분석 모델 [6, 18,22]을 이용한 방법들에 보고된 시간보다 더 적다.

비디오 업스케일링 . 본 출원인은 전혀 다른 확대없이 본원의 업스케일링을 이용해 비디오 시쿼스의 해상도를 확대하였다. 샨 등(Shan et al. [18])의 방법과 유사하게, 연이은 프레임들 간에 깜빡이는 아티팩트들이 전혀 관찰되지 않는다. 샨 등이 언급한 바와 같이, 본 출원인도 또한 일치 조건(C4)이 안정적인 출력의 원인임을 관찰했다. 보충 자료에서, 본 출원인은 본원의 방법을 그들과 비교하여 고품질 결과를 얻었다. CPU 및 GPU 실행 모두에서 본원의 러닝타임이 더 낮다.

도 10은 복수의 픽셀들을 갖는 입력 이미지(20)와 증가된 픽셀 해상도의 출력 이미지(21)로부터의 생성을 위해 본 발명에 따른 방법에 의해 수행된 원리 동작을 요약한 것이다. 상기 방법은 메모리에 입력 이미지를 저장하는 단계를 포함한다. 업스케일 이미지내 각 픽셀이 입력 이미지내 작은 픽셀 개수로 맵핑되도록 입력 이미지(20)를 논다이아딕적으로 업스케일함으로써 입력 이미지보다 더 많은 픽셀들을 갖는 업스케일 이미지(22)가 발생된다. 저역통과 필터링 입력 이미지(20)에 의해 평활화 이미지(23)가 발생되고, 각 픽셀값이 입력 이미지(20)에서 해당 픽셀값과 평활화 이미지(23)에서 해당 픽셀값 간의 차인 큰 상세 이미지(24)가 발생된다.

업스케일 이미지(22)에서 각 픽셀에 대해, 작은 개수의 이웃 픽셀들과 함께 픽셀을 포함한 패치(25)가 식별된다. 평활화 이미지의 위치가 업스케일 이미지(22)에서 패치의 맵핑 위치에 가까이 놓인 평활화 이미지(23)에서 패치들에 대해 탐색함으로써 평활화 이미지의 로컬 영역(27)내에 최적합 패치(26)가 발견된다. 업스케일 이미지(22)의 패치(25)에서 각 픽셀은 평활화 이미지(23)에서 최적합 패치(26)에 해당하는 하이 디테일 이미지(24)의 등가 패치에 각각의 픽셀(28)의 값을 추가함으로써 정정된다.

일단 이것이 행해지면, 연이은 픽셀들이 처리되고 각 픽셀에 대해 다른 패치가 정의된다. 일반적으로, 각 픽셀은 다른 크기의 패치들도 또한 이용될 수 있으나 5×5 픽셀을 포함한 패치의 중심에 있다. 연속 픽셀들이 이런 식으로 처리됨에 따라, 각각의 픽셀들에 해당하는 정의된 연속 중첩 패치들이 있다. 평활화 이미지(23)의 최적합 패치에 해당하는 하이 디테일 이미지(24)의 등가 패치에서 해당 픽셀의 셀값은 출력 이미지(21)에 한번 만 추가되어야 하는 것이 명백해 진다. 이는 제 1 패스에서 최적합 패치들이 식별되고 출력 이미지에 추가될 필요가 있는 픽셀값이 결정되는 투패스(two-pass) 접근에서 상기 방법을 어느 하나 실행함으로써 실제로 행해질 수 있다. 그런 후, 제 2 패스에서, 계산된 픽셀 값이 출력 이미지에 추가된다. 다른 접근으로, 일단 픽셀 값이 출력 이미지에 추가된 후, 픽셀의 어드레스가 후속 패치를 고려해 하이 디테일 값이 추가되는 것을 방지하도록 픽셀의 어드레스가 고정될 수 있다. 또 다른 접근으로, 최적합 패치와 관련된 픽셀 값은 출력 이미지에 추가하기 전에 정규화되어 패치 개수를 기초로 한 평균 값이 각 반복시에 추가된다.

현재 픽셀에 해당하는 최고의 하이 디테일 컨텐츠가 업스케일 이미지에 바로 기록될 수 없음이 명백해지는데, 이는 그렇게 함으로써 다음 픽셀에 필요한 최적의 예를 탐색하기 위해 추출된 다음 패치를 변경할 수 있기 때문이다. 따라서, 업스케일 이미지에 추가되는 하이 디테일 픽셀 데이터는 다른 곳(하이 디테일 버퍼)에 저장되어야 하며, 완전한 이미지 또는 서브-이미지가 처리될 때에만 출력 이미지를 생성하기 위해 업스케일 이미지에 추가된다.

또한, 하이 디테일 픽셀 데이터는 이제 설명되는 바와 같이 업스케일 이미지에 추가되기 전에 정규화되어야 한다. 패치는 멀티 픽셀들을 포함하기 때문에, 연속 패치들이 각각 동일 픽셀들 중 일부를 포함한다. 간단한 예로써, 각 패치가 5×5 픽셀을 포함하고 그런 후 각 연속 패치는 한 픽셀씩 수평으로 패치를 움직임으로써 도출되면, 각 연속 패치는 이전 패치에서 5개 픽셀들을 손실하고 이전 패치에 없었던 5개의 새로운 픽셀들을 얻게 된다. 그러나, 나머지 15개 픽셀들은 양 패치들에 있게 된다. 하나 이상의 패치에 공통인 픽셀들에 대한 하이 디테일 데이터가 업스케일 이미지에 꼭 한번만 기록되어야 한다. 따라서, 출력 이미지를 제공하기 위해 업스케일 이미지에 하이 디테일 데이터를 추가하기 전에, 본 출원인은 기록된 값들의 개수만큼 하이 디테일 버퍼에 있는 각 픽셀을 정규화(분할) 시켰다.

업스케일 이미지를 얻는 것은 업스케일 이미지와 연이은 필터링에 본래의 이미지 값들을 복사하는 것을 포함한다. 입력 이미지는 상기 입력 이미지로부터 N개의 업스케일 이미지들을 생성하고 입력 이미지에 있는 연이은 픽셀들을 N개의 업스케일 이미지들 중 연이은 하나에 복사하고 연이은 복사된 픽셀들 간에 M개 픽셀들의 갭을 남김으로써 논다이아딕으로 스케일된 N:M일 수 있다. N개의 이미지들 각각은 식별 필터로 필터되고 N개 이미지들은 그런 후 복합 이미지를 만들기 위해 추가된다.

몇몇 실시예에 따르면, 업스케일링에 사용되는 N개 식별 필터들은 소스의 모든 픽셀 값들이 같은 경우 역시 업스케일 이미지의 픽셀 값들도 같도록 정확하게 일정한 이미지를 재구성하도록 적용된다.

몇몇 실시예에 따르면, 업스케일링에 사용된 N개 식별 필터들이 선형 이미지함수를 정확히 재구성하도록 적용된다.

입력 이미지는 N개의 식별 필터들 각각에서 N개의 배직교 필터들의 제 2 세트를 발생하고, 평활화를 위해 사용된 식별 필터들의 또 다른 세트를 만들도록 N개 필터들의 각 세트에서 해당 필터들을 결합함으로써 평활화될 수 있다.

컴퓨터 자원들이 제한되거나 더 높은 처리 속도가 요구되는 경우, 입력 이미지는 복수의 서브-이미지들로 분할될 수 있고 상기 방법은 각 서브-이미지에 별도로 수행될 수 있다. 서브-이미지를 동시에 처리함으로써 처리 속도가 높아질 수 있다.

도 11은 각각의 입력 이미지(도 10에서 20)를 나타내는 픽셀 데이터를 저장하기 위한 제 1 메모리(31)를 구비하는 본 발명에 따른 시스템(30)의 기능을 도시한 블록도이다. 일반적으로, 이미지는 카메라(32)에 의해 캡쳐되고, 상기 카메라는 카메라 이미지가 실시간으로 처리되도록 제 1 메모리에 결합될 수 있다. 이는 실시간 처리가 평활화 이미지의 매우 작은 로컬영역에만 탐색함으로써 하이 디테일이 위치된 사실로 인해 매우 빠른 이미지 처리를 허용하는 향상된 알고리즘에 의해 본 발명에 의해 가능하게 행해지는 것에 유의해야 한다. 평활화 이미지에 있는 각 픽셀과 업스케일 이미지가 입력 이미지의 각각의 픽셀에 맵핑되도록 평활화 이미지와 업스케일 이미지는 입력이미지로부터 모두 도출되기 때문에, 업스케일 이미지에 있는 임의의 패치의 위치는 최적합 패치를 발견하기 위해 평활화 이미지에 있는 작은 영역으로 맵핑될 수 있다. 이는 전체 이미지를 처리할 필요성을 방지하고 매우 빨리 찾아지게 하이 테일을 허용한다. 논다이아딕 업스케일 모듈(33)은 업스케일 이미지에서 각 픽셀이 입력 이미지에 있는 작은 개의 픽셀들로 맵핑되도록 논다이아딕적으로 입력 이미지를 업스케일링함으로써 입력 이미지보다 더 많은 픽셀들을 갖는 업스케일 이미지(도 10에서 22)를 발생하기 위한 제 1 메모리(31)에 결합된다. 제 1 버퍼(34)는 업스케일이미지를 나타내는 픽셀 데이터를 저장하기 위한 논다이아딕 업스케일링 모듈(33)에 결합된다.

저역필터(35)는 입력 이미지를 저역통과 필터링함으로써 평활화 이미지를 발생하기 위해 제 1 메모리(35)에 결합되고, 제 2 버퍼(36)가 평활화 이미지를 나타내는 픽셀 데이터를 저장하기 위해 저역필터(35)에 결합된다. 뺄샘모듈(37)이 각 픽셀 값이 입력 이미지에서 해당 픽셀값과 평활화 이미지에서 해당 픽셀값 간의 차인 하이 디테일 이미지(도 10에서 24)를 발생하기 위해 제 1 메모리(31) 및 제 2 버퍼(36)에 결합된다. 제 3 버퍼(38)는 하이 디테일 이미지를 나타내는 픽셀 데이터를 저장하기 위해 뺄샘모듈(37)에 결합된다.

패치할당모듈(39)은 제 1 버퍼에 결합되고 작은 개수의 이웃 픽셀들과 함께 업스케일 이미지에 있는 각각의 픽셀을 각각 포함한 연속 패치들을 식별하도록 적용된다. 패치할당모듈(39) 및 제 2 버퍼(36)에 결합된 최적합 패치 모듈(40)은 위치가 각각의 패치에 가장 잘 맞는 최적합 패치를 위치시키도록 업스케일 이미지에 있는 각각의 연속 패치의 맵핑 위치 가까이 있는 평활화 이미지의 로컬 영역내에서 탐색한다. 보정모듈(41)은 평활화 이미지의 최적합 패치에 해당하는 하이 디테일 이미지의 등가 패치에 해당 픽셀의 픽셀값을 고유하게 추가함으로써 업스케일 이미지의 패치에 있는 각 픽셀을 보정하기 위해 최적화 패치모듈(40)과 제 3 버퍼(38)에 결합된다. 제 2 메모리(42)는 다른 처리 또는 결합되는 디스플레이 디바이스(43)에 의한 디스플레이를 위해 업스케일 이미지의 보정 픽셀들을 저장하기 위해 보정 모듈에 결합된다.

본 발명에 따른 시스템은 적절히 프로그램된 컴퓨터일 수 있음이 또한 이해된다. 마찬가지로, 본 발명은 본 발명의 방법을 실행하기 위한 컴퓨터에 의해 판독될 수 있는 컴퓨터 프로그램을 고려한다. 본 발명은 본 발명의 방법을 실행하기 위한 장치에 의해 실행될 수 있는 명령어들의 프로그램을 명백히 구현하는 기계판독가능 메모리를 또한 고려한다.

부록

상술한 바와 같이 본 출원인은 2개의 연산자; 즉, 초기 업스케일 이미지를 만드는데 이용되는 업스케일링 연산자(U)와 상기 업스케일링 연산자와 함께 입력 이미지를 평활화하는데 이용되는 다운스케일링 연산자(D)를 이용한다. 이들 연산자들 각각은 자신의 필터 세트에 의해 정의된다. 여기서, 본 출원인은 상기 필터 설계란 부제 아래에 언급된 원리(C1-4)를 기초로 어떻게 이들 필터를 설계하는지를 설명한다. 본 명세서에서 설명된 바와 같이, 이들 필터들의 지지는 다른 이미지 특징들에 필터들의 응답을 섞이게 하는 것을 막기 위해 가능한 한 컴팩트하게 유지되어야 한다. 설계 원리는 필터들에 할당하려고 하는 논제로 계수들의 개수보다 더 많은 조건들을 취한다. 그러므로, 이들 조건들을 완전히 따를 수 없고 어려운 구속조건들로 이들을 취급하기보다는 최적화 문제에서 객체들에 대한 요건들을 일부를 완화시킨다. 또한, 배직교 조건(C4)은 U 및 D 필터들 간에 비선형 관계를 만들고 이들의 계산을 어려운 문제로 만든다. 본 출원인은 필터 설계를 다음과 같이 2개의 선형 서브문제들로 분할함으로써 이 비선형성을 극복한다. 다운스케일링 연산자(D)는 물리적 이미지 획득 처리를 모델화하고 따라서 먼저 U에 무관하게 계산될 수 있게 한다. 업샘플링 필터들이 제 2 단계에서 계산되고 배직교성뿐만 아니라 다른 속성들을 보장한다.

이미지 획득 프로세스를 정확하게 모델화하기 위해, 다운샘플링 연산자(D)는 공간적으로 균일한 스케일링을 수행해야 한다. C1에 설명된 바와 같이, 이는 선형 함수에 요구될 수 있다; 다운샘플링 연산자는 G_{l +1}에 정의된 선형함수를 G_l에 정의된 선형함수로 맵핑해야 한다. 그러므로, 본 출원인은 L(x')=x'/a를 정의하고 여기서 x'∈ g_{l +1}이며, a는 스케일링 팩터(N+1)/N이고,

를 필요로 한다.

이 요건 이외에, 본 출원인은 특이점들을 모델화하는 함수(f)가 2개 스케일들 간에 정확히 맵핑되도록 함으로써 D가 특이점 보존 원리(C3)를 따르게 하고 싶다. 본 출원인은 다음과 같이 다운스케일된 f와 분석적으로 스케일 된 f 간의 거리를 최소화함으로써 이를 실행한다:

본 출원인은 가우시안, f(x)=e^-x2을 이용해 특이점들을 모델화하고, 이를 서브픽셀 오프세트(μ)만큼 변위시켜 데이터가 들어올 수 있는 모든 오프세트들과 스케일들을 고려해 σ와 같은 양만큼 이를 스트레치 시킨다. M은 정규화 계수이고 합산된 항들의 개수와 같다. 게다가, 본 출원인은 D가 C2에 따라 저주파수들을 잇게 하고 하기의 객체에 의해 이를 달성하게 하길 바란다:

여기서, D는 이산 미분 연산자이다. 이는 푸리에 영역에서 ∥

(ω)∥²/ω²의 파워스펙트럼을 최소화는 것과 같으며, 이는 라플라시안 매트릭스의 고유치이다. 함께, 본 출원인은 하기의 구속된 최적화 문제를 얻는다:

여기서, α^D는 2개의 객체들에 우선순위를 매기는데 사용된다. 라그랑지 승수법을 적용함으로써, 본 출원인은 d_j를 얻기 위해 해를 구한 방정식의 작은 선형 시스템을 얻는다.

다운스케일링 필터들 d_j에 계산이 주어지면, 유사한 방식으로 업샘플링 필터들 u_i를 계산할 수 있다. 여기서 주요 차이는 배직교성 조건(C4)에 최적화이며 특이점 보전 객체 항들을 생략한다는 것이다. 배직교성 조건은 하기의 객체에 대한 완화(3)에 의해 달성된다:

여기서, k는 인접한 d_j가 u_i와 겹치는 표시들에 놓이며, M'은 합해진 항들의 개수와 같은 정규화 상수이다. 이 항은 다운스케일링과 업스케일링 필터들 간의 하나와 다른 경우 0의 도트 곱을 진척시킨다.

d_j의 계산에서와 같이, 본 출원인은 u_i가 C2에 따라 저주파수들에 놓이게 하고 유사한 항에 의해 이를 달성하게 하고 싶다:

본 출원인은 이 경우 아래와 같이

균일한 스케일링 구속조건(C1)을 받는 객체들을 최적화하며, 여기서 (L'(x'))(x) = ax'이다. 마지막으로, u_i에 대한 최종 발생한 최적화 문제는 다음과 같고,

여기서 α^U는 2개 객체들을 우선순위 정하는데 사용된다.

표 1에서 본 출원인은 이들 계산을 이용해 구성된 필터들을 제공한다. 굵은 글자의 계수들은 필터들의 중심에 해당한다.

Claims (23)

1. 복수의 픽셀들을 갖는 입력 이미지(20)로부터 증가된 픽셀 해상도의 출력 이미지(21)를 만들기 위한 컴퓨터 실행 방법으로서,
   제 1 메모리(31)에 입력 이미지를 저장하는 단계와,
   업스케일 이미지에서 각 픽셀이 입력 이미지에서 작은 개수의 픽셀들에 맵핑되도록 상기 입력 이미지를 논다이아딕하게 업스케일링함으로써 입력 이미지보다 더 많은 픽셀들을 갖는 업스케일 이미지(22)를 발생하는 단계와,
   상기 입력 이미지를 저역 필터링함으로써 평활 이미지(23)를 발생하는 단계와,
   각 픽셀 값은 입력 이미지에서 해당 픽셀값과 평활 이미지에서 해당 픽셀값 간의 차인 하이 디테일 이미지(high-detail image)(24)를 발생하는 단계와,
   업스케일 이미지에서 각 픽셀에 대해, 작은 개수의 이웃 픽셀들과 함께 상기 픽셀을 포함하는 패치(25)를 식별하는 단계와,
   평활 이미지의 위치가 업스케일 이미지에서 패치의 맵핑 위치에 가까이 놓인 평활 이미지에서 패치들을 탐색함으로써 평활 이미지의 로컬 영역(27)내 최적합 패치(26)를 찾는 단계와,
   평활 이미지의 최적합 패치에 해당하는 하이 디테일 이미지의 등가 패치에 해당 픽셀(28)의 픽셀 값을 고유하게 추가함으로써 업스케일 이미지의 상기 패치에 있는 각 픽셀을 보정하는 단계와,
   다른 처리를 위해 제 2 메모리(42)에 보정된 업스케일 이미지를 저장하는 단계를 포함하는 컴퓨터 실행 방법.
2. 제 1 항에 있어서,
   모듈을 논다이아딕하게 업스케일링하는 업스케일 이미지를 발생하는 단계는 원래의 이미지값을 업스케일 이미지에 복사하고 연이어 필터링하는 단계를 포함하는 컴퓨터 실행 방법.
3. 제 1 항에 있어서,
   논다이아딕 N:M 스케일링은
   입력 이미지로부터 N개의 업스케일 이미지를 발생하는 단계와,
   입력 이미지에 있는 연이은 픽셀들을 N개의 업스케일 이미지들의 연이은 픽셀에 복사하고 연이어 복사된 픽셀들 간에 M개 픽셀들의 갭을 두는 단계와,
   식별 필터로 N개 이미지들 각각을 필터링하는 단계와,
   복합 이미지를 만들기 위해 N개 이미지를 더하는 단계를 포함하는 컴퓨터 실행 방법.
4. 제 3 항에 있어서,
   업스케일링을 위해 사용된 N개 식별 필터들이 일정한 이미지를 정확하게 재구성하도록 형성되는 컴퓨터 실행 방법.
5. 제 3 항에 있어서,
   업스케일링을 위해 사용된 N개 식별 필터들이 선형 이미지 함수를 정확하게 재구성하도록 형성되는 컴퓨터 실행 방법.
6. 제 3 항 내지 제 5 항 중 어느 한 항에 있어서,
   평활화는 N개 식별 필터들 각각으로부터 배직교 N개 필터들의 제 2 세트를 발생하는 단계를 포함하고,
   평활화를 위해 사용된 식별 필터들의 또 다른 세트를 발생하기 위해 N개 필터들의 각 세트에 해당 필터들을 결합하는 단계를 포함하는 컴퓨터 실행 방법.
7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
   출력 이미지가 실시간으로 발생되는 컴퓨터 실행 방법.
8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
   입력 이미지와 출력 이미지는 각각의 비디오 스퀀스의 연속 이미지들인 컴퓨터 실행 방법.
9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
   입력 이미지는 복수의 서브-이미지들로 분할되고 상기 방법은 각 서브 이미지에서 별개로 수행되는 컴퓨터 실행 방법.
10. 제 9 항에 있어서,
    서브-이미지들이 동시에 처리되는 컴퓨터 실행 방법.
11. 복수의 픽셀들을 갖는 입력 이미지로부터 증가된 픽셀 해상도의 출력 이미지를 만들기 위한 시스템(30)으로서,
    입력 이미지를 나타내는 픽셀 데이터를 저장하기 위한 제 1 메모리(31)와,
    업스케일 이미지에 있는 각 픽셀이 입력 이미지에서 작은 개수의 픽셀들로 맵핑되도록 상기 입력 이미지를 논다이아딕하게 업스케일링함으로써 입력 이미지보다 더 많은 픽셀들을 갖는 업스케일 이미지를 발생하기 위해 상기 제 1 메모리에 결합된 논다이아딕 업스케일링 모듈(33)과,
    업스케일 이미지를 나타내는 픽셀 데이터를 저장하기 위해 논다이아딕 업스케일링 모듈에 결합되는 제 1 버퍼(34)와,
    상기 입력 이미지를 저역 필터링함으로써 평활 이미지를 발생하기 위해 제 1 메모리에 결합된 저역필터(35)와,
    평활 이미지를 나타내는 픽셀 데이터를 저장하기 위해 저역필터에 결합된 제 2 버퍼(36)와,
    각 픽셀 값은 입력 이미지에서 해당 픽셀값과 평활이미지에서 해당 픽셀값 간의 차인 하이 디테일 이미지를 발생하기 위해 제 1 메모리 및 제 2 버퍼에 결합된 뺄샘 모듈(37)과,
    하이 디테일 이미지를 나타내는 픽셀 데이터를 저장하기 위해 뺄샘 모듈에 결합된 제 3 버퍼(38)와,
    제 1 버퍼에 결합되고 작은 개수의 이웃 픽셀들과 함께 업스케일 이미지에서 각각의 픽셀을 각각 포함한 연속 패치들을 식별하도록 형성된 패치할당모듈(39)과,
    패치할당모듈 및 제 2 버퍼에 결합되고 평활 이미지의 위치가 각각의 패치를 가장 잘 맞게 하는 최적합 패치를 위치시키도록 업스케일 이미지에서 각각의 연속 패치의 맵핑 위치에 가까이 놓인 평활 이미지에 있는 로컬 영역내에 탐색하도록 형성된 최적합 패치 모듈(40)과,
    평활 이미지의 최적합 패치에 해당하는 하이 디테일 이미지의 등가 패치에 해당 픽셀(28)의 픽셀 값을 고유하게 추가함으로써 업스케일 이미지의 상기 패치에 있는 각 픽셀을 보정하기 위해 최적합 패치모듈과 제 3 버퍼에 결합된 보정모듈(41)과,
    업스케일 이미지의 보정된 픽셀들을 저장하기 위해 상기 보정모듈에 결합된 제 2 메모리(42)를 구비하는 시스템.
12. 제 11 항에 있어서,
    논다이아딕 업스케일링 모듈은 입력 이미지의 픽셀 값을 업스케일 이미지에 복사하고 연이어 필터링하도록 형성된 시스템.
13. 제 11 항에 있어서,
    논다이아딕 업스케일링 모듈은
    입력 이미지로부터 N개의 업스케일 이미지들을 생성하고,
    입력 이미지에 있는 연이은 픽셀들을 N개의 업스케일 이미지들의 연이은 이픽셀들에 복사하고 연이어 복사된 픽셀들 간에 M개의 픽셀들의 갭을 남기며,
    식별 필터로 N개 이미지들 각각을 필터링하고,
    복합 이미지를 만들기 위해 N개 이미지들을 추가함으로써 논다이아딕 N:M 스케일링을 수행하도록 형성된 시스템.
14. 제 13 항에 있어서,
    스케일링을 위해 사용된 N개 식별 필터들은 일정한 이미지를 정확하게 재구성하도록 형성되는 시스템.
15. 제 13 항에 있어서,
    업스케일링을 위해 사용된 N개 식별 필터들이 선형 이미지 함수를 정확히 재구성하도록 형성되는 시스템.
16. 제 13 항 내지 제 15 항 중 어느 한 항에 있어서,
    저역필터는 N개 식별 필터들 각각으로부터 배직교하는 N개 필터들의 제 2 세트를 발생하도록 형성되고,
    평활화를 위해 사용된 식별 필터들의 또 다른 세트를 발생하기 위해 N개 필터들의 각 세트에 해당 필터들을 결합시키는 시스템.
17. 제 11 항 내지 제 16 항 중 어느 한 항에 있어서,
    제 1 메모리(31)는 실시간으로 입력 이미지를 캡쳐하기 위한 카메라(32)에 결합되는 시스템.
18. 제 11 항 내지 제 17 항 중 어느 한 항에 있어서,
    입력 이미지와 출력 이미지는 각각의 비디오 시퀀스의 연이은 이미지들인 시스템.
19. 제 11 항 내지 제 18 항 중 어느 한 항에 있어서,
    입력 이미지의 복수의 서브-이미지들을 별개로 처리하도록 형성된 시스템.
20. 제 19 항에 있어서,
    서브-이미지들을 동시에 처리하도록 형성된 시스템.
21. 제 11 항 내지 제 20 항 중 어느 한 항에 있어서,
    제 2 메모리(31)는 출력 이미지를 디스플레이하기 위해 디스플레이 디바이스(43)에 결합되는 시스템.
22. 컴퓨터에서 실행시 제 1 항 내지 제 11 항 중 어느 한 항에 따른 방법을 수행하기 위한 컴퓨터 프로그램 코드수단을 구비한 컴퓨터 프로그램.
23. 제 22 항에 따른 컴퓨터 프로그램을 나타내는 데이터를 저장하는 컴퓨터 판독가능 매체.

Images