KR20190040586A - 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템 - Google Patents

인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템 Download PDF

Info

Publication number
KR20190040586A
KR20190040586A KR1020170129743A KR20170129743A KR20190040586A KR 20190040586 A KR20190040586 A KR 20190040586A KR 1020170129743 A KR1020170129743 A KR 1020170129743A KR 20170129743 A KR20170129743 A KR 20170129743A KR 20190040586 A KR20190040586 A KR 20190040586A
Authority
KR
South Korea
Prior art keywords
image
resolution
residual
self
restoration
Prior art date
Application number
KR1020170129743A
Other languages
English (en)
Other versions
KR101996730B1 (ko
Inventor
박인규
정준영
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020170129743A priority Critical patent/KR101996730B1/ko
Publication of KR20190040586A publication Critical patent/KR20190040586A/ko
Application granted granted Critical
Publication of KR101996730B1 publication Critical patent/KR101996730B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템이 제시된다. 일 실시예에 따른 인공신경망(Artificial neural network)을 이용한 단일 영상 고해상도 복원(Single Image Super-Resolution) 방법은, 입력된 영상을 전처리하여 저해상도 영상 및 자가 고해상도(Self High-Resolution) 영상을 제공하는 단계; 상기 저해상도 영상 및 상기 자가 고해상도 영상에 대하여 기설정된 학습 데이터를 이용하여 잔여영상을 복원하는 단계; 및 상기 저해상도 영상 및 상기 자가 고해상도 영상과 잔여영상을 복원한 영상을 통해 상기 입력된 영상을 고해상도 영상으로 복원하는 단계를 포함하고, 상기 저해상도 영상 및 상기 자가 고해상도 영상에 대하여 기설정된 학습 데이터를 이용하여 잔여영상을 복원하는 단계는, 전체 잔여영상 복원 네트워크를 통해 외부 예시영상 기반으로 넓은 수용 영역과 잔여영상 학습을 이용하여 상기 저해상도 영상의 전반적인 전체 영상구조의 고주파 성분을 복원하는 단계; 및 지역 잔여영상 복원 네트워크를 통해 내부 예시영상 기반의 상기 자가 고해상도 영상을 반복적으로 나타나거나 영상 전체에 분포되어 있는 세밀한 지역적 영상구조의 고주파 성분을 복원하는 단계를 포함하고, 상기 내부 예시영상 및 상기 외부 예시영상의 상호보완 관계를 이용하여 영상을 고해상도 복원할 수 있다.

Description

인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템{METHOD AND APPARATUS FOR RECONSTRUCTING SINGLE IMAGE SUPER-RESOLUTION BASED ON ARTIFICIAL NEURAL NETWORK}
아래의 실시예들은 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템에 관한 것으로, 더욱 상세하게는, 저해상도 영상과 고해상도 영상의 맵핑 관계를 학습하는 깊은 컨볼루셔널 신경망(deep convolutional neural network) 기반의 단일 영상 고해상도 복원 방법 및 시스템에 관한 것이다.
최근 메모리 집적화 기술과 인공지능 연구의 발전을 통해 빅 데이터를 기반으로 한 영상 기반의 컴퓨터 비전 기법 연구의 중요성이 강조되고 있다. 그러나 이러한 연구들은 선명한 영상 취득을 기반으로 연구되어 영상 취득 시 발생하는 기계적 제한 및 환경적 요인에 의한 화질 저하에 대한 연구의 필요성을 수반한다.
단일 영상의 고해상도 복원 기술은 환경적 또는 기계적 제약에 의해 저해상도 영상을 취득할 수밖에 없는 경우 해상도의 한계를 알고리즘을 통하여 해결하기 위해 연구되어 왔다. 최근의 고해상도 복원 기술은 컨볼루셔널 신경망(Convolutional Neural Network, CNN)을 이용한 외부 예시영상 기반의 고해상도 복원 기술이 기존 기술들의 성능을 넘어서는 새로운 발전 방향으로 그 성능을 입증하였음에도 불구하고 여전히 작은 영상 구조에 대하여 왜곡된 고해상도 복원 결과를 보이는 단점을 가지고 있다.
한국등록특허 10-1780057호는 이러한 고해상도 영상 복원 방법 및 장치에 관한 것으로, 저해상도 영상에 복수 개의 영상처리 레이어(layer)를 순차적으로 적용하여 고해상도 영상을 복원하는 고해상도 영상 복원에 관한 기술을 기재하고 있다.
W. Shi, J. caballero, F. Huszr, J. totz, A. P. Aitken, R. Bishop, D. Rueckert, and Z. Wang, "Real-time single image and video superresolution using an efficient sub-pixel convolutional neural network," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pp. 1874-1883, July, 2016. S. Schulter, C. Leistner, and H. Bischof, "Fast and accurate image upscaling with super-resolution forests," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pp. 3791-3799, June, 2015. C. Dong, C. Loy, K. He, and X. Tang, "Learning a deep convolutional network for image super-resolution," In Proc. of European Conference on Computer Vision, pp. 184-199, September, 2014. J. Kim, J. K. Lee, and K. M. Lee, "Accurate image super-resolution using very deep convolutional networks," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pp. 1646-1654, July, 2016. D. Glasner, S. Bagon, and M. Irani, "Super-resolution from a single image," In Proc. of IEEE International Conference on Computer Vision, pp. 349-356, September, 2009. A. Singh and N. Ahuja, "Super-resolution using sub-band self-similarity," In Proc. of Asian Conference on Computer Vision, pp. 552-568, November, 2014. J. Yang, Z. Lin, and S. Cohen, "Fast image super-resolution based on in-place example regression," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pp. 1059-1066, June, 2013. J.-B. Huang, A. Singh, and N.Ahuja, "Single image super-resolution from transformed self-exemplars," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pp. 5197-5206, June, 2015. A. Vedaldi and K. Lenc, "MatConvnet-Convolutional Neural Networks for MATLAB," In Proc. of the ACM International Conference on Multimedia, pp. 689-692, October, 2015. J.-B. Huang, S. B. Kang, N. Ahuja, and J. Kopf. "Image completion using planar structure guidance," ACM Trans. on Graphics, vol. 33, no. 4, pp.129, July, 2014. Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, "Gradient-based learning applied to document recognition," In Proc. of the IEEE, vol. 86, no. 11, pp. 2278-2324, 1998. M. Bevilacqua, A. Roumy, C. Guillemot, and M.-L. Alberi-Morel, "Low-complexity single-image super-resolution based on nonnegative neighbor embedding," In Proc. of British Machine Vision Conference, pp. 1-10, September, 2012. R. Zeyde, M. Elad, and M. Protter, "On single image scale-up using sparse representations," In Proc. of International Conference on Curves and Surfaces, pp. 711-730, June, 2010. D. Martin, C. Fowlkes, D. Tal, and J. Malik, "A database of human segmented natural images and its application to evaluating segmentation methods and measuring ecological statistics," In Proc. of IEEE International Conference on Computer Vision, pp. 416-423, July, 2001. L. Sun and J. Hays, "Super-resolution from internet-scale scene matching," In Proc. of IEEE International Conference on Computational Photography, pp. 1-12, April, 2012. https://github.com/jbhuang0604/SelfExSR.
실시예들은 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템에 관하여 기술하며, 보다 구체적으로 저해상도 영상과 고해상도 영상의 맵핑 관계(mapping function)를 학습하는 깊은 컨볼루셔널 신경망(deep convolutional neural network) 기반의 단일 영상 고해상도 복원(single image super-resolution: SISR) 기술을 제공한다.
실시예들은 외부 및 내부 예시영상 기반의 단일 영상 고해상도 복원(external and internal examples-driven SISR) 기술의 상호 보완적인 관계를 이용하여 다양한 영상구조에서 강인한 고해상도 영상 복원 능력을 갖는 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템을 제공하는데 있다.
일 실시예에 따른 인공신경망(Artificial neural network)을 이용한 단일 영상 고해상도 복원(Single Image Super-Resolution) 방법은, 입력된 영상을 전처리하여 저해상도 영상 및 자가 고해상도(Self High-Resolution) 영상을 제공하는 단계; 상기 저해상도 영상 및 상기 자가 고해상도 영상에 대하여 기설정된 학습 데이터를 이용하여 잔여영상을 복원하는 단계; 및 상기 저해상도 영상 및 상기 자가 고해상도 영상과 잔여영상을 복원한 영상을 통해 상기 입력된 영상을 고해상도 영상으로 복원하는 단계를 포함하고, 상기 저해상도 영상 및 상기 자가 고해상도 영상에 대하여 기설정된 학습 데이터를 이용하여 잔여영상을 복원하는 단계는, 전체 잔여영상 복원 네트워크를 통해 외부 예시영상 기반으로 넓은 수용 영역과 잔여영상 학습을 이용하여 상기 저해상도 영상의 전반적인 전체 영상구조의 고주파 성분을 복원하는 단계; 및 지역 잔여영상 복원 네트워크를 통해 내부 예시영상 기반의 상기 자가 고해상도 영상을 반복적으로 나타나거나 영상 전체에 분포되어 있는 세밀한 지역적 영상구조의 고주파 성분을 복원하는 단계를 포함하고, 상기 내부 예시영상 및 상기 외부 예시영상의 상호보완 관계를 이용하여 영상을 고해상도 복원할 수 있다.
상기 입력된 영상을 전처리하여 저해상도 영상 및 자가 고해상도(Self High-Resolution) 영상을 제공하는 단계는, 보간 기술을 통해 보간된 상기 저해상도 영상을 전반적인 영상구조를 유지하기 위한 가이드 영상으로 제공하고, 상기 내부 예시영상 기반의 고해상도 복원 기술을 이용하여 복원한 상기 자가 고해상도 영상을 지역적 영상구조의 세밀한 부분을 복원하기 위해 제공하며, 상기 외부 예시영상 및 내부 예시영상의 상호보완 관계를 이용하여 깊은(deep) 컨볼루셔널 신경망(Convolutional Neural Network, CNN) 기반으로 상기 입력된 영상을 고해상도 복원할 수 있다.
다른 실시예에 따른 인공신경망(Artificial neural network)을 이용한 단일 영상 고해상도 복원(Single Image Super-Resolution) 시스템에 있어서, 입력된 영상을 전처리하여 저해상도 영상 및 자가 고해상도(Self High-Resolution) 영상을 제공하는 영상 제공부; 상기 저해상도 영상 및 상기 자가 고해상도 영상에 대하여 기설정된 학습 데이터를 이용하여 잔여영상을 복원하는 잔여영상 복원부; 및 상기 저해상도 영상 및 상기 자가 고해상도 영상과 잔여영상을 복원한 영상을 통해 상기 입력된 영상을 고해상도 영상으로 복원하는 고해상도 복원부를 포함하고, 상기 잔여영상 복원부는, 외부 예시영상 기반으로 넓은 수용 영역과 잔여영상 학습을 이용하여 상기 저해상도 영상의 전반적인 전체 영상구조의 고주파 성분을 복원하는 전체 잔여영상 복원 네트워크; 및 내부 예시영상 기반의 상기 자가 고해상도 영상을 반복적으로 나타나거나 영상 전체에 분포되어 있는 세밀한 지역적 영상구조의 고주파 성분을 복원하는 지역 잔여영상 복원 네트워크를 포함하고, 상기 내부 예시영상 및 상기 외부 예시영상의 상호보완 관계를 이용하여 영상을 고해상도 복원할 수 있다.
상기 영상 제공부는, 보간 기술을 통해 보간된 상기 저해상도 영상을 전반적인 영상구조를 유지하기 위한 가이드 영상으로 제공하고, 상기 내부 예시영상 기반의 고해상도 복원 기술을 이용하여 복원한 상기 자가 고해상도 영상을 지역적 영상구조의 세밀한 부분을 복원하기 위해 제공하며, 상기 외부 예시영상 및 내부 예시영상의 상호보완 관계를 이용하여 깊은(deep) 컨볼루셔널 신경망(Convolutional Neural Network, CNN) 기반으로 상기 입력된 영상을 고해상도 복원할 수 있다.
상기 지역 잔여영상 복원 네트워크는, 컨볼루셔널 레이어(convolutional layer)와 ReLu(Rectified Linear Unit) 함수로 이루어진 복수의 화소 부호화 레이어로 구성되어, 출력 특징 맵은 주변 화소 정보의 간섭 없이 부호화된 상기 자가 고해상도 영상의 화소 정보를 전달할 수 있다.
상기 전체 잔여영상 복원 네트워크는, 상기 자가 고해상도 영상의 계단 왜곡 현상에 의해 왜곡된 전반적인 전체영상구조를 보완하여 왜곡 없는 고해상도 영상구조 복원하도록 외부 예시영상 기반의 넓은 수용영역을 갖도록 직렬로 연결된 복수의 상기 잔여 블록(residual block)이 형성될 수 있다.
상기 전체 잔여영상 복원 네트워크는, 상기 잔여 블록을 통해 스킵 컨넥션(skip-connection)과 집단 정규화(Batch Normalization) 레이어를 이용하여 안정적인 그래디언트(gradient) 값의 학습 과정을 수행하고, 각각의 상기 잔여 블록을 통해 입력 특징 맵은 복수의 컨볼루셔널 레이어를 통과하며, 출력 특징 맵의 수는 입력 특징 맵의 수와 동일하게 유지되고, 소정 크기의 수용 영역은 N개의 잔여 블록과 마지막으로 컨볼루셔널 레이어를 통과하여 크기가 확장됨에 따라 전체 잔여영상을 복원하여 고해상도 영상구조를 복원할 수 있다.
실시예들에 따르면 저해상도 영상과 고해상도 영상의 맵핑 관계를 학습하는 깊은 컨볼루셔널 신경망 기반의 단일 영상 고해상도 복원(single image super-resolution: SISR) 방법 및 시스템을 제공할 수 있다.
실시예들에 따르면 외부 및 내부 예시영상 기반의 단일 영상 고해상도 복원(external and internal examples-driven SISR) 기술의 상호 보완적인 관계를 이용하여 다양한 영상구조에서 강인한 고해상도 영상 복원 능력을 갖는 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템을 제공할 수 있다.
도 1은 복원된 고해상도 영상의 예를 나타낸다.
도 2a는 일 실시예에 따른 깊은 CNN 모델을 설명하기 위한 개략도이다.
도 2b는 일 실시예에 따른 깊은 CNN 모델의 전체 잔여영상 복원 네트워크를 설명하기 위한 개략도이다.
도 3은 일 실시예에 따른 인공신경망을 이용한 단일 영상 고해상도 복원 시스템을 나타내는 블록도이다.
도 4a 및 도 4b는 일 실시예에 따른 인공신경망을 이용한 단일 영상 고해상도 복원 방법을 나타내는 흐름도이다.
도 5는 일 실시예에 따른 깊은 CNN 모델의 분석을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 영상의 고해상도 복원 결과를 비교하여 나타내는 도면이다.
도 7은 일 실시예에 따른 Urban100 데이터 셋에 대한 4배 고해상도 복원 결과를 나타낸다.
도 8은 일 실시예에 따른 Sun-hays80 데이터 셋에 대한 8배 고해상도 복원 결과를 나타낸다.
도 9는 일 실시예에 따른 Sun-hays80 데이터 셋에 대한 고해상도 복원 결과를 나타낸다.
이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
아래의 실시예들에 따르면 깊은(deep) 컨볼루셔널 신경망(Convolutional Neural Network, CNN) 기반의 고해상도 복원 기술은 외부 및 내부 예시영상의 상호보완 관계를 이용하여 고해상도 복원 문제를 해결할 수 있다. 이하에서는, 외부 및 내부 예시영상 기반의 고해상도 복원 기술의 장단점을 각각 분석하고, 이를 이용한 새로운 CNN 기반의 고해상도 복원 기술을 제공한다. 여기에서, 깊은 컨볼루셔널 신경망(CNN)은 딥 러닝(deep learning)의 일종으로, 영상 처리 분야에서 이미지를 이해하거나 이미지로부터 각종 정보를 추출하기 위한 인공신경망을 의미할 수 있다.
먼저, 외부 예시영상 기반의 고해상도 복원 기술의 장단점을 분석한다.
지난 10년간, CNN 기반의 고해상도 복원 기술(비특허문헌 1,3,4)은 기존 기술의 한계를 극복하는 새로운 해결책으로 각광받았다. 보다 깊은 CNN 모델 기반의 복원 기술은 저해상도와 고해상도 영상의 보다 정교한 비선형 맵핑 관계를 학습하여 단순한 CNN 모델 기반의 기술들보다 높은 성능을 보였다. VDSR(비특허문헌 4)은 이러한 깊은 CNN 모델 기반의 고해상도 복원 기술의 예시로 3x3 컨볼루셔널 레이어와 ReLu 함수의 반복적인 깊은 구조를 이용하였다. 특히, 전체의 고해상도 영상 복원 대신 고해상도 영상과 보간된 저해상도 영상의 잔여영상을 복원하여 고해상도 영상의 고주파 영상구조에 집중하였으며, 이는 CNN 모델의 수용성을 향상시켜 기존의 외부 예시영상 기반의 다양한 복원 기술 중 최고의 성능을 보였다. 따라서, 본 실시예에서는 VDSR의 복원 성능을 기준으로 외부 예시영상 기반의 고해상도 복원 기술을 분석할 수 있다.
도 1은 복원된 고해상도 영상의 예를 나타낸다.
도 1을 참조하면, 복원된 고해상도 영상의 예를 나타내는 것으로, (a)는 입력영상을 나타내며, (b)는 내부 예시영상 기반의 복원 결과(비특허문헌 8)를 나타내고, (c)는 외부 예시영상 기반의 복원 결과(비특허문헌 4)를 나타낸다.
깊은 CNN 모델을 통한 넓은 수용 영역은 고해상도 영상의 1개의 화소를 복원하기 위해 넓은 영역의 저해상도 영역을 볼 수 있어 보다 정교한 맵핑 관계를 학습할 수 있다. 또한 고주파 영상구조 복원에 특화된 깊은 CNN 모델은 고주파 영상구조인 에지(edge) 영역에 대하여 선명한 고해상도 영상을 복원할 수 있다(122).
그러나, 깊은 CNN 모델은 넓은 수용 영역을 기반으로 한 고해상도 영상을 복원할 수 있지만 여전히 영상의 전체 영역에 대한 자가 예시영상 정보를 대체하기에는 부족하여 반복적으로 나타나거나 영상 전체에 분포되어 있는 영상구조에 대하여 고해상도 영상 복원 시 복원된 고해상도 영상구조가 왜곡되는 한계를 보인다(112).
다음으로, 내부 예시영상 기반의 고해상도 복원 기술의 장단점을 분석한다.
연구(비특허문헌 5)의 실험에 따르면, 자연 영상의 작은 고해상도 패치는 다양한 스케일의 영상 내에서 반복적으로 나타난다. 대부분의 내부 예시영상 기반의 고해상도 복원 기술들은 이러한 자가 유사성 특성을 바탕으로 고안되어 보다 확장된 자가 예시 고해상도 패치 공간 생성은 고해상도 영상 복원 성능 향상에 중요한 부분이다. 이를 위하여, 최근 SelfExSR(비특허문헌 8)은 입력영상 내 다중 평면(비특허문헌 10)을 기반으로 한 원근 왜곡을 고려하여 패치 공간을 확장시켜 기존의 내부 예시영상 기반의 복원 기술들보다 높은 성능 향상을 보였다. 따라서, 본 실시예에서는 SelfExSR의 복원 성능을 기준으로 내부 예시영상 기반의 고해상도 복원 기술을 분석할 수 있다.
자가 유사성 특성을 기반으로 고해상도 영상 패치를 탐색하여 한정된 고해상도 영상 탐색공간이 아닌 영상 전체를 탐색공간으로 사용할 수 있다. 이는, 반복적으로 나타나거나 영상 전체에 분포되어 있는 영상구조에 대하여 풍부한 고해상도 정보를 기반으로 고해상도 영상을 복원할 수 있어 세밀한 영상구조 복원에 높은 성능을 보인다(121).
한편, 내부 예시영상 기반의 고해상도 복원 기술은 탐색한 작은 고해상도 패치 기반으로 영상의 해상도를 단계적으로 증가시켜가며 고해상도 영상을 복원할 수 있다. 이러한 작은 고해상도 패치 기반의 복원 방식은 패치보다 큰 전반적인 고해상도 영상구조를 겹쳐진 작은 고해상도 패치를 관찰하여 복원해야 하므로 왜곡된 고해상도 영상구조를 복원하기 쉬우며 단계적인 복원 방식에 따라 왜곡된 고해상도 영상구조 정보가 누적된다.
이러한 단점은 복원된 고해상도 영상의 고주파 영상구조에 대하여 계단 왜곡 현상(step artifacts)을 야기한다(111).
이와 같이, 외부 예시영상 기반의 고해상도 복원 기술은 넓은 수용 영역과 잔여영상 학습을 기반으로 전반적인 고주파 영상구조를 선명하게 구현할 수 있지만, 내부 예시영상 기반의 고해상도 복원 기술은 계단 왜곡 현상을 야기할 수 있다. 반대로, 반복적으로 나타나거나 영상 전체에 분포되어 있는 세밀한 영상구조에 대하여 내부 예시영상 기반의 고해상도 복원 기술은 뛰어난 성능을 보이는 반면, 외부 예시영상 기반의 고해상도 복원 기술은 왜곡된 영상구조를 복원하기 쉽다.
도 2a는 일 실시예에 따른 깊은 CNN 모델을 설명하기 위한 개략도이다.
도 2a를 참조하면, 일 실시예에 따른 깊은 CNN 모델은 평행한 2개의 깊은 CNN 구조의 부분 네트워크로 이루어질 수 있다. 깊은 CNN 구조의 부분 네트워크는 전체 잔여영상 복원 네트워크(global residual network)이며, 다른 부분 네트워크는 지역 잔여영상 복원 네트워크(local residual network)이다.
먼저, 전체 잔여영상 복원 네트워크는 깊은 CNN 모델의 넓은 수용영역을 활용하여 큰 영상구조의 고주파 성분을 복원할 수 있다. 그리고, 지역 잔여영상 복원 네트워크는 내부 예시영상 기반의 고해상도 정보를 3개의 1x1 컨볼루셔널 레이어(convolutional layer)를 활용하여 주변 화소의 간섭 없이 인코딩된 선명한 작은 영상구조의 고주파 성분을 복원할 수 있다. 아래에서 보다 구체적으로 설명한다.
일 실시예에 따른 깊은 CNN 모델의 입력은 Bicubic 보간 기술로 보간된 저해상도(Interpolated Low-Resolution: Interpolated LR) 영상(
Figure pat00001
)을 전반적인 영상구조를 유지하기 위한 가이드 영상으로, 내부 예시영상 기반의 고해상도 복원 기술을 이용하여 복원한 자가 고해상도(Self High-Resolution: Self HR) 영상(
Figure pat00002
)을 지역적 영상구조의 세밀한 부분을 복원하기 위해 이용할 수 있다.
주어진 학습 데이터
Figure pat00003
를 이용하여 입력영상
Figure pat00004
에 대하여 잔여영상을 복원하는 깊은 CNN 모델(
Figure pat00005
)을 다음 식을 최적화하여 학습할 수 있다.
[식 1]
Figure pat00006
지역 잔여영상 복원 네트워크는 자가 고해상도 영상의 지역적 영상정보의 전달을 목적으로 한다. 예를 들어, 지역 잔여영상 복원 네트워크는 연구(비특허문헌 7)에 기반하여 1x1 컨볼루션 레이어와 ReLu(Rectified Linear Unit) 함수로 이루어진 3개의 화소 부호화 레이어로 구성될 수 있다. 수학적으로 i 번째 화소 부호화 레이어의 출력 특징 맵은 다음 식과 같이 표현될 수 있다.
[식 2]
Figure pat00007
여기서, F i 은 i 번째 화소 부호화 레이어의 출력 특징 맵을 의미하며, W i 와 B i 은 i 번째 화소 부호화 레이어의 컨볼루션 필터와 바이어스를 의미할 수 있다. 출력 특징 맵은 주변 화소 정보의 간섭 없이 부호화된 지역적 자가 고해상도 영상의 화소 정보를 전달할 수 있다.
전체 잔여영상 복원 네트워크는 자가 고해상도 영상의 계단 왜곡 현상에 의해 왜곡된 전반적인 영상구조를 보완하여 왜곡 없는 고해상도 영상구조 복원을 목적으로 한다. 전체 잔여영상 복원 네트워크는 앞선 외부 예시영상 기반의 고해상도 복원 기술의 분석을 기반하여 넓은 수용 영역을 갖기 위해 여러 개의 잔여 블록(residual block)의 직렬 연결로 구성될 수 있다.
도 2b는 일 실시예에 따른 깊은 CNN 모델의 전체 잔여영상 복원 네트워크를 설명하기 위한 개략도이다.
도 2b를 참조하면, 전체 잔여영상 복원 네트워크는 넓은 수용 영역을 갖기 위해 여러 개의 잔여 블록의 직렬 연결로 구성될 수 있다. 여기서, 잔여 블록은 스킵 컨넥션(skip-connection)과 집단 정규화(Batch Normalization: BN) 레이어(202)를 이용하여 안정적인 그래디언트 값의 학습 과정을 도모할 수 있다. 각각의 잔여 블록을 통해 입력 특징 맵은 2 번의 3x3 컨볼루셔널 레이어(201, 204)를 지나며, 출력 특징 맵의 수는 입력 특징 맵의 수와 동일하게 64개로 유지될 수 있다. 3x3 크기의 수용 영역은 N개의 잔여 블록과 마지막 3x3 컨볼루셔널 레이어(222)를 지나 (4N+5)x(4N+5)의 크기로 확장되어 고해상도 영상구조를 복원할 수 있다.
이를 바탕으로 아래에서 일 실시예에 따른 인공신경망을 이용한 단일 영상 고해상도 복원 시스템 및 방법에 대해 설명하기로 한다.
도 3은 일 실시예에 따른 인공신경망을 이용한 단일 영상 고해상도 복원 시스템을 나타내는 블록도이다.
도 3을 참조하면, 일 실시예에 따른 인공신경망(Artificial neural network)을 이용한 단일 영상 고해상도 복원(Single Image Super-Resolution) 시스템(300)은 영상 제공부(310), 잔여영상 복원부(320) 및 고해상도 복원부(330)를 포함하여 이루어질 수 있다. 여기에서 일 실시예에 따른 인공신경망을 이용한 단일 영상 고해상도 복원 시스템(300)은 도 2a 및 도 2b에서 설명한 일 실시예에 따른 깊은 CNN 모델이 되거나 깊은 CNN 모델의 적어도 한 부분이 될 수 있다.
영상 제공부(310)는 입력된 영상을 전처리하여 저해상도 영상 및 자가 고해상도 영상을 제공할 수 있다.
영상 제공부(310)는 보간 기술을 통해 보간된 저해상도 영상을 전반적인 영상구조를 유지하기 위한 가이드 영상으로 제공하고, 내부 예시영상 기반의 고해상도 복원 기술을 이용하여 복원한 자가 고해상도 영상을 지역적 영상구조의 세밀한 부분을 복원하기 위해 제공할 수 있다.
잔여영상 복원부(320)는 저해상도 영상 및 자가 고해상도 영상에 대하여 기설정된 학습 데이터를 이용하여 잔여영상을 복원할 수 있다.
여기서, 잔여영상 복원부(320)는 전체 잔여영상 복원 네트워크(331) 및 지역 잔여영상 복원 네트워크(332)를 포함할 수 있다.
전체 잔여영상 복원 네트워크(331)는 외부 예시영상 기반으로 넓은 수용 영역과 잔여영상 학습을 기반으로 저해상도 영상을 이용하여 전반적인 전체 영상구조의 고주파 성분을 복원할 수 있다.
이러한 전체 잔여영상 복원 네트워크(331)는 자가 고해상도 영상의 계단 왜곡 현상에 의해 왜곡된 전반적인 전체영상구조를 보완하여 왜곡 없는 고해상도 영상구조 복원하도록 외부 예시영상 기반의 넓은 수용영역을 갖도록 직렬로 연결된 복수의 잔여 블록이 형성될 수 있다.
더 구체적으로, 전체 잔여영상 복원 네트워크(331)는 잔여 블록을 통해 스킵 컨넥션과 집단 정규화 레이어를 이용하여 안정적인 그래디언트 값의 학습 과정을 수행할 수 있다. 각각의 잔여 블록을 통해 입력 특징 맵은 복수의 컨볼루셔널 레이어를 통과하며, 출력 특징 맵의 수는 입력 특징 맵의 수와 동일하게 유지될 수 있다. 또한, 전체 잔여영상 복원 네트워크(331)는 소정 크기의 수용 영역이 구성되어 N개의 잔여 블록과 마지막으로 컨볼루셔널 레이어를 통과하여 크기가 확장됨에 따라 전체 잔여영상을 복원하여 고해상도 영상구조를 복원할 수 있다. 예를 들어, 전체 잔여영상 복원 네트워크(331)는 각각의 잔여 블록을 통해 입력 특징 맵은 2 번의 3x3 컨볼루셔널 레이어(201, 204)를 지나며, 출력 특징 맵의 수는 입력 특징 맵의 수와 동일하게 64개로 유지될 수 있다. 3x3 크기의 수용 영역은 N개의 잔여 블록과 마지막 3x3 컨볼루셔널 레이어(222)를 지나 (4N+5)x(4N+5)의 크기로 확장되어 고해상도 영상구조를 복원할 수 있다.
지역 잔여영상 복원 네트워크(332)는 내부 예시영상 기반의 자가 고해상도 영상을 반복적으로 나타나거나 영상 전체에 분포되어 있는 세밀한 지역적 영상구조의 고주파 성분을 복원할 수 있다.
더 구체적으로, 지역 잔여영상 복원 네트워크(332)는 컨볼루셔널 레이어와 ReLu 함수로 이루어진 복수의 화소 부호화 레이어로 구성될 수 있다. 이 때, 출력 특징 맵은 주변 화소 정보의 간섭 없이 부호화된 자가 고해상도 영상의 화소 정보를 전달할 수 있다. 예를 들어, 지역 잔여영상 복원 네트워크(332)는 내부 예시영상 기반의 고해상도 정보를 3개의 1x1 컨볼루셔널 레이어(convolutional layer)를 활용하여 주변 화소의 간섭 없이 인코딩된 선명한 작은 영상구조의 고주파 성분을 복원할 수 있다.
고해상도 복원부(330)는 저해상도 영상 및 자가 고해상도 영상과 잔여영상을 복원한 영상을 통해 입력된 영상을 고해상도 영상으로 복원할 수 있다.
실시예들에 따르면, 외부 예시영상 및 내부 예시영상의 상호보완 관계를 이용하여 깊은 컨볼루셔널 신경망(CNN) 기반으로 입력된 영상을 고해상도 복원할 수 있다.
도 4a 및 도 4b는 일 실시예에 따른 인공신경망을 이용한 단일 영상 고해상도 복원 방법을 나타내는 흐름도이다.
도 4a 및 도 4b를 참조하면, 일 실시예에 따른 인공신경망을 이용한 단일 영상 고해상도 복원 방법은 입력된 영상을 전처리하여 저해상도 영상 및 자가 고해상도 영상을 제공하는 단계(410), 저해상도 영상 및 자가 고해상도 영상에 대하여 기설정된 학습 데이터를 이용하여 잔여영상을 복원하는 단계(420) 및 저해상도 영상 및 자가 고해상도 영상과 잔여영상을 복원한 영상을 통해 입력된 영상을 고해상도 영상으로 복원하는 단계(430)를 포함할 수 있다. 내부 예시영상 및 외부 예시영상의 상호보완 관계를 이용하여 영상을 고해상도 복원할 수 있다.
여기서 상기 저해상도 영상 및 상기 자가 고해상도 영상에 대하여 기설정된 학습 데이터를 이용하여 잔여영상을 복원하는 단계(420)는, 전체 잔여영상 복원 네트워크를 통해 외부 예시영상 기반으로 넓은 수용 영역과 잔여영상 학습을 이용하여 상기 저해상도 영상의 전반적인 전체 영상구조의 고주파 성분을 복원하는 단계(421) 및 지역 잔여영상 복원 네트워크를 통해 내부 예시영상 기반의 상기 자가 고해상도 영상을 반복적으로 나타나거나 영상 전체에 분포되어 있는 세밀한 지역적 영상구조의 고주파 성분을 복원하는 단계(422)를 포함할 수 있다.
여기서 일 실시예에 따른 인공신경망을 이용한 단일 영상 고해상도 복원 방법은 도 3에서 설명한 일 실시예에 따른 인공신경망을 이용한 단일 영상 고해상도 복원 시스템(300)을 통해 보다 구체적으로 설명할 수 있다. 일 실시예에 따른 인공신경망을 이용한 단일 영상 고해상도 복원 시스템(300)은 영상 제공부(310), 잔여영상 복원부(320) 및 고해상도 복원부(330)를 포함하여 이루어질 수 있다. 여기서, 잔여영상 복원부(320)는 전체 잔여영상 복원 네트워크(331) 및 지역 잔여영상 복원 네트워크(332)를 포함할 수 있다.
단계(410)에서, 영상 제공부(310)는 입력된 영상을 전처리하여 저해상도 영상 및 자가 고해상도 영상을 제공할 수 있다.
더 구체적으로, 영상 제공부(310)는 보간 기술을 통해 보간된 저해상도 영상을 전반적인 영상구조를 유지하기 위한 가이드 영상으로 제공하고, 내부 예시영상 기반의 고해상도 복원 기술을 이용하여 복원한 자가 고해상도 영상을 지역적 영상구조의 세밀한 부분을 복원하기 위해 제공할 수 있다.
단계(420)에서, 잔여영상 복원부(320)는 저해상도 영상 및 자가 고해상도 영상에 대하여 기설정된 학습 데이터를 이용하여 잔여영상을 복원할 수 있다.
더 구체적으로, 단계(421)에서, 전체 잔여영상 복원 네트워크(331)를 통해 외부 예시영상 기반으로 넓은 수용 영역과 잔여영상 학습을 기반으로 저해상도 영상을 이용하여 전반적인 전체 영상구조의 고주파 성분을 복원할 수 있다.
또한, 단계(422)에서, 지역 잔여영상 복원 네트워크(332)를 통해 내부 예시영상 기반의 자가 고해상도 영상을 반복적으로 나타나거나 영상 전체에 분포되어 있는 세밀한 지역적 영상구조의 고주파 성분을 복원할 수 있다.
단계(430)에서, 고해상도 복원부(330)는 저해상도 영상 및 자가 고해상도 영상과 잔여영상을 복원한 영상을 통해 입력된 영상을 고해상도 영상으로 복원할 수 있다.
이에 따라 외부 예시영상 및 내부 예시영상의 상호보완 관계를 이용하여 깊은 컨볼루셔널 신경망(CNN) 기반으로 입력된 영상을 고해상도 복원할 수 있다.
도 5는 일 실시예에 따른 깊은 CNN 모델의 분석을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 깊은 CNN 모델의 결과를 비교 분석하기 위한 것으로, 보다 구체적으로 (a)는 Bicubic 보간 영상을 나타내고, (b)는 지역 잔여영상 복원 네트워크 결과를 나타내며, (c)는 다중 입력 VDSR 모델 결과를 나타내고, (d)는 일 실시예에 따른 깊은 CNN 모델을 이용한 결과를 나타낸다. 여기서 깊은 CNN 모델은 인공신경망을 이용한 단일 영상 고해상도 복원 시스템 또는 방법을 의미할 수 있으며, 간단히 영상 고해상도 복원 기술이라 할 수 있다.
고해상도 영상을 복원하기 위한 개별적인 부분 네트워크의 기여도를 분석하기 위해 동일한 입력영상에 대해 지역 잔여영상 복원 네트워크만을 이용한 고해상도 복원을 진행할 수 있다. 반복적인 고해상도 영상구조 영역의 경우, 지역적 잔여영상 복원 네트워크는 자가 고해상도 영상의 부호화된 화소 정보전달을 통해 (a)의 지역적인 작은 영상구조의 모호성을 제거할 수 있다(b). 그 결과, 전체 잔여영상 복원 네트워크는 보다 선명한 영상에 대하여 영상구조의 고주파 성분 복원을 수행할 수 있다.
이러한 2개의 부분 네트워크의 협력을 통한 일 실시예에 따른 영상 고해상도 복원 기술은, (d)에 도시된 바와 같이, 영상구조 왜곡 및 계단 왜곡 현상 없이 개별적인 외부 또는 내부 예시영상 기반의 복원 기술의 결과보다 선명한 고해상도 영상을 복원할 수 있다.
추가적으로 일 실시예에 따른 깊은 CNN 모델의 대안으로 다중 입력 레이어의 VDSR 모델을 고려할 수도 있다(c).
도 6은 일 실시예에 따른 영상의 고해상도 복원 결과를 비교하여 나타내는 도면이다.
도 6을 참조하면, (a)는 입력영상을 나타내고, (b)는 다중 입력 VDSR 모델 결과를 나타내며, (c)는 일 실시예에 따른 깊은 CNN 모델을 이용한 결과를 나타낸다.
다중 입력 VDSR 모델과 일 실시예에 따른 깊은 CNN 모델을 이용한 결과를 비교한 결과, 다중 입력 레이어의 VDSR 모델은 작은 영상구조에 대하여 성능향상을 보일 수 있지만, 고주파 영상구조의 에지 영역에 대하여 내부 예시영상 기반의 고해상도 기술의 단점을 동일하게 학습하는 단점을 가지고 있다.
반면, 일 실시예에 따른 깊은 CNN 모델을 이용한 결과의 경우 작은 영상구조뿐 아니라, 고주파 영상구조의 에지 영역에 대하여 성능향상을 보인다.
아래에서는 일 실시예에 따른 깊은 CNN 모델의 학습 방법에 대해 하나의 예를 들어 보다 구체적으로 설명한다.
예를 들어, 일 실시예에 따른 깊은 CNN 모델의 학습데이터는 연구(비특허문헌 2)의 291개의 자연 영상의 작은 영상 패치로 구성하며 패치에 대하여 반전 및 회전 변환을 적용하여 그 수를 확대할 수 있다. 깊은 CNN 모델의 입력을 위한 자가 고해상도 영상은 SelfExSR을 이용하여 복원하며 매개 변수는 연구(비특허문헌 8)의 기본 설정 값을 이용할 수 있다. 깊은 CNN 모델을 다양한 해상도 복원 환산 계수에 대하여 학습하기 위해 2, 3 및 4배의 해상도로 축소 후 Bicubic 보간 기술로 복원된 학습데이터를 사용할 수 있다. 학습은 역전파 기술(back-propagation)(비특허문헌 11)을 기반으로 작은 집단 기반 경사 하강법(min-batch gradient descent)을 이용하며, 이때 집단 크기는 64, 가속도(momentum) 0.9와 L2 가중치 정규화 파라미터(L2-weighted decay parameter)는 0.0001로 설정할 수 있다. 또한 빠른 학습 속도를 위해 그래디언트 클리핑(gradient clipping)(비특허문헌 4) 기술을 이용할 수 있다. 초기 학습율(learning rate)은 0.01로 설정하며 매 10번의 학습 에포크(epoch)마다 0.1씩 감소시킬 수 있다. 학습율은 40번의 학습 에포크 이후 고정하며 60번의 학습 에포크 이후 학습을 중단할 수 있다.
아래에서는 다양한 고해상도 영상 복원 기술과 일 실시예에 따른 영상 고해상도 복원 기술의 성능 비교분석을 수행한다.
일례로, 실험 환경은 Intel Core i5 CPU(3.2GHz), 12GB RAM과 NVIDIA Titan GPU이며, 다양한 자연 영상 데이터 셋(비특허문헌 12,13,14) 및 도심 영상 데이터 셋(비특허문헌 8) 및 8배의 고해상도 복원 환산 계수에 대한 정량적 평가를 위해 Sun-Hays80(비특허문헌 15)을 이용한다.
VDSR을 벤치마크(benchmark)하기 위해 전반적 잔여영상 복원 네트워크의 잔여 블록을 9개로 설정하여 41x41의 동일한 수용 영역을 갖도록 구성하며, RGB 3채널의 영상 대신 단일 휘도 영상만을 복원할 수 있다. 분석을 위한 (비특허문헌 5,6,8)의 고해상도 복원 결과는 Huang의 웹 페이지(비특허문헌 16) 벤치마크 결과를 이용할 수 있다. 일 실시예에 따른 영상 고해상도 복원 기술은 MatConvNet Deep Learning Toolbox(비특허문헌 9)를 이용하여 구현할 수 있으며, 학습시간은 약 10시간 소요될 수 있다. 나아가 일 실시예에 따른 영상 고해상도 복원 기술을 이용하여 다양한 내부 예시영상 기반의 고해상도 영상 복원 기술들의 성능향상 실험을 수행할 수 있다.
정성적 비교평가
도 7은 일 실시예에 따른 Urban100 데이터 셋에 대한 4배 고해상도 복원 결과를 나타낸다.
보다 구체적으로, 도 7의 (a)는 VDSR(비특허문헌 4)이고, (b)는 SelfExSR(비특허문헌 8)이며, (c)는 일 실시예에 따른 영상 고해상도 복원 기술이고, (d)는 원본 영상을 나타낸다. 이는, 반복적인 고해상도 영상구조를 가지는 도로 외부 및 내부 예시영상 기반의 고해상도 복원 기술들의 성능평가에 효과적이다.
도 7a에 도시된 바와 같이, VDSR의 경우, 고주파 영상구조에 특화된 복원 기술로 에지 부분의 큰 고해상도 영상구조에서 선명한 복원 결과를 보인다. 그러나, 지역적인 작은 고해상도 영상구조에 대하여 충분한 고해상도 정보를 취득하지 못해 왜곡된 복원 결과를 나타낸다.
도 7b에 도시된 바와 같이, SelfExSR의 경우, 작은 고해상도 영상구조에 대하여 자가 예시 고해상도 패치 공간을 통해 충분한 고해상도 정보를 취득하여 선명한 고해상도 영상을 복원한다. 반면, 작은 자가 예시 고해상도 패치 기반의 복원 방식에 의해 큰 고해상도 영상구조에 대하여 계단 왜곡 현상을 야기한다.
도 7c에 도시된 바와 같이, 일 실시예에 따른 영상 고해상도 복원 기술의 경우, 단순한 각 복원 기술의 단점 보완에서 나아가 각 복원 기술의 장점을 활용하여 성능향상을 도모하여 보다 세밀한 고해상도 영상구조를 복원할 수 있다.
나아가, 8배의 해상도 복원 환산 계수에 대하여 고해상도 복원 실험을 수행할 수 있다. 일 실시예에 따른 영상 고해상도 복원 기술은 4배 이상의 해상도 복원 환산 계수에 대하여 학습을 수행하지 않았으므로 SelfExSR의 단계적 고해상도 영상 복원 방법을 이용할 수 있다. 일 실시예에 따른 영상 고해상도 복원 기술은 SelfExSR의 중간 결과인 2, 4와 8배의 복원된 고해상도 영상에 적용하여 중간 결과를 개선할 수 있다. 비슷한 접근방법으로 VDSR은 8배의 고해상도 영상을 복원을 위해 2배의 해상도 환산 계수에 대하여 총 3번의 고해상도 복원을 수행한다.
도 8은 일 실시예에 따른 Sun-hays80 데이터 셋에 대한 8배 고해상도 복원 결과를 나타낸다.
보다 구체적으로, 도 8의 (a)는 VDSR(비특허문헌 4)를 나타내고, (b)는 SelfExSR(비특허문헌 8)를 나타내며, (c)는 일 실시예에 따른 영상 고해상도 복원 기술을 나타내고, (d)는 원본 영상을 나타낸다.
도 8을 통해, 8배의 고해상도 영상 복원 시, 일 실시예에 따른 영상 고해상도 복원 기술이 기존 기술들(비특허문헌 4,8)에 비해 선명한 울타리 형태를 복원하는 것을 확인할 수 있다. 추가적인 일 실시예에 따른 Sun-hays80 데이터 셋에 대한 고해상도 복원 결과는 도 9에 나타나 있다.
정량적 비교평가
다양한 외부 예시영상(비특허문헌 3,4) 및 내부 예시영상(비특허문헌 5,6,8) 기반의 고해상도 복원 기술에 대하여 정량적 비교평가를 수행할 수 있다.
표 1은 Set5(비특허문헌 12), Set14(비특허문헌 13), BSD100(비특허문헌 14)과 Urban100(비특허문헌 8) 데이터 셋에 대한 정량적 비교평가 결과(PSNR/SSIM)를 나타낸다.
[표 1]
Figure pat00008
표 1에서 가장 높은 정량적 수치는 빨간색으로, 두 번째 높은 정량적 수치는 파란색으로 표기되어 있다.
일 실시예에 따른 영상 고해상도 복원 기술은 자연 영상 데이터 셋에 대하여 기존 기술 중 최고의 성능을 보이는 VDSR보다 미세하게 높은 정량적 수치를 보인다. 그러나, 반복적인 고해상도 영상구조가 많은 Urban100 데이터 셋에 대하여 일 실시예에 따른 영상 고해상도 복원 기술은 VDSR보다 큰 PSNR 증가 폭(0.3dB)을 보여 확연한 성능 차이를 확인할 수 있다.
나아가, 일 실시예에 따른 깊은 CNN 모델의 재학습을 진행하지 않고 기존의 내부 예시영상 기반의 고해상도 복원 기술들(비특허문헌 5,6) 기반의 자가 고해상도 영상을 입력으로 이용하여 기존 기술들의 성능 향상 실험을 수행할 수 있다.
실험 결과, 일 실시예에 따른 영상 고해상도 복원 기술을 이용한 기존 복원 기술들의 성능이 기존 성능 대비 1dB 이상 향상된 높은 정량적 수치를 확인할 수 있다.
실시예들에 따르면, 기존의 다양한 고해상도 복원 기술 중 예시영상을 이용한 고해상도 복원 기법(example-driven SISR)을 기반으로 CNN을 이용한 새로운 고해상도 복원 기술을 제공할 수 있다. 이러한 실시예들에 따른 기술은 외부 및 내부 예시영상 기반의 고해상도 복원 기법(external and internal example-based SISR)의 상호보완적인 관계를 이용하여 기존의 외부 또는 내부 예시영상 기반의 고해상도 복원 기법들의 단점을 보완하고 각 기법의 장점을 보강하여 향상된 고해상도 영상을 복원할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (7)

  1. 인공신경망(Artificial neural network)을 이용한 단일 영상 고해상도 복원(Single Image Super-Resolution) 방법에 있어서,
    입력된 영상을 전처리하여 저해상도 영상 및 자가 고해상도(Self High-Resolution) 영상을 제공하는 단계;
    상기 저해상도 영상 및 상기 자가 고해상도 영상에 대하여 기설정된 학습 데이터를 이용하여 잔여영상을 복원하는 단계; 및
    상기 저해상도 영상 및 상기 자가 고해상도 영상과 잔여영상을 복원한 영상을 통해 상기 입력된 영상을 고해상도 영상으로 복원하는 단계
    를 포함하고,
    상기 저해상도 영상 및 상기 자가 고해상도 영상에 대하여 기설정된 학습 데이터를 이용하여 잔여영상을 복원하는 단계는,
    전체 잔여영상 복원 네트워크를 통해 외부 예시영상 기반으로 넓은 수용 영역과 잔여영상 학습을 이용하여 상기 저해상도 영상의 전반적인 전체 영상구조의 고주파 성분을 복원하는 단계; 및
    지역 잔여영상 복원 네트워크를 통해 내부 예시영상 기반의 상기 자가 고해상도 영상을 반복적으로 나타나거나 영상 전체에 분포되어 있는 세밀한 지역적 영상구조의 고주파 성분을 복원하는 단계
    를 포함하고,
    상기 내부 예시영상 및 상기 외부 예시영상의 상호보완 관계를 이용하여 영상을 고해상도 복원하는 것
    을 특징으로 하는 인공신경망을 이용한 단일 영상 고해상도 복원 방법.
  2. 제1항에 있어서,
    상기 입력된 영상을 전처리하여 저해상도 영상 및 자가 고해상도(Self High-Resolution) 영상을 제공하는 단계는,
    보간 기술을 통해 보간된 상기 저해상도 영상을 전반적인 영상구조를 유지하기 위한 가이드 영상으로 제공하고, 상기 내부 예시영상 기반의 고해상도 복원 기술을 이용하여 복원한 상기 자가 고해상도 영상을 지역적 영상구조의 세밀한 부분을 복원하기 위해 제공하며,
    상기 외부 예시영상 및 내부 예시영상의 상호보완 관계를 이용하여 깊은(deep) 컨볼루셔널 신경망(Convolutional Neural Network, CNN) 기반으로 상기 입력된 영상을 고해상도 복원하는 것
    을 특징으로 하는 인공신경망을 이용한 단일 영상 고해상도 복원 방법.
  3. 인공신경망(Artificial neural network)을 이용한 단일 영상 고해상도 복원(Single Image Super-Resolution) 시스템에 있어서,
    입력된 영상을 전처리하여 저해상도 영상 및 자가 고해상도(Self High-Resolution) 영상을 제공하는 영상 제공부;
    상기 저해상도 영상 및 상기 자가 고해상도 영상에 대하여 기설정된 학습 데이터를 이용하여 잔여영상을 복원하는 잔여영상 복원부; 및
    상기 저해상도 영상 및 상기 자가 고해상도 영상과 잔여영상을 복원한 영상을 통해 상기 입력된 영상을 고해상도 영상으로 복원하는 고해상도 복원부
    를 포함하고,
    상기 잔여영상 복원부는,
    외부 예시영상 기반으로 넓은 수용 영역과 잔여영상 학습을 이용하여 상기 저해상도 영상의 전반적인 전체 영상구조의 고주파 성분을 복원하는 전체 잔여영상 복원 네트워크; 및
    내부 예시영상 기반의 상기 자가 고해상도 영상을 반복적으로 나타나거나 영상 전체에 분포되어 있는 세밀한 지역적 영상구조의 고주파 성분을 복원하는 지역 잔여영상 복원 네트워크
    를 포함하고,
    상기 내부 예시영상 및 상기 외부 예시영상의 상호보완 관계를 이용하여 영상을 고해상도 복원하는 것
    을 특징으로 하는 인공신경망을 이용한 단일 영상 고해상도 복원 시스템.
  4. 제3항에 있어서,
    상기 영상 제공부는,
    보간 기술을 통해 보간된 상기 저해상도 영상을 전반적인 영상구조를 유지하기 위한 가이드 영상으로 제공하고, 상기 내부 예시영상 기반의 고해상도 복원 기술을 이용하여 복원한 상기 자가 고해상도 영상을 지역적 영상구조의 세밀한 부분을 복원하기 위해 제공하며,
    상기 외부 예시영상 및 내부 예시영상의 상호보완 관계를 이용하여 깊은(deep) 컨볼루셔널 신경망(Convolutional Neural Network, CNN) 기반으로 상기 입력된 영상을 고해상도 복원하는 것
    을 특징으로 하는 인공신경망을 이용한 단일 영상 고해상도 복원 시스템.
  5. 제3항에 있어서,
    상기 지역 잔여영상 복원 네트워크는,
    컨볼루셔널 레이어(convolutional layer)와 ReLu(Rectified Linear Unit) 함수로 이루어진 복수의 화소 부호화 레이어로 구성되어, 출력 특징 맵은 주변 화소 정보의 간섭 없이 부호화된 상기 자가 고해상도 영상의 화소 정보를 전달하는 것
    을 특징으로 하는 인공신경망을 이용한 단일 영상 고해상도 복원 시스템.
  6. 제3항에 있어서,
    상기 전체 잔여영상 복원 네트워크는,
    상기 자가 고해상도 영상의 계단 왜곡 현상에 의해 왜곡된 전반적인 전체영상구조를 보완하여 왜곡 없는 고해상도 영상구조 복원하도록 외부 예시영상 기반의 넓은 수용영역을 갖도록 직렬로 연결된 복수의 상기 잔여 블록(residual block)이 형성되는 것
    을 특징으로 하는 인공신경망을 이용한 단일 영상 고해상도 복원 시스템.
  7. 제6항에 있어서,
    상기 전체 잔여영상 복원 네트워크는,
    상기 잔여 블록을 통해 스킵 컨넥션(skip-connection)과 집단 정규화(Batch Normalization) 레이어를 이용하여 안정적인 그래디언트(gradient) 값의 학습 과정을 수행하고, 각각의 상기 잔여 블록을 통해 입력 특징 맵은 복수의 컨볼루셔널 레이어를 통과하며, 출력 특징 맵의 수는 입력 특징 맵의 수와 동일하게 유지되고, 소정 크기의 수용 영역은 N개의 잔여 블록과 마지막으로 컨볼루셔널 레이어를 통과하여 크기가 확장됨에 따라 전체 잔여영상을 복원하여 고해상도 영상구조를 복원하는 것
    을 특징으로 하는 인공신경망을 이용한 단일 영상 고해상도 복원 시스템.
KR1020170129743A 2017-10-11 2017-10-11 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템 KR101996730B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170129743A KR101996730B1 (ko) 2017-10-11 2017-10-11 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170129743A KR101996730B1 (ko) 2017-10-11 2017-10-11 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20190040586A true KR20190040586A (ko) 2019-04-19
KR101996730B1 KR101996730B1 (ko) 2019-07-04

Family

ID=66283437

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170129743A KR101996730B1 (ko) 2017-10-11 2017-10-11 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101996730B1 (ko)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443755A (zh) * 2019-08-07 2019-11-12 杭州智团信息技术有限公司 一种基于高低频信号量的图像超分辨率的方法
CN111091495A (zh) * 2019-10-09 2020-05-01 西安电子科技大学 基于残差网络的激光图像高分辨率压缩感知重构方法
CN111612695A (zh) * 2020-05-19 2020-09-01 华侨大学 一种低分辨率人脸图像超分辨重建方法
CN111640067A (zh) * 2020-06-10 2020-09-08 华侨大学 基于三通道卷积神经网络的单幅图像超分辨率重建方法
CN111696042A (zh) * 2020-06-04 2020-09-22 四川轻化工大学 基于样本学习的图像超分辨重建方法
CN111861961A (zh) * 2020-07-25 2020-10-30 安徽理工大学 单幅图像超分辨率的多尺度残差融合模型及其复原方法
WO2020231016A1 (en) * 2019-05-16 2020-11-19 Samsung Electronics Co., Ltd. Image optimization method, apparatus, device and storage medium
WO2020231691A1 (en) * 2019-05-15 2020-11-19 Disney Enterprises, Inc. Content adaptive optimization for neural data compression
CN111986102A (zh) * 2020-07-15 2020-11-24 万达信息股份有限公司 一种数字病理图像去模糊方法
WO2020242221A1 (ko) * 2019-05-31 2020-12-03 동국대학교 산학협력단 동작 정보를 이용한 고해상도 동영상 생성 방법 및 장치
CN112070668A (zh) * 2020-08-18 2020-12-11 西安理工大学 一种基于深度学习和边缘增强的图像超分辨方法
CN112150360A (zh) * 2020-09-16 2020-12-29 北京工业大学 一种基于稠密残差网络的ivus图像超分辨率重建方法
CN112381716A (zh) * 2020-11-18 2021-02-19 爱像素(深圳)智能科技有限公司 一种基于生成式对抗网络的图像增强方法
KR20210056619A (ko) * 2019-11-11 2021-05-20 경북대학교 산학협력단 전자 장치 및 이의 학습 방법
KR20210066240A (ko) * 2019-11-28 2021-06-07 인천대학교 산학협력단 밀집 레이어를 이용한 영상 처리 장치 및 방법
WO2021139120A1 (zh) * 2020-01-09 2021-07-15 北京市商汤科技开发有限公司 网络训练方法及装置、图像生成方法及装置
CN113298710A (zh) * 2021-05-10 2021-08-24 天津大学 基于外部注意力机制的光学相干层析超分辨率成像方法
KR20210149426A (ko) * 2020-06-02 2021-12-09 인하대학교 산학협력단 고해상도 얼굴 영상 복원 방법 및 장치
CN113850719A (zh) * 2021-06-16 2021-12-28 北京大学 基于联合隐式图像函数的rgb图像引导深度图超分辨率方法
KR20220152842A (ko) * 2021-05-10 2022-11-17 주식회사 씨앤에이아이 초해상도 의료 이미지 생성 장치 및 방법
CN115810139A (zh) * 2022-12-16 2023-03-17 西北民族大学 一种spect图像的目标区域识别方法及系统
US11727533B2 (en) 2019-08-13 2023-08-15 Electronics And Telecommunications Research Institute Apparatus and method for generating super resolution image using orientation adaptive parallel neural networks
US11854159B2 (en) 2019-10-17 2023-12-26 Samsung Electronics Co., Ltd. Image processing apparatus and method
WO2024075903A1 (ko) * 2022-10-06 2024-04-11 한국과학기술원 임상 ct 스캔 데이터에서의 심층 학습 기반 패치별 3차원 골 미세구조 재구성 방법 및 장치

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102350610B1 (ko) 2019-12-26 2022-01-14 고려대학교 산학협력단 두 단계 U-Net 구조 기반의 어긋난 데이터를 이용한 raw에서 RGB로의 매핑 방법, 이를 수행하기 위한 기록 매체 및 장치
KR20220037874A (ko) 2020-09-18 2022-03-25 고려대학교 산학협력단 영상 복원 장치
KR20220137459A (ko) * 2021-04-02 2022-10-12 삼성전자주식회사 기계 학습 기반 이미지 처리를 지원하기 위한 전자 장치
US11954833B2 (en) 2021-04-02 2024-04-09 Samsung Electronics Co., Ltd Electronic device for supporting machine learning-based image processing
KR102467092B1 (ko) 2021-11-26 2022-11-16 블루닷 주식회사 복수의 신경망들을 이용하여 코딩 노이즈에 강인한 슈퍼 레졸루션 이미지 처리 방법 및 시스템
KR102467094B1 (ko) 2021-11-26 2022-11-16 블루닷 주식회사 신경망을 이용한 슈퍼 레졸루션 이미지 처리 방법 및 시스템
KR20230082227A (ko) 2021-12-01 2023-06-08 창원대학교 산학협력단 심층 잔여 농도 기반의 딥러닝을 이용한 초고해상도 영상화 장치
KR102467091B1 (ko) 2022-07-20 2022-11-16 블루닷 주식회사 효과적인 비디오 압축을 위한 슈퍼 레졸루션 영상 처리 방법 및 시스템
WO2024101891A1 (ko) * 2022-11-08 2024-05-16 삼성전자 주식회사 전자 장치 및 전자 장치의 이미지 처리 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101780057B1 (ko) * 2016-08-02 2017-09-19 한양대학교 에리카산학협력단 고해상도 영상 복원 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101780057B1 (ko) * 2016-08-02 2017-09-19 한양대학교 에리카산학협력단 고해상도 영상 복원 방법 및 장치

Non-Patent Citations (16)

* Cited by examiner, † Cited by third party
Title
A. Singh and N. Ahuja, "Super-resolution using sub-band self-similarity," In Proc. of Asian Conference on Computer Vision, pp. 552-568, November, 2014.
A. Vedaldi and K. Lenc, "MatConvnet-Convolutional Neural Networks for MATLAB," In Proc. of the ACM International Conference on Multimedia, pp. 689-692, October, 2015.
C. Dong, C. Loy, K. He, and X. Tang, "Learning a deep convolutional network for image super-resolution," In Proc. of European Conference on Computer Vision, pp. 184-199, September, 2014.
D. Glasner, S. Bagon, and M. Irani, "Super-resolution from a single image," In Proc. of IEEE International Conference on Computer Vision, pp. 349-356, September, 2009.
D. Martin, C. Fowlkes, D. Tal, and J. Malik, "A database of human segmented natural images and its application to evaluating segmentation methods and measuring ecological statistics," In Proc. of IEEE International Conference on Computer Vision, pp. 416-423, July, 2001.
https://github.com/jbhuang0604/SelfExSR.
J. Kim, J. K. Lee, and K. M. Lee, "Accurate image super-resolution using very deep convolutional networks," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pp. 1646-1654, July, 2016.
J. Yang, Z. Lin, and S. Cohen, "Fast image super-resolution based on in-place example regression," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pp. 1059-1066, June, 2013.
J.-B. Huang, A. Singh, and N.Ahuja, "Single image super-resolution from transformed self-exemplars," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pp. 5197-5206, June, 2015.
J.-B. Huang, S. B. Kang, N. Ahuja, and J. Kopf. "Image completion using planar structure guidance," ACM Trans. on Graphics, vol. 33, no. 4, pp.129, July, 2014.
L. Sun and J. Hays, "Super-resolution from internet-scale scene matching," In Proc. of IEEE International Conference on Computational Photography, pp. 1-12, April, 2012.
M. Bevilacqua, A. Roumy, C. Guillemot, and M.-L. Alberi-Morel, "Low-complexity single-image super-resolution based on nonnegative neighbor embedding," In Proc. of British Machine Vision Conference, pp. 1-10, September, 2012.
R. Zeyde, M. Elad, and M. Protter, "On single image scale-up using sparse representations," In Proc. of International Conference on Curves and Surfaces, pp. 711-730, June, 2010.
S. Schulter, C. Leistner, and H. Bischof, "Fast and accurate image upscaling with super-resolution forests," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pp. 3791-3799, June, 2015.
W. Shi, J. caballero, F. Huszr, J. totz, A. P. Aitken, R. Bishop, D. Rueckert, and Z. Wang, "Real-time single image and video superresolution using an efficient sub-pixel convolutional neural network," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pp. 1874-1883, July, 2016.
Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, "Gradient-based learning applied to document recognition," In Proc. of the IEEE, vol. 86, no. 11, pp. 2278-2324, 1998.

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020231691A1 (en) * 2019-05-15 2020-11-19 Disney Enterprises, Inc. Content adaptive optimization for neural data compression
US11057634B2 (en) 2019-05-15 2021-07-06 Disney Enterprises, Inc. Content adaptive optimization for neural data compression
US11887218B2 (en) 2019-05-16 2024-01-30 Samsung Electronics Co., Ltd. Image optimization method, apparatus, device and storage medium
WO2020231016A1 (en) * 2019-05-16 2020-11-19 Samsung Electronics Co., Ltd. Image optimization method, apparatus, device and storage medium
WO2020242221A1 (ko) * 2019-05-31 2020-12-03 동국대학교 산학협력단 동작 정보를 이용한 고해상도 동영상 생성 방법 및 장치
CN110443755A (zh) * 2019-08-07 2019-11-12 杭州智团信息技术有限公司 一种基于高低频信号量的图像超分辨率的方法
CN110443755B (zh) * 2019-08-07 2023-05-30 杭州智团信息技术有限公司 一种基于高低频信号量的图像超分辨率的方法
US11727533B2 (en) 2019-08-13 2023-08-15 Electronics And Telecommunications Research Institute Apparatus and method for generating super resolution image using orientation adaptive parallel neural networks
CN111091495A (zh) * 2019-10-09 2020-05-01 西安电子科技大学 基于残差网络的激光图像高分辨率压缩感知重构方法
US11854159B2 (en) 2019-10-17 2023-12-26 Samsung Electronics Co., Ltd. Image processing apparatus and method
KR20210056619A (ko) * 2019-11-11 2021-05-20 경북대학교 산학협력단 전자 장치 및 이의 학습 방법
KR20210066240A (ko) * 2019-11-28 2021-06-07 인천대학교 산학협력단 밀집 레이어를 이용한 영상 처리 장치 및 방법
WO2021139120A1 (zh) * 2020-01-09 2021-07-15 北京市商汤科技开发有限公司 网络训练方法及装置、图像生成方法及装置
CN111612695A (zh) * 2020-05-19 2020-09-01 华侨大学 一种低分辨率人脸图像超分辨重建方法
CN111612695B (zh) * 2020-05-19 2023-08-01 华侨大学 一种低分辨率人脸图像超分辨重建方法
KR20210149426A (ko) * 2020-06-02 2021-12-09 인하대학교 산학협력단 고해상도 얼굴 영상 복원 방법 및 장치
CN111696042A (zh) * 2020-06-04 2020-09-22 四川轻化工大学 基于样本学习的图像超分辨重建方法
CN111696042B (zh) * 2020-06-04 2023-06-27 四川轻化工大学 基于样本学习的图像超分辨重建方法
CN111640067B (zh) * 2020-06-10 2022-08-09 华侨大学 基于三通道卷积神经网络的单幅图像超分辨率重建方法
CN111640067A (zh) * 2020-06-10 2020-09-08 华侨大学 基于三通道卷积神经网络的单幅图像超分辨率重建方法
CN111986102B (zh) * 2020-07-15 2024-02-27 万达信息股份有限公司 一种数字病理图像去模糊方法
CN111986102A (zh) * 2020-07-15 2020-11-24 万达信息股份有限公司 一种数字病理图像去模糊方法
CN111861961B (zh) * 2020-07-25 2023-09-22 安徽理工大学 单幅图像超分辨率的多尺度残差融合模型及其复原方法
CN111861961A (zh) * 2020-07-25 2020-10-30 安徽理工大学 单幅图像超分辨率的多尺度残差融合模型及其复原方法
CN112070668A (zh) * 2020-08-18 2020-12-11 西安理工大学 一种基于深度学习和边缘增强的图像超分辨方法
CN112150360A (zh) * 2020-09-16 2020-12-29 北京工业大学 一种基于稠密残差网络的ivus图像超分辨率重建方法
CN112381716B (zh) * 2020-11-18 2023-08-18 爱像素(深圳)智能科技有限公司 一种基于生成式对抗网络的图像增强方法
CN112381716A (zh) * 2020-11-18 2021-02-19 爱像素(深圳)智能科技有限公司 一种基于生成式对抗网络的图像增强方法
WO2022239897A1 (ko) * 2021-05-10 2022-11-17 주식회사 씨앤에이아이 초해상도 의료 이미지 생성 장치 및 방법
KR20220152842A (ko) * 2021-05-10 2022-11-17 주식회사 씨앤에이아이 초해상도 의료 이미지 생성 장치 및 방법
CN113298710A (zh) * 2021-05-10 2021-08-24 天津大学 基于外部注意力机制的光学相干层析超分辨率成像方法
CN113298710B (zh) * 2021-05-10 2024-04-16 天津大学 基于外部注意力机制的光学相干层析超分辨率成像方法
CN113850719A (zh) * 2021-06-16 2021-12-28 北京大学 基于联合隐式图像函数的rgb图像引导深度图超分辨率方法
WO2024075903A1 (ko) * 2022-10-06 2024-04-11 한국과학기술원 임상 ct 스캔 데이터에서의 심층 학습 기반 패치별 3차원 골 미세구조 재구성 방법 및 장치
CN115810139B (zh) * 2022-12-16 2023-09-01 西北民族大学 一种spect图像的目标区域识别方法及系统
CN115810139A (zh) * 2022-12-16 2023-03-17 西北民族大学 一种spect图像的目标区域识别方法及系统

Also Published As

Publication number Publication date
KR101996730B1 (ko) 2019-07-04

Similar Documents

Publication Publication Date Title
KR101996730B1 (ko) 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템
Dai et al. Second-order attention network for single image super-resolution
Wang et al. Understanding convolution for semantic segmentation
Kim et al. Accurate image super-resolution using very deep convolutional networks
Dong et al. Learning a deep convolutional network for image super-resolution
Kim et al. Deep residual network with enhanced upscaling module for super-resolution
Singh et al. Super-resolution using sub-band self-similarity
Xu et al. Dense bynet: Residual dense network for image super resolution
Chen et al. Multi-attention augmented network for single image super-resolution
Liu et al. Deep differential convolutional network for single image super-resolution
Shi et al. (SARN) spatial-wise attention residual network for image super-resolution
Cao et al. Fast and accurate single image super-resolution via an energy-aware improved deep residual network
Feng et al. Guided filter‐based multi‐scale super‐resolution reconstruction
Mu et al. Single image super resolution with high resolution dictionary
Tang et al. Single-image super-resolution based on semi-supervised learning
Liu et al. Deep recurrent residual channel attention network for single image super-resolution
Amaranageswarao et al. Residual learning based densely connected deep dilated network for joint deblocking and super resolution
Nasrollahi et al. Deep artifact-free residual network for single-image super-resolution
Shuai et al. Accurate image super-resolution using cascaded multi-column convolutional neural networks
Amiri et al. A fast video super resolution for facial image
Jain et al. On-device text image super resolution
Zhang et al. Image super-resolution via RL-CSC: when residual learning meets convolutional sparse coding
Liu et al. A novel convolutional neural network architecture for image super-resolution based on channels combination
Liu et al. Second-order attention network for magnification-arbitrary single image super-resolution
KR20220039368A (ko) 인공 지능에 기반한 실시간 초해상도 구현 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right