KR20240018752A - 딥러닝을 이용한 임의배율 초해상도 시스템 및 이를 이용한 초해상화 방법 - Google Patents

딥러닝을 이용한 임의배율 초해상도 시스템 및 이를 이용한 초해상화 방법 Download PDF

Info

Publication number
KR20240018752A
KR20240018752A KR1020220096455A KR20220096455A KR20240018752A KR 20240018752 A KR20240018752 A KR 20240018752A KR 1020220096455 A KR1020220096455 A KR 1020220096455A KR 20220096455 A KR20220096455 A KR 20220096455A KR 20240018752 A KR20240018752 A KR 20240018752A
Authority
KR
South Korea
Prior art keywords
magnification
image
super
resolution
model
Prior art date
Application number
KR1020220096455A
Other languages
English (en)
Other versions
KR102645739B1 (ko
Inventor
유석봉
윤준석
이이삭
홍영기
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020220096455A priority Critical patent/KR102645739B1/ko
Publication of KR20240018752A publication Critical patent/KR20240018752A/ko
Application granted granted Critical
Publication of KR102645739B1 publication Critical patent/KR102645739B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

본 발명은, 저해상도 이미지를 임의배율로 확대하여 고해상도 이미지로 변환하는 딥러닝 기반 초해상도 시스템에 있어서, 수신된 이미지의 해상도를 딥러닝 모델인 정수배율 모델을 이용하여 상기 임의배율의 정수배율만큼 확대하는 정수배율 확대부; 및 상기 정수배율 확대부에서 정수배율로 확대된 이미지를 딥러닝 모델인 소수배율 모델을 이용하여 상기 임의배율까지 확대하는 소수배율 확대부;를 포함하는 것을 일 특징으로 한다.

Description

딥러닝을 이용한 임의배율 초해상도 시스템 및 이를 이용한 초해상화 방법{ARBITRARY MAGNIFICATION SUPER-RESOLUTION SYSTEM USING DEEP LEARNING AND SUPER-RESOLUTION METHOD USING THE SAME}
본 발명은 딥러닝을 이용한 임의배율 초해상도 시스템 및 이를 이용한 초해상화 방법에 관한 것으로서, 특히 저해상도 이미지를 정수배율과 소수배율을 포함하는 임의배율로 확대하여 고해상도 이미지로 변환하는 딥러닝을 이용한 임의배율 초해상도 시스템 및 이를 이용한 초해상화 방법에 관한 것이다.
이미지 초해상도(super resolusion) 기법은 저해상도 이미지를 고해상도로 복원하는 기법에 관한 것이다. 이미지 프로세싱 딥러닝 기술의 발전에 따라 딥러닝 기반 초해상도 모델의 복원 성능이 크게 향상되고 있다. 현재 개발되고 있는 대부분의 딥러닝 기반의 초해상도 기법은 정수배율 수행에 초점을 두고 해상도 확대를 수행한다. 그러나, 실제 초해상도 기술의 대표 적용 분야에서는 소수 배율을 포함하는 임의배율까지의 확대 필요성이 대두되고 있다.
이미지에서 관심 객체를 인식하기 위해서는 객체 검출 신경망을 통해 이미지에서 객체 영역을 검출한 후, 검출 영역을 객체 속성 인식 신경망에 크기에 알맞게 조정하는 과정이 필수적이다. 하지만 CCTV, 블랙박스, 드론 등을 사용하여 촬영된 현실 세계 이미지는 중, 원거리의 작은 객체 영역을 가지고 있고, 해당 이미지를 일반적인 보간법으로 크기 조정을 할 경우 블러(blur) 현상을 일으켜 객체 인식의 성능을 저하시킨다. 이에 대한 해결책으로써, 초해상도를 작은 객체 영역의 이미지에 적용하여 선명도를 향상시키며 크기를 확대함으로써 객체 인식 정확도 향상을 가져올 수 있다.
기존 대부분의 초해상도 방법들은 다양한 크기의 작은 객체 영역을 목표크기로 변환할 수 없는 한계점을 가진다. 일반적은 초해상도 방법들은 정수배율(x2, x4)로만 복원하거나, 입력 이미지를 기본 보간법을 이용하여 소수배율로 확대, 축소한 후 초해상도 신경망을 통해 임의배율 확대를 수행하게 된다. 이 방법은 입력 이미지의 변형을 통한 복원 능력 소실과 연산량 증가 원인이 된다. 따라서, 복원 능력 소실과 연산량 증가의 문제점을 해결하고, 실제 초해상도 응용 환경인 관심 객체 인식, 디스플레이 화질 개선 등에서 임의배율이 가능한 초해상도 시스템의 필요성이 대두되고 있다.
한국등록특허 제10-2287942호
본 발명은 입력된 저해상도 이미지를 딥러닝 모델을 이용하여 목표 임의배율로 확대하여 고해상도 이미지로 변환시키는 초해상도 시스템 및 이를 이용한 초해상화 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 입력 이미지의 변형으로 인한 복원 능력 소실과 연산량 증가가 발생하지 않는 초해상도 시스템 및 이를 이용한 초해상화 방법을 제공하고자 한다.
상기 목적을 달성하기 위하여 본 발명은, 저해상도 이미지를 임의배율로 확대하여 고해상도 이미지로 변환하는 딥러닝 기반 초해상도 시스템에 있어서, 수신된 이미지의 해상도를 딥러닝 모델인 정수배율 모델을 이용하여 상기 임의배율의 정수배율만큼 확대하는 정수배율 확대부; 및 상기 정수배율 확대부에서 정수배율로 확대된 이미지를 딥러닝 모델인 소수배율 모델을 이용하여 상기 임의배율까지 확대하는 소수배율 확대부;를 포함하는 것을 일 특징으로 한다.
바람직하게는, 상기 소수배율 확대부는, 상기 소수배율 모델이 정수배율로 확대된 이미지를 DCT(Discrete cosine transform) 스펙트럼 도메인으로 변형하고, 변형된 DCT 스펙트럼 도메인에서 이미지 공간을 확장한 후, IDCT를 수행하여 임의배율까지 확장할 수 있다.
바람직하게는, 상시 소수배율 확대부는, 상기 소수배율 모델이 이미지 공간이 확장된 결과에 에너지 절약 원칙에 따른 계수 값을 곱하여 이미지 밝기를 복원할 수 있다.
바람직하게는, 상기 소수배율 확대부는, 상기 소수배율 모델이 하이퍼파라미터에 따라 주파수 영역을 분할하고 고주파수 영역만을 추출하여 고주파수 영역으로 이미지 공간을 확장할 수 있다.
바람직하게는, 상기 소수배율 확대부는, 상기 소수배율 모델이 DCT 스펙트럼 도메인에서 우하단 방향으로 이미지 공간을 확장할 수 있다.
바람직하게는, 상기 소수배율 확대부는, 상기 소수배율 모델이 RGB 채널 간의 상관관계를 학습할 수 있는 채널 집중 계층을 포함할 수 있다.
바람직하게는, 상기 소수배율 확대부는, 상기 소수배율 모델이 저주파 성분이 포함된 영역까지 이미지 공간을 확장한 후 IDCT를 수행한 결과 이미지와, 고수파 성분만 포함된 영역까지 이미지 공간을 확장한 후 IDCT를 수행한 결과를 상기 채널 집중 계층에 통과시켜 고주파 성분이 증폭된 이미지를 합하여, 상기 임의배율까지 확대된 이미지를 생성할 수 있다.
바람직하게는, 수신된 원본 이지미지와 정수배율로 확대된 이미지 사이의 손실함수를 통해 상기 정수배율 모델을 학습시키는 제1 학습부를 더 포함할 수 있다.
바람직하게는, 정수배율로 확대된 이미지와 임의배율로 확대된 이미지 사이의 손실함수를 통해 상기 소수배율 모델을 학습시키는 제2 학습부를 더 포함할 수 있다.
또한 본 발명은, 저해상도 이미지를 임의배율로 확대하여 고해상도 이미지로 변환하는 초해상화 방법에 있어서, 수신된 이미지의 해상도를 딥러닝 모델인 정수배율 모델을 이용하여 상기 임의배율의 정수배율로 확대하는 정수배율 확대단계; 및 상기 정수배율 확대단계에서 정수배율로 확대된 이미지를 딥러닝 모델인 소수배율 모델을 이용하여 상기 임의배율까지 확대하는 소수배율 확대단계;를 포함하는 것을 다른 특징으로 한다.
본 발명은, 이미지의 변형으로 인한 복원 능력 소실과 연산량 증가가 발생함이 없이 저해상도 이미지를 고해상도 이미지로 변환할 수 있다는 이점이 있다.
본 발명은, 이미지의 전체 주파수 대역을 한 번에 복원하는 것이 아닌 대상 고주파 성분을 집중적으로 복원하여 더 나은 초해상화 성능을 얻을 수 있다는 이점이 있다.
도 1은 본 발명의 실시예에 따른 초해상도 시스템의 구성도를 나타낸다.
도 2는 본 발명의 실시예에 따른 초해상도 시스템의 블록도를 나타낸다.
도 3의 (a)는 샘플 이미지와 2D-DCT 결과를 나타내고, 도 3의 (b)는 8x8 코사인 기저 함수를 나타낸다.
도 4는 본 발명의 실시예에 따른 소수배율 확대부가 하이퍼파라미터에 따라 주파수 영역을 분할한 예시를 나타낸다.
도 5는 본 발명의 실시예에 따른 소수배율 모델이 포함하는 채널 집중 계층의 구조를 나타낸다.
도 6은 본 발명의 실시예에 따른 초해상화 방법의 순서도를 나타낸다.
도 7은 본 발명의 실시예에 따른 초해상화 방법의 단계별 결과를 나타낸다.
도 8은 본 발명의 실시예에 따른 초해상도 모델의 PSNR 및 SSIM 측면에서의 정량적 품질 비교를 나타낸다.
도 9는 본 발명의 실시예에 따른 최신 초해상도 방법의 정량적 비교를 나타낸다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명을 상세히 설명한다. 다만, 본 발명이 예시적 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해 질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 초해상도 시스템(10)의 구성도를 나타낸다. 도 1을 참조하면, 초해상도 시스템(10)은 정수배율 확대부(100), 소수배율 확대부(300), 제1 학습부(500), 및 제2 학습부(700)를 포함할 수 있다. 초해상도 시스템(10)은 저해상도 이미지를 임의배율로 확대하여 고해상도 이미지로 변환할 수 있다.
초해상도 시스템(10)은 다양한 저해상도 이미지가 입력되어도 저해상도 이미지로부터 이미지 품질이 향상된 고해상도 이미지를 생성할 수 있다. 초해상도 시스템(10)은 이미지 변형을 통한 복원 능력 소실과 연산량 증가가 발생 없이 저해상도 이미지를 임의배율로 확대할 수 있다. 초해상도 시스템(10)은 실제 초해상도 응용 환경인 관심 객체 인식, 디스플레이 화질 개선 등에 적용될 수 있다.
도 2는 본 발명의 실시예에 따른 초해상도 시스템(10)의 블록도를 나타낸다. 도 2를 참조하면, 초해상도 시스템(10)은 입력으로 들어온 저해상도 이미지를 정수배율 확대부(100)에서 정수배율로 확대한 후 소수배율 확대부(300)에서 남은 잔여배율만큼 확대하여 목표 임의배율까지 확대할 수 있다. 초해상도 시스템(10)은 입력으로 수신된 저해상도 이미지가 정수배율 확대부(100)에서 목표 임의배율에 가까운 정수배율로 확대될 수 있다. 초해상도 시스템(10)은 소수배율 확대부(300)에서 정수배율로 확대된 이미지를 DCT(Discrete Cosine Transform)를 통해 공간 영역에서 스펙트럼 영역으로 변환할 수 있다. 초해상도 시스템(10)은 소수배율 확대부(300)에서 DCT 특성을 이용하여 잔여 소수배율로 공간 영역을 확장한 후 IDCT(Inverse Discrete Cosine Transform)를 수행하여 목표 임의배율까지 확대된 이미지를 획득할 수 있다.
초해상도 시스템(10)은 저주파 성분의 보존을 유지하면서 목표 임의배율까지 확대할 수 있다. 초해상도 시스템(10)은 DCT 스펙트럼 영역에서 저주파수 성분은 좌상단 방향에 집중되고 고주파수 성분은 우하단 방향에 집중되는 원리를 이용하여, 성능에 큰 영향을 미치는 저주파수 성분은 그대로 유지하면서 고주파수 성분인 우하단 방향으로 이미지 공간을 확장시킬 수 있다. 이를 이용하여, 초해상도 시스템(10)은 저주파수 성분을 보존하고 고주파수 성분만으로 부족한 소수배율로 확대한 이미지를 획득할 수 있다. 초해상도 시스템(10)은 기본의 보간법이 저주파 성분을 제대로 보존하지 못한 상태에서 배율 확대가 일어나 영상 복원 능력이 저하된다는 문제점을 해결할 수 있다.
초해상도 시스템(10)은 하이퍼파라미터를 사용하여 생성된 주파수 영역 분할(마스크)을 통해 고주파 성분을 보다 섬세하게 추출할 수 있다. 초해상도 시스템(10)은 주파수 영역 분할을 통해 추출된 고주파 성분을 채널 집중 계층에 통과시켜 고주파 성분을 증폭시킬 수 있다.
초해상도 시스템(10)의 각 구성에서 수행되는 동작은 이하에서 설명한다.
정수배율 확대부(100)는 수신된 이미지의 해상도를 딥러닝 모델인 정수배율 모델(110)을 이용하여 임의배율의 정수배율만큼 확대할 수 있다. 예를 들어, 정수배율 확대부(100)는 목표 임의배율이 x2.5이면 x2의 확대를 수행하고, 임의배율이 x3.5이면 x3의 확대를 수행할 수 있다.
소수배율 확대부(300)는 정수배율 확대부(100)에서 정수배율로 확대된 이미지를 딥러닝 모델인 소수배율 모델(310)을 이용하여 임의배율까지 확대할 수 있다.
소수배율 확대부(300)는 소수배율 모델(310)이 정수배율로 확대된 이미지를 DCT(Discrete cosine transform) 스펙트럼 도메인으로 변형하고, 변형된 DCT 스펙트럼 도메인에서 이미지 공간을 확장한 후, IDCT를 수행하여 임의배율까지 확장할 수 있다.
공간 도메인 신호는 스펙트럼 도메인 신호로 변환될 수 있고, 그 반대도 마찬가지이다. 이러한 변환에 사용되는 가장 일반적인 방법은 이산 푸리에 변환(DFT, Discrete Fourier transform)이다. DFT는 입력 신호가 실수라도 변환 결과에 복소수가 포함되므로 복소수를 계산에 의한 오버헤드가 문제될 수 있다. 따라서, 소수배율 확대부(300)는 신호를 코사인 함수로 분해하고 스펙트럼 표현에서 실수 값만 생성하는 DCT를 이용할 수 있다.
크기가 N×M인 2차원 공간 영역 이산 신호 입력은 DCT를 통해 주파수 영역에서 다음과 같이 표현될 수 있다.
[수학식 1]
[수학식 2]
[수학식 3]
[수학식 4]
[수학식 5]
[수학식 1]에서 는 입력 이미지의 (x,y) 위치의 픽셀 값이고, 는 (u,v) 위치에서의 DCT 계수 값이다. [수학식 2] 내지 [수학식 4]는 코사인 기저함수와 정규화 상수의 정의를 나타낸다. 스펙트럼(주파수) 도메인으로 변환된 신호는 [수학식 5]와 같은 2차원 IDCT를 이용하여 공간 도메인으로 변환될 수 있다.
도 3의 (a)는 샘플 이미지와 2D-DCT 결과를 나타내고, 도 3의 (b)는 8x8 코사인 기저 함수를 나타낸다. 도 3을 참조하면, 2D-DCT 결과는 공간 구조의 변형으로 직관적이지는 않지만 다양한 구성 요수의 주파수 정보를 쉽게 보여준다.
소수배율 확대부(300)는 정수배율로 확대된 이미지를 DCT를 통해 공간 도메인에서 스펙트럼 도메인으로 변환하고, 고주파가 스펙트럼 도메인의 우하단에 집중되는 DCT의 특성을 이용하여 우하단 방향으로 공간 영역을 확장하여 잔여 소수배율까지 확대할 수 있다. 이후, 소수배율 확대부(300)는 DCT 스펙트럼 도메인에서 확장된 공간은 공간 도메인에서 동일한 공간 크기를 갖는다는 원리에 따라 IDCT를 통해 공간 영역으로 다시 변환하여 목표 임의배율로 조정된 결과 이미지를 획득할 수 있다.
소수배율 확대부(300)는 소수배율 모델(310)이 하이퍼파라미터에 따라 주파수 영역을 분할하고 고주파수 영역만을 추출하여 우하단 방향으로 이미지 공간을 확장할 수 있다. DCT 스펙트럼 도메인에서 공간 확장을 할 때, 이미지는 좌상단 또는 우하단 방향으로 확장될 수 있다. DCT 스펙트럼 도메인은 좌상단 방향에 저주파 성분이 집중되고, 우하단 방향에 고주파 성분이 집중되는 특성을 갖는다.
소수배율 확대부(300)는 소수배율 모델(310)이 DCT 스펙트럼 도메인에서 우하단 방향으로 이미지 공간을 확장할 수 있다. 이미지 초해상화의 목표는 흐릿한 이미지를 선명한 이미지로 개선하는 것이며, 이는 이미지를 선명하게 만드는 고주파 성분을 복원하는 것으로 볼 수 있다. 따라서, 소수배율 확대부(300)는 고주파 성분이 집중된 우하단 방향으로 공간을 확장할 수 있다.
도 4는 본 발명의 실시예에 따른 소수배율 확대부(300)가 하이퍼파라미터에 따라 주파수 영역을 분할한 예시를 나타낸다. 도 4를 참조하면, 소수배율 확대부(300)는 하이퍼파라미터를 15로 설정하면 최대 15개의 성분을 제외한 고주파 성분을 추출할 수 있고, 하이퍼파라미터를 40으로 설정하면 최대 40개의 성분을 제외한 고주파 성분을 추출할 수 있으며, 하이퍼파라미터를 55로 설정하면 최대 55개의 성분을 제외한 고주파 성분을 추출할 수 있다.
소수배율 확대부(300)는 DCT 스펙트럼 도메인에서 고주파가 집중되는 부분으로 공간을 확장할 때, 임의로 확장되기 때문에 획득되는 이미지에는 고주파 성분이 부족할 수 있다. 이 문제를 일부 해결하기 위해, 소수배율 확대부(300)는 소수배율 모델(310)이 이미지 공간이 확장된 결과에 에너지 절약 원칙에 따른 계수 값을 곱하여 이미지 밝기를 복원할 수 있다. 소수배율 확대부(300)는 에너지 절약 원칙을 따를 수 있다.
도 5는 본 발명의 실시예에 따른 소수배율 모델(300)이 포함하는 채널 집중 계층의 구조를 나타낸다. 도 5를 참조하면, 소수배율 확대부(300)는 부족한 고주파 성분을 추가적으로 보완하기 위해 소수배율 모델(310)이 RGB 채널 간의 상관관계를 학습할 수 있는 채널 집중 계층을 포함할 수 있다.
채널 집중 계층은 RCAB(Residual Channel Attention Block)라고 하는 구조로 구성될 수 있다. 채널 집중 계층은 5개의 RCAB를 레이어로 쌓아서 구성될 수 있고, 각 블록에 잔차 학습을 적용하여 각 블록 간의 상관관계를 결정할 수 있다.
소수배율 확대부(300)는 소수배율 모델(310)이 저주파 성분이 포함된 영역까지 이미지 공간을 확장한 후 IDCT를 수행한 결과 이미지와, 고수파 성분만 포함된 영역까지 이미지 공간을 확장한 후 IDCT를 수행한 결과를 상기 채널 집중 계층에 통과시켜 고주파 성분이 증폭된 이미지를 합하여, 임의배율까지 확대된 이미지를 생성할 수 있다.
기존의 임의배율 확대 방식은 쌍삼차 보간법을 통해 배율 후 초해상도 신경망을 목표 임의배율로 전달하여 계산 비용과 모델의 용량을 증가시키는 문제점이 있다. 또한, 기존의 임의배율 확대 방식은 실제 적용에 있어서 모든 초해상도 네트워크를 임의배율로 학습해야 하므로 대용량 메모리가 요구된다.
초해상도 시스템(10)은 정수배율 확대부(100)의 신경망 가중치를 그대로 유지하여 정수배율 성능을 그대로 유지하면서도, 상대적으로 작은 용량의 네트워크인 소수배율 확대부(300)를 추가하여 고성능 임의배율을 달성할 수 있다. 또한, 초해상도 시스템(10)은 이미지의 전체 주파수 대역을 한 번에 복원하는 기본 방식과 달리 고주파 성분을 집중적으로 복원하여 더 나은 성능을 얻을 수 있다.
제1 학습부(500)는 수신된 원본 이지미지와 정수배율로 확대된 이미지 사이의 손실함수를 통해 상기 정수배율 모델을 학습시킬 수 있다.
제2 학습부(700)는 정수배율로 확대된 이미지와 임의배율로 확대된 이미지 사이의 손실함수를 통해 상기 소수배율 모델을 학습시킬 수 있다.
제1 학습부(500)와 제2 학습부(700)에서 사용되는 손실함수(L)은 DCT에 의해 확장된 영역의 고주파 성분을 복원하기 위해 [수학식 6]과 같이 정의될 수 있다.
[수학식 6]
(여기에서, N은 이미지 배치 크기, 은 저해상도 이미지를 정수배율로 확대한 모델, 은 잔차 십진 배율 모델을 나타낸다.)
본 발명의 다른 실시예인 초해상화 방법은 정수배율 확대단계와 소수배율 확대단계를 포함할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 초해상화 방법의 순서도를 나타내고, 도 7은 본 발명의 실시예에 따른 초해상화 방법의 단계별 결과를 나타낸다. 도 7과 도 8을 참조하면, 1단계는 정수배율을 위한 기본 SR(Super-Resolution) 모델을 사용한다. 2단계는 정수배율 이미지를 DCT 스펙트럼 영역에서 목표 임의배율로 확장한 후 에너지 보존 계수를 곱한다. 2단계의 이미지는 에너지 보존 계수를 곱하여 이미지가 목표 임의배율까지 잘 확대된 것을 확인할 수 있다. 그러나 2단계의 이미지는 과도한 확장으로 인해 고주파 성분인 텍스처나 선의 표현이 미흡하다. 3단계는 2단계의 결과에서 하이퍼파라미터를 통해 생성된 마스크로 고주파 성분을 추출할 수 있다. 4단계는 3단계에서 추출한 고주파 성분을 채널 집중 계층에 입력하여 고주파 성분을 보강할 수 있다. 4단계의 이미지를 보면 텍스처나 선의 고주파 성분을 효과적으로 재구성됨을 알 수 있다. 5단계는 4단계와 2단계의 결과를 추가하여 고주파 성분을 재구성할 수 있다. 5단계의 이미지를 보면 수영모와 얼굴 사이의 들쭉 날쭉한 부분이 제거되었으며, 수영모 로고 주변의 노이즈를 효과적으로 제거하여 임의배율 확대에도 선명함이 유지됨을 알 수 있다. 초해상화 방법은 임의배율 확대뿐만 아니라 고주파 성분을 잘 복원하여 이미지를 선명하게 하는데 효과적이다.
정수배율 확대단계는 수신된 이미지의 해상도를 딥러닝 모델인 정수배율 모델(110)을 이용하여 상기 임의배율의 정수배율로 확대할 수 있다. 정수배율 확대단계는 전술한 정수배율 확대부(100)에서 수행되는 동작을 의미한다.
소수배율 확대단계는 정수배율 확대단계에서 정수배율로 확대된 이미지를 딥러닝 모델인 소수배율 모델(310)을 이용하여 임의배율까지 확대할 수 있다. 소수배율 확대단계는 전술한 소수배율 확대부(300)에서 수행되는 동작을 의미한다.
이하에서는 본 발명의 시뮬레이션 결과를 설명한다.
도 8은 본 발명의 실시예에 따른 초해상도 모델의 PSNR 및 SSIM 측면에서의 정량적 품질 비교를 나타낸다. 도 8을 참조하면, 본 발명에 따른 초해상도 시스템(Hybrid-Domain High-Frequency Attention Network for Arbitrary Magnification Super-Resolution, )(10)의 성능을 임의의 영상을 확대할 수 있는 모델인 Meta-SR과 비교한다. Meta-SR은 단일 가중치로 임의배율 확대를 수행할 수 있으므로 Meta-SR은 각 배율에 대한 학습이 필요하지 않다. 그러나 Meta-SR은 배율에 따른 특화된 가중치 모델을 사용하지 않기 때문에 영상 복원 성능에 한계가 있다. 각 배율에 대해 Meta-SR과 을 훈련하였고 각 배율에 대해 훈련된 Meta-SR을 Meta-SR*로 표시한다. 임의배율 확대를 위해 정수배율 확대를 진행하는 모델이 필요하므로 본 시뮬레이션에서는 x2, x3 배율에 대해 DRN을 학습하여 정수배율 모델로 사용한다. DRN×2 모델의 피크 신호 대 잡음비(PSNR)는 35.87dB이고 DRN×3 모델의 PSNR은 32.22dB이다. Meta-SR이 정수배로 확대된 이미지에서 임의의 배율에 적절한 크기에 따라 픽셀 값을 선택하는 반면, 은 네트워크에 고주파 복원 목적을 집중하여 고주파 관련 가장자리와 질감을 더욱 향상시킨다.
도 8을 통해, 은 다른 임의배율 확대 모델보다 이미지 노이즈가 적음을 확인할 수 있다. 또한, 은 정량적 평가에서 기존의 발명보다 PSNR 값과 SSIM 값이 높게 나타났다.
도 9는 본 발명의 실시예에 따른 최신 초해상도 방법의 정량적 비교를 나타낸다. 도 9를 참조하면, 기존 임의배율 확대 방법과의 추가적인 성능 비교를 위해 기존 임의배율 확대 방법에서 사용한 훈련 데이터 세트와 테스트 데이터 세트를 본 발명에 따른 초해상도 시스템(10)에 동일하게 적용하여 시뮬레이션하였다. 본 시뮬레이션에서는 DIV2K 데이터 세트를 사용하여 학습되었으며, B100은 학습된 모델을 테스트하기 위한 데이터 세트로 사용되었다.
임의배율 입력 이미지를 생성하기 위해 각 임의배율에 대해 torch.nnf의 쌍삼차 보간 n을 사용하여 축소하엿다. 기존의 정수배율이 가능한 네트워크와 비교하기 위해 입력 영상을 십진법 배율의 쌍삼방으로 확장하고 임의배율 각각에 대한 영상을 수정 없이 모델을 통과시켰다. 임의배율 모델의 경우 동등 비교를 위한 기본 모델로 RDN 모델을 설정하였다. RDN×2 모델의 PSNR은 31.22dB이고, RDN×3 모델의 PSNR은 27.49dB이다.
HAN×2 모델의 PSNR은 31.39dB이고 HAN×3 모델의 PSNR은 27.70dB이다. SwinIR×2 모델의 PSNR은 32.45dB이고 SwinIR×3 모델의 PSNR은 29.39dB입니다. CSNLN×2 모델의 PSNR은 32.40dB이고 CSNLN×3 모델의 PSNR은 29.34dB이다. 도 9에서 확인할 수 있듯이, 2.2배, 3.2배 배율과 같이 영상의 작은 범위라도 확대되지만 PSNR 값은 크게 손실된다. 그러나 본 발명에 따른 초해상도 시스템(10)은 소수배율에 대한 스케일링에 강하여 평균 PSNR 측면에서 약 1.5dB, 평균 SSIM 측면에서 0.1013의 이점을 보여준다.
이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.
10 : 초해상도 시스템
100 : 정수배율 확대부
110 : 정수배율 모델
300 : 소수배율 확대부
310 : 소수배율 모델
500 : 제1 학습부
700 : 제2 학습부

Claims (10)

  1. 저해상도 이미지를 임의배율로 확대하여 고해상도 이미지로 변환하는 딥러닝 기반 초해상도 시스템에 있어서,
    수신된 이미지의 해상도를 딥러닝 모델인 정수배율 모델을 이용하여 상기 임의배율의 정수배율만큼 확대하는 정수배율 확대부; 및
    상기 정수배율 확대부에서 정수배율로 확대된 이미지를 딥러닝 모델인 소수배율 모델을 이용하여 상기 임의배율까지 확대하는 소수배율 확대부;를 포함하는 초해상도 시스템.
  2. 제 1 항에 있어서,
    상기 소수배율 확대부는,
    상기 소수배율 모델이 정수배율로 확대된 이미지를 DCT(Discrete cosine transform) 스펙트럼 도메인으로 변형하고, 변형된 DCT 스펙트럼 도메인에서 이미지 공간을 확장한 후, IDCT를 수행하여 임의배율까지 확장하는 것을 특징으로 하는 초해상도 시스템.
  3. 제 2 항에 있어서
    상시 소수배율 확대부는,
    상기 소수배율 모델이 이미지 공간이 확장된 결과에 에너지 절약 원칙에 따른 계수 값을 곱하여 이미지 밝기를 복원하는 것을 특징으로 하는 초해상도 시스템.
  4. 제 2 항에 있어서,
    상기 소수배율 확대부는,
    상기 소수배율 모델이 하이퍼파라미터에 따라 주파수 영역을 분할하고 고주파수 영역만을 추출하여 고주파수 영역으로 이미지 공간을 확장하는 것을 특징으로 하는 초해상도 시스템.
  5. 제 4 항에 있어서,
    상기 소수배율 확대부는,
    상기 소수배율 모델이 DCT 스펙트럼 도메인에서 우하단 방향으로 이미지 공간을 확장하는 것을 특징으로 하는 초해상도 시스템.
  6. 제 2 항에 있어서,
    상기 소수배율 확대부는,
    상기 소수배율 모델이 RGB 채널 간의 상관관계를 학습할 수 있는 채널 집중 계층을 포함하는 것을 특징으로 하는 초해상도 시스템.
  7. 제 6 항에 있어서,
    상기 소수배율 확대부는,
    상기 소수배율 모델이 저주파 성분이 포함된 영역까지 이미지 공간을 확장한 후 IDCT를 수행한 결과 이미지와,
    고수파 성분만 포함된 영역까지 이미지 공간을 확장한 후 IDCT를 수행한 결과를 상기 채널 집중 계층에 통과시켜 고주파 성분이 증폭된 이미지를 합하여,
    상기 임의배율까지 확대된 이미지를 생성하는 것을 특징으로 하는 초해상도 시스템.
  8. 제 1 항에 있어서,
    수신된 원본 이지미지와 정수배율로 확대된 이미지 사이의 손실함수를 통해 상기 정수배율 모델을 학습시키는 제1 학습부를 더 포함하는 것을 특징으로 하는 초해상도 시스템.
  9. 제 1 항에 있어서,
    정수배율로 확대된 이미지와 임의배율로 확대된 이미지 사이의 손실함수를 통해 상기 소수배율 모델을 학습시키는 제2 학습부를 더 포함하는 것을 특징으로 하는 초해상도 시스템.
  10. 저해상도 이미지를 임의배율로 확대하여 고해상도 이미지로 변환하는 초해상화 방법에 있어서,
    수신된 이미지의 해상도를 딥러닝 모델인 정수배율 모델을 이용하여 상기 임의배율의 정수배율로 확대하는 정수배율 확대단계; 및
    상기 정수배율 확대단계에서 정수배율로 확대된 이미지를 딥러닝 모델인 소수배율 모델을 이용하여 상기 임의배율까지 확대하는 소수배율 확대단계;를 포함하는 초해상화 방법.
KR1020220096455A 2022-08-03 2022-08-03 딥러닝을 이용한 임의배율 초해상도 시스템 및 이를 이용한 초해상화 방법 KR102645739B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220096455A KR102645739B1 (ko) 2022-08-03 2022-08-03 딥러닝을 이용한 임의배율 초해상도 시스템 및 이를 이용한 초해상화 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220096455A KR102645739B1 (ko) 2022-08-03 2022-08-03 딥러닝을 이용한 임의배율 초해상도 시스템 및 이를 이용한 초해상화 방법

Publications (2)

Publication Number Publication Date
KR20240018752A true KR20240018752A (ko) 2024-02-14
KR102645739B1 KR102645739B1 (ko) 2024-03-11

Family

ID=89896658

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220096455A KR102645739B1 (ko) 2022-08-03 2022-08-03 딥러닝을 이용한 임의배율 초해상도 시스템 및 이를 이용한 초해상화 방법

Country Status (1)

Country Link
KR (1) KR102645739B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102287942B1 (ko) 2020-02-24 2021-08-09 삼성전자주식회사 전처리를 이용한 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102287942B1 (ko) 2020-02-24 2021-08-09 삼성전자주식회사 전처리를 이용한 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Runyuan Cai et al., "FreqNet: A Frequency-domain Image Super-Resolution Network with Discrete Cosine Transform", Image and Video Processing, (2021.11.21.)* *
Xuecai Hu et al, "Meta-SR: A Magnification-Arbitrary Network for Super-Resolution", Computer Vision Foundation, (2019.04.03.)* *

Also Published As

Publication number Publication date
KR102645739B1 (ko) 2024-03-11

Similar Documents

Publication Publication Date Title
Xie et al. Joint super resolution and denoising from a single depth image
US8731337B2 (en) Denoising and artifact removal in image upscaling
EP2950267B1 (en) Image denoising method and image denoising apparatus
Harb et al. Improved image magnification algorithm based on Otsu thresholding
Vishnukumar et al. Single image super-resolution based on compressive sensing and improved TV minimization sparse recovery
Sajjad et al. Multi-kernel based adaptive interpolation for image super-resolution
Zhou et al. Optimal bi-directional seam carving for compressibility-aware image retargeting
CN105513033A (zh) 一种非局部联合稀疏表示的超分辨率重建方法
Rathish Kumar et al. A linear fourth-order PDE-based gray-scale image inpainting model
Anantrasirichai Atmospheric turbulence removal with complex-valued convolutional neural network
Zhang et al. A GPU-accelerated real-time single image de-hazing method using pixel-level optimal de-hazing criterion
WO2008148207A1 (en) Method and device for selecting optimal transform matrices for down-sampling dct image
Cao et al. Single image motion deblurring with reduced ringing effects using variational Bayesian estimation
KR102645739B1 (ko) 딥러닝을 이용한 임의배율 초해상도 시스템 및 이를 이용한 초해상화 방법
CN116797462A (zh) 基于深度学习的实时视频超分辨率重建方法
Sun et al. A rapid and accurate infrared image super-resolution method based on zoom mechanism
CN113674154B (zh) 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统
Pathak et al. Feature enhancing image inpainting through adaptive variation of sparse coefficients
Jagdale et al. A novel algorithm for video super-resolution
CN108492264B (zh) 一种基于sigmoid变换的单帧图像快速超分辨方法
Chang et al. A genetic algorithm approach to image sequence interpolation
Hsin Compressed domain image resizing based on saliency histogram equalisation and seam carving
Singh et al. A comparative performance analysis of DCT-based and Zernike moments-based image up-sampling techniques
Kao et al. Improved edge-directed super resolution
KR101650897B1 (ko) 저해상도 컨텐츠를 위한 윈도우 사이즈 주밍 방법 및 그 장치

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant