KR20220060400A - 저해상도 이미지의 영상 복원 방법 및 장치 - Google Patents

저해상도 이미지의 영상 복원 방법 및 장치 Download PDF

Info

Publication number
KR20220060400A
KR20220060400A KR1020200146356A KR20200146356A KR20220060400A KR 20220060400 A KR20220060400 A KR 20220060400A KR 1020200146356 A KR1020200146356 A KR 1020200146356A KR 20200146356 A KR20200146356 A KR 20200146356A KR 20220060400 A KR20220060400 A KR 20220060400A
Authority
KR
South Korea
Prior art keywords
image
information
resolution
noise
texture
Prior art date
Application number
KR1020200146356A
Other languages
English (en)
Inventor
허용석
이태복
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020200146356A priority Critical patent/KR20220060400A/ko
Publication of KR20220060400A publication Critical patent/KR20220060400A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 저해상도의 입력 이미지를 입력받는 단계; 상기 입력 이미지의 고주파 성분에 관한 정보인 고주파정보를 추출하는 단계; 상기 고주파정보로부터 상기 입력 이미지의 노이즈에 관한 정보인 노이즈정보 및 상기 입력 이미지의 텍스쳐에 관한 정보인 텍스쳐정보를 추출하는 단계; 및 상기 고주파정보, 상기 노이즈정보 및 상기 텍스쳐정보에 기초하여, 슈퍼 레졸루션 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 저해상도 이미지의 영상 복원 방법을 제공한다.

Description

저해상도 이미지의 영상 복원 방법 및 장치{METHOD AND APPARATUS FOR RESTORING LOW RESOLUTION IMAGE}
본 발명은 합성곱 신경망을 이용하는 저해상도 이미지의 영상 복원 방법 및 장치에 관한 것이다.
슈퍼 레졸루션(super resolution; SR) 방법이란 영상 처리 분야에서 오랜 연구 분야 중 하나로, 저해상도(low resolution; LR) 영상을 고해상도(high resolution; HR) 영상으로 복원하는 문제를 일컫는다. 최근의 SR 방법들은 합성곱 신경망 (convolutional neural networks; CNNs)을 기반으로 뛰어난 복원 성능을 달성하고 있다
그러나, 이러한 기존의 SR 방법들은 대부분 영상 내 노이즈에 매우 취약하다. 실제로 LR 영상은 종종 noise으로 인하여 더욱 저하되어 있는 경우들이 존재한다. 그러나 기존의 SR 방법들은 영상의 노이즈을 고려하지 않는다. 더욱이, 기존의 SR방법들은 노이즈를 증폭하는 경향이 있다. 이 것은 대부분의 SR 방법이 영상의 고주파(high-frequency) 성분을 증폭시키는 원리로 수행되기 때문이다. 즉, 영상 내 노이즈가 일반적으로 고주파에 해당하기 때문에, 기존의 SR방법들은 노이즈를 증폭시킨다는 한계를 갖는다.
따라서, 영상의 고주파 성분에 포함된 노이즈가 증폭되지 않으면서도, 저해상도 이미지로부터 슈퍼 레졸루션 이미지를 획득할 수 있는 저해상도 이미지의 영상 복원 방법 및 장치에 대한 필요성이 대두되고 있다.
본 발명에서는 합성곱 신경망(CNN)에 기반하여 영상의 고주파 성분에 포함된 노이즈와 텍스쳐를 분리하여 처리함으로써, 노이즈가 포함된 저해상도 이미지로부터 노이즈가 제거된 슈퍼 레졸루션 이미지를 복원하는 방법 및 장치를 제공하고자 한다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 저해상도 이미지의 영상 복원 방법은 저해상도의 입력 이미지를 입력받는 단계; 상기 입력 이미지의 고주파 성분에 관한 정보인 고주파정보를 추출하는 단계; 상기 고주파정보로부터 상기 입력 이미지의 노이즈에 관한 정보인 노이즈정보 및 상기 입력 이미지의 텍스쳐에 관한 정보인 텍스쳐정보를 추출하는 단계; 및 상기 고주파정보, 상기 노이즈정보 및 상기 텍스쳐정보에 기초하여, 슈퍼 레졸루션 이미지를 생성하는 단계를 포함한다.
바람직하게는, 상기 고주파정보를 추출하는 단계와 상기 텍스쳐정보를 추출하는 단계는 복수의 RCA(residual channel-attention) 블록을 이용하는 합성곱 신경망(convolutional neural network)에 기반하여 추출할 수 있다.
바람직하게는, 상기 슈퍼 레졸루션 이미지를 생성하는 단계는 상기 고주파정보에 대응되는 특징맵(feature map)인 고주파특징맵, 상기 노이즈정보에 대응되는 특징맵인 노이즈특징맵 및 상기 텍스쳐정보에 대응되는 특징맵인 텍스쳐특징맵을 이용하여 상기 슈퍼 레졸루션 이미지를 생성할 수 있다.
바람직하게는, 상기 슈퍼 레졸루션 이미지를 생성하는 단계는 서브-픽셀 합성곱 레이어에 기반하여 상기 슈퍼 레졸루션 이미지를 생성할 수 있다.
바람직하게는, 상기 고주파정보 및 상기 노이즈정보에 기초하여, 상기 입력 이미지와 동일한 해상도의 저해상도 클리어 이미지를 생성하는 단계; 및 상기 슈퍼 레졸루션 이미지와 동일한 해상도를 가지는 상기 입력 이미지의 원본 이미지, 상기 원본 이미지를 상기 입력 이미지와 동일한 해상도로 축소시킨 원본 축소 이미지, 상기 슈퍼 레졸루션 이미지 및 상기 저해상도 클리어 이미지에 기반하는 손실함수를 이용하여 영상 복원의 정확도를 측정하는 단계를 더 포함할 수 있다.
또한, 상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 저해상도 이미지의 영상 복원 장치는 저해상도의 입력 이미지를 입력받는 입력모듈; 상기 입력 이미지의 고주파 성분에 관한 정보인 고주파정보를 추출하는 고주파추출모듈; 상기 고주파정보로부터 상기 입력 이미지의 노이즈에 관한 정보인 노이즈정보를 추출하는 노이즈추출모듈; 상기 고주파정보로부터 상기 입력 이미지의 텍스쳐에 관한 정보인 텍스쳐정보를 추출하는 텍스쳐추출모듈; 및 상기 고주파정보, 상기 노이즈정보 및 상기 텍스쳐정보에 기초하여, 슈퍼 레졸루션 이미지를 생성하는 복원모듈를 포함한다.
바람직하게는, 상기 고주파추출모듈, 상기 노이즈추출모듈 및 상기 텍스쳐추출모듈은 복수의 RCA 블록을 이용하는 합성곱 신경망에 기반하여 추출할 수 있다.
바람직하게는, 상기 복원모듈은 상기 고주파정보에 대응되는 특징맵인 고주파특징맵, 상기 노이즈정보에 대응되는 특징맵인 노이즈특징맵 및 상기 텍스쳐정보에 대응되는 특징맵인 텍스쳐특징맵을 이용하여 상기 슈퍼 레졸루션 이미지를 생성할 수 있다.
바람직하게는, 상기 복원모듈은 서브-픽셀 합성곱 레이어에 기반하여 상기 슈퍼 레졸루션 이미지를 생성할 수 있다.
또한, 본 발명은 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 상술된 방법이 수행되는 컴퓨터 프로그램을 저장한 컴퓨터-판독가능 저장 매체를 제공할 수 있다.
본 발명에서 개시하고 있는 일 실시예에 따르면, 종래의 기술과는 다르게 영상의 고주파 성분에 포함된 노이즈가 증폭되지 않도록 함으로써, 노이즈가 포함된 저해상도 이미지로부터 노이즈가 제거된 슈퍼 레졸루션 이미지를 복원할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 저해상도 이미지의 영상 복원 방법의 흐름도이다.
도 2는 본 발명의 다른 실시예에 따른 저해상도 이미지의 영상 복원 방법의 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 저해상도 이미지의 영상 복원 장치의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 저해상도 이미지의 영상 복원 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 RCAN 단위 블록을 설명하기 위한 도면이다.
도 6 및 7은 본 발명의 일 실시예를 종래의 기술과 비교한 결과를 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 저해상도 이미지의 영상 복원 방법의 흐름도이다.
단계 S110에서, 영상 복원 장치는 저해상도의 입력 이미지를 입력받는다.
이때, 영상 복원 장치는 장치의 내부 또는 외부에 저장된 입력 이미지를 직접 또는 유/무선의 네트워크 망을 통해 입력받을 수 있다. 한편, 입력 이미지는 저해상도(low resolution)이면서, 노이즈가 포함된 이미지로, 슈퍼 레졸루션 이미지를 생성하려는 이미지일 수 있다.
단계 S120에서, 영상 복원 장치는 입력 이미지의 고주파 성분에 관한 정보인 고주파정보를 추출한다.
예컨대, 영상 복원 장치는 합성곱 신경망(convolutional neural network)에 기반하여 이미지의 고주파 성분을 추출하도록 학습된 모델을 이용하여, 입력 이미지로부터 고주파정보를 추출할 수 있다.
이때, 고주파정보는 입력 이미지의 출력 특징맵(output feature map)의 정보를 포함할 수 있다.
단계 S130에서, 영상 복원 장치는 고주파정보로부터 입력 이미지의 노이즈에 관한 정보인 노이즈정보 및 입력 이미지의 텍스쳐에 관한 정보인 텍스쳐정보를 추출한다.
마찬가지로, 영상 복원 장치는 합성곱 신경망에 기반하여 고주파정보로부터 노이즈를 추출하도록 학습된 모델을 이용하여, 고주파정보로부터 노이즈정보를 추출할 수 있다. 또한, 영상 복원 장치는 합성곱 신경망에 기반하여 고주파정보로부터 텍스쳐를 추출하도록 학습된 모델을 이용하여, 고주파정보로부터 노이즈정보를 추출할 수 있다
한편, 영상 복원 장치는 고주파정보로부터 노이즈정보와 텍스쳐정보를 추출하는 과정을 병렬적으로 수행할 수 있다.
마지막으로 단계 S140에서, 영상 복원 장치는 그 고주파정보, 노이즈정보 및 텍스쳐정보에 기초하여, 슈퍼 레졸루션 이미지를 생성한다.
이때, 영상 복원 장치는 그 고주파정보에서 노이즈정보에 포함된 노이즈 성분을 제거하고, 텍스쳐정보에 포함된 세부 텍스쳐(detailed texture) 성분을 추가한 계산값을 산출할 수 있다.
그뒤, 영상 복원 장치는 합성곱 신경망에 기반하여 그 계산값으로부터 슈퍼 레졸루션 이미지를 생성하도록 학습된 모델을 이용하여, 입력 이미지의 해상도를 업스케일링한 슈퍼 레졸루션 이미지를 생성할 수 있다.
한편, 영상 복원 장치는 아래의 수학식 1을 이용하여 슈퍼 레졸루션 이미지를 생성할 수 있다.
[수학식 1]
Figure pat00001
여기서,
Figure pat00002
은 최종 결과물인 슈퍼 레졸루션 이미지이고,
Figure pat00003
은 계산값을 입력받아 슈퍼 레졸루션 이미지를 생성하는 함수이고,
Figure pat00004
는 이미지를 입력받아 고주파정보를 추출하는 함수이고,
Figure pat00005
은 입력 이미지이고,
Figure pat00006
과
Figure pat00007
는 고주파정보를 입력받아 각각 노이즈정보와 텍츠쳐정보를 추출하는 함수이고,
Figure pat00008
는 고주파정보이고,
Figure pat00009
은 노이즈정보이고,
Figure pat00010
은 텍스쳐정보이다.
다른 실시예에서는, 영상 복원 장치가 단계 S120 및 S130에서 복수의 RCA(residual channel-attention) 블록을 이용하는 합성곱 신경망에 기반하여 추출할 수 있다.
즉, 영상 복원 장치는 단계 S120에서 고주파정보를 추출하거나, 단계 S130에서 노이즈정보와 텍스쳐정보를 추출할 때, 각각의 추출 과정에서 복수의 RCA 블록(예, 10개의 RCA 블록)을 이용하도록 학습된 모델을 이용하여 추출할 수 있다.
다시 말하면, 영상 복원 장치는 입력 이미지로부터 고주파정보를 추출하기 위하여 학습된 모델, 고주파정보로부터 노이즈정보를 추출하기 위하여 학습된 모델, 고주파정보로부터 텍스쳐정보를 추출하기 위하여 학습된 모델 각각을 이용하여 추출할 수 있다.
한편, 도 5를 참조하면, RCA 단위 블록은 레지듀얼 블록(residual block)에 기반할 수 있다. 이때, 노멀라이제이션 계층(normalization layer)는 모델 학습의 유연성을 증대시키기 위하여 표준 레지듀얼 블록(standard residual block)에서 제거될 수 있다. 또한, 고주파정보에서 노이즈와 텍스쳐를 효과적으로 구분하기 위하여, 채널 어텐션 메커니즘(channel-attention mechanism)을 적용할 수 있다.
또 다른 실시예에서는, 영상 복원 장치가 단계 S140에서, 고주파정보에 대응되는 특징맵(feature map)인 고주파특징맵, 노이즈정보에 대응되는 특징맵인 노이즈특징맵 및 텍스쳐정보에 대응되는 특징맵인 텍스쳐특징맵을 이용하여 슈퍼 레졸루션 이미지를 생성할 수 있다.
즉, 고주파정보는 입력 이미지의 고주파 성분에 대응되는 특징값을 포함하는 고주파특징맵, 노이즈정보는 고주파정보에서 노이즈 성분에 대응되는 특징값을 포함하는 노이즈특징맵, 텍스쳐정보는 고주파정보에서 텍스쳐 성분에 대응되는 특징값을 포함하는 텍스쳐특징맵 각각에 대응될 수 있다.
또한, 영상 복원 장치는 그러한 고주파특징맵, 노이즈특징맵 및 텍스쳐특징맵을 이용하여 슈퍼 레졸루션 이미지를 생성할 수 있다. 예컨대, 영상 복원 장치는 고주파특징맵, 노이즈특징맵 및 텍스쳐특징맵을 수학식 1에 적용함으로써, 슈퍼 레졸루션 이미지를 생성할 수 있다.
또 다른 실시예에서는, 영상 복원 장치가 단계 S140에서, 서브-픽셀 합성곱 레이어에 기반하여 슈퍼 레졸루션 이미지를 생성할 수 있다.
여기서, 서브-픽셀 합성곱 레이어(sub-pixel convolutional layer)는 입력된 이미지의 특징맵의 가로/세로 크기를 업스케일링도록 설계된 구조이다.
따라서, 영상 복원 장치는 고주파정보, 노이즈정보 및 텍스쳐정보를 이용하여 계산된 특징맵을 서브-픽셀 합성곱 레이어 구조에 적용함으로써, 슈퍼 레졸루션 이미지의 해상도에 대응되도록 업스케일링할 수 있다. 그리고, 영상 복원 장치는 그 업스케일링된 특징맵을 이용하여 슈퍼 레졸루션 이미지를 복원할 수 있다.
도 2는 본 발명의 다른 실시예에 따른 저해상도 이미지의 영상 복원 방법의 흐름도이다.
단계 S210에서, 영상 복원 장치는 저해상도의 입력 이미지를 입력받는다.
단계 S220에서, 영상 복원 장치는 입력 이미지의 고주파 성분에 관한 정보인 고주파정보를 추출한다.
단계 S230에서, 영상 복원 장치는 고주파정보로부터 입력 이미지의 노이즈에 관한 정보인 노이즈정보 및 입력 이미지의 텍스쳐에 관한 정보인 텍스쳐정보를 추출한다.
단계 S240에서, 영상 복원 장치는 그 고주파정보, 노이즈정보 및 텍스쳐정보에 기초하여, 슈퍼 레졸루션 이미지를 생성한다.
단계 S250에서, 영상 복원 장치는 그 고주파정보 및 노이즈정보에 기초하여, 입력 이미지와 동일한 해상도의 저해상도 클리어 이미지를 생성한다.
즉, 영상 복원 장치는 그 고주파정보에서 노이즈정보에 포함된 노이즈 성분을 제거한 계산값을 산출한 후, 합성곱 신경망에 기반하여 그 계산값으로부터 저해상도 클리어 이미지를 생성하도록 학습된 모델을 이용하여, 저해상도 클리어 이미지를 생성할 수 있다.
예컨대, 저해상도 클리어 이미지를 생성하도록 학습된 모델은 계산값(특징맵)을 RGB이미지로 변환하는, 단순한 3x3 합성곱 레이어로 구성될 수 있다.
한편, 영상 복원 장치는 아래의 수학식 2를 이용하여 저해상도 클리어 이미지를 생성할 수 있다.
[수학식 2]
Figure pat00011
여기서,
Figure pat00012
은 저해상도 클리어 이미지이고,
Figure pat00013
은 계산값을 입력받아 저해상도 클리어 이미지를 생성하는 함수이고,
Figure pat00014
는 이미지를 입력받아 고주파정보를 추출하는 함수이고,
Figure pat00015
은 입력 이미지이고,
Figure pat00016
은 고주파정보를 입력받아 노이즈정보를 추출하는 함수이고,
Figure pat00017
는 고주파정보이고,
Figure pat00018
은 노이즈정보이다.
마지막으로 단계 S260에서, 영상 복원 장치는 슈퍼 레졸루션 이미지와 동일한 해상도를 가지는 입력 이미지의 원본 이미지, 그 원본 이미지를 입력 이미지와 동일한 해상도로 축소시킨 원본 축소 이미지, 슈퍼 레졸루션 이미지 및 저해상도 클리어 이미지에 기반하는 손실함수를 이용하여 영상 복원의 정확도를 측정한다.
즉, 영상 복원 장치는 손실함수값을 계산함으로써, 영상 복원의 정확도(accuracy)를 측정하고, 영상 복원에 이용되는 여러 합성곱 신경망(CNNs)의 정확도를 평가할 수 있다.
이때, 영상 복원 장치는 원본 이미지, 원본 축소 이미지, 슈퍼 레졸루션 이미지, 저해상도 클리어 이미지를 모두 보유하고 있어야 영상 복원의 정확도를 측정할 수 있음은 물론이다.
한편, 영상 복원 장치는 아래의 수학식 3의 손실함수를 이용하여 영상 복원의 정확도를 측정할 수 있다. 영상 복원 장치는 기본적으로 이미지 손실을 측정하기 위하여 L1 거리(distance)를 이용한다.
[수학식 3]
Figure pat00019
여기서,
Figure pat00020
은 전체 손실(total loss)이고,
Figure pat00021
은 저해상도 클리어 이미지이고,
Figure pat00022
은 원본 축소 이미지이고,
Figure pat00023
은 슈퍼 레졸루션 이미지이고,
Figure pat00024
은 원본 이미지이다.
한편, 도 4를 참조하면, 입력 이미지(
Figure pat00025
)와 저해상도 클리어 이미지(
Figure pat00026
) 및 원본 축소 이미지(
Figure pat00027
)의 관계와, 본 발명의 최종 결과물인 슈퍼 레졸루션 이미지(
Figure pat00028
)와 원본 이미지(
Figure pat00029
)의 관계가 나타나 있다. 또한, 각각 고주파추출, 노이즈추출, 텍스쳐추출을 위한 f(), n(), d() 함수와 함께, 슈퍼 레졸루션 이미지와 저해상도 클리어 이미지 생성을 위한 rdn(), rsr()함수가 나타나 있다.
또한, 도 6 및 7을 참조하면, 다양한 종류의 데이터셋에 대하여 Bicubic, RCAN, 본 발명의 기술(Ours)을 적용하여 비교한 결과가 나타나 있다.
우선, 도 6을 살펴 보면, PSNR과 SSIM을 측정한 결과에서, 어떤 데이터셋을 적용하는 지와 무관하게 본 발명의 기술(Ours)이 가장 우수한 결과를 나타내는 것을 확인할 수 있다.
또한, 도 7을 살펴 보면, Bicubic, RCAN, 본 발명의 기술(Ours)을 적용하여 슈퍼 레졸루션 이미지를 생성하였을 때, 본 발명의 기술(Ours)이 원본(Ground truth)의 품질에 가장 근접한 것을 명확하게 확인할 수 있다.
도 3은 본 발명의 일 실시예에 따른 저해상도 이미지의 영상 복원 장치의 블록도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 저해상도 이미지의 영상 복원 장치(300)는 입력모듈(310), 고주파추출모듈(320), 노이즈추출모듈(330), 텍스쳐추출모듈(340) 및 복원모듈(350)을 포함한다.
한편, 본 발명의 일 실시예에 따른 저해상도 이미지의 영상 복원 장치(300)는 데스크탑PC, 노트북PC, 서버컴퓨터, 클라우드컴퓨터, 스마트폰 및 태블릿 등에 탑재되어, 슈퍼 레졸루션 이미지를 복원하는데 이용될 수 있다.
입력모듈(310)은 저해상도의 입력 이미지를 입력받는다.
고주파추출모듈(320)은 입력 이미지의 고주파 성분에 관한 정보인 고주파정보를 추출한다.
노이즈추출모듈(330)은 고주파정보로부터 입력 이미지의 노이즈에 관한 정보인 노이즈정보를 추출한다.
텍스쳐추출모듈(340)은 고주파정보로부터 입력 이미지의 텍스쳐에 관한 정보인 텍스쳐정보를 추출한다.
마지막으로 복원모듈(350)은 그 고주파정보, 노이즈정보 및 텍스쳐정보에 기초하여, 슈퍼 레졸루션 이미지를 생성한다.
다른 실시예에서는, 고주파추출모듈(320), 노이즈추출모듈(330) 및 텍스쳐추출모듈(340)은 복수의 RCA 블록을 이용하는 합성곱 신경망에 기반하여 추출할 수 있다.
또 다른 실시예에서는, 복원모듈(350)은 고주파정보에 대응되는 특징맵인 고주파특징맵, 노이즈정보에 대응되는 특징맵인 노이즈특징맵 및 텍스쳐정보에 대응되는 특징맵인 텍스쳐특징맵을 이용하여 슈퍼 레졸루션 이미지를 생성할 수 있다.
또 다른 실시예에서는, 복원모듈(350)은 서브-픽셀 합성곱 레이어에 기반하여 슈퍼 레졸루션 이미지를 생성할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 실행된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (9)

  1. 저해상도의 입력 이미지를 입력받는 단계;
    상기 입력 이미지의 고주파 성분에 관한 정보인 고주파정보를 추출하는 단계;
    상기 고주파정보로부터 상기 입력 이미지의 노이즈에 관한 정보인 노이즈정보 및 상기 입력 이미지의 텍스쳐에 관한 정보인 텍스쳐정보를 추출하는 단계; 및
    상기 고주파정보, 상기 노이즈정보 및 상기 텍스쳐정보에 기초하여, 슈퍼 레졸루션 이미지를 생성하는 단계
    를 포함하는 것을 특징으로 하는 저해상도 이미지의 영상 복원 방법.
  2. 제1항에 있어서,
    상기 고주파정보를 추출하는 단계와 상기 텍스쳐정보를 추출하는 단계는
    복수의 RCA(residual channel-attention) 블록을 이용하는 합성곱 신경망(convolutional neural network)에 기반하여 추출하는 것을 특징으로 하는 저해상도 이미지의 영상 복원 방법.
  3. 제1항에 있어서,
    상기 슈퍼 레졸루션 이미지를 생성하는 단계는
    상기 고주파정보에 대응되는 특징맵(feature map)인 고주파특징맵, 상기 노이즈정보에 대응되는 특징맵인 노이즈특징맵 및 상기 텍스쳐정보에 대응되는 특징맵인 텍스쳐특징맵을 이용하여 상기 슈퍼 레졸루션 이미지를 생성하는 것을 특징으로 하는 저해상도 이미지의 영상 복원 방법.
  4. 제1항에 있어서,
    상기 슈퍼 레졸루션 이미지를 생성하는 단계는
    서브-픽셀 합성곱 레이어에 기반하여 상기 슈퍼 레졸루션 이미지를 생성하는 것을 특징으로 하는 저해상도 이미지의 영상 복원 방법.
  5. 제1항에 있어서,
    상기 고주파정보 및 상기 노이즈정보에 기초하여, 상기 입력 이미지와 동일한 해상도의 저해상도 클리어 이미지를 생성하는 단계;
    상기 슈퍼 레졸루션 이미지와 동일한 해상도를 가지는 상기 입력 이미지의 원본 이미지, 상기 원본 이미지를 상기 입력 이미지와 동일한 해상도로 축소시킨 원본 축소 이미지, 상기 슈퍼 레졸루션 이미지 및 상기 저해상도 클리어 이미지에 기반하는 손실함수를 이용하여 영상 복원의 정확도를 측정하는 단계
    를 더 포함하는 특징으로 하는 저해상도 이미지의 영상 복원 방법.
  6. 저해상도의 입력 이미지를 입력받는 입력모듈;
    상기 입력 이미지의 고주파 성분에 관한 정보인 고주파정보를 추출하는 고주파추출모듈;
    상기 고주파정보로부터 상기 입력 이미지의 노이즈에 관한 정보인 노이즈정보를 추출하는 노이즈추출모듈;
    상기 고주파정보로부터 상기 입력 이미지의 텍스쳐에 관한 정보인 텍스쳐정보를 추출하는 텍스쳐추출모듈; 및
    상기 고주파정보, 상기 노이즈정보 및 상기 텍스쳐정보에 기초하여, 슈퍼 레졸루션 이미지를 생성하는 복원모듈;
    를 포함하는 것을 특징으로 하는 저해상도 이미지의 영상 복원 장치.
  7. 제6항에 있어서,
    상기 고주파추출모듈, 상기 노이즈추출모듈 및 상기 텍스쳐추출모듈은
    복수의 RCA 블록을 이용하는 합성곱 신경망에 기반하여 추출하는 것을 특징으로 하는 저해상도 이미지의 영상 복원 장치.
  8. 제6항에 있어서,
    상기 복원모듈은
    상기 고주파정보에 대응되는 특징맵인 고주파특징맵, 상기 노이즈정보에 대응되는 특징맵인 노이즈특징맵 및 상기 텍스쳐정보에 대응되는 특징맵인 텍스쳐특징맵을 이용하여 상기 슈퍼 레졸루션 이미지를 생성하는 것을 특징으로 하는 저해상도 이미지의 영상 복원 장치.
  9. 제1항에 있어서,
    상기 복원모듈은
    서브-픽셀 합성곱 레이어에 기반하여 상기 슈퍼 레졸루션 이미지를 생성하는 것을 특징으로 하는 저해상도 이미지의 영상 복원 장치.
KR1020200146356A 2020-11-04 2020-11-04 저해상도 이미지의 영상 복원 방법 및 장치 KR20220060400A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200146356A KR20220060400A (ko) 2020-11-04 2020-11-04 저해상도 이미지의 영상 복원 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200146356A KR20220060400A (ko) 2020-11-04 2020-11-04 저해상도 이미지의 영상 복원 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20220060400A true KR20220060400A (ko) 2022-05-11

Family

ID=81606866

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200146356A KR20220060400A (ko) 2020-11-04 2020-11-04 저해상도 이미지의 영상 복원 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20220060400A (ko)

Similar Documents

Publication Publication Date Title
Li et al. Face hallucination based on sparse local-pixel structure
US9342870B2 (en) Tree-based linear regression for denoising
Yang et al. Constant time median and bilateral filtering
US9311735B1 (en) Cloud based content aware fill for images
US20200013205A1 (en) Colorizing Vector Graphic Objects
CN105453132B (zh) 实施图像处理的信息处理设备和图像处理方法
JP6390173B2 (ja) 情報処理装置、情報処理システム、画像処理方法、及び、プログラム
US20220398712A1 (en) Generating modified digital images utilizing nearest neighbor fields from patch matching operations of alternate digital images
Ren et al. Multiscale structure guided diffusion for image deblurring
KR20190129984A (ko) 수퍼복셀-기반 공간 시간 비디오 세그먼트화에 대한 빠른 프로그레시브 접근법
WO2017070841A1 (zh) 图像处理方法和装置
CN111429371A (zh) 图像处理方法、装置及终端设备
Pan et al. Optimal O (1) bilateral filter with arbitrary spatial and range kernels using sparse approximation
Chen et al. Bayesian video super-resolution with heavy-tailed prior models
Ancuti et al. Video super-resolution using high quality photographs
Li et al. A cascaded algorithm for image quality assessment and image denoising based on CNN for image security and authorization
Walha et al. Handling noise in textual image resolution enhancement using online and offline learned dictionaries
Yang et al. Infrared image super-resolution with parallel random Forest
KR20220060400A (ko) 저해상도 이미지의 영상 복원 방법 및 장치
Pathak et al. Feature enhancing image inpainting through adaptive variation of sparse coefficients
CN112487943B (zh) 关键帧去重的方法、装置和电子设备
Abraham Sundar et al. Multi-frame super-resolution using adaptive normalized convolution
Zhao et al. Single image super-resolution via blind blurring estimation and anchored space mapping
Wu et al. Wavelet Domain Multidictionary Learning for Single Image Super‐Resolution
Kiani et al. Solving robust regularization problems using iteratively re-weighted least squares

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application