KR20230146334A - 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템 및 그 방법 - Google Patents

광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템 및 그 방법 Download PDF

Info

Publication number
KR20230146334A
KR20230146334A KR1020220045218A KR20220045218A KR20230146334A KR 20230146334 A KR20230146334 A KR 20230146334A KR 1020220045218 A KR1020220045218 A KR 1020220045218A KR 20220045218 A KR20220045218 A KR 20220045218A KR 20230146334 A KR20230146334 A KR 20230146334A
Authority
KR
South Korea
Prior art keywords
image data
resolution
learning
optical system
low
Prior art date
Application number
KR1020220045218A
Other languages
English (en)
Other versions
KR102616400B1 (ko
Inventor
최연주
Original Assignee
한국항공우주연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공우주연구원 filed Critical 한국항공우주연구원
Priority to KR1020220045218A priority Critical patent/KR102616400B1/ko
Publication of KR20230146334A publication Critical patent/KR20230146334A/ko
Application granted granted Critical
Publication of KR102616400B1 publication Critical patent/KR102616400B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템 및 그 방법에 관한 것으로서, 광학계의 특성을 그대로 반영한 저해상도 영상 이미지를 생성하고, 이를 기반으로 AI 훈련 및 학습을 수행함으로써, 초해상화 기능을 개선시킬 수 있는 기술에 관한 것이다.

Description

광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템 및 그 방법 {Deep learning based image resolution improving system and method by reflecting characteristics of optical system}
본 발명은 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 딥러닝 기반으로, 원본 영상에 적용되어 있는 광학계 특성을 그대로 반영한 저해상도 영상을 생성할 수 있는 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템 및 그 방법에 관한 것이다.
이를 통해서, 딥러닝 기반으로, 광학계 특성을 반영한 저해상도 영상을 학습 데이터로 적용하여 훈련시킨 초해상화(SR, Super Resolution) 모델의 성능을 개선할 수 있는 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템 및 그 방법에 관한 것이다.
저해상도(Low Resolution) 이미지를 이용하여, 고해상도(High Resolution) 이미지로 추정하는 기술을 초해상도(Super Resolution) 기술이라고 한다.
이러한 초해상도 기술은 컴퓨터 비젼 기술 분야에서 상당한 관심을 가지고 있으며, 여기에서 파생된 다양한 응용 분야가 존재한다.
상세하게는, 초해상도 기술은 저해상 이미지에서 우수한 시각적 품질을 지닌 고해상 이미지를 생성해주는 기술로서, 게이밍과 사진, XR, 자율주행 차에 이르기까지 다양한 사례에 유용하게 활용할 수 있다.
AI를 기반으로 하는 초해상화 기술은 기존 방식보다 더 향상된 시각적 품질을 제공하게 된다. 이러한, 고해상 이미지를 생성해주는 AI 모델을 훈련/학습함에 있어서, 원본 영상을 인위적으로 저하시킨 저해상도 영상과 원본 영상을 한꺼번에 활용하여, 원본 영상의 특징점(feature)을 추출하고 이를 훈련하는 방식으로 모델의 학습이 이루어지게 된다.
종래에는, 원본 영상을 인위적으로 저하시킨 저해상도 영상을 생성하기 위하여, 즉, 다운 샘플링을 위하여 blurring이나 noise 추가 등의 방법을 적용하여왔다. 대부분의 blurring은 bicubic과 같은 보간법을 사용하거나, Gaussian blurring을 적용하고 있다. 그렇지만, 원본 영상의 저하 방식에 따라, 생성되는 저해상도 영상 결과 역시 상이하기 때문에, 이를 기반으로 AI 학습한 초해상화 기술의 성능 역시 큰 차이가 발생할 수 밖에 없다.
일 예를 들자면, 단순한 bicubic만을 사용하여 저해상도 영상을 생성하고, 이를 이용한 AI 모델을 훈련시킬 경우, 생성 모델의 추정 이미지(고해상도 이미지)의 선명도가 저하되는 문제가 발생하게 된다.
이러한 점을 고려하여, AI를 기반으로 초해상화 기술이 발달할수록, 이를 훈련/학습시키기 위한 저해상도 이미지를 생성하는 기술, 일명 '저하 모델' 자체를 모델링하는 것이 주요한 주제 중 하나로 연구되고 있다.
이와 관련해서, 국내등록특허 제10-2169242호("초해상도 영상 복원을 위한 기계 학습 방법")에서는 교사 영상들의 특징맵들이 가지는 특성 분포를 사용하는 GAN 손실 함수를 이용하여 네트워크가 좀 더 손쉽게 자연스러운 디테일 생성을 학습할 수 있게 하는 기술을 개시하고 있다.
이와 관련해서, 국내등록특허 제10-1894406호에서는, 고해상도 분자흡수 데이터베이스를 기초로 하는 수평 대기투과도를 계산하는 모델 산출 방법을 개시하고 있다.
국내등록특허 제10-2169242호(등록일자 2020.10.19.)
본 발명은 상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 종래에 초해상화 모델을 훈련시키기 위해, 인위적으로 저하시킨 저해상도 영상의 경우, 영상 저하 방식에 따라 광학계의 특성을 반영이 어려웠기 때문에, 딥러닝 기반으로, 원본 영상에 적용되어 있는 광학계 특성을 그대로 반영한 저해상도 영상을 생성하고, 이를 이용하여 초해상화 모델을 훈련시킴으로써, 광학계 특성 반영 및 성능이 개선된 모델을 생성할 수 있는 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템 및 그 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템에 있어서, 영상 해상도 향상을 위한 훈련에 적용하고자 하는 복수의 광학계 기반의 영상 데이터를 입력받는 데이터 입력부, 상기 데이터 입력부에 의한 영상 데이터의 전처리를 수행하여 학습 데이터를 생성하고, 기저장된 딥러닝 알고리즘을 이용하여, 상기 학습 데이터의 학습 처리를 수행하여, 광학계 특성이 반영된 저해상도 영상 데이터를 출력하는 저해상화 모델을 생성하는 LR 모델 생성부, 상기 LR 모델 생성부에 의한 저해상화 모델로 상기 데이터 입력부에 의한 영상 데이터를 입력하여, 해당하는 영상 데이터에 대한 저해상도 영상 데이터를 출력받아 수집하는 저해상도 이미지 수집부 및 상기 저해상도 이미지 수집부에서 수집한 저해상도 영상 데이터와 상기 데이터 입력부에 의한 영상 데이터를 이용하여 학습 데이터를 생성하고, 기저장된 딥러닝 알고리즘을 이용하여, 상기 학습 데이터의 학습 처리를 수행하여, 광학계 특성이 반영된 고해상도 영상 데이터를 출력하는 고해상화 모델을 생성하는 SR 모델 생성부를 포함하는 것이 바람직하다.
더 나아가, 상기 LR 모델 생성부는 상기 데이터 입력부에 의한 영상 데이터를 이용하여, 각 광학계 별로, 성능 평가에 의해 다양한 왜곡이 적용된 영상 데이터들로 쌍을 이루어 학습 데이터를 생성하는 제1 전처리부, 기저장된 딥러닝 알고리즘을 이용하여, 상기 제1 전처리부에 의한 각 광학계 별 학습 데이터의 학습 처리를 수행하여, 상기 저해상화 모델을 생성하는 제1 학습 처리부를 포함하는 것이 바람직하다.
더 나아가, 상기 제1 학습 처리부는 컨볼루션 신경망으로 구현되며, 상기 제1 전처리부에 의한 각 광학계 별로, 다양한 왜곡 처리된 영상 데이터 쌍을 입력받아, 영상 데이터에 포함되어 있는 특성의 학습 처리를 수행하여, 포함된 왜곡 별로, 가상 영상 데이터를 생성하는 생성 모듈 및 컨볼루션 신경망으로 구현되며, 상기 생성 모듈에 의한 가상 영상 데이터와 상기 제1 전처리부에 의한 영상 데이터를 입력받아, 상기 생성 모듈에 의한 데이터인지 상기 제1 전처리부에 의한 영상 데이터인지 구별하는 판별 모듈를 포함하되, 상기 생성 모듈과 판별 모듈은 각각의 동작에 대한 자발적인 학습이 이루어지고, 상기 생성 모듈은 상기 판별 모듈이 완벽하게 구별한다고 가정할 때, 구별 정확도가 최소화가 되도록 상기 가상 영상 데이터의 생성 동작을 학습하며, 상기 판별 모듈은 상기 생성 모듈에 대해 적대적으로 구별 정확도를 높이도록 구별 동작을 학습하는 것이 바람직하다.
더 나아가, 상기 SR 모델 생성부는 상기 제1 학습 처리부에 의한 저해상화 모델로부터, 생성한 가상 영상 데이터를 입력받아 상기 학습 데이터를 생성하며, 상기 고해상화 모델은 외부로부터 입력되는 저해상도의 영상 데이터를 입력받아, 해당하는 광학계 특성이 반영된 고해상도 영상 데이터를 출력하는 것이 바람직하다.
더 나아가, 상기 LR 모델 생성부는 상기 데이터 입력부에 의한 영상 데이터를 이용하여, 각 광학계 별로, 성능 평가에 의해 다양한 왜곡이 적용된 영상 데이터들로 쌍을 이루어 학습 데이터를 생성하는 제2 전처리부, 기저장된 딥러닝 알고리즘을 이용하여, 상기 제2 전처리부에 의한 복수의 학습 데이터들의 학습 처리를 수행하여, 상기 저해상화 모델을 생성하는 제2 학습 처리부를 포함하는 것이 바람직하다.
더 나아가, 상기 제2 학습 처리부는 이종 광학계 간의 왜곡 처리된 영상 데이터에 포함되어 있는 특성의 학습 처리를 수행하여 상기 저해상화 모델을 생성하며, 상기 저해상화 모델은 입력되는 영상 데이터에 해당하는 광학계와 상이한 광학계 특성을 반영한 저해상도 영상 데이터를 생성하는 것이 바람직하다.
더 나아가, 상기 SR 모델 생성부는 상기 제2 학습 처리부에 의한 저해상화 모델로부터, 생성한 저해상도 영상 데이터를 입력받아 상기 학습 데이터를 생성하며, 상기 고해상화 모델은 외부로부터 입력되는 저해상도의 영상 데이터를 입력받아, 해당하는 광학계와 상이한 광학계 특성이 반영된 고해상도 영상 데이터를 출력하는 것이 바람직하다.
본 발명의 또 다른 일 실시예에 따른 컴퓨터로 구현되는 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템에 의해 각 단계가 수행되는 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 방법에 있어서, 데이터 입력부에서, 영상 해당도 향상을 위한 훈련에 적용하고자 하는 복수의 광학계 기반의 영상 데이터를 입력받는 입력 단계(S100), LR 모델 생성부에서, 상기 입력 단계(S100)에 의한 영상 데이터를 이용하여, 각 광학계 별로, 성능 평가에 의해 다양한 왜곡이 적용된 영상 데이터들로 쌍을 이루어 학습 데이터를 생성하는 전처리 단계(S200), LR 모델 생성부에서, 기저장된 딥러닝 알고리즘을 이용하여, 상기 전처리 단계(S200)에 의해 전처리된 상기 학습 데이터에 대한 학습 처리를 수행하는 제1 학습 처리 단계(S300), LR 모델 생성부에서, 상기 제1 학습 처리 단계(S300)에 의한 학습 처리 결과, 광학계 특성이 반영된 저해상도 영상 데이터를 출력하는 저해상화 모델을 생성하는 저해상화 생성 단계(S400), 저해상도 이미지 수집부에서, 상기 입력 단계(S100)에 의한 영상 데이터를 상기 저해상화 생성 단계(S400)에 의한 저해상화 모델에 입력하여, 해당하는 영상 데이터에 대한 저해상도 영상 데이터를 출력받아 수집하는 저해상도 수집 단계(S500), SR 모델 생성부에서, 기저장된 딥러닝 알고리즘을 이용하여, 상기 저해상도 수집 단계(S500)에 의한 저해상도 영상 데이터와 상기 입력 단계(S100)에 의한 영상 데이터를 입력하여 학습 처리를 수행하는 제2 학습 처리 단계(S600) 및 SR 모델 생성부에서, 상기 제2 학습 처리 단계(S600)에 의한 학습 처리 결과, 광학계 특성이 반영된 고해상도 영상 데이터를 출력하는 고해상화 모델을 생성하는 고해상화 생성 단계(S700)를 포함하는 것이 바람직하다.
더 나아가, 상기 제1 학습 처리 단계(S300)는 상기 전처리 단계(S200)에 의해 각 광학계 별 각각의 학습 데이터의 학습 처리를 수행하되, 컨볼루션 신경망으로 구현되는 생성 모듈에서, 각 광학계 별로, 다양한 왜곡이 적용된 영상 데이터 쌍을 입력받아, 영상 데이터에 포함되어 있는 특성의 학습 처리를 수행하여, 포함된 왜곡 별로 가상 영상 데이터를 생성하는 가상 생성 단계(S310), 컨볼루션 신경망으로 구현되는 판별 모듈에서, 상기 가상 생성 단계(S310)에 의한 가상 영상 데이터와 상기 전처리 단계(S200)에 의한 영상 데이터를 입력받아, 상기 가상 생성 단계(S310)에 의한 데이터인지 상기 전처리 단계(S200)에 의한 데이터인지 구별하는 판별 단계(S320) 및 상기 판별 단계(S320)에 의해 상기 판별 모듈에서 완벽하게 구별한다고 가정할 때, 상기 생성 모듈에서, 상기 판별 모듈에서의 구별 정확도가 최소화하도록 상기 가상 영상 데이터의 생성 동작을 학습하고, 상기 판별 모듈에서, 상기 생성 모듈에 대해 적대적으로 구별 정확도를 높이도록 구별 동작을 학습하는 반복 학습 단계(S330)를 더 포함하는 것이 바람직하다.
더 나아가, 상기 제1 학습 처리 단계(S300)는 상기 전처리 단계(S200)에 의해 이종 광학계에 대한 복수의 학습 데이터들의 학습 처리를 수행하되, 이종 광학계 간의 다양한 왜곡이 적용된 영상 데이터에 포함되어 있는 특성의 학습 처리를 수행하는 순환 학습 단계(S340)를 더 포함하는 것이 바람직하다.
더 나아가, 상기 저해상도 수집 단계(S500)는 상기 저해상도 영상 데이터로 상기 반복 학습 단계(S330)에 의한 생성 모듈에서 생성한 가상 영상 데이터를 입력받으며, 상기 고해상화 생성 단계(S700)에 의한 고해상화 모델은 외부로부터 입력되는 저해상도의 영상 데이터를 입력받아, 해당하는 광학계 특성이 반영된 고해상도 영상 데이터를 출력하는 것이 바람직하다.
더 나아가, 상기 저해상화 생성 단계(S400)는 상기 순환 학습 단계(S340)에 의한 학습 처리 결과, 입력되는 영상 데이터에 해당하는 광학계과 상이한 광학계 특성을 반영한 저해상도 영상 데이터를 생성하는 저해상화 모델을 생성하고, 상기 고해상화 생성 단계(S700)에 의한 고해상화 모델은 외부로부터 입력되는 저해상도의 영상 데이터를 입력받아, 해당하는 광학계와 상이한 광학계 특성이 반영된 고해상도 영상 데이터를 출력하는 것이 바람직하다.
상기와 같은 구성에 의한 본 발명의 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템 및 그 방법은 광학계의 특성을 그대로 반영한 저해상도 영상을 생성하고, 이를 이용한 AI 기반 학습을 통해 초해상화 성능을 개선할 수 있는 장점이 있다.
특히, 동일한 광학계에 의한 영상 데이터를 활용하여, 광학계 특성이 반영된 저해상도 영상 데이터를 생성하고, 이를 토대로 광학계 특성이 반영된 고해상도 영상 데이터를 추정하여, 종래의 초해상화 기술의 성능을 향상시키거나 또는, 서로 다른 광학계 간의 특성을 반영하여 학습/훈련을 수행함으로써, 이종 광학계 간의 교차 해상도 향상 영상 데이터를 제공할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템을 나타낸 구성 예시도이다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템을 나타낸 세부 구성 예시도이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 방법을 나타낸 순서 예시도이다.
이하 첨부한 도면들을 참조하여 본 발명의 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템 및 그 방법을 상세히 설명한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.
이때, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다.
더불어, 시스템은 필요한 기능을 수행하기 위하여 조직화되고 규칙적으로 상호 작용하는 장치, 기구 및 수단 등을 포함하는 구성 요소들의 집합을 의미한다.
본 발명의 일 실시예에 따른 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템 및 그 방법은, 종래 기술에서 사용되는 영상 처리 기법의 보간이나 수치 모델링 정보를 활용한 저해상도 영상 생성이 아닌, 광학계의 특성을 그대로 반영한 저해상도 영상을 생성하고, 이를 이용한 AI 기반 학습을 통해 초해상화 성능 개선을 제공하기 위한 기술이다. 광학계는 본래 점(point)으로 발생해야 하는 광원이 광학계 고유의 특성으로 인해 PSF(Point Spread Function)에 따라 빛이 퍼지게 되며, 색 수차(chromatic aberration), 구면 수차(spherical aberration) 등으로 인해 최종 광학계의 성능이 좌우된다. 이러한 광학계의 특성은 설계 및 평가 시 결정되어 있으며, 성능 및 평가를 위하여 설계 단계에서부터 다양한 시험을 통해 각 왜곡에 대한 시험 영상을 얻게 된다.
이러한 점을 고려하여, 본 발명의 일 실시예에 따른 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템 및 그 방법은, 다양한 광학계(위성 탑재체, 드론, 카메라, 스마트폰, 의료 영상 등)의 각각에 대해서, 점(point) 광원에 의한 영상 데이터, 이에 대비하여 다양한 왜곡(구면 수차, 색 수차, PSF 등)에 의한 영상 데이터가 각 광학계의 성능 및 평가를 위한 과정에서 획득된다는 가정 하에 동작을 수행하게 된다.
이를 통해서, 본 발명의 일 실시예에 따른 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템은, 동일한 광학계에 의한 영상 데이터를 활용하여, 광학계 특성이 반영된 저해상도 영상 데이터를 생성하고, 이를 토대로 광학계 특성이 반영된 고해상도 영상 데이터를 추정하여, 종래의 초해상화 기술의 성능을 향상시키거나 또는, 서로 다른 광학계 간의 특성을 반영하여 학습/훈련을 수행함으로써, 이종 광학계 간의 교차 해상도 향상 영상 데이터를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템을 나타낸 구성 예시도로서, 도 1을 참조로 하여 본 발명의 일 실시예에 따른 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템을 상세히 설명한다.
본 발명의 일 실시예에 따른 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템은 도 1에 도시된 바와 같이, 데이터 입력부(100), LR 모델 생성부(200), 저해상도 이미지 수집부(300) 및 SR 모델 생성부(400)를 포함하여 구성되는 것이 바람직하다. 또한, 각 구성들은 컴퓨터를 포함하는 적어도 하나 이상의 연산처리수단에 각각 또는 통합 포함되어 동작을 수행하는 것이 바람직하다.
먼저, 동일한 광학계에 의한 영상 데이터를 활용하여, 광학계 특성이 반영된 저해상도 영상 데이터를 생성하고, 이를 토대로 광학계 특성이 반영된 고해상도 영상 데이터를 추정하여, 종래의 초해상화 기술의 성능을 향상시키기 위한 본 발명의 일 실시예에 따른 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템에 대해서 알아보자면,
상기 데이터 입력부(100)는 영상 해상도 향상을 위한 훈련에 적용하고자 하는 복수의 광학계(일 예를 들자면, 위성 탑재체, 드론, 카메라, 스마트폰, 의료 영상 등) 기반으로, 각 광학계 별로 영상 데이터를 입력받는 것이 바람직하다.
이 때, 상기 영상 데이터로는 상술한 바와 같이, 각 광학계 별로 점(point) 광원에 의한 영상 데이터, 이에 대비하여 다양한 왜곡(구면 수차, 색 수차, PSF 등)에 의한 영상 데이터가 쌍을 이루어 입력되는 것이 가장 바람직하다.
상기 LR 모델 생성부(200)는 상기 데이터 입력부(100)에 의한 영상 데이터(쌍)의 전처리를 수행하여, 학습 데이터를 생성하는 것이 바람직하다. 또한, 미리 저장된 딥러닝 알고리즘을 이용하여, 생성한 상기 학습 데이터의 학습 처리를 수행하여, 광학계 특성이 반영된 저해상도(Low Resolution) 영상 데이터를 출력하는 저해상화 모델을 생성하는 것이 바람직하다.
즉, 상기 LR 모델 생성부(200)는 상기 데이터 입력부(100)에 의한 영상 데이터 쌍을 이용하여, 학습 데이터를 생성함으로써, 종래 기술의 문제점이였던 원본 영상의 저하 방식에 따라, 최종 결과 영상(고해상도 영상 데이터)의 개선 정도 또는, 성능의 차이를 해소할 수 있다.
이 때, 상기 LR 모델 생성부(200)는 도 2에 도시된 바와 같이, 제1 전처리부(210) 및 제1 학습 처리부(220)를 포함하여 구성되는 것이 바람직하다.
상기 제1 전처리부(210)는 상기 데이터 입력부(100)에 의한 영상 데이터를 입력받아, 영상 데이터 쌍을 생성하는 전처리를 수행하여 학습 데이터를 생성하게 된다. 즉, 각 광학계 별로, 원본 영상 데이터(점 광원에 의한 영상 데이터)와 왜곡 영상 데이터(다양한 왜곡 실험에 의한 영상 데이터)를 쌍으로 하여, 각 광학계 별 학습 데이터 쌍을 생성하게 된다.
상기 제1 학습 처리부(220)는 미리 저장된 딥러닝 알고리즘을 이용하여, 상기 제1 전처리부(210)에 의한 각 광학계 별 학습 데이터 쌍의 학습 처리를 수행하게 된다. 수행 결과, 입력되는 영상 데이터 쌍에 포함되어 있는 원본 영상 데이터를 다운 샘플링시킨 저해상도 영상 데이터를 생성하는 상기 저해상화 모델을 생성하는 것이 바람직하다.
이를 위해, 상기 제1 학습 처리부(220)는 도 2에 도시된 바와 같이, 생성 모듈(221) 및 판별 모듈(222)을 포함하여 구성되게 된다.
상기 제1 학습 처리부(220)는 GAN(Generative Adversarial Network)을 사용하여 상기 생성 모듈(221)과 판별 모듈(222)의 모델을 구성한다. 간단하게는, 왜곡 영상 데이터와 동일한 영상을 생성하도록 generator network을 훈련하고, discriminator network에서는 입력받은 왜곡 영상 데이터와 생성한 왜곡 영상 데이터를 구별함으로써, generator network의 학습 방향을 진행하게 된다. 이를 통해서, 최종적으로 generator network를 통해서 왜곡 영상 데이터를 생성하게 되고, 이를 이용하여 해당하는 광학계의 특성을 반영한 저해상도(Low Resolution) 영상 데이터를 생성하는 저해상화 모델을 생성하게 된다.
상기 생성 모듈(221)은 컨볼루션 신경망으로 구현되며, 컨볼루션 필터를 이용하여 특징맵을 생성하는 컨볼루션 레이어로 구성되는 것이 바람직하다. 상기 생성 모듈(221)은 상기 제1 전처리부(210)에 의해, 각 광학계 별로 전처리된 영상 데이터 쌍을 입력받아, 상기 영상 데이터에 포함되어 있는 특성(feature)의 학습 처리를 수행하게 된다. 학습 결과, 포함된 왜곡 별로 가상 영상 데이터(저해상도 영상 데이터)를 생성하는 상기 저해상화 모델을 생성하게 된다.
상기 판별 모듈(222)은 컨볼루션 신경망으로 구현되며, 컨볼루션 필터들을 이용하여 특징맵을 생성하는 컨볼루션 레이어로 구성되는 것이 바람직하다. 상기 판별 모듈(222)은 상기 생성 모듈(221)에 의한 가상 영상 데이터와 상기 제1 전처리부(210)에 의한 영상 데이터를 입력받아, 상기 생성 모듈(221)에 의한 데이터인지 상기 제1 전처리부(210)에 의한 영상 데이터인지 구별하게 된다. 이를 위해, 상기 판별 모듈(222)은 완전하게 연결된(fully connected) 적어도 하나의 레이어로 이루어지며, 여기서, fully connected layer는 레이어의 입력 및 출력 특징들의 각 노드들이 모두 서로 연결된 형태인 것이 가장 바람직하다.
상기 생성 모듈(221)과 판별 모듈(222)은 매 반복(iteration) 마다 각각의 동작에 대한 자발적인 학습이 이루어지고, 상기 생성 모듈(221)은 상기 판별 모듈(222)이 완벽하게 구별한다고 가정할 때, 구별 정확도가 가장 최소화가 되도록 상기 가상 영상 데이터의 생성 동작을 학습하며, 상기 판별 모듈(222)은 상기 생성 모듈(221)에 대해 적대적으로 구별 정확도를 높이도록 구별 동작을 학습하게 된다.
즉, 매 반복마다 가상 영상 데이터와 원본 영상 데이터의 차이를 측정하고, 차이가 줄어들도록 컨볼루션 레이어의 웨이트(weight)를 변화시켜, 학습이 진행될수록 가상 영상 데이터와 원본 영상 데이터 간의 차이 값이 점점 줄어들고, 성능이 향상되게 된다.
상기 저해상도 이미지 수집부(300)는 상기 LR 모델 생성부(200)에 의한 저해상화 모델로 상기 데이터 입력부(100)에 의한 영상 데이터를 입력하여, 해당하는 영상 데이터에 대한 저해상도 영상 데이터를 출력받아 수집하는 것이 바람직하다.
이 때, 상기 저해상도 이미지 수집부(300)에서 새롭게 입력되는 영상 데이터가 아닌 상기 데이터 입력부(100)에 의한 영상 데이터를 활용하는 것은, 본 발명의 일 실시예에 따른 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템의 최종 목적은 상기 SR 모델 생성부(400)에 의한 성능이 개선된 고해상화 모델을 생성하는 것이기 때문에, 정답 데이터(영상 데이터 쌍)를 이용하여 AI 모델의 훈련 및 학습을 진행하게 된다.
상기 SR 모델 생성부(400)는 상기 저해상도 이미지 수집부(300)에서 수집한 상기 저해상도 영상 데이터(가상 영상 데이터)와 상기 데이터 입력부(100)에 의한 영상 데이터(각 광학계 별로 전처리된 영상 데이터 쌍)를 이용하여, 학습 데이터를 생성하게 된다. 이 후, 미리 저장된 딥러닝 알고리즘을 이용하여, 상기 학습 데이터의 학습 처리를 수행함으로써, 상기 저해상화 모델을 통해서 생성되는 가상 영상 데이터(저해상도 영상 데이터)를 입력받아 원본 영상 데이터(상기 데이터 입력부에 의한 영상 데이터(각 광학계 별로 전처리된 영상 데이터 쌍에 포함되어 있는 원본 영상 데이터)를 추정할 수 있는 고해상화 모델을 생성하는 것이 바람직하다.
이 때, 상기 고해상화 모델을 통해서 추정한 원본 영상 데이터는 광학계 특성이 반영된 고해상도 영상 데이터인 것이 바람직하다.
상기 LR 모델 생성부(200)에서 동일한 광학계에 의한 영상 데이터를 활용하여 상기 저해상화 모델을 생성할 경우, 상기 SR 모델 생성부(400)는 상기 제1 학습 처리부(220)에 의한 저해상도 모델(생성 모듈(221)에 의한 최종 훈련된 네트워크)로부터 생성한 가상 영상 데이터(저해상도 영상 데이터)를 입력받아 상기 학습 데이터를 생성하게 된다. 즉, 상기 데이터 입력부(100)에 의한 영상 데이터로부터 원본 영상 데이터를 추출하고, 상기 원본 영상 데이터를 정답 데이터로 두고 상기 제1 학습 처리부(220)에 의한 저해상도 모델로부터 생성한 가상 영상 데이터의 학습을 수행하게 된다.
이를 통해서, 학습 결과에 따른 상기 고해상화 모델은 외부로부터 입력되는 저해상도의 영상 데이터를 입력받아, 해당하는 광학계 특성이 반영된 고해상도 영상 데이터를 추정하여 출력하게 된다.
만약, 상기 고해상화 모델의 성능을 검증하기 위해서는, 정답 데이터를 알 수 있는 상기 저해상화 모델을 통해서 생성한 상기 가상 영상 데이터를 입력하여, 추정한 고해상도 영상 데이터를 이용하는 것이 바람직하다.
상기 SR 모델 생성부(400)는 미리 저장된 딥러닝 알고리즘으로 영상 처리/분석/추정이 가능한 딥러닝 알고리즘인 것이 바람직하며, 저장되는 알고리즘 자체에 대해서는 한정하는 것은 아니다.
더불어, 서로 다른 광학계 간의 특성을 반영하여 학습/훈련을 수행함으로써, 이종 광학계 간의 교차 해상도 향상 영상 데이터를 추정하기 위한 본 발명의 일 실시예에 따른 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템에 대해서 알아보자면,
상기 데이터 입력부(100)는 영상 해상도 향상을 위한 훈련에 적용하고자 하는 복수의 광학계(일 예를 들자면, 위성 탑재체, 드론, 카메라, 스마트폰, 의료 영상 등) 기반으로, 각 광학계 별로 영상 데이터를 입력받는 것이 바람직하다.
이 때, 상기 영상 데이터로는 상술한 바와 같이, 각 광학계 별로 점(point) 광원에 의한 영상 데이터, 이에 대비하여 다양한 왜곡(구면 수차, 색 수차, PSF 등)에 의한 영상 데이터가 쌍을 이루어 입력되는 것이 가장 바람직하다.
상기 LR 모델 생성부(200)는 상기 데이터 입력부(100)에 의한 영상 데이터(쌍)의 전처리를 수행하여, 학습 데이터를 생성하는 것이 바람직하다. 또한, 미리 저장된 딥러닝 알고리즘을 이용하여, 생성한 상기 학습 데이터의 학습 처리를 수행하여, 광학계 특성이 반영된 저해상도(Low Resolution) 영상 데이터를 출력하는 저해상화 모델을 생성하는 것이 바람직하다.
즉, 상기 LR 모델 생성부(200)는 상기 데이터 입력부(100)에 의한 영상 데이터 쌍을 이용하여, 학습 데이터를 생성함으로써, 종래 기술의 문제점이였던 원본 영상의 저하 방식에 따라, 최종 결과 영상(고해상도 영상 데이터)의 개선 정도 또는, 성능의 차이를 해소할 수 있다.
이 때, 상기 LR 모델 생성부(200)는 도 3에 도시된 바와 같이, 제2 전처리부(230) 및 제2 학습 처리부(240)를 포함하여 구성되는 것이 바람직하다.
상기 제2 전처리부(230)는 상기 데이터 입력부(100)에 의한 영상 데이터를 입력받아, 영상 데이터 쌍을 생성하는 전처리를 수행하여 학습 데이터를 생성하게 된다. 상세하게는, 각 광학계 별로, 원본 영상 데이터(점 광원에 의한 영상 데이터)와 왜곡 영상 데이터(다양한 왜곡 실험에 의한 영상 데이터)를 쌍으로 하여, 각 광학계 별 학습 데이터 쌍을 생성하게 된다.
상기 제2 학습 처리부(240)는 미리 저장된 딥러닝 알고리즘을 이용하여, 상기 제2 전처리부(230)에 의한 복수의 학습 데이터 쌍들의 학습 처리를 수행하여, 저해상화 모델을 생성하게 된다.
즉, KOMPSAT-3, KOMPSAT-3A 간의 영상 데이터의 특성 차이, 동일한 역할을 수행하는 의료 영상 기기 간의 영상 데이터의 특성 차이와 같이, 서로 다른 광학계에서 나타나는 특성 차이를 학습하기 위하여, 서로 다른 광학계에서 얻은 영상 데이터 쌍인 복수의 학습 데이터 쌍들을 이용하여, transfer learning을 네트워크 구성하여, 학습 처리를 수행하게 된다.
Transfer learning의 경우, 서로 다른 스타일의 데이터 셋을 순환 형태로 학습함으로써, 서로 간의 특성을 학습하는 특징이 있다. 이러한 점을 고려하여, 상기 제2 학습 처리부(240)는 서로 다른 광학계 특성이 반영된 복수의 학습 데이터 쌍들의 학습 처리를 수행하여, 서로 간의 특성을 학습하게 된다.
이러한 학습을 통해 생성된 상기 저해상도 모델은 A 광학계의 원본 영상 데이터가 입력될 경우, B 광학계의 저하 영상 데이터를 생성할 수 있는, 광학계의 특성 교차가 가능한 저해상도 영상 데이터를 생성하게 된다.
즉, 상기 제2 학습 처리부(240)는 이종 광학계 간의 왜곡 처리된 영상 데이터에 포함되어 있는 특성의 학습 처리를 수행하여 상기 저해상화 모델을 생성하기 때문에, 상기 저해상도 모델은 입력되는 영상 데이터에 해당하는 광학계과 상이한 광학계 특성을 반영한 저해상도 영상 데이터를 생성하게 된다.
이 때, 미리 저장된 딥러닝 알고리즘으로 영상 처리/분석/추정이 가능한 딥러닝 알고리즘인 것이 바람직하며, 저장되는 알고리즘 자체에 대해서는 한정하는 것은 아니다.
상기 저해상도 이미지 수집부(300)는 상기 LR 모델 생성부(200)에 의한 저해상화 모델로 상기 데이터 입력부(100)에 의한 영상 데이터를 입력하여, 해당하는 영상 데이터에 대한 저해상도 영상 데이터를 출력받아 수집하는 것이 바람직하다.
이 때, 상기 저해상도 이미지 수집부(300)에서 새롭게 입력되는 영상 데이터가 아닌 상기 데이터 입력부(100)에 의한 영상 데이터를 활용하는 것은, 본 발명의 일 실시예에 따른 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템의 최종 목적은 상기 SR 모델 생성부(400)에 의한 성능이 개선된 고해상화 모델을 생성하는 것이기 때문에, 정답 데이터(영상 데이터 쌍)를 이용하여 AI 모델의 훈련 및 학습을 진행하게 된다.
상기 SR 모델 생성부(400)는 상기 저해상도 이미지 수집부(300)에서 수집한 상기 저해상도 영상 데이터(상이한 광학계 특성을 반영한 영상 데이터)와 상기 데이터 입력부(100)에 의한 영상 데이터(각 광학계 별로 전처리된 영상 데이터 쌍)를 이용하여, 학습 데이터를 생성하게 된다. 이 후, 미리 저장된 딥러닝 알고리즘을 이용하여, 상기 학습 데이터의 학습 처리를 수행함으로써, 상기 저해상화 모델을 통해서 생성되는 영상 데이터(상이한 광학계 특성을 반영한 영상 데이터)를 입력받아 원본 영상 데이터(상기 데이터 입력부에 의한 영상 데이터(각 광학계 별로 전처리된 영상 데이터 쌍에 포함되어 있는 원본 영상 데이터)를 추정할 수 있는 고해상화 모델을 생성하는 것이 바람직하다.
이 때, 상기 고해상화 모델을 통해서 추정한 원본 영상 데이터는 입력된 영상 데이터와 상이한 광학계 특성이 반영된 고해상도 영상 데이터인 것이 바람직하다.
상기 LR 모델 생성부(200)에서 이종 광학계에 의한 영상 데이터를 활용하여 상기 저해상화 모델을 생성할 경우, 상기 SR 모델 생성부(400)는 상기 데이터 입력부(100)에 의한 영상 데이터로부터 원본 영상 데이터를 추출하고, 상기 원본 영상 데이터를 정답 데이터로 두고 상기 제2 학습 처리부(240)에 의한 상이한 광학계 특성을 반영하여 다운 샘플링한 영상 데이터의 학습을 수행하게 된다.
이를 통해서, 학습 결과에 따른 상기 고해상화 모델은 외부로부터 입력되는 저해상도의 영상 데이터를 입력받아, 상기 영상 데이터에 해당하는 광학계 특성과 상이한 광학계 특성이 반영된 고해상도 영상 데이터를 추정하여 출력하게 된다.
상기 SR 모델 생성부(400)는 미리 저장된 딥러닝 알고리즘으로 영상 처리/분석/추정이 가능한 딥러닝 알고리즘인 것이 바람직하며, 저장되는 알고리즘 자체에 대해서는 한정하는 것은 아니다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 방법을 나타낸 순서 예시도로서, 도 4 및 도 5를 참조로 하여 본 발명의 일 실시예에 따른 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 방법을 상세히 설명한다.
본 발명의 일 실시예에 따른 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 방법이 동일한 광학계에 의한 영상 데이터를 활용하여, 광학계 특성이 반영된 저해상도 영상 데이터를 생성하고, 이를 토대로 광학계 특성이 반영된 고해상도 영상 데이터를 추정하여, 종래의 초해상화 기술의 성능을 향상시키고자 할 경우, 도 4에 도시된 바와 같이, 입력 단계(S100), 전처리 단계(S200), 제1 학습 처리 단계(S300), 저해상화 생성 단계(S400), 저해상도 수집 단계(S500), 제2 학습 처리 단계(S600) 및 고해상화 생성 단계(S700)를 포함하게 된다. 본 발명의 일 실시예에 따른 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 방법은 컴퓨터로 구현되는 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템에 의해 각 단계가 수행되게 된다.
각 단계에 대해서 자세히 알아보자면,
상기 입력 단계(S100)는 상기 데이터 입력부(100)에서, 영상 해상도 향상을 위한 훈련에 적용하고자 하는 복수의 광학계(일 예를 들자면, 위성 탑재체, 드론, 카메라, 스마트폰, 의료 영상 등) 기반으로, 각 광학계 별로 영상 데이터를 입력받게 된다.
이 때, 상기 영상 데이터로는 상술한 바와 같이, 각 광학계 별로 점(point) 광원에 의한 영상 데이터, 이에 대비하여 다양한 왜곡(구면 수차, 색 수차, PSF 등)에 의한 영상 데이터가 쌍을 이루어 입력되게 된다.
상기 전처리 단계(S200)는 상기 LR 모델 생성부(200)에서, 상기 입력 단계(S100)에 의한 영상 데이터를 이용하여, 각 광학계 별로, 원본 영상 데이터(점 광원에 의한 영상 데이터)와 왜곡 영상 데이터(다양한 왜곡 실험에 의한 영상 데이터)를 쌍으로 하여, 각 광학계 별 학습 데이터 쌍을 생성하게 된다.
상기 제1 학습 처리 단계(S300)는 상기 LR 모델 생성부(200)에서, 미리 저장된 딥러닝 알고리즘을 이용하여, 상기 전처리 단계(S200)에 의해 전처리된 상기 학습 데이터에 대한 학습 처리를 수행하게 된다.
상세하게는, 상기 제1 학습 처리 단계(S300)는 상기 전처리 단계(S200)에 의한 각 광학계 별 학습 데이터 쌍의 학습 처리를 수행하게 된다. 수행 결과, 입력되는 영상 데이터 쌍에 포함되어 있는 원본 영상 데이터를 다운 샘플링시킨 저해상도 영상 데이터를 생성하는 상기 저해상화 모델을 생성하게 된다.
이를 위해, 상기 제1 학습 처리 단계(S300)는 도 4에 도시된 바와 같이, 가상 생성 단계(S310), 판별 단계(S320) 및 반복 학습 단계(S330)를 포함하여, 상기 전처리 단계(S200)에 의한 각 광학계 별 각각의 학습 데이터 쌍의 학습 처리를 수행하게 된다.
상기 가상 생성 단계(S310)는 컨볼루션 신경망으로 구현되는 상기 생성 모듈(221)에서, 각 광학계 별로 전처리된 영상 데이터 쌍을 입력받아, 상기 영상 데이터에 포함되어 있는 특성(feature)의 학습 처리를 수행하게 된다. 학습 결과, 포함된 왜곡 별로 가상 영상 데이터(저해상도 영상 데이터)를 생성하는 상기 저해상화 모델을 생성하게 된다.
상기 판별 단계(S320)는 컨볼루션 신경망으로 구현되는 상기 판별 모듈(222)에서, 상기 가상 생성 단계(S310)에 의한 가상 영상 데이터와 상기 전처리 단계(S200)에 의한 영상 데이터를 입력받아, 상기 가상 생성 단계(S310)에 의한 데이터인지 상기 전처리 단계(S200)에 의한 데이터인지 구별하게 된다.
상기 반복 학습 단계(S330)는 매 반복(iteration) 마다 상기 가상 생성 단계(S310)와 상기 판별 단계(S320)의 동작에 대한 자발적인 학습이 이루어지도록 하며, 상기 판별 단계(S320)에 의해 상기 판별 모듈(222)에서 완벽하게 구별한다고 가정할 때, 상기 생성 모듈(221)에서, 상기 판별 모듈(222)에서의 구별 정확도가 가장 최소화가 되도록 상기 가상 영상 데이터의 생성 동작을 학습하며, 상기 판별 모듈(222)에서, 상기 생성 모듈(221)에 대해 적대적으로 구별 정확도를 높이도록 구별 동작을 학습하게 된다.
즉, 매 반복마다 가상 영상 데이터와 원본 영상 데이터의 차이를 측정하고, 차이가 줄어들도록 컨볼루션 레이어의 웨이트(weight)를 변화시켜, 학습이 진행될수록 가상 영상 데이터와 원본 영상 데이터 간의 차이 값이 점점 줄어들고, 성능이 향상되게 된다.
상기 저해상도 생성 단계(S400)는 상기 LR 모델 생성부(200)에서, 상기 제1 학습 처리 단계(S300)에 의한 학습 처리 결과, 광학계 특성이 반영된 저해상도 영상 데이터를 출력하는 저해상도 모델을 생성하게 된다.
상기 저해상도 수집 단계(S500)는 상기 저해상도 이미지 수집부(300)에서, 상기 입력 단계(S100)에 의한 영상 데이터를 상기 저해상도 생성 단계(S400)에 의한 저해상화 모델에 입력하여, 해당하는 영상 데이터에 대한 저해상도 영상 데이터를 출력받아 수집하게 된다. 또한, 상기 저해상도 영상 데이터로 상기 반복 학습 단계(S330)에 의한 생성 모듈에서 생성한 가상 영상 데이터인 것이 바람직하다.
이 때, 새롭게 입력되는 영상 데이터가 아닌 상기 입력 단계(S100)에 의한 영상 데이터를 활용하는 것은, 본 발명의 일 실시예에 따른 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 방법의 최종 목적은 성능이 개선된 고해상모델을 생성하는 것이기 때문에, 정답 데이터(영상 데이터 쌍)를 이용하여 AI 모델의 훈련 및 학습을 진행하게 된다.
상기 제2 학습 처리 단계(S600)는 상기 SR 모델 생성부(400)에서, 미리 저장된 딥러닝 알고리즘을 이용하여, 상기 저해상도 수집 단계(S500)에 의한 저해상도 영상 데이터와 상기 입력 단계(S100)에 의한 영상 데이터를 입력하여 학습 처리를 수행하게 된다.
상기 제2 학습 처리 단계(S600)는 상기 저해상도 수집 단계(S500)에 의한 저해상도 영상 데이터(가상 영상 데이터)와 상기 입력 단계(S100)에 의한 영상 데이터(각 광학계 별로 전처리된 영상 데이터 쌍)를 이용하여, 학습 데이터를 생성하게 된다. 이 후, 미리 저장된 딥러닝 알고리즘을 이용하여, 상기 학습 데이터의 학습 처리를 수행하게 된다.
상기 고해상화 생성 단계(S700)는 상기 SR 모델 생성부(400)에서, 상기 제2 학습 처리 단계(S600)에 의한 학습 처리 결과, 상기 저해상화 모델을 통해서 생성되는 가상 영상 데이터(저해상도 영상 데이터)를 입력받아 원본 영상 데이터(상기 데이터 입력부에 의한 영상 데이터(각 광학계 별로 전처리된 영상 데이터 쌍에 포함되어 있는 원본 영상 데이터)를 추정할 수 있는 고해상화 모델을 생성하는 것이 바람직하다.
이 때, 상기 고해상화 모델을 통해서 추정한 원본 영상 데이터는 광학계 특성이 반영된 고해상도 영상 데이터인 것이 바람직하다.
이를 통해서, 학습 결과에 따른 상기 고해상화 모델은 외부로부터 입력되는 저해상도의 영상 데이터를 입력받아, 해당하는 광학계 특성이 반영된 고해상도 영상 데이터를 추정하여 출력하게 된다.
만약, 상기 고해상화 모델의 성능을 검증하기 위해서는, 정답 데이터를 알 수 있는 상기 저해상화 모델을 통해서 생성한 상기 가상 영상 데이터를 입력하여, 추정한 고해상도 영상 데이터를 이용하는 것이 바람직하다.
더불어, 서로 다른 광학계 간의 특성을 반영하여 학습/훈련을 수행함으로써, 이종 광학계 간의 교차 해상도 향상 영상 데이터를 추정하기 위한 본 발명의 일 실시예에 따른 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 방법에 대해서 알아보자면,
도 5에 도시된 바와 같이, 입력 단계(S100), 전처리 단계(S200), 제1 학습 처리 단계(S300), 저해상화 생성 단계(S400), 저해상도 수집 단계(S500), 제2 학습 처리 단계(S600) 및 고해상화 생성 단계(S700)를 포함하게 된다. 본 발명의 일 실시예에 따른 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 방법은 컴퓨터로 구현되는 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템에 의해 각 단계가 수행되게 된다.
각 단계에 대해서 자세히 알아보자면,
상기 입력 단계(S100)는 상기 데이터 입력부(100)에서, 영상 해상도 향상을 위한 훈련에 적용하고자 하는 복수의 광학계(일 예를 들자면, 위성 탑재체, 드론, 카메라, 스마트폰, 의료 영상 등) 기반으로, 각 광학계 별로 영상 데이터를 입력받게 된다.
이 때, 상기 영상 데이터로는 상술한 바와 같이, 각 광학계 별로 점(point) 광원에 의한 영상 데이터, 이에 대비하여 다양한 왜곡(구면 수차, 색 수차, PSF 등)에 의한 영상 데이터가 쌍을 이루어 입력되게 된다.
상기 전처리 단계(S200)는 상기 LR 모델 생성부(200)에서, 상기 입력 단계(S100)에 의한 영상 데이터를 이용하여, 각 광학계 별로, 원본 영상 데이터(점 광원에 의한 영상 데이터)와 왜곡 영상 데이터(다양한 왜곡 실험에 의한 영상 데이터)를 쌍으로 하여, 각 광학계 별 학습 데이터 쌍을 생성하게 된다.
상기 제1 학습 처리 단계(S300)는 상기 LR 모델 생성부(200)에서, 미리 저장된 딥러닝 알고리즘을 이용하여, 상기 전처리 단계(S200)에 의해 전처리된 복수의 학습 데이터 쌍들의 학습 처리를 수행하여, 저해상화 모델을 생성하게 된다.
즉, KOMPSAT-3, KOMPSAT-3A 간의 영상 데이터의 특성 차이, 동일한 역할을 수행하는 의료 영상 기기 간의 영상 데이터의 특성 차이와 같이, 서로 다른 광학계에서 나타나는 특성 차이를 학습하기 위하여, 서로 다른 광학계에서 얻은 영상 데이터 쌍인 복수의 학습 데이터 쌍들을 이용하여, transfer learning을 네트워크 구성하여, 학습 처리를 수행하게 된다.
Transfer learning의 경우, 서로 다른 스타일의 데이터 셋을 순환 형태로 학습함으로써, 서로 간의 특성을 학습하는 특징이 있다. 이러한 점을 고려하여, 상기 상기 제1 학습 처리 단계(S300)는 서로 다른 광학계 특성이 반영된 복수의 학습 데이터 쌍들의 학습 처리를 수행하여, 서로 간의 특성을 학습하게 된다.
이러한 학습을 통해 생성된 상기 저해상도 모델은 A 광학계의 원본 영상 데이터가 입력될 경우, B 광학계의 저하 영상 데이터를 생성할 수 있는, 광학계의 특성 교차가 가능한 저해상도 영상 데이터를 생성하게 된다.
이를 위해, 상기 제1 학습 처리 단계(S300)는 도 5에 도시된 바와 같이, 순환 학습 단계(S340)를 포함하게 된다.
상기 순환 학습 단계(S340)는 상기 전처리 단계(S200)에 의해 전처리된 이종 광학계에 대한 복수의 학습 데이터들의 학습 처리를 수행하여, 이종 광학계 간의 왜곡 처리된 영상 데이터에 포함되어 있는 특성을 학습함으로써, 이를 통해 생성된 상기 저해상도 모델은 입력되는 영상 데이터에 해당하는 광학계과 상이한 광학계 특성을 반영한 저해상도 영상 데이터를 생성하게 된다.
상기 저해상도 생성 단계(S400)는 상기 LR 모델 생성부(200)에서, 상기 순환 학습 단계(S340)에 의한 학습 처리 결과, 입력되는 영상 데이터에 해당하는 광학계과 상이한 광학계 특성이 반영된 저해상도 영상 데이터를 출력하는 저해상도 모델을 생성하게 된다.
상기 저해상도 수집 단계(S500)는 상기 저해상도 이미지 수집부(300)에서, 상기 입력 단계(S100)에 의한 영상 데이터를 상기 저해상도 생성 단계(S400)에 의한 저해상화 모델에 입력하여, 해당하는 영상 데이터에 대한 저해상도 영상 데이터를 출력받아 수집하게 된다. 또한, 상기 저해상도 영상 데이터로 상기 반복 학습 단계(S330)에 의한 생성 모듈에서 생성한 가상 영상 데이터인 것이 바람직하다.
이 때, 새롭게 입력되는 영상 데이터가 아닌 상기 입력 단계(S100)에 의한 영상 데이터를 활용하는 것은, 본 발명의 일 실시예에 따른 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 방법의 최종 목적은 성능이 개선된 고해상모델을 생성하는 것이기 때문에, 정답 데이터(영상 데이터 쌍)를 이용하여 AI 모델의 훈련 및 학습을 진행하게 된다.
상기 제2 학습 처리 단계(S600)는 상기 SR 모델 생성부(400)에서, 미리 저장된 딥러닝 알고리즘을 이용하여, 상기 저해상도 수집 단계(S500)에 의한 저해상도 영상 데이터와 상기 입력 단계(S100)에 의한 영상 데이터를 입력하여 학습 처리를 수행하게 된다.
상기 제2 학습 처리 단계(S600)는 상기 저해상도 수집 단계(S500)에 의한 저해상도 영상 데이터(상이한 광학계 특성을 반영한 영상 데이터)와 상기 입력 단계(S100)에 의한 영상 데이터(각 광학계 별로 전처리된 영상 데이터 쌍)를 이용하여, 학습 데이터를 생성하게 된다. 이 후, 미리 저장된 딥러닝 알고리즘을 이용하여, 상기 학습 데이터의 학습 처리를 수행하게 된다.
상기 고해상화 생성 단계(S700)는 상기 SR 모델 생성부(400)에서, 상기 제2 학습 처리 단계(S600)에 의한 학습 처리 결과, 상기 저해상화 모델을 통해서 생성되는 영상 데이터(상이한 광학계 특성을 반영한 영상 데이터)를 입력받아 원본 영상 데이터(상기 데이터 입력부에 의한 영상 데이터(각 광학계 별로 전처리된 영상 데이터 쌍에 포함되어 있는 원본 영상 데이터)를 추정할 수 있는 고해상화 모델을 생성하는 것이 바람직하다.
이 때, 상기 고해상화 모델을 통해서 추정한 원본 영상 데이터는 입력된 영상 데이터와 상이한 광학계 특성이 반영된 고해상도 영상 데이터인 것이 바람직하다.
이를 통해서, 학습 결과에 따른 상기 고해상화 모델은 외부로부터 입력되는 저해상도의 영상 데이터를 입력받아, 상기 영상 데이터에 해당하는 광학계 특성과 상이한 광학계 특성이 반영된 고해상도 영상 데이터를 추정하여 출력하게 된다.
이상과 같이 본 발명에서는 구체적인 구성 소자 등과 같은 특정 사항들과 한정된 실시예 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것 일 뿐, 본 발명은 상기의 일 실시예에 한정되는 것이 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허 청구 범위뿐 아니라 이 특허 청구 범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
100 : 데이터 입력부
200 : LR 모델 생성부
210 : 제1 전처리부 220 : 제1 학습 처리부
221 : 생성 모듈 222 : 판별 모듈
230 : 제2 전처리부 240 : 제2 학습 처리부
300 : 저해상도 이미지 수집부
400 : SR 모델 생성부

Claims (12)

  1. 영상 해상도 향상을 위한 훈련에 적용하고자 하는 복수의 광학계 기반의 영상 데이터를 입력받는 데이터 입력부;
    상기 데이터 입력부에 의한 영상 데이터의 전처리를 수행하여 학습 데이터를 생성하고, 기저장된 딥러닝 알고리즘을 이용하여, 상기 학습 데이터의 학습 처리를 수행하여, 광학계 특성이 반영된 저해상도 영상 데이터를 출력하는 저해상화 모델을 생성하는 LR 모델 생성부;
    상기 LR 모델 생성부에 의한 저해상화 모델로 상기 데이터 입력부에 의한 영상 데이터를 입력하여, 해당하는 영상 데이터에 대한 저해상도 영상 데이터를 출력받아 수집하는 저해상도 이미지 수집부; 및
    상기 저해상도 이미지 수집부에서 수집한 저해상도 영상 데이터와 상기 데이터 입력부에 의한 영상 데이터를 이용하여 학습 데이터를 생성하고, 기저장된 딥러닝 알고리즘을 이용하여, 상기 학습 데이터의 학습 처리를 수행하여, 광학계 특성이 반영된 고해상도 영상 데이터를 출력하는 고해상화 모델을 생성하는 SR 모델 생성부;
    를 포함하는, 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템.
  2. 제 1항에 있어서,
    상기 LR 모델 생성부는
    상기 데이터 입력부에 의한 영상 데이터를 이용하여, 각 광학계 별로, 성능 평가에 의해 다양한 왜곡이 적용된 영상 데이터들로 쌍을 이루어 학습 데이터를 생성하는 제1 전처리부;
    기저장된 딥러닝 알고리즘을 이용하여, 상기 제1 전처리부에 의한 각 광학계 별 학습 데이터의 학습 처리를 수행하여, 상기 저해상화 모델을 생성하는 제1 학습 처리부;
    를 포함하는, 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템.
  3. 제 2항에 있어서,
    상기 제1 학습 처리부는
    컨볼루션 신경망으로 구현되며, 상기 제1 전처리부에 의한 각 광학계 별로, 다양한 왜곡 처리된 영상 데이터 쌍을 입력받아, 영상 데이터에 포함되어 있는 특성의 학습 처리를 수행하여, 포함된 왜곡 별로, 가상 영상 데이터를 생성하는 생성 모듈; 및
    컨볼루션 신경망으로 구현되며, 상기 생성 모듈에 의한 가상 영상 데이터와 상기 제1 전처리부에 의한 영상 데이터를 입력받아, 상기 생성 모듈에 의한 데이터인지 상기 제1 전처리부에 의한 영상 데이터인지 구별하는 판별 모듈;
    를 포함하되,
    상기 생성 모듈과 판별 모듈은
    각각의 동작에 대한 자발적인 학습이 이루어지고,
    상기 생성 모듈은
    상기 판별 모듈이 완벽하게 구별한다고 가정할 때, 구별 정확도가 최소화가 되도록 상기 가상 영상 데이터의 생성 동작을 학습하며,
    상기 판별 모듈은
    상기 생성 모듈에 대해 적대적으로 구별 정확도를 높이도록 구별 동작을 학습하는, 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템.
  4. 제 3항에 있어서,
    상기 SR 모델 생성부는
    상기 제1 학습 처리부에 의한 저해상화 모델로부터, 생성한 가상 영상 데이터를 입력받아 상기 학습 데이터를 생성하며,
    상기 고해상화 모델은
    외부로부터 입력되는 저해상도의 영상 데이터를 입력받아, 해당하는 광학계 특성이 반영된 고해상도 영상 데이터를 출력하는, 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템.
  5. 제 1항에 있어서,
    상기 LR 모델 생성부는
    상기 데이터 입력부에 의한 영상 데이터를 이용하여, 각 광학계 별로, 성능 평가에 의해 다양한 왜곡이 적용된 영상 데이터들로 쌍을 이루어 학습 데이터를 생성하는 제2 전처리부;
    기저장된 딥러닝 알고리즘을 이용하여, 상기 제2 전처리부에 의한 복수의 학습 데이터들의 학습 처리를 수행하여, 상기 저해상화 모델을 생성하는 제2 학습 처리부;
    를 포함하는, 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템.
  6. 제 5항에 있어서,
    상기 제2 학습 처리부는
    이종 광학계 간의 왜곡 처리된 영상 데이터에 포함되어 있는 특성의 학습 처리를 수행하여 상기 저해상화 모델을 생성하며,
    상기 저해상화 모델은
    입력되는 영상 데이터에 해당하는 광학계와 상이한 광학계 특성을 반영한 저해상도 영상 데이터를 생성하는, 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템.
  7. 제 6항에 있어서,
    상기 SR 모델 생성부는
    상기 제2 학습 처리부에 의한 저해상화 모델로부터, 생성한 저해상도 영상 데이터를 입력받아 상기 학습 데이터를 생성하며,
    상기 고해상화 모델은
    외부로부터 입력되는 저해상도의 영상 데이터를 입력받아, 해당하는 광학계와 상이한 광학계 특성이 반영된 고해상도 영상 데이터를 출력하는, 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템.
  8. 컴퓨터로 구현되는 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템에 의해 각 단계가 수행되는 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 방법에 있어서,
    데이터 입력부에서, 영상 해당도 향상을 위한 훈련에 적용하고자 하는 복수의 광학계 기반의 영상 데이터를 입력받는 입력 단계(S100);
    LR 모델 생성부에서, 상기 입력 단계(S100)에 의한 영상 데이터를 이용하여, 각 광학계 별로, 성능 평가에 의해 다양한 왜곡이 적용된 영상 데이터들로 쌍을 이루어 학습 데이터를 생성하는 전처리 단계(S200);
    LR 모델 생성부에서, 기저장된 딥러닝 알고리즘을 이용하여, 상기 전처리 단계(S200)에 의해 전처리된 상기 학습 데이터에 대한 학습 처리를 수행하는 제1 학습 처리 단계(S300);
    LR 모델 생성부에서, 상기 제1 학습 처리 단계(S300)에 의한 학습 처리 결과, 광학계 특성이 반영된 저해상도 영상 데이터를 출력하는 저해상화 모델을 생성하는 저해상화 생성 단계(S400);
    저해상도 이미지 수집부에서, 상기 입력 단계(S100)에 의한 영상 데이터를 상기 저해상화 생성 단계(S400)에 의한 저해상화 모델에 입력하여, 해당하는 영상 데이터에 대한 저해상도 영상 데이터를 출력받아 수집하는 저해상도 수집 단계(S500);
    SR 모델 생성부에서, 기저장된 딥러닝 알고리즘을 이용하여, 상기 저해상도 수집 단계(S500)에 의한 저해상도 영상 데이터와 상기 입력 단계(S100)에 의한 영상 데이터를 입력하여 학습 처리를 수행하는 제2 학습 처리 단계(S600); 및
    SR 모델 생성부에서, 상기 제2 학습 처리 단계(S600)에 의한 학습 처리 결과, 광학계 특성이 반영된 고해상도 영상 데이터를 출력하는 고해상화 모델을 생성하는 고해상화 생성 단계(S700);
    를 포함하는, 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 방법.
  9. 제 8항에 있어서,
    상기 제1 학습 처리 단계(S300)는
    상기 전처리 단계(S200)에 의해 각 광학계 별 각각의 학습 데이터의 학습 처리를 수행하되,
    컨볼루션 신경망으로 구현되는 생성 모듈에서, 각 광학계 별로, 다양한 왜곡이 적용된 영상 데이터 쌍을 입력받아, 영상 데이터에 포함되어 있는 특성의 학습 처리를 수행하여, 포함된 왜곡 별로 가상 영상 데이터를 생성하는 가상 생성 단계(S310);
    컨볼루션 신경망으로 구현되는 판별 모듈에서, 상기 가상 생성 단계(S310)에 의한 가상 영상 데이터와 상기 전처리 단계(S200)에 의한 영상 데이터를 입력받아, 상기 가상 생성 단계(S310)에 의한 데이터인지 상기 전처리 단계(S200)에 의한 데이터인지 구별하는 판별 단계(S320); 및
    상기 판별 단계(S320)에 의해 상기 판별 모듈에서 완벽하게 구별한다고 가정할 때, 상기 생성 모듈에서, 상기 판별 모듈에서의 구별 정확도가 최소화하도록 상기 가상 영상 데이터의 생성 동작을 학습하고, 상기 판별 모듈에서, 상기 생성 모듈에 대해 적대적으로 구별 정확도를 높이도록 구별 동작을 학습하는 반복 학습 단계(S330);
    를 더 포함하는, 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 방법.
  10. 제 8항에 있어서,
    상기 제1 학습 처리 단계(S300)는
    상기 전처리 단계(S200)에 의해 이종 광학계에 대한 복수의 학습 데이터들의 학습 처리를 수행하되,
    이종 광학계 간의 다양한 왜곡이 적용된 영상 데이터에 포함되어 있는 특성의 학습 처리를 수행하는 순환 학습 단계(S340);
    를 더 포함하는, 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 방법.
  11. 제 9항에 있어서,
    상기 저해상도 수집 단계(S500)는
    상기 저해상도 영상 데이터로 상기 반복 학습 단계(S330)에 의한 생성 모듈에서 생성한 가상 영상 데이터를 입력받으며,
    상기 고해상화 생성 단계(S700)에 의한 고해상화 모델은
    외부로부터 입력되는 저해상도의 영상 데이터를 입력받아, 해당하는 광학계 특성이 반영된 고해상도 영상 데이터를 출력하는, 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 방법.
  12. 제 10항에 있어서,
    상기 저해상화 생성 단계(S400)는
    상기 순환 학습 단계(S340)에 의한 학습 처리 결과, 입력되는 영상 데이터에 해당하는 광학계과 상이한 광학계 특성을 반영한 저해상도 영상 데이터를 생성하는 저해상화 모델을 생성하고,
    상기 고해상화 생성 단계(S700)에 의한 고해상화 모델은
    외부로부터 입력되는 저해상도의 영상 데이터를 입력받아, 해당하는 광학계와 상이한 광학계 특성이 반영된 고해상도 영상 데이터를 출력하는, 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 방법.
KR1020220045218A 2022-04-12 2022-04-12 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템 및 그 방법 KR102616400B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220045218A KR102616400B1 (ko) 2022-04-12 2022-04-12 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220045218A KR102616400B1 (ko) 2022-04-12 2022-04-12 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20230146334A true KR20230146334A (ko) 2023-10-19
KR102616400B1 KR102616400B1 (ko) 2023-12-27

Family

ID=88507789

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220045218A KR102616400B1 (ko) 2022-04-12 2022-04-12 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102616400B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180122548A (ko) * 2017-05-03 2018-11-13 삼성전자주식회사 이미지를 처리하는 방법 및 장치
KR20200015804A (ko) * 2017-06-30 2020-02-12 케이엘에이 코포레이션 반도체 응용들을 위한 저해상도 이미지들로부터 고해상도 이미지들의 생성
KR20200046163A (ko) * 2018-10-17 2020-05-07 한국항공우주연구원 딥러닝 기반 영상 처리 시스템 및 그 방법
KR102169242B1 (ko) 2018-12-26 2020-10-23 포항공과대학교 산학협력단 초해상도 영상 복원을 위한 기계 학습 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180122548A (ko) * 2017-05-03 2018-11-13 삼성전자주식회사 이미지를 처리하는 방법 및 장치
KR20200015804A (ko) * 2017-06-30 2020-02-12 케이엘에이 코포레이션 반도체 응용들을 위한 저해상도 이미지들로부터 고해상도 이미지들의 생성
KR20200046163A (ko) * 2018-10-17 2020-05-07 한국항공우주연구원 딥러닝 기반 영상 처리 시스템 및 그 방법
KR102169242B1 (ko) 2018-12-26 2020-10-23 포항공과대학교 산학협력단 초해상도 영상 복원을 위한 기계 학습 방법

Also Published As

Publication number Publication date
KR102616400B1 (ko) 2023-12-27

Similar Documents

Publication Publication Date Title
CN110427968B (zh) 一种基于细节增强的双目立体匹配方法
CN113674140B (zh) 一种物理对抗样本生成方法及系统
CN109636721B (zh) 基于对抗学习和注意力机制的视频超分辨率方法
CN109003297B (zh) 一种单目深度估计方法、装置、终端和存储介质
CN110070517B (zh) 基于退化成像机理和生成对抗机制的模糊图像合成方法
CN113221925B (zh) 一种基于多尺度图像的目标检测方法及装置
JP2008310828A (ja) 電気光学画像システムのエンドツーエンド設計
CN109671031B (zh) 一种基于残差学习卷积神经网络的多光谱图像反演方法
CN113724379B (zh) 融合图像与激光点云的三维重建方法及装置
CN110288526A (zh) 一种基于深度学习的图像重建算法提升单像素相机成像质量的优化方法
CN113837947B (zh) 一种获得光学相干层析大焦深图像的处理方法
CN113160239B (zh) 一种违法用地检测方法及装置
CN111626927A (zh) 采用视差约束的双目图像超分辨率方法、系统及装置
CN115456914A (zh) 一种基于先验知识的散焦图像去模糊方法、装置及介质
KR102095444B1 (ko) 딥러닝 기반의 선형성을 갖는 노이즈 영상 제거 방법 및 장치
CN113591528A (zh) 文档矫正方法、装置、计算机设备和存储介质
CN113610905A (zh) 基于子图像匹配的深度学习遥感图像配准方法及应用
CN113159158B (zh) 一种基于生成对抗网络的车牌矫正与重构方法及系统
CN118379358A (zh) 一种基于对抗神经网络的rgb-d相机深度模块标定方法
CN105574844B (zh) 辐射响应函数估计方法和装置
KR102616400B1 (ko) 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템 및 그 방법
CN115578260B (zh) 针对图像超分辨率的方向解耦的注意力方法和系统
CN116091893A (zh) 一种基于U-net网络的地震图像反褶积方法及系统
WO2023206343A1 (zh) 一种基于图像预训练策略的图像超分辨率方法
CN115760603A (zh) 一种基于大数据技术的干涉阵列宽带成像方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant