KR102117936B1 - 딥러닝 기반 영상 처리 시스템 및 그 방법 - Google Patents

딥러닝 기반 영상 처리 시스템 및 그 방법 Download PDF

Info

Publication number
KR102117936B1
KR102117936B1 KR1020180123523A KR20180123523A KR102117936B1 KR 102117936 B1 KR102117936 B1 KR 102117936B1 KR 1020180123523 A KR1020180123523 A KR 1020180123523A KR 20180123523 A KR20180123523 A KR 20180123523A KR 102117936 B1 KR102117936 B1 KR 102117936B1
Authority
KR
South Korea
Prior art keywords
image
low
resolution
resolution image
feature map
Prior art date
Application number
KR1020180123523A
Other languages
English (en)
Other versions
KR20200046163A (ko
Inventor
최연주
한상혁
최준민
Original Assignee
한국항공우주연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공우주연구원 filed Critical 한국항공우주연구원
Priority to KR1020180123523A priority Critical patent/KR102117936B1/ko
Publication of KR20200046163A publication Critical patent/KR20200046163A/ko
Application granted granted Critical
Publication of KR102117936B1 publication Critical patent/KR102117936B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥러닝 기반 영상 처리 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는, 원본 영상(원본 저해상도 영상)과 생성 영상(인위 저해상도 영상) 사이의 특징 맵을 추출하여, 해상도 향상 훈련 외에도 저해상도 영상이 필요한 다양한 연구에 유용하게 활용할 수 있는 딥러닝 기반 영상 처리 시스템 및 그 방법에 관한 것이다.

Description

딥러닝 기반 영상 처리 시스템 및 그 방법 {Image processing system and method based on deep learning}
본 발명은 딥러닝 기반 영상 처리 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 딥러닝(deep learning) 기술을 이용하여 원본 저해상도 영상과 인위적으로 만든 저해상도 영상 간의 특징(feature)을 추출함으로써, 고해상도 영상만을 보유한 다양한 실험에서 저해상도 영상이 필요하거나 인위적으로 만든 저해상도 영상이 갖고 있는 한계를 해결할 수 있는 딥러닝 기반 영상 처리 시스템 및 그 방법에 관한 것이다.
최근 딥러닝 기술을 접목하여 단일 위성 영상의 해상도를 향상시키는 연구가 활발하게 진행되고 있다. 즉, 저해상도의 위성 영상을 고해상도로 변화시키는 것을 의미한다.
이 때, 원본 고해상도 영상 있다고 가정하면, 저해상도 영상은 원본 고해상도 영상의 일부 화소 정보만을 가지고 있는 영상으로 정의할 수 있으며, 저해상도 영상을 이용하여 복원된 고해상도 영상은 저해상도 영상의 일부 화소 정보와 이 화소 정보들을 토대로 추정한 화소 정들로 구성된다. 즉, 해당도 향상은 손실된 정보의 정확한 추정으로 설명할 수 있다.
어떤 저해상도 영상을 가로와 세로로 2배씩 확대하게 되면 저해상도 영상의 1개 화소에 대응되는 화소가 4개로 증가한다. 이에 따라 기존 1개 값 이외의 3개의 화소값은 존재하지 않기 때문에 이 정보들을 추정하여야 한다. 하지만 1개 화소에서 4개 화소의 값을 추정하는 것은 아주 난해한 작업이며 결과 영상의 정확성도 낮아지는 것이 사실이다.
종래에는 이러한 문제점들을 해결하기 위해서 보간법이 사용되어 왔다.
보간법이나 영상 해상도 향상 방법은 실험 환경과 응용 환경에서 다르게 적용된다. 실험 환경에서는 원본 고해상도 영상이 확보되어 있으며, 저해상도 영상은 원본 고해상도 영상의 축소와 부가잡음을 통해서 생성된다. 실험 환경에서는 훼손 정보를 토대로 비교적 정확한 영상 복원이 가능할 수 있다.
반면, 응용 환경에서는 획득한 저해상도 영상으로부터 고해상도 영상을 추정해야 하며, 부가적으로 알 수 있는 정보가 없기 때문에, 해상도 향상 정도를 객관적으로 측정할 수 없다. 이에 따라, 기존의 연구에서는 실험 환경에서 얻어진 결과를 통해서 수치 모델을 생성하고 생성된 수치 모델을 응용 환경에서 적용하여 왔다.
즉, 단일 위성 영상의 해상도를 향상시키는 연구로 현재로서는, 훈련용 데이터를 얻기 위해 단일 위성 영상을 통해서 획득한 고해상도 영상을 원하는 향상 목표치의 역배율로 다운그레이드(downgrade)시켜 인위적으로 훈련용 저해상도 영상을 생성한 후, 생성한 훈련용 저해상도 영상을 딥러닝 네트워크 훈련과정에서 원본의 고해상도 영상과의 비교를 통해 원본과 유사한 고해상도 이미지를 생성하는 연구를 진행하고 있다.
이러한 딥러닝 기술 기반의 해상도 향상 기술에는 목표 고해상도 영상과 훈련을 위한 입력 저해상도 영상이 필수적이다. 그렇지만, 동일 대상에 대한 해상도 차이의 영상을 보유하는 것이 쉽지 않기 때문에, 고해상도 영상을 실험 환경에서 얻어진 결과인 수치 모델(bi-cubic, blurring 등)을 활용하여 인위적으로 다운 샘플링(down-sampling)시켜 인위적으로 저해상도 영상을 얻게 된다.
이 후, 인위적인 저해상도 영상을 훈련을 통해 목표 고해상도 영상과 가장 가까운 해상도의 영상으로 만들어 내는 것이 해상도 향상의 원리이다.
그렇지만, 이러한 방법의 경우, 인위적으로 생성한 저해상도 영상으로부터 추정 값을 더해 해상도를 향상시키는 것으로, 실제 저해상도 영상을 이용해 해상도 향상을 수행하는 것과는 달리 해상도 향상 결과가 제한적이게 이루어질 수밖에 없다.
이와 관련해서, 국내공개특허 제10-2018-0091940호("반도체 적용들을 위한 저해상도 이미지들로부터 고해상도 이미지들의 생성")에서는 표본의 하나 이상의 저해상도 이미지들로부터 표본에 대한 고해상도 이미지를 생성하기 위한 방법 및 스템을 개시하고 있다.
국내 공개 특허 제10-2018-0091940(공개일 2018.08.16.)
본 발명은 상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 딥러닝(deep learning) 기술을 이용하여 원본 저해상도 영상과 인위적으로 만든 저해상도 영상 간의 특징(feature)을 추출함으로써, 고해상도 영상만을 보유한 다양한 실험에서 저해상도 영상이 필요하거나 인위적으로 만든 저해상도 영상이 갖고 있는 한계를 해결할 수 있는 딥러닝 기반 영상 처리 시스템 및 그 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 딥러닝 기반 영상 처리 시스템은, 기저장된 적어도 한 쌍의 고해상도 영상과 상기 고해상도 영상보다 낮은 해상도의 저해상도 영상을 이용하여, 상기 고해상도 영상에 기설정된 수치 모델을 적용시켜 상기 저해상도 영상과 동일한 해상도를 갖는 인위 저해상도 영상을 생성하는 저해상도 생성부(100) 및 상기 저해상도 생성부(100)에서 생성한 상기 인위 저해상도 영상과 상기 저해상도 영상을 전달받아, 기설정된 딥러닝 모델을 적용시켜 상기 인위 저해상도 영상과 저해상도 영상 간의 특징 맵(feature map)을 추출하는 특징맵 추출부(200)를 포함하여 구성되는 것이 바람직하다.
더 나아가, 상기 저해상도 생성부(100)는 동일 대상의 고해상도 영상과 저해상도 영상을 전달받아 쌍을 이루어 저장 및 관리하는 제1 DB부(110) 및 상기 수치 모델을 적용시켜 생성한 상기 인위 저해상도 영상을 상기 제1 DB부(110)에서 저장 및 관리하고 있는 쌍의 영상과 연계하여 저장 및 관리하는 제2 DB부(120)를 포함하여 구성되는 것이 바람직하다.
더 나아가, 상기 특징맵 추출부(200)는 추출한 상기 특징맵을 영상 별로 저장 및 관리하는 제3 DB부(210)를 포함하여 구성되는 것이 바람직하다.
더 나아가, 상기 특징맵 추출부(200)는 상기 인위 저해상도 영상과 저해상도 영상 간의 특징 맵을 추출하거나 수치 모델을 생성하는 것이 바람직하다.
더 나아가, 상기 딥러닝 기반 영상 처리 시스템은 상기 특징맵 추출부(200)에서 추출한 특징 맵 또는 생성한 수치 모델을 전달받아, 외부로부터 입력되는 영상에 상기 특징 맵 또는 수치 모델을 적용시켜 훈련 영상을 생성하는 입력영상 처리부(300)를 더 포함하여 구성되는 것이 바람직하다.
더 나아가, 상기 입력영상 처리부(300)는 외부로부터 고해상도 영상이 입력될 경우, 상기 특징 맵 또는 수치 모델을 적용시켜 저해상도 영상의 훈련 영상을 생성하는 것이 바람직하다.
더 나아가, 상기 입력영상 처리부(300)는 외부로부터 저해상도 영상이 입력될 경우, 상기 특징 맵 또는 수치 모델을 적용시켜 저해상도 영상의 훈련 영상을 생성하는 것이 바람직하다.
더 나아가, 상기 입력영상 처리부(300)는 외부로부터 저해상도 영상이 입력될 경우, 상기 특징 맵 또는 수치 모델을 적용시켜 고해상도 영상의 훈련 영상을 생성하는 것이 바람직하다.
더 나아가, 상기 입력영상 처리부(300)는 외부로부터 입력되는 영상과 생성한 훈련 영상을 쌍을 이루어 저장 및 관리하는 제4 DB부(310)를 더 포함하여 구성되는 것이 바람직하다.
본 발명의 일 실시예에 따른 딥러닝 기반 영상 처리 방법은, 외부로부터 동일 대상에 대한 고해상도 영상과 저해상도 영상을 입력받는 원본영상 입력단계(S100), 상기 원본영상 입력단계(S100)에 의해 입력받은 상기 고해상도 영상에 기설정된 수치모델을 적용시켜, 상기 저해상도 영상과 동일한 해상도를 갖는 인위 저해상도 영상을 생성하는 저해상도 영상 생성단계(S200) 및 상기 저해상도 영상 생성단계(S200)에 의해 생성한 상기 인위 저해상도 영상과 상기 원본영상 입력단계(S100)에 의해 입력받은 상기 저해상도 영상을 전달받아, 기설정된 딥러닝 모델을 적용시켜 상기 영상들 간의 특징 맵(feature map)을 추출하는 특징맵 추출단계(S300)를 포함하여 구성되는 것이 바람직하다.
더 나아가, 상기 특징맵 추출단계(S300)는 상기 영상들 간의 상기 특징 맵을 추출하거나, 수치 모델을 생성하는 것이 바람직하다.
더 나아가, 상기 딥러닝 기반 영상 처리 방법은 상기 특징맵 추출단계(S300)를 수행하고 난 후, 외부로부터 입력되는 영상에 상기 특징 맵 또는 수치 모델을 적용시켜 훈련 영상을 생성하는 훈련영상 생성단계(S400)를 더 포함하여 구성되는 것이 바람직하다.
더 나아가, 상기 훈련영상 생성단계(S400)는 외부로부터 고해상도 영상이 입력될 경우, 상기 특징 맵 또는 수치 모델을 적용시켜 저해상도 영상의 훈련 영상을 생성하는 것이 바람직하다.
더 나아가, 상기 훈련영상 생성단계(S400)는 외부로부터 저해상도 영상이 입력될 경우, 상기 특징 맵 또는 수치 모델을 적용시켜 저해상도 영상의 훈련 영상을 생성하는 것이 바람직하다.
더 나아가, 상기 훈련영상 생성단계(S400)는 외부로부터 저해상도 영상이 입력될 경우, 상기 특징 맵 또는 수치 모델을 적용시켜 고해상도 영상의 훈련 영상을 생성하는 것이 바람직하다.
상기와 같은 구성에 의한 본 발명의 딥러닝 기반 영상 처리 시스템 및 그 방법은 딥러닝(deep learning) 기술을 이용하여 원본 저해상도 영상과 인위적으로 만든 저해상도 영상 간의 특징(feature)을 추출함으로써, 고해상도 영상만을 보유한 다양한 실험에서 저해상도 영상이 필요하거나 인위적으로 만든 저해상도 영상이 갖고 있는 한계를 해결할 수 있는 장점이 있다.
특히, 원본 영상(원본 저해상도 영상)과 생성 영상(인위 저해상도 영상) 사이의 특징 맵을 추출하여, 해상도 향상 훈련 외에도 저해상도 영상이 필요한 다양한 연구에 유용하게 활용할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반 영상 처리 시스템을 나타낸 도면이다.
도 2는 본 발명의 또다른 일 실시예에 따른 딥러닝 기반 영상 처리 시스템을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 딥러닝 기반 영상 처리 방법을 나타낸 순서도이다.
이하 첨부한 도면들을 참조하여 본 발명의 딥러닝 기반 영상 처리 시스템 및 그 방법을 상세히 설명한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.
이 때, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다.
더불어, 시스템은 필요한 기능을 수행하기 위하여 조직화되고 규칙적으로 상호 작용하는 장치, 기구 및 수단 등을 포함하는 구성 요소들의 집합을 의미한다.
딥러닝(Deep learning)이란, 뇌 과학의 연구 성과를 기반으로 데이터의 분류 및 식별 기준을 사람이 가르치지 않아도 데이터를 해석함으로써 스스로 찾아낼 수 있는 기계학습의 수법으로, 본 발명의 일 실시예에 따른 딥러닝 기반 영상 처리 시스템 및 그 방법을 예로 들자면, 인위적으로 생성한 인위 저해상도 영상과 원본 저해상도 영상을 학습 데이터로 입력받아, 분류에 필요한 특징을 사람이 가르치지 않아도 데이터를 해석함으로써 특징을 추출하고, 이에 대한 추론 모델(룰이나 특징 패턴)을 생성할 수 있다.
즉, 동일한 대상에 대하여 수치 모델로부터 얻어진 영상(인위 저해상도 영상)과 원본 영상(원본 저해상도 영상)의 특징을 학습하여 원본 저해상도 영상-인위 저해상도 영상 간의 관계(weight, feature)를 얻게 된다. 이를 통해서, 고해상도 영상 만을 보유한 다양한 실험에서 저해상도 영상이 필요할 때, 종래에 인위적으로 생성하여 활용한 방식을 대체하여 좀 더 자연스러운 저해상도 영상을 제공할 수 있다. 또한, 종래의 인위 저해상도 영상을 이용하여 고해상도 영상을 생성할 경우 나타날 수밖에 없는 제한적인 해상도 향상의 한계도 극복할 수 있다.
이러한 본 발명의 일 실시예에 따른 딥러닝 기반 영상 처리 시스템은 도 1 및 도 2에 도시된 바와 같이, 저해상도 생성부(100) 및 특징맵 추출부(200)를 포함하여 구성되는 것이 바람직하다.
이 때, 상기 저해상도 생성부(100)와 특징맵 추출부(200)는 하나의 또는 분리된 CPU에 각각 형성되어 외부로부터 전달되는 영상 또는 미리 저장되어 있는 영상들을 이용하여 동작하는 것이 바람직하다.
각 구성에 대해서 자세히 알아보자면,
상기 저해상도 생성부(100)는 미리 저장되어 있는 적어도 한 쌍의 고해상도 영상과 상기 고해상도 영상보다 낮은 해상도의 저해상도 영상을 이용하여, 상기 고해상도 영상에 미리 설정된 수치 모델을 적용시켜 상기 저해상도 영상과 동일한 해상도를 갖는 인위 저해상도 영상을 생성할 수 있다.
상세하게는, 상기 저해상도 생성부(100)는 동일 대상에 대한 고해상도 영상(original high resolution)과 저해상도 영상(original low resolution)을 이용하여, 상기 고해상도 영상에 미리 설정된 수치 모델을 이용하여 상기 저해상도 영상과 동일한 해상도를 갖는 인위적으로 만든 '인위 저해상도 영상(artifact low resolution)'을 생성할 수 있다.
이 때, 미리 설정된 수치 모델의 일 예를 들자면, bi-cubic, gaussian filter, blurring 등을 들 수 있으며, 이 외에도 영상의 해상도를 낮출 수 있는 다양한 수치 모델을 적용할 수 있다.
종래에는 상기 저해상도 생성부(100)에서 생성한 상기 인위 저해상도 영상을 이용하여 목표하고 있는 고해상도 영상을 생성하는 훈련을 통해 해상도 향상을 실험하고 있다. 그렇지만, 인위적으로 생성한 저해상도 영상으로부터 추측 수치값을 더해 해상도를 향상시키는 경우, 원본 저해상도 영상을 이용해 해상도를 향상하는 것과는 달리 해상도 향상 결과가 제한적일 수 밖에 없다.
이에 따라, 본 발명의 일 실시예에 따른 딥러닝 기반 영상 처리 시스템은 상기 특징맵 추출부(200)를 통해서 인위 저해상도 영상과 원본 저해상도 영상 간의 특징 맵(feature map)을 추출하여 자연스러운 저해상도 영상을 생성할 수 있다.
상세하게는, 상기 특징맵 추출부(200)는 상기 저해상도 생성부(100)에서 생성한 상기 인위 저해상도 영상과 상기 저해상도 영상을 전달받아, 미리 설정된 딥러닝 모델을 적용시켜 상기 인위 저해상도 영상과 저해상도 영상(원본 저해상도 영상) 간의 특징 맵을 추출하거나, 수치 모델을 생성하는 것이 바람직하다.
여기서, 미리 설정된 딥러닝 모델로는 컨볼루션 신경망(CNN, Convolution Neural Network), 심층 신경망(DNN, Deep Neural Network), 순환 신경망(RNN, Recurrent Neural Network) 등 영상의 대상이나 사용 목적에 따라 상이하게 적용하여 설정하는 것이 바람직하다.
즉, 상기 특징맵 추출부(200)는 미리 설정된 딥러닝 모델을 통해서 상기 인위 저해상도 영상과 저해상도 영상을 학습시켜, '동일 대상에 대한 수치 모델을 통해서 얻어진 영상(인위 저해상도 영상)과 원본 저해상도 영상의 관계(weight/feature)'를 얻을 수 있다.
여기서, 상기 특징맵이란, 영상에서 영역을 구분하고 물체를 검출하는데 의미있는 정보를 포함할 수 있으며, 일 예를 들자면, 영상의 광도, 색채, 윤곽 등을 포함하는 것이 바람직하다.
이렇게 추출한 특징 맵 또는 생성한 수치 모델을 이용하여 고해상도 영상만을 보유한 다양한 실험에서 저해상도 영상이 필요할 때, 종래에 수치 해석만을 적용시켜 생성한 저해상도 영상에 비해 좀 더 자연스러운 저해상도 영상을 제공할 수 있다.
이에 따라, 수치 해석을 적용하여 생성한 저해상도 영상을 이용하여 고해상도로 해상도 향상시키는 훈련의 한계도 극복할 수 있다.
이를 위해서, 상기 저해상도 생성부(100)는 도 1에 도시된 바와 같이, 제1 DB부(110) 및 제2 DB부(120)를 포함하여 구성될 수 있다.
상기 제1 DB부(110)는 동일 대상의 상기 고해상도 영상과 상기 저해상도 영상을 전달받아 쌍을 이루어 저장 및 관리하는 것이 바람직하며,
상기 제2 DB부(120)는 상기 수치 모델을 적용시켜 생성한 상기 인위 저해상도 영상을 저장 및 관리하는 것이 바람직하다.
이 때, 상기 제2 DB부(120)는 상기 제1 DB부(110)에서 저장 및 관리하고 있는 쌍의 영상과 연계하여 저장 및 관리하는 것이 바람직하다.
또한, 상기 특징맵 추출부(200) 역시 도 1에 도시된 바와 같이, 제3 DB부(210)를 더 포함하여 구성되는 것이 바람직하다.
상기 제3 DB부(210)는 상기 딥러닝 모델을 통해서 상기 인위 저해상도 영상과 저해상도 영상을 학습시켜 추출한 특징 맵 또는 생성한 수치 모델을 저장 및 관리하는 것이 바람직하며, 대상 별로/영상 별로 저장 및 관리하는 것이 가장 바람직하다.
본 발명의 일 실시예에 따른 딥러닝 기반 영상 처리 시스템은 도 2에 도시된 바와 같이, 입력영상 처리부(300)를 더 포함하여 구성되는 것이 바람직하다.
상기 입력영상 처리부(300) 역시, 상기 저해상도 생성부(100) 또는 상기 특징맵 추출부(200)와 마찬가지로, 하나의 또는 분리된 CPU에 형성되어 동작하는 것이 바람직하다.
상기 입력영상 처리부(300)를 통해서, 상기 특징맵 추출부(200)를 통해서 추출한 특징 맵 또는 생성한 수치 모델을 다양한 실험에 적용할 수 있다
일 예를 들자면, 고해상도 영상만을 보유한 다양한 실험에서 저해상도 영상이 필요할 때, 또는 저해상도 영상을 목표 고해상도에 가깝게 해상도를 향상시킬 수 때, 종래의 수치 모델만을 적용한 저해상도 영상에 비해 보다 더 자연스러운 저해상도 영상을 제공할 수 있다.
상세하게는, 상기 입력영상 처리부(300)는 상기 특징맵 추출부(200)에서 추출한 특징 맵 또는 생성한 수치 모델을 전달받아, 외부(관리자/사용자 등)로부터 입력되는 영상에 상기 특징 맵 또는 수치 모델을 적용시켜 '훈련 영상'을 생성할 수 있다.
훈련 영상이란 다양한 실험에서 인위적으로 생성한 영상을 의미하는 것이 바람직하며, 해상도 향상 훈련 영상을 의미하는 것이 가장 바람직하다.
일 예를 들자면, 상기 입력영상 처리부(300)는 외부로부터 고해상도 영상이 입력될 경우, 상기 특징 맵 또는 수치 모델을 적용시켜 저해상도의 훈련 영상을 생성할 수 있다. 이렇게 생성한 상기 저해상도의 훈련 영상은 상술한 바와 같이, 종래의 수치 모델만을 적용하여 생성한 인위 저해상도 영상에 비해 보다 더 자연스러운 저해상도 영상으로서, 이를 고해상도로 향상시킬 경우 보다 더 정확도 높게 목표 고해상도 영상에 가깝게 생성할 수 있다.
또다른 일 예를 들자면, 상기 입력영상 처리부(300)는 외부로부터 저해상도 영상이 입력될 경우, 상기 특징 맵 또는 수치 모델을 적용시켜 또다른 저해상도의 훈련 영상을 생성할 수 있다. 이렇게 생성한 상기 저해상도의 훈련 영상은 상술한 바와 같이, 종래의 수치 모델만을 적용하여 생성한 인위 저해상도 영상에 비해 보다 더 자연스러운 저해상도 영상으로서, 이를 고해상도로 향상시킬 경우 보다 더 정확도 높게 목표 고해상도 영상에 가깝게 생성할 수 있다.
더불어, 다른 일 예를 들자면, 상기 입력영상 처리부(300)는 외부로부터 저해상도 영상이 입력될 경우, 상기 특징 맵 또는 수치 모델을 적용시켜 고해상도의 훈련 영상을 생성할 수 있다. 즉, 종래의 수치 모델만을 적용하여 생성한 인위 저해상도 영상을 고해상도로 향상시킨 경우보다 보다 더 원본과 유사한 고해상도 이미지를 생성할 수 있다.
상기 입력영상 처리부(300) 역시, 도 1에 도시된 바와 같이, 제4 DB부(310)를 더 포함하여 구성되는 것이 바람직하며, 상기 제4 DB부(310)는 외부로부터 입력되는 영상과 생성한 상기 훈련 영상을 쌍을 이루어 저장 및 관리하는 것이 가장 바람직하다.
본 발명의 일 실시예에 따른 딥러닝 기반 영상 처리 방법은 도 3에 도시된 바와 같이, 원본영상 입력단계(S100), 저해상도 영상 생성단계(S200) 및 특징맵 추출단계(S300)를 포함하여 이루어지는 것이 바람직하다.
각 단계에 대해서 자세히 알아보자면,
상기 원본영상 입력단계(S100)는 상기 저해상도 생성부(100)에서, 적어도 한 쌍의 고해상도 영상과 상기 고해상도 영상보다 낮은 해상도의 저해상도 영상을 입력받는 것이 바람직하다.
이 때, 적어도 한 쌍의 고해상도 영상과 상기 저해상도 영상은 동일한 대상에 대한 영상들인 것이 가장 바람직하다.
상기 저해상도 영상 생성단계(S200)는 상기 저해상도 생성부(100)에서, 상기 원본영상 입력단계(S100)에 의해 입력받은 상기 고해상도 영상에 미리 설정된 수치모델을 적용시켜, 상기 저해상도 영상과 동일한 해상도를 갖는 인위 저해상도 영상을 생성하는 것이 바람직하다.
상세하게는, 상기 저해상도 영상 생성단계(S200)는 상기 저해상도 생성부(100)에서, 동일 대상에 대한 고해상도 영상(original high resolution)과 저해상도 영상(original low resolution)을 이용하여, 상기 고해상도 영상에 미리 설정된 수치 모델을 이용하여 상기 저해상도 영상과 동일한 해상도를 갖는 인위적으로 만든 '인위 저해상도 영상(artifact low resolution)'을 생성할 수 있다.
이 때, 미리 설정된 수치 모델의 일 예를 들자면, bi-cubic, gaussian filter, blurring 등을 들 수 있으며, 이 외에도 영상의 해상도를 낮출 수 있는 다양한 수치 모델을 적용할 수 있다.
상기 특징맵 추출단계(S300)는 상기 특징맵 추출부(200)에서, 상기 저해상도 영상 생성단계(S200)에 의해 생성한 상기 인위 저해상도 영상과 상기 원본영상 입력단계(S100)에 의해 입력받은 상기 저해상도 영상을 전달받아, 미리 설정된 딥러닝 모델을 적용시켜 상기 영상들 간의 특징 맵을 추출하거나, 수치 모델을 생성하는 것이 바람직하다.
상세하게는, 상기 특징맵 추출단계(S300)는 상기 특징맵 추출부(200)에서, 미리 설정된 딥러닝 모델을 통해서 상기 인위 저해상도 영상과 저해상도 영상을 학습시켜, '동일 대상에 대한 수치 모델을 통해서 얻어진 영상(인위 저해상도 영상)과 원본 저해상도 영상의 관계(weight/feature)'를 얻을 수 있다.
여기서, 상기 특징맵이란, 영상에서 영역을 구분하고 물체를 검출하는데 의미있는 정보를 포함할 수 있으며, 일 예를 들자면, 영상의 광도, 색채, 윤곽 등을 포함하는 것이 바람직하다.
또한, 미리 설정된 딥러닝 모델로는 컨볼루션 신경망(CNN, Convolution Neural Network), 심층 신경망(DNN, Deep Neural Network), 순환 신경망(RNN, Recurrent Neural Network) 등 영상의 대상이나 사용 목적에 따라 상이하게 적용하여 설정하는 것이 바람직하다.
이렇게 추출한 특징 맵 또는 생성한 수치 모델을 이용하여 고해상도 영상만을 보유한 다양한 실험에서 저해상도 영상이 필요할 때, 종래에 수치 해석만을 적용시켜 생성한 저해상도 영상에 비해 좀 더 자연스러운 저해상도 영상을 제공할 수 있다.
이에 따라, 수치 해석을 적용하여 생성한 저해상도 영상을 이용하여 고해상도로 해상도 향상시키는 훈련의 한계도 극복할 수 있다.
상세하게는, 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 딥러닝 기반 영상 처리 방법은 상기 특징맵 추출단계(S300)를 수행하고 난 후, 훈련영상 생성단계(S400)를 더 포함하는 것이 바람직하다.
상기 훈련영상 생성단계(S400)는 상기 입력영상 처리부(300)에서, 외부로부터 입력되는 영상에 대해 상기 특징 맵 또는 수치 모델을 적용시켜 훈련 영상을 생성하는 것이 바람직하다.
즉, 상기 훈련영상 생성단계(S400)는 상기 입력영상 처리부(300)에서, 상기 특징맵 추출부(200)에서 추출한 특징 맵 또는 생성한 수치 모델을 전달받아, 외부(관리자/사용자 등)로부터 입력되는 영상에 상기 특징 맵 또는 수치 모델을 적용시켜 '훈련 영상'을 생성할 수 있다.
훈련 영상이란 다양한 실험에서 인위적으로 생성한 영상을 의미하는 것이 바람직하며, 해상도 향상 훈련 영상을 의미하는 것이 가장 바람직하다.
일 예를 들자면, 상기 훈련영상 생성단계(S400)는 외부로부터 고해상도 영상이 입력될 경우, 상기 특징 맵 또는 수치 모델을 적용시켜 저해상도의 훈련 영상을 생성할 수 있다. 이렇게 생성한 상기 저해상도의 훈련 영상은 상술한 바와 같이, 종래의 수치 모델만을 적용하여 생성한 인위 저해상도 영상에 비해 보다 더 자연스러운 저해상도 영상으로서, 이를 고해상도로 향상시킬 경우 보다 더 정확도 높게 목표 고해상도 영상에 가깝게 생성할 수 있다.
또다른 일 예를 들자면, 상기 훈련영상 생성단계(S400)는 외부로부터 저해상도 영상이 입력될 경우, 상기 특징 맵 또는 수치 모델을 적용시켜 또다른 저해상도의 훈련 영상을 생성할 수 있다. 이렇게 생성한 상기 저해상도의 훈련 영상은 상술한 바와 같이, 종래의 수치 모델만을 적용하여 생성한 인위 저해상도 영상에 비해 보다 더 자연스러운 저해상도 영상으로서, 이를 고해상도로 향상시킬 경우 보다 더 정확도 높게 목표 고해상도 영상에 가깝게 생성할 수 있다.
더불어, 다른 일 예를 들자면, 상기 훈련영상 생성단계(S400)는 외부로부터 저해상도 영상이 입력될 경우, 상기 특징 맵 또는 수치 모델을 적용시켜 고해상도의 훈련 영상을 생성할 수 있다. 즉, 종래의 수치 모델만을 적용하여 생성한 인위 저해상도 영상을 고해상도로 향상시킨 경우보다 보다 더 원본과 유사한 고해상도 이미지를 생성할 수 있다.
즉, 다시 말하자면, 본 발명의 일 실시예에 따른 딥러닝 기반 영상 처리 시스템 및 그 방법은 원본 영상(원본 저해상도 영상)과 생성 영상(인위 저해상도 영상) 사이의 특징 맵을 추출하여, 해상도 향상 훈련 외에도 저해상도 영상이 필요한 다양한 연구에 유용하게 활용될 수 있다.
한편, 본 발명의 실시예에 따른 딥러닝 기반 영상 처리 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명에서는 구체적인 구성 소자 등과 같은 특정 사항들과 한정된 실시예 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것 일 뿐, 본 발명은 상기의 일 실시예에 한정되는 것이 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허 청구 범위뿐 아니라 이 특허 청구 범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
100 : 저해상도 생성부
110 : 제1 DB부 120 : 제2 DB부
200 : 특징맵 추출부
210 : 제3 DB부
300 : 입력영상 처리부
310 : 제4 DB부

Claims (15)

  1. 동일 대상에 대한 고해상도 영상과 상기 고해상도 영상보다 낮은 해상의 저해상도 영상이 쌍을 이루어 저장되어 있으며, 적어도 한 쌍의 영상들을 이용하여, 상기 고해상도 영상에 기설정된 수치 모델을 적용시켜 상기 저해상도 영상과 동일한 해상도를 갖는 인위 저해상도 영상을 생성하는 저해상도 생성부(100);
    상기 저해상도 생성부(100)에 저장되어 있는 원본의 상기 저해상도 영상과 생성한 상기 인위 저해상도 영상을 전달받아, 기설정된 딥러닝 모델을 적용시켜 상기 인위 저해상도 영상과 저해상도 영상 간의 특징 맵(feature map)을 추출하거나, 수치 모델을 생성하는 특징맵 추출부(200); 및
    상기 특징맵 추출부(200)에서 추출한 특징 맵 또는 생성한 수치 모델을 전달받아, 외부로부터 입력되는 영상에 상기 특징 맵 또는 수치 모델을 적용시켜 저해상도의 훈련 영상을 생성하는 입력영상 처리부(300);
    를 포함하여 구성되는 것을 특징으로 하는 딥러닝 기반 영상 처리 시스템.
  2. 제 1항에 있어서,
    상기 저해상도 생성부(100)는
    동일 대상의 고해상도 영상과 저해상도 영상을 전달받아 쌍을 이루어 저장 및 관리하는 제1 DB부(110); 및
    상기 수치 모델을 적용시켜 생성한 상기 인위 저해상도 영상을 상기 제1 DB부(110)에서 저장 및 관리하고 있는 쌍의 영상과 연계하여 저장 및 관리하는 제2 DB부(120);
    를 포함하여 구성되는 것을 특징으로 하는 딥러닝 기반 영상 처리 시스템.
  3. 제 1항에 있어서,
    상기 특징맵 추출부(200)는
    추출한 상기 특징맵을 영상 별로 저장 및 관리하는 제3 DB부(210);
    를 포함하여 구성되는 것을 특징으로 하는 딥러닝 기반 영상 처리 시스템.
  4. 삭제
  5. 삭제
  6. 제 1항에 있어서,
    상기 입력영상 처리부(300)는
    외부로부터 고해상도 영상이 입력될 경우, 상기 특징 맵 또는 수치 모델을 적용시켜 저해상도 영상의 훈련 영상을 생성하는 것을 특징으로 하는 딥러닝 기반 영상 처리 시스템.
  7. 제 1항에 있어서,
    상기 입력영상 처리부(300)는
    외부로부터 저해상도 영상이 입력될 경우, 상기 특징 맵 또는 수치 모델을 적용시켜 저해상도 영상의 훈련 영상을 생성하는 것을 특징으로 하는 딥러닝 기반 영상 처리 시스템.
  8. 삭제
  9. 제 1항에 있어서,
    상기 입력영상 처리부(300)는
    외부로부터 입력되는 영상과 생성한 훈련 영상을 쌍을 이루어 저장 및 관리하는 제4 DB부(310);
    를 더 포함하여 구성되는 것을 특징으로 하는 딥러닝 기반 영상 처리 시스템.
  10. 외부로부터 동일 대상에 대한 고해상도 영상과 저해상도 영상을 입력받는 원본영상 입력단계(S100);
    상기 원본영상 입력단계(S100)에 의해 입력받은 상기 고해상도 영상에 기설정된 수치모델을 적용시켜, 상기 저해상도 영상과 동일한 해상도를 갖는 인위 저해상도 영상을 생성하는 저해상도 영상 생성단계(S200);
    상기 저해상도 영상 생성단계(S200)에 의해 생성한 상기 인위 저해상도 영상과 상기 원본영상 입력단계(S100)에 의해 입력받은 원본의 상기 저해상도 영상을 전달받아, 기설정된 딥러닝 모델을 적용시켜 상기 영상들 간의 특징 맵(feature map)을 추출하거나, 수치 모델을 생성하는 특징맵 추출단계(S300); 및
    외부로부터 입력되는 영상에 상기 특징맵 추출단계(S300)에 의한 상기 특징 맵 또는 수치 모델을 적용시켜, 저해상도의 훈련 영상을 생성하는 훈련영상 생성단계(S400);
    를 포함하여 구성되는 것을 특징으로 하는 딥러닝 기반 영상 처리 방법.
  11. 삭제
  12. 삭제
  13. 제 10항에 있어서,
    상기 훈련영상 생성단계(S400)는
    외부로부터 고해상도 영상이 입력될 경우, 상기 특징 맵 또는 수치 모델을 적용시켜 저해상도 영상의 훈련 영상을 생성하는 것을 특징으로 하는 딥러닝 기반 영상 처리 방법.
  14. 제 10항에 있어서,
    상기 훈련영상 생성단계(S400)는
    외부로부터 저해상도 영상이 입력될 경우, 상기 특징 맵 또는 수치 모델을 적용시켜 저해상도 영상의 훈련 영상을 생성하는 것을 특징으로 하는 딥러닝 기반 영상 처리 방법.
  15. 삭제
KR1020180123523A 2018-10-17 2018-10-17 딥러닝 기반 영상 처리 시스템 및 그 방법 KR102117936B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180123523A KR102117936B1 (ko) 2018-10-17 2018-10-17 딥러닝 기반 영상 처리 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180123523A KR102117936B1 (ko) 2018-10-17 2018-10-17 딥러닝 기반 영상 처리 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200046163A KR20200046163A (ko) 2020-05-07
KR102117936B1 true KR102117936B1 (ko) 2020-06-02

Family

ID=70733445

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180123523A KR102117936B1 (ko) 2018-10-17 2018-10-17 딥러닝 기반 영상 처리 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102117936B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102471288B1 (ko) 2020-08-27 2022-11-28 한국전자기술연구원 송신, 수신 장치 및 방법
KR102447480B1 (ko) * 2020-11-20 2022-09-27 주식회사 엔가든 저해상도 삽입홀 영상 처리 방법
KR102454335B1 (ko) * 2020-12-08 2022-10-14 한양대학교 산학협력단 자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법
CN112818820B (zh) * 2021-01-28 2024-03-19 北京达佳互联信息技术有限公司 图像生成模型训练方法、图像生成方法、装置及电子设备
KR102616400B1 (ko) * 2022-04-12 2023-12-27 한국항공우주연구원 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템 및 그 방법
KR102654017B1 (ko) * 2023-11-15 2024-04-02 중앙대학교 산학협력단 생성형 순환 신경망 모델을 이용한 영상 개선과 학습데이터 생성을 통합하는 방법 및 그 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011002882A (ja) 2009-06-16 2011-01-06 Olympus Corp 撮像装置、画像処理プログラム、および撮像方法
JP2013021635A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置、画像処理方法、プログラム、及び記録媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101632917B1 (ko) * 2010-02-08 2016-07-04 삼성전자주식회사 고화질 영상 획득을 위한 학습 기반 고해상도 향상 장치 및 방법
US10648924B2 (en) 2016-01-04 2020-05-12 Kla-Tencor Corp. Generating high resolution images from low resolution images for semiconductor applications

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011002882A (ja) 2009-06-16 2011-01-06 Olympus Corp 撮像装置、画像処理プログラム、および撮像方法
JP2013021635A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置、画像処理方法、プログラム、及び記録媒体

Also Published As

Publication number Publication date
KR20200046163A (ko) 2020-05-07

Similar Documents

Publication Publication Date Title
KR102117936B1 (ko) 딥러닝 기반 영상 처리 시스템 및 그 방법
Xu et al. Sub-pixel mapping based on a MAP model with multiple shifted hyperspectral imagery
CN110210524B (zh) 一种图像增强模型的训练方法、图像增强方法及装置
Wu et al. Dynamic filtering with large sampling field for convnets
KR102570562B1 (ko) 영상 처리 장치 및 그 동작방법
JP6597914B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR101853237B1 (ko) 딥 러닝을 이용한 3차원 기하 디노이징 방법 및 그 장치
EP3620977A1 (en) Method and device for generating image data set to be used for learning cnn capable of detecting obstruction in autonomous driving circumstance
US20200372616A1 (en) Robust methods for deep image transformation, integration and prediction
KR102166016B1 (ko) 이미지 대 이미지의 변환을 위한 도메인 인식 기반의 변환 기법
CN113221902B (zh) 基于数据分布扩充的跨域自适应语义分割方法及系统
KR102464359B1 (ko) 합성 도메인에서 실제 도메인으로 적응하기 위한 이미지 변환 장치 및 방법
CN102903087B (zh) 基于gpu编程的sar图像去噪方法
CN117009873A (zh) 支付风险识别模型的生成方法、支付风险识别方法及装置
Liao et al. Blind image restoration with eigen-face subspace
KR102363049B1 (ko) 디포커스 맵 추정을 위한 기계 학습 방법 및 장치
Lee et al. Learning multiple probabilistic degradation generators for unsupervised real world image super resolution
JP2023547454A (ja) 画像フレームシーケンスの信号対雑音比を改善するための方法および画像処理デバイス
Oliveira et al. Accelerated unsupervised filtering for the smoothing of road pavement surface imagery
Wang et al. High-and low-level feature enhancement for medical image segmentation
Wang et al. Blind2Sound: Self-supervised image denoising without residual noise
Mahmood et al. 3-D Shape Recovery from Image Focus Using Rank Transform
Abdalmajeed et al. Using the natural scenes’ edges for assessing image quality blindly and efficiently
CN112465828B (zh) 一种图像语义分割方法、装置、电子设备及存储介质
Xie et al. LA-HRNet: High-Resolution Network for Automatic Left Atrial Segmentation in Multi-center LEG MRI

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant