KR102339584B1 - 저조도 영상 복원 방법 및 이를 수행하기 위한 컴퓨팅 장치 - Google Patents

저조도 영상 복원 방법 및 이를 수행하기 위한 컴퓨팅 장치 Download PDF

Info

Publication number
KR102339584B1
KR102339584B1 KR1020200149402A KR20200149402A KR102339584B1 KR 102339584 B1 KR102339584 B1 KR 102339584B1 KR 1020200149402 A KR1020200149402 A KR 1020200149402A KR 20200149402 A KR20200149402 A KR 20200149402A KR 102339584 B1 KR102339584 B1 KR 102339584B1
Authority
KR
South Korea
Prior art keywords
image
illuminance
low
illuminance image
luminance channel
Prior art date
Application number
KR1020200149402A
Other languages
English (en)
Inventor
홍민철
오종근
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020200149402A priority Critical patent/KR102339584B1/ko
Application granted granted Critical
Publication of KR102339584B1 publication Critical patent/KR102339584B1/ko

Links

Images

Classifications

    • G06T5/001—
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

저조도 영상 복원 방법 및 이를 수행하기 위한 컴퓨팅 장치가 개시된다. 개시되는 일 실시예에 따른 저조도 영상 복원 장치는, 입력되는 저조도 영상 및 일반 조도 영상을 각각 휘도 채널 및 색차 채널로 각각 분리하는 전처리 모듈, 휘도 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 휘도 채널의 저조도 영상 및 일반 조도 영상을 각각 조명 성분 및 반사 성분으로 분해하는 영상 분해 모듈, 색차 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 입력 받은 색차 채널의 저조도 영상 및 일반 조도 영상에 기반하여 개선된 색차 채널의 저조도 영상을 출력하는 색차 개선 모듈, 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 조도를 개선하여 조도가 개선된 저조도 영상의 조명 성분을 출력하는 조도 개선 모듈, 및 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 반사 성분, 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분, 및 개선된 색차 채널의 저조도 영상을 기반으로 저조도 영상을 복원하는 영상 복원 모듈을 포함한다.

Description

저조도 영상 복원 방법 및 이를 수행하기 위한 컴퓨팅 장치{METHOD FOR RESTORING LOW LIGHT IMAGE AND COMPUTING DEVICE FOR EXECUTING THE METHOD}
본 발명의 실시예는 저조도 영상 복원 기술과 관련된다.
영상처리 분야에서 영상의 인각 시각의 지각을 저해하는 요소들을 극복하기 위한 노력은 지속적으로 있어 왔다. 지속적인 기술의 발달에도 불구하고 영상의 조명 환경의 저해는 아직 인간 시각을 방해하는 주된 요소로 남아 있다. 더불어, 조명의 저해는 낮은 조도(저조도)의 영상을 만들어 낼 뿐만 아니라 그 안에 많은 열화 요소들을 동반하게 된다.
저조도 영상 개선 분야는 다양한 외부 조명 환경에 의해 획득된 저조도 영상을 사람 또는 기계가 인지할 수 있도록 복원하는 기술로서 지속적인 연구가 활발하게 이루어지고 있다. 그러나, 기존의 저조도 영상 복원 기술들은 조도의 정도에 따라 색 왜곡 현상의 복원 성능이 안정적이지 않다는 문제점이 있다.
한국등록특허공보 제10-1959147호(2019.03.15)
본 발명은 영상 내 요소들의 인지성을 해치지 않고 자연스러운 복원 영상을 생성할 수 있는 저조도 영상 복원 방법 및 이를 수행하기 위한 컴퓨팅 장치를 제공하는 것을 목적으로 한다.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치로서, 입력되는 저조도 영상 및 일반 조도 영상을 각각 휘도 채널 및 색차 채널로 각각 분리하는 전처리 모듈; 상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 각각 조명 성분 및 반사 성분으로 분해하는 영상 분해 모듈; 상기 색차 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 입력 받은 상기 색차 채널의 저조도 영상 및 일반 조도 영상에 기반하여 개선된 색차 채널의 저조도 영상을 출력하는 색차 개선 모듈; 상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 조도를 개선하여 조도가 개선된 저조도 영상의 조명 성분을 출력하는 조도 개선 모듈; 및 상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 반사 성분, 상기 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분, 및 상기 개선된 색차 채널의 저조도 영상을 기반으로 상기 저조도 영상을 복원하는 영상 복원 모듈을 포함한다.
상기 영상 분해 모듈은, 상기 휘도 채널의 저조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 저조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제1 인공 신경망 모델을 구비하는 제1 영상 분해 모듈; 및 상기 휘도 채널의 일반 조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 일반 조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제2 인공 신경망 모델을 구비하는 제2 영상 분해 모듈을 포함할 수 있다.
상기 제1 인공 신경망 모델과 상기 제2 인공 신경망 모델은, 각 신경망의 가중치를 상호 공유하도록 마련될 수 있다.
상기 제1 인공 신경망 모델은, 입력 받은 상기 휘도 채널의 저조도 영상에서 조명 성분을 분해하도록 학습되는 제1 조명성분 분해신경망; 및 입력 받은 상기 휘도 채널의 저조도 영상에서 반사 성분을 분해하도록 학습되는 제1 반사성분 분해신경망을 포함할 수 있다.
상기 제1 조명성분 분해신경망은, 입력 받은 상기 휘도 채널의 저조도 영상에서 조명 성분을 분해할 때, 공간적 매끈함(Spatially Smoothness) 및 국부 균일성(Local Homogeneity) 중 하나 이상을 포함하는 조명 성분의 특성이 반영되도록 학습되는 제1-1 서브 신경망; 및 입력 받은 상기 휘도 채널의 저조도 영상에서 조명 성분을 분해할 때, 조명 성분의 구조적 해석 및 노이즈 제거를 수행하도록 학습되는 제1-2 서브 신경망을 포함할 수 있다.
상기 제1 반사성분 분해 신경망은, 입력 받은 상기 휘도 채널의 저조도 영상에서 반사 성분을 분해할 때, 반사 성분이 저조도 영상 내 오브젝트들의 디테일 및 경계선 정보를 보존하도록 학습되는 제1-3 서브 신경망; 및 입력 받은 상기 휘도 채널의 저조도 영상에서 반사 성분을 분해할 때, 반사 성분의 구조적 해석 및 노이즈 제거를 수행하도록 학습되는 제1-4 서브 신경망을 포함할 수 있다.
상기 제1-1 서브 신경망은, Multi-Scale Forward CNN(Convolutional Neural Network)으로 구현되고, 상기 제1-2 서브 신경망 및 상기 제1-4 서브 신경망은, Multi-Scale AutoEncoder로 구현되며, 상기 제1-3 서브 신경망은, Forward CNN으로 구현될 수 있다.
상기 제2 인공 신경망 모델은, 입력 받은 상기 휘도 채널의 일반 조도 영상에서 조명 성분을 분해하도록 학습되는 제2 조명성분 분해신경망; 및 입력 받은 상기 휘도 채널의 일반 조도 영상에서 반사 성분을 분해하도록 학습되는 제2 반사성분 분해신경망을 포함할 수 있다.
상기 제2 조명성분 분해신경망은, 입력 받은 상기 휘도 채널의 일반 조도 영상에서 조명 성분을 분해할 때, 공간적 매끈함(Spatially Smoothness) 및 국부 균일성(Local Homogeneity) 중 하나 이상을 포함하는 조명 성분의 특성이 반영되도록 학습되는 제2-1 서브 신경망; 및 입력 받은 상기 휘도 채널의 일반 조도 영상에서 조명 성분을 분해할 때, 조명 성분의 구조적 해석 및 노이즈 제거를 수행하도록 학습되는 제2-2 서브 신경망을 포함할 수 있다.
상기 제2 반사성분 분해 신경망은, 입력 받은 상기 휘도 채널의 일반 조도 영상에서 반사 성분을 분해할 때, 반사 성분이 일반 조도 영상 내 오브젝트들의 디테일 및 경계선 정보를 보존하도록 학습되는 제2-3 서브 신경망; 및 입력 받은 상기 휘도 채널의 일반 조도 영상에서 반사 성분을 분해할 때, 반사 성분의 구조적 해석 및 노이즈 제거를 수행하도록 학습되는 제2-4 서브 신경망을 포함할 수 있다.
상기 제2-1 서브 신경망은, Multi-Scale Forward CNN(Convolutional Neural Network)으로 구현되고, 상기 제2-2 서브 신경망 및 상기 제2-4 서브 신경망은, Multi-Scale AutoEncoder로 구현되며, 상기 제2-3 서브 신경망은, Forward CNN으로 구현될 수 있다.
상기 영상 분해 모듈의 전체 손실 함수(LOSST)는 하기의 수학식으로 표현될 수 있다.
(수학식)
LOSST = LD + LR + LL
LD : 분해 손실 함수
LR : 반사성분모델 손실 함수
LL : 조명성분모델 손실 함수
상기 분해 손실 함수(LD)는 하기의 수학식으로 표현될 수 있다.
(수학식)
Figure 112020120124781-pat00001
Figure 112020120124781-pat00002
: 제1 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 반사 성분
Figure 112020120124781-pat00003
: 제2 영상 분해 모듈에서 출력되는 휘도 채널의 일반 조도 영상의 반사 성분
Figure 112020120124781-pat00004
: 제2 영상 분해 모듈에서 출력되는 휘도 채널의 일반 조도 영상의 조명 성분
Figure 112020120124781-pat00005
: 제2 영상 분해 모듈로 입력되는 휘도 채널의 일반 조도 영상
Figure 112020120124781-pat00006
: 제1 영상 분해 모듈로 입력되는 휘도 채널의 저조도 영상
Figure 112020120124781-pat00007
: 영상 분해 모듈의 최적화 매개 변수
상기 반사성분모델 손실 함수(LR)는 하기의 수학식으로 표현될 수있다.
(수학식)
Figure 112020120124781-pat00008
Figure 112020120124781-pat00009
: 경사도 연산자(Gradient Operator)
Figure 112020120124781-pat00010
: 반사성분모델 최적화 매개 변수
상기 조명성분모델 손실 함수(LL)는 하기의 수학식으로 표현될 수 있다.
(수학식)
Figure 112020120124781-pat00011
Figure 112020120124781-pat00012
: 조명성분모델 최적화 매개 변수
Figure 112020120124781-pat00013
: 분모가 0이 되는 것을 방지하기 위한 상수
상기 조도 개선 모듈은, 상기 제1 영상 분해 모듈로부터 상기 저조도 영상의 조명 성분을 입력 받고, 상기 제2 영상 분해 모듈로부터 상기 일반 조도 영상의 조명 성분을 입력 받으며, 상기 입력된 저조도 영상의 조명 성분 및 상기 일반 조도 영상의 조명 성분을 기반으로 조도가 개선된 저조도 영상의 조명 성분을 출력하도록 학습될 수 있다.
상기 조도 개선 모듈의 손실 함수(LOSSENH)는 하기의 수학식으로 표현될 수 있다.
(수학식)
Figure 112020120124781-pat00014
Figure 112020120124781-pat00015
: 개선된 저조도 영상의 조명 성분
Figure 112020120124781-pat00016
: 제2 영상 분해 모듈에서 출력되는 휘도 채널의 일반 조도 영상의 조명 성분
상기 색차 개선 모듈의 손실 함수(LOSSChr)는 하기의 수학식으로 표현될 수 있다.
(수학식)
Figure 112020120124781-pat00017
Figure 112020120124781-pat00018
: j번째 색차 채널의 일반 조도 영상
Figure 112020120124781-pat00019
: 개선된 j번째 색차 채널의 저조도 영상
상기 영상 복원 모듈은, 상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 반사 성분과 상기 조도 개선 모듈에서 출력되는 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분을 합성하여 개선된 휘도 채널의 저조도 영상을 생성하고, 상기 개선된 휘도 채널의 저조도 영상과 상기 개선된 색차 채널의 저조도 영상을 합성하여 상기 저조도 영상을 복원할 수 있다.
개시되는 다른 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들, 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치로서, 휘도 채널의 저조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 저조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제1 인공 신경망 모델을 구비하는 제1 영상 분해 모듈; 휘도 채널의 일반 조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 일반 조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제2 인공 신경망 모델을 구비하는 제2 영상 분해 모듈; 색차 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 입력 받은 상기 색차 채널의 저조도 영상 및 일반 조도 영상에 기반하여 개선된 색차 채널의 저조도 영상을 출력하는 색차 개선 모듈; 상기 제1 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 조명 성분의 조도를 개선하여 조도가 개선된 저조도 영상의 조명 성분을 출력하는 조도 개선 모듈; 및 상기 제1 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 반사 성분, 상기 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분, 및 상기 개선된 색차 채널의 저조도 영상을 기반으로 상기 저조도 영상을 복원하는 영상 복원 모듈을 포함한다.
개시되는 일 실시예에 따른 저조도 영상 복원 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치에서 수행되는 방법으로서, 입력되는 저조도 영상 및 일반 조도 영상을 각각 휘도 채널 및 색차 채널로 각각 분리하는 동작; 상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 각각 조명 성분 및 반사 성분으로 분해하는 동작; 상기 색차 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 입력 받은 상기 색차 채널의 저조도 영상 및 일반 조도 영상에 기반하여 개선된 색차 채널의 저조도 영상을 출력하는 동작; 상기 휘도 채널의 저조도 영상의 조명 성분을 입력 받고, 상기 휘도 채널의 저조도 영상의 조명 성분의 조도를 개선하여 조도가 개선된 저조도 영상의 조명 성분을 출력하는 동작; 및 상기 휘도 채널의 저조도 영상의 반사 성분, 상기 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분, 및 상기 개선된 색차 채널의 저조도 영상을 기반으로 상기 저조도 영상을 복원하는 동작을 포함한다.
개시되는 다른 실시예에 따른 저조도 영상 복원 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치에서 수행되는 방법으로서, 휘도 채널의 저조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 저조도 영상을 조명 성분과 반사 성분으로 분해하는 동작; 휘도 채널의 일반 조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 일반 조도 영상을 조명 성분과 반사 성분으로 분해하는 동작; 색차 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 입력 받은 상기 색차 채널의 저조도 영상 및 일반 조도 영상에 기반하여 개선된 색차 채널의 저조도 영상을 출력하는 동작; 상기 휘도 채널의 저조도 영상의 조명 성분의 조도를 개선하여 조도가 개선된 저조도 영상의 조명 성분을 출력하는 동작; 및 상기 휘도 채널의 저조도 영상의 반사 성분, 상기 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분, 및 상기 개선된 색차 채널의 저조도 영상을 기반으로 상기 저조도 영상을 복원하는 동작을 포함한다.
본 발명의 실시예에 따르면, 개시되는 실시예에 의하면, 영상 분해 모듈에서 다중 도메인 구조를 통해 각 영상(저조도 영상 및 일반 조도 영상)을 조명 성분과 반사 성분으로 분해함으로써, 신경망 모델에서 수렴 속도 및 성능을 향상시킬 수 있어 효율적인 학습을 수행할 수 있게 된다.
또한, 영상 분해 모듈에서 각 영상의 반사 성분이 영상 내 오브젝트들의 디테일 및 경계선 정보를 보존하도록 하고, 각 영상의 조명 성분이 공간적 평탄한 특성을 가지도록 학습함으로써, 영상 내 요소들의 인지성을 해치지 않고 자연스러운 복원 영상을 생성할 수 있게 된다.
또한, 휘도 채널과 색차 채널을 분리하여 학습함으로써, 학습에 효율적인 구조를 구현할 수 있으며 저조도 개선 성능을 높일 수 있게 된다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 저조도 영상 복원 장치의 구성을 나타낸 도면이고,
도 2는 본 발명의 일 실시예에 따른 영상 분해 모듈의 구성을 나타낸 블록도이며,
도 3은 본 발명의 일 실시예에 따른 영상 분해 모듈에서 Multi-Scale Forward CNN(Convolutional Neural Network)의 구조를 나타낸 도면이고,
도 4는 본 발명의 일 실시예에 따른 영상 분해 모듈에서 Forward CNN의 구조를 나타낸 도면이며,
도 5는 본 발명의 일 실시예에 따른 영상 분해 모듈에서 Multi-Scale AutoEncoder의 구조를 나타낸 도면이고,
도 6은 본 발명의 일 실시예에 따른 조도 개선 모듈에서 Forward CNN의 구조를 나타낸 도면이며,
도 7은 본 발명의 일 실시예에 따른 색차 개선 모듈에서 Forward CNN의 구조를 나타낸 도면이고,
도 8은 저조도 영상을 개시되는 일 실시예에 따른 저조도 영상 복원 방법으로 복원한 상태를 나타낸 도면이며,
도 9는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다.
이하, 본 발명의 실시 예를 첨부된 도면들을 참조하여 더욱 상세하게 설명한다. 본 발명의 실시 예는 여러 가지 형태로 변형할 수 있으며, 본 발명의 범위가 아래의 실시 예들로 한정되는 것으로 해석되어서는 안 된다. 본 실시 예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해 제공되는 것이다. 따라서 도면에서의 요소의 형상은 보다 명확한 설명을 강조하기 위해 과장되었다.
본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시 예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명 시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다.
도 1은 본 발명의 일 실시예에 따른 저조도 영상 복원 장치의 구성을 나타낸 도면이다.
도 1을 참조하면, 저조도 영상 복원 장치(100)는 전처리 모듈(102), 영상 분해 모듈(104), 조도 개선 모듈(106), 색차 개선 모듈(108), 및 영상 복원 모듈(110)을 포함할 수 있다.
도 1에 도시된 저조도 영상 복원 장치(100)의 구성은 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 본 발명에 따른 기능을 수행하기 위하여 상호 기능적으로 연결될 수 있으며, 어느 하나 이상의 구성이 실제 물리적으로는 서로 통합되어 구현될 수도 있다.
예시적인 실시예에서, 저조도 영상 복원 장치(100)는 합성곱 신경망(Convolutional Neural Network : CNN) 기반의 머신 러닝 기술로 구현될 수 있으나, 머신 러닝 기술이 이에 한정되는 것은 아니며 그 이외의 다양한 머신 러닝 기술이 적용될 수 있다. 즉, 저조도 영상 복원 장치(100)는 학습된 인공 신경망을 통해 입력되는 저조도 영상으로부터 저조도 복원 영상을 출력하게 된다. 이하에서는, 저조도 영상 복원 장치(100)의 인공 신경망들의 학습 과정을 위주로 설명하기로 한다.
전처리 모듈(102)은 일반 조도 영상 및 저조도 영상의 영상 쌍(Image-Pair)을 입력 받을 수 있다. 즉, 개시되는 실시예에서는 일반 조도 영상 및 저조도 영상의 영상 쌍이 인공 신경망들의 학습 데이터로 사용될 수 있다. 여기서, 일반 조도 영상은 조도가 기 설정된 기준 범위 내에 있는 영상으로, 저조도 영상이 복원되어야 하는 조도를 갖는 영상일 있다. 즉, 일반 조도 영상은 저조도 영상에 대해 그라운드 트루쓰(Ground Truth)(정답 값) 역할을 하는 영상일 수 있다.
전처리 모듈(102)은 입력되는 일반 조도 영상 및 저조도 영상을 각각 휘도 채널(Luminance Channel)과 색차 채널(Chrominance Channel)로 각각 분리할 수 있다. 여기서, 일반 조도 영상 및 저조도 영상의 휘도 채널은 영상 분해 모듈(104)로 입력될 수 있다. 그리고, 일반 조도 영상 및 저조도 영상의 색차 채널은 색차 개선 모듈(108)로 입력될 수 있다.
영상 분해 모듈(104)은 휘도 채널의 일반 조도 영상 및 저조도 영상을 입력 받고, 휘도 채널의 일반 조도 영상 및 저조도 영상을 각각 조명 성분(Illuminance) 및 반사 성분(Reflectance)으로 분해할 수 있다. 예시적인 실시예에서, 영상 분해 모듈(104)은 레티넥스(Retinex) 모델에 기반하여 휘도 채널의 일반 조도 영상 및 저조도 영상에서 각각 조명 성분 및 반사 성분을 추출할 수 있다. 레티넥스 모델에 의하면, 영상은 조명 성분과 반사 성분의 곱으로 표현될 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 분해 모듈(104)의 구성을 나타낸 블록도이다. 도 2를 참조하면, 영상 분해 모듈(104)은 제1 영상 분해 모듈(104-1) 및 제2 영상 분해 모듈(104-2)을 포함할 수 있다.
예시적인 실시예에서, 제1 영상 분해 모듈(104-1)은 휘도 채널의 저조도 영상을 입력 받고, 입력 받은 휘도 채널의 저조도 영상을 조명 성분(L)과 반사 성분(R)으로 분해하도록 학습되는 제1 인공 신경망 모델(M1)을 포함할 수 있다. 제2 영상 분해 모듈(104-2)은 휘도 채널의 일반 조도 영상을 입력 받고, 입력 받은 휘도 채널의 일반 조도 영상을 조명 성분(L)과 반사 성분(R)으로 분해하도록 학습되는 제2 인공 신경망 모델(M2)을 포함할 수 있다. 제1 인공 신경망 모델(M1)과 제2 인공 신경망 모델(M2)은 상호 가중치를 공유하도록 마련될 수 있다.
제1 인공 신경망 모델(M1)은 제1 조명성분 분해신경망(111) 및 제1 반사성분 분해신경망(113)을 포함할 수 있다. 제1 조명성분 분해신경망(111)은 입력 받은 휘도 채널의 저조도 영상에서 조명 성분(L)을 분해하도록 학습된 신경망일 수 있다. 제1 반사성분 분해신경망(113)은 입력 받은 휘도 채널의 저조도 영상에서 반사 성분(R)을 분해하도록 학습된 신경망일 수 있다.
제1 조명성분 분해신경망(111)은 제1-1 서브 신경망(111a) 및 제1-2 서브 신경망(111b)을 포함할 수 있다. 여기서, 제1-1 서브 신경망(111a)은 입력 받은 휘도 채널의 저조도 영상에서 조명 성분을 분해할 때, 조명 성분의 특성(예를 들어, 공간적 매끈함(Spatially Smoothness) 또는 국부 균일성(Local Homogeneity) 등)이 반영되도록 하기 위한 것일 수 있다. 예시적인 실시예에서, 제1-1 서브 신경망(111a)은 Multi-Scale Forward CNN(Convolutional Neural Network)이 사용될 수 있으나, 이에 한정되는 것은 아니다.
제1-2 서브 신경망(111b)은 입력 받은 휘도 채널의 저조도 영상에서 조명 성분을 분해할 때, 조명 성분의 구조적 해석 및 노이즈 제거를 하기 위한 것일 수 있다. 예시적인 실시예에서, 제1-2 서브 신경망(111b)은 Multi-Scale AutoEncoder가 사용될 수 있으나, 이에 한정되는 것은 아니다.
제1 반사성분 분해신경망(113)은 제1-3 서브 신경망(113a) 및 제1-4 서브 신경망(113b)을 포함할 수 있다. 여기서, 제1-3 서브 신경망(113a)은 입력 받은 휘도 채널의 저조도 영상에서 반사 성분을 분해할 때, 반사 성분이 저조도 영상 내 오브젝트들의 디테일 및 경계선 정보를 보존하도록 하기 위한 것일 수 있다. 예시적인 실시예에서, 제1-3 서브 신경망(113a)은 Forward CNN이 사용될 수 있으나, 이에 한정되는 것은 아니다.
제1-4 서브 신경망(113b)은 입력 받은 휘도 채널의 저조도 영상에서 반사 성분을 분해할 때, 반사 성분의 구조적 해석 및 노이즈 제거를 하기 위한 것일 수 있다. 예시적인 실시예에서, 제1-4 서브 신경망(113b)은 Multi-Scale AutoEncoder가 사용될 수 있으나, 이에 한정되는 것은 아니다.
즉, 제1 인공 신경망 모델(M1)은 제1-1 서브 신경망(111a), 제1-2 서브 신경망(111b), 제1-3 서브 신경망(113a), 및 제1-4 서브 신경망(113b)의 4개의 하위 신경망이 병렬로 연결된 구조를 가질 수 있다. 이와 같이, 제1 인공 신경망 모델(M1)은 다중 도메인 기반으로 분해 신경망을 구축하여 휘도 채널의 저조도 영상을 조명 성분(L)과 반사 성분(R)으로 분해할 수 있다.
제2 인공 신경망 모델(M2)은 제2 조명성분 분해신경망(121) 및 제2 반사성분 분해신경망(123)을 포함할 수 있다. 제2 조명성분 분해신경망(121)은 입력 받은 휘도 채널의 일반 조도 영상에서 조명 성분(L)을 분해하도록 학습된 신경망일 수 있다. 제2 반사성분 분해신경망(123)은 입력 받은 휘도 채널의 일반 조도 영상에서 반사 성분(R)을 분해하도록 학습된 신경망일 수 있다.
제2 조명성분 분해신경망(121)은 제2-1 서브 신경망(121a) 및 제2-2 서브 신경망(121b)을 포함할 수 있다. 여기서, 제2-1 서브 신경망(121a)은 입력 받은 휘도 채널의 일반 조도 영상에서 조명 성분을 분해할 때, 조명 성분의 특성(예를 들어, 공간적 매끈함(Spatially Smoothness) 또는 국부 균일성(Local Homogeneity) 등)이 반영되도록 하기 위한 것일 수 있다. 예시적인 실시예에서, 제2-1 서브 신경망(121a)은 Multi-Scale Forward CNN(Convolutional Neural Network)이 사용될 수 있으나, 이에 한정되는 것은 아니다.
제2-2 서브 신경망(121b)은 입력 받은 휘도 채널의 일반 조도 영상에서 조명 성분을 분해할 때, 조명 성분의 구조적 해석 및 노이즈 제거를 하기 위한 것일 수 있다. 예시적인 실시예에서, 제2-2 서브 신경망(121b)은 Multi-Scale AutoEncoder가 사용될 수 있으나, 이에 한정되는 것은 아니다.
제2 반사성분 분해신경망(123)은 제2-3 서브 신경망(123a) 및 제2-4 서브 신경망(123b)을 포함할 수 있다. 여기서, 제2-3 서브 신경망(123a)은 입력 받은 휘도 채널의 일반 조도 영상에서 반사 성분을 분해할 때, 반사 성분이 일반 조도 영상 내 오브젝트들의 디테일 및 경계선 정보를 보존하도록 하기 위한 것일 수 있다. 예시적인 실시예에서, 제2-3 서브 신경망(123a)은 Forward CNN이 사용될 수 있으나, 이에 한정되는 것은 아니다.
제2-4 서브 신경망(123b)은 입력 받은 휘도 채널의 일반 조도 영상에서 반사 성분을 분해할 때, 반사 성분의 구조적 해석 및 노이즈 제거를 하기 위한 것일 수 있다. 예시적인 실시예에서, 제2-4 서브 신경망(123b)은 Multi-Scale AutoEncoder가 사용될 수 있으나, 이에 한정되는 것은 아니다.
즉, 제2 인공 신경망 모델(M2)은 제2-1 서브 신경망(121a), 제2-2 서브 신경망(121b), 제2-3 서브 신경망(123a), 및 제2-4 서브 신경망(123b)의 4개의 하위 신경망이 병렬로 연결된 구조를 가질 수 있다. 이와 같이, 제2 인공 신경망 모델(130)은 다중 도메인 기반으로 분해 신경망을 구축하여 휘도 채널의 일반 조도 영상을 조명 성분(L)과 반사 성분(R)으로 분해할 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 분해 모듈(104)에서 Multi-Scale Forward CNN(Convolutional Neural Network)의 구조를 나타낸 도면이다. 도 3에서는 5개의 합성곱 신경망 레이어의 각 출력이 마지막 레이어에서 합성되는 형태를 일 예로 도시하였다. 이러한 Multi-Scale Forward CNN은 제1-1 서브 신경망(111a) 및 제2-1 서브 신경망(121a)에 사용될 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상 분해 모듈(104)에서 Forward CNN의 구조를 나타낸 도면이다. 도 4에서는 복수 개의 합성곱 신경망 층이 단방향으로 연결된 형태를 일 예로 도시하였다. 이러한 Forward CNN은 제1-3 서브 신경망(113a) 및 제2-3 서브 신경망(123a)에 사용될 수 있다.
도 5는 본 발명의 일 실시예에 따른 영상 분해 모듈(104)에서 Multi-Scale AutoEncoder의 구조를 나타낸 도면이다. 도 5에서는 AutoEncoder의 형태를 스킵 커넥션(Skip Connection)을 이용하여 각기 다른 크기의 특징 지도를 학습한 결과를 병합하여 출력하는 형태로 재구성한 것을 일 예로 도시하였다. 이러한 Multi-Scale AutoEncoder는 제1-2 서브 신경망(111b), 제1-4 서브 신경망(113b), 제2-2 서브 신경망(121b), 및 제2-4 서브 신경망(123b)에 사용될 수 있다.
한편, 영상 분해 모듈(104)은 제1 영상 분해 모듈(104-1)에서 출력되는 휘도 채널의 저조도 영상의 반사 성분과 제2 영상 분해 모듈(104-2)에서 출력되는 휘도 채널의 일반 조도 영상의 반사 성분의 차이가 최소화 되도록 학습될 수 있다.
또한, 영상 분해 모듈(104)은 휘도 채널의 저조도 영상과 해당 저조도 영상에서 분해된 조명 성분 및 반사 성분의 합의 차이가 최소화 되도록 학습될 수 있다. 영상 분해 모듈(104)은 휘도 채널의 일반 조도 영상과 해당 일반 조도 영상에서 분해된 조명 성분 및 반사 성분의 합의 차이가 최소화 되도록 학습될 수 있다.
또한, 영상 분해 모듈(104)은 휘도 채널의 저조도 영상 및 일반 조도 영상의 각 반사 성분이 영상 내 오브젝트들의 디테일 및 경계선 정보를 보존하도록 학습될 수 있다.
또한, 영상 분해 모듈(104)은 휘도 채널의 저조도 영상 및 일반 조도 영상의 각 조명 성분이 공간적 매끈함(Spatially Smoothness) 또는 국부 균일성(Local Homogeneity) 등과 같은 공간적인 평탄한 특성을 가지도록 학습될 수 있다.
여기서, 영상 분해 모듈(104)의 전체 손실 함수(LOSST)는 다음의 수학식 1로 표현할 수 있다.
(수학식 1)
LOSST = LD + LR + LL
LD : 분해 손실 함수
LR : 반사성분모델 손실 함수
LL : 조명성분모델 손실 함수
여기서, 분해 손실 함수(LD)는 휘도 채널의 저조도 영상 및 일반 조도 영상을 각각 조명 성분과 반사 성분으로 분해하기 위한 기본 손실 함수일 수 있다. 분해 손실 함수(LD)는 수학식 2와 같이 나타낼 수 있다.
(수학식 2)
Figure 112020120124781-pat00020
Figure 112020120124781-pat00021
: 제1 영상 분해 모듈(104-1)에서 출력되는 휘도 채널의 저조도 영상의 반사 성분
Figure 112020120124781-pat00022
: 제2 영상 분해 모듈(104-2)에서 출력되는 휘도 채널의 일반 조도 영상의 반사 성분
Figure 112020120124781-pat00023
: 제2 영상 분해 모듈(104-2)에서 출력되는 휘도 채널의 일반 조도 영상의 조명 성분
Figure 112020120124781-pat00024
: 제2 영상 분해 모듈(104-2)로 입력되는 휘도 채널의 일반 조도 영상
Figure 112020120124781-pat00025
: 제1 영상 분해 모듈(104-1)로 입력되는 휘도 채널의 저조도 영상
Figure 112020120124781-pat00026
: 영상 분해 모듈(104)의 최적화 매개 변수
그리고, 반사성분모델 손실 함수(LR)는 휘도 채널의 저조도 영상 및 일반 조도 영상의 각 반사 성분이 영상 내 오브젝트들의 디테일 및 경계선 정보를 보존하도록 학습되기 위한 손실 함수일 수 있다. 반사성분모델 손실 함수(LR)는 수학식 3과 같이 나타낼 수 있다.
(수학식 3)
Figure 112020120124781-pat00027
Figure 112020120124781-pat00028
: 경사도 연산자(Gradient Operator)
Figure 112020120124781-pat00029
: 반사성분모델 최적화 매개 변수
또한, 조명성분모델 손실 함수(LL)는 휘도 채널의 저조도 영상 및 일반 조도 영상의 각 조명 성분이 공간적 매끈함(Spatially Smoothness) 또는 국부 균일성(Local Homogeneity) 등과 같은 공간적인 평탄한 특성을 가지도록 학습되기 위한 손실 함수일 수 있다. 조명성분모델 손실 함수(LL)는 수학식 4와 같이 나타낼 수 있다.
(수학식 4)
Figure 112020120124781-pat00030
Figure 112020120124781-pat00031
: 조명성분모델 최적화 매개 변수
Figure 112020120124781-pat00032
: 분모가 0이 되는 것을 방지하기 위한 상수
다시 도 1을 참조하면, 조도 개선 모듈(106)은 제1 영상 분해 모듈(104-1)에서 출력되는 저조도 영상의 조명 성분 및 제2 영상 분해 모듈(104-2)에서 출력되는 일반 조도 영상의 조명 성분을 각각 입력 받을 수 있다.
조도 개선 모듈(106)은 제1 영상 분해 모듈(104-1)에서 출력되는 저조도 영상의 조명 성분의 조도를 개선하여 조도가 개선된 저조도 영상의 조명 성분을 출력하도록 학습되는 신경망 모델(이하, 조도 개선 신경망 모델이라 지칭할 수 있음)을 포함할 수 있다.
즉, 조도 개선 신경망 모델은 입력된 저조도 영상의 조명 성분 및 일반 조도 영상의 조명 성분을 기반으로 조도가 개선된 저조도 영상의 조명 성분을 출력하도록 학습될 수 있다. 예시적인 실시예에서, 조도 개선 신경망 모델은 Forward CNN이 사용될 수 있으나, 이에 한정되는 것은 아니다. 도 6은 본 발명의 일 실시예에 따른 조도 개선 모듈(106)에서 Forward CNN의 구조를 나타낸 도면이다.
조도 개선 신경망 모델은 조도 개선 신경망 모델에서 출력되는 개선된 저조도 영상의 조명 성분과 일반 조도 영상의 조명 성분의 차이가 최소화 되도록 학습될 수 있다. 여기서, 조도 개선 신경망 모델의 손실 함수(LOSSENH)는 다음의 수학식 5로 표현될 수 있다.
(수학식 5)
Figure 112020120124781-pat00033
Figure 112020120124781-pat00034
: 개선된 저조도 영상의 조명 성분
색차 개선 모듈(108)은 색차 채널(Cb, Cr)의 저조도 영상 및 일반 조도 영상을 입력 받을 수 있다. 색차 개선 모듈(108)은 색차 채널의 저조도 영상을 개선하여 개선된 색차 채널의 저조도 영상을 출력하도록 학습되는 신경망 모델(이하, 색차 개선 신경망 모델이라 지칭할 수 있음)을 포함할 수 있다.
즉, 색차 개선 신경망 모델은 입력되는 색차 채널의 저조도 영상 및 일반 조도 영상을 기반으로 개선된 색차 채널의 저조도 영상을 출력하도록 학습될 수 있다. 예시적인 실시예에서, 색차 개선 신경망 모델은 Forward CNN이 사용될 수 있으나, 이에 한정되는 것은 아니다. 도 7은 본 발명의 일 실시예에 따른 색차 개선 모듈(108)에서 Forward CNN의 구조를 나타낸 도면이다.
색차 개선 신경망 모델은 색차 개선 신경망 모델에서 출력되는 개선된 색차 채널의 저조도 영상과 색차 채널의 일반 조도 영상의 차이가 최소화 되도록 학습될 수 있다. 여기서, 색차 개선 신경망 모델의 손실 함수(LOSSChr)는 다음의 수학식 6으로 표현될 수 있다.
(수학식 6)
Figure 112020120124781-pat00035
Figure 112020120124781-pat00036
: j번째 색차 채널의 일반 조도 영상
Figure 112020120124781-pat00037
: 개선된 j번째 색차 채널의 저조도 영상
영상 복원 모듈(110)은 영상 분해 모듈(104)에서 출력되는 휘도 채널의 저조도 영상의 반사 성분, 조도 개선 모듈(106)에서 출력되는 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분, 및 색차 개선 모듈(108)에서 출력되는 개선된 색차 채널의 저조도 영상을 기반으로 저조도 영상을 복원하여 복원 영상을 출력할 수 있다.
영상 복원 모듈(110)은 영상 분해 모듈(104)에서 출력되는 휘도 채널의 저조도 영상의 반사 성분과 조도 개선 모듈(106)에서 출력되는 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분을 합성하여 개선된 휘도 채널의 저조도 영상을 생성할 수 있다. 영상 복원 모듈(110)은 개선된 휘도 채널의 저조도 영상과 색차 개선 모듈(108)에서 출력되는 개선된 색차 채널의 저조도 영상을 합성하여 저조도 영상을 복원한 복원 영상을 출력할 수 있다.
개시되는 실시예에 의하면, 영상 분해 모듈(104)에서 다중 도메인 구조를 통해 각 영상(저조도 영상 및 일반 조도 영상)을 조명 성분과 반사 성분으로 분해함으로써, 신경망 모델에서 수렴 속도 및 성능을 향상시킬 수 있어 효율적인 학습을 수행할 수 있게 된다.
또한, 영상 분해 모듈(104)에서 각 영상의 반사 성분이 영상 내 오브젝트들의 디테일 및 경계선 정보를 보존하도록 하고, 각 영상의 조명 성분이 공간적 평탄한 특성을 가지도록 학습함으로써, 영상 내 요소들의 인지성을 해치지 않고 자연스러운 복원 영상을 생성할 수 있게 된다.
또한, 휘도 채널과 색차 채널을 분리하여 학습함으로써, 학습에 효율적인 구조를 구현할 수 있으며 저조도 개선 성능을 높일 수 있게 된다.
본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 "모듈"은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아니다.
도 8은 저조도 영상을 개시되는 일 실시예에 따른 저조도 영상 복원 방법으로 복원한 상태를 나타낸 도면이다. 도 8의 (a) 및 (b)를 참조하면, 저조도 영상의 조도를 개선하면서도 영상 내 요소들의 인지성을 해치지 않고 자연스럽게 복원된 것을 볼 수 있다.
도 9는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 저조도 영상 복원 장치(100)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내어 설명하는 것이며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위내에서 변경 또는 수정이 가능하다. 저술한 실시예는 본 발명의 기술적 사상을 구현하기 위한 최선의 상태를 설명하는 것이며, 본 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다.
100 : 저조도 영상 복원 장치
102 : 전처리 모듈
104 : 영상 분해 모듈
104-1 : 제1 영상 분해 모듈
104-2 : 제2 영상 분해 모듈
106 : 조도 개선 모듈
108 : 색차 개선 모듈
110 : 영상 복원 모듈
111 : 제1 조명성분 분해신경망
111a : 제1-1 서브 신경망
111b : 제1-2 서브 신경망
113 : 제1 반사성분 분해신경망
113a : 제1-3 서브 신경망
113b : 제1-4 서브 신경망
121 : 제2 조명성분 분해신경망
121a : 제2-1 서브 신경망
121b : 제2-2 서브 신경망
123 : 제2 반사성분 분해신경망
123a : 제2-3 서브 신경망
123b : 제2-4 서브 신경망

Claims (22)

  1. 삭제
  2. 삭제
  3. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치로서,
    입력되는 저조도 영상 및 일반 조도 영상을 각각 휘도 채널 및 색차 채널로 각각 분리하는 전처리 모듈;
    상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 각각 조명 성분 및 반사 성분으로 분해하는 영상 분해 모듈;
    상기 색차 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 입력 받은 상기 색차 채널의 저조도 영상 및 일반 조도 영상에 기반하여 개선된 색차 채널의 저조도 영상을 출력하는 색차 개선 모듈;
    상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 조도를 개선하여 조도가 개선된 저조도 영상의 조명 성분을 출력하는 조도 개선 모듈; 및
    상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 반사 성분, 상기 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분, 및 상기 개선된 색차 채널의 저조도 영상을 기반으로 상기 저조도 영상을 복원하는 영상 복원 모듈을 포함하고,
    상기 영상 분해 모듈은:
    상기 휘도 채널의 저조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 저조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제1 인공 신경망 모델을 구비하는 제1 영상 분해 모듈; 및
    상기 휘도 채널의 일반 조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 일반 조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제2 인공 신경망 모델을 구비하는 제2 영상 분해 모듈을 포함하고,
    상기 제1 인공 신경망 모델은:
    입력 받은 상기 휘도 채널의 저조도 영상에서 조명 성분을 분해하도록 학습되는 제1 조명성분 분해신경망; 및
    입력 받은 상기 휘도 채널의 저조도 영상에서 반사 성분을 분해하도록 학습되는 제1 반사성분 분해신경망을 포함하고,
    상기 제1 인공 신경망 모델과 상기 제2 인공 신경망 모델은:
    각 신경망의 가중치를 상호 공유하도록 마련되는,
    컴퓨팅 장치.
  4. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치로서,
    입력되는 저조도 영상 및 일반 조도 영상을 각각 휘도 채널 및 색차 채널로 각각 분리하는 전처리 모듈;
    상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 각각 조명 성분 및 반사 성분으로 분해하는 영상 분해 모듈;
    상기 색차 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 입력 받은 상기 색차 채널의 저조도 영상 및 일반 조도 영상에 기반하여 개선된 색차 채널의 저조도 영상을 출력하는 색차 개선 모듈;
    상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 조도를 개선하여 조도가 개선된 저조도 영상의 조명 성분을 출력하는 조도 개선 모듈; 및
    상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 반사 성분, 상기 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분, 및 상기 개선된 색차 채널의 저조도 영상을 기반으로 상기 저조도 영상을 복원하는 영상 복원 모듈을 포함하고,
    상기 영상 분해 모듈은:
    상기 휘도 채널의 저조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 저조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제1 인공 신경망 모델을 구비하는 제1 영상 분해 모듈; 및
    상기 휘도 채널의 일반 조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 일반 조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제2 인공 신경망 모델을 구비하는 제2 영상 분해 모듈을 포함하고,
    상기 제1 인공 신경망 모델은:
    입력 받은 상기 휘도 채널의 저조도 영상에서 조명 성분을 분해하도록 학습되는 제1 조명성분 분해신경망; 및
    입력 받은 상기 휘도 채널의 저조도 영상에서 반사 성분을 분해하도록 학습되는 제1 반사성분 분해신경망을 포함하는, 컴퓨팅 장치.
  5. 청구항 4에 있어서,
    상기 제1 조명성분 분해신경망은,
    입력 받은 상기 휘도 채널의 저조도 영상에서 조명 성분을 분해할 때, 공간적 매끈함(Spatially Smoothness) 및 국부 균일성(Local Homogeneity) 중 하나 이상을 포함하는 조명 성분의 특성이 반영되도록 학습되는 제1-1 서브 신경망; 및
    입력 받은 상기 휘도 채널의 저조도 영상에서 조명 성분을 분해할 때, 조명 성분의 구조적 해석 및 노이즈 제거를 수행하도록 학습되는 제1-2 서브 신경망을 포함하는, 컴퓨팅 장치.
  6. 청구항 5에 있어서,
    상기 제1 반사성분 분해 신경망은,
    입력 받은 상기 휘도 채널의 저조도 영상에서 반사 성분을 분해할 때, 반사 성분이 저조도 영상 내 오브젝트들의 디테일 및 경계선 정보를 보존하도록 학습되는 제1-3 서브 신경망; 및
    입력 받은 상기 휘도 채널의 저조도 영상에서 반사 성분을 분해할 때, 반사 성분의 구조적 해석 및 노이즈 제거를 수행하도록 학습되는 제1-4 서브 신경망을 포함하는, 컴퓨팅 장치.
  7. 청구항 6에 있어서,
    상기 제1-1 서브 신경망은, Multi-Scale Forward CNN(Convolutional Neural Network)으로 구현되고,
    상기 제1-2 서브 신경망 및 상기 제1-4 서브 신경망은, Multi-Scale AutoEncoder로 구현되며,
    상기 제1-3 서브 신경망은, Forward CNN으로 구현되는, 컴퓨팅 장치.
  8. 청구항 7에 있어서,
    상기 제2 인공 신경망 모델은,
    입력 받은 상기 휘도 채널의 일반 조도 영상에서 조명 성분을 분해하도록 학습되는 제2 조명성분 분해신경망; 및
    입력 받은 상기 휘도 채널의 일반 조도 영상에서 반사 성분을 분해하도록 학습되는 제2 반사성분 분해신경망을 포함하는, 컴퓨팅 장치.
  9. 청구항 8에 있어서,
    상기 제2 조명성분 분해신경망은,
    입력 받은 상기 휘도 채널의 일반 조도 영상에서 조명 성분을 분해할 때, 공간적 매끈함(Spatially Smoothness) 및 국부 균일성(Local Homogeneity) 중 하나 이상을 포함하는 조명 성분의 특성이 반영되도록 학습되는 제2-1 서브 신경망; 및
    입력 받은 상기 휘도 채널의 일반 조도 영상에서 조명 성분을 분해할 때, 조명 성분의 구조적 해석 및 노이즈 제거를 수행하도록 학습되는 제2-2 서브 신경망을 포함하는, 컴퓨팅 장치.
  10. 청구항 9에 있어서,
    상기 제2 반사성분 분해 신경망은,
    입력 받은 상기 휘도 채널의 일반 조도 영상에서 반사 성분을 분해할 때, 반사 성분이 일반 조도 영상 내 오브젝트들의 디테일 및 경계선 정보를 보존하도록 학습되는 제2-3 서브 신경망; 및
    입력 받은 상기 휘도 채널의 일반 조도 영상에서 반사 성분을 분해할 때, 반사 성분의 구조적 해석 및 노이즈 제거를 수행하도록 학습되는 제2-4 서브 신경망을 포함하는, 컴퓨팅 장치.
  11. 청구항 10에 있어서,
    상기 제2-1 서브 신경망은, Multi-Scale Forward CNN(Convolutional Neural Network)으로 구현되고,
    상기 제2-2 서브 신경망 및 상기 제2-4 서브 신경망은, Multi-Scale AutoEncoder로 구현되며,
    상기 제2-3 서브 신경망은, Forward CNN으로 구현되는, 컴퓨팅 장치.
  12. 삭제
  13. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치로서,
    입력되는 저조도 영상 및 일반 조도 영상을 각각 휘도 채널 및 색차 채널로 각각 분리하는 전처리 모듈;
    상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 각각 조명 성분 및 반사 성분으로 분해하는 영상 분해 모듈;
    상기 색차 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 입력 받은 상기 색차 채널의 저조도 영상 및 일반 조도 영상에 기반하여 개선된 색차 채널의 저조도 영상을 출력하는 색차 개선 모듈;
    상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 조도를 개선하여 조도가 개선된 저조도 영상의 조명 성분을 출력하는 조도 개선 모듈; 및
    상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 반사 성분, 상기 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분, 및 상기 개선된 색차 채널의 저조도 영상을 기반으로 상기 저조도 영상을 복원하는 영상 복원 모듈을 포함하고,
    상기 영상 분해 모듈은:
    상기 휘도 채널의 저조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 저조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제1 인공 신경망 모델을 구비하는 제1 영상 분해 모듈; 및
    상기 휘도 채널의 일반 조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 일반 조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제2 인공 신경망 모델을 구비하는 제2 영상 분해 모듈을 포함하고,
    상기 영상 분해 모듈의 전체 손실 함수(LOSST)는 하기의 수학식1로 표현되고,
    (수학식1)
    LOSST = LD + LR + LL
    LD : 분해 손실 함수
    LR : 반사성분모델 손실 함수
    LL : 조명성분모델 손실 함수
    상기 분해 손실 함수(LD)는 하기의 수학식2로 표현되는,
    (수학식2)
    Figure 112021122031859-pat00066

    Figure 112021122031859-pat00067
    : 제1 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 반사 성분
    Figure 112021122031859-pat00068
    : 제2 영상 분해 모듈에서 출력되는 휘도 채널의 일반 조도 영상의 반사 성분
    Figure 112021122031859-pat00069
    : 제2 영상 분해 모듈에서 출력되는 휘도 채널의 일반 조도 영상의 조명 성분
    Figure 112021122031859-pat00070
    : 제2 영상 분해 모듈로 입력되는 휘도 채널의 일반 조도 영상
    Figure 112021122031859-pat00071
    : 제1 영상 분해 모듈로 입력되는 휘도 채널의 저조도 영상
    Figure 112021122031859-pat00072
    : 영상 분해 모듈의 최적화 매개 변수
    컴퓨팅 장치.
  14. 청구항 13에 있어서,
    상기 반사성분모델 손실 함수(LR)는 하기의 수학식으로 표현되는, 컴퓨팅 장치.
    (수학식)
    Figure 112020120124781-pat00045

    Figure 112020120124781-pat00046
    : 경사도 연산자(Gradient Operator)
    Figure 112020120124781-pat00047
    : 반사성분모델 최적화 매개 변수
  15. 청구항 13에 있어서,
    상기 조명성분모델 손실 함수(LL)는 하기의 수학식으로 표현되는, 컴퓨팅 장치.
    (수학식)
    Figure 112020120124781-pat00048

    Figure 112020120124781-pat00049
    : 조명성분모델 최적화 매개 변수
    Figure 112020120124781-pat00050
    : 분모가 0이 되는 것을 방지하기 위한 상수
  16. 삭제
  17. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치로서,
    입력되는 저조도 영상 및 일반 조도 영상을 각각 휘도 채널 및 색차 채널로 각각 분리하는 전처리 모듈;
    상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 각각 조명 성분 및 반사 성분으로 분해하는 영상 분해 모듈;
    상기 색차 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 입력 받은 상기 색차 채널의 저조도 영상 및 일반 조도 영상에 기반하여 개선된 색차 채널의 저조도 영상을 출력하는 색차 개선 모듈;
    상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 조도를 개선하여 조도가 개선된 저조도 영상의 조명 성분을 출력하는 조도 개선 모듈; 및
    상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 반사 성분, 상기 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분, 및 상기 개선된 색차 채널의 저조도 영상을 기반으로 상기 저조도 영상을 복원하는 영상 복원 모듈을 포함하고,
    상기 영상 분해 모듈은:
    상기 휘도 채널의 저조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 저조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제1 인공 신경망 모델을 구비하는 제1 영상 분해 모듈; 및
    상기 휘도 채널의 일반 조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 일반 조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제2 인공 신경망 모델을 구비하는 제2 영상 분해 모듈을 포함하고,
    상기 조도 개선 모듈은:
    상기 제1 영상 분해 모듈로부터 상기 저조도 영상의 조명 성분을 입력 받고, 상기 제2 영상 분해 모듈로부터 상기 일반 조도 영상의 조명 성분을 입력 받으며, 상기 입력된 저조도 영상의 조명 성분 및 상기 일반 조도 영상의 조명 성분을 기반으로 조도가 개선된 저조도 영상의 조명 성분을 출력하도록 학습되고,
    상기 조도 개선 모듈의 손실 함수(LOSSENH)는 하기의 수학식5로 표현되는,
    (수학식5)
    Figure 112021122031859-pat00073

    Figure 112021122031859-pat00074
    : 개선된 저조도 영상의 조명 성분
    Figure 112021122031859-pat00075
    : 제2 영상 분해 모듈에서 출력되는 휘도 채널의 일반 조도 영상의 조명 성분
    컴퓨팅 장치.
  18. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치로서,
    입력되는 저조도 영상 및 일반 조도 영상을 각각 휘도 채널 및 색차 채널로 각각 분리하는 전처리 모듈;
    상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 각각 조명 성분 및 반사 성분으로 분해하는 영상 분해 모듈;
    상기 색차 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 입력 받은 상기 색차 채널의 저조도 영상 및 일반 조도 영상에 기반하여 개선된 색차 채널의 저조도 영상을 출력하는 색차 개선 모듈;
    상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 조도를 개선하여 조도가 개선된 저조도 영상의 조명 성분을 출력하는 조도 개선 모듈; 및
    상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 반사 성분, 상기 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분, 및 상기 개선된 색차 채널의 저조도 영상을 기반으로 상기 저조도 영상을 복원하는 영상 복원 모듈을 포함하고,
    상기 색차 개선 모듈의 손실 함수(LOSSChr)는 하기의 수학식6으로 표현되는,
    (수학식6)
    Figure 112021122031859-pat00076

    Figure 112021122031859-pat00077
    : j번째 색차 채널의 일반 조도 영상
    Figure 112021122031859-pat00078
    : 개선된 j번째 색차 채널의 저조도 영상
    컴퓨팅 장치.
  19. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치로서,
    입력되는 저조도 영상 및 일반 조도 영상을 각각 휘도 채널 및 색차 채널로 각각 분리하는 전처리 모듈;
    상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 각각 조명 성분 및 반사 성분으로 분해하는 영상 분해 모듈;
    상기 색차 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 입력 받은 상기 색차 채널의 저조도 영상 및 일반 조도 영상에 기반하여 개선된 색차 채널의 저조도 영상을 출력하는 색차 개선 모듈;
    상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 조도를 개선하여 조도가 개선된 저조도 영상의 조명 성분을 출력하는 조도 개선 모듈; 및
    상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 반사 성분, 상기 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분, 및 상기 개선된 색차 채널의 저조도 영상을 기반으로 상기 저조도 영상을 복원하는 영상 복원 모듈을 포함하고,
    상기 영상 분해 모듈은:
    상기 휘도 채널의 저조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 저조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제1 인공 신경망 모델을 구비하는 제1 영상 분해 모듈; 및
    상기 휘도 채널의 일반 조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 일반 조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제2 인공 신경망 모델을 구비하는 제2 영상 분해 모듈을 포함하고,
    상기 제1 인공 신경망 모델은:
    입력 받은 상기 휘도 채널의 저조도 영상에서 조명 성분을 분해하도록 학습되는 제1 조명성분 분해신경망; 및
    입력 받은 상기 휘도 채널의 저조도 영상에서 반사 성분을 분해하도록 학습되는 제1 반사성분 분해신경망을 포함하고,
    상기 영상 복원 모듈은:
    상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 반사 성분과 상기 조도 개선 모듈에서 출력되는 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분을 합성하여 개선된 휘도 채널의 저조도 영상을 생성하고, 상기 개선된 휘도 채널의 저조도 영상과 색차 개선 모듈에서 출력되는 상기 개선된 색차 채널의 저조도 영상을 합성하여 상기 저조도 영상을 복원하는,
    컴퓨팅 장치.
  20. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치로서,
    휘도 채널의 저조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 저조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제1 인공 신경망 모델을 구비하는 제1 영상 분해 모듈;
    휘도 채널의 일반 조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 일반 조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제2 인공 신경망 모델을 구비하는 제2 영상 분해 모듈;
    색차 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 입력 받은 상기 색차 채널의 저조도 영상 및 일반 조도 영상에 기반하여 개선된 색차 채널의 저조도 영상을 출력하는 색차 개선 모듈;
    상기 제1 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 조명 성분의 조도를 개선하여 조도가 개선된 저조도 영상의 조명 성분을 출력하는 조도 개선 모듈; 및
    상기 제1 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 반사 성분, 상기 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분, 및 상기 개선된 색차 채널의 저조도 영상을 기반으로 상기 저조도 영상을 복원하는 영상 복원 모듈을 포함하고,
    상기 제1 인공 신경망 모델은:
    입력 받은 상기 휘도 채널의 저조도 영상에서 조명 성분을 분해하도록 학습되는 제1 조명성분 분해신경망; 및
    입력 받은 상기 휘도 채널의 저조도 영상에서 반사 성분을 분해하도록 학습되는 제1 반사성분 분해신경망을 포함하는,
    컴퓨팅 장치.
  21. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치에서 수행되는 방법으로서,
    전처리 모듈을 통해 입력되는 저조도 영상 및 일반 조도 영상을 각각 휘도 채널 및 색차 채널로 각각 분리하는 동작;
    영상 분해 모듈을 통해 상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 각각 조명 성분 및 반사 성분으로 분해하는 동작;
    색차 개선 모듈을 통해 상기 색차 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 입력 받은 상기 색차 채널의 저조도 영상 및 일반 조도 영상에 기반하여 개선된 색차 채널의 저조도 영상을 출력하는 동작;
    조도 개선 모듈을 통해 상기 휘도 채널의 저조도 영상의 조명 성분을 입력 받고, 상기 휘도 채널의 저조도 영상의 조명 성분의 조도를 개선하여 조도가 개선된 저조도 영상의 조명 성분을 출력하는 동작; 및
    영상 복원 모듈을 통해 상기 휘도 채널의 저조도 영상의 반사 성분, 상기 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분, 및 상기 개선된 색차 채널의 저조도 영상을 기반으로 상기 저조도 영상을 복원하는 동작을 포함하고,
    상기 영상 분해 모듈을 통해 상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 각각 조명 성분 및 반사 성분으로 분해하는 동작은:
    제1 인공 신경망 모델을 구비하며 상기 영상 분해 모듈에 포함된 제1 영상 분해 모듈을 통해, 상기 휘도 채널의 저조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 저조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습하는 동작; 및
    제2 인공 신경망 모델을 구비하며 상기 영상 분해 모듈에 포함된 제2 영상 분해 모듈을 통해, 상기 휘도 채널의 일반 조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 일반 조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습하는 동작을 포함하고,
    상기 제1 인공 신공망 모델은:
    입력 받은 상기 휘도 채널의 저조도 영상에서 조명 성분을 분해하도록 학습되는 제1 조명성분 분해신경망; 및
    입력 받은 상기 휘도 채널의 저조도 영상에서 반사 성분을 분해하도록 학습되는 제1 반사성분 분해신경망을 포함하는,
    저조도 영상 복원 방법.
  22. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치에서 수행되는 방법으로서,
    영상 분해 모듈을 통해 휘도 채널의 저조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 저조도 영상을 조명 성분과 반사 성분으로 분해하는 동작;
    영상 분해 모듈을 통해 휘도 채널의 일반 조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 일반 조도 영상을 조명 성분과 반사 성분으로 분해하는 동작;
    색차 개선 모듈을 통해 색차 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 입력 받은 상기 색차 채널의 저조도 영상 및 일반 조도 영상에 기반하여 개선된 색차 채널의 저조도 영상을 출력하는 동작;
    조도 개선 모듈을 통해 상기 휘도 채널의 저조도 영상의 조명 성분의 조도를 개선하여 조도가 개선된 저조도 영상의 조명 성분을 출력하는 동작; 및
    영상 복원 모듈을 통해 상기 휘도 채널의 저조도 영상의 반사 성분, 상기 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분, 및 상기 개선된 색차 채널의 저조도 영상을 기반으로 상기 저조도 영상을 복원하는 동작을 포함하고,
    상기 영상 분해 모듈을 통해 휘도 채널의 저조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 저조도 영상을 조명 성분과 반사 성분으로 분해하는 동작은:
    제1 인공 신경망 모델을 구비하며 상기 영상 분해 모듈에 포함된 제1 영상 분해 모듈을 통해, 상기 휘도 채널의 저조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 저조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습하는 동작을 포함하고,
    상기 영상 분해 모듈을 통해 휘도 채널의 일반 조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 일반 조도 영상을 조명 성분과 반사 성분으로 분해하는 동작은:
    제2 인공 신경망 모델을 구비하며 상기 영상 분해 모듈에 포함된 제2 영상 분해 모듈을 통해, 상기 휘도 채널의 일반 조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 일반 조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습하는 동작을 포함하고,
    상기 제1 인공 신공망 모델은:
    입력 받은 상기 휘도 채널의 저조도 영상에서 조명 성분을 분해하도록 학습되는 제1 조명성분 분해신경망; 및
    입력 받은 상기 휘도 채널의 저조도 영상에서 반사 성분을 분해하도록 학습되는 제1 반사성분 분해신경망을 포함하는,
    저조도 영상 복원 방법.
KR1020200149402A 2020-11-10 2020-11-10 저조도 영상 복원 방법 및 이를 수행하기 위한 컴퓨팅 장치 KR102339584B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200149402A KR102339584B1 (ko) 2020-11-10 2020-11-10 저조도 영상 복원 방법 및 이를 수행하기 위한 컴퓨팅 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200149402A KR102339584B1 (ko) 2020-11-10 2020-11-10 저조도 영상 복원 방법 및 이를 수행하기 위한 컴퓨팅 장치

Publications (1)

Publication Number Publication Date
KR102339584B1 true KR102339584B1 (ko) 2021-12-16

Family

ID=79033168

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200149402A KR102339584B1 (ko) 2020-11-10 2020-11-10 저조도 영상 복원 방법 및 이를 수행하기 위한 컴퓨팅 장치

Country Status (1)

Country Link
KR (1) KR102339584B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102629640B1 (ko) * 2022-08-01 2024-01-25 중앙대학교 산학협력단 저조도 영상 향상 방법 및 그 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013211662A (ja) * 2012-03-30 2013-10-10 Eizo Corp 階調補正装置またはその方法
JP2018128950A (ja) * 2017-02-10 2018-08-16 富士ゼロックス株式会社 画像処理装置及びプログラム
KR101959147B1 (ko) 2017-12-28 2019-03-15 중앙대학교 산학협력단 왜곡없이 저조도 영상 프레임을 복원하는 단말 장치 및 방법과 이를 수행하는 기록 매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013211662A (ja) * 2012-03-30 2013-10-10 Eizo Corp 階調補正装置またはその方法
JP2018128950A (ja) * 2017-02-10 2018-08-16 富士ゼロックス株式会社 画像処理装置及びプログラム
KR101959147B1 (ko) 2017-12-28 2019-03-15 중앙대학교 산학협력단 왜곡없이 저조도 영상 프레임을 복원하는 단말 장치 및 방법과 이를 수행하는 기록 매체

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Chen Wei, Wenjing Wang, Wenhan Yang, Jiaying Liu, "Deep Retinex Decomposition for Low-Light Enhancement", Computer Science_Computer Vision and Pattern Recognition, 14 Aug. 2018(2018.08.14.) 1부.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102629640B1 (ko) * 2022-08-01 2024-01-25 중앙대학교 산학협력단 저조도 영상 향상 방법 및 그 장치

Similar Documents

Publication Publication Date Title
JP7002404B2 (ja) データから潜在因子を発見するニューラルネットワーク
US10467820B2 (en) Image style transfer for three-dimensional models
Singh et al. Single image dehazing for a variety of haze scenarios using back projected pyramid network
US20210295168A1 (en) Gradient compression for distributed training
US20190026906A1 (en) Image-processing device, image-processing method, and recording medium
KR102287407B1 (ko) 이미지 생성을 위한 학습 장치 및 방법과 이미지 생성 장치 및 방법
Aljundi et al. Lightweight unsupervised domain adaptation by convolutional filter reconstruction
DE102020132377A1 (de) Vorrichtung und Verfahren zur Drosselung einer Raytracing-Pipeline
US11663945B2 (en) Method and apparatus for spatiotemporal enhancement of patch scanning displays
Wu et al. A new approach to compute cnns for extremely large images
US20220012945A1 (en) Point cloud geometry upsampling
EP4038575A1 (en) Joint depth prediction from dual-cameras and dual-pixels
KR102339584B1 (ko) 저조도 영상 복원 방법 및 이를 수행하기 위한 컴퓨팅 장치
CN105426259A (zh) 用于传递api中的依赖关系的技术
CN113762461A (zh) 使用可逆增强算子采用有限数据训练神经网络
US11521007B2 (en) Accelerator resource utilization by neural networks
US11354543B2 (en) Convolutional neural network filter stacker for colorization preprocessing
Li et al. GPU implementation of multi-scale retinex image enhancement algorithm
US20230401457A1 (en) Data facet generation and recommendation
CN110688055B (zh) 一种大图计算中数据访问方法及系统
US10586129B2 (en) Generating artificial images for use in neural networks
US11776287B2 (en) Document segmentation for optical character recognition
US11315291B1 (en) Shine visualization
US11675876B2 (en) Training robust machine learning models
KR102381914B1 (ko) 이미지 복원 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant