KR102134405B1 - 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법 - Google Patents

적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법 Download PDF

Info

Publication number
KR102134405B1
KR102134405B1 KR1020190077222A KR20190077222A KR102134405B1 KR 102134405 B1 KR102134405 B1 KR 102134405B1 KR 1020190077222 A KR1020190077222 A KR 1020190077222A KR 20190077222 A KR20190077222 A KR 20190077222A KR 102134405 B1 KR102134405 B1 KR 102134405B1
Authority
KR
South Korea
Prior art keywords
low
loss
image
lightgan
light image
Prior art date
Application number
KR1020190077222A
Other languages
English (en)
Inventor
권준석
김귀식
권도경
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020190077222A priority Critical patent/KR102134405B1/ko
Application granted granted Critical
Publication of KR102134405B1 publication Critical patent/KR102134405B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G06T5/009—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 생성자와 판별자가 서로 대립하며 성능을 점차 개선해 나가는 적대적 생성망(Generative Adversarial Network;GAN)을 이용하여 효율적인 저조도 영상 개선이 가능하도록 한 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법에 관한 것으로, 저조도 영상을 입력하는 저조도 영상 입력부;저조도 영상 입력부를 통하여 입력되는 영상의 저조도 개선을 위하여, 생성자와 판별자를 갖고 학습 단계에서 critic network로 WGAN-GP와 동일한 네트워크 구조를 사용하고, 안정적인 학습을 위해서 스펙트럼 정규화(spectral normalization)를 추가적으로 사용하고, 글로벌 스킵 연결(global-skip connection)을 적용하여 세부적인 저조도 영상 밝기 개선이 이루어지도록 하는 Low-lightGAN 학습부;Low-lightGAN 학습부에서의 저조도 영상 밝기 개선의 정확도를 높이기 위하여 적대적 손실(adversarial loss), 지각 손실(perceptual loss), 칼라 손실(color loss), 전체 변동 손실(Total variation loss)의 손실 함수값 산출을 하는 손실 함수값 산출부;를 포함하는 것이다.

Description

적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법{System and Method for Improving Low Light Level Image Using Generative Adversarial Network}
본 발명은 저조도 영상 개선에 관한 것으로, 구체적으로 생성자와 판별자가 서로 대립하며 성능을 점차 개선해 나가는 적대적 생성망(Generative Adversarial Network;GAN)을 이용하여 효율적인 저조도 영상 개선이 가능하도록 한 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법에 관한 것이다.
저조도 영상(low light level image)은 밤 시간대나 어두운 지하실과 같이 광원(illuminant)의 영향이 미약한 환경에서 획득된 영상이다.
영상 형성식(image formation equation)의 관점에서 보면, 카메라와 같은 영상 획득 장치에서 계산되는 픽셀 값은 광원의 강도(intensity)에 따라 결정되기 때문에 저조도 영상의 픽셀들은 전체적으로 작은 RGB 값을 가진다.
이로 인하여 발생되는 저조도 영상의 낮은 대비는 물체의 구별을 어렵게 만들뿐만 아니라 잡음 발생 시 일반 영상보다 저조도 영상은 더 큰 영향을 받는 문제점을 내포한다.
또한, 저조도 영상에서는 광원 및 조명(illumination)이 충분하지 않기 때문에 물체가 가지는 원래 색 정보를 알기 어렵다.
영상을 입력으로 사용하는 여러 시스템들에서는 영상의 색이 중요한 정보로 사용되지만 저조도 영상이 가지는 취약점 및 왜곡된 색 정보는 시스템의 성능을 저하시키는 주요한 원인이 된다.
따라서 저조도 영상의 개선은 여러 영상 관련 시스템에서 필수적인 과정으로 사용된다.
현재까지 저조도 영상의 개선을 목적으로 하는 많은 연구들이 수행되었다.
가장 간단한 방법은 히스토그램 연산 기반의 방법들이다. 히스토그램 기반 기법들은 기본적으로 채널별로 히스토그램 평활화를 적용하여 밝기의 범위를 정해진 확률 밀도 함수(probability density function)에 따라 늘이는 방법이다.
하지만, 히스토그램 기반의 방법들은 채널별로 적용되기 때문에 컬러 영상에서는 위치에 따른 색 정보를 잃어버리는 문제점을 내포한다.
다른 연구로는 감마 보정(gamma correction)을 중심으로 한 연구들이 있다.
감마 보정은 영상의 밝기 채널에서 수행되며 영상의 대비를 높이기 위해 사용된다. 이 연구들은 대부분 물체가 가지는 원래의 색을 복원하는 것보다 눈에 보이는 영상의 화질을 개선하는 목적을 가진다.
저조도 영상의 개선을 위한 또 다른 연구 분야로 색 항등성 기법들이 있다.
색 항등성 기법은 장면(scene)에 대한 다양한 가정을 바탕으로 영상 내 물체가 가진 원래 색 정보를 찾는 것을 목적으로 한다. 이 기법의 적용을 통한 결과 영상들은 항상 인간의 눈에 보기 좋은 영상으로 생성되는 것은 아니다.
이와 같이 저조도 영상은 주로 밤과 같은 실외의 어두운 상황에서 빛의 상대적으로 적은 환경에서 획득된 영상으로 가시성이 떨어지고, 영상에서의 색과 디테일 정보들이 많이 사라지기 때문에 영상 화질을 개선시키기 위해 제안된 많은 컴퓨터 비전 알고리즘들의 성능을 낮출 수 있다.
이를 해결하기 위해 컴퓨터 비전 분야에서는 저조도 영상 문제의 해결에 관한 다양한 방법이 제안되어 왔다.
가장 기본적인 Retinex를 기반으로 한 방법부터 High Dynamic Range를 이용한 방법, 그리고 최근에는 딥러닝을 이용한 방법으로 MSR-Net(비특허문헌1), RetinexNet(비특허문헌2), Lighten-Net(비특허문헌3)과 같은 방법들이 제시되었다.
이와 같은 종래 기술들에 의해 생성된 이미지들은 저조도 영상 개선의 영상의 효과는 일부 있지만 새로 만들어진 이미지가 실제 이미지와 많이 다르고 부자연스러운 모습을 많이 볼 수 있다.
따라서, 실제 이미지와 최대한 유사한 저조도 개선 이미지를 만들수 있는 새로운 기술의 개발이 요구되고 있다.
대한민국 공개특허 제10-2016-0056729호 대한민국 등록특허 제10-1959147호
MSR-Net: Low-light image enhancement using deep convolutional network, Liang Shen, Zihan Yue, Fan Feng, Quan Chen, Shihao Liu, and Jie Ma, arXiv preprint arXiv:1711.02488, 2017. Deep Retinex Decomposition for Low-Light Enhancement, Chen Wei, Wenjing Wang, Wenhan Yang, Jiaying Liu, in BMVC, 2018. LightenNet: A Convolutional Neural Network for weakly illuminated image enhancement, Chongyi Li, Jichang Guo, Fatih Porikli, Yanwei Pang, Pattern Recognition Letters 104 (2018)15-22.
본 발명은 종래 기술의 저조도 영상 개선 기술의 문제점을 해결하기 위한 것으로, 생성자와 판별자가 서로 대립하며 성능을 점차 개선해 나가는 적대적 생성망(Generative Adversarial Network;GAN)을 이용하여 효율적인 저조도 영상 개선이 가능하도록 한 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 적대적 생성망(Generative Adversarial Network;GAN)을 이용하여 실제 이미지와 최대한 유사한 저조도 개선 이미지를 만들수 있도록 한 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 3가지의 새로운 손실함수(지각 손실, 칼라 손실, Total variation loss)를 추가하여 적대적 생성망(DeblurGAN)의 성능을 높이고 이를 저조도 영상의 밝기 개선에 적용하여 효율적인 저조도 영상 개선이 가능하도록 한 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 저조도 영상 밝기 개선을 위한 학습데이터를 만드는 과정에서 전역적인 밝기(global illumination) 뿐만 아니라 지역적인 밝기(local illumination)도 고려하기 위해서 quad-tree decomposition 방법을 이용하여 학습데이터가 다른 지역적 밝기 정보를 가질 수 있도록 하여 효율적인 학습이 가능하도록 한 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 전체적으로 밝기가 개선되도록 하고 동시에 밝은 부분이 더 밝아지는 것을 방지하여 영상의 디테일을 그대로 살릴 수 있도록 한 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치는 저조도 영상을 입력하는 저조도 영상 입력부;저조도 영상 입력부를 통하여 입력되는 영상의 저조도 개선을 위하여, 생성자와 판별자를 갖고 학습 단계에서 critic network로 WGAN-GP와 동일한 네트워크 구조를 사용하고, 안정적인 학습을 위해서 스펙트럼 정규화(spectral normalization)를 추가적으로 사용하고, 글로벌 스킵 연결(global-skip connection)을 적용하여 세부적인 저조도 영상 밝기 개선이 이루어지도록 하는 Low-lightGAN 학습부;Low-lightGAN 학습부에서의 저조도 영상 밝기 개선의 정확도를 높이기 위하여 적대적 손실(adversarial loss), 지각 손실(perceptual loss), 칼라 손실(color loss), 전체 변동 손실(Total variation loss)의 손실 함수값 산출을 하는 손실 함수값 산출부;를 포함하는 것을 특징으로 한다.
여기서, Low-lightGAN 학습부는, 저조도 영상 입력부를 통하여 원래 이미지(ground truth)가 주어지면, 작업 중심(task-driven)의 트레이닝 세트를 포함하는 부분적으로 조명된(Locally illuminated) 이미지를 합성하는 것을 특징으로 한다.
그리고 Low-lightGAN 학습부의 생성자의 구조는, DeblurGAN과 유사한 구조를 갖고, 정밀한 특징 추출을 위해 15개의 RDB(residual dense block)을 사용하는 것을 특징으로 한다.
그리고 Low-lightGAN 학습부는, 학습데이터를 만드는 과정에서 전역적인 밝기(global illumination) 뿐만 아니라 지역적인 밝기(local illumination)도 고려하기 위해서 quad-tree decomposition 방법을 이용하여 학습데이터가 다른 지역적 밝기 정보를 가질 수 있도록 하는 것을 특징으로 한다.
그리고 Low-lightGAN 학습부는 학습 단계에서, 그라데이션 패널티(gradient penalty)가 있는 Wasserstein distance를 사용하는 것을 특징으로 한다.
그리고 상기 손실 함수값 산출부는, 적대적 손실(adversarial loss) 함수값을 산출하는 적대적 손실 함수값 산출부와,지각 손실(perceptual loss) 함수값을 산출하는 지각 손실 함수값 산출부와, 칼라 손실(color loss) 함수값을 산출하는 칼라 손실 함수값 산출부와,전체 변동 손실(Total variation loss) 함수값 산출을 하는 전체 변동 손실 함수값 산출부를 포함하는 것을 특징으로 한다.
그리고 상기 손실 함수값 산출부에 산출되는 전체적인 손실 함수는,
Figure 112019066124463-pat00001
으로 정의되고, 여기서,
Figure 112019066124463-pat00002
,
Figure 112019066124463-pat00003
,
Figure 112019066124463-pat00004
,
Figure 112019066124463-pat00005
는 각각 기존의 적대적 손실(adversarial loss), 지각 손실(perceptual loss), 칼라 손실(color loss), 전체 변동 손실(Total variation loss)이고,
Figure 112019066124463-pat00006
는 가중치 파라미터인 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 적대적 생성망을 이용한 저조도 영상 개선을 위한 방법은 원래 이미지(ground truth)가 주어지면, 작업 중심(task-driven)의 트레이닝 세트를 포함하는 부분적으로 조명된(Locally illuminated) 이미지를 합성하는 단계;출력 이미지가 트레이닝이 진행됨에 따라 ground truth와 더 유사해지도록 Low-lightGAN을 트레이닝하는 단계;안정적인 트레이닝을 위해 Low-lightGAN의 생성기에 스펙트럼 정규화를 적용하고, 그라데이션 패널티(gradient penalty)가 있는 Wasserstein distance를 사용하는 단계;Low-lightGAN을 보다 정확하게 만들기 위해 손실 함수값을 산출하여 Low-lightGAN을 트레이닝에 적용하는 단계;를 포함하는 것을 특징으로 한다.
여기서, Low-lightGAN을 트레이닝하는 단계에서, Low-lightGAN 학습을 하는 생성자의 구조는 DeblurGAN과 유사한 구조를 갖고, 정밀한 특징 추출을 위해 15개의 RDB(residual dense block)을 사용하는 것을 특징으로 한다.
그리고 Low-lightGAN을 트레이닝하는 단계에서, 학습데이터를 만드는 과정에서 전역적인 밝기(global illumination) 뿐만 아니라 지역적인 밝기(local illumination)도 고려하기 위해서 quad-tree decomposition 방법을 이용하여 학습데이터가 다른 지역적 밝기 정보를 가질 수 있도록 하는 것을 특징으로 한다.
그리고 손실 함수값을 산출하여 Low-lightGAN을 트레이닝에 적용하는 단계에서, 저조도 영상 밝기 개선의 정확도를 높이기 위하여 적대적 손실(adversarial loss), 지각 손실(perceptual loss), 칼라 손실(color loss), 전체 변동 손실(Total variation loss)의 손실 함수값 산출을 하여 Low-lightGAN을 트레이닝에 적용하는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법은 다음과 같은 효과가 있다.
첫째, 생성자와 판별자가 서로 대립하며 성능을 점차 개선해 나가는 적대적 생성망(Generative Adversarial Network;GAN)을 이용하여 효율적인 저조도 영상 개선이 가능하도록 한다.
둘째, 적대적 생성망(Generative Adversarial Network;GAN)을 이용하여 실제 이미지와 최대한 유사한 저조도 개선 이미지를 만들 수 있도록 한다.
셋째, 3가지의 새로운 손실함수(지각 손실, 칼라 손실, Total variation loss)를 추가하여 적대적 생성망(DeblurGAN)의 성능을 높이고 이를 저조도 영상의 밝기 개선에 적용하여 효율적인 저조도 영상 개선이 가능하도록 한다.
넷째, 저조도 영상 밝기 개선을 위한 학습데이터를 만드는 과정에서 전역적인 밝기(global illumination) 뿐만 아니라 지역적인 밝기(local illumination)도 고려하기 위해서 quad-tree decomposition 방법을 이용하여 학습데이터가 다른 지역적 밝기 정보를 가질 수 있도록 하여 효율적인 학습이 가능하도록 한다.
다섯째, 전체적으로 밝기가 개선되도록 하고 동시에 밝은 부분이 더 밝아지는 것을 방지하여 영상의 디테일을 그대로 살릴 수 있도록 한다.
도 1은 본 발명에 따른 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치의 전체 구성도
도 2는 본 발명에 따른 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치의 구성 블록도
도 3은 본 발명에 따른 적대적 생성망을 이용한 저조도 영상 개선을 위한 방법을 나타낸 플로우 차트
도 4는 전역적인 밝기(global illumination) 및 지역적인 밝기(local illumination)가 트레이닝 이미지에 적용될 때의 결과를 나타낸 구성도
도 5는 글로벌 스킵 연결(global skip connection)을 사용하는 경우에서의 효과를 나타낸 이미지 구성도
도 6은 본 발명에 따른 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법을 이용한 시뮬레이션 결과를 나타낸 이미지 구성도
이하, 본 발명에 따른 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 1은 본 발명에 따른 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치의 전체 구성도이다.
본 발명에 따른 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법은 도 1에서와 같이, 생성자와 판별자가 서로 대립하며 성능을 점차 개선해 나가는 적대적 생성망(Generative Adversarial Network;GAN)을 이용하여 저조도 영상 개선을 수행하는 것이다.
적대적 생성망(Generative Adversarial Networks;GANs)은 이미지 생성, 수퍼 해상도, 비디오 예측, 스타일 전송, 시각적 추적, 3D 재구성, 세그먼테이션, 객체 감지, 보강 학습 및 의료 이미징과 같은 다양한 기능을 제공하기 위한 광범위한 컴퓨터 비전 애플리케이션에서 높은 성능을 달성하기 위하여 사용되고 있다.
이와 같은 적대적 생성망은 2014년 이안 굿펠로우(Ian J. Goodfellow)가 처음 소개한 이후 지금까지 많은 관심을 받고 있다.
GAN은 기존 CNN, RNN 등 딥러닝 알고리즘과 달리 비교사 학습방법으로 이미지와 음성 데이터를 생성한다. 작동원리는 생성기와 판별기로 구성된 서로 다른 주체가 적대적으로 경쟁하며 각자의 성능을 최대화한다. 이 과정을 통해 실제 데이터에 가까운 가짜 데이터를 생성하는 원리다.
본 발명은 적대적 생성망(Generative Adversarial Network;GAN)을 이용하여 실제 이미지와 최대한 유사한 저조도 개선 이미지를 만들 수 있도록 하기 위하여, 3가지의 새로운 손실함수(지각 손실, 칼라 손실, Total variation loss)를 추가하여 적대적 생성망(DeblurGAN)의 성능을 높이고 저조도 영상의 밝기 개선을 수행한다.
특히, 저조도 영상 밝기 개선을 위한 학습데이터를 만드는 과정에서 전역적인 밝기(global illumination) 뿐만 아니라 지역적인 밝기(local illumination)도 고려하기 위해서 quad-tree decomposition 방법을 이용하여 학습데이터가 다른 지역적 밝기 정보를 가질 수 있도록 하는 구성을 포함한다.
여기서, quad-tree decomposition 방법은 매우 거대한 지형을 빠르게 검색할 수 있는 장점을 갖는 것으로, 자료구조의 트리를 기반으로 자식노드가 4개인 트리를 의미하는 것이다.
본 발명에 따른 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치는 크게 저조도 영상을 입력하는 저조도 영상 입력부(100)와, 저조도 영상 입력부(100)를 통하여 입력되는 영상의 저조도 개선을 위하여, 생성자와 판별자를 갖고 특징 추출을 위해 RDB(residual dense block)을 사용하고, 학습 단계에서 critic network로 WGAN-GP와 동일한 네트워크 구조를 사용하고, 안정적인 학습을 위해서 스펙트럼 정규화(spectral normalization)를 추가적으로 사용하고, global-skip connection을 적용하여 세부적인 저조도 영상 밝기 개선이 이루어지도록 하는 Low-lightGAN 학습부(200)와, Low-lightGAN 학습부(200)에서의 저조도 영상 밝기 개선의 정확도를 높이기 위하여 적대적 손실(adversarial loss), 지각 손실(perceptual loss), 칼라 손실(color loss), 전체 변동 손실(Total variation loss)의 손실 함수값 산출을 하는 손실 함수값 산출부(300)를 포함한다.
Low-lightGAN 학습부(200)의 생성자의 구조는 도 1에서와 같이, DeblurGAN과 유사한 구조를 갖고, 정밀한 특징 추출을 위해 15개의 RDB(residual dense block)을 사용하고 학습 단계에서 critic network로 WGAN-GP와 동일한 네트워크 구조를 사용하고, 안정적인 학습을 위해서 스펙트럼 정규화(spectral normalization)를 추가적으로 사용한다.
그리고 global-skip connection을 적용하여 좀 더 디테일한 저조도 영상 밝기 개선이 이루어지도록 한다.
여기서, 스펙트럼 정규화(spectral normalization)는 discriminator의 각 레이어의 spectral norm을 조절합으로서 GAN 학습의 안정화를 시키는 방법이다.
그리고 글로벌 스킵 연결(global-skip connection)은 deep neural netwrok에서 입력과 출력을 연결시켜 네트워크가 residual 만을 학습하도록 하는 방법이다.
도 2는 본 발명에 따른 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치의 구성 블록도이다.
본 발명에 따른 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치는 구체적으로, 저조도 영상을 입력하는 저조도 영상 입력부(100)와, 저조도 영상 입력부(100)를 통하여 입력되는 영상의 저조도 개선을 위한 학습을 수행하는 Low-lightGAN 학습부(200)와, Low-lightGAN 학습부(200)에서의 저조도 영상 밝기 개선의 정확도를 높이기 위하여 적대적 손실(adversarial loss) 함수값을 산출하는 적대적 손실 함수값 산출부(300a)와, 지각 손실(perceptual loss) 함수값을 산출하는 지각 손실 함수값 산출부(300b)와, 칼라 손실(color loss) 함수값을 산출하는 칼라 손실 함수값 산출부(300c)와, 전체 변동 손실(Total variation loss) 함수값 산출을 하는 전체 변동 손실 함수값 산출부(300d)를 포함하는 손실 함수값 산출부(300)와, 손실 함수값 산출부(300)의 손실 함수값을 적용하여 Low-lightGAN 학습이 이루어져 전역적인 밝기(global illumination) 뿐만 아니라 지역적인 밝기(local illumination)도 고려한 저조도 영상의 밝기 개선 이미지를 출력하는 저조도 개선 이미지 출력부(400)를 포함한다.
이와 같은 구조를 갖는 본 발명에 따른 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치는 저조도 향상을 위해 DeblurGAN과 유사한 구조를 갖는 심층 신경망 구조(deep neural architecture)를 사용한다.
원래 이미지(ground truth)가 주어지면, 작업 중심(task-driven)의 트레이닝 세트를 포함하는 부분적으로 조명된(Locally illuminated) 이미지를 합성한다.
본 발명에 따른 Low-lightGAN을 트레이닝하여 출력 이미지(저조도 개선 이미지)가 트레이닝이 진행됨에 따라 ground truth와 더 유사해지도록 한다.
안정적인 트레이닝을 위해 Low-lightGAN의 생성기에 스펙트럼 정규화를 적용하고, 그라데이션 패널티(gradient penalty)가 있는 Wasserstein distance를 사용한다.
본 발명에서는 Low-lightGAN을 보다 정확하게 만들기 위해 다음과 같은 손실 함수를 사용한다.
구체적으로 1개의 기존 손실함수와 3가지의 손실 함수를 더하여 사용하였으며, 전체적인 손실 함수는 아래의 식과 같다.
Figure 112019066124463-pat00007
여기서,
Figure 112019066124463-pat00008
,
Figure 112019066124463-pat00009
,
Figure 112019066124463-pat00010
,
Figure 112019066124463-pat00011
는 각각 기존의 적대적 손실(adversarial loss), 지각 손실(perceptual loss), 칼라 손실(color loss), 전체 변동 손실(Total variation loss)이고,
Figure 112019066124463-pat00012
는 가중치 파라미터이다.
기존 적대적 손실 함수로 WGAN-GP을 사용하였다. 적대적 손실(
Figure 112019066124463-pat00013
)은 수학식 2와 같이 계산된다.
Figure 112019066124463-pat00014
여기서, IL은 저조도 이미지, GG는 생성자(Generator), DD는 판별자(Discriminator)이다.
다음으로 픽셀 레벨이 아닌 특징 레벨의 지각 손실(
Figure 112019066124463-pat00015
)을 사용하며 수학식 3에서와 같다.
Figure 112019066124463-pat00016
여기서,
Figure 112019066124463-pat00017
와
Figure 112019066124463-pat00018
는 각각 특징 맵의 가로길이와 세로길이로, 전체 특징 맵의 차원을 의미한다. 또한
Figure 112019066124463-pat00019
는 이미지 넷에 미리 트레이닝 된 VGG19 네트워크의 I 번째 max pooling layer 이전의 j 번째 convolution에 의해 얻어진 특징 맵을 의미한다.
또한 생성자를 통해 얻은 결과에서 color distortion이 발생하는 것을 방지하기 위해 칼라 손실(
Figure 112019066124463-pat00020
)을 사용하고, 수학식 4에서와 같다.
Figure 112019066124463-pat00021
가우시안 블러는 영상에서 작은 디테일을 제외하고 전체적인 칼라를 볼 수 있도록 도와준다. 마찬가지로 생성자를 통과한 결과 이미지에 공간 평활도(spatial smoothness)를 추가하기 위해 전체 변동 손실(
Figure 112019066124463-pat00022
)을 사용하고 수학식 5에서와 같다.
Figure 112019066124463-pat00023
Figure 112019066124463-pat00024
는 x 방향에서의 이미지 차이,
Figure 112019066124463-pat00025
는 y 방향에서의 이미지 차이, C는 채널의 개수이며, CHW는 개선된 이미지의 전체 차원(channel, height, width)을 의미한다. 마지막으로
Figure 112019066124463-pat00026
는 가중치 파라미터로 본 발명의 일 실시 예에서는 각각 100, 25, 400으로 결정될 수 있다.
도 3은 본 발명에 따른 적대적 생성망을 이용한 저조도 영상 개선을 위한 방법을 나타낸 플로우 차트이다.
본 발명에 따른 적대적 생성망을 이용한 저조도 영상 개선을 위한 방법은 도 3에서와 같이, 먼저 원래 이미지(ground truth)가 주어지면, 작업 중심(task-driven)의 트레이닝 세트를 포함하는 부분적으로 조명된(Locally illuminated) 이미지를 합성한다.(S301)
이어, 출력 이미지(저조도 개선 이미지)가 트레이닝이 진행됨에 따라 ground truth와 더 유사해지도록 Low-lightGAN을 트레이닝한다.(S302)
그리고 안정적인 트레이닝을 위해 Low-lightGAN의 생성기에 스펙트럼 정규화를 적용하고, 그라데이션 패널티(gradient penalty)가 있는 Wasserstein distance를 사용한다.(S303)
이어, Low-lightGAN을 보다 정확하게 만들기 위해 손실 함수값을 산출하여 Low-lightGAN을 트레이닝에 적용한다.(S304)
본 발명에 따른 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법은 적대적 생성망(Generative Adversarial Network;GAN)을 이용하여 저조도 영상 개선을 수행하는 것이다.
학습을 위해 Retinex 이론에 따라 간단하게 저조도 영상을 생성하였다.
또한, 더 정밀한 특징 추출을 위해 residual dense block을 사용하였고, color distortion을 방지하기 위한 칼라 손실을 추가하여 성능을 향상시켰다.
본 발명에 따른 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법을 이용한 시뮬레이션 결과는 다음과 같다.
실험 결과 본 발명에 따른 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법은 저조도 영상을 개선하는 결과를 확인할 수 있었다.
도 4는 전역적인 밝기(global illumination) 및 지역적인 밝기(local illumination)가 트레이닝 이미지에 적용될 때의 결과를 나타낸 구성도이다.
평가를 위해, ground-truth 없이 이미지 품질을 측정할 수 있는 참조 없는 메트릭(no-reference metric)인 NIQE(naturalness image quality evaluator)를 사용하였다.
트레이닝하는 동안 2K의 해상도로 900개의 이미지를 사용하여 100 x 100개의 패치를 무작위로 잘라내고, 배치 크기 15와 ADAM 최적화 도구를 사용하였다.
NVIDIA GeForce GTX TITAN Xp GPU에서 300개 에포크 동안 네트워크를 트레이닝하고 학습률은 1e - 5로 설정되었다.
가중치 파라미터
Figure 112019066124463-pat00027
는 각각 0.1, 25 및 400으로 설정되었다.
도 4는 전역적인 밝기(global illumination) 및 지역적인 밝기(local illumination)가 트레이닝 이미지에 적용될 때의 결과를 나타낸 것으로, (a)는 저조도 이미지이다.
(b)는 전역적인 밝기(global illumination) 적용 Low-lightGAN에 의한 이미지로, 이미지 트레이닝을 위한 전역적인 밝기 합성은 밝은 영역에서 채도 문제를 일으킬 수 있다.
(c)는 지역적인 밝기(local illumination) 적용 Low-lightGAN에 의한 이미지로 포화 문제를 발생시키지 않는다.
이와 같이 전역적인 밝기(global illumination) 트레이닝 세트 사용의 경우에는 하늘 영역(sky areas)에서 저조도 향상후 포화 상태를 보이고, 지역적인 밝기(local illumination) 트레이닝 세트 사용의 경우 원래 밝기와 하늘의 세부 사항이 유지되는 것을 알 수 있다.
도 5는 글로벌 스킵 연결(global skip connection)을 사용하는 경우에서의 효과를 나타낸 이미지 구성도이다.
도 6은 본 발명에 따른 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법을 이용한 시뮬레이션 결과를 나타낸 이미지 구성도이다.
도 6의 좌측에서 우측으로 입력 영상, LIME, RetinexNet, 본 발명에 따른 Low-lightGAN의 이미지를 나타낸 것이다.
실세계 이미지는 보통 정상적으로 조명된(normally illuminated) 영역 및 약하게 조명된(weakly illuminated) 영역을 포함한다.
도 6의 제 1 열에서는, 옷 주위의 영역이 밝다.
LIME의 경우 전반적인 밝기가 자연적으로 향상되었지만 원래의 밝은 영역에서는 채도 문제가 발생하고, LowlightGAN의 경우 전체적인 밝기(global brightness)가 LIME 미만으로 개선되었으나, 부분적인 밝기(local brightness)를 성공적으로 회복시켰고, 원래와 유사한 톤의 자연스러운 이미지를 얻었다.
또한, 의류 부품에는 포화도가 발생하지 않았다.
RetinexNet은 도 6의 제1,2 열에 나타낸 것과 같이 자연스럽지가 못하다.
마지막 열에서 LIME은 전반적인 밝기를 향상시켰지만, 로컬 세부 정보는 잃었다.
반면, Low-lightGAN은 로컬 세부 정보를 유지하면서 선명한 이미지를 제공하는 것을 확인할 수 있다.
Figure 112019066124463-pat00028
표 1은 NIQE(naturalness image quality evaluator)의 양적인 비교를 보여준다.
Low-lightGAN은 다른 방법보다 정량적으로 성능이 우수하므로 제안된 4- 손실 함수와 작업 중심(task-driven) 데이터 집합이 저조도 향상에 유용함을 보여준다.
이상에서 설명한 본 발명에 따른 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법은 적대적 생성망(Generative Adversarial Network;GAN)을 이용하여 실제 이미지와 최대한 유사한 저조도 개선 이미지를 만들수 있도록 한 것으로, 3가지의 새로운 손실함수(지각 손실, 칼라 손실, Total variation loss)를 추가하여 적대적 생성망(DeblurGAN)의 성능을 높이고 이를 저조도 영상의 밝기 개선에 적용하여 효율적인 저조도 영상 개선이 가능하도록 한 것이다.
특히, 본 발명은 저조도 영상 밝기 개선을 위한 학습데이터를 만드는 과정에서 전역적인 밝기(global illumination) 뿐만 아니라 지역적인 밝기(local illumination)도 고려하기 위해서 quad-tree decomposition 방법을 이용하여 학습데이터가 다른 지역적 밝기 정보를 가질 수 있도록 하여 효율적인 학습이 가능하도록 한다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100. 저조도 영상 입력부
200. Low-lightGAN 학습부
300. 손실 함수값 산출부
400. 저조도 개선 이미지 출력부

Claims (15)

  1. 저조도 영상을 입력하는 저조도 영상 입력부;
    저조도 영상 입력부를 통하여 입력되는 영상의 저조도 개선을 위하여, 생성자와 판별자를 갖고 학습 단계에서 critic network로 WGAN-GP와 동일한 네트워크 구조를 사용하고, 안정적인 학습을 위해서 스펙트럼 정규화(spectral normalization)를 추가적으로 사용하고, 글로벌 스킵 연결(global-skip connection)을 적용하여 세부적인 저조도 영상 밝기 개선이 이루어지도록 하는 Low-lightGAN 학습부;
    Low-lightGAN 학습부에서의 저조도 영상 밝기 개선의 정확도를 높이기 위하여 적대적 손실(adversarial loss), 지각 손실(perceptual loss), 칼라 손실(color loss), 전체 변동 손실(Total variation loss)의 손실 함수값 산출을 하는 손실 함수값 산출부;를 포함하고,
    상기 Low-lightGAN 학습부는 학습데이터를 만드는 과정에서 전역적인 밝기(global illumination) 뿐만 아니라 지역적인 밝기(local illumination)도 고려하기 위해서 quad-tree decomposition 방법을 이용하여 학습데이터가 다른 지역적 밝기 정보를 가질 수 있도록 하는 것을 특징으로 하는 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치.
  2. 제 1 항에 있어서, Low-lightGAN 학습부는,
    저조도 영상 입력부를 통하여 원래 이미지(ground truth)가 주어지면, 작업 중심(task-driven)의 트레이닝 세트를 포함하는 부분적으로 조명된(Locally illuminated) 이미지를 합성하는 것을 특징으로 하는 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치.
  3. 제 1 항에 있어서, Low-lightGAN 학습부의 생성자의 구조는,
    DeblurGAN과 유사한 구조를 갖고, 정밀한 특징 추출을 위해 15개의 RDB(residual dense block)을 사용하는 것을 특징으로 하는 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치.
  4. 삭제
  5. 제 1 항에 있어서, Low-lightGAN 학습부는 학습 단계에서,
    그라데이션 패널티(gradient penalty)가 있는 Wasserstein distance를 사용하는 것을 특징으로 하는 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치.
  6. 제 1 항에 있어서, 상기 손실 함수값 산출부는,
    적대적 손실(adversarial loss) 함수값을 산출하는 적대적 손실 함수값 산출부와,
    지각 손실(perceptual loss) 함수값을 산출하는 지각 손실 함수값 산출부와,
    칼라 손실(color loss) 함수값을 산출하는 칼라 손실 함수값 산출부와,
    전체 변동 손실(Total variation loss) 함수값 산출을 하는 전체 변동 손실 함수값 산출부를 포함하는 것을 특징으로 하는 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치.
  7. 제 6 항에 있어서, 상기 손실 함수값 산출부에 산출되는 전체적인 손실 함수는,
    Figure 112019066124463-pat00029
    으로 정의되고,
    여기서,
    Figure 112019066124463-pat00030
    ,
    Figure 112019066124463-pat00031
    ,
    Figure 112019066124463-pat00032
    ,
    Figure 112019066124463-pat00033
    는 각각 기존의 적대적 손실(adversarial loss), 지각 손실(perceptual loss), 칼라 손실(color loss), 전체 변동 손실(Total variation loss)이고,
    Figure 112019066124463-pat00034
    는 가중치 파라미터인 것을 특징으로 하는 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치.
  8. 제 7 항에 있어서, 적대적 손실 함수로 WGAN-GP을 사용하고, 적대적 손실(
    Figure 112019066124463-pat00035
    )은,
    Figure 112019066124463-pat00036
    으로 정의되고,
    여기서, IL은 저조도 이미지, GG는 생성자(Generator), DD는 판별자(Discriminator)인 것을 특징으로 하는 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치.
  9. 제 7 항에 있어서, 픽셀 레벨이 아닌 특징 레벨의 지각 손실(
    Figure 112019066124463-pat00037
    )을 사용하고, 지각 손실(
    Figure 112019066124463-pat00038
    )은
    Figure 112019066124463-pat00039
    으로 정의되고,
    여기서,
    Figure 112019066124463-pat00040
    와
    Figure 112019066124463-pat00041
    는 각각 특징 맵의 가로길이와 세로길이로, 전체 특징 맵의 차원을 의미하고,
    Figure 112019066124463-pat00042
    는 이미지 넷에 미리 트레이닝 된 VGG19 네트워크의 I 번째 max pooling layer 이전의 j 번째 convolution에 의해 얻어진 특징 맵을 의미하는 것을 특징으로 하는 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치.
  10. 제 7 항에 있어서, 생성자를 통해 얻은 결과에서 color distortion이 발생하는 것을 방지하기 위해 칼라 손실(
    Figure 112019066124463-pat00043
    )을 사용하고, 칼라 손실(
    Figure 112019066124463-pat00044
    )은 가우시안 블러링을 나타내는,
    Figure 112019066124463-pat00045
    으로 정의되는 것을 특징으로 하는 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치.
  11. 제 7 항에 있어서, 생성자를 통과한 결과 이미지에 공간 평활도(spatial smoothness)를 추가하기 위해 전체 변동 손실(
    Figure 112019066124463-pat00046
    )을 사용하고 전체 변동 손실(
    Figure 112019066124463-pat00047
    )은,
    Figure 112019066124463-pat00048
    으로 정의되고,
    Figure 112019066124463-pat00049
    는 x 방향에서의 이미지 차이,
    Figure 112019066124463-pat00050
    는 y 방향에서의 이미지 차이, C는 채널의 개수이며, CHW는 개선된 이미지의 전체 차원(channel, height, width)을 의미하는 것을 특징으로 하는 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치.
  12. 원래 이미지(ground truth)가 주어지면, 작업 중심(task-driven)의 트레이닝 세트를 포함하는 부분적으로 조명된(Locally illuminated) 이미지를 합성하는 단계;
    출력 이미지가 트레이닝이 진행됨에 따라 ground truth와 더 유사해지도록 Low-lightGAN을 트레이닝하는 단계;
    안정적인 트레이닝을 위해 Low-lightGAN의 생성기에 스펙트럼 정규화를 적용하고, 그라데이션 패널티(gradient penalty)가 있는 Wasserstein distance를 사용하는 단계;
    Low-lightGAN을 보다 정확하게 만들기 위해 손실 함수값을 산출하여 Low-lightGAN을 트레이닝에 적용하는 단계;를 포함하고,
    Low-lightGAN을 트레이닝하는 단계에서 학습데이터를 만드는 과정에서 전역적인 밝기(global illumination) 뿐만 아니라 지역적인 밝기(local illumination)도 고려하기 위해서 quad-tree decomposition 방법을 이용하여 학습데이터가 다른 지역적 밝기 정보를 가질 수 있도록 하는 것을 특징으로 하는 적대적 생성망을 이용한 저조도 영상 개선을 위한 방법.
  13. 제 12 항에 있어서, Low-lightGAN을 트레이닝하는 단계에서,
    Low-lightGAN 학습을 하는 생성자의 구조는 DeblurGAN과 유사한 구조를 갖고, 정밀한 특징 추출을 위해 15개의 RDB(residual dense block)을 사용하는 것을 특징으로 하는 적대적 생성망을 이용한 저조도 영상 개선을 위한 방법.
  14. 삭제
  15. 제 12 항에 있어서, 손실 함수값을 산출하여 Low-lightGAN을 트레이닝에 적용하는 단계에서,
    저조도 영상 밝기 개선의 정확도를 높이기 위하여 적대적 손실(adversarial loss), 지각 손실(perceptual loss), 칼라 손실(color loss), 전체 변동 손실(Total variation loss)의 손실 함수값 산출을 하여 Low-lightGAN을 트레이닝에 적용하는 것을 특징으로 하는 적대적 생성망을 이용한 저조도 영상 개선을 위한 방법.
KR1020190077222A 2019-06-27 2019-06-27 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법 KR102134405B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190077222A KR102134405B1 (ko) 2019-06-27 2019-06-27 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190077222A KR102134405B1 (ko) 2019-06-27 2019-06-27 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102134405B1 true KR102134405B1 (ko) 2020-07-15

Family

ID=71603572

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190077222A KR102134405B1 (ko) 2019-06-27 2019-06-27 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102134405B1 (ko)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899193A (zh) * 2020-07-30 2020-11-06 湖北工业大学 一种基于低照度图像增强算法的刑侦摄影系统及方法
CN111915526A (zh) * 2020-08-05 2020-11-10 湖北工业大学 一种基于亮度注意力机制低照度图像增强算法的摄影方法
CN111915525A (zh) * 2020-08-05 2020-11-10 湖北工业大学 基于改进深度可分离生成对抗网络的低照度图像增强方法
CN111968044A (zh) * 2020-07-16 2020-11-20 中国科学院沈阳自动化研究所 基于Retinex和深度学习的低照度图像增强方法
CN112381897A (zh) * 2020-11-16 2021-02-19 西安电子科技大学 基于自编码网络结构的低照度图像增强方法
CN112651917A (zh) * 2020-12-28 2021-04-13 北京信息科技大学 一种基于生成对抗网络的空间卫星低照度图像增强方法
CN113255977A (zh) * 2021-05-13 2021-08-13 江西鑫铂瑞科技有限公司 基于工业互联网的智慧工厂生产设备故障预测方法及系统
CN113538263A (zh) * 2021-06-28 2021-10-22 江苏威尔曼科技有限公司 基于改进DeblurGAN模型的去运动模糊方法、介质及设备
CN114066747A (zh) * 2021-10-19 2022-02-18 重庆理工大学 一种基于光照和反射互补性的低照度图像增强方法
KR102368677B1 (ko) 2020-12-14 2022-02-28 중앙대학교 산학협력단 어두운 영역 기반 저조도 영상 개선 방법 및 장치
KR20220040530A (ko) * 2020-09-23 2022-03-31 동국대학교 산학협력단 딥 러닝 기반 저조도 영상 분할 시스템 및 방법
US11373274B1 (en) 2021-03-17 2022-06-28 Si Analytics Co., Ltd. Method for super resolution imaging based on deep learning
CN114926348A (zh) * 2021-12-22 2022-08-19 天翼数字生活科技有限公司 一种去除低照度视频噪声的装置和方法
CN114972116A (zh) * 2022-06-29 2022-08-30 桂林电子科技大学 一种基于NASPE-net的低照度图像增强方法
WO2022265321A1 (en) * 2021-06-15 2022-12-22 Samsung Electronics Co., Ltd. Methods and systems for low light media enhancement
KR20230077386A (ko) 2021-11-25 2023-06-01 중앙대학교 산학협력단 적대적 공격을 이용한 물체추적 성능 향상 시스템
KR102594410B1 (ko) 2022-06-03 2023-10-30 동국대학교 산학협력단 히스토그램 기반 변환함수 추정에 기반하여 개선 영상을 획득하는 영상 개선 장치 및 방법
KR102611606B1 (ko) 2023-07-04 2023-12-08 주식회사 포딕스시스템 생성적 적대 신경망 기반의 노이즈 제거 기능을 가지는저조도 이미지 개선 장치 및 방법
CN117541489A (zh) * 2023-10-18 2024-02-09 南京航空航天大学 一种物理驱动的用于低光图像增强的对比学习方法
US11921818B2 (en) 2020-12-01 2024-03-05 Samsung Electronics Co., Ltd. Image recognition method and apparatus, image preprocessing apparatus, and method of training neural network
CN118036732A (zh) * 2024-04-11 2024-05-14 神思电子技术股份有限公司 基于临界对抗学习的社会事件图谱关系补全方法及系统
CN118469845A (zh) * 2024-07-11 2024-08-09 华侨大学 一种非参考无标记细胞显微图像视觉增强方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160056729A (ko) 2014-11-12 2016-05-20 고려대학교 산학협력단 극저조도 영상의 화질 개선 장치 및 방법
KR101959147B1 (ko) 2017-12-28 2019-03-15 중앙대학교 산학협력단 왜곡없이 저조도 영상 프레임을 복원하는 단말 장치 및 방법과 이를 수행하는 기록 매체

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160056729A (ko) 2014-11-12 2016-05-20 고려대학교 산학협력단 극저조도 영상의 화질 개선 장치 및 방법
KR101959147B1 (ko) 2017-12-28 2019-03-15 중앙대학교 산학협력단 왜곡없이 저조도 영상 프레임을 복원하는 단말 장치 및 방법과 이를 수행하는 기록 매체

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Deep Retinex Decomposition for Low-Light Enhancement, Chen Wei, Wenjing Wang, Wenhan Yang, Jiaying Liu, in BMVC, 2018.
Hanwen Liu ET AL:"Deep Networks for Image-to-Image Translation with Mux and Demux Layers", The European Conference on Computer Vision (ECCV) Workshops, 2018(2018.09.08.) 1부.* *
LightenNet: A Convolutional Neural Network for weakly illuminated image enhancement, Chongyi Li, Jichang Guo, Fatih Porikli, Yanwei Pang, Pattern Recognition Letters 104 (2018)15-22.
MSR-Net: Low-light image enhancement using deep convolutional network, Liang Shen, Zihan Yue, Fan Feng, Quan Chen, Shihao Liu, and Jie Ma, arXiv preprint arXiv:1711.02488, 2017.
Orest Kupyn ET AL:"DeblurGAN: Blind Motion Deblurring Using Conditional Adversarial Networks", The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2018, pp.8183-8192(2018.06.18.) 1부.* *
Takeru Miyato ET AL:"Spectral Normalization for Generative Adversarial Networks", CS_Machine Learning(arXiv:1802.05957), 16 Feb. 2018(2018.02.16.) 1부.* *
임세호, "GAN 기반의 저조도 영상 개선 기법", 고려대학교 대학원 석사 학위논문(2018.12.31.) 1부.* *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968044A (zh) * 2020-07-16 2020-11-20 中国科学院沈阳自动化研究所 基于Retinex和深度学习的低照度图像增强方法
CN111968044B (zh) * 2020-07-16 2023-08-11 中国科学院沈阳自动化研究所 基于Retinex和深度学习的低照度图像增强方法
CN111899193A (zh) * 2020-07-30 2020-11-06 湖北工业大学 一种基于低照度图像增强算法的刑侦摄影系统及方法
CN111915526A (zh) * 2020-08-05 2020-11-10 湖北工业大学 一种基于亮度注意力机制低照度图像增强算法的摄影方法
CN111915525A (zh) * 2020-08-05 2020-11-10 湖北工业大学 基于改进深度可分离生成对抗网络的低照度图像增强方法
CN111915525B (zh) * 2020-08-05 2024-03-01 湖北工业大学 基于改进深度可分离生成对抗网络的低照度图像增强方法
CN111915526B (zh) * 2020-08-05 2024-05-31 湖北工业大学 一种基于亮度注意力机制低照度图像增强算法的摄影方法
KR20220040530A (ko) * 2020-09-23 2022-03-31 동국대학교 산학협력단 딥 러닝 기반 저조도 영상 분할 시스템 및 방법
KR102490445B1 (ko) * 2020-09-23 2023-01-20 동국대학교 산학협력단 딥 러닝 기반 저조도 영상 분할 시스템 및 방법
CN112381897A (zh) * 2020-11-16 2021-02-19 西安电子科技大学 基于自编码网络结构的低照度图像增强方法
CN112381897B (zh) * 2020-11-16 2023-04-07 西安电子科技大学 基于自编码网络结构的低照度图像增强方法
US11921818B2 (en) 2020-12-01 2024-03-05 Samsung Electronics Co., Ltd. Image recognition method and apparatus, image preprocessing apparatus, and method of training neural network
KR102368677B1 (ko) 2020-12-14 2022-02-28 중앙대학교 산학협력단 어두운 영역 기반 저조도 영상 개선 방법 및 장치
CN112651917A (zh) * 2020-12-28 2021-04-13 北京信息科技大学 一种基于生成对抗网络的空间卫星低照度图像增强方法
US11373274B1 (en) 2021-03-17 2022-06-28 Si Analytics Co., Ltd. Method for super resolution imaging based on deep learning
CN113255977A (zh) * 2021-05-13 2021-08-13 江西鑫铂瑞科技有限公司 基于工业互联网的智慧工厂生产设备故障预测方法及系统
WO2022265321A1 (en) * 2021-06-15 2022-12-22 Samsung Electronics Co., Ltd. Methods and systems for low light media enhancement
CN113538263A (zh) * 2021-06-28 2021-10-22 江苏威尔曼科技有限公司 基于改进DeblurGAN模型的去运动模糊方法、介质及设备
CN114066747B (zh) * 2021-10-19 2024-05-31 重庆理工大学 一种基于光照和反射互补性的低照度图像增强方法
CN114066747A (zh) * 2021-10-19 2022-02-18 重庆理工大学 一种基于光照和反射互补性的低照度图像增强方法
KR20230077386A (ko) 2021-11-25 2023-06-01 중앙대학교 산학협력단 적대적 공격을 이용한 물체추적 성능 향상 시스템
CN114926348B (zh) * 2021-12-22 2024-03-01 天翼数字生活科技有限公司 一种去除低照度视频噪声的装置和方法
CN114926348A (zh) * 2021-12-22 2022-08-19 天翼数字生活科技有限公司 一种去除低照度视频噪声的装置和方法
KR102594410B1 (ko) 2022-06-03 2023-10-30 동국대학교 산학협력단 히스토그램 기반 변환함수 추정에 기반하여 개선 영상을 획득하는 영상 개선 장치 및 방법
CN114972116A (zh) * 2022-06-29 2022-08-30 桂林电子科技大学 一种基于NASPE-net的低照度图像增强方法
CN114972116B (zh) * 2022-06-29 2024-03-26 桂林电子科技大学 一种基于NASPE-net的低照度图像增强方法
KR102611606B1 (ko) 2023-07-04 2023-12-08 주식회사 포딕스시스템 생성적 적대 신경망 기반의 노이즈 제거 기능을 가지는저조도 이미지 개선 장치 및 방법
CN117541489A (zh) * 2023-10-18 2024-02-09 南京航空航天大学 一种物理驱动的用于低光图像增强的对比学习方法
CN118036732A (zh) * 2024-04-11 2024-05-14 神思电子技术股份有限公司 基于临界对抗学习的社会事件图谱关系补全方法及系统
CN118469845A (zh) * 2024-07-11 2024-08-09 华侨大学 一种非参考无标记细胞显微图像视觉增强方法

Similar Documents

Publication Publication Date Title
KR102134405B1 (ko) 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법
Golts et al. Unsupervised single image dehazing using dark channel prior loss
US11055828B2 (en) Video inpainting with deep internal learning
CN111292264B (zh) 一种基于深度学习的图像高动态范围重建方法
CN106778928B (zh) 图像处理方法及装置
US20200357142A1 (en) Learning-based sampling for image matting
Panetta et al. Tmo-net: A parameter-free tone mapping operator using generative adversarial network, and performance benchmarking on large scale hdr dataset
CN110827210B (zh) 一种基于颜色曲线分解的水下图像清晰化方法及系统
CN109829868B (zh) 一种轻量级深度学习模型图像去雾方法、电子设备及介质
Lepcha et al. A deep journey into image enhancement: A survey of current and emerging trends
Xiao et al. Single image dehazing based on learning of haze layers
Swami et al. Candy: Conditional adversarial networks based fully end-to-end system for single image haze removal
CN117611501A (zh) 一种低照度图像增强方法、装置、设备及可读存储介质
CN117197627A (zh) 一种基于高阶退化模型的多模态图像融合方法
CN115100337A (zh) 一种基于卷积神经网络的全身人像视频重照明方法和装置
CN116362998A (zh) 图像增强装置、方法、电子设备和存储介质
Li et al. Adaptive weighted multiscale retinex for underwater image enhancement
Guan et al. DiffWater: Underwater image enhancement based on conditional denoising diffusion probabilistic model
Kumar et al. Underwater image enhancement using deep learning
Li et al. SPN2D-GAN: semantic prior based night-to-day image-to-image translation
CN107369138A (zh) 基于高阶统计模型的图像最优化显示方法
Gautam et al. WMCP-EM: An integrated dehazing framework for visibility restoration in single image
Yao et al. A Generative Image Inpainting Model Based on Edge and Feature Self‐Arrangement Constraints
Tal et al. Nldnet++: A physics based single image dehazing network
CN108564534A (zh) 一种基于检索的图像对比度调整方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant