KR102368677B1 - 어두운 영역 기반 저조도 영상 개선 방법 및 장치 - Google Patents

어두운 영역 기반 저조도 영상 개선 방법 및 장치 Download PDF

Info

Publication number
KR102368677B1
KR102368677B1 KR1020200174683A KR20200174683A KR102368677B1 KR 102368677 B1 KR102368677 B1 KR 102368677B1 KR 1020200174683 A KR1020200174683 A KR 1020200174683A KR 20200174683 A KR20200174683 A KR 20200174683A KR 102368677 B1 KR102368677 B1 KR 102368677B1
Authority
KR
South Korea
Prior art keywords
image
low
illuminance
region
light
Prior art date
Application number
KR1020200174683A
Other languages
English (en)
Inventor
권준석
김귀식
권도경
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020200174683A priority Critical patent/KR102368677B1/ko
Application granted granted Critical
Publication of KR102368677B1 publication Critical patent/KR102368677B1/ko

Links

Images

Classifications

    • G06T5/008—
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 어두운 영역 기반 저조도 영상 개선 방법 및 장치에 관한 것으로, 보다 상세하게는 저조도 영상의 밝기를 개선하기 위해 객체 검출에 주로 사용되던 저조도 영역의 분할 및 지역화 메커니즘(attention mechanism)을 이용하여 주어진 이미지의 저조도 영역에만 집중할 수 있도록 하는 저조도 영역의 분할 및 지역화(attention map)를 생성하는 어두운 영역 기반 저조도 영상 개선 방법 및 장치에 관한 것으로, 저조도 영상 이미지를 인풋으로 하여, 상기 저조도 영상 이미지의 영역을 분할하는 이미지영역분할부와 이미지영역분할부로부터 분할된 이미지에서 저조도 영역의 반전 이미지 영상값 및 네트워크 이미지 아웃풋의 오류(error)값을 도출하는 이미지반전값도출부; 도출값을 기반으로 이미지의 분할된 영역 중에서도 관심영역 이미지 기반의 화소 레벨 손실을 연산하는 연산부;와 연산부에서 연산된 도출값과 상기 저조도 영상 네트워크 기준으로 저조도 영상을 개선하는 이미지영상개선부;와 이미지영상개선부로부터 저조도 영상을 개선한 이미지 결과물이 저조도 영상 이미지 분할 단계로 재전달하는 피드백부;를 포함한다.

Description

어두운 영역 기반 저조도 영상 개선 방법 및 장치{DALE: Dark Region-Aware Low-light Image Enhancement}
본 발명은 어두운 영역 기반 저조도 영상 개선 방법 및 장치에 관한 것으로, 보다 상세하게는 저조도 영상의 밝기를 개선하기 위해 객체 검출에 주로 사용되던 저조도 영역의 분할 및 지역화 메커니즘(attention mechanism)을 이용하여 주어진 이미지의 저조도 영역에만 집중할 수 있도록 하는 저조도 영역의 분할 및 지역화(attention map)를 생성하는 어두운 영역 기반 저조도 영상 개선 방법 및 장치에 관한 것이다.
저녁, 혹은 빛이 적은 영역에서 획득 된 영상을 저조도 영상이라고 하며, 이런 저조도 영상들의 어두운 영역들은 영상의 디테일과 화질을 감소시켜 객체 검출이나, Tracking과 같은 다양한 컴퓨터 비전 알고리즘들의 성능을 낮추는 원인이 된다. 이러한 문제를 해결하기 위해 컴퓨터 비전 분야에서는 다양한 저조도 영상 해결 방법을 제안해왔다. 특별히 이미지의 밝기와 대비를 이용한 histogram equalization부터, retinex 이론, High dynamic range를 기반으로 한 방법들이 있다. 또한, 최근에는 딥러닝 기술을 이용한 MSRNet, LLNet, LightenNet, RetinexNet, MBLLEN 와 같은 방법들이 제안되었다. 뿐만 아니라, GAN을 이용하여 realistic하게 저조도 영상을 개선한 low-lightGAN, EnlightenGAN과 같은 방법들도 있다. 이러한 종래기술들로 생성된 이미지들은 저조도 영상 개선의 영상의 효과는 있지 제거 되지 않은 노이즈로 인해 저조도 영역이 완전하게 개선되지 못하거나, 기존의 밝았던 영역들도 함께 밝아지며 왜곡이 발생하게 된다는 문제점이 있다.
한국등록특허공보 (KR)제2134405호(2020.07.09)
본 발명은 이와 같은 문제점을 감안한 것으로서, 본 발명은 저조도 영상의 밝기를 개선하기 위해 객체 검출에 주로 사용되던 저조도 영역의 분할 및 지역화의 메커니즘(attention mechanism)을 이용하여 주어진 이미지의 저조도 영역에만 집중할 수 있도록 하는 저조도 영역의 분할 및 지역화(attention map)를 생성하는 할 수 있는 어두운 영역 기반 저조도 영상 개선 방법 및 장치를 제공하는 것이다.
본 발명의 실시 예들에 따른, 어두운 영역 기반 저조도 영상 개선 방법은 저조도 영상 이미지를 인풋으로 하여, 상기 저조도 영상 이미지의 영역을 분할하는 단계;와 상기 분할된 상기 이미지에서 상기 저조도 영역 및 상기 저조도 영상 개선 네트워크 이미지 아웃풋의 반전 결과값을 도출하는 단계;와 상기 반전 결과값을 기반으로 상기 이미지의 분할된 영역 중에서 관심영역 이미지 기반의 화소 레벨 손실을 연산하는 단계;와 상기 연산을 통해서 얻은 연산값을 활용하는 상기 저조도 영상 개선 네트워크 기반으로 상기 저조도 영상 이미지를 개선하는 단계; 및 상기 저조도 개선 이미지 결과물이 상기 저조도 영상 이미지 분할 단계로 재 전달되어 상기 일련의 과정들을 반복하는 단계;를 포함한다.
본 발명의 실시 예들에 있어서, 상기 저조도 영상 이미지를 인풋으로 하여, 상기 저조도 영상 이미지의 영역을 분할하는 단계는 상기 저조도 영상 이미지에서 어두운 영역과 밝은 영역으로 상기 이미지의 분할하는 단계; 와 상기 어두운 영역의 저조도 영상 이미지를 지역화(Localization)를 하는 단계;를 포함한다.
본 발명의 실시 예들에 있어서, 상기 분할된 상기 이미지에서 상기 저조도 영역 및 상기 저조도 영상 개선 네트워크 이미지 아웃풋의 반전 결과값을 도출하는 단계는 상기 저조도 영상의 어두운 영역의 이미지를 상기 관심영역의 영상 이미지값으로 지정하는 단계; 와 상기 관심영역의 영상 이미지의 반전 값을 도출하는 단계; 와 상기 관심영역 외, 영상 이미지는 그대로 유지하는 단계; 와 상기 관심영역의 영상 이미지를 사전에 학습이 된 상기 저조도 영상 개선 네트워크 알고리즘에 입력하는 단계; 및 상기 저조도 영상 개선 네트워크 알고리즘으로부터 도출된 이미지 오류(error)값을 도출하는 단계;를 포함한다.
본 발명의 실시 예들에 있어서, 상기 반전 결과값을 기반으로 상기 이미지의 분할된 영역 중에서 관심영역 이미지 기반의 화소 레벨 손실을 연산하는 단계는 상기 저조도 영상 관심영역 이미지의 화소 레벨을 연산하는 단계; 와 상기 관심영역의 화소 레벨을 기반으로, 상기 관심영역의 이미지의 손실함수를 구하는 단계; 와 상기 저조도 영상 개선 네트워크로 미리 학습된 알고리즘을 기반으로 하여 도출되는 손실함수를 구하는 단계; 및 상기 관심영역의 이미지 손실함수와 상기 학습된 알고리즘 기반의 손실함수의 연산으로 상기 관심영역의 이미지 화소 레벨의 전체 손실을 연산하는 단계;를 포함한다.
본 발명의 다른 실시 예들에 따른, 어두운 영역 기반 저조도 영상 개선을 위해 상기 어두운 영역 기반 저조도 영상의 손실을 연산하는 방법에 있어서, 인풋 영상 이미지 신호전류(
Figure 112020135636550-pat00001
)에서 저조도 영상 이미지 신호전류(
Figure 112020135636550-pat00002
)의 차이로 상기 어두운 영역 기반의 저조도 영상 신호전류(
Figure 112020135636550-pat00003
)를 도출하는 단계; 와 수학식1:
Figure 112020135636550-pat00004
Figure 112020135636550-pat00005
, (여기서,
Figure 112020135636550-pat00006
: 어두운 영역 기반의 저조도 영상 신호전류 정답값,
Figure 112020135636550-pat00007
: 인풋 영상 이미지 신호전류값,
Figure 112020135636550-pat00008
: 저조도 영상 이미지 신호전류값) 상기 어두운 영역 기반의 저조도 영상 신호전류를 예측한 값(
Figure 112020135636550-pat00009
)과 상기 어두운 영역 기반의 저조도 영상 신호전류(
Figure 112020135636550-pat00010
)의 화소 레벨의 오류차이로 상기 어두운 영역 기반의 저조도 영상의 손실함수를 도출하는 단계; 와 수학식2 :
Figure 112020135636550-pat00011
(여기서,
Figure 112020135636550-pat00012
: 저조도 영상의 손실함수,
Figure 112020135636550-pat00013
: 어두운 영역 기반의 저조도 영상 신호전류 예측값
Figure 112020135636550-pat00014
:어두운 영역 기반의 저조도 영상 신호전류 정답값) 상기 어두운 영역 기반의 저조도 영상 신호전류를 예측한 값과 상기 저조도 영상 이미지 신호전류를 합성한 신호전류(
Figure 112020135636550-pat00015
)와, 상기 저조도 개선 영상 신호전류(
Figure 112020135636550-pat00016
)의 화소 레벨(
Figure 112020135636550-pat00017
)의 오류차이로 상기 저조도 영상의 손실을 도출하는 단계; 및 수학식3:
Figure 112020135636550-pat00018
(여기서,
Figure 112020135636550-pat00019
: 저조도 개선 영상의 손실함수,
Figure 112020135636550-pat00020
: 어두운 영역 기반의 저조도 영상 신호전류 예측값,
Figure 112020135636550-pat00021
: 저조도 영상 이미지 신호전류값,
Figure 112020135636550-pat00022
: 어두운 영역 기반의 저조도 영상 신호전류 예측값과 저조도 영상 이미지 신호전류값을 합성한 신호전류값,
Figure 112020135636550-pat00023
: 저조도 개선 영상 정답 이미지,
Figure 112020135636550-pat00024
: 이미지 넷으로 미리 트레이닝 된 VGG-16 네트워크의 16번째 화소이미지) 상기 도출된 저조도 영상의 손실의 합의 연산을 통해서, 상기 저조도 영상 네트워크의 전체 손실 함수를 도출하는 단계;를 포함한다. 수학식4 :
Figure 112020135636550-pat00025
(여기서,
Figure 112020135636550-pat00026
는 각각 0.5,1)
본 발명의 실시 예들에 있어서, 상기 연산을 통해서 얻은 연산값을 활용한 상기 저조도 영상 개선 네트워크 기반으로 상기 저조도 영상 이미지를 개선하는 단계는 상기 인풋 이미지에서 상기 저조도 영상 기반의 상기 관심영역 이미지에만 집중할 수 있도록 연산하는 연산식을 이용하여, 상기 저조도 영상 이미지의 어두운 영역 포커싱(focusing) 알고리즘을 생성하는 단계; 와 상기 알고리즘을 포함하는 상기 저조도 영상 개선 네트워크에서 최종적으로 상기 저조도 영상 이미지의 밝기를 개선하는 단계; 와 상기 저조도 영역의 영상에 집중하는 연산값을 도출하는 단계; 및 상기 저조도 영역 영상에 집중하는 연산값을 기반으로 학습 알고리즘을 생성하는 단계;를 포함한다.
본 발명의 다른 실시 예들에 따른, 어두운 영역 포커싱(focusing) 알고리즘을 생성하는 네트워크에서 최종적으로 상기 저조도 영상의 밝기를 개선하는 방법에 있어서, 상기 네트워크를 이용하여 예측된 상기 저조도 영역이 개선의 결과와 상기 저조도 개선 영상 결과의 화소 레벨의 오류차이로 손실함수를 도출하는 단계; 와 수학식5:
Figure 112020135636550-pat00027
(여기서,
Figure 112020135636550-pat00028
: 어두운 영역 기반의 저조도 영상 신호전류 예측값과 저조도 영상 이미지 신호전류값을 합성한 신호전류값,
Figure 112020135636550-pat00029
: 네트워크를 이용하여 저조도 영역이 개선된 예측 영상 이미지,
Figure 112020135636550-pat00030
: 저조도 개선 영상 정답 이미지) 상기 예측된 저조도 영상의 개선 결과 영상과 상기 저조도 개선 영상 사이의 상기 특징 화소 레벨(
Figure 112020135636550-pat00031
)의 오류차이로 손실함수를 도출하는 단계; 와 수학식6:
Figure 112020135636550-pat00032
(여기서,
Figure 112020135636550-pat00033
: 이미지 넷으로 미리 트레이닝 된 VGG-16 네트워크의 16번째 화소이미지) 상기 개선된 저조도 영상의 부분적인 필터를 추가하기 위한 손실함수를 도출하는 단계; 및 수학식7:
Figure 112020135636550-pat00034
(여기서, C:채널 개수, H: 이미지의 가로길이, W:이미지의 세로길이,
Figure 112020135636550-pat00035
: x축 방향의 미분값,
Figure 112020135636550-pat00036
: y축 방향의 미분값) 상기 도출한 3개의 손실함수를 기반으로 하여, 상기 네트워크 알고리즘의 전체 손실함수를 도출하는 단계;를 포함한다. 수학식8:
Figure 112020135636550-pat00037
(여기서,
Figure 112020135636550-pat00038
은 1, 5, 1)
본 발명의 실시 예들에 있어서, 상기 저조도 영상 이미지의 어두운 영역 포커싱(focusing) 알고리즘을 생성하는 네트워크에서 최종적으로 상기 저조도 영상의 밝기를 개선하는 단계는 전역적인 밝기(Global illumination) 및 지역적인 밝기(local illumination)도 고려하는 알고리즘을 생성하는 단계; 및 상기 밝기를 고려하는 학습 알고리즘에 따라, 상기 저조도 이미지의 분할된 적어도 어느 하나 이상의 영역에 따른 밝기 정보를 가질 수 있도록 하는 단계;를 포함한다.
본 발명의 실시 예들에 있어서, 상기 저조도 영상을 개선한 이미지 결과물이 상기 저조도 영상 이미지 분할 단계로 재 전달되어 상기 일련의 과정들을 반복하는 단계는 상기 개선된 저조도 영상 이미지 결과물이 상기 최적의 밝기 영상 이미지 결과물을 얻을 수 있도록, 상기 어두운 영역 기반 저조도 영상 개선의 일련의 방법을 지속하는 단계;를 포함한다.
본 발명의 실시 예들에 있어서, 저조도 영상 이미지를 인풋으로 하여, 상기 저조도 영상 이미지의 영역을 분할하는 이미지영역분할부; 와 상기 이미지영역분할부로부터 분할된 상기 이미지에서 상기 저조도 영역의 반전 이미지 영상값 및 네트워크 이미지 아웃풋의 오류(error)값을 도출하는 이미지반전값도출부; 와 상기 도출값을 기반으로 상기 이미지의 분할된 영역 중에서도 관심영역 이미지 기반의 화소 레벨 손실을 연산하는 연산부; 와 상기 연산부에서 연산된 도출값과 상기 저조도 영상 네트워크 기준으로 상기 저조도 영상을 개선하는 이미지영상개선부; 및 상기 이미지영상개선부로부터 저조도 영상을 개선한 이미지 결과물이 상기 저조도 영상 이미지 분할 단계로 재전달하는 피드백부;를 포함한다.
이상에서 설명한 바와 같은 어두운 영역 기반 저조도 영상 개선 방법 및 장치에 따르면,
첫째, 저조도 영역의 분할 및 지역화(Attention map) 이용한 저조도 영상 개선 방법으로 정밀한 저조도 영역의 분할 및 지역화(attention map)된 이미지를 추출할 수 있다.
둘째, 학습을 위해 어두운 영역의 영상 이미지 화소들의 유사화(Superpixel) 알고리즘을 이용하여 지역적으로 다양한 밝기를 갖는 저조도 영상을 생성할 수 있다.
셋째, 저조도 영역의 분할 및 지역화를 통해 나온 결과 이미지를 저조도 영상 개선 네트워크에 통과시켜 전체적으로 밝기가 자연스럽게 개선 된 결과를 얻을 수 있도록 구성할 수 있다.
도1은 본 발명의 방법의 흐름도이다.
도2와 도3은 본 발명의 실험 결과 모식도이다.
도4는 본 발명의 알고리즘의 모식도이다.
도5와 도6은 본 발명의 실시 예들에 따른 흐름도이다.
도7은 본 발명의 구성도이다.
첨부한 도면을 참조하여 본 발명의 실시예들에 따른 어두운 영역 기반 저조도 영상 개선 방법 및 장치에 대하여 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하거나, 개략적인 구성을 이해하기 위하여 실제보다 축소하여 도시한 것이다.
또한, 제1 및 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 한편, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도1은 본 발명의 방법의 흐름도이다.
도1을 참고하면, 어두운 영역 기반 저조도 영상 개선 방법은 어두운 영역 기반 저조도 영상 개선 방법은 저조도 영상 이미지를 인풋으로 하여, 상기 저조도 영상 이미지의 영역을 분할하는 단계(S01);와 상기 분할된 상기 이미지에서 상기 저조도 영역 및 상기 저조도 영상 개선 네트워크 이미지 아웃풋의 반전 결과값을 도출하는 단계(S02);와 상기 반전 결과값을 기반으로 상기 이미지의 분할된 영역 중에서 관심영역 이미지 기반의 화소 레벨 손실을 연산하는 단계(S03);와 상기 연산을 통해서 얻은 연산값을 활용하는 상기 저조도 영상 개선 네트워크를 기반으로 상기 저조도 영상 이미지를 개선하는 단계(S04); 및 상기 저조도 개선 이미지 결과물이 상기 저조도 영상 이미지 분할 단계로 재 전달되어 상기 일련의 과정들을 반복하는 단계(S05);를 거처 상기 저조도 영상 이미지를 반복적으로 개선한다.
좀 더 상세하게 설명하면 상기 저조도 영상 이미지를 인풋으로 하여, 상기 저조도 영상 이미지의 영역을 분할하는 단계(S01)는 상기 저조도 영상 이미지에서 어두운 영역과 밝은 영역으로 상기 이미지의 분할하고, 상기 어두운 영역의 저조도 영상 이미지를 지역화(Localization)를 한다. 상기 분할된 상기 이미지에서 상기 저조도 영역 및 상기 저조도 영상 개선 네트워크 이미지 아웃풋의 반전 결과값을 도출하는 단계(S02)는 상기 저조도 영상의 어두운 영역의 이미지를 상기 관심영역의 영상 이미지값으로 지정하고, 상기 관심영역의 영상 이미지의 반전 값을 도출한다. 상기 관심영역 외, 영상 이미지는 그대로 유지하며, 상기 관심영역의 영상 이미지를 사전에 학습이 된 상기 저조도 영상 개선 네트워크 알고리즘에 입력한다. 이 후, 상기 저조도 영상 개선 네트워크 알고리즘으로부터 도출된 이미지 오류(error)값을 도출한다.
또한, 상기 반전 결과값을 기반으로 상기 이미지의 분할된 영역 중에서 관심영역 이미지 기반의 화소 레벨 손실을 연산하는 단계(S03)는 상기 저조도 영상 관심영역 이미지의 화소 레벨을 연산하고, 상기 관심영역의 화소 레벨을 기반으로, 상기 관심영역의 이미지의 손실함수를 구한다. 이에 따라 상기 저조도 영상 개선 네트워크로 미리 학습된 알고리즘을 기반으로 하여 도출되는 손실함수를 구하고, 상기 관심영역의 이미지 손실함수와 상기 학습된 알고리즘 기반의 손실함수의 연산으로 상기 관심영역의 이미지 화소 레벨의 전체 손실을 연산한다. 이 후, 상기 연산을 통해서 얻은 연산값을 활용한 상기 저조도 영상 개선 네트워크 기반으로 상기 저조도 영상 이미지를 개선하는 단계(S04)로, 상기 인풋 이미지에서 상기 저조도 영상 기반의 상기 관심영역 이미지에만 집중할 수 있도록 연산하는 연산식을 생성하고 상기 연산식을 이용하여 상기 저조도 영상 이미지의 어두운 영역 포커싱(focusing) 알고리즘을 생성한다. 상기 어두운 영역 포커싱(focusing) 알고리즘을 포함하는 상기 저조도 영상 개선 네트워크에서 최종적으로 상기 저조도 영상 이미지의 밝기를 개선하며, 상기 저조도 영역의 영상 이미지에 집중하는 연산값을 도출한다. 이에 따라, 상기 저조도 영역 영상 이미지에 집중하는 연산값을 기반으로 학습 알고리즘을 생성한다.
특별히 상기 저조도 영상 이미지의 어두운 영역 포커싱 알고리즘을 생성하는 네트워크에서 최종적으로 상기 저조도 영상의 밝기를 개선하는 단계(S04)는, 전역적인 밝기(Global illumination) 및 지역적인 밝기(local illumination)도 고려하는 알고리즘을 생성하고, 상기 밝기를 고려하는 학습 알고리즘에 따라, 상기 저조도 이미지의 분할된 적어도 어느 하나 이상의 영역에 따른 밝기 정보를 가질 수 있도록 하는 단계;를 거친다. 또한 학습을 위해 어두운 영역의 영상 이미지 화소들의 유사화(Superpixel) 알고리즘을 이용하여 지역적으로 다양한 밝기를 갖는 저조도 영상을 생성할 수 있다.
마지막으로 상기 저조도 영상을 개선한 이미지 결과물이 상기 저조도 영상 이미지 분할 단계로 재전달되어 상기 일련의 과정들을 반복하는 단계(S05)는, 상기 개선된 저조도 영상 이미지 결과물을 상기 최적의 밝기 영상 이미지 결과물을 얻을 수 있도록, 상기 어두운 영역 기반 저조도 영상 개선의 일련의 방법을 지속하는 단계;를 거듭한다.
도2와 도3은 본 발명의 실험 결과 모식도이다.
도2와 도3을 참고하면, 본 발명에서는 초 해상도 방법에서 사용하는 DIV2K 데이터셋과 Flicker2K 데이터셋을 합쳐, 3550장의 이미지에 상기 어두운 영역의 영상 이미지 화소들의 유사화 알고리즘(SuperPixel Algorithm)을 이용하여 상기 저조도 영상 이미지의 영역을 분할한 후, 상기 각 영역에서 저조도 합성이 0.1부터 1까지 총 10 단계로 랜덤하게 설정되도록 한다. (여기서 알고리즘은 PyTorch로 구현하였으며, GTX Titan Xp GPU를 사용하였다.) 상기 알고리즘을 기반으로 3550장의 상기 저조도 영상 이미지들과 ground-truth 쌍에서 지속적으로 랜덤하게 패치로 잘라서 데이터를 추출하여 학습 데이터를 구축하였다. (여기서 실험의 경우, 상기 저조도 영상 개선 알고리즘들의 테스트 셋인 NPE, LIME, MEF, DICM 데이터셋을 이용하였다.)
실험 결과는, 도면 2 및 도3과 같이 전체적으로 어두운 영역에 대해서 개선된 것을 확인할 수 있다. 특히, 부분적으로 어두운 영역이 존재하는 2번째 행과 3번째 행의 결과를 보면, 상기 어두운 영역만 밝게 개선시키며 밝은 영역들은 그대로 보존시켜 다른 사진들에 비해 왜곡과 노이즈가 적은 결과를 보이는 것을 알 수 있다. 도면 3은 밝은 영역이 개선되었을 때, 왜곡이 발생하는 문제점을 개선시킨 결과를 보여준다. 도면3에 있는 다른 저조도 영상 개선 알고리즘들과는 달리, 본 발명의 결과는 영상의 디테일을 그대로 살리고 있다.
도4는 본 발명의 알고리즘의 모식도이다.
도4를 참고하면, 도면4는 크게 저조도 영역의 분할 및 지역화(Attention Map)을 추출할 수 있는 상기 이미지 지역화 네트워크와(Visual Attention Network)와 상기 저조도 영역 분할 및 지역화(Attention map)와 상기 저조도 영상을 이용해 최종적으로 상기 저조도 영상을 개선한 결과를 만들어 내는 상기 저조도 영상 개선 네트워크(Enhancement Network)로 구성이 되어있다. 특히, 상기 이미지 지역화 네트워크와(Visual Attention Network)는 얕은 특징화(feature)와 깊은 특징화(feature)를 매핑(mapping)시킬 수 있는 U-Net 구조를 활용하였고, 각 특징(feature)을 정밀하게 사용하기 위해 Residual Block을 이용하였다. 상기 저조도 영상 개선 네트워크(Enhancement Network) 역시 추출된 특징(feature)의 자세한 정보를 사용할 수 있도록 상기 Residual Block들로 구성하였으며, 각 상기 Residual Block의 정보들을 조합하여 최종 결과물을 나타낸다.
도5와 도6은 본 발명의 실시 예들에 따른 흐름도이다.
도5를 참고하면, 어두운 영역 기반 저조도 영상 개선을 위해 상기 어두운 영역 기반 저조도 영상의 손실을 연산하는 방법은, 인풋 영상 이미지 신호전류(
Figure 112020135636550-pat00039
)에서 저조도 영상 이미지 신호전류(
Figure 112020135636550-pat00040
)의 차이로 상기 어두운 영역 기반의 저조도 영상 신호전류(
Figure 112020135636550-pat00041
)를 도출한다. 좀 더 자세하게 설명하면 수학식1을 활용하여 (수학식1 :
Figure 112020135636550-pat00042
Figure 112020135636550-pat00043
) 상기 어두운 영역 기반의 저조도 영상 신호전류(
Figure 112020135636550-pat00044
)를 도출한다. (여기서,
Figure 112020135636550-pat00045
: 어두운 영역 기반의 저조도 영상 신호전류 정답값,
Figure 112020135636550-pat00046
: 인풋 영상 이미지 신호전류값,
Figure 112020135636550-pat00047
: 저조도 영상 이미지 신호전류값)
이 후, 상기 어두운 영역 기반의 저조도 영상 신호전류를 예측한 값(
Figure 112020135636550-pat00048
)과 상기 어두운 영역 기반의 저조도 영상 신호전류(
Figure 112020135636550-pat00049
)의 화소 레벨의 오류차이로 상기 어두운 영역 기반의 저조도 영상의 손실함수를 도출한다. 여기서 사용되는 수학식2로, 수학식2는
Figure 112020135636550-pat00050
이다. (여기서,
Figure 112020135636550-pat00051
: 저조도 영상의 손실함수,
Figure 112020135636550-pat00052
: 어두운 영역 기반의 저조도 영상 신호전류 예측값.
Figure 112020135636550-pat00053
:어두운 영역 기반의 저조도 영상 신호전류 정답값) 이 후, 수학식3과 같이, 상기 어두운 영역 기반의 저조도 영상 신호전류를 예측한 값과 상기 저조도 영상 이미지 신호전류를 합성한 신호전류(
Figure 112020135636550-pat00054
)와, 상기 저조도 개선 영상 신호전류(
Figure 112020135636550-pat00055
)의 화소 레벨(
Figure 112020135636550-pat00056
)의 오류차이로 상기 저조도 영상의 손실을 도출한다. (여기서, 수학식3:
Figure 112020135636550-pat00057
,
Figure 112020135636550-pat00058
: 저조도 개선 영상의 손실함수,
Figure 112020135636550-pat00059
: 어두운 영역 기반의 저조도 영상 신호전류 예측값,
Figure 112020135636550-pat00060
: 저조도 영상 이미지 신호전류값,
Figure 112020135636550-pat00061
: 어두운 영역 기반의 저조도 영상 신호전류 예측값과 저조도 영상 이미지 신호전류값을 합성한 신호전류값,
Figure 112020135636550-pat00062
: 저조도 개선 영상 정답 이미지,
Figure 112020135636550-pat00063
: 이미지 넷으로 미리 트레이닝 된 VGG-16 네트워크의 16번째 화소이미지) 이 후, 수학식 4와 같이, 상기 도출된 저조도 영상의 손실의 합의 연산을 통해서, 상기 저조도 영상 네트워크의 전체 손실 함수를 도출하는 단계;를 포함하고 있는 것을 특징으로 하는 하는 어두운 영역 기반 저조도 영상 개선 방법. (여기서 수학식4 :
Figure 112020135636550-pat00064
,
Figure 112020135636550-pat00065
는 각각 0.5,1)
도6을 참고하면, 어두운 영역 포커싱(focusing) 알고리즘을 생성하는 네트워크에서 최종적으로 상기 저조도 영상의 밝기를 개선하는 방법은 수학식5와 같이, 상기 네트워크를 이용하여 예측된 상기 저조도 영역이 개선의 결과와 상기 저조도 개선 영상 결과의 화소 레벨의 오류차이로 손실함수를 도출하는 단계를 거치고, (여기서, 수학식5:
Figure 112020135636550-pat00066
,
Figure 112020135636550-pat00067
: 어두운 영역 기반의 저조도 영상 신호전류 예측값과 저조도 영상 이미지 신호전류값을 합성한 신호전류값,
Figure 112020135636550-pat00068
: 네트워크를 이용하여 저조도 영역이 개선된 예측 영상 이미지,
Figure 112020135636550-pat00069
: 저조도 개선 영상 정답 이미지) 수학식 6과 같이 상기 예측된 저조도 영상의 개선 결과 영상과 상기 저조도 개선 영상 사이의 상기 특징 화소 레벨(
Figure 112020135636550-pat00070
)의 오류차이로 손실함수를 도출하는 단계를 거친다. (여기서, 수학식6:
Figure 112020135636550-pat00071
,
Figure 112020135636550-pat00072
: 이미지 넷으로 미리 트레이닝 된 VGG-16 네트워크의 16번째 화소이미지) 또한, 수학식7과 같이 상기 개선된 저조도 영상의 부분적인 필터를 추가하기 위한 손실함수를 도출한다. (여기서, 수학식7:
Figure 112020135636550-pat00073
, C:채널 개수, H: 이미지의 가로길이, W:이미지의 세로길이,
Figure 112020135636550-pat00074
: x축 방향의 미분값,
Figure 112020135636550-pat00075
: y축 방향의 미분값) 이에 따라, 수학식 8과 같이 상기 도출한 3개의 손실함수를 기반으로 하여, 상기 네트워크 알고리즘의 전체 손실함수를 도출한다. (여기서, 수학식8:
Figure 112020135636550-pat00076
,
Figure 112020135636550-pat00077
은 1, 5, 1)
도7은 본 발명의 구성도이다.
도7를 참고하면, 어두운 영역 기반 저조도 영상 개선 장치는 저조도 영상 이미지를 인풋으로 하여, 상기 저조도 영상 이미지의 영역을 분할하는 이미지영역분할부(100); 이미지영역분할부(100)로부터 분할된 상기 이미지에서 상기 저조도 영역의 반전 이미지 영상값 및 네트워크 이미지 아웃풋의 오류(error)값을 이미지반전값도출부(300);와 상기 도출값을 기반으로 상기 이미지의 분할된 영역 중에서도 어두운 영상 이미지인, 관심영역 이미지 기반의 화소 레벨 손실을 연산하는 연산부(500);와 연산부(500)에서 연산된 도출값과 상기 저조도 영상 네트워크 기준으로 상기 저조도 영상을 개선하는 이미지영상개선부(700);와 이미지영상개선부(700)로부터 저조도 영상을 개선한 이미지 결과물이 상기 저조도 영상 이미지 분할 단계로 재전달하는 피드백부(900);를 포함한다. 첫째, 저조도 영역의 분할 및 지역화(Attention map) 이용한 저조도 영상 개선 방법으로 정밀한 저조도 영역의 분할 및 지역화(attention map)된 이미지를 추출할 수 있다. 이상에서 설명한 바와 같은 어두운 영역 기반 저조도 영상 개선 방법 및 장치에 따르면, 저조도 영역의 분할 및 지역화(Attention map) 이용한 저조도 영상 개선 방법으로 정밀한 저조도 영역의 분할 및 지역화(attention map)된 이미지를 추출할 수 있으며, 학습을 위해 어두운 영역의 영상 이미지 화소들의 유사화(Superpixel) 알고리즘을 이용하여 지역적으로 다양한 밝기를 갖는 저조도 영상을 생성할 수 있다. 또한, 저조도 영역의 분할 및 지역화를 통해 나온 결과 이미지를 저조도 영상 개선 네트워크에 통과시켜 전체적으로 밝기가 자연스럽게 개선 된 결과를 얻을 수 있도록 구성할 수 있다.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술 분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 이미지영역분할부 300: 이미지반전값도출부
500: 연산부 700: 이미지영상개선부
900: 피드백부

Claims (10)

  1. 저조도 영상 이미지를 인풋으로 하여, 상기 저조도 영상 이미지의 영역을 분할하는 단계;와
    상기 분할된 이미지에서 저조도 이미지 영역 및 저조도 영상 개선 네트워크 기반의 이미지 아웃풋의 반전 결과값을 도출하는 단계; 와
    상기 반전 결과값을 기반으로 상기 이미지의 분할된 영역 중에서 관심영역 이미지 기반의 화소 레벨 손실을 연산하는 단계; 와
    상기 연산을 통해서 얻은 연산값을 활용하는 상기 저조도 영상 개선 네트워크 기반으로 상기 저조도 영상 이미지를 개선하는 단계; 및
    상기 저조도 개선 이미지 결과물이 상기 저조도 영상 이미지 분할 단계로 재 전달되어 일련의 과정들을 반복하는 단계;를 포함하며,
    상기 연산을 통해서 얻은 연산값을 활용한 상기 저조도 영상 개선 네트워크 기반으로 상기 저조도 영상 이미지를 개선하는 단계는,
    상기 인풋 이미지에서 상기 저조도 영상 기반의 상기 관심영역 이미지에만 집중할 수 있도록 연산하는 연산식을 이용하여,
    상기 저조도 영상 이미지의 어두운 영역 포커싱(focusing) 알고리즘을 생성하는 단계; 와
    상기 알고리즘을 포함하는 상기 저조도 영상 개선 네트워크에서 최종적으로 상기 저조도 영상 이미지의 밝기를 개선하는 단계; 와
    상기 저조도 영역의 이미지에 집중하는 연산값을 도출하는 단계; 및
    상기 저조도 영역 이미지에 집중하는 연산값을 기반으로 학습 알고리즘을 생성하는 단계;를 포함하는 것을 특징으로 하는 어두운 영역 기반 저조도 영상 개선 방법.
  2. 제1항에 있어서,
    상기 저조도 영상 이미지를 인풋으로 하여, 상기 저조도 영상 이미지의 영역을 분할하는 단계는,
    상기 저조도 영상 이미지에서 어두운 영역과 밝은 영역으로 상기 이미지의 분할하는 단계; 및
    상기 어두운 영역의 저조도 영상 이미지를 지역화(Localization)를 하는 단계;를 포함하는 것을 특징으로 하는 어두운 영역 기반 저조도 영상 개선 방법.
  3. 제1항에 있어서,
    상기 분할된 상기 이미지에서 상기 저조도 영역 및 상기 저조도 영상 개선 네트워크 이미지 아웃풋의 반전 결과값을 도출하는 단계는,
    상기 저조도 영상의 어두운 영역의 이미지를 상기 관심영역의 영상 이미지값으로 지정하는 단계; 와
    상기 관심영역의 영상 이미지의 반전 값을 도출하는 단계; 와
    상기 관심영역 외, 영상 이미지는 그대로 유지하는 단계; 와
    상기 관심영역의 영상 이미지를 사전에 학습이 된 상기 저조도 영상 개선 네트워크 알고리즘에 입력하는 단계; 및
    상기 저조도 영상 개선 네트워크 알고리즘으로부터 도출된 이미지 오류(error)값을 도출하는 단계;를 포함하는 것을 특징으로 하는 어두운 영역 기반 저조도 영상 개선 방법.
  4. 제1항에 있어서,
    상기 반전 결과값을 기반으로 상기 이미지의 분할된 영역 중에서 관심영역 이미지 기반의 화소 레벨 손실을 연산하는 단계는,
    상기 저조도 영상 관심영역 이미지의 화소 레벨을 연산하는 단계; 와
    상기 관심영역의 화소 레벨을 기반으로, 상기 관심영역의 이미지의 손실함수를 구하는 단계; 와
    상기 저조도 영상 개선 네트워크로 미리 학습된 알고리즘을 기반으로 하여 도출되는 손실함수를 구하는 단계; 및
    상기 관심영역의 이미지 손실함수와 상기 학습된 알고리즘 기반의 손실함수의 연산으로 상기 관심영역의 이미지 화소 레벨의 전체 손실을 연산하는 단계;를 포함하는 것을 특징으로 하는 어두운 영역 기반 저조도 영상 개선 방법.
  5. 어두운 영역 기반 저조도 영상 개선을 위해 상기 어두운 영역 기반 저조도 영상의 손실을 연산하는 방법에 있어서,
    인풋 영상 이미지 신호전류(
    Figure 112021145004955-pat00123
    )에서 저조도 영상 이미지 신호전류(
    Figure 112021145004955-pat00124
    )의 차이로 상기 어두운 영역 기반의 저조도 영상 신호전류(
    Figure 112021145004955-pat00125
    )를 도출하는 단계; 와
    수학식1:
    Figure 112021145004955-pat00126
    Figure 112021145004955-pat00127
    , (여기서,
    Figure 112021145004955-pat00128
    : 어두운 영역 기반의 저조도 영상 신호전류 정답값,
    Figure 112021145004955-pat00129
    : 인풋 영상 이미지 신호전류값,
    Figure 112021145004955-pat00130
    : 저조도 영상 이미지 신호전류값)
    상기 어두운 영역 기반의 저조도 영상 신호전류를 예측한 값(
    Figure 112021145004955-pat00131
    )과, 상기 어두운 영역 기반의 저조도 영상 신호전류(
    Figure 112021145004955-pat00132
    )의 화소 레벨의 오류차이로 상기 어두운 영역 기반의 저조도 영상의 손실함수를 도출하는 단계; 와
    수학식2 :
    Figure 112021145004955-pat00133
    (여기서,
    Figure 112021145004955-pat00134
    : 저조도 영상의 손실함수,
    Figure 112021145004955-pat00135
    : 어두운 영역 기반의 저조도 영상 신호전류 예측값.
    Figure 112021145004955-pat00136
    :어두운 영역 기반의 저조도 영상 신호전류 정답값)
    상기 어두운 영역 기반의 저조도 영상 신호전류를 예측한 값과 상기 저조도 영상 이미지 신호전류를 합성한 신호전류(
    Figure 112021145004955-pat00137
    )와,
    저조도 개선 영상 신호전류(
    Figure 112021145004955-pat00138
    )의 화소 레벨(
    Figure 112021145004955-pat00139
    )의 오류차이로 상기 저조도 영상의 손실을 도출하는 단계; 및
    수학식3:
    Figure 112021145004955-pat00140
    (여기서,
    Figure 112021145004955-pat00141
    : 저조도 개선 영상의 손실함수,
    Figure 112021145004955-pat00142
    : 어두운 영역 기반의 저조도 영상 신호전류 예측값,
    Figure 112021145004955-pat00143
    : 저조도 영상 이미지 신호전류값,
    Figure 112021145004955-pat00144
    : 어두운 영역 기반의 저조도 영상 신호전류 예측값과 저조도 영상 이미지 신호전류값을 합성한 신호전류값,
    Figure 112021145004955-pat00145
    : 저조도 개선 영상 신호전류,
    Figure 112021145004955-pat00146
    : 이미지 넷으로 미리 트레이닝 된 VGG-16 네트워크의 16번째 화소이미지)
    상기 도출된 저조도 영상의 손실의 합의 연산을 통해서, 상기 저조도 영상 네트워크의 전체 손실 함수를 도출하는 단계;
    수학식4 :
    Figure 112021145004955-pat00147
    (여기서,
    Figure 112021145004955-pat00148
    는 각각 0.5,1);를 포함하고 있는 것을 특징으로 하는 하는 어두운 영역 기반 저조도 영상 개선 방법.
  6. 삭제
  7. 어두운 영역 포커싱(focusing) 알고리즘을 생성하는 네트워크에서 최종적으로 저조도 영상의 밝기를 개선하는 방법에 있어서,
    상기 네트워크를 이용하여 예측된 저조도 영역 개선의 결과와 저조도 개선 영상 결과의 화소 레벨의 오류차이로 손실함수를 도출하는 단계; 와
    수학식5:
    Figure 112021145004955-pat00149
    (여기서,
    Figure 112021145004955-pat00150
    : 어두운 영역 기반의 저조도 영상 신호전류 예측값과 저조도 영상 이미지 신호전류값을 합성한 신호전류값,
    Figure 112021145004955-pat00151
    : 네트워크를 이용하여 저조도 영역이 개선된 예측 영상 이미지,
    Figure 112021145004955-pat00152
    : 저조도 개선 영상 정답 이미지)
    상기 예측된 저조도 영상의 개선 결과 영상과 상기 저조도 개선 영상 사이의 특징 화소 레벨(
    Figure 112021145004955-pat00153
    )의 오류차이로 손실함수를 도출하는 단계; 와
    수학식6:
    Figure 112021145004955-pat00154
    (여기서,
    Figure 112021145004955-pat00155
    : 이미지 넷으로 미리 트레이닝 된 VGG-16 네트워크의 16번째 화소이미지)
    상기 개선된 저조도 영상의 부분적인 필터를 추가하기 위한 손실함수를 도출하는 단계; 및
    수학식7:
    Figure 112021145004955-pat00156
    (여기서, C:채널 개수, H: 이미지의 가로길이, W:이미지의 세로길이,
    Figure 112021145004955-pat00157
    : x축 방향의 미분값,
    Figure 112021145004955-pat00158
    : y축 방향의 미분값)
    상기 도출한 3개의 손실함수를 기반으로 하여,
    네트워크 알고리즘의 전체 손실함수를 도출하는 단계; 및
    수학식8:
    Figure 112021145004955-pat00159
    (여기서,
    Figure 112021145004955-pat00160
    은 1, 5, 1)을 포함하고 있는 것을 특징으로 하는 어두운 영역 기반 저조도 영상 개선 방법.
  8. 제1항에 있어서,
    상기 저조도 영상 이미지의 어두운 영역 포커싱(focusing) 알고리즘을 생성하는 네트워크에서 최종적으로 상기 저조도 영상의 밝기를 개선하는 단계는,
    전역적인 밝기(Global illumination) 및 지역적인 밝기(local illumination)도 고려하는 알고리즘을 생성하는 단계; 및
    상기 밝기를 고려하는 학습 알고리즘에 따라,
    상기 저조도 이미지의 분할된 전 영역에 따른 밝기 정보를 가질 수 있도록 하는 단계;를 포함하는 것을 특징으로 하는 어두운 영역 기반 저조도 영상 개선 방법.
  9. 제1항에 있어서,
    상기 저조도 영상을 개선한 이미지 결과물이 상기 저조도 영상 이미지 분할 단계로 재 전달되어 일련의 과정들을 반복하는 단계는,
    상기 개선된 저조도 영상 이미지 결과물이 최적의 밝기 영상 이미지 결과물을 얻을 수 있도록,
    어두운 영역 기반 저조도 영상 개선을 지속하는 단계;를 포함하는 것을 특징으로 하는 어두운 영역 기반 저조도 영상 개선 방법.
  10. 삭제
KR1020200174683A 2020-12-14 2020-12-14 어두운 영역 기반 저조도 영상 개선 방법 및 장치 KR102368677B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200174683A KR102368677B1 (ko) 2020-12-14 2020-12-14 어두운 영역 기반 저조도 영상 개선 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200174683A KR102368677B1 (ko) 2020-12-14 2020-12-14 어두운 영역 기반 저조도 영상 개선 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102368677B1 true KR102368677B1 (ko) 2022-02-28

Family

ID=80497513

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200174683A KR102368677B1 (ko) 2020-12-14 2020-12-14 어두운 영역 기반 저조도 영상 개선 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102368677B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100649384B1 (ko) * 2005-09-23 2006-11-27 전자부품연구원 저조도 환경에서의 영상특징 추출방법
KR101537788B1 (ko) * 2014-02-06 2015-07-17 동서대학교산학협력단 평균이동 기반의 영상분할 방식을 이용한 저조도 영상 대비증가 방법
US20180182074A1 (en) * 2015-06-26 2018-06-28 Peking University Shenzhen Graduate School Low-illumination image processing method and device
KR102134405B1 (ko) 2019-06-27 2020-07-15 중앙대학교 산학협력단 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100649384B1 (ko) * 2005-09-23 2006-11-27 전자부품연구원 저조도 환경에서의 영상특징 추출방법
KR101537788B1 (ko) * 2014-02-06 2015-07-17 동서대학교산학협력단 평균이동 기반의 영상분할 방식을 이용한 저조도 영상 대비증가 방법
US20180182074A1 (en) * 2015-06-26 2018-06-28 Peking University Shenzhen Graduate School Low-illumination image processing method and device
KR102134405B1 (ko) 2019-06-27 2020-07-15 중앙대학교 산학협력단 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Feifan Lv, Feng Lu,"Attention-guided Low-light Image Enhancement", Electrical Engineering and Systems Science_Image and Video Processing, arXiv:1908.00682v1, 2 Aug. 2019(2019.08.02.) *
Feifan Lv, Feng Lu,"Attention-guided Low-light Image Enhancement", Electrical Engineering and Systems Science_Image and Video Processing, arXiv:1908.00682v1, 2 Aug. 2019(2019.08.02.) 1부.*

Similar Documents

Publication Publication Date Title
US9030469B2 (en) Method for generating depth maps from monocular images and systems using the same
CN109410239B (zh) 一种基于条件生成对抗网络的文本图像超分辨率重建方法
KR102134405B1 (ko) 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법
CN109903223B (zh) 一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法
US7983502B2 (en) Viewing wide angle images using dynamic tone mapping
EP2947627B1 (en) Light field image depth estimation
CN113284073B (zh) 一种图像修复方法、装置及存储介质
CN111275034B (zh) 从图像中提取文本区域的方法、装置、设备和存储介质
JP2014089626A (ja) 画像検出装置及び制御プログラム並びに画像検出方法
US20090268973A1 (en) Method And System Providing Edge Enhanced Image Binarization
JP2009059060A (ja) 動体画像抽出装置及びプログラム
US11062464B2 (en) Image processing apparatus, method, and storage medium to derive optical flow
CN111047543A (zh) 图像增强方法、装置和存储介质
CN111079864A (zh) 一种基于优化视频关键帧提取的短视频分类方法及系统
JP2020197915A (ja) 画像処理装置、画像処理方法、及びプログラム
CN113221925A (zh) 一种基于多尺度图像的目标检测方法及装置
JP2011250013A (ja) 画質評価方法、画質評価装置、及びプログラム
KR20210109719A (ko) 비디오 컬러화 방법 및 장치
CN115953321A (zh) 一种基于零次学习的低照度图像增强方法
CN114449181B (zh) 图像和视频处理方法及其系统、数据处理设备、介质
CN111932594B (zh) 一种基于光流的十亿像素视频对齐方法及装置、介质
KR102368677B1 (ko) 어두운 영역 기반 저조도 영상 개선 방법 및 장치
CN113160056A (zh) 一种基于深度学习的带噪图像超分辨率重建方法
CN110766609B (zh) 一种针对ToF相机的景深图超分辨率重建方法
JP5892592B2 (ja) 超解像画像処理装置及び超解像画像処理用コードブック作成装置

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant