KR102359138B1

KR102359138B1 - Apparatus and method for customizable control of image brightness and contrast

Info

Publication number: KR102359138B1
Application number: KR1020190166046A
Authority: KR
Inventors: 정순기; 정윤주; 김인수
Original assignee: 경북대학교 산학협력단
Priority date: 2019-12-12
Filing date: 2019-12-12
Publication date: 2022-02-07
Also published as: KR20210074902A

Abstract

장기 건너뛰기 연결(Long skip connection)을 가지고 있는 엔코더-디코더 구조 딥러닝 네트워크를 기반으로, 장기 건너뛰기 연결되는 컨볼루션 영상의 밝기를 사용자에 의해 지정되거나 참조 영상을 기반으로 설정되는 목표 밝기에 따라 조절하여, 저조도 영상의 밝기 및 대비를 효과적으로 향상시키고, 저조도 영상 내의 객체 인식률을 향상시킬 수 있는 사용자 맞춤형 영상 밝기 및 대비 조절 장치 및 방법, 기록 매체가 개시된다.Based on the encoder-decoder structure deep learning network with long skip connection, the brightness of the convolutional image with long skip connection is set according to the target brightness specified by the user or set based on the reference image. Disclosed are a user-customized image brightness and contrast control apparatus and method, and a recording medium capable of effectively improving the brightness and contrast of a low-light image by adjusting the image, and improving an object recognition rate in a low-light image.

Description

Apparatus and method for customizable control of image brightness and contrast

본 발명은 사용자 맞춤형 영상 밝기 및 대비 조절 장치 및 방법에 관한 것으로, 보다 상세하게는 장기 건너뛰기 연결(Long skip connection)을 가지고 있는 엔코더-디코더 구조 딥러닝 네트워크를 기반으로 저조도 영상의 밝기 및 대비를 효과적으로 향상시키고 저조도 영상 내의 객체 인식률을 향상시킬 수 있는 사용자 맞춤형 영상 밝기 및 대비 조절 장치 및 방법에 관한 것이다.The present invention relates to a user-customized image brightness and contrast control apparatus and method, and more particularly, to an encoder-decoder structure deep learning network having a long skip connection. To a user-customized image brightness and contrast control apparatus and method, which can effectively improve and improve the object recognition rate in a low-light image.

범죄 예방과 보행자의 불안감을 해소시키며 범죄 발생 시 증거 확보와 범인 검거에 결정적인 역할을 하고 있는 방범용 감시 카메라는 일상생활 곳곳에 널리 설치되어 있다. 감시 카메라의 보급이 확대된 만큼 감시 카메라로 획득한 영상을 분석하기 위한 응용프로그램의 활용 범위도 점점 넓어지고 있다. 디지털 이미지 및 비디오와 관련된 모든 컴퓨터비전 기반 응용 프로그램들의 성능을 최대화하기 위한 가장 기본적인 노력은 고품질의 데이터를 입력하는 것이다. 그러나 어두운 환경에서 얻은 이미지의 품질은 낮은 밝기와 대비 높은 수준의 잡음으로 인하여 영상이 표시하는 정보를 구별하기 어렵다. 따라서 낮은 품질의 입력 영상을 사용할 경우 컴퓨터비전 응용프로그램의 결과에 대한 신뢰성이 낮을 수밖에 없으며, 입력 영상이 어두울수록 객체 인식율이 현저하게 낮아지는 문제가 있다. 어두운 환경에서 촬영한 영상의 문제점은 고밀도 픽셀 어레이가 있는 값비싼 이미징 센서를 사용하여 해결할 수도 있지만, 현재 설치되어 있는 감시 카메라들을 한꺼번에 고비용의 카메라로 교체하는 것은 현실적으로 불가능하다.Security cameras are widely installed in everyday life, which prevent crime and relieve the anxiety of pedestrians, and play a decisive role in securing evidence and arresting criminals in the event of a crime. As the spread of surveillance cameras has expanded, the range of applications for analyzing images acquired by surveillance cameras is also expanding. The most basic effort to maximize the performance of all computer vision-based applications related to digital images and video is to input high-quality data. However, the quality of the image obtained in a dark environment is difficult to distinguish between the information displayed by the image due to the low brightness and high contrast level of noise. Therefore, when a low-quality input image is used, the reliability of the results of the computer vision application program is inevitably low, and the darker the input image is, the lower the object recognition rate is. The problem of images captured in a dark environment can be solved by using an expensive imaging sensor with a high-density pixel array, but it is practically impossible to replace the currently installed surveillance cameras with expensive cameras all at once.

본 발명은 장기 건너뛰기 연결(Long skip connection)을 가지고 있는 엔코더-디코더 구조 딥러닝 네트워크를 기반으로, 장기 건너뛰기 연결되는 컨볼루션 영상의 밝기를 사용자에 의해 지정되거나 참조 영상을 기반으로 설정되는 목표 밝기에 따라 조절하여, 저조도 영상의 밝기 및 대비를 효과적으로 향상시키고, 저조도 영상 내의 객체 인식률을 향상시킬 수 있는 사용자 맞춤형 영상 밝기 및 대비 조절 장치 및 방법, 기록 매체를 제공하기 위한 것이다.The present invention is based on an encoder-decoder structure deep learning network having a long skip connection, and the brightness of a convolutional image connected with a long skip connection is specified by a user or a target set based on a reference image. An object of the present invention is to provide a user-customized apparatus and method for adjusting brightness and contrast of an image, and a recording medium capable of effectively improving the brightness and contrast of a low-light image by adjusting it according to the brightness, and improving an object recognition rate in a low-light image.

또한, 본 발명은 지극히 어두운 영상에 대한 밝기 향상이 가능하고, 사용자가 밝기(휘도) 값을 지정하거나, 밝기의 기준이 되는 참조 영상을 입력하는 등의 방법으로, 사용자가 원하는 수준으로 엔코더-디코더 구조 딥러닝 네트워크에 의해 수행되는 저조도 입력 영상의 밝기 값 개선 정도를 다양하게 조절할 수 있는 사용자 맞춤형 영상 밝기 및 대비 조절 장치 및 방법, 기록 매체를 제공하기 위한 것이다.In addition, according to the present invention, it is possible to improve the brightness of an extremely dark image, and the user specifies a brightness (luminance) value or inputs a reference image that is a reference image for brightness. An object of the present invention is to provide a user-customized image brightness and contrast control apparatus and method, and a recording medium that can variously adjust the degree of improvement of the brightness value of a low-illuminance input image performed by a structured deep learning network.

또한, 본 발명은 2단계 학습 과정에서 엔코더-디코더 구조 딥러닝 네트워크의 전체 훈련 과정 중 일부 계층만 학습하여, 적은 수의 저조도 영상 데이터로도 밝기와 대비가 향상된 높은 해상도의 우수한 영상 출력 품질을 얻을 수 있으며, 훈련 속도를 높이고 과다 적응의 오류 또한 방지할 수 있는 사용자 맞춤형 영상 밝기 및 대비 조절 장치 및 방법, 기록 매체를 제공하기 위한 것이다.In addition, the present invention learns only some layers of the entire training process of the encoder-decoder structure deep learning network in the two-step learning process, so that even with a small number of low-light image data, high-resolution image output quality with improved brightness and contrast can be obtained. It is to provide a user-customized image brightness and contrast control apparatus and method, and a recording medium that can increase the training speed and also prevent errors in over-adaptation.

본 발명이 해결하고자 하는 과제는 이상에서 언급된 과제로 제한되지 않는다. 언급되지 않은 다른 기술적 과제들은 이하의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above. Other technical problems not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description.

본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 장치는, 입력 영상의 밝기 및 대비를 향상시켜 출력 영상을 생성하는 엔코더-디코더 구조 딥러닝 네트워크를 포함한다. 상기 엔코더-디코더 구조 딥러닝 네트워크는, 상기 입력 영상을 복수개의 계층 순으로 컨볼루션 처리하는 다운 샘플링을 통해 상기 입력 영상 보다 작은 크기를 가지는 컨볼루션 영상들을 생성하는 엔코더부; 상기 복수개의 계층의 마지막 계층에서 출력되는 컨볼루션 영상들을 상기 복수개의 계층의 역순으로 디컨볼루션하여 디컨볼루션 영상을 생성하는 업 샘플링을 통해 상기 출력 영상을 생성하는 디코더부; 상기 엔코더부의 상기 복수개의 계층의 각 계층에서 출력되는 컨볼루션 영상을 상기 디코더부의 대응되는 계층으로 장기 건너뛰기 연결시키는 장기 건너뛰기 연결부; 및 상기 엔코더부의 상기 각 계층에서 출력되는 컨볼루션 영상의 평균 밝기와 목표 밝기 간의 밝기 비율을 산출하고, 상기 밝기 비율을 적용하여 장기 건너뛰기 연결된 컨볼루션 영상의 밝기를 조절하는 밝기 설정부를 포함한다. 상기 디코더부는, 상기 디코더부의 각 계층에서 디컨볼루션된 디컨볼루션 영상을 상기 엔코더부의 대응되는 계층으로부터 장기 건너뛰기 연결되어 밝기 조절된 컨볼루션 영상과 조합하여 업 샘플링하도록 구성된다.A user-customized image brightness and contrast adjustment apparatus according to an embodiment of the present invention includes an encoder-decoder structure deep learning network that generates an output image by improving the brightness and contrast of an input image. The encoder-decoder structure of the deep learning network may include: an encoder unit for generating convolutional images having a size smaller than that of the input image through down-sampling for convolutionally processing the input image in the order of a plurality of layers; a decoder unit configured to generate the output image through up-sampling for generating a deconvolution image by deconvolution of the convolution images output from the last layer of the plurality of layers in a reverse order of the plurality of layers; a long-term skip connection unit for long-term skip connection of the convolutional image output from each layer of the plurality of layers of the encoder unit to a corresponding layer of the decoder unit; and a brightness setting unit that calculates a brightness ratio between the average brightness and the target brightness of the convolutional image output from the respective layers of the encoder unit, and adjusts the brightness of the convolutional image connected to the long skip by applying the brightness ratio. The decoder unit is configured to combine and upsample the deconvolutional image deconvolved in each layer of the decoder unit with the convolutional image whose brightness has been adjusted through long skip connection from the corresponding layer of the encoder unit.

상기 엔코더부는, 상기 입력 영상에 대해 상기 복수개의 계층 순으로 순차적으로 상기 컨볼루션 처리를 행하여 각 계층 별로 컨볼루션 영상을 생성하는 다수의 제1 컨볼루션 처리부; 및 상기 다수의 컨볼루션 처리부 사이에 마련되고, 상기 각 계층 별로 생성되는 상기 컨볼루션 영상의 대표 값들을 결정하는 풀링 처리를 행하는 다수의 풀링 처리부를 포함할 수 있다.The encoder unit may include: a plurality of first convolution processing units configured to sequentially perform the convolution processing on the input image in the order of the plurality of layers to generate a convolutional image for each layer; and a plurality of pooling processing units provided between the plurality of convolution processing units and performing a pooling process for determining representative values of the convolutional image generated for each layer.

상기 디코더부는, 상기 복수개의 계층 중 마지막 계층에서 출력되는 컨볼루션 영상에 대해 상기 복수개의 계층의 역순으로 순차적으로 디컨볼루션 처리를 행하여 디컨볼루션 영상을 생성하는 다수의 디컨볼루션 처리부; 상기 다수의 디컨볼루션 처리부 사이에 마련되고, 각 계층 별로 생성되는 디컨볼루션 영상을 상기 목표 밝기에 의해 설정되는 상기 밝기 비율에 따라 밝기 조절된 컨볼루션 영상과 조합 처리하는 조합 처리부; 및 상기 다수의 디컨볼루션 처리부 사이에 마련되고, 상기 디컨볼루션 영상과 상기 컨볼루션 영상이 조합 처리된 조합 영상을 컨볼루션 처리하는 제2 컨볼루션 처리부를 포함할 수 있다. 상기 엔코더부의 각 계층 별로 장기 건너뛰기 연결된 컨볼루션 영상은 상기 밝기 설정부에 의해 밝기 조정되어 상기 디코더부의 대응되는 계층의 조합 처리부로 입력될 수 있다.The decoder unit may include: a plurality of deconvolution processing units configured to generate deconvolution images by sequentially performing deconvolution processing on a convolution image output from a last layer among the plurality of layers in a reverse order of the plurality of layers; a combination processing unit provided between the plurality of deconvolution processing units and combining and processing a deconvolution image generated for each layer with a convolution image whose brightness is adjusted according to the brightness ratio set by the target brightness; and a second convolution processing unit provided between the plurality of deconvolution processing units and convolutionally processing the deconvolution image and the combined image in which the convolution image is combined. The long-term skip-connected convolutional image for each layer of the encoder unit may be adjusted in brightness by the brightness setting unit and input to a combination processing unit of a corresponding layer of the decoder unit.

각각의 제1 컨볼루션 처리부는, 상기 입력 영상 또는 이전 계층에서 출력된 n개의 컨볼루션 영상을 미리 설정된 커널 영상을 기반으로 컨볼루션 처리하여 m개(m은 n 보다 큰 정수)의 제1 컨볼루션 영상을 생성하는 제1 컨볼루션부; 상기 제1 컨볼루션 영상 중 양의 화소값은 변화 없이 출력하고, 음의 화소값에는 설정 비율을 적용하여 출력하는 수정 선형 처리를 수행하는 제1 수정 선형 처리부; 상기 제1 수정 선형 처리부에 의해 수정 선형 처리된 m개의 제1 컨볼루션 영상을 커널 영상을 기반으로 컨볼루션 처리하여 m개의 제2 컨볼루션 영상을 생성하는 제2 컨볼루션부; 상기 제2 컨볼루션 영상 중 양의 화소값은 변화 없이 출력하고, 음의 화소값에는 설정 비율을 적용하여 출력하는 수정 선형 처리를 수행하는 제2 수정 선형 처리부; 상기 제2 수정 선형 처리부에 의해 수정 선형 처리된 m개의 제2 컨볼루션 영상을 커널 영상을 기반으로 컨볼루션 처리하여 m개의 제3 컨볼루션 영상을 생성하는 제3 컨볼루션부; 상기 제1 컨볼루션부에 의해 컨볼루션 처리된 m개의 제1 컨볼루션 영상을 상기 제3 컨볼루션부의 출력단으로 단기 건너뛰기 연결하는 단기 건너뛰기 연결부; 상기 단기 건너뛰기 연결부에 의해 단기 건너뛰기 연결된 상기 m개의 제1 컨볼루션 영상을 상기 m개의 제3 컨볼루션 영상과 조합하여 조합 컨볼루션 영상을 생성하는 컨볼루션 영상 조합부; 및 상기 조합 컨볼루션 영상 중 양의 화소값은 변화 없이 출력하고, 음의 화소값에는 설정 비율을 적용하여 출력하는 수정 선형 처리를 수행하는 제3 수정 선형 처리부를 포함할 수 있다.Each first convolution processing unit performs convolution processing on the input image or the n convolutional images output from the previous layer based on a preset kernel image to perform m (m is an integer greater than n) number of first convolutions. a first convolution unit generating an image; a first corrected linear processing unit configured to output a positive pixel value of the first convolutional image without change and to output a negative pixel value by applying a set ratio; a second convolution unit configured to generate m second convolutional images by convolutionally processing m first convolutional images processed by the first corrected linear processing unit based on a kernel image; a second corrected linear processing unit configured to output positive pixel values of the second convolutional image without change and to output negative pixel values by applying a set ratio; a third convolution unit configured to generate m third convolutional images by convolutionally processing m second convolutional images processed by the second corrected linear processing unit based on a kernel image; a short-term skip connection unit for short-term skip-connecting the m first convolutional images convolved by the first convolution unit to an output terminal of the third convolution unit; a convolutional image combining unit generating a combined convolutional image by combining the m first convolutional images connected by the short-term skipping connection unit with the m third convolutional images; and a third corrected linear processing unit configured to output positive pixel values of the combined convolutional image without change and to output negative pixel values by applying a set ratio.

상기 밝기 설정부는, 상기 제1 컨볼루션 영상, 상기 제2 컨볼루션 영상, 상기 제3 컨볼루션 영상 및 상기 조합 컨볼루션 영상 중 어느 하나의 컨볼루션 영상의 평균 밝기와, 상기 목표 밝기 간의 밝기 비율을 산출하고, 상기 밝기 비율을 적용하여 상기 장기 건너뛰기 연결되는 컨볼루션 영상의 밝기를 조절할 수 있다. 상기 목표 밝기는, 사용자에 의해 설정되는 밝기 값이거나, 미리 설정되거나 사용자에 의해 입력되는 참조 영상에 의해 설정되는 밝기 값일 수 있다.The brightness setting unit, the first convolution image, the second convolution image, the third convolution image, and the brightness ratio between the average brightness of any one of the convolutional image and the target brightness calculated, and applying the brightness ratio to adjust the brightness of the convolutional image connected to the long-term skipping. The target brightness may be a brightness value set by a user or a brightness value set in advance or by a reference image input by the user.

본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 장치는, 상기 참조 영상을 기반으로 상기 목표 밝기를 설정하는 목표 밝기 설정부를 더 포함할 수 있다. 상기 목표 밝기 설정부는, 상기 참조 영상의 평균 밝기를 산출하여 상기 목표 밝기를 산출할 수 있다.The apparatus for adjusting brightness and contrast of a user-customized image according to an embodiment of the present invention may further include a target brightness setting unit configured to set the target brightness based on the reference image. The target brightness setting unit may calculate the average brightness of the reference image to calculate the target brightness.

본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 장치는, 상기 엔코더-디코더 구조 딥러닝 네트워크를 훈련 데이터를 이용하여 2단계 학습하는 전이 학습부를 더 포함할 수 있다. 상기 전이 학습부는, 동일한 위치에서 촬영된 다양한 밝기의 학습 영상들의 쌍을 포함하는 제1 학습 영상 쌍들을 기반으로, 상기 엔코더-디코더 구조 딥러닝 네트워크의 상기 복수개의 계층 전체를 학습하는 제1 학습부; 및 대상 장소에 설치된 카메라에 의해 촬영된 제1 밝기의 학습 영상과 상기 제1 밝기보다 어두운 제2 밝기의 학습 영상을 포함하는 제2 학습 영상 쌍을 기반으로, 상기 엔코더-디코더 구조 딥러닝 네트워크의 상기 복수개의 계층 중 일부 계층 만을 학습하는 제2 학습부를 포함할 수 있다.The apparatus for adjusting user-customized image brightness and contrast according to an embodiment of the present invention may further include a transfer learning unit that learns the encoder-decoder structure deep learning network in two stages using training data. The transfer learning unit, based on a pair of first learning images including a pair of learning images of various brightnesses photographed at the same location, the encoder-a first learning unit for learning the entirety of the plurality of layers of the decoder structure deep learning network ; And based on a second learning image pair comprising a learning image of a first brightness and a learning image of a second brightness darker than the first brightness taken by a camera installed in the target place, the encoder-decoder structure of the deep learning network A second learning unit for learning only some of the plurality of layers may be included.

상기 일부 계층은, 상기 복수개의 계층 중 상기 엔코더부와 상기 디코더부 사이의 병목 계층, 상기 엔코더부의 복수개의 계층 중 상기 병목 계층과 인접한 계층, 상기 디코더부의 복수개의 계층 중 상기 병목 계층과 인접한 계층 및 상기 디코더부의 복수개의 계층 중 마지막 계층일 수 있다.The partial layer includes a bottleneck layer between the encoder unit and the decoder unit among the plurality of layers, a layer adjacent to the bottleneck layer among a plurality of layers of the encoder unit, a layer adjacent to the bottleneck layer among a plurality of layers of the decoder unit, and It may be a last layer among a plurality of layers of the decoder unit.

본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 방법은, 엔코더-디코더 구조 딥러닝 네트워크를 이용하여 입력 영상의 밝기 및 대비를 향상시켜 출력 영상을 생성하는 사용자 맞춤형 영상 밝기 및 대비 조절 방법으로서,A user-customized image brightness and contrast adjustment method according to an embodiment of the present invention is a user-customized image brightness and contrast adjustment method for generating an output image by improving the brightness and contrast of an input image using an encoder-decoder structure deep learning network. ,

상기 엔코더-디코더 구조 딥러닝 네트워크의 엔코더부에 의해, 상기 입력 영상을 복수개의 계층 순으로 컨볼루션 처리하는 다운 샘플링을 통해 상기 입력 영상 보다 작은 크기를 가지는 컨볼루션 영상들을 생성하는 단계; 상기 엔코더-디코더 구조 딥러닝 네트워크의 디코더부에 의해, 상기 복수개의 계층의 마지막 계층에서 출력되는 컨볼루션 영상들을 상기 복수개의 계층의 역순으로 디컨볼루션하여 디컨볼루션 영상을 생성하는 업 샘플링을 통해 상기 출력 영상을 생성하는 단계; 상기 엔코더-디코더 구조 딥러닝 네트워크의 장기 건너뛰기 연결부에 의해, 상기 엔코더부의 상기 복수개의 계층의 각 계층에서 출력되는 컨볼루션 영상을 상기 디코더부의 대응되는 계층으로 장기 건너뛰기 연결시키는 단계; 및 상기 엔코더-디코더 구조 딥러닝 네트워크의 밝기 설정부에 의해, 상기 엔코더부의 상기 각 계층에서 출력되는 컨볼루션 영상의 평균 밝기와 목표 밝기 간의 밝기 비율을 산출하고, 상기 밝기 비율을 적용하여 장기 건너뛰기 연결된 컨볼루션 영상의 밝기를 조절하는 단계를 포함한다. 상기 업 샘플링을 통해 상기 출력 영상을 생성하는 단계는, 상기 디코더부에 의해, 상기 디코더부의 각 계층에서 디컨볼루션된 디컨볼루션 영상을 상기 엔코더부의 대응되는 계층으로부터 장기 건너뛰기 연결되어 밝기 조절된 컨볼루션 영상과 조합하여 업 샘플링하는 단계를 포함한다.generating convolutional images having a size smaller than that of the input image through down-sampling by convolutionally processing the input image in the order of a plurality of layers by the encoder unit of the encoder-decoder structure deep learning network; By the decoder unit of the encoder-decoder structure deep learning network, the convolution images output from the last layer of the plurality of layers are deconvolved in the reverse order of the plurality of layers to generate a deconvolution image Through upsampling generating the output image; Long-term skip connection of the convolutional image output from each layer of the plurality of layers of the encoder unit to the corresponding layer of the decoder unit by the long-term skip connection unit of the encoder-decoder structure deep learning network; And by the brightness setting unit of the encoder-decoder structure deep learning network, the brightness ratio between the average brightness and the target brightness of the convolutional image output from each layer of the encoder unit is calculated, and the brightness ratio is applied to skip the long term and adjusting the brightness of the connected convolutional image. In the step of generating the output image through the up-sampling, by the decoder unit, the deconvolution image deconvolved in each layer of the decoder unit is long-term skip connected from the corresponding layer of the encoder unit and the brightness is adjusted. and up-sampling in combination with the convolutional image.

상기 컨볼루션 영상들을 생성하는 단계는, 상기 엔코더부의 다수의 제1 컨볼루션 처리부에 의해, 상기 입력 영상에 대해 상기 복수개의 계층 순으로 순차적으로 상기 컨볼루션 처리를 행하여 각 계층 별로 컨볼루션 영상을 생성하는 단계; 및 상기 다수의 컨볼루션 처리부 사이에 마련된 다수의 풀링 처리부에 의해, 상기 각 계층 별로 생성되는 상기 컨볼루션 영상의 대표 값들을 결정하는 풀링 처리를 행하는 단계를 포함할 수 있다.The generating of the convolutional images includes sequentially performing the convolution processing on the input image in the order of the plurality of layers by a plurality of first convolution processing units of the encoder unit to generate a convolutional image for each layer. to do; and performing a pooling process of determining representative values of the convolutional image generated for each layer by a plurality of pooling processing units provided between the plurality of convolution processing units.

상기 업 샘플링을 통해 상기 출력 영상을 생성하는 단계는, 상기 디코더부의 다수의 디컨볼루션 처리부에 의해, 상기 복수개의 계층 중 마지막 계층에서 출력되는 컨볼루션 영상에 대해 상기 복수개의 계층의 역순으로 순차적으로 디컨볼루션 처리를 행하여 디컨볼루션 영상을 생성하는 단계; 상기 다수의 디컨볼루션 처리부 사이에 마련된 조합 처리부에 의해, 각 계층 별로 생성되는 디컨볼루션 영상을 상기 목표 밝기에 의해 설정되는 상기 밝기 비율에 따라 밝기 조절된 컨볼루션 영상과 조합 처리하는 단계; 및 상기 다수의 디컨볼루션 처리부 사이에 마련된 제2 컨볼루션 처리부에 의해, 상기 디컨볼루션 영상과 상기 컨볼루션 영상이 조합 처리된 조합 영상을 컨볼루션 처리하는 단계를 포함할 수 있다. 상기 엔코더부의 각 계층 별로 장기 건너뛰기 연결된 컨볼루션 영상은 상기 밝기 설정부에 의해 밝기 조정되어 상기 디코더부의 대응되는 계층의 조합 처리부로 입력될 수 있다.The generating of the output image through the up-sampling may include, by the plurality of deconvolution processing units of the decoder unit, sequentially in reverse order of the plurality of layers with respect to the convolutional image output from the last layer among the plurality of layers. generating a deconvolution image by performing deconvolution processing; combining the deconvolutional image generated for each layer with the convolutional image whose brightness is adjusted according to the brightness ratio set by the target brightness by a combination processing unit provided between the plurality of deconvolution processing units; and convolutionally processing the combined image in which the deconvolution image and the convolution image are combined by a second convolution processing unit provided between the plurality of deconvolution processing units. The long-term skip-connected convolutional image for each layer of the encoder unit may be adjusted in brightness by the brightness setting unit and input to a combination processing unit of a corresponding layer of the decoder unit.

상기 각 계층 별로 컨볼루션 영상을 생성하는 단계는, 상기 제1 컨볼루션 처리부의 제1 컨볼루션부에 의해, 상기 입력 영상 또는 이전 계층에서 출력된 n개의 컨볼루션 영상을 미리 설정된 커널 영상을 기반으로 컨볼루션 처리하여 m개(m은 n 보다 큰 정수)의 제1 컨볼루션 영상을 생성하는 단계; 상기 제1 컨볼루션 처리부의 제1 수정 선형 처리부에 의해, 상기 제1 컨볼루션 영상 중 양의 화소값은 변화 없이 출력하고, 음의 화소값에는 설정 비율을 적용하여 출력하는 수정 선형 처리를 수행하는 단계; 상기 제1 컨볼루션 처리부의 제2 컨볼루션부에 의해, 상기 제1 수정 선형 처리부에 의해 수정 선형 처리된 m개의 제1 컨볼루션 영상을 커널 영상을 기반으로 컨볼루션 처리하여 m개의 제2 컨볼루션 영상을 생성하는 단계; 제1 컨볼루션 처리부의 제2 수정 선형 처리부에 의해, 상기 제2 컨볼루션 영상 중 양의 화소값은 변화 없이 출력하고, 음의 화소값에는 설정 비율을 적용하여 출력하는 수정 선형 처리를 수행하는 단계; 상기 제1 컨볼루션 처리부의 제3 컨볼루션부에 의해, 상기 제2 수정 선형 처리부에 의해 수정 선형 처리된 m개의 제2 컨볼루션 영상을 커널 영상을 기반으로 컨볼루션 처리하여 m개의 제3 컨볼루션 영상을 생성하는 단계; 상기 제1 컨볼루션 처리부의 단기 건너뛰기 연결부에 의해, 상기 제1 컨볼루션부에 의해 컨볼루션 처리된 m개의 제1 컨볼루션 영상을 상기 제3 컨볼루션부의 출력단으로 단기 건너뛰기 연결하는 단계; 상기 제1 컨볼루션 처리부의 컨볼루션 영상 조합부에 의해, 상기 단기 건너뛰기 연결부에 의해 단기 건너뛰기 연결된 상기 m개의 제1 컨볼루션 영상을 상기 m개의 제3 컨볼루션 영상과 조합하여 조합 컨볼루션 영상을 생성하는 단계; 및 상기 제1 컨볼루션 처리부의 제3 수정 선형 처리부에 의해, 상기 조합 컨볼루션 영상 중 양의 화소값은 변화 없이 출력하고, 음의 화소값에는 설정 비율을 적용하여 출력하는 수정 선형 처리를 수행하는 단계를 포함할 수 있다.The generating of the convolutional image for each layer includes, by the first convolution unit of the first convolution processing unit, n convolutional images output from the input image or the previous layer based on a preset kernel image. generating m first convolutional images (m is an integer greater than n) by convolution; Corrected linear processing of outputting positive pixel values in the first convolutional image without change and applying a set ratio to output negative pixel values by the first corrected linear processing unit of the first convolution processing unit step; By the second convolution unit of the first convolution processing unit, the m first convolution images that have been corrected and linearly processed by the first correction linear processing unit are convolutionally processed based on the kernel image, and m second convolutions are performed. generating an image; performing, by the second corrected linear processing unit of the first convolution processing unit, corrected linear processing of outputting positive pixel values in the second convolution image without change and applying a set ratio to negative pixel values ; The m second convolutional images that have been corrected and linearly processed by the third convolution unit of the first convolution processing unit and the second correction linear processing unit are convolutionally processed based on the kernel image to obtain m third convolutions. generating an image; short-term skip connection of the m first convolutional images convolved by the first convolution unit to the output terminal of the third convolution unit by the short-term skip connection unit of the first convolution processing unit; A combined convolutional image by combining the m first convolutional images connected to short-term skipping by the short-term skipping connection unit with the m third convolutional images by the convolutional image combining unit of the first convolution processing unit creating a; and performing corrected linear processing of outputting positive pixel values in the combined convolutional image without change and applying a set ratio to negative pixel values by the third corrected linear processing unit of the first convolution processing unit. may include steps.

본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 방법은, 목표 밝기 설정부에 의해, 상기 참조 영상을 기반으로 상기 목표 밝기를 설정하는 단계를 더 포함할 수 있다. 상기 목표 밝기를 설정하는 단계는, 상기 참조 영상의 평균 밝기를 산출하여 상기 목표 밝기를 산출하는 단계를 포함할 수 있다.The method for adjusting brightness and contrast of a user-customized image according to an embodiment of the present invention may further include, by a target brightness setting unit, setting the target brightness based on the reference image. The setting of the target brightness may include calculating the target brightness by calculating an average brightness of the reference image.

본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 방법은, 전이 학습부에 의해, 상기 엔코더-디코더 구조 딥러닝 네트워크를 훈련 데이터를 이용하여 2단계 학습하는 단계를 더 포함할 수 있다. 상기 학습하는 단계는, 상기 전이 학습부의 제1 학습부에 의해, 동일한 위치에서 촬영된 다양한 밝기의 학습 영상들의 쌍을 포함하는 제1 학습 영상 쌍들을 기반으로, 상기 엔코더-디코더 구조 딥러닝 네트워크의 상기 복수개의 계층 전체를 학습하는 단계; 및 상기 전이 학습부의 제2 학습부에 의해, 대상 장소에 설치된 카메라에 의해 촬영된 제1 밝기의 학습 영상과 상기 제1 밝기보다 어두운 제2 밝기의 학습 영상을 포함하는 제2 학습 영상 쌍을 기반으로, 상기 상기 복수개의 계층 중 일부 계층 만을 학습하는 단계를 포함할 수 있다.The method for adjusting user-customized image brightness and contrast according to an embodiment of the present invention may further include, by the transfer learning unit, two-step learning of the encoder-decoder structure deep learning network using training data. In the learning step, the encoder-decoder structure of the deep learning network is based on first learning image pairs including pairs of learning images of various brightnesses photographed at the same location by the first learning unit of the transfer learning unit. learning all of the plurality of layers; and a second learning image pair including a learning image of a first brightness and a learning image of a second brightness darker than the first brightness captured by a camera installed at a target location by the second learning unit of the transfer learning unit , the method may include learning only some of the plurality of layers.

본 발명의 실시예에 따르면, 상기 사용자 맞춤형 영상 밝기 및 대비 조절 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체가 제공된다.According to an embodiment of the present invention, there is provided a computer-readable recording medium in which a program for executing the user-customized image brightness and contrast adjustment method is recorded.

본 발명의 실시예에 의하면, 장기 건너뛰기 연결(Long skip connection)을 가지고 있는 엔코더-디코더 구조 딥러닝 네트워크를 기반으로, 장기 건너뛰기 연결되는 컨볼루션 영상의 밝기를 사용자에 의해 지정되거나 참조 영상을 기반으로 설정되는 목표 밝기에 따라 조절하여, 저조도 영상의 밝기 및 대비를 효과적으로 향상시키고, 저조도 영상 내의 객체 인식률을 향상시킬 수 있는 사용자 맞춤형 영상 밝기 및 대비 조절 장치 및 방법, 기록 매체가 제공된다.According to an embodiment of the present invention, based on an encoder-decoder structure deep learning network having a long skip connection, the brightness of a convolutional image connected with a long skip connection is specified by a user or a reference image Provided are a user-customized image brightness and contrast control apparatus and method, and a recording medium capable of effectively improving the brightness and contrast of a low-light image and improving object recognition rate in a low-light image by adjusting it according to the target brightness set based on it.

또한, 본 발명의 실시예에 의하면, 지극히 어두운 영상에 대한 밝기 향상이 가능하고, 사용자가 밝기(휘도) 값을 지정하거나, 밝기의 기준이 되는 참조 영상을 입력하는 등의 방법으로, 사용자가 원하는 수준으로 엔코더-디코더 구조 딥러닝 네트워크에 의해 수행되는 저조도 입력 영상의 밝기 값 개선 정도를 다양하게 조절할 수 있다.In addition, according to an embodiment of the present invention, it is possible to improve the brightness of an extremely dark image, and by a method such as a user designating a brightness (luminance) value or inputting a reference image that is a reference image for brightness, the user wants It is possible to adjust the degree of improvement of the brightness value of the low-light input image performed by the encoder-decoder structure deep learning network in various ways.

또한, 본 발명의 실시예에 의하면, 2단계 학습 과정에서 엔코더-디코더 구조 딥러닝 네트워크의 전체 훈련 과정 중 일부 계층만 학습하여, 적은 수의 저조도 영상 데이터로도 밝기와 대비가 향상된 높은 해상도의 우수한 영상 출력 품질을 얻을 수 있으며, 훈련 속도를 높이고 과다 적응의 오류 또한 방지할 수 있다.In addition, according to the embodiment of the present invention, in the two-step learning process, only some layers of the entire training process of the encoder-decoder structure deep learning network are learned, so that even with a small number of low-illuminance image data, the brightness and contrast are improved and excellent with high resolution. The video output quality can be obtained, the training speed can be increased, and the error of over-adaptation can also be prevented.

본 발명의 효과는 상술한 효과들로 제한되지 않는다. 언급되지 않은 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects described above. Effects not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention pertains from this specification and the accompanying drawings.

도 1은 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 장치를 구성하는 엔코더-디코더 구조 딥러닝 네트워크의 개념도이다.
도 3은 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 장치를 구성하는 컨볼루션 처리부의 기능을 설명하기 위한 개념도이다.
도 4 및 도 5는 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 장치를 구성하는 제1 컨볼루션 처리부의 구성도이다.
도 6은 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 장치를 구성하는 풀링 처리부의 기능을 설명하기 위한 개념도이다.
도 7은 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 장치를 구성하는 제2 컨볼루션 처리부의 구성도이다.
도 8은 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 장치의 기능을 설명하기 위한 개념도이다.
도 9는 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 방법의 순서도이다.
도 10은 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 방법의 전이 학습 단계를 나타낸 순서도이다.
도 11은 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 방법의 전이 학습 단계를 설명하기 위한 개념도이다.
도 12는 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 방법의 성능을 확인하기 위해 사용된 입력 영상과, 참조 영상의 예시도이다.
도 13은 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 방법에 의해 밝기 및 대비가 향상된 출력 영상의 예시도이다.
도 14 내지 도 19는 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 방법의 성능을 보여주는 도면이다.1 is a block diagram of an apparatus for adjusting user-customized image brightness and contrast according to an embodiment of the present invention.
2 is a conceptual diagram of an encoder-decoder structure deep learning network constituting an apparatus for adjusting user-customized image brightness and contrast according to an embodiment of the present invention.
3 is a conceptual diagram for explaining a function of a convolution processing unit constituting an apparatus for adjusting user-customized image brightness and contrast according to an embodiment of the present invention.
4 and 5 are diagrams illustrating the configuration of a first convolution processing unit constituting an apparatus for adjusting user-customized image brightness and contrast according to an embodiment of the present invention.
6 is a conceptual diagram illustrating a function of a pooling processing unit constituting an apparatus for adjusting user-customized image brightness and contrast according to an embodiment of the present invention.
7 is a block diagram of a second convolution processing unit constituting an apparatus for adjusting user-customized image brightness and contrast according to an embodiment of the present invention.
8 is a conceptual diagram illustrating a function of an apparatus for adjusting user-customized image brightness and contrast according to an embodiment of the present invention.
9 is a flowchart of a method for adjusting user-customized image brightness and contrast according to an embodiment of the present invention.
10 is a flowchart illustrating a transfer learning step of a method for adjusting user-customized image brightness and contrast according to an embodiment of the present invention.
11 is a conceptual diagram for explaining a transfer learning step of a method for adjusting user-customized image brightness and contrast according to an embodiment of the present invention.
12 is an exemplary view of an input image and a reference image used to confirm the performance of the method for adjusting the brightness and contrast of a user-customized image according to an embodiment of the present invention.
13 is an exemplary diagram of an output image in which brightness and contrast are improved by a method for adjusting brightness and contrast of a user-customized image according to an embodiment of the present invention.
14 to 19 are diagrams illustrating the performance of a method for adjusting user-customized image brightness and contrast according to an embodiment of the present invention.

본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술하는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되지 않으며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 갖는다. 공지된 구성에 대한 일반적인 설명은 본 발명의 요지를 흐리지 않기 위해 생략될 수 있다. 본 발명의 도면에서 동일하거나 상응하는 구성에 대하여는 가급적 동일한 도면부호가 사용된다. 본 발명의 이해를 돕기 위하여, 도면에서 일부 구성은 다소 과장되거나 축소되어 도시될 수 있다.Other advantages and features of the present invention, and a method of achieving them, will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, and the present invention is only defined by the scope of the claims. Even if not defined, all terms (including technical or scientific terms) used herein have the same meaning as commonly accepted by common technology in the prior art to which this invention belongs. A general description of known configurations may be omitted so as not to obscure the gist of the present invention. In the drawings of the present invention, the same reference numerals are used as much as possible for the same or corresponding components. In order to help the understanding of the present invention, some components in the drawings may be shown exaggerated or reduced to some extent.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다", "가지다" 또는 "구비하다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as "comprise", "have" or "include" are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one It should be understood that it does not preclude the possibility of the presence or addition of or more other features or numbers, steps, operations, components, parts, or combinations thereof.

본 명세서 전체에서 사용되는 '~부'는 적어도 하나의 기능이나 동작을 처리하는 단위로서, 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부'가 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함할 수 있다. 구성요소와 '~부'에서 제공하는 기능은 복수의 구성요소 및 '~부'들에 의해 분리되어 수행될 수도 있고, 다른 추가적인 구성요소와 통합될 수도 있다.As used throughout this specification, '~ unit' is a unit that processes at least one function or operation, and may refer to, for example, a hardware component such as software, FPGA, or ASIC. However, '~part' is not meant to be limited to software or hardware. '~' may be configured to reside on an addressable storage medium or may be configured to refresh one or more processors. As an example, '~ part' denotes components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, sub It may include routines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. A function provided by a component and '~ unit' may be performed separately by a plurality of components and '~ unit', or may be integrated with other additional components.

본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 장치 및 방법은 장기 건너뛰기 연결(long skip connection)을 가지는 엔코더-디코더 구조 딥러닝 네트워크에 의해 저조도 영상의 밝기 및 대비를 향상시키는 기술로, 엔코더-디코더 구조 딥러닝 네트워크는 엔코더부의 각 계층 별로 출력되어 디코더부로 장기 건너뛰기 연결되는 컨볼루션 영상의 밝기를 목표 밝기를 기반으로 설정한 후 디코더부에서 디컨볼루션 영상과 조합 처리한다.A user-customized image brightness and contrast control apparatus and method according to an embodiment of the present invention is a technology for improving the brightness and contrast of a low-light image by an encoder-decoder structure deep learning network having a long skip connection, The encoder-decoder structure deep learning network sets the brightness of the convolutional image that is output for each layer of the encoder unit and connected to the decoder unit for long-term skipping based on the target brightness, and then the decoder unit processes it in combination with the deconvolution image.

도 1은 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 장치의 구성도이다. 도 2는 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 장치를 구성하는 엔코더-디코더 구조 딥러닝 네트워크의 개념도이다.1 is a block diagram of an apparatus for adjusting user-customized image brightness and contrast according to an embodiment of the present invention. 2 is a conceptual diagram of an encoder-decoder structure deep learning network constituting an apparatus for adjusting user-customized image brightness and contrast according to an embodiment of the present invention.

도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 장치는 어두운 밝기를 가지는 저조도 입력 영상(10)의 밝기 및 대비를 향상시켜 입력 영상(10)보다 밝은 밝기를 가지는 출력 영상(20)을 생성하는 엔코더-디코더 구조 딥러닝 네트워크(100)를 포함한다.1 and 2 , the apparatus for adjusting the brightness and contrast of a user-customized image according to an embodiment of the present invention improves the brightness and contrast of a low-illuminance input image 10 having a dark brightness, so that the brightness is brighter than that of the input image 10 . It includes an encoder-decoder structure deep learning network 100 that generates an output image 20 with

엔코더-디코더 구조 딥러닝 네트워크(100)는 엔코더부(110), 디코더부(120), 장기 건너뛰기 연결부(140), 밝기 설정부(150), 목표 밝기 설정부(160) 및 전이 학습부(170)를 포함할 수 있다.The encoder-decoder structure deep learning network 100 includes an encoder unit 110, a decoder unit 120, a long-term skip connection unit 140, a brightness setting unit 150, a target brightness setting unit 160, and a transfer learning unit ( 170) may be included.

엔코더부(110)는 어두운 밝기를 가지는 저조도 입력 영상을 복수개의 계층 순으로 컨볼루션 처리하는 다운 샘플링(Down sampling)을 통해 입력 영상(10) 보다 작은 크기를 가지는 컨볼루션 영상들(특징 맵들)을 생성할 수 있다.The encoder unit 110 obtains convolutional images (feature maps) having a size smaller than that of the input image 10 through down sampling of convolution processing a low-illuminance input image having a dark brightness in the order of a plurality of layers. can create

디코더부(120)는 엔코더부(110)의 복수개의 계층의 마지막 계층에서 출력되는 컨볼루션 영상들을 복수개의 계층의 역순으로 디컨볼루션(deconvolution) 처리하여 디컨볼루션 영상을 생성하는 업 샘플링(Up sampling)을 통해 밝기 및 대비가 개선된 출력 영상(20)을 생성할 수 있다. 디컨볼루션 처리는 예를 들어, "conv2d_transpose" 함수에 의해 수행될 수 있다.The decoder unit 120 deconvolutionally processes the convolution images output from the last layer of the plurality of layers of the encoder unit 110 in the reverse order of the plurality of layers to generate a deconvolution image (Up). Through sampling, the output image 20 with improved brightness and contrast may be generated. The deconvolution processing may be performed, for example, by a "conv2d_transpose" function.

엔코더-디코더 구조 딥러닝 네트워크(100)는 엔코더부(110)와 디코더부(120)의 대응되는 계층 간에 컨볼루션 영상이 건너뛰기 연결되는 장기 건너뛰기 연결(LSC; long skip connection)을 구비할 수 있다.The encoder-decoder structure deep learning network 100 may include a long skip connection (LSC) in which a convolutional image is skip-connected between the corresponding layers of the encoder unit 110 and the decoder unit 120. have.

즉, 엔코더부(110)에서 컨볼루션(Convolution) 처리된 컨볼루션 영상이 대응되는 계층의 디코더부(120)로 연결되어 디코더부(120)에서 디컨볼루션 처리된 디컨볼루션 영상과 조합될 수 있다.That is, the convolutional image processed by the convolution in the encoder unit 110 is connected to the decoder unit 120 of the corresponding layer, and can be combined with the deconvolution image processed by the deconvolution in the decoder unit 120 . have.

장기 건너뛰기 연결부(140)는 엔코더부(110)의 복수개의 계층의 각 계층에서 출력되는 컨볼루션 영상을 디코더부(120)의 대응되는 계층으로 장기 건너뛰기 연결시킬 수 있다.The long-term skip connection unit 140 may connect the convolutional image output from each layer of the plurality of layers of the encoder unit 110 to a corresponding layer of the decoder unit 120 for a long-term skip connection.

밝기 설정부(150)는 엔코더부(110)의 각 계층에서 출력되는 컨볼루션 영상의 평균 밝기와 목표 밝기 간의 밝기 비율을 산출하고, 밝기 비율을 적용하여 장기 건너뛰기 연결부(140)에 의해 장기 건너뛰기 연결된 컨볼루션 영상의 밝기를 조절할 수 있다.The brightness setting unit 150 calculates a brightness ratio between the average brightness and the target brightness of the convolutional image output from each layer of the encoder unit 110, and applies the brightness ratio to skip the organs by the long-term skip connection unit 140 You can adjust the brightness of the connected convolutional image.

엔코더부(110)의 각 계층 별로 장기 건너뛰기 연결된 컨볼루션 영상은 밝기 설정부(150)에 의해 밝기 조정되어 후술되는 디코더부(120)의 대응되는 계층의 조합 처리부(125 ~ 128)로 입력될 수 있다.The long-term skip-connected convolutional image for each layer of the encoder unit 110 is adjusted in brightness by the brightness setting unit 150 to be input to the combination processing units 125 to 128 of the corresponding layers of the decoder unit 120 to be described later. can

디코더부(120)는 디코더부(120)의 각 계층에서 디컨볼루션된 디컨볼루션 영상을 엔코더부(110)의 대응되는 계층으로부터 장기 건너뛰기 연결되어 밝기 설정부(150)에 의해 밝기 조절된 컨볼루션 영상과 조합하여 업 샘플링할 수 있다.The decoder unit 120 is connected to the long-term skipping of the deconvolution image deconvolved in each layer of the decoder unit 120 from the corresponding layer of the encoder unit 110, and the brightness is adjusted by the brightness setting unit 150. It can be upsampled by combining with the convolutional image.

보다 구체적으로 설명하면, 엔코더부(110)는 다수의 제1 컨볼루션 처리부(111 ~ 115)와, 다수의 풀링 처리부(116 ~ 119)를 포함할 수 있다. 다수의 제1 컨볼루션 처리부(111 ~ 115)는 입력 영상(10)에 대해 복수개의 계층 순으로 순차적으로 컨볼루션 처리를 행하여 각 계층 별로 컨볼루션 영상을 생성할 수 있다.More specifically, the encoder unit 110 may include a plurality of first convolution processing units 111 to 115 and a plurality of pooling processing units 116 to 119 . The plurality of first convolution processing units 111 to 115 may sequentially perform convolution processing on the input image 10 in the order of a plurality of layers to generate a convolutional image for each layer.

도 3은 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 장치를 구성하는 컨볼루션 처리부의 기능을 설명하기 위한 개념도이다. 도 2 및 도 3을 참조하면, 제1 컨볼루션 처리부(111 ~ 115)는 입력 영상(10) 또는 이전 계층에서 출력되는 컨볼루션 영상을 커널(kernel) 영상(12)을 이용하여 컨볼루션 처리하여 컨볼루션 영상(14)을 생성할 수 있다.3 is a conceptual diagram for explaining a function of a convolution processing unit constituting an apparatus for adjusting user-customized image brightness and contrast according to an embodiment of the present invention. 2 and 3 , the first convolution processing units 111 to 115 convolutionally process an input image 10 or a convolution image output from a previous layer using a kernel image 12 . A convolutional image 14 may be generated.

도 4 및 도 5는 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 장치를 구성하는 제1 컨볼루션 처리부의 구성도이다. 다수의 제1 컨볼루션 처리부(111 ~ 115)는 동일한 구조를 가질 수 있으므로, 첫번째 계층의 제1 컨볼루션 처리부(111)를 중심으로 설명한다.4 and 5 are diagrams illustrating the configuration of a first convolution processing unit constituting an apparatus for adjusting user-customized image brightness and contrast according to an embodiment of the present invention. Since the plurality of first convolution processing units 111 to 115 may have the same structure, the first convolution processing unit 111 of the first layer will be mainly described.

도 2, 도 4 및 도 5를 참조하면, 제1 컨볼루션 처리부(111)는 제1 배치놈 처리부(1111), 제1 컨볼루션부(1112), 제1 수정 선형 처리부(1113), 제2 배치놈 처리부(1114), 제2 컨볼루션부(1115), 제2 수정 선형 처리부(1116), 제3 배치놈 처리부(1117), 제3 컨볼루션부(1118), 단기 건너뛰기 연결부(SSC), 컨볼루션 영상 조합부(1119) 및 제3 수정 선형 처리부(1120)를 포함할 수 있다.2, 4 and 5 , the first convolution processing unit 111 includes a first batch norm processing unit 1111 , a first convolution unit 1112 , a first correction linear processing unit 1113 , and a second Batch norm processing unit 1114 , second convolution unit 1115 , second correction linear processing unit 1116 , third batch norm processing unit 1117 , third convolution unit 1118 , short-term skip connection unit (SSC) , a convolutional image combining unit 1119 and a third correction linear processing unit 1120 .

제1 컨볼루션 처리부(111)는 단기 건너뛰기 연결을 가지는 잔차 블록(residual block)으로 제공될 수 있다. 도 4에 기재된 'S²'는 제1 컨볼루션 처리부(111)로 입력되는 영상(입력 영상 또는 이전 계층에서 출력된 컨볼루션 영상)의 영상 크기이고, 'n, m'은 컨볼루션 처리에 의해 n개의 입력 영상 또는 컨볼루션 영상으로부터 m개(m은 n 보다 큰 정수)의 컨볼루션 영상(특징 맵)을 생성하는 것을 의미한다.The first convolution processing unit 111 may be provided as a residual block having a short-term skip connection. 'S ² ' described in FIG. 4 is an image size of an image input to the first convolution processing unit 111 (an input image or a convolution image output from a previous layer), and 'n, m' are It means to generate m (m is an integer greater than n) convolutional images (feature maps) from n input images or convolutional images.

제1 배치놈 처리부(1111)는 입력 영상 또는 이전 계층에서 출력된 n개의 컨볼루션 영상에 대해 배치 놈(Batch Normalization) 처리를 수행할 수 있다. 제1 배치놈 처리부(1111)는 생략될 수도 있다.The first batch norm processing unit 1111 may perform batch normalization processing on the input image or n convolutional images output from the previous layer. The first batch norm processing unit 1111 may be omitted.

제1 컨볼루션부(1112)는 입력 영상 또는 이전 계층에서 출력된 n개의 컨볼루션 영상을 미리 설정된 커널(kernel) 영상을 기반으로 컨볼루션 처리하여 m개의 제1 컨볼루션 영상을 생성할 수 있다.The first convolution unit 1112 may generate m first convolutional images by convolution processing the input image or the n convolutional images output from the previous layer based on a preset kernel image.

제1 수정 선형 처리부(1113)는 제1 컨볼루션부(1112)에 의해 생성된 제1 컨볼루션 영상 중 양의 화소값은 변화 없이 출력하고, 음의 화소값에는 설정 비율을 적용하여 출력하는 수정 선형 처리(leakyReLU)를 수행할 수 있다.The first correction linear processing unit 1113 outputs a positive pixel value of the first convolutional image generated by the first convolution unit 1112 without change, and applies a setting ratio to the negative pixel value to output the correction. Linear processing (leakyReLU) can be performed.

제2 배치놈 처리부(1114)는 제1 수정 선형 처리부(1113)에 의해 수정 선형 처리된 m개의 제1 컨볼루션 영상에 대해 배치 놈(Batch Normalization) 처리를 수행할 수 있다. 제2 배치놈 처리부(1114)는 생략될 수도 있다.The second batch norm processing unit 1114 may perform batch normalization processing on the m first convolutional images that have been linearly corrected by the first corrected linear processing unit 1113 . The second batch norm processing unit 1114 may be omitted.

제2 컨볼루션부(1115)는 제1 수정 선형 처리부(1113)에 의해 수정 선형 처리된 m개의 제1 컨볼루션 영상을 커널 영상을 기반으로 컨볼루션 처리하여 m개의 제2 컨볼루션 영상을 생성할 수 있다.The second convolution unit 1115 convolutionally processes the m first convolutional images processed by the first correction linear processing unit 1113 on the basis of the kernel image to generate m second convolution images. can

제2 수정 선형 처리부(1116)는 제2 컨볼루션부(1115)에 의해 생성된 제2 컨볼루션 영상 중 양의 화소값은 변화 없이 출력하고, 음의 화소값에는 설정 비율을 적용하여 출력하는 수정 선형 처리(leakyReLU)를 수행할 수 있다.The second correction linear processing unit 1116 outputs a positive pixel value of the second convolution image generated by the second convolution unit 1115 without change, and applies a setting ratio to the negative pixel value to output a correction Linear processing (leakyReLU) can be performed.

제3 배치놈 처리부(1117)는 제2 수정 선형 처리부(1116)에 의해 수정 선형 처리된 m개의 제2 컨볼루션 영상에 대해 배치 놈(Batch Normalization) 처리를 수행할 수 있다. 제3 배치놈 처리부(1117)는 생략될 수도 있다.The third batch norm processing unit 1117 may perform batch normalization processing on the m second convolutional images that have been corrected and linearly processed by the second corrected linear processing unit 1116 . The third batch norm processing unit 1117 may be omitted.

제3 컨볼루션부(1118)는 제2 수정 선형 처리부(1116)에 의해 수정 선형 처리된 m개의 제2 컨볼루션 영상을 커널 영상을 기반으로 컨볼루션 처리하여 m개의 제3 컨볼루션 영상을 생성할 수 있다.The third convolution unit 1118 may generate m third convolution images by convolution processing the m second convolution images processed by the second correction linear processing unit 1116 on the basis of the kernel image. can

단기 건너뛰기 연결부(SSC)는 제1 컨볼루션부(1112)에 의해 컨볼루션 처리된 m개의 제1 컨볼루션 영상을 제3 컨볼루션부(1118)의 출력단으로 단기 건너뛰기 연결할 수 있다.The short-term skip connection unit SSC may short-term skip-connect the m first convolutional images convolved by the first convolution unit 1112 to the output terminal of the third convolution unit 1118 .

컨볼루션 영상 조합부(1119)는 단기 건너뛰기 연결부(SSC)에 의해 단기 건너뛰기 연결된 m개의 제1 컨볼루션 영상을 m개의 제3 컨볼루션 영상과 조합하여 조합 컨볼루션 영상을 생성할 수 있다.The convolutional image combining unit 1119 may generate a combined convolutional image by combining the m first convolutional images connected to the short-term skipping by the short-term skipping connection unit SSC with the m third convolutional images.

제3 수정 선형 처리부(1120)는 컨볼루션 영상 조합부(1119)에 의해 생성된 조합 컨볼루션 영상 중 양의 화소값은 변화 없이 출력하고, 음의 화소값에는 설정 비율을 적용하여 출력하는 수정 선형 처리(leakyReLU)를 수행할 수 있다.The third corrected linear processing unit 1120 outputs positive pixel values of the combined convolutional image generated by the convolutional image combining unit 1119 without change, and applies a set ratio to negative pixel values to output the corrected linear image. Processing (leakyReLU) can be performed.

제3 수정 선형 처리부(1120)에 의해 수정 선형 처리된 조합 컨볼루션 영상은 풀링 처리부(116)에 의해 풀링 처리된 후, 다음 계층의 제1 컨볼루션 처리부(112)로 입력될 수 있다. 입력 영상(10)은 복수개의 계층 순으로 엔코더부(110)와 디코더부(120) 사이의 병목 계층(30)까지 제1 컨볼루션 처리부(111 ~ 115)와 풀링 처리부(116 ~ 119)에 의해 순차적으로 영상 처리될 수 있다.The combined convolutional image processed by the third corrected linear processing unit 1120 may be input to the first convolution processing unit 112 of the next layer after being pooled by the pooling processing unit 116 . The input image 10 is processed by the first convolution processing units 111 to 115 and the pooling processing units 116 to 119 up to the bottleneck layer 30 between the encoder unit 110 and the decoder unit 120 in the order of a plurality of layers. Images may be sequentially processed.

도 6은 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 장치를 구성하는 풀링 처리부의 기능을 설명하기 위한 개념도이다. 도 2 및 도 6을 참조하면, 각각의 풀링 처리부(116 ~ 119)는 다수의 컨볼루션 처리부(111 ~ 115) 사이에 마련될 수 있다.6 is a conceptual diagram illustrating a function of a pooling processing unit constituting an apparatus for adjusting user-customized image brightness and contrast according to an embodiment of the present invention. 2 and 6 , each of the pooling processing units 116 to 119 may be provided between a plurality of convolution processing units 111 to 115 .

풀링 처리부(116 ~ 119)는 컨볼루션 처리부(111 ~ 115)에 의해 각 계층 별로 컨볼루션 처리되어 생성되는 컨볼루션 영상의 대표 값들(16)을 결정하는 풀링(Pooling) 처리를 수행할 수 있다. 풀링 처리부(116 ~ 119)는 예를 들어, 최대 풀링(Max pooling) 처리를 수행할 수 있으나, 이에 제한되지는 않는다.The pooling processing units 116 to 119 may perform a pooling process for determining representative values 16 of a convolutional image generated by convolution processing for each layer by the convolution processing units 111 to 115 . The pooling processing units 116 to 119 may perform, for example, max pooling processing, but is not limited thereto.

밝기 설정부(150)는 제1 컨볼루션부(1112)에 의해 생성된 제1 컨볼루션 영상, 제2 컨볼루션부(1115)에 의해 생성된 제2 컨볼루션 영상, 제3 컨볼루션부(1118)에 의해 생성된 제3 컨볼루션 영상, 및 컨볼루션 영상 조합부(1119)에 의해 생성된 조합 컨볼루션 영상 중 어느 하나의 컨볼루션 영상의 평균 밝기와, 목표 밝기 간의 밝기 비율을 산출하고, 산출한 밝기 비율을 적용하여 장기 건너뛰기 연결되는 컨볼루션 영상의 밝기를 조절할 수 있다.The brightness setting unit 150 includes a first convolution image generated by the first convolution unit 1112 , a second convolution image generated by the second convolution unit 1115 , and a third convolution unit 1118 . ) and the average brightness of any one of the combined convolutional image generated by the convolutional image combining unit 1119 and the third convolutional image generated by By applying one brightness ratio, you can adjust the brightness of the convolutional image that is connected to the long skip.

실시예에서, 목표 밝기는 사용자에 의해 설정되는 밝기 값이거나, 또는 미리 설정되거나 사용자에 의해 입력되는 참조 영상(Reference image)에 의해 설정되는 밝기 값일 수 있다.In an embodiment, the target brightness may be a brightness value set by a user, or a brightness value set by a reference image preset or input by the user.

실시예에서, 목표 밝기 설정부(160)는 참조 영상을 기반으로 목표 밝기를 설정할 수 있다. 목표 밝기 설정부(160)는 참조 영상의 평균 밝기를 산출하여 목표 밝기를 산출할 수 있다.In an embodiment, the target brightness setting unit 160 may set the target brightness based on the reference image. The target brightness setting unit 160 may calculate the target brightness by calculating the average brightness of the reference image.

본 발명의 실시예에 의하면, 사용자가 밝기 값을 지정하거나, 참조 영상을 입력 또는 선택하여, 원하는 밝기 값에 따라 입력 영상의 밝기를 향상시켜 출력 영상을 생성할 수 있다.According to an embodiment of the present invention, the user may designate a brightness value, input or select a reference image, and increase the brightness of the input image according to a desired brightness value to generate an output image.

도 1 및 도 2를 참조하면, 디코더부(120)는 다수의 디컨볼루션 처리부(121 ~ 124)와, 다수의 조합 처리부(125 ~ 128) 및 다수의 제2 컨볼루션 처리부(129 ~ 132)를 포함할 수 있다.1 and 2 , the decoder unit 120 includes a plurality of deconvolution processing units 121 to 124 , a plurality of combination processing units 125 to 128 , and a plurality of second convolution processing units 129 to 132 . may include

다수의 디컨볼루션 처리부(121 ~ 124)는 엔코더부(110)의 복수개의 계층 중 마지막 계층에서 출력되는 컨볼루션 영상들에 대해 복수개의 계층의 역순으로 순차적으로 디컨볼루션 처리를 행하여 디컨볼루션 영상을 생성할 수 있다.The plurality of deconvolution processing units 121 to 124 sequentially perform deconvolution processing on the convolution images output from the last layer among the plurality of layers of the encoder unit 110 in the reverse order of the plurality of layers to perform deconvolution. You can create an image.

각각의 조합 처리부(125 ~ 128)는 다수의 디컨볼루션 처리부(121 ~ 124) 사이에 마련될 수 있다. 조합 처리부(125 ~ 128)는 각 계층 별로 생성되는 디컨볼루션 영상을 밝기 설정부(150)에 의해 목표 밝기를 기반으로 설정되는 밝기 비율에 따라 밝기 조절된 컨볼루션 영상과 조합(concatenate) 처리할 수 있다.Each combination processing unit 125 to 128 may be provided between a plurality of deconvolution processing units 121 to 124 . The combination processing unit 125 to 128 concatenates the deconvolution image generated for each layer with the convolutional image whose brightness is adjusted according to the brightness ratio set based on the target brightness by the brightness setting unit 150. can

즉, 엔코더부(110)로부터 장기 건너뛰기 연결된 후 목표 밝기에 따라 밝기 조절된 컨볼루션 영상은 대응되는 계층 별로 디코더부(120)의 조합 처리부(125 ~ 128)에 의해 조합 처리될 수 있다.That is, the convolutional image whose brightness is adjusted according to the target brightness after long-term skip connection from the encoder unit 110 may be combinedly processed by the combination processing units 125 to 128 of the decoder unit 120 for each corresponding layer.

각각의 제2 컨볼루션 처리부(129 ~ 132)는 다수의 디컨볼루션 처리부(121 ~ 124) 사이에서 조합 처리부(125 ~ 128)의 후단에 마련될 수 있다. 제2 컨볼루션 처리부(129 ~ 132)는 조합 처리부(125 ~ 128)에 의해 디컨볼루션 영상과 컨볼루션 영상이 조합 처리된 조합 영상을 커널 영상을 이용하여 컨볼루션 처리할 수 있다.Each of the second convolution processing units 129 to 132 may be provided at a rear end of the combination processing units 125 to 128 among the plurality of deconvolution processing units 121 to 124 . The second convolution processing units 129 to 132 may convolutionally process a combined image obtained by combining a deconvolution image and a convolution image by the combination processing units 125 to 128 using a kernel image.

디코더부(120)에서 최종적으로 컨볼루션 처리된 영상들은 영상 처리부(133)에 의해 처리되며, 이에 따라 입력 영상(10) 보다 밝기 및 대비가 향상된 출력 영상(20)이 생성될 수 있다.The images finally convolutionally processed by the decoder unit 120 are processed by the image processing unit 133 , and thus an output image 20 having improved brightness and contrast compared to the input image 10 may be generated.

도 7은 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 장치를 구성하는 제2 컨볼루션 처리부의 구성도이다. 도 2 및 도 7을 참조하면, 디코더부(120)의 제2 컨볼루션 처리부(129 ~ 132)는 제1 배치놈 처리부(1311), 제1 컨볼루션부(1312), 제1 수정 선형 처리부(1313), 제2 배치놈 처리부(1314), 제2 컨볼루션부(1315), 제2 수정 선형 처리부(1316), 제3 배치놈 처리부(1317), 제3 컨볼루션부(1318), 단기 건너뛰기 연결부(SSC), 컨볼루션 영상 조합부(1319) 및 제3 수정 선형 처리부(1320)를 포함할 수 있다. 제2 컨볼루션 처리부(129 ~ 132)는 제1 컨볼루션 처리부(111 ~ 115)와 동일한 구조로 제공되어 동일한 기능을 수행할 수 있으므로, 중복되는 설명은 생략하기로 한다.7 is a block diagram of a second convolution processing unit constituting an apparatus for adjusting user-customized image brightness and contrast according to an embodiment of the present invention. 2 and 7, the second convolution processing units 129 to 132 of the decoder unit 120 include a first batch norm processing unit 1311, a first convolution unit 1312, and a first modified linear processing unit ( 1313), second batch norm processing unit 1314, second convolution unit 1315, second correction linear processing unit 1316, third batch norm processing unit 1317, third convolution unit 1318, short term It may include a running connection unit SSC, a convolutional image combining unit 1319 and a third correction linear processing unit 1320 . The second convolution processing units 129 to 132 are provided in the same structure as the first convolution processing units 111 to 115 to perform the same functions, and thus overlapping descriptions will be omitted.

도 8은 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 장치의 기능을 설명하기 위한 개념도이다. 도 1, 도 2 및 도 8을 참조하면, 장기 건너뛰기 연결을 가지는 엔코더-디코더 구조 딥러닝 네트워크(100)에서, 어두운 영상의 향상을 위해 참조 영상의 밝기 평균을 목표 밝기로 사용하거나, 사용자 지정에 의해 목표 밝기를 설정하여, 해당 목표 밝기에 따라 장기 건너뛰기 연결되는 컨볼루션 영상의 밝기를 조정한 후 디코더부의 디컨볼루션 영상과 조합한다.8 is a conceptual diagram illustrating a function of an apparatus for adjusting user-customized image brightness and contrast according to an embodiment of the present invention. 1, 2, and 8, in the encoder-decoder structure deep learning network 100 having a long skip connection, the average brightness of the reference image is used as the target brightness for the improvement of a dark image, or user-specified sets the target brightness by , adjusts the brightness of the convolutional image connected to the long skip according to the target brightness, and then combines it with the deconvolutional image of the decoder unit.

실시예에서, 밝기 설정부(150)는 하기의 수식 1 내지 수식 4에 따라 참조 영상의 평균 밝기를 기반으로 장기 건너뛰기 연결되는 컨볼루션 영상의 밝기를 설정(조정)한 후, 업 샘플링을 위해 디코더부(120)로 전달할 수 있다.In an embodiment, the brightness setting unit 150 sets (adjusts) the brightness of the convolutional image connected to the long-term skip based on the average brightness of the reference image according to Equations 1 to 4 below, and then for upsampling may be transmitted to the decoder unit 120 .

[수식 1][Formula 1]

[수식 2][Equation 2]

[수식 3][Equation 3]

[수식 4][Equation 4]

수식 1 내지 수식 4에서, f는 참조 영상(I_r)과 컨볼루션 영상(conv_n)의 밝기 비율, μ_r은 참조 영상(I_r)의 평균 밝기(목표 밝기), μ₅은 엔코더부(110)의 마지막 계층(5번째 계층)에서 생성된 컨볼루션 영상의 평균 밝기, C, H, W는 각각 참조 영상(I_r)의 채널 개수, 세로 크기, 가로 크기, N₅, Y₅, X₅는 각각 5번째 계층 내의 특징 맵들(컨볼루션 영상들)(conv_n)의 개수, 세로 크기, 가로 크기, n은 엔코더부(110)의 계층 순서이다.In Equations 1 to 4, f is the brightness ratio of the reference image (I _r ) and the convolutional image (conv_n), μ _r is the average brightness (target brightness) of the reference image (I _r ), μ ₅ is the encoder unit 110 ), C, H, and W of the convolutional image generated in the last layer (5th layer) are the number of channels, vertical size, horizontal size, N ₅ , Y ₅ , X ₅ of the reference image (I _r ), respectively. is the number, vertical size, and horizontal size of the feature maps (convolutional images) (conv_n) in the fifth layer, respectively, and n is the hierarchical order of the encoder unit 110 .

엔코더부(110)와 디코더부(120) 사이의 병목 계층(30)에서 출력되는 컨볼루션 영상은 수식 1 내지 4에 따라 목표 밝기를 기초로 밝기 조정된 후, 디코더부(120)의 첫번째 계층으로 입력될 수 있다. 엔코더부(110)와 디코더부(120)의 계층 별로 컨볼루션 영상의 밝기를 조정하는 밝기 비율은 상이한 값으로 산출될 수도 있고, 같은 값으로 산출될 수도 있다.The convolutional image output from the bottleneck layer 30 between the encoder unit 110 and the decoder unit 120 is brightness adjusted based on the target brightness according to Equations 1 to 4, and then to the first layer of the decoder unit 120. can be entered. The brightness ratio for adjusting the brightness of the convolutional image for each layer of the encoder unit 110 and the decoder unit 120 may be calculated as different values or may be calculated as the same value.

다시 도 1을 참조하면, 전이 학습부(170)는 훈련 데이터를 이용하여 엔코더-디코더 구조 딥러닝 네트워크(100)를 2단계 학습할 수 있다. 전이 학습부(170)는 제1 학습부(172)와 제2 학습부(174)를 포함할 수 있다.Referring back to FIG. 1 , the transfer learning unit 170 may learn the encoder-decoder structure deep learning network 100 in two stages using training data. The transfer learning unit 170 may include a first learning unit 172 and a second learning unit 174 .

제1 학습부(172)는 동일한 위치에서 촬영된 다양한 밝기의 학습 영상들의 쌍을 포함하는 제1 학습 영상 쌍들을 기반으로, 엔코더-디코더 구조 딥러닝 네트워크(100)의 복수개의 계층 전체를 학습할 수 있다. 제1 학습 영상 쌍들은 직접 촬영하거나 인터넷을 통하여 수집한 다양한 실내외 저조도 영상과 고조도 영상의 쌍을 포함할 수 있다.The first learning unit 172 learns the entire plurality of layers of the encoder-decoder structure deep learning network 100 based on first learning image pairs including pairs of learning images of various brightnesses taken at the same location. can The first learning image pairs may include a pair of various indoor/outdoor low-illuminance images and high-illuminance images captured directly or collected through the Internet.

제2 학습부(174)는 대상 장소(예를 들어, 감시가 필요한 장소)에 설치된 카메라에 의해 촬영된 제1 밝기의 학습 영상과 제1 밝기보다 어두운 제2 밝기의 학습 영상을 포함하는 제2 학습 영상 쌍을 기반으로, 엔코더-디코더 구조 딥러닝 네트워크(100)의 복수개의 계층 중 일부 계층 만을 학습할 수 있다.The second learning unit 174 includes a learning image of a first brightness captured by a camera installed in a target place (eg, a place requiring monitoring) and a learning image of a second brightness darker than the first brightness. Based on the training image pair, it is possible to learn only some of the plurality of layers of the encoder-decoder structure deep learning network 100 .

실시예에서, 제2 학습부(174)에 의해 전이 학습(transfer learning)되는 일부 계층은 복수개의 계층 중 엔코더부(110)와 디코더부(120) 사이의 병목 계층(30), 엔코더부(110)의 복수개의 계층 중 병목 계층(30)과 인접한 하나의 계층, 디코더부(120)의 복수개의 계층 중 병목 계층(30)과 인접한 하나의 계층 및 디코더부(120)의 복수개의 계층 중 마지막 계층일 수 있다.In an embodiment, some layers that are transfer learned by the second learning unit 174 are a bottleneck layer 30 between the encoder unit 110 and the decoder unit 120 among a plurality of layers, and the encoder unit 110 . ), one adjacent to the bottleneck layer 30 among the plurality of layers, one adjacent to the bottleneck layer 30 among the plurality of layers of the decoder unit 120 , and the last layer among the plurality of layers of the decoder unit 120 . can be

2번째 학습 단계에서는, 엔코더-디코더 구조 딥러닝 네트워크(100)의 복수개의 계층 중 엔코더부(110)와 디코더부(120)의 선택된 일부 계층을 제외한 나머지 계층들은 제2 학습부(174)에 의해 학습되지 않고, 선택된 일부 계층에 대해서만 학습이 수행될 수 있다.In the second learning step, the remaining layers except for some selected layers of the encoder unit 110 and the decoder unit 120 among the plurality of layers of the encoder-decoder structure deep learning network 100 are performed by the second learning unit 174 It is not learned, and learning may be performed only on some selected layers.

도 9는 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 방법의 순서도이다. 도 1, 도 2 및 도 9를 참조하면, 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 방법은 장기 건너뛰기 연결을 가지는 엔코더-디코더 구조 딥러닝 네트워크(100)를 이용하여 입력 영상(10)의 밝기 및 대비를 향상시켜 출력 영상(20)을 생성할 수 있다.9 is a flowchart of a method for adjusting user-customized image brightness and contrast according to an embodiment of the present invention. 1, 2 and 9, the user-customized image brightness and contrast control method according to an embodiment of the present invention uses an encoder-decoder structure deep learning network 100 having a long-term skip connection to input image ( The output image 20 may be generated by improving the brightness and contrast of 10).

먼저, 엔코더-디코더 구조 딥러닝 네트워크(100)의 목표 밝기 설정부(160)에 의해, 하나 또는 복수개의 참조 영상의 평균 밝기를 산출하여 목표 밝기를 설정할 수 있다(S10). 참조 영상은 사용자에 의해 입력되거나, 시스템에 저장된 다수의 참조 영상 중에서 사용자에 의해 선택될 수 있다. 대안적으로, 목표 밝기 설정부(160)는 사용자가 지정한 밝기 값에 따라 목표 밝기를 설정할 수도 있다.First, the target brightness setting unit 160 of the encoder-decoder structure deep learning network 100 may calculate the average brightness of one or a plurality of reference images to set the target brightness (S10). The reference image may be input by the user or may be selected by the user from among a plurality of reference images stored in the system. Alternatively, the target brightness setting unit 160 may set the target brightness according to a brightness value specified by the user.

야간에 촬영되거나 조명이 없는 어두운 환경에서 촬영된 저조도의 입력 영상이 입력되면, 먼저 엔코더-디코더 구조 딥러닝 네트워크(100)의 엔코더부(110)에 의해, 입력 영상(10)에 대해 복수개의 계층 순으로 컨볼루션 처리를 수행하여, 입력 영상(10) 보다 작은 크기를 가지는 컨볼루션 영상들을 생성하는 다운 샘플링 단계(S20)를 수행할 수 있다.When an input image of low light taken at night or taken in a dark environment without lighting is input, first, by the encoder unit 110 of the encoder-decoder structure deep learning network 100, a plurality of layers for the input image 10 A down-sampling step ( S20 ) of generating convolutional images having a size smaller than that of the input image 10 may be performed by sequentially performing convolutional processing.

다운 샘플링 단계(S20)에서, 입력 영상은 각 계층 별로 순차적으로 컨볼루션 처리와 풀링(예를 들어, 최대 풀링) 처리를 반복하여 수행하는 영상 처리를 통해, 다수의 특징 맵들(컨볼루션 영상들)로 출력될 수 있다. 마지막 계층에서 출력된 다수의 특징 맵들은 디코더부(120)에 입력될 수 있다.In the downsampling step (S20), the input image is subjected to image processing in which convolution processing and pooling (eg, maximum pooling) processing are sequentially repeated for each layer, and a plurality of feature maps (convolutional images) can be output as A plurality of feature maps output from the last layer may be input to the decoder unit 120 .

다운 샘플링 단계(S20) 이후, 또는 다운 샘플링 단계(S20)와 함께, 엔코더-디코더 구조 딥러닝 네트워크(100)의 장기 건너뛰기 연결부(140)에 의해, 엔코더부(110)의 복수개의 계층의 각 계층에서 출력되는 컨볼루션 영상을 디코더부(120)의 대응되는 계층으로 장기 건너뛰기 연결시키는 단계(S30)가 수행될 수 있다.After the down-sampling step (S20), or together with the down-sampling step (S20), by the long-term skip connection unit 140 of the encoder-decoder structure deep learning network 100, each of a plurality of layers of the encoder unit 110 A long-term skip connection of the convolutional image output from the layer to the corresponding layer of the decoder unit 120 may be performed ( S30 ).

엔코더-디코더 구조 딥러닝 네트워크(100)의 밝기 설정부(150)는 엔코더부(110)의 각 계층에서 출력되는 컨볼루션 영상의 평균 밝기와 목표 밝기 설정부(160)에 의해 설정된 목표 밝기 간의 밝기 비율을 산출할 수 있다(S40). 컨볼루션 영상의 평균 밝기와 목표 밝기 간의 밝기 비율은 예를 들어, 상기 수식 1 내지 수식 4에 따라 산출될 수 있다.The brightness setting unit 150 of the encoder-decoder structure deep learning network 100 is a brightness between the average brightness of the convolution image output from each layer of the encoder unit 110 and the target brightness set by the target brightness setting unit 160 The ratio can be calculated (S40). The brightness ratio between the average brightness and the target brightness of the convolutional image may be calculated, for example, according to Equations 1 to 4 above.

또한, 엔코더-디코더 구조 딥러닝 네트워크(100)의 밝기 설정부(150)는 엔코더부(110)와 디코더부(120) 간의 각 계층 별로 컨볼루션 영상과 목표 밝기 간의 밝기 비율을 장기 건너뛰기 연결되는 컨볼루션 영상에 적용하여, 각 계층 별로 장기 건너뛰기 연결되는 컨볼루션 영상의 밝기를 조절할 수 있다(S50).In addition, the brightness setting unit 150 of the encoder-decoder structure deep learning network 100 is connected to the long-term skipping of the brightness ratio between the convolutional image and the target brightness for each layer between the encoder unit 110 and the decoder unit 120 By applying to the convolutional image, it is possible to adjust the brightness of the convolutional image connected to the long-term skip for each layer (S50).

장기 건너뛰기 연결되는 컨볼루션 영상의 밝기가 조절되면, 디코더부(120)에 의해, 다운 샘플링 단계(S20)에서 엔코더부(110)의 복수개의 계층의 마지막 계층에서 출력되는 컨볼루션 영상들을 복수개의 계층의 역순으로 순차적으로 디컨볼루션하여 디컨볼루션 영상을 생성하는 업 샘플링 단계(S60)가 수행될 수 있다.When the brightness of the convolutional image connected to the long skip is adjusted, the decoder unit 120 converts the convolutional images output from the last layer of the plurality of layers of the encoder unit 110 in the downsampling step S20 to a plurality of An up-sampling step ( S60 ) of generating a deconvolution image by sequentially deconvolution in the reverse order of the layers may be performed.

업 샘플링 단계(S60)에서, 디코더부(120)의 각 계층에서 디컨볼루션된 디컨볼루션 영상을 엔코더부(110)의 대응되는 각 계층으로부터 장기 건너뛰기 연결(long skip connection) 후 밝기 조절된 컨볼루션 영상과 조합 처리하여 업 샘플링이 수행될 수 있다.In the up-sampling step ( S60 ), the deconvolution image deconvolved in each layer of the decoder unit 120 is brightly adjusted after long skip connection from each layer corresponding to the encoder unit 110 . Upsampling may be performed by combining processing with the convolutional image.

업 샘플링 단계(S60)에서, 엔코더부(110)의 마지막 계층에서 출력된 특징 맵들(컨볼루션 영상들)은 순차적으로 디컨볼루션 처리, 장기 건너뛰기 연결된 컨볼루션 영상과의 조합(concatenate) 처리 및 컨볼루션 처리를 반복하여 수행하는 영상 처리를 통해, 최종적으로 밝기(brightness) 및 대비(contrast)가 개선된 특징 맵들(컨볼루션 영상들)로 출력될 수 있다.In the up-sampling step (S60), the feature maps (convolutional images) output from the last layer of the encoder unit 110 are sequentially subjected to deconvolution processing, long-term skipping and combination with the convolutional image (concatenate) processing and Through image processing in which the convolution process is repeatedly performed, brightness and contrast may be finally output as feature maps (convolutional images).

도 10은 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 방법의 전이 학습 단계를 나타낸 순서도이다. 도 11은 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 방법의 전이 학습 단계를 설명하기 위한 개념도이다.10 is a flowchart illustrating a transfer learning step of a method for adjusting user-customized image brightness and contrast according to an embodiment of the present invention. 11 is a conceptual diagram for explaining a transfer learning step of a method for adjusting user-customized image brightness and contrast according to an embodiment of the present invention.

도 1, 도 10 및 도 11을 참조하면, 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 방법은 전이 학습부(170)에 의해, 훈련 데이터를 이용하여 엔코더-디코더 구조 딥러닝 네트워크(100)의 엔코더부(110) 및 디코더부(120)를 2단계 학습할 수 있다.1, 10, and 11 , the method for adjusting the brightness and contrast of a user-customized image according to an embodiment of the present invention is performed by the transfer learning unit 170, using training data in an encoder-decoder structure deep learning network ( 100) of the encoder unit 110 and the decoder unit 120 can be learned in two steps.

먼저, 전이 학습부(170)의 제1 학습부(172)에 의해, 동일한 위치에서 촬영된 다양한 밝기의 학습 영상들의 쌍을 포함하는 제1 학습 영상 쌍들을 기반으로, 엔코더-디코더 구조 딥러닝 네트워크(100)의 엔코더부(110)와 디코더부(120)의 복수개의 계층 전체(도 11의 ① ~ ⑨)를 학습할 수 있다(S70). 제1 학습 영상 쌍은 동일한 위치에서 동일한 내용(객체)를 촬영한 영상 쌍으로 제공될 수 있다.First, by the first learning unit 172 of the transfer learning unit 170, based on the first learning image pairs including pairs of learning images of various brightnesses photographed at the same location, encoder-decoder structure deep learning network The entire plurality of layers (① to ⑨ in FIG. 11) of the encoder unit 110 and the decoder unit 120 of (100) can be learned (S70). The first training image pair may be provided as an image pair obtained by photographing the same content (object) at the same location.

다음으로, 전이 학습부(170)의 제2 학습부(174)에 의해, 대상 장소에 설치된 카메라에 의해 촬영된 제1 밝기의 학습 영상(밝은 환경에서 촬영된 학습 영상)과 제1 밝기보다 어두운 제2 밝기의 학습 영상(어두운 환경에서 촬영된 학습 영상)을 포함하는 제2 학습 영상 쌍을 기반으로, 복수개의 계층 중 일부 계층(도 11의 ④ ~ ⑥, ⑨) 만을 학습할 수 있다(S80).Next, by the second learning unit 174 of the transfer learning unit 170, the learning image (learning image taken in a bright environment) of the first brightness captured by the camera installed in the target place and darker than the first brightness Based on the second learning image pair including the learning image (learning image taken in a dark environment) of the second brightness, only some of the plurality of layers (④ to ⑥, ⑨ in FIG. 11) can be learned (S80) ).

즉, 제2 학습부(174)는 감시가 필요한 새로운 장소에 카메라가 설치된 이후에 해당 장소에서 카메라에 의해 획득한 저조도 및 고조도 영상들을 이용하여 2차 훈련을 수행할 수 있다. 제2 학습 영상 쌍은 동일한 위치에서 동일한 내용(객체)을 촬영하여 획득된 상이한 조도의 영상 쌍으로 제공될 수 있다.That is, after the camera is installed in a new place requiring monitoring, the second learning unit 174 may perform secondary training using low-illuminance and high-illuminance images acquired by the camera at the corresponding place. The second training image pair may be provided as an image pair of different illuminance obtained by photographing the same content (object) at the same location.

[수식 5][Equation 5]

전이 학습부(170)의 학습은 예를 들어, 상기 수식 5에 기재된 손실 함수(Loss function)가 최소가 되도록 딥러닝 네트워크의 가중치를 업데이트함으로써 수행될 수 있다. 수식 5에서, L₂(θ)는 손실 함수, Out_img(i,j)는 학습 영상 쌍 중 저조도 입력 영상(어두운 영상)에 대한 딥러닝 네트워크의 출력 영상, Gt_img(i,g)는 학습 영상 쌍 중 밝은 입력 영상, N, M은 출력 영상 및 입력 영상(학습 영상)의 가로 크기, 세로 크기이다.Learning of the transfer learning unit 170 may be performed, for example, by updating the weight of the deep learning network so that the loss function described in Equation 5 is minimized. In Equation 5, L ₂ (θ) is the loss function, Out _img (i, j) is the output image of the deep learning network for the low-illuminance input image (dark image) among the training image pairs, and Gt _img (i, g) is the training image. Among the image pairs, the bright input images, N and M, are the horizontal and vertical sizes of the output image and the input image (learning image).

본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 장치 및 방법은 값비싼 이미징 센서를 사용하지 않고, 일반적인 고정 감시카메라로 촬영한 어두운 비디오의 밝기 및 대비를 향상시켜 영상 품질을 향상시키는데 활용될 수 있다.The user-customized image brightness and contrast control apparatus and method according to an embodiment of the present invention can be utilized to improve image quality by improving the brightness and contrast of dark video captured by a general fixed surveillance camera without using an expensive imaging sensor. can

도 12는 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 방법의 성능을 확인하기 위해 사용된 입력 영상과, 참조 영상의 예시도이다. 도 13은 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 방법에 의해 밝기 및 대비가 향상된 출력 영상의 예시도이다.12 is an exemplary view of an input image and a reference image used to confirm the performance of the method for adjusting the brightness and contrast of a user-customized image according to an embodiment of the present invention. 13 is an exemplary diagram of an output image with improved brightness and contrast by the method for adjusting the brightness and contrast of a user-customized image according to an embodiment of the present invention.

도 12의 (a)는 저조도 입력 영상, (b)는 목표 밝기 설정을 위하여 사용된 참조 영상이다. 도 13의 (a)는 참조 영상에 의해 설정한 목표 밝기를 기반으로 출력된 출력 영상이고, 도 13의 (b)는 참조 영상에 의해 목표 밝기를 설정하지 않은 경우의 출력 영상이다. 도 13의 (a), (b)에서 상부 영상은 전이 학습을 하지 않은 경우의 출력 영상이고, 하부 영상은 전이 학습을 한 이후의 출력 영상이다.12(a) is a low-illuminance input image, and (b) is a reference image used for setting a target brightness. 13A is an output image output based on the target brightness set by the reference image, and FIG. 13B is an output image when the target brightness is not set by the reference image. In (a) and (b) of FIG. 13 , the upper image is an output image when transfer learning is not performed, and the lower image is an output image after transfer learning is performed.

도 12 및 도 13을 참조하면, 참조 영상에 의해 목표 밝기를 설정하여 목표 밝기를 기반으로 장기 건너뛰기 연결의 밝기를 조정한 경우, 참조 영상에 부합하는 밝기 수준의 출력 영상이 생성된다. 또한, 전이 학습을 한 경우, 전이 학습을 하지 않은 경우 보다 영상 품질이 보다 향상된다.12 and 13 , when a target brightness is set according to a reference image and the brightness of a long-term skip link is adjusted based on the target brightness, an output image having a brightness level corresponding to the reference image is generated. In addition, when transfer learning is performed, image quality is more improved than when transfer learning is not performed.

도 14 내지 도 19는 본 발명의 실시예에 따른 사용자 맞춤형 영상 밝기 및 대비 조절 방법의 성능을 보여주는 도면이다. 도 14에서 왼쪽 열에 나열된 영상들은 다양한 조도의 입력 영상들이고, 상부 행에 나열된 영상들은 참조 영상들이다. 나머지 영상들은 본 발명의 실시예에 따라 입력 영상과 참조 영상을 기반으로 장기 건너뛰기 연결을 가지는 딥러닝 네트워크에 의해 출력된 출력 영상들이다.14 to 19 are diagrams illustrating the performance of a method for adjusting user-customized image brightness and contrast according to an embodiment of the present invention. In FIG. 14 , images listed in the left column are input images of various illuminances, and images listed in the upper row are reference images. The remaining images are output images output by the deep learning network having a long-term skip connection based on the input image and the reference image according to an embodiment of the present invention.

도 14를 참조하면, 본 발명의 실시예에 따라 다양한 조도의 입력 영상들이 다양한 참조 영상의 밝기 수준으로 밝기 조절된 출력 영상이 생성되는 것을 알 수 있다. 특히, 본 발명의 실시예는 매우 어두운 저조도 입력 영상에 대해서도 우수한 밝기 향상 성능을 나타낸다.Referring to FIG. 14 , it can be seen that, according to an embodiment of the present invention, an output image in which input images of various illuminances are adjusted to the brightness levels of various reference images is generated. In particular, the embodiment of the present invention exhibits excellent brightness improvement performance even for a very dark low-illuminance input image.

도 15의 (a)는 입력 영상이고, (b)는 전이 학습을 하지 않은 경우의 출력 영상이고, (c)는 장기 건너뛰기 연결 및 단기 건너뛰기 연결을 모두 가지는 딥러닝 네트워크에 의해 전이 학습을 한 후의 출력 영상이고, (d)는 학습 영상을 다수의 패치 영상으로 분할하여 전이 학습을 한 후의 출력 영상이다. 도 15를 참조하면, 전이 학습을 한 경우, 전이 학습을 하지 않은 경우보다 영상 품질이 보다 향상될 수 있다.15 (a) is an input image, (b) is an output image when transfer learning is not performed, and (c) is transfer learning by a deep learning network having both long-term skipping connections and short-term skipping connections. This is the output image after the training, and (d) is the output image after performing transfer learning by dividing the training image into a plurality of patch images. Referring to FIG. 15 , when transfer learning is performed, image quality may be more improved than when transfer learning is not performed.

도 16은 왼쪽 열에 나열된 영상들은 다양한 조도의 입력 영상들이고, 상부 행에 나열된 영상들은 참조 영상들이다. 나머지 영상들은 본 발명의 실시예에 따라 입력 영상과 참조 영상을 기반으로 장기 건너뛰기 연결 및 단기 건너뛰기 연결을 모두 가지는 딥러닝 네트워크에 의해 출력된 출력 영상들이다.In FIG. 16 , images listed in a left column are input images of various illuminances, and images listed in an upper row are reference images. The remaining images are output images output by the deep learning network having both a long-term skip connection and a short-term skip connection based on an input image and a reference image according to an embodiment of the present invention.

도 16을 참조하면, 본 발명의 실시예에 따라 장기 건너뛰기 연결 및 단기 건너뛰기 연결을 모두 가지는 딥러닝 네트워크에 의해 다양한 조도의 입력 영상들이 다양한 참조 영상의 밝기 수준으로 밝기 조절된 출력 영상이 생성되는 것을 알 수 있다. 특히, 본 발명의 실시예에 의하면, 매우 어두운 저조도 입력 영상에 대해서도 우수한 밝기 향상 성능을 나타내며, 저조도 입력 영상의 객체를 명확하게 식별해낼 수 있다.Referring to FIG. 16 , an output image in which input images of various illuminances are adjusted to the brightness levels of various reference images is generated by a deep learning network having both long-term skip connections and short-term skip connections according to an embodiment of the present invention. it can be seen that In particular, according to an embodiment of the present invention, excellent brightness improvement performance is exhibited even for a very dark low-illuminance input image, and an object of the low-illuminance input image can be clearly identified.

도 17은 전이 학습을 하지 않은 경우의 실험 결과로, (a)는 밝은 영상, (b)는 저조도 영상, (c)와 (d)는 장기 건너뛰기 연결을 가지는 딥러닝 네트워크에 의해 출력되는 출력 영상, (e)와 (f)는 장/단기 건너뛰기 연결을 모두 가지는 딥러닝 네트워크에 의해 출력되는 출력 영상이다.17 is an experimental result in the case where transfer learning is not performed, (a) is a bright image, (b) is a low-light image, and (c) and (d) are the output output by the deep learning network having a long-term skip connection. Images, (e) and (f) are output images output by a deep learning network with both long/short skip connections.

도 17을 참조하면, 본 발명의 실시예에 의하면, 장기 건너뛰기 연결을 가지는 딥러닝 네트워크와, 장/단기 건너뛰기 연결을 둘 다 가지는 딥러닝 네트워크 모두, 저조도 영상의 밝기 향상 성능이 우수한 것을 알 수 있으며, 낮에 촬영된 밝은 영상과 거의 비슷한 수준의 객체 인식률을 나타낸다.Referring to Figure 17, according to the embodiment of the present invention, both the deep learning network having a long skip connection and a deep learning network having both a long/short skip connection, it can be seen that the brightness improvement performance of the low-light image is excellent. and shows an object recognition rate almost similar to that of a bright image captured during the day.

도 18의 (a)는 다양한 저조도 입력 영상, (b)는 International. J. Computer Technology & Applications Vol. 3 No. 4, pp. 1613-1618 (2012) (M. Kaur and S. Singh) "Night Enhancement using Hybrid of Good and Poor Images"에 소개된 종래 방법에 의해 출력되는 출력 영상, (c)는 IEEE Transactions on Image Processing, Vol. 26(2) pp. 982-993 (2017) (X. Guo, Y. Li and H. Ling) "LIME: Low-light image enhancement via illumination map estimation"에 소개된 종래 방법에 의해 출력되는 출력 영상이다.18 (a) is a variety of low-illuminance input images, (b) is International. J. Computer Technology & Applications Vol. 3 No. 4, pp. 1613-1618 (2012) (M. Kaur and S. Singh) "Night Enhancement using Hybrid of Good and Poor Images" is an output image output by the conventional method, (c) is IEEE Transactions on Image Processing, Vol. 26(2) pp. 982-993 (2017) (X. Guo, Y. Li and H. Ling) This is an output image output by the conventional method introduced in “LIME: Low-light image enhancement via illumination map estimation”.

도 18의 (d)는 IEEE Transactions on Pattern Analysis and Machine Intelligence, pp. 3431-3440 (2015) (J. Long, E. Shelhamer and T. Darrell) "Fully Convolutional Networks for Semantic Segmentation"에 소개된 종래 방법에 의해 출력되는 출력 영상이고, 도 18의 (e)는 본 발명의 실시예에 따라 출력되는 출력 영상이다.Figure 18 (d) is IEEE Transactions on Pattern Analysis and Machine Intelligence, pp. 3431-3440 (2015) (J. Long, E. Shelhamer and T. Darrell) "Fully Convolutional Networks for Semantic Segmentation" is an output image output by the conventional method, and FIG. 18 (e) is a diagram of the present invention. It is an output image output according to an embodiment.

도 19의 (a)는 다양한 저조도 입력 영상, (b)는 Medical Image Computing and Computer-Assisted Intervention (MICCAI), Vol. 9351, pp. 234-241 (2015) (O. Ronneberger, P. Fischer and T. Brox) "U-Net: Convolutional Networks for Biomedical Image Segmentation"에 소개된 종래 방법에 의해 출력되는 출력 영상이고, (c)는 Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (2016) (K. He, X. Zhang, S. Ren and J. Sun) "Deep residual learning for image recognition"에 소개된 종래 방법에 의해 출력되는 출력 영상이다.19 (a) is a variety of low-illuminance input images, (b) is Medical Image Computing and Computer-Assisted Intervention (MICCAI), Vol. 9351, pp. 234-241 (2015) (O. Ronneberger, P. Fischer and T. Brox) "U-Net: Convolutional Networks for Biomedical Image Segmentation" is an output image output by the conventional method, (c) is Proceedings of This is an output image output by the conventional method introduced in the IEEE Conference on Computer Vision and Pattern Recognition (2016) (K. He, X. Zhang, S. Ren and J. Sun) "Deep residual learning for image recognition".

도 19의 (d)는 본 발명의 실시예에 따라 장기 건너뛰기 연결을 가지는 딥러닝 네트워크에 의해 출력되는 출력 영상이고, 도 19의 (e)는 본 발명의 실시예에 따라 장/단기 건너뛰기 연결을 모두 가지는 딥러닝 네트워크에 의해 출력되는 출력 영상이다.Figure 19 (d) is an output image output by the deep learning network having a long-term skip connection according to an embodiment of the present invention, Figure 19 (e) is a long/short skip skip according to an embodiment of the present invention This is the output image output by the deep learning network with all connections.

도 18 및 도 19를 참조하면, 본 발명의 실시예에 의하면, 저조도 영상의 향상을 위한 기존의 딥러닝 방법들에 비하여 우수한 영상 향상 결과를 보이며, 어두운 정도가 심할수록 본 발명의 실시예와 기존 방법들의 성능 차이가 더 커진다. 뿐만 아니라, 사전에 훈련된 모델을 특정 장소에 대하여 추가 훈련을 시킨 결과 향상된 저조도 이미지의 정량적 품질 PSNR과 SSIM은 각각 25.1824, 0.7224의 성능을 보인다.Referring to FIGS. 18 and 19 , according to an embodiment of the present invention, an excellent image improvement result is shown compared to the existing deep learning methods for improving a low-light image, and the darker the degree of darkness, the more the embodiment of the present invention and the existing method The difference in performance of the methods becomes larger. In addition, as a result of additional training of the previously trained model in a specific place, the improved quantitative quality PSNR and SSIM of low-light images show 25.1824 and 0.7224 performances, respectively.

상술한 바와 같은 본 발명의 실시예에 의하면, 장기 건너뛰기 연결(Long skip connection)을 가지고 있는 엔코더-디코더 구조 딥러닝 네트워크를 기반으로, 장기 건너뛰기 연결되는 컨볼루션 영상의 밝기를 사용자에 의해 지정되거나 참조 영상을 기반으로 설정되는 목표 밝기에 따라 조절하여, 저조도 영상의 밝기 및 대비를 효과적으로 향상시키고, 저조도 영상 내의 객체 인식률을 향상시킬 수 있다.According to the embodiment of the present invention as described above, the brightness of the convolutional image connected to the long skip connection is designated by the user based on the encoder-decoder structure deep learning network having a long skip connection The brightness and contrast of the low-light image may be effectively improved and the object recognition rate in the low-illuminance image may be improved by adjusting the target brightness based on the target brightness or the reference image.

본 발명의 실시예에 따른 방법 중 적어도 일부는 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 컴퓨터로 읽을 수 있는 기록매체는 SRAM(Static RAM), DRAM(Dynamic RAM), SDRAM(Synchronous DRAM) 등과 같은 휘발성 메모리, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Electrically Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), 플래시 메모리 장치, PRAM(Phase-change RAM), MRAM(Magnetic RAM), RRAM(Resistive RAM), FRAM(Ferroelectric RAM)과 같은 불휘발성 메모리, 플로피 디스크, 하드 디스크 또는 광학적 판독 매체 예를 들어 시디롬, 디브이디 등과 같은 형태의 저장매체일 수 있으나, 이에 제한되지는 않는다.At least some of the methods according to an embodiment of the present invention can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium. Computer-readable recording media include volatile memory such as SRAM (Static RAM), DRAM (Dynamic RAM), SDRAM (Synchronous DRAM), ROM (Read Only Memory), PROM (Programmable ROM), EPROM (Electrically Programmable ROM), Nonvolatile memory such as Electrically Erasable and Programmable ROM (EEPROM), flash memory device, phase-change RAM (PRAM), magnetic RAM (MRAM), resistive RAM (RRAM), ferroelectric RAM (FRAM), floppy disk, hard disk, or The optical reading medium may be, for example, a storage medium such as a CD-ROM or DVD, but is not limited thereto.

이상의 실시예들은 본 발명의 이해를 돕기 위하여 제시된 것으로, 본 발명의 범위를 제한하지 않으며, 이로부터 다양한 변형 가능한 실시예들도 본 발명의 범위에 속하는 것임을 이해하여야 한다. 본 발명의 보호범위는 청구범위의 기술적 사상에 의해 정해져야 할 것이며, 본 발명의 보호범위는 청구범위의 문언적 기재 그 자체로 한정되는 것이 아니라 실질적으로는 기술적 가치가 균등한 범주의 발명까지 미치는 것임을 이해하여야 한다.It should be understood that the above embodiments are presented to help the understanding of the present invention, and do not limit the scope of the present invention, and various modified embodiments therefrom also fall within the scope of the present invention. The protection scope of the present invention should be determined by the technical spirit of the claims, and the protection scope of the present invention is not limited to the literal description of the claims itself, but actually extends to the invention of an equivalent scope of technical value. It should be understood that

10: 입력 영상
20: 출력 영상
100: 엔코더-디코더 구조 딥러닝 네트워크
110: 엔코더부
111 ~ 115: 제1 컨볼루션 처리부
116 ~ 119: 풀링 처리부
120: 디코더부
121 ~ 124: 디컨볼루션 처리부
125 ~ 128: 조합 처리부
129 ~ 132: 제2 컨볼루션 처리부
140: 장기 건너뛰기 연결부
150: 밝기 설정부
160: 목표 밝기 설정부
170: 전이 학습부
172: 제1 학습부
174: 제2 학습부10: input video
20: output video
100: Encoder-Decoder Structure Deep Learning Network
110: encoder unit
111 to 115: first convolution processing unit
116 to 119: pooling processing unit
120: decoder unit
121 to 124: deconvolution processing unit
125 to 128: combination processing unit
129 to 132: second convolution processing unit
140: long skip connection
150: brightness setting unit
160: target brightness setting unit
170: transfer learning unit
172: first study unit
174: second study unit

Claims

An encoder-decoder structure deep learning network that generates an output image by enhancing the brightness and contrast of the input image;
The encoder-decoder structure deep learning network,
an encoder unit that generates convolutional images having a size smaller than that of the input image through down-sampling for convolutionally processing the input image in the order of a plurality of layers;
a decoder unit configured to generate the output image through up-sampling for generating a deconvolution image by deconvolution of the convolution images output from the last layer of the plurality of layers in a reverse order of the plurality of layers;
a long-term skip connection unit for long-term skip connection of the convolutional image output from each layer of the plurality of layers of the encoder unit to a corresponding layer of the decoder unit; and
A brightness setting unit for calculating the brightness ratio between the average brightness and the target brightness of the convolutional image output from the respective layers of the encoder unit, and adjusting the brightness of the convolutional image connected to skip long by applying the brightness ratio,
The decoder unit is configured to combine and upsample the deconvolutional image deconvolved in each layer of the decoder unit with the convolutional image whose brightness has been adjusted through long skip connection from the corresponding layer of the encoder unit,
Customizable video brightness and contrast controls.

According to claim 1,
The encoder unit,
a plurality of first convolution processing units that sequentially perform the convolution process on the input image in the order of the plurality of layers to generate a convolutional image for each layer; and
A plurality of pooling processing units provided between the plurality of convolution processing units and performing a pooling process for determining representative values of the convolutional image generated for each layer,
The decoder unit,
a plurality of deconvolution processing units that sequentially perform deconvolution processing on the convolutional image output from the last layer among the plurality of layers in a reverse order of the plurality of layers to generate a deconvolutional image;
a combination processing unit provided between the plurality of deconvolution processing units and combining and processing a deconvolution image generated for each layer with a convolution image whose brightness is adjusted according to the brightness ratio set by the target brightness; and
A second convolution processing unit provided between the plurality of deconvolution processing units and convolutionally processing the combined image in which the deconvolution image and the convolution image are combined;
The apparatus for adjusting brightness and contrast of a user-customized image, wherein the convolutional image connected for long-term skipping for each layer of the encoder unit is adjusted in brightness by the brightness setting unit and input to the combination processing unit of the corresponding layer of the decoder unit.

3. The method of claim 2,
Each first convolution processing unit,
a first convolution unit configured to generate m first convolutional images by convolution processing the input image or the n convolutional images output from the previous layer based on a preset kernel image;
a first corrected linear processing unit configured to output a positive pixel value of the first convolutional image without change and to output a negative pixel value by applying a set ratio;
a second convolution unit configured to generate m second convolutional images by convolutionally processing m first convolutional images processed by the first corrected linear processing unit based on a kernel image;
a second corrected linear processing unit configured to output positive pixel values of the second convolutional image without change and to output negative pixel values by applying a set ratio;
a third convolution unit configured to generate m third convolutional images by convolutionally processing m second convolutional images processed by the second corrected linear processing unit based on a kernel image;
a short-term skip connection unit for short-term skip-connecting the m first convolutional images convolved by the first convolution unit to an output terminal of the third convolution unit; and
a convolutional image combining unit generating a combined convolutional image by combining the m first convolutional images connected by the short-term skipping connection unit with the m third convolutional images; and
and a third corrected linear processing unit that outputs positive pixel values of the combined convolutional image without change, and performs corrected linear processing for outputting negative pixel values by applying a set ratio,
Wherein m is an integer greater than n, a user-customized image brightness and contrast control apparatus.

4. The method of claim 3,
The brightness setting unit,
calculating a brightness ratio between the average brightness of any one of the first convolution image, the second convolution image, the third convolution image, and the combined convolution image and the target brightness, and the brightness configured to adjust the brightness of the convolutional image connected to the organ skip by applying a ratio,
Customizable video brightness and contrast controls.

According to claim 1,
The target brightness is a brightness value set by a user, or a brightness value set in advance or by a reference image input by the user.

6. The method of claim 5,
Further comprising a target brightness setting unit for setting the target brightness based on the reference image,
wherein the target brightness setting unit calculates the average brightness of the reference image to calculate the target brightness.

According to claim 1,
The encoder-decoder structure further includes a transfer learning unit that learns the deep learning network in two steps using training data,
The transfer learning unit,
A first learning unit for learning the entire plurality of layers of the encoder-decoder structure deep learning network based on first learning image pairs including pairs of learning images of various brightnesses photographed at the same location; and
Based on a second learning image pair including a learning image of a first brightness and a learning image of a second brightness darker than the first brightness captured by a camera installed in a target location, the encoder-decoder structure of the deep learning network Including a second learning unit for learning only some of the plurality of layers,
Customizable video brightness and contrast controls.

8. The method of claim 7,
Some of the layers are
A bottleneck layer between the encoder unit and the decoder unit among the plurality of layers, a layer adjacent to the bottleneck layer among a plurality of layers of the encoder unit, a layer adjacent to the bottleneck layer among a plurality of layers of the decoder unit, and a plurality of the decoder unit The last of the layers,
Customizable video brightness and contrast controls.

A user-customized image brightness and contrast control method for generating an output image by improving the brightness and contrast of an input image using an encoder-decoder structure deep learning network, the method comprising:
generating convolutional images having a size smaller than that of the input image through down-sampling by convolutionally processing the input image in the order of a plurality of layers by the encoder unit of the encoder-decoder structure deep learning network;
By the decoder unit of the encoder-decoder structure deep learning network, the convolution images output from the last layer of the plurality of layers are deconvolved in the reverse order of the plurality of layers to generate a deconvolution image Through upsampling generating the output image;
Long-term skip connection of the convolutional image output from each layer of the plurality of layers of the encoder unit to the corresponding layer of the decoder unit by the long-term skip connection unit of the encoder-decoder structure deep learning network; and
By the brightness setting unit of the encoder-decoder structure deep learning network, the brightness ratio between the average brightness and the target brightness of the convolutional image output from each layer of the encoder unit is calculated, and the brightness ratio is applied to long-term skip connection Including the step of adjusting the brightness of the convolutional image,
The step of generating the output image through the up-sampling comprises:
Up-sampling, by the decoder unit, combining the deconvolutional image deconvolved in each layer of the decoder unit with the convolutional image whose brightness is adjusted by long skip connection from the corresponding layer of the encoder unit,
How to customize video brightness and contrast adjustment.

10. The method of claim 9,
The step of generating the convolutional images comprises:
generating a convolutional image for each layer by sequentially performing the convolution process on the input image in the order of the plurality of layers by the plurality of first convolution processing units of the encoder unit; and
performing a pooling process of determining representative values of the convolutional image generated for each layer by a plurality of pooling processing units provided between the plurality of convolution processing units;
The step of generating the output image through the up-sampling comprises:
generating a deconvolutional image by sequentially deconvolution processing the convolutional image output from the last layer among the plurality of layers by the plurality of deconvolution processing units of the decoder unit in the reverse order of the plurality of layers; ;
combining the deconvolutional image generated for each layer with the convolutional image whose brightness is adjusted according to the brightness ratio set by the target brightness by a combination processing unit provided between the plurality of deconvolution processing units; and
Convolution processing the combined image in which the deconvolution image and the convolution image are combined by a second convolution processing unit provided between the plurality of deconvolution processing units,
A method for adjusting brightness and contrast of a user-customized image in which the long-term skip-connected convolutional image for each layer of the encoder unit is adjusted in brightness by the brightness setting unit and input to the combination processing unit of the corresponding layer of the decoder unit.

11. The method of claim 10,
The step of generating a convolutional image for each layer comprises:
By the first convolution unit of the first convolution processing unit, the n convolution images output from the input image or the previous layer are convolutionally processed based on a preset kernel image to generate m first convolution images. to do;
Corrected linear processing of outputting positive pixel values in the first convolutional image without change and applying a set ratio to output negative pixel values by the first corrected linear processing unit of the first convolution processing unit step;
By the second convolution unit of the first convolution processing unit, the m convolutional images that have been corrected and linearly processed by the first correction linear processing unit are convolutionally processed based on the kernel image to obtain m second convolution images. generating;
performing, by the second corrected linear processing unit of the first convolution processing unit, corrected linear processing of outputting positive pixel values in the second convolution image without change and applying a set ratio to negative pixel values ;
By the third convolution unit of the first convolution processing unit, the m convolutional images that have been corrected and linearly processed by the second correction linear processing unit are convolutionally processed based on the kernel image to obtain m third convolution images. generating;
short-term skip connection of the m convolutional images convolved by the first convolution unit to the output terminal of the third convolution unit by the short-term skip connection unit of the first convolution processing unit;
By the convolutional image combining unit of the first convolution processing unit, the m convolutional images connected by the short-term skipping connection unit are combined with the m third convolutional images to generate a combined convolutional image. to do; and
performing corrected linear processing in which positive pixel values in the combined convolutional image are output without change, and negative pixel values are output by applying a set ratio by the third corrected linear processing unit of the first convolution processing unit including,
Wherein m is an integer greater than n, a user-customized method for adjusting image brightness and contrast.

10. The method of claim 9,
The target brightness is a brightness value set by a user, or a brightness value set in advance or by a reference image input by the user.

13. The method of claim 12,
Setting the target brightness based on the reference image by a target brightness setting unit,
The setting of the target brightness includes calculating the target brightness by calculating an average brightness of the reference image.
How to customize video brightness and contrast adjustment.

10. The method of claim 9,
By the transfer learning unit, the encoder-decoder structure further comprises the step of learning the deep learning network using training data in two steps,
The learning step is
By the first learning unit of the transfer learning unit, based on the first learning image pairs including pairs of learning images of various brightnesses photographed at the same location, the entire plurality of layers of the encoder-decoder structure deep learning network learning; and
Based on a second learning image pair including a learning image of a first brightness captured by a camera installed at a target location by the second learning unit of the transfer learning unit and a learning image of a second brightness darker than the first brightness , comprising the step of learning only some of the plurality of layers,
How to customize video brightness and contrast adjustment.

15. The method of claim 14,
Some of the layers are
A bottleneck layer between the encoder unit and the decoder unit among the plurality of layers, a layer adjacent to the bottleneck layer among a plurality of layers of the encoder unit, a layer adjacent to the bottleneck layer among a plurality of layers of the decoder unit, and a plurality of the decoder unit The last of the layers,
How to customize video brightness and contrast adjustment.

A computer-readable recording medium in which a program for executing the user-customized image brightness and contrast adjustment method according to any one of claims 9 to 15 is recorded.