KR102277005B1 - 비지도 학습을 이용한 저조도 영상 처리 방법 및 장치 - Google Patents

Abstract

본 발명은 비지도 학습을 이용한 저조도영상처리방법 및 장치에 관한 것으로, 본 발명에 따르면, 저조도영상을 입력받는 입력단계; 입력된 저조도영상을 토대로 하여 초기조명맵(Initial Illumination Map)을 산출하는 초기조명맵산출단계; 초기조명맵을 이용하여 뉴럴네트워크를 학습시키고, 예측조명맵을 예측하는 조명맵예측단계; 및 예측조명맵을 이용하여 조도개선영상을 얻는 조도개선영상획득단계;를 포함하므로 저조도영상의 조도개선을 증대시켜줄 수 있는 기술이 개시된다.

Description

비지도 학습을 이용한 저조도 영상 처리 방법 및 장치{Low-Light Image Processing Method and Device Using Unsupervised Learning}

본 발명은 저조도영상을 개선할 수 있는 저조도영상 처리방법 및 장치에 관한 것이다.

저조도 환경에서 획득된 영상은 적은 광자수와 낮은 신호 대 잡음비로 인하여 낮은 가시성과 대비 그리고 심각한 노이즈에 의해 열화될 수 있다.

이러한 열화현상은 객체 인식 및 추적, 영역 분할 등과 같은 다양한 컴퓨터 비전 기술들의 성능에 심각한 악영향을 주게 되므로 이를 해결하기 위해 다양한 기술바익이 제안되어 왔다.

히스토그램 기반의 방식은 관측되는 영상의 동적범위를 늘려줌으로써 저조도 영역의 밝기를 증폭시켜줄 수 있으나, 단순히 대빕를 향상시키는 것이 목적이기에 개선된 결과의 영상이 자연스럽지 못하며, 영상의 조도를 지나치게 증대시키거나 증대되는 정도가 미약하다.

이에 최근 딥러닝 기반의 방식들이 영상복원 분야에서 매우 뛰어난 성능을 보임에 따라, 저조도 영상 개선을 위해 딥러닝을 접목한 방식들이 연구되고 제안되고 있었다. 딥러닝의 뛰어난 특징표현능력으로 인해 뛰어난 성능을 보이지만, 다음과 같은 문제점도 있었다. 즉, 딥러닝에 기반한 방식들은 지도 학습을 기반으로 하고 있기 때문에 저조도 영상을 입력으로, 일반조도영상을 정답으로 사용하는 많은 양의 데이터 셋을 필요로 한다. 하지만, 실제 환경에서 그러한 정답이 포함된 대규모 학습데이터를 확보하는 것은 현실적으로 매우 어렵다. 예를 들어, 야간에 촬영되는 저조도 영상과 낮에 촬영되는 정답영상은 정확히 같은 위치에서 시간차이를 두고 획득해야 하기에 학습데이터 획득에 어려움이 있었으며, 실제 환경이 고려되지 않은 인위적인 데이터셋에 의존하여 학습될 수 밖에 없었다.

따라서, 데이터셋 획득의 어려움을 극복하면서 저조도영상을 개선할 수 있는 기술이 요구되고 있다.

대한민국 공개특허 제10-2016-0051463호

본 발명의 목적은 상기한 바와 같은 종래의 문제점을 해결하기 위한 것으로, 비지도 학습을 이용한 저조도 영상 처리 방법 및 장치를 제공함에 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 비지도 학습을 이용한 저조도 영상 처리 방법은, 뉴럴네트워크를 이용하는 저조도 영상 처리 장치의 프로세서에 의해 실행될 수 있는 저조도 영상 처리방법으로서, 저조도영상을 입력받는 입력단계; 상기 입력단계에서 입력받은 상기 저조도영상을 토대로 하여 초기조명맵(Initial Illumination Map)을 산출하는 초기조명맵산출단계; 상기 초기조명맵산출단계에서 산출된 상기 초기조명맵을 의사정답(pseudo ground-truth)으로 이용하여 상기 뉴럴네트워크를 학습시키고, 상기 뉴럴네트워크를 이용하여 상기 저조도영상으로부터 예측조명맵을 예측하는 조명맵예측단계; 및 상기 조명맵예측단계에서 예측된 상기 예측조명맵을 이용하여 상기 저조도영상에 비해 조도가 개선된 조도개선영상을 얻는 조도개선영상획득단계;를 포함하는 것을 하나의 특징으로 할 수도 있다.

여기서, 상기 초기조명맵산출단계에서, 상기 저조도영상에 대하여 BCP(Bright Channel Prior)를 기반으로 하여 상기 초기조명맵을 산출하는 것을 또 하나의 특징으로 할 수도 있다.

여기서, 상기 조명맵예측단계에서, 상기 초기조명맵을 이용하여 비지도(unsupervised) 손실함수를 산출하고, 상기 비지도 손실함수를 이용하여 상기 뉴럴네트워크를 학습시키는 것을 또 하나의 특징으로 할 수도 있다.

여기서, 상기 초기조명맵산출단계와 상기 조명맵예측단계 사이에서 이루어질 수 있는 단계로서, 상기 입력단계에서 입력받은 상기 저조도영상으로부터 자기주목맵(self-attention map)을 산출하고, 상기 자기주목맵을 상기 뉴럴네트워크에 적용시키는 자기주목맵산출단계; 를 더 포함하는 것을 또 하나의 특징으로 할 수도 있다.

여기서, 상기 자기주목맵산출단계에서, 상기 저조도영상에서 상기 자기주목맵을 산출하기 위하여 RGB색상공간에 따르는 상기 저조도영상을 HSV색상공간에 따르는 저조도영상으로 전환시키는 것을 또 하나의 특징으로 할 수도 있다.

여기서, 상기 자기주목맵산출단계에서, 상기 저조도영상으로부터 산출되는 상기 자기주목맵(self-attention map)은 상기 HSV색상공간에서의 V채널만을 사용하는 것을 또 하나의 특징으로 할 수도 있다.

여기서, 자기주목맵을 상기 뉴럴네트워크에 적용시키는 것은, 자기주목맵을 상기 뉴럴네트워크의 모든 컨볼루션 계층의 출력에 곱함으로써 자기주목맵이 상기 뉴럴네트워크에 적용되는 것이며, 상기 입력단계에서 입력되는 상기 저조도영상의 밝기에 따라 상기 뉴럴네트워크에 의한 출력값이 조절될 수 있는 것을 또 하나의 특징으로 할 수도 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 비지도 학습을 이용한 저조도 영상 처리 장치는, 저조도영상을 입력받는 입력부; 상기 입력부로부터 전달받은 상기 저조도영상을 토대로 하여 초기조명맵을 산출하고, 상기 초기조명맵을 의사정답(pseudo ground-truth)으로 이용하여 뉴럴네트워크를 학습시키며, 상기 뉴럴네트워크를 이용하여 상기 저조도영상으로부터 예측조명맵을 예측하고, 상기 예측조명맵을 이용하여 상기 저조도영상에 비하여 조도가 개선된 조도개선영상을 얻는 프로세서부; 및 상기 프로세서부로부터 상기 조도개선영상을 전달받고, 상기 프로세서부의 제어에 따라 상기 조도개선영상을 출력하는 출력부;를 포함하는 것을 또 하나의 특징으로 할 수도 있다.

여기서, 상기 프로세서부는, 상기 저조도영상에 대하여 BCP(Bright Channel Prior)를 기반으로 하여 상기 초기조명맵을 산출하는 것을 또 하나의 특징으로 할 수도 있다.

여기서, 상기 프로세서부는, 상기 초기조명맵을 이용하여 비지도(unsupervised) 손실함수를 산출하고, 상기 비지도 손실함수를 이용하여 상기 뉴럴네트워크를 학습시키는 것을 또 하나의 특징으로 할 수도 있다.

여기서, 상기 프로세서부는, 상기 저조도영상으로부터 자기주목맵(self-attention map)을 산출하고, 상기 자기주목맵을 상기 뉴럴네트워크에 적용시키는 것을 또 하나의 특징으로 할 수도 있다.

여기서, 상기 프로세서부가 자기주목맵을 상기 뉴럴네트워크에 적용시키는 것은, 자기주목맵을 상기 뉴럴네트워크의 모든 컨볼루션 계층의 출력에 곱함으로써 자기주목맵이 상기 뉴럴네트워크에 적용되는 것이며, 상기 입력부로부터 전달받은 상기 저조도영상의 밝기에 따라 상기 뉴럴네트워크에 의한 출력값이 조절될 수 있는 것을 또 하나의 특징으로 할 수도 있다.

본 발명에 따른 비지도 학습을 이용한 저조도 영상처리방법 및 장치는 비지도 학습을 통해 저조도 개선을 수행하므로 학습을 위한 인위적인 데이터셋이 요구되지 않는다. 따라서, 실제 저조도 환경에서의 정답 데이터가 부족하더라도 이에 영향을 받지 않고도 조도가 개선된 저조도영상을 제공하여 줄 수 있는 효과가 있다.

도 1은 본 발명의 실시 예에 따른 비지도 학습을 이용한 저조도 영상처리장치를 개략적으로 나타낸 블록도이다.
도 2는 본 발명의 실시 예에 따른 비지도 학습을 이용한 저조도 영상처리방법 및 장치에서의 뉴럴네트워크의 구조를 개략적으로 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 비지도 학습을 이용한 저조도 영상처리방법을 개략적으로 나타낸 순서도이다.
도 4a 내지 도 4e는 정성적 평가를 위하여 FiveK데이터셋을 이용한 영상을 개략적으로 나타낸 도면이다.
도 5a 내지 도 5e는 정성적 평가를 위하여 LIME과 NPE 데이터 셋을 이용한 영상을 개략적으로 나타낸 도면이다.

이하에서는 본 발명에 대하여 보다 구체적으로 이해할 수 있도록 첨부된 도면을 참조한 바람직한 실시 예를 들어 설명하기로 한다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 실시 예에 따른 비지도 학습을 이용한 저조도 영상처리장치를 개략적으로 나타낸 블록도이고, 도 2는 본 발명의 실시 예에 따른 비지도 학습을 이용한 저조도 영상처리방법 또는 장치에서 이용되는 뉴럴네트워크의 구조를 개략적으로 나타낸 도면이다.

도 1 및 도 2를 참조하면 본 발명의 실시 예에 따른 비지도 학습을 이용한 저조도 영상처리장치(이하 간략히 '영상처리장치'라 함)(100)는 입력부(110), 프로세서부(120) 및 출력부(130)를 포함하며, 저장부(140)를 더 포함할 수 있다.

입력부(110)는 저조도영상을 입력받는다. 입력부(110)로 입력된 저조도영상은 프로세서부(120)로 전달된다.

프로세서부(120)는 입력부(110)로부터 전달받은 저조도영상을 토대로 하여 초기조명맵(Initial Illumination Map)을 산출한다. 프로세서부(120)는 저조도영상에 대하여 BCP(Bright Channel Prior; "Automatic Local Exposure Correction Using Bright Channel Prior for Under-exposed Images," signal Processing, Vol. 93, No. 11, pp. 3227-3238, 2013 참조. 이하 간략히 BCP라 함)를 기반으로 하여 초기조명맵을 산출할 수 있다.

프로세서부(120)는 초기조명맵을 의사정답(pseudo ground-truth)으로 이용하여 뉴럴네트워크를 학습시킨다. 프로세서부(120)는 초기조명맵을 이용하여 비지도(unsupervised) 손실함수를 산출하고, 비지도 손실함수를 이용하여 뉴럴네트워크를 학습시킬 수 있다. 여기서 비지도 손실함수에 소프트매팅(soft matting) 알고리즘을 정규화 함수로 사용하여 조도개선영상의 픽셀에서 블록효과가 발생되는 것을 억제시킬 수 있다.

프로세서부(120)는 입력부로부터 전달받은 저조도영상으로부터 자기주목맵(self-attention map ;

)을 산출하고, 자기주목맵을 뉴럴네트워크에 적용시킬 수 있다.

저조도영상에서 조도가 기준치 이상인 픽셀이 조도개선영상에서의 밝기가 과포화(over-saturation)되는 것을 억제하기 위하여 프로세서부(120)는 뉴럴네트워크에 자기주목맵을 적용시킬 수 있다.

프로세서부(120)는 저조도영상에서 자기주목맵을 산출하기 위하여 RGB색상공간에 따르는 저조도영상을 HSV색상공간으로 변환 또는 전환시킬 수 있다. 여기서 자기주목맵(self-attention map ;

)은 밝기만을 고려하기 위하여 HSV색상공간에서의 V채널만을 사용할 수도 있다.

프로세서부(120)가 자기주목맵을 뉴럴네트워크에 적용시키는 것은, 자기주목맵을 뉴럴네트워크의 모든 컨볼루션 계층의 출력에 곱함으로써 이루어질 수 있다. 저조도영상의 밝기에 따라 뉴럴네트워크에 의한 출력값이 조절될 수 있는 것이 바람직하다.

그리고 프로세서부(120)는 뉴럴네트워크를 이용하여 저조도영상으로부터 예측조명맵을 예측하고, 예측조명맵을 이용하여 저조도영상에 비하여 조도가 개선된 조도개선영상을 얻는다. 조도가 개선되었다는 것은 조도가 증가되었다는 의미를 포함한다고 할 수 있다.

저장부(140)는 프로세서부(120)가 비지도 학습을 이용한 저조도영상을 처리할 수 있도록 적어도 하나 이상의 명령어가 저장될 수도 있으며, 프로세서부(120)에 의해 조도가 개선된 조도개선영상을 저장할 수도 있다.

출력부(130)는 프로세서부(120)로부터 조도가 개선된 조도개선영상을 전달받는다. 그리고 프로세서부(120)의 제어에 따라 조도개선영상을 출력한다.

이와 같은 본 발명의 실시 예에 따른 비지도 학습을 이용한 저조도 영상처리장치는 다음과 같이 비지도 학습을 이용한 저조도 영상처리방법에 대한 설명을 통해 이해될 수도 있다.

도 3은 본 발명의 실시 예에 따른 비지도 학습을 이용한 저조도 영상처리방법을 개략적으로 나타낸 순서도이다.

도 3을 더 참조하면, 본 발명의 실시 예에 따른 비지도 학습을 이용한 저조도 영상처리방법은 뉴럴네트워크를 이용하는 저조도 영상 처리 장치(이하 간략히 '영상처리장치'라 함)의 프로세서부에 의해 실행될 수 있는 저조도 영상 처리방법으로서, 입력단계(S110), 초기조명맵산출단계(S120), 조명맵예측단계(S140) 및 조도개선영상획득단계(S150)를 포함하며, 자기주목맵산출단계(S130)를 더 포함할 수도 있다.

입력단계(S110)는 저조도영상을 입력받는 단계이다. 저조도영상은 입력부(110)로 입력될 수 있으며, 프로세서부(120)로 전달된다.

초기조명맵산출단계(S120)에서는 입력단계(S120)에서 입력받은 저조도영상을 토대로 하여 초기조명맵(Initial Illumination Map)을 산출한다.

저조도영상에 대하여 BCP(Bright Channel Prior; "Automatic Local Exposure Correction Using Bright Channel Prior for Under-exposed Images," signal Processing, Vol. 93, No. 11, pp. 3227-3238, 2013 참조. 이하 간략히 BCP라 함)를 기반으로 하여 초기조명맵을 산출할 수 있다.

비지도손실함수를 정의하는데 사용되는 초기조명맵을 예측하기 위하여 BCP를 사용한다. 저조도 개선을 위한 목적함수는 다음의 식과 같이 정의될 수 있다.

여기서

는 입력된 저조도 영상이며,

는 저조도가 개선된 영상을 의미한다.

는 투과도 맵을 의미하며,

는 환경조명을 의미한다. 픽셀 p를 중심으로 한 패치

내의 가장 밝은 값은 다음과 같은 수식으로 나타낼 수 있다.

여기서, c는 영상의 r,g,b 채널을 의미한다.

는 패치 내의 조명맵이며 일정하다고 할 수 있다.

영상 I와 J는 0과 1 사이의 값으로 정규화되어 있다. BCP에 의하면패치 내의 가장 밝은 값이 1이 되어야 하므로

이며,

초기조명맵에 대해서 다음과 같이 정리될 수 있다.

여기서 위의 초기조명맵으로 저조도 개선을 수행하면 그림자 혹은 검은 물체와 같이 원래 어둡게 보여야 하는 영역까지도 밝아질 수 있으며 따라서 영상이 부자연스럽게 보일 수 있다.

이러한 영향을 억제하기 위하여 추가적인 매개변수로

(0<

<1)를 추가할 수 있다. 추가적인 매개변수

는, 예를 들어, 0.85로 설정하고 초기조명맵을 다음과 같이 얻을 수 있다.

여기서, A를 가장 어두운 픽셀의 값으로 정의할 수도 있겠으나, 이는 하나의 픽셀만으로 전체 영상의 환경 조명 값을 정의하는 것으로 이로 인하여 잘못된 초기조명맵을 계산할 수도 있다. 따라서, 저조도 영상에서 밝기채널(bright channel,(=

)을 계산하고, 밝기채널(bright channel) 내에서 가장 어두운 0.1% 픽셀들의 인덱스(=k)를 통해 다음과 같이 A가 계산될 수 있다.

자기주목맵산출단계(S130)는 초기조명맵산출단계(S120) 및 조명맵예측단계(S140) 사이에서 이루어질 수 있는 단계이다. 자기주목맵산출단계(S130)에서는 입력단계에서 입력받은 저조도영상으로부터 자기주목맵(self-attention map ;

)을 산출하고, 자기주목맵을 뉴럴네트워크에 적용시킨다.

환경조명

는 어두운 픽셀들의 평균으로 계산되기에 일부 영역에서만 도출되지만, 영상 전체에 대해서는 일정하다. 따라서, 영상 내 밝기의 편차가 큰 영상에 대해서 개선을 수행하면, 하늘이나 눈처럼 개선을 수행하기 전에도 밝은 영역은 개선 후에 과포화(over-saturation)가 발생할 수 있다. 이를 해결하기 위하여 자기주목(self-attention)맵을 통한 저조도 영상 개선을 수행한다.

입력단계(S110)에서 입력된 저조도영상에서 조도가 기준치 이상인 픽셀에서 조도개선영상획득단계(S150)에서 얻어지는 조도개선영상에서의 밝기가 과포화되는 것을 억제하기 위하여 뉴럴네트워크에 자기주목맵이 적용된 것도 바람직하다는 것이다.

저조도영상에서 자기주목맵

을 산출하기 위하여 RGB색상공간에 따르는 저조도영상을 HSV색상공간에 따르는 저조도영상으로 전환시켜준다. 다시 말해서, 입력된 저조도영상의 RGB색상공간을 HSV색상공간으로 전환시켜준다는 것이다.

그리고 저조도영상으로부터 산출되는 자기주목맵(

)에서, 입력영상의 밝기만을 고려하기 위하여 HSV색상공간에서의 V채널만을 사용한다. 여기서,

은 자기주목맵의 곡률을 계산하기 위한 상수이다.

이와 같은 자기주목맵은 입력 영상만을 사용하기 때문에 추가적인 데이터가 요구되지 않는다. 자기주목맵을 뉴럴네트워크에 적용시키기 위하여, 자기주목맵

은 도 2에서 참조되는 바와 같이, 뉴럴 네트워크의 모든 컨볼루션 계층의 출력에 곱해줌으로써 자기주목맵이 뉴럴네트워크에 적용될 수 있으며, 입력단계(S110)에서 입력되는 저조도영상의 밝기에 따라 뉴럴네트워크의 출력값을 조절하여준다. 따라서, 밝은 영역일수록 낮은 가중치를 두어 개선을 억제하여 과포화문제의 발생을 억제시키고, 상대적으로 어두운 영역일수록 높은 가중치를 주어 상대적으로 더 많은 개선이 이루어지도록 함으로써 개선된 영상이 시각적으로 더욱 자연스러워지도록 한다.

조명맵예측단계(S140)에서는 초기조명맵산출단계(S120)에서 산출된 초기조명맵을 의사정답(pseudo ground-truth)으로 이용하여 뉴럴네트워크를 학습시키고, 뉴럴네트워크를 이용하여 저조도영상으로부터 예측조명맵

을 예측한다.

초기조명맵

을 이용하여 비지도(unsupervised) 손실함수를 산출하고, 비지도 손실함수를 이용하여 뉴럴네트워크를 학습시키는 것이 바람직하다.

초기조명맵을 유사정답데이터로 이용하여 네트워크를 학습시킨다. 도 2에서, 저조도영상을 개선시키기 위한 뉴럴네트워크는 저조도영상을 입력받아 초기조명맵

와의 지도학습을 통해 예측된 조명맵인 예측조명맵

를 예측한다.

예측조명맵

는 다음의 관계식을 통해 개선된 저조도영상을 예측할 수 있다.

초기조명맵

가 패치 내에서 일정한 것으로 가정하기에 개선된 영상에서 블록효과가 나타날 수 있다. 따라서, 초기조명맵

를 조명맵으로 사용할 경우 조도개선영상 J 또한 블록효과가 존재할 수 있기 때문에 이를 개선하기 위하여 소프트매팅(soft matting) 알고리즘을 추가적인 정규화 함수로 사용한 비지도 기반 손실함수를 사용하여 블록효과를 억제한다. 정규화함수가 추가된 BCP 기반 손실함수는 다음과 같이 정의될 수 있다.

여기서,

는

와

간의 유사도를 계산하는 매팅 라플라시안(matting laplacian) 행렬의 가중치를 의미하며,

는 중심점 p 주변의

패치를 의미한다. N은 픽셀의 총 개수 이며,

는 양쪼의 손실함수 간의 비중을 조절하는 가중치 상수이다.

조도개선영상획득단계(S150)에서는 조명맵예측단계(S140)에서 예측된 예측조명맵 t 을 이용하여 저조도영상에 비해 조도가 개선된 조도개선영상 J 을 얻는다. 참고로 조도가 개선되었다는 것은 조도가 증가되었다는 의미를 포함한다고 할 수 있다.

본 발명에 따른 비지도 학습을 이용한 저조도영상처리방법의 비교실험결과는 다음과 같다.

본 발명에 따른 비지도 학습을 이용한 저조도영상처리방법은 비지도 학습을 기반으로 하기 때문에 학습에 어떠한 저조도 영상도 사용가능하다.

따라서, LOL데이터셋("Deep Retinex Decomposition for Low-light Enhancement", Proceeding of British Machine Vision Conference, pp. 1-12, 2018 침조) 또는 SICE("Learning a Deep Single Image Contrast Enhancer from Multi-Exposure Images", Transaction on Image Processing, Vol 2, No. 4, pp. 2049-2062, 2018 참조)와 같이 공개된 데이터셋으로부터 학습데이터를 수집하였다.

LOL데이터셋은 1500개의 저조도와 일반조도 영상쌍을 제공하며, SICE 데이터셋은 589개 장면의 다중 노출 연속 영상과 그에 해당하는 HDP영상을 정답으로 제공한다. 학습 및 검증 데이터 분할을 위해서 LOL에서 1485장의 영상을, SICE에서 534장의 영상을 학습에 사용하였으며, 나머지 영상들을 검증에 사용하였다.

500장의 MIT-Adobe FiveK 데이터셋 영상을 평가에 사용하였으며, 추가적으로 LIME("Lime : Low-light Image Enhancement Via IlluminationMap Estimation," Transaction on Image Processing, Vol. 26, No. 2, pp. 982-993, 2016 참조)과 NPE("Naturalness Preserved Enhancement Algorithm for Non-uniform Illumination Images, "Transaction on Image Processing, Vol. 22, No. 9, pp. 3538-3548, 2013 참조) 데이터셋도 평가에 사용하였다.

제안방식은Python 기반의 Tensorflow를 사용하여 구현되었으며, NVidia Titan RTX를 사용하여 학습되었다. 학습 시에는 Adam("Adam :A Method for Stochastic Optimization," Proceeding of International Conference om Learning Representatios, 2015 참조)을 사용하여 최적화하였으며, 학습률은

에서 시작하여

까지 로그 도메인에서 점차적으로 감소시켰고, 32의 배치크기로 50 epochRk지 학습하였다. 네트워크의 가중치는 평균이 0 이고, 분산이 0.1이 되도록 랜덤하게 초기화 하였으며, 데이터 증가율을 위해 다음의 3가지 방법을 차례로 적용하였다.

1) 임의의 위치에서 영상을

의 크기로 잘라 패치를 획득하고, 2) 패치를 임의의 각도로 회전시킨 뒤, 3) 회전시킨 패치의 상하좌우를 임의로 반전시켰다.

위의 3가지 단계를 적용하여 얻어진 영상을 네트워크의 입력으로 사용하였다. BCP를 계산할 때의 패치의 크기는

로 설정하였으며, 정규화 함수를 위한 패치

의 크기는

을 사용하였다. ,손실 함수의 비중을 위한

는 0.1, 자기주목맵의 곡률을 결정하는

는 2.5로 설정하였다.

다음으로 정량적 결과를 비교하기 위하여 다음과 같은 두가지 평가 방법을 사용하였다. 첫 번째로는 대비 개선 결과 영상의 컬러 왜곡을 측정하는 LOE (lightness order error ; LOE )를 사용하였고, 두 번째로는 이미지의 전반적인 자연스러움을 평가하는 모델로 성능을 측정하는 NIQE("Completely Blind" Image Quality Analyzer," Signal Processing Letters, Vol.20, No. 3, 209-212, 2012 참조)를 사용하였다, 일반적으로 LOE와 NIQE 모두 값이 낮을수록 개선된 영상이 자연스럽다는 것을 의미한다.

표 1은 자기주목맵의 성능을 검증하기 위하여 해당 맵의 사용여부에 따른 성능을 비교하였다. 비교데이터 셋으로 FiveK, LIME, NPE를 사용하였다.

Table 1.	The performance validation of self-attention map
	dataset
Method	FiveK		LIME		NPE
	NIQE	LOE	NIQE	LOE	NIQE	LOE
	4.05	751	4.50	5.6	5.27	1329
	3.41	417	3.83	321	3.53	332

여기서

는 BCP손실함수만을 사용한 결과이고,

는 손실함수에 자기주목맵을 함께 적용한 결과이다.

굵게 표시된 숫자가 가장 좋은 성능을 나타내며, 표에서 확인할 수 있듯이 자기주목맵이 과포화현상과 같은 영상의 부자연스러움을 유발하는 요인들을 억제하여 자연스러운 영상을 생성한다는 것을 확인할 수 있다.

표 2는 FiveK, LIME, NPE 데이터 셋에서의 정량적 비교 결과를 나타낸 것이며, 수치가 낮을수록 성능이 높은 것으로 평가된다.

Table 2.	Quantative evaluation with state-of-art methods.
	dataset
Method	FiveK		LIME		NPE
	NIQE	LOE	NIQE	LOE	NIQE	LOE
RetinexNet	4.26	2125	4.75	1518	4.39	1675
LightenNet	3.40	2378	3.49	1914	3.22	1403
LIME	3.50	1203	4.25	1134	3.53	1241
DHN	3.29	369	3.59	374	3.16	511
Ours	3.33	228	3.78	209	3.18	327

여기서, RetinexNet, LightenNet 및 DHN 은 지도학습에 기반한 방법들이며, LIME는 수작업방식의 저조도 개선방법이며, ours는 본 발명에 따른 저조도영상처리방법이다.

표 2에 나타난 바와 같이 NIQE에서는 DHN과 본 발명에 따른 영상개선처리방법이 유사 수준의 성능을 나타내며, LOE 에서는 본 발명에 따른 영상개선처리방법이 다른 방법들에 비해 상대적으로 더 뛰어난 성능을 나타내는 것을 확인할 수 있다.

이어서 도 4a 내지 도 4e 및 도a 내지 도 5e를 참조하여 정성적 결과를 설명하면 다음과 같다.

도 4a 내지 도 4e는 정성적 평가를 위하여 FiveK데이터셋을 이용한 영상을 나타낸 도면들로서, 도 4a는 입력되는 저조도영상을 개략적으로 나타낸 도면이고, 도 4b는 도 4a에 나타낸 저조도영상을 입력받아서 RetinexNet에 의한 결과영상을 나타낸 도면이고, 도 4c는 도 4a에 나타낸 저조도영상을 입력받아서 LightenNet에 의한 결과영상을 나타낸 도면이며, 도 4d는 도 4a에 나타낸 저조도영상을 입력받아서 DHN에 의한 결과영상을 나타낸 도면이고, 도 4e는 도 4a에 나타낸 저조도영상을 입력받아서 본 발명에 따른 저조도영상처리방법에 의한 결과영상을 나타낸 도면이다.

그리고, 도 5a 내지 도 5e는 정성적 평가를 위하여 LIME과 NPE 데이터 셋을 이용한 영상을 나타낸 도면들로서, 도 5a는 입력되는 저조도영상을 개략적으로 나타낸 도면이고, 도 5b는 도 5a에 나타낸 저조도영상을 입력받아서 RetinexNet에 의한 결과영상을 나타낸 도면이고, 도 5c는 도 5a에 나타낸 저조도영상을 입력받아서 LightenNet에 의한 결과영상을 나타낸 도면이며, 도 5d는 도 5a에 나타낸 저조도영상을 입력받아서 DHN에 의한 결과영상을 나타낸 도면이고, 도 5e는 도 5a에 나타낸 저조도영상을 입력받아서 본 발명에 따른 저조도영상처리방법에 의해 개선된 영상을 나타낸 도면이다.

입력되는 저조도영상인 도 4a 또는 도 5a를 참조하여 도 4b와 도 5b의 영상을 살펴보면 RetinexNet는 영상을 상대적으로 과도하게 개선하는 경향이 있으며, 영상의 자연스러움이 상대적으로 낮다는 것을 확인할 수 있다.

그리고, 도 4c 또는 도 5c의 영상을 살펴보면, LightenNet은 조명 왜곡으로 인하여 후광효과와 과포화문제가 발생하는 것을 확인할 수 있다.

그리고, 도 4d 또는 도 5d의 영상을 살펴보면, DHN은 가시성은 향상되나 대비의 개선이 상대적으로 잘 이루어지지 않고 있음을 확인할 수 있다.

본 발명에 따른 영상개선처리방법은 도 4e 또는 도 5e에서 참조되는 바와 같이, 저조도 영상의 색감을 유사하게 유지하고 상대적으로 어두운 영역의 가시성을 향상시키고 있다. 또한 상대적으로 높게 세부묘사가 보존된다.

이와 같이, 본 발명에 따른 영상개선처리방법에 의한 결과영상은 기존의 방법들에 비하여 상대적으로 더욱 자연스럽고 세부묘사의 보존도가 높은 저조도개선이 이루어진다.

이상에서 설명한 바와 같이 본 발명에 따른 비지도 학습을 이용한 저조도 영상처리방법 및 장치에 따르면, BCP를 사용한 비지도 학습을 통해 저조도 개선을 수행하므로 종래와 같이 실제 저조도 환경에서의 정답 데이터가 부족하다는 이유로 인위적인 데이터셋을 만들어서 학습하여야 하는 문제가 발생되지 않는다. 또한 자기주목맵을 사용하여 과포화와 같은 문제의 발생을 억제시킬 수 있으며 자연스러운 영상을 추정할 수 있다.

이상에서 설명된 바와 같이, 본 발명에 대한 구체적인 설명은 첨부된 도면을 참조한 실시 예들에 의해서 이루어졌지만, 상술한 실시 예들은 본 발명의 바람직한 실시 예를 들어 설명하였을 뿐이기 때문에, 본 발명이 상기의 실시 예에만 국한되는 것으로 이해되어져서는 아니되며, 본 발명의 권리범위는 후술하는 청구범위 및 그 등가개념으로 이해되어져야 할 것이다.

100 : 저조도영상처리장치
110 : 입력부 120 : 프로세서부
130 : 출력부 140 : 저장부

Claims (12)

1. 뉴럴네트워크를 이용하는 저조도 영상 처리 장치에 의해 실행될 수 있는 저조도영상 처리방법으로서,
   저조도영상을 입력받는 입력단계;
   상기 입력단계에서 입력받은 상기 저조도영상을 토대로 하여 초기조명맵(Initial Illumination Map)을 산출하는 초기조명맵산출단계;
   상기 초기조명맵산출단계에서 산출된 상기 초기조명맵을 의사정답(pseudo ground-truth)으로 이용하여 상기 뉴럴네트워크를 학습시키고, 상기 뉴럴네트워크를 이용하여 상기 저조도영상으로부터 예측조명맵을 예측하는 조명맵예측단계; 및
   상기 조명맵예측단계에서 예측된 상기 예측조명맵을 이용하여 상기 저조도영상에 비해 조도가 개선된 조도개선영상을 얻는 조도개선영상획득단계;를 포함하고,
   상기 초기조명맵산출단계와 상기 조명맵예측단계 사이에
   상기 입력단계에서 입력받은 상기 저조도영상으로부터 자기주목맵(self-attention map)을 산출하고, 상기 자기주목맵을 상기 뉴럴네트워크에 적용시키는 자기주목맵산출단계; 를 더 포함하고,
   상기 자기주목맵산출단계에서,
   상기 저조도영상에서 RGB색상공간에 따르는 상기 저조도영상을 HSV색상공간에 따르는 저조도영상으로 전환시키되, 밝기만을 고려하기 위해 상기 HSV색상공간에서의 V채널만을 사용하고,
   자기주목맵을 상기 뉴럴네트워크에 적용시키는 것은,
   자기주목맵을 상기 뉴럴네트워크의 모든 컨볼루션 계층의 출력에 곱함으로써 자기주목맵이 상기 뉴럴네트워크에 적용되는 것이며,
   상기 저조도영상에서 조도가 기준치 이상인 픽셀에 있어 상기 조도개선영상에서의 밝기가 과포화되는 것을 억제하기 위해, 상기 입력단계에서 입력되는 상기 저조도영상의 밝기에 따라 상기 뉴럴네트워크에 의한 출력값이 조절되는 것을 특징으로 하는,
   비지도 학습을 이용한 저조도 영상 처리방법.
   
2. 제 1항에 있어서,
   상기 초기조명맵산출단계에서,
   상기 저조도영상에 대하여 BCP(Bright Channel Prior)를 기반으로 하여 상기 초기조명맵을 산출하는 것을 특징으로 하는,
   비지도 학습을 이용한 저조도 영상 처리방법.
   
3. 제 2항에 있어서,
   상기 조명맵예측단계에서,
   상기 초기조명맵을 이용하여 비지도(unsupervised) 손실함수를 산출하고, 상기 비지도 손실함수를 이용하여 상기 뉴럴네트워크를 학습시키는 것을 특징으로 하는,
   비지도 학습을 이용한 저조도 영상 처리방법.
   
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 저조도영상을 입력받는 입력부;
   상기 입력부로부터 전달받은 상기 저조도영상을 토대로 하여 초기조명맵을 산출하고, 상기 초기조명맵을 의사정답(pseudo ground-truth)으로 이용하여 뉴럴네트워크를 학습시키며, 상기 뉴럴네트워크를 이용하여 상기 저조도영상으로부터 예측조명맵을 예측하고, 상기 예측조명맵을 이용하여 상기 저조도영상에 비하여 조도가 개선된 조도개선영상을 얻는 프로세서부; 및
   상기 프로세서부로부터 상기 조도개선영상을 전달받고, 상기 프로세서부의 제어에 따라 상기 조도개선영상을 출력하는 출력부;를 포함하고,
   상기 프로세서부는,
   상기 저조도영상으로부터 자기주목맵(self-attention map)을 산출하고, 상기 자기주목맵을 상기 뉴럴네트워크에 적용시키며,
   상기 자기주목맵의 산출은,
   상기 저조도영상에서 RGB색상공간에 따르는 상기 저조도영상을 HSV색상공간에 따르는 저조도영상으로 전환시키되, 밝기만을 고려하기 위해 상기 HSV색상공간에서의 V채널만을 사용하고,
   자기주목맵을 상기 뉴럴네트워크에 적용시키는 것은,
   자기주목맵을 상기 뉴럴네트워크의 모든 컨볼루션 계층의 출력에 곱함으로써 자기주목맵이 상기 뉴럴네트워크에 적용되는 것이며,
   상기 저조도영상에서 조도가 기준치 이상인 픽셀에 있어 상기 조도개선영상에서의 밝기가 과포화되는 것을 억제하기 위해, 상기 입력부에 입력되는 상기 저조도영상의 밝기에 따라 상기 뉴럴네트워크에 의한 출력값이 조절되는 것을 특징으로 하는,
   비지도 학습을 이용한 저조도 영상 처리장치.
   
9. 제 8항에 있어서,
   상기 프로세서부는,
   상기 저조도영상에 대하여 BCP(Bright Channel Prior)를 기반으로 하여 상기 초기조명맵을 산출하는 것을 특징으로 하는,
   비지도 학습을 이용한 저조도 영상 처리장치.
   
10. 제 9항에 있어서,
    상기 프로세서부는, 상기 초기조명맵을 이용하여 비지도(unsupervised) 손실함수를 산출하고, 상기 비지도 손실함수를 이용하여 상기 뉴럴네트워크를 학습시키는 것을 특징으로 하는,
    비지도 학습을 이용한 저조도 영상 처리장치.
    
11. 삭제
12. 삭제

Images