KR102629640B1

KR102629640B1 - 저조도 영상 향상 방법 및 그 장치

Info

Publication number: KR102629640B1
Application number: KR1020220095408A
Authority: KR
Inventors: 백준기; 안상재; 임헌성
Original assignee: 중앙대학교 산학협력단
Priority date: 2022-08-01
Filing date: 2022-08-01
Publication date: 2024-01-25

Abstract

저조도 영상 향상 방법 및 장치가 개시된다. 저조도 영상 향상 방법은 (a) 저조도 영상을 입력받은 후 레티넥스 모델을 기반으로 조명 성분과 반사 성분으로 분해하는 단계; (b) 상기 분해된 조명 성분을 사전 보정하여 감마 보정 조명 성분, 히스토그램 균등 조명 성분을 생성하여 파생 조명 데이터 셋을 생성하는 단계; (c) 상기 파생 조명 데이터 셋을 조명 향상 네트워크 모델에 적용하여 밝기와 대비를 향상된 조명 성분을 생성하는 단계; 및 (d) 상기 향상된 조명 성분에 상기 반사 성분을 결합하여 출력 영상을 생성하는 단계를 포함한다.

Description

저조도 영상 향상 방법 및 그 장치{Low -light image enhancement method and apparatus}

본 발명은 레티넥스 기반 저조도 영상의 밝기와 대비를 동시에 향상시킬 수 있는 저조도 영상 향상 방법 및 그 장치에 관한 것이다.

디지털 이미지의 밝기와 대비는 물체 감지, 이미지 인식, 시각적 감시 및 이미지 분할을 포함한 다양한 컴퓨터 비전 기술에 대한 핵심 정보 역할을 한다. 그러나 대부분 이미징 시스템은 이미지 획득 과정에서 저조도, 낮은 대비, 모션 블러 및 안개와 같은 원치 않은 인공물을 피할 수 없으며, 이러한 인공물은 비전 작업의 성능을 저하시키는 주요 요인으로 작용한다.

종래의 저조도 이미지 향상 기술들은 저조도 영상의 밝기 또는 대비 한가지만 향상시키기 때문에 결과 영상이 시각적으로 크게 향상되지 못하는 단점을 가지고 있다.

본 발명은 레티넥스 기반 저조도 영상의 밝기와 대비를 동시에 향상시킬 수 있는 저조도 영상 향상 방법 및 그 장치를 제공하기 위한 것이다.

본 발명의 일 측면에 따르면 레티넥스 기반 저조도 영상의 밝기와 대비를 동시에 향상시킬 수 있는 저조도 영상 향상 방법이 제공된다.

본 발명의 일 실시예에 따르면, (a) 저조도 영상을 입력받은 후 레티넥스 모델을 기반으로 조명 성분과 반사 성분으로 분해하는 단계; (b) 상기 분해된 조명 성분을 사전 보정하여 감마 보정 조명 성분, 히스토그램 균등 조명 성분을 생성하여 파생 조명 데이터 셋을 생성하는 단계; (c) 상기 파생 조명 데이터 셋을 조명 향상 네트워크 모델에 적용하여 밝기와 대비를 향상된 조명 성분을 생성하는 단계; (d) 상기 향상된 조명 성분에 상기 반사 성분을 결합하여 출력 영상을 생성하는 단계를 포함하는 저조도 영상 향상 방법이 제공될 수 있다.

상기 (a) 단계는, 상기 레티넥스 모델 기반 최적화 과정을 통해 상기 조명 성분과 반사 성분을 추정하는 단계; 및 상기 추정된 조명 성분과 상기 반사 성분을 컨볼루션 기반 분해 네트워크 모델에 적용하여 스무딩된 조명 성분을 생성하고, 에지를 보존하면서 노이즈가 제거된 반사 성분을 생성하는 단계를 포함할 수 있다.

상기 반사 성분은 상기 추정된 조명 성분을 이용하여 추정될 수 있다.

상기 조명 성분은 하기 수학식을 이용하여 추정되되,

여기서, F는 퓨리에 변환을 나타내고, 는 조명 성분을 나타내며, , 는 정규화 매개변수를 나타내고, 는 기울기 연산을 나타낸다.

상기 반사 성분은 하기 수학식을 이용하여 추정되되,

여기서, F는 퓨리에 변환을 나타내고, 는 조명 성분을 나타내며, 는 정규화 매개변수를 나타내고, 는 브레그만 페널티 파라미터를 나타내며, d는 보조변수를 나타내고, b는 브레그만 변수를 나타내며, 는 기울기 연산을 나타낸다.

상기 추정된 조명 성분과 상기 반사 성분은 각각 3개 채널로 생성한 후 상기 컨볼루션 기반 분해 네트워크 모델로 적용하되, 상기 컨볼루션 기반 분해 네트워크는 3개의 컨볼루션 레이어를 가지되, 첫번째 컨볼루션 레이어는 상기 추정된 3개 채널 반사 성분과 조명 성분에 의해 공유될 수 있다.

조명 향상 네트워크 모델은 제1 컨볼루션 레이어와 제2 컨볼루션 레이어 및 6개의 RSEB(residual squeeze and excitation block)을 포함하되, 상기 6개의 RSEB는 그래디언트 소실을 방지하는 로컬 잔차 학습을 위해 상기 제1 컨볼루션 레이어와 상기 제2 컨볼루션 레이어 사이에 위치될 수 있다.

상기 RSEB는 잔차(residual) 블록과 SEB(squeezing and excitation block)을 포함하되, 상기 SEB는 특징맵을 압축 및 확장할 수 있다.

본 발명의 다른 측면에 따르면, 레티넥스 기반 저조도 영상의 밝기와 대비를 동시에 향상시킬 수 있는 저조도 영상 향상 장치가 제공된다.

본 발명의 일 실시예에 따르면, 저조도 영상을 입력받은 후 레티넥스 모델을 기반으로 조명 성분과 반사 성분으로 분해하는 분해 모듈; 및 상기 분해된 조명 성분을 사전 보정하여 감마 보정 조명 성분, 히스토그램 균등 조명 성분을 생성하여 파생 조명 데이터 셋을 생성한 후 상기 파생 조명 데이터 셋을 조명 향상 네트워크 모델에 적용하여 밝기와 대비를 향상된 조명 성분을 생성하며, 상기 향상된 조명 성분에 상기 반사 성분을 결합하여 출력 영상을 생성하는 조도 향상 모듈을 포함하는 저조도 영상 향상 장치가 제공될 수 있다.

상기 분해 모듈은, 상기 레티넥스 모델 기반 최적화 과정을 통해 상기 조명 성분과 반사 성분을 추정하는 최적화 유닛; 및 상기 추정된 조명 성분과 상기 반사 성분을 컨볼루션 기반 분해 네트워크 모델에 적용하여 스무딩된 조명 성분을 생성하고, 에지를 보존하면서 노이즈가 제거된 반사 성분을 생성하는 분해 유닛을 포함할 수 있다.

상기 분해 유닛은 상기 추정된 조명 성분과 상기 반사 성분은 각각 3개 채널로 생성한 후 상기 컨볼루션 기반 분해 네트워크 모델로 적용하되, 상기 컨볼루션 기반 분해 네트워크는 3개의 컨볼루션 레이어를 가지되, 첫번째 컨볼루션 레이어는 상기 추정된 3개 채널 반사 성분과 조명 성분에 의해 공유될 수 있다.

본 발명의 일 실시예에 따른 저조도 영상 향상 방법 및 그 장치를 제공함으로써 레티넥스 모델 및 딥러닝 모델을 기반으로 저조도 영상의 밝기와 대비를 동시에 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 저조도 영상 향상 장치의 내부 구성을 개략적으로 도시한 블록도.
도 2는 본 발명의 일 실시예에 따른 분해 모듈의 상세 구성을 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 조도 향상 모듈의 구성을 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 RSEB 구성을 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 SE 블록의 구성을 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 컨볼루션 기반 분해 네트워크 모델의 학습을 위한 데이터 셋의 일부를 도시한 도면.
도 7은 종래와 본 발명의 일 실시예에 따른 조명 성분 및 반사 성분 분해 결과를 도시한 도면.
도 8은 본 발명의 일 실시예에 따른 조명 데이터 셋을 설명하기 위해 도시한 도면.
도 9는 본 발명의 일 실시예에 따른 감마값에 따른 결과 영상의 밝기를 비교하기 위해 도시한 도면.
도 10은 종래와 본 발명의 일 실시예에 따른 조도 향상 결과를 비교한 도면.
도 11은 본 발명의 일 실시예에 따른 저조도 영상 향상 방법을 나타낸 순서도.

본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 저조도 영상 향상 장치의 내부 구성을 개략적으로 도시한 블록도이며, 도 2는 본 발명의 일 실시예에 따른 분해 모듈의 상세 구성을 도시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 조도 향상 모듈의 구성을 도시한 도면이고, 도 4는 본 발명의 일 실시예에 따른 RSEB 구성을 도시한 도면이고, 도 5는 본 발명의 일 실시예에 따른 SE 블록의 구성을 도시한 도면이며, 도 6은 컨볼루션 기반 분해 네트워크 모델의 학습을 위한 데이터 셋의 일부를 도시한 도면이고, 도 7은 종래와 본 발명의 일 실시예에 따른 조명 성분 및 반사 성분 분해 결과를 도시한 도면이고, 도 8은 본 발명의 일 실시예에 따른 조명 데이터 셋을 설명하기 위해 도시한 도면이며, 도 9는 본 발명의 일 실시예에 따른 감마값에 따른 결과 영상의 밝기를 비교하기 위해 도시한 도면이고, 도 10은 종래와 본 발명의 일 실시예에 따른 조도 향상 결과를 비교한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 저조도 영상 향상 장치(100)는 분해 모듈(110), 저조도 향상 모듈(120), 메모리(130) 및 프로세서(140)를 포함하여 구성된다.

분해 모듈(110)은 저조도 영상을 레티넥스 모델을 기반으로 하는 조명 성분과 반사 성분으로 각각 분해한다. 이하에서 별도의 설명이 없더라도 조명 성분, 반사 성분은 각각 조명 성분 영상, 반사 성분 영상으로 확장 해석되어야 할 것이다.

본 발명의 일 실시예에 따르면, 분해 모듈(110)은 최적화 과정과 딥러닝 학습을 결합하여 저조도 영상에서 조명 성분과 반사 성분을 분해할 수 있다. 즉, 분해 모듈(110)은 에지 보존 스무딩을 통해 조명의 그래디언트를 최소화하고 상세 정보를 보존하면서 노이즈를 제거하여 조명 성분과 반사 성분으로 분해할 수 있다.

도 2를 참조하여 이에 대해 보다 상세히 설명하기로 한다.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 분해 모듈(110)은 최적화 유닛(210)과 분해 유닛(220)을 포함할 수 있다.

최적화 유닛(210)은 레티넥스 모델 기반으로 저조도 영상을 조명 성분과 반사 성분을 추정할 수 있다.

이에 대해 설명하기로 한다.

최적화 유닛(210)은 저조도 영상에서 반사 성분과 조명 성분을 추정함에 있어, 결합된 과 목적 함수를 수학식 1과 같이 최소화하여 추정할 수 있다.

여기서, g는 저조도 영상(입력 영상)을 나타내고, 및 는 반사 성분과 조명 성분을 각각 나타내고, 는 기울기 연산을 나타내며, , , 는 해당 항에 대한 정규화 매개변수를 나타낸다. 는 norm 함수를 나타내고, 는 norm 함수를 나타낸다.

수학식 1에서 첫번째 항은 저조도 영상(입력 영상)에 대한 데이터 충실도를 나타내는 항이며, 의 최소화는 의미에서 조명을 부드럽게 하는 것이며, 의 최소화는 에지를 보존하면서 노이즈를 제거하는 것을 나타낸다.

norm은 미분할 수 없기 때문에 수학식 1은 수학식 2와 같이 분할 방법을 적용하여 미분 가능한 형태로 변형할 수 있다.

여기서, 및 는 보조 변수 d, b에 관한 브레그만 페널티 파라미터(bregman penalization parameter)를 나타내고, 보조 변수와 브레그만 변수(bregman variable)는 수학식 3과 같이 계산될 수 있다.

여기서, 축소 연산(shrink())은 수학식 4와 같이 정의될 수 있다.

수학식 2의 닫힌 형태(closed form) 솔루션은 퓨리에 변환을 사용하여 수학식 5와 같이 획득될 수 있다.

여기서, 는 부드러운 조명 성분을 나타내고, 는 에지가 보존된 노이즈 제거된 반사 성분을 나타낸다.

도 2에서 보여지는 바와 같이, 은 미리 추정된 을 이용하여 획득될 수 있다. 이와 같이, 최적화 유닛(210)은 조명 성분 및 반사 성분이 수렴될때까지 반복 수행될 수 있다. 본 발명의 일 실시예에서는 5번 반복 수행되는 것을 가정하여 설명하기로 한다.

분해 유닛(220)은 최적화 유닛(210)에서 추정된 반사 성분과 추정된 조명 성분을 이용하여 노이즈 제거된 반사 성분과 부드러운(스무딩된) 조명 성분을 생성하기 위한 수단이다.

분해 유닛(220)은 컨볼루션 기반 분해 네트워크 모델을 가지되, 컨볼루션 기반 분해 네트워크 모델은 3개 채널을 가지므로, 추정된 반사 성분과 조명 성분을 각각 3채널로 생성할 수 있다.

이와 같이, 추정된 반사 성분과 조명 성분을 동일한 수의 채널로 맞춤으로써 컨볼루션 기반 분해 네트워크 모델의 첫번째 컨볼루션 레이어를 공유하도록 할 수 있다.

컨볼루션 기반 분해 네트워크 모델의 조명 성분 학습을 위해 회색조 ground truth(GT)를 사용하였으며, 반사 성분 학습을 위해 입력 데이터에 [0, 50] 범위의 가산 백색 가우시안 노이즈를 추가하였다. 도 6은 컨볼루션 기반 분해 네트워크 모델의 학습을 위한 데이터 셋의 일부를 도시한 도면이 예시되어 있다.

컨볼루션 기반 분해 네트워크 모델을 훈련하기 위한 손실 함수는 수학식 6과 같이 조명 추정 손실과 반사율 추정 손실로 구성될 수 있다.

여기서, 이고, 이다. 또한, 은 회색조 GT를 나타내고, 은 입력 영상을 나타낸다. 의 최소화는 조명 성분에서 텍스처 성분을 제거하고 에지 보존 평활 데이터셋에서 GT 영상을 학습하고, 의 최소화는 입력 영상을 사용하여 에지 세부 정보를 보존하는 반사 성분의 노이즈를 제거한다.

본 발명의 일 실시예에 따른 분해 방법의 효율성을 증명하기 위해 도 7과 같이 종래와 본 발명의 일 실시예에 따른 분해 효율성을 비교하였다.

조명 성분의 경우, 딥러닝 모델만 적용하는 경우, 일부 텍스처 영역에서 완전한 평활화에 실패하여 반사 성분의 세부 사항을 불완전하게 추정하는 것을 알 수 있다.

반사 성분의 경우, 잘린 하늘 영역에서와 같이 딥러닝 모델만 적용하는 경우 노이즈는 성공적으로 제거되나, 잘린 절벽 영역의 세부 사항이 보존되지 않았다.

또한, 레티넥스 모델 기반 최적화 과정만 적용하는 경우 조명 성분을 살펴보면 전체적으로 스무딩하는데 성공하였으나 일부 중요한 구조가 손실되어 최종 출력 영상에서 후광 인공물이 발생하는 문제점이 있었다.

또한, 반사 성분의 경우 최적화 과정만 적용하는 경우 노이즈를 완전히 제거하지 못하였다.

그러나, 본 발명의 일 실시예와 같이 레티넥스 모델 기반 최적화 과정과 딥러닝 모델을 결합한 경우 저조도 영상의 구조를 보존하면서도 부드러운 조명 성분을 생성하고 에지를 보존하며 반사 성분에서 노이즈 제거가 잘 되는 것을 알 수 있다.

다시, 도 1을 참조하여 조도 향상 모듈(120)은 분해 모듈(110)에 의해 분해된 조명 성분과 반사 성분을 입력받은 후 밝기와 대비가 향상된 결과 영상을 출력하기 위한 수단이다.

도 3에는 조도 향상 모듈의 상세 구성이 도시되어 있다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 조도 향상 모듈(120)은 사전 보정 유닛(310) 및 향상 유닛(320)을 포함하여 구성된다.

사전 보정 유닛(310)은 조명 성분을 사전 보정하여 파생 데이터 셋을 생성하기 위한 수단이다. 여기서, 파생 데이터 셋은 분해 모듈(110)에서 출력된 조명 성분, 조명 성분에 의해 파생된 감마 보정된 조명 성분, 히스토그램 균등화된 조명 성분을 포함할 수 있다.

사전 보정 유닛(310)은 분해된 조명 성분을 이용하여 감마 보정된 조명 성분, 히스토그램 균등화된 조명 성분을 추가적으로 생성할 수 있다. 도 8에는 조도 향상에 이용되는 3가지 조명 성분이 예시되어 있다.

이와 같이, 분해된 조명 성분 이외에도, 해당 분해된 조명 성분을 기초로 사전 보정된 감마 보정된 조명 성분과 히스토그램 균등화된 조명 성분을 추가적으로 조도 향상에 이용함으로써 결과 영상의 밝기 개선 및 대비 개선에 도움을 줄 수 있다. 즉, 감마 보정된 조명 성분은 결과 영상의 밝기 개선 및 조정에 도움을 줄 수 있다. 또한, 히스토그램 균등화된 조명 성분은 결과 영상의 대비 개선에 도움을 줄 수 있다.

도 9를 참조하면, 서로 다른 감마값으로 감마 보정된 조명 영상이 예시되어 있다. 예를 들어, 에서 값을 변경함으로써 감마값을 조정할 수 있다. 가 감소할수록 결과 영상의 밝기가 증가한다.

향상 유닛(320)은 조명 향상 네트워크 모델을 포함하며 3가지 조명 성분을 이용하여 밝기 및 대비가 향상된 결과 영상을 출력할 수 있다.

여기서, 조명 향상 네트워크 모델은 도 3에 도시된 바와 같다. 도 3에 도시된 바와 같이, 조명 향상 네트워크 모델은 제1 컨볼루션 레이어와 제2 컨볼루션 레이어 사이에 6개의 RSEB(residual squeeze and excitation block)을 포함한다.

각 RSEB는 도 4에 도시된 바와 같이, 잔차 블록과 SE 블록을 포함하여 구성된다.

본 발명의 일 실시예에서는 6개의 RSEB를 포함하며, 이는 그래디언트 소실 없이 학습 속도를 향상시킬 수 있는 최적 개수이므로, 6개의 RSEB를 사용하기로 한다.

SE 블록은 도 5에 도시된 바와 같다. 도 5에 도시된 바와 같이, SE 블록은 squeezing 연산과 excitation 연산을 포함하되, squeezing 연산은 평균 풀링을 통해 각 채널에 대한 채널 디스크립터를 생성하고, excitation 연산은 축소 비율 만큼 특징 맵의 차원 수를 줄여 채널 중요도를 재조정할 수 있다. 이후 SE 블록은 특징맵의 차원을 원래 크기로 복원할 수 있다.

향상 유닛(320)은 밝기와 대비가 향상된 조명 성분에 추정된 반사 성분을 픽셀 단위 곱셈으로 결합하여 조도가 향상된 출력 영상을 생성할 수 있다.

도 10에는 종래와 본 발명의 일 실시예에 따른 저조도 영상의 저조도 향상 결과가 도시되어 있다. 도 10에서 보여지는 바와 같이, 본 발명의 일 실시예에 따른 저조도 영상 향상 방법이 종래에 비해 밝기와 대비가 개선된 것을 알 수 있다.

다시, 도 1을 참조하면, 메모리(130)는 본 발명의 일 실시예에 따른 레티넥스 기반 저조도 영상의 밝기와 대비를 동시에 향상시킬 수 있는 저조도 영상 향상 방법을 수행하기 위한 다양한 명령어를 저장한다.

프로세서(140)는 본 발명의 일 실시예에 따른 저조도 영상 향상 장치(100)의 내부 구성 요소들(예를 들어, 분해 모듈(110), 저조도 향상 모듈(120), 메모리(130) 등)을 제어하기 위한 수단이다.

도 11은 본 발명의 일 실시예에 따른 저조도 영상 향상 방법을 나타낸 순서도이다.

단계 1110에서 저조도 영상 향상 장치(100)는 저조도 영상을 입력받고, 입력된 저조도 영상을 레티넥스 기반 모델 및 딥러닝 모델을 기초로 조명 성분과 반사 성분으로 각각 분해한다.

이때, 저조도 영상 향상 장치(100)는 저조도 영상을 레티넥스 기반 모델을 기초로 조명 성분을 추정한 후 추정된 조명 성분을 이용하여 반사 성분을 추정할 수 있다. 이어, 저조도 영상 향상 장치(100)는 추정된 조명 성분과 반사 성분을 컨볼루션 기반 분해 모듈에 적용하여 스무딩된 조명 성분과 에지가 보존된 노이즈 제거된 반사 성분을 생성할 수 있다. 이를 위해, 컨볼루션 기반 분해 모듈은 사전 학습될 수 있으며, 손실 함수는 상술한 바와 같다. 이에 대한 상세한 설명은 전술한 바와 같으므로 중복되는 설명은 생략하기로 한다.

단계 1115에서 저조도 영상 향상 장치(100)는 분해된 조명 성분을 사전 보정하여 감마 보정된 조명 성분, 히스토그램 균등화된 조명 성분을 추가적으로 생성한다.

단계 1120에서 저조도 영상 향상 장치(100)는 3가지 조명 성분(분해된 조명 성분, 감마 보정된 조명 성분, 히스토그램 균등화된 조명 성분)을 조도 향상 네트워크 모듈에 적용하여 밝기와 대비가 향상된 조명 성분을 생성한다.

조명 향상 네트워크 모델은 전술한 바와 같이, 2개의 컨볼루션 레이어와 잔차 블록과 SE 블록을 포함하는 RSEB로 구성되며, 이들의 상세 구성은 상술한 바와 같으므로 중복되는 설명은 생략하기로 한다.

단계 1125에서 저조도 영상 향상 장치(100)는 향상된 조명 성분에 추정된 반사 성분을 결합하여 출력 영상을 생성한다. 이와 같이 최종 출력된 출력 영상은 도 10에 도시된 바와 같이 입력 영상에 비해 밝기와 대비가 개선된 영상일 수 있다.

본 발명의 실시 예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100: 저조도 영상 향상 장치
110: 분해 모듈
120: 조도 향상 모듈
130: 메모리
140: 프로세서

Claims

(a) 저조도 영상을 입력받은 후 레티넥스 모델을 기반으로 조명 성분과 반사 성분으로 분해하는 단계;
(b) 상기 분해된 조명 성분을 사전 보정하여 감마 보정 조명 성분, 히스토그램 균등 조명 성분을 생성하여 파생 조명 데이터 셋을 생성하는 단계;
(c) 상기 파생 조명 데이터 셋을 조명 향상 네트워크 모델에 적용하여 밝기와 대비를 향상된 조명 성분을 생성하는 단계; 및
(d) 상기 향상된 조명 성분에 상기 반사 성분을 결합하여 출력 영상을 생성하는 단계를 포함하는 저조도 영상 향상 방법.
제1 항에 있어서,
상기 (a) 단계는,
상기 레티넥스 모델 기반 최적화 과정을 통해 상기 조명 성분과 반사 성분을 추정하는 단계; 및
상기 추정된 조명 성분과 상기 반사 성분을 컨볼루션 기반 분해 네트워크 모델에 적용하여 스무딩된 조명 성분을 생성하고, 에지를 보존하면서 노이즈가 제거된 반사 성분을 생성하는 단계를 포함하는 것을 특징으로 하는 저조도 영상 향상 방법.
제2 항에 있어서,
상기 반사 성분은 상기 추정된 조명 성분을 이용하여 추정되는 것을 특징으로 하는 저조도 영상 향상 방법.
제2 항에 있어서,
상기 조명 성분은 하기 수학식을 이용하여 추정되는 것을 특징으로 하는 저조도 영상 향상 방법.

여기서, F는 퓨리에 변환을 나타내고, 는 조명 성분을 나타내며, , 는 정규화 매개변수를 나타내고, 는 기울기 연산을 나타내는 것을 특징으로 하는 저조도 영상 향상 방법.
제2 항에 있어서,
상기 반사 성분은 하기 수학식을 이용하여 추정되는 것을 특징으로 하는 저조도 영상 향상 방법.

여기서, F는 퓨리에 변환을 나타내고, 는 조명 성분을 나타내며, 는 정규화 매개변수를 나타내고, 는 브레그만 페널티 파라미터를 나타내며, d는 보조변수를 나타내고, b는 브레그만 변수를 나타내며, 는 기울기 연산을 나타내는 것을 특징으로 하는 저조도 영상 향상 방법.
제2 항에 있어서,
상기 추정된 조명 성분과 상기 반사 성분은 각각 3개 채널로 생성한 후 상기 컨볼루션 기반 분해 네트워크 모델로 적용하되,
상기 컨볼루션 기반 분해 네트워크는 3개의 컨볼루션 레이어를 가지되,
첫번째 컨볼루션 레이어는 상기 추정된 3개 채널 반사 성분과 조명 성분에 의해 공유되는 것을 특징으로 하는 저조도 영상 향상 방법.
제1 항에 있어서,
조명 향상 네트워크 모델은 제1 컨볼루션 레이어와 제2 컨볼루션 레이어 및 6개의 RSEB(residual squeeze and excitation block)을 포함하되,
상기 6개의 RSEB는 래디언트 소실을 방지하는 로컬 잔차 학습을 위해 상기 제1 컨볼루션 레이어와 상기 제2 컨볼루션 레이어 사이에 위치되는 것을 특징으로 하는 저조도 영상 향상 방법.
제7 항에 있어서,
상기 RSEB는 잔차(residual) 블록과 SEB(squeezing and excitation block)을 포함하되,
상기 SEB는 특징맵을 압축 및 확장하는 것을 특징으로 하는 저조도 영상 향상 방법.
제1 항 내지 제8 항 중 어느 하나의 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체.
저조도 영상을 입력받은 후 레티넥스 모델을 기반으로 조명 성분과 반사 성분으로 분해하는 분해 모듈; 및
상기 분해된 조명 성분을 사전 보정하여 감마 보정 조명 성분, 히스토그램 균등 조명 성분을 생성하여 파생 조명 데이터 셋을 생성한 후 상기 파생 조명 데이터 셋을 조명 향상 네트워크 모델에 적용하여 밝기와 대비를 향상된 조명 성분을 생성하며, 상기 향상된 조명 성분에 상기 반사 성분을 결합하여 출력 영상을 생성하는 조도 향상 모듈을 포함하는 저조도 영상 향상 장치.
제10 항에 있어서,
상기 분해 모듈은,
상기 레티넥스 모델 기반 최적화 과정을 통해 상기 조명 성분과 반사 성분을 추정하는 최적화 유닛; 및
상기 추정된 조명 성분과 상기 반사 성분을 컨볼루션 기반 분해 네트워크 모델에 적용하여 스무딩된 조명 성분을 생성하고, 에지를 보존하면서 노이즈가 제거된 반사 성분을 생성하는 분해 유닛을 포함하는 것을 특징으로 하는 저조도 영상 향상 장치.
제11 항에 있어서,
상기 분해 모듈은 상기 추정된 조명 성분과 상기 반사 성분은 각각 3개 채널로 생성한 후 상기 컨볼루션 기반 분해 네트워크 모델로 적용하되,
상기 컨볼루션 기반 분해 네트워크는 3개의 컨볼루션 레이어를 가지되,
첫번째 컨볼루션 레이어는 상기 추정된 3개 채널 반사 성분과 조명 성분에 의해 공유되는 것을 특징으로 하는 저조도 영상 향상 장치.
제10 항에 있어서,
상기 조명 향상 네트워크 모델은 제1 컨볼루션 레이어와 제2 컨볼루션 레이어 및 6개의 RSEB(residual squeeze and excitation block)을 포함하되,
상기 6개의 RSEB는 래디언트 소실을 방지하는 로컬 잔차 학습을 위해 상기 제1 컨볼루션 레이어와 상기 제2 컨볼루션 레이어 사이에 위치되는 것을 특징으로 하는 저조도 영상 향상 장치.
제13 항에 있어서,
상기 RSEB는 잔차(residual) 블록과 SEB(squeezing and excitation block)을 포함하되,
상기 SEB는 특징맵을 압축 및 확장하는 것을 특징으로 하는 저조도 영상 향상 장치.