KR102439149B1 - 흐릿함 정도 평가기 및 이를 이용한 안개 밀도 추정 방법 - Google Patents

Abstract

본 발명은 흐릿함 정도 평가기 및 이를 이용한 안개 밀도 추정 방법에 관한 것으로, 흐릿함 정도 평가기에 의해 안개와 관련된 특징의 수를 줄이기 위한 상관관계 및 특징 추출 연산량을 고려하는 상관관계 및 특징 추출 연산 단계; 선택한 특징 중의 DCP(Dark Channel Prior) 계산에서 입력 영상의 밝기 강조하는 밝기 조절 단계; 선택한 특징을 사용하여 목적함수를 생성하는 목적함수 생성 단계; 및 목적함수를 최적화함으로써 흐릿함 정도 평가를 나타내는 수치 계산을 수행하는 수치 제공 단계;를 포함하는 것을 특징으로 한다.
이에 의해 제안한 흐릿함 정도 평가기가 비교 평가기보다 우수한 성능을 달성한 것을 보이도록 하는 효과를 제공할 뿐만 아니라, 안개제거 알고리즘에 활용하면 자동 안개제거 알고리즘이 가능함으로써, 자율주행차나 스마트 감시 카메라와 같은 종래 비전 시스템에 융화시킬 수 있는 효과를 제공한다.

Description

흐릿함 정도 평가기 및 이를 이용한 안개 밀도 추정 방법{Aziness Degree Evaluator and Numerical Method for Haze Density Estimation}

본 발명은 흐릿함 정도 평가기 및 이를 이용한 안개 밀도 추정 방법에 관한 것으로, 보다 구체적으로는, 상관관계 및 특징 추출을 위한 연산량을 고려하여 안개와 관련된 특징의 3개(DCP, SV, Sh)를 선택하고, 선택한 특징을 사용하여 목적함수 생성, 목적함수를 최적화함으로써 영상의 안개 밀도와 비례한 수치를 계산하도록 하기 위한 흐릿함 정도 평가기 및 이를 이용한 안개 밀도 추정 방법에 관한 것이다.

기상 악조건 또는 공기오염과 같은 환경과 관련된 원인으로 인해서 감시 시스템 및 자율주행 성능이 급격히 떨어질 수 있으며, 이러한 이유로 안개제거 알고리즘은 최근에 과학분야에서 많은 관심을 받고 있다. 기상 악조건 또는 공기오염은 항상 발생하지 않고 특정한 날에만 일어나는데 현재까지 개발한 안개제거 알고리즘들은 입력 영상에서 안개 유무 판단하는 기능이 부재하여 어떠한 입력 영상에도(안개 유무에 상관없이) 무조건 안개제거를 적용한다. 따라서 입력 영상은 안개가 없는 영상이면 안개제거로 인해서 화질이 떨어진다. 이러한 문제를 보완하기 때문에 안개 유무 판단 평가기가 필요하다.

한편, 비특허문헌 1의 저자 Choi et al.가 안개 인식 밀도 평가기(Fog Aware Density Evaluator, FADE)라는 수치를 개발하였다. FADE의 계산 과정은 오프라인(offline)과 온라인(online)으로 나눴으며, 전자는 안개가 있는 영상과 안개가 없는 영상을 포함하는 데이터 세트를 사용해서 안개와 관련된 특징의 12 개를 추출한 다음 다변량 가우스(multivariate Gaussian) 모델에 맞춤으로써 평균 벡터와 공분산 행렬을 계산한 것이며, 후자는 입력 영상을 받아서 12 개의 특징을 추출해서 다변량 가우스(multivariate Gaussian) 모델에 맞춰서 계산한 평균 벡터와 공분산 행렬을 사용해서 오프라인(offline) 단계에 계산한 평균 벡터와 공분산 행렬까지의 마할라노비스 거리(Mahalanobis Distance)를 계산한 것이다. 계산한 마할라노비스 거리(Mahalanobis Distance)에 기반을 둬서 안개 밀도를 추정하였다. 하지만 FADE는 역행렬 계산과 같은 큰 연산량을 갖는 단점이 있어 실시간 처리를 하기 위해서는 고성능 컴퓨팅 플랫폼이 필요하다.

한편, 비특허문헌 2의 저자 Jiang et al.는 안개 밀도를 추정하는 수치에 대해 다른 방법을 제안하였다. 이 방법은 DF라고 한다. 먼저 구글 이미지(Google Image) 또는 플리커(Flickr)와 같은 무료로 영상 공유해주는 사이트에서 안개가 없는 영상을 수집하고 나서 수집한 영상에 안개를 합성하였다. 그 다음으로 합성한 데이터를 사용해서 안개와 관련된 특징의 7 개를 추출하였으며 다항 회귀 모델(Polynomial Regression Model)로 통해 7 개의 특징으로부터 안개 밀도를 나타낸 수치를 계산하였다. 여기서 저자들이 민감도 분석(sensitivity analysis) 및 오류 분석(error analysis) 기술을 활용하여 사용한 특징의 수와 모델의 복잡성을 줄여 최종 모델에서 3 가지 특징만 사용하였다. 연산량을 고려하면 이 방법은 FADE보다 더 효율적인 방법이지만 민감도 분석 및 오류 분석을 미니탭(Minitab)과 같은 별도의 소프트웨어를 사용해야 하거나 복잡한 오픈 소스 코드를 사용해야 해서 안개 밀도 추정 모델 개발 시간이 오래 소요된다. 그 뿐만 아니라 안개 밀도 추정 모델을 개발했을 때 저자들은 합성된 영상 데이터를 사용하였기 때문에 실제 영상 데이터에 적용하면 정확도를 보증할 수 없다는 단점도 있다.

또한, 특허문헌 1은 입력 영상의 안개 밀도를 추정하기 위해 입력 영상으로부터 추출한 Sobel 영상의 평균값과 표준 편차 값을 사용하는 방법이다. 그런데 안개 정도에 대해 7개의 정도만 추정할 수 있다. 또한 특허문헌 2 및 3은 입력 영상의 안개 밀도를 추정하기 위해 대단히 큰 연산량을 가지는 콘볼루션 신경망(Convolutional Neural Network)를 사용하는 것이다. 이러한 방법들은 데이터에 따른 방법이기 때문에 성능에 대한 제한이 존재한다. 그 뿐만 아니라 학습 단계에서 실제 데이터가 부족해서 좋은 성능을 달성할 수 없는 문제점이 있다.

대만 등록특허공보 제I423166호(2014.01.11. 공고) 입력 영상이 포그 영상인지 판단하는 방법, 입력 영상의 포그 레벨을 판단하는 방법, 포깅 영상 필터링 방법 중국 공개특허공보 제105657402호(2016.06.08. 공개) 깊이 맵 복원 방법 중국 공개특허공보 제111539250호(2020.08.14. 공개) 신경망 기반 이미지 안개 밀도 추정 방법, 시스템 및 단말

인지된 안개 밀도 및 인지 이미지 제거에 대한 독립적인 예측(Referenceless Prediction of Perceptual Fog Density and Perceptual Image Defogging) [Lark Kwon Choi 등, EEE Transactions on Image Processing (2015), Volume : 24, Issue : 11, pp 3888-3901] 광학 깊이 대체 모델을 기반으로 안개 밀도 추정 및 이미지 흐림 제거(Fog Density Estimation and Image Defogging Based on Surrogate Modeling for Optical Depth)[Yutong Jiang 등, IEEE Transactions on Image Processing (2017), Volume : 26, Issue : 7, pp 3397-3409]

본 발명은 상기의 문제점을 해결하기 위한 것으로, 종래 안개 밀도 추정 방법의 두 개의 단점을 보완하기 위해서 안개 유무를 높은 확률로 정확히 판단할 수 있는 흐릿함 정도 평가를 수행하도록 하기 위한 흐릿함 정도 평가기 및 이를 이용한 안개 밀도 추정 방법을 제공하기 위한 것이다.

또한, 본 발명은 복잡하지 않은 상관관계 및 특징 추출을 위한 연산량을 고려함으로써 안개와 관련된 특징을 선택하는 방법을 도입하고, 선택한 특징을 사용해서 목적함수를 최적화함으로써 연산량이 높지 않은 흐릿함 정도 평가기 및 이를 이용한 안개 밀도 추정 방법을 제안한다.

마지막으로 제안한 흐릿함 정도 평가기를 사용해서 안개 유무 판단에 대한 평가를 통해 제안한 평가기는 앞서 언급했던 종래의 평가기보다 우수한 것을 증명하도록 하기 위한 흐릿함 정도 평가기 및 이를 이용한 안개 밀도 추정 방법을 제공하기 위한 것이다.

그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 안개 밀도 추정 방법은, 안개와 관련된 특징의 수를 줄이기 위한 상관관계 및 특징 추출 연산량을 고려하는 상관관계 및 특징 추출 연산 단계; 선택한 특징 중의 DCP(Dark Channel Prior) 계산에서 입력 영상의 밝기를 강조하는 밝기 조절 단계; 선택한 특징을 사용하여 목적함수를 생성하는 목적함수 생성 단계; 및 목적함수를 최적화함으로써 흐릿함 정도 평가를 나타내는 수치 계산을 수행하는 수치 제공 단계;를 포함하는 것을 특징으로 한다.

상기에서 상관관계 및 특징 추출 연산 단계는, 안개 유무를 정확히 판단하기 위해, 안개가 있는 영상과 안개가 없는 영상을 포함하는 데이터 세트 수집단계, 수집한 데이터 세트로 안개와 관련된 특징 추출 단계, 상관관계 및 특징추출을 위한 연산량을 고려하여 다크 채널(Dark Channel Prior), 채도×명도(Saturation×Value) 및 선명도(Sharpness)를 선택하는 단계를 포함하는 것을 특징으로 할 수 있다.

상기 밝기 조절 단계는, 다크 채널(Dark Channel Prior)을 계산할 때 입력 영상의 밝기를 강조하는 것으로, 안개 유무를 효과적으로 판별하기 위한 특징으로 할 수 있다.

상기 목적함수 생성 단계는, 다크 채널(Dark Channel Prior), 채도×명도(Saturation×Value) 및 선명도(Sharpness)를 사용하여 목적함수를 생성하는 것으로, 목적함수를 최적화함으로써 영상의 안개밀도와 반비례한 전달 맵을 계산하는 단계, 영상의 안개 밀도와 비례한 수치를 계산하기 위해서 전달 맵을 정상적인 범위로 제한하는 단계, 제한된 전달 맵에서 1을 빼는 단계를 수행하는 것을 특징으로 할 수 있다.

상기 수치 제공 단계는, 흐릿함 정도를 평가하는 수치 범위는 0부터 1이며, 1에 가까울수록 안개가 많다는 것을 의미하며, 이러한 흐릿함 정도에 대한 수치를 사용하여 입력 영상의 안개 밀도를 추정하는 특징으로 할 수 있다.

상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 흐릿함 정도 평가기는, 안개와 관련된 특징의 수를 줄이기 위한 상관관계 및 특징 추출 연산량을 고려하는 상관관계 및 특징 추출 연산 모듈(110); 선택한 특징 중의 DCP(Dark Channel Prior) 계산에서 입력 영상의 밝기 강조하는 밝기 조절 모듈(120); 선택한 특징을 사용하여 목적함수를 생성하는 목적함수 생성 모듈(130); 및 목적함수를 최적화함으로써 흐릿함 정도 평가를 나타내는 수치 계산을 수행하는 수치 제공 모듈(140); 을 포함하는 것을 특징으로 할 수 있다.

본 발명의 실시예에 따른 흐릿함 정도 평가기 및 이를 이용한 안개 밀도 추정 방법은, 제안한 흐릿함 정도 평가기가 비교 평가기보다 우수한 성능을 달성한 것을 보이도록 하는 효과를 제공한다.

뿐만 아니라, 본 발명의 다른 실시예에 따른 흐릿함 정도 평가기 및 이를 이용한 안개 밀도 추정 방법은, 안개제거 알고리즘에 활용하면 자동 안개제거 알고리즘이 가능함으로써, 자율주행차나 스마트 감시 카메라와 같은 종래 비전 시스템에 융화시킬 수 있는 효과를 제공한다.

도 1은 본 발명의 실시예에 따른 흐릿함 정도 평가기(100)를 나타내는 도면이다.
도 2 및 도 3은 본 발명의 실시예에 따른 흐릿함 정도 평가기(100)의 성능을 설명하기 위한 그래프이다.
도 4는 본 발명의 실시예에 다른 흐릿함 정도 평가기를 이용한 안개 밀도 추정 방법을 나타내는 흐름도이다.
도 6 내지 도 11은 본 발명의 실시예에 다른 흐릿함 정도 평가기를 이용한 안개 밀도 추정 방법을 설명하기 위한 도면이다.

이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.

도 1은 본 발명의 실시예에 따른 흐릿함 정도 평가기(100)를 나타내는 도면이다. 도 1을 참조하면, 본 발명의 흐릿함 정도 평가기(100)는, 안개와 관련된 특징의 수를 줄이기 위한 상관관계 및 특징 추출 연산량을 고려하는 상관관계 및 특징 추출 연산 모듈(110), 선택한 특징 중의 DCP(Dark Channel Prior) 계산에서 입력 영상의 밝기 강조하는 밝기 조절 모듈(120), 선택한 특징을 사용하여 목적함수를 생성하는 목적함수 생성 모듈(130), 목적함수를 최적화함으로써 흐릿함 정도 평가를 나타내는 수치 계산을 수행하는 수치 제공 모듈(140)을 포함할 수 있다.

이러한 구성을 통해 흐릿함 정도 평가기(100)는 입력 영상의 흐릿함 정도를 추정하는 것, 즉 입력 영상의 안개 밀도를 추정하는 기능이다. 이에 따라 흐릿함 정도 평가기(100)는 안개 유무를 판단할 수 있고 안개제거 알고리즘에 적용하면 자동 안개제거 알고리즘이 될 수 있으며, 연산량이 복잡하지 않아서 컴퓨팅 플랫폼으로 구현이 가능하여 실시간 감시 시스템에 활용될 수 있다.

본 발명의 실시예에 대해서 살펴보면 디지털 감지기로 획득된 RGB 영상이 주어지며, 본 발명에 따른 흐릿함 정도 평가기(100)는 단계별 과정을 수행하며 첫번째 과정은 다음과 같다. 먼저 DCP(Dark Channel Prior), SV(Saturation×Value), Sh(Sharpness) 특징은 상관관계 및 특징 추출 연산량을 고려하여 정했으며, 아래는 DCP, SV, Sh 특징을 선택한 후의 단계이다.

연산량을 고려하여 안개와 관련된 특징의 수를 줄이기 위한 상관관계 및 특징 추출 연산 모듈(110)은 연산량이 낮은 DCP, SV, Sh 등 안개와 관련된 특징을 계산한다.

먼저, 선택한 특징 중의 입력 영상의 밝기를 강조하는 "DCP"에 있어서 하기의 수학식 1에 의해 연산할 수 있다.

여기서

는 입력 영상이고

는 복원 영상이고

는 대기 강도이고

는 전달 맵이고

는 양의 정수이고,

는 최솟값을 구하는 연산이고

는 픽셀

에 중심으로 한 필터링 윈도우이고

는 윈도우

속에 픽셀 위치이고

는 영상의 색 채널이고

는 단지 밝기 강조된 영상이고,

은 최솟값을 의미한다.

다음으로, "SV" 및 "Sh"에 있어서 하기의 수학식 2 및 수학식 3에 의해 각각 연산할 수 있다.

여기서

는 최대값을 구하는 연산을 의미한다.

여기서

는 영상의 표준 편차이다.

다음으로, 목적함수 생성 및 최적화에 대해서 살펴본다.

선택한 특징을 사용하여 목적함수를 생성하는 목적함수 생성 모듈(130)은 하기의 수학식 4에 따른 목적함수를 생성할 수 있다.

여기서

는 regularization 계수이고

는 regularization factor이다. 본 발명에서

을 선택하였다. 따라서 목적함수는 하기의 수학식 5와 같다.

수치 제공 모듈(140)은 목적함수 최적화를 수행하며, 목적함수를 최적화하면 복원 영상은 작은 DCP 값, 큰 SV 값, 큰 Sh 값을 차지할 수 있다. 최적화하기 위해서 먼저 1차 미분을 0으로 설정함으로써, 하기의 수학식 6을 얻을 수 있다.

그 다음으로 수치 제공 모듈(140)은 목적함수를 최적화함으로써 흐릿함 정도 평가를 나타내는 수치 계산을 수행하여 산출한 수치를 제공하며, 하기의 수학시 7과 같이 2차 미문은 0보다 작은지 검토하면 된다. 목적함수의 2차 미분은

에 따른 함수이기 때문에

을 조정함으로써 2차 미분은 0보다 작은 조건을 보증할 수 있다.

다음으로, 수치 제공 모듈(140)은 흐릿함 정도 평가기(HDE) 값을 하기의 수학식 8을 통해 연산할 수 있다.

수치 제공 모듈(140)은 앞 단계에 계산한 전달 맵은 픽셀별도 나오기 때문에 입력 영상의 흐릿함 정도 평가기 값을 계산할 때 전체 영상의 평균값을 계산하면 된다.

상기 상관관계 및 특징 추출 연산 모듈(110)을 이용한 단계에서는, 안개와 관련된 특징을 선택하는 것으로, 안개 유무를 정확히 판단하기 위해, 안개가 있는 영상과 안개가 없는 영상을 포함하는 데이터 세트 수집단계, 수집한 데이터 세트로 안개와 관련된 특징 추출 단계, 상관관계 및 특징추출을 위한 연산량을 고려하여 다크 채널(Dark Channel Prior), 채도×명도(Saturation×Value) 및 선명도(Sharpness)를 선택하는 단계를 포함할 수 있다.

그리고 상기 밝기 조절 모듈(12)을 이용한 단계에서는, 다크 채널(Dark Channel Prior)을 계산할 때 입력 영상의 밝기를 강조하는 것으로, 안개 유무를 효과적으로 판별하기 위한 것이다.

목적함수 생성 모듈(130)을 이용한 단계는, 다크 채널(Dark Channel Prior), 채도×명도(Saturation×Value) 및 선명도(Sharpness)를 사용하여 목적함수를 생성하는 것으로, 목적함수를 최적화함으로써 영상의 안개밀도와 반비례한 전달 맵을 계산하는 단계, 영상의 안개 밀도와 비례한 수치를 계산하기 위해서 전달 맵을 정상적인 범위로 제한하는 단계로서, 1에서 제한된 전달 맵을 빼는 단계를 수행한다.

상기에서 정상적인 범위란 '전달맵의 값이 0보다 작으면 0으로 설정, 1보다 크면 1로 설정'하는 것을 의미한다.

마지막으로 수치 제공 모듈(140)을 이용한 단계에서는, 흐릿함 정도를 평가하기 위한 수치 범위는 0부터 1까지 이며, 1에 가까울수록 안개가 많다는 것을 의미하며, 이러한 흐릿함 정도에 대한 수치를 사용하여 입력 영상의 안개 밀도를 추정한다.

다음으로, 안개 유무 판단에 대한 평가에 있어서, 안개 유무 판단에 대한 평가를 진행함으로써 본 발명에서 제안한 흐릿함 정도 평가기(HDE)는 FADE와 DF보다 우수한 성능을 갖는 것을 증명한다. 첫째, 실험 데이터는 아래 표 1에 나와 있는 8개의 데이터 세트를 사용한다. 그래서 종 1921개의 안개가 있는 영상과 2168개의 안개가 없는 영상을 사용한다.

번호	데이터 세트	종류	안개가 있는 영상의 수	안개가 없는 영상의 수	참조 영상 유무
1	IVC	실제	25	해당 없음	없음
2	FRIDA2	합성	264	66	있음
3	D-HAZY	합성	1472	1472	있음
4	O-HAZE	실제	45	45	있음
5	I-HAZE	실제	30	30	있음
6	미세먼지	실제	30	해당 없음	없음
7	500IMG	실제	해당 없음	500	없음
8	Dense Haze	실제	55	55	있음

위 데이터 세트를 기반하여 안개 유무 판단이 효과적으로 되는지 3개의 평가기(FADE, DF, 제안한 HDE)를 활용해서 검토한다.

각 평가기에 대해 안개 유무 임계값은 제일 높은 인식률을 나타내는 값이다. 구체적으로 FADE, DF, 제안한 HDE의 안개 유무 임계값은 각각 0.9866, 0.2968, 0.8696이다. 인식률은 다음의 표 2에 나와 있다. 실험 결과에 따르면 제안한 HDE는 제일 높은 인식률을 95.9%로 나타난 것을 보일 수 있다.

구분	FADE		DF		HDE
	인식	오인식	인식	오인식	인식	오인식
안개가 있는 영상(1921)	1786	136	1672	249	1839	82
	92.9%	7.1%	87.0%	13.0%	95.7%	4.3%
안개가 없는 영상(2168)	2005	163	2038	130	2083	85
	92.5%	7.5%	94.0%	6.0%	96.1%	3.9%
합계(4089)	3790	299	3710	379	3922	167
	92.7%	7.3%	90.7%	9.3%	95.9%	4.1%

위 평가를 진행했을 때 제안한 HDE에서 λ=-1, n=8로 설정하였다. λ=-1로 설정한 이유는 목적함수 최적화함으로써 구한 해가 유효(valid)하기 때문이고, n=8로 설정한 이유는 안개가 있는 영상의 경우와 안개가 없는 영상의 경우에 대한 인식률이 비슷하게 나오기 때문이다. 실제로 입력 영상이 안개가 있는 영상인지 안개가 없는 영상인지 모르기 때문에 2개의 경우가 비슷한 성능을 나타내는 것이 알고리즘에 대한 신뢰도가 높다고 할 수 있다. 이에 대해 도 2의 그래프를 참조할 수 있다. 여기서 n을 8이나 9로 설정할 수 있지만 빠른 연산을 위해서 8로 설정하였다.

마지막으로 DCP 계산에서 입력 영상의 밝기 강조에 대한 이유를 설명한다. 앞서 언급한 8 개의 데이터 세트 중 IVC와 O-HAZE를 실험 데이터로 사용한다. 도 3의 그래프를 참조하며 밝기 강조를 적용하지 않으면 IVC 데이터 세트의 경우 14 개의 영상을 인식하지 못한다. 그래서 인식률을 증가시키는 방법으로 HDE 값의 안개 유무 임계값보다 크게끔 HDE 값을 밝기 조절 모듈(120)이 증가시켜야 한다. 밝기 조절 모듈(120)이 HDE 수식에 따라 HDE 값을 증가시키려고 하면

값을 증가시키거나

값을 감소시켜야 하며, 감마 보정으로 입력 영상의 밝기 강조함으로써 앞서 언급한 2개의 방법을 다 진행할 수 있다. 하기의 표 3은 이러한 추세를 보여준다. 왼쪽은 밝기 강조를 적용하지 않은 것이고, 오른쪽은 밝기 강조를 적용한 것이다.

n	DCP의 평균			표준 편차의 평균
	안개가 있는 영상(1921)	안개가 없는 영상(2168)	합계(4089)	안개가 있는 영상(1921)	안개가 없는 영상(2168)	합계(4089)
1	0.6400	0.2962	0.4577	0.0185	0.0441	0.0321
2	0.7786	0.4598	0.6096	0.0123	0.0398	0.0269
3	0.8401	0.5546	0.6887	0.0092	0.0348	0.0228
4	0.8748	0.6157	0.7374	0.0073	0.0311	0.0199
5	0.8971	0.6582	0.7704	0.0061	0.0283	0.0178
6	0.9127	0.6894	0.7943	0.0052	0.0261	0.0163
7	0.9241	0.7133	0.8123	0.0045	0.0245	0.0151
8	0.9329	0.7321	0.8264	0.0040	0.0232	0.0142
9	0.9399	0.7474	0.8378	0.0036	0.0221	0.0134
10	0.9455	0.7599	0.8471	0.0033	0.0213	0.0128
11	0.9502	0.7705	0.8549	0.0030	0.0205	0.0123
12	0.9541	0.7795	0.8615	0.0028	0.0199	0.0119
13	0.9575	0.7873	0.8672	0.0026	0.0194	0.0115
14	0.9604	0.7940	0.8722	0.0024	0.0189	0.0112
15	0.9629	0.7999	0.8765	0.0023	0.0185	0.0109
16	0.9651	0.8052	0.8803	0.0021	0.0181	0.0106

한편, 도 4는 본 발명의 실시예에 다른 흐릿함 정도 평가기를 이용한 안개 밀도 추정 방법을 나타내는 흐름도이다. 도 4를 참조하면, 흐릿함 정도 평가기(100)는 DCP(Dark Channel Prior), SV(Saturation×Value), Sh(Sharpness) 등 안개와 관련된 특징을 선택하는 단계(S100)를 수행한다. 이후, 흐릿함 정도 평가기(100)는 다크 채널(Dark Channel Prior) 계산을 위한 입력 영상의 밝기 강조 단계(S200)를 수행한다. 이후, 흐릿함 정도 평가기(100)는 흐릿함 정도에 대한 수치를 계산하는 단계(S300)를 수행함으로써, 영상의 안개밀도를 추정할 수 있다.

도 5는 널리 사용되고 있는 안개가 있는 영상과 안개가 없는 영상을 포함하는 데이터 세트의 8개를 사용해서 다크 채널(Dark Channel Prior, DCP), 포화×값(Saturation×Value, SV), 선명도(Sharpness, Sh) 등과 같은 특징을 분석한 결과에 대해 나타낸 것으로, DCP, SV, Sh와 같은 특징으로 안개가 있는 영상과 안개가 없는 영상을 잘 분리할 수 있는 것을 보일 수 있다. 안개가 있는 영상의 경우는 큰 DCP 값, 작은 SV 값, 작은 Sh 값을 갖는 반면에, 안개가 없는 영상의 경우는 작은 DCP 값, 큰 SV 값, 큰 Sh 값을 갖는다. 이러한 결과적 특징에 따라 흐릿함 정도 평가기를 이용한 안개 밀도 추정 방법은 DCP, SV, Sh와 같은 특징을 통해서 영상의 안개 밀도 추정 방법에 대해 제시할 수 있다.

다음으로, 도 6은 안개와 관련된 특징 사이의 상관관계 표에 대해 나타낸 것이다. 앞서 언급했던 DCP, SV, Sh 뿐만 아니라 안개와 관련된 특징이 여러 개가 있다. 그 중에서 DCP, SV, Sh를 고른 이유는 안개와 관련된 특징 사이의 상관관계 분석을 통해 결정하였다. 도 3에서 수치가 1에 가까울수록 상관관계가 높다는 의미이다. DCP는 색조 차이(Hue Disparity)와 높은 상관관계를 갖는데 연산 복잡성을 고려하면 연산이 간단한 DCP를 고르는 것이 효율적이다. 이와 비슷하게 지역 대비(Local Contrast)는 선명도(Sharpness) 및 로컬 엔트로피(Local Entropy)와 상관관계를 갖는데 지역 대비(Local Contrast)와 로컬 엔트로피(Local Entropy)의 연산 또한 복잡하여 선명도(Sharpness)를 선택한다. 마지막으로 채도×명도(Saturation×Value)는 채도(Chroma), 채도의 변화(Variation of Chroma), 색상(Colorfulness)과 상관관계를 가지며 특징 추출을 위한 연산량을 고려하여 채도×명도(Saturation×Value)를 고른 이유가 될 수 있다.

도 7은 흐릿함 정도 평가기(100)에 의해 안개와 관련된 특징들을 고르는 과정을 나타낸 것이다. 도 5와 도 6에 언급했듯이 이러한 과정이 3단계로 구성된다. 첫째, 널리 사용된 안개가 있는 영상과 안개가 없는 영상을 갖는 데이터 세트를 수집하는 단계(S110), 둘째, 수집한 데이터 세트를 사용하여 종 9 개의 특징을 계산하는 단계(S120), 셋째, 특징 사이의 상관관계와 연산량을 고려함으로써 DCP, SV, Sh 등 3개의 특징을 선택하는 단계(S130)이다.

도 8은 DCP 계산 과정에서 밝기 강조를 위한 수학적 과정(S210 내지 S240)에 대해 나타낸 것이다. DCP 특징을 계산하는 경우, 밝기 강조를 위한 수학적 과정(S210 내지 S240)에 따라 입력 영상의 밝기를 강조하는 이유는 안개 유무를 효과적으로 판별할 수 있기 때문이다. 대표적인 코슈미더 법칙(Koschmieder Law)을 활용하여 복원 영상의 DCP는 입력 영상에 따른 함수로 표현할 수 있다.

도 9는 SV와 Sh 수식에 대해 나타낸 것이다. DCP와 비슷하게 복원 영상의 SV와 Sh는 Koschmieder Law으로 입력 영상에 따른 함수로 표현할 수 있다.

도 10은 영상의 흐릿함 정도에 대한 수치 계산에 대해 나타낸 것이다. 앞서 언급했던 3가지 특징(DCP, SV, Sh)을 사용해서 흐릿함 정도 평가기(100)가 목적함수를 생성하고 나서(S310), 목적함수를 최적화함으로써(S320), 영상의 안개 밀도와 반비례한 전달 맵을 계산한다(S330). 그 다음으로 흐릿함 정도 평가기(100)는 영상의 안개 밀도와 비례한 수치를 계산하기 위해서 먼저 전달 맵을 정상적인 범위에 제한하고, 1에서 제한된 전달 맵을 빼면 된다. 이러한 결과는 픽셀별로 연산되기 때문에 흐릿함 정도 평가기(100)가 흐릿함 정도에 대한 수치를 계산하려면 전체 영상의 평균을 구하면 된다(S340). 흐릿함 정도에 대한 수치 범위는 0부터 1까지이며, 1에 가까울수록 안개가 많다는 의미이다. 결론적으로 흐릿함 정도에 대한 수치를 사용하여 입력 영상의 안개 밀도를 추정할 수 있어 안개 유무 판단에 관한 연구에 큰 도움이 될 것이다.

도 11은 제안한 흐릿함 정도 평가기(100)에 대한 계산 흐름도이다. 입력 영상으로부터 영상의 안개 밀도 추정 수치와 해당하는 계산 과정도 표시하며, 또한 안개 유무 판단에 관한 예시도 나타내고 있다. 안개 유무 임계값인 0.8696은 8 개의 데이터 세트로 실험을 통해 정했으며, 0.8696을 임계값을 경계로 수치가 높으면 안개가 있다고 판단하고, 임계값보다 낮으면 안개가 없다고 판단할 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

100 : 흐릿함 정도 평가기
110 : 상관관계 및 특징 추출 연산 모듈
120 : 밝기 조절 모듈
130 : 목적함수 생성 모듈
140 : 수치 제공 모듈

Claims (6)

1. 안개 유무를 정확히 판단하기 위해, 안개가 있는 영상과 안개가 없는 영상을 포함하는 데이터 세트 수집단계, 수집한 데이터 세트로 안개와 관련된 특징 추출 단계, 상관관계 및 특징추출을 위한 연산량을 고려하여 다크 채널(Dark Channel Prior), 채도×명도(Saturation×Value) 및 선명도(Sharpness)를 선택하는 단계를 포함하되, 안개와 관련된 특징의 수를 줄이기 위한 상관관계 및 특징 추출 연산량을 고려하는 상관관계 및 특징 추출 연산 단계;
   선택한 특징 중의 DCP(Dark Channel Prior) 계산에서 입력 영상의 밝기를 강조하여, 안개 유무를 효과적으로 판별하기 위한 밝기 조절 단계;
   선택한 특징을 사용하여 목적함수를 생성하되, 다크 채널(Dark Channel Prior), 채도×명도(Saturation×Value) 및 선명도(Sharpness)를 사용하여 목적함수를 생성하는 것으로, 목적함수를 최적화함으로써 영상의 안개밀도와 반비례한 전달 맵을 계산하는 단계, 영상의 안개 밀도와 비례한 수치를 계산하기 위해서 전달 맵을 정상적인 범위로 제한하는 단계, 제한된 전달 맵에서 1을 빼는 단계를 수행하는 목적함수 생성 단계; 및
   목적함수를 최적화함으로써 흐릿함 정도 평가를 나타내는 수치 계산을 수행하는 수치 제공 단계;를 포함하는 것을 특징으로 하는 안개 밀도 추정 방법.
   
2. 삭제
3. 삭제
4. 삭제
5. 청구항 1에 있어서,
   상기 수치 제공 단계는,
   흐릿함 정도를 평가하는 수치 범위는 0부터 1이며, 1에 가까울수록 안개가 많다는 것을 의미하며, 이러한 흐릿함 정도에 대한 수치를 사용하여 입력 영상의 안개 밀도를 추정하는 특징으로 하는 안개 밀도 추정 방법.
   
6. 안개 유무를 정확히 판단하기 위해, 안개가 있는 영상과 안개가 없는 영상을 포함하는 데이터 세트 수집단계, 수집한 데이터 세트로 안개와 관련된 특징 추출 단계, 상관관계 및 특징추출을 위한 연산량을 고려하여 다크 채널(Dark Channel Prior), 채도×명도(Saturation×Value) 및 선명도(Sharpness)를 선택하는 단계를 포함하되, 안개와 관련된 특징의 수를 줄이기 위한 상관관계 및 특징 추출 연산량을 고려하는 상관관계 및 특징 추출 연산 모듈(110);
   선택한 특징 중의 DCP(Dark Channel Prior) 계산에서 입력 영상의 밝기를 강조하여, 안개 유무를 효과적으로 판별하기 위한 밝기 조절 모듈(120);
   선택한 특징을 사용하여 목적함수를 생성하되, 다크 채널(Dark Channel Prior), 채도×명도(Saturation×Value) 및 선명도(Sharpness)를 사용하여 목적함수를 생성하는 것으로, 목적함수를 최적화함으로써 영상의 안개밀도와 반비례한 전달 맵을 계산하는 단계, 영상의 안개 밀도와 비례한 수치를 계산하기 위해서 전달 맵을 정상적인 범위로 제한하는 단계, 제한된 전달 맵에서 1을 빼는 단계를 수행하는 목적함수 생성 모듈(130); 및
   목적함수를 최적화함으로써 흐릿함 정도 평가를 나타내는 수치 계산을 수행하는 수치 제공 모듈(140); 을 포함하는 것을 특징으로 하는 흐릿함 정도 평가기.

Images