KR20150002187A - Gaussian filtering 기반 영상의 안개제거 시스템 및 방법 - Google Patents

Abstract

본 발명은 Gaussian filtering 기반 영상의 안개제거 시스템 및 방법에 관한 것으로, 더욱 구체적으로는 카메라로 획득한 영상에서 안개를 효과적으로 제거하여 영상을 복원하되, 처리 속도를 개선하여 실시간 처리가 요구되는 영상 획득 장치에서 적용이 가능하다.

Description

Gaussian filtering 기반 영상의 안개제거 시스템 및 방법{System and method for image defogging based on gaussian filtering}

본 발명은 Gaussian filtering 기반 영상의 안개제거 시스템 및 방법에 관한 것으로, 더욱 구체적으로는 카메라로 획득한 영상에서 안개를 효과적으로 제거하여 영상을 복원하되, 처리 속도를 개선하여 실시간 처리가 요구되는 영상 획득 장치에서 적용이 가능한 Gaussian filtering 기반 영상의 안개제거 시스템 및 방법에 관한 것이다.

안개나 스모그가 끼어 있는 기상 상황이 안 좋은 상태에서 카메라로 영상을 획득 할 경우, 안개에 의한 빛 산란의 영향으로 영상은 본래의 색 정보를 잃어버리며, 촬영된 물체와 영상 입력 장치와의 거리차에 따라 안개의 농도가 변화함으로써 영상 전체에 불균일한 분포를 갖는 산란광 잡음이 포함된다.

이를 위해, 종래에는 dark channel prior를 이용하여 입력된 영상의 깊이 정보를 표현하고, matting 알고리즘에 의한 전달량 정련 과정을 수행함으로써 안개를 제거하고자 하였다.

그러나 matting 알고리즘은 계산량이 많아 실시간 처리를 요하는 카메라 시스템에 적용 하는 것이 어렵다는 문제가 있다.

한편 영상의 안개를 제거하기 위한 종래의 관련 기술로는 대한민국공개특허 제10-2010-0021952호 등이 있다.

본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위해 안출된 것으로, Gaussian filter를 이용하여 전달량 정련 과정을 수행함으로써 연산량을 감소시켜 효율적으로 영상에서 안개를 제거할 수 있는 Gaussian filtering 기반 영상의 안개제거 시스템 및 방법을 제공하는 데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명에 따른 Gaussian filtering 기반 영상의 안개제거 시스템은, 안개영상 원본을 입력받는 안개영상 입력부; 상기 안개영상 입력부에서 입력된 안개영상을 분석하여 Gaussian filtering 기반으로 안개 제거하는 영상분석부; 및 상기 영상분석부에서 안개성분이 제거된 복원영상을 생성하는 영상복원부;를 포함한다.

여기서, 상기 영상분석부는, 안개의 산란광 잡음이 포함된 상기 입력된 영상으로부터 입력 영상의 깊이 정보를 나타내는 다크 채널 프라이어를 생성하는 다크 채널 프라이어 생성부; 상기 생성된 다크 채널 프라이어 값을 기반으로 전달량을 계산하는 전달량 계산부; Gaussian filter를 통해 안개 전달량을 정련하는 전달량 정련부; 및 다크 채널 프라이어의 최상위 밝기 평균값을 사용하여 대기의 밝기를 계산하는 대기 밝기 계산부;를 포함할 수 있다.

한편 상기 목적을 달성하기 위한 본 발명에 따른 Gaussian filtering 기반 영상의 안개제거 방법은, 안개영상을 입력 받는 단계; 안개의 산란광 잡음이 포함된 상기 입력된 영상으로부터 입력 영상의 깊이 정보를 나타내는 다크 채널 프라이어를 생성하는 단계; 상기 생성된 다크 채널 프라이어 값을 기반으로 전달량을 계산하는 단계; Gaussian filter를 통해 안개 전달량을 정련하는 단계; 다크 채널 프라이어의 최상위 밝기 평균값을 사용하여 대기의 밝기를 계산하는 단계; 및 다크 채널 프라이어에 의해 생성된 전달맵을 기반으로 안개성분이 제거된 복원영상을 생성하는 단계;를 포함한다.

여기서, 상기 대기의 밝기를 계산하는 단계는, 다크 채널 프라이어의 밝기 0.1%에 해당하는 값의 평균을 이용할 수 있다.

또한, 상기 복원영상을 생성하는 단계는 아래의 수학식으로 산출될 수 있다.

[수학식 10]

(여기서, J(x)는 안개가 제거된 영상이고, I(x)는 입력된 안개영상이며, A는 대기의 밝기, t(x)는 전달량을 나타냄.)

본 발명에 따르면 영상의 안개제거 과정을 수행할 시 Gaussian filtering에 의해 전달량 정련을 수행하기 때문에, 기존의 matting 방법에 비하여 비약적인 계산 속도 향상 효과가 있으며, 이에 따라 실시간 처리를 요하는 카메라 시스템 등에 적용하는 것이 가능하다.

도1은 본 발명의 실시예에 따른 Gaussian filtering 기반 영상의 안개제거 시스템을 설명하기 위한 블록도.
도2는 본 발명의 실시예에 따른 Gaussian filtering 기반 영상의 안개제거 방법을 설명하기 위한 흐름도.
도3은 안개영상의 원본 예시를 나타낸 도면.
도4는 안개영상의 dark channel 예시를 나타낸 도면.
도5는 안개영상의 전달량 예시를 나타낸 도면.
도6은 dark channel prior에 의해 후과 효과가 발생한 안개 제거 영상의 예시를 나타낸 도면.
도7은 dark channel prio에 의한 전달량의 예시를 나타낸 도면.
도8은 matting 알고리즘을 적용하였을 시의 영상 예시를 나타낸 도면.
도9는 Gaussian filter에 의한 전달량 정련의 예시를 나타낸 도면.
도10은 Gaussian filtering에 의한 전달량 정련에 의해 복원된 안개 제거 영상의 예시를 나타낸 도면.

이하에서는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 다만 발명의 요지와 무관한 일부 구성은 생략 또는 압축할 것이나, 생략된 구성이라고 하여 반드시 본 발명에서 필요가 없는 구성은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 결합되어 사용될 수 있다.

도1은 본 발명의 실시예에 따른 Gaussian filtering 기반 영상의 안개제거 시스템을 설명하기 위한 블록도이고, 도2는 본 발명의 실시예에 따른 Gaussian filtering 기반 영상의 안개제거 방법을 설명하기 위한 흐름도이다. 이하에서는 도1 및 도2에 도시된 본 발명의 실시예에 따른 Gaussian filtering 기반 영상의 안개제거 시스템 및 방법을 동시에 설명토록 한다.

설명에 앞서 한장의 영상을 이용하여 안개를 제거하기 위해서는 안개 모델링식을 이용해야 하는데, 안개 낀 영상의 모델링은 Narasimhan 등이 처음 제안한 알고리즘에서 사용되는 아래의 모델링 식을 사용한다.

여기서 I(x)는 획득된 영상이고, J(x)는 복원영상, A는 영상의 안개 값, t(x)는 전달량(transmission)으로 I(x)와 J(x)의 비율을 나타낸다. 따라서 획득된 영상으로부터 A, t(x)를 구하고, J(x)를 복원할 수 있다.

본 발명의 실시예에 따른 Gaussian filtering 기반 영상의 안개제거 시스템은 안개영상 입력부(10), 영상분석부(20) 및 영상복원부(30)를 포함한다.

안개영상 입력부(10)는 안개성분의 제거 대상이 될 안개영상을 확보<S205>하기 위해 마련된다. 안개영상 입력부(10)를 통해 확보된 안개영상 원본의 예시가 도3에 도시되어 있다.

영상분석부(20)는 안개영상 입력부(10)에서 확보된 안개영상을 복원하기 위해 Gaussian filtering을 이용하여 영상을 분석하기 위해 마련된다. 이러한 영상분석부(20)는 다크 채널 프라이어 생성부(21), 전달량 계산부(22), 전달량 정련부(23) 및 대기 밝기 계산부(24)를 포함한다.

다크 채널 프라이어 생성부(21)는 안개 등의 산란광 잡음이 포함된 입력 영상으로부터 입력 영상의 깊이 정보를 나타내는 다크 채널 프라이어를 생성<S210>하기 위해 마련된다. 다크 채널 프라이어(Dark channel prior) 기법은 다양한 영상의 통계 관측을 위해 사용되는 방식이다. 안개가 없고 다채로운 색상을 가지는 야외 영상의 특성상 일정 영역(mask) 내의 한 픽셀 중에서, 어떤 하나의 컬러 채널(RGB 기준)은 대부분 0에 가까운 어두운 채널 값을 가지는데, 이를 dark channel이라 지칭하며, 식으로 표현하면 다음과 같다.

여기서 Jdark는 dark channel, Jc는 영상의 한 픽셀에서 컬러 채널을 의미하며, Ω(x)는 점 x를 중심으로 한 일정 영역(mask)을 의미한다.

관측에 의해 안개가 없고 다채로운 색상을 가지는 야외 영상에서는 대부분의 채널 값들이 0의 값을 가지므로, 이를 dark channel prior라 하고 다음과 같이 가정할 수 있다.

안개영상의 dark channel 예시를 나타낸 도4를 참조하면, 안개가 짙고 거리가 먼 영역에서 dark channel은 밝은 값을 가지며, 안개가 짙어질수록 일정 영역(mask) 내에서의 컬러 채널 중 가장 어두운 채널 값이 밝아지므로 dark channel 또한 밝은 값을 가지게 된다.

전달량 계산부(22)는 다크 채널 프라이어값을 기반으로 전달량을 계산<S215>하기 위해 마련된다. 전달량을 구하는 수식은 안개 영상 모델링식에 dark channel을 적용하여 아래와 같이 정리 가능하다.

수학식 4에서 dark channel prior로 우변을 정리할 수 있는데

이므로 우변의 J가 들어간 항을 0으로 놓을 수 있다. 따라서 dark channel prior를 적용해 정리하면 다음과 같다.

여기서 전달량 t(x)는 안개 영상 I(x)를 대기의 밝기 A로 나눈 뒤 dark channel을 적용한 것을 1에서 뺀 것과 같고, 그 전달량은 도5와 같이 나타낼 수 있다.

전달량 정련부(23)는 Gaussian filter을 통해 전달량 정련을 수행<S220>하기 위해 마련된다.

전달량은 블록단위로 계산되기 때문에 영상과 일치하지 않은 블록 현상(후광현상)이 나타난다. dark channel prior에 의한 안개 제거 영상, 즉 후광효과가 발생한 영상의 예시가 도6에 도시되어 있고, dark channel prior에 의한 전달량의 예시가 도7에 도시되어 있다.

이 블록 현상을 제거하기 위해 정련 과정을 거치게 되는데, 통상적으로는 안개 모델링 식과 matting 식의 유사점을 이용하여, matting 방법을 적용한다. matting 기법과 안개 영상의 모델링은 매우 흡사하기 때문에 전달량 t(x)를 tri-map이라고 가정하면, 전달량을 입력 영상의 edge 정보에 맞게 정련할 수 있다. Evin 등이 제안한 matting 기법은 영상의 픽셀 수가 N×M인 경우 (N×M)×(N×M) 사이즈의 Laplacian matting 행렬을 사용하기 때문에 연산량이 많아 실시간 응용 시스템에는 적용이 불가능하다. matting 알고리즘을 적용한 결과에 대한 예시가 도8에 도시되어 있다.

Gaussian filter는 영상을 부드럽게 하기 위한 저역 통과 필터의 일종으로 자연 현상을 가장 잘 표현하는 함수식 중 하나이다. 1차원 Gaussian 분포를 식으로 나타내면 아래와 같다.

여기서 σ는 값의 분포를 결정짓는 표준편차를 의미하고, μ는 평균값을 의미한다. 일반적으로 μ=0, σ²=1을 정규분포라고 부른다.

2차원 Gaussian 함수의 수식은 다음과 같다.

2차원 Gaussian 함수의 maxk size를 9×9라고 가정하면 영상의 모든 픽셀에 대해서 9×9 filter를 mask 연산해야 하기 때문에 연산량이 상당하다. 따라서 연산량 감소를 위해 아래의 수학식과 같이 2차원 Gaussian 함수를 1차원 Gaussian 함수의 곱으로 분할하여 사용한다.

기존의 dark channel 알고리즘의 단점인 속도를 개선시키기 위해 전달량 정련 과정에서 기존의 matting 방법이 아닌 Gaussian filtering에 의해 전달량 정련을 하므로 비약적인 계산 속도 향상을 확인할 수 있다. Gaussian filter에 의한 전달량 정련의 예시가 도9에 도시되어 있고, Gaussian filtering에 의한 전달량 정련에 의해 복원된 안개 제거 영상의 예시가 도10에 도시되어 있다.

대기 밝기 계산부(24)는 dark channel prior의 밝기 0.1%에 해당하는 값의 평균을 사용하여 대기의 밝기를 계산<S225>한다.

입력 영상에서 단순히 밝은 값을 대기의 값을 정했을 때, 실제 대기 영역이 선택되지 않을 수 있지만, 이 입력 영상의 dark channel을 살펴보면 실제 대기의 영역이 아닌 다른 영역들은 실제 대기 영역보다 어두움을 알 수 있다. 이를 통해서 정확한 대기의 밝기를 계산할 수 있는데, 이때 최종적인 대기의 밝기 값은 dark channel에서 가장 밝은 상위 0.1%의 평균으로 가정한다.

이를 수식으로 정리하면 아래와 같다.

여기서 x는 카메라로부터 피사체까지의 거리이며, I(x)는 안개 영상(입력 영상), A는 대기의 밝기, t(x)는 전달량, J(x)는 안개가 제거된 영상(출력 영상)이다.

전달량이 너무 작은 값을 가지면, 안개 제거 영상은 매우 큰 노이즈를 가질 수 있으므로, 임계값을 주어서 노이즈를 억제할 필요가 있다. 이를 적용한 최종 수식은 아래와 같다.

영상복원부(30)는 다크 채널 프라이어에 의해 생성된 전달맵을 기반으로 안개성분이 제거된 복원영상을 생성<S230>하기 위해 마련되며, Gaussian filtering에 의한 전달량 정련에 의해 복원된 안개 제거 영상의 예시가 도10에 도시되어 있다.

대기 밝기 계산과 Gaussian filtering에 의한 전달량 정련에 의해 복원된 안개 제거 영상을 출력

이상에서 설명한 바와 같이 본 발명에 따른 Gaussian filtering에 의한 전달량 정련에 의해 복원된 안개 제거 영상의 예시가 도10에 도시되어 있다.

이상에서 상세히 설명한 바와 같이 본 발명에서는 Gaussian filtering에 의해 전달량 정련을 수행하기 때문에 기존의 matting 방법에 비하여 비약적인 계산 속도 향상 효과가 있으며, 이에 따라 실시간 처리를 요하는 카메라 시스템 등에 적용하는 것이 가능하다.

상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면, 본 발명의 사상과 범위 안에서 다양한 수정, 변경 및 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 본 발명의 특허청구 범위에 속하는 것으로 보아야 할 것이다.

10 : 안개영상 입력부
20 : 영상분석부
21 : 다크 채널 프라이어 생성부
22 : 전달량 계산부
23 : 전달량 정련부
24 : 대기 밝기 계산부
30 : 영상복원부

Claims (5)

1. 안개영상 원본을 입력받는 안개영상 입력부;
   상기 안개영상 입력부에서 입력된 안개영상을 분석하여 Gaussian filtering 기반으로 안개 제거하는 영상분석부; 및
   상기 영상분석부에서 안개성분이 제거된 복원영상을 생성하는 영상복원부;를 포함하는 것을 특징으로 하는 Gaussian filtering 기반 영상의 안개제거 시스템.
   
2. 제1항에 있어서,
   상기 영상분석부는,
   안개의 산란광 잡음이 포함된 상기 입력된 영상으로부터 입력 영상의 깊이 정보를 나타내는 다크 채널 프라이어를 생성하는 다크 채널 프라이어 생성부;
   상기 생성된 다크 채널 프라이어 값을 기반으로 전달량을 계산하는 전달량 계산부;
   Gaussian filter를 통해 안개 전달량을 정련하는 전달량 정련부; 및
   다크 채널 프라이어의 최상위 밝기 평균값을 사용하여 대기의 밝기를 계산하는 대기 밝기 계산부;를 포함하는 것을 특징으로 하는 Gaussian filtering 기반 영상의 안개제거 시스템.
   
3. 안개영상을 입력 받는 단계;
   안개의 산란광 잡음이 포함된 상기 입력된 영상으로부터 입력 영상의 깊이 정보를 나타내는 다크 채널 프라이어를 생성하는 단계;
   상기 생성된 다크 채널 프라이어 값을 기반으로 전달량을 계산하는 단계;
   Gaussian filter를 통해 안개 전달량을 정련하는 단계;
   다크 채널 프라이어의 최상위 밝기 평균값을 사용하여 대기의 밝기를 계산하는 단계; 및
   다크 채널 프라이어에 의해 생성된 전달맵을 기반으로 안개성분이 제거된 복원영상을 생성하는 단계;를 포함하는 것을 특징으로 하는 Gaussian filtering 기반 영상의 안개제거 방법.
   
4. 제3항에 있어서,
   상기 대기의 밝기를 계산하는 단계는, 다크 채널 프라이어의 밝기 0.1%에 해당하는 값의 평균을 이용하는 것을 특징으로 하는 Gaussian filtering 기반 영상의 안개제거 방법.
   
5. 제3항에 있어서,
   상기 복원영상을 생성하는 단계는 아래의 수학식으로 산출되는 것을 특징으로 하는 Gaussian filtering 기반 영상의 안개제거 방법.
   [수학식 10]
   

   

   
   (여기서, J(x)는 안개가 제거된 영상이고, I(x)는 입력된 안개영상이며, A는 대기의 밝기, t(x)는 전달량을 나타냄.)

Images