KR101568971B1

KR101568971B1 - 화상 및 동영상에서 안개를 제거하는 방법 및 시스템

Info

Publication number: KR101568971B1
Application number: KR1020137033629A
Authority: KR
Inventors: 수딥타 무크호파드해이; 아브히쉐크 쿠마르 트리파티
Original assignee: 인디안 인스티튜트 오브 테크놀로지, 카라그푸르
Priority date: 2011-08-03
Filing date: 2012-02-02
Publication date: 2015-11-13
Also published as: US9197789B2; EP2740100A1; WO2013018101A1; US20140140619A1; KR20140042816A

Abstract

본 발명은 안개의 농도 또는 양에 무관하게 그리고 사용자 개입 없이 화상/동영상에서 안개를 제거하는 방법, 그리고 화상/동영상에서 안개를 제거하는 상기 방법을 수행하는 시스템에 관한 것이다. 안개현상이 있는 화상 및 동영상을 복구하기 위하여 대기광 추정 및 대기광 맵 개선 방식에 기반한 화상 및 동영상 복구를 이용한다. 장점으로서, 본 발명의 화상 및 동영상에서의 안개 제거는 실행 시간이 짧게 소요되고, 노이즈가 적으며 콘트라스트가 향상된 높은 지각 화질을 달성한다. 본 제안 방법은 RGB 컬러 모델에 적용되며, 또한 HSI 컬러 모델에도 적용할 수 있는 이점이 있어서 연산량이 줄어들며 사용자 친화적이고 광범위한 응용 및 사용에 제공될 수 있다.

Description

화상 및 동영상에서 안개를 제거하는 방법 및 시스템{METHOD AND SYSTEM FOR REMOVAL OF FOG, MIST OR HAZE FROM IMAGES AND VIDEOS}

본 발명은 안개의 농도 또는 양에 무관하게 그리고 사용자의 개입없이 화상 및 동영상으로부터 안개 현상을 제거하는 방법, 그리고 화상 및 동영상에서 안개 현상을 제거하는 상기 방법을 수행하는 시스템에 관한 것이다. 특히, 본 발명은 대기광 추정(airlight estimation) 및 대기광 맵 개선(airlight map refinement) 방식에 기반하여 안개현상이 있는 화상 및 동영상을 복구하는 것을 포함하는, 화상 및 동영상에서 안개를 제거하기 위한 방법 및 시스템에 관한 것이다. 본 발명에 따른, 화상 및 동영상으로부터의 안개 제거는 실행 시간이 짧으며, 또한, 노이즈가 적고 콘트라스트가 향상된 높은 지각 화질(perceptual quality of image)을 달성한다. 본 방법 및 이를 수행하기 위한 시스템은 짙은 안개의 경우에도 효과적이며, 동영상의 인코딩 또는 디코딩과 동시에도 안개 제거를 실시간으로 실시가능함으로써, 사용자 친화적이고 광범위한 응용 및 사용에 제공될 수 있다.

빈약한 시인성(visibility)은 지각 화질을 저하시킬 뿐만 아니라 컴퓨터 비전 알고리즘(감시, 사물 검출, 추적, 분할 등)의 성능도 저하시킨다. 빈약한 시인성은 공기 중에 있는 물방울에 의해 발생되는 안개, 연무, 박무 등(fog, mist, haze)과 같은 악천후 시에 일어난다. 이들의 물방울은 매우 작으며(1∼10μm)[K.Garg and S.K.Nayar, ＼Vision and Rain", International Journal of Computer Vision, Vol.75, No.1, pp.3-27, 2007], 계속해서 공기 중에 떠 있다. 안개, 연무, 박무 등의 존재로 인해서, 빛은 카메라에 도달하기 전에 대기 중에서 산란된다. 이하, 안개, 연무, 박무 등을 총칭하여 '안개'라 부르기로 한다. 산란의 원인이 되는 두 가지 기본적인 현상은, 감쇠(attenuation) 및 대기광(airlight)이다. 피사체 장면으로부터의 광선은 대기를 지나오면서 대기중의 입자에 의해 산란됨으로써 약화되는데, 이 현상을 감쇠라고 부른다. 이 감쇠에 의해서 장면의 콘트라스트가 감소된다. 한편, 광원으로부터의 빛은 카메라를 향해 오면서 산란되어 색을 변화시킨다. 이 현상을 대기광이라고 한다. 대기광 현상은 피사체와의 거리에 따라 증가한다. 안개 현상은 카메라와 피사체 사이의 거리의 함수인 것으로 알려져 있다. 따라서 안개의 제거를 위해서는 심도 맵(depth map) 또는 대기광 맵(airlight map)의 추정이 필요하다. 입력 화상이 한 장의 안개 낀 화상 뿐인 경우에는 심도 맵의 추정은 제약을 받게 된다. 일반적으로 심도의 추정에는 두 개의 화상이 필요하다. 따라서 다수의 화상을 사용하는 많은 방법들이 제안되어 있다. Schechner 등은 편광에 기초한 방법을 제안하였다[Y.Y.Schechner, S.G.Narasimhan, and S.K.Nayar, ＼Instant dehazing of images using polarization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 325-332, 2001]. 이 방법은 다른 편광도를 갖는 두 개 이상의 화상을 사용하여 안개를 제거한다. 그러나 이 방법은 기존의 데이터베이스에는 적용할 수 없다. 지난 몇 년간, 하나의 화상을 사용하여 안개를 제거하는 많은 알고리즘들이 제안되었다.

Fattal은 독립 성분 분석(ICA: independent component analysis)을 기반으로하는 방법을 제안하였다[R.Fattal, ＼Single image dehazing", International Conference on Computer Graphics and Interactive Techniques archive ACM SIGGRAPH, pp.1-9, 2008]. 이 방법은 흐릿한 장면에서의 광 투과를 추정한다. 이 추정을 이용하여, 산란된 광을 제거하여 장면의 시인성을 향상시키고 장면 콘트라스트를 복구한다. 여기서의 복원(restoration)은 색 정보에 기초하기 때문에 이 방법은 그레이 화상에는 적용할 수 없다. 이 방법은 진하게 안개현상이 있는 경우에는 실패하게 되는데 그 이유는 진한 안개는 대부분 색상이 없기 때문이다.

Tan은 한 장의 컬러 또는 그레이스케일 화상로부터의 공간 정규화(spatial regularization)를 기반으로 하는 방법을 제안하였다[R.T.Tan, ＼Visibility in bad weather from a single image", IEEE conference on Computer Vision and Pattern Recognition, pp.1-8, 2008]. 여기서는 화상의 국지적 콘트라스트를 최대화하여 안개를 제거하지만, 복원된 화상은 채도가 과잉되어 나타난다(over-saturated).

Kopf 등은 장면의 3D 모델을 사용하는 것에 기반하는 방법을 제안하였다[J.Kopf, B.Neubert, B.Chen, M.Cohen, D.Cohen-Or, O.Deussen, M.Uyttendaele, and D.Lischinski, ＼Deep photo. Model-based photograph enhancement and viewing", ACM Transactions on Graphics, Vol.27, No.5, pp.116:1-116:10, 2008]. 이 방법은 응용에 따라 달라지며, 전문가와의 상호작용(인터랙션)을 필요로 한다.

He 등은 하나의 컬러 또는 그레이스케일 화상로부터의 윤제거(matting) 및 다크채널프라이어(dark channel prior)에 기반한 방법을 제안한다[K.He, J.Sun, and X.Tang, ＼Single image haze removal using dark channel prior", IEEE International Conference on Computer Vision and Pattern Recognition, pp.1956-1963, 2009]. 그러나 장면 피사체가 대기광과 유사한 정도로 밝은 경우에는, 이 알고리즘에 의한 추정이 유효하지 않게 된다.

Tarel 등은 신속한 가시성 복원 알고리즘을 제안하였다[J.P.Tarel and N.Hautiere, ＼Fast visibility restoration from a single color or gray level image", IEEE International Conference on Computer Vision, pp.2201-2208, 2009]. 이 방법은 백색도(whiteness)의 국지적 표준편차와 국지적 평균 간의 백분율로써 대기광을 추정한다. 이 방법은 선형 동작을 기반으로 하지만, 최적의 결과를 위해서 조절해야 할 파라미터가 많이 필요하다.

이와 같이 여러 대의 카메라가 촬영한 화상, 즉, 입체 화상에서 안개를 제거하는 시스템이 존재함은 분명하다. 그리고 한 대의 카메라를 사용하여 동일한 작업을 수행하는 시스템도 또한 존재함이 분명하다. 그러나, 동영상으로부터 안개를 제거하기 위한 기존 시스템은 없다. 본 발명은 한 대의 카메라를 사용하여 화상뿐만 아니라 동영상으로부터도 안개를 제거하는 방법 및 시스템을 제공함으로써, 비용 및 연산량을 절감한다.

따라서 본 발명의 기본 목적은, 지각 화질(perceptual image quality)을 향상시키기 위하여 대기광 추정 기법을 사용하여 화상 뿐만 아니라 동영상으로부터 안개를 제거하는 분야에서의 사용자 친화적이며 어떠한 사용자 개입도 필요치 않은 기술적 진보를 이루고자 하는 것이다.

본 발명의 다른 목적은 RGB 및 그레이 화상/동영상 모두에 대해서 지각 화질을 효과적으로 향상시키는, 화상 및/또는 동영상으로부터 안개 현상을 제거하는 방법 및 시스템을 제공하는 것이다.

본 발명의 다른 목적은 RGB 컬러 모델에 적용될 수 있으며, 연산에 관한 요구조건이 적은 HIS 컬러 모델에 유리하게 적용될 수 있는, 화상 및/또는 동영상으로부터 안개 현상을 제거하는 방법 및 시스템을 제공하는 것이다.

본 발명의 또 다른 목적은, 짙은 안개의 경우에도 지각 화질을 효과적으로 향상시키는, 화상 및/또는 동영상으로부터 안개 현상을 제거하는 방법 및 시스템을 제공하는 것이다.

본 발명의 또 다른 목적은, 특정 심도에서의 복원 화질에 집중하는데 필요한 큰 유연성을 제공하며 안개에 의해서 화질이 저하되지 않은 화상의 복원에도 효과적으로 적용가능한, 화상 및/또는 동영상으로부터 안개 현상을 제거하는 방법 및 시스템을 제공하는 것이다.

본 발명의 또 다른 목적은, 콘트라스트 보강 중에 노이즈가 제한되도록 사용되는, 화상 및/또는 동영상으로부터 안개 현상을 제거하는 방법 및 시스템을 제공하는 것이다.

본 발명의 또 다른 목적은, 단순하고 비용효율적이며, 높은 지각 화질을 만드는 장점을 갖는, 화상 및/또는 동영상으로부터 안개 현상을 제거하는 방법 및 시스템을 제공하는 것이다.

본 발명의 다른 목적은, 특히, 특징 정보를 사용하는 각종 컴퓨터 비전 알고리즘, 가령, 사물 검출, 추적, 분할, 및 인식 알고리즘의 성능에 조력할 수 있는, 화상 및/또는 동영상으로부터의 안개 제거 방법 및 시스템을 제공하는 것이다.

본 발명의 또 다른 목적은, 각종 휴대용 임베디드 시스템용으로 실시할 수 있는 화상 및/또는 동영상으로부터의 안개 제거 방법 및 시스템을 제공하는 것이다.

본 발명의 다른 목적은, 시각적 표시를 이용하는 네비게이션 시스템, 전자 제품, 연예 산업, 및 영화 제작 등의 다양한 응용에서 실시할 수 있는 장점을 갖는, 화상 및/또는 동영상으로부터의 안개 제거 방법 및 시스템을 제공하는 것이다.

본 발명의 기본적인 특징은,

(a) 안개현상이 있는 화상을 균등화(equalize)하여 콘트라스트를 증가시키기 위한 히스토그램 균등화를 수행;

(b) 안개현상이 있는 화상/동영상의 대기광 맵(airlight map)을 생성;

(c) 이방성 확산(anisotropic diffusion) 및/또는 양방향 필터링(bilateral filtering)을 적용하여 대기광 맵을 개선(refine); 그리고

(d) 상기 개선된 대기광 맵에 근거하여 안개현상이 있는 화상을 복원하고, 선택사항으로서 필요 시에, 복원된 화상의 콘트라스트가 낮을 경우에는 이 복원된 화상의 히스토그램 확장(histogram stretching)을 수행하는 것을 포함하는, 화상 및/또는 동영상에서 안개를 제거하는 방법에 관한 것이다.

위의 방법에서, 상기 화상 및/또는 동영상에는, 다중성분 컬러 화상/동영상(RGB가 포함됨), HSI(hue, saturation, intensity) 화상/동영상, 그리고/또는 단일 성분 화상/동영상(그레이가 포함됨)이 포함된다.

본 발명의 다른 특징은, 개선된 대기광 맵 A가 추정된 후에 안개가 제거된 화상의 각 색 성분의 복원을 아래 식

에 따라 수행하는, 화상 및/또는 동영상에서 안개를 제거하는 방법에 관한 것이다.

여기서, c ∈ (r,g,b), I₀(x,y,c)는 안개가 없는 화상의 명도(intensity), I(x,y,c)는 화소 (x,y)에서 관측되는 화상 명도, I_∞(c)는 지구 대기상수 또는 하늘 명도(sky intensity)이며, 인수 q=k₁/k₂는 특정 심도(depth)에서의 복원을 강화시키며, k₁, k₂는 흡광계수이다.

본 발명의 또다른 특징은, 개선된 대기광 맵 A가 추정된 후에, 안개는 색상에는 영향을 주지 않기 때문에, 채도 및 명도 평면에 대해서만 수행되는 과정을 이용하여 HSI(hue, saturation, intensity) 컬러 모델에 근거한 복원을 아래 식

에 따라 수행하여 연산량을 감소시키는, 화상 및/또는 동영상에서 안개를 제거하는 방법에 관한 것이다.

여기서, S₁₀는 안개현상이 없을 때의 채도, S₁은 안개현상이 있는 화상의 채도, A(x,y)는 화소 (x,y)에서의 대기광, min(I(x,y))는 화소 (x,y)에서의 안개현상이 있는 화상의 최소 화상 명도, I_int(x,y)는 [R,G,B]를 대표하는 컬러 벡터 I(x,y)의 명도 성분(R, G, B의 평균치)이다.

본 발명의 또 다른 특징은, 상기 대기광 맵이 이방성 확산에 의해서 반복적으로 추정되거나, 또는 비반복적 양방향 필터에 의해 추정되는, 화상 및/또는 동영상에서 안개를 제거하는 방법에 관한 것이다.

본 발명의 또 다른 특징은, 이방성 확산 또는 양방향 필터에 의한 상기 대기광의 추정은 영역 내부의 평활화(smoothing)를 실행함으로써 수행되고, 윤곽(edge)은 매우 오랜 시간 동안 안정되게 유지됨으로써, 윤곽일 가능성이 더 큰 위치에서의 확산도를 감소시키기 위해 적용되는 단일 프로세스에 의해 확산 및 윤곽 검출이 수행되는, 화상 및/또는 동영상에서 안개를 제거하는 방법에 관한 것이다.

본 발명의 또 다른 특징은, 상기 안개현상이 있는 화상에서 추정되는 대기광 맵은 카메라와 장면 간의 거리에 의존하는, 화상 및/또는 동영상에서 안개를 제거하는 방법에 관한 것이다.

본 발명의 또 다른 특징은, 원하는 심도에서의 화질에 중점을 둘 수 있는 유연성을 포함하되, 여기에는, 복원된 화상의 보여지는 화질을 제어하기 위하여 사용되는 상기 인수 'q'가 포함되는데, q가 낮은 값일 때에는(q<1) 심도가 낮은 피사체가 더 많이 개선되고, q가 높은 값이면(q>l) 더 멀리 있는 화상이 더 많이 개선되는, 화상 및/또는 동영상에서 안개를 제거하는 방법에 관한 것이다.

본 발명의 또 다른 특징은, 감쇠 및 대기광 별로 다른 흡광계수(k₁및 k₂)가 사용되는, 화상 및/또는 동영상에서 안개를 제거하는 방법에 관한 것이다.

본 발명의 또 다른 특징은, I 프레임은 공간적으로 인코딩(spatial encoding)되고 P 및/또는 B 프레임은 움직임 벡터(motion vector)를 이용하여 시간적으로 코딩(temporal coding)되는 시간중복성(temporal redundancy)을 이용하는 것을 포함하는, 동영상에서 안개를 제거하는 방법에 관한 것이다.

본 발명의 또 다른 특징은, I 프레임에 대한 대기광은 이방성 확산을 포함한 적합한 방법에 의해 추정되고, P 및/또는 B 프레임에 대한 대기광은 사전에 계산된 움직임 벡터를 이용하여 추정되는, 동영상에서 안개를 제거하는 방법에 관한 것이다.

본 발명의 또 다른 특징은, 3D로부터 2D로의 매핑에 근원한, 실제 움직임(real motion), 유한 조리개(finite aperture), 움직임 불연속(motion discontinuities), 및 시간적 불연속(temporal discontinuities)의 부정확성에 대해서 움직임 벡터를 조정하는 단계가 포함되는, 동영상에서 안개를 제거하는 방법에 관한 것이다.

본 발명의 또 다른 특징은, 프레임 레이트(frame rate)가 높고 장면과 카메라 사이의 상대적 움직임이 적고, 구성 프레임들 간의 시간적 상관 관계가 높은 경우에, 보다 신속한 연산을 위해서 고려 대상 프레임의 대기광의 추정을 위해 이전 프레임의 대기광 맵을 사용하는, 동영상에서 안개를 제거하는 방법에 관한 것이다.

본 발명의 다른 특징은, 위에 기재된 방법에 따른 화상 및/또는 동영상에서 안개를 제거하는 시스템에 관한 것으로서, 이 시스템은,

(a) 안개현상이 있는 화상을 균등화하여 콘트라스트를 증가시키기 위한 히스토그램 균등화를 수행하는 수단;

(b) 안개현상이 있는 화상의 대기광 맵을 생성하는 수단;

(c) 이방성 확산 및/또는 양방향 필터링을 적용하여 대기광 맵을 개선하는 수단; 그리고

(d) 상기 개선된 대기광 맵에 근거하여 안개현상이 있는 화상을 복원하고, 선택사항으로서, 필요 시에, 복원된 화상의 콘트라스트가 낮을 경우에 복원된 화상의 히스토그램 확장을 수행하는 수단을 포함한다.

본 발명에 따르면 다음과 같은 효과를 발휘한다.

이와 같이 화상 및/또는 동영상에서 안개를 제거하는 바람직한 상기 방법에 관한 본 발명은 종래 기술에서 진일보한 것이며 다음과 같은 장점을 갖는다.

(a) 화상 뿐만 아니라 동영상에서도 안개를 제거할 수 있다.

(b) 동영상의 안개 제거를 위하여 기존의 모든 안개 제거 기법에 적용할 수 있다.

(c) 컬러 및 그레이스케일 화상/동영상 모두에 적용할 수 있다.

(d) 동영상의 전처리 및 후처리에 적용할 수 있다.

(e) 특정 심도에서의 복원 품질에 중점을 둘 수 있는 원하는 유연성을 제공해준다.

(f) HSI 색 공간에 대해서도 사용할 수 있어서, 색 충실도를 유지하고 연산량을 크게 감소시킨다.

(g) 안개에 의해 화질이 저하되지 않은 화상의 복원에도 사용할 수 있다.

(h) 특징 정보를 사용하는 각종 컴퓨터 비전 알고리즘, 가령, 사물 검출, 추적, 분할, 및 인식 알고리즘 등의 성능을 향상시킬 수 있다.

(i) 휴대용 임베디드 시스템을 위한 실시간 응용에 적합하다.

(j) 시각적 표시를 이용한 네비게이션 시스템, 전자 제품, 연예 산업, 및 영화 제작 등에 응용할 잠재력을 갖는다.

이하, 본 발명에 대해서 다음과 같은 첨부도면에 따라 한정적이지 않고 예시적인 도시를 통해서 보다 상세하게 설명한다.
도 1은 본 발명의 화상의 안개 제거 방법의 개략적인 블록도이다.
도 2는 표면의 밝기 분포를 나타낸 것으로서, (a)는 이방성 확산의 이전, (b)는 이후, 그리고 (c)는 양방향 필터링 이후를 나타낸다.
도 3은 대기광 맵 추정을 나타내는 것으로서, (a)는 원본의 안개현상이 있는 화상, (b)는 이방성 확산을 이용한, (c)는 양방향 필터링을 이용한 대기광 맵에 해당된다.
도 4는 본 발명의 동영상에 대한 안개 제거 알고리즘의 개략 블록도이다.
도 5는 (a) 원본의 안개낀 'lonavala 01' 화상, (b) 제안 1 알고리즘에 의해 복원된 'lonavala 01' 화상, (c) 제안 2 알고리즘에 의해 복원된 'lonavala 01' 화상, (d) 원본의 안개낀 'lonavala 02' 화상, (e) 제안 1 알고리즘에 의해 복원된 'lonavala 02' 화상, (f) 제안 2 알고리즘에 의해 복원된 'lonavala 02' 화상, (g) 원본의 안개낀 'yellow mountain' 화상, (h) 제안 1 알고리즘에 의해 복원된 'yellow mountain' 화상, (i) 제안 2 알고리즘에 의해 복원된 'yellow mountain' 화상을 나타낸다.
도 6은 (a)∼(c) 'fogiitcampusOl' 동영상의 3개 프레임, (d)∼(f) 제안 1 알고리즘에 의해 상기 해당 프레임에서 안개가 제거된 것을 나타낸다.

본 발명은 특히, 두 가지 산란 현상, 즉, 대기광(airlight) 및 감쇠(attenuation)를 처리하여 화상 및/또는 동영상에서 안개를 효과적으로 제거하기 위한 효율적인 안개 제거 방법 및 시스템에 관한 것이다. 중요한 것은, 본 발명은 이방성 확산(anisotropic diffusion) 또는 양방향 필터링(bilateral filtering) 중 하나를 이용하는, 프레임 내에서의 대기광을 추정하는 방법의 개량을 통하여, 화상 및/또는 동영상으로부터의 안개 제거의 문제를 해결한다. P 프레임 및 B 프레임에 대해서 대기광 추정은 기준 프레임(reference frame)으로부터 유도될 수 있다. 본 발명에서 제안하는 방법은 RGB 및 그레이 스케일의 화상/동영상에 적용될 수 있다. 본 방법 및 이를 수행하기 위한 시스템은 짙은 안개의 경우에서도 효과적이다. 본 발명은 짧은 시간에 안개현상이 있는 화상을 크게 개선할 수 있도록 적용되며, 동영상의 인코딩 또는 디코딩과 동시에 실시간으로 안개를 제거하는 구현을 위한 길을 닦아준다. 본 발명의 시스템 및 방법은 화상에서 안개를 제거하기 위하여, 그리고 최초로 동영상에서 안개를 제거하기 위하여 한 대의 카메라 방식을 이용하며 동영상의 시간중복성(temporal redundancy characteristics)을 이용하여 화질을 개선한다. 본 발명의 시스템 및 방법은 HSI 색공간(color space)에 유용하게 사용할 수 있다. HSI 색공간의 사용에 의해 복잡도가 한층 감소되며 색상 충실도가 유지된다.

본 발명에 따르면, 안개의 감쇠는 다음과 같이 표현된다.

여기서, I_att(x,y)는 안개가 있는 화소 (x,y)에서 감쇠된 화상 명도(intensity)(그레이레벨 또는 RGB)이고, I₀(x,y)는 안개가 없는 화상의 명도이다. k₁은 흡광계수(extinction coefficient)이고 d(x,y)는 관찰자 또는 카메라와 장면 간의 거리이다.

대기광은 다음과 같이 표현된다.

여기서 I_∞는 지구 대기상수(global atmospheric constant)이며 하늘 명도(sky intensity)라고도 한다. k₂는 흡광계수이다. 따라서, Koschmieder의 법칙에 따라, 화소 명도에 대한 안개의 작용은 다음과 같이 표현된다.

여기서, I(x,y)는 화소 (x,y)에서 관측되는 화상 명도이다. 또한,

여기서 우측변의 첫 번째 항은 직접적인 감쇠를 나타내고 두 번째 항은 대기광을 나타낸다.

식 (2)에 따르면,

따라서

여기서 q=k₁/k₂인데, 일반적으로 q=1이며 따라서 k₁=k₂이다. 인수 q는 특정 심도(depth)에서의 복원을 강화시킬 수 있다.

대기광은 장면의 심도에 따라 달라진다. 대기광은 또한, 진행되는 추정 절차의 다양한 가정에 따라 달라진다. 따라서, 본 발명에 따른 방법은 Koschmeider 법칙에 따른 감쇠 및 대기광 별로 각기 다른 흡광 계수(k₁ 및 k₂)를 적용할 것을 제안함으로써, 복원시에 다양한 심도를 강화시킬 수 있고 다양한 상황에 대해서 처리할 수 있는 더 큰 유연성을 얻게 된다. 각 다양한 피사체들은 카메라로부터 서로 다른 거리에 있을 수 있기 때문에 대기광은 피사체마다 달라야 한다. 또한 피사체마다 그 윤곽(edge)을 제외하고는 매끈해야(smooth)한다. 대기광 맵에 대해서는 영역내 평활화(inter-region smoothing) 보다 영역간 평활화(intra-region smoothing)를 우선적으로 실시한다. 따라서 확산은 영역의 경계에 영향을 주지 않고 내부 영역에서 일어난다.

도 1은 대표적인 블록도로서 본 발명의 방법을 개략적으로 설명한다. 각 블록의 세부 내용은 다음과 같다.

히스토그램 균등화: 먼저, 안개현상이 있는 화상을 균등화하여서(equalize) 콘트라스트를 증가시킨다.

대기광의 초기 추정: 안개현상이 있는 화상을 복원하기 위하여, 안개현상이 있는 화상의 대기광 맵이 필요하다. 여기서, 대기광 맵의 초기 추정은 다크채널프라이어(dark channel prior)를 기반으로 한다.

대기광 맵 개선: 제안된 기술은 이방성 확산과 양방향 필터링를 이용하여 대기광 맵을 추정한다. 이방성 확산을 이용하는 제안 기술은 제안 1 알고리즘이고, 양방향 필터를 이용하는 제안 기술은 제안 2 알고리즘이다. 생성된 대기광 맵은 윤곽(edge)을 보존하고 개체 영역 위에서 평활화를 수행한다. 이 절차는 RGB 및 그레이스케일 화상에 적용할 수 있으며, 짙은 안개의 경우에도 효과적이다.

이방성 확산을 이용한 대기광 맵 추정:

이방성 확산은 다음 식으로 표현될 수 있다.

여기서 div는 다이버전스 연산자이고 α는 전도 계수이다. ∇와 Δ는 각각 그레디언트 및 라플라스 연산자이다. α(x,y,t)가 시간이 지나도 일정하다면, 식 (8)은 열 확산 방정식이 된다. 즉,

열 방정식은 한 영역에서의 시간 경과에 따른 열의 분포를 기술한다. 열 방정식은, 찬물이 든 상자 안에 물체가 담겨있는 경우에 이 물체의 온도가 어떻게 내려가서 최종적으로 주변 물의 온도와 같아지는지를 설명해준다. 윤곽을 가로질러서 평활화하는 대신에 영역 내에서의 평활화를 용이하게 하기 위해서, α는 내부 영역에서는 1이고 윤곽에서는 0이어야 한다. 따라서 E(x,y,t)가 경계의 추정인 경우, 전도 계수는 Perona-Malik 방정식에 따라서 다음과 같이 선택되어야 한다.

여기서 g(.)는 g(0)=1인 음이 아닌 단조 감소 함수이다. 따라서 확산은 영역의 경계에는 영향을 주지 않고 내부 영역에서 일어난다.

여기서 g(.)는

로 가정한다. 여기서 k는 고정된 상수이다. 따라서 식 (9)에 따라, 대기광 맵은 다음과 같이 반복적으로 추정될 수 있다.

여기서, λ(0<λ<1)는 평활화 파라미터이다.

양방향 필터를 이용한 대기광 맵 추정:

양방향 필터는 이방성 확산에 대한 비반복적 대안으로서 직관적으로 개발된 것으로 1회의 처리로써 만족스러운 결과를 얻을 수 있다. 양방향 필터의 이산 버전 커널(discrete version of the kernel)은 다음과 같이 표현될 수 있다.

여기서ξ는 화소 위치이고, A(x)는 현재 화소 A₀(x)의 추정치이고, η_x는 x의 주변부를 나타내고(ξ는 이 주변부의 구성원임), w(x)와 c(x)는 각각 공간 영역(도메인)에서의 커널 및 명도 영역에서의 커널을 나타낸다. 커널 w(x)는 기본적으로, 주변부 화소의 명도값을, 보다 원거리에 있는 화소에 대한 감소하는 가중치로써 평균화한다. 커널 c(x)는 중심 화소와 그 주변 화소 사이의 명도차를 고려하는데, 화소 값의 차이가 클수록 평활화 동안에 화소들의 기여도가 적다. 이러한 방식으로, 화소는 그 주변의 가중치된 평균으로 단순하게 대체된다.

A ₀ 의 초기 추정:

식 (12) 및 식 (13)의 실행에는 A₀의 초기 추정이 필요하다. 대기광 맵은 항상 양수인 스칼라이기 때문에 A₀> 0인 것으로 알려져 있다. 식 (7)의 최소 성분을 취하면,

.

다크채널프라이어에 따라, 어두운 채널(다크 채널)은 적색, 청색, 녹색 채널에 걸쳐서 최소 명도로서 표시된다. 자연의 실외 화상은 일반적으로 그림자와 총천연색 피사체(즉, 녹색 풀, 나무, 빨간색 또는 노란색 식물, 푸른 수면 등)로 가득차 있다. 따라서 이러한 화상들의 어두운 채널은 실제로 어둡다. 하늘 영역을 제외한 안개 없는 화상에 있어서, 어두운 채널의 명도는 낮으며 0이 되는 경향이 있다.

그러므로

이며 양수이다. 따라서

따라서 A₀의 초기 추정값은 다음과 같이 추정될 수 있다.

여기서 β는 상수이며 0<β<1이다. 입력 화상이 그레이스케일 화상이라면, A₀의 초기 추정값은 다음과 같이 추정될 수 있다.

따라서 대기광 추정을 위한 위의 방법에서, 이방성 확산 및 양방향 필터는 내부 영역의 평활화를 수행하고 윤곽은 아주 긴 시간 동안 안정적으로 유지됨이 분명하다. 이는 첨부된 도 3에 도시되어 있다. 이 결과는 매우 인상적이다. 이는, 확산 및 윤곽 검출을 두 개의 독립적인 과정으로서 취급하는 대신에 두 과정이 하나의 단일 과정으로 상호 작용한다는 사실에 근거한다. 여기서는 윤곽일 가능성이 더 큰 위치에서 확산도를 감소시키는 이질적인 프로세스가 적용된다. 실제의 안개현상이 있는 화상에 대한 대기광 맵 추정은 도 4에 도시되어 있다. 안개현상이 있는 화상에서, 추정된 대기광 맵은 카메라와 장면 간의 거리에 의존하는 것이 관찰된다. 추정된 대기광 맵은 윤곽을 지나가는 불연속성 및 객체 위의 평활을 포착할 수 있다.

복원: 대기광 맵이 추정되면, 안개 제거된 화상의 각 색 성분이 아래 식과 같이 복원될 수 있다.

여기서 c ∈ (r,g,b)이다.

대기광의 초기 추정은 적색, 청색, 녹색 채널에 걸쳐서의 최소 명도로서 표시되는 정확하지는 않은 최소채널프라이어(minimum channel prior)에 기초한다. 양방향 필터링 및 이방성 확산은 또한, 대기광 맵의 근사치에 약간의 오차를 불러온다. 이러한 오차를 줄이기 위해, 본 발명에서는 인수 'q'(즉, k₁/k₂)를 도입하였다. 이 인수 'q'는 복원된 화상의 보여지는 화질을 제어한다.

위의 인수 q는 복원된 화상의 보여지는 화질을 제어한다. 본 발명 하에서 그 결과를 따를 때, 인수 q가 복원 프로세스를 제어하는 것이 가능하다. q가 낮은 값일 때(q<1) 심도가 낮은 피사체는 더 많이 개선되고, 반면에 q가 높은 값이면(q>l) 더 멀리 있는 화상이 더 많이 개선된다. 이는 원하는 심도에서의 화질에 중점을 둘 수 있는 유연성을 준다.

또한 컬러 화상은, 보다 지각적 측면에 관련된 HSI(hue, saturation, intensity) 색 공간(color space)으로 표현될 수 있는 것이 공지되어 있다. 색상(hue)은 순수한 색을 설명하는 색의 속성이며, 채도(saturation)는 순수한 색이 백색광에 의해서 희석되는 정도를 나타내는 척도이다. 이 색 공간은 컬러 화상에서 색 전달 정보(색상 및 채도)와 명도(intensity) 성분으로 나뉜다. 안개는 장면의 색상에는 영향을 주지 않는 것으로 관찰된다. 다른 두 가지 성분인 채도 및 명도는 안개의 영향을 받는다. 따라서, 안개현상이 있는 화상을 복원하기 위해서는, 채도와 명도 평면에 대한 처리만이 필요하다. 따라서 RGB 색 공간에 대해서와 달리, HSI 색 공간에서는 연산량이 1/3만큼 감소된다.

후처리: 복원된 화상은 콘트라스트가 낮을 수 있다. 따라서 약간의 후처리가 필요하다. 이 후처리 단계는 선택사항이며, 복원된 화상의 콘트라스트가 낮은 경우에만 필요하다. 콘트라스트를 증가시키기 위해, 복원된 화상의 히스토그램 확장(stretching)이 수행된다.

동영상에의 확대적용: 시간중복성의 제거(temporal redundancy removal)는 모든 비디오 코딩 표준, 즉, MPEG의 필수 단계이다. 상기 안개 제거 절차는, I 프레임은 공간적으로 인코딩되고 P 프레임은 시간적으로 코딩되는 시간중복성을 이용하여 동영상으로 확대적용할 수 있다. 시간적 코딩은 움직임 벡터를 사용하여 이루어진다. I 프레임에 대한 대기광은 이방성 확산에 의해 추정되고, P 프레임의 대기광은 사전에 계산된 움직임 벡터를 이용하여 추정된다. I 프레임의 대기광을 추정하는데 이방성 확산 이외의 다른 방법을 사용할 수도 있지만, P 프레임에 대한 대기광의 추정은 필수적으로 본 발명에 따른 움직임 벡터를 사용하여 수행된다. 도 4는 동영상에 확대 적용된 본 발명의 안개 제거 절차를 보여준다.

본 발명에 따른 방법은 또한, 보여지는 화질의 저하가 없는 안개끼지 않은 화상의 화질도 향상시킬 수 있다.

성능을 평가하기 위하여, 콘트라스트 게인(C_gain) 및 포화된 화소수의 비율(σ)을 계산하고 기존 기술과 비교한다. 콘트라스트 게인은 향상된 화상의 평균 콘트라스트와 안개에 의해 탁해진 원본 화상의 평균 콘트라스트의 차를 의미한다. 콘트라스트 게인 값은 양수이어야 하며, 콘트라스트 게인 값이 클수록 최종 콘트라스트 개선의 결과가 좋아진다. 콘트라스트 게인은 출력 화상의 화소들이 과잉 포화될 정도로 높아서는 안된다. 한편, σ 값이 낮은 것은 본 발명의 방법의 성능이 더 높다는 것을 나타낸다.

본 발명에 따른 안개 제거방법의 시뮬레이션을, 다양한 안개현상이 있는 화상 및 동영상에서 수행하였다. 화상에 대한 시뮬레이션 결과는 도 5에 도시하였고, 동영상에 대한 시뮬레이션의 결과는 도 6에 도시하였다. 도 5는 (a) 안개 낀 'lonavala 01' 화상의 원본, (b) 제안 1 알고리즘에 의해 복원된 'lonavala 01' 화상, (c) 제안 2 알고리즘에 의해 복원된 'lonavala 01' 화상, (d) 안개 낀 'lonavala 02' 화상의 원본, (e) 제안 1 알고리즘에 의해 복원된 'lonavala 02' 화상, (f) 제안 2 알고리즘에 의해 복원된 'lonavala 02' 화상, (g) 안개낀 'yellow mountain' 화상의 원본, (h) 제안 1 알고리즘에 의해 복원된 'yellow mountain' 화상, (i) 제안 2 알고리즘에 의해 복원된 'yellow mountain' 화상을 나타낸다. 도 6에서 (a)∼(c)는 'fogiitcampusOl' 동영상의 3개 프레임을 나타내고, (d)∼(f)는 제안 1 알고리즘에 의해 상기 해당 프레임에서 안개가 제거된 것을 나타낸다.

이 결과들은 본 제안 방법이, 상당히 향상된 지각 화질로 화상/동영상을 복원할 수 있다는 것을 보여준다. 본 발명에 따른 안개 제거 기법에 있어서 이방성 확산은 종래에 공지된 양방향 필터링 및 이와 유사한 그 밖의 다른 기법에 비해 그 복원 품질 및 속도 면에서 우수하다고 관측된다.

(a) 화상뿐만 아니라 동영상에서도 안개를 제거할 수 있다.

(d) 동영상의 전처리 및 후처리에 적용할 수 있다.

Claims

(a) 콘트라스트를 증가시키기 위해 안개현상이 있는 화상을 균등화하여 히스토그램 균등화를 수행하고;
(b) 상기 안개현상이 있는 화상 및/또는 동영상의 대기광 맵 A를 제공하고;
(c) 이방성 확산 및/또는 양방향 필터링을 사용하여 상기 대기광 맵 A를 개선하고; 그리고
(d) 감쇠 및 대기광에 대한 흡광계수를 이용함으로써 원하는 심도에서의 화상 및/또는 동영상의 화질에 중점을 두는 유연성을 제공하기 위하여 안개가 제거된 화상의 색 성분 각각의 복원을 하기 식에 따라 수행함으로써 안개현상이 있는 화상을 복원하고, 그리고 복원된 화상의 콘트라스트가 낮은 경우 상기 복원된 화상의 히스토그램 확장을 수행하는;
단계를 포함하는 것을 특징으로 하는 화상 및/또는 동영상에서 안개를 제거하는 방법:
<식>:

상기 식에서, c∈(r,g,b), I₀(x,y,c)는 안개가 없는 화상의 명도이고, I(x,y,c)는 화소 (x,y)에서 관측되는 화상의 명도이고, I_∞(c)는 지구 대기상수 또는 하늘 명도이고, q=k₁/k₂이고, 이때 k₁은 감쇠에 대한 흡광계수이고, k₂는 대기광에 대한 흡광계수임.
제1항에 있어서, 상기 화상 및/또는 동영상은 RGB를 포함하는 다중성분 컬러 화상 및/또는 동영상, HSI 화상 및/또는 동영상, 그리고/또는 그레이를 포함하는 단일 성분 화상 및/또는 동영상을 포함하는 것을 특징으로 하는 화상 및/또는 동영상에서 안개를 제거하는 방법.
삭제
제1항에 있어서, 개선된 대기광 맵 A가 추정된 후에, 안개는 색상(hue)에는 영향을 주지 않기 때문에, 하기 식에 따라 감소된 연산을 갖는 채도(saturation) 및 명도(intensity) 평면에 대해서만 수행되는 과정을 이용하여 HSI(Heu, Saturation and Intensity) 컬러 모델에 근거한 복원을 수행하는 것을 특징으로 하는 화상 및/또는 동영상에서 안개를 제거하는 방법:

<식>:

상기 식에서, S_I0는 안개현상이 없을 때의 채도이고, S₁은 안개현상이 있는 화상의 채도이고, A(x,y)는 화소 (x,y)에서의 대기광이고, min(I(x,y))는 화소 (x,y)에서의 안개현상이 있는 화상의 최소 화상 명도이고, I_int(x,y)는 [R,G,B]를 대표하는 컬러 벡터 I(x,y)의 명도 성분(R, G, B의 평균치)임.
제1항에 있어서, 상기 대기광 맵은 이방성 확산을 이용하여 반복적으로 추정되거나, 또는 비반복적 양방향 필터를 이용하여 추정되는 것을 특징으로 하는 화상 및/또는 동영상에서 안개를 제거하는 방법.
제5항에 있어서, 이방성 확산 또는 양방향 필터를 이용하는 상기 개선된 대기광 추정은 영역 내부의 평활화를 실행함으로써 수행되고 윤곽은 매우 오랜 시간 동안 안정되게 유지되고, 그리하여 확산 및 윤곽 검출은 윤곽일 가능성이 더 큰 위치에서의 확산도를 감소시키도록 구성된 단일 프로세스 하에서 수행되는 것을 특징으로 하는 화상 및/또는 동영상에서 안개를 제거하는 방법.
제1항에 있어서, 상기 안개현상이 있는 화상에서 추정된 개선된 대기광 맵은 카메라와 장면 간의 거리에 의존하는 것을 특징으로 하는 화상 및/또는 동영상에서 안개를 제거하는 방법.
제1항에 있어서, 상기 방법은,
복원된 화상의 가시적인 화질을 제어하는데 사용되는 상기 인수 'q'를 이용하여 q가 낮은 값일 때에는(q<1) 심도가 낮은 피사체가 더 많이 개선되고 q가 높은 값이면(q>l) 더 멀리 있는 화상이 더 많이 개선되도록 하여 원하는 심도에서 화상의 화질에 중점을 둘 수 있는 유연성을 포함하는 것을 특징으로 하는 화상 및/또는 동영상에서 안개를 제거하는 방법.
제1항에 있어서, 감쇠 및 대기광에 대하여 서로 다른 흡광계수(k₁, k₂)가 사용되는 것을 특징으로 하는 화상 및/또는 동영상에서 안개를 제거하는 방법.
제1항에 있어서, 상기 방법은 시간중복성(temporal redundancy)을 이용하고, I 프레임은 공간적으로 인코딩되고 P 및/또는 B 프레임은 일시적으로 코딩되고, 상기 일시적 코딩은 움직임 벡터를 이용하여 수행되는 것을 특징으로 하는 화상 및/또는 동영상에서 안개를 제거하는 방법.
제10항에 있어서, 상기 I 프레임에 대한 대기광은 이방성 확산을 포함한 적합한 방법에 의해 추정되고, P 및/또는 B 프레임에 대한 대기광은 미리 계산된 움직임 벡터 및 기준 프레임(들)의 대기광 추정치(들)를 사용하여 추정되는 것을 특징으로 하는 화상 및/또는 동영상에서 안개를 제거하는 방법.
제10항에 있어서, 상기 방법은,
실제 움직임의 3D에서 2D로의 매핑, 유한 조리개(finite aperture), 모션 불연속, 및 시간 불연속으로부터 기인하는 부정확성(inaccuracies)에 대한 움직임 벡터를 조정하는 단계를 더 포함하는 것을 특징으로 하는 화상 및/또는 동영상에서 안개를 제거하는 방법.
제10항에 있어서, 보다 신속한 연산을 위하여, 프레임 비율이(frame rate) 높고 장면과 카메라 사이의 상대적 움직임이 적고, 구성 프레임들 간의 시간적 상관 관계가 높은 경우에, 고려 중인 프레임의 대기광 추정으로서 이전 프레임의 대기광 맵이 사용되는 것을 특징으로 하는 화상 및/또는 동영상에서 안개를 제거하는 방법.
제1항의 방법에 따라 화상 및/또는 동영상에서 안개를 제거하는 시스템으로서,
(a) 콘트라스트를 증가시키기 위해 안개현상이 있는 화상을 균등화하여 히스토그램 균등화를 수행하는 수단;
(b) 상기 안개현상이 있는 화상의 대기광 맵을 생성하는 수단;
(c) 이방성 확산 및/또는 양방향 필터링을 적용하여 상기 대기광 맵을 개선하는 수단; 그리고
(d) 감쇠 및 대기광에 대한 흡광계수를 이용함으로써 원하는 심도에서 화상 및/또는 동영상의 화질에 중점을 두는 유연성을 제공하기 위하여 안개가 제거된 화상의 색 성분 각각의 복원을 하기 식에 따라 수행하여 상기 개선된 대기광 맵에 근거해 안개현상이 있는 화상을 복원하고, 선택적으로, 필요하다면, 복원된 화상의 콘트라스트가 낮을 경우에 복원된 화상의 히스토그램 확장을 수행하는 수단;
을 포함하는 것을 특징으로 하는 화상 및/또는 동영상에서 안개를 제거하는 시스템:
<식>:

상기 식에서, c∈(r,g,b), I₀(x,y,c)는 안개가 없는 화상의 명도이고, I(x,y,c)는 화소 (x,y)에서 관측되는 화상의 명도이고, I_∞(c)는 지구 대기상수 또는 하늘 명도이고, q=k₁/k₂이고, 이때 k₁은 감쇠에 대한 흡광계수이고, k₂는 대기광에 대한 흡광계수임.