KR101689562B1 - 이중 다크 채널에 기반한 안개 제거 방법 및 장치 - Google Patents

이중 다크 채널에 기반한 안개 제거 방법 및 장치 Download PDF

Info

Publication number
KR101689562B1
KR101689562B1 KR1020150121515A KR20150121515A KR101689562B1 KR 101689562 B1 KR101689562 B1 KR 101689562B1 KR 1020150121515 A KR1020150121515 A KR 1020150121515A KR 20150121515 A KR20150121515 A KR 20150121515A KR 101689562 B1 KR101689562 B1 KR 101689562B1
Authority
KR
South Korea
Prior art keywords
image
fog
pixel
backlight
dark channel
Prior art date
Application number
KR1020150121515A
Other languages
English (en)
Inventor
문선아
김원태
김태환
Original Assignee
한국항공대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공대학교산학협력단 filed Critical 한국항공대학교산학협력단
Priority to KR1020150121515A priority Critical patent/KR101689562B1/ko
Application granted granted Critical
Publication of KR101689562B1 publication Critical patent/KR101689562B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Image Processing (AREA)

Abstract

이중 다크 채널에 기반한 안개 제거 방법 및 장치가 개시된다. 이중 다크 채널에 기반한 안개 제거 방법은 안개를 포함하는 안개 영상에 대한 이중 다크 채널 영상을 생성하는 단계, 안개 영상에 대한 대기 강도를 추정하는 단계, 이중 다크 채널 영상 및 대기 강도를 기반으로 전달량을 추정하는 단계와 전달량을 기반으로 안개 영상에서 안개를 제거한 복원 영상을 생성하는 단계를 포함할 수 있다.

Description

이중 다크 채널에 기반한 안개 제거 방법 및 장치{HAZE REMOVAL METHOD AND DEVICE BASED ON DUAL DARK CHANNEL}
본원은 이중 다크 채널에 기반하여 안개 영상에 대한 고품질의 안개 제거를 고속으로 수행할 수 있는 방법 및 장치에 관한 것이다.
실외에서 촬영된 영상의 품질은 외부 대기 환경에 의해 크게 좌우된다. 대기에 존재하는 부유 물질들의 크기나 종류에 따라서 빛의 산란 및 흡수 현상이 발생하여, 영상의 가시성이 떨어질 수 있기 때문이다. 특히 빛의 산란이 심해져서 뿌옇게 보이는 현상인 안개는 촬영된 영상의 명암 대조비를 저하시켜서 영상 내의 물체들의 식별을 어렵게 하여, 야외에 설치된 방범 및 감시 카메라 시스템의 성능을 크게 떨어뜨릴 수 있다. 이러한 카메라 시스템의 성능 저하는 여러 가지 방범 및 안전 문제를 유발할 수 있기 때문에, 효과적으로 안개를 제거하는 방법의 개발이 반드시 필요하다.
안개 제거 방법은 크게 2가지 종류로 나눌 수 있다. 첫 번째는 안개의 짙은 정도가 카메라와 물체 사이의 거리, 즉 영상의 깊이(depth) 정보에 따라 달라진다는 사실에 주목하여, 두 장 이상의 같은 장면의 영상을 바탕으로 영상의 깊이 정보를 계산하여 안개를 제거하는 방법이다. 그러나 동적인 영상의 경우에는 같은 장면의 영상을 두 장 이상 얻는 것이 어렵다는 한계를 가지고 있다.
두 번째는 안개 영상이 가지는 특성을 활용하여, 한 장의 안개 영상을 바탕으로 안개를 제거하는 단일 영상 안개 제거 방법이다. Tan은 안개 낀 영상의 대조비가 맑은 날의 영상보다 낮다는 특성을 바탕으로 안개 영상의 대조비를 최대화하여 안개를 제거하는 방법을 제안하였다. Fattal은 안개 낀 영상의 음영과 반사율(albedo)이 서로 상관 관계가 없다는 특성을 바탕으로 안개 제거 방법을 제안하였다. 특히, He, Sun, Tang은 dark channel prior(DCP), 즉 맑은 날씨에서 촬영된 영상들의 대부분이 국부 영역에서 어두운 픽셀을 가지고 있다는 통계적 특성을 바탕으로 한 효과적인 안개 제거 방법을 제안하였다. DCP 기반의 안개 제거 방법은 기존의 Tan, Fattal에 의해 제시된 방법에 비해서 연산 복잡도가 훨씬 낮고, 다양한 종류의 안개 낀 영상에서 효과적으로 안개를 제거할 수 있기 때문에, 많이 활용되고 있다. 그러나 DCP 기반의 안개 제거 방법에서는 전달량을 추정하기 위해서 수행하는 다크 채널(dark channel) 연산에 의해서 후광(halo) 및 블록 현상이 발생한다. 후광 현상 및 블록 현상은 안개가 제거된 영상의 품질 저하를 초래한다. Sun과 Tang은 소프트 매칭(soft matting) 기법을 적용하여 위의 현상들을 줄이는 것에 성공하였지만, 소프트 매칭 기법은 긴 처리 시간으로 인해서 실효성이 떨어졌다. 그래서 상대적으로 처리 시간이 짧으면서 효과적으로 전달량을 정련하는 유도 필터(guided filter)의 사용이 제안되었다. 그러나 유도 필터를 적용한 안개 제거 방법은 다음의 문제점들을 가지고 있다. 먼저, 안개가 제거된 영상에서 여전히 후광 및 블록 현상들이 부분적으로 나타난다. 또한, 전체 안개 제거 처리 시간에서 유도 필터링을 수행하기 위한 처리 시간이 차지하는 비중이 상당히 클 뿐만 아니라 그 소요시간도 상당히 길어진다. 이에 따라, 유도 필터링을 적용한 안개 제거 방법으로 고속 고품질의 안개 제거 시스템을 구현하는 것에는 한계가 있다. 따라서, 기존의 영상에 안개를 제거하는 방법이 가진 위와 같은 문제점을 해결하기 위한 방법이 필요하다.
본원의 배경이 되는 기술은 한국공개특허공보 제2013-0075718호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 전체 안개 제거를 위한 영상 처리의 소요 시간을 상당히 감소시키면서도 복원 영상에서 나타나는 후광 현상을 효과적으로 억제할 수 있는 이중 다크 채널에 기반한 안개 제거 방법 및 장치를 제공하는 것을 목적으로 한다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 방법은, 안개를 포함하는 안개 영상에 대한 이중 다크 채널 영상을 생성하는 단계; 상기 안개 영상에 대한 대기 강도를 추정하는 단계; 상기 이중 다크 채널 영상 및 상기 대기 강도를 기반으로 전달량을 추정하는 단계; 및 상기 전달량을 기반으로 상기 안개 영상에서 안개를 제거한 복원 영상을 생성하는 단계를 포함할 수 있다.
본원의 일 구현예에 따르면, 상기 이중 다크 채널 영상을 생성하는 단계는, 서로 다른 윈도우의 크기를 적용한 2개의 다크 채널의 차분 영상을 기초로, 상기 안개 영상에서 후광 예측 픽셀을 결정하는 단계를 포함할 수 있다.
본원의 일 구현예에 따르면, 상기 후광 예측 픽셀을 결정하는 단계는, 제1 윈도우를 적용한 다크 채널 연산 값에서 상기 제1 윈도우보다 큰 크기를 갖는 제2 윈도우를 적용한 다크 채널 연산 값을 뺀 값이 큰 픽셀일수록 후광 예측 픽셀로 예측할 수 있다.
본원의 일 구현예에 따르면, 상기 후광 예측 픽셀은 아래의 식 1을 기반으로 결정되되,
[식 1]
Figure 112015083652790-pat00001
Figure 112015083652790-pat00002
여기서 D'(x)는 상기 차분 영상의 상기 픽셀값이고,
Figure 112015083652790-pat00003
는 상기 안개 영상에 대하여 상기 제1 윈도우(w1)의 크기를 적용한 다크 채널 연산 값이며,
Figure 112015083652790-pat00004
는 상기 안개 영상에 대하여 상기 제2 윈도우(w2)의 크기를 적용한 다크 채널 연산 값이고,
Figure 112015083652790-pat00005
는 미리 설정된 임계값이며, 상기 후광 예측 픽셀은 상기 D(x)가 1인 픽셀일 수 있다.
본원의 일 구현예에 따르면, 상기 이중 다크 채널 영상을 생성하는 단계는, 상기 후광 예측 픽셀을 안개 후광 예측 픽셀과 비안개 후광 예측 픽셀로 분류하는 단계; 및 상기 안개 후광 예측 픽셀에는 제1 윈도우를 적용하고, 상기 비안개 후광 예측 픽셀 및 상기 후광 예측 픽셀에 해당하지 않는 비후광 예측 픽셀에는 상기 제1 윈도우보다 큰 크기를 갖는 제2 윈도우를 적용하여 상기 이중 다크 채널 영상을 생성하는 단계를 포함하되, 상기 안개 후광 예측 픽셀은 안개로 인한 후광 현상이 예측되는 픽셀이고, 상기 비안개 후광 예측 픽셀은 상기 안개를 제외한 다른 원인에 의한 후광 현상이 예측되는 픽셀일 수 있다. 즉, 제2 윈도우가 적용되는 대상에는 비안개 후광 예측 픽셀 뿐만 아니라, 후광 예측 픽셀로 예측되지도 않고, 실제로도 후광 현상이 발생하지 않는 영역(비후광 예측 픽셀)이 포함된다.
본원의 일 구현예에 따르면, 상기 후광 예측 픽셀을 안개 후광 예측 픽셀과 비안개 후광 예측 픽셀로 분류하는 단계는, 상기 후광 예측 픽셀에 대하여 RGB 채널 상의 최대 픽셀 값과 최소 채널 값의 차이가 작을수록 상기 후광 예측 픽셀을 안개 후광 예측 픽셀로 예측할 수 있다.
본원의 일 구현예에 따르면, 상기 안개 후광 예측 픽셀은 상기 후광 예측 픽셀 중 halo(x) 값이 1인 픽셀이고, 상기 비안개 후광 예측 픽셀은 상기 후광 예측 픽셀 중 halo(x) 값이 0인 픽셀이며, 상기 halo(x)는 아래의 식 2를 기반으로 결정되고,
[식 2]
Figure 112015083652790-pat00006
상기 D(x)는 아래의 식 1을 기반으로 결정되고,
[식 1]
Figure 112015083652790-pat00007
Figure 112015083652790-pat00008
여기서 D'(x)는 상기 차분 영상의 상기 픽셀값이고,
Figure 112015083652790-pat00009
는 상기 안개 영상에 대하여 상기 제1 윈도우(w1)의 크기를 적용한 다크 채널 연산 값이며,
Figure 112015083652790-pat00010
는 상기 안개 영상에 대하여 상기 제2 윈도우(w2)의 크기를 적용한 다크 채널 연산 값이고,
Figure 112015083652790-pat00011
는 미리 설정된 임계값이며,
상기 haze(x)는 아래의 식3을 기반으로 결정되고,
[식 3]
Figure 112015083652790-pat00012
상기
Figure 112015083652790-pat00013
는 RGB 채널 상에서 최대 픽셀 값이고, 상기
Figure 112015083652790-pat00014
는 RGB 채널 공간 상에서 최소 픽셀 값이고, 상기 d는 상기 안개 후광 예측 픽셀과 상기 비안개 후광 예측 픽셀을 결정하기 위해 설정된 임계 값일 수 있다.
본원의 일 구현예에 따르면, 상기 이중 다크 채널 영상을 생성하는 단계에서, 상기 이중 다크 채널 영상은 아래의 식 4를 기반으로 결정되고,
[식 4]
Figure 112015083652790-pat00015
상기
Figure 112015083652790-pat00016
는 상기 제1 윈도우(w1)의 크기를 기반으로 한 다크 채널 영상이고, 상기
Figure 112015083652790-pat00017
는 상기 제2 윈도우(w2)의 크기를 기반으로 결정한 다크 채널 영상일 수 있다.
본원의 일 구현예에 따르면, 상기 전달량을 추정하는 단계에서, 상기 전달량은 아래의 식 5를 기반으로 결정되고,
[식 5]
Figure 112015083652790-pat00018
여기서,
Figure 112015083652790-pat00019
는 안개의 양을 선택하기 위한 상수이고,
Figure 112015083652790-pat00020
는 RGB 채널 상에서 상기 대기 강도의 최대값일 수 있다.
한편, 본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 장치는, 안개를 포함하는 안개 영상에 대한 이중 다크 채널 영상을 생성하는 이중 다크 채널 영상 생성부; 상기 안개 영상에 대한 대기 강도를 추정하는 대기 강도 추정부; 상기 이중 다크 채널 영상 및 상기 대기 강도를 기반으로 전달량을 추정하는 전달량 추정부; 및 상기 전달량을 기반으로 상기 안개 영상에서 안개를 제거한 복원 영상을 생성하는 영상 복원부를 포함할 수 있다.
본원의 일 구현예에 따르면, 상기 이중 다크 채널 영상 생성부는, 서로 다른 윈도우의 크기를 적용한 2개의 다크 채널의 차분 영상을 기초로, 상기 안개 영상에서 후광 예측 픽셀을 결정할 수 있다.
본원의 일 구현예에 따르면,상기 이중 다크 채널 영상 생성부는, 제1 윈도우를 적용한 다크 채널 연산 값에서 상기 제1 윈도우보다 큰 크기를 갖는 제2 윈도우를 적용한 다크 채널 연산 값을 뺀 값이 큰 픽셀일수록 후광 예측 픽셀로 예측할 수 있다.
본원의 일 구현예에 따르면, 상기 이중 다크 채널 영상 생성부는, 상기 후광 예측 픽셀을 안개 후광 예측 픽셀과 비안개 후광 예측 픽셀로 분류하고, 상기 안개 후광 예측 픽셀에는 제1 윈도우를 적용하고, 상기 비안개 후광 예측 픽셀에는 상기 제1 윈도우보다 큰 크기를 갖는 제2 윈도우를 적용하여 상기 이중 다크 채널 영상을 생성하되, 상기 안개 후광 예측 픽셀은 안개로 인한 후광 현상이 예측되는 픽셀이고, 상기 비안개 후광 예측 픽셀은 상기 안개를 제외한 다른 원인에 의한 후광 현상이 예측되는 픽셀일 수 있다.
본원의 일 구현예에 따르면, 상기 이중 다크 채널 영상 생성부는, 상기 후광 예측 픽셀에 대하여 RGB 채널 상의 최대 픽셀 값과 최소 채널 값의 차이가 작을수록 상기 후광 예측 픽셀을 안개 후광 예측 픽셀로 예측할 수 있다.
또한, 상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원의 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 추가적인 보정 절차 대신에 이중 다크 채널에 기반한 효과적인 전달량 추정 절차를 사용하여 복원 영상에서 나타나는 후광 현상을 효과적으로 억제할 수 있고 높은 연산 복잡도를 가지는 전달량 정련 절차가 생략되어 전체 안개 제거를 위한 영상 처리의 소요 시간이 상당히 감소될 수 있다.
도 1은 기존의 DCP(dark channel prior) 기반의 안개 제거 방법을 나타낸 순서도이다.
도 2는 DCP 기반의 안개 제거 방법으로 인한 블록 현상을 나타낸 도면이다.
도 3은 추가적인 전달량 정련 수행 여부에 따른 복원 영상의 품질을 비교한 도면이다.
도 4는 본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 방법을 설명하기 위한 개념도이다.
도 5는 본원의 일 실시예에 따른 이중 다크 채널 영상 생성 방법을 나타낸 개념도이다.
도 6은 본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 방법을 나타낸 순서도이다.
도 7은 본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 방법을 적용하여 안개를 제거한 영상이다.
도 8은 본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 장치를 나타낸 개념도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 일 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 “상에” 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
안개를 포함하는 영상(또는 안개 낀 영상)은 아래와 같은 수학식 1에 의해 모델링될 수 있다.
[수학식 1]
Figure 112015083652790-pat00021
Ic(x)와 Jc(x) 각각은 RGB 채널로 구성된 안개가 낀 원본 영상 I와 안개가 제거된 영상 J 각각에서 c∈ R, G, B 채널의 좌표x에서의 픽셀 값을 나타낸다. 또한, Ac는 c 채널에서의 대기 강도(atmosphere light) A를 나타내고, t(x)는 x를 중심으로 하는 국부 영역
Figure 112015083652790-pat00022
에서의 전달량의 값을 나타낼 수 있다. t(x)는 t로도 표현될 수 있다. 전달량은 빛이 산란되지 않고 카메라 렌즈에 유입되는 비율을 의미하고, 전달량의 크기가 0에 가까울수록 안개가 짙게 형성되어 있음을 나타낼 수 있다. 따라서 Jc(x)t(x)는 물체의 반사된 빛이 바로 카메라 렌즈에 도달하는 직접 감쇄를 나타내고, Ac(1-t(x))는 빛이 대기 중의 부유 물질에 의해 산란되어 카메라 렌즈에 도달하는 산란광(airlight)을 나타낸다. 일반적으로 안개가 제거된 영상 J를 얻기 위해서 주어진 입력 영상 I만으로 A와t를 추정해야 하기 때문에, 단일 영상 안개 제거 방법들은 안개 낀 영상이 가지는 특성을 활용하여 A와 t를 추정한다.
도 1은 기존의 DCP(dark channel prior) 기반의 안개 제거 방법을 나타낸 순서도이다.
DCP(dark channel prior) 기반의 안개 제거 방법은 맑은 날에 촬영된 영상들이 공통적으로 가지고 있는 통계적 특성을 기반으로 A와 t를 추정할 수 있다. DCP 기반의 안개 제거 방법에서는 원본 영상 I만을 바탕으로 대기 강도 A와 전달량 t를 추정하여 안개가 제거된 복원 영상 J가 획득된다. 개략적으로 추정된 전달량을 통해 획득한 복원 영상에서는 잔존하는 안개로 인한 후광 현상이 발생하게 된다. DCP 기반의 안개 제거 방법에서는 이러한 후광 현상으로 인해 복원 영상의 품질이 열화되므로 이를 억제하기 위하여 추가적인 전달량 정련 과정이 수행될 수 있다. DCP기반의 안개 제거 방법에서는 안개가 없는 상태에서 촬영된 실외 영상이 국부 영역 내의 최소한 한 채널은 0에 가까운 픽셀 값을 가지고 있다는 통계적인 특성이 활용될 수 있다. 이하, 구체적인 DCP기반의 안개 제거 방법이 개시된다.
우선 DCP 기반의 안개 제거를 위해 다크 채널 연산이 수행된다(단계 S100).
DCP기반의 안개 제거를 위해 아래의 수학식 2와 같이 다크 채널 연산(dark channel operation)이 정의된다.
[수학식 2]
Figure 112015083652790-pat00023
이 때, 국부 영역
Figure 112015083652790-pat00024
은 해당 픽셀을 중심으로 rxr의 크기를 갖는 정사각형의 영역이다. 여기에서 Jdark(x)는 Jc(x)에 대한 다크 채널 연산을 의미하고, Ω(x)는 좌표 x를 중심으로 하는 국부 영역의 픽셀들의 집합을 의미한다. 다크 채널 연산은 해당 픽셀의 R, G, B 채널 값 중에서 가장 작은 채널을 선택하고, 다시 해당 채널의 픽셀을 중심으로 하는 국부 영역에서 최소값을 찾는 것을 의미할 수 있다. 특히, Jc가 안개가 제거된 깨끗한 영상이기 때문에, 임의의 좌표 x에 대한 다크 채널 연산은
Figure 112015083652790-pat00025
이 성립한다고 가정할 수 있다.
국부 영역 Ω(x) 내에서 전달량 t는 일정하다고 가정하고 수학식 1에 다크 채널 연산 결과를 적용하면, 안개가 없는 영상 Jc의 특성인
Figure 112015083652790-pat00026
로 의해 수학식 1의 Jc(x)·t(x) 항이 소거된다. 따라서, 수학식 1에 다크 채널 연산을 적용하면, 아래와 같이 개략적으로 전달량이 추정될 수 있다.
[수학식 3]
Figure 112015083652790-pat00027
여기서, 상수 ω는 복원 영상에서의 안개의 양을 선택적으로 유지하기 위한 것으로서 원근감을 보존하기 위해 도입되었다. 위와 같이 수학식3을 기반으로 한 다크 채널 연산을 기반으로 추정된 전달량 t'의 산출은 대기 강도 A에 대한 정보를 필요로 한다. 그러나, 실제 대기 강도를 정확히 추정하는 것은 불가능하다. 따라서, 각각의 RGB 채널 공간 상에서 Ac의 값이 대체로 일정하다고 가정하고 아래와 같이 대기 강도가 개략적으로 추정될 수 있다(단계S110).
원본 영상에 대한 다크 채널 영상 Idark에서 상위 0.1%에 해당하는 픽셀들이 선정되고, 해당 픽셀들과 대응되는 위치에 놓인 원본 영상 I의 픽셀들 중 가장 밝은 픽셀 값이 A값으로 추정될 수 있다. 이와 같이 추정된 A를 바탕으로, 수학식 3을 기반으로 전달량 t'를 추정한다(단계 S120).
위의 과정을 통해 얻은 개략적으로 추정한 전달량은 실제 전달량과 오차가 있을 수 있다. 오차가 존재하는 경우, 복원 영상에서 후광 현상이 발생하여 영상의 품질이 열화된다. 따라서, 기존의 DCP 기반의 안개 제거 방법에서는 소프트 매칭(soft matting) 기법이나 유도 필터를 사용하여 개략적으로 추정된 전달량 t'을 정련하는 과정이 추가적으로 수행될 수 있다(단계 S130).
전달량 정련 과정은 다크 채널 연산 이후에 영상의 경계가 소실되는 것을 개선하여 보다 정교한 전달량의 추정이 가능하게 하여 후광 현상을 억제한다. 최종적으로 정련된 전달량 t를 통해 아래의 수학식 4와 같이 Jc를 획득한다(단계 S140).
[수학식 4]
Figure 112015083652790-pat00028
여기서, t0는 전달량 t의 하한 값으로, 예를 들어, 0.1로 설정될 수 있다.
이러한 기존의 DCP 기반의 안개 제거 방법은 개략적으로 추정된 전달량과 실제 전달량 사이의 차이로 인해 후광 현상이 발생하는 문제가 있다. 후광 현상은 추정된 전달량에 내포된 오차에 의해 발생된다. 특히 다크 채널 연산 중 윈도우 내에 윤곽선이 포함될 경우에 오차가 커지는 경향이 있다. 그 이유는 다크 채널을 구하기 위하여 국부 영역에 대한 최소값 필터링을 수행하면, 최소값 필터의 특성에 의해 윤곽선 정보가 소실되거나 왜곡되기 때문이다.
도 2는 DCP 기반의 안개 제거 방법으로 인한 블록 현상을 나타낸 도면이다.
도 2에서는 DCP 기반의 안게 제거 방법에 의해 발생된 후광 현상이 도시된다.
영상의 가로등을 참조하면, 국부 영역에 대한 최소값 필터링 이후, 다크 채널 영상에서 블록 현상이 발생함을 확인할 수 있다. 최소값 필터에 적용한 윈도우 크기에 따라 다크 채널 연산이 적용된 다크 채널 영상에서 블록 현상의 발생 정도가 달라진다. 이때, 윈도우의 크기가 클수록 블록 현상의 발생 정도가 심해진다. 블록 현상이 발생된 다크 채널 영상을 기반으로 전달량이 추정되는 경우, 윤곽선 정보가 소실 및 왜곡되어, 전달량 추정값에 오차가 발생할 수 있다.
영상에서 윤곽선 정보는 굉장히 중요한 정보이다. 특히, 윤곽선 정보는 영상에서 원근을 판단하는 기준으로 활용될 수 있다. 구체적으로, 영상 내에서 인접해 있거나 가까운 픽셀이라 하더라도, 실제로는 윤곽선을 기준으로 거리가 먼 관계에 있을 수 있기 때문에, 윤곽선은 영상 내에서 원근을 판단하는 중요한 기준 중 하나이다. 이러한 이유로, 영상 내의 윤곽선이 왜곡될 경우, 영상을 바탕으로 추정되는 원근감에 오차가 발생하고 또한, 영상의 원근을 바탕으로 추정되는 전달량에도 오차가 발생한다. 결과적으로, 윤곽선을 포함하는 영역이나 물체 주변에서 특히 전달량 추정에 어려움이 따르며, 후광 현상이 두드러진다.
이러한 이유로 다크 채널 연산 중의 최소값 필터링으로 인한 블록 현상을 줄이기 위하여 윈도우 크기를 작게 하는 방법이 사용될 수도 있다. 작은 윈도우 크기가 적용되어 국부 영역에 대한 최소값 필터링이 수행될 경우, 윈도우 크기가 작을수록 윤곽선 정보가 잘 보존되고 블록 현상이 감소될 수 있다. 이에 따라, 윤곽선 정보가 잘 보존된 다크 채널 영상에 기반하여 보다 정확한 전달량을 추정할 수 있게 되므로, 복원 영상에서 후광 현상이 억제될 수 있다. 하지만 작은 윈도우 크기를 적용하여 최소값 필터링을 수행할 경우, 영상의 윤곽선 정보는 잘 보존될 수는 있으나, 윈도우의 크기가 큰 경우에 비해 필터링의 결과값이 대체적으로 증가한다. 따라서, 다크 채널의 값이 증가하면 수학식 3에 의해 추정된 전달량 t'가 증가하고, 연쇄적으로 수학식 4에 의해 J가 감소하게 된다. J의 감소는 복원 영상 내 픽셀 값들의 감소를 의미하므로, 결과적으로 윈도우 크기의 감소는 곧 영상의 밝기가 감소하는 현상을 유발한다. 따라서, DCP 기반의 안개 제거 방법에서는 위와 같은 방법 대신에 소프트 매칭 기법이나 유도 필터 등을 사용하여 추가적인 전달량 정련이 수행되는 것이 일반적이다.
도 3은 추가적인 전달량 정련 수행 여부에 따른 복원 영상의 품질을 비교한 도면이다.
도 3을 참조하면, 전달량 정련 여부에 따라 후광 현상이 발생하는 정도의 차이를 볼 수 있다.
전달량 정련을 생략한 이미지와 전달량 정련을 적용한 이미지를 비교하면, 전달량 정련을 수행한 이미지에서 후광 현상이 크게 개선됨을 확인할 수 있다.
본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 방법에서는 이러한 추가적인 전달량 정련의 과정 없이도 기존의 전달량 정련을 수행한 것과 유사하게 품질이 만족할만큼 향상될 수 있다. 본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 방법을 기반으로 안개를 제거한 이미지에서 전달량 정련을 적용한 이미지와 비교하여 보다 후광 현상이 크게 개선됨을 확인할 수 있다.
본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 방법은 복수개의 윈도우 크기를 적용하여 산출된 다크 채널의 차분 영상을 사용하여 후광 현상을 예측한다. 이하, 구체적인 이중 다크 채널에 기반한 안개 제거 방법이 개시된다.
도 4는 본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 방법을 설명하기 위한 개념도이다.
도 4에서는 다크 채널의 차분 영상과 후광 영역 간의 관계가 개시된다.
도 4를 참조하면, 다크 채널의 차분 영상에서 밝은 영역일수록(또는 최소값 필터링 전후의 차이가 상대적으로 크게 나타날수록) 후광 현상을 보일 가능성이 큼을 확인할 수 있다.
본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 방법은 복수개(예를 들어, 2개)의 윈도우를 적용한 다크 채널의 차분 영상을 기반으로 후광 현상을 예측할 수 있다. 후광 현상이 발생할 영역에 대하여 예측하고, 두 개의 다크 채널을 결합한 이중 다크 채널을 기반으로 전달량이 추정될 수 있다. 추정된 전달량을 기반으로 추가적인 정련 과정의 수행 없이 효과적으로 고품질의 복원 영상(안개 제거 영상)이 획득될 수 있다.
이하, 구체적인 본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 방법이 개시된다.
아래의 수학식 5는 후광 영역을 예측하기 위한 다크 채널의 차분 영상을 나타낸다.
[수학식 5]
Figure 112015083652790-pat00029
여기서, 여기서 D'(x)는 상기 차분 영상의 상기 픽셀값이고,
Figure 112015083652790-pat00030
는 상기 안개 영상에 대하여 제1 윈도우(w1)의 크기(이를테면 w1는 1픽셀 by 1픽셀)를 적용한 다크 채널 연산 값이며,
Figure 112015083652790-pat00031
는 상기 안개 영상에 대하여 상기 제2 윈도우(w2)의 크기(이를테면 w2는 15픽셀 by 15픽셀)를 적용한 다크 채널 연산 값이고,
Figure 112015083652790-pat00032
는 미리 설정된 임계값이다.
상기의 수학식 5를 참조하면, 서로 다른 윈도우 크기를 적용한 다크 채널의 차분 영상이 산출될 수 있다. 여기서, D'는 0~255 사이의 임의의 픽셀 값일 수 있다. 최소값 필터링 전후의 차이가 상대적으로 크게 나타나는 부분에서 후광 현상이 발생할 수 있다. 즉, 본원의 일 실시예에서는 D'가 일정 임계값(예를 들어,
Figure 112015083652790-pat00033
는 40)보다 큰 픽셀에서 후광 현상의 발생이 예측될 수 있다. 후광 현상의 예측을 위해 아래의 수학식 6이 사용될 수 있다.
[수학식 6]
Figure 112015083652790-pat00034
수학식 6을 참조하면, D'(x)가 일정 임계값(
Figure 112015083652790-pat00035
)보다 큰 경우, D(x)=1, D'가 일정 임계값(
Figure 112015083652790-pat00036
)보다 작은 경우, D'(x)/
Figure 112015083652790-pat00037
의 값으로 산출될 수 있다. D(x)=1을 만족하는 픽셀은 후광 예측 픽셀이라는 용어로 표현될 수 있다.
하지만 원본 영상에서 윤곽선 정보를 많이 포함하고 있는 영역의 경우, 차분 영상에서 밝은 영역일지라도 반드시 후광 현상이 발생하는 것은 아닐 수 있다. 구체적으로, 후광 예측 픽셀은 안개로 인해 D'(x)가 일정 임계값보다 크고 후광 현상이 발생 가능한 안개 후광 예측 픽셀 및 윤곽선으로 인해 D'(x)가 일정 임계값보다 크지만 실제로는 후광 현상의 발생 가능성이 낮은 비안개 후광 예측 픽셀을 포함할 수 있다.
도 4를 다시 참조하면, 복원 영상의 점선으로 표시된 영역에 포함된 픽셀에서는 후광 현상이 발생하지 않음에도 불구하고 해당 픽셀에 대한 차분 영상D'의 값이 일정 임계값보다 크게 나타나는 것을 확인할 수 있다. 즉, 차분 영상의 값이 큰 픽셀에 대해 모두 후광 현상이 발생하는 것은 아니다. 따라서 특정 픽셀에 대한 차분 영상 D'의 값이 일정 임계값보다 크게 나타날 경우, 실제로 안개로 인해 차분 영상 D'의 값이 일정 임계값보다 크게 나타난 안개 후광 예측 픽셀인지 아니면, 윤곽선 정보를 포함하기 때문에 차분 영상 D'의 값이 일정 임계값보다 크게 나타난 비안개 후광 예측 픽셀인지 여부에 대해 판단할 필요가 있다.
다만, 상기의 설명이 비안개 후광 예측 픽셀의 경우에만 윤곽선 정보를 포함하는 것으로 한정하는 것은 아니며, 안개 후광 예측 픽셀의 경우에도 윤곽선 정보를 포함할 수 있다. 즉, 안개 후광 예측 픽셀은 윤곽선 정보를 포함하되, 이러한 윤곽선을 기준으로 원근의 차가 소정 이상 커서, 전달량 추정에 오차가 발생하여 안개가 덜 제거될 수 있는 영역으로 이해함이 바람직하다. 이에 반해, 비안개 후광 예측 픽셀은 윤곽선이 많이 포함된 영역(예를 들면, 나뭇잎, 창문이 많은 건물 등)이어서 차분영상의 값은 일정 임계값보다 크게 나타나지만, 실제로는 원근의 차가 거의 없기 때문에 전달량 추정에 있어서 오차가 크게 발생하지 않아 후광 현상이 나타나지 않을 것으로 기대되는 영역으로 이해될 수 있을 것이다.한편, 본원의 일 실시예에서는 추가적으로 haze라는 조건을 도입하여 일정 임계값보다 차분 영상 D'의 값이 큰 후광 예측 픽셀 중 안개로 인한 후광 현상이 예측된 안개 후광 예측 픽셀만을 선별할 수 있다. haze라는 조건을 도입하여 안개로 인한 안개 후광 예측 픽셀만을 선별하기 위해 아래의 수학식 7이 사용될 수 있다.
[수학식 7]
Figure 112015083652790-pat00038
수학식 7에서 d는 예시적인 값으로 50으로 설정될 수 있다. 수학식 7을 참조하면,
Figure 112015083652790-pat00039
이 d보다 크거나 같은 경우, 실제로 후광 현상은 발생되지 않지만 윤곽선으로 인해 후광 현상이 예측된 비안개 후광 예측 픽셀로 판단되고, haze(x)의 값은 0일 수 있다. 반대로,
Figure 112015083652790-pat00040
이 d보다 작은 경우, 안개로 인한 후광 현상이 예측된 안개 후광 예측 픽셀로 판단될 수 있다. 이에 대해 부연하면, 안개가 있는 영역일 경우, 영상에서 백색에 가깝게 표시되므로, RGB 채널의 최대값과 최소값의 차가 작게 되기 때문에, 이러한 차이가 d보다 작은 경우를 안개 후광 예측 픽셀로 판단하고자 하는 것이다. 즉, haze(x)가 1인 경우, 실제로 안개로 인해 후광 현상이 예측된 안개 후광 예측 픽셀일 수 있다.
차분 영상 D'의 값과 영상 정보의 특성을 고려한 haze 조건을 모두 고려하여 최종적으로 영상에서 안개로 인해 후광 현상이 발생되는 부분이 예측될 수 있다. 본원의 일 실시예에서는 차분 영상 D'의 값과 영상 정보의 특성을 고려한 haze 조건을 모두 고려하는 halo 조건을 도입하여 최종적으로 안개 후광 예측 픽셀이 선별될 수 있다. 아래의 수학식 8은 halo 조건을 나타낸다.
[수학식 8]
Figure 112015083652790-pat00041
즉, 후광 예측 픽셀 중에서, 특정 픽셀에 대한 D(x)가 1이고, haze(x)가 1인 경우에만, halo(x)가 1의 값을 가지고 해당 픽셀은 안개로 인한 후광 현상이 발생하는 픽셀인 안개 후광 예측 픽셀로 예측될 수 있다. 그 외의 경우는 픽셀에 대한 halo(x)가 0을 가지고, 해당 픽셀은 안개로 인한 후광 현상이 발생하지 않는 비안개 후광 예측 픽셀으로 예측될 수 있다. 또한, 후광 예측 픽셀 이외에, 차분영상의 값이 작아 후광 현상이 발생하지 않을 것으로 판단되는 비후광 예측 영역에도 halo (x)는 0으로 적용된다.
본원의 일 실시예에 따르면, 안개 후광 예측 픽셀 및 비안개 후광 예측 픽셀 각각에 대해 서로 다른 윈도우 크기가 적용된 이중 다크 채널 영상이 획득될 수 있다.
아래의 수학식 9는 서로 다른 윈도우 크기가 적용된 이중 다크 채널 영상의 획득을 위한 수식이다.
[수학식 9]
Figure 112015083652790-pat00042
여기서,
Figure 112015083652790-pat00043
는 제1 윈도우(w1)의 크기를 기반으로 한 다크 채널 영상이고,
Figure 112015083652790-pat00044
는 제2 윈도우(w2)의 크기를 기반으로 결정한 다크 채널 영상이다. 이러한 수학식 9를 참조하면, 안개 후광 예측 픽셀에 대해서는 상대적으로 작은 크기의 윈도우(예를 들면, w1는 1x1)가 적용되고, 비안개 후광 예측 픽셀 및 비후광 예측 픽셀에 대해서는 상대적으로 큰 크기의 윈도우(예를 들면, w2는 15x15)가 적용될 수 있다. 구체적으로, halo(x)=0이면 윤곽선 정보를 포함하는 픽셀로서 반드시 후광 현상이 발생하는 것이 아님에도 차분 영상 D'의 값이 크게 나타나는 영역, 또는 차분영상의 값이 작아 후광 현상이 발생하지 않을 것으로 판단되는 비후광 예측 영역에 해당하는 것으로서, 후광 현상의 보정이 불필요한 것으로 판단된 부분이라 할 수 있다. 따라서, 윈도우(w=1)로 후광 현상을 보정할 필요 없이 w=15의 윈도우가 적용될 수 있다. 반대로 halo(x)=1이면 안개로 인해 후광 현상이 예측되는 안개 후광 예측 픽셀로서 윈도우(w=1)로 후광 현상이 보정될 수 있다.
수학식 9를 사용하여 획득된 이중 다크 채널 영상을 기반으로 아래의 수학식 10을 사용하여 전달량이 추정될 수 있다.
[수학식 10]
Figure 112015083652790-pat00045
기존의 전달량 추정식인 수학식 3에서는 최초의 다크 채널 연산 이후, 원본 영상 Ic를 대기 강도 Ac로 나눈 값을 기반으로 전달량이 추정되었다. 반면에, 본원의 일 실시예에 따른 전달량 추정식에서는 다크 채널 연산의 입력 인자를 분리하여 원본 영상의 다크 채널 영상 Ih dark를 추정한 대기 강도의 최대값인
Figure 112015083652790-pat00046
로 나눌 수 있다.
수학식 10에 개시된 바와 같이 전달량이 산출될 경우, 다크 채널의 차분 영상을 구하기 위한 선행 과정의 결과가 재사용될 수 있고 추가적인 다크 채널 연산의 수행이 생략될 수 있다. 그 결과, 기존의 전달량의 추정을 위한 수학식 3을 사용하여 전달량을 추정할 때에 비교하여 영상에 대한 보정 절차가 간단해질 수 있다.
수학식 10과 같은 전달량 추정식의 변형은 Ac의 최소값과 Ac의 최대값 사이의 차이가 크지 않을 것이라는 가정을 통해 가능할 수 있다. Ac의 최소값과 Ac의 최대값 사이의 차이가 크지 않을 것이라는 가정은 후광 영역은 짙은 안개로 인하여 백색에 가까우므로, 모든 RGB 채널 공간 상에서 대체로 균등한 값을 가질 것이라 예상에 근거한다.
추정된 전달량을 기반으로 전술한 수학식 1 또는 수학식 4등과 같은 수식을 사용하여 안개가 제거된 보정된 영상이 획득될 수 있다.
도 5는 본원의 일 실시예에 따른 이중 다크 채널 영상 생성 방법을 나타낸 개념도이다.
도 5에서는 복수의 적응적인 윈도우 크기를 적용하여 이중 다크 채널 영상을 생성하는 방법이 개시된다.
도 5를 참조하면, 기존의 안개를 포함하는 영상(I)에 대한 다크 채널 영상 생성 방법은 하나의 고정된 크기의 윈도우를 사용하여 다크 채널 영상을 생성하였다. 이에 반해 본원의 일 실시예에 따르면, 안개를 포함하는 영상(I)에 대해 적응적으로 서로 다른 크기의 복수의 윈도우가 적용되어 이중 다크 채널 영상이 생성될 수 있다.
도 6은 본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 방법을 나타낸 순서도이다.
도 6을 참조하면, 본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 방법은 안개를 포함하는 영상에 대해 이중 다크 채널 영상이 생성되는 단계(단계 S600)를 포함할 수 있다.
전술한 수학식 5 내지 수학식 9에 따라 이중 다크 채널 영상이 생성될 수 있다. 구체적으로 수학식 5 및 수학식 6에 개시된 바와 같이 서로 다른 윈도우 크기를 적용하여 생성된 다크 채널의 차분 영상을 기반으로 후광 예측 픽셀이 결정된다. 후광 예측 픽셀은 실제 안개로 인한 후광의 발생이 예측되는 안개 후광 예측 픽셀과 다른 원인에 의해 후광의 발생이 예측된 비안개 후광 예측 픽셀을 포함할 수 있다. 다음으로, 전술할 수학식 7의 haze 조건 및 수학식 8의 halo 조건을 적용하여 안개 후광 예측 픽셀과 비안개 후광 예측 픽셀이 선별될 수 있다. 이후, 안개 후광 예측 픽셀에 대해서는 상대적으로 작은 크기의 윈도우가 적용되고, 비안개 후광 예측 픽셀에 대해서는 상대적으로 큰 크기의 윈도우가 적용되어 이중 다크 채널 영상이 획득될 수 있다.
본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 방법은 대기 강도를 추정하는 단계(단계 S610)를 포함할 수 있다. 대기 강도에 대한 추정은 다양하게 수행될 수 있다. 예를 들어, 각각의 RGB 채널 공간 상에서 Ac의 값이 대체로 일정하다고 가정한 후, 먼저, 원본 영상에 대한 다크 채널 영상 Idark에서 상위 0.1%에 해당하는 픽셀들을 선정하고, 해당 픽셀들과 대응되는 위치에 놓인 원본 영상 I의 픽셀들 중 가장 밝은 픽셀 값을 대기 강도(A)로 추정할 수 있다. 이외의 다양한 방법을 기반으로 대기 강도가 추정될 수 있다.
본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 방법은 전달량을 추정하는 단계(단계 S620)를 포함할 수 있다. 전달량은 이중 다크 채널 영상 및 추정된 대기 강도(Ac)의 최대값을 기반으로 추정될 수 있다.
본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 방법은 영상을 복원하는 단계(단계 S630)를 포함할 수 있다. 추정된 전달량을 고려하여 안개가 제거된 영상이 생성될 수 있다
위와 같은 이중 다크 채널에 기반한 영상 복원 방법이 사용되는 경우, 기존의 영상에서 안개를 제거하는 방법과 비교하여 전달량 정련 과정이 생략되고, 다크 채널 연산 횟수가 감소될 수 있다.
도 7은 본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 방법을 적용하여 안개를 제거한 영상이다.
도 7을 참조하면, 원본 영상, 기존의 안개 제거 방법에 의해 추정된 전달량, 본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 방법을 기반으로 추정된 전달량, 기존 방법에 의해 복원된 영상, 본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 방법을 기반으로 복원된 영상 각각이 개시된다.
기존의 안개 제거 방법에 의한 복원 영상에서는 안개가 짙은 하늘 영역과 물체 영역이 만나는 경계에서 후광 현상이 나타나는 반면, 이중 다크 채널에 기반한 안개 제거 방법에 의한 복원 영상에서는 후광 현상이 현저히 줄어든 것을 확인할 수 있다. 또한, 본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 방법에서는 복잡한 전달량 정련 과정을 거치지 않으므로 안개 제거를 수행하기 위한 소요 시간 역시 상당히 감소될 수 있다.
아래의 표는 본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 방법의 성능을 나타낸다.
[표]
Figure 112015083652790-pat00047
표를 참조하면, 기존의 안개 제거 방법과 본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 방법 각각의 소요 시간이 해상도에 따라 비교되어 있다. 이미지의 해상도가 640x480인 경우, 기존의 방법의 소요 시간과 대비하여 본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 방법의 소요 시간이 14.2배 감소하였음을 확인할 수 있다. 다른 표현으로 이미지의 해상도가 640x480인 경우, 기존의 방법의 안개 제거 절차의 속도보다 본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 방법의 속도가 14.2배 증가됨을 확인할 수 있다.
한편, 이하에서는 본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 장치에 대해 설명한다. 다만, 이러한 안개 제거 장치는 앞서 설명한 안개 제거 방법과 동일하거나 상응하는 기술적 특징을 포함하는 발명이라 할 것이므로, 앞서 설명한 구성과 동일 또는 유사한 구성에 대해서는 동일한 도면부호를 사용하고, 중복되는 설명은 간략히 하거나 생략하기로 한다.
도 8은 본원의 일 실시예에 따른 이중 다크 채널에 기반한 안개 제거 장치를 나타낸 개념도이다.
도 8을 참조하면, 이중 다크 채널에 기반한 안개 제거 장치는 이중 다크 채널 영상 생성부(800), 대기 강도 추정부(810), 전달량 추정부(820), 영상 복원부(830), 프로세서(840)를 포함할 수 있다. 이중 다크 채널에 기반한 안개 제거 장치의 각 구성부는 전술한 도 1 내지 도 7에서 개시된 이중 다크 채널에 기반한 안개 제거 방법을 수행할 수 있다. 예를 들어, 각 구성부는 아래와 같은 동작을 수행할 수 있다.
이중 다크 채널 영상 생성부(800)는 이중 다크 채널 연산을 수행하여 안개를 포함하는 영상에 대한 이중 다크 채널 영상을 생성하기 위해 구현될 수 있다.
구체적으로 이중 다크 채널 영상 생성부(800)는 전술한 수학식 5 내지 수학식 9에 따라 이중 다크 채널 영상을 생성할 수 있다. 구체적으로 이중 다크 채널 영상 생성부(800)는 수학식 5 및 수학식 6에 개시된 바와 같이 서로 다른 윈도우 크기를 적용하여 생성된 다크 채널의 차분 영상을 기반으로 후광 영역(또는 후광 예측 픽셀)을 결정한다. 후광 예측 픽셀은 실제 안개로 인한 후광의 발생이 예측되는 안개 후광 예측 픽셀과 다른 원인에 의해 후광의 발생이 예측된 비안개 후광 예측 픽셀을 포함할 수 있다. 또한, 이중 다크 채널 영상 생성부(800)는 전술할 수학식 7의 haze 조건 및 수학식 8의 halo 조건을 적용하여 안개 후광 예측 픽셀과 비안개 후광 예측 픽셀을 선별할 수 있다. 이후, 이중 다크 채널 영상 생성부(800)는 안개 후광 예측 픽셀에 대해서는 상대적으로 작은 크기의 윈도우를 적용하고, 안개 후광 비예측 픽셀에 대해서는 상대적으로 큰 크기의 윈도우를 적용하여 이중 다크 채널 영상을 생성할 수 있다.
대기 강도 추정부(810)는 대기 강도를 추정하기 위해 구현될 수 있다. 구체적으로 대기 강도 추정부(810)는 대기각각의 RGB 채널 공간 상에서 Ac의 값이 대체로 일정하다는 가정 아래 원본 영상에 대한 다크 채널 영상 Idark에서 상위 0.1%에 해당하는 픽셀들을 선정하고, 해당 픽셀들과 대응되는 위치에 놓인 원본 영상 I의 픽셀들 중 가장 밝은 픽셀 값을 대기 강도(A)로 추정하도록 구현될 수 있다.
전달량 추정부(820)는 전달량을 추정하기 위해 구현될 수 있다. 전달량 추정부(820)는 이중 다크 채널 영상 및 추정된 대기 강도(Ac)의 최대값을 기반으로 전달량을 추정할 수 있다.
영상 복원부(830)는 안개가 제거된 영상으로의 복원을 위해 구현될 수 있다. 예를 들어, 영상 복원부(830)는 추정된 전달량을 고려하여 전술한 수학식 1 및/또는 수학식 4를 사용하여 원본 영상을 안개가 제거된 영상으로 복원하기 위해 구현될 수 있다.
프로세서(840)는 이중 다크 채널 영상 생성부(800), 대기 강도 추정부(810), 전달량 추정부(820), 영상 복원부(830)의 동작을 제어하기 위해 구현될 수 있다.
이와 같은 이중 다크 채널에 기반한 안개 제거 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 살펴본 바와 같이, 전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 이중 다크 채널에 기반한 안개 제거 방법으로서,
    안개를 포함하는 안개 영상에 대한 이중 다크 채널 영상을 생성하는 단계;
    상기 안개 영상에 대한 대기 강도를 추정하는 단계;
    상기 이중 다크 채널 영상 및 상기 대기 강도를 기반으로 전달량을 추정하는 단계; 및
    상기 전달량을 기반으로 상기 안개 영상에서 안개를 제거한 복원 영상을 생성하는 단계를 포함하되,
    상기 이중 다크 채널 영상을 생성하는 단계는,
    서로 다른 윈도우의 크기를 적용한 2개의 다크 채널의 차분 영상을 기초로, 상기 안개 영상에서 후광 예측 픽셀을 결정하는 단계;
    상기 후광 예측 픽셀을 안개 후광 예측 픽셀과 비안개 후광 예측 픽셀로 분류하는 단계; 및
    상기 안개 후광 예측 픽셀에는 제1 윈도우를 적용하고, 상기 비안개 후광 예측 픽셀 및 상기 후광 예측 픽셀에 해당하지 않는 비후광 예측 픽셀에는 상기 제1 윈도우보다 큰 크기를 갖는 제2 윈도우를 적용하여 상기 이중 다크 채널 영상을 생성하는 단계를 포함하고,
    상기 안개 후광 예측 픽셀은 안개로 인한 후광 현상이 예측되는 픽셀이며,
    상기 비안개 후광 예측 픽셀은 상기 안개를 제외한 다른 원인에 의한 후광 현상이 예측되는 픽셀인 것을 특징으로 하는 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 후광 예측 픽셀을 결정하는 단계는,
    제1 윈도우를 적용한 다크 채널 연산 값에서 상기 제1 윈도우보다 큰 크기를 갖는 제2 윈도우를 적용한 다크 채널 연산 값을 뺀 값이 큰 픽셀일수록 후광 예측 픽셀로 예측하는 것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 후광 예측 픽셀은 아래의 식 1을 기반으로 결정되되,
    [식 1]
    Figure 112016086887446-pat00048

    Figure 112016086887446-pat00049

    여기서 D'(x)는 상기 차분 영상의 픽셀값이고,
    Figure 112016086887446-pat00050
    는 상기 안개 영상에 대하여 상기 제1 윈도우(w1)의 크기를 적용한 다크 채널 연산 값이며,
    Figure 112016086887446-pat00051
    는 상기 안개 영상에 대하여 상기 제2 윈도우(w2)의 크기를 적용한 다크 채널 연산 값이고,
    Figure 112016086887446-pat00052
    는 미리 설정된 임계값이며,
    상기 후광 예측 픽셀은 상기 D(x)가 1인 픽셀인 것을 특징으로 하는 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 후광 예측 픽셀을 안개 후광 예측 픽셀과 비안개 후광 예측 픽셀로 분류하는 단계는, 상기 후광 예측 픽셀에 대하여 RGB 채널 상의 최대 픽셀 값과 최소 채널 값의 차이가 작을수록 상기 후광 예측 픽셀을 안개 후광 예측 픽셀로 예측하는 것을 특징으로 하는 방법.
  7. 제6항에 있어서,
    상기 안개 후광 예측 픽셀은 상기 후광 예측 픽셀 중 halo(x) 값이 1인 픽셀이고,
    상기 비안개 후광 예측 픽셀은 상기 후광 예측 픽셀 중 halo(x) 값이 0인 픽셀이며,
    상기 halo(x)는 아래의 식 2를 기반으로 결정되고,
    [식 2]
    Figure 112015083652790-pat00053

    상기 D(x)는 아래의 식 1을 기반으로 결정되고,
    [식 1]
    Figure 112015083652790-pat00054

    Figure 112015083652790-pat00055

    여기서 D'(x)는 상기 차분 영상의 상기 픽셀값이고,
    Figure 112015083652790-pat00056
    는 상기 안개 영상에 대하여 상기 제1 윈도우(w1)의 크기를 적용한 다크 채널 연산 값이며,
    Figure 112015083652790-pat00057
    는 상기 안개 영상에 대하여 상기 제2 윈도우(w2)의 크기를 적용한 다크 채널 연산 값이고,
    Figure 112015083652790-pat00058
    는 미리 설정된 임계값이며,
    상기 haze(x)는 아래의 식3을 기반으로 결정되고,
    [식 3]
    Figure 112015083652790-pat00059

    상기
    Figure 112015083652790-pat00060
    는 RGB 채널 상에서 최대 픽셀 값이고, 상기
    Figure 112015083652790-pat00061
    는 RGB 채널 공간 상에서 최소 픽셀 값이고, 상기 d는 상기 안개 후광 예측 픽셀과 상기 비안개 후광 예측 픽셀을 결정하기 위해 설정된 임계 값인 것을 특징으로 하는 방법.
  8. 제7항에 있어서,
    상기 이중 다크 채널 영상을 생성하는 단계에서,
    상기 이중 다크 채널 영상은 아래의 식 4를 기반으로 결정되고,
    [식 4]
    Figure 112015083652790-pat00062

    상기
    Figure 112015083652790-pat00063
    는 상기 제1 윈도우(w1)의 크기를 기반으로 한 다크 채널 영상이고, 상기
    Figure 112015083652790-pat00064
    는 상기 제2 윈도우(w2)의 크기를 기반으로 결정한 다크 채널 영상인 것을 특징으로 하는 방법.
  9. 제8항에 있어서,
    상기 전달량을 추정하는 단계에서,
    상기 전달량은 아래의 식 5를 기반으로 결정되고,
    [식 5]
    Figure 112015083652790-pat00065

    여기서,
    Figure 112015083652790-pat00066
    는 안개의 양을 선택하기 위한 변수이고,
    Figure 112015083652790-pat00067
    는 RGB 채널 상에서 상기 대기 강도의 최대값인 것을 특징으로 하는 방법.
  10. 이중 다크 채널에 기반한 안개 제거 장치로서,
    안개를 포함하는 안개 영상에 대한 이중 다크 채널 영상을 생성하는 이중 다크 채널 영상 생성부;
    상기 안개 영상에 대한 대기 강도를 추정하는 대기 강도 추정부;
    상기 이중 다크 채널 영상 및 상기 대기 강도를 기반으로 전달량을 추정하는 전달량 추정부; 및
    상기 전달량을 기반으로 상기 안개 영상에서 안개를 제거한 복원 영상을 생성하는 영상 복원부를 포함하되,
    상기 이중 다크 채널 영상 생성부는,
    서로 다른 윈도우의 크기를 적용한 2개의 다크 채널의 차분 영상을 기초로, 상기 안개 영상에서 후광 예측 픽셀을 결정하고,
    상기 후광 예측 픽셀을 안개 후광 예측 픽셀과 비안개 후광 예측 픽셀로 분류하고,
    상기 안개 후광 예측 픽셀에는 제1 윈도우를 적용하고, 상기 비안개 후광 예측 픽셀에는 상기 제1 윈도우보다 큰 크기를 갖는 제2 윈도우를 적용하여 상기 이중 다크 채널 영상을 생성하며,
    상기 안개 후광 예측 픽셀은 안개로 인한 후광 현상이 예측되는 픽셀이고,
    상기 비안개 후광 예측 픽셀은 상기 안개를 제외한 다른 원인에 의한 후광 현상이 예측되는 픽셀인 것을 특징으로 하는 장치.
  11. 삭제
  12. 제10항에 있어서,
    상기 이중 다크 채널 영상 생성부는,
    제1 윈도우를 적용한 다크 채널 연산 값에서 상기 제1 윈도우보다 큰 크기를 갖는 제2 윈도우를 적용한 다크 채널 연산 값을 뺀 값이 큰 픽셀일수록 후광 예측 픽셀로 예측하는 것을 특징으로 하는 장치.
  13. 삭제
  14. 제10항에 있어서,
    상기 이중 다크 채널 영상 생성부는,
    상기 후광 예측 픽셀에 대하여 RGB 채널 상의 최대 픽셀 값과 최소 채널 값의 차이가 작을수록 상기 후광 예측 픽셀을 안개 후광 예측 픽셀로 예측하는 것을 특징으로 하는 장치.
  15. 제1항, 제3항, 제4항, 제6항 내지 제9항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020150121515A 2015-08-28 2015-08-28 이중 다크 채널에 기반한 안개 제거 방법 및 장치 KR101689562B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150121515A KR101689562B1 (ko) 2015-08-28 2015-08-28 이중 다크 채널에 기반한 안개 제거 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150121515A KR101689562B1 (ko) 2015-08-28 2015-08-28 이중 다크 채널에 기반한 안개 제거 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101689562B1 true KR101689562B1 (ko) 2016-12-26

Family

ID=57733651

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150121515A KR101689562B1 (ko) 2015-08-28 2015-08-28 이중 다크 채널에 기반한 안개 제거 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101689562B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107454318A (zh) * 2017-07-27 2017-12-08 广东欧珀移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
CN107454317A (zh) * 2017-07-27 2017-12-08 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
US11538139B2 (en) 2020-08-07 2022-12-27 Samsung Electronics Co., Ltd. Method and apparatus with image processing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120079564A (ko) * 2011-01-05 2012-07-13 중앙대학교 산학협력단 에지 정보 및 톤 매핑을 기반으로 한 영상의 안개제거 장치 및 방법
JP2013058202A (ja) * 2011-09-08 2013-03-28 Fujitsu Ltd 画像の霧除去方法及びシステム
KR101426298B1 (ko) * 2014-01-24 2014-08-13 (주)인펙비전 안개 제거율을 높인 영상보정장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120079564A (ko) * 2011-01-05 2012-07-13 중앙대학교 산학협력단 에지 정보 및 톤 매핑을 기반으로 한 영상의 안개제거 장치 및 방법
JP2013058202A (ja) * 2011-09-08 2013-03-28 Fujitsu Ltd 画像の霧除去方法及びシステム
KR101426298B1 (ko) * 2014-01-24 2014-08-13 (주)인펙비전 안개 제거율을 높인 영상보정장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BO-HAO CHEN and SHIH-CHIA HUANG,"An advanced visibility restoration algorithm for single hazy images," ACM TOMM Vol. 11, No. 4, Article 53, pp.1~21, April 2015(2015.4.30.)* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107454318A (zh) * 2017-07-27 2017-12-08 广东欧珀移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
CN107454317A (zh) * 2017-07-27 2017-12-08 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN107454318B (zh) * 2017-07-27 2020-01-10 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
US11538139B2 (en) 2020-08-07 2022-12-27 Samsung Electronics Co., Ltd. Method and apparatus with image processing

Similar Documents

Publication Publication Date Title
US9197789B2 (en) Method and system for removal of fog, mist, or haze from images and videos
EP3072288B1 (en) Methods and systems for inverse tone mapping
KR101784350B1 (ko) 개선된 메디안 다크 채널 프라이어에 기반한 안개 제거 방법 및 장치
CN109743473A (zh) 视频图像3d降噪方法、计算机装置及计算机可读存储介质
KR102006064B1 (ko) 추정된 시공간 배경 정보를 이용한 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치
US8340422B2 (en) Generation of depth map for an image
KR102104403B1 (ko) 단일영상 내의 안개 제거 방법 및 장치
KR100721543B1 (ko) 통계적 정보를 이용하여 노이즈를 제거하는 영상 처리 방법및 시스템
KR101190286B1 (ko) 에지 정보 및 톤 매핑을 기반으로 한 영상의 안개제거 장치 및 방법
KR101827361B1 (ko) 안개 제거를 위한 대기 강도 추정 장치 및 방법
US20110080464A1 (en) Method and a device for filling occluded areas of a depth or disparity map estimated from at least two images
JP2006350334A (ja) ディジタル・ビデオ・シーケンスの現在のフレームと以前のフレームの間における動きに起因する知覚可能なぶれを補償する方法およびシステム
US9280808B2 (en) Method and apparatus for processing image
JPH07274044A (ja) 時間可変フィルタ係数を用いたビデオ信号ノイズ低減システムおよびノイズ低減方法
KR101689562B1 (ko) 이중 다크 채널에 기반한 안개 제거 방법 및 장치
KR101582779B1 (ko) 영상의 파장 적응적 안개 제거 장치 및 방법
KR101798911B1 (ko) 선택적 대기 강도 추정에 기반한 안개 제거 방법 및 장치
JP2018523222A (ja) 静的汚れ検出及び補正
CN104346774A (zh) 用于图像增强的方法和装置
Yuan et al. Image dehazing based on a transmission fusion strategy by automatic image matting
CN114119383B (zh) 一种基于多特征融合的水下图像复原方法
US20210319541A1 (en) Model-free physics-based reconstruction of images acquired in scattering media
CN111091501A (zh) 一种大气散射去雾模型的参数估计方法
KR101983475B1 (ko) 퍼지 멤버쉽 함수를 이용하여 영상에서 안개를 제거하는 장치 및 방법과, 상기 방법을 수행하는 컴퓨터 프로그램
KR101537788B1 (ko) 평균이동 기반의 영상분할 방식을 이용한 저조도 영상 대비증가 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191015

Year of fee payment: 4