KR20140026747A - Ｈｓｖ 색상 공간에서 영상의 안개 제거 장치 및 방법, 그리고 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체 - Google Patents

Ｈｓｖ 색상 공간에서 영상의 안개 제거 장치 및 방법, 그리고 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체 Download PDF

Info

Publication number
KR20140026747A
KR20140026747A KR1020120092237A KR20120092237A KR20140026747A KR 20140026747 A KR20140026747 A KR 20140026747A KR 1020120092237 A KR1020120092237 A KR 1020120092237A KR 20120092237 A KR20120092237 A KR 20120092237A KR 20140026747 A KR20140026747 A KR 20140026747A
Authority
KR
South Korea
Prior art keywords
fog
image
value
input image
quot
Prior art date
Application number
KR1020120092237A
Other languages
English (en)
Other versions
KR101456445B1 (ko
Inventor
백준기
윤인혜
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020120092237A priority Critical patent/KR101456445B1/ko
Publication of KR20140026747A publication Critical patent/KR20140026747A/ko
Application granted granted Critical
Publication of KR101456445B1 publication Critical patent/KR101456445B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/46—Analysis of texture based on statistical description of texture using random fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

소비자 감시 카메라 시스템(예를 들면, cctv)에 적합한 영상의 안개 제거 및 색상보정 장치 및 방법이 개시된다. 변환맵 생성부는 안개 성분이 포함된 입력 영상에 대응하여 입력 영상의 깊이 정보를 구할 수 있는 다상 레벨 세트(multiphase level set)를 이용하여 변환맵을 생성한다. 안개값 추정부는 HSV 색상 공간의 밝기(V) 값에서 최대 밝기 값을 가진 픽셀의 값을 안개값으로 추정한다. 영상 복원부는 생성된 변환맵과 추정된 안개값을 기초로 입력 영상에 포함된 안개 성분을 제거하여 복원 영상을 생성한다. 본 발명에 따르면, HSV 색상 공간에서 밝기(V)값을 이용하여 변환맵을 생성하고 안개값을 추정함으로써 기존 안개 제거 알고리즘보다 영상의 원 색상을 보존하고 가시성을 향상시키면서 효과적으로 안개 성분을 제거할 수 있다.

Description

ＨＳＶ 색상 공간에서 영상의 안개 제거 장치 및 방법, 그리고 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체{Apparatus and method for image defogging in HSV color space and recording medium storing program for executing method of the same in computer}
본 발명은 HSV 색상 공간에서 영상의 안개 제거 장치 및 방법, 그리고 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체에 관한 것으로, 더욱 상세하게는, 안개가 포함된 환경을 촬영한 영상에서 발생하는 안개로 인한 왜곡을 보정하여 영상의 화질을 개선하는 HSV 색상 공간에서 영상의 안개 제거 장치 및 방법, 그리고 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체에 관한 것이다.
외부에 설치되어 있는 비디오 감시시스템(예를 들어, cctv)은 기상상태에 따라 객체의 원래 색과 형태를 분간하기 힘든 경우가 많다. 또한 비디오 감시시스템은 설치 위치에 따라 환경 요인이 다르기 때문에 안개 등이 존재하는 경우 피사체 특성 인식에 어려움이 따른다. 따라서 안개 등을 제거하고자 하는 연구는 오랫동안 진행되고 있다.
Narasimhan은 한 위치에서 열화 요인에 의한 밝기 값이 서로 다른 두 영상을 획득한 후 대기 열화 요인에 따른 투과 정도와 깊이 정보를 구하여 안개를 제거하였다. Schwartz는 동일한 위치에서 각각 다른 편광 필터가 장착되어 얻어진 두 장의 영상을 사용한다. 이는 각 편광 필터를 통해서 전달된 빛의 세기가 다르기 때문에 편광된 양을 분할하여 편광 값을 계산하고 이를 이용하여 편광된 안개를 제거하는 방법이다. 이처럼 기존의 방법들은 안개 제거를 위한 이론적인 출발점을 제시했다는 점에서 의미를 갖는 반면, 다수의 영상을 획득해야 한다거나, 편광 필터와 같은 추가적인 장치가 필요하기 때문에 실제 카메라에 장착하기 위해서는 구현 및 비용의 문제가 있다.
이를 보완하기 위해서 추가적인 정보 없이 한 장의 영상만을 이용하여 안개를 제거하는 방법에 대한 연구가 시작되었다. Fattal은 영상의 반사율을 측정하고 같은 위치에서는 빛이 반사되는 방향이 항상 같다는 가정을 통해 안개를 제거하였다. Tan은 안개가 존재하는 영상을 안개가 존재하지 않는 영상보다 낮은 대비(contrast)를 가지고 있다는 특성을 이용하여 대기 열화요인을 제거하였다. 하지만 이는 과도하게 대비를 증가시켜 부분적인 색상 왜곡 문제점이 발생한다. Kratz는 안개 이미지의 모델링을 위해서 Markov random field를 사용하여 영상의 반사율(albedo)과 거리를 두 개의 통계적 독립 요소를 추정하고 이를 이용하여 안개를 제거하였다. 하지만 단일 영상을 사용한 안개 제거 방법은 후광효과(halo effect)와 색상 왜곡 문제가 나타날 수 있다.
이와 같은 안개 제거 방법과 유사한 특성을 가진 기술로 대비개선 기술이 있다. Kong은 영상의 픽셀 전체에 히스토그램 균등화를 실시하는 동시에 영상을 지역적으로 분할함으로써 대비를 개선한 영상을 얻는다. Xu는 영상의 매개변수 제어를 통해 가상 히스토그램 분포 방법을 이용해서 명암과 선명도를 강화시킨다. 하지만 위의 방법들은 영상의 가시성을 향상시킬 수 있지만, 안개 영상에서의 본래의 피사체 색상을 복원시키기는 어렵다는 문제가 있다.
이와 관련된 선행기술을 구체적으로 살펴보면, 한국공개공보 제2012-0079564호(발명의 명칭 : 에지 정보 및 톤 매핑을 기반으로 한 영상의 안개 제거 장치 및 방법)에는 색상 손상과 같은 영상의 열화를 방지하면서 단일 영상을 사용하여 영상의 안개를 제거할 수 있는 안개 제거 장치 및 방법을 개시하고 있다.
또한, 한국공개공보 제2011-0050775호(발명의 명칭 : CCTV 영상 화질 개선 장치)에는 CCTV의 출력단의 케이스에 고정되거나 커넥터에 고정되거나 DVR의 입력단에 고정되어 CCTV에서 출력된 영상을 이미지 개선 단계, 노이즈 제거 단계, 안개 제거 단계를 거쳐 CCTV에 출력된 영상의 화질을 개선시키는 영상화질 개선장치를 개시하고 있다.
본 발명이 이루고자 하는 기술적 과제는, 영상의 원 색상을 보존하고 가시성을 향상시켜 영상의 열화를 방지하면서 단일 영상을 사용하여 영상의 안개를 제거할 수 있는 HSV 색상 공간에서 영상의 안개 제거 장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 영상의 원 색상을 보존하고 가시성을 향상시켜 영상의 열화를 방지하면서 단일 영상을 사용하여 영상의 안개를 제거할 수 있는 HSV 색상 공간에서 영상의 안개 제거 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 영상의 안개 제거 장치는, 안개 성분이 포함된 입력 영상에 대응하여 상기 입력 영상의 깊이 정보를 구할 수 있는 다상 레벨 세트(multiphase level set)를 이용하여 변환맵을 생성하는 변환맵 생성부; 상기 입력 영상의 HSV 색상 공간의 밝기(V) 값에서 최대 밝기 값을 가진 픽셀의 값을 안개값으로 추정하는 안개값 추정부; 및 상기 생성된 변환맵과 상기 추정된 안개값을 기초로 상기 입력 영상에 포함된 안개 성분을 제거하여 복원 영상을 생성하는 영상 복원부;를 구비한다.
상기의 다른 기술적 과제를 달성하기 위한 본 발명에 따른 영상의 안개 제거 방법은, (a) 안개 성분이 포함된 입력 영상에 대응하여 상기 입력 영상의 깊이 정보를 구할 수 있는 다상 레벨 세트(multiphase level set)를 이용하여 변환맵을 생성하는 단계; (b) 상기 입력 영상의 HSV 색상 공간의 밝기(V) 값에서 최대 밝기 값을 가진 픽셀의 값을 안개값으로 추정하는 단계; 및 (c) 상기 생성된 변환맵과 상기 추정된 안개값을 기초로 상기 입력 영상에 포함된 안개 성분을 제거하여 복원 영상을 생성하는 단계;를 갖는다.
본 발명에 따른 영상의 안개 제거 장치 및 방법에 의하면, HSV 색상 공간에서 밝기(V)값을 이용하여 변환맵을 생성하고 안개값을 추정함으로써 기존 안개 제거 알고리즘보다 영상의 원 색상을 보존하고 가시성을 향상시키면서 효과적으로 안개 성분을 제거할 수 있다.
도 1은 본 발명에 따른 영상의 안개 제거 장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 2는 본 발명에 따른 영상의 안개 제거 방법에 있어 입력된 영상을 하나 이상의 폐곡선을 이용하여 복수의 영상으로 분할된 모습을 도시한 도면,
도 3은 본 발명에 따른 영상의 안개 제거 방법의 흐름을 도시한 흐름도,
도 4는 본 발명에 따른 영상의 안개 제거 방법을 적용하여 안개가 포함된 입력 영상을 복원하는 일 예를 나타낸 도면,
도 5는 본 발명에 따른 영상의 안개 제거 방법을 적용하여 생성된 변환맵을 도시한 도면,
도 6은 본 발명에 따른 영상의 안개 제거 방법을 소비자 감시 시스템(예를 들면, cctv)에 적용하여 안개 제거 및 색상 보정한 영상을 도시한 도면,
도 7은 본 발명에 따른 영상의 안개 제거 방법을 일반 비디오 카메라에서 촬영한 입력 영상에 적용하여 안개 제거 및 색상 보정한 영상을 도시한 도면, 그리고,
도 8은 본 발명에 따른 영상의 안개 제거 방법을 다양한 단일 안개가 포함된 입력 영상에 적용한 결과를 도시한 도면이다.
이하에서 첨부의 도면들을 참조하여 본 발명에 따른 영상의 안개 제거 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 영상의 안개 제거 장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다. 도 1을 참조하면, 본 발명에 따른 영상의 안개 제거 장치는 변환맵 생성부(110), 안개값 추정부(120), 영상 복원부(130) 및 색상 보정부(140)를 구비한다.
변환맵 생성부(110)는 안개 성분이 포함된 입력 영상에 대응하여 입력 영상의 깊이 정보를 구할 수 있는 다상 레벨 세트(multiphase level set)를 이용하여 변환맵을 생성한다. 여기서 다상 레벨 세트(multiphase level set)는 도 2에 도시된 바와 같이 입력 영상에 대해 하나 이상의 폐곡선(
Figure pat00001
)을 이용하여 복수의 영역(P1, P2, P3, P4)으로 분할하고, 분할된 복수의 영역으로부터 입력 영상의 깊이 정보를 구할 수 있다.
대기 중 안개 성분으로 인해 왜곡되어 얻어진 영상은 다음과 같이 결정된다.
Figure pat00002
여기서
Figure pat00003
는 안개값,
Figure pat00004
는 변환맵,
Figure pat00005
는 안개가 존재하지 않는 원본 영상, 그리고,
Figure pat00006
는 안개 성분이 포함된 영상을 나타낸다.
기존 변환맵 생성 방법은 일정 크기의 패치(patch, Ω(x, y))에서 가장 어두운 값을 찾는데, 이는 다음 수학식 2와 같다.
Figure pat00007
이상적으로 안개가 없는 이미지 패치에서의 가장 어두운 값은 0이 된다. 결과적으로 기존 변환맵은 다음 수학식 3과 같이 구할 수 있다.
Figure pat00008
그러나 기존 변환맵을 이용하여 안개를 제거할 경우 불연속적인 에지의 밝기를 고려하지 않기 때문에 후광 효과(halo effect)와 색상 왜곡이 발생할 수 있다. 후광 효과를 제거하기 위해 기존 알고리즘인 이미지 매팅(image matting) 기술을 이용하지만, 이는 계산의 복잡도가 높기 때문에 실시간 비디오 프로세싱에 적합하지 않다.
따라서 이러한 문제를 해결하기 위해 본 발명에 따른 안개 제거 방법은 균일한 영역으로 분할된 이미지에 대해 다상 레벨 세트(multiphase level set)를 이용하여 수정된 변환맵을 생성한다. 수정된 변환맵은 물체에 의해 반사되는 빛이 카메라에 도달하는 양으로 결정되기 때문에, 멀리 있는 물체일수록 빛의 감쇠가 더 심하다고 가정한다. 즉, 본 발명에 따른 (수정된) 변환맵은 다음 수학식 4를 통해 구할 수 있다.
Figure pat00009
여기서,
Figure pat00010
는 수정된 변환맵, e는 지수함수(exponential), β는 대기의 산란 계수, 그리고, d(x, y)는 영상의 깊이 또는 거리를 의미한다.
결과적으로, 수학식 4에서 영상의 깊이 정보를 구함에 있어 다상 레벨 세트(multiphase level set) 방법을 사용하여 처리 시간이 단축될 수 있다. 안개 영상은 안개의 특성상 거리에 따라 안개가 존재하는 농도가 다르다. 따라서 카메라를 통해 취득한 영상은 객체에서 반사되어 카메라로 들어오는 빛의 왜곡 정도에 따라 무한히 먼 거리에 존재하는 객체일수록 안개의 영상을 많이 받는다.
이때, 다상 레벨 세트(multiphase level set)는 안개 영상을 도 2에 도시된 바와 같이 2개의 폐곡선(
Figure pat00011
)을 이용하여 4개의 영역(P1, P2, P3, P4)으로 구획할 수 있다. 여기서, 안개의 영향을 덜 받으며 객체의 중요도가 높은 영역을 P1으로 정의할 수 있다. 또한, 안개의 영향을 많이 받으며 객체의 중요도가 적은 영역을 P2로 정의할 수 있다. 따라서 다상 레벨 세트(multiphase level set)는 영상의 중요도에 따라 영역을 분할하여 깊이 정보로 사용될 수 있다.
구체적으로, 다상 레벨 세트(multiphase level set)(
Figure pat00012
)는 안개 성분이 포함된 입력 영상을 N=2n 개의 영역(
Figure pat00013
)으로 나눌 수 있다. j개의 레벨 세트(
Figure pat00014
)는 일반적으로 해당 지역의 거리 함수로 정의된다. 도 2를 참고하면, 입력 영상을 두 개의 수준 집합을 이용하여 네 가지 영역으로 나눔으로써 깊이 정보 d(x, y)를 구할 수 있다. 상술한 네 가지 영역은 영상의 표면과 폐곡선을 이용하여 효과적으로 깊이 정보를 구할 수 있으며, 이는 도 2에 도시된 바와 같다. 상술한 네 가지 영역(P1, P2, P3, P4)은 아래 수학식 5와 같이 표현할 수 있다.
Figure pat00015
여기서,
Figure pat00016
는 heaviside 함수를 나타낸다.
깊이 정보(d(x, y))는 다양한 변수들을 결합함으로써 다음 수학식 6과 같이 얻어진다.
Figure pat00017
여기서,
Figure pat00018
는 영상의 HSV 색상 공간의 밝기(V), 그리고,
Figure pat00019
는 중요도에 따라 생성된 4개의 영역(
Figure pat00020
)에 동일하게 에지 영역을 부드럽게 하기 위해 희미하게 처리(blur)하기 위한 계수이다. HSV 색상 공간은 이미지의 색을 표현하는 하나의 방법으로, 색상(Hue), 채도(Saturation), 명도(Brightness Value)의 좌표를 써서 특정한 색을 지정한다.
안개값 추정부(120)는 입력 영상의 HSV 색상 공간의 밝기(V) 값에서 최대 밝기 값을 가진 픽셀의 값을 안개값으로 추정하며, 영상 복원부(130)는 생성된 변환맵과 추정된 안개값을 기초로 입력 영상에 포함된 안개 성분을 제거하여 복원 영상을 생성한다.
즉, 추정된 안개값과 수정된 변환맵을 이용하여 밝기(V) 요소에 수학식 1을 적용하면 안개 성분이 제거된 복원 영상을 아래 수학식 7과 같이 얻을 수 있다.
Figure pat00021
여기서,
Figure pat00022
는 안개값,
Figure pat00023
는 수정된 변환맵,
Figure pat00024
는 안개 영상의 밝기값,
Figure pat00025
는 안개 제거 영상의 밝기 값, 그리고,
Figure pat00026
는 연속적인 프레임을 나타낸다.
또한, 색상 보정부(140)는 안개 성분이 포함된 입력 영상의 연속되는 프레임의 밝기(V) 성분 차이에 따른 비율을 고려하여 입력 영상의 연속적인 프레임 간의 색상 왜곡을 보정한다.
비디오 영상의 특성상 촬영시 변하는 기상상태와 조명의 양에 따라 각 프레임이 가지고 있는 밝기 성분은 다르게 작용하게 된다. 결과적으로 각 프레임에서 생성된 안개값과 변환맵을 이용하여 안개 제거를 하면 연속되는 프레임의 밝기 성분을 고려하지 않기 때문에 각 안개 제거 영상의 색상이 왜곡되는 문제점이 발생한다. 따라서 이를 제거하기 위해 연속적인 프레임 간의 HSV 색상 보정 알고리즘을 수행할 수 있다. 연속적인 프레임의 각 HSV 색상 공간 비율은 다음과 같다.
Figure pat00027
여기서,
Figure pat00028
는 안개가 제거된 영상의 각 HSV 색상 공간의 현재 프레임과 이전 프레임의 차이를 구한 값으로 색상 보정을 위한 비율을 의미하며,
Figure pat00029
은 픽셀 수(
Figure pat00030
은 가로 픽셀 수,
Figure pat00031
은 세로 픽셀 수), 그리고,
Figure pat00032
는 프레임 수를 의미한다.
수학식 8에서 구한 각 HSV 색상 공간의 비율(
Figure pat00033
)을 안개 제거 영상에 적용한다. 이는 다음 수학식 9와 같다.
Figure pat00034
여기서,
Figure pat00035
는 안개 제거 후 색상 보정한 영상을 HSV 색상 공간으로 표현한 것, 그리고,
Figure pat00036
는 안개 제거 영상을 HSV 색상 공간으로 표현한 것을 의미한다.
각각의
Figure pat00037
,
Figure pat00038
, 그리고
Figure pat00039
를 RGB 채널로 변환하면, 컬러 보정이 된 안개 제거 영상을 얻을 수 있다.
도 3은 본 발명에 따른 영상의 안개 제거 방법의 흐름을 도시한 흐름도이다. 도 3을 참조하면, 안개 성분이 포함된 영상이 입력되면(S310), 입력 영상의 깊이 정보를 구할 수 있는 다상 레벨 세트(multiphase level set)를 이용하여 변환맵을 생성한다(S320). 또한, 입력 영상에 대해 HSV 색상 공간의 밝기(V) 값에서 최대 밝기 값을 가진 픽셀의 값을 안개값으로 추정한다(S330). 즉, S320 단계와 S330 단계는 선후 관계가 있는 것이 아니나 동시에 이루어질 필요는 없다. 그 이후, 생성된 변환맵과 추정된 안개값을 토대로 입력 영상에 포함된 안개 성분이 제거된 복원 영상을 생성한다(S340). 나아가, 비디오 영상의 특성상 촬영시 변하는 기상 상태와 조명의 양에 따라 각 프레임이 가지고 있는 밝기 성분은 다르게 작용하므로 연속적인 프레임의 밝기 성분을 고려해야 한다. 따라서 안개 성분이 포함된 입려격 영상의 연속되는 프레임의 밝기(V) 성분 차이에 따른 비율을 고려하여 입력 영상의 연속적인 프레임 간의 색상 왜곡을 보정한다(S350). 이때, 프레임 메모리(S360)에 의해 이전 프레임을 기준으로 그 다음 프레임 값을 추정하여 색상 보정을 하게 된다. 이와 관련된 수식은 앞서 설명한 바와 같다.
도 4는 본 발명에 따른 영상의 안개 제거 방법을 적용하여 안개가 포함된 입력 영상을 복원하는 일 예를 나타낸 도면이다. 즉, 도 4는 본 발명에 따른 안개 제거 방법의 성능을 테스트하기 위한 실험 영상을 생성한 것으로, 도 4의 (a)는 안개 성분이 포함되지 않는 원본 영상이며, (b)는 임의로 안개 성분을 추가한 영상이다. (c)는 본 발명에 따른 안개 제거 방법을 이용하여 안개 성분을 제거한 영상이다.
도 5는 본 발명에 따른 영상의 안개 제거 방법을 적용하여 생성된 변환맵을 도시한 도면이다. 도 5의 (a)는 기존 알고리즘을 이용하여 생성된 변환맵을 도시한 것이며, (b)는 본 발명에 따른 안개 제거 방법을 이용하여 생성된 변환맵을 나타낸다. 즉, 기존 알고리즘에 의한 변환맵과 본 발명에 따라 생성된 변환맵이 다소 차이가 있음을 알 수 있다.
도 6은 본 발명에 따른 영상의 안개 제거 방법을 소비자 감시 시스템(예를 들면, cctv)에 적용하여 안개 제거 및 색상 보정한 영상을 도시한 도면이다. 도 5의 (a)는 연속적인 안개 영상이며, (b)는 본 발명에 따른 영상의 안개 제거 방법을 이용하여 안개가 제거된 결과 영상이며, (c)는 본 발명에 따른 영상의 안개 제거 방법 및 색상 보정 방법을 이용하여 안개 제거 및 색상 보정된 결과 영상이다. 도 7은 본 발명에 따른 영상의 안개 제거 방법을 일반 비디오 카메라에서 촬영한 입력 영상에 적용하여 안개 제거 및 색상 보정한 영상을 도시한 도면이다. 도 7의 (a)는 연속적인 안개 영상이며, (b)는 본 발명에 따른 영상의 안개 제거 방법을 이용한 수정된 변환맵이며, (c)는 본 발명에 따른 영상의 안개 제거 방법을 이용하여 안개가 제거된 결과 영상이며, (d)는 본 발명에 따른 영상의 안개 제거 방법 및 색상 보정 방법을 이용하여 안개 제거 및 색상 보정된 결과 영상이다. 도 8은 본 발명에 따른 영상의 안개 제거 방법을 다양한 단일 안개가 포함된 입력 영상에 적용한 결과를 도시한 도면이다. 도 8의 (a)는 안개 영상이며, (b)는 기존 알고리즘을 이용하여 안개 성분을 제거한 영상이며, (c)는 본 발명에 따른 영상의 안개 제거 방법을 이용한 수정된 변환맵이며, (d)는 본 발명에 따른 영상의 안개 제거 방법을 이용하여 안개가 제거된 결과 영상이다. 즉, 본 발명을 사용하는 경우 영상의 색상 열화 없이 효과적으로 안개 성분이 제거됨을 확인할 수 있다.
이상의 설명에서 '제1', '제2' 등의 용어는 다양한 구성요소들을 설명하기 위해 사용되었지만, 각각의 구성요소들은 이러한 용어들에 의해 한정되어서는 안 된다. 즉, '제1', '제2' 등의 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 목적으로 사용되었다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다. 또한, '및/또는'이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함하는 의미로 사용되었다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 유무선 통신망으로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
110 : 변환맵 생성부 120 : 안개값 추정부
130 : 영상 복원부 140 : 색상 보정부

Claims (17)

  1. 안개 성분이 포함된 입력 영상에 대응하여 상기 입력 영상의 깊이 정보를 구할 수 있는 다상 레벨 세트(multiphase level set)를 이용하여 변환맵을 생성하는 변환맵 생성부;
    상기 입력 영상의 HSV 색상 공간의 밝기(V) 값에서 최대 밝기 값을 가진 픽셀의 값을 안개값으로 추정하는 안개값 추정부; 및
    상기 생성된 변환맵과 상기 추정된 안개값을 기초로 상기 입력 영상에 포함된 안개 성분을 제거하여 복원 영상을 생성하는 영상 복원부;를 포함하는 것을 특징으로 하는 영상의 안개 제거 장치.
  2. 제 1항에 있어서,
    상기 안개 성분이 포함된 입력 영상의 연속되는 프레임의 밝기(V) 성분 차이에 따른 비율을 고려하여 상기 입력 영상의 연속적인 프레임 간의 색상 왜곡을 보정하는 색상 보정부;를 더 포함하는 것을 특징으로 하는 영상의 안개 제거 장치.
  3. 제 1항에 있어서,
    상기 다상 레벨 세트(multiphase level set)는 상기 입력 영상에 대해 하나 이상의 폐곡선을 이용하여 복수의 영역으로 분할하고, 상기 분할된 복수의 영역으로부터 상기 입력 영상의 깊이 정보를 구하는 것을 특징으로 하는 영상의 안개 제거 장치.
  4. 제 3항에 있어서,
    상기 입력 영상의 깊이 정보는 하기 수학식 1에 의해 구하는 것을 특징으로 하는 영상의 안개 제거 장치:
    [수학식 1]
    Figure pat00040

    Figure pat00041

    여기서,
    Figure pat00042
    는 입력 영상의 깊이 정보,
    Figure pat00043
    는 영상의 HSV 색상 공간의 밝기(V),
    Figure pat00044
    는 중요도에 따라 생성된 4개의 영역(
    Figure pat00045
    )에 동일하게 에지 영역을 부드럽게 하기 위해 희미하게 처리(blur)하기 위한 계수,
    Figure pat00046
    는 분할된 영역, 그리고,
    Figure pat00047
    는 heaviside 함수를 의미한다.
  5. 제 1항에 있어서,
    상기 변환맵은 하기 수학식 2에 의해 생성되는 것을 특징으로 하는 영상의 안개 제거 장치:
    [수학식 2]
    Figure pat00048

    여기서,
    Figure pat00049
    는 변환맵, e는 지수함수(exponential), β는 대기의 산란 계수, 그리고, d(x, y)는 영상의 깊이 또는 거리를 의미한다.
  6. 제 1항에 있어서,
    상기 영상 복원부는 하기 수학식 3에 의해 안개 성분이 제거된 복원 영상을 생성하는 것을 특징으로 하는 안개 제거 장치:
    [수학식 3]
    Figure pat00050

    여기서,
    Figure pat00051
    는 안개값,
    Figure pat00052
    는 변환맵,
    Figure pat00053
    는 안개 영상의 밝기값,
    Figure pat00054
    는 안개 제거 영상의 밝기 값,
    Figure pat00055
    는 연속적인 프레임을 나타낸다.
  7. 제 2항에 있어서,
    상기 색상 보정부는 상기 입력 영상의 연속되는 프레임의 밝기(V) 성분 차이에 따른 비율을 하기 수학식 4에 의해 구하는 것을 특징으로 하는 안개 제거 장치:
    [수학식 4]
    Figure pat00056

    여기서,
    Figure pat00057
    는 안개가 제거된 영상의 각 HSV 색상 공간의 현재 프레임과 이전 프레임의 차이를 구한 값으로 색상 보정을 위한 비율을 의미하며,
    Figure pat00058
    은 픽셀 수(
    Figure pat00059
    은 가로 픽셀 수,
    Figure pat00060
    은 세로 픽셀 수), 그리고,
    Figure pat00061
    는 프레임 수를 의미한다.
  8. 제 7항에 있어서,
    상기 색상 보정부는 하기 수학식 5에 의해 색상 보정이 된 안개 제거 영상을 생성하는 것을 특징으로 하는 안개 제거 장치:
    [수학식 5]
    Figure pat00062

    여기서,
    Figure pat00063
    는 안개 제거 후 색상 보정한 영상을 HSV 색상 공간으로 표현한 것, 그리고,
    Figure pat00064
    는 안개 제거 영상을 HSV 색상 공간으로 표현한 것을 의미한다.
  9. (a) 안개 성분이 포함된 입력 영상에 대응하여 상기 입력 영상의 깊이 정보를 구할 수 있는 다상 레벨 세트(multiphase level set)를 이용하여 변환맵을 생성하는 단계;
    (b) 상기 입력 영상의 HSV 색상 공간의 밝기(V) 값에서 최대 밝기 값을 가진 픽셀의 값을 안개값으로 추정하는 단계; 및
    (c) 상기 생성된 변환맵과 상기 추정된 안개값을 기초로 상기 입력 영상에 포함된 안개 성분을 제거하여 복원 영상을 생성하는 단계;를 포함하는 것을 특징으로 하는 안개 제거 방법.
  10. 제 9항에 있어서,
    (d) 상기 안개 성분이 포함된 입력 영상의 연속되는 프레임의 밝기(V) 성분 차이에 따른 비율을 고려하여 상기 입력 영상의 연속적인 프레임 간의 색상 왜곡을 보정하는 단계;를 더 포함하는 것을 특징으로 하는 안개 제거 방법.
  11. 제 9항에 있어서,
    상기 다상 레벨 세트(multiphase level set)는 상기 입력 영상에 대해 하나 이상의 폐곡선을 이용하여 복수의 영역으로 분할하고, 상기 분할된 복수의 영역으로부터 상기 입력 영상의 깊이 정보를 구하는 것을 특징으로 하는 영상의 안개 제거 방법.
  12. 제 11항에 있어서,
    상기 입력 영상의 깊이 정보는 하기 수학식 6에 의해 구하는 것을 특징으로 하는 영상의 안개 제거 방법:
    [수학식 6]
    Figure pat00065

    Figure pat00066

    여기서,
    Figure pat00067
    는 입력 영상의 깊이 정보,
    Figure pat00068
    는 영상의 HSV 색상 공간의 밝기(V),
    Figure pat00069
    는 중요도에 따라 생성된 4개의 영역(
    Figure pat00070
    )에 동일하게 에지 영역을 부드럽게 하기 위해 희미하게 처리(blur)하기 위한 계수,
    Figure pat00071
    는 분할된 영역, 그리고,
    Figure pat00072
    는 heaviside 함수를 의미한다.
  13. 제 9항에 있어서,
    상기 변환맵은 하기 수학식 7에 의해 생성되는 것을 특징으로 하는 영상의 안개 제거 방법:
    [수학식 7]
    Figure pat00073

    여기서,
    Figure pat00074
    는 변환맵, e는 지수함수(exponential), β는 대기의 산란 계수, 그리고, d(x, y)는 영상의 깊이 또는 거리를 의미한다.
  14. 제 9항에 있어서,
    상기 (c) 단계는 하기 수학식 8에 의해 안개 성분이 제거된 복원 영상을 생성하는 것을 특징으로 하는 영상의 안개 제거 방법:
    [수학식 8]
    Figure pat00075

    여기서,
    Figure pat00076
    는 안개값,
    Figure pat00077
    는 변환맵,
    Figure pat00078
    는 안개 영상의 밝기값,
    Figure pat00079
    는 안개 제거 영상의 밝기 값,
    Figure pat00080
    는 연속적인 프레임을 나타낸다.
  15. 제 10항에 있어서,
    상기 (d) 단계는 상기 엽력 영상의 연속되는 프레임의 밝기(V) 성분 차이에 따른 비율을 하기 수학식 9에 의해 구하는 것을 특징으로 하는 안개 제거 방법:
    [수학식 9]
    Figure pat00081

    여기서,
    Figure pat00082
    는 안개가 제거된 영상의 각 HSV 색상 공간의 현재 프레임과 이전 프레임의 차이를 구한 값으로 색상 보정을 위한 비율을 의미하며,
    Figure pat00083
    은 픽셀 수(
    Figure pat00084
    은 가로 픽셀 수,
    Figure pat00085
    은 세로 픽셀 수), 그리고,
    Figure pat00086
    는 프레임 수를 의미한다.
  16. 제 15항에 있어서,
    상기 (d) 단계는 하기 수학식 10에 의해 색상 보정이 된 안개 제거 영상을 생성하는 것을 특징으로 하는 안개 제거 방법:
    [수학식 10]
    Figure pat00087

    여기서,
    Figure pat00088
    는 안개 제거 후 색상 보정한 영상을 HSV 색상 공간으로 표현한 것, 그리고,
    Figure pat00089
    는 안개 제거 영상을 HSV 색상 공간으로 표현한 것을 의미한다.
  17. 제 9항 내지 제 16항 중 어느 한 항에 기재된 안개 제거 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020120092237A 2012-08-23 2012-08-23 Ｈｓｖ 색상 공간에서 영상의 안개 제거 장치 및 방법, 그리고 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체 KR101456445B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120092237A KR101456445B1 (ko) 2012-08-23 2012-08-23 Ｈｓｖ 색상 공간에서 영상의 안개 제거 장치 및 방법, 그리고 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120092237A KR101456445B1 (ko) 2012-08-23 2012-08-23 Ｈｓｖ 색상 공간에서 영상의 안개 제거 장치 및 방법, 그리고 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체

Publications (2)

Publication Number Publication Date
KR20140026747A true KR20140026747A (ko) 2014-03-06
KR101456445B1 KR101456445B1 (ko) 2014-11-03

Family

ID=50641145

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120092237A KR101456445B1 (ko) 2012-08-23 2012-08-23 Ｈｓｖ 색상 공간에서 영상의 안개 제거 장치 및 방법, 그리고 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체

Country Status (1)

Country Link
KR (1) KR101456445B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101442160B1 (ko) * 2014-05-26 2014-09-22 주식회사 에스카 악천후시 식별력 있는 영상 수집 시스템
KR101582779B1 (ko) * 2015-07-17 2016-01-06 중앙대학교 산학협력단 영상의 파장 적응적 안개 제거 장치 및 방법
US9466097B2 (en) 2014-06-20 2016-10-11 Hyundai Motor Company Apparatus and method for removing fog in image
CN112365467A (zh) * 2020-11-11 2021-02-12 武汉长江通信智联技术有限公司 一种基于单幅图像深度估计的雾天图像能见度估计方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631829B (zh) * 2016-01-15 2019-05-10 天津大学 基于暗通道先验与颜色校正的夜间雾霾图像去雾方法
CN111640080B (zh) * 2020-06-05 2021-03-16 郑州轻工业大学 一种基于高光谱全变差的cs图像去噪重建方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101442160B1 (ko) * 2014-05-26 2014-09-22 주식회사 에스카 악천후시 식별력 있는 영상 수집 시스템
US9466097B2 (en) 2014-06-20 2016-10-11 Hyundai Motor Company Apparatus and method for removing fog in image
KR101582779B1 (ko) * 2015-07-17 2016-01-06 중앙대학교 산학협력단 영상의 파장 적응적 안개 제거 장치 및 방법
WO2017014396A1 (ko) * 2015-07-17 2017-01-26 중앙대학교 산학협력단 영상의 파장 적응적 안개 제거 장치 및 방법
CN112365467A (zh) * 2020-11-11 2021-02-12 武汉长江通信智联技术有限公司 一种基于单幅图像深度估计的雾天图像能见度估计方法
CN112365467B (zh) * 2020-11-11 2022-07-19 武汉长江通信智联技术有限公司 一种基于单幅图像深度估计的雾天图像能见度估计方法

Also Published As

Publication number Publication date
KR101456445B1 (ko) 2014-11-03

Similar Documents

Publication Publication Date Title
Galdran et al. On the duality between retinex and image dehazing
US9842382B2 (en) Method and device for removing haze in single image
KR101456445B1 (ko) Ｈｓｖ 색상 공간에서 영상의 안개 제거 장치 및 방법, 그리고 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체
Gibson et al. Fast single image fog removal using the adaptive Wiener filter
WO2016206087A1 (zh) 一种低照度图像处理方法和装置
CN109978774B (zh) 多帧连续等曝光图像的去噪融合方法及装置
US20140140619A1 (en) Method and System for Removal of Fog, Mist, or Haze from Images and Videos
US9355439B1 (en) Joint contrast enhancement and turbulence mitigation method
KR102182697B1 (ko) 영상 처리 장치 및 방법
JP6293374B2 (ja) 画像処理装置、画像処理方法、プログラム、これを記録した記録媒体、映像撮影装置、及び映像記録再生装置
US20140050417A1 (en) Image filtering based on structural information
Kumari et al. Single image fog removal using gamma transformation and median filtering
CN113344801A (zh) 一种应用于燃气计量设施环境下的图像增强方法、系统、终端及存储介质
CN110175967B (zh) 图像去雾处理方法、系统、计算机设备和存储介质
KR101881883B1 (ko) 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템
JP6436158B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
Agrawal et al. A novel contrast and saturation prior for image dehazing
CN116468636A (zh) 低照度增强方法、装置、电子设备和可读存储介质
CN110852971A (zh) 基于暗原色先验和Retinex的视频去雾方法及计算机程序产品
Negru et al. Exponential image enhancement in daytime fog conditions
Chung et al. Under-exposed image enhancement using exposure compensation
Tigga et al. Image deblurring with impulse noise using alternating direction method of multipliers and Lucy-Richardson method
Kumar et al. Single image dehazing using improved dark channel prior
Koga et al. A simplified and fast dehazing processing suitable for embedded systems
Agrawal et al. Linear Fusion of Multi-Scale Transmissions for Image Dehazing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171011

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181122

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 6