KR101456445B1 - Apparatus and method for image defogging in HSV color space and recording medium storing program for executing method of the same in computer - Google Patents

Apparatus and method for image defogging in HSV color space and recording medium storing program for executing method of the same in computer Download PDF

Info

Publication number
KR101456445B1
KR101456445B1 KR1020120092237A KR20120092237A KR101456445B1 KR 101456445 B1 KR101456445 B1 KR 101456445B1 KR 1020120092237 A KR1020120092237 A KR 1020120092237A KR 20120092237 A KR20120092237 A KR 20120092237A KR 101456445 B1 KR101456445 B1 KR 101456445B1
Authority
KR
South Korea
Prior art keywords
fog
image
input image
value
color space
Prior art date
Application number
KR1020120092237A
Other languages
Korean (ko)
Other versions
KR20140026747A (en
Inventor
백준기
윤인혜
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020120092237A priority Critical patent/KR101456445B1/en
Publication of KR20140026747A publication Critical patent/KR20140026747A/en
Application granted granted Critical
Publication of KR101456445B1 publication Critical patent/KR101456445B1/en

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/46—Analysis of texture based on statistical description of texture using random fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

소비자 감시 카메라 시스템(예를 들면, cctv)에 적합한 영상의 안개 제거 및 색상보정 장치 및 방법이 개시된다. 변환맵 생성부는 안개 성분이 포함된 입력 영상에 대응하여 입력 영상의 깊이 정보를 구할 수 있는 다상 레벨 세트(multiphase level set)를 이용하여 변환맵을 생성한다. 안개값 추정부는 HSV 색상 공간의 밝기(V) 값에서 최대 밝기 값을 가진 픽셀의 값을 안개값으로 추정한다. 영상 복원부는 생성된 변환맵과 추정된 안개값을 기초로 입력 영상에 포함된 안개 성분을 제거하여 복원 영상을 생성한다. 본 발명에 따르면, HSV 색상 공간에서 밝기(V)값을 이용하여 변환맵을 생성하고 안개값을 추정함으로써 기존 안개 제거 알고리즘보다 영상의 원 색상을 보존하고 가시성을 향상시키면서 효과적으로 안개 성분을 제거할 수 있다. Disclosed is a fog removal and color correction apparatus and method suitable for a consumer surveillance camera system (e.g., cctv). The transformation map generation unit generates a transformation map using a multiphase level set capable of obtaining depth information of an input image corresponding to an input image including a fog component. The fog value estimator estimates the value of the pixel having the maximum brightness value from the brightness (V) value of the HSV color space as the fog value. The image reconstruction unit generates a reconstructed image by removing the fog component included in the input image based on the generated transformation map and the estimated fog value. According to the present invention, a conversion map is generated by using a brightness (V) value in an HSV color space and a fog value is estimated, thereby preserving the original color of the image and improving the visibility, have.

Description

ＨＳＶ 색상 공간에서 영상의 안개 제거 장치 및 방법, 그리고 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체{Apparatus and method for image defogging in HSV color space and recording medium storing program for executing method of the same in computer}TECHNICAL FIELD [0001] The present invention relates to an apparatus and method for removing fog in an image in an HSV color space, and a recording medium storing a program for executing the method in a computer. }

본 발명은 HSV 색상 공간에서 영상의 안개 제거 장치 및 방법, 그리고 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체에 관한 것으로, 더욱 상세하게는, 안개가 포함된 환경을 촬영한 영상에서 발생하는 안개로 인한 왜곡을 보정하여 영상의 화질을 개선하는 HSV 색상 공간에서 영상의 안개 제거 장치 및 방법, 그리고 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체에 관한 것이다. The present invention relates to an apparatus and method for removing fog in an image in an HSV color space, and a recording medium on which a program for executing the method is recorded on a computer, and more particularly, An apparatus and method for removing fog of an image in an HSV color space which improves image quality by correcting distortion due to fog, and a recording medium on which a program for executing the method in a computer is recorded.

외부에 설치되어 있는 비디오 감시시스템(예를 들어, cctv)은 기상상태에 따라 객체의 원래 색과 형태를 분간하기 힘든 경우가 많다. 또한 비디오 감시시스템은 설치 위치에 따라 환경 요인이 다르기 때문에 안개 등이 존재하는 경우 피사체 특성 인식에 어려움이 따른다. 따라서 안개 등을 제거하고자 하는 연구는 오랫동안 진행되고 있다. An external video surveillance system (for example, cctv) often has difficulty distinguishing the original color and shape of the object according to the weather conditions. In addition, the video surveillance system has different environmental factors depending on the installation location, and therefore, it is difficult to recognize the characteristics of the object when fog exists. Therefore, studies for removing fog and the like have been going on for a long time.

Narasimhan은 한 위치에서 열화 요인에 의한 밝기 값이 서로 다른 두 영상을 획득한 후 대기 열화 요인에 따른 투과 정도와 깊이 정보를 구하여 안개를 제거하였다. Schwartz는 동일한 위치에서 각각 다른 편광 필터가 장착되어 얻어진 두 장의 영상을 사용한다. 이는 각 편광 필터를 통해서 전달된 빛의 세기가 다르기 때문에 편광된 양을 분할하여 편광 값을 계산하고 이를 이용하여 편광된 안개를 제거하는 방법이다. 이처럼 기존의 방법들은 안개 제거를 위한 이론적인 출발점을 제시했다는 점에서 의미를 갖는 반면, 다수의 영상을 획득해야 한다거나, 편광 필터와 같은 추가적인 장치가 필요하기 때문에 실제 카메라에 장착하기 위해서는 구현 및 비용의 문제가 있다. Narasimhan obtained two images with different brightness values due to deterioration factors at one location and then removed the fog by obtaining the degree of penetration and depth information according to the atmospheric deterioration factors. Schwartz uses two images obtained from the same position, each with a different polarizing filter. Since the intensity of light transmitted through each polarizing filter is different, the polarized amount is calculated by dividing the polarized amount, and the polarized fog is removed by using the calculated value. However, since the conventional methods require a plurality of images or additional devices such as a polarizing filter, it is necessary to implement the camera in a real camera. there is a problem.

이를 보완하기 위해서 추가적인 정보 없이 한 장의 영상만을 이용하여 안개를 제거하는 방법에 대한 연구가 시작되었다. Fattal은 영상의 반사율을 측정하고 같은 위치에서는 빛이 반사되는 방향이 항상 같다는 가정을 통해 안개를 제거하였다. Tan은 안개가 존재하는 영상을 안개가 존재하지 않는 영상보다 낮은 대비(contrast)를 가지고 있다는 특성을 이용하여 대기 열화요인을 제거하였다. 하지만 이는 과도하게 대비를 증가시켜 부분적인 색상 왜곡 문제점이 발생한다. Kratz는 안개 이미지의 모델링을 위해서 Markov random field를 사용하여 영상의 반사율(albedo)과 거리를 두 개의 통계적 독립 요소를 추정하고 이를 이용하여 안개를 제거하였다. 하지만 단일 영상을 사용한 안개 제거 방법은 후광효과(halo effect)와 색상 왜곡 문제가 나타날 수 있다. To overcome this problem, a method of removing fog using only one image without additional information has been studied. Fattal measured the reflectance of the image and removed the fog through the assumption that the direction of light reflection is always the same at the same position. Tan has removed the atmospheric deterioration factor by using the characteristic that the image with fog has lower contrast than the image without fog. However, this increases the contrast excessively and causes partial color distortion problems. Kratz used two Markov random fields to model the fog images and estimate two statistical independent factors, albedo and distance, and used them to remove fog. However, the fog removal method using a single image may cause halo effect and color distortion problem.

이와 같은 안개 제거 방법과 유사한 특성을 가진 기술로 대비개선 기술이 있다. Kong은 영상의 픽셀 전체에 히스토그램 균등화를 실시하는 동시에 영상을 지역적으로 분할함으로써 대비를 개선한 영상을 얻는다. Xu는 영상의 매개변수 제어를 통해 가상 히스토그램 분포 방법을 이용해서 명암과 선명도를 강화시킨다. 하지만 위의 방법들은 영상의 가시성을 향상시킬 수 있지만, 안개 영상에서의 본래의 피사체 색상을 복원시키기는 어렵다는 문제가 있다. There is contrast enhancement technology with a technology similar to this fog removal method. Kong performs histogram equalization on the entire pixels of the image and at the same time obtains the image with improved contrast by dividing the image locally. Xu enhances contrast and sharpness by using virtual histogram distribution method through image parameter control. However, although the above methods can improve the visibility of the image, there is a problem that it is difficult to restore the original subject color in the fog image.

이와 관련된 선행기술을 구체적으로 살펴보면, 한국공개공보 제2012-0079564호(발명의 명칭 : 에지 정보 및 톤 매핑을 기반으로 한 영상의 안개 제거 장치 및 방법)에는 색상 손상과 같은 영상의 열화를 방지하면서 단일 영상을 사용하여 영상의 안개를 제거할 수 있는 안개 제거 장치 및 방법을 개시하고 있다.Specifically, Korean Prior Art Publication No. 2012-0079564 (entitled "Edge Mask Removing Method and Apparatus Based on Edge Information and Tone Mapping)" is used to prevent image deterioration such as color damage Discloses a fog removal apparatus and method capable of removing fog of an image using a single image.

또한, 한국공개공보 제2011-0050775호(발명의 명칭 : CCTV 영상 화질 개선 장치)에는 CCTV의 출력단의 케이스에 고정되거나 커넥터에 고정되거나 DVR의 입력단에 고정되어 CCTV에서 출력된 영상을 이미지 개선 단계, 노이즈 제거 단계, 안개 제거 단계를 거쳐 CCTV에 출력된 영상의 화질을 개선시키는 영상화질 개선장치를 개시하고 있다. Also, Korean Unexamined Patent Application Publication No. 11-0050775 (entitled CCTV Image Quality Improvement Device) discloses an image enhancement step in which an image output from a CCTV is fixed to a case of an output end of a CCTV, fixed to a connector, or fixed to an input end of a DVR, A noise removing step, and a fog removing step to improve the image quality of the image output to the CCTV.

본 발명이 이루고자 하는 기술적 과제는, 영상의 원 색상을 보존하고 가시성을 향상시켜 영상의 열화를 방지하면서 단일 영상을 사용하여 영상의 안개를 제거할 수 있는 HSV 색상 공간에서 영상의 안개 제거 장치 및 방법을 제공하는 데 있다. SUMMARY OF THE INVENTION An object of the present invention is to provide an apparatus and method for eliminating fog in an image in an HSV color space in which image fog can be removed by using a single image while preventing image deterioration by preserving original colors of an image and improving visibility .

본 발명이 이루고자 하는 다른 기술적 과제는, 영상의 원 색상을 보존하고 가시성을 향상시켜 영상의 열화를 방지하면서 단일 영상을 사용하여 영상의 안개를 제거할 수 있는 HSV 색상 공간에서 영상의 안개 제거 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 제공하는 데 있다. Another object of the present invention is to provide a method of removing fog in an HSV color space in which image fog can be removed using a single image while preserving the original color of the image and improving the visibility, And a program for causing the computer to execute the program.

상기의 기술적 과제를 달성하기 위한 본 발명에 따른 영상의 안개 제거 장치는, 안개 성분이 포함된 입력 영상에 대응하여 상기 입력 영상의 깊이 정보를 구할 수 있는 다상 레벨 세트(multiphase level set)를 이용하여 변환맵을 생성하는 변환맵 생성부; 상기 입력 영상의 HSV 색상 공간의 밝기(V) 값에서 최대 밝기 값을 가진 픽셀의 값을 안개값으로 추정하는 안개값 추정부; 및 상기 생성된 변환맵과 상기 추정된 안개값을 기초로 상기 입력 영상에 포함된 안개 성분을 제거하여 복원 영상을 생성하는 영상 복원부;를 구비한다. According to an aspect of the present invention, there is provided an apparatus for removing fog in an image, the apparatus comprising: a multiphase level set capable of obtaining depth information of an input image corresponding to an input image including a fog component; A transformation map generation unit for generating a transformation map; A fog value estimator for estimating a value of a pixel having a maximum brightness value from a brightness (V) value of an HSV color space of the input image as a fog value; And an image reconstruction unit for generating a reconstructed image by removing fog components included in the input image based on the generated transformation map and the estimated fog value.

상기의 다른 기술적 과제를 달성하기 위한 본 발명에 따른 영상의 안개 제거 방법은, (a) 안개 성분이 포함된 입력 영상에 대응하여 상기 입력 영상의 깊이 정보를 구할 수 있는 다상 레벨 세트(multiphase level set)를 이용하여 변환맵을 생성하는 단계; (b) 상기 입력 영상의 HSV 색상 공간의 밝기(V) 값에서 최대 밝기 값을 가진 픽셀의 값을 안개값으로 추정하는 단계; 및 (c) 상기 생성된 변환맵과 상기 추정된 안개값을 기초로 상기 입력 영상에 포함된 안개 성분을 제거하여 복원 영상을 생성하는 단계;를 갖는다. According to another aspect of the present invention, there is provided a method of removing fog in an image, the method comprising: (a) obtaining a multiphase level set Generating a transformation map using the transformation map; (b) estimating a value of a pixel having a maximum brightness value from the brightness (V) value of the HSV color space of the input image as a fog value; And (c) generating a reconstructed image by removing a fog component included in the input image based on the generated conversion map and the estimated fog value.

본 발명에 따른 영상의 안개 제거 장치 및 방법에 의하면, HSV 색상 공간에서 밝기(V)값을 이용하여 변환맵을 생성하고 안개값을 추정함으로써 기존 안개 제거 알고리즘보다 영상의 원 색상을 보존하고 가시성을 향상시키면서 효과적으로 안개 성분을 제거할 수 있다. According to the apparatus and method for removing fog of an image according to the present invention, a conversion map is generated using a brightness (V) value in an HSV color space, and a fog value is estimated, thereby preserving the original color of the image, It is possible to effectively remove the fog component while improving it.

도 1은 본 발명에 따른 영상의 안개 제거 장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 2는 본 발명에 따른 영상의 안개 제거 방법에 있어 입력된 영상을 하나 이상의 폐곡선을 이용하여 복수의 영상으로 분할된 모습을 도시한 도면,
도 3은 본 발명에 따른 영상의 안개 제거 방법의 흐름을 도시한 흐름도,
도 4는 본 발명에 따른 영상의 안개 제거 방법을 적용하여 안개가 포함된 입력 영상을 복원하는 일 예를 나타낸 도면,
도 5는 본 발명에 따른 영상의 안개 제거 방법을 적용하여 생성된 변환맵을 도시한 도면,
도 6은 본 발명에 따른 영상의 안개 제거 방법을 소비자 감시 시스템(예를 들면, cctv)에 적용하여 안개 제거 및 색상 보정한 영상을 도시한 도면,
도 7은 본 발명에 따른 영상의 안개 제거 방법을 일반 비디오 카메라에서 촬영한 입력 영상에 적용하여 안개 제거 및 색상 보정한 영상을 도시한 도면, 그리고,
도 8은 본 발명에 따른 영상의 안개 제거 방법을 다양한 단일 안개가 포함된 입력 영상에 적용한 결과를 도시한 도면이다. BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a block diagram showing a configuration of a preferred embodiment of an image mist removing device according to the present invention; Fig.
FIG. 2 is a view illustrating a method of dividing an input image into a plurality of images using one or more closed curves in the image fog removing method according to the present invention, FIG.
3 is a flowchart illustrating a flow of a method for removing fog of an image according to the present invention,
4 is a view illustrating an example of restoring an input image including a fog by applying a fog removing method according to the present invention.
5 is a view showing a transformation map generated by applying the method of removing fog of an image according to the present invention,
FIG. 6 is a view showing a fog removal and color-corrected image by applying a fog removal method of an image according to the present invention to a consumer surveillance system (for example, cctv)
7 is a view showing an image obtained by applying fog removal method of image according to the present invention to an input image taken by a general video camera to remove fog and performing color correction,
FIG. 8 is a view showing a result of applying a method of removing fog of an image according to the present invention to an input image including various single fogs.

이하에서 첨부의 도면들을 참조하여 본 발명에 따른 영상의 안개 제거 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings.

도 1은 본 발명에 따른 영상의 안개 제거 장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다. 도 1을 참조하면, 본 발명에 따른 영상의 안개 제거 장치는 변환맵 생성부(110), 안개값 추정부(120), 영상 복원부(130) 및 색상 보정부(140)를 구비한다. FIG. 1 is a block diagram showing a configuration of a preferred embodiment of an image mist removing device according to the present invention. 1, the apparatus for removing fog of an image according to the present invention includes a conversion map generator 110, a fog value estimator 120, an image restorer 130, and a color corrector 140. [

변환맵 생성부(110)는 안개 성분이 포함된 입력 영상에 대응하여 입력 영상의 깊이 정보를 구할 수 있는 다상 레벨 세트(multiphase level set)를 이용하여 변환맵을 생성한다. 여기서 다상 레벨 세트(multiphase level set)는 도 2에 도시된 바와 같이 입력 영상에 대해 하나 이상의 폐곡선(

Figure 112012067761756-pat00001
)을 이용하여 복수의 영역(P1, P2, P3, P4)으로 분할하고, 분할된 복수의 영역으로부터 입력 영상의 깊이 정보를 구할 수 있다. The transformation map generation unit 110 generates a transformation map using a multiphase level set capable of obtaining depth information of an input image corresponding to an input image including a fog component. Here, the multiphase level set may include one or more closed curves ("
Figure 112012067761756-pat00001
(P 1 , P 2 , P 3 , and P 4 ) using the input image data and depth information of the input image from a plurality of divided regions.

대기 중 안개 성분으로 인해 왜곡되어 얻어진 영상은 다음과 같이 결정된다. The image obtained by distorting due to the atmospheric mist component is determined as follows.

Figure 112012067761756-pat00002
Figure 112012067761756-pat00002

여기서

Figure 112012067761756-pat00003
는 안개값,
Figure 112012067761756-pat00004
는 변환맵,
Figure 112012067761756-pat00005
는 안개가 존재하지 않는 원본 영상, 그리고,
Figure 112012067761756-pat00006
는 안개 성분이 포함된 영상을 나타낸다. here
Figure 112012067761756-pat00003
The fog value,
Figure 112012067761756-pat00004
A transformation map,
Figure 112012067761756-pat00005
A source image that does not have fog,
Figure 112012067761756-pat00006
Represents an image including a fog component.

기존 변환맵 생성 방법은 일정 크기의 패치(patch, Ω(x, y))에서 가장 어두운 값을 찾는데, 이는 다음 수학식 2와 같다. The existing transformation map generation method finds the darkest value in a patch of a predetermined size (patch, Ω (x, y)), as shown in the following Equation 2.

Figure 112012067761756-pat00007
Figure 112012067761756-pat00007

이상적으로 안개가 없는 이미지 패치에서의 가장 어두운 값은 0이 된다. 결과적으로 기존 변환맵은 다음 수학식 3과 같이 구할 수 있다. Ideally, the darkest value in a fog free image patch is zero. As a result, the existing transformation map can be obtained as shown in the following equation (3).

Figure 112012067761756-pat00008
Figure 112012067761756-pat00008

그러나 기존 변환맵을 이용하여 안개를 제거할 경우 불연속적인 에지의 밝기를 고려하지 않기 때문에 후광 효과(halo effect)와 색상 왜곡이 발생할 수 있다. 후광 효과를 제거하기 위해 기존 알고리즘인 이미지 매팅(image matting) 기술을 이용하지만, 이는 계산의 복잡도가 높기 때문에 실시간 비디오 프로세싱에 적합하지 않다. However, when the fog is removed by using the existing conversion map, halo effect and color distortion may occur because the brightness of the discontinuous edge is not considered. It utilizes the existing algorithm, image matting, to eliminate halo effects, but it is not suitable for real-time video processing because of its high computational complexity.

따라서 이러한 문제를 해결하기 위해 본 발명에 따른 안개 제거 방법은 균일한 영역으로 분할된 이미지에 대해 다상 레벨 세트(multiphase level set)를 이용하여 수정된 변환맵을 생성한다. 수정된 변환맵은 물체에 의해 반사되는 빛이 카메라에 도달하는 양으로 결정되기 때문에, 멀리 있는 물체일수록 빛의 감쇠가 더 심하다고 가정한다. 즉, 본 발명에 따른 (수정된) 변환맵은 다음 수학식 4를 통해 구할 수 있다. Therefore, in order to solve such a problem, the fog removing method according to the present invention generates a modified conversion map using a multiphase level set for an image divided into uniform regions. Since the modified transformation map is determined by the amount of light reflected by the object reaching the camera, it is assumed that the farther the object is, the more attenuated the light. That is, the (modified) transformation map according to the present invention can be obtained by the following equation (4).

Figure 112012067761756-pat00009
Figure 112012067761756-pat00009

여기서,

Figure 112012067761756-pat00010
는 수정된 변환맵, e는 지수함수(exponential), β는 대기의 산란 계수, 그리고, d(x, y)는 영상의 깊이 또는 거리를 의미한다. here,
Figure 112012067761756-pat00010
Is the modified transformation map, e is the exponential, β is the scattering coefficient of the atmosphere, and d (x, y) is the depth or distance of the image.

결과적으로, 수학식 4에서 영상의 깊이 정보를 구함에 있어 다상 레벨 세트(multiphase level set) 방법을 사용하여 처리 시간이 단축될 수 있다. 안개 영상은 안개의 특성상 거리에 따라 안개가 존재하는 농도가 다르다. 따라서 카메라를 통해 취득한 영상은 객체에서 반사되어 카메라로 들어오는 빛의 왜곡 정도에 따라 무한히 먼 거리에 존재하는 객체일수록 안개의 영상을 많이 받는다. As a result, the processing time can be shortened by using the multiphase level set method in obtaining the depth information of the image in Equation (4). In fog images, fog exists at different concentrations depending on the nature of the fog. Therefore, the image acquired through the camera is reflected from the object, and depending on the degree of distortion of the light coming into the camera, the object that exists at an infinitely long distance receives a lot of fog images.

이때, 다상 레벨 세트(multiphase level set)는 안개 영상을 도 2에 도시된 바와 같이 2개의 폐곡선(

Figure 112012067761756-pat00011
)을 이용하여 4개의 영역(P1, P2, P3, P4)으로 구획할 수 있다. 여기서, 안개의 영향을 덜 받으며 객체의 중요도가 높은 영역을 P1으로 정의할 수 있다. 또한, 안개의 영향을 많이 받으며 객체의 중요도가 적은 영역을 P2로 정의할 수 있다. 따라서 다상 레벨 세트(multiphase level set)는 영상의 중요도에 따라 영역을 분할하여 깊이 정보로 사용될 수 있다. At this time, the multiphase level set sets the fog images to two closed curves (
Figure 112012067761756-pat00011
(P 1 , P 2 , P 3 , and P 4 ) by using the four regions (P 1 , P 2 , P 3 , and P 4 ). Here, the region having less importance of the fog and having a high importance of the object can be defined as P1. In addition, P2 can be defined as a region that receives a lot of influence of fog and has a low importance of an object. Therefore, the multiphase level set can be used as depth information by dividing the region according to the importance of the image.

구체적으로, 다상 레벨 세트(multiphase level set)(

Figure 112012067761756-pat00012
)는 안개 성분이 포함된 입력 영상을 N=2n 개의 영역(
Figure 112012067761756-pat00013
)으로 나눌 수 있다. j개의 레벨 세트(
Figure 112012067761756-pat00014
)는 일반적으로 해당 지역의 거리 함수로 정의된다. 도 2를 참고하면, 입력 영상을 두 개의 수준 집합을 이용하여 네 가지 영역으로 나눔으로써 깊이 정보 d(x, y)를 구할 수 있다. 상술한 네 가지 영역은 영상의 표면과 폐곡선을 이용하여 효과적으로 깊이 정보를 구할 수 있으며, 이는 도 2에 도시된 바와 같다. 상술한 네 가지 영역(P1, P2, P3, P4)은 아래 수학식 5와 같이 표현할 수 있다. Specifically, a multiphase level set (
Figure 112012067761756-pat00012
) Represents the input image including the fog component as N = 2 n regions (
Figure 112012067761756-pat00013
). j level sets (
Figure 112012067761756-pat00014
) Is generally defined as the distance function of the area. Referring to FIG. 2, the depth information d (x, y) can be obtained by dividing the input image into four regions using two sets of levels. The above-mentioned four regions can effectively obtain depth information by using the surface and the closed curve of the image, as shown in FIG. The above four regions P 1 , P 2 , P 3 , and P 4 can be expressed by the following Equation (5).

Figure 112012067761756-pat00015
Figure 112012067761756-pat00015

여기서,

Figure 112012067761756-pat00016
는 heaviside 함수를 나타낸다. here,
Figure 112012067761756-pat00016
Represents the heaviside function.

깊이 정보(d(x, y))는 다양한 변수들을 결합함으로써 다음 수학식 6과 같이 얻어진다.The depth information (d (x, y)) is obtained as shown in Equation (6) by combining various variables.

Figure 112012067761756-pat00017
Figure 112012067761756-pat00017

여기서,

Figure 112012067761756-pat00018
는 영상의 HSV 색상 공간의 밝기(V), 그리고,
Figure 112012067761756-pat00019
는 중요도에 따라 생성된 4개의 영역(
Figure 112012067761756-pat00020
)에 동일하게 에지 영역을 부드럽게 하기 위해 희미하게 처리(blur)하기 위한 계수이다. HSV 색상 공간은 이미지의 색을 표현하는 하나의 방법으로, 색상(Hue), 채도(Saturation), 명도(Brightness Value)의 좌표를 써서 특정한 색을 지정한다. here,
Figure 112012067761756-pat00018
(V) of the HSV color space of the image,
Figure 112012067761756-pat00019
(4) < / RTI >< RTI ID = 0.0 >
Figure 112012067761756-pat00020
) For smoothing the edge region in the same manner. The HSV color space is a way of representing the color of an image and specifies a specific color by using coordinates of Hue, Saturation, and Brightness Value.

안개값 추정부(120)는 입력 영상의 HSV 색상 공간의 밝기(V) 값에서 최대 밝기 값을 가진 픽셀의 값을 안개값으로 추정하며, 영상 복원부(130)는 생성된 변환맵과 추정된 안개값을 기초로 입력 영상에 포함된 안개 성분을 제거하여 복원 영상을 생성한다. The fuzzy value estimator 120 estimates the value of a pixel having a maximum brightness value from the brightness (V) value of the HSV color space of the input image as a fuzzy value, The reconstructed image is generated by removing the fog component included in the input image based on the fog value.

즉, 추정된 안개값과 수정된 변환맵을 이용하여 밝기(V) 요소에 수학식 1을 적용하면 안개 성분이 제거된 복원 영상을 아래 수학식 7과 같이 얻을 수 있다. That is, if Equation (1) is applied to the brightness (V) element using the estimated fog value and the modified conversion map, a reconstructed image from which the fog component is removed can be obtained as shown in Equation (7).

Figure 112012067761756-pat00021
Figure 112012067761756-pat00021

여기서,

Figure 112012067761756-pat00022
는 안개값,
Figure 112012067761756-pat00023
는 수정된 변환맵,
Figure 112012067761756-pat00024
는 안개 영상의 밝기값,
Figure 112012067761756-pat00025
는 안개 제거 영상의 밝기 값, 그리고,
Figure 112012067761756-pat00026
는 연속적인 프레임을 나타낸다. here,
Figure 112012067761756-pat00022
The fog value,
Figure 112012067761756-pat00023
A modified transformation map,
Figure 112012067761756-pat00024
The brightness value of the fog image,
Figure 112012067761756-pat00025
The brightness value of the fog removal image,
Figure 112012067761756-pat00026
Represents a continuous frame.

또한, 색상 보정부(140)는 안개 성분이 포함된 입력 영상의 연속되는 프레임의 밝기(V) 성분 차이에 따른 비율을 고려하여 입력 영상의 연속적인 프레임 간의 색상 왜곡을 보정한다. In addition, the color correction unit 140 corrects color distortion between consecutive frames of the input image considering the ratio of the brightness (V) component of successive frames of the input image including the fog component.

비디오 영상의 특성상 촬영시 변하는 기상상태와 조명의 양에 따라 각 프레임이 가지고 있는 밝기 성분은 다르게 작용하게 된다. 결과적으로 각 프레임에서 생성된 안개값과 변환맵을 이용하여 안개 제거를 하면 연속되는 프레임의 밝기 성분을 고려하지 않기 때문에 각 안개 제거 영상의 색상이 왜곡되는 문제점이 발생한다. 따라서 이를 제거하기 위해 연속적인 프레임 간의 HSV 색상 보정 알고리즘을 수행할 수 있다. 연속적인 프레임의 각 HSV 색상 공간 비율은 다음과 같다. Due to the nature of the video image, the brightness components of each frame act differently depending on the weather conditions and the amount of light that changes during shooting. As a result, when fog removal is performed by using the fog value and the conversion map generated in each frame, the brightness component of consecutive frames is not considered, resulting in a problem that the color of each fog removal image is distorted. Therefore, it is possible to perform the HSV color correction algorithm between consecutive frames in order to remove it. The HSV color space ratios of successive frames are as follows.

Figure 112012067761756-pat00027
Figure 112012067761756-pat00027

여기서,

Figure 112012067761756-pat00028
는 안개가 제거된 영상의 각 HSV 색상 공간의 현재 프레임과 이전 프레임의 차이를 구한 값으로 색상 보정을 위한 비율을 의미하며,
Figure 112012067761756-pat00029
은 픽셀 수(
Figure 112012067761756-pat00030
은 가로 픽셀 수,
Figure 112012067761756-pat00031
은 세로 픽셀 수), 그리고,
Figure 112012067761756-pat00032
는 프레임 수를 의미한다. here,
Figure 112012067761756-pat00028
Is a value obtained by calculating a difference between a current frame and a previous frame of each HSV color space of a fog removed image,
Figure 112012067761756-pat00029
Is the number of pixels (
Figure 112012067761756-pat00030
Is the number of horizontal pixels,
Figure 112012067761756-pat00031
Is the number of vertical pixels)
Figure 112012067761756-pat00032
Means the number of frames.

수학식 8에서 구한 각 HSV 색상 공간의 비율(

Figure 112012067761756-pat00033
)을 안개 제거 영상에 적용한다. 이는 다음 수학식 9와 같다.The ratio of each HSV color space obtained from Equation (8)
Figure 112012067761756-pat00033
) Is applied to the fog removal image. This is expressed by the following equation (9).

Figure 112012067761756-pat00034
Figure 112012067761756-pat00034

여기서,

Figure 112012067761756-pat00035
는 안개 제거 후 색상 보정한 영상을 HSV 색상 공간으로 표현한 것, 그리고,
Figure 112012067761756-pat00036
는 안개 제거 영상을 HSV 색상 공간으로 표현한 것을 의미한다. here,
Figure 112012067761756-pat00035
The color corrected image after removal of fog is expressed in HSV color space,
Figure 112012067761756-pat00036
Means that the fog removal image is expressed in the HSV color space.

각각의

Figure 112012067761756-pat00037
,
Figure 112012067761756-pat00038
, 그리고
Figure 112012067761756-pat00039
를 RGB 채널로 변환하면, 컬러 보정이 된 안개 제거 영상을 얻을 수 있다. Each
Figure 112012067761756-pat00037
,
Figure 112012067761756-pat00038
, And
Figure 112012067761756-pat00039
Is converted into an RGB channel, it is possible to obtain a color-corrected fog removal image.

도 3은 본 발명에 따른 영상의 안개 제거 방법의 흐름을 도시한 흐름도이다. 도 3을 참조하면, 안개 성분이 포함된 영상이 입력되면(S310), 입력 영상의 깊이 정보를 구할 수 있는 다상 레벨 세트(multiphase level set)를 이용하여 변환맵을 생성한다(S320). 또한, 입력 영상에 대해 HSV 색상 공간의 밝기(V) 값에서 최대 밝기 값을 가진 픽셀의 값을 안개값으로 추정한다(S330). 즉, S320 단계와 S330 단계는 선후 관계가 있는 것이 아니나 동시에 이루어질 필요는 없다. 그 이후, 생성된 변환맵과 추정된 안개값을 토대로 입력 영상에 포함된 안개 성분이 제거된 복원 영상을 생성한다(S340). 나아가, 비디오 영상의 특성상 촬영시 변하는 기상 상태와 조명의 양에 따라 각 프레임이 가지고 있는 밝기 성분은 다르게 작용하므로 연속적인 프레임의 밝기 성분을 고려해야 한다. 따라서 안개 성분이 포함된 입려격 영상의 연속되는 프레임의 밝기(V) 성분 차이에 따른 비율을 고려하여 입력 영상의 연속적인 프레임 간의 색상 왜곡을 보정한다(S350). 이때, 프레임 메모리(S360)에 의해 이전 프레임을 기준으로 그 다음 프레임 값을 추정하여 색상 보정을 하게 된다. 이와 관련된 수식은 앞서 설명한 바와 같다. 3 is a flowchart illustrating a flow of a method for removing fog of an image according to the present invention. Referring to FIG. 3, when an image including a fog component is input (S310), a transform map is generated using a multiphase level set that can obtain depth information of an input image (S320). In addition, the value of the pixel having the maximum brightness value in the brightness (V) value of the HSV color space with respect to the input image is estimated as a fog value (S330). That is, the steps S320 and S330 are not necessarily related to each other. Thereafter, based on the generated conversion map and the estimated fog value, a reconstructed image from which the fog components included in the input image are removed is generated (S340). Furthermore, due to the nature of the video image, the brightness component of each frame varies depending on the weather conditions and the amount of illumination varying during shooting, so that the brightness component of the continuous frame must be considered. Accordingly, the color distortion between consecutive frames of the input image is corrected in consideration of the ratio of the brightness (V) component of successive frames of the input image including the fog component (S350). At this time, the next frame value is estimated based on the previous frame by the frame memory S360 to perform color correction. The related formulas are as described above.

도 4는 본 발명에 따른 영상의 안개 제거 방법을 적용하여 안개가 포함된 입력 영상을 복원하는 일 예를 나타낸 도면이다. 즉, 도 4는 본 발명에 따른 안개 제거 방법의 성능을 테스트하기 위한 실험 영상을 생성한 것으로, 도 4의 (a)는 안개 성분이 포함되지 않는 원본 영상이며, (b)는 임의로 안개 성분을 추가한 영상이다. (c)는 본 발명에 따른 안개 제거 방법을 이용하여 안개 성분을 제거한 영상이다. 4 is a view illustrating an example of restoring an input image including a fog by applying a method of removing fog of an image according to the present invention. That is, FIG. 4 shows an experimental image for testing the performance of the fog removal method according to the present invention. FIG. 4 (a) is an original image without a fog component, and (b) It is the added video. (c) is an image in which the fog component is removed using the fog removing method according to the present invention.

도 5는 본 발명에 따른 영상의 안개 제거 방법을 적용하여 생성된 변환맵을 도시한 도면이다. 도 5의 (a)는 기존 알고리즘을 이용하여 생성된 변환맵을 도시한 것이며, (b)는 본 발명에 따른 안개 제거 방법을 이용하여 생성된 변환맵을 나타낸다. 즉, 기존 알고리즘에 의한 변환맵과 본 발명에 따라 생성된 변환맵이 다소 차이가 있음을 알 수 있다. FIG. 5 is a view showing a transform map generated by applying the image fog removing method according to the present invention. FIG. 5 (a) shows a conversion map generated using an existing algorithm, and FIG. 5 (b) shows a conversion map generated using a fog removing method according to the present invention. That is, it can be seen that there is a difference between the transformation map by the existing algorithm and the transformation map generated by the present invention.

도 6은 본 발명에 따른 영상의 안개 제거 방법을 소비자 감시 시스템(예를 들면, cctv)에 적용하여 안개 제거 및 색상 보정한 영상을 도시한 도면이다. 도 5의 (a)는 연속적인 안개 영상이며, (b)는 본 발명에 따른 영상의 안개 제거 방법을 이용하여 안개가 제거된 결과 영상이며, (c)는 본 발명에 따른 영상의 안개 제거 방법 및 색상 보정 방법을 이용하여 안개 제거 및 색상 보정된 결과 영상이다. 도 7은 본 발명에 따른 영상의 안개 제거 방법을 일반 비디오 카메라에서 촬영한 입력 영상에 적용하여 안개 제거 및 색상 보정한 영상을 도시한 도면이다. 도 7의 (a)는 연속적인 안개 영상이며, (b)는 본 발명에 따른 영상의 안개 제거 방법을 이용한 수정된 변환맵이며, (c)는 본 발명에 따른 영상의 안개 제거 방법을 이용하여 안개가 제거된 결과 영상이며, (d)는 본 발명에 따른 영상의 안개 제거 방법 및 색상 보정 방법을 이용하여 안개 제거 및 색상 보정된 결과 영상이다. 도 8은 본 발명에 따른 영상의 안개 제거 방법을 다양한 단일 안개가 포함된 입력 영상에 적용한 결과를 도시한 도면이다. 도 8의 (a)는 안개 영상이며, (b)는 기존 알고리즘을 이용하여 안개 성분을 제거한 영상이며, (c)는 본 발명에 따른 영상의 안개 제거 방법을 이용한 수정된 변환맵이며, (d)는 본 발명에 따른 영상의 안개 제거 방법을 이용하여 안개가 제거된 결과 영상이다. 즉, 본 발명을 사용하는 경우 영상의 색상 열화 없이 효과적으로 안개 성분이 제거됨을 확인할 수 있다. FIG. 6 is a diagram illustrating images of fog removal and color correction by applying a fog removal method of an image according to the present invention to a consumer monitoring system (for example, cctv). 5 (a) is a continuous fog image, (b) is a fog removal result using a fog removal method of an image according to the present invention, and (c) And a fog removal and color corrected result image using a color correction method. FIG. 7 is a diagram illustrating a fog removal method and a color correction method applied to an input image captured by a general video camera according to an embodiment of the present invention. 7 (a) is a continuous fog image, (b) is a modified conversion map using a fog removing method of an image according to the present invention, and (c) (D) is a fog removal and color corrected result image using the image fog removing method and the color correction method according to the present invention. FIG. 8 is a view showing a result of applying a method of removing fog of an image according to the present invention to an input image including various single fogs. 8 (a) is a mist image, (b) is an image obtained by removing a fog component using an existing algorithm, (c) is a modified conversion map using a fog removing method according to the present invention, and Is a resultant image in which fog is removed by using the image fog removing method according to the present invention. That is, when the present invention is used, it is confirmed that the fog component is effectively removed without degrading the color of the image.

이상의 설명에서 '제1', '제2' 등의 용어는 다양한 구성요소들을 설명하기 위해 사용되었지만, 각각의 구성요소들은 이러한 용어들에 의해 한정되어서는 안 된다. 즉, '제1', '제2' 등의 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 목적으로 사용되었다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다. 또한, '및/또는'이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함하는 의미로 사용되었다. In the above description, terms such as 'first', 'second', and the like are used to describe various components, but each component should not be limited by these terms. That is, the terms 'first', 'second', and the like are used for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a 'first component' may be referred to as a 'second component', and similarly, a 'second component' may also be referred to as a 'first component' . Also, the term " and / or " is used in the sense of including any combination of a plurality of related listed items or any of the plurality of related listed items.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 유무선 통신망으로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and a carrier wave (transmission via the Internet). In addition, the computer-readable recording medium may be distributed to a computer system connected to a wired / wireless communication network, and a computer-readable code may be stored and executed in a distributed manner.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation in the embodiment in which said invention is directed. It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the scope of the appended claims.

110 : 변환맵 생성부 120 : 안개값 추정부
130 : 영상 복원부 140 : 색상 보정부110: conversion map generating unit 120: fog value estimating unit
130: image restoration unit 140: color correction unit

Claims (17)

안개 성분이 포함된 입력 영상에 대응하여 상기 입력 영상의 깊이 정보를 구할 수 있는 다상 레벨 세트(multiphase level set)를 이용하여 변환맵을 생성하는 변환맵 생성부;
상기 입력 영상의 HSV 색상 공간의 밝기(V) 값에서 최대 밝기 값을 가진 픽셀의 값을 안개값으로 추정하는 안개값 추정부; 및
상기 생성된 변환맵과 상기 추정된 안개값을 기초로 상기 입력 영상에 포함된 안개 성분을 제거하여 복원 영상을 생성하는 영상 복원부;를 포함하고,
상기 변환맵은 하기 수학식 2에 의해 생성되는 것을 특징으로 하는 영상의 안개 제거 장치:
[수학식 2]
Figure 112014051125609-pat00100

여기서, (x,y)는 입력 영상의 픽셀좌표,
Figure 112014051125609-pat00101
는 변환맵, e는 지수함수(exponential), β는 대기의 산란 계수, 그리고, d(x, y)는 영상의 깊이 정보를 의미한다.A transformation map generation unit for generating a transformation map using a multiphase level set capable of obtaining depth information of the input image corresponding to an input image including a fog component;
A fog value estimator for estimating a value of a pixel having a maximum brightness value from a brightness (V) value of an HSV color space of the input image as a fog value; And
And an image reconstruction unit for generating a reconstructed image by removing fog components included in the input image based on the generated transformation map and the estimated fog value,
Wherein the transformation map is generated by the following equation (2): < EMI ID = 2.0 >
&Quot; (2) "
Figure 112014051125609-pat00100

(X, y) is the pixel coordinate of the input image,
Figure 112014051125609-pat00101
Is the transformation map, e is the exponential, β is the scattering coefficient of the atmosphere, and d (x, y) is the depth information of the image. 제 1항에 있어서,
상기 안개 성분이 포함된 입력 영상의 연속되는 프레임의 밝기(V) 성분 차이에 따른 비율을 고려하여 상기 입력 영상의 연속적인 프레임 간의 색상 왜곡을 보정하는 색상 보정부;를 더 포함하는 것을 특징으로 하는 영상의 안개 제거 장치. The method according to claim 1,
And a color corrector for correcting color distortion between consecutive frames of the input image in consideration of a ratio according to a difference in brightness (V) component between consecutive frames of the input image including the fog component Image fog removal device. 제 1항에 있어서,
상기 다상 레벨 세트(multiphase level set)는 상기 입력 영상에 대해 적어도 하나의 폐곡선을 이용하여 복수의 영역으로 분할하고, 상기 분할된 복수의 영역으로부터 상기 입력 영상의 깊이 정보를 구하는 것을 특징으로 하는 영상의 안개 제거 장치. The method according to claim 1,
Wherein the multiphase level set divides the input image into a plurality of regions using at least one closed curve and obtains depth information of the input image from the plurality of divided regions, Fog removal device. 제 3항에 있어서,
상기 입력 영상의 깊이 정보는 하기 수학식 1에 의해 구하는 것을 특징으로 하는 영상의 안개 제거 장치:
[수학식 1]
Figure 112014051125609-pat00040

Figure 112014051125609-pat00041

여기서, (x,y)는 입력 영상의 픽셀좌표,
Figure 112014051125609-pat00042
는 입력 영상의 깊이 정보,
Figure 112014051125609-pat00043
는 영상의 HSV 색상 공간의 밝기(V),
Figure 112014051125609-pat00044
는 중요도에 따라 생성된 4개의 영역(
Figure 112014051125609-pat00045
)에 동일하게 에지 영역에 대해 블러(blur) 처리하기 위한 계수,
Figure 112014051125609-pat00046
는 분할된 영역, 그리고,
Figure 112014051125609-pat00047
는 heaviside 함수를 의미한다.The method of claim 3,
Wherein the depth information of the input image is obtained by the following equation (1): < EMI ID = 1.0 >
[Equation 1]
Figure 112014051125609-pat00040

Figure 112014051125609-pat00041

(X, y) is the pixel coordinate of the input image,
Figure 112014051125609-pat00042
The depth information of the input image,
Figure 112014051125609-pat00043
(V) of the HSV color space of the image,
Figure 112014051125609-pat00044
(4) < / RTI >< RTI ID = 0.0 >
Figure 112014051125609-pat00045
), A coefficient for blurring the edge region,
Figure 112014051125609-pat00046
Is divided into regions,
Figure 112014051125609-pat00047
Means the heaviside function. 삭제delete 제 1항에 있어서,
상기 영상 복원부는 하기 수학식 3에 의해 안개 성분이 제거된 복원 영상을 생성하는 것을 특징으로 하는 안개 제거 장치:
[수학식 3]
Figure 112013102312210-pat00050

여기서, (x,y)는 입력 영상의 픽셀좌표,
Figure 112013102312210-pat00051
는 안개값,
Figure 112013102312210-pat00052
는 변환맵,
Figure 112013102312210-pat00053
는 안개 영상의 밝기값,
Figure 112013102312210-pat00054
는 안개 제거 영상의 밝기 값,
Figure 112013102312210-pat00055
는 연속적인 프레임을 나타낸다. The method according to claim 1,
Wherein the image reconstruction unit generates a reconstructed image from which a fog component is removed according to Equation (3): < EMI ID =
&Quot; (3) "
Figure 112013102312210-pat00050

(X, y) is the pixel coordinate of the input image,
Figure 112013102312210-pat00051
The fog value,
Figure 112013102312210-pat00052
A transformation map,
Figure 112013102312210-pat00053
The brightness value of the fog image,
Figure 112013102312210-pat00054
The brightness value of the fog removal image,
Figure 112013102312210-pat00055
Represents a continuous frame. 삭제delete 제 2항에 있어서,
상기 색상 보정부는 하기 수학식 5에 의해 색상 보정이 된 안개 제거 영상을 생성하는 것을 특징으로 하는 안개 제거 장치:
[수학식 5]
Figure 112013102312210-pat00062

여기서, (x, y)는 입력 영상의 픽셀좌표, d는 HSV 색상 공간의 값, t는 연속되는 프레임,
Figure 112013102312210-pat00098
는 안개가 제거된 영상의 각 HSV 색상 공간의 현재 프레임과 이전 프레임의 차이를 구한 값으로 색상 보정을 위한 비율,
Figure 112013102312210-pat00063
는 안개 제거 후 색상 보정한 영상을 HSV 색상 공간으로 표현한 것, 그리고,
Figure 112013102312210-pat00064
는 안개 제거 영상을 HSV 색상 공간으로 표현한 것을 의미한다. 3. The method of claim 2,
Wherein the color correction unit generates a fog removal image that is color-corrected by the following equation (5): < EMI ID =
&Quot; (5) "
Figure 112013102312210-pat00062

Here, (x, y) is the pixel coordinate of the input image, d is the value of the HSV color space, t is a continuous frame,
Figure 112013102312210-pat00098
Is a value obtained by calculating the difference between the current frame and the previous frame of each HSV color space of the fog removed image,
Figure 112013102312210-pat00063
The color corrected image after removal of fog is expressed in HSV color space,
Figure 112013102312210-pat00064
Means that the fog removal image is expressed in the HSV color space. (a) 안개 성분이 포함된 입력 영상에 대응하여 상기 입력 영상의 깊이 정보를 구할 수 있는 다상 레벨 세트(multiphase level set)를 이용하여 변환맵을 생성하는 단계;
(b) 상기 입력 영상의 HSV 색상 공간의 밝기(V) 값에서 최대 밝기 값을 가진 픽셀의 값을 안개값으로 추정하는 단계; 및
(c) 상기 생성된 변환맵과 상기 추정된 안개값을 기초로 상기 입력 영상에 포함된 안개 성분을 제거하여 복원 영상을 생성하는 단계;를 포함하며,
상기 변환맵은 하기 수학식 7에 의해 생성되는 것을 특징으로 하는 영상의 안개 제거 방법:
[수학식 7]
Figure 112014051125609-pat00102

여기서, (x,y)는 입력 영상의 픽셀좌표,
Figure 112014051125609-pat00103
는 변환맵, e는 지수함수(exponential), β는 대기의 산란 계수, 그리고, d(x, y)는 영상의 깊이 정보를 의미한다.(a) generating a transformation map using a multiphase level set capable of obtaining depth information of the input image corresponding to an input image including a fog component;
(b) estimating a value of a pixel having a maximum brightness value from the brightness (V) value of the HSV color space of the input image as a fog value; And
(c) generating a reconstructed image by removing fog components included in the input image based on the generated conversion map and the estimated fog value,
Wherein the transformation map is generated according to Equation (7): < EMI ID = 7.0 >
&Quot; (7) "
Figure 112014051125609-pat00102

(X, y) is the pixel coordinate of the input image,
Figure 112014051125609-pat00103
Is the transformation map, e is the exponential, β is the scattering coefficient of the atmosphere, and d (x, y) is the depth information of the image. 제 9항에 있어서,
(d) 상기 안개 성분이 포함된 입력 영상의 연속되는 프레임의 밝기(V) 성분 차이에 따른 비율을 고려하여 상기 입력 영상의 연속적인 프레임 간의 색상 왜곡을 보정하는 단계;를 더 포함하는 것을 특징으로 하는 안개 제거 방법. 10. The method of claim 9,
(d) correcting color distortion between consecutive frames of the input image in consideration of a ratio of a brightness (V) component difference between consecutive frames of the input image including the fog component; How to remove fog. 제 9항에 있어서,
상기 다상 레벨 세트(multiphase level set)는 상기 입력 영상에 대해 적어도 하나의 폐곡선을 이용하여 복수의 영역으로 분할하고, 상기 분할된 복수의 영역으로부터 상기 입력 영상의 깊이 정보를 구하는 것을 특징으로 하는 영상의 안개 제거 방법. 10. The method of claim 9,
Wherein the multiphase level set divides the input image into a plurality of regions using at least one closed curve and obtains depth information of the input image from the plurality of divided regions, How to remove fog. 제 11항에 있어서,
상기 입력 영상의 깊이 정보는 하기 수학식 6에 의해 구하는 것을 특징으로 하는 영상의 안개 제거 방법:
[수학식 6]
Figure 112013102312210-pat00065

Figure 112013102312210-pat00066

여기서, (x, y)는 입력 영상의 픽셀좌표,
Figure 112013102312210-pat00067
는 입력 영상의 깊이 정보,
Figure 112013102312210-pat00068
는 영상의 HSV 색상 공간의 밝기(V),
Figure 112013102312210-pat00069
는 중요도에 따라 생성된 4개의 영역(
Figure 112013102312210-pat00070
)에 동일하게 에지 영역에 대해 블러(blur) 처리하기 위한 계수,
Figure 112013102312210-pat00071
는 분할된 영역, 그리고,
Figure 112013102312210-pat00072
는 heaviside 함수를 의미한다. 12. The method of claim 11,
Wherein the depth information of the input image is obtained by the following equation (6): < EMI ID = 6.0 >
&Quot; (6) "
Figure 112013102312210-pat00065

Figure 112013102312210-pat00066

(X, y) is the pixel coordinate of the input image,
Figure 112013102312210-pat00067
The depth information of the input image,
Figure 112013102312210-pat00068
(V) of the HSV color space of the image,
Figure 112013102312210-pat00069
(4) < / RTI >< RTI ID = 0.0 >
Figure 112013102312210-pat00070
), A coefficient for blurring the edge region,
Figure 112013102312210-pat00071
Is divided into regions,
Figure 112013102312210-pat00072
Means the heaviside function. 삭제delete 제 9항에 있어서,
상기 (c) 단계는 하기 수학식 8에 의해 안개 성분이 제거된 복원 영상을 생성하는 것을 특징으로 하는 영상의 안개 제거 방법:
[수학식 8]
Figure 112013102312210-pat00075

여기서, (x,y)는 입력 영상의 픽셀좌표,
Figure 112013102312210-pat00076
는 안개값,
Figure 112013102312210-pat00077
는 변환맵,
Figure 112013102312210-pat00078
는 안개 영상의 밝기값,
Figure 112013102312210-pat00079
는 안개 제거 영상의 밝기 값,
Figure 112013102312210-pat00080
는 연속적인 프레임을 나타낸다. 10. The method of claim 9,
Wherein the reconstructed image is generated by removing the fog component according to Equation (8): < EMI ID =
&Quot; (8) "
Figure 112013102312210-pat00075

(X, y) is the pixel coordinate of the input image,
Figure 112013102312210-pat00076
The fog value,
Figure 112013102312210-pat00077
A transformation map,
Figure 112013102312210-pat00078
The brightness value of the fog image,
Figure 112013102312210-pat00079
The brightness value of the fog removal image,
Figure 112013102312210-pat00080
Represents a continuous frame. 삭제delete 제 10항에 있어서,
상기 (d) 단계는 하기 수학식 10에 의해 색상 보정이 된 안개 제거 영상을 생성하는 것을 특징으로 하는 안개 제거 방법:
[수학식 10]
Figure 112013102312210-pat00087

여기서, (x, y)는 입력 영상의 픽셀좌표, d는 HSV 색상 공간의 값, t는 연속되는 프레임,
Figure 112013102312210-pat00099
는 안개가 제거된 영상의 각 HSV 색상 공간의 현재 프레임과 이전 프레임의 차이를 구한 값으로 색상 보정을 위한 비율,
Figure 112013102312210-pat00088
는 안개 제거 후 색상 보정한 영상을 HSV 색상 공간으로 표현한 것, 그리고,
Figure 112013102312210-pat00089
는 안개 제거 영상을 HSV 색상 공간으로 표현한 것을 의미한다. 11. The method of claim 10,
Wherein the step (d) generates a fog removal image that is color-corrected by the following equation (10): < EMI ID =
&Quot; (10) "
Figure 112013102312210-pat00087

Here, (x, y) is the pixel coordinate of the input image, d is the value of the HSV color space, t is a continuous frame,
Figure 112013102312210-pat00099
Is a value obtained by calculating the difference between the current frame and the previous frame of each HSV color space of the fog removed image,
Figure 112013102312210-pat00088
The color corrected image after removal of fog is expressed in HSV color space,
Figure 112013102312210-pat00089
Means that the fog removal image is expressed in the HSV color space. 제 9항 내지 제 12항, 제 14항 또는 제 16항 중 어느 한 항에 기재된 안개 제거 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체. A computer-readable recording medium on which a program for causing a computer to execute the fog removing method according to any one of claims 9 to 12, 14, or 16 is recorded.
KR1020120092237A 2012-08-23 2012-08-23 Apparatus and method for image defogging in HSV color space and recording medium storing program for executing method of the same in computer KR101456445B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120092237A KR101456445B1 (en) 2012-08-23 2012-08-23 Apparatus and method for image defogging in HSV color space and recording medium storing program for executing method of the same in computer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120092237A KR101456445B1 (en) 2012-08-23 2012-08-23 Apparatus and method for image defogging in HSV color space and recording medium storing program for executing method of the same in computer

Publications (2)

Publication Number Publication Date
KR20140026747A KR20140026747A (en) 2014-03-06
KR101456445B1 true KR101456445B1 (en) 2014-11-03

Family

ID=50641145

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120092237A KR101456445B1 (en) 2012-08-23 2012-08-23 Apparatus and method for image defogging in HSV color space and recording medium storing program for executing method of the same in computer

Country Status (1)

Country Link
KR (1) KR101456445B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631829A (en) * 2016-01-15 2016-06-01 天津大学 Night haze image defogging method based on dark channel prior and color correction
CN111640080A (en) * 2020-06-05 2020-09-08 郑州轻工业大学 CS image denoising reconstruction method based on hyperspectral total variation

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101442160B1 (en) * 2014-05-26 2014-09-22 주식회사 에스카 System for collecting discriminable image in bad weather
KR101583947B1 (en) 2014-06-20 2016-01-08 현대자동차주식회사 Apparatus and method for image defogging
KR101582779B1 (en) * 2015-07-17 2016-01-06 중앙대학교 산학협력단 Wavelength-adaptive dehazing device and method for image
CN112365467B (en) * 2020-11-11 2022-07-19 武汉长江通信智联技术有限公司 Foggy image visibility estimation method based on single image depth estimation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Variational Level Set Approach to Segmentation and Bias Correction of Images with Intensity Inhomogeneity, Med Image Computer Assist Interv. (2009) *
Adaptive defogging with color correction in the HSV color space for consumer video surveillance systems, Consumer Electronics, IEEE Transactions (2012.01) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631829A (en) * 2016-01-15 2016-06-01 天津大学 Night haze image defogging method based on dark channel prior and color correction
CN111640080A (en) * 2020-06-05 2020-09-08 郑州轻工业大学 CS image denoising reconstruction method based on hyperspectral total variation
CN111640080B (en) * 2020-06-05 2021-03-16 郑州轻工业大学 CS image denoising reconstruction method based on hyperspectral total variation

Also Published As

Publication number Publication date
KR20140026747A (en) 2014-03-06

Similar Documents

Publication Publication Date Title
US9842382B2 (en) Method and device for removing haze in single image
KR101456445B1 (en) Apparatus and method for image defogging in HSV color space and recording medium storing program for executing method of the same in computer
US10672112B2 (en) Method and system for real-time noise removal and image enhancement of high-dynamic range images
WO2016206087A1 (en) Low-illumination image processing method and device
Singh et al. A novel dehazing model for remote sensing images
CN109978774B (en) Denoising fusion method and device for multi-frame continuous equal exposure images
US20140140619A1 (en) Method and System for Removal of Fog, Mist, or Haze from Images and Videos
US20080118179A1 (en) Method of and apparatus for eliminating image noise
US20130044242A1 (en) Information processing apparatus and information processing method
US9355439B1 (en) Joint contrast enhancement and turbulence mitigation method
TWI489416B (en) Image recovery method
KR102182697B1 (en) Apparatus and method for processing image
WO2016189901A1 (en) Image processing device, image processing method, program, recording medium recording same, video capture device, and video recording/reproduction device
Kumari et al. Single image fog removal using gamma transformation and median filtering
CN113344801A (en) Image enhancement method, system, terminal and storage medium applied to gas metering facility environment
CN110175967B (en) Image defogging processing method, system, computer device and storage medium
JP6436158B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
KR101881883B1 (en) A visibility Improvement System for foggy/dark image in luminance-color difference signal color coordinate system
CN110852971A (en) Video defogging method based on dark channel prior and Retinex and computer program product
KR101468433B1 (en) Apparatus and method for extending dynamic range using combined color-channels transmission map
CN116468636A (en) Low-illumination enhancement method, device, electronic equipment and readable storage medium
Negru et al. Exponential image enhancement in daytime fog conditions
US11030725B2 (en) Noise-cancelling filter for video images
Kumar et al. Single image dehazing using improved dark channel prior
Agrawal et al. Linear Fusion of Multi-Scale Transmissions for Image Dehazing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171011

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181122

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 6