KR20170112703A

KR20170112703A - Removal Method of Haze in Image of Security Camera

Info

Publication number: KR20170112703A
Application number: KR1020160040168A
Authority: KR
Inventors: 김성실
Original assignee: 지엔에스티주식회사; 엠엠피씨 주식회사; 남도금형(주)
Priority date: 2016-04-01
Filing date: 2016-04-01
Publication date: 2017-10-12

Abstract

본 발명은 감시카메라에서 실시간적으로 안개가 제거된 영상을 제공할 수 있는 안개 제거 방법에 관한 것이다.
본 발명은, 감시 카메라 영상의 안개 제거 방법에 있어서,
화면이 분할되는 화면 분할 단계;
분할된 영역 각각에 대해 히스토그램 통계를 구하여 히스토그램 평준화가 수행되는 히스토그램 평준화 단계;
히스토그램 평준화가 수행된 각 분할 영역의 경계 부분 영상에 대해 불연속적인 부분이 없도록 처리하는 후처리 단계를 포함하는 것을 특징으로 한다.
이상과 같은 본 발명을 이용하면, 실시간적으로 안개가 제거된 영상을 제공하는 안개 제거 방법을 제공할 수 있게 된다.The present invention relates to a fog removing method capable of providing a fog removed image in real time from a surveillance camera.
The present invention relates to a method for removing fog of a surveillance camera image,
A screen dividing step of dividing the screen;
A histogram equalization step in which histogram equalization is performed by obtaining histogram statistics for each of the divided regions;
And a post-processing step of processing the boundary partial image of each divided area in which the histogram equalization is performed so that there is no discontinuous part.
According to the present invention as described above, it is possible to provide a fog removal method that provides an image in which fog is removed in real time.

Description

[0001] The present invention relates to a method for removing haze of a surveillance camera,

본 발명은 감시 카메라의 영상에 포함된 안개를 제거하여 선명한 영상을 얻기 위한 이미지 처리 방법에 관한 것으로, 보다 자세하게는 감시카메라에서 실시간적으로 안개가 제거된 영상을 제공할 수 있는 안개 제거 방법에 관한 것이다. The present invention relates to an image processing method for obtaining a clear image by removing fog included in an image of a surveillance camera, and more particularly, to a fog removal method capable of providing a fog removed image in real time from a surveillance camera will be.

대기 중에 분포되어 있는 안개, 해무, 황사, 연기 등에 있으면 야외에 설치된 감시카메라의 영상이 뿌옇게 보이는 현상이 나타난다. In the case of fog, seaweed, yellow dust, smoke, etc. distributed in the air, the image of the surveillance camera installed in the outdoors appears blurred.

종래기술에서는 이러한 안개 등을 제거하기 위하여 간단한 방법으로서, 다양한 기상 상태에서 얻어진 영상을 이용하여, 전체 화면에 대해 히스토그램 기반으로 감마 보정을 하거나 콘트라스트 보정을 하여 대비를 개선시키는 방법을 자주 이용하고 있다. In the prior art, as a simple method for removing such fog and the like, a method of improving the contrast by performing gamma correction or contrast correction based on histogram on the entire screen using an image obtained in various weather conditions is frequently used.

그런데, 이러한 종래기술의 방법에서는 전체 화면에 대해 히스토그램 분석을 수행하여 동일한 보정값(또는 곡선)을 적용하고 있기 때문에, 입력되는 영상의 형태에 따라 안개 제거 효과가 잘 나타나지 않는 경우가 자주 발생한다. However, in this conventional method, since the histogram analysis is performed on the entire screen and the same correction value (or curve) is applied, it often occurs that the mist removal effect does not appear well depending on the type of the input image.

예를 들어, 도1과 같은 화면의 경우에 영역에 따라 안개 정도가 차이가 있음에도 불구하고, 전체 화면에 대해 동일한 히스토그램 분석을 통하여 같은 크기의 보정을 적용하게 되면, 어떤 부분에서는 원래 화면보다 어두워 보이고, 다른 부분에서는 화면이 포화되어 보이는 등의 문제점이 발생한다. For example, in the case of the screen shown in FIG. 1, although the degree of fog varies according to the area, if the same size correction is applied to the entire screen through the same histogram analysis, , And the screen is saturated in other parts.

한편, 한국등록특허공보 등록번호 10-1582479호(2015. 12. 29일 공개)와 같은종래 기술에서는 영상을 수학식으로 모델링하여 복잡한 수학적 처리 과정을 통해 안개를 제거한 영상을 획득하는 방법을 사용하고 있는데, 이러한 수학식을 복잡한 수학적 처리를 하면 실시간으로 안개를 제거한 영상을 제공하지 못하는 문제점이 발생한다. On the other hand, in the related art such as Korean Registered Patent Publication No. 10-1582479 (published on December 29, 2015), a method of modeling an image by a mathematical expression and acquiring a fog free image through a complicated mathematical processing is used However, if complicated mathematical processing is performed on these mathematical expressions, it is not possible to provide a fog free image in real time.

한국등록특허공보 등록번호 10-1582479호(2015. 12. 29일 공개)Korean Registered Patent Publication No. 10-1582479 (published on December 29, 2015)

본 발명은 이러한 종래기술의 문제점을 감안하여, 실시간적으로 안개가 제거된 영상을 제공하는 안개 제거 방법을 제공한다. SUMMARY OF THE INVENTION The present invention provides a fog removal method that provides a fog removed image in real time in view of the problems of the prior art.

이상과 같은 기술적 과제를 달성하기 위하여, 본 발명은 감시 카메라 영상의 안개 제거 방법에 있어서, According to another aspect of the present invention, there is provided a method for removing fog in a surveillance camera image,

화면이 분할되는 화면 분할 단계; A screen dividing step of dividing the screen;

분할된 영역 각각에 대해 히스토그램 통계를 구하여 히스토그램 평준화가 수행되는 히스토그램 평준화 단계; A histogram equalization step in which histogram equalization is performed by obtaining histogram statistics for each of the divided regions;

히스토그램 평준화가 수행된 각 분할 영역의 경계 부분 영상에 대해 불연속적인 부분이 없도록 처리하는 후처리 단계를 포함하는 것을 특징으로 하는 한다. And a post-processing step of processing the boundary partial image of each divided area in which the histogram equalization is performed so that there is no discontinuous part.

이상과 같은 본 발명을 이용하면, 실시간적으로 안개가 제거된 영상을 제공하는 안개 제거 방법을 제공할 수 있게 된다. According to the present invention as described above, it is possible to provide a fog removal method that provides an image in which fog is removed in real time.

도 1은 안개가 존재하는 화면을 도시함.
도 2는 본 발명에 따라 화면을 MxN으로 분할하는 것을 도시함.
도 3은 본 발명에서 촬영 환경에 따라 상이한 분할 방법이 적용되는 것을 도시함.
도 4는 본 발명에 따른 안개 제거 처리 과정을 도시함.
도 5는 본 발명에 따라 안개 제거 처리를 하기 위한 순서를 도시함.Fig. 1 shows a screen in which fog exists.
Fig. 2 shows a screen divided into MxN according to the present invention.
FIG. 3 shows that a different division method is applied according to the photographing environment in the present invention.
4 illustrates a fog removal process according to the present invention.
Fig. 5 shows a procedure for performing mist removal processing according to the present invention.

본 발명에서는 도2에서와 같이 감시카메라 영상의 화면을 MxN으로 분할하여 각각의 분할 영역에 대해 히스토그램 통계를 구한 후에, 각각의 분할 영역에 대해 히스토그램 평준화(Histogram equalization)을 수행한다. In the present invention, as shown in FIG. 2, the screen of the surveillance camera image is divided into MxN, histogram statistics are obtained for each divided area, and then histogram equalization is performed for each divided area.

본 발명에서는 이렇게 각 분할 영역별로 대응하는 히스토그램 통계를 적용하여 히스토그램 평준화를 수행하므로, 각 분할된 영역은 종래기술에서 전체 화면에 대해 히스토그램 보정값을 적용하는 경우에 비해 선명한 영상을 얻게 된다. According to the present invention, histogram equalization is performed by applying the corresponding histogram statistics for each divided area, so that a clear image is obtained in each divided area as compared with the case where the histogram correction value is applied to the entire screen in the conventional art.

이때, 분할 영역수가 적을수록 히스토그램 통계를 구하여 히스토그램 평준화하는 소요시간이 더 작아져서 실시간적으로 안개를 제거한 영상을 제공하는데에 보다 유리하게 된다. In this case, the smaller the number of divided regions, the smaller the time required for histogram equalization by obtaining the histogram statistics, which is more advantageous in providing the image in which the fog is removed in real time.

이제, 이하에서는 도3을 참고로 하여 화면을 분할하는 방법에 대해 설명하기로 한다. Hereinafter, a method of dividing a screen will be described with reference to FIG.

감시 카메라는 고정되어 설치되므로 촬영하는 영역이 고정되어 있어서 항상 일정한 장소를 촬영하게 된다. Since the surveillance camera is fixedly installed, the area to be photographed is fixed, so that a certain place is always photographed.

또한, 촬영 영역이 도3(a)와 같이 상부는 하늘이고 하부는 도로라서 상하 방향 변화가 큰 경우도 있고, 도3(b)와 같이 좌측과 우측에 밀집된 숲이 있고 가운데에 도로가 있어서 좌우 방향으로 변화가 큰 경우도 있으며, 도3(c)와 같이 숲이 화면 전체에 걸쳐서 산발적으로 분포하여 상하 및 좌우 방향으로 모두 변화가 큰 경우도 있다. 3 (a), the upper part is sky and the lower part is road, and there is a large change in the vertical direction. As shown in Fig. 3 (b), there are dense forests on the left and right sides, In some cases, as shown in Fig. 3 (c), the forest is scattered sporadically over the entire screen, and the change in both the up and down and left and right directions may be large.

따라서, 사용자 또는 알고리즘에 의해 각 촬영 장소의 특성을 감안하여 가능하면 작은 개수로 화면을 분할하면 계산량을 줄일 수 있게 된다. Therefore, the calculation amount can be reduced by dividing the screen with a small number of images in consideration of the characteristics of each photographing place by a user or an algorithm.

예를 들면, 도3(a)와 같이, 상부는 변화가 거의 없는 하늘이고 하부는 변화가 많은 도로인 경우에는 상하 방향으로만 분할(도3(a)에서는 4개의 영역으로 분할함)하는 것이 유리하다.For example, as shown in Fig. 3 (a), when the upper part is a sky with little change and the lower part is a road with many changes, it is divided only in the vertical direction (divided into four areas in Fig. 3 It is advantageous.

또한, 도3(b)와 같이, 좌측과 우측에는 밀집된 숲이라서 변화가 거의 없지만, 가운데는 도로라서 자동차의 통행에 따라 변화가 큰 경우에는 좌우 방향으로만 분할(도3(b)에서는 5개 영역으로 분할)하는 것이 유리하다. As shown in FIG. 3 (b), the left and right sides are dense forests, and there is little change. However, in the middle, when the change is large according to the passage of the automobile, Area). &Lt; / RTI >

그리고, 도3(c)와 같이, 숲이 화면 전체에 걸쳐서 산발적으로 분포하여 상하 및 좌우 방향으로 모두 변화가 큰 경우에는 상하 및 좌우로 분할(도3(c)에서는 4x4로 분할)해야 한다. 3 (c), when the forest is scattered sporadically over the entire screen and the change is large both in the vertical direction and in the horizontal direction, it is required to divide the vertical direction and the horizontal direction into 4x4 segments in FIG. 3 (c).

그런데, 이러한 화면 분할은 사용자가 정상적인 화면(예: 맑은 날의 화면)을 보고 적절히 분할할 수도 있고, 알고리즘에 의해 정상적인 화면에서 일단 도3(c)와 같이 상하 및 좌우로 분할한 후에 각 영역에 대해 히스토그램 통계를 구하여 평균치가 일정 범위 내라서 유사한 화면인 경우에는 병합하도록 하는 것도 가능하다. However, such a screen division may be appropriately divided by a user viewing a normal screen (e.g., a clear day screen) or may be divided into upper and lower and left and right portions as shown in FIG. 3 (c) It is also possible to obtain the histogram statistics and to merge the similar images if the average value is within a certain range.

다음으로 상기와 같이 적절하게 분할된 화면에 대해, 본 발명의 안개 처리 과정을 적용하는 방법을 도4를 참고로 하여 설명하기로 한다. Next, a method of applying the mist processing process of the present invention to a properly divided screen as described above will be described with reference to FIG.

도3과 같이 적절하게 분할된 영역(도4에서는 MxN으로 분할된 것을 도시함)을 가진 영상에 대해, 각 영역별로 히스토그램 통계를 구하여 히스토그램 평준화를 수행한다. As shown in Fig. 3, histogram statistics are obtained for each region of an image having an appropriately divided region (shown as MxN in Fig. 4), and histogram equalization is performed.

이때, 히스토그램 평준화를 한 후의 각 분할된 영역의 경계에서는 불연속적인 영상이 되어 왜곡되는 문제점이 발생할 수 있게 된다. At this time, the boundary of each divided area after histogram leveling becomes a discontinuous image, which may cause distortion.

그래서, 도4에 도시된 것처럼 후처리 과정에서는 경계 부분의 영상에 대해 로우패스 핑터링을 하여 경계부분을 스무스하게 만들어서 경계 부분에서의 급격한 변화에 의한 왜곡을 보정하게 된다. Thus, as shown in FIG. 4, in the post-processing, the image of the boundary portion is subjected to low-pass filtering to smooth the boundary portion, thereby correcting the distortion due to the abrupt change at the boundary portion.

결국, 이상과 같은 본 발명을 이용하면, 적절하게 분할된 각 영역에 대해 히스토그램 평준화를 수행하여 각 분할 영역이 선명한 상태가 되게 하고, 분할 영역의 경계 부분에 대해 로우패스 필터링을 하여 경계 부분에서의 왜곡을 보정하게 되면, 안개가 제거되고 경계부분에서의 왜곡이 없는 선명한 영상을 제공하게 된다. As a result, according to the present invention as described above, histogram equalization is performed for each properly divided region so that each divided region becomes a clear state, low-pass filtering is performed on the boundary portion of the divided region, By correcting the distortion, the fog is removed and a clear image without distortion at the boundary is provided.

또한, 종래기술과 같이 복잡한 수학식으로 영상을 모델링하고 복잡한 수학적 처리를 하여 안개를 제거하는 대신, 본 발명에서는 화면 분할과, 분할된 화면에 대한 히스토그램 평준화와, 로우패스 필터링을 하는 간단한 처리를 통해 선명한 영상을 제공하게 되므로, 실시간적으로 안개가 제거된 영상을 제공하는 것이 가능해진다. In addition, instead of removing fog by modeling an image with complex mathematical expressions and complicated mathematical processing as in the prior art, in the present invention, a simple process of performing screen division, histogram normalization of divided screens, and low pass filtering A clear image can be provided, and it becomes possible to provide an image in which fog is removed in real time.

다음으로, 도5를 참고하여 본 발명의 안개 제거 방법을 적용하는 순서에 대해 설명하기로 한다. Next, a procedure of applying the mist removing method of the present invention will be described with reference to FIG.

먼저, 사용자 또는 알고리즘에 의해 각 촬영 장소의 특성을 감안하여 가능하면 작은 개수로 화면을 적절하게 분할한다(S1). First, considering a characteristic of each photographing place by a user or an algorithm, a small number of screens are divided as appropriate (S1).

다음으로, 적절하게 분할된 화면에 대해, 각 영역별로 히스토그램 통계를 구하여 히스토그램 평준화를 수행한다(S2). Next, histogram statistics are obtained for each of the properly divided screens, and histogram equalization is performed (S2).

이제, 경계 부분의 영상에 대해 로우패스 필터링을 하여 경계부분을 스무스하게 만들어서 경계 부분에서의 급격한 변화에 의한 왜곡을 보정한다(S3). Now, the image of the boundary portion is subjected to low-pass filtering to smooth the boundary portion, thereby correcting the distortion due to the abrupt change in the boundary portion (S3).

한편, 이상에서는 본 발명의 바람직한 실시예를 설명하였으나 본 발명은 이러한 실시예에 한정되는 것이 아니라, 본 발명의 범위를 벗어나지 않는 범위 내에서 다양한 변형이 가능하다는 것에 유의해야 한다. While the present invention has been described in connection with certain exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims.

Claims

A method for fog removal of a surveillance camera image,
A screen dividing step of dividing the screen;
A histogram equalization step in which histogram equalization is performed by obtaining histogram statistics for each of the divided regions;
And a post-processing step of processing the boundary portion image of each divided region in which the histogram equalization is performed so that there is no discontinuous portion.

The method according to claim 1,
Wherein the screen division is performed by a user.

The method according to claim 1,
Wherein the screen division is performed by an algorithm.

The method according to claim 1,
Wherein the post-processing step is performed by low-pass filtering.