KR101592732B1 - Apparatus for removing snow rain image in camera images and method for removing snow rain image using the same - Google Patents
Apparatus for removing snow rain image in camera images and method for removing snow rain image using the same Download PDFInfo
- Publication number
- KR101592732B1 KR101592732B1 KR1020140086254A KR20140086254A KR101592732B1 KR 101592732 B1 KR101592732 B1 KR 101592732B1 KR 1020140086254 A KR1020140086254 A KR 1020140086254A KR 20140086254 A KR20140086254 A KR 20140086254A KR 101592732 B1 KR101592732 B1 KR 101592732B1
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- motion
- input
- image
- pixels
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
본 발명의 일 실시예는 카메라 영상에서의 눈비 영상 제거 장치 및 이를 이용한 눈비 영상 제거 방법에 관한 것으로, 해결하고자 하는 기술적 과제는 CCTV 영상에 대하여 칼만 필터를 적용하여 눈비를 효과적으로 제거하고, 칼만 필터 적용시 발생하는 모션 블러를 시간 필터를 이용하여 효과적으로 제거할 수 있게 하는데 있다.
이를 위해 본 발명의 일 실시예는 카메라로부터 입력되는 영상 데이터를 입력받는 영상 입력부; 상기 영상 데이터의 각 픽셀을 감지하는 픽셀 감지부; 상기 픽셀이 입력된 시점 전에 설정된 측정 시간동안 픽셀의 인텐시티값을 추적하여 예측값을 계산하고, 상기 픽셀이 입력된 시점에서의 인텐시티값을 측정한 측정값을 계산하며, 상기 예측값과 측정값의 차에 의하여 상기 픽셀이 눈 또는 비에 의하여 가려진 상태인 지 여부를 판단하고, 상기 판단 결과에 따라 상기 예측값을 이용하여 상기 픽셀을 복원하는 픽셀 복원부; 상기 복원된 픽셀에서 움직임 검출 알고리즘을 이용하여 해당 픽셀이 움직임이 있는 물체를 포함하고 있는 지 여부를 판단하는 움직임 픽셀 검출부; 및 상기 픽셀이 입력된 시점 전에 설정된 측정 시간동안의 픽셀을 기초로 상기 움직임이 있는 물체를 포함하는 픽셀을 보정하는 움직임 픽셀 보정부;를 포함하는 카메라 영상에서의 눈비 영상 제거 장치를 개시한다.An embodiment of the present invention relates to an apparatus for removing a monochromatic image in a camera image and a method for removing a monochromatic image using the same. Technical problems to be solved by the present invention include a method of effectively removing a monochromatic image by applying a Kalman filter to a CCTV image, So that it is possible to effectively remove the motion blur generated by the time filter using the time filter.
To this end, an embodiment of the present invention provides an image processing apparatus including an image input unit receiving image data input from a camera; A pixel sensing unit for sensing each pixel of the image data; Calculating a predicted value by tracking an intensity value of the pixel during a measurement time set before the input of the pixel, calculating a measured value of the intensity value at the time when the pixel is input, and calculating a difference between the predicted value and the measured value A pixel restoration unit for determining whether the pixel is hidden by an eye or a rain and restoring the pixel using the predicted value according to the determination result; A motion pixel detector for determining whether the pixel includes a moving object using the motion detection algorithm in the restored pixel; And a motion pixel correcting unit for correcting a pixel including the moving object based on a pixel for a measuring time set before the pixel is input.
Description
본 발명의 일 실시예는 카메라 영상에서의 눈비 영상 제거 장치 및 이를 이용한 눈비 영상 제거 방법에 관한 것이다.
An embodiment of the present invention relates to an apparatus for removing a monochromatic image in a camera image and a method for removing a monochromatic image using the apparatus.
일반적으로 급변하는 사회적 환경으로 인해 장소에 구애받음없이 옥내 및 옥외 감시용 카메라가 널리 설치·사용되고 있는 바, 이들 설치·사용되고 있는 옥내 및 옥외 감시용 카메라는 전면에 투시창을 설치한 함체형의 카메라 하우징 내부에 외부의 모니터와 연결되는 카메라를 설치하여 목적한 감시가 이루어지도록 하는 실정이다.Indoor and outdoor surveillance cameras are widely installed and used without being subject to any place due to a rapidly changing social environment. The cameras for indoor and outdoor surveillance installed and used include a camera housing And a camera connected to an external monitor is installed inside the apparatus so that the intended monitoring can be performed.
이와 같이 사용되는 옥내 및 옥외 감시용 카메라는, 계절적인 요인과 설치장소 등의 요인으로 인해 투시창 및 카메라 렌즈에 눈 과 비(이하, 눈비라 함.)가 끼게 되어 감시 화면이 선명하지 않게 되어 감시효율이 떨어지게 되는 문제점 있었다.In the indoor and outdoor surveillance cameras used in this manner, due to factors such as seasonal factors and installation sites, the eyes and rain (hereinafter referred to as snow) are stuck to the sight window and the camera lens, There is a problem that the efficiency is lowered.
최근 들어, 상기와 같이 투시창 및 카메라 렌즈에 눈비가 끼게 되는 경우 감시 화면을 선명하게 하기 위하여, 촬영된 영상을 시간 필터(temporal filter)를 사용하여 눈비를 제거하는 방식을 사용하였다. 그러나, 기존에 시간 필터를 사용하여 영상을 필터링하더라도 필터링 정도가 강인하지 않아 영상에서 눈비 제거 정도가 높지 않다는 문제점이 있었다.
In recent years, in order to sharpen the surveillance screen in the case where the surveillance window and the camera lens are covered with snow, as described above, the surveillance image is removed by using a temporal filter. However, even when the image is filtered using the temporal filter, the degree of filtering is not robust and the degree of removal of the eye is not high.
본 발명의 일 실시예는 카메라 영상에 대하여 칼만 필터를 적용하여 눈비를 효과적으로 제거하고, 칼만 필터 적용시 발생하는 모션 블러를 시간 필터를 이용하여 효과적으로 제거하는 카메라 영상에서의 눈비 영상 제거 장치 및 이를 이용한 눈비 영상 제거 방법을 제공한다.
An embodiment of the present invention is a device for removing a snowball image from a camera image, which effectively removes snowball by applying a Kalman filter to a camera image and effectively removes a motion blur generated by applying a Kalman filter using a time filter, And provides a method of removing a snowball image.
본 발명의 일 실시예에 의한 카메라 영상에서의 눈비 영상 제거 장치는 카메라로부터 입력되는 영상 데이터를 입력받는 영상 입력부; 상기 영상 데이터의 각 픽셀을 감지하는 픽셀 감지부; 상기 픽셀이 입력된 시점 전에 설정된 측정 시간동안 픽셀의 인텐시티값을 추적하여 예측값을 계산하고, 상기 픽셀이 입력된 시점에서의 인텐시티값을 측정한 측정값을 계산하며, 상기 예측값과 측정값의 차에 의하여 상기 픽셀이 눈 또는 비에 의하여 가려진 상태인 지 여부를 판단하고, 상기 판단 결과에 따라 상기 예측값을 이용하여 상기 픽셀을 복원하는 픽셀 복원부; 상기 복원된 픽셀에서 움직임 검출 알고리즘을 이용하여 해당 픽셀이 움직임이 있는 물체를 포함하고 있는 지 여부를 판단하는 움직임 픽셀 검출부; 및 상기 픽셀이 입력된 시점 전에 설정된 측정 시간동안의 픽셀을 기초로 상기 움직임이 있는 물체를 포함하는 픽셀을 보정하는 움직임 픽셀 보정부;를 포함할 수 있다.According to an aspect of the present invention, there is provided an apparatus for removing a stray eye image in a camera image, the apparatus comprising: a video input unit for receiving image data input from a camera; A pixel sensing unit for sensing each pixel of the image data; Calculating a predicted value by tracking an intensity value of the pixel during a measurement time set before the input of the pixel, calculating a measured value of the intensity value at the time when the pixel is input, and calculating a difference between the predicted value and the measured value A pixel restoration unit for determining whether the pixel is hidden by an eye or a rain and restoring the pixel using the predicted value according to the determination result; A motion pixel detector for determining whether the pixel includes a moving object using the motion detection algorithm in the restored pixel; And a motion pixel correcting unit for correcting the pixel including the moving object based on the pixels for the measurement time set before the input of the pixel.
상기 픽셀 복원부는 칼만 필터를 이용하여 상기 픽셀을 필터링할 수 있다.The pixel restoration unit may filter the pixel using a Kalman filter.
상기 움직임 검출 알고리즘은 코드 북 백그라운드(Codebook Backgroud) 모델링 알고리즘을 이용하여 동작할 수 있다.The motion detection algorithm may operate using a Codebook Backgroud modeling algorithm.
상기 움직임 픽셀 검출부는 상기 픽셀이 입력된 시점 전에 설정된 측정 시간동안의 픽셀로부터 특징점을 추출한 다음, 시간적으로 연속하는 픽셀에서 상기 특징점에 대응하는 대응점을 추출하며, 상기 특징점과 대응점의 좌표를 비교하여 각각의 좌표가 다를 경우 해당 픽셀이 움직임이 있는 물체를 포함하고 있는 것으로 판단할 수 있다.The motion pixel detection unit extracts feature points from the pixels for the measurement time set before the input of the pixels, extracts corresponding points corresponding to the feature points from pixels temporally continuous, compares the coordinates of the feature points with corresponding points It can be determined that the corresponding pixel includes an object having motion.
상기 움직임 픽셀 보정부는 상기 칼만 필터에 의하여 필터링된 픽셀에 발생되는 모션 블러(motion blur)를 보정할 수 있다.The motion pixel correction unit may correct a motion blur generated in the pixel filtered by the Kalman filter.
상기 움직임 픽셀 보정부는 상기 움직임이 있는 물체를 포함하는 픽셀을 시간 필터(temporal filter)를 이용하여 필터링할 수 있다.The motion pixel correction unit may filter pixels including the motion object using a temporal filter.
또한, 본 발명의 다른 실시예에 따른 카메라 영상에서의 눈비 영상 제거 장치를 이용한 눈비 영상 제거 방법은, 카메라로부터 입력되는 영상 데이터를 입력받는 영상 입력 단계; 상기 영상 데이터의 각 픽셀을 감지하는 픽셀 감지 단계; 상기 픽셀이 입력된 시점 전에 설정된 측정 시간동안 픽셀의 인텐시티값을 추적하여 예측값을 계산하고, 상기 픽셀이 입력된 시점에서의 인텐시티값을 측정한 측정값을 계산하며, 상기 예측값과 측정값의 차에 의하여 상기 픽셀이 눈 또는 비에 의하여 가려진 상태인 지 여부를 판단하고, 상기 판단 결과에 따라 상기 예측값을 이용하여 상기 픽셀을 복원하는 픽셀 복원 단계; 상기 복원된 픽셀에서 움직임 검출 알고리즘을 이용하여 해당 픽셀이 움직임이 있는 물체를 포함하고 있는 지 여부를 판단하는 움직임 픽셀 검출 단계; 및 상기 픽셀이 입력된 시점 전에 설정된 측정 시간동안의 픽셀을 기초로 상기 움직임이 있는 물체를 포함하는 픽셀을 보정하는 움직임 픽셀 보정 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method for removing a stray eye image using a stray eye image removing apparatus in a camera image, the method comprising: inputting image data input from a camera; A pixel sensing step of sensing each pixel of the image data; Calculating a predicted value by tracking an intensity value of the pixel during a measurement time set before the input of the pixel, calculating a measured value of the intensity value at the time when the pixel is input, and calculating a difference between the predicted value and the measured value A pixel reconstruction step of determining whether the pixel is obscured by an eye or a rain and restoring the pixel using the predicted value according to the determination result; A motion pixel detection step of determining whether the corresponding pixel includes a moving object using the motion detection algorithm in the restored pixel; And a motion pixel correcting step of correcting the pixel including the moving object based on the pixel for the measuring time set before the input of the pixel.
상기 픽셀 복원 단계는 칼만 필터를 이용하여 상기 픽셀을 필터링할 수 있다.The pixel restoration step may filter the pixel using a Kalman filter.
상기 움직임 검출 알고리즘은 코드 북 백그라운드(Codebook Backgroud) 모델링 알고리즘을 이용하여 동작할 수 있다.The motion detection algorithm may operate using a Codebook Backgroud modeling algorithm.
상기 움직임 픽셀 검출 단계는 상기 픽셀이 입력된 시점 전에 설정된 측정 시간동안의 픽셀로부터 특징점을 추출한 다음, 시간적으로 연속하는 픽셀에서 상기 특징점에 대응하는 대응점을 추출하며, 상기 특징점과 대응점의 좌표를 비교하여 각각의 좌표가 다를 경우 해당 픽셀이 움직임이 있는 물체를 포함하고 있는 것으로 판단할 수 있다.The motion pixel detection step extracts feature points from the pixels for the measurement time set before the input of the pixels, extracts corresponding points corresponding to the feature points from temporally successive pixels, and compares the feature points with the coordinates of the corresponding points When each coordinate is different, it can be judged that the corresponding pixel includes an object having motion.
상기 움직임 픽셀 보정 단계는 상기 칼만 필터에 의하여 필터링된 픽셀에 발생되는 모션 블러(motion blur)를 보정할 수 있다.The motion pixel correction step may correct a motion blur generated in the pixel filtered by the Kalman filter.
상기 움직임 픽셀 보정 단계는 상기 움직임이 있는 물체를 포함하는 픽셀을 시간 필터(temporal filter)를 이용하여 필터링할 수 있다.
The motion pixel correction step may filter the pixels including the motion object using a temporal filter.
본 발명의 일 실시예에 따른 카메라 영상에서의 눈비 영상 제거 장치 및 이를 이용한 눈비 영상 제거 방법은 기존의 시간 필터를 이용한 눈비 영상 제거시 눈비 제거의 부족함을 보완하기 위하여, 칼만 필터를 적용하여 눈비를 제거하고, 이때 발생되는 모션 블러를 시간 필터를 통하여 제거함으로써, 효율적으로 눈비를 제거할 수 있고, 이를 통하여 눈비 영상 감시에 강인하게 대응할 수 있다.
In order to compensate for a lack of eye removal by using a conventional time filter, a Kalman filter is applied to the eyeball image removing apparatus and the eyeball image removing method using the time filter according to an embodiment of the present invention. By removing the motion blur generated through the time filter through the time filter, it is possible to efficiently remove the eye blur, and thus it is possible to cope with the eye blur video surveillance robustly.
도 1은 본 발명의 일 실시예에 따른 카메라 영상에서의 눈비 영상 제거 장치를 개략적으로 나타내는 블록도이다.
도 2는 도 1의 카메라 영상에서의 눈비 영상 제거 장치의 동작에 따라 촬영된 영상의 일 예를 나타내는 도면이다.
도 3은 본 발명의 다른 실시예에 따른 카메라 영상에서의 눈비 영상 제거 방법을 나타내는 순서도이다.1 is a block diagram schematically showing an apparatus for removing a monochorus image in a camera image according to an embodiment of the present invention.
FIG. 2 is a diagram showing an example of an image photographed according to the operation of the eye blot image remover in the camera image of FIG. 1;
FIG. 3 is a flowchart illustrating a method of removing a stray eye image in a camera image according to another embodiment of the present invention.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 본 발명의 바람직한 일 실시예를 첨부된 도면을 참조하여 상세하게 설명하면 다음과 같다.DETAILED DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, in which those skilled in the art can readily implement the present invention.
이하, 본 발명에 적용되는 칼만 필터와 시간 필터는 당해 영상 처리 기술 분야에서는 공지된 필터링 장치로 사용되고 있으므로, 각각의 구조 및 동작에 관한 설명은 생략하기로 한다.
Hereinafter, the Kalman filter and the time filter applied to the present invention are used as a filtering device known in the related art of image processing, so that the description of each structure and operation will be omitted.
도 1은 본 발명의 일 실시예에 따른 카메라 영상에서의 눈비 영상 제거 장치를 개략적으로 나타내는 블록도이고, 도 2는 도 1의 카메라 영상에서의 눈비 영상 제거 장치의 동작에 따라 촬영된 영상의 일 예를 나타내는 도면이다.FIG. 1 is a block diagram schematically showing an apparatus for removing a monochromatic image in a camera image according to an embodiment of the present invention. Fig.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 카메라 영상에서의 눈비 영상 제거 장치(100)는, 카메라 영상에서 눈비 및 모션 블러를 제거하기 위하여 관제소 등에 설치되는 장치로서, 영상 입력부(110), 픽셀 감지부(120), 픽셀 복원부(130), 움직임 픽셀 검출부(140) 및 움직임 픽셀 보정부(150)를 포함한다. As shown in FIG. 1, an
상기 영상 입력부(110)는 카메라(10)로부터 입력되는 영상 데이터를 입력받는 장치로서, 사용자의 용도에 따라 특정 위치 즉, 필드에 설치된 다수의 카메라(10)로부터 통상의 다채널 방식으로 영상 데이터를 전송받는다. 여기서, 상기 카메라(10)는 CCD(Charge-Coupled Device) 카메라, PTZ(Pan-Tilt-Zoom) 카메라, CCTV 카메라 등이 적용될 수 있으나, 본 발명에서는 카메라의 종류를 한정하는 것은 아니다.The
상기 픽셀 감지부(120)는 영상 데이터의 각 픽셀을 감지한다. 즉, 상기 픽셀 감지부(120)는 영상 입력부(110)에 의하여 입력되는 영상 데이터에 포함된 각각의 픽셀을 분할하여 감지한다.The
상기 픽셀 복원부(130)는 픽셀이 입력된 시점 전에 설정된 측정 시간동안 픽셀의 인텐시티값을 추적하여 예측값을 계산하고, 픽셀이 입력된 시점에서의 인텐시티값을 측정한 측정값을 계산하며, 예측값과 측정값의 차에 의하여 픽셀이 눈 또는 비에 의하여 가려진 상태인 지 여부를 판단하고, 판단 결과에 따라 예측값을 이용하여 픽셀을 복원한다. The
이를 위하여, 상기 픽셀 복원부(130)는 칼만 필터를 이용하여 픽셀을 필터링할 수 있다. 상기 칼만 필터는 잡음이 포함되어 있는 선형 역학계의 상태를 추적하는 재귀 필터이다.For this, the
상기 픽셀 복원부(130)는 칼만 필터를 통하여 각 픽셀의 RGB 채널별로 들어오는 시간에 대한 인텐시티(Intensity)값을 추적(observation)하여 필터링을 수행하게 된다. 이때, 눈비 픽셀은 다른 경우보다 밝게 변하는 것을 가정하고 인텐시티값을 추적한 결과를 바탕으로 한 예측값과, 새로 들어온 색의 인텐시티값이 크게 다르게 된다. 이를 이용하여 상기 픽셀 복원부(130)는 해당 픽셀이 현재 눈이나 비에 가려있는 지를 판단할 수 있고, 또한 눈이나 비에 가린 경우에는 예측된 인텐시티값을 이용하여 해당 픽셀을 복원할 수 있다. 이때, 칼만 필터를 이용한 필터링을 수행하면 매번 참값의 예측값을 출력하게 되고, 이 값을 현재 입력받은 측정값과 비교하여 그 차이가 어떤 임계값(threshold)보다 클 경우, 현재 추정값 대신 이전 프레임의 픽셀의 측정값과 현재 추정값의 평균값으로 치환하여 출력한다. 이를 위하여 추정값과 오차공분산 초기값과 같은 초기값을 선정하고, 추정값과 오차 공분산 예측한 다음, 칼만 이득을 계산하여 앞의 과정을 통해 얻은 값과 입력으로 받은 측정값으로 계산하여 추정값을 출력한다. 이때, 오차 공분산이 작을수록 추정값이 참값에 가깝다. 일반적으로 알고리즘이 반복될수록 작은 값으로 수렴하는 것으로 알려져 있다. 즉, 상기 픽셀 복원부(130)는 상술한 과정을 통하여 현재 프레임의 픽셀에서 예측된 인텐시티값으로 해당 픽셀을 복원한다. 그러나, 상기 칼만 필터를 적용하여 필터링하는 경우 예측과 추정 과정을 거치게 되어 기존의 시간(temporal filter) 보다 복원이 잘 되나 화면 상에서 움직이는 빠른 물체가 나타날 경우에는 예측과 추정 과정에서 위치 해당 픽셀의 위치변화가 생겨서 모션 블러(motion blur) 현상이 나타나게 된다. 이러한 현상이 칼만 필터의 사이드 이펙트(side effect)이고, 본 발명에서는 이러한 현상을 제거하기 위해서 움직임 픽셀 검출부(140)를 통하여 움직이는 물체를 코드북 백그라운드(Codebook Background) 모델링을 사용하여 움직임이 나타나는 부분을 검출하고, 움직임 픽셀 보정부(150)를 통하여 그 부분 만을 시간 필터를 적용하여 칼만 필터의 사이드 이펙트를 제거하게 된다.The
상기 움직임 픽셀 검출부(140)는 픽셀 복원부(130)에 의하여 복원된 픽셀에서 움직임 검출 알고리즘을 이용하여 해당 픽셀이 움직임이 있는 물체를 포함하고 있는 지 여부를 판단한다. 이때, 상기 움직임 검출 알고리즘은 코드 북 백그라운드 모델링 알고리즘을 이용하여 동작할 수 있다. 즉, 상기 움직임 픽셀 검출부(140)는 칼만 필터 적용시 움직임이 있는 경우 발생되는 모션 블러를 처리하기 위하여, 움직임이 있는 물체를 검출한다. The
예를 들어, 상기 움직임 픽셀 검출부(140)는 픽셀이 입력된 시점 전에 설정된 측정 시간동안의 픽셀로부터 특징점을 추출한 다음, 시간적으로 연속하는 픽셀에서 특징점에 대응하는 대응점을 추출하며, 특징점과 대응점의 좌표를 비교하여 각각의 좌표가 다를 경우 해당 픽셀이 움직임이 있는 물체를 포함하고 있는 것으로 판단할 수 있다.For example, the motion-
상기 움직임 픽셀 보정부(150)는 칼만 필터에 의하여 필터링된 픽셀에 발생되는 모션 블러(motion blur)를 보정하기 위하여, 픽셀이 입력된 시점 전에 설정된 측정 시간동안의 픽셀을 기초로 상기 움직임이 있는 물체를 포함하는 픽셀을 보정한다. 여기서, 상기 움직임 픽셀 보정부(150)는 움직임이 있는 물체를 포함하는 픽셀을 시간 필터를 이용하여 필터링할 수 있다.The motion-
한편, 도 2를 참조하면, 본 카메라 영상에서의 눈비 영상 제거 장치(100)는 PTZ 카메라에 눈비 영상이 입력되어 본 눈비 영상 제거 장치(100)가 구비된 관제소로 전송하고, 눈비 영상 제거 장치(100)는 전송받은 영상을 칼만 필터와 사이드 이펙트 솔루션을 이용한 눈비 제거를 수행하여 강인한 감시효과를 구현할 수 있다. 보다 구체적으로, 상기 눈비 영상 제거 장치(100)에서는 칼만 필터의 추적 과정을 거치고 이를 바탕으로 한 예측값을 가지고 이전 색의 인텐시티값과 새로 들어온 인텐시티값이 크게 다르게 될 때, 해당 픽셀이 눈이나 비에 가려짐을 판단한다. 그런 다음, 예측된 인텐시티값을 이용하여 해당 픽셀을 복원하는 과정을 거쳐서 눈비를 제거한다. 또한, 해당 영상 안에서 움직임이 있는 물체가 있는 경우도 같은 과정을 거치게 된다. 이때, 상기 눈비 영상 제거 장치(100)는 움직임이 있는 물체가 있는 경우 이전과 영상 인텐시티값이 달라져서 움직임이 있는 물체에 모션 블러 현상이 나타나게 된다. 즉, 상기 모션 블러는 칼만 필터를 사용하여 눈비는 제거되었지만, 사이드 이펙트가 나타나는 현상이다. 본 발명에서는 이러한 사이드 이펙트를 제거하여 강인한 눈비 제거 방법을 구현하기 위하여, 배경 모델링을 통하여 움직임이 있는 물체를 검출하여, 그 부분만을 시간 필터로 처리하여 칼만 필터의 사이드 이펙트를 제거한 다음, 관제소의 디스플레이 장치(20)로 전송하여 관리자에게 디스플레이한다. 이를 통하여, 관리자는 눈비 영상 감시에 강인하게 대응할 수 있다.
Referring to FIG. 2, the eye-blinker
도 3은 본 발명의 다른 실시예에 따른 카메라 영상에서의 눈비 영상 제거 방법을 나타내는 순서도이다. 도 3에 도시된 각 단계들은 도 1에 도시된 눈비 제거 영상 제거 장치를 이용하여 동작될 수 있다.FIG. 3 is a flowchart illustrating a method of removing a stray eye image in a camera image according to another embodiment of the present invention. Each of the steps shown in FIG. 3 can be operated using the snow removing image removing apparatus shown in FIG.
도 3을 참조하면, 본 발명의 다른 실시예에 따른 카메라 영상에서의 눈비 영상 제거 방법은 카메라로부터 입력되는 영상 데이터를 입력받는 영상 입력 단계(S10)와, 영상 데이터의 각 픽셀을 감지하는 픽셀 감지 단계(S20)와, 픽셀이 입력된 시점 전에 설정된 측정 시간동안 픽셀의 인텐시티값을 추적하여 예측값을 계산하고, 픽셀이 입력된 시점에서의 인텐시티값을 측정한 측정값을 계산하며, 예측값과 측정값의 차에 의하여 픽셀이 눈 또는 비에 의하여 가려진 상태인 지 여부를 판단하고, 판단 결과에 따라 예측값을 이용하여 픽셀을 복원하는 픽셀 복원 단계(S30)와, 픽셀 복원 단계(S30)에서 복원된 픽셀에서 움직임 검출 알고리즘을 이용하여 해당 픽셀이 움직임이 있는 물체를 포함하고 있는 지 여부를 판단하는 움직임 픽셀 검출 단계(S40)와, 픽셀이 입력된 시점 전에 설정된 측정 시간동안의 픽셀을 기초로 움직임이 있는 물체를 포함하는 픽셀을 보정하는 움직임 픽셀 보정 단계(S50)를 포함할 수 있다.Referring to FIG. 3, in the method of removing the eye blush image in the camera image according to another exemplary embodiment of the present invention, an image input step (S10) of inputting image data input from a camera, a pixel detection A step of calculating a predicted value by tracking an intensity value of a pixel during a measurement time set before the input of the pixel, calculating a measured value of the intensity value at the time when the pixel is input, A pixel restoring step S30 for determining whether the pixel is obscured by an eye or a difference due to a difference between the pixel and the pixel, and for restoring the pixel using the predicted value according to the determination result, A motion pixel detection step (S40) of determining whether a corresponding pixel includes a moving object using a motion detection algorithm in step The pixel may include a motion compensation step (S50) of correcting the pixels including the object in the motion based on the pixel during the set measurement time point before.
이때, 상기 픽셀 복원 단계(S30)는 칼만 필터를 이용하여 픽셀을 필터링할 수 있다.At this time, the pixel restoring step S30 may filter pixels using a Kalman filter.
또한, 상기 움직임 검출 알고리즘은 코드 북 백그라운드(Codebook Backgroud) 모델링 알고리즘을 이용하여 동작할 수 있다.In addition, the motion detection algorithm may operate using a Codebook Backgroud modeling algorithm.
상기 움직임 픽셀 검출 단계(S40)는 픽셀이 입력된 시점 전에 설정된 측정 시간동안의 픽셀로부터 특징점을 추출한 다음, 시간적으로 연속하는 픽셀에서 특징점에 대응하는 대응점을 추출하며, 특징점과 대응점의 좌표를 비교하여 각각의 좌표가 다를 경우 해당 픽셀이 움직임이 있는 물체를 포함하고 있는 것으로 판단할 수 있다.The motion pixel detection step S40 extracts feature points from the pixels for the measurement time set before the input of the pixels, extracts corresponding points corresponding to the feature points from temporally successive pixels, and compares the coordinates of the feature points with the corresponding points When each coordinate is different, it can be judged that the corresponding pixel includes an object having motion.
상기 움직임 픽셀 보정 단계(S50)는 칼만 필터에 의하여 필터링된 픽셀에 발생되는 모션 블러(motion blur)를 보정할 수 있다.The motion pixel correction step S50 may correct the motion blur generated in the pixels filtered by the Kalman filter.
상기 움직임 픽셀 보정 단계(S50)는 움직임이 있는 물체를 포함하는 픽셀을 시간 필터(temporal filter)를 이용하여 필터링할 수 있다.The motion pixel correction step S50 may filter the pixels including the moving object using a temporal filter.
따라서, 상기와 같이 구성된 본 발명의 일 실시예에 따른 카메라 영상에서의 눈비 영상 제거 방법은 기존의 시간 필터를 이용한 눈비 영상 제거시 눈비 제거의 부족함을 보완하기 위하여, 칼만 필터를 적용하여 눈비를 제거하고, 이때 발생되는 모션 블러를 시간 필터를 통하여 제거함으로써, 효율적으로 눈비를 제거할 수 있고, 이를 통하여 눈비 영상 감시에 강인하게 대응할 수 있다.
Therefore, in order to compensate for the insufficiency of the red eye removal in the case of removing the red eye image using the conventional time filter, the Kalman filter is applied to remove the red eye in the camera image according to the embodiment of the present invention. And the motion blur generated at this time is removed through the time filter, so that the eye blur can be efficiently removed, and thus it is possible to cope with the eye blur video surveillance robustly.
이상에서 설명한 것은 본 발명에 의한 카메라 영상에서의 눈비 영상 제거 장치(100) 및 이를 이용한 눈비 영상 제거 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
The present invention is not limited to the above-described embodiments, but may be applied to other embodiments of the present invention. For example, It will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined in the appended claims.
10: 카메라 20: 디스플레이 장치
100: 눈비 영상 제거 장치 110: 영상 입력부
120: 픽셀 감지부 130: 픽셀 복원부
140: 움직임 픽셀 검출부 150: 움직임 픽셀 보정부10: camera 20: display device
100: Raw eye image removal apparatus 110: Image input unit
120: Pixel sensing unit 130:
140: motion pixel detection unit 150: motion pixel correction unit
Claims (12)
상기 영상 데이터의 각 픽셀을 감지하는 픽셀 감지부;
칼만 필터를 이용하여, 상기 픽셀이 입력된 시점 전에 설정된 측정 시간동안 픽셀의 인텐시티값을 추적하여 예측값을 계산하고, 상기 픽셀이 입력된 시점에서의 인텐시티값을 측정한 측정값을 계산하며, 상기 예측값과 측정값의 차에 의하여 상기 픽셀이 눈 또는 비에 의하여 가려진 상태인 지 여부를 판단하고, 상기 판단 결과에 따라 상기 예측값을 이용하여 상기 픽셀을 복원하는 픽셀 복원부;
코드 북 백그라운드(Codebook Background) 모델링 알고리즘을 이용하여 상기 칼만 필터에 의하여 복원된 픽셀에서 움직임이 있는 물체를 포함함에 따른 모션 블러(motion blur)가 발생하였는지 여부를 판단하는 움직임 픽셀 검출부; 및
시간 필터(temporal filter)를 이용하여, 상기 픽셀이 입력된 시점 전에 설정된 측정 시간동안의 픽셀을 기초로 상기 움직임이 있는 물체를 포함하는 픽셀을 보정하여 상기 칼만 필터에 의한 모션 블러를 보정하는 움직임 픽셀 보정부;를 포함하는 것을 특징으로 하는 카메라 영상에서의 눈비 영상 제거 장치.
A video input unit for receiving video data input from a camera;
A pixel sensing unit for sensing each pixel of the image data;
Calculating a predicted value by tracking an intensity value of a pixel during a measurement time set before the input of the pixel using the Kalman filter, calculating a measured value of the intensity value at the time when the pixel is input, A pixel restoring unit for determining whether the pixel is obscured by an eye or a rain due to a difference between measured values and restoring the pixel using the predicted value according to the determination result;
A motion pixel detector for determining whether a motion blur has occurred due to inclusion of a motion object in a pixel restored by the Kalman filter using a codebook background modeling algorithm; And
A motion pixel correcting unit that corrects a motion blur caused by the Kalman filter by using a temporal filter to correct a pixel including the moving object based on pixels for a measurement time set before a point in time when the pixel is input, And a correcting unit for correcting the blurred image.
상기 움직임 픽셀 검출부는
상기 픽셀이 입력된 시점 전에 설정된 측정 시간동안의 픽셀로부터 특징점을 추출한 다음, 시간적으로 연속하는 픽셀에서 상기 특징점에 대응하는 대응점을 추출하며, 상기 특징점과 대응점의 좌표를 비교하여 각각의 좌표가 다를 경우 해당 픽셀이 움직임이 있는 물체를 포함하고 있는 것으로 판단하는 것을 특징으로 하는 카메라 영상에서의 눈비 영상 제거 장치.
The method according to claim 1,
The motion-pixel detecting unit
Extracting feature points from the pixels for the measurement time set before the input of the pixels, extracting corresponding points corresponding to the feature points from temporally successive pixels, comparing the coordinates of the feature points with corresponding points, And determines that the corresponding pixel includes an object having motion.
카메라로부터 입력되는 영상 데이터를 입력받는 영상 입력 단계;
상기 영상 데이터의 각 픽셀을 감지하는 픽셀 감지 단계;
칼만 필터를 이용하여, 상기 픽셀이 입력된 시점 전에 설정된 측정 시간동안 픽셀의 인텐시티값을 추적하여 예측값을 계산하고, 상기 픽셀이 입력된 시점에서의 인텐시티값을 측정한 측정값을 계산하며, 상기 예측값과 측정값의 차에 의하여 상기 픽셀이 눈 또는 비에 의하여 가려진 상태인 지 여부를 판단하고, 상기 판단 결과에 따라 상기 예측값을 이용하여 상기 픽셀을 복원하는 픽셀 복원 단계;
코드 북 백그라운드(Codebook Background) 모델링 알고리즘을 이용하여 상기 칼만 필터에 의하여 복원된 픽셀에서 움직임이 있는 물체를 포함함에 따른 모션 블러(motion blur)가 발생하였는지 여부를 판단하는 움직임 픽셀 검출 단계; 및
시간 필터(temporal filter)를 이용하여, 상기 픽셀이 입력된 시점 전에 설정된 측정 시간동안의 픽셀을 기초로 상기 움직임이 있는 물체를 포함하는 픽셀을 보정하여 상기 칼만 필터에 의한 모션 블러를 보정하는 움직임 픽셀 보정 단계를 포함하는 것을 특징으로 하는 카메라 영상에서의 눈비 영상 제거 방법.
A method of removing eye blur in a camera image according to any one of claims 1 to 4,
An image input step of receiving image data inputted from a camera;
A pixel sensing step of sensing each pixel of the image data;
Calculating a predicted value by tracking an intensity value of a pixel during a measurement time set before the input of the pixel using the Kalman filter, calculating a measured value of the intensity value at the time when the pixel is input, Determining whether the pixel is obscured by an eye or a rain due to a difference between a measured value and a measured value, and restoring the pixel using the predicted value according to the determination result;
A motion pixel detecting step of determining whether a motion blur occurs due to inclusion of a motion object in a pixel reconstructed by the Kalman filter using a Codebook Background modeling algorithm; And
A motion pixel correcting unit that corrects a motion blur caused by the Kalman filter by using a temporal filter to correct a pixel including the moving object based on pixels for a measurement time set before a point in time when the pixel is input, And correcting the blurred image in the camera image.
상기 움직임 픽셀 검출 단계는
상기 픽셀이 입력된 시점 전에 설정된 측정 시간동안의 픽셀로부터 특징점을 추출한 다음, 시간적으로 연속하는 픽셀에서 상기 특징점에 대응하는 대응점을 추출하며, 상기 특징점과 대응점의 좌표를 비교하여 각각의 좌표가 다를 경우 해당 픽셀이 움직임이 있는 물체를 포함하고 있는 것으로 판단하는 것을 특징으로 하는 카메라 영상에서의 눈비 영상 제거 방법.
8. The method of claim 7,
The motion pixel detection step
Extracting feature points from the pixels for the measurement time set before the input of the pixels, extracting corresponding points corresponding to the feature points from temporally successive pixels, comparing the coordinates of the feature points with corresponding points, And determines that the corresponding pixel includes an object having motion.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140086254A KR101592732B1 (en) | 2014-07-09 | 2014-07-09 | Apparatus for removing snow rain image in camera images and method for removing snow rain image using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140086254A KR101592732B1 (en) | 2014-07-09 | 2014-07-09 | Apparatus for removing snow rain image in camera images and method for removing snow rain image using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160006532A KR20160006532A (en) | 2016-01-19 |
KR101592732B1 true KR101592732B1 (en) | 2016-02-05 |
Family
ID=55306101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140086254A KR101592732B1 (en) | 2014-07-09 | 2014-07-09 | Apparatus for removing snow rain image in camera images and method for removing snow rain image using the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101592732B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111385451A (en) * | 2020-03-17 | 2020-07-07 | 赵虎珍 | Video shooting device with snow removing function based on block chain technology |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100364582B1 (en) | 2000-04-28 | 2002-12-16 | 주식회사 네트웍코리아 | System tracking and watching multi moving object |
JP2012065191A (en) | 2010-09-16 | 2012-03-29 | Nikon Corp | Dust treatment apparatus, imaging apparatus, photographic lens, and dust treatment program |
KR101385743B1 (en) | 2013-07-08 | 2014-04-18 | 주식회사 엠디텍 | Surgical video real-time visual noise removal device, method and system |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040089885A (en) | 2003-04-15 | 2004-10-22 | 브이케이 주식회사 | Apparatus for compensating a low intensity of illumination image and method thereof |
KR101066900B1 (en) | 2009-04-23 | 2011-09-27 | 유한대학산학협력단 | An apparatus of dection for moving from cctv camera |
-
2014
- 2014-07-09 KR KR1020140086254A patent/KR101592732B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100364582B1 (en) | 2000-04-28 | 2002-12-16 | 주식회사 네트웍코리아 | System tracking and watching multi moving object |
JP2012065191A (en) | 2010-09-16 | 2012-03-29 | Nikon Corp | Dust treatment apparatus, imaging apparatus, photographic lens, and dust treatment program |
KR101385743B1 (en) | 2013-07-08 | 2014-04-18 | 주식회사 엠디텍 | Surgical video real-time visual noise removal device, method and system |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111385451A (en) * | 2020-03-17 | 2020-07-07 | 赵虎珍 | Video shooting device with snow removing function based on block chain technology |
Also Published As
Publication number | Publication date |
---|---|
KR20160006532A (en) | 2016-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10013616B2 (en) | Detection, identification, and mitigation of lens contamination for vehicle mounted camera systems | |
EP3043329B1 (en) | Image processing apparatus, image processing method, and program | |
US10096092B2 (en) | Image processing system and computer-readable recording medium | |
JP2004522372A (en) | Spatio-temporal adaptive noise removal / high-quality image restoration method and high-quality image input device using the same | |
CN104700430A (en) | Method for detecting movement of airborne displays | |
EP2680568B1 (en) | Video stabilisation with deblurring | |
US10614554B2 (en) | Contrast adaptive video denoising system | |
CN106599783B (en) | Video occlusion detection method and device | |
WO2017047494A1 (en) | Image-processing device | |
US9569825B2 (en) | Image processing device, monitoring camera, and image processing method | |
EP3113107B1 (en) | Static soiling detection and correction | |
KR101442160B1 (en) | System for collecting discriminable image in bad weather | |
KR101336240B1 (en) | Method and apparatus for image processing using saved image | |
KR101592732B1 (en) | Apparatus for removing snow rain image in camera images and method for removing snow rain image using the same | |
TWI413415B (en) | Multi-source filter and filtering method based on h264 de-blocking | |
JP2003189294A (en) | Image monitoring device | |
JP2018056892A (en) | Image processing device | |
JP4599136B2 (en) | Image state determination apparatus, image state determination method, and image state determination program | |
KR101989868B1 (en) | Electronic device and controlling method thereof | |
KR20180050967A (en) | Device for extracting image | |
JP2010101073A (en) | Collapse detection system and method | |
KR101153481B1 (en) | Pan-tilt-zoom camera and object detection method thereof | |
KR20040083661A (en) | Appratus and method for extracting subject in observing camera | |
KR20110064081A (en) | Fast shadow removal method using normalized cross correlation(ncc) and integral image | |
KR20070070771A (en) | Apparatus and method for setting up threshold used for noise removal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20190201 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20200203 Year of fee payment: 5 |