KR101267279B1 - 영상에서 비를 제거하기 위한 영상 처리 장치 및 방법 - Google Patents

영상에서 비를 제거하기 위한 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101267279B1
KR101267279B1 KR1020110109028A KR20110109028A KR101267279B1 KR 101267279 B1 KR101267279 B1 KR 101267279B1 KR 1020110109028 A KR1020110109028 A KR 1020110109028A KR 20110109028 A KR20110109028 A KR 20110109028A KR 101267279 B1 KR101267279 B1 KR 101267279B1
Authority
KR
South Korea
Prior art keywords
raindrops
candidate
image
raindrop
false
Prior art date
Application number
KR1020110109028A
Other languages
English (en)
Other versions
KR20130044793A (ko
Inventor
배영훈
김학일
Original Assignee
아이브스테크놀러지(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이브스테크놀러지(주) filed Critical 아이브스테크놀러지(주)
Priority to KR1020110109028A priority Critical patent/KR101267279B1/ko
Publication of KR20130044793A publication Critical patent/KR20130044793A/ko
Application granted granted Critical
Publication of KR101267279B1 publication Critical patent/KR101267279B1/ko

Links

Images

Classifications

    • G06T5/94—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Abstract

영상에서 비를 제거하기 위한 영상 처리 장치 및 방법이 개시된다. 본 발명에 따른 영상에서 비를 제거하기 위한 영상 처리 장치는, 영상의 특정 프레임과 이전 프레임의 픽셀들을 비교하여, R, G, B 값이 모두 소정값 이상으로 변화한 픽셀들을 포함하는 후보 빗방울을 검출하는 후보 빗방울 검출부; 빗방울의 폭과 길이를 포함하는 빗방울의 크기를 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시키는 빗방울 크기 필터링부; 및 빗방울의 각도를 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시키는 빗방울 각도 필터링부를 포함하여 구성된다.

Description

영상에서 비를 제거하기 위한 영상 처리 장치 및 방법{Video processing apparatus and method for removing rain from video}
본 발명은 영상에서 비를 제거하기 위한 영상 처리 장치 및 방법에 관한 것으로서, 비가 내리는 장면을 촬영한 영상의 특정 프레임의 빗방울의 성질을 이용하여 후보 빗방울을 검출하고 이를 제거함으로써, 실시간으로 효과적으로 비를 제거할 수 있는 영상에서 비를 제거하기 위한 영상 처리 장치 및 방법에 관한 것이다.
감시 시스템은 은행, 교통 감시, 학교, 네비게이션, 및 여러가지 공공 지역에서 널리 사용된다. 특히, 비디오 감시 시스템은 범죄를 방지하고 밝히는데 효과적인 해결책이 되고 있다.
실내 시스템에 있어서, 환경은 효과적으로 제어될 수 있고, 따라서 비디오 기록의 품질은 보장될 수 있다. 하지만, 실외 비디오 감시 시스템에 있어서, 날씨 조건은 비디오의 품질을 열화시키는 주요 요소 중의 하나이고, 이는 시스템의 성능의 열화를 가져온다. 종래의 비디오 처리 알고리즘은 주로 입력 비디오의 충분한 품질을 가정한다. 따라서, 시스템 성능을 향상시키기 위하여 실외 비디오의 품질을 향상시키는 전처리 단계가 필요하다.
종래의 많은 비디오 감시 시스템의 개발자들은 비가 내리는 실외 환경에서 촬영된 비디오의 품질을 향상시키기 위해 비의 효과를 완화시키기 위한 시도를 해왔다.
종래의 비디오 내의 비 제거 방법 중 하나는 빗방울의 밝기를 이용한 것이 있다. 이 방법에서는, 빗방울의 밝기가 배경의 밝기에 크게 의존하지 않는다는 것과 빗방울은 배경보다 밝다는 비의 물리적 특성을 이용하여, 광도(photometric) 모델 및 동적 모델을 개발하였다. 후보 비-영향(rain-affected) 픽셀은 픽셀당 밝기의 변화를 관찰함으로써 찾아낼 수 있다. 그리고 나서 두 개의 모델의 제약은 거짓 후보 비-영향 픽셀을 줄이는데 사용된다. 하지만, 이러한 방법은 빗방울을 검출하기 위해 다중 프레임(multi-frame)을 요구하며, 배경이 복잡하지 않고 빗방울이 매우 유사한 크기와 동일한 낙하 속도를 가져야 하는 등 일정한 조건을 만족하여야만 사용 가능하다는 문제점이 있었다.
종래의 비디오 내의 비를 제거하기 위한 다른 방법으로는 카메라 파라미터(parameter)를 이용하는 방법이 있었다. 즉, 비디오 내의 빗방울의 가시성은 카메라 파라미터와 크게 관련되므로, 노출 시간 및 피사계 심도(depth of field)와 같은 카메라 파라미터를 적절히 변경하여 비의 효과를 줄이는 방법이다. 그러나 이러한 방법은 큰비가 내리는 경우나 빠르게 움직이는 객체가 있는 장면과 같은 많은 실제 상황에서 사용될 수 없는 문제점이 있었다.
또 다른 방법으로는, 비의 시간적(temporal) 특성 및 색(chromatic) 특성을 분석하고 k평균 군집화(k-means clustering)를 이용하여 비-영향 픽셀을 검출함으로써 비디오 내의 비를 제거하는 방법이 있었다. 이 방법은 본질적으로 비디오 전체에 대한 미디언(median) 필터의 일종이고, 장면이 대체로 정적인 조건에서만 효과적이다. 이 방법은 또한 비디오의 전체 프레임을 사용하므로 실시간 감시 시스템에 적용이 불가능하다는 단점이 있었다.
본 발명의 목적은 본 발명은 영상에서 비를 제거하기 위한 영상 처리 장치 및 방법에 관한 것으로서, 비가 내리는 장면을 촬영한 영상의 특정 프레임의 빗방울의 성질을 이용하여 후보 빗방울을 검출하고 이를 제거함으로써, 실시간으로 효과적으로 비를 제거할 수 있는 영상에서 비를 제거하기 위한 영상 처리 장치 및 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 영상에서 비를 제거하기 위한 영상 처리 장치는, 영상의 특정 프레임과 이전 프레임의 픽셀들을 비교하여, R, G, B 값이 모두 소정값 이상으로 변화한 픽셀들을 포함하는 후보 빗방울을 검출하는 후보 빗방울 검출부; 빗방울의 폭과 길이를 포함하는 빗방울의 크기를 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시키는 빗방울 크기 필터링부; 및 빗방울의 각도를 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시키는 빗방울 각도 필터링부를 포함하여 구성된다.
상기 빗방울 크기 필터링부는, 상기 특정 프레임의 이미지 내의 빗방울의 폭과 길이를 곱한 상기 빗방울의 영역을 산출하고, 상기 후보 빗방울에서 상기 빗방울의 영역보다 큰 영역을 가지는 후보 빗방울을 거짓 후보 빗방울로서 제외시킬 수 있다.
상기 영상에서 비를 제거하기 위한 영상 처리 장치는, 빗방울의 폭과 길이의 비율을 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시키는 빗방울 비율 필터링부를 더 포함할 수 있다.
상기 빗방울 비율 필터링부는, 상기 특정 프레임의 이미지 내의 빗방울의 폭과 길이의 비율을 산출하고, 상기 후보 빗방울에서 상기 빗방울의 폭과 길이의 비율보다 큰 비율을 가지는 후보 빗방울을 거짓 후보 빗방울로서 제외시킬 수 있다.
상기 빗방울 각도 필터링부는, 상기 특정 프레임의 이미지 내의 빗방울의 각도의 절대값에 대한 문턱값을 적응적으로 산출하여 설정하고, 상기 후보 빗방울에서 상기 문턱값보다 작은 각도의 절대값을 가지는 후보 빗방울을 거짓 후보 빗방울로서 제외시킬 수 있다.
상기 영상에서 비를 제거하기 위한 영상 처리 장치는, 상기 특정 프레임의 이미지를 상기 후보 빗방울이 표시된 이진 이미지로 변환하는 이진 이미지 변환부를 더 포함할 수 있다.
상기 영상에서 비를 제거하기 위한 영상 처리 장치는, 거짓 후보 빗방울이 제외된 후보 빗방울에 포함된 픽셀을 상기 이전 이미지의 동일한 위치의 픽셀과 교체하여 빗방울을 제거하는 빗방울 제거부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 영상에서 비를 제거하기 위한 영상 처리 방법은, 영상의 특정 프레임과 이전 프레임의 픽셀들을 비교하여, R, G, B 값이 모두 소정값 이상으로 변화한 픽셀들을 포함하는 후보 빗방울을 검출하는 단계; 빗방울의 폭과 길이를 포함하는 빗방울의 크기를 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시키는 단계; 및 빗방울의 각도를 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시키는 단계를 포함하여 구성된다.
상기 빗방울의 크기를 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시키는 단계는, 상기 특정 프레임의 이미지 내의 빗방울의 폭과 길이를 곱한 상기 빗방울의 영역을 산출하는 단계; 및 상기 후보 빗방울에서 상기 빗방울의 영역보다 큰 영역을 가지는 후보 빗방울을 거짓 후보 빗방울로서 제외시키는 단계를 포함할 수 있다.
상기 영상에서 비를 제거하기 위한 영상 처리 방법은, 빗방울의 폭과 길이의 비율을 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시키는 단계를 더 포함할 수 있다.
상기 빗방울의 폭과 길이의 비율을 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시키는 단계는, 상기 특정 프레임의 이미지 내의 빗방울의 폭과 길이의 비율을 산출하는 단계; 및 상기 후보 빗방울에서 상기 빗방울의 폭과 길이의 비율보다 큰 비율을 가지는 후보 빗방울을 거짓 후보 빗방울로서 제외시키는 단계를 포함할 수 있다.
상기 빗방울의 각도를 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시키는 단계는, 상기 특정 프레임의 이미지 내의 빗방울의 각도의 절대값에 대한 문턱값을 적응적으로 산출하여 설정하는 단계; 및 상기 후보 빗방울에서 상기 문턱값보다 작은 각도의 절대값을 가지는 후보 빗방울을 거짓 후보 빗방울로서 제외시키는 단계를 포함할 수 있다.
상기 영상에서 비를 제거하기 위한 영상 처리 방법은, 상기 후보 빗방울을 검출하는 단계 후에, 상기 특정 프레임의 이미지를 상기 후보 빗방울이 표시된 이진 이미지로 변환하는 단계를 더 포함할 수 있다.
상기 영상에서 비를 제거하기 위한 영상 처리 방법은, 상기 빗방울의 각도를 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시키는 단계 후에, 거짓 후보 빗방울이 제외된 후보 빗방울에 포함된 픽셀을 상기 이전 이미지의 동일한 위치의 픽셀과 교체하여 빗방울을 제거하는 단계를 더 포함할 수 있다.
본 발명의 일 측면에 따르면, 본 발명은 영상에서 비를 제거하기 위한 영상 처리 장치 및 방법에 관한 것으로서, 영상의 특정 프레임의 빗방울의 성질을 이용하여 후보 빗방울을 검출하고 이를 제거함으로써, 실시간으로 효과적으로 비를 제거할 수 있는 영상에서 비를 제거하기 위한 영상 처리 장치 및 방법을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상에서 비를 제거하기 위한 영상 처리 장치를 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상에서 비를 제거하기 위한 영상 처리 장치의 빗방울 필터링부가 거짓 후보 빗방울을 제외시키는 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상에서 비를 제거하기 위한 영상 처리 장치의 빗방울 각도 필터링부에서 문턱값을 적응적으로 산출하는 과정을 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 영상에서 비를 제거하기 위한 영상 처리 방법을 설명하기 위한 순서도이다.
도 5a 내지 도 5e는 본 발명의 일 실시예에 따른 영상에서 비를 제거하기 위한 영상 처리 장치 및 방법에서 후보 빗방울을 검출하고 거짓 후보 빗방울을 제거한 결과를 나타낸 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상에서 비를 제거하기 위한 영상 처리 장치를 개략적으로 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상에서 비를 제거하기 위한 영상 처리 장치는 후보 빗방울 검출부(110), 이진 이미지 변환부(120), 빗방울 필터링부(130) 및 빗방울 제거부(140)를 포함할 수 있다. 도 1에 도시된 영상에서 비를 제거하기 위한 영상 처리 장치의 구성은 일 실시예에 따른 것이고 도 1에 도시된 블록들은 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 일부 블록이 추가, 변경 또는 삭제될 수 있다. 예를 들면, 다른 실시예에서, 영상에서 비를 제거하기 위한 영상 처리 장치는 이진 이미지 변환부(120) 및/또는 빗방울 제거부(140)를 제외하고 구성될 수 있다.
후보 빗방울 검출부(110)는 영상의 특정 프레임과 이전 프레임의 픽셀(pixel)들을 비교하여, R, G, B 값이 모두 소정값 이상으로 변화한 픽셀들을 포함하는 후보 빗방울을 검출한다. 여기서, 후보 빗방울이란, 빗방울에 영향을 받은 비-영향 픽셀을 포함하는 영역을 말한다.
일 실시예에서, 후보 빗방울 검출부(110)가 후보 빗방울을 검출하는 과정을 설명하면 다음과 같다. 일반적으로, 빗방울은 카메라에 대하여 빛을 굴절시키고 반사시키기 때문에, 이웃하는 배경보다 밝다. 이 때, 두 개의 연속 프레임 간에 장면이 변하지 않고 이전 프레임은 현재 프레임의 빗방울에 의해 가려진 영역에 강하게 영향 받은 비-영향 픽셀을 가지지 않는다고 가정한다. 실제로, 이것이 가장 일반적인 경우이고 반대의 경우는 거의 일어나지 않는다. 이러한 특성에 기반하여, 개략적인 빗방울이 프레임간의 차이로부터 추출될 것이다. 픽셀이 빗방울에 의해 가려지면, R, G, B 값의 변화는 거의 같을 것이다. 따라서, 아래의 법칙은 후보 비 픽셀을 검출하기 위해 정의된다. 픽셀은 수학식 1의 법칙을 만족하면 후보 비-영향 픽셀로 분류된다.
Figure 112011083302327-pat00001
여기서 (Rn, Gn, Bn,) 및 (Rn -1 , Gn -1 , Bn -1)은 각각 현재 프레임 및 이전 프레임의 대응 (R, G, B) 값이고, c는 빗방울로 인한 밝기의 최소 변화를 나타낸다. 이 때, c는 사용자에 의해 임의로 설정될 수 있는 소정값이다.
즉, 수학식 1은 비가 내리는 장면을 촬영한 영상의 특정 프레임과 이전 프레임의 픽셀들을 비교했을 때, R, G, B 값이 모두 소정값 이상으로 변화한 픽셀들이 비-영향 픽셀로서 후보 빗방울에 포함될 수 있다는 것을 나타낸다.
이진 이미지 변환부(120)는 필터링부(130)의 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시키는 작업을 용이하게 하기 위하여 상기 특정 프레임의 이미지를 상기 후보 빗방울이 표시된 이진 이미지로 변환할 수 있다. 이진 이미지는 후보 빗방울은 흰색, 후보 빗방울을 제외한 부분은 흑색으로 표시될 수 있다. 따라서, 이미지에서의 후보 빗방울이 확연히 표시되어 구분이 용이해 진다.
빗방울 필터링부(130)는 빗방울의 특성을 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시킨다. 빗방울 필터링부(130)는 빗방울 크기 필터링부(131), 빗방울 비율 필터링부(132) 및 빗방울 각도 필터링부(133)를 포함할 수 있다.
빗방울 크기 필터링부(131)는 빗방울의 폭과 길이를 포함하는 빗방울의 크기를 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시킨다. 일 실시예에서, 빗방울 크기 필터링부(131)는 상기 특정 프레임의 이미지 내의 빗방울의 폭과 길이를 곱한 상기 빗방울의 영역을 산출하고, 상기 후보 빗방울에서 상기 빗방울의 영역보다 큰 영역을 가지는 후보 빗방울을 거짓 후보 빗방울로서 제외시킬 수 있다.
빗방울 비율 필터링부(132)는 빗방울의 폭과 길이의 비율을 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시킨다. 일 실시예에서, 빗방울 비율 필터링부(132)는 상기 특정 프레임의 이미지 내의 빗방울의 폭과 길이의 비율을 산출하고, 상기 후보 빗방울에서 상기 빗방울의 폭과 길이의 비율보다 큰 비율을 가지는 후보 빗방울을 거짓 후보 빗방울로서 제외시킬 수 있다.
빗방울 각도 필터링부(133)는 빗방울의 각도를 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시킨다. 일 실시예에서, 빗방울 각도 필터링부(133)는 상기 특정 프레임의 이미지 내의 빗방울의 각도의 절대값에 대한 문턱값을 적응적으로 산출하여 설정하고, 상기 후보 빗방울에서 상기 문턱값보다 작은 각도의 절대값을 가지는 후보 빗방울을 거짓 후보 빗방울로서 제외시킬 수 있다.
빗방울 크기 필터링부(131), 빗방울 비율 필터링부(132) 및 빗방울 각도 필터링부(133)에서 거짓 후보 빗방울을 제외시키는 과정은 이후에 도면을 참조하여 상세하게 설명하도록 한다.
빗방울 제거부(140)는 거짓 후보 빗방울이 제외된 후보 빗방울에 포함된 픽셀을 상기 이전 이미지의 동일한 위치의 픽셀과 교체하여 빗방울을 제거한다. 일 실시예에서, 빗방울 제거부(140)는 두 개의 연속 프레임 간의 비 영역이 중첩되지 않는다는 상기 진술된 가정 하에서 이미지 복구를 수행하게 된다. 따라서, 빗방울 제거부(140)에 의하면, 현재 프레임의 비-영향 픽셀은 이전의 픽셀과 교체함으로써 복구된다.
도 2는 본 발명의 일 실시예에 따른 영상에서 비를 제거하기 위한 영상 처리 장치의 빗방울 필터링부가 거짓 후보 빗방울을 제외시키는 과정을 설명하기 위한 도면이다.
이미지 포착(capturing)은 카메라 하드웨어 명세에 의존한다. 예를 들면, 카메라의 해상도가 높으면, 더 높은 품질의 이미지가 얻어질 수 있고, 반대의 경우도 마찬가지이다. 이전 단계로부터 거짓 후보 빗방울을 걸러내기 위하여, 빗방울의 크기가 이용된다. 포착 시간의 카메라 설정을 알 수 있으면, 비디오 내의 빗방울의 실제 크기가 추산될 수 있다. 예를 들면, 카메라의 CCD(Charge-Coupled Device) 센서(21)의 크기 및 해상도가 이미지(23) 내의 빗방울의 크기를 결정한다. 도 2에는 실제 빗방울(24)의 크기 및 CCD 센서에 의해 포착된 이미지(23)의 픽셀 단위의 크기 간의 변환을 보여준다. 실제 빗방울(24)은 센서 내에 표시되는 빗방울(25) 및 이미지 내에 표시되는 빗방울(26)과 같이 긴 막대 모양으로 나타난다. 이는 빗방울이 노출시간 동안 이동하기 때문이다. 도 2에서 p 는 픽셀의 해상도이고, SW, SH는 CCD 센서(21)의 폭과 높이이며, IW, IH 는 이미지(23)의 픽셀 단위의 폭 및 높이를 나타낸다. 이 밖에, S는 각각 실제 빗방울(24)의 노출 시간 동안 빗방울의 이동거리, a는 실제 빗방울(24)의 지름을 나타낸다. 또한, z는 카메라의 렌즈(22)와 실제 빗방울(24)의 거리, f는 카메라의 초점 길이를 나타낸다. 이 모델을 통하여, CCD 센서(21) 및 이미지(23) 간의 비율이 후속 단계들에서 사용되기 위해 수학식 2와 같이 계산될 수 있다.
Figure 112011083302327-pat00002
후보 빗방울 검출의 결과에는 몇몇 노이즈(noise) 입자 즉, 빗방울이 아닌 거짓 후보 빗방울이 포함될 수 있다. 노이즈 입자를 제거하기 위해, 일 실시예에서는, 비의 고유 특성인 빗방울의 크기 및 각도가 이용된다. 일반적으로, 빗방울은 고속으로 수직으로 낙하한다. 그 결과, 그들은 이미지에서 직선으로 나타난다. 바람이 강하게 불더라도, 빗방울은 수평으로 떨어지지는 않는다. 이는 빗방울이 예측가능한 범위의 크기 및 각도를 가진다는 것을 보여준다. 상기 CCD 센서(21) 모델 및 일반적인 빗방울 입자 크기에 기반하여, 아래 표 1에 나타낸 바와 같이 빗방울의 크기의 범위 및 비율을 계산하고 비가 아닌 입자를 걸러내기 위한 문턱값을 설정할 수 있다. 이 때, 비의 지름은 먼저 지정해야 한다. 일반적으로 비의 최대 지름은 5mm로 쓸 수 있다. 카메라의 여러 파라미터들은 이미 알고 있는 정보이다.
공식 특성 설명
Figure 112011083302327-pat00003
 속도 v: 실제 빗방울의 속도
a: 실제 빗방울의 지름
t: 노출 시간
S: 노출 시간 동안 실제 빗방울의 이동 거리
f: 카메라의 초점 길이
l: 빗방울의 길이
b: 빗방울의 폭
P: 빗방울의 폭 및 길이의 비율
A: 이미지 내 빗방울의 영역
Figure 112011083302327-pat00004
 거리
Figure 112011083302327-pat00005
 길이
Figure 112011083302327-pat00006
 폭
Figure 112011083302327-pat00007
 비율
Figure 112011083302327-pat00008
 영역
빗방울 크기 필터링부(131)는 표 1에서 빗방울의 영역 A를 구하는 공식인 수학식 3을 이용하면, 상기 특정 프레임의 이미지 내의 빗방울의 폭과 길이를 곱한 상기 빗방울의 영역을 산출할 수 있게 된다.
Figure 112011083302327-pat00009
그리고, 빗방울 크기 필터링부(131)는 상기 후보 빗방울에서 상기 빗방울의 영역보다 큰 영역을 가지는 후보 빗방울을 거짓 후보 빗방울로서 제외시킬 수 있다.
또한, 빗방울 비율 필터링부(132)는 표 1에서 빗방울의 비율 P를 구하는 공식인 수학식 4를 이용하면, 상기 특정 프레임의 이미지 내의 빗방울의 폭과 길이의 비율을 산출할 수 있게 된다.
Figure 112011083302327-pat00010
그리고, 빗방울 비율 필터링부(132)는 상기 후보 빗방울에서 상기 빗방울의 폭과 길이의 비율보다 큰 비율을 가지는 후보 빗방울을 거짓 후보 빗방울로서 제외시킬 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상에서 비를 제거하기 위한 영상 처리 장치의 빗방울 각도 필터링부에서 문턱값을 적응적으로 산출하는 과정을 설명하기 위한 순서도이다.
빗방울의 다른 특성은 낙하 방향이다. 특정 이미지 내의 빗방울은 비슷한 방향을 가질 것이다. 모든 빗방울의 방향을 정확하게 측정하는 것은 불가능하다. 하지만, 대부분의 경우에, 빗방울의 방향은 특정 범위 내에 있다. 따라서, 빗방울의 방향 특성은 움직이는 객체와 복잡한 배경으로부터 거짓으로 검출된 후보들을 제거하는데 이용된다. 이를 위해서, 본 발명의 일 실시예에 따른 영상에서 비를 제거하기 위한 영상 처리 장치의 빗방울 각도 필터링부는 거짓 후보 빗방울을 걸러내기 위해, 도 3의 순서도에 기술된 바와 같이 각도의 절대값에 대한 문턱값을 적응적으로 계산한다.
먼저 본 발명의 일 실시예에 따른 영상에서 비를 제거하기 위한 영상 처리 장치의 빗방울 각도 필터링부는 후보 빗방울이 표시된 이미지 내의 모든 후보 빗방울의 각도의 절대값(A)을 계산한다(S301). 그리고 모든 후보 빗방울의 각도의 절대값(A)의 평균값(mean)을 구하여 T로 놓는다(S302). 그리고 나서, 후보 빗방울의 각도의 절대값(A) 중 T 이상의 값은 Ag로 놓고, T 미만의 값은 Al로 놓고(S303), Ag의 값들의 평균값과 Al의 값들의 평균값을 더하여 2로 나눈 값을 T0으로 놓는다(S304). 그 다음, T에서 T0를 뺀 절대값이 5 미만인지 확인하여(S305), 5 미만이 아닌 경우에는 T=T0으로 놓고(S306), 단계(S303)부터 다시 시작하고, 5 미만인 경우에는 T를 문턱값으로 설정한다(S307).
이 때, 단계(S305)에서 5는 사용자에 의해 임의로 설정될 수 있는 값이며, 필요에 따라 사용자가 변경할 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상에서 비를 제거하기 위한 영상 처리 방법을 설명하기 위한 순서도이다.
도 4를 참조하면, 발명의 일 실시예에 따른 영상에서 비를 제거하기 위한 영상 처리 방법이 시작되면, 먼저 영상의 특정 프레임과 이전 프레임의 픽셀들을 비교하여, R, G, B 값이 모두 소정값 이상으로 변화한 픽셀들을 포함하는 후보 빗방울을 검출한다(S401).
후보 빗방울을 검출하고 나면, 상기 특정 프레임의 이미지를 상기 후보 빗방울이 표시된 이진 이미지로 변환한다(S402).
그리고 빗방울의 폭과 길이를 포함하는 빗방울의 크기를 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시킨다(S403). 이 때, 단계(S403)에서 상기 특정 프레임의 이미지 내의 빗방울의 폭과 길이를 곱한 상기 빗방울의 영역을 산출하고 상기 후보 빗방울에서 상기 빗방울의 영역보다 큰 영역을 가지는 후보 빗방울을 거짓 후보 빗방울로서 제외시킬 수 있다.
그리고 빗방울의 폭과 길이의 비율을 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시킨다(S404). 이 때, 단계(S404)에서 상기 특정 프레임의 이미지 내의 빗방울의 폭과 길이의 비율을 산출하고, 상기 후보 빗방울에서 상기 빗방울의 폭과 길이의 비율보다 큰 비율을 가지는 후보 빗방울을 거짓 후보 빗방울로서 제외시킬 수 있다.
그리고 빗방울의 각도를 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시킨다(S405). 이 때, 단계(S405)에서 상기 특정 프레임의 이미지 내의 빗방울의 각도의 절대값에 대한 문턱값을 적응적으로 산출하여 설정하고, 상기 후보 빗방울에서 상기 문턱값보다 작은 각도의 절대값을 가지는 후보 빗방울을 거짓 후보 빗방울로서 제외시키고, 큰 각도를 가지는 후보 빗방울만을 실제 빗방울로 유지시킬 수 있다.
상기와 같이 상기 후보 빗방울에서 거짓 후보 빗방울을 제거시키는 과정을 거치고 나면, 거짓 후보 빗방울이 제외된 후보 빗방울에 포함된 픽셀을 상기 이전 이미지의 동일한 위치의 픽셀과 교체하여 빗방울을 제거한다(S406).
전술한 영상에서 비를 제거하기 위한 영상 처리 방법은 도면에 제시된 순서도를 참조로 하여 설명되었다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다.
도 5a 내지 도 5e는 본 발명의 일 실시예에 따른 영상에서 비를 제거하기 위한 영상 처리 장치 및 방법에서 후보 빗방울을 검출하고 거짓 후보 빗방울을 제거한 결과를 나타낸 도면이다.
도 5a는 비가 내리는 장면을 촬영한 영상의 특정 프레임의 원본 이미지이다. 도 5b는 특정 프레임의 이미지를 후보 빗방울이 표시된 이진 이미지로 변환한 이미지이다. 도 5c는 빗방울의 폭과 길이를 포함하는 빗방울의 크기를 이용하여 후보 빗방울에서 거짓 후보 빗방울을 제외시킨 이미지이다. 도 5d는 빗방울의 폭과 길이의 비율을 이용하여 후보 빗방울에서 거짓 후보 빗방울을 제외시킨 이미지이다. 도 5e는 빗방울의 각도를 이용하여 후보 빗방울에서 거짓 후보 빗방울을 제외시킨 이미지이다.
이와 같이 도 5b에서 도 5e로 갈수록 후보 빗방울 중에서 거짓 후보 빗방울이 제외되어 실제 빗방울을 나타내는 이미지만 남게 된다. 따라서 본 발명의 일 실시예에 따른 영상에서 비를 제거하기 위한 영상 처리 장치 및 방법에 따르면 정확하고 효율적인 빗방울의 검출 및 제거가 가능하게 된다.
이상 본 발명의 특정 실시예를 도시하고 설명하였으나, 본 발명의 기술사상은 첨부된 도면과 상기한 설명내용에 한정하지 않으며 본 발명의 사상을 벗어나지 않는 범위 내에서 다양한 형태의 변형이 가능함은 이 분야의 통상의 지식을 가진 자에게는 자명한 사실이며, 이러한 형태의 변형은, 본 발명의 정신에 위배되지 않는 범위 내에서 본 발명의 특허청구범위에 속한다고 볼 것이다.

Claims (14)

  1. 영상의 특정 프레임과 이전 프레임의 픽셀들을 비교하여, R, G, B 값이 모두 소정값 이상으로 변화한 픽셀들을 포함하는 후보 빗방울을 검출하는 후보 빗방울 검출부;
    빗방울의 폭과 길이를 포함하는 빗방울의 크기를 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시키는 빗방울 크기 필터링부; 및
    빗방울의 각도를 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시키는 빗방울 각도 필터링부를 포함하는 것을 특징으로 하는 영상에서 비를 제거하기 위한 영상 처리 장치.
  2. 청구항 1에 있어서,
    상기 빗방울 크기 필터링부는,
    상기 특정 프레임의 이미지 내의 빗방울의 폭과 길이를 곱한 상기 빗방울의 영역을 산출하고, 상기 후보 빗방울에서 상기 빗방울의 영역보다 큰 영역을 가지는 후보 빗방울을 거짓 후보 빗방울로서 제외시키는 것을 특징으로 하는 영상에서 비를 제거하기 위한 영상 처리 장치.
  3. 청구항 1에 있어서,
    빗방울의 폭과 길이의 비율을 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시키는 빗방울 비율 필터링부를 더 포함하는 것을 특징으로 하는 영상에서 비를 제거하기 위한 영상 처리 장치.
  4. 청구항 3에 있어서,
    상기 빗방울 비율 필터링부는,
    상기 특정 프레임의 이미지 내의 빗방울의 폭과 길이의 비율을 산출하고, 상기 후보 빗방울에서 상기 빗방울의 폭과 길이의 비율보다 큰 비율을 가지는 후보 빗방울을 거짓 후보 빗방울로서 제외시키는 것을 특징으로 하는 영상에서 비를 제거하기 위한 영상 처리 장치.
  5. 청구항 1에 있어서,
    상기 빗방울 각도 필터링부는,
    상기 특정 프레임의 이미지 내의 빗방울의 각도의 절대값에 대한 문턱값을 적응적으로 산출하여 설정하고, 상기 후보 빗방울에서 상기 문턱값보다 작은 각도의 절대값을 가지는 후보 빗방울을 거짓 후보 빗방울로서 제외시키는 것을 특징으로 하는 영상에서 비를 제거하기 위한 영상 처리 장치.
  6. 청구항 1에 있어서,
    상기 특정 프레임의 이미지를 상기 후보 빗방울이 표시된 이진 이미지로 변환하는 이진 이미지 변환부를 더 포함하는 것을 특징으로 하는 영상에서 비를 제거하기 위한 영상 처리 장치.
  7. 청구항 6에 있어서,
    거짓 후보 빗방울이 제외된 후보 빗방울에 포함된 픽셀을 상기 이진 이미지의 동일한 위치의 픽셀과 교체하여 빗방울을 제거하는 빗방울 제거부를 더 포함하는 것을 특징으로 하는 영상에서 비를 제거하기 위한 영상 처리 장치.
  8. 영상의 특정 프레임과 이전 프레임의 픽셀들을 비교하여, R, G, B 값이 모두 소정값 이상으로 변화한 픽셀들을 포함하는 후보 빗방울을 검출하는 단계;
    빗방울의 폭과 길이를 포함하는 빗방울의 크기를 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시키는 단계; 및
    빗방울의 각도를 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시키는 단계를 포함하는 것을 특징으로 하는 영상에서 비를 제거하기 위한 영상 처리 방법.
  9. 청구항 8에 있어서,
    상기 빗방울의 크기를 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시키는 단계는,
    상기 특정 프레임의 이미지 내의 빗방울의 폭과 길이를 곱한 상기 빗방울의 영역을 산출하는 단계; 및
    상기 후보 빗방울에서 상기 빗방울의 영역보다 큰 영역을 가지는 후보 빗방울을 거짓 후보 빗방울로서 제외시키는 단계를 포함하는 것을 특징으로 하는 영상에서 비를 제거하기 위한 영상 처리 방법.
  10. 청구항 8에 있어서,
    빗방울의 폭과 길이의 비율을 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시키는 단계를 더 포함하는 것을 특징으로 하는 영상에서 비를 제거하기 위한 영상 처리 방법.
  11. 청구항 10에 있어서,
    상기 빗방울의 폭과 길이의 비율을 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시키는 단계는,
    상기 특정 프레임의 이미지 내의 빗방울의 폭과 길이의 비율을 산출하는 단계; 및
    상기 후보 빗방울에서 상기 빗방울의 폭과 길이의 비율보다 큰 비율을 가지는 후보 빗방울을 거짓 후보 빗방울로서 제외시키는 단계를 포함하는 것을 특징으로 하는 영상에서 비를 제거하기 위한 영상 처리 방법.
  12. 청구항 8에 있어서,
    상기 빗방울의 각도를 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시키는 단계는,
    상기 특정 프레임의 이미지 내의 빗방울의 각도의 절대값에 대한 문턱값을 적응적으로 산출하여 설정하는 단계; 및
    상기 후보 빗방울에서 상기 문턱값보다 작은 각도의 절대값을 가지는 후보 빗방울을 거짓 후보 빗방울로서 제외시키는 단계를 포함하는 것을 특징으로 하는 영상에서 비를 제거하기 위한 영상 처리 방법.
  13. 청구항 8에 있어서,
    상기 후보 빗방울을 검출하는 단계 후에,
    상기 특정 프레임의 이미지를 상기 후보 빗방울이 표시된 이진 이미지로 변환하는 단계를 더 포함하는 것을 특징으로 하는 영상에서 비를 제거하기 위한 영상 처리 방법.
  14. 청구항 13에 있어서,
    상기 빗방울의 각도를 이용하여 상기 후보 빗방울에서 거짓 후보 빗방울을 제외시키는 단계 후에,
    거짓 후보 빗방울이 제외된 후보 빗방울에 포함된 픽셀을 상기 이진 이미지의 동일한 위치의 픽셀과 교체하여 빗방울을 제거하는 단계를 더 포함하는 것을 특징으로 하는 영상에서 비를 제거하기 위한 영상 처리 방법.
KR1020110109028A 2011-10-24 2011-10-24 영상에서 비를 제거하기 위한 영상 처리 장치 및 방법 KR101267279B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110109028A KR101267279B1 (ko) 2011-10-24 2011-10-24 영상에서 비를 제거하기 위한 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110109028A KR101267279B1 (ko) 2011-10-24 2011-10-24 영상에서 비를 제거하기 위한 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130044793A KR20130044793A (ko) 2013-05-03
KR101267279B1 true KR101267279B1 (ko) 2013-05-24

Family

ID=48657118

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110109028A KR101267279B1 (ko) 2011-10-24 2011-10-24 영상에서 비를 제거하기 위한 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101267279B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021527B (zh) * 2014-06-10 2017-04-19 北京邮电大学 一种图像中雨雪的去除方法
CN104978718A (zh) * 2015-06-12 2015-10-14 中国科学院深圳先进技术研究院 一种基于图像熵的视频雨滴去除方法及系统
CN110544217B (zh) * 2019-08-30 2021-07-20 深圳市商汤科技有限公司 一种图像处理方法及装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문:대한전자공학회

Also Published As

Publication number Publication date
KR20130044793A (ko) 2013-05-03

Similar Documents

Publication Publication Date Title
EP2641230B1 (en) Method and apparatus for detection and removal of rain from videos using temporal and spatiotemporal properties
KR100835380B1 (ko) 영상의 경계를 검출하는 방법 및 그 장치와 이를 구현할 수있는 컴퓨터로 읽을 수 있는 기록 매체
US8582915B2 (en) Image enhancement for challenging lighting conditions
KR101546700B1 (ko) 영상을 활용한 도로 포트홀 영역 인식 장치 및 방법
WO2022027931A1 (zh) 基于视频图像的运动车辆前景检测方法
EP3016383B1 (en) Method, device, and system for pre-processing a video stream for subsequent motion detection processing
KR20090062049A (ko) 영상 데이터 압축 전처리 방법 및 이를 이용한 영상 데이터압축 방법과, 영상 데이터 압축 시스템
CN102609704A (zh) 雾天条件下视频监控图像运动目标的检测装置和方法
CN104268899A (zh) 基于帧间差分和背景差分的运动目标检测方法
JP6531542B2 (ja) 画像処理システム、画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
CN112528861A (zh) 应用于铁路隧道内道床的异物检测方法及装置
KR101553589B1 (ko) Lpr 시스템에서 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치와 그 방법
CN110781853A (zh) 人群异常检测方法以及相关装置
KR101267279B1 (ko) 영상에서 비를 제거하기 위한 영상 처리 장치 및 방법
US20110085026A1 (en) Detection method and detection system of moving object
CN105046670A (zh) 一种图像去雨方法及系统
TWI530913B (zh) 移動物體偵測系統及方法
TWI381735B (zh) 影像監視設備之影像處理系統及其影像解析自動調適之方法
CN109547777B (zh) 一种复杂场景的视频噪声快速检测方法
KR101941266B1 (ko) 초저조도용 cctv 영상 제공 시스템
CN202495068U (zh) 雾天条件下视频监控图像运动目标的检测装置
CN106951831B (zh) 一种基于深度摄像机的行人检测跟踪方法
KR101809031B1 (ko) 복합화재 검지 영상 처리 장치 및 영상 처리 방법
CN105046656A (zh) 一种基于边缘保留滤波的形状自适应图像去雾方法
Thakur et al. Classification of color hazy images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160412

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170502

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190521

Year of fee payment: 7

R401 Registration of restoration