KR20150072001A - 영상데이터에서 비를 제거하는 영상처리장치 및 방법 - Google Patents

영상데이터에서 비를 제거하는 영상처리장치 및 방법 Download PDF

Info

Publication number
KR20150072001A
KR20150072001A KR1020130159192A KR20130159192A KR20150072001A KR 20150072001 A KR20150072001 A KR 20150072001A KR 1020130159192 A KR1020130159192 A KR 1020130159192A KR 20130159192 A KR20130159192 A KR 20130159192A KR 20150072001 A KR20150072001 A KR 20150072001A
Authority
KR
South Korea
Prior art keywords
image data
rain
pixel
control unit
candidate
Prior art date
Application number
KR1020130159192A
Other languages
English (en)
Other versions
KR101534973B1 (ko
Inventor
이원석
송병철
김학구
서승지
Original Assignee
현대자동차주식회사
인하대학교 산학협력단
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 인하대학교 산학협력단, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020130159192A priority Critical patent/KR101534973B1/ko
Priority to US14/301,811 priority patent/US20150178902A1/en
Priority to DE102014211889.1A priority patent/DE102014211889A1/de
Priority to CN201410307124.4A priority patent/CN104732489A/zh
Publication of KR20150072001A publication Critical patent/KR20150072001A/ko
Application granted granted Critical
Publication of KR101534973B1 publication Critical patent/KR101534973B1/ko

Links

Images

Classifications

    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

본 발명은 영상데이터에서 비를 제거하는 영상처리장치 및 방법에 관한 것으로, 영상데이터를 획득하는 적어도 하나의 카메라, 영상데이터에 포함된 빗줄기를 검출하여 빗줄기를 제거한 후, 빗줄기가 제거된 영역의 영상데이터를 복원하여 출력하는 제어부를 포함할 수 있다.

Description

영상데이터에서 비를 제거하는 영상처리장치 및 방법{Image Processing Apparatus and Method for Removing Rain From Image Data}
본 발명은 영상데이터에서 비를 제거하는 영상처리장치 및 방법에 관한 것으로서, 보다 구체적으로 비가 내리는 장면을 촬영한 영상데이터에서 빗방울을 검출하여 제거하고, 빗방울이 검출된 픽셀의 영상데이터를 복원하는 영상데이터에서 비를 제거하는 영상처리장치 및 방법에 관한 것이다.
실외 비디오 감시 시스템에 있어서, 날씨 조건은 영상데이터의 품질을 열화시키는 주요 요소 중의 하나이고, 이는 시스템 성능을 저하시킨다. 종래의 영상데이터 처리 알고리즘은 주로 입력된 영상데이터의 충분한 품질을 가정한다. 따라서, 시스템 성능을 향상시키기 위해 실외 영상데이터의 품질을 향상시키기 위한 전처리 단계가 필요하다.
이러한 종래의 문제점들을 해결하기 위한 본 발명의 목적은 우천 시 카메라에서 획득된 영상데이터에서 빗방울을 검출하여 제거하고, 빗방울이 검출된 픽셀의 영상데이터를 복원하여 출력할 수 있는 영상데이터에서 비를 제거하는 영상처리장치 및 방법을 제공하는 것이다.
이러한 목적들을 달성하기 위하여 본 발명에 따른 영상데이터에서 비를 제거하는 영상처리장치는 영상데이터를 획득하는 적어도 하나의 카메라, 상기 영상데이터에 포함된 빗줄기를 검출하여 상기 빗줄기를 제거한 후, 상기 빗줄기가 제거된 영역의 영상데이터를 복원하여 출력하는 제어부를 포함하는 것을 특징으로 한다.
또한, 상기 제어부는 상기 영상데이터에서 임의의 픽셀에 대한 밝기를 확인하고, 상기 픽셀의 주변 픽셀에 대한 밝기를 확인하는 것을 특징으로 한다.
또한, 상기 제어부는 상기 확인된 밝기가 가장 큰 픽셀을 빗줄기 후보 영역으로 선정하고, 상기 빗줄기 후보 영역으로 선정된 픽셀을 연결하여 단일 빗줄기를 생성하는 것을 특징으로 한다.
또한, 상기 제어부는 상기 단일 빗줄기의 각도 및 길이를 측정하여 최종 빗줄기 후보 영역을 선정하고, 상기 최종 빗줄기 후보 영역의 주변 픽셀을 빗줄기 영역으로 확장하는 것을 특징으로 한다.
또한, 상기 제어부는 상기 빗줄기 영역에 해당하는 픽셀의 데이터를 삭제하는 것을 특징으로 한다.
또한, 상기 제어부는 상기 데이터가 제거된 픽셀을 기준으로 영상 블록을 생성하고, 현재 프레임의 이전 프레임을 적어도 하나 추출하여 상기 이전 프레임에서 후보 블록을 추출하는 것을 특징으로 한다.
또한, 상기 제어부는 상기 영상 블록과 상기 후보 블록의 유사성을 확인하여 상기 후보 블록으로 상기 제거된 픽셀을 복원하는 것을 특징으로 한다.
또한, 상기 제어부는 상기 영상데이터에서 빗줄기가 검출되면 차량에 구비된 와이퍼의 자동 제어를 수행하는 것을 특징으로 한다.
또한, 상기 제어부는 상기 영상데이터에서 빗줄기가 검출되면 차량에 구비된 전조등 및 후미등을 포함하는 램프의 자동 제어를 수행하는 것을 특징으로 한다.
또한, 비가 오는 것을 감지하는 센서를 포함하는 것을 특징으로 한다.
아울러, 본 발명에 따른 영상데이터에서 비를 제거하는 영상처리방법은 제어부는 영상데이터를 획득하는 단계, 상기 획득된 영상데이터에 포함된 빗줄기를 검출하는 단계, 상기 검출된 빗줄기를 제거하는 단계, 상기 빗줄기가 제거된 영역의 영상데이터를 복원하는 단계, 상기 복원된 영상데이터를 출력하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 빗줄기를 검출하는 단계는 상기 영상데이터에서 임의의 픽셀에 대한 밝기를 확인하는 단계, 상기 픽셀의 주변 픽셀에 대한 밝기를 확인하는 단계, 상기 밝기가 가장 큰 픽셀을 빗줄기 후보 영역으로 선정하는 단계, 상기 빗줄기 후보 영역으로 선정된 픽셀을 연결하여 단일 빗줄기를 생성하는 단계, 상기 단일 빗줄기의 각도 및 길이를 측정하는 단계, 상기 빗줄기의 최종 후보 영역을 설정하고, 상기 최종 후보 영역의 주변 픽셀을 빗줄기 영역으로 확장하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 검출된 빗줄기를 제거하는 단계는 상기 빗줄기 영역에 해당하는 픽셀의 데이터를 삭제하는 단계인 것을 특징으로 한다.
또한, 상기 영상데이터를 복원하는 단계는 상기 데이터가 제거된 픽셀을 기준으로 영상 블록을 생성하는 단계, 현재 프레임의 이전 프레임을 적어도 하나 추출하는 단계, 상기 이전 프레임에서 후보 블록을 추출하는 단계, 상기 영상 블록과 상기 후보 블록의 유사성을 확인하여 상기 후보 블록으로 상기 제거된 픽셀을 복원하는 단계를 포함하는 것을 특징으로 한다.
이와 같이, 본 발명은 우천 시 카메라에서 획득된 영상데이터에서 빗방울을 검출하여 제거하고, 빗방울이 검출된 픽셀의 영상데이터를 복원하여 출력함으로써, 영상데이터의 품질을 보장할 수 있고, 이로 인한 안전사고를 방지할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 영상처리장치의 주요 구성을 나타내는 블록도
도 2는 본 발명의 실시예에 따른 영상처리방법을 설명하기 위한 흐름도
도 3은 본 발명의 실시예에 따른 영상데이터에서 빗줄기를 검출하는 방법을 설명하기 위한 상세흐름도
도 4는 본 발명의 실시예에 따른 영상데이터에서 빗줄기를 검출하는 방법을 나타낸 화면예시도
도 5는 본 발명의 실시예에 따른 빗줄기가 삭제된 영상데이터를 복원하는 방법을 설명하기 위한 상세흐름도
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 보다 상세하게 설명하고자 한다. 다만, 실시예들을 설명함에 있어서 본 발명이 속하는 기술 분야에 잘 알려져 있고, 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 가급적 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 핵심을 흐리지 않고 더욱 명확히 전달하기 위함이다.
도 1은 본 발명의 실시예에 따른 영상처리장치의 주요 구성을 나타내는 블록도이다.
도 1을 참조하면, 본 발명에 따른 영상처리장치(100)는 센서부(110), 카메라(120), 표시부(130), 저장부(140), 제어부(150)를 포함할 수 있다.
센서부(110)는 차량의 외부에 위치하여 차량의 외부에 비가 오는지 확인한다. 이를 위해 센서부(110)는 레인센서로 구현될 수 있다. 센서부(110)는 실시간으로 획득되는 날씨에 대한 센싱정보를 제어부(150)로 제공한다.
카메라(120)는 차량에 구비되어 제어부(150)의 제어에 의해 차량의 외부 영상데이터를 획득한다. 카메라(120)는 차량의 전방과 후방에 구비될 수 있다.
표시부(130)는 영상처리장치(100) 내부에서 발생되는 동작에 대응되는 화면을 출력한다. 특히, 표시부(130)는 제어부(150)의 제어에 따라 카메라(120)에서 획득된 영상데이터를 출력하고, 우천 시에 영상데이터에 포함된 빗줄기가 제거된 영상데이터를 출력할 수 있다. 이를 위채, 표시부(130)는 LCD(Liquid Crystal Display) 등으로 형성될 수 있으며, 터치스크린으로 형성된 경우 입력부의 기능을 동시에 수행할 수 있다.
저장부(140)는 영상처리장치(100) 내부의 동작을 위한 다양한 프로그램을 저장한다. 특히, 저장부(140)는 카메라(120)에서 획득된 영상데이터에서 빗줄기를 검출하고, 검출된 빗줄기를 제거하며, 빗줄기가 제거된 영상데이터를 복원하기 위한 영상처리 알고리즘을 저장할 수 있다.
제어부(150)는 카메라(120)에서 획득된 영상데이터에 포함된 빗줄기를 검출하여 영상데이터 내에서 빗줄기를 제거한 후, 빗줄기가 제거된 영역의 영상데이터를 복원하여 출력한다.
보다 구체적으로, 제어부(150)는 센서부(110)로부터 수신된 센싱정보를 확인하여, 차량 외부에 비가 내리고 있음이 확인되면, 저장부(140)에 저장된 영상처리 알고리즘을 호출한다. 제어부(150)는 카메라(120)에서 획득되는 영상데이터를 분석하여 영상처리 알고리즘을 이용해 영상데이터에서 빗줄기를 검출한다. 제어부(150)는 카메라(120)에서 획득된 영상데이터에서 임의의 픽셀을 선택하고, 선택된 픽셀의 밝기를 확인한다. 그리고 제어부(150)는 선택된 픽셀의 주변 픽셀의 밝기를 확인한다. 이때, 제어부(150)는 선택된 픽셀을 기준으로 좌우 3픽셀에 대한 밝기를 확인할 수 있다. 제어부(150)는 7개의 픽셀 중에서 밝기가 가장 밝은 픽셀을 선택하여 빗줄기 후보 영역으로 선정한다. 제어부(150)는 밝기의 최대값과 최소값의 차이가 임계치 이상인 경우에는 영상데이터 내의 경계선으로 판단하여 빗줄기 후보 영역에서 배제한다.
제어부(150)는 영상데이터에 존재하는 모든 픽셀에 대하여 상기와 같이 밝기를 확인하여 빗줄기 후보 영역으로 선정된 픽셀을 연결해서 단일 빗줄기를 생성한다. 제어부(150)는 단일 빗줄기의 각도 및 길이를 측정하여 빗줄기의 최종 후보 영역을 선정한다. 특히, 제어부(150)는 단일 빗줄기의 길이가 특정 길이 이하이면 빗줄기 최종 후보 영역에서 배제한다. 제어부(150)는 전체 빗줄기 후보 영역의 평균적인 각도를 확인하고, 단일 빗줄기 중에서 평균 각도와의 차이가 임계치 이상인 빗줄기를 빗줄기 최종 후보 영역에서 배제한다. 제어부(150)는 선정된 최종 후보 영역의 주변 픽셀을 빗줄기 영역으로 확장한다. 빗줄기 영역의 밝기 변화가 가우시안(Gaussian)분포에 따르기 때문에 가우시안 분포에 따라 주변 픽셀까지 빗줄기 영역으로 확장하는 것이 바람직하다.
제어부(150)는 최종 후보 영역으로 선정된 빗줄기 영역에 해당하는 픽셀의 데이터를 삭제한다. 그리고 제어부(150)는 데이터가 삭제된 픽셀의 영상데이터를 복원한다. 이를 위해, 제어부(150)는 복원된 영상데이터가 표시부(130)에 출력될 때, 운전자로 하여금 이질감이 없도록 하기 위해서, 픽셀이 삭제된 프레임의 이전 프레임으로부터 영상데이터를 추출하여 복원한다.
보다 구체적으로, 제어부(150)는 데이터가 삭제된 픽셀을 포함한 영상데이터의 프레임에서 영상 블록을 생성한다. 제어부(150)는 영상 블록이 생성된 프레임의 3-5 이전 프레임을 추출하고, 제어부(150)는 영상 블록이 생성된 프레임과, 추출된 이전 프레임의 블록 매칭을 통해 이전 프레임에서 후보 블록을 생성한다. 덧붙여 설명하면, 비가 많이 올 때의 영상데이터의 경우 복수개의 프레임에서 비슷한 위치에 빗줄기가 검출된다. 따라서, 제어부(150)는 이전 프레임에 블록을 생성하되, 영상 블록이 생성된 위치와 비슷한 위치에 블록을 생성한다. 제어부(150)는 영상 블록과의 SAD(Sum of Difference)가 낮은 순서로 상기 블록들을 후보 블록들로 지정한다. 블록 매칭을 이용해 도출한 최적의 움직임 벡터와 이에 해당하는 최적의 블록 하나만으로는 이용 가능한 정보량이 많지 않기 때문에 정확한 영상데이터의 복원이 이루어지지 않을 확률이 높으므로 제어부(150)는 복수개의 후보 블록을 지정하는 것이 바람직하다.
제어부(150)는 영상 블록과 후보 블록들의 유사성을 확인한다. 제어부(150)는 확인된 유사성이 임계값 이하이면 신뢰할 수 있는 후보 블록으로 판단하고, 임계값을 초과하면 신뢰할 수 없는 후보 블록으로 판단한다. 제어부(150)는 신뢰할 수 있는 후보 블록을 이용하여 영상 블록에서 빗줄기가 제거된 영역의 영상데이터를 복원한다. 제어부(150)는 후보 블록의 가중치를 산출하여, 가중치에 해당하는 밝기를 갖도록 제거된 픽셀의 데이터를 복원한다.
아울러, 제어부(150)는 영상데이터에서 빗줄기가 검출되면 차량에 구비된 와이퍼의 자동으로 동작시키거나, 차량에 구비된 전조등 및 후미등을 포함하는 램프의 점멸을 자동으로 수행하여, 주행 시 운전자의 편의를 향상시킬 수 있는 효과가 있다. 이때, 제어부(150)는 빗줄기가 검출되는 양에 의거하여 와이퍼의 동작 속도를 제어하거나, 램프의 밝기 등을 제어할 수 있다.
도 2는 본 발명의 실시예에 따른 영상처리방법을 설명하기 위한 흐름도이다. 도 3은 본 발명의 실시예에 따른 영상데이터에서 빗줄기를 검출하는 방법을 설명하기 위한 상세흐름도이다. 도 4는 본 발명의 실시예에 따른 영상데이터에서 빗줄기를 검출하는 방법을 나타낸 화면예시도이다. 도 5는 본 발명의 실시예에 따른 빗줄기가 삭제된 영상데이터를 복원하는 방법을 설명하기 위한 상세흐름도이다.
도 1 내지 도 5를 참조하면, S11단계에서 제어부(150)는 센서부(110)의 센싱정보로부터 차량의 외부에 비가 오는지 확인하고, 외부에 비가 오는 것으로 확인되면 제어부(150)는 S13단계로 진행한다.
S13단계에서 제어부(150)는 카메라(120)에서 획득되는 영상데이터를 수신하고, S15단계로 진행한다. S15단계에서 제어부(150)는 수신된 영상데이터를 분석한다. 이를 위해, 제어부(150)는 저장부(140)에 저장된 영상처리 알고리즘을 호출할 수 있다. S17단계에서 제어부(150)는 영상데이터에서 빗줄기를 검출한다. 본 발명의 실시예에서는 센서부(110)의 센싱 정보로 차량의 외부에 비가 오는 것을 확인하는 것으로 기재하고 있지만, 반드시 이에 한정되는 것은 아니며, 운전자로부터의 입력, 카메라(120)에서 획득된 영상데이터의 분석결과를 이용하여 차량의 외부에 비가 오는 것을 확인할 수도 있다.
보다 구체적으로, 제어부(150)는 도 3의 S171단계로 진행하여 영상데이터에서 임의의 픽셀을 선택하고, 선택된 픽셀의 밝기를 확인한다. S173단계에서 제어부(150)는 상기 선택된 픽셀의 주변 픽셀의 밝기를 확인한다. 제어부(150)는 선택된 픽셀을 중심으로 좌우 3픽셀에 대한 밝기를 확인할 수 있다. S175단계에서 제어부(150)는 7개의 픽셀 중에서 밝기가 가장 밝은 픽셀을 선택하여 빗줄기 후보 영역으로 선정한다. 이때, 제어부(150)는 밝기의 최대값과 최소값의 차이가 임계치 이상인 경우에는 영상데이터 내의 경계선으로 판단하여 빗줄기 후보 영역에서 배제한다.
이어서, S177단계에서 제어부(150)는 빗줄기 후보 영역으로 선정된 픽셀을 연결하여 단일 빗줄기를 생성한다. S179단계에서 제어부(150)는 생성된 단일 빗줄기의 각도 및 길이를 측정한다. 그리고, S181단계에서 제어부(150)는 최종 후보 영역을 선정한다. 이는 도 4(a) 및 도 4(b)와 같이 나타낼 수 있다. 제어부(150)는 도 4(a)의 도면부호 411과 같이 생성된 단일 빗줄기의 길이가 특정 길이 이하이면 빗줄기 후보 영역에서 배제한다. 아울러, 제어부(150)는 전체 빗줄기 후보 영역의 각도 중에서 평균적인 각도를 확인하고, 도면부호 412, 413과 같이 상기 확인된 평균 각도와 차이가 임계치 이상인 빗줄기를 빗줄기 후보 영역에서 배제한다.
제어부(150)는 S183단계로 진행하여 S181단계에서 선정된 최종 후보 영역의 주변 픽셀을 빗줄기 영역으로 확장한다. 이때, 제어부(150)는 S181단계에서 최종적으로 선정된 빗줄기 영역의 중심에서 밝기 변화가 가우시안(Gaussian) 분포에 따르는 사실에 기반하여 가우시안 분포에 따라 주변 픽셀까지 빗줄기 영역으로 확장한다. 이는 도 4(c)와 같이 나타낼 수 있다.
제어부(150)는 도 2의 S19단계로 진행하여 영상데이터서 확인된 빗줄기를 제거한다. 보다 구체적으로, 제어부(150)는 도 3의 S183단계에서 확장된 빗줄기 영역에 해당하는 픽셀의 데이터를 삭제한다.
제어부(150)는 S21단계로 진행하여 S19단계에서 데이터가 삭제된 픽셀의 영상데이터를 복원한다. 보다 구체적으로, 도 5의 S211단계에서 제어부(150)는 데이터가 삭제된 픽셀을 포함한 영상데이터의 프레임에서 영상 블록을 생성한다.
이어서, S213단계로 진행하여 제어부(150)는 영상 블록이 생성된 프레임 이전의 프레임을 추출한다. 이때, 제어부(150)는 영상 블록이 생성된 프레임의 3~5 이전 프레임을 추출할 수 있다. S215단계에서 제어부(150)는 영상 블록이 생성된 프레임과 추출된 이전 프레임과의 블록 매칭을 수행하고, 제어부(150)는 S217단계로 진행하여 후보 블록을 생성한다. 덧붙여 설명하면, 비가 많이 올 때의 영상데이터의 경우 복수개의 프레임에서 비슷한 위치에 빗줄기가 검출된다. 따라서, 제어부(150)는 이전 프레임에 블록을 생성하되, 영상 블록이 생성된 위치와 비슷한 위치에 블록을 생성한다. 제어부(150)는 영상 블록과의 SAD(Sum of Difference)가 낮은 순서로 상기 블록들을 후보 블록들로 지정한다. 블록 매칭을 이용해 도출한 최적의 움직임 벡터와 이에 해당하는 최적의 블록 하나만으로는 이용 가능한 정보량이 많지 않기 때문에 정확한 영상데이터의 복원이 이루어지지 않을 확률이 높으므로 제어부(150)는 복수개의 후보 블록을 지정하는 것이 바람직하다.
S219단계에서 제어부(150)는 영상 블록과 후보 블록들의 유사성을 확인한다. 보다 구체적으로, 제어부(150)는 하기의 수학식 1을 이용하여 후보 블록들 중에서 신뢰할 블록과 신뢰하기 어려운 블록을 구별한다.
Figure pat00001
상기 식 1에서
Figure pat00002
와
Figure pat00003
은 각각 SAD의 최대값, SAD의 최소값을 의미한다.
Figure pat00004
는 i번째 후보 블록과 영상 블록과의 SAD 값이고, ε는 SAD값이 평균인 후보 블록을 판별하기 위한 값이다. 유사성은 후보 블록들의 SAD분포가 좁은 범위에 있거나, 전체 분포에서 우세한 범위에 있으면 낮은 값을 갖고, SAD분포가 넓은 범위에 있거나, 전제 분포에서 우세한 범위에 있지 않으면 높은 값을 갖을 수 있다. 이렇게 계산된 후보 블록의 유사성이 임계 값 이하이면 신뢰할 수 있는 후보 블록으로 판단하고, 임계값을 초과하면 신뢰할 수 없는 후보 블록으로 판단한다.
S221단계에서 제어부(150)는 확인된 신뢰할 수 있는 후보 블록을 이용하여 영상 블록에서 빗줄기가 제거된 영역의 영상데이터를 복원한다. 제어부(150)는 후보 블록의 가중치를 산출하여, 가중치에 해당하는 밝기를 갖도록 제거된 픽셀의 데이터를 복원한다. 이를 위해, 제어부(150)는 하기의 수학식 2 및 수학식 3을 이용한다.
Figure pat00005
이때, R(j)는 후보 블록내의 비 영역의 비율을 의미한다.
Figure pat00006
이때, w(i,j)는 가중치를 나타내며, Z(i)는 평준화 조건이다. h는 exp모양 함수의 표준편차에 대응하는 변수로, h값을 조정하여 유사도에 따른 가중치를 조정할 수 있다.
이후, 제어부(150)는 S23단계로 진행하여, 복원된 영상데이터를 표시부(130)에 출력한다. 이로 인해, 운전자는 빗줄기가 제거된 영상데이터를 확인할 수 있어, 우천 시의 시야 확보가 가능하기 때문에 시야 미확보로 인해 발생되는 안전사고율을 감소시킬 수 있는 효과가 있다.
지금까지 실시예를 통하여 본 발명에 따른 영상데이터에서 비를 제거하는 영상처리장치 및 방법에 대하여 설명하였다. 본 명세서와 도면에서는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것일 뿐, 본 발명의 범위를 한정하고자 하는 것은 아니다. 상기에 기재된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100: 영상처리장치 110: 센서부
120: 카메라 130: 표시부
140: 저장부 150: 제어부

Claims (14)

  1. 영상데이터를 획득하는 적어도 하나의 카메라;
    상기 영상데이터에 포함된 빗줄기를 검출하여 상기 빗줄기를 제거한 후, 상기 빗줄기가 제거된 영역의 영상데이터를 복원하여 출력하는 제어부;
    를 포함하는 것을 특징으로 하는 영상데이터에서 비를 제거하는 영상처리장치.
  2. 제1항에 있어서,
    상기 제어부는
    상기 영상데이터에서 임의의 픽셀에 대한 밝기를 확인하고, 상기 픽셀의 주변 픽셀에 대한 밝기를 확인하는 것을 특징으로 하는 영상데이터에서 비를 제거하는 영상처리장치.
  3. 제2항에 있어서,
    상기 제어부는
    상기 확인된 밝기가 가장 큰 픽셀을 빗줄기 후보 영역으로 선정하고, 상기 빗줄기 후보 영역으로 선정된 픽셀을 연결하여 단일 빗줄기를 생성하는 것을 특징으로 하는 영상데이터에서 비를 제거하는 영상처리장치.
  4. 제3항에 있어서,
    상기 제어부는
    상기 단일 빗줄기의 각도 및 길이를 측정하여 최종 빗줄기 후보 영역을 선정하고, 상기 최종 빗줄기 후보 영역의 주변 픽셀을 빗줄기 영역으로 확장하는 것을 특징으로 하는 영상데이터에서 비를 제거하는 영상처리장치.
  5. 제4항에 있어서,
    상기 제어부는
    상기 빗줄기 영역에 해당하는 픽셀의 데이터를 삭제하는 것을 특징으로 하는 영상데이터에서 비를 제거하는 영상처리장치.
  6. 제5항에 있어서,
    상기 제어부는
    상기 데이터가 제거된 픽셀을 기준으로 영상 블록을 생성하고, 현재 프레임의 이전 프레임을 적어도 하나 추출하여 상기 이전 프레임에서 후보 블록을 추출하는 것을 특징으로 하는 영상데이터에서 비를 제공하는 영상처리장치.
  7. 제6항에 있어서,
    상기 제어부는
    상기 영상 블록과 상기 후보 블록의 유사성을 확인하여 상기 후보 블록으로 상기 제거된 픽셀을 복원하는 것을 특징으로 하는 영상데이터에서 비를 제공하는 영상처리장치.
  8. 제1항에 있어서,
    상기 제어부는
    상기 영상데이터에서 빗줄기가 검출되면 차량에 구비된 와이퍼의 자동 제어를 수행하는 것을 특징으로 하는 영상데이터에서 비를 제거하는 영상처리장치.
  9. 제1항에 있어서,
    상기 제어부는
    상기 영상데이터에서 빗줄기가 검출되면 차량에 구비된 전조등 및 후미등을 포함하는 램프의 자동 제어를 수행하는 것을 특징으로 하는 영상데이터에서 비를 제거하는 영상처리장치.
  10. 제1항에 있어서,
    비가 오는 것을 감지하는 센서;
    를 포함하는 것을 특징으로 하는 영상데이터에서 비를 제거하는 영상처리장치.
  11. 제어부는 영상데이터를 획득하는 단계;
    상기 획득된 영상데이터에 포함된 빗줄기를 검출하는 단계;
    상기 검출된 빗줄기를 제거하는 단계;
    상기 빗줄기가 제거된 영역의 영상데이터를 복원하는 단계;
    상기 복원된 영상데이터를 출력하는 단계;
    를 포함하는 것을 특징으로 하는 영상데이터에서 비를 제거하는 영상처리방법.
  12. 제11항에 있어서,
    상기 빗줄기를 검출하는 단계는
    상기 영상데이터에서 임의의 픽셀에 대한 밝기를 확인하는 단계;
    상기 픽셀의 주변 픽셀에 대한 밝기를 확인하는 단계;
    상기 밝기가 가장 큰 픽셀을 빗줄기 후보 영역으로 선정하는 단계;
    상기 빗줄기 후보 영역으로 선정된 픽셀을 연결하여 단일 빗줄기를 생성하는 단계;
    상기 단일 빗줄기의 각도 및 길이를 측정하는 단계;
    상기 빗줄기의 최종 후보 영역을 설정하고, 상기 최종 후보 영역의 주변 픽셀을 빗줄기 영역으로 확장하는 단계;
    를 포함하는 것을 특징으로 하는 영상데이터에서 비를 제거하는 영상처리방법.
  13. 제12항에 있어서,
    상기 검출된 빗줄기를 제거하는 단계는
    상기 빗줄기 영역에 해당하는 픽셀의 데이터를 삭제하는 단계인 것을 특징으로 하는 영상데이터에서 비를 제거하는 영상처리방법.
  14. 제13항에 있어서,
    상기 영상데이터를 복원하는 단계는
    상기 데이터가 제거된 픽셀을 기준으로 영상 블록을 생성하는 단계;
    현재 프레임의 이전 프레임을 적어도 하나 추출하는 단계;
    상기 이전 프레임에서 후보 블록을 추출하는 단계;
    상기 영상 블록과 상기 후보 블록의 유사성을 확인하여 상기 후보 블록으로 상기 제거된 픽셀을 복원하는 단계;
    를 포함하는 것을 특징으로 하는 영상데이터에서 비를 제거하는 영상처리방법.
KR1020130159192A 2013-12-19 2013-12-19 영상데이터에서 비를 제거하는 영상처리장치 및 방법 KR101534973B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130159192A KR101534973B1 (ko) 2013-12-19 2013-12-19 영상데이터에서 비를 제거하는 영상처리장치 및 방법
US14/301,811 US20150178902A1 (en) 2013-12-19 2014-06-11 Image processing apparatus and image processing method for removing rain streaks from image data
DE102014211889.1A DE102014211889A1 (de) 2013-12-19 2014-06-20 Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren zum Entfernen von Regenschlieren aus Bilddaten
CN201410307124.4A CN104732489A (zh) 2013-12-19 2014-06-30 从图像数据中去除雨纹的图像处理装置和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130159192A KR101534973B1 (ko) 2013-12-19 2013-12-19 영상데이터에서 비를 제거하는 영상처리장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150072001A true KR20150072001A (ko) 2015-06-29
KR101534973B1 KR101534973B1 (ko) 2015-07-07

Family

ID=53275567

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130159192A KR101534973B1 (ko) 2013-12-19 2013-12-19 영상데이터에서 비를 제거하는 영상처리장치 및 방법

Country Status (4)

Country Link
US (1) US20150178902A1 (ko)
KR (1) KR101534973B1 (ko)
CN (1) CN104732489A (ko)
DE (1) DE102014211889A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529815A (zh) * 2020-12-22 2021-03-19 燕山大学 一种雨后真实图像中雨滴去除方法及系统
KR20220079477A (ko) 2020-12-04 2022-06-13 광주과학기술원 이미지향상장치

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180061008A1 (en) * 2016-08-31 2018-03-01 Autoliv Asp, Inc. Imaging system and method
JP6846232B2 (ja) * 2017-02-24 2021-03-24 株式会社Ｓｃｒｅｅｎホールディングス 印刷データ処理方法、印刷データ処理装置、および印刷データ処理プログラム
JP7047690B2 (ja) * 2018-09-25 2022-04-05 株式会社デンソー 車両用洗浄装置
CN110866879B (zh) * 2019-11-13 2022-08-05 江西师范大学 一种基于多密度雨纹感知的图像去雨方法
KR20210092399A (ko) * 2020-01-16 2021-07-26 현대자동차주식회사 에어 블로잉 장치의 제어방법
CN112572356A (zh) * 2020-12-11 2021-03-30 江苏联成开拓集团有限公司 一种基于行车记录仪的雨刮控制系统及其方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5654617A (en) * 1995-09-18 1997-08-05 Mills; Manual D. Windshield wiper controller and method
JP4483631B2 (ja) * 2005-03-08 2010-06-16 株式会社デンソー ワイパ駆動制御装置
US7660517B2 (en) * 2005-03-16 2010-02-09 The Trustees Of Columbia University In The City Of New York Systems and methods for reducing rain effects in images
JP5074273B2 (ja) * 2008-04-16 2012-11-14 株式会社デンソー 車両用灯火制御装置
CN201283839Y (zh) * 2008-09-25 2009-08-05 奇瑞汽车股份有限公司 一种汽车前窗玻璃雨刮及洗涤控制器
WO2012066564A1 (en) * 2010-11-15 2012-05-24 Indian Institute Of Technology, Kharagpur Method and apparatus for detection and removal of rain from videos using temporal and spatiotemporal properties.
KR20120071203A (ko) * 2010-12-22 2012-07-02 한국전자통신연구원 운전자의 시야 확보 장치 및, 운전자의 시야 확보 방법
CN102129670B (zh) * 2011-02-25 2013-02-06 上海交通大学 电影划痕损伤的检测修复方法
CN102254149B (zh) * 2011-06-13 2013-05-08 南京航空航天大学 视频图像雨滴的检测及识别方法
CN202413712U (zh) * 2011-12-12 2012-09-05 浙江吉利汽车研究院有限公司 一种汽车前挡风玻璃的清洁系统
TWI480810B (zh) * 2012-03-08 2015-04-11 Ind Tech Res Inst 基於單一影像的影像內雨紋去除方法與裝置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220079477A (ko) 2020-12-04 2022-06-13 광주과학기술원 이미지향상장치
CN112529815A (zh) * 2020-12-22 2021-03-19 燕山大学 一种雨后真实图像中雨滴去除方法及系统
CN112529815B (zh) * 2020-12-22 2022-08-30 燕山大学 一种雨后真实图像中雨滴去除方法及系统

Also Published As

Publication number Publication date
DE102014211889A1 (de) 2015-06-25
CN104732489A (zh) 2015-06-24
US20150178902A1 (en) 2015-06-25
KR101534973B1 (ko) 2015-07-07

Similar Documents

Publication Publication Date Title
KR101534973B1 (ko) 영상데이터에서 비를 제거하는 영상처리장치 및 방법
CN108460734B (zh) 车辆驾驶员辅助模块进行图像呈现的系统和方法
US9418287B2 (en) Object detection apparatus
JP4878644B2 (ja) 移動物体ノイズ除去処理装置及び移動物体ノイズ除去処理プログラム
CN107316488B (zh) 信号灯的识别方法、装置和系统
JP6569385B2 (ja) 車両検出装置、車両検出システム、車両検出方法、及び車両検出プログラム
CN111860120A (zh) 车载相机自动遮挡检测方法和装置
JP2003051017A (ja) 白線検出装置
WO2018197763A1 (fr) Procédé de traitement d'images pour la suppression de zones lumineuses
KR101795652B1 (ko) 안개피해방지장치용 가시거리 측정장치
JP6413318B2 (ja) 車両検出装置、およびシステム、ならびにプログラム
US10336256B1 (en) Reduction of LED headlight flickering in electronic mirror applications
JP3995671B2 (ja) 画像処理装置
JP2014164426A (ja) 物体検出装置
KR101823655B1 (ko) 영상을 이용한 차량 침입 검출 시스템 및 방법
KR20130112594A (ko) 기상 현상으로 인해 훼손된 영상을 복원하는 장치 및 방법
JP2019209734A (ja) 軌道識別装置
JP2018106239A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
KR100801989B1 (ko) 번호판 인식 시스템，전처리 장치 및 방법
KR20000063151A (ko) 차선 이탈 경보장치 및 방법
JP6413319B2 (ja) 車両検出装置、およびシステム、ならびにプログラム
JP2008112349A (ja) 移動物体検知装置
KR102188163B1 (ko) 저조도 영상의 전처리 시스템 및 그 방법
CN107948620B (zh) 基于高级驾驶辅助系统的双目摄像头调试方法
JP3567114B2 (ja) 画像監視装置及び画像監視方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee