KR20160019800A - System and operating method of image processing system for vehicle - Google Patents

System and operating method of image processing system for vehicle Download PDF

Info

Publication number
KR20160019800A
KR20160019800A KR1020140104606A KR20140104606A KR20160019800A KR 20160019800 A KR20160019800 A KR 20160019800A KR 1020140104606 A KR1020140104606 A KR 1020140104606A KR 20140104606 A KR20140104606 A KR 20140104606A KR 20160019800 A KR20160019800 A KR 20160019800A
Authority
KR
South Korea
Prior art keywords
light source
image
source region
night
image processing
Prior art date
Application number
KR1020140104606A
Other languages
Korean (ko)
Other versions
KR102192257B1 (en
Inventor
유승완
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020140104606A priority Critical patent/KR102192257B1/en
Publication of KR20160019800A publication Critical patent/KR20160019800A/en
Application granted granted Critical
Publication of KR102192257B1 publication Critical patent/KR102192257B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Abstract

The present invention provides an operation method of an image processing system for a vehicle, which comprises the following steps: detecting a light source area from an inputted night image; operating a first motion vector which analyzes a changed position of the light source area in a plurality of frames configuring the night image; determining whether the light source area is a reflected light source positioned in a lower end direction of a vehicle or not; operating a second motion vector which analyzes the changed position of the light source area in the frames when the light source area is the reflected light source; and outputting a night correction image obtained by removing the light source area from the night image when the first and second motion vectors are matched with each other.

Description

차량용 영상처리 시스템 및 그 동작방법{System and operating method of image processing system for vehicle}Technical Field [0001] The present invention relates to an image processing system for a vehicle,

본 발명은 차량용 영상처리 시스템 및 그 동작방법에 관한 것으로서, 더욱 상세하게는 야간 주행시 촬영된 야간 영상에서 반사광원을 검출하기 용이한 차량용 영상처리 시스템 및 그 동작방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle image processing system and an operation method thereof, and more particularly, to a vehicle image processing system and an operation method thereof that can easily detect a reflected light source from a night image photographed at night.

자동차의 안전을 위하여 종래에는 에어백, 안전벨트 및 ABS(Anti-Lock Braking System)과 같은 기술이 수동 안전 시스템(passive safety system)이 많이 사용되어져 왔다. 이러한 수동 안전 시스템에 사전에 충돌을 방지하는 능동 안전 시스템의 결합은 충돌을 사전에 방지하여 운전자 및 승객의 안전을 도모할 수 있다. 대표적인 예로서, 전방 충돌 방지 시스템(Forward Collision Warning System : FCWS)은 전방 차량과의 추돌을 방지하는 기능을 한다.BACKGROUND ART Conventionally, passive safety systems such as an airbag, a seat belt, and an anti-lock braking system (ABS) have been widely used for the safety of automobiles. The combination of an active safety system that prevents the collision of these passive safety systems in advance can prevent the collision in advance and thus ensure the safety of the driver and passengers. As a representative example, a forward collision warning system (FCWS) functions to prevent a collision with a forward vehicle.

FCWS, 주행차선 이탈방지 시스템(Lane Keeping Assist System : LKAS), 적응적 순항제어(Adaptive Cruise Control : ACC), 적응적 전조등 시스템(Adaptive Front Light System : AFLS)와 같은 기능은 첨단 안전 차량(Advanced Safety Vehicle)에 채용되고 있는 기술이다.Functions such as FCWS, Lane Keeping Assist System (LKAS), Adaptive Cruise Control (ACC) and Adaptive Front Light System (AFLS) Vehicle).

ASV 분야에서 차량에 구비되는 카메라는 다양한 목적을 위해 활용되는데, 차량에 선행하거나 대향하는 전방 차량의 인식을 위해 카메라로부터 획득된 전방 영상을 이용하기도 한다. 일례로서, 하이빔 자동제어(High Beam Assist : HBA) 기술은 야간에 선행 차량 또는 대향 차량의 후미등 또는 전조등을 인식하여 자기 차량의 상향등을 제어한다.In the field of ASV, a camera installed in a vehicle is used for various purposes, and a forward image obtained from a camera is used for recognition of a preceding vehicle or a preceding vehicle facing the vehicle. As an example, the High Beam Assist (HBA) technique recognizes the tail lamp or the headlight of the preceding vehicle or the opposite vehicle at night to control the upward light of the vehicle.

최근 들어, 야간 운전 시 광원에 의한 반사광으로 인해 도로 노면에 노이즈가 발생되어 차선 인식을 비롯하여 보행자, 전방 차량 등을 인식하는 성능이 저하되는 것을 해결하기 위한 연구가 진행 중에 있다.In recent years, research is underway to solve the problem that noise is generated on the road surface due to light reflected by a light source during nighttime operation, thereby deteriorating the performance of recognizing a lane, a pedestrian, and a vehicle ahead.

본 발명의 목적은, 야간 주행시 촬영된 야간 영상에서 반사광원을 검출하기 용이한 차량용 영상처리 시스템 및 그 동작방법을 제공함에 있다.An object of the present invention is to provide a vehicle image processing system and an operation method thereof that can easily detect a reflected light source in a night image photographed at night while driving.

본 발명에 따른 차량용 영상처리 시스템의 동작방법은, 입력된 야간영상에서 광원 영역을 검출하는 단계, 상기 야간영상을 이루는 복수의 프레임에서 상기 광원 영역의 변화위치를 분석한 제1 모션벡터를 연산하는 단계, 상기 광원 영역이 차량의 하단방향에 위치한 반사광원인지 판단하는 단계, 상기 광원 영역이 상기 반사광원이면, 상기 복수의 프레임에서 상기 광원 영역의 변화위치를 분석한 제2 모션 벡터를 연산하는 단계 및 상기 제1, 2 모션 벡터가 서로 매칭되면, 상기 야간 영상에서 상기 광원 영역을 제거한 야간 보정 영상을 출력하는 단계를 포함한다.A method of operating a vehicle image processing system according to the present invention includes the steps of detecting a light source region in an input night image, computing a first motion vector obtained by analyzing a change position of the light source region in a plurality of frames constituting the night image Determining whether the light source region is a reflected light source positioned at a lower end of the vehicle, computing a second motion vector that is obtained by analyzing a change position of the light source region in the plurality of frames if the light source region is the reflected light source, And outputting a night corrected image in which the light source region is removed from the night image if the first and second motion vectors match each other.

상기 검출 단계는, 상기 야간 영상에서 설정된 조도 임계값보다 높은 조도값을 갖는 영역을 상기 광원 영역으로 검출한다.The detecting step detects, as the light source area, an area having a luminance value higher than the luminance threshold value set in the night image.

상기 제1 모션 벡터 연산 단계는, 상기 복수의 프레임 각각에 포함된 상기 광원 영역에 대한 시간 변화에 따른 위치 변화를 분석하여 상기 제1 모션 벡터를 연산한다.The first motion vector calculation step calculates the first motion vector by analyzing a positional change with time in the light source area included in each of the plurality of frames.

상기 반사광 판단 단계는, 상기 광원 영역을 복수의 광원 세그먼트로 분할하는 단계, 상기 복수의 광원 세그먼트에서 픽셀 데이터를 분석하여, 색상 정보를 취득하는 단계, 상기 복수의 광원 세그먼트를 이진화시켜 광원 템플릿을 구성하는 단계, 상기 광원 템플릿을 상하 반전시키고, 영상 왜곡을 수행하는 단계 및 상기 색상 정보 및 상기 보정된 광원 템플릿을 기반으로 상기 광원 영역이 상기 차량의 하단 방향에 위치하는 상기 반사광원인지 판단하는 단계를 포함한다.Wherein the reflected light determination step comprises the steps of: dividing the light source region into a plurality of light source segments, analyzing pixel data in the plurality of light source segments to obtain color information, binarizing the plurality of light source segments, Determining whether the light source region is the reflected light source located in a lower direction of the vehicle based on the color information and the corrected light source template; .

본 발명에 따른 차량용 영상처리 시스템의 동작방법은, 상기 광원 영역이 상기 반사광원이 아니면, 상기 야간 영상을 출력하는 단계를 더 포함한다.The method of operating an image processing system for a vehicle according to the present invention further includes outputting the night image if the light source area is not the reflected light source.

상기 영상 출력 단계는, 상기 제1, 2 모션 벡터를 비교하여, 상기 제1, 2 모션 벡터 각각에 포함된 상기 광원 영역이 서로 매칭되는지 판단하는 단계 및 상기 제1, 2 모션 벡터 각각의 상기 광원 영역이 서로 매칭되면, 상기 광원 영역을 상기 야간 영상의 배경 영역으로 인페이팅하여 상기 광원 영역을 제거한 상기 야간 보정 영상을 출력하는 단계를 포함한다.The image output step may include comparing the first and second motion vectors to determine whether the light source areas included in the first and second motion vectors are matched with each other, And outputting the nightly corrected image from which the light source region is removed by inserting the light source region into the background region of the night image if the regions are matched with each other.

본 발명에 따른 차량용 영상처리 시스템의 동작방법은, 상기 제1, 2 모션 벡터 각각의 상기 광원 영역이 매칭되지 않으면, 상기 야간 영상을 출력하는 단계를 더 포함한다.The operation method of the vehicle image processing system according to the present invention further includes outputting the night image if the light source areas of the first and second motion vectors are not matched.

본 발명에 따른 차량용 영상처리 시스템은, 디스플레이모듈, 차량 주변의 야간영상을 촬영하는 카메라모듈 및 상기 야간영상 입력시, 상기 야간영상에서 광원 영역의 존재 여부를 판단하고, 상기 광원 영역 존재 시 상기 광원 영역이 설정된 반사광원 판단기준을 만족하면 상기 야간영상에서 상기 광원 영역을 제거한 야간 보정 영상을 생성하여 상기 디스플레이모듈에 디스플레이되게 제어하는 영상처리모듈을 포함한다.The image processing system for a vehicle according to the present invention includes a display module, a camera module for capturing a night image around the vehicle, and a controller for determining whether a light source area exists in the night image at the time of inputting the night image, And an image processing module for generating a night-corrected image in which the light source region is removed from the night image and controlling the night corrected image to be displayed on the display module.

상기 영상처리모듈은, 상기 야간 영상에서 설정된 조도 임계값보다 높은 조도값을 갖는 영역을 상기 광원 영역으로 검출한다.The image processing module detects an area having a luminance value higher than a luminance threshold value set in the night image as the light source area.

상기 영상처리모듈은, 상기 야간 영상을 이루는 복수의 프레임에서 상기 광원 영역에 대한 시간 변화에 따라 위치 변화를 분석하여 제1 모션 벡터를 연산한다.The image processing module calculates a first motion vector by analyzing a position change in a plurality of frames constituting the night image according to a temporal change with respect to the light source area.

상기 영상처리모듈은, 상기 광원 영역을 복수의 광원 세그먼트로 분할하고, 상기 복수의 광원 세그먼트에서 픽셀 데이터를 분석하여 색상 정보를 취득하며, 상기 복수의 광원 세그먼트를 이진화시켜 광원 템플릿을 구성하여 상하 반전시켜 영상 왜곡을 수행하고, 상기 색상 정보 및 영상 왜곡된 상기 광원 템플릿을 기반으로 상기 광원 영역이 상기 차량의 하단 방향에 위치하는 상기 반사광원인지 판단한다.The image processing module may divide the light source region into a plurality of light source segments, acquire color information by analyzing pixel data in the plurality of light source segments, form a light source template by binarizing the plurality of light source segments, And determines whether the light source region is the reflected light source located in a lower direction of the vehicle based on the color information and the distorted light source template.

상기 영상처리모듈은, 상기 광원 영역이 상기 반사광원이면, 상기 복수의 프레임에서 상기 광원 영역의 변화위치를 분석한 제2 모션 벡터를 연산한다.The image processing module calculates a second motion vector obtained by analyzing a change position of the light source region in the plurality of frames when the light source region is the reflected light source.

상기 영상처리모듈은, 상기 제1, 2 모션 벡터를 비교하여, 상기 제1, 2 모션 벡터 각각에 포함된 상기 광원 영역이 서로 매칭되면, 상기 광원 영역을 상기 야간 영상의 배경 영역으로 인페이팅하여 상기 광원 영역을 제거한 상기 야간 보정 영상을 생성한다.Wherein the image processing module compares the first and second motion vectors, and when the light source areas included in the first and second motion vectors match each other, the light source area is imaged as a background area of the night image Thereby generating the nightly corrected image from which the light source area is removed.

본 발명에 따른 차량용 영상처리 시스템 및 그 동작방법은, 야간 악천 후 주행 시, 선행 차량, 대향 차량 및 가로등 등과 같은 광원으로부터 도로 바닥에 반사된 반사광원이 야간 영상에 포함되는 경우, 반사광원을 검출하고 제거한 야간 보정 영상을 출력함으로써, 차량의 광원과 반사광원을 구분하여 영상의 정확도를 증가시킬 수 있는 이점이 있으며, 또한 사용자의 편의성을 증대시킬 수 있는 이점이 있다.The vehicle image processing system and the method of operating the same according to the present invention detect a reflected light source when a reflected light source reflected from a light source such as a preceding vehicle, Thus, there is an advantage in that the accuracy of the image can be increased by dividing the light source of the vehicle and the reflected light source, and there is an advantage that the convenience of the user can be increased.

도 1은 본 발명에 따른 차량용 영상처리 시스템의 제어구성을 나타낸 제어블록도이다.
도 2는 본 발명에 따른 차량용 영상처리 시스템의 동작방법을 나타낸 순서도이다.1 is a control block diagram showing a control configuration of a vehicle image processing system according to the present invention.
2 is a flowchart illustrating an operation method of a vehicle image processing system according to the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs. Also, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise.

도 1은 본 발명에 따른 차량용 영상처리 시스템의 제어구성을 나타낸 제어블록도이다.1 is a control block diagram showing a control configuration of a vehicle image processing system according to the present invention.

도 1은 야간 악천후 주행 시, 도로 바닥에 빗물 등과 같은 물질이 막을 형성하여 임의의 광원에 대한 반사광원을 검출하는 것으로 설명하지만, 이에 한정을 두지 않는다.FIG. 1 illustrates a case in which a film such as rainwater or the like forms a film on the bottom of a road to detect a reflected light source for an arbitrary light source during nighttime bad weather. However, the present invention is not limited thereto.

도 1을 참조하면, 차량용 영상처리 시스템은 카메라모듈(110), 영상처리모듈(120) 및 디스플레이모듈(130)을 포함할 수 있다.Referring to FIG. 1, a vehicle image processing system may include a camera module 110, an image processing module 120, and a display module 130.

여기서, 카메라모듈(110)은 차량의 야간 주행시, 차량 전방의 야간 영상을 촬영할 수 있다.Here, the camera module 110 can photograph a night image in front of the vehicle when driving the vehicle at night.

카메라모듈(110)은 영상처리모듈(120)의 제어에 따라 동작하며, 촬영한 상기 야간 영상을 영상처리모듈(120)로 전달할 수 있다.The camera module 110 operates under the control of the image processing module 120 and can transmit the captured night image to the image processing module 120.

카메라모듈(110)은 차량 전방 뿐만 아니라, 차량 후방 및 측방을 촬영할 수 있으며, 복수의 카메라(미도시)를 포함할 수 있으며, 이에 한정을 두지 않는다.The camera module 110 may photograph not only the front of the vehicle but also the rear and side of the vehicle, and may include a plurality of cameras (not shown), but is not limited thereto.

영상처리모듈(120)은 외부입력에 따라 카메라모듈(110)의 동작을 제어하며, 카메라모듈(110)로부터 입력된 상기 야간 영상을 기반으로 상기 야간 영상에 포함된 반사광원을 인페이팅 기법을 이용하여, 상기 반사광원을 제거한 야간 보정 영상을 생성하여 디스플레이모듈(130)에 디스플레이되게 제어할 수 있다.The image processing module 120 controls the operation of the camera module 110 according to an external input. The image processing module 120 performs an operation of inserting a reflected light source included in the night image on the basis of the night image input from the camera module 110 A night corrected image in which the reflected light source is removed can be generated and controlled to be displayed on the display module 130. [

즉, 영상처리모듈(120)은 카메라모듈(110)로부터 상기 야간 영상 입력시, 상기 야간영상으로부터 어두운 배경영역 및 상기 배경영역과 다른 조도값을 갖는 광원 영역을 검출할 수 있다.That is, the image processing module 120 may detect a dark background area and a light source area having an illuminance value different from the background area from the night image when the night image is input from the camera module 110.

이때, 영상처리모듈(120)은 상기 야간 영상에서 설정된 조도 임계값보다 높은 조도값을 갖으며 상기 광원 영역으로 인식 및 검출할 수 있다.At this time, the image processing module 120 has an illuminance value higher than the illumination threshold value set in the night image, and can recognize and detect the light source area.

영상처리모듈(120)은 상기 광원 영역을 검출하면, 상기 야간 영상을 이루며 시간 연속적인 복수의 프레임에서 상기 광원 영역의 변화위치를 분석하여, 상기 광원 영역에 대한 제1 모션 벡터를 연산한다.When the image processing module 120 detects the light source area, the image processing module 120 analyzes the change position of the light source area in a plurality of time-series frames forming the night image, and calculates a first motion vector for the light source area.

즉, 영상처리모듈(120)은 상기 복수의 프레임 각각에 포함된 상기 광원 영역에 대한 시간 변화에 따른 위치 변화를 분석하여 상기 제1 모션 벡터를 연산한다.That is, the image processing module 120 calculates the first motion vector by analyzing the positional change of the light source area included in each of the plurality of frames with time variation.

영상처리모듈(120)은 상술한 상기 제1 모션 벡터를 연산하는 과정과 별도로, 상기 광원 영역을 복수의 광원 세그먼트로 분할하고, 상기 복수의 광원 세그먼트 각각의 픽셀 데이터를 분석하여, 상기 광원 영역에 대한 색상 정보를 취득한다.The image processing module 120 may divide the light source region into a plurality of light source segments and analyze pixel data of each of the plurality of light source segments to separate the light source region from the light source region, And acquires color information about the color.

영상처리모듈(120)은 상기 복수의 광원 세그먼트를 이진화시켜 반사광원을 탐색하기 위한 광원 템플릿을 구현한다.The image processing module 120 implements a light source template for binarizing the plurality of light source segments to search for a reflected light source.

또한, 영상처리모듈(120)은 광원이 도로 바닥에 반사되면서 상기 광원과 뒤집힌 형상으로 나타나는 상기 반사광원에 대응하는 상기 광원 템플릿을 상하 반전시키고, 상기 광원 템플릿을 고의적으로 왜곡시켜 산란된 광원의 형태로 구성한다.In addition, the image processing module 120 inverts the light source template corresponding to the reflected light source, which is turned upside down with the light source, while the light source is reflected on the floor of the road, and deliberately distorts the light source template to form a scattered light source .

이후, 영상처리모듈(120)은 상기 광원 템플릿의 왜곡이 도로 바닥에서 높은 곳에 위치할 수록 아래쪽으로 늘어지는 현상이 심화됨에 따라 상기 광원 영역이 위치한 높이에 따라 상기 광원 템플릿을 스트레칭시키고, 저주파 통과 필터링을 통하여 스무딩 영상으로 변환한다.Then, the image processing module 120 stretches the light source template according to the height of the light source region as the distortion of the light source template is lowered toward the bottom of the road, Into a smoothing image.

영상처리모듈(120)은 상기 색상 정보 및 상기 광원 템플릿을 기반으로 상기 광원 영역이 상기 차량의 하단 방향에 위치하는 상기 반사광원인지 판단한다.The image processing module 120 determines whether the light source region is the reflected light source located in the lower direction of the vehicle based on the color information and the light source template.

영상처리모듈(120)은 상기 반사광원이 상기 차량의 하단 영역에 위치한 것으로 판단하면, 상기 야간 영상을 이루며 시간 연속적인 복수의 프레임에서 상기 반사광원의 변화위치를 분석하여, 상기 광원 영역에 대한 제2 모션 벡터를 연산한다.The image processing module 120 analyzes the change position of the reflected light source in a plurality of frames that are temporally continuous and forms the night image when the reflected light source is determined to be located in the lower end area of the vehicle, 2 Compute the motion vector.

영상처리모듈(120)은 상기 제1, 2 모션 벡터를 비교하여, 상기 제1, 2 모션 벡터 각각에 포함된 상기 광원 영역이 서로 매칭되는지 판단하고, 상기 제1, 2 모션 벡터 각각의 상기 광원 영역이 서로 매칭되면 상기 광원 영역을 상기 야간 영역의 배경영역으로 인페인팅한다.The image processing module 120 compares the first and second motion vectors to determine whether the light source areas included in the first and second motion vectors are matched with each other, If the areas match each other, the light source area is painted into the background area of the night area.

즉, 영상처리모듈(120)은 상기 광원 영역이 상기 반사광원으로 판단되면, 설정된 인페이팅 기법에 따라 상기 배경영역에 대응하게 상기 광원 영역을 페인팅함으로써, 상기 반사광원을 제거한 상기 야간 보정 영상을 생성할 수 있다.That is, when the light source region is determined as the reflected light source, the image processing module 120 paints the light source region corresponding to the background region according to a set phosphor painting technique, Can be generated.

이후, 영상처리모듈(120)은 상기 야간 영상 또는 상기 야간 보정 영상을 디스플레이모듈(130)에 디스플레이되게 제어한다.Then, the image processing module 120 controls the display module 130 to display the night image or the night-corrected image.

도 2는 본 발명에 따른 차량용 영상처리 시스템의 동작방법을 나타낸 순서도이다.2 is a flowchart illustrating an operation method of a vehicle image processing system according to the present invention.

도 2를 참조하면, 차량용 영상처리 시스템은 입력된 야간영상에서 설정된 조도 임계값보다 높은 조도값을 갖는 광원 영역을 검출한다(S110).Referring to FIG. 2, the vehicle image processing system detects a light source area having a luminance value higher than a luminance threshold value set in the input night image (S110).

차량용 영상처리 시스템은 상기 야간영상을 이루는 복수의 프레임 각각에 포함된 상기 광원 영역에 대한 시간 변화에 대응하는 위치 변화를 분석한 제1 모션벡터를 연산한다(S120).The vehicle image processing system calculates a first motion vector that is obtained by analyzing a positional change corresponding to a temporal change with respect to the light source region included in each of the plurality of frames constituting the night image (S120).

차량용 영상처리 시스템은 상기 광원 영역을 복수의 광원 세그먼트로 분할하고(S130), 상기 복수의 광원 세그먼트에서 픽셀 데이터를 분석하여, 색상 정보를 취득한다(S140).The vehicle image processing system divides the light source area into a plurality of light source segments (S130), analyzes the pixel data in the plurality of light source segments, and acquires color information (S140).

이후, 차량용 영상처리 시스템은 상기 복수의 광원 세그먼트를 이진화시켜 광원 템플릿을 구성하고(S150), 상기 광원 템플릿을 상하 반전시키고, 영상 왜곡을 수행한다(S160).Thereafter, the vehicle image processing system binarizes the plurality of light source segments to construct a light source template (S150), vertically inverts the light source template, and performs image distortion (S160).

차량용 영상처리 시스템은 상기 색상 정보 및 상기 보정된 광원 템플릿을 기반으로 상기 광원 영역이 상기 차량의 하단 방향에 위치하는 상기 반사광원인지 판단한다(S170).The vehicle image processing system determines whether the light source region is the reflected light source located in a lower direction of the vehicle based on the color information and the corrected light source template (S170).

차량용 영상처리 시스템은 상기 제1, 2 모션 벡터를 비교하여, 상기 제1, 2 모션 벡터 각각에 포함된 상기 광원 영역이 서로 매칭되는지 판단하고(S180), 상기 제1, 2 모션 벡터 각각의 상기 광원 영역이 서로 매칭되면, 상기 광원 영역을 상기 야간 영상의 배경 영역으로 인페이팅하여 상기 광원 영역을 제거한 상기 야간 보정 영상을 출력한다(S190).The vehicle image processing system compares the first and second motion vectors to determine whether the light source areas included in the first and second motion vectors are matched with each other at step S180. If the light source areas are matched with each other, the nighttime corrected image is output by removing the light source area by inserting the light source area into the background area of the night image (S190).

차량용 영상처리 시스템은 상기 제1, 2 모션 벡터 각각의 상기 광원 영역이 매칭되지 않으면, 상기 야간 영상을 출력한다(S200).The vehicle image processing system outputs the night image if the light source areas of the first and second motion vectors do not match (S200).

이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다.It is to be understood that the terms "comprises", "comprising", or "having" as used in the foregoing description mean that the constituent element can be implanted unless specifically stated to the contrary, But should be construed as further including other elements.

이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It should be understood that various modifications may be made by those skilled in the art without departing from the spirit and scope of the present invention.

Claims (13)

입력된 야간영상에서 광원 영역을 검출하는 단계;
상기 야간영상을 이루는 복수의 프레임에서 상기 광원 영역의 변화위치를 분석한 제1 모션벡터를 연산하는 단계;
상기 광원 영역이 차량의 하단방향에 위치한 반사광원인지 판단하는 단계;
상기 광원 영역이 상기 반사광원이면, 상기 복수의 프레임에서 상기 광원 영역의 변화위치를 분석한 제2 모션 벡터를 연산하는 단계; 및
상기 제1, 2 모션 벡터가 서로 매칭되면, 상기 야간 영상에서 상기 광원 영역을 제거한 야간 보정 영상을 출력하는 단계;를 포함하는 차량용 영상처리 시스템의 동작방법.Detecting a light source region in the input night image;
Calculating a first motion vector by analyzing a change position of the light source region in a plurality of frames constituting the night image;
Determining whether the light source region is a reflected light source positioned in a bottom direction of the vehicle;
Calculating a second motion vector obtained by analyzing a change position of the light source region in the plurality of frames when the light source region is the reflected light source; And
And outputting a night corrected image in which the light source region is removed from the night image if the first and second motion vectors are matched with each other. 제 1 항에 있어서,
상기 검출 단계는,
상기 야간 영상에서 설정된 조도 임계값보다 높은 조도값을 갖는 영역을 상기 광원 영역으로 검출하는 차량용 영상처리 시스템의 동작방법.The method according to claim 1,
Wherein the detecting step comprises:
And a region having a luminance value higher than a luminance threshold value set in the night image is detected as the light source region. 제 1 항에 있어서,
상기 제1 모션 벡터 연산 단계는,
상기 복수의 프레임 각각에 포함된 상기 광원 영역에 대한 시간 변화에 따른 위치 변화를 분석하여 상기 제1 모션 벡터를 연산하는 차량용 영상처리 시스템의 동작방법.The method according to claim 1,
Wherein the first motion vector calculation step comprises:
Wherein the first motion vector is calculated by analyzing a positional change of the light source area included in each of the plurality of frames with time variation. 제 1 항에 있어서,
상기 반사광 판단 단계는,
상기 광원 영역을 복수의 광원 세그먼트로 분할하는 단계;
상기 복수의 광원 세그먼트에서 픽셀 데이터를 분석하여, 색상 정보를 취득하는 단계;
상기 복수의 광원 세그먼트를 이진화시켜 광원 템플릿을 구성하는 단계;
상기 광원 템플릿을 상하 반전시키고, 영상 왜곡을 수행하는 단계; 및
상기 색상 정보 및 상기 보정된 광원 템플릿을 기반으로 상기 광원 영역이 상기 차량의 하단 방향에 위치하는 상기 반사광원인지 판단하는 단계;를 포함하는 차량용 영상처리 시스템의 동작방법. The method according to claim 1,
Wherein the reflected light determination step comprises:
Dividing the light source region into a plurality of light source segments;
Analyzing pixel data in the plurality of light source segments to obtain color information;
Constructing a light source template by binarizing the plurality of light source segments;
Inverting the light source template and performing image distortion; And
And determining whether the light source region is the reflected light source located in a lower direction of the vehicle based on the color information and the corrected light source template. 제 1 항에 있어서,
상기 광원 영역이 상기 반사광원이 아니면, 상기 야간 영상을 출력하는 단계;를 포함하는 차량용 영상처리 시스템의 동작방법.The method according to claim 1,
And outputting the night image if the light source area is not the reflected light source. 제 1 항에 있어서,
상기 영상 출력 단계는,
상기 제1, 2 모션 벡터를 비교하여, 상기 제1, 2 모션 벡터 각각에 포함된 상기 광원 영역이 서로 매칭되는지 판단하는 단계; 및
상기 제1, 2 모션 벡터 각각의 상기 광원 영역이 서로 매칭되면, 상기 광원 영역을 상기 야간 영상의 배경 영역으로 인페이팅하여 상기 광원 영역을 제거한 상기 야간 보정 영상을 출력하는 단계;를 포함하는 차랴용 영상처리 시스템의 동작방법.The method according to claim 1,
The video output step may include:
Comparing the first and second motion vectors to determine whether the light source areas included in the first and second motion vectors match each other; And
And outputting the nightly corrected image from which the light source region is removed by inserting the light source region into the background region of the night image if the light source regions of the first and second motion vectors are matched with each other Method of Operation of Image Processing System in. 제 6 항에 있어서,
상기 제1, 2 모션 벡터 각각의 상기 광원 영역이 매칭되지 않으면, 상기 야간 영상을 출력하는 단계;를 포함하는 차량용 영상처리 시스템의 동작방법.The method according to claim 6,
And outputting the night image if the light source areas of the first and second motion vectors are not matched. 디스플레이모듈;
차량 주변의 야간영상을 촬영하는 카메라모듈; 및
상기 야간영상 입력시, 상기 야간영상에서 광원 영역의 존재 여부를 판단하고, 상기 광원 영역 존재 시 상기 광원 영역이 설정된 반사광원 판단기준을 만족하면 상기 야간영상에서 상기 광원 영역을 제거한 야간 보정 영상을 생성하여 상기 디스플레이모듈에 디스플레이되게 제어하는 영상처리모듈;을 포함하는 차량용 영상처리 시스템.A display module;
A camera module for photographing a night image around the vehicle; And
The method comprising the steps of: determining whether a light source region exists in the night image when the night image is input; generating a night corrected image in which the light source region is removed from the night image when the light source region satisfies a predetermined reflected light source determination criterion in the presence of the light source region; And an image processing module for controlling the display module to be displayed on the display module. 제 8 항에 있어서,
상기 영상처리모듈은,
상기 야간 영상에서 설정된 조도 임계값보다 높은 조도값을 갖는 영역을 상기 광원 영역으로 검출하는 차량용 영상처리 시스템.9. The method of claim 8,
The image processing module includes:
And a region having an illuminance value higher than a luminance threshold value set in the night image is detected as the light source region. 제 8 항에 있어서,
상기 영상처리모듈은,
상기 야간 영상을 이루는 복수의 프레임에서 상기 광원 영역에 대한 시간 변화에 따라 위치 변화를 분석하여 제1 모션 벡터를 연산하는 차량용 영상처리 시스템.9. The method of claim 8,
The image processing module includes:
Wherein the first motion vector is calculated by analyzing a change in position of the light source region with respect to time in a plurality of frames forming the night image. 제 10 항에 있어서,
상기 영상처리모듈은,
상기 광원 영역을 복수의 광원 세그먼트로 분할하고, 상기 복수의 광원 세그먼트에서 픽셀 데이터를 분석하여 색상 정보를 취득하며, 상기 복수의 광원 세그먼트를 이진화시켜 광원 템플릿을 구성하여 상하 반전시켜 영상 왜곡을 수행하고, 상기 색상 정보 및 영상 왜곡된 상기 광원 템플릿을 기반으로 상기 광원 영역이 상기 차량의 하단 방향에 위치하는 상기 반사광원인지 판단하는 차량용 영상처리 시스템.11. The method of claim 10,
The image processing module includes:
The light source region is divided into a plurality of light source segments, the color information is obtained by analyzing the pixel data in the plurality of light source segments, the light source template is constructed by binarizing the plurality of light source segments, And determines that the light source region is the reflected light source located in a lower direction of the vehicle based on the color information and the image template distorted. 제 11 항에 있어서,
상기 영상처리모듈은,
상기 광원 영역이 상기 반사광원이면, 상기 복수의 프레임에서 상기 광원 영역의 변화위치를 분석한 제2 모션 벡터를 연산하는 차량용 영상처리 시스템.12. The method of claim 11,
The image processing module includes:
And calculates a second motion vector obtained by analyzing a change position of the light source region in the plurality of frames when the light source region is the reflected light source. 제 12 항에 있어서,
상기 영상처리모듈은,
상기 제1, 2 모션 벡터를 비교하여, 상기 제1, 2 모션 벡터 각각에 포함된 상기 광원 영역이 서로 매칭되면, 상기 광원 영역을 상기 야간 영상의 배경 영역으로 인페이팅하여 상기 광원 영역을 제거한 상기 야간 보정 영상을 생성하는 차량용 영상처리 시스템.
13. The method of claim 12,
The image processing module includes:
The first and second motion vectors are compared and when the light source regions included in the first and second motion vectors are matched with each other, the light source region is removed as a background region of the night image to remove the light source region And generates the nightly corrected image.
KR1020140104606A 2014-08-12 2014-08-12 System and operating method of image processing system for vehicle KR102192257B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140104606A KR102192257B1 (en) 2014-08-12 2014-08-12 System and operating method of image processing system for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140104606A KR102192257B1 (en) 2014-08-12 2014-08-12 System and operating method of image processing system for vehicle

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200167072A Division KR102203277B1 (en) 2020-12-02 2020-12-02 System and operating method of image processing system for vehicle

Publications (2)

Publication Number Publication Date
KR20160019800A true KR20160019800A (en) 2016-02-22
KR102192257B1 KR102192257B1 (en) 2020-12-17

Family

ID=55445468

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140104606A KR102192257B1 (en) 2014-08-12 2014-08-12 System and operating method of image processing system for vehicle

Country Status (1)

Country Link
KR (1) KR102192257B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05189694A (en) * 1992-01-14 1993-07-30 Matsushita Electric Ind Co Ltd Vehicle detector

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05189694A (en) * 1992-01-14 1993-07-30 Matsushita Electric Ind Co Ltd Vehicle detector

Also Published As

Publication number Publication date
KR102192257B1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
US9224055B2 (en) Exterior environment recognition device
US9424462B2 (en) Object detection device and object detection method
US9721460B2 (en) In-vehicle surrounding environment recognition device
US9505338B2 (en) Vehicle driving environment recognition apparatus
US8848980B2 (en) Front vehicle detecting method and front vehicle detecting apparatus
US9269006B2 (en) Imaging apparatus, vehicle system, and image-processing method for image magnification and expansion
US20130129150A1 (en) Exterior environment recognition device and exterior environment recognition method
US11270133B2 (en) Object detection device, object detection method, and computer-readable recording medium
US10922827B2 (en) Distance estimation of vehicle headlights
CN111148965B (en) Information processing apparatus, information processing method, control apparatus, and image processing apparatus
US20180075749A1 (en) Forward collision warning system and method
US20160180158A1 (en) Vehicle vision system with pedestrian detection
US20170136962A1 (en) In-vehicle camera control device
WO2011016257A1 (en) Distance calculation device for vehicle
JP7229032B2 (en) External object detection device
EP2674893A2 (en) Travelable area recognition system, travelable area recognition method, travelable area recognition program executed on the travelable area recognition system, and recording medium storing travelable area recognition program
JP6891082B2 (en) Object distance detector
KR102040703B1 (en) Method and Device for Detecting Front Vehicle
KR102203277B1 (en) System and operating method of image processing system for vehicle
JP6378547B2 (en) Outside environment recognition device
KR102192257B1 (en) System and operating method of image processing system for vehicle
WO2021006025A1 (en) Object identification device
KR102240444B1 (en) Method and apparatus for vehicle lamp control
CN115088248A (en) Image pickup apparatus, image pickup system, and image pickup method
JPWO2020129517A1 (en) Image processing device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent