KR20140054922A - Method and device for detecting front vehicle - Google Patents

Method and device for detecting front vehicle Download PDF

Info

Publication number
KR20140054922A
KR20140054922A KR1020120121008A KR20120121008A KR20140054922A KR 20140054922 A KR20140054922 A KR 20140054922A KR 1020120121008 A KR1020120121008 A KR 1020120121008A KR 20120121008 A KR20120121008 A KR 20120121008A KR 20140054922 A KR20140054922 A KR 20140054922A
Authority
KR
South Korea
Prior art keywords
light source
vehicle
correlation
light sources
image
Prior art date
Application number
KR1020120121008A
Other languages
Korean (ko)
Other versions
KR102040703B1 (en
Inventor
고경우
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020120121008A priority Critical patent/KR102040703B1/en
Publication of KR20140054922A publication Critical patent/KR20140054922A/en
Application granted granted Critical
Publication of KR102040703B1 publication Critical patent/KR102040703B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Abstract

The present invention relates to a method and a device for detecting a front vehicle by analyzing a front vehicle image acquired by a camera installed in a vehicle in order to recognize the front vehicle. Provided are the method for detecting a front vehicle and the device therefor comprising: an image input unit which receives an image from the camera installed in the vehicle; a light source extracting unit which processes the image for extracting an object related to a light source of the front vehicle; a characteristic calculating unit which calculates the characteristic of the light source; a correlation calculating unit which compares the characteristic of multiple light sources for calculating the correlation of the light sources; and a light source pairing unit which determines the pair of the light sources by using the correlation.

Description

전방 차량 인식 방법 및 장치 {Method and Device for Detecting Front Vehicle} [0001] The present invention relates to a method and a device for detecting a front vehicle,

본 발명은 전방 차량 인식 방법 및 장치에 대한 것이다. 더욱 상세하게는, 본 발명은 차량에 탑재된 카메라를 이용하여 획득된 전방 차량에 대한 영상을 분석하여 상기 전방 차량을 인식하는 전방 차량 인식 방법 및 장치에 대한 것이다. The present invention relates to a front vehicle recognition method and apparatus. More particularly, the present invention relates to a forward vehicle recognition method and apparatus for recognizing the forward vehicle by analyzing images of the forward vehicle obtained using a camera mounted on the vehicle.

자동차의 안전을 위하여 종래에는 에어백, 안전벨트 및 ABS(Anti-Lock Braking System)과 같은 기술이 수동 안전 시스템(passive safety system)이 많이 사용되어져 왔다. 이러한 수동 안전 시스템에 사전에 충돌을 방지하는 능동 안전 시스템의 결합은 충돌을 사전에 방지하여 운전자 및 승객의 안전을 도모할 수 있다. 대표적인 예로서, 전방 충돌 방지 시스템(Forward Collision Warning System : FCWS)은 전방 차량과의 추돌을 방지하는 기능을 한다. BACKGROUND ART Conventionally, passive safety systems such as an airbag, a seat belt, and an anti-lock braking system (ABS) have been widely used for the safety of automobiles. The combination of an active safety system that prevents the collision of these passive safety systems in advance can prevent the collision in advance and thus ensure the safety of the driver and passengers. As a representative example, a forward collision warning system (FCWS) functions to prevent a collision with a forward vehicle.

FCWS, 주행차선 이탈방지 시스템(Lane Keeping Assist System : LKAS), 적응적 순항제어(Adaptive Cruise Control : ACC), 적응적 전조등 시스템(Adaptive Front Light System : AFLS)와 같은 기능은 첨단 안전 차량(Advanced Safety Vehicle)에 채용되고 있는 기술이다. Functions such as FCWS, Lane Keeping Assist System (LKAS), Adaptive Cruise Control (ACC) and Adaptive Front Light System (AFLS) Vehicle).

ASV 분야에서 차량에 구비되는 카메라는 다양한 목적을 위해 활용되는데, 차량에 선행하거나 대향하는 전방 차량의 인식을 위해 카메라로부터 획득된 전방 영상을 이용하기도 한다. 일례로서, 하이빔 자동제어(High Beam Assist : HBA) 기술은 야간에 선행 차량 또는 대향 차량의 후미등 또는 전조등을 인식하여 자기 차량의 상향등을 제어한다. In the field of ASV, a camera installed in a vehicle is used for various purposes, and a forward image obtained from a camera is used for recognition of a preceding vehicle or a preceding vehicle facing the vehicle. As an example, the High Beam Assist (HBA) technique recognizes the tail lamp or the headlight of the preceding vehicle or the opposite vehicle at night to control the upward light of the vehicle.

HBA와 같이 야간에 적용되는 기술의 경우에는, 카메라로부터 획득된 영상에서 전방 차량을 인식함에 있어 상대적인 조도가 높아 영상에서 판별이 용이한 전방 차량의 전조등 또는 후미등을 이용할 수 있다. 그런데, 전방에 복수의 차량이 존재하는 경우, 하나의 영상에 다수의 광원을 포함하게 된다. 통상적으로 하나의 차량은 광원을 쌍(pair)으로 구비하므로, 하나의 영상에 포함된 광원을 짝지어 개별 차량들을 인식하는 것이 요구된다. 예컨대, 차량의 후미등은 좌우측에 쌍을 이루어 구비되므로, 카메라에 의해 획득된 영상에 복수의 차량에 의한 광원 이미지들이 존재하는 경우 광원을 짝지어 하나의 차량에 해당하는 광원쌍으로 구별하는 페어링(pairing)이 필요하다. In the case of a technique applied at night such as an HBA, a headlight or a tail lamp of a front vehicle which is easy to distinguish from an image because the relative illuminance is high in recognizing the front vehicle in the image obtained from the camera can be used. However, when a plurality of vehicles exist in front of the vehicle, a plurality of light sources are included in one image. Normally, one vehicle has a pair of light sources, so it is required to pair the light sources included in one image to recognize individual vehicles. For example, since the tail lamp of the vehicle is provided in pairs on the left and right sides, when there are light source images by a plurality of vehicles in an image acquired by the camera, pairing that distinguishes the light sources as a pair of light sources corresponding to one vehicle ).

본 발명은 영상을 이용하여 선행 또는 대향 차량을 인식하기 위한 광원 페어링을 수행함에 있어서 처리 속도를 향상시키고 오작동 또는 오인식 비율을 낮추기 위한 전방 차량 인식 방법 및 장치를 제공하는 것을 목적으로 한다. An object of the present invention is to provide a forward vehicle recognition method and apparatus for improving a processing speed and lowering a malfunction or a false alarm rate in performing light source pairing for recognizing a preceding or an opposite vehicle using an image.

본 발명은 차량에 탑재된 카메라로부터 영상을 입력받는 영상 입력부; 상기 영상을 처리하여 전방 차량의 광원에 해당하는 객체를 추출하는 광원 추출부; 상기 광원의 특성을 산출하는 특성 산출부; 복수의 상기 광원에 대한 상기 특성을 상호 비교하여 상기 광원간의 상관 관계를 산출하는 상관관계 산출부; 및 상기 상관 관계를 이용하여 광원의 쌍을 판별하는 광원 페어링부를 포함하는 전방 차량 인식 장치를 제공한다. The present invention relates to an image processing apparatus, including a video input unit receiving an image from a camera mounted on a vehicle; A light source extracting unit for processing the image and extracting an object corresponding to a light source of the forward vehicle; A characteristic calculating unit for calculating a characteristic of the light source; A correlation calculating unit that compares the characteristics of the plurality of light sources with each other to calculate a correlation between the light sources; And a light source pairing unit for discriminating a pair of light sources using the correlation.

일 실시예에 있어서, 상기 특성은 상기 광원의 수평 정렬도, 광원 면적, 평균 조도 및 체인 코드를 포함한다. In one embodiment, the characteristics include a horizontal alignment of the light source, a light source area, an average roughness, and a chain code.

또한, 상기 상관 관계는 비교되는 상기 광원 간의 상기 수평 정렬도의 차이, 상기 광원 면적의 차이, 상기 평균 조도의 차이, 및 상기 체인 코드의 차이 각각을 비율로 나타내어 평균함으로써 얻어질 수 있다. The correlation may be obtained by averaging the differences of the horizontal alignment degree, the difference of the light source area, the difference of the average roughness, and the difference of the chain codes between the light sources to be compared.

또한, 상기 광원 페어링부는 상기 상관 관계가 가장 높은 광원의 쌍을 하나의 상기 전방 차량의 광원으로 페어링할 수 있다. In addition, the light source pairing unit may pair the pair of light sources having the highest correlation to the light source of one of the front vehicles.

또한, 상기 전방 차량 인식 장치는, 상기 광원의 쌍을 이용하여 상기 전방 차량의 위치를 트래킹하는 전방차량 트래킹부를 추가로 포함할 수 있다. Further, the front vehicle recognizing apparatus may further include a forward vehicle tracking section for tracking the position of the front vehicle using the pair of light sources.

본 발명은, (a) 영상 입력부가 차량에 탑재된 카메라로부터 영상을 입력받는 단계; (b) 광원 추출부가 상기 영상을 전달받아 상기 영상 중에 광원에 해당하는 객체를 추출하는 단계; (c) 특성 산출부가 상기 광원의 수평 정렬도, 광원 면적, 평균 조도, 및 체인 코드를 포함하는 특성을 산출하는 단계; (d) 상관관계 산출부가 복수의 상기 광원을 상호 대비하여 상기 광원의 상기 특성간의 상관관계를 산출하는 단계; 및 (e) 광원 페어링부가 상기 상관 관계를 이용하여 상기 상관 관계의 값이 최대가 되는 상기 광원의 쌍을 페어링하는 단계를 포함하는 전방 차량 인식 방법을 제공한다. (A) receiving an image from a camera mounted on a vehicle; (b) extracting an object corresponding to a light source in the image by receiving the image; (c) calculating a characteristic including a horizontal alignment degree, a light source area, an average roughness, and a chain code of the light source; (d) calculating a correlation between the plurality of the light sources and the characteristics of the light sources in correlation with each other; And (e) the light source pairing unit uses the correlation to pair the pair of light sources with the largest value of the correlation.

바람직하게, 상기 전방 차량 인식 방법은, 전방차량 트래킹부가 페어링된 상기 광원의 쌍을 이용하여 상기 전방 차량의 위치를 트래킹하는 단계를 추가로 포함할 수 있다. Advantageously, said forward vehicle recognition method further comprises the step of tracking the position of said front vehicle using a pair of said light sources with which said front vehicle tracking section is paired.

본 발명에 따르면, 전방 차량 광원의 페어링을 효율적으로 수행하여 야간에 전방 차량을 효과적으로 수행할 수 있다. According to the present invention, it is possible to effectively perform the front vehicle at night by effectively performing the pairing of the front vehicle light source.

또한, 본 발명은 HBA 등 전방 차량을 인식하여 차량 안전을 도모하는 차량 안전 시스템과 결합하여 차량 안전 시스템의 제어 성능을 향상시킬 수 있다. In addition, the present invention can improve control performance of a vehicle safety system by combining with a vehicle safety system that recognizes a front vehicle such as an HBA to improve vehicle safety.

도 1은 본 발명의 바람직한 실시예에 따른 전방 차량 인식 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 바람직한 실시예에 따른 전방 차량 인식 장치에 있어서 체인 코드를 산출하는 것을 도시한다.
도 3은 본 발명의 바람직한 실시예에 따른 전방 차량 인식 장치에 있어서 어느 두 광원의 수평 정렬도의 차이를 산출하는 것을 도시한다.
도 4는 본 발명의 바람직한 실시예에 따른 전방 차량 인식 장치에 있어서 어느 두 광원의 평균 조도를 대비하는 것을 도시한다.
도 5는 본 발명의 바람직한 실시예에 따른 전방 차량 인식 장치에 있어서 광원 페어링부에서 광원의 쌍을 찾는 예를 도시한 도면이다.
도 6은 본 발명의 바람직한 실시예에 따른 전방 차량 인식 방법을 도시한 순서도이다. 1 is a block diagram showing the configuration of a front vehicle recognition apparatus according to a preferred embodiment of the present invention.
2 shows calculation of a chain code in a front vehicle recognition apparatus according to a preferred embodiment of the present invention.
Fig. 3 shows calculation of a difference in horizontal alignment degree of either light source in the front vehicle recognition apparatus according to the preferred embodiment of the present invention.
FIG. 4 illustrates a comparison of average illuminance of two light sources in a front vehicle recognition apparatus according to a preferred embodiment of the present invention.
5 is a diagram illustrating an example of finding a pair of light sources in a light source pairing unit in a front vehicle recognition apparatus according to a preferred embodiment of the present invention.
6 is a flowchart illustrating a forward vehicle recognition method according to a preferred embodiment of the present invention.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, the preferred embodiments of the present invention will be described below, but it is needless to say that the technical idea of the present invention is not limited thereto and can be variously modified by those skilled in the art.

본 발명에 따른 전방 차량 인식 방법 및 장치는 차량에 탑재된 카메라에 의해 획득된 차량 전방의 영상에서 전방 차량의 광원을 페어링(paring)함으로써 전방 차량을 인식하는 것을 특징으로 한다. 기존의 광원 페어링 기술은 존의 Pairing 기술에서는 Location of center gravity, width, height, coordinate, intensity, color, 및 composition의 특성을 이용하여 유사성을 판단하였다. 그러나, 그 특성수가 많아 처리시간에 영향을 미치며, 또한 모양의 유사성을 판단할 수 있는 특성값이 존재하지 않는다. A front vehicle recognition method and apparatus according to the present invention is characterized by recognizing a preceding vehicle by pairing a light source of a preceding vehicle in an image of the front of the vehicle acquired by a camera mounted on the vehicle. The similarity of existing light source pairing technology was evaluated by using characteristics of location of center gravity, width, height, coordinate, intensity, color, and composition in zone pairing technology. However, since the number of characteristics is large, it affects the processing time and there is no characteristic value that can judge the similarity of shapes.

본 발명에서는 수평 정렬도(horizontal allignment), 광원 면적(Area of Pixels), 평균 조도(Average Pixel Value), 체인 코드(Chain Code)의 4가지 특성을 이용하여 광원간의 유사성을 판단하여 광원 페어링을 수행한다. 상기 특성 중 체인 코드는 광원의 모양을 비교할 수 있는 특성이 된다. In the present invention, similarity between light sources is determined using four characteristics of horizontal alignment, Area of Pixels, Average Pixel Value, and Chain Code to perform light source pairing do. Among these characteristics, the chain code is a characteristic capable of comparing the shape of the light source.

도 1은 본 발명의 바람직한 실시예에 따른 전방 차량 인식 장치의 구성을 도시한 블록도이다. 1 is a block diagram showing the configuration of a front vehicle recognition apparatus according to a preferred embodiment of the present invention.

본 발명의 바람직한 실시예에 다른 전방 차량 인식 장치(10)는, 차량에 탑재된 카메라(1)로부터 영상을 입력받는 영상 입력부(12), 영상을 처리하여 광원에 해당하는 객체를 추출하는 광원 추출부(14), 광원의 특성을 산출하는 특성 산출부(16), 복수의 광원에 대한 상기 특성을 상호 비교하는 상관관계 산출부(18), 및 상기 상관관계 산출부(18)에서 산출된 결과값을 이용하여 광원의 쌍을 판별하는 광원 페어링부(20)를 포함한다. 또한, 상기 전방 차량 인식 장치(10)는 페어링(pairing)된 광원을 이용하여 전방 차량을 트래킹하는 전방차량 트래킹부(22)를 추가로 포함할 수 있다. The front vehicle recognition apparatus 10 according to the preferred embodiment of the present invention includes an image input unit 12 for receiving an image from a camera 1 mounted on a vehicle, a light source extracting unit 12 for processing an image and extracting an object corresponding to the light source, (14), a characteristic calculating section (16) for calculating the characteristics of the light source, a correlation calculating section (18) for comparing the characteristics of the plurality of light sources with each other, and a correlation calculating section And a light source pairing unit 20 for determining a pair of light sources by using a value. In addition, the front vehicle recognition apparatus 10 may further include a forward vehicle tracking section 22 for tracking the front vehicle using a paired light source.

전방 차량 인식 장치(10)에서 인식된 전방 차량의 정보는 ASV 제어부(30)로 전달될 수 있다. 상기 ASV 제어부(30)는 AFLS(32), HBA(34), FCWS(36) 등의 차량 안전 시스템을 제어할 수 있다. 일례로서, ASV 제어부(30)는 전방 차량의 정보를 바탕으로 HBA(34)를 제어하여 차량의 하이빔의 작동을 제어할 수 있다. The information of the preceding vehicle recognized by the front vehicle recognition apparatus 10 may be transmitted to the ASV control unit 30. [ The ASV control unit 30 can control a vehicle safety system such as the AFLS 32, the HBA 34, and the FCWS 36. [ As an example, the ASV control section 30 can control the operation of the vehicle high beam by controlling the HBA 34 based on the information of the preceding vehicle.

영상 입력부(12)는 차량에 탑재된 카메라(1)로부터 차량 전방의 영상을 입력받는다. 상기 카메라(1)는 CMOS 또는 CCD와 같은 이미지 센서를 구비한 카메라이거나 적외선 카메라일 수 있다. 카메라(1)에서 획득된 영상은 AD 컨버터(미도시)를 통해 디지털 신호로 변환된 후 영상 입력부(12)로 입력될 수 있다. 물론 경우에 따라서는 영상 입력부(12)가 AD 컨버터를 함께 구비하는 것도 가능하다. The image input unit 12 receives the image of the front of the vehicle from the camera 1 mounted on the vehicle. The camera 1 may be a camera having an image sensor such as a CMOS or a CCD or an infrared camera. The image obtained by the camera 1 may be converted into a digital signal through an AD converter (not shown), and then input to the image input unit 12. Of course, in some cases, the image input unit 12 may be provided with an AD converter.

광원 추출부(14)는 영상 입력부(12)에 입력된 영상에서 광원에 해당되는 객체를 추출한다. 즉, 광원 추출부(14)는 카메라(1)로부터 획득된 영상에서 광원에 해당하는 객체를 선별한다. 야간 영상의 경우 광원에 해당하는 부분은 다른 부분에 비해 더 밝게 나타난다. 따라서 영상 중 밝기가 소정값 이상의 객체는 광원으로 인식하도록 처리될 수 있다. 또는 객체의 색상을 이용하여 광원을 인식하는 것도 가능하다. 예컨대, 전방 차량이 선행 차량인 경우 광원 추출부(14)는 후미등(tail lamp)을 인식할 것이며 후미등은 적색 계열이므로 영상을 필터링하여 밝기가 소정값 이상이고 적색 계열이면 후미등으로 인식할 수 있다. 만약 전방 차량이 대향 차량인 경우에는 광원 추출부(14)는 헤드램프를 인식할 것이며 헤드램프는 백색 계열이므로 영상을 필터링하여 밝기가 소정값 이상이고 백색 계열이면 헤드램프를 인식할 수 있다. The light source extracting unit 14 extracts an object corresponding to the light source from the image input to the image input unit 12. That is, the light source extracting unit 14 selects an object corresponding to the light source from the image acquired from the camera 1. [ In the case of a night image, the portion corresponding to the light source is brighter than the other portion. Accordingly, an object whose brightness is higher than a predetermined value in the image can be processed to be recognized as a light source. Alternatively, it is possible to recognize the light source by using the color of the object. For example, if the front vehicle is a preceding vehicle, the light source extracting unit 14 may recognize a tail lamp, and the tail lamp may be a red line, so that the image may be filtered to recognize the rear line if the brightness is more than a predetermined value and the red line. If the vehicle ahead is the opposite vehicle, the light source extracting unit 14 will recognize the headlamp. Since the headlamp is white, the image can be filtered to recognize the headlamp if the brightness is higher than a predetermined value and is white.

일 실시예에 있어서, 광원 추출부(14)는 입력된 영상을 분할하고, 입력된 영상 중 광원에 해당하지 않는 부분은 제거하고, 광원에 해당하는 영역, 즉 광원에 해당하는 픽셀만을 선별한 후, 각 픽셀의 조도(밝기)나 색상을 기반으로 광원을 분류한다. In one embodiment, the light source extracting unit 14 divides the input image, removes a portion of the input image that does not correspond to the light source, and selects only a region corresponding to the light source, that is, a pixel corresponding to the light source , And classifies the light sources based on the illuminance (brightness) or color of each pixel.

특성 산출부(16)는, 광원 추출부(14)에서 추출된 복수의 광원 각각에 대한 수평 정렬도(horizontal allignment), 광원 면적(Area of Pixels), 평균 조도(Average Pixel Value), 및 체인 코드(Chain Code)를 산출한다. The characteristic calculating unit 16 calculates a characteristic of each of the plurality of light sources extracted by the light source extracting unit 14 based on a horizontal alignment, a light source area (Area of Pixels), an average roughness (Average Pixel Value) (Chain Code) is calculated.

수평 정렬도(horizontal allignment)는 광원이 얼마만큼 수평선상에 정렬되어 있는지를 나타내는 값이다. 수평 정렬도는 특정 광원의 픽셀 좌표(x, y)에서 y값으로 표시될 수 있다.The horizontal alignment is a value indicating how much the light source is aligned on the horizontal line. The horizontal alignment degree may be expressed as a y value at pixel coordinates (x, y) of a specific light source.

광원 면적(Area of Pixels)은 광원이 영상에서 차지하고 있는 면적을 의미하며, 일 실시예에 있어서 광원 면적은 광원에 의한 이미지가 영상에서 차지하는 픽셀의 개수로 나타낼 수 있다. The Area of Pixels refers to the area occupied by the light source in the image. In one embodiment, the area of the light source may be represented by the number of pixels occupied by the image by the light source in the image.

평균 조도(Average Pixel Value)는 광원의 밝기값을 나타낸다. 이는 영상에서 광원이 차지하는 픽셀의 밝기값을 평균하여 산출할 수 있다. 일 실시예에 있어서, 상기 평균 조도는 영상에서 광원이 차지하는 픽셀을 분할하여 산출할 수 있다. The Average Pixel Value represents the brightness value of the light source. This can be calculated by averaging the brightness values of the pixels occupied by the light source in the image. In one embodiment, the average illuminance may be calculated by dividing a pixel occupied by the light source in the image.

체인 코드(Chain Code)는 영상내의 특정 객체의 경계 정보를 저장함에 있어서 경계의 최초 픽셀의 위치부터 시작하여 인접한 픽셀의 위치는 이전 픽셀에 대하여 상대적인 방향 정보로 표현한 것을 의미한다. 본 발명에 있어서 광원에 해당하는 영상 객체에 대해 체인 코드를 산출하는 이유는 체인 코드를 비교함으로써 광원의 모양을 대비할 수 있기 때문이다. Chain code means that the position of an adjacent pixel starting from a position of a first pixel of a boundary is expressed by direction information relative to a previous pixel in storing boundary information of a specific object in the image. The reason for calculating the chain code for the image object corresponding to the light source in the present invention is that the shape of the light source can be prepared by comparing the chain codes.

도 2는 본 발명의 바람직한 실시예에 따른 전방 차량 인식 장치에 있어서 체인 코드를 산출하는 것을 도시한다. 2 shows calculation of a chain code in a front vehicle recognition apparatus according to a preferred embodiment of the present invention.

도 2의 (a)를 참조하면, 중앙의 픽셀을 중심으로 주위의 픽셀의 위치는 8개의 방향 정보를 이용하여 나타낼 수 있다. 도 2의 (b)를 참조하면, 기준점이 되는 픽셀로부터 특정 객체의 경계 정보를 체인 코드로 나타낸 것을 확인할 수 있다. Referring to FIG. 2 (a), the position of the surrounding pixel around the center pixel can be represented using eight direction information. Referring to FIG. 2 (b), it can be confirmed that the boundary information of a specific object is represented by a chain code from a pixel serving as a reference point.

특성 산출부(16)는 영상에서 선별된 광원에 대하여 각각 상기한 바와 같은 수평 정렬도, 광원 면적, 광원 조도 및 체인 코드를 산출한다. N개의 광원에 대한 상기값들은 다음의 수학식 1과 같은 "객체 특성 행렬(Object Feature Matrix)"로 표현될 수 있다. The characteristic calculating unit 16 calculates the horizontal alignment degree, the light source area, the light source illuminance, and the chain code for the light source selected from the image. The values for the N light sources may be expressed as an " Object Feature Matrix "

Figure pat00001
Figure pat00001

수학식 1에서, Fi1은 i번째 광원의 수평 정렬도, Fi2는 i번째 광원의 광원 면적, Fi3는 i번째 광원의 광원 조도, 및 Fi4는 i번째 광원의 체인 코드를 나타낸다.
In Equation 1, F i1 represents the horizontal alignment of the i-th light source, F i2 represents the light source area of the i-th light source, F i3 represents the light source illuminance of the i-th light source, and F i4 represents the chain code of the i-

상관관계 산출부(18)는 각 광원의 특성 정보를 서로 대비하여 광원의 상기 특성들간의 상관관계를 산출한다. 일 실시예에 있어서, 상기 상관관계는 상기 수학식 1과 같은 "객체 특성 행렬(Object Feature Matrix)"을 "특성 상관 행렬(Feature Correlation Matrix)"로 변환함으로써 이루어질 수 있다. 만약, 영상에서 추출된 광원 객체가 N개 존재하는 경우, 특성 상관 행렬은 N×N 크기의 행렬로 변환된다. The correlation calculating unit 18 calculates the correlation between the characteristics of the light sources by comparing the characteristic information of each light source with each other. In one embodiment, the correlation may be achieved by transforming an " Object Feature Matrix "as in Equation (1) into a " Feature Correlation Matrix ". If there are N light source objects extracted from the image, the feature correlation matrix is transformed into an N × N matrix.

특성 상관 행렬은 수학식 2와 같이 나타낼 수 있다. The characteristic correlation matrix can be expressed by Equation (2).

Figure pat00002
Figure pat00002

수학식 2에서, Cij는 i번째 Object와 j번째 Object의 Correlation을 의미하며, 이 값은 두 물체간의 유사도를 나타낸다. Cij의 값은 0과 1사이의 값이며, 1에 가까울수록 유사도가 높은 것이다.In Equation (2), C ij denotes the correlation between the i-th object and the j-th object, and this value indicates the degree of similarity between the two objects. The value of C ij is a value between 0 and 1, and the closer to 1, the higher the similarity.

도 3은 본 발명의 바람직한 실시예에 따른 전방 차량 인식 장치에 있어서 어느 두 광원의 수평 정렬도의 차이를 산출하는 것을 도시한다. 도 4는 본 발명의 바람직한 실시예에 따른 전방 차량 인식 장치에 있어서 어느 두 광원의 평균 조도를 대비하는 것을 도시한다. Fig. 3 shows calculation of a difference in horizontal alignment degree of either light source in the front vehicle recognition apparatus according to the preferred embodiment of the present invention. FIG. 4 illustrates a comparison of average illuminance of two light sources in a front vehicle recognition apparatus according to a preferred embodiment of the present invention.

도 3을 참고하면, 수평 정렬도의 차이는 두 물체간 수직 위치인 y좌표의 차이값을 계산한다. 수평적으로 동일선상에 있다면 차이값은 0이 되며, 수평적으로 멀어질수록 그 차이값은 점점 커지게 된다. 그 후, 차이값이 0일 때는 1, 차이값이 점점 커지면 0에 가깝도록 변환한다.Referring to FIG. 3, the difference in the horizontal alignment degree is calculated as a difference in y coordinate between vertical positions of two objects. If they are on the same line horizontally, the difference value becomes 0, and as the distance increases horizontally, the difference value becomes larger. Thereafter, when the difference value is 0, it is converted to 1, and when the difference value becomes larger, it is converted to be close to 0.

광원 면적, 평균 조도 및 체인 코드도 차이값을 계산하며, 수평 정렬도와 마찬가지로 차이값이 0일 때는 1, 차이값이 점점 커질수록 0에 가깝도록 변환한다. The light source area, the average illuminance, and the chain code also calculate the difference value. When the difference value is 0, it is converted to 1 as the difference value increases.

한편, 평균 조도의 대비는, 도 4와 같이 광원을 4등분하여 각 영역에 대한 평균값의 차이를 계산하여 이루어질 수 있다. 광원을 4등분하여 비교하는 이유는, 서로 다른 광원이지만 평균값이 비슷하여 유사도가 높게 계산되는 것을 최대한 방지하기 위해서이다. 다만, 도 4의 경우에는 광원을 4등분하는 것을 도시하였으나, 본 발명의 실시에 있어서는 광원을 2분할 또는 3분할하거나 5분할 이상하여 상호 대비하는 것도 가능함은 물론이다. On the other hand, the contrast of the average roughness can be obtained by dividing the light source into four equal parts as shown in FIG. 4 and calculating the difference of the average values for each area. The reason why the light source is divided into four equal parts is to prevent the calculation of a high degree of similarity due to the similarity of the average values of the different light sources. In the case of FIG. 4, the light source is divided into four equal parts. However, it is needless to say that in the practice of the present invention, the light source may be divided into two or three or five or more.

일 실시예에 있어서 상기 Cij는 위에서 산출된 수평 정렬도, 광원 면적, 평균 조도 및 체인 코드의 차이값을 평균하여 구해질 수 있다. In one embodiment, the C ij can be obtained by averaging the horizontal alignment degree, the light source area, the average roughness, and the difference value of the chain code calculated above.

광원 페어링부(20)는 상관관계 산출부에서 산출된 광원 간의 상관관계를 이용하여 광원을 페어링한다. 광원의 페어링은 상관관계의 값이 최대가 되는 광원의 쌍을 찾는 것으로 이해될 수 있다. The light source pairing unit 20 uses the correlation between the light sources calculated in the correlation calculation unit to pair the light sources. It can be understood that the pairing of the light sources finds a pair of light sources having the maximum value of the correlation.

도 5는 본 발명의 바람직한 실시예에 따른 전방 차량 인식 장치에 있어서 광원 페어링부에서 광원의 쌍을 찾는 예를 도시한 도면이다. 5 is a diagram illustrating an example of finding a pair of light sources in a light source pairing unit in a front vehicle recognition apparatus according to a preferred embodiment of the present invention.

광원 페어링부(20)에는 상관관계가 최대가 되는 광원의 쌍을 찾아 하나의 차량의 광원으로 페어링한다. The light source pairing unit 20 finds a pair of light sources having a maximum correlation and pairs them with a light source of one vehicle.

도 5를 참조하면, 4개의 광원에 대해 특성 상관 행렬을 비교함으로써 쌍이 되는 광원을 찾는 예가 설명된다. 우선 행을 검색하여 가장 큰 값을 찾은 후 그 값이 존재하는 열을 다시 검색하여 그 열에서의 최대값인지를 판단한다. 만약 그 값이 최대값이라면 그때의 i번째 광원과 j번째 광원이 쌍으로 확정된다. 즉 가장 유사한 광원의 쌍을 찾아 동일한 차량의 광원으로 확정하는 것이다.Referring to FIG. 5, an example of finding a paired light source by comparing characteristic correlation matrices with respect to four light sources will be described. The first row is searched to find the largest value, and the column in which the value exists is searched again to determine whether it is the maximum value in the column. If the value is the maximum value, then the i-th light source and the j-th light source are determined as a pair. In other words, the pair of the most similar light source is found and confirmed as the light source of the same vehicle.

도 6은 본 발명의 바람직한 실시예에 따른 전방 차량 인식 방법을 도시한 순서도이다. 6 is a flowchart illustrating a forward vehicle recognition method according to a preferred embodiment of the present invention.

먼저, 영상 입력부(12)는 카메라(1)로부터 영상을 입력받는다(S100).First, the image input unit 12 receives an image from the camera 1 (S100).

광원 추출부(14)는 영상 입력부(12)로부터 영상을 전달받아 영상 중에 광원에 해당하는 객체를 추출한다(S102). The light source extracting unit 14 receives the image from the image input unit 12 and extracts an object corresponding to the light source from the image (S102).

특성 산출부(16)는 광원의 특성, 즉 수평 정렬도, 광원 면적, 평균 조도, 및 체인 코드를 산출한다(S104).The characteristic calculating unit 16 calculates the characteristics of the light source, that is, the horizontal alignment degree, the light source area, the average roughness, and the chain code (S104).

상관관계 산출부(18)는, 복수 광원을 상호 대비하여 광원의 특성간의 상관관계를 산출한다(S106). The correlation calculating unit 18 calculates the correlation between the characteristics of the light sources with respect to the plurality of light sources (S106).

광원 페어링부(20)는 산출된 상관관계를 이용하여 상관관계의 값이 최대가 되는 광원의 쌍을 페어링한다(S108). The light-source pairing unit 20 uses the calculated correlation to pair pairs of light sources having the maximum correlation value (S108).

전방 차량 트래킹부(22)는 하나의 차량의 광원에 해당하는 광원 쌍을 이용하여 전방 차량을 트래킹한다. 이 때, 전방 차량 트래킹부(22)는 하나의 쌍을 이루는 광원의 거리를 이용하여 자기 차량과 전방 차량의 거리를 산출할 수 있다. 또한, 전방 차량 트래킹부(22)는 하나의 쌍을 이루는 광원의 위치에 기반하여 자기 차량과 전방 차량간의 각도를 산출할 수 있다. The front vehicle tracking unit 22 tracks the front vehicle using a light source pair corresponding to a light source of one vehicle. At this time, the front vehicle tracking unit 22 can calculate the distance between the subject vehicle and the front vehicle using the distance of the pair of light sources. Further, the front vehicle tracking section 22 can calculate the angle between the subject vehicle and the front vehicle based on the position of the pair of light sources.

이러한 본 발명에 따르면, 전방 차량 광원의 페어링을 효율적으로 수행하여 야간에 전방 차량을 효과적으로 수행할 수 있다. According to the present invention, the front vehicle can be effectively performed at night by effectively performing the pairing of the front vehicle light source.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications, substitutions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. will be. Therefore, the embodiments disclosed in the present invention and the accompanying drawings are intended to illustrate and not to limit the technical spirit of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments and the accompanying drawings . The scope of protection of the present invention should be construed according to the following claims, and all technical ideas falling within the scope of the same shall be construed as falling within the scope of the present invention.

1 : 카메라 10 : 전방 차량 인식 장치
12 : 영상 입력부 14 : 광원 추출부
16 : 특성 산출부 18 : 상관관계 산출부
20 : 광원 페어링부 22 : 전방차량 트래킹부
30 : ASV 제어부1: camera 10: front vehicle recognition device
12: image input unit 14: light source extracting unit
16: characteristic calculating section 18: correlation calculating section
20: Light source pairing unit 22: Front vehicle tracking unit
30: ASV control unit

Claims (7)

차량에 탑재된 카메라로부터 영상을 입력받는 영상 입력부;
상기 영상을 처리하여 전방 차량의 광원에 해당하는 객체를 추출하는 광원 추출부;
상기 광원의 특성을 산출하는 특성 산출부;
복수의 상기 광원에 대한 상기 특성을 상호 비교하여 상기 광원간의 상관 관계를 산출하는 상관관계 산출부; 및
상기 상관 관계를 이용하여 광원의 쌍을 판별하는 광원 페어링부
를 포함하는 전방 차량 인식 장치. A video input unit for receiving video from a camera mounted on the vehicle;
A light source extracting unit for processing the image and extracting an object corresponding to a light source of the forward vehicle;
A characteristic calculating unit for calculating a characteristic of the light source;
A correlation calculating unit that compares the characteristics of the plurality of light sources with each other to calculate a correlation between the light sources; And
A light source pairing unit for determining a pair of light sources using the correlation,
And the vehicle identification information. 제 1 항에 있어서,
상기 특성은 상기 광원의 수평 정렬도, 광원 면적, 평균 조도 및 체인 코드를 포함하는 것을 특징으로 하는 전방 차량 인식 장치. The method according to claim 1,
Wherein the characteristic includes a horizontal alignment degree of the light source, a light source area, an average illuminance, and a chain code. 제 2 항에 있어서,
상기 상관 관계는 비교되는 상기 광원 간의 상기 수평 정렬도의 차이, 상기 광원 면적의 차이, 상기 평균 조도의 차이, 및 상기 체인 코드의 차이 각각을 비율로 나타내어 평균한 것을 특징으로 하는 전방 차량 인식 장치.3. The method of claim 2,
Wherein the correlation is averaged by a ratio of a difference of the horizontal alignment degree, a difference of the light source area, a difference of the average roughness, and a difference of the chain code among the light sources to be compared. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 광원 페어링부는 상기 상관 관계가 가장 높은 광원의 쌍을 하나의 상기 전방 차량의 광원으로 페어링하는 것을 특징으로 하는 전방 차량 인식 장치.4. The method according to any one of claims 1 to 3,
Wherein the light source pairing unit pairs the pair of light sources having the highest correlation with the light source of one of the front vehicles. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 광원의 쌍을 이용하여 상기 전방 차량의 위치를 트래킹하는 전방차량 트래킹부를 추가로 포함하는 것을 특징으로 하는 전방 차량 인식 장치.4. The method according to any one of claims 1 to 3,
Further comprising a front vehicle tracking unit for tracking the position of the front vehicle using the pair of light sources. (a) 영상 입력부가 차량에 탑재된 카메라로부터 영상을 입력받는 단계;
(b) 광원 추출부가 상기 영상을 전달받아 상기 영상 중에 광원에 해당하는 객체를 추출하는 단계;
(c) 특성 산출부가 상기 광원의 수평 정렬도, 광원 면적, 평균 조도, 및 체인 코드를 포함하는 특성을 산출하는 단계;
(d) 상관관계 산출부가 복수의 상기 광원을 상호 대비하여 상기 광원의 상기 특성간의 상관관계를 산출하는 단계; 및
(e) 광원 페어링부가 상기 상관 관계를 이용하여 상기 상관 관계의 값이 최대가 되는 상기 광원의 쌍을 페어링하는 단계
를 포함하는 전방 차량 인식 방법.(a) receiving an image from a camera mounted on a vehicle;
(b) extracting an object corresponding to a light source in the image by receiving the image;
(c) calculating a characteristic including a horizontal alignment degree, a light source area, an average roughness, and a chain code of the light source;
(d) calculating a correlation between the plurality of the light sources and the characteristics of the light sources in correlation with each other; And
(e) pairing the pair of light sources with which the value of the correlation becomes maximum using the correlation using the light source pairing unit
And the vehicle identification information. 제 6 항에 있어서,
(f) 전방차량 트래킹부가 페어링된 상기 광원의 쌍을 이용하여 상기 전방 차량의 위치를 트래킹하는 단계를 추가로 포함하는 전방 차량 인식 방법.The method according to claim 6,
(f) tracking the position of the front vehicle using the pair of light sources with which the front vehicle tracking section is paired.
KR1020120121008A 2012-10-30 2012-10-30 Method and Device for Detecting Front Vehicle KR102040703B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120121008A KR102040703B1 (en) 2012-10-30 2012-10-30 Method and Device for Detecting Front Vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120121008A KR102040703B1 (en) 2012-10-30 2012-10-30 Method and Device for Detecting Front Vehicle

Publications (2)

Publication Number Publication Date
KR20140054922A true KR20140054922A (en) 2014-05-09
KR102040703B1 KR102040703B1 (en) 2019-11-05

Family

ID=50886688

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120121008A KR102040703B1 (en) 2012-10-30 2012-10-30 Method and Device for Detecting Front Vehicle

Country Status (1)

Country Link
KR (1) KR102040703B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101712329B1 (en) 2016-10-31 2017-03-13 쌍용자동차 주식회사 Front vehicle start alarm apparatus and method thereof
KR20170058552A (en) * 2015-11-19 2017-05-29 주식회사 만도 Headlamp detecting apparatus and method
KR102319650B1 (en) * 2020-07-28 2021-10-29 숭실대학교산학협력단 Apparatus and method for pairing vehicle light

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008040615A (en) * 2006-08-02 2008-02-21 Denso Corp Vehicle detection device and head lamp controller
KR20100097907A (en) * 2009-02-27 2010-09-06 숭실대학교산학협력단 A scheme of extracting forward vehicle area using the acquired land and road area information
JP2012168838A (en) * 2011-02-16 2012-09-06 Fuji Heavy Ind Ltd Vehicle detection device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008040615A (en) * 2006-08-02 2008-02-21 Denso Corp Vehicle detection device and head lamp controller
KR20100097907A (en) * 2009-02-27 2010-09-06 숭실대학교산학협력단 A scheme of extracting forward vehicle area using the acquired land and road area information
JP2012168838A (en) * 2011-02-16 2012-09-06 Fuji Heavy Ind Ltd Vehicle detection device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170058552A (en) * 2015-11-19 2017-05-29 주식회사 만도 Headlamp detecting apparatus and method
KR101712329B1 (en) 2016-10-31 2017-03-13 쌍용자동차 주식회사 Front vehicle start alarm apparatus and method thereof
KR102319650B1 (en) * 2020-07-28 2021-10-29 숭실대학교산학협력단 Apparatus and method for pairing vehicle light

Also Published As

Publication number Publication date
KR102040703B1 (en) 2019-11-05

Similar Documents

Publication Publication Date Title
US9349070B2 (en) Vehicle external environment recognition device
US7566851B2 (en) Headlight, taillight and streetlight detection
US9224055B2 (en) Exterior environment recognition device
US9904860B2 (en) Vehicle exterior environment recognition apparatus
US9280900B2 (en) Vehicle external environment recognition device
US8903603B2 (en) Environment recognizing device for a vehicle and vehicle control system using the same
US20170024622A1 (en) Surrounding environment recognition device
US10037473B2 (en) Vehicle exterior environment recognition apparatus
JP6236039B2 (en) Outside environment recognition device
JP6420650B2 (en) Outside environment recognition device
US20190145768A1 (en) Object Distance Detection Device
US9524645B2 (en) Filtering device and environment recognition system
KR20140054922A (en) Method and device for detecting front vehicle
JP6240475B2 (en) Outside environment recognition device
JP6174960B2 (en) Outside environment recognition device
JP6378547B2 (en) Outside environment recognition device
JP2015089789A (en) Vehicle control device
JP2018163530A (en) Object detection device, object detection method, and object detection program
JP6273156B2 (en) Pedestrian recognition device
JPWO2020129517A1 (en) Image processing device
JP2016038700A (en) Vehicle external environment recognition device
JP6523694B2 (en) Outside environment recognition device
Parate et al. Night time rear end collision avoidance system using SMPTE-C standard and VWVF
JP6329442B2 (en) Outside environment recognition device
JP6313667B2 (en) Outside environment recognition device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant