KR20170138842A - System and Method for Tracking Vehicle on the basis on Template Matching - Google Patents

System and Method for Tracking Vehicle on the basis on Template Matching Download PDF

Info

Publication number
KR20170138842A
KR20170138842A KR1020160071180A KR20160071180A KR20170138842A KR 20170138842 A KR20170138842 A KR 20170138842A KR 1020160071180 A KR1020160071180 A KR 1020160071180A KR 20160071180 A KR20160071180 A KR 20160071180A KR 20170138842 A KR20170138842 A KR 20170138842A
Authority
KR
South Korea
Prior art keywords
candidate
vehicle
tracking
template
group
Prior art date
Application number
KR1020160071180A
Other languages
Korean (ko)
Inventor
최진혁
박태곤
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020160071180A priority Critical patent/KR20170138842A/en
Publication of KR20170138842A publication Critical patent/KR20170138842A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/133—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops

Abstract

Disclosed are a system and a method to track a vehicle based on template matching, capable of tracking a vehicle in a photographed image. According to one embodiment of the present invention, the system comprises: a candidate group detection unit to detect a candidate vehicle group from a plurality of pyramid images of each frame image through shape-based learning; a non-maximum suppression (NMS) extraction unit using NMS to cluster the similar candidate vehicle groups to output a candidate region; a tracking unit to track a position of the candidate region by a Kalman filter; and a template matching unit to template-match a reference template generated when starting traction with the position of the candidate region tracked thereafter, and reflecting a matching result to the candidate vehicle group to be detected.

Description

템플릿 매칭 기반의 차량 추적 시스템 및 방법{System and Method for Tracking Vehicle on the basis on Template Matching}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle tracking system and method based on template matching,

본 발명은 차량 추적 기술에 관한 것으로서, 더 구체적으로는 칼만 필터를 이용하는 템플릿 매칭 기반의 차량 추적 시스템 및 방법에 관한 것이다.The present invention relates to vehicle tracking technology, and more particularly, to a template matching based vehicle tracking system and method using a Kalman filter.

최근 들어, 운전자의 안전성과 편의성을 제고하기 위한 기술이 활발히 상용화되고 있다. In recent years, technologies for enhancing the safety and convenience of the driver have been actively commercialized.

이러한, 차량 안전기술은 자체 내에 장착된 센서를 이용하여 전방위 차량과 보행자 인지뿐만 아니라 차선과 운전자의 상태를 모니터링하여 추돌 경고, 차선 이탈 및 졸음운전 경고 등을 운전자에게 알려주는 수동적 경고 시스템으로부터 스스로 충돌 회피를 수행하는 능동적 안전 시스템으로 발전하고 있다.Such a vehicle safety technology uses a sensor installed in itself to monitor the lane and the driver's condition as well as the omnidirectional vehicle and the pedestrian, so that the driver himself or herself can collide with a passive warning system that notifies a driver of a collision warning, It is evolving into an active safety system that performs avoidance.

이러한 차량 안전 시스템에서 물체 추적 방법은 촬영 영상에 기반하는 비전 트래킹 방법을 주로 사용한다. In such a vehicle safety system, an object tracking method mainly uses a vision tracking method based on a photographed image.

비전 트래킹 방법은 형상을 기반으로 하는 템플릿 기반 추적, 가능성 모델 기반 추적인 칼만 필터나, Particle 필터 기법, 분포도 기반의 Mean Shift와 Cam Shift 기법 및 특징점 기반의 키 포인트 기반의 추적 기법인 KLT 특징 트래커 등이 있다.Vision tracking methods include template based tracking based on shape, Kalman filter based on possibility model based tracking, particle filter technique, Mean Shift and Cam Shift based on distribution map, and KLT feature tracker based on keypoint based tracking .

이 같은, 칼만 필터나, Particle 필터를 이용한 물체 추적 방법은 예측과 갱신을 하는 구조로 진행되며, 차량 검출기를 통해 구해진 영상 내 차량 좌표(x, y)를 측정값으로 하여 선형적인 움직임을 예측한다.Such an object tracking method using a Kalman filter or a particle filter proceeds with a structure for predicting and updating, and estimates a linear motion using a vehicle coordinate (x, y) in the image obtained through a vehicle detector as a measurement value .

그런데, 종래의 예측 및 갱신 구조의 차량 추적 방법은 도로 상의 떨림, 주변 차량과의 상대속도 차이 등의 다양한 변수를 통해 급격한 변화가 발생할 시에는 추적성능이 떨어지는 경향이 있다.However, in the conventional vehicle tracking method of the prediction and update structure, the tracking performance tends to deteriorate when a sudden change occurs due to various variables such as the shaking on the road and the relative speed difference with the surrounding vehicles.

예를 들어, 도로 표면의 변화에 의해 촬영 영상 내 급격한 수직변화 발생 시에는 종래의 예측 및 갱신 구조의 차량 추적 방법은 그 변화에 바로 대응하지 못하고, 차량 추적 결과가 늦거나, 차량 추적을 놓치는 결과가 초래된다.For example, when a sudden vertical change occurs in the photographed image due to a change in the road surface, the conventional vehicle tracking method of the prediction and update structure can not immediately respond to the change, and the vehicle tracking result is late, Lt; / RTI >

한국등록특허 제10-1342124(2013.12.10)Korean Patent No. 10-1342124 (Dec. 10, 2013)

본 발명은 전술한 바와 같은 기술적 배경에서 안출된 것으로서, 칼만 필터 및 템플릿 매칭을 이용하여 촬영 영상 내 차량을 추적할 수 있는 템플릿 매칭 기반의 차량 추적 시스템 및 방법을 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a vehicle tracking system and method based on template matching that can track a vehicle in a shot image using Kalman filter and template matching.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

본 발명의 일면에 따른 차량 추적 시스템은, 형상 기반 학습을 통해 각 프레임 영상의 복수의 피라미드 이미지로부터 차량 후보군을 검출하는 후보군 검출부; NMS(Non-Maximum Suppression)를 이용하여 유사한 차량 후보군을 군집화하여 후보 영역을 출력하는 NMS 추출부; 칼만 필터(Kalman Filter)에 의해 상기 후보 영역의 위치를 추적하는 추적부; 및 추적 시작 시에 생성된 기준 템플릿과 이후 추적된 상기 후보 영역의 위치를 템플릿 정합하고 그 정합 결과를 검출될 상기 차량 후보군으로 반영하는 템플릿 정합부를 포함하는 것을 특징으로 한다.A vehicle tracking system according to an aspect of the present invention includes: a candidate group detector for detecting a candidate group from a plurality of pyramid images of each frame image through shape-based learning; An NMS extraction unit for clustering similar vehicle candidate groups using NMS (Non-Maximum Suppression) and outputting candidate regions; A tracking unit for tracking a position of the candidate region by a Kalman filter; And a template matching unit for template matching the reference template generated at the start of the tracing and the position of the candidate region that is tracked after and reflecting the matching result to the candidate vehicle group to be detected.

여기서, 본 발명의 일면에 따른 차량 추적 시스템은 각 프레임 영상을 각기 관심영역의 크기가 다른 상기 복수의 피라미드 이미지로 변환하는 변환부를 더 포함할 수 있다.Here, the vehicle tracking system according to an embodiment of the present invention may further include a conversion unit that converts each frame image into the plurality of pyramid images having different sizes of the ROIs.

또한, 이러한 시스템은 추적 시작 시에 상기 후보 영역의 이미지인 상기 기준 템플릿을 생성하며, 상기 추적부의 추적중에는 상기 템플릿 정합의 코스트가 기설정된 임계치 미만이면, 상기 NMS 추출부에 의해 새롭게 추출된 상기 후보 영역으로 상기 기준 템플릿을 갱신하는 템플릿 생성부를 더 포함할 수도 있다.Also, the system generates the reference template, which is an image of the candidate region at the start of the tracing, and if the cost of the template matching is less than a predetermined threshold during the tracking of the tracking unit, And a template generation unit for updating the reference template with the region.

한편, 전술한 NMS 추출부는 상기 차량 후보군의 군집화 결과, 기설정된 횟수 이상 중복되는 차량 후보군을 상기 후보 영역으로 출력하며, 상기 후보군 검출부에 의해 검출된 차량 후보군 및 상기 템플릿 정합부의 템플릿 정합 결과에 따른 차량 후보군에 상기 NMS를 적용할 수 있다.Meanwhile, the NMS extracting unit may output a group of candidate vehicles overlapping by a predetermined number of times or more as a result of clustering of the candidate vehicle group to the candidate region. The vehicle candidate group detected by the candidate group detecting unit and the vehicle matching the template matching result of the template matching unit The NMS may be applied to the candidate group.

본 발명의 다른 면에 따른 적어도 하나의 프로세서에 의한 차량 추적 방법은, 형상 기반 학습을 통해 각 프레임 영상의 복수의 피라미드 이미지로부터 차량 후보군을 검출하는 단계; NMS(Non-Maximum Suppression)를 이용하여 유사한 차량 후보군을 군집화하여 후보 영역을 출력하는 단계; 칼만 필터(Kalman Filter)에 의해 상기 후보 영역의 위치를 추적하는 단계; 추적 시작 시에 생성된 기준 템플릿과 이후 추적된 상기 후보 영역의 위치를 템플릿 정합하는 단계; 및 상기 템플릿 정합의 결과를 검출될 상기 차량 후보군으로 반영하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, a vehicle tracking method by at least one processor includes the steps of: detecting a candidate vehicle group from a plurality of pyramid images of each frame image through shape-based learning; Outputting a candidate region by clustering similar vehicle candidate groups using NMS (Non-Maximum Suppression); Tracking the position of the candidate region by a Kalman filter; Template matching a reference template generated at the start of the tracing and a position of the candidate region that is tracked after the template; And reflecting the result of the template matching to the candidate vehicle group to be detected.

본 발명에 따르면, 차량 추적의 정확도를 높일 수 있다.According to the present invention, the accuracy of vehicle tracking can be increased.

도 1은 본 발명의 실시예에 따른 템플릿 정합을 이용한 차량 추적 시스템을 도시한 구성도.
도 2a는 본 발명의 실시예에 따른 피라미드 관심영역을 도시한 도면.
도 2b는 본 발명의 실시예에 따른 1계층으로 변환된 피라미드 이미지를 도시한 도면.
도 2c는 본 발명의 실시예에 따른 차량 후보군 영역을 도시한 도면.
도 3은 본 발명의 실시예에 따른 차량 추적 방법을 도시한 흐름도.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram showing a vehicle tracking system using template matching according to an embodiment of the present invention; FIG.
Figure 2a illustrates a pyramid region of interest according to an embodiment of the present invention;
FIG. 2B illustrates a pyramid image transformed into one layer according to an embodiment of the present invention; FIG.
2C is a view showing a candidate region of a vehicle according to an embodiment of the present invention;
3 is a flow chart illustrating a vehicle tracking method according to an embodiment of the present invention;

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, advantages and features of the present invention and methods of achieving them will be apparent from the following detailed description of embodiments thereof taken in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. As used herein, the terms " comprises, " and / or "comprising" refer to the presence or absence of one or more other components, steps, operations, and / Or additions.

이제 본 발명의 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다. Embodiments of the present invention will now be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 템플릿 정합을 이용한 차량 추적 시스템을 도시한 구성도이다. 도 2a는 본 발명의 실시예에 따른 피라미드 관심영역을 도시한 도면이며, 도 2b는 본 발명의 실시예에 따른 1계층으로 변환된 피라미드 이미지를 도시한 도면이고, 도 2c는 본 발명의 실시예에 따른 차량 후보군 영역을 도시한 도면이다.1 is a block diagram showing a vehicle tracking system using template matching according to an embodiment of the present invention. FIG. 2A illustrates a pyramid region of interest according to an embodiment of the present invention. FIG. 2B illustrates a pyramid image transformed into a single layer according to an embodiment of the present invention. FIG. Fig. 5 is a diagram showing a candidate region group of the vehicle according to the first embodiment;

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 템플릿 정합을 이용한 차량 추적 시스템(10)은 변환부(110), 후보군 검출부(120), 후보군 추가부(130), NMS 추출부(140), 추적부(150), 템플릿 생성부(160) 및 템플릿 정합부(170)를 포함한다.1, a vehicle tracking system 10 using template matching according to an exemplary embodiment of the present invention includes a conversion unit 110, a candidate group detection unit 120, a candidate group adding unit 130, an NMS extracting unit 140 A tracking unit 150, a template generating unit 160, and a template matching unit 170.

변환부(110)는 도 2a와 같이 촬영 영상의 각 프레임을 기설정된 피라미드 관심영역(210, ROI; Region Of Interest)으로 각기 추출하여 각기 크기가 다른 복수의 피라미드 이미지를 추출한다.The converting unit 110 extracts a plurality of pyramid images having different sizes by extracting each frame of the photographed image as a preset pyramid region of interest (ROI) 210 as shown in FIG. 2A.

참고로, 차량의 촬영 영상은 주로 전방 영상인데, 전방 영상에서 차량이 존재할 수 있는 위치는 제한적이고 자차와의 거리에 따라 촬영 영상 내 차량 크기가 다르다. 이에, 본 발명에서는 촬영 영상의 각 프레임을 복수의 피라미드 이미지로 구분하여 사용함에 따라 거리별 차량을 모두 검출할 수 있다.For reference, the photographed image of the vehicle is mainly the front image, but the position where the vehicle can exist in the front image is limited and the size of the vehicle in the photographed image is different according to the distance from the vehicle. Accordingly, in the present invention, since each frame of the photographed image is divided into a plurality of pyramid images, it is possible to detect all vehicles by distance.

변환부(110)는 도 2b와 같이 복수의 피라미드 이미지를 1계층(Layer) 이미지로 변환할 수 있다. 이는 후보군 검출부(120)의 복수의 피라미드 이미지에 대한 순차적인 학습을 위한 것일 수 있다.The converting unit 110 may convert a plurality of pyramid images into a first layer image as shown in FIG. 2B. This may be for sequential learning of a plurality of pyramid images of the candidate group detection unit 120. [

후보군 검출부(120)는 기설정된 형상 기반 학습기를 이용하여 1계층으로 변환된 복수의 피라미드 영상으로부터 차량 후보군(도 2c의 220)을 각기 검출한다.The candidate group detection unit 120 detects each candidate group (220 in FIG. 2C) from a plurality of pyramid images converted into one layer by using a predetermined shape-based learning unit.

이때, 후보군 추가부(130)는 기수행된 템플릿 정합(Template)의 결과가 존재하면, 템플릿 정합의 결과에 따른 차량 후보를 후보군 검출부(120)에 의해 검출된 차량 후보군에 추가한다. 이에, 최초 실행 시 템플릿 정합의 결과가 존재하지 않은 경우에는 후보군 추가부(130)는 차량 후보군을 추가하지 않는다.At this time, the candidate group addition unit 130 adds the vehicle candidates according to the template matching result to the candidate vehicle group detected by the candidate group detection unit 120, if there is a result of the template matching performed. Therefore, when there is no template matching result at the time of initial execution, the candidate group adding unit 130 does not add the candidate group of the vehicle.

NMS 추출부(140)는 NMS(Non-Maximum Suppression) 추출을 통해 형상 기반 학습 또는 템플릿 정합을 통해 검출된 차량 후보군들 간의 관계를 비교하고, 유사한 관계끼리 군집화한다(Clustering). The NMS extracting unit 140 compares the relationships among the candidate vehicle groups detected through the shape-based learning or the template matching through NMS (Non-Maximum Suppression) extraction, and clusters similar relations.

이때, NMS 추출부(140)는 NMS 결과에서 차량 후보인 것으로 3회 이상 검출된 영역의 위치정보를 제공할 수 있다. 이 같이, 본 발명에서는 NMS 추출을 이용하여 검출된 차량 후보군들 중에서 더 많이 중복된 영역을 추적할 영역으로 검출할 수 있다. 따라서, 본 발명의 실시예는 차량 검출 및 추적 정확도를 더 높일 수 있다.At this time, the NMS extracting unit 140 may provide the location information of the area detected three times or more as the vehicle candidate in the NMS result. As described above, in the present invention, it is possible to detect more overlapping areas among the candidate vehicle groups detected using the NMS extraction as a tracking area. Thus, embodiments of the present invention can further improve vehicle detection and tracking accuracy.

이와 달리, NMS 추출부(140)는 검출된 영역의 위치정보를 여과 없이 추적부(150)에 제공할 수도 있다.Alternatively, the NMS extracting unit 140 may provide the tracking unit 150 with the location information of the detected region without filtering.

추적부(150)는 NMS 추출부(140)로부터의 제공된 위치정보에 대응하는 영역을 칼만 필터를 이용하여 추적하고, 추적된 위치좌표를 출력한다. The tracking unit 150 tracks an area corresponding to the provided position information from the NMS extracting unit 140 using a Kalman filter and outputs the tracked position coordinates.

여기서, NMS 추출부(140)로부터 위치정보를 여과 없이 전달받은 경우에는 추적부(150)가 자체적으로 동일한 위치정보가 3회 이상 전달되는지를 확인하고, 그러한 경우에 추적을 시작할 수도 있다.Here, if the NMS extracting unit 140 receives the location information without filtering, the tracking unit 150 may check whether the same location information is transmitted three times or more, and may start the tracking in such a case.

템플릿 생성부(160)는 칼만 필터에 의한 차량 추적이 시작될 때 추적 영역에 대한 이미지를 포함하는 기준 템플릿을 생성한다.The template generating unit 160 generates a reference template including an image for the tracking area when the vehicle tracking by the Kalman filter is started.

또한, 템플릿 생성부(160)는 칼만 필터에 의한 차량 추적 중에는 이전의 템플릿 정합 결과의 코스트가 임계치 미만인지 여부를 확인하여 임계치 미만일 때는 기준템플릿을 재생성한다. The template generating unit 160 checks whether the cost of the previous template matching result is less than the threshold value during vehicle tracking by the Kalman filter, and regenerates the reference template when the cost is less than the threshold value.

여기서, 템플릿 생성부(160)는 코스트가 임계치 미만일 때는 NMS 추출부(140)에 의해 새롭게 전달된 영역을 이용하여 기준 템플릿을 재생성(update)할 수 있다. 이 같이, 본 발명에서는 템플릿 정합 결과 매칭 코스트가 임계치 미만이어서 기준 템플릿이 차량일 가능성이 낮을 경우에는 템플릿을 갱신하여 추적 정확도를 높일 수 있다.Here, when the cost is less than the threshold value, the template generating unit 160 may update the reference template using the area newly transmitted by the NMS extracting unit 140. [ As described above, in the present invention, if the matching cost of the template matching result is less than the threshold value, and the likelihood of the reference template being a vehicle is low, the template can be updated to improve the tracking accuracy.

반면, 이전 템플릿 정합 결과 코스트가 임계치 이상이면, 템플릿 생성부(160)는 기생성된 기준 템플릿을 이용하여 템플릿 매칭을 지속한다.On the other hand, if the result of the previous template matching is less than the threshold value, the template generating unit 160 continues the template matching using the previously generated reference template.

템플릿 정합부(170)는 칼만 필터를 통해 추적된 위치좌표의 영상과 기준 템플릿을 템플릿 정합하여 그 유사성을 비교함에 따라 더 정확한 차량 위치좌표를 검출한다. The template matching unit 170 detects template coordinates of the image of the position coordinates tracked through the Kalman filter and the reference template, and compares the similarity with more accurate vehicle position coordinates.

이때, 템플릿 정합부(170)에 의한 검출된 차량 위치좌표는 후보군 추가부(130)로 제공되어, NMS 추출에 이용될 수 있다.At this time, the vehicle position coordinates detected by the template matching unit 170 are provided to the candidate group addition unit 130 and can be used for NMS extraction.

이와 같이, 본 발명의 실시예는 칼만 필터를 통해 업데이트된 좌표 영상과 기준 템플릿 간의 템플릿 정합을 통해 더욱 정확한 차량 위치좌표를 검출할 수 있다.As described above, the embodiment of the present invention can detect more accurate vehicle position coordinates through template matching between the updated coordinate image and the reference template through the Kalman filter.

또한, 본 발명의 실시예는 주변 차량과의 상대속도 차이, 도로 표면의 변화에 의해 급격한 수직변화 발생 시 등과 같이 다양한 변수를 통해 급격한 변화가 발생할 시에도 강인한 추적 성능을 보장할 수 있다.In addition, the embodiment of the present invention can ensure robust tracking performance even when a sudden change occurs due to various variables such as a relative speed difference with a nearby vehicle, a sudden vertical change due to a change in road surface, and the like.

더 나아가, 본 발명의 실시예는 차량은 물론, 보행자 및 다양한 물체 검출 시스템에 적용되어, 검출 정확도를 향상시킬 수 있다.Furthermore, the embodiments of the present invention can be applied not only to vehicles but also to pedestrians and various object detection systems, thereby improving detection accuracy.

이하, 도 3을 참조하여 본 발명의 실시예에 따른 차량 추적 방법에 대하여 설명한다. 도 3은 본 발명의 실시예에 따른 차량 추적 방법을 도시한 흐름도이다.Hereinafter, a vehicle tracking method according to an embodiment of the present invention will be described with reference to FIG. 3 is a flowchart illustrating a vehicle tracking method according to an embodiment of the present invention.

도 3을 참조하면, 차량 추적 시스템(10)은 각 프레임 영상을 각기 관심영역의 크기가 다른 복수의 피라미드 이미지로 변환한다(S310).Referring to FIG. 3, the vehicle tracking system 10 converts each frame image into a plurality of pyramid images each having a different size of a region of interest (S310).

차량 추적 시스템(10)은 형상 기반 학습을 통해 각 프레임 영상의 복수의 피라미드 이미지로부터 차량 후보군을 검출한다(S320).The vehicle tracking system 10 detects a vehicle candidate group from a plurality of pyramid images of each frame image through shape-based learning (S320).

차량 추적 시스템(10)은 NMS(Non-Maximum Suppression)를 이용하여 유사한 차량 후보군을 군집화하여 후보 영역을 출력한다(S330).The vehicle tracking system 10 clusters similar vehicle candidate groups using NMS (Non-Maximum Suppression) to output candidate regions (S330).

차량 추적 시스템(10)은 칼만 필터에 의해 후보 영역의 위치좌표를 추적한다(S340).The vehicle tracking system 10 tracks the positional coordinates of the candidate region by the Kalman filter (S340).

차량 추적 시스템(10)은 추적 시작 시에 후보 영역의 이미지를 이용해 기준 템플릿을 생성한다(S350).The vehicle tracking system 10 generates a reference template using the image of the candidate region at the start of the tracing (S350).

차량 추적 시스템(10)은 추적된 후보 영역의 위치좌표와 기준 템플릿을 템플릿 정합한다(S360).The vehicle tracking system 10 templates the reference template with the position coordinates of the tracked candidate region (S360).

차량 추적 시스템(10)은 템플릿 정합의 결과를 NMS 추출할 차량 후보군에 반영한다(S370).The vehicle tracking system 10 reflects the result of the template matching to the candidate vehicle group to extract NMS (S370).

이와 같이, 본 발명의 실시예는 칼만 필터를 통해 업데이트된 좌표 영상과 기준 템플릿 간의 템플릿 정합을 통해 더욱 정확한 차량 위치좌표를 검출할 수 있다.As described above, the embodiment of the present invention can detect more accurate vehicle position coordinates through template matching between the updated coordinate image and the reference template through the Kalman filter.

또한, 본 발명의 실시예는 주변 차량과의 상대속도 차이, 도로 표면의 변화에 의해 급격한 수직변화 발생 시 등과 같이 다양한 변수를 통해 급격한 변화가 발생할 시에도 강인한 추적 성능을 보장할 수 있다.In addition, the embodiment of the present invention can ensure robust tracking performance even when a sudden change occurs due to various variables such as a relative speed difference with a nearby vehicle, a sudden vertical change due to a change in road surface, and the like.

더 나아가, 본 발명의 실시예는 차량은 물론, 보행자 및 다양한 물체 검출 시스템에 적용되어, 검출 정확도를 향상시킬 수 있다.Furthermore, the embodiments of the present invention can be applied not only to vehicles but also to pedestrians and various object detection systems, thereby improving detection accuracy.

이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.While the present invention has been described in detail with reference to the accompanying drawings, it is to be understood that the invention is not limited to the above-described embodiments. Those skilled in the art will appreciate that various modifications, Of course, this is possible. Accordingly, the scope of protection of the present invention should not be limited to the above-described embodiments, but should be determined by the description of the following claims.

10: 차량 검출 시스템 110: 변환부
120: 후보군 검출부 130: 후보군 추가부
140: NMS 추출부 150: 추적부
160: 템플릿 생성부 170: 템플릿 정합부10: vehicle detection system 110:
120: candidate group detecting unit 130: candidate group adding unit
140: NMS extracting unit 150:
160: template generating unit 170: template matching unit

Claims (10)

형상 기반 학습을 통해 각 프레임 영상의 복수의 피라미드 이미지로부터 차량 후보군을 검출하는 후보군 검출부;
NMS(Non-Maximum Suppression)를 이용하여 검출된 상기 차량 후보군 중에서 유사한 차량 후보군을 군집화하여 후보 영역을 출력하는 NMS 추출부;
칼만 필터(Kalman Filter)에 의해 상기 후보 영역의 위치를 추적하는 추적부; 및
추적 시작 시에 생성된 기준 템플릿과 이후 추적된 상기 후보 영역의 위치를 템플릿 정합하고 그 정합 결과를 검출될 상기 차량 후보군에 반영하는 템플릿 정합부
를 포함하는 차량 추적 시스템.A candidate group detector for detecting a candidate group from a plurality of pyramid images of each frame image through shape-based learning;
An NMS extracting unit for clustering similar candidate candidates among the candidate candidates detected using NMS (Non-Maximum Suppression) and outputting candidate regions;
A tracking unit for tracking a position of the candidate region by a Kalman filter; And
A template matching unit for template matching the position of the reference template generated at the start of the tracing with the position of the candidate area traced thereafter and reflecting the matching result to the candidate vehicle group to be detected,
The vehicle tracking system comprising: 제1항에서,
상기 각 프레임 영상을 각기 관심영역의 크기가 다른 상기 복수의 피라미드 이미지로 변환하는 변환부
를 더 포함하는 차량 추적 시스템.The method of claim 1,
And converting the frame images into the plurality of pyramid images having different sizes of the ROIs,
The vehicle tracking system further comprising: 제1항에서,
상기 추적 시작 시에 상기 후보 영역의 이미지인 상기 기준 템플릿을 생성하고, 상기 추적부의 추적중에 상기 템플릿 정합의 코스트가 기설정된 임계치 미만이면, 상기 NMS 추출부에 의해 새롭게 추출된 상기 후보 영역을 이용해 상기 기준 템플릿을 갱신하는 템플릿 생성부
를 더 포함하는 차량 추적 시스템.The method of claim 1,
If the cost of the template matching is less than a preset threshold value during the tracking of the tracking unit, using the candidate region newly extracted by the NMS extracting unit, A template generation unit
The vehicle tracking system further comprising: 제1항에서, 상기 NMS 추출부는,
상기 차량 후보군의 군집화 결과, 기설정된 횟수 이상 중복되는 차량 후보군을 상기 후보 영역으로 출력하는 것인 차량 추적 시스템.The apparatus of claim 1,
And outputs to the candidate region a candidate vehicle group that overlaps the predetermined number of times or more as a result of clustering of the vehicle candidate group. 제1항에서, 상기 NMS 추출부는,
상기 복수의 피라미드 이미지로부터 검출된 차량 후보군 및 상기 정합 결과에 따른 차량 후보군에 상기 NMS를 적용하는 것인 차량 추적 시스템.The apparatus of claim 1,
Wherein the NMS is applied to a vehicle candidate group detected from the plurality of pyramid images and a vehicle candidate group according to the matching result. 적어도 하나의 프로세서에 의한 차량 추적 방법으로서,
형상 기반 학습을 통해 각 프레임 영상의 복수의 피라미드 이미지로부터 차량 후보군을 검출하는 단계;
NMS(Non-Maximum Suppression)를 이용하여 상기 차량 후보군 중에서 유사한 차량 후보군을 군집화하여 후보 영역을 출력하는 단계;
칼만 필터(Kalman Filter)에 의해 상기 후보 영역의 위치를 추적하는 단계;
추적 시작 시에 생성된 기준 템플릿과 이후 추적된 상기 후보 영역의 위치를 템플릿 정합하는 단계; 및
상기 템플릿 정합의 결과를 검출될 상기 차량 후보군으로 반영하는 단계
를 포함하는 차량 추적 방법.A vehicle tracking method by at least one processor,
Detecting a vehicle candidate group from a plurality of pyramid images of each frame image through shape-based learning;
Outputting candidate regions by clustering similar vehicle candidate groups among the vehicle candidate groups using NMS (Non-Maximum Suppression);
Tracking the position of the candidate region by a Kalman filter;
Template matching a reference template generated at the start of the tracing and a position of the candidate region that is tracked after the template; And
Reflecting the result of the template matching to the vehicle candidate group to be detected
Gt; 제6항에서,
상기 각 프레임 영상을 각기 관심영역의 크기가 다른 상기 복수의 피라미드 이미지로 변환하는 단계
를 더 포함하는 차량 추적 방법.The method of claim 6,
Converting each of the frame images into the plurality of pyramid images having different sizes of the ROIs
Further comprising the steps of: 제6항에서,
상기 추적 시작 시에 상기 후보 영역의 이미지인 상기 기준 템플릿을 생성하는 단계;
상기 후보 영역의 위치 추적중에 상기 템플릿 정합의 코스트가 기설정된 임계치 이상인지를 확인하는 단계; 및
상기 코스트가 상기 임계치 미만이면, 새롭게 추출된 상기 후보 영역으로 상기 기준 템플릿을 갱신하는 단계
를 더 포함하는 차량 추적 방법.The method of claim 6,
Generating the reference template that is an image of the candidate region at the start of the tracking;
Confirming whether the cost of the template matching is greater than or equal to a predetermined threshold value during the tracking of the candidate region; And
If the cost is less than the threshold, updating the reference template to the newly extracted candidate region
Further comprising the steps of: 제6항에서, 상기 후보 영역을 출력하는 단계는,
상기 차량 후보군의 군집화 결과, 기설정된 횟수 이상 중복되는 차량 후보군을 상기 후보 영역으로 출력하는 단계
를 포함하는 것인 차량 추적 방법.7. The method of claim 6, wherein outputting the candidate region comprises:
Outputting to the candidate region a candidate vehicle group that overlaps a predetermined number of times or more as a result of clustering of the vehicle candidate group
The vehicle tracking method comprising: 제6항에서, 상기 후보 영역을 출력하는 단계는,
상기 검출하는 단계에서 검출된 차량 후보군 및 상기 정합하는 단계의 결과에 따른 차량 후보군에 상기 NMS를 적용하는 것인 차량 추적 방법.7. The method of claim 6, wherein outputting the candidate region comprises:
Wherein the NMS is applied to the vehicle candidate group detected in the detecting step and the vehicle candidate group according to a result of the matching step.
KR1020160071180A 2016-06-08 2016-06-08 System and Method for Tracking Vehicle on the basis on Template Matching KR20170138842A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160071180A KR20170138842A (en) 2016-06-08 2016-06-08 System and Method for Tracking Vehicle on the basis on Template Matching

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160071180A KR20170138842A (en) 2016-06-08 2016-06-08 System and Method for Tracking Vehicle on the basis on Template Matching

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180049072A Division KR20180048519A (en) 2018-04-27 2018-04-27 System and Method for Tracking Vehicle on the basis on Template Matching

Publications (1)

Publication Number Publication Date
KR20170138842A true KR20170138842A (en) 2017-12-18

Family

ID=60922871

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160071180A KR20170138842A (en) 2016-06-08 2016-06-08 System and Method for Tracking Vehicle on the basis on Template Matching

Country Status (1)

Country Link
KR (1) KR20170138842A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190135176A (en) 2018-05-28 2019-12-06 삼성에스디에스 주식회사 Method for matching template and apparatus thereof
WO2020030134A1 (en) * 2018-08-09 2020-02-13 京东方科技集团股份有限公司 Non-maximum suppression method, apparatus and device for multi-target detection
KR20210083760A (en) * 2019-12-27 2021-07-07 (주)베라시스 Real-Time Multi-Class Multi-Object Tracking Method Using Image Based Object Detection Information

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190135176A (en) 2018-05-28 2019-12-06 삼성에스디에스 주식회사 Method for matching template and apparatus thereof
WO2020030134A1 (en) * 2018-08-09 2020-02-13 京东方科技集团股份有限公司 Non-maximum suppression method, apparatus and device for multi-target detection
US11468594B2 (en) 2018-08-09 2022-10-11 Boe Technology Group Co., Ltd. Image processing method, device and apparatus for multi-object detection
KR20210083760A (en) * 2019-12-27 2021-07-07 (주)베라시스 Real-Time Multi-Class Multi-Object Tracking Method Using Image Based Object Detection Information

Similar Documents

Publication Publication Date Title
US6956469B2 (en) Method and apparatus for pedestrian detection
US7672514B2 (en) Method and apparatus for differentiating pedestrians, vehicles, and other objects
Zhang et al. Vehicle detection based on LiDAR and camera fusion
JP5297078B2 (en) Method for detecting moving object in blind spot of vehicle, and blind spot detection device
Zhao et al. A novel multi-lane detection and tracking system
CN106647776B (en) Method and device for judging lane changing trend of vehicle and computer storage medium
US20050232463A1 (en) Method and apparatus for detecting a presence prior to collision
US8994823B2 (en) Object detection apparatus and storage medium storing object detection program
US7103213B2 (en) Method and apparatus for classifying an object
WO2016129403A1 (en) Object detection device
EP2960886A1 (en) Moving object recognition systems, moving object recognition programs, and moving object recognition methods
JP6450294B2 (en) Object detection apparatus, object detection method, and program
KR101427032B1 (en) Apparatus and method for recognizing pedestrian in vehicle, and apparatus and method for warning and preventing collision with pedestrian in vehicle using thereof
JP2011065338A (en) Object tracking device and program
WO2006026688A2 (en) Method and apparatus for classifying an object
JP2006160116A (en) Vehicle motion estimation device and moving body detection device
JP6815963B2 (en) External recognition device for vehicles
Tanaka et al. Vehicle detection based on perspective transformation using rear-view camera
KR20170137273A (en) Apparatus and Method for Pedestrian Detection using Deformable Part Model
KR20170138842A (en) System and Method for Tracking Vehicle on the basis on Template Matching
WO2017208601A1 (en) Image processing device and external recognition device
JP2010072947A (en) Obstacle detection device
KR20190134303A (en) Apparatus and method for image recognition
US20230245323A1 (en) Object tracking device, object tracking method, and storage medium
KR20180048519A (en) System and Method for Tracking Vehicle on the basis on Template Matching

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
A107 Divisional application of patent