KR101984209B1 - Real-time tracking device and method of specific vehicle by continuous frame by continuous tracking control module by intelligent frame - Google Patents

Real-time tracking device and method of specific vehicle by continuous frame by continuous tracking control module by intelligent frame Download PDF

Info

Publication number
KR101984209B1
KR101984209B1 KR1020180143227A KR20180143227A KR101984209B1 KR 101984209 B1 KR101984209 B1 KR 101984209B1 KR 1020180143227 A KR1020180143227 A KR 1020180143227A KR 20180143227 A KR20180143227 A KR 20180143227A KR 101984209 B1 KR101984209 B1 KR 101984209B1
Authority
KR
South Korea
Prior art keywords
frame
target box
vehicle
reference target
cctv
Prior art date
Application number
KR1020180143227A
Other languages
Korean (ko)
Inventor
박영기
Original Assignee
주식회사 싸인텔레콤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 싸인텔레콤 filed Critical 주식회사 싸인텔레콤
Priority to KR1020180143227A priority Critical patent/KR101984209B1/en
Application granted granted Critical
Publication of KR101984209B1 publication Critical patent/KR101984209B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

The present invention relates to an apparatus for tracking a specific vehicle in real time, which comprises a CCTV module (100) for the field and a continuous tracking control module (200) per intelligent frame. Provided are an apparatus and a method for tracking a specific vehicle per continuous frame in real time through a continuous tracking control module per intelligent frame having a wide range of use and excellent compatibility and installation.

Description

지능형 프레임별 연속추적제어모듈을 통한 연속프레임별 특정차량 실시간 추적장치 및 방법{REAL-TIME TRACKING DEVICE AND METHOD OF SPECIFIC VEHICLE BY CONTINUOUS FRAME BY CONTINUOUS TRACKING CONTROL MODULE BY INTELLIGENT FRAME}TECHNICAL FIELD [0001] The present invention relates to a real-time tracking device and a method for real-time tracking of a specific vehicle by a continuous frame through an intelligent frame-by-frame continuous tracking control module,

본 발명에서는 현장용 CCTV모듈의 내부공간, 또는 복수개의 현장용 CCTV모듈과 CCTV 통합관제관리서버 사이의 중개장치의 내부공간에 설치되어, 기준 표적 박스를 기준으로 현재 프레임 상에 매칭 시키고, 차량특징점과 광류 흐름, 속도 정보를 종합적으로 이용하여 신뢰도를 갱신하여 특정 차량을 연속적으로 추적시킬수 있는 지능형 프레임별 연속추적제어모듈을 통한 연속프레임별 특정차량 실시간 추적장치 및 방법에 관한 것이다.In the present invention, the CCTV module is installed in the internal space of the CCTV module for the field, or in the internal space of the intermediate apparatus between the plurality of CCTV modules for the field and the CCTV integration control management server, matches the current target frame with the reference target box, The present invention relates to an apparatus and method for real-time tracking of a specific vehicle by a continuous frame through an intelligent frame-by-frame continuous tracking control module that can continuously track a specific vehicle by renewing its reliability using a comprehensive flow and speed information.

최근 들어, 운전자의 안전성과 편의성을 제고하기 위한 기술이 활발히 상용화되고 있다.In recent years, technologies for enhancing the safety and convenience of the driver have been actively commercialized.

이러한, 차량 안전기술은 자체 내에 장착된 센서를 이용하여 전방위 차량과 보행자 인지뿐만 아니라 차선과 운전자의 상태를 모니터링하여 추돌 경고, 차선 이탈 및 졸음운전 경고 등을 운전자에게 알려주는 수동적 경고 시스템으로부터 스스로 충돌 회피를 수행하는 능동적 안전 시스템으로 발전하고 있다.Such a vehicle safety technology uses a sensor installed in itself to monitor the lane and the driver's condition as well as the omnidirectional vehicle and the pedestrian, so that the driver himself or herself can collide with a passive warning system that notifies a driver of a collision warning, It is evolving into an active safety system that performs avoidance.

이러한 차량 안전 시스템에서 물체 추적 방법은 촬영 영상에 기반하는 비전 트래킹 방법을 주로 사용한다.In such a vehicle safety system, an object tracking method mainly uses a vision tracking method based on a photographed image.

비전 트래킹 방법은 형상을 기반으로 하는 템플릿 기반 추적, 가능성 모델 기반 추적인 칼만 필터나, Particle필터 기법, 분포도 기반의 Mean Shift와 Cam Shift 기법 및 특징점 기반의 키 포인트 기반의 추적 기법인 KLT특징 트래커 등이 있다. Vision tracking methods include template based tracking based on shape, Kalman filter based on possibility model based tracking, particle filter technique, Mean Shift and Cam Shift based on distribution map, and KLT feature tracker based on keypoint based tracking .

이와 같은, 칼만 필터나, Particle 필터를 이용한 물체 추적 방법은 예측과 갱신을 하는 구조로 진행되며, 차량검출기를 통해 구해진 영상 내 차량 좌표(x, y)를 측정값으로 하여 선형적인 움직임을 예측한다.Such an object tracking method using a Kalman filter or a particle filter proceeds with a structure for predicting and updating and estimates a linear motion using the vehicle coordinates (x, y) in the image obtained through the vehicle detector as a measurement value .

그런데, 종래의 예측 및 갱신 구조의 차량 추적 방법은 도로 상의 떨림, 주변 차량과의 상대속도 차이 등의 다양한 변수를 통해 급격한 변화가 발생할 시에는 추적성능이 떨어지는 경향이 있다.However, in the conventional vehicle tracking method of the prediction and update structure, the tracking performance tends to deteriorate when a sudden change occurs due to various variables such as the shaking on the road and the relative speed difference with the surrounding vehicles.

이러한 문제점을 해결하기 위해, 국내공개특허공보 제10-2018-0048519호에서는 후보군검출부, NMS 추출부, 추적부, 템플릿 정합부, 템플릿 생성부로 이루어진 템플릿 매칭 기반의 차량 추적 시스템 및 방법이 제시된 바 있으나, In order to solve such a problem, Japanese Patent Application Laid-Open No. 10-2018-0048519 discloses a template matching based vehicle tracking system and method comprising a candidate group detecting unit, an NMS extracting unit, a tracking unit, a template matching unit, and a template generating unit ,

이는 연산량이 많아 실시간성이 보장되지 않으며 검출결과가 훈련되는 데이터의 형태에 영향을 받기 때문에 다양한 환경에서입력되는 데이터에 적용할수 없다는 문제점이 있었다.This is problematic in that the real-time property can not be guaranteed due to a large amount of computation and the detection result is influenced by the type of data to be trained.

또한, 기존의 촬영영상내에서 객체인식을 위해 Haar, HOG (Histogram of Oriented Gradients), Adaboost가 적용되고 있으나, 안개 낀 날씨, 비 오는 날씨와 같은 악조건의 환경변화에 대한 차량검출오류가 자주 발생되고, 50m~100m의 짧은 추적거리와 최적화의 문제로 실시간 차량검출 및 추적이 불가능한 문제점이 있었다.In addition, Haar, HOG (Histogram of Oriented Gradients) and Adaboost are applied for object recognition in existing images, but vehicle detection errors are frequent for environment changes such as foggy weather and rainy weather , Short tracking distance of 50m ~ 100m, and optimization problem, it is impossible to detect and track real time vehicles.

국내공개특허공보 제10-2018-0048519호Korean Patent Publication No. 10-2018-0048519

상기의 문제점을 해결하기 위해 본 발명에서는 기준 표적 박스를 기준으로 현재 프레임 상에 매칭 시키고, 차량특징점과 광류 흐름, 속도 정보를 종합적으로 이용하여 신뢰도를 갱신하여 특정 차량을 연속적으로 추적시킬수 있고, 차량추적거리를 늘릴수 있으며, 차량검출속도를 향상시킬 수 있고, 배경변화로 인해 발생하는 오류를 향상시킬 수 있고, 슬림하고 모듈화구조로 이루어져, 현장용 CCTV모듈의 내부공간, 또는 복수개의 현장용 CCTV모듈과 CCTV 통합관제관리서버 사이의 중개장치의 내부공간에 설치할 수 있는 지능형 프레임별 연속추적제어모듈을 통한 연속프레임별 특정차량 실시간 추적장치 및 방법을 제공하는데 그 목적이 있다.In order to solve the above problems, in the present invention, it is possible to continuously track a specific vehicle by matching the reference target box on the current frame, updating the reliability by comprehensively using vehicle characteristic points, optical flow and speed information, It is possible to increase the tracking distance, to improve the detection speed of the vehicle, to improve the error caused by the background change, and to have a slim and modular structure, so that the internal space of the field CCTV module, And an object of the present invention is to provide an apparatus and method for real-time tracking of a specific vehicle by a continuous frame through an intelligent frame-by-frame continuous tracking control module that can be installed in an internal space of an intermediate apparatus between CCTV integrated control management servers.

상기의 목적을 달성하기 위해 본 발명에 따른 지능형 프레임별 연속추적제어모듈을 통한 연속프레임별 특정차량 실시간 추적장치는In order to achieve the above object, a continuous-frame specific vehicle real-time tracking device according to an embodiment of the present invention includes:

도로 및 보도상에 위치되어, 차량의 영상을 촬영하고, 촬영한 현장용 CCTV영상데이터를 지능형 프레임별 연속추적제어모듈로 전송시키는 현장용 CCTV모듈(100)과,An on-site CCTV module (100) which is located on a road and a sidewalk, captures an image of a vehicle, and transmits the photographed on-site CCTV image data to an intelligent frame-

하나의 현장용 CCTV모듈, 또는, 하나의 현장용 CCTV모듈과 서로 이웃하는 또 다른 현장용 CCTV모듈 과 유무선통신네트워크망을 형성하면서, 프레임별 현장용 CCTV 영상데이터를 수신받아, 기준 표적 박스를 기준으로 현재 프레임 상에 매칭 시키고, 차량특징점과 광류 흐름, 속도 정보를 종합적으로 이용하여 신뢰도를 갱신하여 특정 차량을 연속적으로 추적시키도록 제어하는 지능형 프레임별 연속추적제어모듈(200)로 구성됨으로서 달성된다.Frame CCTV module, or one CCTV module in the field, another CCTV module in the neighborhood and another CCTV module in the vicinity, and receives the CCTV image data for each frame, , And an intelligent frame-by-frame continuous tracking control module (200) for updating the reliability by collectively using the vehicle characteristic points, the current flow, and the speed information to continuously track a specific vehicle.

또한, 본 발명에 따른 지능형 프레임별 연속추적제어모듈을 통한 연속프레임별 특정차량 실시간 추적방법은In addition, according to the present invention, there is provided a method for real-

현장용 CCTV모듈에서, 차량의 영상을 촬영하고, 촬영한 현장용 CCTV영상데이터를 지능형 프레임별 연속추적제어모듈로 전송시키는 단계(S100)와,A step (S100) of capturing an image of a vehicle in the field CCTV module and transmitting the captured field CCTV image data to an intelligent frame-by-frame continuous tracking control module,

지능형 프레임별 연속추적제어모듈의 유무선통신네트워크망 형성부에서 하나의 현장용 CCTV모듈, 또는, 하나의 현장용 CCTV모듈과 서로 이웃하는 또 다른 현장용 CCTV모듈과 유무선통신네트워크망을 형성시키는 단계(S200)와,A step S200 of forming an on-site CCTV module or one on-site CCTV module and another on-site CCTV module and a wired / wireless communication network in the wired / wireless communication network forming part of the intelligent frame- ,

지능형 프레임별 연속추적제어모듈의 프레임별 현장용 CCTV 영상데이터 수신부에서 하나의 현장용 CCTV모듈, 또는, 하나의 현장용 CCTV모듈과 서로 이웃하는 또 다른 현장용 CCTV모듈로부터 전송된 프레임별 현장용 CCTV 영상데이터를 수신받아 YOLO형 객체 검출부로 전달시키는 단계(S300)와,Frame CCTV image data received from the CCTV image data receiver for each frame of the intelligent frame-based continuous tracking control module receives one CCTV module for the field or CCTV image data for each frame transmitted from another CCTV module adjacent to the one CCTV module To the YOLO-type object detecting unit (S300)

지능형 프레임별 연속추적제어모듈의 욜로(YOLO : You Only Look Once)형 객체 분류부에서, 프레임별 현장용 CCTV 영상데이터 수신부로부터 전달된 프레임별 현장용 CCTV 영상데이터 상에서, 검출하고자하는 특정차량의 탐색 윈도우 크기와 탐색할 관심영역 위치를 설정한 후, 각 프레임별 차량이 있는 차량영역을 검출한 표적박스(target Box)의 목록을 생성시켜 SPAT(Spatial Partition analysis tracking)형 비교분석제어부로 전달시키는 단계(S400)와,In the YOLO (You Only Look Once) object classification unit of the intelligent frame-based continuous tracking control module, on the CCTV image data for each frame transmitted from the CCTV image data receiving unit for each frame, a search window size (S400), and then transmits the generated target list to the SPAT (Spatial Partition Analysis Tracking) type comparative analysis control unit (S400) )Wow,

지능형 프레임별 연속추적제어모듈의 SPAT(Spatial Partition analysis tracking)형 기준표적박스검출부에서, 욜로(YOLO)형 객체 분류부로부터 전달된 프레임별로 생성된 표적박스(target Box) 목록을 기준으로, 이전프레임과 현재프레임에 존재하는 같은 종류의 특정차량영역들 간의 유사도를 비교분석하여, 추적하고자하는 특정차량 영역만을 나타내는 기준표적박스로 검출시키는 단계(S500)와,In the SPAT (Spatial Partition analysis tracking) type reference target box detection unit of the intelligent frame-by-frame continuous tracking control module, based on the target box list generated for each frame transmitted from the YOLO type object classification unit, (S500) comparing and analyzing the similarity between specific vehicle regions of the same type existing in the current frame and detecting a reference target box that indicates only a specific vehicle region to be tracked,

지능형 프레임별 연속추적제어모듈의 STF(SignTelecom Features) 알고리즘 차량추적모듈에서 SPAT(Spatial Partition analysis tracking)형 기준표적박스검출부를 통해 검출된 기준 표적 박스를 기준으로 현재 프레임 상에 매칭 시키고, 차량특징점과 광류 흐름, 속도 정보를 종합적으로 이용하여 신뢰도를 갱신하여 특정 차량을 연속적으로 추적시키는 단계(S600)로 이루어짐으로서 달성된다.STF (SignTelecom Features) Algorithm of Intelligent Frame-based Continuous Tracking Control Module The vehicle tracking module matches the reference target box detected by the SPAT (Spatial Partition analysis tracking) type reference target box on the current frame, (S600) of continuously following a specific vehicle by updating the reliability by comprehensively using the vehicle speed, the current flow, and the speed information.

이상에서 설명한 바와 같이, 본 발명에서는As described above, in the present invention,

첫째, 기준 표적 박스를 기준으로 현재 프레임 상에 매칭 시키고, 차량특징점과 광류 흐름, 속도 정보를 종합적으로 이용하여 신뢰도를 갱신하여 특정 차량을 연속적으로 추적시킬수 있어, 차량추적거리를 5km~100km로 늘릴수 있고, 차량추적 정확도를 80% 향상시킬 수가 있다.First, the reference target box is matched on the current frame, and the reliability is updated by collectively using the vehicle characteristic points, the current flow and the speed information to continuously track a specific vehicle, and the vehicle tracking distance is increased from 5 km to 100 km And the vehicle tracking accuracy can be improved by 80%.

둘째, 50~1,000 FPS의 연산속도로 실시간 프레임별 현장용 CCTV 영상데이터를 연산할 수 있어, 차량검출속도를 기존에 비해 2배~4배 향상시킬 수 있다.Second, CCTV image data for real-time frame can be calculated at a calculation speed of 50 ~ 1,000 FPS, which can improve the detection speed of the vehicle by 2 to 4 times compared to the conventional one.

셋째, 학습 및 실체 처리를 할 때 전체 프레임별 현장용 CCTV 영상데이터를 사용하기 때문에 영상의 흐름을 파악할 수 있어, 이로 인해 배경변화로 인해 발생하는 오류를 기존에 비해 70% 향상시킬 수 있다.Third, CCTV image data for the entire frame is used for learning and substance processing, so that the flow of the image can be grasped, thereby improving the error caused by the background change by 70%.

넷째, 슬림하고 모듈화구조로 이루어져, 현장용 CCTV모듈의 내부공간, 또는 복수개의 현장용 CCTV모듈과 CCTV 통합관제관리서버 사이의 중개장치의 내부공간에 설치할 수 있어, 사용범위가 넓고, 호환성과 설치성이 우수하다.Fourth, it can be installed in the inner space of the CCTV module in the field or in the inner space of the CCTV integrated management server between the CCTV modules for the field and the CCTV integrated control management server. Therefore, the CCTV module can be used in a wide range, great.

도 1은 본 발명에 따른 지능형 프레임별 연속추적제어모듈을 통한 연속프레임별 특정차량 실시간 추적장치(1)의 구성요소를 도시한 블럭도,
도 2는 본 발명에 따른 지능형 프레임별 연속추적제어모듈을 통한 연속프레임별 특정차량 실시간 추적장치(1)의 구성요소를 도시한 구성도,
도 3은 본 발명에 따른 지능형 프레임별 연속추적제어모듈의 구성요소를 도시한 블럭도,
도 4는 본 발명에 따른 욜로(YOLO : You Only Look Once)형 객체 분류부의 구성요소를 도시한 블럭도,
도 5는 본 발명에 따른 차량누적정보생성부를 통해 연속적인 프레임에서의 차량 검출의 예시와 각 프레임에서 검출된 차량의 정보를 저장한 결과 예시를 도시한 일실시예도,
도 6은 본 발명에 따른 STF(SignTelecom Features) 알고리즘 차량추적모듈의 구성요소를 도시한 블럭도
도 7은 본 발명에 따른 차량특징점 움직임 추적제어모듈의 구성요소를 도시한 블럭도,
도 8은 본 발명에 따른 패스트 헤이시안(Fast-Hessian)형 특징점추출부을 통해 특정차량추적을 위한 기준표적박스와 현재프레임상의 특징점을 적분영상과 근사화된 헤이시안검출기를 통해 연산시켜, 추출시키는 것을 도시한 일실시예도,
도 9는 본 발명에 따른 방향크기연산제어부를 통해 특정차량을 추적하고자하는 기준표적박스를 기준으로, 현재프레임 상에 매칭시켜, 차량특징점을 검출하고, 각점에서의 방향과 크기를 구한 결과를 도시한 일실시예도,
도 10은 본 발명에서는 차량특징점 움직임 추적제어모듈의 동작 과정을 도시한 일실시예도,
도 11은 본 발명에 따른 차량특징점 움직임 추적제어모듈이 구동되어, 현재 프레임 상의 기준 표적박스에 위치한 특정 차량과, 이웃하는 또 다른 프레임 상의 기준 표적박스에 위치한 특정차량 사이의 차량특징점을 추출한 후, 관심 포인트에서의 방향과 크기를 연산시켜 특정차량을 추적제어시키는 것을 도시한 일실시예도,
도 12는 본 발명에 따른 광류(optical flow)형 움직임 추적제어모듈을 통해 모션을 측정할 픽셀을 일정 크기의 step 마다 그리드 형식으로 지정한 것을 도시한 일실시예도,
도 13은 본 발명에 따른 광류(optical flow)형 움직임 추적제어모듈에서, 현재 프레임 상의 특정차량을 나타내는 기준 표적박스를 Lt라 하고, 현재 프레임으로부터 예측되는, 이웃하는 또 다른 프레임 상의 특정차량을 나타내는 기준 표적박스를 Lt-1로 설정한 것을 도시한 일실시예도,
도 14는 본 발명에 따른 광류(optical flow)형 움직임 추적제어모듈을 통해, 안정화된 최종적인 기준 표적박스에 위치한 기준 표적박스 L을 도시한 일실시예도,
도 15는 본 발명에 따른 속도 정보 예측제어모듈을 통해 현재 프레임 상의 기준 표적박스에 위치한 특정 차량과, 이웃하는 또 다른 프레임 상의 기준 표적박스에 위치한 특정차량 사이의 움직임을 칼만 필터를 통해 상대 가속도를 추정하고, 상대 거리, 속도, 가속도를 예측제어시키는 것을 도시한 일실시예도,
도 16은 본 발명에 따른 지능형 프레임별 연속추적제어모듈을 통한 연속프레임별 특정차량 실시간 추적방법을 도시한 순서도.FIG. 1 is a block diagram showing the components of a continuous-frame specific vehicle real-time tracking apparatus 1 according to an embodiment of the present invention; FIG.
FIG. 2 is a configuration diagram showing components of a continuous-frame-specific specific vehicle real-time tracking device 1 according to an intelligent frame-based continuous tracking control module according to the present invention,
FIG. 3 is a block diagram illustrating components of an intelligent frame-by-frame continuous tracking control module according to the present invention;
FIG. 4 is a block diagram illustrating components of a You Only Look Once (YOLO) object classification unit according to the present invention.
5 is a diagram illustrating an example of vehicle detection in successive frames and an example of a result of storing information of vehicles detected in each frame through a vehicle cumulative information generating unit according to an embodiment of the present invention.
Figure 6 is a block diagram illustrating the components of a SignTelecom Features (STF) algorithm vehicle tracking module according to the present invention.
FIG. 7 is a block diagram showing the components of the vehicle feature point motion tracking control module according to the present invention;
FIG. 8 is a flow chart illustrating a method of calculating and extracting a reference target box for tracking a specific vehicle and a feature point on a current frame through a Fast-Hessian feature point extracting unit according to an embodiment of the present invention through an integrated image and an approximated Hessian detector In the illustrated embodiment,
FIG. 9 is a view for explaining a method of detecting a vehicle feature point by matching a reference target box to be traced with a reference target box on a current frame through a direction size calculation control unit according to the present invention, In one embodiment,
10 is a flowchart illustrating an operation of the vehicle characteristic point movement tracking module according to an embodiment of the present invention.
11 is a block diagram illustrating a vehicle characteristic point motion tracking control module according to an embodiment of the present invention in which a vehicle feature point movement control module according to the present invention is driven to extract vehicle feature points between a specific vehicle positioned in a reference target box on a current frame and a specific vehicle placed in a reference target box on another neighboring frame, One embodiment that illustrates tracking and controlling a particular vehicle by calculating the direction and magnitude at the point of interest,
FIG. 12 is a diagram illustrating an example in which a pixel for motion measurement is designated in a grid format for each step of a certain size through an optical flow type motion tracking control module according to the present invention.
13 is an optical flow type motion tracking control module according to the present invention, in which a reference target box representing a specific vehicle on a current frame is denoted by L t , and a specific vehicle on another neighboring frame, which is predicted from the current frame, In one embodiment, which illustrates setting the reference target box to L t-1 ,
Figure 14 also shows an embodiment showing a reference target box L positioned in a stabilized final reference target box through an optical flow type motion tracking control module according to the present invention,
FIG. 15 is a graph showing a relationship between a specific vehicle located in a reference target box on a current frame and a specific vehicle located in a reference target box on another neighboring frame through a Kalman filter through a speed information prediction control module according to the present invention, Estimating and predicting and controlling the relative distance, velocity, and acceleration,
FIG. 16 is a flowchart showing a real-time tracking method of a specific vehicle for each continuous frame by the continuous tracking control module for each intelligent frame according to the present invention.

먼저, 본 발명에서 설명되는 ST F(SignTelecom Features) 알고리즘 차량추적모듈에서, " ST " 는 본 출원인 (주)싸인텔레콤( S ign T elecom)의 영문약어로서, 본 출원인이, 독창적으로 발명한 SPAT(Spatial Partition analysis tracking)형 기준표적박스검출부를 통해 검출된 기준 표적 박스를 기준으로 현재 프레임 상에 매칭 시키고, 차량특징점과 광류 흐름, 속도 정보를 종합적으로 이용하여 신뢰도를 갱신하여 특정 차량을 연속적으로 추적시킬수 있는 STF(SignTelecom Features) 알고리즘 차량추적모듈을 말한다.First, in ST F (SignTelecom Features) algorithm vehicle tracking module described in the present invention, "ST" is SPAT by the present applicant as abbreviated in the Applicant Co. sign Telecom (S ign T elecom), invention creatively The reference target box detected by the spatial target tracking box detection unit is matched to the current frame on the basis of the reference target box detection unit and the reliability is updated by comprehensively using the vehicle feature point, optical flow and speed information, An STF (SignTelecom Features) Algorithm Vehicle Tracking Module that can be traced.

이하, 본 발명에 따른 바람직한 실시예를 도면을 첨부하여 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.

도 1은 본 발명에 따른 지능형 프레임별 연속추적제어모듈을 통한 연속프레임별 특정차량 실시간 추적장치(1)의 구성요소를 도시한 블럭도에 관한 것이고, 도 2는 본 발명에 따른 지능형 프레임별 연속추적제어모듈을 통한 연속프레임별 특정차량 실시간 추적장치(1)의 구성요소를 도시한 구성도에 관한 것으로, 이는 현장용 CCTV모듈(100), 지능형 프레임별 연속추적제어모듈(200)로 구성된다.FIG. 1 is a block diagram showing the components of a real-time tracking apparatus 1 for a specific frame of a continuous frame according to an intelligent frame-by-frame continuous tracking control module according to the present invention, FIG. 2 is a block diagram showing components of an intelligent frame- Frame CCTV module 100 and an intelligent frame-by-frame continuous tracking control module 200. The CCTV module 100 includes an on-site CCTV module 100,

먼저, 본 발명에 따른 현장용 CCTV모듈(100)에 관해 설명한다.First, an on-site CCTV module 100 according to the present invention will be described.

상기 현장용 CCTV모듈(100)은 도로 및 보도상에 위치되어, 차량의 영상을 촬영하고, 촬영한 현장용 CCTV영상데이터를 지능형 프레임별 연속추적제어모듈로 전송시키는 역할을 한다.The on-site CCTV module 100 is located on the road and the sidewalk, and captures an image of the vehicle and transmits the captured CCTV image data to the continuous tracking control module for each intelligent frame.

이는 PTZ카메라 또는, IP카메라로 이루어지고, IVM, 광컨버터가 포함되어 구성된다.It is composed of a PTZ camera or an IP camera, and includes an IVM and an optical converter.

그리고, 영상획득, 전송, 녹화 및 재생의 기본 장치로 구성되며, 피사체를 촬영하여 전기 신호를 변환하는 촬영 장치와, 촬영된 현장용 CCTV영상데이터를 지능형 프레임별 연속추적제어모듈로 송신시키고, 지능형 프레임별 연속추적제어모듈의 제어명령신호 및 PTZ구동제어신호를 수신받는 유무선통신장치가 포함되어 구성된다.The image capturing device is composed of a basic device for image acquisition, transmission, and recording and reproduction. The photographing device captures a subject and converts an electric signal. The CCTV image data is sent to an intelligent frame- And a wired / wireless communication device that receives the control command signal and the PTZ drive control signal of the star continuous tracking control module.

다음으로, 본 발명에 따른 지능형 프레임별 연속추적제어모듈(200)에 관해 설명한다.Next, the intelligent frame-by-frame continuous tracking control module 200 according to the present invention will be described.

상기 지능형 프레임별 연속추적제어모듈(200)은 하나의 현장용 CCTV모듈, 또는, 하나의 현장용 CCTV모듈과 서로 이웃하는 또 다른 현장용 CCTV모듈과 유무선통신네트워크망을 형성하면서, 프레임별 현장용 CCTV 영상데이터를 수신받아, 기준표적박스를 생성시킨 후, 기준 표적 박스를 기준으로 현재 프레임 상에 매칭 시키고, 차량특징점과 광류 흐름, 속도 정보를 종합적으로 이용하여 신뢰도를 갱신하여 특정 차량을 연속적으로 추적시키도록 제어하는 역할을 한다.The intelligent frame-based continuous tracking control module 200 forms a wired / wireless communication network with one on-site CCTV module or one on-site CCTV module and another on-site CCTV module adjacent to each other, A reference target box is generated, and then the reference target box is matched on the current frame with reference to the reference target box, the reliability is updated by comprehensively using vehicle characteristic points, optical flow and speed information, .

이는 도 3에 도시한 바와 같이, 유무선통신네트워크망 형성부(210), 프레임별 현장용 CCTV 영상데이터 수신부(220), 욜로(YOLO : You Only Look Once)형 객체 분류부(230), SPAT(Spatial Partition analysis tracking)형 기준표적박스검출부(240), STF(SignTelecom Features) 알고리즘 차량추적모듈(250)로 구성된다.3, the wireless communication network forming unit 210, the CCTV video data receiving unit 220 for each frame, the YOLO (You Only Look Once) object sorting unit 230, the SPAT Partition analysis tracking type reference box detection unit 240 and SignTelecom Features (STF) algorithm vehicle tracking module 250.

첫째, 본 발명에 따른 유무선통신네트워크망 형성부(210)에 관해 설명한다.First, the wired / wireless communication network forming unit 210 according to the present invention will be described.

상기 유무선통신네트워크망 형성부(210)는 하나의 현장용 CCTV모듈, 또는, 하나의 현장용 CCTV모듈과 서로 이웃하는 또 다른 현장용 CCTV모듈과 유무선통신네트워크망을 형성시키는 역할을 한다.The wired / wireless communication network forming unit 210 forms one field CCTV module or one field CCTV module and another field CCTV module adjacent to each other and a wired / wireless communication network.

이는 무선통신모듈로서, 근거리무선통신모듈, 이동통신(5G, 4G, 3G)모듈 중 어느 하나가 선택되어 이루어지고, This is a wireless communication module in which one of the short-range wireless communication module and the mobile communication module (5G, 4G, 3G) is selected,

유선통신모듈로서, 동선 케이블을 연결할수 있는 이더넷모듈, RS-232모듈, RS-485모듈, RS-422모듈, 또는 광케이블을 연결할수 있는 이더넷모듈, RS-232모듈, RS-485모듈, RS-422모듈 중 어느 하나가 선택되어 이루어진다. RS-232 module, RS-485 module, RS-422 module, Ethernet module that can connect optical cable, RS-232 module, RS-485 module, RS- 422 modules are selected.

둘째, 본 발명에 따른 프레임별 현장용 CCTV 영상데이터 수신부(220)에 관해 설명한다.Second, the frame-by-frame CCTV video data receiving unit 220 according to the present invention will be described.

상기 프레임별 현장용 CCTV 영상데이터 수신부(220)는 하나의 현장용 CCTV모듈, 또는, 하나의 현장용 CCTV모듈과 서로 이웃하는 또 다른 현장용 CCTV모듈로부터 전송된 프레임별 현장용 CCTV 영상데이터를 수신받아 YOLO형 객체 검출부로 전달시키는 역할을 한다.The frame-by-frame CCTV video data receiving unit 220 receives the CCTV video data for each frame transmitted from one CCTV module for the field or another CCTV module adjacent to the one CCTV module for the frame, .

셋째, 본 발명에 따른 욜로(YOLO : You Only Look Once)형 객체 분류부(230)에 관해 설명한다.Third, a YOLO (You Only Look Once) object classifier 230 according to the present invention will be described.

상기 욜로(YOLO : You Only Look Once)형 객체 분류부(230)는 프레임별 현장용 CCTV 영상데이터 수신부로부터 전달된 프레임별 현장용 CCTV 영상데이터 상에서, 검출하고자하는 특정차량의 탐색 윈도우 크기와 탐색할 관심영역 위치를 설정한 후, 각 프레임별 차량이 있는 차량영역을 검출한 표적박스(target Box)의 목록을 생성시켜 SPAT(Spatial Partition analysis tracking)형 비교분석제어부로 전달시키는 역할을 한다.The YOLO (You Only Look Once) object classifier 230 classifies a search window size of a specific vehicle to be detected and a search range of interest to be searched on the CCTV image data for each frame transmitted from the CCTV image data receiver for each frame, A list of target boxes that detect the vehicle area of each frame is generated and transmitted to the SPAT (Spatial Partition Analysis Tracking) type comparative analysis control unit.

이는 Sliding Window 접근법을 사용하여 전체 프레임별 현장용 CCTV 영상데이터를 탐색하며,프레임별 현장용 CCTV 영상데이터 안에서 윈도우가 일정한 간격으로 이동하면서 윈도우 내의 영상 영역마다 차량의 존재 여부를 판단한다. This method uses the Sliding Window approach to search the CCTV image data for the entire frame, and determines whether or not the vehicle exists in the image area within the window while moving the window at regular intervals in the CCTV image data for each frame.

상기 욜로(YOLO : You Only Look Once)형 객체 분류부(230)는 기존의 방식과 달리, 하나의 네트워크를, 하나의 현장용 CCTV모듈과, 이웃하는 또 다른 현장용 CCTV모듈로부터 전송된, 전체 프레임별 현장용 CCTV 영상데이터에 적용한다. The YOLO (You Only Look Once) object sorting unit 230 classifies one network as a whole by one frame CCTV module and another CCTV module in the neighborhood, Applies to field CCTV image data.

이 하나의 네트워크는 프레임별로, 정해진 차량영역으로 분할하고, 각 차량영역마다 차량의 종류와 위치를 나타내는 표적박스(target Box)를 생성한다. This one network is divided into predetermined vehicle areas for each frame, and a target box indicating the type and position of the vehicle is generated for each vehicle area.

그리고, 표적박스(target Box) 예측과 Class 분류 과정을 동시에 처리한다.Then, the target box prediction and the class classification process are processed at the same time.

여기서, 표적박스(target Box)는 인식된 물체에 대한 정보를 담고 있는 차량영역구조로 이루어지며, x, y, w, h, Confidence로 구성된다. Here, the target box is composed of a vehicle area structure containing information on the recognized object, and is composed of x, y, w, h, and Confidence.

여기에서 x, y는 차량 중심좌표, w, h는 박스의 너비와 높이를 나타낸다. Where x and y are the vehicle center coordinates, and w and h are the width and height of the box.

Confidence는 박스가 차량을 포함하고 있는지를 나타내는 값이다.Confidence is a value indicating whether the box contains a vehicle.

Confidence가 클수록 표적박스(target Box)를 두껍게 그리며, 임계값보다 작은 값을 가진 박스는 삭제한다. The larger the Confidence, the thicker the target box, and the box with a value less than the threshold is deleted.

이와 동시에 인식된 차량의 클래스를 분류하는데 클래스에 따라 다른 색의 표적박스(target Box)를 통해 구분한다.At the same time, the classified vehicle class is classified by a target box of different colors according to the class.

상기 욜로(YOLO : You Only Look Once)형 객체 분류부(230)는 도 4에 도시한 바와 같이, 차량누적정보생성부(231), 차량ID 설정부(232)가 포함되어 구성된다.As shown in FIG. 4, the YOLO (You Only Look Once) object sorting unit 230 includes a vehicle accumulation information generating unit 231 and a vehicle ID setting unit 232.

상기 차량누적정보생성부(231)는 각 프레임별로 검출된 차량의 영역을 누적시킨 차량누적정보를 생성시키는 역할을 한다.The vehicle cumulative information generation unit 231 generates the cumulative vehicle information by accumulating the area of the vehicle detected for each frame.

이는 도 5는 연속적인 프레임에서의 차량 검출의 예시와 각 프레임에서 검출된 차량의 정보를 저장한 결과 예시에 관한 것이다. 이러한 정보를 통해 100~1,500 프레임에서 검출된 정보와 미 검출된 정보를 저장하여 특정 프레임 이상 존재하는 것을 최종 검출된결과로 지정한다. This relates to an example of vehicle detection in successive frames and an example of storing the information of the vehicle detected in each frame. Through this information, information detected from 100 to 1,500 frames and undetected information are stored to designate a result that exists over a specific frame as the final detected result.

또한 기억되어 있는 차량의 정보를 누적하여 차량의 위치 정보를 쉽게 찾을 수 있도록 구성된다.Also, the information of the stored vehicle is accumulated so that the location information of the vehicle can be easily found.

상기 차량ID 설정부(232)는 차량누적정보생성부에서 생성된 차량누적정보 중 검출하고자하는 조건을 만족하는 차량을 선택한 후, ID를 설정시키는 역할을 한다.The vehicle ID setting unit 232 sets the ID after selecting the vehicle that satisfies the condition to be detected among the vehicle cumulative information generated by the vehicle cumulative information generating unit.

이처럼, 본 발명에 따른 욜로(YOLO : You Only Look Once)형 객체 분류부(230)는 50~1,000 FPS의 연산속도로 실시간 프레임별 현장용 CCTV 영상데이터를 연산할 수 있고, 학습 및 실체 처리를 할 때 전체 프레임별 현장용 CCTV 영상데이터를 사용하기 때문에 영상의 흐름을 파악할 수 있으며, 이로 인해 배경변화로 인해 발생하는 오류에 강한 특징을 가진다.As described above, the YOLO (You Only Look Once) object classifier 230 according to the present invention can calculate real-time frame-by-frame CCTV image data at an operation speed of 50 to 1,000 FPS, , It is possible to grasp the flow of the image because it uses the CCTV image data for the entire frame. Therefore, it has a characteristic of being resistant to the error caused by the background change.

넷째, 본 발명에 따른 SPAT(Spatial Partition analysis tracking)형 기준표적박스검출부(240)에 관해 설명한다.Fourth, a SPAT (Spatial Partition analysis tracking) type reference target box detector 240 according to the present invention will be described.

상기 SPAT(Spatial Partition analysis tracking)형 기준표적박스검출부(240)는 욜로(YOLO)형 객체 분류부로부터 전달된 프레임별로 생성된 표적박스(target Box) 목록을 기준으로, 이전프레임과 현재프레임에 존재하는 같은 종류의 특정차량영역들 간의 유사도를 비교분석하여, 추적하고자하는 특정차량 영역만을 나타내는 기준표적박스로 검출시키는 역할을 한다.The SPAT reference target box detection unit 240 detects a target box in the previous frame and a current frame based on a target box list generated for each frame transmitted from the YOLO- And comparing the similarity between the specific vehicle regions of the same type as the reference target box to be traced.

즉, 이전프레임과 현재프레임에 존재하는 같은종류의 특정차량영역들 간의 유사도가 임계치 이상일 경우에, 이전프레임의 특정차량영역과 현재프레임의 특정차량영역이 동일한 특정차량으로 판단하고, 특정차량이 이동한 것으로 판단한다.That is, when the degree of similarity between the specific vehicle regions of the same type existing in the previous frame and the current frame is equal to or greater than the threshold value, it is determined that the specific vehicle region of the previous frame and the specific vehicle region of the current frame are the same specific vehicle, .

그리고, 이전프레임의 특정차량영역과 현재프레임의 특정차량영역을 기준으로 특정차량영역만을 기준 표적박스로 검출시킨다. Then, only the specific vehicle area is detected as the reference target box based on the specific vehicle area of the previous frame and the specific vehicle area of the current frame.

다섯째, 본 발명에 따른 STF(SignTelecom Features) 알고리즘 차량추적모듈(250)에 관해 설명한다.Fifth, an STF (SignTelecom Features) algorithm vehicle tracking module 250 according to the present invention will be described.

상기 STF(SignTelecom Features) 알고리즘 차량추적모듈(250)는 SPAT(Spatial Partition analysis tracking)형 기준표적박스검출부를 통해 검출된 기준 표적 박스를 기준으로 현재 프레임 상에 매칭 시키고, 차량특징점과 광류 흐름, 속도 정보를 종합적으로 이용하여 신뢰도를 갱신하여 특정 차량을 연속적으로 추적시키는 역할을 한다.The SignTelecom Features (STF) algorithm vehicle tracking module 250 matches the reference target box detected through the SPAT (Spatial Partition Analysis Tracking) reference target box detector to the current frame, Information is collectively used to update the reliability to track a specific vehicle continuously.

이는 도 6에 도시한 바와 같이, 차량특징점 움직임 추적제어모듈(251), 광류(optical flow)형 움직임 추적제어모듈(252), 속도 정보 예측제어모듈(253)이 하나 또는 둘 이상의 선택되어 구성된다.6, one or more of a vehicle feature point motion tracking control module 251, an optical flow motion tracking control module 252, and a velocity information prediction control module 253 are selected and configured .

[차량특징점 움직임 추적제어모듈(251)][Vehicle Feature Point Motion Tracking Control Module (251)]

상기 차량특징점 움직임 추적제어모듈(251)은 SPAT(Spatial Partition analysis tracking)형 기준표적박스검출부를 통해 검출된 기준 표적 박스를 기준으로 현재 프레임 상에 매칭 시키고, 현재 프레임 상의 기준 표적박스에 위치한 특정 차량과, 이웃하는 또 다른 프레임 상의 기준 표적박스에 위치한 특정차량 사이의 차량특징점을 추출한 후, 관심 포인트에서의 방향과 크기를 연산시켜 특정차량을 추적제어시키는 역할을 한다.The vehicle feature point motion tracking control module 251 matches the reference target box detected by the SPART type reference target box detector to the current frame, And vehicle characteristic points between specific vehicles located in a reference target box on another neighboring frame, and then calculates the direction and size at the points of interest to track and control the specific vehicle.

이는 도 7에 도시한 바와 같이, 패스트 헤이시안(Fast-Hessian)형 특징점추출부(251a), 방향크기연산제어부(251b)로 구성된다.As shown in Fig. 7, this is constituted by a fast-Hessian type feature point extracting unit 251a and a direction size calculating control unit 251b.

상기 패스트 헤이시안(Fast-Hessian)형 특징점추출부(251a)는 특정차량추적을 위한 기준표적박스와 현재프레임상의 특징점을 적분영상과 근사화된 헤이시안검출기를 통해 연산시켜, 추출시키는 역할을 한다.The Fast-Hessian-type feature point extracting unit 251a calculates and extracts a reference target box for tracking a specific vehicle and a feature point on the current frame through a Hessian detector approximated with an integral image.

이는 수학식 1에 정의된 헤이시안 행렬식에 기반을 둔 특징점 추출 알고리즘으로, 속도와 정확도면에서 좋은 성능을 갖는다.This is a feature extraction algorithm based on the Hashian determinant defined in Equation (1), and has good performance in terms of speed and accuracy.

Figure 112018115413299-pat00001
Figure 112018115413299-pat00001

상기 수학식 1에서, LIxx(x,y,σ)는 x, y위치의 입력영상과 분산을 갖는 가우시안의 x방향 2차 미분 값(

Figure 112018115413299-pat00002
)과의 컨벌루션 값을 의미하고, 나머지 LIxy(x,y,σ) 와 LIyy(x,y,σ) 도 x y방향으로의 미분, 그리고 y방향으로의 2차 미분된 가우시안 필터와 컨벌루션 값을 의미한다. In Equation (1), LI xx (x, y, sigma) is the x-direction second derivative of the Gaussian having the input image and the variance at the x and y positions
Figure 112018115413299-pat00002
) Means a convolution value of, and the other LI xy (x, y, σ) and the LI yy (x, y, σ) is also the second order derivative of a Gaussian filter and convolved value to the derivative of the xy direction, and the y-direction .

근사화된 헤이시안 검출기는 헤이시안 행렬식을 사용하는 대신 도 8과 같이, 표현된사각필터를 이용한 근사화된 헤이시안 행렬식을 사용하는 방법이다. Instead of using the Hessian determinant, the approximated Hessian detector is a method of using an approximated Hessian determinant using the represented square filter as shown in FIG.

참고로, 도 8(a) 의 경우는 x, y, xy 방향에 대한 가우시안 2차 미분 필터를 보여주는 것이며, 도 8(b) 의 경우는 x,y, xy 방향의 근사화된 사각필터를 보여준다. 8 (a) shows a Gaussian second-order differential filter in the x, y, xy directions, and FIG. 8 (b) shows an approximated square filter in the x, y, and xy directions.

그리고 스케일에 불변하는 특징을 얻기 위해 스케일링된 영상을 사용하지 않고 사각필터의 크기를 변화시켜 특징을 추출한다. In order to obtain the feature which is invariant to the scale, the feature is extracted by changing the size of the square filter without using the scaled image.

결과적으로 사각필터의 컨벌루션을 계산하는데 앞서 얻어진 적분영상을 이용함으로써 사각 영역의 크기에 상관없이 빠르게 헤이시안 행렬식을 구성하고 특징 점을 찾아낸다.As a result, by using the integral image obtained before calculating the convolution of the square filter, the Hessian determinant is constructed quickly and the characteristic points are found irrespective of the size of the rectangular area.

상기 방향크기연산제어부(251b)는 관심 포인트에서의 방향과 크기를 연산시키도록 제어하는 역할을 한다.The direction size calculation control unit 251b controls the direction and size at the point of interest to be calculated.

도 9는 특정차량을 추적하고자하는 기준표적박스를 기준으로, 현재프레임 상에 매칭시켜, 차량특징점을 검출하고, 각점에서의 방향과 크기를 구한 결과를 보여준다.FIG. 9 shows a result obtained by detecting a vehicle feature point by matching on a current frame based on a reference target box to be tracked for a specific vehicle, and obtaining a direction and a size at each point.

본 발명에 따른 패스트 헤이시안(Fast-Hessian)형 특징점추출부, SURF 서술자제어부를 통해, 얻어진 결과를 이용하여 현재프레임에 존재하는 이전 차량 정보를 검출한다. Hessian type feature point extracting unit and SURF descriptor control unit according to the present invention, the previous vehicle information present in the current frame is detected using the obtained result.

이렇게 찾아진 결과를 이용하여 현재 프레임에서의 새로운 특정차량의 위치를 분석하는데, 이때 정확한 특정차량의 위치를 검출하기 위해 매칭된 특정차량의 영역을 새로운 검출 특정차량으로 인식한다. The location of the new specific vehicle in the current frame is analyzed using the thus-found result. At this time, the area of the specific vehicle matched to detect the exact position of the specific vehicle is recognized as the new specific vehicle.

도 10 (a)는 이전프레임에서의 차량검출을 나타내고, 도 10 (b)는 현재 이미지 프레임을 나타내며, 도 10 (c)는 현재 프레임에서의 차량특징점을 추출하는 것을 나타내고, 도 10 (d)는 관심포인트에서의 방향과 크기를 연산시키는 것을 나타내며, 도 10(e)는 특정차량 추적제어를 나타낸다.Fig. 10 (a) shows vehicle detection in the previous frame, Fig. 10 (b) shows the current image frame, Fig. 10 (c) Shows the calculation of the direction and size at the point of interest, and Fig. 10 (e) shows the specific vehicle tracking control.

[광류(optical flow)형 움직임 추적제어모듈(252)][Optical flow type motion tracking control module 252]

상기 광류(optical flow)형 움직임 추적제어모듈(252)은 SPAT(Spatial Partition analysis tracking)형 기준표적박스검출부를 통해 검출된 기준 표적 박스를 기준으로 현재 프레임 상에 매칭 시키고, 현재 프레임 상의 기준 표적박스에 위치한 특정 차량과, 이웃하는 또 다른 프레임 상의 기준 표적박스에 위치한 특정차량 사이의 움직임에 따라 나타나는 명암 변화(광류 : optical flow)를 연산하여 특정차량의 움직임을 추적제어시키는 역할을 한다.The optical flow type motion tracking control module 252 matches the reference target box detected by the spatial target analysis box (SPAT) -type reference target box detector on the current frame, And controls the movement of a specific vehicle by calculating an optical flow that varies according to the movement between the specific vehicle located in the reference target box on the neighboring frame and the specific vehicle located in the reference target box on the neighboring frame.

여기서, 광류(OF, Optical Flow)를 기반으로 한 특정차량의 움직임을 추적제어시키는 것은 픽셀수준의 세기 측정을 기반으로 하며 영상에 대한 사전 정보 없이 움직이는 물체를 검출할 수 있다. 이 방법은 카메라가 움직이는 경우에 대해서도 검출이 안정적인 모션 추출이 가능한 특징을 가진다.Here, tracing and controlling the movement of a specific vehicle based on an optical flow (OF) is based on pixel level intensity measurement, and can detect a moving object without prior information on the image. This method has a feature that motion detection can be reliably detected even when the camera is moving.

광류(OF, Optical Flow)란 이미지에서 밝기 패턴이 어떻게 이동하였는지를 나타내는 분포로, 이를 통해 지역적으로 물체들의 이동 정보를 얻을 수 있다. 광류는 크게 저밀도 광류(sparse optical flow), 고밀도 광류(dense optical flow)로 나눌 수 있다.Optical Flow (OF) is a distribution that shows how a brightness pattern is moved in an image, and thereby, movement information of objects can be obtained locally. Optical flows can be broadly divided into sparse optical flow and dense optical flow.

저밀도 광류의 예로는 Lucas-kanade방식이 있으며, 이는 특징점에 대하여 모션을 측정하는 방법이지만 고밀도 광류는 보다 조밀하게 모든 픽셀에 대하여 모션을 측정하는 방법이다. An example of a low-density optical flow is the Lucas-kanade method, which measures motion for feature points, while high-density optical flow is a method for measuring motion for all pixels more densely.

따라서 고밀도 광류의 계산량이 더 많아 시간이 더 소비되지만 더욱 정확하게 모션을 측정할 수 있다는 장점이 있다. Therefore, there is an advantage that the motion can be measured more precisely although the amount of calculation of the high-density optical current is more and more time is consumed.

본 특허에서는 기준 표적박스를 기반으로 하여 특정차량의 움직임을 추적제아하기 위해 고밀도 광류 중 Farneback 방식으로 구성된다.In this patent, based on the reference target box, the high-density optical current is configured in a farneback manner in order to track the movement of a specific vehicle.

Farneback 방식의 광류는 기준 표적박스를 기반으로하여 영상 블록에서 발생한 특정차량의 움직임에 관한 방향과 크기를 추적한다. Farneback type optical flow tracks the direction and size of a specific vehicle motion generated in the image block based on the reference target box.

도 12에 도시한 바와 같이, 모션을 측정할 픽셀은 일정 크기의 step 마다 그리드 형식으로 지정한다. As shown in Fig. 12, pixels to be measured for motion are designated in a grid format for each step of a certain size.

본 발명에 따른 광류(optical flow)형 움직임 추적제어모듈에서, 기준 표적박스는 특정 차량의 크기가 거의 변화가 없고, 특정 차량에 관한 특징점의 이동 방향 및 크기 또한 이전 프레임에 비해 거의 변화가 없는 특성을 가진다.In the optical flow type motion tracking control module according to the present invention, the reference target box has a characteristic in which the size of a specific vehicle is hardly changed, the moving direction and size of the minutiae relating to a specific vehicle are substantially the same as those of the previous frame .

이러한 특성을 기반으로, 현재 프레임 상의 기준 표적박스에 위치한 특정 차량과, 이웃하는 또 다른 프레임 상의 기준 표적박스에 위치한 특정차량 사이의 움직임에 따라 나타나는 명암 변화(광류 : optical flow)를 연산하여 특정차량의 움직임을 추적제어시킨다.Based on this characteristic, a light and shade change (optical flow) appearing in accordance with the movement between the specific vehicle located in the reference target box on the current frame and the specific vehicle located on the reference target box on another neighboring frame is calculated, To control the movement of the robot.

즉, 현재 프레임 상의 기준 표적박스에 위치한 특정차량 It은 이웃하는 또 다른 프레임 상의 기준 표적박스에 위치한 특정차량 It-1과 동일하고, 현재 프레임 상의 기준 표적박스에 위치한 특정차량의 특정차량 It 위치는 이웃하는 또 다른 프레임 상의 기준 표적박스에 위치한 특정차량 It-1에서 측정된 광류만큼 이동하였다고 추적할 수 있다.That is, the specific vehicle I t located in the reference target box on the current frame is the same as the specific vehicle I t-1 located in the reference target box on another neighboring frame, and the specific vehicle I the t position can be traced as if it were moved by the optical current measured in the specific vehicle I t-1 located in the reference target box on another neighboring frame.

본 발명에서는 도 13에 도시한 바와 같이, 현재 프레임 상의 특정차량을 나타내는 기준 표적박스를 Lt라 하고, 현재 프레임으로부터 예측되는, 이웃하는 또 다른 프레임 상의 특정차량을 나타내는 기준 표적박스를 Lt-1로 설정한다.The present invention as described in shown in FIG. 13, referred to a reference target box for a specific vehicle in the current frame t, and L, the reference target box represents a particular vehicle on another frame, currently being predicted from a neighboring frame L t- 1 .

여기서, Lt-1은 특정차량의 움직임을 추적제어하는데에서 제시된 문제를 해결하는데 도움을 준다.Here, L t-1 helps to solve the problem presented in tracking and controlling the movement of a specific vehicle.

It에서 특정차량의 움직임이 검출되지 않은 경우 Lt-1으로 검출하여 불연속 문제를 해결하고, 분리된 특정차량을 나타내는 기준 표적박스가 Lt-1 내에 모두 존재할 경우에 다음의 수학식 2로 Lt들을 하나의 기준 표적박스로 재설정하여 객체 분리 문제를 해결한다.If the motion of the specific vehicle is not detected at I t , the discontinuity problem is solved by detecting L t-1 , and when the reference target box representing the separated specific vehicle exists in L t-1 , Resolve L ts into one reference target box to solve object separation problem.

그리고, 특정차량의 크기 및 위치를 안정적으로 추적하기 위해 다음의 수학식 3을 이용하여 최종적인 기준 표적박스에 위치한 특정차량 L을 결정한다.In order to stably track the size and position of the specific vehicle, a specific vehicle L positioned in the final reference target box is determined using the following Equation (3).

Figure 112018115413299-pat00003
Figure 112018115413299-pat00003

Figure 112018115413299-pat00004
Figure 112018115413299-pat00004

Figure 112018115413299-pat00005
Figure 112018115413299-pat00005

Figure 112018115413299-pat00006
Figure 112018115413299-pat00006

Figure 112018115413299-pat00007
Figure 112018115413299-pat00007

Figure 112018115413299-pat00008
Figure 112018115413299-pat00008

Figure 112018115413299-pat00009
Figure 112018115413299-pat00009

Figure 112018115413299-pat00010
Figure 112018115413299-pat00010

(단, 0≤α≤1)(Where 0?? 1)

여기서, t.x와 t.y는 기준 표적박스의 사각영역을 표현하기 위한 좌측상단 좌표를 나타내고, b.x와 b.y는 우측하단 좌표를 나타낸다.Here, t.x and t.y represent the upper left coordinates for expressing the rectangular area of the reference target box, and b.x and b.y represent the lower right coordinates.

α는 Lt-1와 Lt의 가중치를 감안한 평균을 위한 계수이며, 알파가 작을수록 L의 변화가 둔감하다.α is a coefficient for the average considering the weights of L t-1 and L t , and the smaller the alpha is, the less the change of L is.

또한, Lt-1와 Lt는 겹칠때마다 신뢰도 SL을 SL=SLt-1 +1로 1씩 증가시키며, Lt-1는 존재하나, Lt가 없는 경우 SL=SLt-1-1로 1씩 차감하고, SL<0이면 L은 소멸한다.When L t-1 and L t overlap each other, the reliability S L is increased by S L = S Lt-1 + 1, and L t-1 exists but when L t does not exist, S L = S Lt -1 -1, and if S L < 0, L disappears.

Lt-1없이 Lt가 새로 생성된 경우, SL=0이다.Without L t-L t 1 is a, S L = 0, if the newly created.

본 특허에서는 SL>=1인 경우 최종적으로 특정차량의 움직임으로 판단한다.In this patent, if S L > = 1, it is determined that the motion of the specific vehicle is finally determined.

도 14(a)는 연속된 프레임 중 현재 프레임 상의 특정차량을 나타내는 기준 표적박스 Lt를 보여주고, 도 14(b)는 이웃하는 또 다른 프레임 상의 특정차량을 나타내는 예측된 기준 표적박스 Lt-1 정보를 이용한 안정화된 최종적인 기준 표적박스에 위치한 기준 표적박스 L을 보여준다.FIG. 14 (a) shows a reference target box L t representing a specific vehicle on the current frame among consecutive frames, and FIG. 14 (b) shows a predicted reference target box L t- 1 information, which is located in the final stabilized reference target box.

[속도 정보 예측제어모듈(253)][Speed information prediction control module 253]

상기 속도 정보 예측제어모듈(253)은 SPAT(Spatial Partition analysis tracking)형 기준표적박스검출부를 통해 검출된 기준 표적 박스를 기준으로 현재 프레임 상에 매칭 시키고, 현재 프레임 상의 기준 표적박스에 위치한 특정 차량과, 이웃하는 또 다른 프레임 상의 기준 표적박스에 위치한 특정차량 사이의 움직임을 칼만 필터를 통해 상대 가속도를 추정하고, 상대 거리, 속도, 가속도를 예측제어시키는 역할을 한다The speed information prediction control module 253 A reference target box detected by a SPAT (Spatial Partition analysis tracking) type reference target box detecting unit is matched on the current frame on the basis of the reference target box, and a reference target box on a neighboring another frame Estimates the relative acceleration through the Kalman filter, and predicts and controls the relative distance, velocity, and acceleration

즉, 현재 프레임 상의 기준 표적박스에 위치한 특정 차량과, 이웃하는 또 다른 프레임 상의 기준 표적박스에 위치한 특정차량 사이의 상대적인 움직임을 등가속도라고 가정하기 때문에, 칼만 필터를 설계하기 위한 등가속도 디스크리트(discrete) 모델은 다음의 수학식 4와 같이 표현한다.That is, since it is assumed that the relative movement between the specific vehicle located in the reference target box on the current frame and the specific vehicle located on the reference target box on another neighboring frame is equivalent speed, the equivalent speed discrete ) Model is expressed by the following equation (4).

Figure 112018115413299-pat00011
Figure 112018115413299-pat00011

Figure 112018115413299-pat00012
Figure 112018115413299-pat00012

Figure 112018115413299-pat00013
Figure 112018115413299-pat00013

수학식 4에서 state vector인 x(k)는 현재 프레임 상의 기준 표적박스에 위치한 특정 차량과, 이웃하는 또 다른 프레임 상의 기준 표적박스에 위치한 특정차량 사이의 상대 거리

Figure 112018115413299-pat00014
, 속도
Figure 112018115413299-pat00015
, 가속도
Figure 112018115413299-pat00016
로 구성된다. In Equation (4), the state vector x (k) is a relative distance between a specific vehicle located in the reference target box on the current frame and a specific vehicle located in the reference target box on another neighboring frame
Figure 112018115413299-pat00014
, speed
Figure 112018115413299-pat00015
, Acceleration
Figure 112018115413299-pat00016
.

또한 수학식 6과 같이 correction과 prediction을 수행하며 칼만 필터가 동작한다.Also, correction and prediction are performed as shown in Equation (6), and a Kalman filter is operated.

Q , R 행렬은 공분산(covariance)이 화이트 가우시안(white Gaussian)이라고 가정했을 때, 시스템 노이즈인 w(k)와 측정 노이즈인 v(k)의 공분산 행렬이다.The Q and R matrices are the covariance matrix of the system noise w (k) and the measurement noise v (k), assuming that the covariance is white Gaussian.

w(k), v(k)에 대한 공분산 행렬은 다음의 수학식 5를 만족한다.The covariance matrix for w (k), v (k) satisfies the following equation (5).

Figure 112018115413299-pat00017
Figure 112018115413299-pat00017

Figure 112018115413299-pat00018
Figure 112018115413299-pat00018

Figure 112018115413299-pat00019
Figure 112018115413299-pat00019

Figure 112018115413299-pat00020
Figure 112018115413299-pat00020

Figure 112018115413299-pat00021
Figure 112018115413299-pat00021

Figure 112018115413299-pat00022
Figure 112018115413299-pat00022

Figure 112018115413299-pat00023
Figure 112018115413299-pat00023

칼만 필터를 설계하기 위한 gain L은 정상상태 응답과 안정도를 고려하여 다음 수학식 7과 같이 Ricatti equation을 통해 얻을 수 있다The gain L for designing the Kalman filter can be obtained from the Ricatti equation as shown in Equation 7, taking into account the steady state response and stability

Figure 112018115413299-pat00024
Figure 112018115413299-pat00024

Figure 112018115413299-pat00025
Figure 112018115413299-pat00025

이러한 과정을 통해, 본 발명에 따른 속도 정보 예측제어모듈(253)은 도 15에 도시한 바와 같이, 현재 프레임 상의 기준 표적박스에 위치한 특정 차량과, 이웃하는 또 다른 프레임 상의 기준 표적박스에 위치한 특정차량 사이의 움직임을 칼만 필터를 통해 상대 가속도를 추정하고, 상대 거리, 속도, 가속도를 예측제어시킨다.Through this process, the speed information prediction control module 253 according to the present invention As shown in FIG. 15, the relative acceleration is estimated through the Kalman filter by using the Kalman filter to estimate the motion between the specific vehicle located in the reference target box on the current frame and the specific vehicle located on the reference target box on another neighboring frame, Speed, and acceleration.

이처럼, 차량특징점 움직임 추적제어모듈(251), 광류(optical flow)형 움직임 추적제어모듈(252), 속도 정보 예측제어모듈(253)이 하나 또는 둘 이상의 선택되어 구성된 STF(SignTelecom Features) 알고리즘 차량추적모듈(250)는 SPAT(Spatial Partition analysis tracking)형 기준표적박스검출부를 통해 검출된 기준 표적 박스를 기준으로 현재 프레임 상에 매칭 시키고, 차량특징점과 광류 흐름, 속도 정보를 종합적으로 이용하여 신뢰도를 갱신하여 특정 차량을 연속적으로 추적시킨다.In this way, the vehicle feature point motion tracking control module 251, the optical flow type motion tracking control module 252, and the velocity information prediction control module 253 can be used to detect one or more selected SignTelecom Features (STF) The module 250 matches the reference target box detected by the SPAT (reference position target analysis box) detection unit on the current frame based on the detected reference target box, and updates the reliability by comprehensively using the vehicle feature point, optical flow, Thereby continuously tracking a specific vehicle.

즉, 연속프레임상에서 차량특징점 움직임 추적제어모듈(251)을 통해, 특정 차량을 추적하다가, 차량특징점 움직임 추적이 어려울 경우에, 인공지능제어하에 광류(optical flow)형 움직임 추적제어모듈(252) 또는 속도 정보 예측제어모듈(253)이 추가되어, 차량특징점과 광류 흐름, 속도 정보를 종합적으로 이용하여 신뢰도를 갱신하여 특정 차량을 연속적으로 추적시킬 수 있다.That is, if it is difficult to trace the vehicle feature point motion while tracking a specific vehicle through the vehicle feature point motion tracking control module 251 on the continuous frame, the optical flow motion tracking control module 252 or The speed information prediction control module 253 is added to update the reliability by comprehensively using the vehicle characteristic point, the optical flow and the speed information to continuously track a specific vehicle.

이하, 본 발명에 따른 지능형 프레임별 연속추적제어모듈을 통한 연속프레임별 특정차량 실시간 추적방법의 구체적인 동작과정에 관해 설명한다.Hereinafter, a specific operation procedure of the real-time tracking method of a specific vehicle for each continuous frame by the continuous tracking control module for each intelligent frame according to the present invention will be described.

도 16은 본 발명에 따른 지능형 프레임별 연속추적제어모듈을 통한 연속프레임별 특정차량 실시간 추적방법을 도시한 순서도에 관한 것이다.FIG. 16 is a flowchart illustrating a method for real-time tracking of a specific vehicle for each continuous frame by the continuous tracking control module for each intelligent frame according to the present invention.

먼저, 현장용 CCTV모듈에서, 차량의 영상을 촬영하고, 촬영한 현장용 CCTV영상데이터를 지능형 프레임별 연속추적제어모듈로 전송시킨다(S100).First, in the field CCTV module, a video image of the vehicle is captured, and the photographed CCTV image data for the field is transmitted to the continuous tracking control module for each intelligent frame (S100).

다음으로, 지능형 프레임별 연속추적제어모듈의 유무선통신네트워크망 형성부에서 하나의 현장용 CCTV모듈, 또는, 하나의 현장용 CCTV모듈과 서로 이웃하는 또 다른 현장용 CCTV모듈과 유무선통신네트워크망을 형성시킨다(S200).Next, one on-site CCTV module or one on-site CCTV module and another on-site CCTV module adjacent to each other in the wired / wireless communication network forming section of the intelligent frame-based continuous tracking control module and the wired / wireless communication network are formed S200 ).

다음으로, 지능형 프레임별 연속추적제어모듈의 프레임별 현장용 CCTV 영상데이터 수신부에서 하나의 현장용 CCTV모듈, 또는, 하나의 현장용 CCTV모듈과 서로 이웃하는 또 다른 현장용 CCTV모듈로부터 전송된 프레임별 현장용 CCTV 영상데이터를 수신받아 YOLO형 객체 검출부로 전달시킨다(S300).Next, CCTV image data for each frame transmitted from one field CCTV module or another field CCTV module adjacent to each other in the frame CCTV image data receiving section of the frame-by-frame continuous tracking control module by intelligent frame, To the YOLO-type object detection unit (S300).

다음으로, 지능형 프레임별 연속추적제어모듈의 욜로(YOLO : You Only Look Once)형 객체 분류부에서, 프레임별 현장용 CCTV 영상데이터 수신부로부터 전달된 프레임별 현장용 CCTV 영상데이터 상에서, 검출하고자하는 특정차량의 탐색 윈도우 크기와 탐색할 관심영역 위치를 설정한 후, 각 프레임별 차량이 있는 차량영역을 검출한 표적박스(target Box)의 목록을 생성시켜 SPAT(Spatial Partition analysis tracking)형 비교분석제어부로 전달시킨다(S400).Next, in the YOLO (You Only Look Once) object classification unit of the intelligent frame-based continuous tracking control module, on the CCTV image data for each frame transmitted from the CCTV image data receiving unit for each frame, After setting the size of the search window and the position of the ROI to be searched, a list of target boxes that detect the vehicle areas of each frame is generated and transmitted to the SPAT (Spatial Partition analysis tracking) comparative analysis control unit (S400).

다음으로, 지능형 프레임별 연속추적제어모듈의 SPAT(Spatial Partition analysis tracking)형 기준표적박스검출부에서, 욜로(YOLO)형 객체 분류부로부터 전달된 프레임별로 생성된 표적박스(target Box) 목록을 기준으로, 이전프레임과 현재프레임에 존재하는 같은 종류의 특정차량영역들 간의 유사도를 비교분석하여, 추적하고자하는 특정차량 영역만을 나타내는 기준표적박스로 검출시킨다(S500).Next, in the SPAT (Spatial Partition analysis tracking) type reference target box detection unit of the intelligent frame-by-frame continuous tracking control module, the target box list generated based on the frame transmitted from the YOLO- , The similarity between the specific vehicle regions of the same type existing in the previous frame and the current frame is compared and analyzed to detect a reference target box that represents only the specific vehicle region to be traced (S500).

끝으로, 지능형 프레임별 연속추적제어모듈의 STF(SignTelecom Features) 알고리즘 차량추적모듈에서 SPAT(Spatial Partition analysis tracking)형 기준표적박스검출부를 통해 검출된 기준 표적 박스를 기준으로 현재 프레임 상에 매칭 시키고, 차량특징점과 광류 흐름, 속도 정보를 종합적으로 이용하여 신뢰도를 갱신하여 특정 차량을 연속적으로 추적시킨다(S600).Finally, the SignTelecom Features (STF) algorithm of the intelligent frame-based continuous tracking control module matches the reference target box detected by the SPAT (Spatial Partition analysis tracking) type target detection box in the vehicle tracking module on the current frame, The reliability is updated using the characteristic points of the vehicle, the flow of the current, and the speed information in a comprehensive manner to continuously track the specific vehicle (S600).

이는 차량특징점 움직임 추적제어모듈(251), 광류(optical flow)형 움직임 추적제어모듈(252), 속도 정보 예측제어모듈(253)이 하나 또는 둘 이상의 선택되어 구성된다.This is configured by selecting one or more of the vehicle feature point motion tracking control module 251, the optical flow motion tracking control module 252, and the speed information prediction control module 253.

즉, 도 11에 도시한 바와 같이, 차량특징점 움직임 추적제어모듈(251)이 구동되어, SPAT(Spatial Partition analysis tracking)형 기준표적박스검출부를 통해 검출된 기준 표적 박스를 기준으로 현재 프레임 상에 매칭 시키고, 현재 프레임 상의 기준 표적박스에 위치한 특정 차량과, 이웃하는 또 다른 프레임 상의 기준 표적박스에 위치한 특정차량 사이의 차량특징점을 추출한 후, 관심 포인트에서의 방향과 크기를 연산시켜 특정차량을 추적제어시킨다.11, the vehicle characteristic point motion tracking control module 251 is driven so as to match the reference target box detected on the basis of the reference target box detected by the SPAT (Spatial Partition analysis tracking) And extracts vehicle feature points between the specific vehicle located in the reference target box on the current frame and the specific vehicle located on the reference target box on another neighboring frame and then calculates the direction and the size at the point of interest, .

또한, 도 14에 도시한 바와 같이, 광류(optical flow)형 움직임 추적제어모듈(252)이 구동되어, SPAT(Spatial Partition analysis tracking)형 기준표적박스검출부를 통해 검출된 기준 표적 박스를 기준으로 현재 프레임 상에 매칭 시키고, 현재 프레임 상의 기준 표적박스에 위치한 특정 차량과, 이웃하는 또 다른 프레임 상의 기준 표적박스에 위치한 특정차량 사이의 움직임에 따라 나타나는 명암 변화(광류 : optical flow)를 연산하여 특정차량의 움직임을 추적제어시킨다.14, the optical flow-type motion tracking control module 252 is driven to detect the current target motion box based on the reference target box detected through the spatial target analysis box (SPAT) (Optical flow) appearing in accordance with the movement between the specific vehicle located in the reference target box on the current frame and the specific vehicle located on the reference target box on another neighboring frame, To control the movement of the robot.

또한, 도 15에 도시한 바와 같이, 속도 정보 예측제어모듈(253)이 구동되어, SPAT(Spatial Partition analysis tracking)형 기준표적박스검출부를 통해 검출된 기준 표적 박스를 기준으로 현재 프레임 상에 매칭 시키고, 현재 프레임 상의 기준 표적박스에 위치한 특정 차량과, 이웃하는 또 다른 프레임 상의 기준 표적박스에 위치한 특정차량 사이의 움직임을 칼만 필터를 통해 상대 가속도를 추정하고, 상대 거리, 속도, 가속도를 예측제어시킨다.15, the speed information prediction control module 253 is driven to match the reference target box detected through the SPAT (Spatial Partition analysis tracking) type reference target box detector on the current frame , The relative acceleration is estimated through the Kalman filter and the relative distance, velocity, and acceleration are predicted and controlled between the movement of the specific vehicle located in the reference target box on the current frame and the specific vehicle located in the reference target box on another neighboring frame .

1 : 연속프레임별 특정차량 실시간 추적장치
100 : 현장용 CCTV모듈
200 : 지능형 프레임별 연속추적제어모듈
210 : 유무선통신네트워크망 형성부
220 : 프레임별 현장용 CCTV 영상데이터 수신부
230 : 욜로(YOLO : You Only Look Once)형 객체 분류부
240 : SPAT(Spatial Partition analysis tracking)형 기준표적박스검출부
250 : STF(SignTelecom Features) 알고리즘 차량추적모듈1: Real-time tracking device of specific vehicle per frame
100: On-site CCTV module
200: Intelligent frame-by-frame continuous tracking control module
210: a wired / wireless communication network forming section
220: CCTV video data receiver for each frame
230: You Only Look Once (YOLO)
240: SPAT (Spatial Partition analysis tracking) type reference target box detector
250: SignTelecom Features (STF) Algorithm Vehicle Tracking Module

Claims (7)

도로 및 보도상에 위치되어, 차량의 영상을 촬영하고, 촬영한 현장용 CCTV영상데이터를 지능형 프레임별 연속추적제어모듈로 전송시키는 현장용 CCTV모듈(100)과,
하나의 현장용 CCTV모듈, 또는, 하나의 현장용 CCTV모듈과 서로 이웃하는 또 다른 현장용 CCTV모듈 과 유무선통신네트워크망을 형성하면서, 프레임별 현장용 CCTV 영상데이터를 수신받아, 기준표적박스를 생성시킨 후, 기준 표적 박스를 기준으로 현재 프레임 상에 매칭 시키고, 차량특징점과 광류 흐름, 속도 정보를 종합적으로 이용하여 신뢰도를 갱신하여 특정 차량을 연속적으로 추적시키도록 제어하는 지능형 프레임별 연속추적제어모듈(200)로 구성되는 것으로서,
상기 지능형 프레임별 연속추적제어모듈(200)은 하나의 현장용 CCTV모듈, 또는, 하나의 현장용 CCTV모듈과 서로 이웃하는 또 다른 현장용 CCTV모듈과 유무선통신네트워크망을 형성시키는 유무선통신네트워크망 형성부(210)와,
하나의 현장용 CCTV모듈, 또는, 하나의 현장용 CCTV모듈과 서로 이웃하는 또 다른 현장용 CCTV모듈로부터 전송된 프레임별 현장용 CCTV 영상데이터를 수신받아 YOLO형 객체 검출부로 전달시키는 프레임별 현장용 CCTV 영상데이터 수신부(220)와,
프레임별 현장용 CCTV 영상데이터 수신부로부터 전달된 프레임별 현장용 CCTV 영상데이터 상에서, 검출하고자하는 특정차량의 탐색 윈도우 크기와 탐색할 관심영역 위치를 설정한 후, 각 프레임별 차량이 있는 차량영역을 검출한 표적박스(target Box)의 목록을 생성시켜 SPAT(Spatial Partition analysis tracking)형 비교분석제어부로 전달시키는 욜로(YOLO : You Only Look Once)형 객체 분류부(230)와,
욜로(YOLO)형 객체 분류부로부터 전달된 프레임별로 생성된 표적박스(target Box) 목록을 기준으로, 이전프레임과 현재프레임에 존재하는 같은 종류의 특정차량영역들 간의 유사도를 비교분석하여, 추적하고자하는 특정차량 영역만을 나타내는 기준표적박스로 검출시키는 SPAT(Spatial Partition analysis tracking)형 기준표적박스검출부(240)와,
SPAT(Spatial Partition analysis tracking)형 기준표적박스검출부를 통해 검출된 기준 표적 박스를 기준으로 현재 프레임 상에 매칭 시키고, 차량특징점과 광류 흐름, 속도 정보를 종합적으로 이용하여 신뢰도를 갱신하여 특정 차량을 연속적으로 추적시키는 STF(SignTelecom Features) 알고리즘 차량추적모듈(250)로 구성되고,
상기 STF(SignTelecom Features) 알고리즘 차량추적모듈(250)는 SPAT(Spatial Partition analysis tracking)형 기준표적박스검출부를 통해 검출된 기준 표적 박스를 기준으로 현재 프레임 상에 매칭 시키고, 현재 프레임 상의 기준 표적박스에 위치한 특정 차량과, 이웃하는 또 다른 프레임 상의 기준 표적박스에 위치한 특정차량 사이의 차량특징점을 추출한 후, 관심 포인트에서의 방향과 크기를 연산시켜 특정차량을 추적제어시키는 차량특징점 움직임 추적제어모듈(251)과,
SPAT(Spatial Partition analysis tracking)형 기준표적박스검출부를 통해 검출된 기준 표적 박스를 기준으로 현재 프레임 상에 매칭 시키고, 현재 프레임 상의 기준 표적박스에 위치한 특정 차량과, 이웃하는 또 다른 프레임 상의 기준 표적박스에 위치한 특정차량 사이의 움직임에 따라 나타나는 명암 변화(광류 : optical flow)를 연산하여 특정차량의 움직임을 추적제어시키는 광류(optical flow)형 움직임 추적제어모듈(252)과,
SPAT(Spatial Partition analysis tracking)형 기준표적박스검출부를 통해 검출된 기준 표적 박스를 기준으로 현재 프레임 상에 매칭 시키고, 현재 프레임 상의 기준 표적박스에 위치한 특정 차량과, 이웃하는 또 다른 프레임 상의 기준 표적박스에 위치한 특정차량 사이의 움직임을 칼만 필터를 통해 상대 가속도를 추정하고, 상대 거리, 속도, 가속도를 예측제어시키는 속도 정보 예측제어모듈(253)로 구성되는 것에 있어서,

상기 차량특징점 움직임 추적제어모듈(251)은
특정차량추적을 위한 기준표적박스와 현재프레임상의 특징점을 적분영상과 근사화된 헤이시안검출기 두 가지를 통해 연산시켜, 추출시키는 패스트 헤이시안(Fast-Hessian)형 특징점추출부(251a)와,
관심 포인트에서의 방향과 크기를 연산시키도록 제어하는 방향크기연산제어부(251b)로 구성되는 것을 특징으로 하는 지능형 프레임별 연속추적제어모듈을 통한 연속프레임별 특정차량 실시간 추적장치.An on-site CCTV module (100) which is located on a road and a sidewalk, captures an image of a vehicle, and transmits the photographed on-site CCTV image data to an intelligent frame-
One CCTV module for the field or CCTV module for one field and CCTV module for another CCTV module adjacent to the other CCTV module and a wired / wireless communication network are formed, and CCTV image data for each frame is received to generate a reference target box, Frame sequential tracking control module 200 that matches the target box on the current frame and updates the reliability by comprehensively using the vehicle characteristic points, the optical flow and the speed information to continuously track a specific vehicle As shown,
The intelligent frame-based continuous tracking control module 200 includes one field CCTV module or one field CCTV module and another field CCTV module adjacent to the field and a wired / wireless communication network forming unit 210 )Wow,
A field CCTV image data receiving unit 220 for receiving a frame-by-field CCTV image data transmitted from one on-site CCTV module or one on-site CCTV module and another neighboring on-site CCTV module, and transmitting the CCTV image data to the YOLO- )Wow,
After setting the size of the search window of the specific vehicle to be detected and the position of the region of interest to be detected on the CCTV image data for each frame transmitted from the field CCTV video data receiver for each frame, A YOLO (You Only Look Once) object classification unit 230 for generating a list of a target box and transmitting the list to a SPAT (spatial partition analysis)
We analyze the similarity of the same kind of specific vehicle regions existing in the previous frame and the current frame based on the target box list generated for each frame transmitted from the YOLO type object classification unit, A SPAT (Spatial Partition analysis tracking) type reference target box detection unit 240 for detecting a reference target box that represents only a specific vehicle area to be subjected to the SPOT,
Matching a reference target box detected by a SPAT (Spatial Partition analysis tracking) type reference target box detector with a reference frame on a current frame, updating the reliability by comprehensively using vehicle characteristic points, optical flow and speed information, (SignTelecom Features) algorithm vehicle tracking module 250,
The SignTelecom Features (STF) Algorithm Vehicle Tracking Module 250 matches the reference target box detected through the SPAT (Spatial Partition Analysis Tracking) reference target box detector to the current target frame, A vehicle feature point motion tracking control module 251 for extracting vehicle feature points between a specific vehicle located in a reference target box on another neighboring frame and a specific vehicle located in a neighboring target frame, )and,
A reference target box detected by a SPAT (Spatial Partition analysis tracking) type reference target box detecting unit is matched on the current frame on the basis of the reference target box, and a reference target box on a neighboring another frame An optical flow type motion tracking control module 252 for calculating an optical flow according to a motion between specific vehicles located in the vehicle and tracking and controlling the motion of a specific vehicle,
A reference target box detected by a SPAT (Spatial Partition analysis tracking) type reference target box detecting unit is matched on the current frame on the basis of the reference target box, and a reference target box on a neighboring another frame And a velocity information prediction control module 253 for estimating the relative acceleration through the Kalman filter and predicting and controlling the relative distance, velocity and acceleration,

The vehicle feature point motion tracking control module 251
A fast-Hessian-type feature point extracting unit 251a for calculating and extracting a reference target box for tracking a specific vehicle and a feature point on the current frame through two types of integral images and an approximated helix detector;
And a direction size calculation control unit (251b) for calculating the direction and size at the point of interest. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020180143227A 2018-11-20 2018-11-20 Real-time tracking device and method of specific vehicle by continuous frame by continuous tracking control module by intelligent frame KR101984209B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180143227A KR101984209B1 (en) 2018-11-20 2018-11-20 Real-time tracking device and method of specific vehicle by continuous frame by continuous tracking control module by intelligent frame

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180143227A KR101984209B1 (en) 2018-11-20 2018-11-20 Real-time tracking device and method of specific vehicle by continuous frame by continuous tracking control module by intelligent frame

Publications (1)

Publication Number Publication Date
KR101984209B1 true KR101984209B1 (en) 2019-05-30

Family

ID=66675826

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180143227A KR101984209B1 (en) 2018-11-20 2018-11-20 Real-time tracking device and method of specific vehicle by continuous frame by continuous tracking control module by intelligent frame

Country Status (1)

Country Link
KR (1) KR101984209B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264730A (en) * 2019-06-05 2019-09-20 上海易点时空网络有限公司 The method and system of tracking escape vehicle based on driving recording
KR102283482B1 (en) * 2021-02-19 2021-07-29 주식회사 싸인텔레콤 Video system that can calculate traffic information through object tracking
KR102445972B1 (en) * 2022-02-24 2022-09-22 주식회사 파로스 Vehicle collision avoidance method and parking control system
KR20230008947A (en) * 2021-07-07 2023-01-17 재단법인차세대융합기술연구원 Method and apparatus for avoiding collision between vehicle and object, computer program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120119144A (en) * 2011-04-20 2012-10-30 주식회사 레이스전자 Apparatus and method of camera-based intelligent management
KR101735365B1 (en) * 2017-01-19 2017-05-16 (주)나인정보시스템 The robust object tracking method for environment change and detecting an object of interest in images based on learning
KR20180048519A (en) 2018-04-27 2018-05-10 현대자동차주식회사 System and Method for Tracking Vehicle on the basis on Template Matching
KR101873202B1 (en) * 2018-05-24 2018-07-02 주식회사 싸인텔레콤 The one shot camera for artificial intelligence fuction by using neuromorphic chip

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120119144A (en) * 2011-04-20 2012-10-30 주식회사 레이스전자 Apparatus and method of camera-based intelligent management
KR101735365B1 (en) * 2017-01-19 2017-05-16 (주)나인정보시스템 The robust object tracking method for environment change and detecting an object of interest in images based on learning
KR20180048519A (en) 2018-04-27 2018-05-10 현대자동차주식회사 System and Method for Tracking Vehicle on the basis on Template Matching
KR101873202B1 (en) * 2018-05-24 2018-07-02 주식회사 싸인텔레콤 The one shot camera for artificial intelligence fuction by using neuromorphic chip

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264730A (en) * 2019-06-05 2019-09-20 上海易点时空网络有限公司 The method and system of tracking escape vehicle based on driving recording
KR102283482B1 (en) * 2021-02-19 2021-07-29 주식회사 싸인텔레콤 Video system that can calculate traffic information through object tracking
KR20230008947A (en) * 2021-07-07 2023-01-17 재단법인차세대융합기술연구원 Method and apparatus for avoiding collision between vehicle and object, computer program
KR102533419B1 (en) 2021-07-07 2023-05-18 재단법인차세대융합기술연구원 Method and apparatus for avoiding collision between vehicle and object, computer program
KR102445972B1 (en) * 2022-02-24 2022-09-22 주식회사 파로스 Vehicle collision avoidance method and parking control system

Similar Documents

Publication Publication Date Title
KR101984209B1 (en) Real-time tracking device and method of specific vehicle by continuous frame by continuous tracking control module by intelligent frame
US9213901B2 (en) Robust and computationally efficient video-based object tracking in regularized motion environments
CN101141633B (en) Moving object detecting and tracing method in complex scene
US7660439B1 (en) Method and system for flow detection and motion analysis
KR101788269B1 (en) Method and apparatus for sensing innormal situation
KR100364582B1 (en) System tracking and watching multi moving object
KR101569919B1 (en) Apparatus and method for estimating the location of the vehicle
CN111753797B (en) Vehicle speed measuring method based on video analysis
KR101735365B1 (en) The robust object tracking method for environment change and detecting an object of interest in images based on learning
EP1574992A1 (en) Method and device for tracing moving object in image
KR101515166B1 (en) A Parking Event Detection System Based on Object Recognition
Makhmutova et al. Object tracking method for videomonitoring in intelligent transport systems
Chang et al. Video analytics in smart transportation for the AIC'18 challenge
CN110555397A (en) crowd situation analysis method
KR100438981B1 (en) Traffic information extracting method and apparatus using a image information
CN105354540A (en) Video analysis based method for implementing person fall-down behavior detection
KR20220032681A (en) Parking management method for on-street parking lots
CN114693909A (en) Microcosmic vehicle track sensing equipment based on multi-sensor machine vision fusion
CN114757977A (en) Moving object track extraction method fusing improved optical flow and target detection network
KR101161557B1 (en) The apparatus and method of moving object tracking with shadow removal moudule in camera position and time
KR102164637B1 (en) System for tracking a object in road and method thereof
KR102492290B1 (en) Drone image analysis system based on deep learning for traffic measurement
CN114581863A (en) Vehicle dangerous state identification method and system
JPH0991439A (en) Object monitor
Heo et al. Autonomous reckless driving detection using deep learning on embedded GPUs

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant