KR100820952B1 - Detecting method at automatic police enforcement system of illegal-stopping and parking vehicle using single camera and system thereof - Google Patents

Detecting method at automatic police enforcement system of illegal-stopping and parking vehicle using single camera and system thereof Download PDF

Info

Publication number
KR100820952B1
KR100820952B1 KR1020080001161A KR20080001161A KR100820952B1 KR 100820952 B1 KR100820952 B1 KR 100820952B1 KR 1020080001161 A KR1020080001161 A KR 1020080001161A KR 20080001161 A KR20080001161 A KR 20080001161A KR 100820952 B1 KR100820952 B1 KR 100820952B1
Authority
KR
South Korea
Prior art keywords
parking
crackdown
vehicle
monitoring
module
Prior art date
Application number
KR1020080001161A
Other languages
Korean (ko)
Inventor
전영민
주성일
Original Assignee
한국비전기술(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국비전기술(주) filed Critical 한국비전기술(주)
Priority to KR1020080001161A priority Critical patent/KR100820952B1/en
Application granted granted Critical
Publication of KR100820952B1 publication Critical patent/KR100820952B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules

Abstract

A method and a system for automatically detecting illegal-stopping and parking vehicles are provided to minimize the wait time of the system by executing regulations using forward and backward regulation sub-modules. Plural stopping and parking monitor sectors(24) are mapped at a forbidden area(22) between real coordinates and the coordinates of a regulation camera(40) using a mapping module in a monitor area(30) of a road(20). Initial regulation of a forward regulation sub-module is executed before starting of stopping and parking regulation. The regulation camera traces an illegal-stopping and parking vehicles and an illegal-stopping and parking status recognition sub-module generates a monitor list as the trace result. Final regulation on the illegal-stopping and parking vehicles is executed in a backward regulation sub-module through final regulation of the forward regulation sub-module and initial and final regulations of the illegal-stopping and parking status recognition sub-module. By adjusting the direction of the regulation camera, regulations are repeatedly executed in the forward regulation sub-module, illegal-stopping and parking status recognition sub-module, and backward regulation sub-module.

Description

단일 카메라를 이용한 불법 주정차 무인 자동 단속방법 및 그 시스템{Detecting Method at Automatic Police Enforcement System of Illegal-stopping and Parking Vehicle using Single Camera and System thereof}Detecting Method at Automatic Police Enforcement System of Illegal-stopping and Parking Vehicle using Single Camera and System

본 발명은 단일 카메라를 이용한 불법 주정차 차량의 무인 자동 단속시스템에 관한 것으로서, 보다 상세하게는 원격지 주정차 감시지역 내에서 차량의 움직임을 파악하여 단속시스템에 구성된 선행단속 서브모듈, 불법주정차 상황인지 서브모듈, 후행단속 서브모듈, 방향전환 서브모듈 등을 이용하여 단일 카메라로 불법 주정차 차량을 무인으로 자동 단속할 수 있는 방법 및 그 시스템에 관한 것이다.The present invention relates to an unmanned automatic crackdown system for an illegal parking vehicle using a single camera, and more specifically, a preceding crackdown submodule configured in a crackdown system by grasping the movement of a vehicle in a remote parking lot monitoring area, and whether the illegal parking situation is a submodule. The present invention relates to a method and a system for automatically controlling an illegal parking vehicle unmannedly using a single camera using a trailing enforcement submodule, a turning submodule, and the like.

불법 주정차는 교통량이 많은 도로상에서 차량의 정상적인 교통의 흐름을 방해하고, 도로의 통행 폭을 좁게 할 뿐만 아니라, 대인 및 대물 교통사고의 주요한 원인이 될 수 있다. 따라서 주정차를 금지하는 구역에서의 불법 주정차 차량에 대한 단속이 필요한 실정이다.Illegal parking stops the normal traffic flow of the vehicle on the road with heavy traffic, narrows the road width, and can be a major cause of personal and object traffic accidents. Therefore, it is necessary to crack down on illegal parking vehicles in areas that prohibit parking.

이와 같이 도로변에 불법적으로 주정차된 차량에 대한 단속은 크게 두 가지 유형으로 분류될 수 있다. 먼저, 첫 번째 유형은 불법 주정차 단속요원에 의한 인위적인 단속방식이고, 두 번째 유형은 감시카메라를 이용하여 원격에서 단속하는 방식이다. 또한, 감시카메라를 이용하여 원격에서 이루어지는 단속방식은 다시 두 가지 유형으로 대별될 수 있다. 즉 단속의 주체가 사람의 조작에 의한 수동 방식과, 단속의 주체가 시스템의 작동에 의한 자동 방식이다. 상기 단속의 주체가 시스템의 작동에 의한 경우로서, 종래의 완전 자동방식은 전방과 후방에 설치되는 차량검지용 고정카메라와, 차량의 단속을 위한 단속용 PTZ카메라로 구성되는 3카메라에 의한 단속체계로 이루어져 있다.As such, the crackdown on vehicles illegally parked on the roadside can be classified into two types. First, the first type is an artificial crackdown by illegal parking enforcement personnel, and the second type is a remote crackdown using a surveillance camera. In addition, remote control using a surveillance camera can be divided into two types again. In other words, the subject of the control is a manual method by human operation, and the subject of the control is an automatic method by the operation of the system. In the case where the subject of the enforcement is the operation of the system, the conventional fully automatic system is a three-camera control system comprising a fixed camera for detecting the vehicle installed in the front and rear, and a PTZ camera for controlling the vehicle. Consists of

상기 인위적인 단속방식의 경우에는 단속현장에서 단속요원에 의해 직접 이루어진다. 그러나 현재 국내 차량 대수에 비해 주차를 위한 면적이 절대적으로 부족한 실정이고, 단속요원을 모든 주정차 단속을 위한 단속지역마다 배치할 수 없는 것이 현재 실정이다.In the case of the artificial crackdown method, the crackdown is performed directly by the crackdown personnel. However, at present, the area for parking is absolutely insufficient compared to the number of domestic vehicles, and the current situation is that the enforcement personnel cannot be placed in every crackdown area for crackdowns.

이와 같은 인위적인 단속방식의 문제점을 해결하기 위하여, 일부 도로 주변에는 단속현장에 감시카메라를 설치하고, 이렇게 설치된 감시카메라를 이용하여 원격에서 단속하는 방식을 채택하고 있다. 그러나 이 또한, 원격으로 설치된 복수의 감시카메라의 영상정보를 중앙상황실에서 단속을 하는 주체가 인위적인 수동 방식으로 이루어지는 사례가 대부분이며, 그 외에 자동 방식으로 이루어지는 사례는 다음과 같은 문제점이 노출되었다.In order to solve the problem of the artificial crackdown method, a surveillance camera is installed in a crackdown site around some roads, and a remote crackdown is adopted using the surveillance camera thus installed. However, this is also the case where the subject who controls the video information of a plurality of remotely installed surveillance cameras in the central situation room is artificially manual in most cases, the other cases of the automatic method are exposed the following problems.

첫째, 종래의 단속시스템은 대부분 3대의 카메라를 이용하는 3카메라 단속체계이다. 3대의 카메라를 이용하는 단속체계는 단일 카메라를 이용하는 체계보다 단속시스템의 구성을 위한 원가적인 측면에서 고가이고, 단속시스템의 구성적인 측면에서 복잡하며, 단속시스템의 유지보수를 위한 측면에서도 유지보수의 빈도수가 상대적으로 많을 뿐만 아니라, 단속시스템이 복잡성과 더불어 도시의 미관을 해치는 문제가 있었다.First, the conventional control system is a three-camera control system using mostly three cameras. The control system using three cameras is more expensive in terms of the construction of the control system than the system using a single camera, is complicated in the structural aspect of the control system, and the frequency of maintenance in terms of maintenance of the control system. In addition to the relatively large number, there were problems that the enforcement system undermined the aesthetics of the city along with the complexity.

둘째, 주차단속 개시 전부터 주차된 차량에 대해서는 단속시스템이 자동으로 단속하여 처리할 방안이 없었기 때문에 이러한 허점이 악용될 소지가 있는 등의 많은 문제점이 있었다. Second, there was a lot of problems such as the possibility that this loophole could be exploited because there was no way for the enforcement system to crack down and handle the vehicles parked before the parking enforcement began.

셋째, 감시카메라로부터 전송된 영상을 영상분석에 의한 차량 검지방법은 대량의 계산과정을 수반한다. 영상분석의 대상 영역을 주정차 감시영역의 전역으로 설정함으로써, 주정차 감시영역과 주정차 금지구역의 차이만큼 불필요한 계산과정을 수행하게 된다.Third, the vehicle detection method by analyzing the image transmitted from the surveillance camera involves a large amount of calculation process. By setting the target area of the image analysis to the whole area of the parking monitoring area, unnecessary calculation process is performed as much as the difference between the parking monitoring area and the prohibited parking area.

넷째, 영상분석 방법 중에서 차량 검지방법으로 영상의 단순한 현재와 이전 또는 배경과 현재 영상프레임 간의 차영상을 활용하는 시스템의 경우에는 단속현장의 외부 환경변화에 적응하지 못하여 차량 검지율과 검지 정확도가 떨어지는 실정이다. 또한, 차량의 움직임이 매우 서서히 이동할 때, 이전과 현재 영상프레임 간의 차영상을 활용하는 경우에는 물체의 이동이 없는 것으로 나타나기 때문에 치명적인 오류나 결함이 발생된다. 또한, 카메라 장비의 자체 잡음으로 인하여 움직임 벡터가 발생하여 차량으로 잘못 인식되는 경우가 많았다.Fourth, in the case of a system that utilizes the simple present and the previous image or the difference image between the background and the current image frame as the vehicle detection method, the vehicle detection rate and the accuracy of detection are inferior because it cannot adapt to the change of the external environment of the crackdown site. It is true. In addition, when the movement of the vehicle moves very slowly, when the difference image between the previous and current image frames is used, a fatal error or defect occurs because the object does not move. In addition, due to the noise of the camera equipment itself, a motion vector is generated and often misrecognized as a vehicle.

다섯째, 영상분석에서 부정확한 특징을 발생시키는 그림자 제거를 배제한 단순한 이동물체 검지방법의 경우에는 이동물체의 유무만 판단하기 때문에 이동물체가 정확히 차량인지 아니면 차량 이외의 객체 즉, 사람이나 동물인지 판단할 수 없었다. 따라서 그림자 간섭에 기인한 부정확한 이동물체의 검지는 시스템의 불필요 한 동작을 수반한다.Fifth, in the case of the simple moving object detection method excluding the shadow removal that causes the inaccurate feature in the image analysis, only the existence of the moving object is judged, so it is determined whether the moving object is a vehicle or an object other than the vehicle, that is, a person or an animal. Could not. Therefore, inaccurate detection of moving objects due to shadow interference involves unnecessary operation of the system.

여섯째, 영상분석에 의한 차량 검지방법을 활용하는 기존 방법의 경우에는 픽셀단위의 영상처리를 필요로 하는 모폴로지(Morphology) 연산과 레이블링(Labeling) 연산에 많은 계산량이 요구되어 전체시스템 동작의 정확성과 안정성을 저하시킨다. 따라서 두 연산에서 계산량의 최소화 방법이 요구되는 실정이다.Sixth, in the conventional method using the vehicle detection method by image analysis, a large amount of computation is required for morphology and labeling operations that require image processing in units of pixels. Lowers. Therefore, there is a need for a method of minimizing the amount of computation in both operations.

본 발명은 상기 종래기술의 문제점을 해소하기 위한 것으로, 본 발명은 기존에 복수로 설치되어 단속을 수행하던 시스템을 단일의 카메라로 불법 주정차 차량을 단속할 수 있는 무인 자동 단속시스템을 제공하기 위한 것이 목적이다.The present invention is to solve the problems of the prior art, the present invention is to provide an unmanned automatic control system that can control the illegal parking vehicle with a single camera to a system that was previously installed in a plurality of enforcement enforcement. Purpose.

또한, 본 발명은, 단속시스템의 선행단속 서브모듈을 이용하여 주정차 단속 개시 이전부터 주정차된 차량에 대해서도 자동으로 단속할 수 있는 무인 자동 단속시스템을 제공하기 위한 것이 다른 목적이다.Another object of the present invention is to provide an unmanned automatic control system that can automatically control a vehicle parked before or after the start of the parking control using the preceding control submodule of the control system.

또한, 본 발명은, 단속시스템의 불법주정차 상황인지 서브모듈을 이용하여 불필요한 계산량, 단순한 차영상 기법, 그림자 문제 및 픽셀을 기본연산의 단위로 하는 모폴로지와 레이블링의 계산량을 최소화함과 동시에, 단일의 단속카메라를 정방향 혹은 역방향으로 방향전환이 가능하고, 주정차금지구역(관심영역) 내의 입력영상을 분석하여 차량을 검지하고, 차량의 이동좌표와 시간정보로 불법주정차 상황인지 작업을 수행하는 무인 자동 단속시스템을 제공하기 위한 것이 다른 목적이다.In addition, the present invention minimizes the computational complexity of morphology and labeling using unnecessary computation, simple difference imaging, shadowing problems, and pixel as a basic operation unit by using the sub-module for the illegal parking situation of the control system. It is possible to change the direction of the intermittent camera in the forward or reverse direction, detect the vehicle by analyzing the input image in the stop area (interest zone), and perform the automatic parking control to detect the illegal parking situation based on the moving coordinates and time information of the vehicle. Another purpose is to provide a system.

또한, 본 발명은, 단속시스템의 후행단속 서브모듈을 이용하여 초기 단속차 량에 대하여 최종 단속을 수행하고, 최종 단속리스트 정보를 생성하여 최종 적발정보를 생성하며, 불법주정차 상황인지 서브모듈에서 수집한 감시리스트 정보에 기초하여 불법주정차 상황인지 서브모듈의 초기 차량단속(초기 단속리스트 정보와 초기적발 정보 생성)과 최종 차량단속(최종 단소리스트 정보와 초기적발 정보 생성)을 수행하고, 최종 적발정보를 생성하여 한 방향에 대한 주정차 단속을 마감하는 무인 자동 단속시스템을 제공하기 위한 것이 다른 목적이다.In addition, the present invention performs the final crackdown on the initial crackdown vehicle using the following crackdown submodule of the crackdown system, generate the final crackdown list information to generate the final caught information, and collect in the illegal parking situation submodule Based on the monitoring list information, the initial vehicle control (initial control list information and initial detection information generation) and the final vehicle control (creation of final short list information and initial detection information) of the sub-module whether the illegal parking situation is detected and the final detection information are performed. Another object of the present invention is to provide an unmanned automatic control system for closing a parking control in one direction by generating a.

또한, 본 발명은, 단속시스템의 주정차감시섹터 설정모듈을 이용하여 원근감을 고려하여 단속현장의 실세계좌표와 카메라좌표 사이에서 정확한 매핑기능이 실현된 불법 주정차 차량의 무인 자동 단속시스템을 제공하기 위한 것이 다른 목적이다.In addition, the present invention is to provide an unmanned automatic control system for illegal parking vehicle that realizes accurate mapping function between real world coordinates and camera coordinates of the crackdown site in consideration of perspective using the parking monitoring sector setting module of the crackdown system. Another purpose.

본 발명은 상기 목적을 달성하기 위하여, 불법 주정차 무인 자동 단속방법에 있어서, (a) 불법주정차를 단속하기 위한 도로의 설정된 감시지역에서 원근감을 고려하여 실세계좌표와 단속용 PTZ카메라의 좌표 사이를 매핑모듈을 이용하여 주정차금지구역에서 복수의 주정차감시섹터를 매핑(mapping)하는 단계; (b) 상기 매핑된 주정차감시섹터를 선행단속 서브모듈이 주정차의 단속을 개시하기 전부터 주정차된 차량에 대하여 초기 단속을 수행하는 단계; (c) 상기 초기의 선행단속 이후에 단속용 PTZ카메라가 감시모드상태에서 불법주정차된 차량을 실시간 추적하고 불법주정차 상황인지 서브모듈에서 상황인지 결과로서 감시리스트를 생성하는 단계; (d) 상기 선행단속 서브모듈의 최종단속과 불법주정차 상황인지 서브모듈의 초기 및 최종 단속을 통해 후행단속 서브모듈에서 불법주정차 차량의 최종단속이 이루어지는 단계; (e) 상기 불법주정차 차량의 최종단속이 완료된 후에 방향전환 서브모듈에서 단속용 PTZ카메라를 방향전환시켜 상기 선행단속 서브모듈, 불법주정차 상황인지 서브모듈 및 후행단속 서브모듈 순으로 단속 작업을 반복 수행하는 단계를 포함하는 단일 카메라를 이용한 불법 주정차 무인 자동 단속방법을 제공한 것이 특징이다.In order to achieve the above object, the present invention provides a method for unmanned automatic parking control, (a) mapping between real world coordinates and coordinates of a PTZ camera for enforcement in consideration of perspective in a set monitoring area of a road for cracking illegal parking. Mapping a plurality of parking monitoring sectors in the parking stop area using a module; (b) performing an initial crackdown on the parked vehicle before the mapped parking stop monitoring section prior to the crackdown of the parking stop; (c) real-time tracking the illegally parked vehicle in the surveillance mode after the initial preceding control and creating a watch list as a result of whether the illegal parking situation or the situation in the sub-module; (d) performing a final crackdown of the illegally parked vehicle in the trailing crackdown submodule through initial crackdown of the preceding crackdown submodule and initial and final crackdown of the illegal parking situation; (e) After the final crackdown of the illegal parking vehicle is completed, the direction change submodule turns the crackdown PTZ camera to repeat the crackdown operation in order of the preceding crackdown submodule, the illegal parking situation submodule, and the trailing crackdown submodule. It is characterized in that it provides an automatic parking method for illegal parking using a single camera including a step.

또한, 본 발명은, 불법주정차 차량 무인 자동 단속시스템에 있어서, 도로의 주정차감시지역 내에 주정차금지지역의 원근감을 고려하여 실세계 좌표와 카메라 좌표 사이의 매핑(Mapping)을 통해 주정차감시섹터를 설정하는 매핑모듈; 상기 매핑모듈에서 설정된 주정차감시섹터에 주정차 단속개시 전부터 불법으로 주정차된 차량의 초기 단속리스트 및 적발 정보를 생성하는 선행단속 서브모듈; 어느 한 방향에 대하여 단속용 PTZ카메라를 감시모드로 취하고 주정차금지구역 내에서 실시간으로 차량을 검지하며 주정차 차량을 추적하여 불법주정차 상황을 인지한 후에 감시리스트 정보를 생성하는 불법주정차 상황인지 서브모듈; 상기 선행단속 서브모듈의 초기단속한 정보를 최종단속하여 최종 단속리스트와 최종 적발정보를 생성하고, 불법주정차 상황인지 서브모듈의 초기단속 이후에 일정시간이 경과한 후에 최종단속을 수행하여 최종 단속리스트 및 적발 정보를 생성하는 후행단속 서브모듈을 포함하여 이루어진 단일 카메라를 이용한 불법 주정차 무인 자동 단속시스템을 제공한 것이 특징이다.In addition, the present invention, in the unmanned automatic vehicle unmanned automatic control system, mapping to set the parking monitoring sector through the mapping between the real world coordinates and the camera coordinates in consideration of the perspective of the parking prohibited area in the parking monitoring area of the road module; A preceding enforcement submodule configured to generate an initial regulation list and detection information of an illegally parked vehicle from before the parking regulation is started in the parking monitoring sector set in the mapping module; A sub-module, which is an illegal parking situation in which a surveillance camera is generated in a monitoring mode in one direction and detects a vehicle in real time in a parking prohibited area, tracks a parking vehicle, and generates monitoring list information after recognizing an illegal parking situation; The final crackdown list of the initial crackdown information of the preceding crackdown submodule is generated to generate the final crackdown list and the final caught information, and the final crackdown list is performed after a predetermined time has elapsed after the initial crackdown of the submodule, whether it is an illegal parking situation. And an illegal parking stop automatic control system using a single camera including a trailing enforcement submodule configured to generate caught information.

본 발명은 상기 해결수단에 의하여, 단일의 카메라를 이용하여 불법주정차 차량을 무인 자동 단속할 수 있도록 하여 단속시스템의 설치에 따른 원가의 절감, 동등한 성능의 발휘, 메카니즘의 단순화, 유지보수 측면에서 상대적으로 용이하다.　또한, 단일의 카메라를 이용하는 단속체계는 기존의 3 카메라를 이용한 단속체계보다 도시 미관 측면에서 훨씬 우월해진다.The present invention allows the automatic parking control of an illegal parking vehicle using a single camera, so that the cost can be reduced, the equivalent performance can be achieved, the mechanism can be simplified, and the maintenance can be achieved. It is easy to. In addition, the control system using a single camera is far superior in terms of urban aesthetics than the control system using a conventional three camera.

또한, 본 발명은 선행단속 서브모듈로 주정차 단속개시 전부터 주정차된 차량에 대하여 단속이 가능하고 불법주정차 상황인지 서브모듈로 불필요한 계산량이 제거된 실시간 차량 검지 및 추적방식에 의해 주정차 상황인지가 가능하며, 후행단속 서브모듈로 선행단속 서브모듈의 차량 최종단속을 수행함으로써 선행단속 서브모듈의 차량 초기단속과 최종단속의 사이에 불법주정차 상황인지 서브모듈을 동작시킴으로 불필요하게 기다림에 기인하여 시스템에서 소모되는 시간을 최소화하는 효과가 있다.In addition, the present invention is possible to control the vehicle parked before the start of the parking control with the preceding control submodule, and whether the parking situation is by the real-time vehicle detection and tracking method that unnecessary calculation amount is eliminated by the illegal module or the submodule. Time to be consumed in the system due to unnecessary waiting by operating the sub-module whether the illegal parking situation is performed between the initial crackdown and the final crackdown of the vehicle of the preceding crackdown submodule by performing the final crackdown of the preceding crackdown submodule. Minimize the effect.

더욱이 본 발명은 주정차감시지역의 원근감을 고려하여 실세계 좌표와 카메라 좌표 사이의 정확한 매핑을 통해 주정차의 단속율 향상, 불필요한 계산을 절감, 단일 카메라로 근거리 및 원거리의 단속 및 불법주정차 차량의 추적 성공률을 높이고, 주정차위반 감시요원이 필요 없이 신속하고 정확하게 불법주정차 차량을 무인으로 자동 단속할 수 있는 효과가 있다.Furthermore, the present invention improves the rate of crackdown of parking stops and reduces unnecessary calculations through accurate mapping between real world coordinates and camera coordinates in consideration of the perspective of the parking lot monitoring area, and improves the success rate of short-range and long-distance crackdowns and tracking of illegal parking vehicles with a single camera. In addition, there is an effect that can automatically and illegally crack down on illegal parking vehicles without the need for parking violation monitoring personnel.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예로서, 불법 주정차 무인 자동 단속시스템에 관하여 상세하게 설명한다.Hereinafter, with reference to the accompanying drawings, it will be described in detail with respect to the illegal parking automatic unmanned automatic enforcement system according to a preferred embodiment of the present invention.

도 1은 본 발명에 따른 실시 예로서, 도 1a는 본 발명에 따른 단일 카메라를 이용한 불법 주정차 무인 자동 단속시스템을 이용하여 주정차 감시지역을 감시 및 단속하는 상태를 개략적으로 나타낸 사시도이고, 도 1b는 컨트롤박스의 주요 구성을 나타낸 블록도이며, 도 1c는 복수의 무인 자동 단속시스템과 서버 사이의 네트워크 구성을 나타낸 구성도이다.1 is an embodiment according to the present invention, Figure 1a is a perspective view schematically showing a state of monitoring and controlling the parking lot monitoring area using the unmanned automatic parking control system using a single camera according to the present invention, Figure 1b 1 is a block diagram illustrating a network configuration between a plurality of unmanned automatic control systems and a server.

먼저, 본 발명의 단일 카메라를 이용한 불법 주정차 무인 자동 단속시스템(1A)은 도로(20) 주변에 설치되어 도로(20)의 주정차감시지역(30) 내에 복수의 주정차감시섹터(24)가 매핑되어 구획된 주정차금지구역(22)에서 불법으로 주정차하는 차량(10)을 감시 및 단속하는 시스템이다. 단속시스템(1A)은 도로(20)의 일측에 설치된 지주(50)의 상부에 단일의 단속용 PTZ카메라(Pan/Tilt 및 Zoom 기능이 포함)(40)가 장착되고, 지주(50)에는 불법 주정차를 무인으로 자동 단속할 수 있는 컨트롤박스(60)가 설치되어 있다. 상기 컨트롤박스(60)에는 도 1b의 주요 구성요소가 포함된다. 상기 단속용 PTZ카메라(40)는 주정차금지구역(22)에 불법으로 주정차된 차량의 영상을 촬영하여 초기 및 최종의 단속자료로 획득 및 활용할 수 있도록 하기 위한 것이다.First, the illegal parking automatic unmanned automatic control system 1A using the single camera of the present invention is installed around the road 20 so that a plurality of parking monitoring sectors 24 are mapped in the parking monitoring area 30 of the road 20. It is a system for monitoring and cracking down on the vehicle 10 illegally parked in the divided parking prohibited area 22. The intermittent control system 1A is equipped with a single intermittent PTZ camera (including Pan / Tilt and Zoom functions) 40 on the upper part of the support 50 installed on one side of the road 20, and the support 50 is illegal. Control box 60 is installed that can automatically control the parking stop unattended. The control box 60 includes the main components of Figure 1b. The intermittent PTZ camera 40 is to capture the image of the vehicle illegally parked in the parking stop area 22 to be obtained and utilized as the initial and final enforcement data.

도 1a에서와 같이 시스템이 주정차감시지역(30)에 설치되어, 도로(20) 상의 주정차금지구역(22)에 진입하는 차량(10)을 단속용 PTZ카메라(40)가 촬영하게 된다. 도 1b는 컨트롤박스(60) 내부의 구성을 나타낸 것으로, 단속용 PTZ카메라(40)로부터 촬영된 영상을 A/D변환하고 도 1c의 중앙상황실의 서버(80)로 네트워크(70)를 통해 전송하기 위하여 영상을 영상전송모듈(62)에서 압축하고, A/D변환된 주정 차감시지역(30)의 영상을 허브(64)를 통하여 단속현장 제어모듈(65)로 입력받아 주정차 관심영역(ROI: region of interest)을 설정하며, 입력된 영상의 관심영역을 대상으로 일련의 영상분석에 의한 방식으로 차량을 검지하고, 차량의 이동을 추적하는 방식으로 불법주정차 상황을 인지하여 불법주정차 차량에 대한 무인 자동 단속이 수행된다.As shown in FIG. 1A, the system is installed in the parking lot monitoring area 30, and the PTZ camera 40 for controlling captures the vehicle 10 entering the parking stop area 22 on the road 20. Figure 1b shows the configuration inside the control box 60, A / D conversion of the image taken from the intermittent PTZ camera 40 and transmitted to the server 80 of the central situation room of Figure 1c through the network 70 In order to compress the image in the image transmission module 62 and receive the image of the A / D converted parking monitoring area 30 through the hub 64 to the intermittent field control module 65, the ROI ROI : It sets the region of interest, detects the vehicle by a series of image analysis on the region of interest of the input image, and detects the illegal parking situation by tracking the movement of the vehicle. Unattended automatic enforcement is performed.

본 발명은 기존에 복수의 카메라를 이용한 단속체계의 문제점을 해결하기 위하여 단일의 카메라를 이용하여 불법주정차 차량을 단속하는 것인바, 매핑작업, 선행단속 작업, 불법주정차 상황인지 작업, 후행단속 작업 및 카메라 방향전환 작업 등을 각 서브모듈을 통해 순차적으로 반복수행할 수 있도록 하였다.The present invention is to control the illegal parking vehicle using a single camera in order to solve the problem of the conventional control system using a plurality of camera bar, mapping work, preceding control work, illegal parking situation recognition work, follow-up work and Camera redirection can be performed sequentially through each submodule.

따라서 단일 카메라를 이용한 불법주정차 차량 무인 자동 단속은 도 2와 같이, 선행단속 서브모듈(91), 불법주정차 상황인지 서브모듈(92), 후행단속 서브모듈(93) 및 방향전환 서브모듈(94)로 구성되며, 각 모듈은 순차적으로 반복수행을 한다.Therefore, the automatic parking control of the illegally parked vehicle using a single camera is performed in the preceding control submodule 91, the illegal parking situation submodule 92, the following control submodule 93, and the direction switching submodule 94 as shown in FIG. Consisting of each module sequentially performs.

먼저, 선행단속 서브모듈(91)은 원근감을 고려하여 단속용 PTZ카메라(40)가 주정차감시섹터(24)의 번호로 이동을 하면서(A1), 영상을 촬영하도록 한다(A2). 그리고 영상촬영을 통하여 불법주정차된 차량의 번호판 영역을 획득한다(A3). 획득된 번호판 영역을 중심으로 단속용 PTZ카메라(40)를 이동(Pan과 Tilt) 및 확대(Zoom)를 한 다음(A4), 실제 번호판 인식을 위한 영상촬영을 수행한다(A5). 따라서 번호판 인식방식에 의하여 불법주정차된 차량을 검지하고(A6), 선행단속 서브모듈(91)은 차량을 초기단속을 수행하여 초기 단속리스트 정보와 초기 적발정보를 생성한다(A7). 초기 적발정보는 단속위치, 차량번호, 각 줌인 값을 달리한 단속증거사진 3장, 단속시작시간, 단속종료시간이다.First, the preceding control submodule 91 considers the perspective to allow the control PTZ camera 40 to move to the number of the parking monitoring sector 24 (A1) and to take an image (A2). Then, the license plate area of the illegally parked vehicle is acquired through image recording (A3). After moving (Pan and Tilt) and zooming (Zoom) the intermittent PTZ camera 40 around the obtained license plate area (A4), image capture for real license plate recognition is performed (A5). Accordingly, the vehicle is illegally parked by the license plate recognition method (A6), and the preceding control submodule 91 performs the initial control of the vehicle to generate initial control list information and initial detection information (A7). The initial detection information is the crackdown position, the vehicle number, and three crackdown evidence photos with different zoom-in values, the crackdown start time, and the crackdown end time.

다음으로, 불법주정차 상황인지 서브모듈(92)은 단속용 PTZ카메라(40)를 감시모드로 모드를 변환시키고(A8), 주정차 관심영역인 주정차금지구역(22) 내를 실시간으로 차량을 검지하며(A9), 주정차된 차량의 추적을 수행하여(A10) 후행단속 서브모듈(93)에서 차후 불법주정차 상황인지 서브모듈(92)의 차량단속을 위한 주정차 차량에 대하여 감시리스트 정보를 생성한다. 감시리스트 정보는 차량후보이름, 차량영역, 검지위치, 감시시작시간, 감시종료시간이다.Next, the sub-module 92 whether the illegal parking situation is changed into a monitoring mode for the intermittent PTZ camera 40 (A8), and detects the vehicle in real time in the parking stop area 22, which is a parking area of interest. (A9) By performing tracking of the parked vehicle (A10), the trailing enforcement submodule 93 generates watch list information for the parking vehicle for vehicle enforcement of the submodule 92, whether the situation is an illegal parking situation in the future. The monitoring list information is the vehicle candidate name, vehicle area, detection position, monitoring start time and monitoring end time.

또한, 후행단속 작업은 상기 선행단속 서브모듈(91)의 차량 초기단속 과정(A7)에서 단속된 차량에 대하여 최종단속을 수행하여 최종 적발정보를 생성한다(A11). 최종 적발정보는 차량 단속위치, 차량번호, 단속증거사진 1장, 단속시작시간, 단속종료시간이다. 또한, 불법주정차 상황인지 서브모듈(92)의 불법 주정차 차량에 대해 수집된 감시리스트 정보에 기초하여 불법주정차 상황인지 작업의 초기단속을 수행하여(A12) 초기 단속리스트 정보를 생성하고 초기 적발정보를 생성한다. 주정차 단속기간 경과 후에 불법주정차 상황인지의 최종단속을 수행하여(A13) 최종 단속리스트 정보를 생성하고 최종적발정보를 생성하는 방식으로 한 방향에 대한 주정차 단속을 완료하고, 단속용 PTZ카메라(40)의 방향전환 서브모듈(94)에서 다른 방향(역방향)으로 카메라의 방향전환을 수행한다. 카메라의 방향 전환 후에 상기 작업을 반복 수행한다.In addition, the following crackdown operation performs final crackdown on the vehicle cracked down in the vehicle initial crackdown process A7 of the preceding crackdown submodule 91 to generate final caught information (A11). The final caught information is the location of the vehicle, the vehicle number, a picture of the crackdown, the crackdown start time, and the crackdown end time. In addition, based on the monitoring list information collected for the illegal parking vehicle of the illegal parking situation or the submodule 92, the initial control of the illegal parking situation is performed (A12) to generate the initial crackdown list information and the initial detection information. Create After the parking control period has elapsed, the final control of the illegal parking situation is performed (A13) to complete the parking control in one direction by generating the final control list information and generating the final detection information, and the PTZ camera 40 for the control. The redirection of the submodule 94 performs the redirection of the camera in a different direction (reverse direction). The above operation is repeated after the reorientation of the camera.

이와 같이 본 발명은 단일의 카메라를 이용한 단속체계는 기존의 3 카메라 단속체계보다 단속시스템의 원가 측면에서는 저가이고, 단속시스템의 성능 측면에서 동등하며, 단속시스템의 구성 측면에서 단순하여 시스템 메카니즘이 간결하고, 유지보수의 측면에서 상대적으로 용이하다. 또한, 단일의 카메라를 이용하는 단속체계는 기존의 3대 이상의 카메라를 이용한 단속체계보다 도시 미관 측면에서 훨씬 우월해진다.As described above, the present invention is that the system using a single camera is cheaper in terms of the cost of the control system than the existing three camera control system, is equivalent in terms of performance of the control system, and is simple in terms of configuration of the control system. It is relatively easy in terms of maintenance. In addition, the enforcement system using a single camera is far superior in terms of urban aesthetics than the existing enforcement system using three or more cameras.

한편, 본 발명에서는 상기 선행단속 서브모듈(91)을 이용하여 단속시스템의 주정차 단속 개시 전부터 주정차된 차량에 대해서는 이를 자동으로 단속할 수 있도록 한다.On the other hand, in the present invention by using the preceding control sub-module 91 to control the automatic parking for the vehicle parked before the start of the parking stop control system.

즉 선행단속 서브모듈(91)은 도 2의 A1~A7의 과정을 통하여 차량 초기단속을 수행하여 초기 단속리스트 정보와 초기 적발정보를 A1~초기차량적발 정보 생성까지 일련의 작업을 현재 방향의 마지막 감시섹터 번호까지 반복 수행한다.That is, the preceding control submodule 91 performs the initial control of the vehicle through the process of A1 to A7 in FIG. 2 to perform a series of operations from the initial control list information and the initial caught information to the generation of the A1 to initial vehicle detection information in the last direction. Repeat the monitoring sector number.

그리고 선행단속 작업을 하기 위해서는 도 5의 흐름도에 따라 원근감을 고려하는 단속현장의 실세계좌표와 카메라 좌표 사이의 매핑(mapping)을 매핑모듈(90)을 이용하여 주정차감시섹터(24)가 미리 설정되어야 한다. 이는 하기에서 상세하게 설명한다.In order to perform the preceding control operation, the parking monitoring sector 24 should be set in advance using a mapping module 90 to map mapping between the real world coordinates and the camera coordinates of the enforcement site considering the perspective according to the flowchart of FIG. 5. do. This is described in detail below.

상기 선행단속 서브모듈(91)에서 수행되는 작업의 상세한 설명은 도 3의 선행단속 서브모듈(91)의 흐름도와 같다.Detailed descriptions of operations performed in the preceding control submodule 91 will be described with reference to the flowchart of the preceding control submodule 91 of FIG. 3.

먼저, 불법주정차 단속시간이 도달하여 단속이 개시되면(B1), 감시섹터번호(I)를 1로 초기화하여 설정한다(B2). 상기 감시섹터번호(I)에 해당하는 주정차감시섹터(24)로 단속용 PTZ카메라(40)를 이동시켜(B3) 주정차된 차량의 영상을 촬 영한다(B4). 그리고 상기 단속용 PTZ카메라(40)에서 차량번호판 영역의 획득여부를 판단하여(B5) 차량번호판 영역이 획득되지 않으면, 감시섹터번호(I)가 현재 방향의 마지막 섹터번호인지 판단(B12)하여, 마지막 감시섹터번호가 아니면 감시섹터번호(I)에 1을 증가시켜 해당 주정차감시섹터(24)로 단속용 PTZ카메라(40)를 이동시킨다(B13, B3). 상기 단속용 PTZ카메라(40)에서 차량번호판 영역의 획득여부의 판단(B5) 후에 차량번호판 영역이 획득되면, 번호판 영역을 중심으로 단속용 PTZ카메라(40)의 위치를 조절한 후에(B6) 실제 번호판 인식을 위하여 주정차된 차량의 영상을 촬영한다(B7).First, when the illegal parking stop crackdown time arrives and the crackdown starts (B1), the monitoring sector number I is initialized to 1 and set (B2). The intermittent PTZ camera 40 is moved to the parking monitoring sector 24 corresponding to the monitoring sector number I (B3) to take an image of the parked vehicle (B4). In addition, if the license plate area is not acquired by the intermittent PTZ camera 40 (B5) and the license plate area is not obtained, it is determined whether the monitoring sector number I is the last sector number in the current direction (B12). If it is not the last monitoring sector number, the monitoring sector number I is increased to 1 to move the intermittent PTZ camera 40 to the corresponding parking monitoring sector 24 (B13 and B3). When the license plate area is acquired after determining whether the license plate area is acquired by the control PTZ camera 40 (B5), the position of the control PTZ camera 40 is adjusted based on the license plate area (B6). An image of a parked vehicle is photographed for license plate recognition (B7).

또한, 상기 주정차된 차량의 번호판이 인식되었는지의 여부를 판단하여(B8) 차량의 번호판이 인식되면, 주정차된 차량에 대한 초기 단속이 이루어져(B9) 초기 단속리스트 정보와 초기 적발정보를 생성한다(B10, B11). 상기 감시섹터번호(I)가 설정된 현재방향의 마지막 주정차감시섹터(24)의 번호(n)보다 크거나 같은지의 여부를 판단하여(B12) 크거나 같으면 선행단속 작업을 종료하고, 감시섹터번호(I)가 설정된 현재방향의 마지막 주정차감시섹터(24)의 번호(n)보다 작으면 감시섹터번호(I)에 1을 증가시켜 해당 주정차감시섹터(24)로 단속용 PTZ카메라(40)를 이동시킨다(B13).In addition, it is determined whether the license plate of the parked vehicle is recognized (B8) and when the license plate of the vehicle is recognized, initial crackdown is performed on the parked vehicle (B9) to generate initial crackdown list information and initial caught information ( B10, B11). It is determined whether or not the monitoring sector number I is greater than or equal to the number n of the last parking stop monitoring sector 24 in the current direction (B12). If I) is less than the number n of the last parking surveillance sector 24 in the current direction, the control camera number 40 is moved to the corresponding parking monitoring sector 24 by increasing 1 to the monitoring sector number I. (B13).

이와 같이 불법주정차 차량 단속시스템의 주정차 단속 개시 전부터 주차된 차량에 대해서도 단속시스템에 의한 무인 자동단속이 가능하고, 도 2의 (A3)과정에서 촬영영상에 대하여 번호판영역이 존재하지 않을 경우에는 선행단속 서브모듈(91)의 (A3)과정 이후의 동작을 생략하여 불필요한 시스템 동작을 제거한다. 또, 도 2의 (A3, A4, A5)과정을 통해 불법주정차 단속의 주요관심인 차량번호판을 영상의 중심으로 하여 증거영상을 확보할 수가 있을 것이다.In this way, unmanned automatic crackdown can be performed by the crackdown system even for vehicles parked before the start of the crackdown of the illegal parking vehicle crackdown system. In the process of FIG. Operation after the step (A3) of the submodule 91 is omitted to eliminate unnecessary system operation. In addition, through the process (A3, A4, A5) of FIG. 2, the evidence image may be obtained by using the license plate, which is the main concern of the illegal parking control, as the center of the image.

본 발명은 불법주정차 차량의 단속 시에 불필요한 계산량, 단순한 차영상 기법, 그림자 문제, 픽셀을 기본연산의 단위로 하는 모폴로지와 레이블링의 계산량 등을 해결하기 위하여 불법주정차 상황인지 서브모듈(92)을 제안한다.The present invention proposes an illegal parking situation submodule 92 in order to solve an unnecessary parking amount, a simple vehicle image technique, a shadow problem, a morphology having a pixel as a basic operation, and an amount of labeling when a illegal parking vehicle is cracked down. do.

즉 도 4의 흐름도를 참조하면, 불법주정차 상황인지 작업은 한 방향에 대하여 카메라를 감시모드로 취하고, 주정차감시지역(30) 내에서 실시간으로 차량검지를 하며, 주정차 차량을 추적하여 불법주정차 상황을 인지한다. 불법주정차 상황인지 결과로서 감시리스트 정보를 생성하고, 감시리스트 정보는 차량후보이름, 차량영역정보, 위치정보, 감시시작시간, 감시종료시간 등으로 구성된다.That is, referring to the flowchart of FIG. 4, the operation of detecting illegal parking situation takes the camera in a monitoring mode for one direction, detects the vehicle in real time in the parking monitoring area 30, and tracks the parking vehicle to detect the illegal parking situation. Be aware. Surveillance list information is generated as a result of the illegal parking situation, and the surveillance list information is composed of vehicle candidate name, vehicle area information, location information, monitoring start time, and monitoring end time.

불법주정차 상황인지 서브모듈(92)의 상세한 작동은 도로(20)의 양쪽 가장자리의 주정차금지구역(22)에 대하여 단속용 PTZ카메라(40)를 통해 실시간으로 촬영된 단속현장의 영상을 관심영역 설정모듈(56)을 통해 영상분석을 위한 차량 검지영역인 복수의 관심영역(ROI: Region of Interest)을 설정한다(C1, C2).Detailed operation of the sub-module 92 whether the parking situation is illegal is to set the ROI of the image of the cracked-down scene captured in real time through the PTZ camera 40 for the parking stop area 22 at both edges of the road 20. The module 56 sets a plurality of regions of interest (ROIs) that are vehicle detection regions for image analysis (C1 and C2).

상기 단속용 PTZ카메라(40)로부터 차례로 입력되는 1~N장의 영상으로 초기 배경모델을 제작하고(C3), 제작된 초기 배경모델과 N+1번째 이후부터는 입력영상 간의 차영상으로 획득된(C4) 이동물체와 이동물체의 그림자가 포함된 전경영상을 그림자 제거모듈(68)에서 이동물체의 그림자 영역을 제거한다(C5).An initial background model is produced from 1 to N images sequentially input from the intermittent PTZ camera 40 (C3), and is obtained as a difference image between the produced initial background model and the input image from N + 1 th and subsequent (C4). In the shadow removal module 68, the shadow image of the moving object is removed from the foreground image including the moving object and the shadow of the moving object (C5).

상기 그림자 제거모듈(68)에서는 그림자가 포한된 전경영역과 적응적 배경 영상을 입력으로 전경영역으로부터 그림자를 제거하여 이동물체영역(추적객체영역) 만을 취한다. 그리고 N+1번째 이후 입력영상에서 검지된 이동물체영역(추적객체영역)을 제외하고, 이전에 영상프레임에서 추적 완료된 이동물체영역(단속 완료된 이동물체영역)을 포함하여 배경모델을 갱신하고, 상기 그림자 영역의 제거와 배경영상의 모델링 후에 영상분석을 위한 영상의 블록화 및 단속을 위한 차량을 검지한다.The shadow removing module 68 takes only the moving object region (tracking object region) by removing the shadow from the foreground region by inputting the foreground region including the shadow and the adaptive background image. The background model is updated by including a moving object region (tracked object region) previously tracked in the image frame, except for the moving object region (tracking object region) detected in the N + 1th input image. After removing the shadow area and modeling the background image, the vehicle is detected to block and control the image for image analysis.

상기 그림자 영역의 제거와 배경영상의 모델링 후에 영상분석의 계산량 최소화를 위하여 차량검지모듈(69)에서 영상을 블록화한다(C6).After removing the shadow area and modeling the background image, the vehicle detection module 69 blocks the image to minimize the amount of calculation of the image analysis (C6).

상기 영상 블록화 이후에 분할영역 내부의 구멍(hole)을 제거하기 위한 확장과 침식의 모폴로지 연산을 차례로 수행하고(C7), 상기 모폴로지 연산 이후에 영역분할을 위한 레이블링을 수행하며(C8), 상기 레이블링 연산 이후에 MER(최소인접사각형)계산을 수행한다(C9). 상기 MER계산 이후에 분할된 각 영역을 표현하는 각 MER을 평가하여 차량을 검지하고(C10), 차량검지 정보를 입력받아 단속용 PTZ카메라(40)를 제어하여 불법주정차 무인단속을 수행한다(C11).After the image blocking, a morphology operation of expansion and erosion for removing holes in the partition area is sequentially performed (C7), and labeling for area division is performed after the morphology operation (C8). After the operation, the MER calculation is performed (C9). After the MER calculation, each MER representing each divided area is evaluated to detect the vehicle (C10), and the vehicle detection information is input to control the PTZ camera 40 for enforcement to perform illegal parking unmanned enforcement (C11). ).

이와 같이 불법주정차 상황인지 서브모듈(92)은 관심영역(ROI: region of interest)을 설정하여 기존 시스템의 수많은 계산문제를 해결할 수 있다. 관심영역은 주정차감시지역(30)과 주정차금지구역(22)들의 면적의 합 사이의 차이만큼의 영상분석 대상영역을 줄여 영상분석 시에 불필요한 계산을 제거한다. 결과적으로 불필요한 관심영역 이외의 영역에 대한 영상분석 결과에 기인한 시스템 오작동을 제거할 수 있다. 또한, 단속현장 환경변화에 적응적 배경모델링 기술은 기존 시스템의 오인식 문제가 해결된다. 단속현장의 환경변화에 적응적 배경 모델링은 구 름, 비, 눈 등의 기상변화, 태양의 하루 동안의 고도 변화, 대형 차량이 지나감으로 발생하는 순간적인 조명변화 등 단속현장의 환경변화에 적응하며 이동물체를 검지하는 것이다. 또한, 환경변화에 적응적 그림자 제거기술은 기존 시스템의 부정확한 차량검지 문제가 해결된다. 영상분석에서 부정확한 특징을 유발하는 그림자를 제거함으로 이동물체의 유무와 대상 이동물체가 정확인 차량인지 차량이외의 객체 즉, 사람 혹은 동물인지가 판단 가능하여 차량에 대해서만 시스템 동작이 가능하다. 마지막으로, 영상블록화 기술은 기존 시스템의 많은 시간과 계산이 요구되는 문제가 해결된다. 영상분석 시에 모폴로지 연산과 레이블링 연산은 연산의 기본단위가 픽셀이다. 그러나 불법주정차 차량단속 응용영역은 픽셀단위의 정확성이 불필요하다. 그러므로 영상분석 대상 영상을 블록으로 균등 분할하여 연산의 기본단위가 블록이 되도록 하는 방식으로 모폴로지와 레이블링 연산의 계산량을 최소화할 수 있다.As described above, the sub-module 92 may set a region of interest (ROI) to solve a number of calculation problems of the existing system. The region of interest reduces the image analysis target area by the difference between the sum of the areas of the parking monitoring area 30 and the parking prohibited area 22, thereby eliminating unnecessary calculations during image analysis. As a result, system malfunctions due to image analysis of areas other than the ROI can be eliminated. In addition, the background modeling technology adaptive to changes in the crackdown site environment solves the problem of misunderstanding of the existing system. Background model adapting to environmental changes in crackdown sites Adapting to crackdowns, such as clouds, rain and snow, changes in altitude during the day of the sun, and momentary lighting changes caused by passing large vehicles. It detects moving objects. In addition, the adaptive shadow elimination technology for environmental changes solves the inaccurate vehicle detection problem of the existing system. By removing the shadows that cause inaccurate features in the image analysis, it is possible to determine whether the moving object exists and whether the target moving object is an accurate vehicle or an object other than the vehicle, such as a person or an animal, so that the system can be operated only on the vehicle. Finally, the video block technique solves the problem that requires much time and calculation of the existing system. In image analysis, morphology and labeling operations are based on pixels. However, the illegal parking vehicle enforcement application area does not require pixel-by-pixel accuracy. Therefore, the amount of computation for morphology and labeling can be minimized by dividing the image analysis target image into blocks so that the basic unit of operation becomes a block.

본 발명의 후행단속 서브모듈(93)의 역할은 선행단속 서브모듈(91)의 최종단속과정과 불법주정차 상황인지 서브모듈(92)의 초기/최종단속과정을 수행하여 단속을 완료하는 것이다.The role of the following enforcement submodule 93 of the present invention is to complete the regulation by performing the final regulation process of the preceding regulation submodule 91 and the initial / final regulation process of the submodule 92 whether it is an illegal parking situation.

즉 도 2의 후행단속 서브모듈(93)의 작동과 같다. 후행단속 서브모듈(93)의 후행단속 작업은 선행단속 서브모듈(91)에서 초기단속 과정(A7)에서 단속된 차량에 대하여 최종단속을 수행하여 최종 적발정보를 생성한다(A11). 최종 적발정보는 차량 단속위치, 차량번호, 단속증거사진 1장, 단속시작시간, 단속종료시간이다. 또한, 불법주정차 상황인지 서브모듈(92)의 불법 주정차 차량에 대해 수집된 감시리 스트 정보에 기초하여 불법주정차 상황인지 모듈의 초기단속을 수행하여(A12) 초기 단속리스트 정보를 생성하고 초기 적발정보를 생성한다. 주정차 단속기간 경과 후에 불법주정차 상황인지의 최종단속을 수행하여(A13) 한 방향에 대한 주정차 단속을 완료하고, 단속용 PTZ카메라(40)의 방향전환 서브모듈(94)에서 다른 방향(역방향)으로 카메라의 방향전환을 수행한다. 카메라의 방향 전환 후에 상기 작업을 반복 수행한다.That is, the operation of the following control submodule 93 of FIG. In the following control operation of the following control submodule 93, the final control information is generated by performing final control on the vehicle that is controlled in the initial control process A7 in the preceding control submodule 91 (A11). The final caught information is the location of the vehicle, the vehicle number, a picture of the crackdown, the crackdown start time, and the crackdown end time. Further, based on the monitoring list information collected for the illegal parking vehicle of the illegal parking situation or the submodule 92, the initial control of the illegal parking situation recognition module is performed (A12) to generate initial crackdown list information and the initial detection information. Create After the parking control period has elapsed, the final control of the illegal parking situation is performed (A13) to complete the parking control for one direction, and to the other direction (reverse direction) in the direction change submodule 94 of the PTZ camera 40 for the control. Perform camera redirection. The above operation is repeated after the reorientation of the camera.

이와 같이 일반적인 주정차 단속시스템에서 주정차 단속시간 측면에서 차량의 초기단속(A4)을 시작으로 대략 5분의 주정차 단속시간의 경과시간을 측정하여 시간이 경과되면, 차량의 최종단속(A8, A10)을 수행한다. 후행단속 서브모듈(93)에서 선행단속 서브모듈(91)의 차량 초기단속에 대한 최종단속을 수행함으로 선행단속 서브모듈(91)의 차량 초기단속 이후에 소모되는 시간을 절약할 수 있다.As described above, in the general parking control system, the elapsed time of approximately 5 minutes of parking speed is measured starting from the initial speed of the vehicle (A4) in terms of parking speed, and when the time elapses, the final speed control (A8, A10) of the vehicle is determined. To perform. By performing the final crackdown on the initial crackdown of the vehicle of the preceding crackdown submodule 91 in the following crackdown submodule 93, the time consumed after the initial crackdown of the vehicle of the preceding crackdown submodule 91 may be saved.

다음으로, 원근감을 고려하는 실세계 좌표와 카메라 좌표 사이의 매핑작업으로 매핑모듈(90)은 주정차감시섹터(24)를 설정하는 수단이다.Next, the mapping module 90 is a means for setting the parking monitoring sector 24 by mapping between real world coordinates and camera coordinates considering perspective.

매핑작업은 주정차감시섹터(24)의 설정이 시작되면, 설정방향에 대한 주정차 감시위치에 대하여 단속용 PTZ카메라(40)가 영상을 촬영하고(E1), 상기 주정차감시섹터(24)의 설정을 위하여 해당 감시섹터에 사각형을 추가(ADD)한다(E2). 그리고 상기 주정차감시섹터(24) 내에서 차량의 예상 주정차영역으로 사각형을 이동(MOVE)시키고(E3), 주정차감시섹터(24)의 원근감을 고려하여 사각형의 크기를 조절한다(E4).When the mapping operation starts the setting of the parking monitoring sector 24, the intermittent PTZ camera 40 captures an image with respect to the parking monitoring location in the setting direction (E1), and sets the setting of the parking monitoring sector 24. In order to add the rectangle to the monitoring sector (ADD) (E2). The rectangle is moved to the expected parking area of the vehicle in the parking monitoring sector 24 (E3), and the size of the square is adjusted in consideration of the perspective of the parking monitoring sector 24 (E4).

상기 매핑모듈으로 단속용 PTZ카메라(40)를 이동(Pan, Tilt) 및 확대(Zoom) 시켜 사각형 영역과 3차원 카메라 영상을 매핑시키고(E5), 상기 주정차감시섹터(24)와 매핑되는 단속용 PTZ카메라(40)의 좌표(Pan, Tilt, Zoom)값을 저장한다(E6).The mapping module moves (Pan, Tilt) and zooms (Pan, Tilt) and zooms (Pan) the intermittent PTZ camera 40 (E5), and the intermittent surveillance sector 24 is mapped to the intervening surveillance sector 24 The coordinates (Pan, Tilt, Zoom) of the PTZ camera 40 are stored (E6).

상기 주정차감시섹터(24)의 설정이 종료되었는지를 판단하여(E7) 종료조건이면 감시 및 단속을 위한 해당하는 도로의 주정차감시섹터(24)의 설정을 종료한다.It is determined whether the setting of the parking monitoring sector 24 has ended (E7), and when the termination condition is completed, the setting of the parking monitoring sector 24 of the corresponding road for monitoring and crackdown is finished.

그리고 상기 (E7)과정에서 주정차감시섹터(24) 설정종료 조건이 아니라면, 단속용 PTZ카메라(40)의 방향전환 조건을 판단하여(E8) 방향전환 조건이 아니면 (E2~E8)과정을 (E7)과정의 주정차감시섹터(24) 설정 종료조건을 만족할 때까지 반복적으로 적용한다.If the stop monitoring sector 24 is not terminated in the step (E7), the condition for changing the direction of the intermittent PTZ camera 40 is determined (E8). ) Process is applied repeatedly until the end condition of setting the parking monitoring sector 24 is satisfied.

이와 같이 매핑작업은 단속시스템의 설치 시에 주정차감시섹터(24)를 한 번만으로 설정이 가능하고, 주정차감시섹터(24)의 설정은 불법주정차 단속율을 높일 수 있고, 불필요한 계산까지 줄일 수 있다. 그리고 단일의 카메라로는 단속현장의 원근 정보를 획득할 수 없으므로 원근감을 고려하는 실세계 좌표와 카메라 좌표 간의 매핑작업을 통해 주정차감시섹터(24)의 설정이 반드시 필요로 한다. 주정차감시섹터(24)의 설정으로 단일 카메라를 이용하는 단속시스템이라 하더라도 근거리 및 원거리의 단속이 가능하여 불법주정차 차량의 추적 성공률이 향상된다.In this way, the mapping operation can be set only once when the parking monitoring sector 24 is installed, and the setting of the parking monitoring sector 24 can increase the illegal parking control rate and reduce unnecessary calculations. . In addition, since a single camera cannot obtain perspective information of a crackdown site, the setting of the parking monitoring sector 24 is necessary through mapping between real world coordinates and camera coordinates considering perspective. By setting the parking monitoring sector 24, even if a system using a single camera is possible to control short and long distances, the success rate of illegal parking vehicles is improved.

도 6a 내지 도 6q는 본 발명에 따른 매핑모듈에 의한 매핑과정으로서, 원근감을 고려하여 단속현장의 실세계 좌표와 카메라 좌표 사이의 매핑과정을 나타낸 예시도이다.6A to 6Q are examples of the mapping process performed by the mapping module according to the present invention, which illustrates a mapping process between real world coordinates and camera coordinates of a crackdown site in consideration of perspective.

우선, 주정차감시섹터(24)의 설정프로그램을 실행한 후(도 6a), 단속위치의 단속용 PTZ카메라(40)를 연결하면(도 6b), 단속현장의 영상이 표시된다(도 6c).First, after executing the setting program of the parking monitoring sector 24 (FIG. 6A), when the intervening PTZ camera 40 of the intermittent position is connected (FIG. 6B), the image of an interruption site is displayed (FIG. 6C).

감시대상 방향의 영상을 캡쳐하고 난후(도 6d), ADD버튼을 클릭하면 영상의 중앙에 사각형이 추가된다(도 6e). 그리고 주정차 예상지역에 가져온다(도 6f). 다음으로 마우스로 사각형의 크기조절을 하고(도 6g), 다시 ADD버튼을 눌러(도 6h) 도 6e에서 도 6h까지의 작업을 반복한다.After capturing the image in the direction of monitoring (FIG. 6D), clicking the ADD button adds a rectangle to the center of the image (FIG. 6E). And bring it to the expected stop area (FIG. 6F). Next, the size of the rectangle is adjusted with the mouse (FIG. 6G), and the operation of FIGS. 6E to 6H is repeated by pressing the ADD button again (FIG. 6H).

다음으로, 도 6m에서 처음 만든 주정차감시섹터(24)를 마우스로 선택하고 사각형 설정영역이 단속용 PTZ카메라(40)의 영상을 출력하는 뷰어 창에 차도록 단속용 PTZ카메라(40)의 이동(Pan, Tilt)과 줌(Zoom) 동작을 통해 조절한다. 조절이 완료되면 단속용 PTZ카메라(40)의 이동 및 줌의 좌표값을 저장한다. 이러한 일련의 과정을 만든 주정차감시섹터(24)의 개수만큼 반복 추행한다. 도 6q는 최종적으로 주정차감시섹터(24)가 설정 완료된 상태를 나타낸 화면이다.Next, the parking monitoring sector 24 first made in FIG. 6m is selected by a mouse, and the movement of the control PTZ camera 40 is performed so that the rectangular setting area is filled in the viewer window that outputs the image of the control PTZ camera 40. , Tilt) and zoom to adjust. When the adjustment is completed, the coordinate values of the movement and zoom of the intermittent PTZ camera 40 are stored. This process is repeated as many times as the number of parking monitoring sector (24) made. 6Q is a screen showing a state in which the parking monitoring sector 24 is finally set.

이상의 설명에서 본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 이 기술 분야에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.While the invention has been shown and described in connection with specific embodiments thereof, it is well known in the art that various modifications and changes can be made without departing from the spirit and scope of the invention as indicated by the claims. Anyone who has a can easily know.

도 1a는 본 발명에 따른 실시예로서, 단일 카메라를 이용한 불법 주정차 무인 자동 단속시스템을 이용하여 주정차 감시지역을 감시 및 단속하는 상태를 개략적으로 나타낸 사시도이다.1A is a perspective view schematically showing a state of monitoring and controlling a parking lot monitoring area by using an unmanned automatic parking control system using a single camera according to an embodiment of the present invention.

도 1b는 본 발명에 따른 불법 주정차 무인 자동 단속시스템에 포함된 컨트롤박스의 주요 구성을 나타낸 블록도이다.Figure 1b is a block diagram showing the main configuration of the control box included in the illegal parking unmanned automatic control system according to the present invention.

도 1c는 본 발명에 따른 복수의 무인 자동 단속시스템과 서버 사이의 네트워크 구성을 나타낸 구성도이다.Figure 1c is a block diagram showing a network configuration between a plurality of unmanned automatic control system and the server according to the present invention.

도 2는 본 발명에 따른 단일 카메라를 이용하여 불법 주정차 무인 자동 단속을 위한 시스템에서 단속수단의 작동상태를 나타낸 흐름도이다.Figure 2 is a flow chart showing the operating state of the cracking means in a system for illegal parking unattended automatic crackdown using a single camera according to the present invention.

도 3은 본 발명에 따른 단속수단으로서, 선행단속 서브모듈의 작동상태를 나타낸 흐름도이다.3 is a flowchart showing an operating state of the preceding control submodule as the control means according to the present invention.

도 4는 본 발명에 따른 단속수단으로서, 불법주정차 상황인지 서브모듈의 작동상태를 나타낸 흐름도이다.Figure 4 is a flow chart showing the operation state of the sub-module whether the illegal parking situation as a control means according to the present invention.

도 5는 본 발명에 따른 매핑수단으로서, 원근감을 고려하여 단속현장의 실세계 좌표와 카메라 좌표 사이의 매핑(mapping)을 나타낸 흐름도이다.FIG. 5 is a flowchart illustrating mapping between real world coordinates and camera coordinates of an enforcement site in consideration of perspective as a mapping means according to the present invention.

도 6a 내지 도 6q는 본 발명에 따른 매핑모듈에 의한 매핑과정으로서, 원근감을 고려하여 단속현장의 실세계 좌표와 카메라 좌표 사이의 매핑작업을 나타낸 예시도이다.6A to 6Q are examples of the mapping process performed by the mapping module according to the present invention, illustrating a mapping operation between real world coordinates and camera coordinates of a crackdown site in consideration of perspective.

♣ 도면의 주요 부분에 대한 부호의 설명 ♣♣ Explanation of symbols for the main parts of the drawing ♣

10: 차량 20: 도로10: vehicle 20: road

22: 주정차금지구역(관심영역) 24: 주정차감시섹터(원근감 적용영역)22: no parking zone (interest zone) 24: no parking zone (perspective zone)

30: 주정차감시지역 40: 단속용 PTZ카메라30: Parking lot monitoring area 40: PTZ camera for control

50: 지주 60: 컨트롤박스50: Shore 60: Control Box

62: 영상전송모듈 64: 허브62: video transmission module 64: hub

65: 단속현장 제어모듈 66: 관심영역 설정모듈65: intermittent site control module 66: ROI setting module

67: 적응적 배경 모델링모듈 68: 그림자 제거모듈67: Adaptive Background Modeling Module 68: Shadow Removal Module

69: 차량검지모듈 70: 네트워크69: vehicle detection module 70: network

80: 서버 82: 프린터 서버80: server 82: printer server

84: 프린터 90: 매핑모듈84: printer 90: mapping module

91: 선행단속 서브모듈 92: 불법주정차 상황인지 서브모듈91: preceding control submodule 92: illegal parking situation submodule

93: 후행단속 서브모듈 94: 방향전환 서브모듈93: following control submodule 94: redirection submodule

1A, 1B, 1C: 무인 자동 단속시스템1A, 1B, 1C: Unmanned Automatic Control System

Claims (7)

불법 주정차 무인 자동 단속방법에 있어서,In the illegal parking unmanned automatic crackdown method, (a) 불법주정차를 단속하기 위한 도로(20)의 설정된 감시지역(30)에서 원근감을 고려하여 실세계좌표와 단속용 PTZ카메라(40)의 좌표 사이를 매핑모듈(90)을 이용하여 주정차금지구역(22)에서 복수의 주정차감시섹터(24)를 매핑(mapping)하는 단계;(a) Stopping parking area using mapping module 90 between real world coordinates and coordinates of PTZ camera 40 for cracking in consideration of the perspective in the set monitoring area 30 of road 20 for cracking illegal parking. Mapping a plurality of parking monitoring sectors 24 at 22; (b) 상기 매핑된 주정차감시섹터(24)를 선행단속 서브모듈(91)이 주정차의 단속을 개시하기 전부터 주정차된 차량에 대하여 초기 단속을 수행하는 단계;(b) performing an initial crackdown on the vehicle parked on the mapped parking stop monitoring section 24 before the preceding crackdown submodule 91 starts the crackdown of the parking stop; (c) 상기 초기의 선행단속 이후에 단속용 PTZ카메라(40)가 감시모드상태에서 실시간을 통해 불법주정차된 차량을 추적하고 불법주정차 상황인지 서브모듈(92)에서 상황인지 결과로서 감시리스트를 생성하는 단계;(c) After the initial preceding crackdown, the control PTZ camera 40 tracks the illegally parked vehicle in real time in the surveillance mode, and generates a watch list as a result of whether the illegal parking situation or the submodule 92 is the situation. Making; (d) 상기 선행단속 서브모듈(91)의 최종단속과 불법주정차 상황인지 서브모듈(92)의 초기 및 최종단속을 통해 후행단속 서브모듈(93)에서 불법주정차 차량의 최종단속이 이루어지는 단계;(d) performing a final crackdown of the illegally parked vehicle in the following crackdown submodule 93 through the initial crackdown of the preceding crackdown submodule 91 and the initial and final crackdown of the illegal parking situation; (e) 상기 불법주정차 차량의 최종단속이 완료된 후에 방향전환 서브모듈(94)에서 단속용 PTZ카메라(40)를 방향전환시켜 상기 선행단속 서브모듈(91), 불법주정차 상황인지 서브모듈(92) 및 후행단속 서브모듈(93) 순으로 단속 작업을 반복 수행하는 단계를 포함하여 이루어진 것을 특징으로 하는 단일 카메라를 이용한 불법 주정차 무인 자동 단속방법.(e) After the final crackdown of the illegal parking vehicle is completed, the direction turning submodule 94 turns the crackdown PTZ camera 40 to turn the preceding crackdown submodule 91 and the illegal parking situation is the submodule 92. And repeating the control operation in the order of the following control submodule 93, wherein the illegal parking automatic unmanned automatic control method using a single camera. 제1항에 있어서,The method of claim 1, 상기 매핑모듈(90)은,The mapping module 90, 주정차감시섹터(24)의 설정이 시작되면, 설정방향에 대한 주정차 감시위치에 대하여 단속용 PTZ카메라(40)가 영상을 촬영하는 단계와,When the setting of the parking monitoring sector 24 is started, the intermittent PTZ camera 40 captures an image with respect to the parking stop monitoring position with respect to the setting direction; 상기 주정차감시섹터(24)의 설정을 위하여 해당 감시섹터에 사각형을 추가하는 단계와,Adding a rectangle to the monitoring sector for setting the parking monitoring sector 24; 상기 주정차감시섹터(24) 내에서 차량의 예상 주정차영역으로 사각형을 이동하는 단계와,Moving a rectangle into the expected parking area of the vehicle in the parking monitoring sector 24; 상기 주정차감시섹터(24)의 원근감을 고려하여 사각형의 크기를 조절하는 단계와,Adjusting the size of the rectangle in consideration of the perspective of the parking monitoring sector 24; 상기 매핑모듈으로 단속용 PTZ카메라(40)를 이동(Pan, Tilt) 및 확대(Zoom)시켜 사각형 영역과 3차원 카메라 영상을 매핑시키는 단계와,Mapping the rectangular area and the 3D camera image by moving (Pan, Tilt) and zooming the PTZ camera 40 for the control with the mapping module; 상기 주정차감시섹터(24)와 매핑되는 단속용 PTZ카메라(40)의 좌표(Pan, Tilt, Zoom)값을 저장하는 단계와,Storing coordinates (Pan, Tilt, Zoom) of the intermittent PTZ camera 40 mapped to the parking monitoring sector 24; 상기 주정차감시섹터(24)의 설정이 종료되었는지를 판단하여 감시 및 단속을 위한 해당하는 도로의 주정차감시섹터(24)의 모든 영역을 설정하는 단계를 포함하는 단일 카메라를 이용한 불법 주정차 무인 자동 단속방법.Determining whether the setting of the parking lot monitoring sector 24 is completed and setting all the areas of the parking lot monitoring sector 24 of the corresponding road for monitoring and control . 제1항에 있어서,The method of claim 1, 상기 선행단속 서브모듈(91)은,The preceding control submodule 91, 불법주정차 단속시간이 도달하여 단속이 개시되면, 감시섹터번호(I)를 1로 설정한 단계와,Setting the monitoring sector number (I) to 1 when the crackdown time is started and the crackdown is started; 상기 감시섹터번호(I)에 해당하는 주정차감시섹터(24)로 단속용 PTZ카메라(40)를 이동시켜 주정차된 차량의 영상을 촬영하는 단계와,Moving the intermittent PTZ camera 40 to the parking monitoring sector 24 corresponding to the monitoring sector number I to photograph an image of the parked vehicle; 상기 단속용 PTZ카메라(40)에서 차량번호판 영역이 획득되지 않으면, 선행단속 종료조건(B12)의 조건을 판단하여 종료조건이 아니면, 감시섹터번호(I)에 1을 증가시켜 해당 주정차감시섹터(24)로 단속용 PTZ카메라(40)를 이동시키는 단계와,If the license plate area is not obtained from the PTZ camera 40 for the control, the condition of the preceding control termination condition (B12) is determined, and if it is not the termination condition, 1 is increased to the monitoring sector number (I), and the corresponding parking monitoring sector ( 24) moving the intermittent PTZ camera 40, 상기 단속용 PTZ카메라(40)에서 차량번호판 영역이 획득되면, 번호판 영역을 중심으로 단속용 PTZ카메라(40)의 위치조절 후에 실제 번호판 인식을 위하여 주정차된 차량의 영상을 촬영하는 단계와,Photographing an image of a parked vehicle for real license plate recognition after adjusting the position of the intermittent PTZ camera 40 when the vehicle license plate area is obtained from the intermittent PTZ camera 40; 상기 주정차된 차량의 번호판이 인식되면, 주정차된 차량에 대한 초기 단속이 이루어져 초기 단속리스트 정보와 초기 적발정보를 생성하는 단계와,When the license plate of the parked vehicle is recognized, an initial crackdown is performed on the parked vehicle to generate initial crackdown list information and initial caught information; 상기 감시섹터번호(I)가 설정된 현재방향의 마지막 주정차감시섹터(24)의 번호(n)보다 크거나 같으면 선행단속 작업을 종료하는 단계와,If the monitoring sector number I is greater than or equal to the number n of the last parking monitoring sector 24 in the current direction, ending the preceding control operation; 상기 감시섹터번호(I)가 설정된 현재방향의 마지막 주정차감시섹터(24)의 번호(n)보다 작으면 감시섹터번호(I)에 1을 증가시켜 해당 주정차감시섹터(24)로 단속용 PTZ카메라(40)를 이동시키는 단계를 포함하는 단일 카메라를 이용한 불법 주정차 무인 자동 단속방법.If the surveillance sector number (I) is smaller than the number n of the last parking monitoring sector (24) in the current direction, the PTZ camera for enforcement to the parking monitoring sector (24) is increased by increasing 1 to the monitoring sector number (I). Automatic parking control method for illegal parking using a single camera comprising the step of moving (40). 제1항에 있어서,The method of claim 1, 상기 불법주정차 상황인지 서브모듈(92)은,The illegal parking situation whether the sub-module 92, 도로(20)의 양쪽 가장자리의 주정차금지구역(22)에 대하여 단속용 PTZ카메라(40)를 통해 실시간으로 촬영된 단속현장의 영상을 관심영역 설정모듈(56)을 통해 영상분석을 위한 차량 검지영역인 복수의 관심영역(ROI: Region of Interest)을 설정하는 단계와,Vehicle detection area for image analysis through the ROI setting module 56 for the image of the enforcement site photographed in real time through the PTZ camera 40 for the enforcement of the parking prohibited zones 22 at both edges of the road 20. Establishing a plurality of regions of interest (ROI); 상기 단속용 PTZ카메라(40)로부터 차례로 입력되는 1~N장의 영상으로 초기 배경모델을 제작하고(C3), 제작된 초기 배경모델과 N+1번째 이후부터는 입력영상 간의 차영상으로 획득된(C4) 이동물체와 이동물체의 그림자가 포함된 전경영역을 분리하고, 적응적 배경영상과 전경영역을 입력으로하여 그림자 제거모듈(58)에서 전경영역의 그림자를 제거하는 단계와,An initial background model is produced from 1 to N images sequentially input from the intermittent PTZ camera 40 (C3), and is obtained as a difference image between the produced initial background model and the input image from N + 1 th and subsequent (C4). Separating the foreground area including the moving object and the shadow of the moving object, and removing the shadow of the foreground area from the shadow removing module 58 by inputting the adaptive background image and the foreground area; 상기 그림자 제거모듈(58)에서 그림자영역이 제거된 이동물체 영역을 적응적 배경 모델링모듈(57)에서 검지된 이동물체영역(추적객체영역)으로 취하고, N+1번째 이후 입력영상에서 검지된 이동물체영역(추적객체영역)을 제외하고, 이전에 영상프레임에서 추적 완료된 이동물체영역(단속 완료된 이동물체영역)을 포함하여 배경모델을 갱신하는 단계와,The moving object region in which the shadow region is removed by the shadow removing module 58 is taken as the moving object region (tracking object region) detected by the adaptive background modeling module 57, and the movement detected in the input image after N + 1 th time. Updating the background model including the moving object region (tracked moving object region) previously tracked in the image frame, except for the object region (tracking object region); 상기 그림자 영역의 제거와 배경영상의 모델링 후에 영상분석을 위한 영상의 블록화 및 단속을 위한 차량을 검지하는 단계와,Detecting a vehicle for blocking and controlling an image for image analysis after removing the shadow area and modeling a background image; 상기 그림자 영역의 제거와 배경영상의 모델링 후에 영상분석의 계산량 최소화를 위하여 차량검지모듈(59)에서 영상을 블록화하는 단계와,Blocking the image in the vehicle detection module 59 in order to minimize the amount of computational analysis after removing the shadow area and modeling the background image; 상기 영상 블록화 이후에 분할영역 내부의 구멍(hole)을 제거하기 위한 확장과 침식의 모폴로지 연산을 차례로 수행하는 단계와,Performing a morphological operation of expansion and erosion to remove holes in the partition region after the image blocking, and 상기 모폴로지 연산 이후에 영역분할을 위한 레이블링을 수행하는 단계와,Performing labeling for region division after the morphology operation; 상기 레이블링 연산 이후에 MER(최소인접사각형)계산을 수행하는 단계와,Performing a MER (minimum neighboring rectangle) calculation after the labeling operation; 상기 MER계산 이후에 분할된 각 영역을 표현하는 각 MER을 평가하여 차량을 검지하는 단계와,Detecting a vehicle by evaluating each MER representing each divided region after the MER calculation; 상기 차량검지 정보를 입력받아 단속용 PTZ카메라(40)를 제어하여 불법주정차 무인단속을 수행하는 단계를 포함하여 이루어진 것을 특징으로 하는 단일 카메라를 이용한 불법 주정차 무인 자동 단속방법.Controlling the PTZ camera 40 for enforcement to receive the vehicle detection information to perform illegal parking unattended enforcement, characterized in that it comprises a stepless automatic parking control using a single camera. 불법주정차 차량 무인 자동 단속시스템에 있어서,In the illegal parking vehicle unmanned automatic control system, 도로(20)의 주정차감시지역(30) 내에 주정차금지지역(22)의 원근감을 고려하여 실세계 좌표와 카메라 좌표 사이의 매핑(Mapping)을 통해 주정차감시섹터(24)를 설정하는 매핑모듈(90);Mapping module 90 for setting the parking monitoring sector 24 through mapping between the real world coordinates and the camera coordinates in consideration of the perspective of the parking prohibited area 22 in the parking monitoring area 30 of the road 20. ; 상기 매핑모듈(90)에서 설정된 주정차감시섹터(24)에 주정차 단속개시 전부터 불법으로 주정차된 차량의 초기 단속리스트 및 적발 정보를 생성하는 선행단속 서브모듈(91);A preceding enforcement submodule 91 for generating an initial regulation list and detection information of an illegally parked vehicle from before the parking regulation is started in the parking monitoring sector 24 set by the mapping module 90; 어느 한 방향에 대하여 단속용 PTZ카메라(40)를 감시모드로 취하고 주정차금지구역(22) 내에서 실시간으로 차량을 검지하며 주정차 차량을 추적하여 불법주정차 상황을 인지한 후에 감시리스트 정보를 생성하는 불법주정차 상황인지 서브모 듈(92);It is illegal to take surveillance cameras in any one direction in the monitoring mode, detect a vehicle in real time in the no-parking area 22, and track the parking vehicle to recognize the illegal parking situation and then generate watch list information. Whether the parking situation is a sub-module 92; 상기 선행단속 서브모듈(91)의 초기단속한 정보를 최종단속하여 최종 단속리스트와 최종 적발정보를 생성하고, 불법주정차 상황인지 서브모듈(92)의 초기단속 이후에 일정시간이 경과한 후에 최종단속을 수행하여 최종 단속리스트 및 적발 정보를 생성하는 후행단속 서브모듈(93)을 포함하여 이루어진 것을 특징으로 하는 단일 카메라를 이용한 불법 주정차 무인 자동 단속시스템.Final crackdown of the initial crackdown information of the preceding crackdown submodule 91 is generated to generate a final crackdown list and final caught information, and a final crackdown after a predetermined time has elapsed after the initial crackdown of the submodule 92 whether the parking situation is illegal or not. Unauthorized automatic parking control system using a single camera, characterized in that it comprises a trailing enforcement submodule (93) for generating a final crackdown list and caught information by performing. 제5항에 있어서,The method of claim 5, 상기 후행단속 서브모듈(93)에서 주정차 단속완료 후에 단속용 PTZ카메라(40)의 방향을 전환시켜 선행단속 서브모듈(91), 불법주정차 상황인지 서브모듈(92) 및 후행단속 서브모듈(93) 순으로 단속 작업을 반복적으로 수행할 수 있도록 하는 방향전환 서브모듈(94)이 더 포함된 것을 특징으로 하는 단일 카메라를 이용한 불법 주정차 무인 자동 단속시스템.In the following control submodule 93, after the completion of the parking stop control, the direction of the control PTZ camera 40 is reversed so that the preceding control submodule 91, the illegal parking situation submodule 92, and the following control submodule 93 Unattended parking automatic control system using a single camera, characterized in that it further comprises a redirection sub-module (94) for repeatedly performing the control operation in order. 제5항에 있어서,The method of claim 5, 주정차감시지역(30)에 설치되어 거리에 비례하여 도로 양쪽의 주정차감시섹터(24)로 분할되어 있는 주정차금지구역(22)을 감시하기 위한 단속용 PTZ카메라(40);An intermittent PTZ camera 40 for monitoring a parking stop zone 22 which is installed in the parking stop monitoring area 30 and is divided into a parking stop monitoring sector 24 on both sides of the road in proportion to a distance; 상기 단속용 PTZ카메라(40)를 통해 실시간으로 촬영된 단속현장의 영상을 영상분석을 위한 차량 검지영역인 복수의 관심영역(ROI: Region of Interest)을 설정 하는 관심영역 설정모듈(66);A region of interest setting module (66) for setting a plurality of regions of interest (ROIs) which are vehicle detection regions for image analysis of an image of an enforcement scene photographed in real time through the PTZ camera 40 for the enforcement; 상기 단속용 PTZ카메라(40)로부터 차례로 입력되는 1~N장의 영상으로 초기 배경모델을 제작하고, 제작된 초기 배경모델과 N+1번째 이후부터는 입력영상 사이의 차영상으로 이동물체와 이동물체의 그림자가 포함된 전경영역을 분할하며, 전경영역에서 이동물체의 그림자 영역을 제거하는 그림자 제거모듈(58);The initial background model is produced from 1 to N images sequentially input from the intermittent PTZ camera 40, and the difference between the produced initial background model and the N + 1 th input image is the difference between the moving object and the moving object. A shadow removal module 58 for dividing a foreground area including a shadow and removing a shadow area of a moving object from the foreground area; 상기 그림자 제거모듈에서 그림자영역이 제거된 이동물체 영역을 검지된 이동물체 영역으로 취하고, N+1번째 이후 입력영상에서 검지된 이동물체영역(추적객체영역)을 제외하고, 이전에 영상프레임에서 추적 완료된 이동물체영역(단속 완료된 이동물체영역)을 포함하여 배경모델을 갱신하는 적응적 배경 모델링모듈(57)을 더 포함하는 것을 특징으로 하는 단일 카메라를 이용한 불법 주정차 무인 자동 단속시스템.In the shadow removing module, the moving object region from which the shadow region is removed is taken as the detected moving object region, and is tracked in the image frame before, except for the moving object region (tracking object region) detected in the N + 1th input image. And an adaptive background modeling module (57) for updating a background model, including a completed moving object area (clamping completed moving object area).
KR1020080001161A 2008-01-04 2008-01-04 Detecting method at automatic police enforcement system of illegal-stopping and parking vehicle using single camera and system thereof KR100820952B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080001161A KR100820952B1 (en) 2008-01-04 2008-01-04 Detecting method at automatic police enforcement system of illegal-stopping and parking vehicle using single camera and system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080001161A KR100820952B1 (en) 2008-01-04 2008-01-04 Detecting method at automatic police enforcement system of illegal-stopping and parking vehicle using single camera and system thereof

Publications (1)

Publication Number Publication Date
KR100820952B1 true KR100820952B1 (en) 2008-04-11

Family

ID=39534384

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080001161A KR100820952B1 (en) 2008-01-04 2008-01-04 Detecting method at automatic police enforcement system of illegal-stopping and parking vehicle using single camera and system thereof

Country Status (1)

Country Link
KR (1) KR100820952B1 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100862398B1 (en) 2008-07-18 2008-10-13 한국비전기술(주) Automatic police enforcement method of illegal-stopping and parking vehicle having cctv for preventing crime using multiple camera and system thereof
KR100942409B1 (en) 2009-10-08 2010-02-17 (주)나인정보시스템 Method for detecting a moving vehicle at a high speed
KR100961902B1 (en) * 2009-06-22 2010-06-10 숭실대학교산학협력단 Method for detecting vehicle number plate location of the illegalstopping and parking vehicle and system therefor
KR101161557B1 (en) * 2009-12-30 2012-07-03 서울과학기술대학교 산학협력단 The apparatus and method of moving object tracking with shadow removal moudule in camera position and time
KR101372843B1 (en) 2014-02-04 2014-03-14 (주)나인정보시스템 Traffic regulation system and method for bumper-to-bumper violation detection using stereo
CN104504908A (en) * 2015-01-14 2015-04-08 苏州科达科技股份有限公司 Monitoring method and system for illegal parking
KR101902221B1 (en) * 2016-08-17 2018-11-07 유에프엠시스템즈 주식회사 System for acquiring self autonomous image information using single camera
KR101917674B1 (en) 2018-04-10 2018-11-13 주식회사 에스오넷 The intelligent illegal stopping and parking vehicles crackdown system using a self monitoring analysis sensing method of parking state, and method thereof
CN112164227A (en) * 2020-08-26 2021-01-01 深圳奇迹智慧网络有限公司 Illegal parking vehicle warning method and device, computer equipment and storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050089099A (en) * 2004-03-03 2005-09-07 여성기 Auto-detection system of parking violation car
KR100538526B1 (en) 2004-12-02 2005-12-23 주식회사 넥스파시스템 Automatic police enforcement system of a illegal stopping and parking vehicles
KR20060116757A (en) * 2006-05-17 2006-11-15 (주)한일에스티엠 Automatic police enforcement method of illegal-stopping and parking vehicle and system thereof
KR20070000557A (en) * 2005-06-28 2007-01-03 공현택 Keeping system for illegal parking vehicle
KR20070104999A (en) * 2006-04-24 2007-10-30 주식회사 에스오넷 Moving vehicle tracking and parked vehicle extraction system and method for illegal-parking management

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050089099A (en) * 2004-03-03 2005-09-07 여성기 Auto-detection system of parking violation car
KR100538526B1 (en) 2004-12-02 2005-12-23 주식회사 넥스파시스템 Automatic police enforcement system of a illegal stopping and parking vehicles
KR20070000557A (en) * 2005-06-28 2007-01-03 공현택 Keeping system for illegal parking vehicle
KR20070104999A (en) * 2006-04-24 2007-10-30 주식회사 에스오넷 Moving vehicle tracking and parked vehicle extraction system and method for illegal-parking management
KR20060116757A (en) * 2006-05-17 2006-11-15 (주)한일에스티엠 Automatic police enforcement method of illegal-stopping and parking vehicle and system thereof

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100862398B1 (en) 2008-07-18 2008-10-13 한국비전기술(주) Automatic police enforcement method of illegal-stopping and parking vehicle having cctv for preventing crime using multiple camera and system thereof
KR100961902B1 (en) * 2009-06-22 2010-06-10 숭실대학교산학협력단 Method for detecting vehicle number plate location of the illegalstopping and parking vehicle and system therefor
KR100942409B1 (en) 2009-10-08 2010-02-17 (주)나인정보시스템 Method for detecting a moving vehicle at a high speed
KR101161557B1 (en) * 2009-12-30 2012-07-03 서울과학기술대학교 산학협력단 The apparatus and method of moving object tracking with shadow removal moudule in camera position and time
KR101372843B1 (en) 2014-02-04 2014-03-14 (주)나인정보시스템 Traffic regulation system and method for bumper-to-bumper violation detection using stereo
CN104504908A (en) * 2015-01-14 2015-04-08 苏州科达科技股份有限公司 Monitoring method and system for illegal parking
KR101902221B1 (en) * 2016-08-17 2018-11-07 유에프엠시스템즈 주식회사 System for acquiring self autonomous image information using single camera
KR101917674B1 (en) 2018-04-10 2018-11-13 주식회사 에스오넷 The intelligent illegal stopping and parking vehicles crackdown system using a self monitoring analysis sensing method of parking state, and method thereof
CN112164227A (en) * 2020-08-26 2021-01-01 深圳奇迹智慧网络有限公司 Illegal parking vehicle warning method and device, computer equipment and storage medium
CN112164227B (en) * 2020-08-26 2022-06-28 深圳奇迹智慧网络有限公司 Parking violation vehicle warning method and device, computer equipment and storage medium

Similar Documents

Publication Publication Date Title
KR100820952B1 (en) Detecting method at automatic police enforcement system of illegal-stopping and parking vehicle using single camera and system thereof
KR100834550B1 (en) Detecting method at automatic police enforcement system of illegal-stopping and parking vehicle and system thereof
CA2680646C (en) Moving object noise elimination processing device and moving object noise elimination processing program
US11790504B2 (en) Monitoring method and apparatus
CN109104561B (en) System and method for tracking moving objects in a scene
KR102197946B1 (en) object recognition and counting method using deep learning artificial intelligence technology
KR101392294B1 (en) Video segmentation using statistical pixel modeling
KR100377067B1 (en) Method and apparatus for detecting object movement within an image sequence
KR101496390B1 (en) System for Vehicle Number Detection
US20160093214A1 (en) Vision-based on-street parked vehicle detection via normalized-view classifiers and temporal filtering
CN104506804A (en) Device and method for monitoring abnormal behavior of motor vehicle on expressway
KR101625538B1 (en) Car Number Recognition system
KR101032495B1 (en) Multi-function detecting system of illegally parked vehicles using digital ptz technique and method of detecting thereof
JP2001216519A (en) Traffic monitor device
JP7305965B2 (en) Video surveillance system parameter setting method, device and video surveillance system
CN114781479A (en) Traffic incident detection method and device
WO2016114897A1 (en) Event triggered by the depth of an object in the field of view of an imaging device
KR100990404B1 (en) Method for detecting vehicle of lanes
KR102338912B1 (en) Recognition method of vehicles license plate using super resolution
Saha et al. Development of an automated red light violation detection system (RLVDS) for Indian vehicles
JP2002145072A (en) Railroad crossing obstacle detecting device
CN111914592B (en) Multi-camera combined evidence obtaining method, device and system
KR101161557B1 (en) The apparatus and method of moving object tracking with shadow removal moudule in camera position and time
KR102491684B1 (en) Control method of a surveillance camera with a sunshield and control method thereof
CN104376316B (en) License plate image acquisition method and device

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee
R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20140402

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160609

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20171001

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee