KR20150047385A - Method and system for detecting illegal parking/standing - Google Patents

Method and system for detecting illegal parking/standing Download PDF

Info

Publication number
KR20150047385A
KR20150047385A KR1020130127394A KR20130127394A KR20150047385A KR 20150047385 A KR20150047385 A KR 20150047385A KR 1020130127394 A KR1020130127394 A KR 1020130127394A KR 20130127394 A KR20130127394 A KR 20130127394A KR 20150047385 A KR20150047385 A KR 20150047385A
Authority
KR
South Korea
Prior art keywords
vehicle
detecting
condition
determining whether
classification algorithm
Prior art date
Application number
KR1020130127394A
Other languages
Korean (ko)
Other versions
KR101577747B1 (en
Inventor
조민국
이희성
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020130127394A priority Critical patent/KR101577747B1/en
Publication of KR20150047385A publication Critical patent/KR20150047385A/en
Application granted granted Critical
Publication of KR101577747B1 publication Critical patent/KR101577747B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

A system for detecting an illegal parking is provided according to another embodiment of the present invention. The system for detecting an illegal parking includes: a fixed type camera which films a certain area; an object detecting unit which detects an object from the filmed image; a vehicle judging unit which decides whether the object is a vehicle through a classifying algorithm using a feature value of the object as an input parameter; a parking condition judging unit which judges if the object satisfies a parking condition when the object is a vehicle, and writes a parking time on a history log when the object satisfies the parking condition; and an illegal parking judging unit which decides an illegal parking of the object, using the time data written on the history log.

Description

불법 주정차 감지 방법 및 시스템{METHOD AND SYSTEM FOR DETECTING ILLEGAL PARKING/STANDING}FIELD OF THE INVENTION [0001] The present invention relates to a method and system for detecting an illegally parked car,

본 발명은 불법 주정차 차량을 감지하는 방법 및 시스템에 관한 것이다.
The present invention relates to a method and system for detecting illegal parking vehicles.

종래의 불법 주정차 감지 시스템은 복수개의 카메라 또는 PTZ(Pan-Tilt-Zoom) 카메라를 이용해 설정 영역 내의 불법 주정차를 감지하고, 벌금 부과를 위해 차량의 번호판을 인식한다. A conventional illegal parking detection system detects illegal parking spaces in a setting area by using a plurality of cameras or a PTZ (Pan-Tilt-Zoom) camera, and recognizes a license plate of a vehicle for charging a fine.

한편, 종래의 불법 주정차 감지 시스템은 복수개의 카메라를 사용하거나 고가의 PTZ 카메라를 사용하므로, 시스템 구축 비용이 비싼 단점을 가진다. 특히, 종래의 불법 주정차 감지 시스템은 차량의 번호판을 인식해야 하므로, 번호판 인식 기술 및 고해상도 카메라 장비가 필요하다.
On the other hand, the conventional illegal parking detection system has a disadvantage that the system construction cost is high because a plurality of cameras are used or an expensive PTZ camera is used. In particular, since the conventional illegal parking detection system needs to recognize the license plates of the vehicle, license plate recognition technology and high resolution camera equipment are required.

본 발명이 해결하고자 하는 과제는, 고정형 단일 카메라를 이용해 불법 주정차 차량을 감지할 수 있는 방법 및 시스템을 제공하는 것이다.
SUMMARY OF THE INVENTION It is an object of the present invention to provide a method and system for detecting illegal parking vehicles using a fixed single camera.

본 발명의 실시예에 따르면, 주정차 감지 시스템의 주정차 감지 방법이 제공된다. 상기 주정차 감지 방법은, 하나의 고정형 카메라를 이용해 설정 영역을 촬영하는 단계; 상기 촬영 영상에서 객체를 검출하는 단계; 상기 객체의 특징을 입력 파라미터로 사용하는 분류 알고리즘을 통해서 상기 객체가 차량인지 여부를 판단하는 단계; 및 상기 객체가 차량인 경우에, 상기 객체가 주정차 상황 조건을 만족하는지를 판단하는 단계를 포함한다. According to an embodiment of the present invention, there is provided a method for detecting a parking space of a parking space detecting system. The method includes detecting a setting area using one fixed camera; Detecting an object in the captured image; Determining whether the object is a vehicle through a classification algorithm that uses a characteristic of the object as an input parameter; And determining, if the object is a vehicle, whether the object satisfies the condition of a vehicle condition.

상기 주정차 감지 방법은, 상기 객체가 주정차 상황 조건을 만족하는 경우에, 히스토리 로그에 주정차 시간을 기록하는 단계; 및 상기 히스토리 로그에 기록된 시간 데이터를 이용해 상기 객체의 불법 주정차 여부를 판단하는 단계를 더 포함할 수 있다.The method of detecting a pit vehicle includes the steps of recording a pit time in a history log when the object satisfies a pit situation condition; And determining whether the object is illegal due to the time data recorded in the history log.

상기 주정차 감지 방법은, 상기 객체가 불법 주정차하는 것으로 판단되는 경우에, 불법 주정차 알림 메시지를 전송하는 단계를 더 포함할 수 있다.The method may further include transmitting an illegal parking notification message when the object is determined to be illegally parked.

상기 검출하는 단계는, 평균 이동(Mean shift) 영상 추적 알고리즘을 이용해 상기 객체를 검출하는 단계를 포함한다.The detecting includes detecting the object using a mean shift image tracking algorithm.

상기 차량인지 여부를 판단하는 단계는, 상기 객체의 테두리에 존재하는 픽셀 수인 제1 특징값을 계산하는 단계; 상기 객체를 포함하는 블록의 픽셀 수와 상기 제1 특징값의 비율인 제2 특징값을 계산하는 단계; 상기 블록의 픽셀 수와 상기 객체의 픽셀 수의 비율인 제3 특징값을 계산하는 단계; 및 상기 객체의 주축과 단축의 분산값 비율인 제4 특징값을 계산하는 단계를 포함한다. 여기서 상기 주축은 상기 객체의 축 중에서 분산이 가장 큰 축이고, 상기 단축은 상기 주축과 수직인 축이다.Wherein the step of determining whether the vehicle is the vehicle comprises: calculating a first characteristic value which is the number of pixels existing at an edge of the object; Calculating a second feature value that is a ratio of the number of pixels of the block including the object to the first feature value; Calculating a third characteristic value that is a ratio of the number of pixels of the block to the number of pixels of the object; And calculating a fourth characteristic value which is a ratio of dispersion values of the main axis and the minor axis of the object. Here, the main axis is the axis having the largest dispersion among the axes of the object, and the minor axis is the axis perpendicular to the main axis.

상기 차량인지 여부를 판단하는 단계는, 상기 제1 내지 제4 특징값으로 이루어진 4차원 벡터를 상기 분류 알고리즘의 입력 파라미터로 사용하는 단계를 더 포함한다.The step of determining whether the vehicle is the vehicle further includes using a four-dimensional vector composed of the first through fourth feature values as input parameters of the classification algorithm.

상기 분류 알고리즘은 SVM(Support Vector Machine) 분류 알고리즘이다.상기 분류 알고리즘은 신경망(Neural Network) 분류 알고리즘, 자기 조직화 지도(SOM: Self Organizing Map) 분류 알고리즘, 및 K-NN(K-Nearest Neighbors) 분류 알고리즘 중 어느 하나이다.상기 만족하는지를 판단하는 단계는, 상기 촬영 영상의 현재 프레임에서의 상기 객체의 중심 좌표와 이전 프레임에서의 상기 객체의 중심 좌표 간의 거리가 제1 임계값 이하인지를 판단하는 단계를 포함한다.The classification algorithm is a SVM (Support Vector Machine) classification algorithm. The classification algorithm is classified into a Neural Network classification algorithm, a Self Organizing Map (SOM) classification algorithm, and a K-Nearest Neighbors Determining whether the distance between the center coordinates of the object in the current frame of the captured image and the center coordinates of the object in the previous frame is equal to or less than a first threshold value, .

상기 만족하는지를 판단하는 단계는, 상기 객체가 상기 설정 영역 내에 있는지를 판단하는 단계; 및 상기 객체가 다른 객체와 겹치는지를 판단하는 단계를 더 포함한다.Wherein the step of determining whether the object satisfies the condition includes: determining whether the object is within the setting area; And determining whether the object overlaps with another object.

또한, 본 발명의 다른 실시예에 따르면, 불법 주정차 감지 시스템이 제공된다. 상기 불법 주정차 감지 시스템은, 설정 영역을 촬영하는 하나의 고정형 카메라; 상기 촬영 영상에서 객체를 검출하는 객체 검출부; 상기 객체의 특징값을 입력 파라미터로 사용하는 분류 알고리즘을 통해서 상기 객체가 차량인지 여부를 판단하는 차량 판단부; 상기 객체가 차량인 경우에 상기 객체가 주정차 상황 조건을 만족하는지를 판단하고, 상기 객체가 상기 주정차 상황 조건을 만족하는 경우에 히스토리 로그에 주정차 시간을 기록하는 주정차 상황 조건 판단부; 및 상기 히스토리 로그에 기록된 시간 데이터를 이용해 상기 객체의 불법 주정차 여부를 판단하는 불법 주정차 판단부를 포함한다.Further, according to another embodiment of the present invention, an illegal parking detection system is provided. The illegal parking detection system includes a fixed camera for photographing a setting area; An object detection unit detecting an object in the captured image; A vehicle judging unit for judging whether the object is a vehicle through a classification algorithm using a feature value of the object as an input parameter; A state variable condition determining unit for determining whether the object satisfies the condition of the vehicle condition when the object is a vehicle and recording the condition data in the history log when the object satisfies the condition of the condition of the vehicle; And an illegal deviation determining unit for determining whether the object is illegal due to the time data recorded in the history log.

또한, 본 발명의 또 다른 실시예에 따르면, 주정차 감지 시스템이 촬영 영상의 객체가 차량인지 여부를 판단하는 방법이 제공된다. 상기 차량 판별 방법은, 상기 객체의 특징값을 계산하는 단계; 및 상기 객체의 특징값을 입력 파라미터로 사용하는 분류 알고리즘을 통해서 상기 객체가 차량인지 여부를 판단하는 단계를 포함한다. 여기서, 상기 객체의 특징값은 상기 객체를 포함하는 블록의 픽셀 수와 상기 객체의 테두리에 존재하는 픽셀 수의 비율인 상기 객체의 밀집도(compactness)를 포함한다. 상기 주정차 감지 시스템은 한 방향만을 촬영하는 하나의 고정형 카메라를 포함한다.
According to another embodiment of the present invention, there is also provided a method for determining whether an object of a photographed image is a vehicle, The vehicle discrimination method includes: calculating a feature value of the object; And determining whether the object is a vehicle through a classification algorithm that uses a feature value of the object as an input parameter. Here, the feature value of the object includes the compactness of the object, which is a ratio of the number of pixels of the block including the object to the number of pixels existing at the edge of the object. The differential detection system includes one fixed camera that captures only one direction.

본 발명의 실시예에 따르면, 벌금 부과와 같은 사후 처리를 목적으로 하는 종래 시스템과는 다르게, 불법 주정차가 발생한 시점에 사용자에게 불법 주정차 사실을 자동으로 알려줌으로써 불법 주정차로 인해 야기되는 사고를 사전에 예방할 수 있다. 따라서 본 발명을 학교와 같은 교육기관에 적용함으로써, 불법 주정차 상황 발생시 신속하게 대처하여 불법 주정차로 인해 야기되는 사고를 사전에 예방할 수 있다.According to the embodiment of the present invention, unlike the conventional system for the purpose of post-processing such as imposition of fines, by informing the user of the illegal driving accident automatically at the time of occurrence of the illegal driving accident, Can be prevented. Therefore, by applying the present invention to an educational institution such as a school, it is possible to quickly cope with an illegal parking situation and to prevent an accident caused by illegal driving.

또한, 본 발명의 실시예에 따르면, 복수개의 카메라 또는 고가의 PTZ 카메라를 이용하지 않고 고정형 단일 카메라를 이용하므로, 시스템 구축 비용을 최소화할 수 있다. In addition, according to the embodiment of the present invention, since a fixed single camera is used without using a plurality of cameras or an expensive PTZ camera, the system construction cost can be minimized.

또한, 본 발명의 실시예에 따르면, 차량 번호판을 인식할 필요가 없으므로, 일반적인 저가의 감시 카메라로 구현할 수 있다.
In addition, according to the embodiment of the present invention, since it is not necessary to recognize the license plate, it can be realized by a general low cost surveillance camera.

도 1은 본 발명의 실시예에 따른 불법 주정차 감지 시스템의 개념을 설명하기 위한 도면.
도 2는 본 발명의 실시예에 따른 불법 주정차 감지 시스템의 구성을 나타낸 도면.
도 3은 도 2의 차량 판단부(300)가 사용하는 객체의 특징값인 객체의 컨투어(contour)를 나타낸 도면.
도 4는 도 2의 차량 판단부(300)가 사용하는 객체의 특징값인 객체의 밀집도(compactness)를 나타낸 도면.
도 5는 도 2의 차량 판단부(300)가 사용하는 객체의 특징값인 객체의 정규화된 영역 면적(normalized area)을 나타낸 도면.
도 6은 도 2의 차량 판단부(300)가 사용하는 객체의 특징값인 객체의 주축/단축의 비율을 나타낸 도면.
도 7은 본 발명의 실시예에 따른 불법 주정차 감지 과정을 나타낸 순서도.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a view for explaining a concept of an illegal parking detection system according to an embodiment of the present invention; FIG.
2 is a diagram illustrating the configuration of an illegal parking detection system according to an embodiment of the present invention.
FIG. 3 is a diagram showing a contour of an object, which is a characteristic value of an object used by the vehicle determining unit 300 in FIG.
FIG. 4 is a diagram showing the compactness of an object, which is a feature value of an object used by the vehicle determining unit 300 in FIG.
5 is a view showing a normalized area of an object, which is a feature value of an object used by the vehicle determining unit 300 in FIG.
FIG. 6 is a diagram showing the ratio of main axis / minor axis of an object, which is a characteristic value of an object used by the vehicle determining unit 300 in FIG.
7 is a flowchart showing an illegal parking detection process according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

도 1은 본 발명의 실시예에 따른 불법 주정차 감지 시스템의 개념을 설명하기 위한 도면이다.1 is a view for explaining a concept of an illegal parking detection system according to an embodiment of the present invention.

본 발명은 영상 처리 기법을 이용하여 영상 내의 설정 영역(SR1, SR2)에서 객체(O1, O2)를 검출하고, 검출된 객체(O1, O2)가 차량인지를 식별하고, 검출된 객체(O1, O2)가 차량인 경우에 객체(O1, O2)가 기설정된 시간 동안 주정차하는지를 판단하고, 시스템 사용자에게 불법 주정차 사실을 알린다.
The present invention detects an object (O1, O2) in a set area (SR1, SR2) in an image using an image processing technique, identifies whether the detected object (O1, O2) is a vehicle, O2 is a vehicle, it is determined whether the objects O1 and O2 are parked for a predetermined time, and the system user is informed of the illegal parking distance.

도 2는 본 발명의 실시예에 따른 불법 주정차 감지 시스템의 구성을 나타낸 도면이다.2 is a block diagram of an illegal parking detection system according to an embodiment of the present invention.

불법 주정차 감지 시스템은, 촬영부(100), 객체 검출부(200), 차량 판단부(300), 주정차 상황 조건 판단부(400), 및 불법 주정차 판단부(500)를 포함한다.The illegal parking discrimination system includes a photographing unit 100, an object detecting unit 200, a vehicle judging unit 300, a parking space condition determining unit 400, and an illegal parking discrimination unit 500.

촬영부(100)는 고정형 단일 카메라를 포함하고, 감시 구역을 촬영한다. 여기서 고정형 카메라는 PTZ 카메라처럼 회전하지 않고 고정되어 있어, 한 방향을 촬영한다. The photographing unit 100 includes a fixed single camera, and photographs a surveillance area. Here, the fixed camera is fixed without rotating like a PTZ camera, so it takes one direction.

객체 검출부(200)는 촬영부(100)에 의해 촬영된 촬영 영상 내의 설정 영역에 존재하는 객체를 검출한다. 객체 검출부(200)는 추적(tracking) 알고리즘을 이용해 객체를 검출하는데, 추적 알고리즘은 평균 이동(mean shift) 알고리즘, 칼만 필터(Kalman filter) 알고리즘, 파티클 필터(particle filter) 알고리즘 등과 같은 일반적인 추적 알고리즘이다.The object detecting unit 200 detects an object existing in the setting area in the photographed image photographed by the photographing unit 100. The object detection unit 200 detects an object using a tracking algorithm. The tracking algorithm is a general tracking algorithm such as a mean shift algorithm, a Kalman filter algorithm, a particle filter algorithm, and the like .

차량 판단부(300)는 객체 검출부(200)에 의해 검출된 객체가 차량인지 여부를 판단한다. 차량 판단부(300)는 분류 알고리즘을 이용해 차량 여부를 판단하는데, 분류 알고리즘은 기계 학습(Machine learning), 패턴 인식(Pattern recognition) 등의 분야에서 사용되는 SVM(Support Vector Machine) 알고리즘, 신경망(Neural Network) 알고리즘, 자기 조직화 지도(SOM: Self Organizing Map) 알고리즘, K-NN(K-Nearest Neighbors) 알고리즘 등 일 수 있다. 차량 판단부(300)는 차량 여부를 판단하기 위해서, 객체의 특징을 사용한다. 여기서 객체의 특징(feature)은 이진 영상에서의 객체의 밀집도(compactness), 객체의 컨투어(contour), 객체의 정규화된 영역 면적, 그리고 객체의 주축과 단축의 비율을 포함한다. 구체적으로 4가지 객체 특징의 값은 하나로 묶여서 4차원 벡터를 이루고, 해당 4차원 벡터는 분류 알고리즘(예, SVM 알고리즘)의 입력 파라미터로 사용된다. 객체의 특징값에 대해서는 도 3 내지 도 6을 참고하여 자세히 설명한다.The vehicle determining unit 300 determines whether the object detected by the object detecting unit 200 is a vehicle. The vehicle judging unit 300 judges whether the vehicle is a vehicle by using a classification algorithm. The classification algorithm includes a SVM (Support Vector Machine) algorithm used in fields such as machine learning and pattern recognition, Network algorithm, a self organizing map (SOM) algorithm, and a K-nearest neighbors (K-NN) algorithm. The vehicle judging unit 300 uses the characteristic of the object to judge whether the vehicle is a vehicle. The feature of the object here includes the compactness of the object in the binary image, the contour of the object, the normalized area of the object area, and the ratio of the principal axis to the minor axis of the object. Specifically, the values of the four object features are grouped together into a four-dimensional vector, and the corresponding four-dimensional vector is used as an input parameter of the classification algorithm (eg, the SVM algorithm). The characteristic values of the object will be described in detail with reference to FIG. 3 to FIG.

주정차 상황 조건 판단부(400)는 검출된 객체가 차량으로 판단된 경우에, 해당 객체가 주정차 상황 조건을 만족하는지를 판단한다. 여기서 주정차 상황 조건은 해당 객체가 설정 영역 내에 있고, 이전 프레임과 현재 프레임에서 해당 객체의 중심 좌표의 이동 거리가 제1 임계값 이하이고, 그리고 해당 객체가 다른 객체와 겹치지 않을 것으로 정의된다. 즉, 주정차 상황 조건 판단부(400)는 해당 객체가 설정 영역 내에 있는지, 촬영 영상의 현재 프레임에서의 해당 객체의 중심 좌표와 이전 프레임에서의 해당 객체의 중심 좌표 간의 거리가 제1 임계값 이하인지, 그리고 해당 객체가 다른 객체와 겹치지 않는지를 판단하여, 해당 객체에 대한 주정차 상황 조건 만족 여부를 판단한다. 주정차 상황 조건 판단부(400)는 해당 객체가 주정차 상황 조건을 만족하는 경우에 히스토리 로그에 시간을 기록한다.When the detected object is determined to be a vehicle, the state-of-the-state condition determining unit 400 determines whether the object satisfies the condition of the vehicle condition. Here, the condition of the pseudo-difference condition is defined that the object is in the setting area, the moving distance of the center coordinates of the object in the previous frame and the current frame is equal to or smaller than the first threshold, and the object does not overlap with another object. That is, if the distance between the center coordinates of the object in the current frame of the photographed image and the center coordinates of the object in the previous frame is equal to or less than the first threshold value And judges whether the object does not overlap with another object, and judges whether or not the conditional condition of the object is satisfied. The diurnal state condition determination unit 400 records the time in the history log when the object satisfies the condition of the diurnal condition.

불법 주정차 판단부(500)는 히스토리 로그에 기록된 시간 데이터를 이용해 해당 객체의 불법 주정차 여부를 판단한다. 구체적으로, 불법 주정차 판단부(500)는 히스토리 로그에 기록된 시간 데이터에 기초해 해당 객체의 존재 시간(머무른 시간)이 제2 임계값 이상인 경우에, 해당 객체가 불법 주정차하고 있는 것으로 판단한다. 그리고 불법 주정차 판단부(500)는 해당 객체가 불법 주정차하는 것으로 판단한 경우에, 불법 주정차 알림 메시지를 시스템 사용자에게 전송한다.
The illegal statutory discrimination unit 500 judges whether illegal discrimination of the object is made using the time data recorded in the history log. Specifically, the illegal state variable determining unit 500 determines that the object is illegally parked when the existence time (staying time) of the object is equal to or greater than the second threshold value based on the time data recorded in the history log. When the illegal parking discrimination unit 500 judges that the object is illegally parked, the irregular parking discrimination unit 500 transmits an illegal parking discrimination notification message to the system user.

도 3은 도 2의 차량 판단부(300)가 사용하는 객체의 특징값인 객체의 컨투어를 나타낸 도면이다.3 is a view showing a contour of an object, which is a feature value of an object used by the vehicle determining unit 300 of FIG.

객체의 컨투어는 이진 영상에서 블록(B1)에 포함된 객체의 테두리(BD1)에 존재하는 에지의 수이다. 즉, 객체의 컨투어는 이진 영상에서 객체의 테두리(BD1)에 존재하는 픽셀의 수이다.
The contour of the object is the number of edges existing in the edge BD1 of the object included in the block B1 in the binary image. That is, the contour of the object is the number of pixels existing in the edge BD1 of the object in the binary image.

도 4는 도 2의 차량 판단부(300)가 사용하는 객체의 특징값인 객체의 밀집도를 나타낸 도면이다.FIG. 4 is a diagram showing the density of an object, which is a feature value of an object used by the vehicle determining unit 300 of FIG.

동일한 영상에서 차량이 차지하는 면적(area, 이진 영상에서의 픽셀 수)은 사람이 차지하는 면적보다 많이 크기 때문에, 객체가 차량인 경우에 나타나는 컨투어도 객체가 사람인 경우에 나타나는 컨투어 보다 많다. 따라서, 이진 영상에서 객체의 밀집도는 아래의 수학식 1과 같이 정의된다.Since the area occupied by the vehicle in the same image (the number of pixels in the binary image) is larger than the area occupied by a person, the contour that appears when the object is a vehicle is also larger than the contour that appears when the object is a person. Therefore, the density of objects in a binary image is defined by Equation 1 below.

Figure pat00001
Figure pat00001

여기서, θ는 객체의 밀집도이고, α는 객체의 컨투어이고, β는 객체를 포함하는 블록(예, B1)이 차지하는 면적(이진 영상에서의 픽셀 수)이다. Here, θ is the density of the object, α is the contour of the object, and β is the area occupied by the block (eg, B1) including the object (the number of pixels in the binary image).

한편, 수학식1에서 객체의 컨투어(α)에 제곱을 한 이유는 차량 여부 판단의 변별성을 높이기 위함이다. 도 4에 도시된 바와 같이, 객체의 컨투어(α)에 제곱을 한 경우와 제곱을 하지 않은 경우를 비교해보면, 객체의 컨투어(α)에 제곱을 한 경우에 사람과 차량 모두에 해당하는 밀집도의 범위가 상대적으로 더 좁다. 따라서, 차량 판단부(300)가 객체의 컨투어(α)에 제곱을 한 경우의 밀집도를 이용하면, 해당 객체가 사람인지 아니면 차량인지를 더욱 명확하게 판단할 수 있다.
On the other hand, the reason why the contour (?) Of the object is squared in Equation (1) is to improve the discrimination of whether or not the vehicle is judged. As shown in FIG. 4, when the contour (?) Of the object is squared and the case where the object is not squared is compared, when the contour (?) Of the object is squared, The range is relatively narrow. Therefore, by using the density of the case where the vehicle determining unit 300 squares the contour? Of the object, it is possible to more clearly determine whether the object is a person or a vehicle.

도 5는 도 2의 차량 판단부(300)가 사용하는 객체의 특징값인 객체의 정규화된 영역 면적(normalized area)을 나타낸 도면이다.FIG. 5 is a diagram showing a normalized area of an object, which is a feature value of an object used by the vehicle determining unit 300 of FIG.

객체의 정규화된 영역 면적은 블록(B1)의 크기로 정규화한 객체의 영역 면적을 의미한다. 블록(B1)의 크기는 검출된 객체에 따라 다르다. 따라서, 블록(B1)의 크기에 따라 해당 객체의 영역 면적을 정규화할 필요가 있다. 객체의 정규화된 영역 면적은 아래 수학식 2와 같이 정의된다.The normalized area area of the object means the area area of the object normalized to the size of the block B1. The size of the block B1 depends on the detected object. Therefore, it is necessary to normalize the area area of the object according to the size of the block B1. The normalized area area of the object is defined by Equation 2 below.

Figure pat00002
Figure pat00002

여기서 NA는 객체의 정규화된 영역 면적이고, A1은 이진 영상에서 객체 영역(R1)의 픽셀 수이고, A2은 블록(B1)에서 객체 이외의 영역(R2)의 픽셀 수이다.
Here, NA is the normalized area area of the object, A 1 is the number of pixels of the object area R 1 in the binary image, and A 2 is the number of pixels of the area R 2 other than the object in the block B 1.

도 6은 도 2의 차량 판단부(300)가 사용하는 객체의 특징값인 객체의 주축/단축의 비율을 나타낸 도면이다.FIG. 6 is a diagram showing the ratio of major axis / minor axis of an object, which is a feature value of an object used by the vehicle determining unit 300 of FIG.

주축(X1)은 해당 객체의 이진 영상에서 분산이 가장 큰 축이다. 그리고 단축(X2)은 주축(X1)과 수직인 축이다. 차량 판단부(300)는 주축(X1)의 분산값과 단축(X2)의 분산값의 비율(즉, X1의 분산 값/X2의 분산값)을 이용해, 해당 객체가 차량인지 여부를 판단한다.
The main axis (X1) is the axis with the largest variance in the binary image of the object. And the minor axis X2 is an axis perpendicular to the main axis X1. The vehicle determining unit 300 determines whether the corresponding object is a vehicle by using the ratio of the variance of the main axis X1 to the variance of the minor axis X2 (i.e., the variance value of X1 / X2).

도 7은 본 발명의 실시예에 따른 불법 주정차 감지 과정을 나타낸 순서도이다.7 is a flowchart illustrating an illegal parking detection process according to an embodiment of the present invention.

촬영부(100)는 고정형 단일 카메라를 이용해 감시 구역을 촬영한다(S100).The photographing unit 100 photographs a monitoring area using a fixed single camera (S100).

객체 검출부(200)는 촬영 영상 내의 설정 영역에서 객체를 검출한다(S200).The object detecting unit 200 detects the object in the setting area in the photographed image (S200).

차량 판단부(300)는 검출된 객체의 특징값을 이용해 해당 객체가 차량인지 여부를 판단한다(S300). 여기서 객체의 특징값은 상술한 이진 영상에서의 객체의 밀집도, 객체의 컨투어, 객체의 정규화된 영역 면적, 그리고 객체의 주축과 단축의 비율이다.The vehicle determining unit 300 determines whether the corresponding object is a vehicle using the detected feature value of the object (S300). Here, the feature value of the object is the density of the object in the binary image, the contour of the object, the normalized area of the object, and the ratio of the principal axis and the minor axis of the object.

주정차 상황 조건 판단부(400)는 해당 객체가 차량인 경우에 해당 객체가 주정차 상황 조건을 만족하는지를 판단한다. 구체적으로 주정차 상황 조건 판단부(400)는 해당 객체가 설정 영역 내에 있는지, 이전 프레임과 현재 프레임에서 해당 객체의 중심 좌표의 이동 거리가 제1 임계값 이하인지, 그리고 해당 객체가 다른 객체와 겹치지 않는지를 판단한다. 만약, 해당 객체가 주정차 상황 조건을 만족하는 경우에, 주정차 상황 조건 판단부(400)는 히스토리 로그에 시간을 기록한다(S500).When the object is a vehicle, the conditional-condition-condition determining unit 400 determines whether the corresponding object satisfies the condition of the condition of the vehicle. Specifically, the conditional-condition-condition determining unit 400 determines whether the object is within the setting area, whether the moving distance of the center coordinates of the object in the previous frame and the current frame is less than or equal to the first threshold value, . If the object satisfies the condition of conditional deviation, the conditional condition determining unit 400 records the time in the history log (S500).

불법 주정차 판단부(500)는 히스토리 로그에 기록된 시간 데이터에 기초해 해당 객체의 존재 시간이 제2 임계값 이상인 경우에, 해당 객체가 불법 주정차하고 있는 것으로 판단한다(S600). 그리고 불법 주정차 판단부(500)는 해당 객체가 불법 주정차하는 것으로 판단한 경우에, 불법 주정차 알림 메시지를 시스템 사용자에게 전송한다.
When the existence time of the object is equal to or greater than the second threshold value, the illegal state variable determining unit 500 determines that the object is illegally parked based on the time data recorded in the history log (S600). When the illegal parking discrimination unit 500 judges that the object is illegally parked, the irregular parking discrimination unit 500 transmits an illegal parking discrimination notification message to the system user.

본 발명의 실시예에 따른 불법 주정차 감지 시스템에 대하여 자체 데이터 베이스로 검증한 결과, 감지율 70.0%, 오보율 0%의 성능이 나타났다. 그리고 본 발명의 실시예에 따른 불법 주정차 감지 시스템에 대하여 서울 모 초등학교에서 실용 시험을 2주간 수행한 결과, 1일 평균 19.4건의 발보 및 2.6건의 오보가 발생하였다.As a result of verifying the illegal parking detection system according to the embodiment of the present invention with its own database, the detection rate was 70.0% and the performance of the false rate was 0%. As a result of conducting a practical test for illegally parked vehicle detection system according to the embodiment of the present invention at Seoul Mo Elementary School for 2 weeks, an average of 19.4 rounds per day and 2.6 cases of miscarriage occurred.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims (20)

주정차 감지 시스템의 주정차 감지 방법으로서,
하나의 고정형 카메라를 이용해 설정 영역을 촬영하는 단계;
상기 촬영 영상에서 객체를 검출하는 단계;
상기 객체의 특징을 입력 파라미터로 사용하는 분류 알고리즘을 통해서 상기 객체가 차량인지 여부를 판단하는 단계; 및
상기 객체가 차량인 경우에, 상기 객체가 주정차 상황 조건을 만족하는지를 판단하는 단계
를 포함하는 주정차 감지 방법.A method for detecting a pseudo-range of a pseudo-
Photographing a setting area using one fixed camera;
Detecting an object in the captured image;
Determining whether the object is a vehicle through a classification algorithm that uses a characteristic of the object as an input parameter; And
Determining, if the object is a vehicle, whether the object satisfies a condition of a vehicle condition
And detecting the vehicle. 제1항에 있어서,
상기 객체가 주정차 상황 조건을 만족하는 경우에, 히스토리 로그에 주정차 시간을 기록하는 단계; 및
상기 히스토리 로그에 기록된 시간 데이터를 이용해 상기 객체의 불법 주정차 여부를 판단하는 단계
를 더 포함하는 주정차 감지 방법.The method according to claim 1,
Recording the time difference time in the history log when the object satisfies the condition of the condition of the vehicle of the interval condition; And
Determining whether the object is illegal due to the time data recorded in the history log
Further comprising the steps of: 제2항에 있어서,
상기 객체가 불법 주정차하는 것으로 판단되는 경우에, 불법 주정차 알림 메시지를 전송하는 단계
를 더 포함하는 주정차 감지 방법.3. The method of claim 2,
If it is determined that the object is illegally parked, transmitting an illegal parking notification message
Further comprising the steps of: 제3항에 있어서,
상기 검출하는 단계는,
평균 이동(Mean shift) 영상 추적 알고리즘을 이용해 상기 객체를 검출하는 단계를 포함하는
주정차 감지 방법.The method of claim 3,
Wherein the detecting comprises:
And detecting the object using a mean shift image tracking algorithm
Method of detecting a parking lot. 제3항에 있어서,
상기 차량인지 여부를 판단하는 단계는,
상기 객체의 테두리에 존재하는 픽셀 수인 제1 특징값을 계산하는 단계;
상기 객체를 포함하는 블록의 픽셀 수와 상기 제1 특징값의 비율인 제2 특징값을 계산하는 단계;
상기 블록의 픽셀 수와 상기 객체의 픽셀 수의 비율인 제3 특징값을 계산하는 단계; 및
상기 객체의 주축과 단축의 분산값 비율인 제4 특징값을 계산하는 단계를 포함하고,
상기 주축은 상기 객체의 축 중에서 분산이 가장 큰 축이고,
상기 단축은 상기 주축과 수직인 축인
주정차 감지 방법.The method of claim 3,
The step of determining whether the vehicle is the vehicle includes:
Calculating a first characteristic value that is a number of pixels existing in an edge of the object;
Calculating a second feature value that is a ratio of the number of pixels of the block including the object to the first feature value;
Calculating a third characteristic value that is a ratio of the number of pixels of the block to the number of pixels of the object; And
And calculating a fourth characteristic value that is a ratio of dispersion values of the main axis and the minor axis of the object,
Wherein the main axis is an axis having the largest variance among the axes of the object,
The short axis is an axis perpendicular to the main axis
Method of detecting a parking lot. 제5항에 있어서,
상기 제2 특징값은 아래의 수학식으로 계산되는
주정차 감지 방법.
[수학식]
Figure pat00003

(θ: 상기 제2 특징값, α: 상기 제1 특징값, β: 상기 블록의 픽셀 수)6. The method of claim 5,
The second characteristic value is calculated by the following equation
Method of detecting a parking lot.
[Mathematical Expression]
Figure pat00003

(?: the second characteristic value,?: the first characteristic value,?: the number of pixels of the block) 제5항에 있어서,
상기 차량인지 여부를 판단하는 단계는,
상기 제1 내지 제4 특징값으로 이루어진 4차원 벡터를 상기 분류 알고리즘의 입력 파라미터로 사용하는 단계를 더 포함하는
주정차 감지 방법.6. The method of claim 5,
The step of determining whether the vehicle is the vehicle includes:
Further comprising using a four-dimensional vector of the first through fourth feature values as an input parameter of the classification algorithm
Method of detecting a parking lot. 제7항에 있어서,
상기 분류 알고리즘은 SVM(Support Vector Machine) 분류 알고리즘인
주정차 감지 방법.8. The method of claim 7,
The classification algorithm is a SVM (Support Vector Machine) classification algorithm
Method of detecting a parking lot. 제3항에 있어서,
상기 고정형 카메라는 한 방향만을 촬영하는
주정차 감지 방법.The method of claim 3,
The fixed camera captures only one direction
Method of detecting a parking lot. 제7항에 있어서,
상기 분류 알고리즘은 신경망(Neural Network) 분류 알고리즘, 자기 조직화 지도(SOM: Self Organizing Map) 분류 알고리즘, 및 K-NN(K-Nearest Neighbors) 분류 알고리즘 중 어느 하나인
주정차 감지 방법.8. The method of claim 7,
The classification algorithm may be any one of a neural network classification algorithm, a self organizing map (SOM) classification algorithm, and a K-nearest neighbors (K-NN) classification algorithm
Method of detecting a parking lot. 제3항에 있어서,
상기 만족하는지를 판단하는 단계는,
상기 촬영 영상의 현재 프레임에서의 상기 객체의 중심 좌표와 이전 프레임에서의 상기 객체의 중심 좌표 간의 거리가 제1 임계값 이하인지를 판단하는 단계를 포함하는
주정차 감지 방법.The method of claim 3,
Wherein the step of determining whether the above-
Determining whether a distance between a center coordinate of the object in the current frame of the captured image and a center coordinate of the object in the previous frame is equal to or less than a first threshold value
Method of detecting a parking lot. 제11항에 있어서,
상기 만족하는지를 판단하는 단계는,
상기 객체가 상기 설정 영역 내에 있는지를 판단하는 단계; 및
상기 객체가 다른 객체와 겹치는지를 판단하는 단계를 더 포함하는
주정차 감지 방법.12. The method of claim 11,
Wherein the step of determining whether the above-
Determining whether the object is within the setting area; And
Further comprising determining whether the object overlaps with another object
Method of detecting a parking lot. 설정 영역을 촬영하는 하나의 고정형 카메라;
상기 촬영 영상에서 객체를 검출하는 객체 검출부;
상기 객체의 특징값을 입력 파라미터로 사용하는 분류 알고리즘을 통해서 상기 객체가 차량인지 여부를 판단하는 차량 판단부;
상기 객체가 차량인 경우에 상기 객체가 주정차 상황 조건을 만족하는지를 판단하고, 상기 객체가 상기 주정차 상황 조건을 만족하는 경우에 히스토리 로그에 주정차 시간을 기록하는 주정차 상황 조건 판단부; 및
상기 히스토리 로그에 기록된 시간 데이터를 이용해 상기 객체의 불법 주정차 여부를 판단하는 불법 주정차 판단부
를 포함하는 불법 주정차 감지 시스템.One fixed camera for photographing the setting area;
An object detection unit detecting an object in the captured image;
A vehicle judging unit for judging whether the object is a vehicle through a classification algorithm using a feature value of the object as an input parameter;
A state variable condition determining unit for determining whether the object satisfies the condition of the vehicle condition when the object is a vehicle and recording the condition data in the history log when the object satisfies the condition of the condition of the vehicle; And
An illegality determining unit for determining whether or not the object is illegal due to the time data recorded in the history log,
The system comprising: 제13항에 있어서,
상기 객체 검출부는,
평균 이동 영상 추적 알고리즘을 이용해 상기 객체를 검출하는
불법 주정차 감지 시스템.14. The method of claim 13,
Wherein the object detection unit comprises:
Detecting the object using an average moving image tracking algorithm
Illegal parking detection system. 제13항에 있어서,
상기 차량 판단부는,
상기 객체의 테두리에 존재하는 픽셀 수인 제1 특징값을 계산하는
불법 주정차 감지 시스템.14. The method of claim 13,
The vehicle judging unit,
And calculates a first feature value that is the number of pixels existing at the edge of the object
Illegal parking detection system. 제15항에 있어서,
상기 차량 판단부는,
상기 객체를 포함하는 블록의 픽셀 수와 상기 제1 특징값의 비율인 제2 특징값을 계산하는
불법 주정차 감지 시스템.16. The method of claim 15,
The vehicle judging unit,
Calculating a second characteristic value which is a ratio of the number of pixels of the block including the object to the first characteristic value
Illegal parking detection system. 제16항에 있어서,
상기 차량 판단부는,
상기 블록의 픽셀 수와 상기 객체의 픽셀 수의 비율인 제3특징값을 계산하는
불법 주정차 감지 시스템.17. The method of claim 16,
The vehicle judging unit,
Calculating a third characteristic value which is a ratio of the number of pixels of the block to the number of pixels of the object
Illegal parking detection system. 제17항에 있어서,
상기 차량 판단부는,
상기 객체의 주축과 단축의 분산값 비율인 제4 특징값을 계산하고,
상기 주축은 상기 객체의 축 중에서 분산이 가장 큰 축이고,
상기 단축은 상기 주축과 수직인 축인
불법 주정차 감지 시스템.18. The method of claim 17,
The vehicle judging unit,
Calculating a fourth characteristic value which is a ratio of variance values of principal axis and minor axis of the object,
Wherein the main axis is an axis having the largest variance among the axes of the object,
The short axis is an axis perpendicular to the main axis
Illegal parking detection system. 제18항에 있어서,
상기 분류 알고리즘은,
상기 제1 내지 제4 특징값으로 이루어진 4차원 벡터를 입력 파라미터로 사용하는 SVM 분류 알고리즘인
불법 주정차 감지 시스템.19. The method of claim 18,
Wherein the classification algorithm comprises:
An SVM classification algorithm that uses a four-dimensional vector composed of the first to fourth characteristic values as input parameters
Illegal parking detection system. 주정차 감지 시스템이 촬영 영상 내의 객체가 차량인지 여부를 판단하는 방법으로서,
상기 객체의 특징값을 계산하는 단계; 및
상기 객체의 특징값을 입력 파라미터로 사용하는 분류 알고리즘을 통해서 상기 객체가 차량인지 여부를 판단하는 단계를 포함하고,
상기 객체의 특징값은 상기 객체를 포함하는 블록의 픽셀 수와 상기 객체의 테두리에 존재하는 픽셀 수의 비율인 상기 객체의 밀집도(compactness)를 포함하고,
상기 주정차 감지 시스템은 한 방향만을 촬영하는 하나의 고정형 카메라를 포함하는
차량 판별 방법.
A method for determining whether an object in a photographed image is a vehicle,
Calculating a feature value of the object; And
Determining whether the object is a vehicle through a classification algorithm using a feature value of the object as an input parameter,
Wherein the feature value of the object includes a compactness of the object, which is a ratio of the number of pixels of the block including the object to the number of pixels existing in the border of the object,
Wherein the pedometer detection system includes one fixed camera that photographs only one direction
Vehicle identification method.
KR1020130127394A 2013-10-24 2013-10-24 Method and system for detecting illegal parking/standing KR101577747B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130127394A KR101577747B1 (en) 2013-10-24 2013-10-24 Method and system for detecting illegal parking/standing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130127394A KR101577747B1 (en) 2013-10-24 2013-10-24 Method and system for detecting illegal parking/standing

Publications (2)

Publication Number Publication Date
KR20150047385A true KR20150047385A (en) 2015-05-04
KR101577747B1 KR101577747B1 (en) 2015-12-15

Family

ID=53386433

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130127394A KR101577747B1 (en) 2013-10-24 2013-10-24 Method and system for detecting illegal parking/standing

Country Status (1)

Country Link
KR (1) KR101577747B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101669885B1 (en) * 2016-05-30 2016-10-27 이형각 method of detecting pedestrian collision and IoT apparatus thereof
CN110135356A (en) * 2019-05-17 2019-08-16 北京百度网讯科技有限公司 The detection method and device of parking offense, electronic equipment, computer-readable medium

Also Published As

Publication number Publication date
KR101577747B1 (en) 2015-12-15

Similar Documents

Publication Publication Date Title
US10664706B2 (en) System and method for detecting, tracking, and classifying objects
US20190172345A1 (en) System and method for detecting dangerous vehicle
CN110738150B (en) Camera linkage snapshot method and device and computer storage medium
KR20160137247A (en) Apparatus and method for providing guidance information using crosswalk recognition result
Battiato et al. On-board monitoring system for road traffic safety analysis
CN108162858B (en) Vehicle-mounted monitoring device and method thereof
KR101484263B1 (en) System and method for detecting violence
JP2001216519A (en) Traffic monitor device
US20170357855A1 (en) Information processing apparatus, information processing method, and storage medium
JP7360520B1 (en) Object tracking integration method and integration device
KR101577747B1 (en) Method and system for detecting illegal parking/standing
CN112435479B (en) Target object violation detection method and device, computer equipment and system
KR20190136515A (en) Vehicle recognition device
KR20130094558A (en) Apparatus and method for detecting movement of vehicle
JP2006201817A (en) Method and device for discriminating vehicle body color
KR20210103210A (en) Apparatus for Processing Images and Driving Method Thereof
JP7203277B2 (en) Method and apparatus for monitoring vehicle license plate recognition rate and computer readable storage medium
KR101859329B1 (en) System of crackdown on illegal parking
CN115909314A (en) License plate shielding detection method, illegal parking detection method and equipment thereof
KR101248154B1 (en) Method and apparatus for estimating moving object using variable area size, and computer readable record medium with moving estimating program for the same
Vasu An effective step to real-time implementation of accident detection system using image processing
CN114255597A (en) Emergency lane occupation behavior detection method and device, electronic equipment and storage medium
TWI851992B (en) Object tracking integration method and integrating apparatus
WO2022208664A1 (en) Image processing device, image processing method, and program
JP7177118B2 (en) Vehicle management device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181203

Year of fee payment: 4