KR20160050883A - Apparatus for recognizing illegal parking and stopping vehicle - Google Patents

Apparatus for recognizing illegal parking and stopping vehicle Download PDF

Info

Publication number
KR20160050883A
KR20160050883A KR1020140150022A KR20140150022A KR20160050883A KR 20160050883 A KR20160050883 A KR 20160050883A KR 1020140150022 A KR1020140150022 A KR 1020140150022A KR 20140150022 A KR20140150022 A KR 20140150022A KR 20160050883 A KR20160050883 A KR 20160050883A
Authority
KR
South Korea
Prior art keywords
vehicle
image
unit
database
photographed
Prior art date
Application number
KR1020140150022A
Other languages
Korean (ko)
Other versions
KR101691186B1 (en
Inventor
강동중
Original Assignee
부산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부산대학교 산학협력단 filed Critical 부산대학교 산학협력단
Priority to KR1020140150022A priority Critical patent/KR101691186B1/en
Publication of KR20160050883A publication Critical patent/KR20160050883A/en
Application granted granted Critical
Publication of KR101691186B1 publication Critical patent/KR101691186B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

The present invention is to provide an apparatus to recognize an illegally parked vehicle, capable of recognizing even an illegally parked vehicle whose license plate is not exposed as blocked by another vehicle closely parked thereto or is hidden by another object. The apparatus to recognize an illegally parked vehicle comprises: a camera unit to capture an image of a vehicle every predetermined photographing period and to store the photographed images in a database; a vehicle recognition unit to recognize the vehicle from the photographed vehicle image and to store the recognized vehicle information in the database by photographing period when the vehicle image is photographed in the camera unit; a determination unit to determine whether the same vehicle information as vehicle information recognized from a vehicle image photographed for the current period in the camera unit in the vehicle recognition unit is stored in the database; and an image control unit to control the operation of the recognition unit to recognize the license plate of the vehicle from an image at a parked time of the vehicle by returning the image stored in the database to a time point at which the vehicle is stopped and parked when the vehicle information is stored according to the determination result.

Description

불법 주정차 차량 인식장치{APPARATUS FOR RECOGNIZING ILLEGAL PARKING AND STOPPING VEHICLE}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to an apparatus for recognizing illegal parking vehicles,

본 발명은 불법 주정차 차량 인식장치 및 그 방법에 관한 것으로서, 특히 번호판이 노출되지 않는 불법 주정차 차량도 인식이 가능하도록 하는 불법 주정차 차량 인식장치에 관한 것이다.The present invention relates to a device for recognizing an illegally parked car and a method thereof, and more particularly to an illegal parking device for recognizing an illegally parked car that does not expose a license plate.

최근 차량의 증가로 도심에서 도로 혼잡의 정도가 날로 증가하고 있다. 증가하는 차량에 비례하는 주차 공간의 확보가 어려워 도로변에 불법 주ㆍ정차하는 차량이 증가하고 있다.With the recent increase in the number of vehicles, the degree of congestion in the city is increasing day by day. It is difficult to secure a parking space proportional to an increase in the number of vehicles that are illegally stopped and stopped on the roads.

이에 따라 지자체에서는 교통의 원활한 흐름을 방해하는 불법 주정차 차량을 근본적으로 근절하기 위하여 상습적으로 불법 주정차가 이루어지는 지역의 도로변에 카메라를 설치하여 상시 단속하는 시스템을 운용하고 있다.In order to fundamentally eradicate illegal parking vehicles that interfere with the smooth flow of traffic, the municipal government has installed a camera on the roadside of the area where illegally parked cars are regularly operated and operates a system to constantly control the vehicles.

대부분의 불법 주정차 차량 단속은 불법 주정차 지역에 설치된 카메라로 차량의 번호판을 촬영하여 해당 차량의 소유자에게 과징금을 부여하는 형태이다. 하지만 서로 가까이 주정차된 차량은 번호판이 가려져 카메라로 촬영이 불가능한 경우에는 번호판의 인식이 어려웠다.Most illegal parking cars are installed in illegal parking areas, and the license plate is taken by the owner of the vehicle. However, it was difficult to recognize the license plate when the camera was not able to shoot with the license plate because the license plate was shrouded close to each other.

종래에 상기와 같이 번호판이 가려져 번호인식이 불가능한 불법 주정차 차량의 단속을 위한 시스템이 개시되어 있다. 예컨대, 불법 주정차 구역으로 진입하는 모든 차량을 촬영하는 방법이 개시되어 있다. 하지만, 이 경우 불법 주정차 구역으로 진입하는 모든 차량의 번호판을 촬영하여 인식해야 하는 번거로움이 있다.There has been disclosed a system for interrupting an illegally parked vehicle in which a number plate is hidden as described above and thus the number can not be recognized. For example, a method of shooting all vehicles entering an illegal parking area is disclosed. However, in this case, it is troublesome to shoot and recognize the license plates of all vehicles entering the illegal parking area.

또한, 지주에 회전가능하도록 설치된 회전봉의 단부에 감시카메라를 설치하여 회전봉을 회전시켜 사각지대의 불법 주정차 차량을 감시하도록 하는 기술이 개시되어 있다. 하지만, 번호판 촬영을 위해 회전봉을 회전시켜야 하는 어려움이 있고 회전하더라도 수직으로 형성된 차량의 번호판은 제대로 촬영되지 않는 문제점이 있다.Further, a technique is disclosed in which a surveillance camera is provided at the end of a rotation rod provided to be rotatable on a support, and the rotation rod is rotated to monitor an illegal parking space vehicle in a blind spot. However, there is a difficulty in rotating the rotation bar for photographing the license plate, and the license plate of the vertically formed license plate is not properly photographed.

공개특허공보 제10-2006-0119078호Japanese Patent Application Laid-Open No. 10-2006-0119078 등록특허공보 제10-0859504호Patent Registration No. 10-0859504 등록특허공보 제10-0974116호Patent Registration No. 10-0974116

본 발명은 상기한 종래기술의 문제점을 해결하기 위한 것으로서 서로 가까이 주정차되어 번호판이 노출되지 않거나 다른 물체에 의해 번호판이 가려져 있는 불법 주정차 차량도 인식이 가능하도록 하는 불법 주정차 차량 인식장치를 제공하는데 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems of the prior art, and it is an object of the present invention to provide an illegal parking vehicle recognizing apparatus capable of recognizing an illegally parked vehicle which is parked close to each other and whose license plate is not exposed, have.

본 발명에 따른 불법 주정차 차량 인식 장치는,An illegal parking discrimination apparatus according to the present invention comprises:

일정한 촬영주기에 따라 차량의 영상을 촬영하고 상기 촬영된 영상을 데이터베이스에 저장하는 카메라부; 상기 카메라부에서 상기 차량의 영상이 촬영되면 상기 촬영된 차량의 영상으로부터 상기 차량을 인식하고 상기 인식된 차량의 정보를 상기 촬영주기별로 상기 데이터베이스(DB)에 저장하는 차량인식부; 상기 차량인식부에서 상기 카메라부에서 현재주기에 촬영한 차량의 영상으로부터 인식한 차량의 정보와 동일한 차량의 정보가 상기 데이터베이스(DB)에 저장되어 있는지를 판단하는 판단부; 및 상기 판단결과 저장되어 있으면 상기 데이터베이스에 저장된 영상을 상기 차량이 주정차하는 시점으로 되돌려서 상기 차량의 주정차 시점의 영상으로부터 상기 차량의 번호판을 인식하도록 상기 인식부의 동작을 제어하는 영상제어부를 포함한다.A camera unit for photographing an image of a vehicle according to a predetermined photographing cycle and storing the photographed image in a database; A vehicle recognizing unit for recognizing the vehicle from an image of the taken vehicle when the image of the vehicle is captured by the camera unit and storing the recognized vehicle information in the database for each shooting period; A determination unit for determining whether information of the same vehicle as the information of the vehicle recognized from the image of the vehicle photographed at the current cycle by the camera recognition unit is stored in the database DB; And an image control unit for controlling the operation of the recognition unit to recognize the number plate of the vehicle from the image of the vehicle at the time of the vehicle divergence by returning the image stored in the database to the time point when the vehicle is driven.

본 발명에서, 상기 카메라부는 PTZ(Pen-Tilt-Zoom)기능을 가지며 기설정된 촬영주기에 따라 상기 차량의 영상을 촬영한다.In the present invention, the camera unit has a PTZ (Pen-Tilt-Zoom) function and captures an image of the vehicle according to a preset shooting cycle.

본 발명에서, 상기 차량인식부는, 상기 카메라부에 의해 촬영된 차량의 영상을 다수의 셀(cell)로 분할하는 영상분할부; 상기 영상분할부에서 분할된 다수의 셀마다 대응되며 상기 각각의 셀별로 영상특징으로 각각 추출하여 상기 데이터베이스에 저장하는 다수의 부분분류기; 및 상기 다수의 부분분류기에서 각각 추출된 다수의 셀별로 영상특징을 결합하여 상기 차량의 전체 영상특징을 추출하여 상기 데이터베이스에 저장하는 전체분류기를 포함한다.In the present invention, the vehicle recognizing unit may include: a video dividing unit that divides an image of a vehicle photographed by the camera unit into a plurality of cells; A plurality of partial classifiers corresponding to each of a plurality of cells partitioned by the image partitioning unit, each of the partial classifiers extracting image features of each cell, and storing the image features in the database; And an entire classifier for extracting all the image features of the vehicle by combining the image features for each of a plurality of cells extracted from the plurality of partial classifiers, and storing the extracted features in the database.

본 발명에서, 상기 판단부는, 상기 현재주기에 상기 카메라부에서 촬영된 차량의 영상으로부터 분할된 다수의 셀의 각 영상특징과 이전주기까지 상기 데이터베이스에 기저장된 각 셀의 영상특징을 비교하는 비교부; 및 상기 비교부에서의 비교된 두 셀의 영상특징 간 차이가 기설정된 임계치보다 큰 셀의 개수가 기설정된 기준개수보다 많은 경우에 동일한 차량으로 결정하는 결정부를 포함한다.In the present invention, the determination unit may include a comparison unit comparing the image characteristic of each cell previously stored in the database with each image feature of a plurality of cells divided from the image of the vehicle photographed by the camera unit in the current cycle, ; And a determination unit that determines the same vehicle when the difference between the image characteristics of the compared two cells in the comparison unit is greater than a preset reference number.

본 발명에서, 상기 비교부는 상기 분할된 다수의 셀 중 제1 셀부터 제n 셀까지의 각 영상특징을 상기 데이터베이스에 기저장된 제1 셀부터 제n 셀까지의 영상특징과 순차적으로 비교하되, 서로 비교되는 두 셀의 영상특징 간의 차이가 상기 임계치보다 큰 셀의 개수가 상기 기준개수가 될 때까지 비교한다.In an exemplary embodiment of the present invention, the comparison unit sequentially compares the image characteristics of the first cell to the n-th cell among the plurality of divided cells with image characteristics of the first cell to the n-th cell stored in the database, The comparison is made until the number of cells whose difference between the image characteristics of the two cells is larger than the threshold is equal to the reference number.

본 발명에서, 상기 영상특징은 상기 차량의 윈도우(window)에 대한 에지의 방향성분을 포함한다.In the present invention, the image characteristic includes an orientation component of an edge of the vehicle with respect to a window.

본 발명에서, 상기 영상제어부는 상기 판단결과 저장되어 있지 않으면 이후의 촬영주기에 상기 카메라부에서 상기 차량이 출발하는 시점에 촬영되는 영상으로부터 상기 차량의 번호판을 인식하도록 상기 차량인식부의 동작을 제어한다.In the present invention, the image control unit controls the operation of the vehicle recognition unit so as to recognize the license plate of the vehicle from the image photographed at the start of the vehicle in the subsequent shooting cycle if the determination result is not stored .

본 발명에서, 상기 데이터베이스에 저장되는 차량의 정보는 상기 촬영위치 정보와 촬영시간 정보를 포함한다.In the present invention, the information of the vehicle stored in the database includes the photographing position information and the photographing time information.

본 발명에 의하면 서로 가까이 주정차되어 번호판이 앞뒤 차량에 의해 노출되지 않은 경우에도 해당 차량을 정확하게 인식할 수 있도록 한다.According to the present invention, the vehicle can be accurately recognized even when the license plate is parked close to each other and the license plate is not exposed by the front and rear vehicle.

또한, 본 발명에 의하면 차량의 번호판이 다른 물체에 의해 가려져 있어 카메라로 촬영해도 인식이 불가능한 경우에도 해당 차량을 정확하게 인식할 수 있도록 한다.In addition, according to the present invention, even when the license plate is hidden by another object and the camera can not recognize it, the vehicle can be accurately recognized.

도 1은 본 발명의 실시 예에 따른 불법 주정차 차량 인식장치의 구성도,
도 2는 본 발명의 실시 예에 따른 불법 주정차 차량 인식장치의 설치예시도,
도 3은 본 발명의 실시 예에 따른 인식부의 구성도,
도 4는 본 발명의 실시 예에 따른 영상의 분할 예시도,
도 5는 본 발명의 실시 예에 따른 판단부의 구성도,
도 6은 본 발명의 실시 예에 따른 불법 주정차 차량 인식장치의 동작을 설명하기 위한 흐름도,
도 7은 본 발명의 실시 예에 따른 불법 주정차 차량 인식장치에서 동일 차량의 판단과정을 설명하는 흐름도.1 is a configuration diagram of an illegal parking discrimination apparatus according to an embodiment of the present invention;
FIG. 2 illustrates an example of an installation of an illegal parking discrimination apparatus according to an embodiment of the present invention.
3 is a configuration diagram of a recognition unit according to an embodiment of the present invention,
4 is a diagram illustrating an example of division of an image according to an embodiment of the present invention,
5 is a configuration diagram of a determination unit according to an embodiment of the present invention;
FIG. 6 is a flowchart illustrating an operation of an illegal parking discrimination apparatus according to an embodiment of the present invention;
FIG. 7 is a flowchart illustrating a determination process of the same vehicle in the illegal parking discrimination apparatus according to the embodiment of the present invention. FIG.

이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세히 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to exemplary drawings. It should be noted that, in adding reference numerals to the constituent elements of the drawings, the same constituent elements are denoted by the same reference symbols as possible even if they are shown in different drawings. In the following description of the embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the difference that the embodiments of the present invention are not conclusive.

또한, 본 발명의 실시 예의 구성요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성요소 사이에 또 다른 구성요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In describing the components of the embodiment of the present invention, terms such as first, second, A, B, (a), and (b) may be used. These terms are intended to distinguish the constituent elements from other constituent elements, and the terms do not limit the nature, order or order of the constituent elements. When a component is described as being "connected", "coupled", or "connected" to another component, the component may be directly connected or connected to the other component, Quot; may be "connected," "coupled," or "connected. &Quot;

도 1은 본 발명의 실시 예에 따른 불법 주정차 차량 인식장치의 구성도이고, 도 2는 본 발명의 실시 예에 따른 불법 주정차 차량 인식장치의 설치예시도이다.FIG. 1 is a configuration diagram of an illegal parking discrimination apparatus according to an embodiment of the present invention, and FIG. 2 is a view illustrating an installation of an illegal parking discrimination apparatus according to an embodiment of the present invention.

도 1 및 도 2를 참조하면, 본 발명에 따른 불법 주정차 차량 인식장치(100)는 카메라부(110)와 영상처리부(120)를 포함하여 구성된다.Referring to FIGS. 1 and 2, an illegal parking discrimination apparatus 100 according to the present invention includes a camera unit 110 and an image processing unit 120.

카메라부(110)는 일정한 촬영주기에 따라 차량(10)의 영상을 촬영하고 그 촬영된 차량의 영상을 영상처리부(120)로 전송하여 내부의 데이터베이스(123)에 저장하도록 한다. 이러한 카메라부(110)는 도로의 불법 주정차구역의 주변에 설치된 지주(11)의 상단부에 설치되며 도로의 불법 주정차된 차량(10)에 대한 영상을 기설정된 촬영주기에 따라 촬영한다. 본 실시 예에서 카메라부(110)는 CCTV 카메라를 포함이 바람직하며 야간에도 차량(10)을 촬영하여 인식할 수 있도록 적외선 카메라를 포함할 수도 있다. 또한, 본 실시 예의 카메라부(110)는 PTZ(Pen-Tilt-Zoom) 카메라를 포함할 수도 있다.The camera unit 110 photographs an image of the vehicle 10 at a predetermined photographing period and transmits the image of the photographed vehicle to the image processing unit 120 so that the image is stored in the internal database 123. The camera unit 110 is installed at the upper end of the pillar 11 installed in the vicinity of the illegal parking space of the road and photographs the illegally parked vehicle 10 on the road according to a preset photographing cycle. In this embodiment, the camera unit 110 preferably includes a CCTV camera, and may include an infrared camera so that the vehicle 10 can be photographed at night. In addition, the camera unit 110 of the present embodiment may include a PTZ (Pen-Tilt-Zoom) camera.

영상처리부(120)는 카메라부(110)에서 촬영된 차량(10)의 영상을 처리한다. 이러한 영상처리부(120)는 차량인식부(121), 판단부(122), 데이터베이스(DB)(123) 및 영상제어부(124)를 포함하여 구성된다.The image processing unit 120 processes the image of the vehicle 10 photographed by the camera unit 110. The image processing unit 120 includes a vehicle recognition unit 121, a determination unit 122, a database (DB) 123, and an image control unit 124.

차량인식부(121)는 카메라부(110)에서 촬영주기에 따라 차량(10)에 대한 영상이 촬영되면 촬영된 차량영상으로부터 차량(10)을 인식한다. 이처럼 차량(10)이 인식되면 인식된 차량(10)에 대한 정보를 촬영주기별로 데이터베이스(DB)(123)에 저장한다. 이는 카메라부(110)에서 촬영된 차량(10)의 영상을 촬영주기별로 데이터베이스(123)에 계속 저장함으로써 일정시간이 경과한 이후에도 불법 주정차 구역에서 동일한 차량이 인식된다면 불법주정차 차량이 존재하는지 판단하기 위한 자료로 이용하기 위한 것이다. 여기서, 이러한 차량(10)의 정보는 차량(10)의 특정부분에 대한 영상특징, 해당 영상을 획득한 장소와 시간에 대한 정보 등을 포함한다.The vehicle recognizing unit 121 recognizes the vehicle 10 from the photographed vehicle image when the image of the vehicle 10 is photographed in the camera unit 110 in accordance with the photographing period. When the vehicle 10 is recognized, information on the recognized vehicle 10 is stored in the database (DB) 123 for each photographing period. This is because if the same vehicle is recognized in the illegal parking area even after a predetermined time elapses by continuously storing the image of the vehicle 10 photographed by the camera unit 110 in the database 123 for each photographing period, And to use it as a resource. Here, the information of the vehicle 10 includes an image characteristic for a specific portion of the vehicle 10, information on the place and time of acquiring the image, and the like.

판단부(122)는 카메라부(110)에서 현재주기에 촬영한 차량(10)의 영상으로부터 차량인식부(121)에 의해 인식한 차량의 정보와 동일한 차량의 정보가 데이터베이스(DB)(123)에 저장되어 있는지를 판단한다. 데이터베이스(123)에는 상술한 바와 같이 차량인식부(121)에서 인식한 차량(10)의 정보가 촬영주기별로 저장되어 있으므로, 상기와 같이 데이터베이스(123)에 기저장되어 있는 다수의 차량(10)의 정보 중에서 현재주기에 카메라부(110)에서 촬영한 영상으로부터 인식된 차량(10)의 정보와 동일한 정보가 있는지를 판단한다. 이는 현재주기에서 인식된 차량(10)의 정보와 동일한 정보가 이전주기에 데이터베이스(123)에 저장되어 있다면 불법 주정차 차량으로 판단하기 위한 것이다. 즉, 현재시점에도 불법 주정차구역에서 차량이 촬영되었는데 이전시점에도 촬영이 되었다면 불법 주정차 차량으로 판단할 수 있기 때문이다. 차량(10)의 정보에 대한 동일성 여부는 예컨대 인식된 차량(10)의 영상특징을 비교하여 판단할 수 있다.The determination unit 122 determines whether the information of the same vehicle as the information of the vehicle recognized by the vehicle recognition unit 121 from the image of the vehicle 10 photographed at the current cycle in the camera unit 110 is stored in the database Is stored. Since the information of the vehicle 10 recognized by the vehicle recognizing unit 121 is stored in the database 123 for each shooting period as described above, the number of vehicles 10 previously stored in the database 123, It is determined whether there is the same information as the information of the vehicle 10 recognized from the image photographed by the camera unit 110 in the current cycle. This is for judging the illegally parked vehicle if the same information as the information of the vehicle 10 recognized in the current cycle is stored in the database 123 in the previous cycle. In other words, if the vehicle was taken at the illegal parking area at the present time and it was photographed at the previous time, it can be judged to be illegally parked. Whether or not the information of the vehicle 10 is the same can be determined by comparing the image characteristics of the recognized vehicle 10, for example.

데이터베이스(123)는 영상처리부(120)의 동작에 필요한 데이터 및 프로그램을 저장한다. 또한, 데이터베이스(123)는 카메라부(110)에서 촬영된 차량(10)의 영상을 저장하고, 인식부(122)에서 인식된 차량(10)의 정보를 저장한다. 뿐만 아니라 인식부(122)에 의해 차량(10)의 번호판이 인식되면 그 번호판의 정보도 저장한다.The database 123 stores data and programs necessary for the operation of the image processing unit 120. The database 123 stores the image of the vehicle 10 photographed by the camera unit 110 and the information of the vehicle 10 recognized by the recognition unit 122. [ In addition, when the license plate of the vehicle 10 is recognized by the recognition unit 122, the information of the license plate is also stored.

영상제어부(124)는 영상처리부(120)의 전반적인 동작을 제어한다. 특히, 본 발명에 따른 영상제어부(124)는 판단부(122)의 판단결과 현재주기에 인식된 차량의 정보와 동일한 정보가 데이터베이스(123)에 기저장되어 있으면 데이터베이스(123)에 기저장된 차량(10)의 영상을 해당 차량(10)이 주정차하는 시점으로 되돌려서 그 차량(10)의 주정차 시점의 영상으로부터 차량(10)의 번호판을 인식하도록 상기 인식부(121)의 동작을 제어한다. 구체적으로 판단부(122)에서의 판단결과 현재주기에 인식된 차량의 정보와 동일한 정보가 데이터베이스(123)에 기저장되어 있으면 불법 주정차 차량이므로 영상제어부(124)에서는 인식부(121)에서 인식한 차량(10)의 정보 중 번호판에 대한 정보가 없다면 데이터베이스(123)에 저장된 차량(10)의 영상을 차량(10)이 주정차하는 시점으로 되돌려서 그 차량(10)의 주정차 시점의 영상으로부터 차량(10)의 번호판을 인식하도록 인식부(121)의 동작을 제어한다. 이는 불법 주정차된 차량끼리 너무 붙어 있다거나 다른 물체에 의해 차량의 번호판이 가려져 있는 경우에는 불법 주정차된 차량의 번호판을 인식할 수가 없으므로 차량이 주정차하는 시점의 영상으로부터 차량의 번호판을 인식하도록 하기 위한 것이다.The image control unit 124 controls the overall operation of the image processing unit 120. Particularly, if the same information as that of the vehicle recognized in the current cycle is stored in the database 123 as a result of the determination by the determination unit 122, the image control unit 124 according to the present invention may store the vehicle 10 is returned to the time point when the vehicle 10 is driven by the vehicle 10 to control the operation of the recognition unit 121 so as to recognize the license plate of the vehicle 10 from the image of the vehicle 10 at the parking time point. If the information identical to the information of the vehicle recognized in the current period is stored in the database 123 as a result of the determination by the determination unit 122, the image control unit 124 determines that the vehicle is the illegally parked vehicle If there is no information on the license plate among the information of the vehicle 10, the image of the vehicle 10 stored in the database 123 is returned to the time point when the vehicle 10 is parked, 10 to recognize the license plate of the identification unit 121. [ This is to allow the license plate recognition of the vehicle from the image at the time of the parking change because the license plate of illegally parked vehicle can not be recognized if the illegally parked vehicles are too attached or the license plate of the vehicle is covered by another object .

도 3은 본 발명의 실시 예에 따른 인식부의 구성도이, 도 4는 본 발명의 실시 예에 따른 영상의 분할 예시도이다.FIG. 3 is a configuration diagram of a recognition unit according to an embodiment of the present invention, and FIG. 4 is a diagram illustrating an example of division of an image according to an embodiment of the present invention.

도 3을 참조하면, 본 발명에 따른 인식부(121)는 영상분할부(1211), 다수의 부분분류기(1212) 및 전체분류기(1213)를 포함하여 구성된다.3, the recognition unit 121 includes an image segmentation unit 1211, a plurality of partial classifiers 1212, and an entire classifier 1213. [

영역분할부(1211)는 카메라부(110)에 의해 촬영된 차량(10)의 영상을 다수의 셀(cell)로 분할한다. 이러한 영상의 분할은 인식부(121)에서의 차량인식의 신뢰성을 높이기 위하여 카메라부(110)에서 촬영된 차량(10)의 영상을 다수의 셀로 구분하여 각 셀별로 영상의 특징을 추출하기 위한 것이다. 도 4에는 영상의 분할 예시도를 도시한다. 도 4에서와 같이 바람직하게는 차량의 윈도우(window) 부분을 다수의 셀(12)로 분할한다. 도면에서 가로와 세로로 정사각형으로 다수의 셀(12)로 분할한 예를 도시하고 있으나 셀(12)의 형상이나 개수는 설계조건에 따라 변경될 수 있음은 당연하다.The region dividing unit 1211 divides the image of the vehicle 10 photographed by the camera unit 110 into a plurality of cells. In order to increase the reliability of vehicle recognition in the recognition unit 121, the division of the image is performed by dividing the image of the vehicle 10 photographed by the camera unit 110 into a plurality of cells, . Fig. 4 shows an example of division of an image. Preferably divides the window portion of the vehicle into a plurality of cells 12 as shown in Fig. Although the figure shows an example in which the cells 12 are divided horizontally and vertically into a plurality of cells 12, it is natural that the shape and the number of the cells 12 can be changed according to design conditions.

부분분류기(partial classifier)(1212)는 영상분할부(1211)에서 분할된 다수의 셀(12)마다 각각 대응되며 각각의 셀(12)별로 영상특징으로 각각 추출하여 상기한 데이터베이스(123)에 저장한다. 이러한 부분분류기(1212)는 각 셀(12)별로 영상에서 차량의 영상특징을 검출한다. 이는 공지의 히스토그램 모델(Histogram model)에 기반한 영상의 RGB 값으로 검출될 수 있으며, 이러한 부분분류기(1212)는 예컨대 SVM(Support Vector Machine)에 기반하여 영상에서 다수의 색상 비율로 검출될 수 있다. 특히, 이러한 영상특징은 차량의 윈도우(window)에 대한 에지(edge)의 방향성분을 포함할 수 있다. 이는 일례로 차량의 윈도우 부분은 에지의 방향성이 분명하므로 에지의 성질을 이용할 수 있는 HOG(Histogram Of Gradient edges) 특징을 이용할 수 있다. 밤낮, 조명 등의 촬영환경이 수시로 변하는 조건에서 차량의 윈도우의 기하학적 특징을 안정적으로 표현할 수 있는 HOG 특징을 부분분류기(1211)에서 각 셀별로 추출하는 것이다.The partial classifier 1212 corresponds to each of the plurality of cells 12 divided by the image divider 1211 and extracts each of the image features for each of the cells 12 and stores them in the database 123 do. The partial classifier 1212 detects the image characteristic of the vehicle in the image for each cell 12. This can be detected as an RGB value of an image based on a known histogram model, and this partial classifier 1212 can be detected at a plurality of color ratios in an image based on, for example, SVM (Support Vector Machine). In particular, such an image feature may include an orientation component of the edge of the vehicle with respect to the window. This can be done, for example, by using the Histogram Of Gradient Edges (HOG) feature, which can take advantage of the nature of the edges because the window portion of the vehicle is clear in the direction of the edges. The HOG feature capable of stably expressing the geometric characteristics of the window of the vehicle under the condition that the photographing environment such as day, night, and lighting changes from time to time is extracted for each cell in the partial classifier 1211. [

결합분류기(1213)는 다수의 부분분류기(1212)에서 각각 추출된 다수의 셀별로 영상특징을 결합하여 차량(10)의 전체 영상특징을 추출하여 데이터베이스(123)에 저장한다. 이는 예컨대 복수 개의 HOG 특징을 상호 결합함으로써 전체 차량의 영상을 추출하도록 하기 위한 것이다. 본 발명에 따른 결합분류기(1213)는 예컨대 다수의 부분분류기(1211)들을 결합하여 강한 성능을 낼 수 있는 앙상블(Ensemble) 분류기로 구현될 수 있다. 대표적인 앙상블 분류기로는 예컨대 Multiple SVM, Adaboost, Random Tree 등의 분류기가 있지만, 본 발명은 이에 한정되지 않는다. 특히, 본 발명의 실시 예에서 결합분류기(1213)는 차량이 주정차된 도로변의 위치와 카메라부(110)의 촬영각도 변경, 높이, 거리 등의 다양한 조건에서도 신뢰성이 높은 차량인식 결과를 보장하기 위해 HOG-mSVM(multiple SVM)의 결합을 이용하는 앙상블 분류기를 사용함이 바람직하다.The combiner classifier 1213 combines image features for each of a plurality of cells extracted from the plurality of partial classifiers 1212 to extract the entire image feature of the vehicle 10 and stores the extracted features in the database 123. This is for the purpose of, for example, extracting images of the entire vehicle by mutually combining a plurality of HOG features. The combiner classifier 1213 according to the present invention can be implemented as an ensemble classifier that can combine a plurality of partial classifiers 1211 to produce strong performance. Representative ensemble classifiers include classifiers such as Multiple SVM, Adaboost, and Random Tree, but the present invention is not limited thereto. Particularly, in the embodiment of the present invention, the combiner classifier 1213 is used to ensure reliable vehicle recognition results even under various conditions such as the position of the road where the vehicle is parked and the camera angle change, height, It is preferable to use an ensemble classifier using a combination of HOG-mSVM (multiple SVM).

도 5는 본 발명의 실시 예에 따른 판단부의 구성도이다.5 is a configuration diagram of a determination unit according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 실시 예에 따른 판단부(122)는 비교부(1221) 및 결정부(1222)를 포함하여 구성된다.5, the determination unit 122 according to the embodiment of the present invention includes a comparison unit 1221 and a determination unit 1222. [

비교부(1221)는 카메라부(110)에서 현재주기에 촬영된 차량(10)의 영상으로부터 영상분할부(1211)에 의해 분할된 다수의 셀의 각 영상특징과 이전주기까지 상기 데이터베이스(123)에 기저장된 각 셀의 영상특징을 비교한다. 이는 현재주기에서 각 셀별로 부분분류기(1212)에서 추출된 영상특징과, 이전주기에 각 셀별로 분분분류기(1212)에서 추출되어 데이터베이스(123)에 저장된 영상특징을 서로 비교하는 것이다. 이와 같이 현재주기에서 추출된 각 셀별 영상특징과 이전주기에서 추출된 각 셀별 영상특징이 동일한지를 비교함으로써 현재주기에 촬영된 차량이 데이터에비스에 이미 저장되어 있는지를 확인하는 것이다. 이처럼 현재주기에 촬영된 차량이 이전주기에도 촬영된 것이라면 불법 주정차 차량으로 결정할 수 있다.The comparator 1221 compares the image characteristics of the plurality of cells divided by the image divider 1211 with the image characteristic of the vehicle 10 photographed at the current cycle in the camera unit 110, The image characteristics of each cell are compared with each other. This is to compare the image characteristics extracted from the partial classifier 1212 for each cell in the current period and the image characteristics extracted from the classifier 1212 for each cell and stored in the database 123 in the previous cycle. In this manner, whether the image feature of each cell extracted in the current cycle is the same as the image feature of each cell extracted in the previous cycle is compared to check whether the vehicle photographed in the current cycle is already stored in the data bister. Thus, if the vehicle photographed in the current cycle is photographed in the previous cycle, it can be determined to be illegally parked.

결정부(1222)는 비교부(1221)에서의 비교된 각각 두 셀의 영상특징 간 차이가 기설정된 임계치보다 큰 셀의 개수가 기설정된 기준개수보다 많은 경우에 현재주기에 촬영된 차량과 이전주기에 촬영된 차량이 동일한 차량인 것으로 결정한다. 이는 곧 이전주기에 촬영된 차량이 일정시간이 경과한 현재주기에도 촬영된 것으로 불법 주정차 구역에 현재까지도 주정차된 것으로 결정하는 것이다.The determination unit 1222 determines that the vehicle photographed at the current cycle and the previous cycle are the same when the number of cells in which the difference between the video features of the two cells compared in the comparison unit 1221 is greater than the predetermined threshold, It is determined that the photographed vehicle is the same vehicle. This means that the vehicle photographed in the previous cycle was photographed even during the current period when a certain period of time has elapsed and it is determined that the vehicle has been parked in the illegal parking area until now.

이러한 구성요소를 갖는 본 발명의 불법 주정차 차량 인식장치(100)의 동작과정을 하기에서 구체적으로 설명한다.The operation of the illegal parking discriminator 100 having the above-described components will be described in detail below.

도 6은 본 발명의 실시 예에 따른 불법 주정차 차량 인식장치의 동작을 설명하기 위한 흐름도이다.6 is a flowchart illustrating an operation of an illegal parking discrimination apparatus according to an embodiment of the present invention.

도 6을 참조하면, 본 발명에 따른 불법 주정차 차량 인식장치100)에서는 도로변에 설치된 지주(11)의 상단에 설치된 카메라부(110)에서 기설정된 촬영주기에 따라 도로변의 불법 주정차 구역에 주정차되어 있는 차량(10)에 대한 영상을 촬영한다(S101). 이러한 차량(10)의 영상은 기설정된 촬영주기에 따라 지속적으로 촬영되므로 임의의 시점에서 차량(10)의 영상이 촬영될 수 있다. 예컨대, 차량(10)이 주정차하기 전부터 촬영될 수도 있으며, 또는 경우에 따라서는 차량(10)이 주정차하는 시점부터 촬영될 수도 있다. 이와 같이 카메라부(110)에서 촬영된 차량(10)의 영상은 데이터베이스(123)에 계속 저장된다(S103).Referring to FIG. 6, in the illegal parking discrimination apparatus 100 according to the present invention, the camera 110 installed on the upper side of the support 11 installed on the road side is parked in an illegal parking area And captures an image of the vehicle 10 (S101). Since the image of the vehicle 10 is continuously photographed in accordance with the preset photographing period, the image of the vehicle 10 can be photographed at an arbitrary point in time. For example, the vehicle 10 may be photographed before the regular driving, or in some cases, the vehicle 10 may be photographed from the time when the vehicle 10 travels regularly. In this way, the image of the vehicle 10 photographed by the camera unit 110 is continuously stored in the database 123 (S103).

한편, 상기와 같이 카메라부(110)에서 차량(10)의 영상이 촬영주기에 따라 촬영되면 차량인식부(121)에서는 해당 차량(10)의 영상으로부터 차량(10)을 인식한다(S105). 이는 촬영주기마다 차량(10)을 인식하는 것으로서 도로변의 불법 주정차구역에 주정차된 차량을 인식하는 것이다. 이와 같이 인식된 차량(10)에 대한 인식정보는 데이터베이스(123)에 촬영주기별로 저장된다(S107).When the image of the vehicle 10 is photographed in accordance with the photographing period in the camera unit 110 as described above, the vehicle recognizing unit 121 recognizes the vehicle 10 from the image of the vehicle 10 (S105). This is for recognizing the vehicle 10 at each shooting cycle and recognizing the vehicle that has been parked in the illegal parking area on the road side. Recognition information for the recognized vehicle 10 is stored in the database 123 for each shooting cycle (S107).

이와 같이, 상기한 S101 단계부터 S107 단계까지는 도로변에 주정차된 차량의 정보를 데이터베이스(123)에 구축하는 과정이다. 즉, 불법 주정차 차량을 계속 촬영하고 촬영될 때마다 차량의 정보를 인식하여 데이터베이스에 저장함으로써 불법 주정차되어 있는 차량을 계속 모니터링하는 것이다. 만약, 상기와 같이 데이터베이스에 저장된 차량이 현재주기에도 촬영이 된다면 주차 또는 정차된 상황으로 판단할 수 있는 것이다.As described above, steps S101 to S107 are the steps of building the information of the vehicle that has been parked on the road side in the database 123. That is, continuously illegally parked cars are continuously photographed, and the vehicle information is recognized every time it is photographed and stored in the database to continuously monitor illegally parked vehicles. If the vehicle stored in the database is photographed in the current cycle as described above, it can be determined that the vehicle is parked or stopped.

이에, 본 발명에서는 현재의 촬영주기에 카메라부(110)에 의해 차량(10)의 영상이 촬영되면 차량인식부(121)에서 역시 그 촬영된 영상으로부터 차량(10)을 인식한다(S109). 이때, 차량인식부(121)에서 인식된 차량(10)의 정보가 이전주기에 데이터베이스(123)에 기저장되어 있는지를 판단한다(S111). 즉, 현재주기에서 촬영된 영상에서 인식된 차량(10)의 정보가 데이터베이스(123)에 이미 저장되어 있는지를 확인하는 것이다. 동일한 차량(10)의 정보가 데이터베이스(123)에 기저장되어 있지 않다면 그 현재주기에 처음으로 촬영된 차량으로 판단하여 S107 단계로 진행하여 데이터베이스(123)에 그 차량의 정보를 저장한다(S107). 하지만, 인식된 차량의 정보와 동일한 차량의 정보가 데이터베이스(123)에 기저장되어 있다면 영상제어부(124)에서 카메라부(110)에서 촬영되어 데이터베이스(123)에 기저장된 차량(10)의 영상을 그 해당 차량(10)이 주정차하는 시점으로 되돌린다(S113). 이후에, 그 차량(10)의 주정차 시점의 영상으로부터 차량(10)의 번호판을 인식하고(S115), 그 인식된 번호판을 데이터베이스(123)에 저장한다(S117).Accordingly, in the present invention, when the image of the vehicle 10 is photographed by the camera unit 110 in the current photographing period, the vehicle recognizing unit 121 recognizes the vehicle 10 from the photographed image (S109). At this time, it is determined whether the information of the vehicle 10 recognized by the vehicle recognition unit 121 is stored in the database 123 in the previous cycle (S111). That is, it is confirmed whether the information of the vehicle 10 recognized in the image photographed at the present cycle is already stored in the database 123. If the information of the same vehicle 10 is not stored in the database 123 for the first time, it is determined that the vehicle is the first vehicle photographed in the current cycle. Then, the process proceeds to step S107 and the information of the vehicle is stored in the database 123 (step S107) . However, if the information of the same vehicle as the recognized vehicle information is stored in the database 123, the image control unit 124 may display the image of the vehicle 10 photographed by the camera unit 110 and stored in the database 123 The corresponding vehicle 10 is returned to the time point at which the vehicle 10 travels (S113). Thereafter, the license plate of the vehicle 10 is recognized from the image of the vehicle 10 at the parking time point of the vehicle 10 (S115), and the recognized license plate is stored in the database 123 (S117).

이와 같이, 본 발명에서는 카메라부(110)에서 촬영주기별로 차량(10)의 영상을 촬영하여 차량(10)을 인식한 후 차량(10)의 정보를 DB(123)에 저장해 두고, 이후에 계속 촬영된 영상에서 동일한 차량이 발견되는지를 DB(123)에서 확인하여 불법 주정차 차량으로 판단한다. 만약, 불법 주정차 차량으로 판단되면 DB(123)에 이미 저장된 영상을 앞으로 되돌리되, 그 해당 차량(10)이 주정차하는 시점까지 영상을 되돌려서 그 주정차시점의 영상으로부터 번호판을 인식하도록 하는 것이다.As described above, according to the present invention, the camera unit 110 captures an image of the vehicle 10 at every shooting cycle, recognizes the vehicle 10, stores the information of the vehicle 10 in the DB 123, The DB 123 confirms whether the same vehicle is found in the photographed image to judge the illegally parked vehicle. If it is determined that the illegally parked car is the illegally parked car, the image already stored in the DB 123 is forwardly returned, and the image is returned to the time point when the car 10 is parked, so that the license plate is recognized from the image at the parking time point.

이러한 번호판의 인식과정은 예를 들어 불법 주정차된 차량(10)이 너무 가까이 붙어 주정차되거나 또는 번호판에 앞에 다른 물체가 놓여 번호판을 가린 경우와 같이 현재주기에서 촬영된 영상만으로는 번호판을 정확하게 인식하지 못하는 경우에 번호판을 정확히 인식할 수 있는 영상으로 되돌려서 번호판을 인식하도록 하기 위한 것이다. 이는 차량이 주정차하는 시점에는 번호판을 주변에 다른 차량이나 물체가 없어 번호판이 인식되기 때문이다.The process of recognizing such a license plate may be, for example, a case where the license plate can not be correctly recognized only by the image captured in the current cycle, for example, when the illegally parked vehicle 10 is parked too close to the license plate or another object is placed in front of the license plate So that the license plate can be recognized by accurately returning the license plate to the image. This is because the license plate is recognized when there is no other vehicle or object in the vicinity of the license plate when the car is parked.

도 7은 본 발명의 실시 예에 따른 불법 주정차 차량 인식장치에서 불법 주정차로 판단하는 과정을 설명하는 흐름도이다.FIG. 7 is a flowchart illustrating an illegal parking discrimination apparatus according to an embodiment of the present invention.

도 7을 참조하면, 본 발명의 판단부(122)는 다수의 셀별로 분할된 영상마다 추출된 영상특징을 데이터베이스(123)에 저장된 각 대응되는 셀의 영상특징과 비교하도록 한다. 모든 셀에 대하여 각 영상특징을 비교하여 그 비교결과에 따라 현재주기에 인식된 차량과 데이터베이스(123)에 저장된 차량도 동일성 여부를 판단하게 된다. 도 7을 참조하여 이를 구체적으로 설명함에 있어, 셀은 n개의 셀로 분할된 것으로 가정하여 설명한다.Referring to FIG. 7, the determination unit 122 of the present invention compares the image characteristics extracted for each of the plurality of cells with the image characteristics of each corresponding cell stored in the database 123. The respective image features are compared with respect to all the cells, and the vehicle recognized in the current period and the vehicle stored in the database 123 are also judged to be the same according to the comparison result. Referring to FIG. 7, a cell will be described as being divided into n cells.

먼저, i=1로 설정하고(S201), 제1셀의 영상특징을 추출한다(S203). 이러한 영상특징은 바람직하게는 차량(10)의 윈도우(window)의 에지 방향성분을 포함한다. 윈도우의 에지는 방향성이 분명하므로 이러한 방향성을 포함하는 영상특징을 추출함으로써 차량을 확인하는데 신뢰성을 높일 수 있다. 이와 같이 추출된 제1셀의 영상특징과 데이터베이스(123)에 저장된 제1셀의 영상특징과 비교한다(S205).First, i = 1 is set (S201), and the image feature of the first cell is extracted (S203). This image feature preferably includes an edge direction component of the window of the vehicle 10. Since the edge of the window is clearly directional, it is possible to increase the reliability in identifying the vehicle by extracting image features including this directionality. The extracted image characteristic of the first cell is compared with the image characteristic of the first cell stored in the database 123 (S205).

그 비교결과 제1셀의 영상특징 간 차이가 기설정된 임계치 이하이면(S207), i을 1증가시켜(S217), S203 단계로 진행하여 제2셀에 대하여 상기 S203 단계부터 반복하여 수행한다. 만약, 상기 비교결과 제1셀의 영상특징 간의 차이가 임계치 이상이면(S207), 그 셀의 개수를 누적 카운트한다(S209). 즉, 제i셀의 영상특징 간의 차이가 임계치보다 큰 셀의 개수를 카운트하는 것이다.As a result of the comparison, if the difference between the image characteristics of the first cell is less than the predetermined threshold value (S207), i is incremented by 1 (S217), and the process goes to S203 and repeats the process for the second cell from S203. If the difference between the image characteristics of the first cell is greater than the threshold value (S207), the number of the cells is cumulatively counted (S209). That is, the number of cells whose difference between the image characteristics of the ith cell is larger than the threshold is counted.

이후에, i=n인지 판단하여(S211), i=n이 아니면 i를 1증가시켜(S217), S203 단계로 진행하여 이후의 단계를 반복수행하고, i=n이면 마지막 n번째 셀에 대하여 영상특징을 비교한 것이므로 그때까지 카운트된 셀의 개수와 기설정된 기준개수를 비교하여 최종 카운트된 셀의 개수가 기준개수 이상이면(S213), 현재주기에 인식된 차량(10)과 데이터베이스(123)에 저장된 차량(10)이 동일한 차량인 것으로 결정한다(S215). 이와 같이 동일한 차량이라는 것은 현재주기에 촬영된 차량이 이전주기에도 촬영되었다는 것이며, 이는 곧 일정시간 동안 불법 주정차 구역에 주정차되고 있다는 것을 의미한다. 이 경우에는 도 6에 설명한 바와 같이 차량이 주정차되는 시점으로 영상을 되돌려서 차량의 번호판을 정확히 인식하도록 하는 것이다.Then, it is determined whether i = n (S211). If i = n, i is incremented by 1 (S217), and the subsequent steps are repeatedly performed in step S203. If i = n, The number of the counted cells is compared with the preset reference number, and if the number of finally counted cells is equal to or greater than the reference number (S213), the vehicle 10 and the database 123 recognized in the current cycle are compared. It is determined that the vehicle 10 is the same vehicle (S215). This same vehicle means that the vehicle photographed in the present cycle is photographed in the previous cycle, which means that the vehicle is being parked in illegal parking area for a certain period of time. In this case, as shown in Fig. 6, the image is returned to the time point when the vehicle is parked, so that the license plate of the vehicle is accurately recognized.

상기 기준개수는 동일한 차량인지를 판단하는 기준으로서, n개의 셀마다 영상특징을 데이터베이스의 영상특징과 비교해서 몇 개의 셀에서 영상특징이 같으면 동일한 차량으로 판단할 것인지 결정하는 기준이 되는 수치이다. 따라서, 이러한 기준개수는 설계조건에 따라 변경될 수 있음은 당연하다.The reference number is a reference for determining whether the same vehicle is judged to be the same vehicle if the image characteristics are the same in several cells by comparing the image feature with the image feature of the database for every n cells. Therefore, it is natural that such a reference number can be changed according to design conditions.

이상에서 설명한 바와 같이, 본 발명에서는 카메라를 통해 일정한 주기에 따라 불법 주정차 구역에 주정차된 차량을 촬영하여 차량의 정보를 DB에 저장해 두고 이후에 다시 차량을 촬영했을 때 그 차량이 DB에 저장되어 있다면 그 차량이 불법 주정차구역에 일정시간 동안 주정차된 것으로 판단한다. 이때, 본 발명에서는 현재주기에 촬영한 차량의 영상으로부터는 차량의 번호판을 인식할 수 없는 경우에 그 차량이 주정차하는 시점의 영상을 이용하여 번호판을 정확하게 인식하도록 한다.As described above, according to the present invention, when a vehicle parked in an illegal parking area is photographed at a predetermined period through a camera, information of the vehicle is stored in the DB, and the vehicle is stored in the DB It is judged that the vehicle was parked in illegal parking area for a certain period of time. In this case, when the license plate of the vehicle can not be recognized from the image of the vehicle photographed at the current cycle, the license plate is accurately recognized using the image at the time point when the vehicle is parked.

이에 따라, 본 발명에서는 차량의 번호판이 가려져 있어 정확한 인식이 불가능한 차량에 대해서도 번호판을 정확히 촬영할 수 있으며, 차량에 대한 촬영부터 번호판의 인식까지 자동으로 처리할 수 있으므로 관리자가 수동으로 번호판을 인식하는 번거로움을 해결할 수 있고 비용 및 효율성에서 매우 탁월할 효과를 기대할 수 있는 것이다.Accordingly, in the present invention, the license plate can be accurately photographed even for a vehicle whose license plate is hidden and can not be accurately recognized, and it is possible to automatically process the license plate from the photographing to the recognition of the license plate. Therefore, It is possible to solve the problem and to have an excellent effect in cost and efficiency.

이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them. Furthermore, the terms "comprises", "comprising", or "having" described above mean that a component can be implanted unless otherwise specifically stated, But should be construed as including other elements. All terms, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used terms, such as predefined terms, should be interpreted to be consistent with the contextual meanings of the related art, and are not to be construed as ideal or overly formal, unless expressly defined to the contrary.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

10 : 차량 11 : 지주
110 : 카메라부 120 : 영상처리부
121 : 차량인식부 122 : 판단부
123 : 데이터베이스 124 : 영상제어부
1211 : 영상분할부 1212 : 부분분류기
1213 : 결합분류기 1221 : 비교부
1222 : 결정부10: vehicle 11: holding
110: camera unit 120: image processing unit
121: vehicle recognition section 122:
123: Database 124:
1211: Image division part 1212: Partial classifier
1213: Combined classifier 1221:
1222:

Claims (8)

일정한 촬영주기에 따라 차량의 영상을 촬영하고 상기 촬영된 영상을 데이터베이스에 저장하는 카메라부;
상기 카메라부에서 상기 차량의 영상이 촬영되면 상기 촬영된 차량의 영상으로부터 상기 차량을 인식하고 상기 인식된 차량의 정보를 상기 촬영주기별로 상기 데이터베이스(DB)에 저장하는 차량인식부;
상기 차량인식부에서 상기 카메라부에서 현재주기에 촬영한 차량의 영상으로부터 인식한 차량의 정보와 동일한 차량의 정보가 상기 데이터베이스(DB)에 저장되어 있는지를 판단하는 판단부;
상기 판단결과 저장되어 있으면 상기 데이터베이스에 저장된 영상을 상기 차량이 주정차하는 시점으로 되돌려서 상기 차량의 주정차 시점의 영상으로부터 상기 차량의 번호판을 인식하도록 상기 인식부의 동작을 제어하는 영상제어부; 를 포함하는 불법 주정차 차량 인식장치.A camera unit for photographing an image of a vehicle according to a predetermined photographing cycle and storing the photographed image in a database;
A vehicle recognizing unit for recognizing the vehicle from an image of the taken vehicle when the image of the vehicle is captured by the camera unit and storing the recognized vehicle information in the database for each shooting period;
A determination unit for determining whether information of the same vehicle as the information of the vehicle recognized from the image of the vehicle photographed at the current cycle by the camera recognition unit is stored in the database DB;
An image control unit for controlling the operation of the recognition unit to recognize the number plate of the vehicle from the image at the time of the parking time of the vehicle by returning the image stored in the database to the time point when the vehicle is parked, Wherein the vehicle is an automobile. 제1항에 있어서, 상기 카메라부는 PTZ(Pen-Tilt-Zoom)기능을 가지며 기설정된 촬영주기에 따라 상기 차량의 영상을 촬영하는 불법 주정차 차량 인식장치.The apparatus of claim 1, wherein the camera unit has a PTZ (Pen-Tilt-Zoom) function and captures an image of the vehicle according to a preset shooting cycle. 제1항에 있어서, 상기 차량인식부는,
상기 카메라부에 의해 촬영된 차량의 영상을 다수의 셀(cell)로 분할하는 영상분할부;
상기 영상분할부에서 분할된 다수의 셀마다 대응되며 상기 각각의 셀별로 영상특징으로 각각 추출하여 상기 데이터베이스에 저장하는 다수의 부분분류기; 및
상기 다수의 부분분류기에서 각각 추출된 다수의 셀별로 영상특징을 결합하여 상기 차량의 전체 영상특징을 추출하여 상기 데이터베이스에 저장하는 전체분류기; 를 포함하는 불법 주정차 차량 인식장치.2. The vehicle control device according to claim 1,
An image dividing unit dividing the image of the vehicle photographed by the camera unit into a plurality of cells;
A plurality of partial classifiers corresponding to each of a plurality of cells partitioned by the image partitioning unit, each of the partial classifiers extracting image features of each cell, and storing the image features in the database; And
An entire classifier for extracting all the image features of the vehicle by combining the image features for each of a plurality of cells respectively extracted from the plurality of partial classifiers and storing the extracted features in the database; Wherein the vehicle is an automobile. 제3항에 있어서, 상기 판단부는,
상기 현재주기에 상기 카메라부에서 촬영된 차량의 영상으로부터 분할된 다수의 셀의 각 영상특징과 이전주기까지 상기 데이터베이스에 기저장된 각 셀의 영상특징을 비교하는 비교부; 및
상기 비교부에서의 비교된 두 셀의 영상특징 간 차이가 기설정된 임계치보다 큰 셀의 개수가 기설정된 기준개수보다 많은 경우에 동일한 차량으로 결정하는 결정부; 를 포함하는 불법 주정차 차량 인식장치.4. The apparatus of claim 3,
A comparison unit comparing the image characteristics of each of the plurality of cells divided from the image of the vehicle photographed by the camera unit in the current cycle with image characteristics of each cell previously stored in the database up to a previous cycle; And
A determination unit determining the same vehicle when a difference between image features of two compared cells in the comparison unit is greater than a predetermined reference number, Wherein the vehicle is an automobile. 제4항에 있어서, 상기 비교부는,
상기 분할된 다수의 셀 중 제1 셀부터 제n 셀까지의 각 영상특징을 상기 데이터베이스에 기저장된 제1 셀부터 제n 셀까지의 영상특징과 순차적으로 비교하되, 서로 비교되는 두 셀의 영상특징 간의 차이가 상기 임계치보다 큰 셀의 개수가 상기 기준개수가 될 때까지 비교하는 불법 주정차 차량 인식장치.5. The apparatus according to claim 4,
Sequentially comparing image characteristics of the first cell to the n-th cell among the plurality of divided cells to image characteristics of the first cell to the n-th cell stored in the database, Wherein the comparing unit compares the number of cells having the difference larger than the threshold until the number of the cells is greater than the threshold. 제3항 내지 제5항 중 어느 한 항에 있어서,
상기 영상특징은 상기 차량의 윈도우(window)에 대한 에지의 방향성분을 포함하는 불법 주정차 차량 인식장치.6. The method according to any one of claims 3 to 5,
Wherein the image feature comprises a direction component of an edge for the window of the vehicle. 제1항에 있어서,
상기 영상제어부는 상기 판단결과 저장되어 있지 않으면 이후의 촬영주기에 상기 카메라부에서 상기 차량이 출발하는 시점에 촬영되는 영상으로부터 상기 차량의 번호판을 인식하도록 상기 차량인식부의 동작을 제어하는 불법 주정차 차량 인식장치.The method according to claim 1,
Wherein the image control unit controls the operation of the vehicle recognition unit so as to recognize the license plate of the vehicle from the image photographed at a time point at which the vehicle departs from the camera at a subsequent shooting cycle if the determination result is not stored as a result of the determination, Device. 제1항에 있어서,
상기 데이터베이스에 저장되는 차량의 정보는 상기 촬영위치 정보와 촬영시간 정보를 포함하는 불법 주정차 차량 인식장치.The method according to claim 1,
Wherein the information of the vehicle stored in the database includes the photographing position information and the photographing time information.
KR1020140150022A 2014-10-31 2014-10-31 Apparatus for recognizing illegal parking and stopping vehicle KR101691186B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140150022A KR101691186B1 (en) 2014-10-31 2014-10-31 Apparatus for recognizing illegal parking and stopping vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140150022A KR101691186B1 (en) 2014-10-31 2014-10-31 Apparatus for recognizing illegal parking and stopping vehicle

Publications (2)

Publication Number Publication Date
KR20160050883A true KR20160050883A (en) 2016-05-11
KR101691186B1 KR101691186B1 (en) 2016-12-30

Family

ID=56025752

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140150022A KR101691186B1 (en) 2014-10-31 2014-10-31 Apparatus for recognizing illegal parking and stopping vehicle

Country Status (1)

Country Link
KR (1) KR101691186B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102138378B1 (en) 2019-09-25 2020-07-27 유한회사 홍석 Method for managing and processing comparison and examination of parking violation
KR102222109B1 (en) * 2020-01-17 2021-03-03 유한회사 홍석 Integrated management system of parking enforcement image through deep learning

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05189691A (en) * 1992-01-14 1993-07-30 Matsushita Electric Ind Co Ltd Character detector and parked vehicle detector
JP2002133581A (en) * 2000-10-27 2002-05-10 Nippon Telegr & Teleph Corp <Ntt> Road monitoring system and method
KR20040093575A (en) * 2003-04-30 2004-11-06 주식회사 래도 Method and apparatus for watching restricted area of parking and stop
KR20060119078A (en) 2005-05-18 2006-11-24 이상석 Monitoring system for illegal parking and method thereof
KR100859504B1 (en) 2008-01-16 2008-09-24 (주)서광시스템 Camera device using unlawful deadzone control technic
KR100974116B1 (en) 2009-12-27 2010-08-04 이승철 The monitoring system about illegal parking, stopping, overspeeding vehicle not being recognized its license plate
KR101355201B1 (en) * 2013-09-12 2014-01-29 주식회사 넥스파시스템 The system and the method for monitoring illegal stopping and parking vehicles based spatio-temporal feature vector-based vehicle recognition

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05189691A (en) * 1992-01-14 1993-07-30 Matsushita Electric Ind Co Ltd Character detector and parked vehicle detector
JP2002133581A (en) * 2000-10-27 2002-05-10 Nippon Telegr & Teleph Corp <Ntt> Road monitoring system and method
KR20040093575A (en) * 2003-04-30 2004-11-06 주식회사 래도 Method and apparatus for watching restricted area of parking and stop
KR20060119078A (en) 2005-05-18 2006-11-24 이상석 Monitoring system for illegal parking and method thereof
KR100859504B1 (en) 2008-01-16 2008-09-24 (주)서광시스템 Camera device using unlawful deadzone control technic
KR100974116B1 (en) 2009-12-27 2010-08-04 이승철 The monitoring system about illegal parking, stopping, overspeeding vehicle not being recognized its license plate
KR101355201B1 (en) * 2013-09-12 2014-01-29 주식회사 넥스파시스템 The system and the method for monitoring illegal stopping and parking vehicles based spatio-temporal feature vector-based vehicle recognition

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102138378B1 (en) 2019-09-25 2020-07-27 유한회사 홍석 Method for managing and processing comparison and examination of parking violation
KR102222109B1 (en) * 2020-01-17 2021-03-03 유한회사 홍석 Integrated management system of parking enforcement image through deep learning

Also Published As

Publication number Publication date
KR101691186B1 (en) 2016-12-30

Similar Documents

Publication Publication Date Title
CN111741229B (en) Image processing method and apparatus
US8064643B2 (en) Detecting and recognizing traffic signs
US20170032199A1 (en) Video data analyzing method and apparatus and parking lot monitoring system
US10553116B2 (en) Method for detecting right lane area and left lane area of rear of vehicle using region of interest and image monitoring system for vehicle using the same
US20150161796A1 (en) Method and device for recognizing pedestrian and vehicle supporting the same
EP3193320A1 (en) Method for collecting evidence of vehicle parking violation, and apparatus therefor
CN110580808B (en) Information processing method and device, electronic equipment and intelligent traffic system
KR101355201B1 (en) The system and the method for monitoring illegal stopping and parking vehicles based spatio-temporal feature vector-based vehicle recognition
CN111583703B (en) Parking lot access control system and method
CN110837826B (en) License plate recognition method and related device based on self-adaptive strong light irradiation
KR101660254B1 (en) recognizing system of vehicle number for parking crossing gate
US11482012B2 (en) Method for driving assistance and mobile device using the method
KR101691186B1 (en) Apparatus for recognizing illegal parking and stopping vehicle
KR101319508B1 (en) The system and the method for monitoring illegal stopping and parking vehicles using an enhanced focus degradation method
KR102099394B1 (en) Vehicle recognition device, method and computer program
KR20200133920A (en) Apparatus for recognizing projected information based on ann and method tnereof
US9245342B2 (en) Obstacle detection device
CN113994391B (en) Vehicle passing reminding method and device and vehicle-mounted terminal
KR101053939B1 (en) Car surveillance cctv system using high resolution camera and image processing method thereof
KR101547954B1 (en) System for detecting reflector and method thereof
KR102076309B1 (en) Moving motocycle recognition and motocycle entry/exit processing method
WO2020194848A1 (en) Parking assistance control device, parking assistance device, parking assistance method, and program
KR102448164B1 (en) Apparatus and method for controlling a vehicle radar
JPWO2020129517A1 (en) Image processing device
KR20210007458A (en) Deep Learning-Based Mobile Parking Control System

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191202

Year of fee payment: 4