KR102614194B1 - Parking control system using vehicle detection and license plate recognition technology using PTZ camera - Google Patents

Parking control system using vehicle detection and license plate recognition technology using PTZ camera Download PDF

Info

Publication number
KR102614194B1
KR102614194B1 KR1020230101168A KR20230101168A KR102614194B1 KR 102614194 B1 KR102614194 B1 KR 102614194B1 KR 1020230101168 A KR1020230101168 A KR 1020230101168A KR 20230101168 A KR20230101168 A KR 20230101168A KR 102614194 B1 KR102614194 B1 KR 102614194B1
Authority
KR
South Korea
Prior art keywords
vehicle
parking
parked
license plate
exit
Prior art date
Application number
KR1020230101168A
Other languages
Korean (ko)
Inventor
이홍기
이순기
Original Assignee
주식회사한맥아이피에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사한맥아이피에스 filed Critical 주식회사한맥아이피에스
Priority to KR1020230101168A priority Critical patent/KR102614194B1/en
Application granted granted Critical
Publication of KR102614194B1 publication Critical patent/KR102614194B1/en

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/14Payment architectures specially adapted for billing systems
    • G06Q20/145Payments according to the detected use or quantity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/30Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/327Short range or proximity payments by means of M-devices
    • G06Q20/3274Short range or proximity payments by means of M-devices using a pictured code, e.g. barcode or QR-code, being displayed on the M-device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/30Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/327Short range or proximity payments by means of M-devices
    • G06Q20/3276Short range or proximity payments by means of M-devices using a pictured code, e.g. barcode or QR-code, being read by the M-device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Abstract

본 발명에 따른 PTZ 카메라를 이용한 차량 검출 및 차량 번호 인식 기술을 활용한 주차 관제 시스템은 팬(Pan), 틸트(Tilt), 줌(Zoom) 기능이 갖추어진 카메라로서 주차장 내 주차 공간을 촬영하는 PTZ 카메라(1)와; PTZ 카메라(1)를 제어하는 PTZ 카메라 제어 모듈(2); 상기 PTZ 카메라 제어 모듈(2)을 통해 PTZ 카메라(1)를 통해 촬영된 영상을 전송받고 촬영 영상에 딥러닝 기술을 적용하여 주차장 내 주차 차량의 유무와, 촬영 영상 내 주차 차량의 위치 정보, 주차 차량의 차량 번호를 검출하는 영상 처리 및 분석부(3); 상기 영상 처리 및 분석부(3)와 연계되어 촬영 영상 내 주차칸에 주차 차량이 검출된 경우 주차 차량의 입차 시간과, 촬영 영상 내 주차 차량의 위치 정보, 주차 차량의 차량 번호가 포함된 입차 기록 정보를 데이터 베이스(5)에 저장하며, 상기 입차 기록 정보에 저장된 영상 내 주차 차량의 위치에 주차 차량의 위치와 맞대응되는 차량 번호가 인식되는지 여부와, 차량 주차 유무를 상시 판단하여 출차 여부를 판단하고, 출차 차량의 출차 시간과, 출차 차량의 차량 번호, 출차 차량이 주차되어 있던 주차칸의 위치 정보가 포함된 출차 기록 정보를 데이터 베이스(5)에 저장하는 입차 출차 검출부(4); 상기 데이터 베이스(5)에 저장된 입차 기록 정보와 출차 기록 정보를 조회하여 특정 차량 번호 차량의 주차 시간을 계산하고, 계산된 주차 시간에 따라 주차 요금을 계산하며 특정 차량 번호 차량의 소유주로부터 주차 요금을 수납받는 무인 정산기(6); 및 상기 입차 출차 검출부(4) 그리고 무인 정산기(6)와 연계되어 현재 주차장별 여유 주차칸수와, 주차장별 주차 요금 수납 상태를 모니터링하는 주차 관제 컴퓨터(7)을 포함한다. 이러한 구성으로 이루어진 본 발명에 따른 PTZ 카메라를 이용한 차량 검출 및 차량 번호 인식 기술을 활용한 주차 관제 시스템은 지자체에 노상 무인 정산 시스템을 구축하고 일정 규모의 노상 주차장을 조성함으로써 주차 공간을 확보할 수 있고 주차 관리에 따른 행정력 낭비와 주차 스트레스를 해소할 수도 있다.The parking control system utilizing vehicle detection and vehicle number recognition technology using a PTZ camera according to the present invention is a PTZ camera equipped with pan, tilt, and zoom functions that photographs parking spaces in the parking lot. Camera (1) and; PTZ camera control module (2) that controls the PTZ camera (1); The video captured through the PTZ camera (1) is transmitted through the PTZ camera control module (2), and deep learning technology is applied to the captured video to determine the presence or absence of parked vehicles in the parking lot, location information of parked vehicles in the captured video, and parking information. An image processing and analysis unit (3) that detects the license plate number of the vehicle; In connection with the image processing and analysis unit 3, when a parked vehicle is detected in a parking space in the captured image, an entry record includes the entry time of the parked vehicle, location information of the parked vehicle in the captured image, and the vehicle number of the parked vehicle. The information is stored in the database 5, and whether the vehicle number corresponding to the location of the parked vehicle is recognized at the location of the parked vehicle in the image stored in the entry record information, and whether the vehicle is parked is always determined to determine whether to leave the vehicle. and an entry/exit detection unit 4 that stores exit record information including the exit time of the exit vehicle, the vehicle number of the exit vehicle, and location information of the parking space in which the exit vehicle was parked, in the database 5; The parking time of a specific license plate number vehicle is calculated by querying the entry and exit record information stored in the database 5, the parking fee is calculated according to the calculated parking time, and the parking fee is collected from the owner of the specific license plate number vehicle. Unmanned payment settlement machine (6); And a parking control computer (7) that is linked to the entry/exit detection unit (4) and the unmanned payment machine (6) to monitor the current number of available parking spaces for each parking lot and the parking fee payment status for each parking lot. The parking control system using vehicle detection and license plate recognition technology using a PTZ camera according to the present invention, which has this configuration, can secure parking space by establishing an on-street unmanned settlement system in the local government and creating an on-street parking lot of a certain size. It can also eliminate the waste of administrative power and parking stress caused by parking management.

Description

PTZ 카메라를 이용한 차량 검출 및 차량 번호 인식 기술을 활용한 주차 관제 시스템{Parking control system using vehicle detection and license plate recognition technology using PTZ camera}Parking control system using vehicle detection and license plate recognition technology using PTZ camera}

본 발명은 노상 주차장이나, 소규모 주차장과 같이 주차 관제 시스템 설치가 불가능한 환경에서 저비용의 PTZ 카메라를 이용한 차량 검출 및 차량 번호 인식 기술을 활용한 주차 관제 시스템에 관한 것이다.The present invention relates to a parking control system using vehicle detection and license plate recognition technology using low-cost PTZ cameras in environments where parking control systems cannot be installed, such as on-street parking lots or small parking lots.

현재 도심지 주요 도로변은 불법 주정차 및 장기 주차 차량에 의해 차량 소통에 어려움을 겪고 있다. Currently, major roads in downtown are experiencing difficulties with vehicle traffic due to illegal parking and long-term parking.

하지만 불법 주정차를 단속하면 주변 상권이 위축될 뿐 아니라 차량들은 오히려 대로변에서 골목길로 들어가는 문제가 있기 때문에 이를 개선하기 위해 차량의 소통에 지장을 초래하지 않는 범위 내에서 노상에 주차를 허용하도록 하고 이를 관리하고 있다.However, cracking down on illegal parking not only reduces the surrounding commercial area, but also causes vehicles to go from the main street into the alley. To improve this, parking on the street is allowed and managed as long as it does not interfere with vehicle traffic. I'm doing it.

이러한 노상 주차장은 주차 관리인이 상주를 하고 주차 관리인의 근무 시간에만 주차 요금을 징수하고 있다. In these street parking lots, a parking manager is always present and parking fees are collected only during the parking manager's working hours.

주차 관리인은 PDA와 같은 휴대용 주차 요금 정산 단말기를 휴대하고 각 주차 구역에 주차하는 차량에 대하여 입차증을 발행하며 차량의 출차 시에는 정해진 주차 요금을 정산 단말기를 통해 징수하고 있다.The parking manager carries a portable parking fee settlement terminal such as a PDA, issues an entry permit to each vehicle parked in each parking area, and collects the designated parking fee through the settlement terminal when the vehicle leaves.

그러나 주차 관리원은 근무 여건상 교대 근무 요원을 배치하기 어려워 자리를 비운다거나 다른 업무를 볼 때에는 고객이 주차 관리인을 찾아 헤매거나 주차 관리원이 나타날 때까지 기다려야 하는 불편함이 있었다.However, it was difficult for parking managers to assign shift workers due to working conditions, so customers had to wander around looking for parking managers or wait for parking managers to appear when they were away or doing other work, which was inconvenient.

또한, 주차 관리원은 야외에서 근무를 하기 때문에 날씨에 따른 어려움이나 생리적인 문제가 발생하더라도 자리를 비울 수 없는 열악한 근무 환경에 놓여 있다.In addition, because parking attendants work outdoors, they are in a harsh working environment where they cannot leave their jobs even if weather or physiological problems arise.

또, 노상 주차장의 경우 주차 관리원이 담당할 수 있는 관리 영역이 매우 제한적이고 고정적으로 높은 고정 경비가 발생하며, 특히 주차 관리원에 의한 주차 요금 징수는 고객과 주차 요금 책정 시비 및 현금 징수에 따른 부정 발생 가능성을 배제할 수 없는 실정이다.In addition, in the case of on-street parking lots, the management area that parking managers can be responsible for is very limited and high fixed costs are incurred. In particular, parking fee collection by parking managers causes irregularities due to disputes with customers over parking fee setting and cash collection. The possibility cannot be ruled out.

또, 최근 각 지자체는 주차난 해결을 위하여 도심지의 일정 부지를 매입하여 조성하는 소규모 주차장 사업과 빈집을 매입하여 주차장으로 조성하는 쌈지 주차장 사업 등 주차난 해결을 위한 노력으로 많은 예산을 투입하여 부지를 매입하고 있으나, 일부 부지는 매입되고 나서도 부지 주변 거주인들과의 주차장 유치 협상에 상당한 시간이 걸리거나 일부 부지는 매입이 무산되는 경우도 있었다. 또, 주차장으로 운영될 때에도 주차관제시스템 설치가 불가능하여 주차 요금을 징수하지 않으니 주차 회전이 되지 않고 장기 주차가 발생하여 또 다른 주차문제를 일으키고 있는 실정이다.In addition, in recent years, each local government has invested a large amount of budget to purchase land in an effort to solve the parking problem, such as the small-scale parking lot project that purchases and builds a certain amount of land in the downtown area and the Ssamzie parking lot project that purchases empty houses and turns them into parking lots. However, even after some sites were purchased, it took a considerable amount of time to negotiate parking lots with residents living around the site, or in some cases, the purchase was canceled. In addition, even when operated as a parking lot, it is impossible to install a parking control system, so parking fees are not collected, so parking rotation is not possible and long-term parking occurs, causing another parking problem.

한편, 본 발명의 선행 기술로는 출원번호 "10-2006-0081445"호의 "노상 주차장 무인 정산 시스템 및 방법"이 출원되어 등록되었는데, 상기 노상 주차장 무인 정산 시스템 및 방법은 복수의 주차면 각각에 설치되어 차량의 입차 및 출차를 검지하는 복수의 루프 코일, 노상 주차장 전체의 영상을 촬영하기 위한 원거리 카메라, 루프 코일의 신호에 기초하여 입차 및 출차 때 차량 번호판의 영상을 촬영하기 위한 복수의 번호 인식 카메라, 차량이 주차면에 입차할 때 원거리 카메라 및 주차면에 해당하는 번호 인식 카메라에 의해 촬영된 영상으로부터 차량 번호를 인식하는 차량 번호 인식 수단, 루프 코일에 의해 검지된 차량의 입차 시간으로부터 현재 시간까지 계산된 주차 시간, 주차 시간으로부터 계산된 주차 요금, 원거리 카메라 및 번호 인식 카메라에 의해 촬영된 차량의 영상, 그리고 차량 번호 인식 수단에 의해 인식된 차량 번호를 저장하는 데이타베이스를 내장하는 데이타베이스 서버, 주차면 사용자가 자신의 차량 번호 또는 자신의 차량이 주차된 주차면을 입력할 때 데이타베이스 서버에 저장된 촬영 영상, 인식 번호, 입차 시간 및 주차 요금을 표시하고 사용자가 주차 요금을 지불할 때 이를 수납하기 위한 무인 요금 정산 수단, 및 주차장 데이타베이스 서버에 저장된 데이타를 수신하고, 수신된 데이타로부터 각 주차장의 정보를 통합하여 관리하는 통합 관리 서버를 포함한다.Meanwhile, as a prior art of the present invention, "On-street parking lot unmanned settlement system and method" under application number "10-2006-0081445" has been applied for and registered. The on-street parking lot unmanned settlement system and method are installed on each of a plurality of parking surfaces. multiple loop coils to detect vehicle entry and exit, a long-distance camera to capture images of the entire on-street parking lot, and a plurality of number recognition cameras to capture images of vehicle license plates when entering and exiting a vehicle based on signals from the loop coil. , Vehicle number recognition means that recognizes the vehicle number from images captured by a remote camera and a number recognition camera corresponding to the parking surface when the vehicle enters the parking surface, from the time of entry of the vehicle detected by the loop coil to the current time. A database server containing a database storing the calculated parking time, the parking fee calculated from the parking time, the image of the vehicle captured by the remote camera and the number recognition camera, and the vehicle number recognized by the vehicle number recognition means; Parking surface: When the user enters his or her vehicle number or the parking surface where his or her vehicle is parked, the captured video, recognition number, entry time, and parking fee stored in the database server are displayed and collected when the user pays the parking fee. It includes an unmanned fee settlement means for doing so, and an integrated management server that receives data stored in the parking lot database server and integrates and manages information on each parking lot from the received data.

대한민국 특허등록번호 "10-0751498" (2007.08.22)Republic of Korea Patent Registration No. "10-0751498" (2007.08.22)

이에 본 발명은 상기 문제점을 해결하고자, 지자체에 노상 무인 정산 시스템을 구축하고 일정 규모의 노상 주차장을 조성함으로써 주차 공간을 확보할 수 있고 주차 관리에 따른 행정력 낭비와 주차 스트레스를 해소할 수 있는 PTZ 카메라를 이용한 차량 검출 및 차량 번호 인식 기술을 활용한 주차 관제 시스템을 제공하는 것이다.Accordingly, in order to solve the above problems, the present invention is a PTZ camera that can secure parking space by establishing an unmanned on-road settlement system in local governments and creating on-street parking lots of a certain size, and eliminate the waste of administrative power and parking stress due to parking management. It provides a parking control system using vehicle detection and license plate recognition technology.

또한, 본 발명의 또 다른 목적은 주차 정보 안내 시스템을 통해 고객들에게 지역 내 주차장의 위치 정보와, 주차장 별 주차칸 여유 갯수 정보를 제공함으로써 고객들의 주차 시간을 단축하고 고객들의 주차 스트레스를 줄일 수 있는 PTZ 카메라를 이용한 차량 검출 및 차량 번호 인식 기술을 활용한 주차 관제 시스템을 제공하는 것이다.In addition, another purpose of the present invention is to provide customers with location information of parking lots in the area and information about the number of available parking spaces for each parking lot to customers through a parking information guidance system, thereby shortening customers' parking time and reducing customers' parking stress. It provides a parking control system using vehicle detection and license plate recognition technology using PTZ cameras.

또, 본 발명의 또 다른 목적은 고객들에게 명확한 주차 정보를 바탕으로 주차를 유도함으로써 고객들의 주차 스트레스와, 주차 공간 찾기에 낭비되는 연료 소모를 줄일 수 있는 PTZ 카메라를 이용한 차량 검출 및 차량 번호 인식 기술을 활용한 주차 관제 시스템을 제공하는 것이다.Another purpose of the present invention is vehicle detection and license plate recognition technology using a PTZ camera to reduce customers' parking stress and fuel consumption wasted in finding parking spaces by encouraging customers to park based on clear parking information. The goal is to provide a parking control system utilizing .

또, 본 발명의 또 다른 목적은 설치 공간을 적게 차지하는 주차장 요금 정산 시스템을 제공함으로써 협소한 주차 공간을 최대한 효과적으로 활용할 수 있는 PTZ 카메라를 이용한 차량 검출 및 차량 번호 인식 기술을 활용한 주차 관제 시스템을 제공하는 것이다.In addition, another object of the present invention is to provide a parking control system using vehicle detection and license plate recognition technology using a PTZ camera that can utilize narrow parking spaces as effectively as possible by providing a parking lot fee settlement system that occupies a small installation space. It is done.

또, 본 발명의 또 다른 목적은 고객의 주차 요금 미납시 관내 주차 미납 정산 시스템과 연계되어 미납된 주차 요금을 수납 및 회수할 수 있는 PTZ 카메라를 이용한 차량 검출 및 차량 번호 인식 기술을 활용한 주차 관제 시스템을 제공하는 것이다.In addition, another object of the present invention is parking control using vehicle detection and vehicle number recognition technology using a PTZ camera that can store and recover unpaid parking fees in connection with the parking unpaid settlement system in the district when the customer does not pay the parking fee. To provide a system.

상기 목적을 달성하기 위한 본 발명에 따른 PTZ 카메라를 이용한 차량 검출 및 차량 번호 인식 기술을 활용한 주차 관제 시스템은 팬(Pan), 틸트(Tilt), 줌(Zoom) 기능이 갖추어진 카메라로서 주차장 내 주차 공간을 촬영하는 PTZ 카메라(1)와; PTZ 카메라(1)를 제어하는 PTZ 카메라 제어 모듈(2); 상기 PTZ 카메라 제어 모듈(2)을 통해 PTZ 카메라(1)를 통해 촬영된 영상을 전송받고 촬영 영상에 딥러닝 기술을 적용하여 주차칸 내 주차 차량의 유무와, 촬영 영상 내 주차 차량의 위치 정보, 주차 차량의 차량 번호를 검출하는 영상 처리 및 분석부(3); 상기 영상 처리 및 분석부(3)와 연계되어 촬영 영상 내 주차칸에 주차 차량이 검출된 경우 주차 차량의 입차 시간과, 촬영 영상 내 주차 차량의 위치 정보, 주차 차량의 차량 번호가 포함된 입차 기록 정보를 데이터 베이스(5)에 저장하며, 상기 입차 기록 정보에 저장된 영상 내 주차 차량의 위치에 주차 차량의 위치와 맞대응되는 차량 번호가 인식되는지 여부와, 차량 주차 유무를 상시 판단하여 출차 여부를 판단하고, 출차 차량의 출차 시간과, 출차 차량의 차량 번호, 출차 차량이 주차되어 있던 주차칸의 위치 정보가 포함된 출차 기록 정보를 데이터 베이스(5)에 저장하는 입차 출차 검출부(4); 상기 데이터 베이스(5)에 저장된 입차 기록 정보와 출차 기록 정보를 조회하여 특정 차량 번호 차량의 주차 시간을 계산하고, 계산된 주차 시간에 따라 주차 요금을 계산하며 특정 차량 번호 차량의 소유주로부터 주차 요금을 수납받는 무인 정산기(6); 및 상기 무인 정산기(6)와 연계되어 현재 주차장의 입차 출차 상태와, 주차 요금 수납 상태를 관리 및 모니터링하는 주차 관제 컴퓨터(7)을 포함한다. 상기 영상 처리 및 분석부(3)는 촬영 영상을 분석하여 영상 내 주차칸과 차량을 인식하고 특정 주차칸 내 차량의 주차 유무를 검출하는 주차칸 내 차량 검출부(31)와, 상기 주차칸 내 차량 검출부(31)에 의해 검출된 주차 차량의 영상 내 위치 좌표를 검출하는 주차 차량 위치 좌표 검출부(32), 및 촬영 영상에 CNN(Convolutional Neural Network) 알고리즘을 적용하여 촬영 영상 내 차량 번호판을 추출하고 ANN(Artificial Neural Network) 문자 인식기를 이용하여 추출된 차량 번호판 내 차량 번호를 인식하는 차량 번호판 추출 및 번호 인식부(34)를 포함한다. 또한, 본 발명은 주차장 내 안전과 사고 발생시 증거 확보를 위해 주차 공간을 촬영하는 보안 및 모니터링 CCTV(8)와, 상기 보안 및 모니터링 CCTV(8)에 의해 촬영된 영상을 저장하는 네트워크 비디오 레코더(9)(NVR: Network Video Recorder)를 더 포함하고, 상기 무인 정산기(6)는 차량의 소유주로부터 카드 결제 또는 QR 코드를 이용하는 결제 사이트와의 연동을 통해 주차 요금을 수납받으며, 상기 무인 정산기(6)별 카드 결제 금액과 QR 코드에 의해 결제된 주차 요금을 정산하는 VAN 및 QR 정산 서버(10)를 더 포함하며, 상기 VAN 및 QR 정산 서버(10)는 결제 대행 서비스를 통해 카드사에 주차 요금 결제를 승인 요청한다. 또, 본 발명은 상기 무인 정산기(6)로부터 차량 번호별 주차 요금 미납 내역을 전송받아 저장하되, 일정 시간이 경과 후 주차 요금 미납 차량 소유자의 무인 정산기(6)를 통한 주차 요금 수납 시 무인 정산기(6)를 통해 주차 요금 미납 내역을 제공하여 미납된 주차 요금을 정산받도록 유도하는 미납 정산 서버(11)를 더 포함하며, 2개 이상의 주차 관제 컴퓨터(7)와 연결되어 주차장별 입차 출차 상태와, 요금 수납 상태를 중앙 관리 및 모니터링하는 통합 주차 관제 서버(12)를 더 포함한다.The parking control system using vehicle detection and vehicle number recognition technology using a PTZ camera according to the present invention to achieve the above purpose is a camera equipped with pan, tilt, and zoom functions, and is installed in the parking lot. A PTZ camera (1) that takes pictures of the parking space; PTZ camera control module (2) that controls the PTZ camera (1); The video captured through the PTZ camera 1 is transmitted through the PTZ camera control module 2, and deep learning technology is applied to the captured video to determine the presence or absence of a parked vehicle in the parking space, location information of the parked vehicle in the captured video, An image processing and analysis unit (3) that detects the license plate number of a parked vehicle; In connection with the image processing and analysis unit 3, when a parked vehicle is detected in a parking space in the captured image, an entry record includes the entry time of the parked vehicle, location information of the parked vehicle in the captured image, and the vehicle number of the parked vehicle. The information is stored in the database 5, and whether the vehicle number corresponding to the location of the parked vehicle is recognized at the location of the parked vehicle in the image stored in the entry record information, and whether the vehicle is parked is always determined to determine whether to leave the vehicle. and an entry/exit detection unit 4 that stores exit record information including the exit time of the exit vehicle, the vehicle number of the exit vehicle, and location information of the parking space in which the exit vehicle was parked, in the database 5; The parking time of a specific license plate number vehicle is calculated by querying the entry and exit record information stored in the database 5, the parking fee is calculated according to the calculated parking time, and the parking fee is collected from the owner of the specific license plate number vehicle. Unmanned payment settlement machine (6); and a parking control computer (7) that is linked to the unmanned payment machine (6) and manages and monitors the current parking lot entry and exit status and parking fee payment status. The image processing and analysis unit 3 includes a vehicle detection unit 31 in a parking slot that analyzes the captured image to recognize parking slots and vehicles in the video and detects whether a vehicle is parked in a specific parking slot, and a vehicle in the parking slot. A parked vehicle position coordinate detection unit 32 detects the location coordinates within the image of the parked vehicle detected by the detection unit 31, and applies a CNN (Convolutional Neural Network) algorithm to the captured image to extract the vehicle license plate from the captured image and ANN (Artificial Neural Network) includes a license plate extraction and number recognition unit 34 that recognizes the vehicle number in the vehicle license plate extracted using a character recognizer. In addition, the present invention includes a security and monitoring CCTV (8) that photographs the parking space for safety in the parking lot and securing evidence in the event of an accident, and a network video recorder (9) that stores the images captured by the security and monitoring CCTV (8). ) (NVR: Network Video Recorder) is further included, and the unmanned pay adjustment machine (6) receives parking fees from the owner of the vehicle through card payment or linkage with a payment site using a QR code, and the unmanned pay pay machine (6) It further includes a VAN and QR settlement server 10 that settles the card payment amount and the parking fee paid by QR code, and the VAN and QR settlement server 10 provides parking fee payment to the card company through a payment agency service. Request approval. In addition, the present invention receives and stores the details of non-payment of parking fees by vehicle number from the unmanned settlement machine (6), and when the parking fee is collected through the unmanned settlement machine (6) by the owner of the unpaid parking fee after a certain period of time, the unmanned settlement machine ( It further includes an unpaid settlement server (11) that provides the details of unpaid parking fees through 6) and induces the unpaid parking fees to be settled, and is connected to two or more parking control computers (7) to check the entry and exit status for each parking lot, It further includes an integrated parking control server 12 that centrally manages and monitors the fee receipt status.

이러한 구성으로 이루어진 본 발명에 따른 PTZ 카메라를 이용한 차량 검출 및 차량 번호 인식 기술을 활용한 주차 관제 시스템은 지자체에 노상 무인 정산 시스템을 구축하고 일정 규모의 노상 주차장을 조성함으로써 주차 공간을 확보할 수 있고 주차 관리에 따른 행정력 낭비와 주차 스트레스를 해소할 수 있다.The parking control system using vehicle detection and license plate recognition technology using a PTZ camera according to the present invention, which has this configuration, can secure parking space by establishing an on-street unmanned settlement system in the local government and creating an on-street parking lot of a certain size. It can eliminate the waste of administrative power and parking stress caused by parking management.

또한, 본 발명은 주차 정보 안내 시스템을 통해 고객들에게 지역 내 주차장 위치 정보와, 주차장 별 주차칸 여유 갯수 정보를 제공함으로써 고객들의 주차 시간을 단축하고 고객들의 주차 스트레스를 줄일 수 있다.In addition, the present invention can shorten customers' parking time and reduce customers' parking stress by providing customers with parking location information in the area and information on the number of available parking slots for each parking lot through a parking information guidance system.

또, 본 발명은 고객들에게 명확한 주차 정보를 바탕으로 주차를 유도함으로써 고객들의 주차 스트레스와, 주차 공간 찾기에 낭비되는 연료 소모를 줄일 수 있다.In addition, the present invention can reduce customers' parking stress and fuel consumption wasted while searching for a parking space by encouraging customers to park based on clear parking information.

또, 본 발명은 설치 공간을 적게 차지하는 주차장 요금 정산 시스템을 제공함으로써 협소한 주차 공간을 최대한 효과적으로 활용할 수 있다.In addition, the present invention provides a parking lot fee settlement system that occupies a small installation space, so that narrow parking spaces can be utilized as effectively as possible.

또, 본 발명은 고객의 주차 요금 미납시 관내 주차 미납 정산 시스템과 연계되어 미납된 주차 요금을 수납 및 회수할 수 있다.In addition, the present invention can store and recover the unpaid parking fee in connection with the parking unpaid settlement system in the district when the customer does not pay the parking fee.

도면 1a와 도면 1b는 주차장에 설치된 PTZ 카메라를 도시한 도면,
도면 2는 본 발명의 제어 블록도,
도면 3은 영상 처리 및 분석부의 제어 블록도,
도면 4a 내지 도면 4e는 차량 번호 인식 과정을 설명하기 위한 도면,
도면 5a는 주차장 내 입차 차량의 인식 과정을 설명하기 위한 플로우 챠트,
도면 5b는 주차장으로부터 출차된 차량의 인식 과정을 설명하기 위한 플로우 챠트,
도면 6은 본 발명에 갖추어진 보안 및 모니터링 CCTV와, 네트워크 비디오 레코더를 설명하기 위한 제어 블록도,
도면 7은 본 발명에 갖추어진 VAN 및 QR 정산 서버와, 미납 정산 서버를 설명하기 위한 도면,
도면 8은 본 발명에 갖추어진 통합 주차 관제 서버를 설명하기 위한 도면.
Drawings 1a and 1b show PTZ cameras installed in a parking lot,
Figure 2 is a control block diagram of the present invention,
Figure 3 is a control block diagram of the image processing and analysis unit,
Figures 4a to 4e are diagrams for explaining the vehicle number recognition process,
Figure 5a is a flow chart to explain the recognition process of vehicles entering the parking lot,
Figure 5b is a flow chart to explain the recognition process of a vehicle taken out of a parking lot,
Figure 6 is a control block diagram for explaining the security and monitoring CCTV and network video recorder equipped with the present invention,
Figure 7 is a diagram for explaining the VAN and QR settlement server and the unpaid settlement server provided in the present invention;
Figure 8 is a diagram for explaining the integrated parking control server provided in the present invention.

이하, 첨부된 도면을 참조하여 본 발명을 자세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the attached drawings.

본 발명에 따른 PTZ 카메라를 이용한 차량 검출 및 차량 번호 인식 기술을 활용한 주차 관제 시스템은 도면 1a 내지 도면 1b 그리고 도면 2에 도시한 바와 같이, 팬(Pan), 틸트(Tilt), 줌(Zoom) 기능이 갖추어진 카메라로서 주차장 내 주차 공간을 촬영하는 PTZ 카메라(1)와; PTZ 카메라(1)를 제어하는 PTZ 카메라 제어 모듈(2); 상기 PTZ 카메라 제어 모듈(2)을 통해 PTZ 카메라(1)를 통해 촬영된 영상을 전송받고 촬영 영상에 딥러닝 기술을 적용하여 주차칸 내 주차 차량의 유무와, 촬영 영상 내 주차 차량의 위치 정보, 주차 차량의 차량 번호를 검출하는 영상 처리 및 분석부(3); 상기 영상 처리 및 분석부(3)와 연계되어 촬영 영상 내 주차칸에 주차 차량이 검출된 경우 주차 차량의 입차 시간과, 촬영 영상 내 주차 차량의 위치 정보, 주차 차량의 차량 번호가 포함된 입차 기록 정보를 데이터 베이스(5)에 저장하며, 상기 입차 기록 정보에 저장된 영상 내 주차 차량의 위치에 주차 차량의 위치와 맞대응되는 차량 번호가 인식되는지 여부와, 차량 주차 유무를 상시 판단하여 출차 여부를 판단하고, 출차 차량의 출차 시간과, 출차 차량의 차량 번호, 출차 차량이 주차되어 있던 주차칸의 위치 정보가 포함된 출차 기록 정보를 데이터 베이스(5)에 저장하는 입차 출차 검출부(4); 상기 데이터 베이스(5)에 저장된 입차 기록 정보와 출차 기록 정보를 조회하여 특정 차량 번호 차량의 주차 시간을 계산하고, 계산된 주차 시간에 따라 주차 요금을 계산하며 특정 차량 번호 차량의 소유주로부터 주차 요금을 수납받는 무인 정산기(6); 및 상기 무인 정산기(6)와 연계되어 현재 주차장의 입차 출차 상태와, 주차 요금 수납 상태를 관리 및 모니터링하는 주차 관제 컴퓨터(7)을 포함한다.The parking control system utilizing vehicle detection and vehicle number recognition technology using a PTZ camera according to the present invention includes pan, tilt, and zoom functions, as shown in Figures 1a to 1b and Figure 2. A PTZ camera (1), which is a functional camera that takes pictures of the parking space in the parking lot; PTZ camera control module (2) that controls the PTZ camera (1); The video captured through the PTZ camera 1 is transmitted through the PTZ camera control module 2, and deep learning technology is applied to the captured video to determine the presence or absence of a parked vehicle in the parking space, location information of the parked vehicle in the captured video, An image processing and analysis unit (3) that detects the license plate number of a parked vehicle; In connection with the image processing and analysis unit 3, when a parked vehicle is detected in a parking space in the captured image, an entry record includes the entry time of the parked vehicle, location information of the parked vehicle in the captured image, and the vehicle number of the parked vehicle. The information is stored in the database 5, and whether the vehicle number corresponding to the location of the parked vehicle is recognized at the location of the parked vehicle in the image stored in the entry record information, and whether the vehicle is parked is always determined to determine whether to leave the vehicle. and an entry/exit detection unit 4 that stores exit record information including the exit time of the exit vehicle, the vehicle number of the exit vehicle, and location information of the parking space in which the exit vehicle was parked, in the database 5; The parking time of a specific license plate number vehicle is calculated by querying the entry and exit record information stored in the database 5, the parking fee is calculated according to the calculated parking time, and the parking fee is collected from the owner of the specific license plate number vehicle. Unmanned payment settlement machine (6); and a parking control computer (7) that is linked to the unmanned payment machine (6) and manages and monitors the current parking lot entry and exit status and parking fee payment status.

또한, 본 발명은 도면 2에 도시한 바와 같이, 주차장 내 주차 가능한 구역을 안내함과 더불어, 주차 요금 정산 시 미납 내역을 안내하는 안내 전광판(13)을 더 포함한다.In addition, as shown in Figure 2, the present invention further includes an information board 13 that guides the parking area in the parking lot and informs the details of unpaid parking fees when settling the parking fee.

상기 영상 처리 및 분석부(3)는 도면 3에 도시한 바와 같이, 촬영 영상을 분석하여 영상 내 주차칸과 차량을 인식하고 특정 주차칸 내 차량의 주차 유무를 검출하는 주차칸 내 차량 검출부(31)와, 상기 주차칸 내 차량 검출부(31)에 의해 검출된 주차 차량의 영상 내 위치 좌표를 검출하는 주차 차량 위치 좌표 검출부(32), 및 촬영 영상에 CNN(Convolutional Neural Network) 알고리즘을 적용하여 촬영 영상 내 차량 번호판을 추출하고 ANN(Artificial Neural Network) 문자 인식기를 이용하여 추출된 차량 번호판 내 차량 번호를 인식하는 차량 번호판 추출 및 번호 인식부(34)를 포함한다.As shown in Figure 3, the image processing and analysis unit 3 is a vehicle detection unit 31 in a parking space that analyzes the captured image, recognizes the parking space and the vehicle in the image, and detects whether the vehicle is parked in a specific parking space. ), a parked vehicle position coordinate detection unit 32 that detects the position coordinates in the image of the parked vehicle detected by the vehicle detection unit 31 in the parking space, and a CNN (Convolutional Neural Network) algorithm is applied to the captured image to capture the image. It includes a license plate extraction and number recognition unit 34 that extracts the license plate number from the image and recognizes the vehicle number plate within the extracted vehicle license plate using an artificial neural network (ANN) character recognizer.

상기 주차칸 내 차량 검출부(31)는 도면 4a와 도면 4b에 도시한 바와 같이, 촬영 영상 내에서 인식된 차량을 경계 박스(Bounding Box)로 표시하고, 상기 경계 박스의 중심점이 특정 주차칸 내에 있는지 판단하여 특정 주차칸 내 차량의 주차 유무를 판단한다.As shown in Figures 4a and 4b, the vehicle detection unit 31 in the parking space displays the vehicle recognized in the captured image as a bounding box, and determines whether the center point of the bounding box is within a specific parking space. It determines whether or not a vehicle can be parked in a specific parking space.

상기 주차칸 내 차량 검출부(31)는 딥러닝 알고리즘을 이용하여 이미지 프레임에서 차량을 검출하고 검출된 차량을 경계 박스로 표시하되, 상기 딥러닝 알고리즘은 YOLOv4(You Only Look Once, Version 4)를 사용한다.The vehicle detection unit 31 in the parking space detects a vehicle in an image frame using a deep learning algorithm and displays the detected vehicle as a bounding box. The deep learning algorithm uses YOLOv4 (You Only Look Once, Version 4). do.

상기 차량 검출은 이미지 프레임에서 객체인 차량을 찾아내는 것으로, 경계 박스는 도면 4b에 도시한 바와 같이, 이미지 프레임 내에서 점선의 직사각형으로 표현된다.The vehicle detection involves finding a vehicle, which is an object, in an image frame, and the bounding box is expressed as a dotted rectangle within the image frame, as shown in Figure 4b.

상기 주차칸 내 차량 검출부(31)는 촬영 영상 내에서 인식된 차량을 경계 박스(Bounding Box)로 표시한다.The vehicle detection unit 31 in the parking space displays the vehicle recognized in the captured image as a bounding box.

상기 영상 처리 및 분석부(3)는 PTZ 카메라(1)에 의해 촬영된 이미지 프레임에서 검출된 차량을 경계 박스로 표시하며, 영상 내 경계 박스의 위치 좌표를 계산하여 특정 주차칸 내 차량의 주차 유무와, 주차 차량의 영상 내 위치 좌표를 검출하고, 경계 박스의 하부 좌측 모서리 영역이나, 하부 우측 모서리 영역에서 차량 번호판을 추출하고 추출된 차량 번호판에서 차량 번호를 인식해낸다.The image processing and analysis unit 3 displays the vehicle detected in the image frame captured by the PTZ camera 1 as a bounding box, and calculates the position coordinates of the bounding box in the image to determine whether the vehicle is parked in a specific parking space. Wow, the location coordinates in the image of the parked vehicle are detected, the vehicle license plate is extracted from the lower left corner area or the lower right corner area of the bounding box, and the vehicle license plate number is recognized from the extracted vehicle license plate.

상기 차량 번호판 추출 및 번호 인식부(34)는 도면 4d와 도면 4e에 도시한 바와 같이, 상기 경계 박스의 좌우측 하부 모서리 영역을 일정 배율 확대하여 경계 박스의 좌측 하부 모서리나 우측 하부 모서리에 위치한 차량의 번호판 영역을 추출하고, 추출된 차량 번호판 영역에서 차량 번호를 인식한다.As shown in Figures 4d and 4e, the vehicle license plate extraction and number recognition unit 34 enlarges the lower left and right corner areas of the bounding box by a certain magnification to identify the vehicle located at the lower left corner or lower right corner of the bounding box. The license plate area is extracted, and the vehicle number is recognized from the extracted vehicle license plate area.

본 발명이 동작되는 과정을 도면 5a 내지 도면 5b를 참고하여 설명하면 다음과 같다.The process of operating the present invention will be described with reference to Figures 5a to 5b as follows.

상기 주차칸 내 차량 검출부(31)는 촬영 영상 내 주차 구역을 탐색하여 차량을 검출하되 차량이 검출되지 않으면 탐색 과정을 반복하여 차량을 검출한다.(S1,S2,S3)The vehicle detection unit 31 in the parking space searches the parking area in the captured image to detect the vehicle. If the vehicle is not detected, the search process is repeated to detect the vehicle (S1, S2, S3).

또한, 상기 주차칸 내 차량 검출부(31)는 촬영 영상 내에서 검출된 차량을 경계 박스로 표시한다.(S2)Additionally, the vehicle detection unit 31 in the parking space displays the vehicle detected in the captured image as a boundary box (S2).

한편, 주차 구역 내 차량이 탐색되었을 경우 상기 주차 차량 위치 좌표 검출부(32)는 경계 박스의 중심점을 계산하여 촬영 영상 내 차량의 위치 좌표를 계산하고 주차 차량이 주차칸에 있는지 확인한다.(S4)Meanwhile, when a vehicle in the parking area is searched, the parked vehicle position coordinate detection unit 32 calculates the center point of the bounding box, calculates the position coordinates of the vehicle in the captured image, and checks whether the parked vehicle is in the parking space (S4).

다음, 상기 차량 번호판 추출 및 번호 인식부(34)는 경계 박스의 중심점을 토대로 경계 박스 내 차량 번호판 위치를 추정한다.(S5)Next, the license plate extraction and license plate recognition unit 34 estimates the location of the license plate within the bounding box based on the center point of the bounding box (S5).

다음, 상기 차량 번호판 추출 및 번호 인식부(34)는 경계 박스의 일측 하부 모서리를 확대하여 차량 번호판을 인식하되 차량 번호판이 인식되지 않으면 경계 박스의 타측 하부 모서리를 확대하여 차량 번호판을 인식한다.(S6,S7,S8,S9)Next, the license plate extraction and number recognition unit 34 enlarges the lower edge of one side of the bounding box to recognize the vehicle license plate, but if the vehicle license plate is not recognized, it enlarges the other lower edge of the bounding box to recognize the vehicle license plate. ( S6,S7,S8,S9)

상기 차량 번호판을 인식한 차량 번호판 추출 및 번호 인식부(34)는 주차 차량의 입차 시간과, 촬영 영상 내 주차 차량의 위치 정보, 주차 차량의 차량 번호가 포함된 입차 기록 정보를 데이터 베이스(5)에 저장한다.(S10)The vehicle license plate extraction and number recognition unit 34, which recognizes the vehicle license plate, stores entry time of the parked vehicle, location information of the parked vehicle in the captured image, and entry record information including the vehicle number of the parked vehicle into the database 5. Save it in (S10)

상기 차량 번호판 추출 및 번호 인식부(34)는 경계 박스의 양측 하부 모서리에서 차량 번호판이 인식되지 않으면, 해당 차량을 차량 번호판 미인식 차량으로 처리한다.(S11)If the license plate extraction and number recognition unit 34 does not recognize the license plate at both lower corners of the boundary box, it processes the vehicle as a vehicle whose license plate is not recognized (S11).

한편, 상기 차량 번호판 추출 및 번호 인식부(34)는 도면 5b에 도시한 바와 같이, 출차 차량을 감지하기 위해 입차 기록 정보에 포함된 주차 차량의 위치 정보를 조회한다.(S12)Meanwhile, the vehicle license plate extraction and number recognition unit 34 searches for the location information of the parked vehicle included in the entry record information to detect the exit vehicle, as shown in Figure 5b (S12).

다음, 촬영 영상 내 입차 기록 정보에 저장된 주차 차량의 위치에서 차량 검출 후 경계 박스의 양측 하부 모서리를 확대하여 차량 번호판을 인식한다.(S13,S14)Next, after detecting the vehicle at the location of the parked vehicle stored in the parking record information in the captured video, the lower corners on both sides of the boundary box are enlarged to recognize the vehicle license plate (S13, S14).

이때, 인식된 차량 번호가 입차 기록 정보와 일치한다면, 상기 차량 번호판 추출 및 번호 인식부(34)는 해당 차량이 입차를 유지하고 있다고 판단한다.(S15,S16)At this time, if the recognized vehicle number matches the entry record information, the vehicle license plate extraction and number recognition unit 34 determines that the vehicle is maintaining entry (S15, S16).

한편, 촬영 영상 내 입차 기록 정보에 저장된 주차 차량의 위치에서 차량 번호판이 인식되지 않을 경우 상기 PTZ 카메라 제어 모듈(2)은 차량 번호판 추출 및 번호 인식부(34)의 제어 신호에 따라 PTZ 카메라(1)의 줌 렌즈를 줌 아웃시키고 상기 영상 처리 및 분석부(3)는 입차 기록 정보에 저장된 주차 차량의 위치에 차량이 검출되는지 확인한다.(S15,S17)Meanwhile, if the vehicle license plate is not recognized at the location of the parked vehicle stored in the parking record information in the captured video, the PTZ camera control module 2 extracts the vehicle license plate and extracts the PTZ camera 1 according to the control signal from the number recognition unit 34. ) zooms out the zoom lens, and the image processing and analysis unit 3 checks whether the vehicle is detected at the location of the parked vehicle stored in the entrance record information (S15, S17).

이때, 입차 기록 정보에 저장된 주차 차량의 위치에서 상기 영상 처리 및 분석부(3)에 의해 차량이 검출되었다면, 상기 입차 출차 검출부(4)는 해당 차량이 입차를 유지하고 있다고 판단한다.(S18,S19,S16)At this time, if the vehicle is detected by the image processing and analysis unit 3 at the position of the parked vehicle stored in the entry record information, the entry/exit detection unit 4 determines that the vehicle is maintaining entry. (S18, S19,S16)

반면, 상기 입차 출차 검출부(4)는 촬영 영상 내 입차 기록 정보에 저장된 주차 차량의 위치에서 차량 번호판과 차량이 검출되지 않았을 경우 해당 차량이 출차 되었음을 인식하여 출차 차량의 출차 시간과, 출차 차량의 차량 번호, 출차 차량이 주차되어 있던 주차칸의 위치 정보가 포함된 출차 기록 정보를 데이터 베이스(5)에 저장한다.(S19,S20)On the other hand, when the vehicle license plate and vehicle are not detected at the location of the parked vehicle stored in the entry/exit record information in the captured image, the entry/exit detection unit 4 recognizes that the vehicle has been exited, determines the exit time of the exit vehicle, and the vehicle of the exit vehicle. The exit record information, including the number and location information of the parking space where the exit vehicle was parked, is stored in the database (5) (S19, S20).

또한, 본 발명은 도면 6에 도시한 바와 같이, 주차장 내 안전과 사고 발생시 증거 확보를 위해 주차 공간을 촬영하는 보안 및 모니터링 CCTV(8)와, 상기 보안 및 모니터링 CCTV(8)에 의해 촬영된 영상을 저장하는 네트워크 비디오 레코더(9)(NVR: Network Video Recorder)를 더 포함한다.In addition, as shown in Figure 6, the present invention includes a security and monitoring CCTV (8) that photographs the parking space for safety in the parking lot and securing evidence in the event of an accident, and an image captured by the security and monitoring CCTV (8). It further includes a network video recorder (9) (NVR: Network Video Recorder) that stores.

상기 무인 정산기(6)는 도면 7에 도시한 바와 같이, 차량의 소유주로부터 카드 결제 또는 QR 코드를 이용하는 결제 사이트와의 연동을 통해 주차 요금을 수납받으며, 본 발명은 상기 무인 정산기(6)별 카드 결제 금액과 QR 코드에 의해 결제된 주차 요금을 정산하는 VAN 및 QR 정산 서버(10)를 더 포함한다.As shown in Figure 7, the unmanned payment settlement machine 6 receives parking fees from the owner of the vehicle through card payment or linkage with a payment site using a QR code. The present invention provides a card for each unmanned payment settlement machine 6. It further includes a VAN and QR settlement server 10 that settles the payment amount and the parking fee paid by QR code.

상기 VAN 및 QR 정산 서버(10)는 결제 대행 서비스를 통해 카드사에 주차 요금 결제를 승인 요청한다.The VAN and QR settlement server 10 requests parking fee payment approval from the card company through a payment agency service.

상기 무인 정산기(6)로부터 차량 번호별 주차 요금 미납 내역을 전송받아 저장하되, 일정 시간이 경과 후 주차 요금 미납 차량 소유자의 무인 정산기(6)를 통한 주차 요금 수납 시 무인 정산기(6)를 통해 주차 요금 미납 내역을 제공하여 미납된 주차 요금을 정산받도록 유도하는 미납 정산 서버(11)를 더 포함한다.The unpaid parking fee details for each vehicle number are transmitted and stored from the unmanned pay adjustment machine (6), and when the parking fee is collected through the unmanned pay adjustment machine (6) by the owner of the vehicle for which the parking fee has not been paid after a certain period of time, the parking fee is parked through the unmanned pay adjustment machine (6). It further includes a non-payment settlement server 11 that provides non-payment details and induces settlement of unpaid parking fees.

또한, 본 발명은 도면 8에 도시한 바와 같이, 2개 이상의 주차 관제 컴퓨터(7)와 연결되어 주차장별 입차 출차 상태와, 요금 수납 상태를 중앙 관리 및 모니터링하는 통합 주차 관제 서버(12)를 더 포함한다.In addition, as shown in Figure 8, the present invention further includes an integrated parking control server 12 that is connected to two or more parking control computers 7 and centrally manages and monitors the entry and exit status for each parking lot and the fee collection status. Includes.

상기 통합 주차 관제 서버(12)는 통신망을 통해 주차장별 위치 정보와, 주차장별 주차칸 여유 갯수 정보를 단말기에 실시간으로 제공한다.The integrated parking control server 12 provides location information for each parking lot and information on the number of available parking slots for each parking lot to the terminal in real time through a communication network.

이러한 구성으로 이루어진 본 발명에 따른 PTZ 카메라를 이용한 차량 검출 및 차량 번호 인식 기술을 활용한 주차 관제 시스템은 지자체에 노상 무인 정산 시스템을 구축하고 일정 규모의 노상 주차장을 조성함으로써 주차 공간을 확보할 수 있고 주차 관리에 따른 행정력 낭비와 주차 스트레스를 해소할 수도 있다.The parking control system using vehicle detection and license plate recognition technology using a PTZ camera according to the present invention, which has this configuration, can secure parking space by establishing an on-street unmanned settlement system in the local government and creating an on-street parking lot of a certain size. It can also eliminate the waste of administrative power and parking stress caused by parking management.

또한, 본 발명은 주차 정보 안내 시스템을 통해 고객들에게 지역 내 주차장 위치 정보와, 주차장 별 주차칸 여유 갯수 정보를 제공함으로써 고객들의 주차 시간을 단축하고 고객들의 주차 스트레스를 줄일 수 있다.In addition, the present invention can shorten customers' parking time and reduce customers' parking stress by providing customers with parking location information in the area and information on the number of available parking slots for each parking lot through a parking information guidance system.

또, 본 발명은 고객들에게 명확한 주차 정보를 바탕으로 주차를 유도함으로써 고객들의 주차 스트레스와, 주차 공간 찾기에 낭비되는 연료 소모를 줄일 수 있다.In addition, the present invention can reduce customers' parking stress and fuel consumption wasted while searching for a parking space by encouraging customers to park based on clear parking information.

또, 본 발명은 설치 공간을 적게 차지하는 주차장 요금 정산 시스템을 제공함으로써 협소한 주차 공간을 최대한 효과적으로 활용할 수 있다.In addition, the present invention provides a parking lot fee settlement system that occupies a small installation space, so that narrow parking spaces can be utilized as effectively as possible.

또, 본 발명은 고객의 주차 요금 미납시 관내 주차 미납 정산 시스템과 연계되어 미납된 주차 요금을 수납 및 회수할 수 있다.In addition, the present invention can store and recover the unpaid parking fee in connection with the parking unpaid settlement system in the district when the customer does not pay the parking fee.

1. PTZ 카메라 2. PTZ 카메라 제어 모듈
3. 영상 처리 및 분석부 31. 주차칸 내 차량 검출부
32. 주차 차량 위치 좌표 검출부 34. 차량 번호판 추출 및 번호 인식부
4. 입차 출차 검출부 5. 데이터 베이스
6. 무인 정산기 7. 주차 관제 컴퓨터
8. 보안 및 모니터링 CCTV 9. 네트워크 비디오 레코더
10. VAN 및 QR 정산 서버 11. 미납 정산 서버
12. 통합 주차 관제 서버
1. PTZ camera 2. PTZ camera control module
3. Image processing and analysis unit 31. Vehicle detection unit in parking space
32. Parked vehicle location coordinate detection unit 34. Vehicle license plate extraction and number recognition unit
4. Vehicle entry/exit detection unit 5. Database
6. Unmanned payment machine 7. Parking control computer
8. Security and monitoring CCTV 9. Network video recorder
10. VAN and QR settlement server 11. Non-payment settlement server
12. Integrated parking control server

Claims (4)

팬(Pan), 틸트(Tilt), 줌(Zoom) 기능이 갖추어진 카메라로서 주차장 내 주차 공간을 촬영하는 PTZ 카메라(1)와;
PTZ 카메라(1)를 제어하는 PTZ 카메라 제어 모듈(2);
상기 PTZ 카메라 제어 모듈(2)을 통해 PTZ 카메라(1)를 통해 촬영된 영상을 전송받고 촬영 영상에 딥러닝 기술을 적용하여 주차칸 내 주차 차량의 유무와, 촬영 영상 내 주차 차량의 위치 정보, 주차 차량의 차량 번호를 검출하는 영상 처리 및 분석부(3);
상기 영상 처리 및 분석부(3)와 연계되어 촬영 영상 내 주차칸에 주차 차량이 검출된 경우 주차 차량의 입차 시간과, 촬영 영상 내 주차 차량의 위치 정보, 주차 차량의 차량 번호가 포함된 입차 기록 정보를 데이터 베이스(5)에 저장하며, 상기 입차 기록 정보에 저장된 영상 내 주차 차량의 위치에 주차 차량의 위치와 맞대응되는 차량 번호가 인식되는지 여부와, 차량 주차 유무를 상시 판단하여 출차 여부를 판단하고, 출차 차량의 출차 시간과, 출차 차량의 차량 번호, 출차 차량이 주차되어 있던 주차칸의 위치 정보가 포함된 출차 기록 정보를 데이터 베이스(5)에 저장하는 입차 출차 검출부(4);
상기 데이터 베이스(5)에 저장된 입차 기록 정보와 출차 기록 정보를 조회하여 특정 차량 번호 차량의 주차 시간을 계산하고, 계산된 주차 시간에 따라 주차 요금을 계산하며 특정 차량 번호 차량의 소유주로부터 주차 요금을 수납받는 무인 정산기(6);
및 상기 무인 정산기(6)와 연계되어 현재 주차장의 입차 출차 상태와, 주차 요금 수납 상태를 관리 및 모니터링하는 주차 관제 컴퓨터(7)를 포함하고,
상기 영상 처리 및 분석부(3)는 촬영 영상을 분석하여 영상 내 주차칸과 차량을 인식하고 특정 주차칸 내 차량의 주차 유무를 검출하는 주차칸 내 차량 검출부(31)와,
상기 주차칸 내 차량 검출부(31)에 의해 검출된 주차 차량의 영상 내 위치 좌표를 검출하는 주차 차량 위치 좌표 검출부(32),
및 촬영 영상에 CNN(Convolutional Neural Network) 알고리즘을 적용하여 촬영 영상 내 차량 번호판을 추출하고 ANN(Artificial Neural Network) 문자 인식기를 이용하여 추출된 차량 번호판 내 차량 번호를 인식하는 차량 번호판 추출 및 번호 인식부(34)를 포함하며,
주차장 내 안전과 사고 발생시 증거 확보를 위해 주차 공간을 촬영하는 보안 및 모니터링 CCTV(8)와,
상기 보안 및 모니터링 CCTV(8)에 의해 촬영된 영상을 저장하는 네트워크 비디오 레코더(9)(NVR: Network Video Recorder)를 더 포함하고,
상기 무인 정산기(6)는 차량의 소유주로부터 카드 결제 또는 QR 코드를 이용하는 결제 사이트와의 연동을 통해 주차 요금을 수납받으며,
상기 무인 정산기(6)별 카드 결제 금액과 QR 코드에 의해 결제된 주차 요금을 정산하는 VAN 및 QR 정산 서버(10)를 더 포함하고,
상기 VAN 및 QR 정산 서버(10)는 결제 대행 서비스를 통해 카드사에 주차 요금 결제를 승인 요청하며,
상기 무인 정산기(6)로부터 차량 번호별 주차 요금 미납 내역을 전송받아 저장하되, 일정 시간이 경과 후 주차 요금 미납 차량 소유자의 무인 정산기(6)를 통한 주차 요금 수납 시 무인 정산기(6)를 통해 주차 요금 미납 내역을 제공하여 미납된 주차 요금을 정산받도록 유도하는 미납 정산 서버(11)를 더 포함하며,
2개 이상의 주차 관제 컴퓨터(7)와 연결되어 주차장별 입차 출차 상태와, 요금 수납 상태를 중앙 관리 및 모니터링하는 통합 주차 관제 서버(12)를 더 포함하고,
주차장 내 주차 가능한 구역을 안내함과 더불어 주차 요금 정산 시 미납 내역을 안내하는 안내 전광판(13)을 더 포함하며,
상기 주차칸 내 차량 검출부(31)는 촬영 영상 내에서 인식된 차량을 경계 박스(Bounding Box)로 표시하고,
상기 경계 박스의 중심점이 특정 주차칸 내에 있는지 판단하여 특정 주차칸 내 차량의 주차 유무를 판단하며,
상기 주차칸 내 차량 검출부(31)는 딥러닝 알고리즘을 이용하여 이미지 프레임에서 차량을 검출하고 검출된 차량을 경계 박스로 표시하되, 상기 딥러닝 알고리즘은 YOLOv4(You Only Look Once, Version 4)를 사용하고,
상기 영상 처리 및 분석부(3)는 영상 내 경계 박스의 위치 좌표를 계산하여 주차 차량의 영상 내 위치 좌표를 검출하며, 경계 박스의 하부 좌측 모서리 영역이나, 하부 우측 모서리 영역에서 차량 번호판을 추출하고, 추출된 차량 번호판에서 차량 번호를 인식하며,
상기 차량 번호판 추출 및 번호 인식부(34)는 상기 경계 박스의 하부 좌측 모서리 영역이나, 하부 우측 모서리 영역을 일정 배율 확대하여 경계 박스의 좌측 하부 모서리나 우측 하부 모서리에 위치한 차량의 번호판 영역을 추출하고, 추출된 차량 번호판 영역에서 차량 번호를 인식하며,
상기 통합 주차 관제 서버(12)는 통신망을 통해 주차장별 위치 정보와, 주차장별 주차칸 여유 갯수 정보를 단말기에 실시간으로 제공하는 것을 특징으로 하는 PTZ 카메라를 이용한 차량 검출 및 차량 번호 인식 기술을 활용한 주차 관제 시스템.
A PTZ camera (1) equipped with pan, tilt, and zoom functions that takes pictures of parking spaces in a parking lot;
PTZ camera control module (2) that controls the PTZ camera (1);
The video captured through the PTZ camera 1 is transmitted through the PTZ camera control module 2, and deep learning technology is applied to the captured video to determine the presence or absence of a parked vehicle in the parking space, location information of the parked vehicle in the captured video, An image processing and analysis unit (3) that detects the license plate number of a parked vehicle;
In connection with the image processing and analysis unit 3, when a parked vehicle is detected in a parking space in the captured image, an entry record includes the entry time of the parked vehicle, location information of the parked vehicle in the captured image, and the vehicle number of the parked vehicle. The information is stored in the database 5, and whether the vehicle number corresponding to the location of the parked vehicle is recognized at the location of the parked vehicle in the image stored in the entry record information, and whether the vehicle is parked is always determined to determine whether to leave the vehicle. and an entry/exit detection unit 4 that stores exit record information including the exit time of the exit vehicle, the vehicle number of the exit vehicle, and location information of the parking space in which the exit vehicle was parked, in the database 5;
The parking time of a specific license plate number vehicle is calculated by querying the entry and exit record information stored in the database 5, the parking fee is calculated according to the calculated parking time, and the parking fee is collected from the owner of the specific license plate number vehicle. Unmanned payment settlement machine (6);
And a parking control computer (7) that is linked to the unmanned payment machine (6) and manages and monitors the current parking lot entry and exit status and parking fee payment status,
The image processing and analysis unit 3 includes a vehicle detection unit 31 in a parking space that analyzes the captured image to recognize the parking space and the vehicle in the image and detects whether the vehicle is parked in a specific parking space;
A parked vehicle position coordinate detection unit 32 that detects the position coordinates in the image of the parked vehicle detected by the vehicle detection unit 31 in the parking space,
and a vehicle license plate extraction and number recognition unit that applies a CNN (Convolutional Neural Network) algorithm to the captured image to extract the vehicle license plate in the captured image and recognizes the vehicle number in the extracted vehicle license plate using an ANN (Artificial Neural Network) character recognizer. Contains (34),
Security and monitoring CCTV (8) that takes pictures of the parking space to ensure safety in the parking lot and secure evidence in case of an accident,
It further includes a network video recorder (9) (NVR: Network Video Recorder) that stores images captured by the security and monitoring CCTV (8),
The unmanned payment machine 6 receives parking fees from the vehicle owner through card payment or linkage with a payment site using a QR code,
It further includes a VAN and QR settlement server (10) that settles the card payment amount for each unmanned settlement machine (6) and the parking fee paid by QR code,
The VAN and QR settlement server 10 requests parking fee payment approval from the card company through a payment agency service,
The unpaid parking fee details for each vehicle number are received and stored from the unmanned pay adjustment machine (6), and when the parking fee is collected through the unmanned pay adjuster (6) by the owner of the vehicle whose parking fee has not been paid after a certain period of time, the parking fee is parked through the unmanned pay adjuster (6). It further includes an unpaid settlement server 11 that provides unpaid fee details and induces settlement of unpaid parking fees,
It further includes an integrated parking control server (12) that is connected to two or more parking control computers (7) to centrally manage and monitor the entry and exit status for each parking lot and the fee receipt status,
In addition to providing guidance on available parking areas in the parking lot, it further includes an information board (13) that provides information on non-payment details when parking fees are settled.
The vehicle detection unit 31 in the parking space displays the vehicle recognized in the captured image as a bounding box,
Determine whether or not the vehicle is parked in a specific parking space by determining whether the center point of the bounding box is within a specific parking space,
The vehicle detection unit 31 in the parking space detects a vehicle in an image frame using a deep learning algorithm and displays the detected vehicle as a bounding box. The deep learning algorithm uses YOLOv4 (You Only Look Once, Version 4). do,
The image processing and analysis unit 3 calculates the position coordinates of the bounding box in the image, detects the position coordinates in the image of the parked vehicle, extracts the vehicle license plate from the lower left corner area or the lower right corner area of the bounding box, , recognize the vehicle number from the extracted vehicle license plate,
The vehicle license plate extraction and number recognition unit 34 enlarges the lower left corner area or the lower right corner area of the bounding box by a certain magnification to extract the license plate area of the vehicle located at the lower left corner or lower right corner of the bounding box. , recognize the vehicle number from the extracted vehicle license plate area,
The integrated parking control server 12 utilizes vehicle detection and vehicle number recognition technology using a PTZ camera, which provides location information for each parking lot and information on the number of available parking spaces for each parking lot to the terminal in real time through a communication network. Parking control system.
삭제delete 삭제delete 삭제delete
KR1020230101168A 2023-08-02 2023-08-02 Parking control system using vehicle detection and license plate recognition technology using PTZ camera KR102614194B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230101168A KR102614194B1 (en) 2023-08-02 2023-08-02 Parking control system using vehicle detection and license plate recognition technology using PTZ camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230101168A KR102614194B1 (en) 2023-08-02 2023-08-02 Parking control system using vehicle detection and license plate recognition technology using PTZ camera

Publications (1)

Publication Number Publication Date
KR102614194B1 true KR102614194B1 (en) 2023-12-15

Family

ID=89124850

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230101168A KR102614194B1 (en) 2023-08-02 2023-08-02 Parking control system using vehicle detection and license plate recognition technology using PTZ camera

Country Status (1)

Country Link
KR (1) KR102614194B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100751498B1 (en) 2006-08-28 2007-08-22 주식회사 넥스파시스템 Unattended fare adjustment system of on-street parking lot and method thereof
KR20190046616A (en) * 2017-10-25 2019-05-07 주식회사 지엠케이정보통신 Parking management system using intelligent image analysis and management method thereof
KR102361507B1 (en) * 2021-05-24 2022-02-14 주식회사 넥스파시스템 Unmanned integrated parking control system for parking space sharing service

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100751498B1 (en) 2006-08-28 2007-08-22 주식회사 넥스파시스템 Unattended fare adjustment system of on-street parking lot and method thereof
KR20190046616A (en) * 2017-10-25 2019-05-07 주식회사 지엠케이정보통신 Parking management system using intelligent image analysis and management method thereof
KR102361507B1 (en) * 2021-05-24 2022-02-14 주식회사 넥스파시스템 Unmanned integrated parking control system for parking space sharing service

Similar Documents

Publication Publication Date Title
CN108765976B (en) Roadside parallel parking information management system and method
USRE38626E1 (en) Parking regulation enforcement system
KR100383870B1 (en) Manless parking control system and manless parking control method
US6081206A (en) Parking regulation enforcement system
JP6588875B2 (en) Parking lot management system
KR102223572B1 (en) Parking management system using intelligent image analysis and management method thereof
JP5046560B2 (en) Parking lot management system and management method thereof
KR100751498B1 (en) Unattended fare adjustment system of on-street parking lot and method thereof
KR100801935B1 (en) Parking management system using LPR and method thereof
US20070046484A1 (en) Electronic parking identification and surveillance system and method
WO2008001714A1 (en) Automatic toll receiving system with no vehicle type judging device
KR20180017434A (en) Parking Management Systems and Methods based Image Processing
KR100895846B1 (en) Parking data producing system and automatic police enforcement system of illegal stopping and parking vehicle
JPH01319898A (en) Toll collecting device
KR101726986B1 (en) Managemnet system of off-street parking by moving vehicle tracking and its method
CN108765975B (en) Roadside vertical parking lot management system and method
KR100993307B1 (en) Parking management system and method
JPH10302102A (en) Toll collection system
CN116092206A (en) Identification and charging system and method for unattended vehicle entering and exiting parking lot
CN111696364A (en) Roadside parking management method
KR100582031B1 (en) Parking lot management system
KR102614194B1 (en) Parking control system using vehicle detection and license plate recognition technology using PTZ camera
JP7401292B2 (en) Parking lot control system, parking lot control method, and program
KR20060114825A (en) Registration number recognition device parking control system
KR200409649Y1 (en) System for finding the position of a parked car

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant