KR20190134018A - Parking control method and system using intelligent CCTV with deep learning based image processing technology - Google Patents
Parking control method and system using intelligent CCTV with deep learning based image processing technology Download PDFInfo
- Publication number
- KR20190134018A KR20190134018A KR1020180059136A KR20180059136A KR20190134018A KR 20190134018 A KR20190134018 A KR 20190134018A KR 1020180059136 A KR1020180059136 A KR 1020180059136A KR 20180059136 A KR20180059136 A KR 20180059136A KR 20190134018 A KR20190134018 A KR 20190134018A
- Authority
- KR
- South Korea
- Prior art keywords
- parking
- unit
- deep learning
- vehicle
- parking space
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 title claims abstract description 31
- 238000005516 engineering process Methods 0.000 title claims abstract description 23
- 238000004458 analytical method Methods 0.000 claims abstract description 56
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 238000004891 communication Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000003702 image correction Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G06Q50/40—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/30—Transportation; Communications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Abstract
Description
본 발명은 기존 주차장 시설에 적용이 용이하면서도 저비용으로 구축이 가능하며 딥러닝(Deep Learning) 기반으로 주차장 내에서의 영상을 분석하여 주차 가능 공간을 산출하고 주차장에서 차량의 진출입을 인식하여 주차 가능 공간 산출에 반영되도록 하여 보다 신뢰도 있는 주차 정보를 제공할 수 있는 딥러닝 기반 영상 처리 기술이 탑재된 지능형 CCTV를 활용한 주차 관제 방법 및 시스템에 관한 것이다.The present invention can be easily applied to existing parking facilities and can be constructed at low cost, and the parking available space can be calculated by analyzing the image in the parking lot based on deep learning and calculating the available parking space and recognizing the entry and exit of the vehicle in the parking lot. The present invention relates to a parking control method and system using intelligent CCTV equipped with deep learning based image processing technology that can be reflected in the calculation to provide more reliable parking information.
지속적인 자동차의 증가로 인해 교통 흐름의 방해 요소는 주차 공간을 찾는 차량으로 인한 경우가 대부분이다. Increasing number of cars is a major impediment to the flow of traffic due to vehicles looking for parking spaces.
이를 해결하기 위해 센서를 통해 주차 공간 정보를 외부 전광판으로 제공하는 IoT 기술 기반의 주차 관리 시스템에 대한 개발이 지속적으로 이루어지고 있다.In order to solve this problem, the development of an IoT technology based parking management system that provides parking space information to an external electronic display through sensors is continuously being made.
그러나 이러한 종래 시스템은 현재 주차장에 진입한 차량에 대한 결과가 반영되지 않아 실시간이라고 보기 힘들고 기존의 주차장에 설치하기 위해 센서 설치 등의 추가 비용이 발생할 수 있다.However, such a conventional system does not reflect the result of the vehicle entering the parking lot, so it is difficult to see it in real time, and additional costs such as the installation of a sensor to install in the existing parking lot may occur.
또한, 기존의 주차 관제 카메라는 영상 전송만을 담당하고 이를 처리하기 위한 고성능 영상 처리 모듈과 서버가 별도로 필요하여 구성이 복잡하고 고비용을 지불해야 한다.In addition, the existing parking control camera is only responsible for image transmission and requires a high performance image processing module and a server separately to process the image, the configuration is complex and requires a high cost.
따라서, 본 발명은 기존 주차장 시설에 적용이 용이하면서도 저비용으로 구축이 가능하며 딥러닝(Deep Learning) 기반으로 주차장 내에서의 영상을 분석하여 주차 가능 공간을 산출하고 주차장에서 차량의 진출입을 인식하여 주차 가능 공간 산출에 반영되도록 하여 보다 신뢰도 있는 주차 정보를 제공할 수 있는 딥러닝 기반 영상 처리 기술이 탑재된 지능형 CCTV를 활용한 주차 관제 방법 및 시스템을 제공하고자 함이다.Therefore, the present invention can be easily applied to existing parking facilities and can be constructed at low cost, and the parking can be calculated by analyzing the image in the parking lot based on deep learning to calculate the available parking space and recognizing the entrance and exit of the vehicle in the parking lot. It is to provide a parking control method and system using intelligent CCTV equipped with deep learning based image processing technology that can be reflected in the calculation of available space to provide more reliable parking information.
상기 목적을 이루기 위한 수단으로서 본 발명의 딥러닝 기반 영상 처리 기술이 탑재된 지능형 CCTV를 활용한 주차 관제 시스템은, 주차장 내에서 설정된 구역별로 설치되어 해당 구역과 해당 구역에 대한 복수 주차면을 촬영하는 하나 이상의 카메라부; 상기 카메라부에서 촬영된 구역별 복수 주차면 영상을 딥러닝(Deep Learning) 기반으로 분석하여 각 주차면별 주차 가능 여부를 판단하는 분석부; 상기 분석부의 분석결과를 수신하고 분석결과에 따라 전체 주차면의 주차 가능 공간을 산출하는 주차공간산출부; 및 상기 주차공간산출부에서 산출된 주차 가능 공간 정보를 제공하는 정보제공부;를 포함하는 것이 특징이다.As a means for achieving the above object, the parking control system using the intelligent CCTV equipped with the deep learning-based image processing technology of the present invention is installed for each zone set in a parking lot and photographs a plurality of parking surfaces for the zone and the zone. One or more camera units; An analysis unit for determining whether parking is possible for each parking surface by analyzing a plurality of parking surface images for each zone photographed by the camera unit based on deep learning; A parking space calculation unit which receives an analysis result of the analysis unit and calculates a parking available space of the entire parking surface according to the analysis result; And an information providing unit for providing parking available space information calculated by the parking space calculating unit.
하나의 예로써, 상기 분석부는, 상기 카메라부에서 촬영된 해당 구역에 대한 영상을 딥러닝(Deep Learning) 기반으로 분석하여 움직임 객체를 인식하고, 인식한 움직임 객체로부터 해당 구역에서 차량과 비차량을 구분하면서 차량의 입차와 출차를 판단하여 주차 가능 공간을 예측하며, 상기 주차공간산출부는, 상기 분석부의 예측 결과를 수신하고 전체 주차면의 주차 가능 공간을 산출함에 있어 상기 분석부의 예측 결과를 반영할 수 있다.As an example, the analysis unit analyzes an image of the corresponding area photographed by the camera unit based on deep learning to recognize a moving object, and recognizes a vehicle and a non-vehicle in the corresponding area from the recognized moving object. The parking space calculation unit may receive the prediction result of the analyzer and reflect the prediction result of the analyzer in calculating the parking available space of the entire parking surface while determining the entry and exit of the vehicle. Can be.
하나의 예로써, 상기 분석부는, 상기 카메라부에서 촬영된 해당 구역의 주차면 영상을 딥러닝(Deep Learning) 기반으로 분석하여 각 주차면에서 움직임 객체를 인식하고, 인식한 움직임 객체로부터 해당 주차면에서 차량과 비차량을 구분하여 주차 가능 여부를 판단할 수 있다.As an example, the analysis unit analyzes a parking surface image of the corresponding area photographed by the camera unit based on deep learning to recognize a moving object in each parking surface, and the corresponding parking surface from the recognized moving object. It is possible to determine whether parking is possible by separating the vehicle from the non-vehicle.
한편 본 발명의 딥러닝 기반 영상 처리 기술이 탑재된 지능형 CCTV를 활용한 주차 관제 방법은, a) 주차장 내에서 설정된 구역별로 설치되는 하나 이상의 카메라부가 해당 구역과 해당 구역에 대한 복수 주차면을 촬영하는 단계; b) 상기 카메라부로부터 촬영된 구역별 복수 주차면 영상을 분석부가 수신하고, 분석부에서 수신한 영상을 딥러닝(Deep Learning) 기반으로 분석하여 각 주차면별 주차 가능 여부를 판단하는 단계; c) 상기 분석부의 분석결과를 주차공간산출부가 수신하고, 주차공간산출부에서 수신한 분석결과에 따라 전체 주차면의 주차 가능 공간을 산출하는 단계; 및 d) 상기 주차공간산출부에서 산출된 주차 가능 공간 정보를 정보제공부가 수신하고, 정보제공부에게 수신한 주차 가능 공간 정보를 제공하는 단계;를 포함하는 것이 특징이다.Meanwhile, a parking control method using intelligent CCTV equipped with the deep learning-based image processing technology of the present invention includes: a) one or more camera units installed for each zone set in a parking lot to photograph a plurality of parking surfaces for the zone and the zone; step; b) determining, by the analyzer, a plurality of parking plane images for each zone photographed by the camera unit, and analyzing the images received by the analyzer on the basis of deep learning to determine whether parking is possible for each parking plane; c) a parking space calculating unit receives the analysis result of the analyzing unit and calculates a parking space for the entire parking surface according to the analysis result received by the parking space calculating unit; And d) receiving the parking space information calculated by the parking space calculating unit from the information providing unit and providing the parking space information received to the information providing unit.
하나의 예로써, 상기 b) 단계는, 분석부가 상기 카메라부에서 촬영된 해당 구역에 대한 영상을 딥러닝(Deep Learning) 기반으로 분석하여 움직임 객체를 인식하고, 인식한 움직임 객체로부터 해당 구역에서 차량과 비차량을 구분하면서 차량의 입차와 출차를 판단하여 주차 가능 공간을 예측하는 단계;를 포함하며, 상기 c) 단계는, 상기 주차공간산출부가 상기 분석부의 예측 결과를 수신하고 전체 주차면의 주차 가능 공간을 산출함에 있어 상기 분석부의 예측 결과를 반영하는 단계;를 포함할 수 있다.As an example, in step b), the analysis unit analyzes an image of the corresponding area photographed by the camera unit based on deep learning to recognize a moving object, and recognizes the moving object from the recognized moving object in the corresponding area. And estimating a parking space by judging whether the vehicle is in and out of the vehicle while dividing the vehicle and the non-vehicle. Reflecting the prediction result of the analysis unit in calculating the available space.
하나의 예로써, 상기 b) 단계는, 상기 분석부가 상기 카메라부에서 촬영된 해당 구역의 주차면 영상을 딥러닝(Deep Learning) 기반으로 분석하여 각 주차면에서 움직임 객체를 인식하고, 인식한 움직임 객체로부터 해당 주차면에서 차량과 비차량을 구분하여 주차 가능 여부를 판단하는 단계;를 포함할 수 있다.As an example, in step b), the analysis unit analyzes a parking surface image of the corresponding area photographed by the camera unit based on deep learning to recognize a moving object on each parking surface, and recognizes the movement. And classifying a vehicle and a non-vehicle on the corresponding parking surface from the object to determine whether parking is possible.
상기한 바와 같은 과제 해결수단을 통해 본 발명딥러닝 기반 영상 처리 기술이 탑재된 지능형 CCTV를 활용한 주차 관제 방법 및 시스템은, 별도의 센서 설치 및 추가 공사가 필요없이 카메라 교체만을 통해 기존 주차장에도 용이하게 적용 가능하여 저비용으로 시스템의 구축이 가능한 효과가 있다.Parking control method and system using intelligent CCTV equipped with the present deep learning based image processing technology through the problem solving means as described above, easy to existing parking lot only by replacing the camera without the need for additional sensor installation and additional construction It can be applied to the system can be constructed at low cost.
또한 딥러닝(Deep Learning) 기반으로 주차장 내에서의 영상을 분석하여 차량과 주차면에 대한 분류 인식을 통해 주차 가능 공간을 산출하고 이 과정에서 영상 분석 범위를 딥러닝(Deep Learning) 기술로 학습시켜 차량 여부 즉, 차량이 아닌 경우(인물, 사물 등)를 제외한 정확한 차량인지 검증하고 주차장의 차량 입차와 출차 등이 반영되도록 함으로써 보다 신뢰도 있는 주차 정보를 제공할 수 있는 효과가 있다.In addition, based on deep learning, images in the parking lot are analyzed to calculate parking spaces through classification recognition of vehicles and parking surfaces, and in this process, the image analysis range is learned by deep learning technology. It is possible to provide more reliable parking information by verifying whether the vehicle is the correct vehicle except the vehicle (that is, the person, the object, etc.) and reflecting the vehicle entrance and exit of the parking lot.
도 1은 본 발명의 딥러닝 기반 영상 처리 기술이 탑재된 지능형 CCTV를 활용한 주차 관제 시스템의 구성을 개략적으로 나타내는 도면.
도 2는 본 발명의 일 실시 예에 따른 지능형CCTV의 구성을 나타내는 블록도.
도 3은 본 발명의 일 실시 예에 따른 분석부의 세부 구성을 나타내는 블록도.
도 4는 본 발명의 딥러닝 기반 영상 처리 기술이 탑재된 지능형 CCTV를 활용한 주차 관제 방법을 나타내는 순서도.
도 5는 본 발명의 일 실시 예에 따른 분석부의 데이터 처리 과정을 나타내는 순서도.1 is a view schematically showing the configuration of a parking control system using intelligent CCTV equipped with the deep learning-based image processing technology of the present invention.
2 is a block diagram showing the configuration of an intelligent CCTV according to an embodiment of the present invention.
3 is a block diagram showing a detailed configuration of an analysis unit according to an embodiment of the present invention.
Figure 4 is a flow chart showing a parking control method using intelligent CCTV equipped with deep learning based image processing technology of the present invention.
5 is a flowchart illustrating a data processing process of an analysis unit according to an embodiment of the present invention.
이하, 본 발명의 구성 및 작용을 첨부된 도면에 의거하여 좀 더 구체적으로 설명한다. 본 발명을 설명함에 있어서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.Hereinafter, the configuration and operation of the present invention will be described in more detail with reference to the accompanying drawings. In describing the present invention, the term or word used in the present specification and claims is based on the principle that the inventor can appropriately define the concept of the term in order to best describe the invention of his or her own. It should be interpreted as meanings and concepts corresponding to the technical idea of
도 1은 본 발명의 딥러닝 기반 영상 처리 기술이 탑재된 지능형 CCTV를 활용한 주차 관제 시스템의 구성을 개략적으로 나타내는 도면이고, 도 2는 본 발명의 일 실시 예에 따른 지능형CCTV의 구성을 나타내는 블록도이며, 도 3은 본 발명의 일 실시 예에 따른 분석부의 세부 구성을 나타내는 블록도이다.1 is a view schematically showing the configuration of a parking control system using intelligent CCTV equipped with deep learning based image processing technology of the present invention, Figure 2 is a block showing the configuration of an intelligent CCTV according to an embodiment of the present invention 3 is a block diagram showing a detailed configuration of an analysis unit according to an embodiment of the present invention.
본 발명은 센서와 같은 계측기기의 추가 도입 없이 영상 분석만으로 주차장의 주차 가능 공간에 대한 정보를 제공할 수 있는 딥러닝 기반 영상 처리 기술이 탑재된 지능형 CCTV를 활용한 주차 관제 방법 및 시스템에 관한 것이다.The present invention relates to a parking control method and system using intelligent CCTV equipped with a deep learning-based image processing technology that can provide information on the available parking space of a parking lot only by image analysis without the introduction of a measuring device such as a sensor. .
먼저 도 1을 참조하면 본 발명의 딥러닝 기반 영상 처리 기술이 탑재된 지능형 CCTV를 활용한 주차 관제 시스템은 주차장(1)에 대한 영상 촬영과 전체 주차면(10)의 주차 가능 공간 정보를 제공하는 지능형CCTV(100)와 상기 지능형CCTV(100)로부터 제공되는 주차 가능 공간 정보를 수신하고 이를 모니터링하는 관제서버(200)를 포함하여 구성될 수 있다.First, referring to FIG. 1, a parking control system using an intelligent CCTV equipped with the deep learning-based image processing technology of the present invention provides an image capturing information on a
상기 지능형CCTV는 주차장(1)의 전체 주차면(10)에 대한 영상을 촬영하고, 딥러닝(Deep Learning) 학습을 통한 영상 처리를 기반으로 촬영된 영상을 분석하여 주차장에 있어 주차된 공간과 빈 공간을 인식하여 실시간 주차 가능 공간 정보를 제공할 수 있다.The intelligent CCTV captures an image of the
일 예로 상기 지능형CCTV(100)는 딥러닝(Deep Learning) 학습 신경망 계열에 속하는 CNN(Convolutional Neural Network) 알고리즘을 이용하여 촬영한 주차장의 영상으로부터 각각의 주차면을 감지할 수 있으며, 주차면별 임계값 적용 및 주차 상태를 판단하여 실시간 주차 가능 공간 정보를 업데이트 할 수 있다.For example, the
구체적으로 상기 지능형CCTC(100)는 도 2에 도시된 바와 같이 하나 이상의 카메라부(110)와 분석부(120)와 주차공간산출부(130)와 정보제공부(140) 및 송수신부(150)를 포함하여 구성될 수 있으며, SoC(System on Chip)을 통해 일 장치로 구현되거나 기존 설치된 CCTV에 탑재될 수 있다.Specifically, as shown in FIG. 2, the
상기 카메라부(110)는 주차장(1) 내에서 설정된 구역별로 설치되어 해당 구역과 해당 구역에 대한 복수 주차면(10)을 촬영할 수 있다.The
이때 하나의 카메라부(110)가 담당하는 구역과 주차면(10)은 주차장(1)의 시설 규모나 분석 효율성을 고려하여 선택적으로 결정될 수 있음은 당연하다.At this time, it is obvious that the area and the
상기 분석부(120)는 상기 카메라부(110)에서 촬영된 구역별 복수 주차면(10) 영상을 딥러닝(Deep Learning) 기반으로 분석하여 각 주차면(10)별 주차 가능 여부를 판단할 수 있다.The
즉, 상기 분석부(120)는 주차장(1)내 주차면(10)의 다양한 이미지와 흐리고, 맑고, 비오는 날씨에 따른 환경 조건, 차량(20)이 주차되어 있고 비어 있는 이미지 등 방대한 양의 이미지에 대해 학습 과정을 거쳐 모델을 생성하며, 촬영된 영상에서 입력된 값과 알고리즘을 거쳐 설정된 구역별로 설치된 각 주차면을 순차적 또는 일괄로 검출하고 차량(20)이 주차되어 있는지 비어 있는지에 대해 상태를 실시간으로 업데이트하여 최종 분류된 값을 출력할 수 있다.That is, the
이때 상기 분석부(120)는 설정된 구역에 할당된 복수 주차면(10)에 대하여 고유의 식별 코드를 부여할 수 있으며, 출력된 데이터와 고유의 식별코드를 함께 송신할 수 있다.In this case, the
상기 주차공간산출부(130)는 상기 분석부(120)에서 송신하는 분석결과 즉 각 주차면별 차량(20)의 주차 가능 여부 정보를 수신할 수 있다.The parking
상기 주차공간산출부(130)는 수신한 분석결과에 따라 설정된 구역에 할당된 전체 주차면(10)의 주차 가능 공간을 산출할 수 있으며, 수신한 주차면별 고유의 식별코드를 통해 주차가 가능한 주차면을 식별하고 주차 가능 공간 정보로서 함께 송신할 수 있다.The parking
상기 정보제공부(140)는 상기 주차공간산출부(130)에서 실시간으로 산출되는 주차 가능 공간 정보를 저장하고 이를 제공하는 것으로, 외부의 요청 신호에 응답하여 응답 정보로 출력될 수 있다.The
상기 송수신부(150)는 외부로 데이터를 송신하거나 외부의 명령을 수신하기 위한 통신 인터페이스를 구비하여 통신망을 통해 상기 정보제공부(140)의 출력 정보를 관제서버(200)로 송신할 수 있다.The
이때 상기 통신망은 인터넷 프로토콜(IP, Internet Protocol)을 통하여 대용량 데이터의 송수신 서비스 및 끊기는 현상이 없는 데이터 서비스를 제공하는 아이피망으로 아이피를 기반으로 서로 다른 망을 통합한 아이피망 구조인 올 아이피(All IP)망, 유선통신망, 이동통신망(CDMA, 2G, 3G, 4G, LTE), Wibro(Wireless Broadband)망, HSDPA(High Speed Downlink Packet Access)망, 위성통신망 및 와이파이(WI-FI, Wireless Fidelity)망 중 적합한 어느 하나를 이용할 수 있다.At this time, the communication network is an IP network that provides a data transmission / reception service and a data service without disconnection through the Internet protocol (IP, Internet Protocol), an IP network structure that integrates different networks based on IP. IP) network, wired communication network, mobile communication network (CDMA, 2G, 3G, 4G, LTE), Wibro (Wireless Broadband) network, HSDPA (High Speed Downlink Packet Access) network, satellite communication network and Wi-Fi (WI-FI, Wireless Fidelity) Any suitable network can be used.
한편 상기 분석부(120)는 상기 카메라부(110)에서 촬영된 해당 구역에 대한 영상을 딥러닝(Deep Learning) 기반으로 분석하여 움직임 객체를 인식할 수 있다.The
그리고 상기 분석부(120)는 인식한 움직임 객체로부터 해당 구역에서 차량(20)과 비차량을 구분할 수 있으며 특히 인식한 움직임 객체의 방향을 인지하고 이로부터 해당 구역에서 차량의 입차와 출차를 판단하여 주차 가능 공간을 예측할 수 있다.In addition, the
상기 분석부(120)는 해당 구역에서 움직이는 사물과 움직이는 사물이 차량(20)인지 비차량인지를 인식할 수 있으며, 차량(20)이라고 인식한 경우 움직이는 차량(20)의 방향을 통해 차량(20)이 입구를 향하는지 또는 출구를 향하는지를 파악할 수 있고, 이러한 인식 정보들을 기반으로 해당 구역에서의 주차 가능 공간을 예측할 수 있는 것이다.The
또한 상기 주차공간산출부(130)는 상기 분석부(120)의 예측 결과를 수신하고 전체 주차면(10)의 주차 가능 공간을 산출함에 있어 상기 분석부(120)의 예측 결과 예를 들면 인식된 차량(20)이 입구로 들어와 주차를 할 것으로 예측하거나 인식된 차량(20)이 출차할 것으로 예측하는 것을 반영 주차 가능 공간을 산출하도록 한다.In addition, the parking
뿐만 아니라 상기 분석부(120)는 구역내 움직임 객체의 감지와 더불어 상기 카메라부(110)에서 촬영된 해당 구역의 주차면(10) 영상을 딥러닝(Deep Learning) 기반으로 분석하여 각 주차면(10)에서 움직임 객체를 인식하고, 인식한 움직임 객체로부터 해당 주차면(10)에서 차량(20)과 비차량을 구분하여 주차 가능 여부를 판단함으로써 정보 제공의 신뢰도를 더욱 향상시킬 수 있도록 한다.In addition, the
즉, 실제 주차면(10)에 차량(20)이 아닌 사람 등이 있는 경우를 인식하여 주차 가능 공간을 산출함에 있어 오류가 발생하지 않도록 하는 것이다.In other words, by recognizing a case where there is a person other than the
이러한 차량(20)과 비차량의 구분 방법은 영상으로부터 형상 이미지의 학습을 통해 분석할 수 있다.The method of distinguishing the
한편 분석부(120)는 상기 카메라부(110)로부터 입력되는 영상을 보정하고 보정한 영상을 딥러닝(Deep Learning) 기반으로 분석하기 위한 세부구성을 포함할 수 있다.The
일 예로 도 3에 도시된 바와 같이 상기 분석부(120)는 상기 카메라부(110)로부터 영상 정보가 전달되면, 전달된 영상을 이미지 프로세싱하여 노이즈 제거, 선명화 등과 같은 보정을 수행하는 영상보정부(121)을 포함할 수 있다.For example, as shown in FIG. 3, when the image information is transmitted from the
상기 영상보정부(121)의 보정 방법은 공지의 영상 처리방법 중 적합한 하나를 선택하여 이용할 수 있으므로 이에 대한 구체적인 설명은 생략한다.Since the correction method of the
그리고 상기 분석부(120)는 상기 영상보정부(121)에서 보정된 영상을 기반으로 딥러링(Deep Learning) 모델을 선택하고 학습을 처리 하기 위한 딥러닝학습부(122)와, 상기 딥러닝학습부(122)에서 학습된 데이터를 처리하기 위한 데이터처리부(123) 및 상기 데이터처리부(123)에서 처리된 결과에 따라 최종적으로 주차면(10)과 차량(20)을 분류를 하는 주차면분류부(124) 및 차량분류부(125)를 포함하여 구성될 수 있으며, 주차면분류부(124) 및 차량분류부(125)에 분류된 정보를 이용하여 각 주차면(10)0에 대한 주차 가능 여부를 판단하여 출력할 수 있다.In addition, the
상기 관제서버(200)는 상기 지능형CCTV(100)의 송수신부(150)를 통해 송신되는 주차 가능 공간 정보를 실시간으로 수신하여 저장할 수 있으며, 수신한 주차 가능 공간 정보를 모니터링할 수 있다.The
그리고 상기 관제서버(200)는 수신한 주차 가능 공간 정보를 주차장의 입구 등에 표시할 수 있는 바, 표시 방식은 LED 전광판과 같은 통상의 표시 방식 중 적합한 하나를 선택할 수 있다. In addition, the
도 4는 본 발명의 딥러닝 기반 영상 처리 기술이 탑재된 지능형 CCTV를 활용한 주차 관제 방법을 나타내는 순서도이고, 도 5는 본 발명의 일 실시 예에 따른 분석부의 데이터 처리 과정을 나타내는 순서도이다.4 is a flowchart illustrating a parking control method using intelligent CCTV equipped with a deep learning based image processing technology of the present invention, and FIG. 5 is a flowchart illustrating a data processing process of an analysis unit according to an embodiment of the present invention.
이하에서는 도 4 및 도 5를 참조하여 본 발명의 딥러닝 기반 영상 처리 기술이 탑재된 지능형 CCTV를 활용한 주차 관제 방법을 설명한다.Hereinafter, a parking control method using intelligent CCTV equipped with the deep learning based image processing technology of the present invention will be described with reference to FIGS. 4 and 5.
도 4에 도시된 바와 같이 본 발명의 딥러닝 기반 영상 처리 기술이 탑재된 지능형 CCTV를 활용한 주차 관제 방법은 주차장 내에서 설정된 구역별로 설치되는 하나 이상의 카메라부(110)가 해당 구역과 해당 구역에 대한 복수 주차면(10)을 촬영하는 단계를 수행한다.(S100)As shown in FIG. 4, in the parking control method using intelligent CCTV equipped with the deep learning-based image processing technology of the present invention, one or
이후 상기 카메라부(110)로부터 촬영된 구역별 복수 주차면(10) 영상을 분석부(120)가 수신하고, 분석부(120)에서 수신한 영상을 딥러닝(Deep Learning) 기반으로 분석하는 단계를 수행한다.(S200)Thereafter, the
그리고 상기 분석부(120)의 분석 결과를 통해 각 주차면(10)별 주차 가능 여부를 판단하는 단계를 수행한다.(S300)And it is determined whether the parking for each
이 과정(S300)에서는 상기 분석부(120)가 상기 카메라부(110)에서 촬영된 해당 구역에 대한 영상을 딥러닝(Deep Learning) 기반으로 분석하여 움직임 객체를 인식하고, 인식한 움직임 객체로부터 해당 구역에서 차량(10)의 입차와 출차를 판단하여 주차 가능 공간을 예측하는 단계를 포함할 수 있다.In this process (S300), the
그리고 이 과정(S300)에서는 상기 분석부(120)가 상기 카메라부(110)에서 촬영된 해당 구역에 대한 영상을 딥러닝(Deep Learning) 기반으로 분석하여 상기 움직임 객체를 인식하고, 인식한 움직임 객체로부터 해당 구역에서 차량(10)과 비차량을 구분하여 주차 가능 공간을 예측하는 단계를 포함할 수 있다.In this process (S300), the
또한 또한 이 과정(S300)에서는 상기 분석부(120)가 상기 카메라부(120)에서 촬영된 해당 구역의 주차면(10) 영상을 딥러닝(Deep Learning) 기반으로 분석하여 각 주차면(10)에서 움직임 객체를 인식하고, 인식한 움직임 객체로부터 해당 주차면(10)에서 차량(20)과 비차량을 구분하여 주차 가능 여부를 판단하는 단계를 포함할 수 있다.In addition, in this process (S300), the
이후, 상기 분석부(120)의 분석결과 즉 각 주차면(10)별 주차 가능 여부 정보를 주차공간산출부(130)가 수신하고, 주차공간산출부(130)에서 수신한 분석결과에 따라 전체 주차면(10)의 주차 가능 공간을 산출하는 단계를 수행한다.(S400)Subsequently, the parking
이 과정에서(S400)는 상기 주차공간산출부(130)가 상기 분석부(120)의 예측 결과를 수신하고 전체 주차면(10)의 주차 가능 공간을 산출함에 있어 상기 분석부(120)의 예측 결과를 반영하여 최종적으로 주차 가능 공간을 산출할 수 있는 단계를 포함할 수 있다.In this process (S400), the parking
마지막으로 상기 주차공간산출부(130)에서 산출된 주차 가능 공간 정보를 정보제공부(140)가 수신하고, 정보제공부(140)에게 수신한 주차 가능 공간 정보를 제공하는 단계를 수행한다.(S500)Finally, the
한편 도 5는 본 발명의 일 실시 예에 따른 상기 분석부(120)의 데이터 처리 과정을 설명하기 위한 것으로, 도 5에 도시된 바와 같이 상기 분석부(120)는 상기 카메라부(110)에서 영상이 전달(S210) 되면, Raw Data 처리를 통해 영상 보정(S220) 과정을 거치게 되며, CNN(Convolutional Neural Network) 알고리즘을 통해 Deep learning 학습(S230) 수행 후 주차 구역을 검출 하여 주차 구역에 대한 상태를 감지(S240)할 수 있다.Meanwhile, FIG. 5 illustrates a data processing process of the
그리고 상기 분석부(120)에서는 설정된 임계값을 적용 후, 주차 구역 내 차량(20)이 주차되어 있는지 아닌지 여부(S250)를 판단하게 되며, 판단 결과에 기반한 분류 적용 및 상태를 실시간으로 업데이트(S260) 하고, 다음 주차 구역으로 이동(S270) 하여 이러한 과정으로 반복적으로 수행하여 주차장(1) 전체에 대한 주차구역 상태를 업데이트 한다. 모든 주차 구역에 대한 상태 값 즉 각 주차면에 대한 주가 가능 여부가 업데이트 되면 최종 값을 출력(S280)하여 상기 주차공간산출부(130)로 전송한다.The
이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정해져야만 할 것이다.Those skilled in the art will appreciate that various changes and modifications can be made without departing from the spirit of the present invention. Therefore, the technical scope of the present invention should not be limited to the contents described in the detailed description of the specification but should be defined by the claims.
100 : 지능형 CCTV 200 : 관제서버
110 : 카메라부 120 : 분석부
130 : 주차공간산출부 140 : 정보제공부
150 : 송수신부 100: intelligent CCTV 200: control server
110: camera unit 120: analysis unit
130: parking space calculation unit 140: information provider
150: transceiver
Claims (6)
상기 카메라부에서 촬영된 구역별 복수 주차면 영상을 딥러닝(Deep Learning) 기반으로 분석하여 각 주차면별 주차 가능 여부를 판단하는 분석부;
상기 분석부의 분석결과를 수신하고 분석결과에 따라 전체 주차면의 주차 가능 공간을 산출하는 주차공간산출부; 및
상기 주차공간산출부에서 산출된 주차 가능 공간 정보를 제공하는 정보제공부;를 포함하는 것을 특징으로 하는 딥러닝 기반 영상 처리 기술이 탑재된 지능형 CCTV를 활용한 주차 관제 시스템.
At least one camera unit installed in each of the zones set in the parking lot and photographing a plurality of parking surfaces of the zone and the zone;
An analysis unit for determining whether parking is possible for each parking surface by analyzing a plurality of parking surface images for each zone photographed by the camera unit based on deep learning;
A parking space calculation unit which receives an analysis result of the analysis unit and calculates a parking available space of the entire parking surface according to the analysis result; And
An information providing unit for providing parking space information calculated by the parking space calculating unit. Parking control system using intelligent CCTV equipped with deep learning-based image processing technology comprising a.
상기 분석부는,
상기 카메라부에서 촬영된 해당 구역에 대한 영상을 딥러닝(Deep Learning) 기반으로 분석하여 움직임 객체를 인식하고, 인식한 움직임 객체로부터 해당 구역에서 차량과 비차량을 구분하면서 차량의 입차와 출차를 판단하여 주차 가능 공간을 예측하며,
상기 주차공간산출부는,
상기 분석부의 예측 결과를 수신하고 전체 주차면의 주차 가능 공간을 산출함에 있어 상기 분석부의 예측 결과를 반영하는 것을 특징으로 하는 딥러닝 기반 영상 처리 기술이 탑재된 지능형 CCTV를 활용한 주차 관제 시스템.
The method of claim 1,
The analysis unit,
Analyzes the image of the area photographed by the camera unit based on deep learning to recognize the moving object, and determines the entry and exit of the vehicle by distinguishing the vehicle and the non-vehicle in the area from the recognized moving object. To predict the available parking space,
The parking space calculation unit,
A parking control system using intelligent CCTV equipped with deep learning-based image processing technology, characterized in that for receiving the prediction result of the analysis unit and calculating the available parking space of the entire parking surface.
상기 분석부는,
상기 카메라부에서 촬영된 해당 구역의 주차면 영상을 딥러닝(Deep Learning) 기반으로 분석하여 각 주차면에서 움직임 객체를 인식하고, 인식한 움직임 객체로부터 해당 주차면에서 차량과 비차량을 구분하여 주차 가능 여부를 판단하는 것을 특징으로 하는 딥러닝 기반 영상 처리 기술이 탑재된 지능형 CCTV를 활용한 주차 관제 시스템.
The method of claim 1,
The analysis unit,
Analyzes the parking surface image of the area photographed by the camera unit on the basis of deep learning, recognizes the moving object in each parking surface, and separates the vehicle and the non-vehicle on the corresponding parking surface from the recognized moving object. Parking control system using intelligent CCTV equipped with deep learning based image processing technology characterized in that it determines the availability.
b) 상기 카메라부로부터 촬영된 구역별 복수 주차면 영상을 분석부가 수신하고, 분석부에서 수신한 영상을 딥러닝(Deep Learning) 기반으로 분석하여 각 주차면별 주차 가능 여부를 판단하는 단계;
c) 상기 분석부의 분석결과를 주차공간산출부가 수신하고, 주차공간산출부에서 수신한 분석결과에 따라 전체 주차면의 주차 가능 공간을 산출하는 단계; 및
d) 상기 주차공간산출부에서 산출된 주차 가능 공간 정보를 정보제공부가 수신하고, 정보제공부에게 수신한 주차 가능 공간 정보를 제공하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 기반 영상 처리 기술이 탑재된 지능형 CCTV를 활용한 주차 관제 방법.
a) photographing at least one camera unit installed for each zone set in the parking lot and the parking lot for the zone and the zone;
b) determining, by the analyzer, a plurality of parking plane images for each zone photographed by the camera unit, and analyzing the images received by the analyzer on the basis of deep learning to determine whether parking is possible for each parking plane;
c) a parking space calculating unit receives the analysis result of the analyzing unit and calculates a parking space for the entire parking surface according to the analysis result received by the parking space calculating unit; And
d) receiving the parking space information calculated by the parking space calculating unit and providing the parking space information received by the information providing unit to the information providing unit; deep learning based image processing technology comprising a Parking control method using onboard intelligent CCTV.
상기 b) 단계는,
분석부가 상기 카메라부에서 촬영된 해당 구역에 대한 영상을 딥러닝(Deep Learning) 기반으로 분석하여 움직임 객체를 인식하고, 인식한 움직임 객체로부터 해당 구역에서 차량과 비차량을 구분하면서 차량의 입차와 출차를 판단하여 주차 가능 공간을 예측하는 단계;를 포함하며,
상기 c) 단계는,
상기 주차공간산출부가 상기 분석부의 예측 결과를 수신하고 전체 주차면의 주차 가능 공간을 산출함에 있어 상기 분석부의 예측 결과를 반영하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 기반 영상 처리 기술이 탑재된 지능형 CCTV를 활용한 주차 관제 방법.
The method of claim 4, wherein
B),
The analysis unit analyzes the image of the corresponding area photographed by the camera unit based on deep learning to recognize the moving object, and distinguishes the vehicle and the non-vehicle in the corresponding area from the recognized moving object, while entering and leaving the vehicle. Predicting the space available for parking; including;
C),
The parking space calculation unit receives the prediction result of the analysis unit and reflecting the prediction result of the analysis unit in calculating the available parking space of the entire parking surface; deep learning based image processing technology comprising a Parking control method using intelligent CCTV.
상기 b) 단계는,
상기 분석부가 상기 카메라부에서 촬영된 해당 구역의 주차면 영상을 딥러닝(Deep Learning) 기반으로 분석하여 각 주차면에서 움직임 객체를 인식하고, 인식한 움직임 객체로부터 해당 주차면에서 차량과 비차량을 구분하여 주차 가능 여부를 판단하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 기반 영상 처리 기술이 탑재된 지능형 CCTV를 활용한 주차 관제 방법.The method of claim 4, wherein
B),
The analysis unit analyzes a parking surface image of the corresponding area photographed by the camera unit based on deep learning to recognize a moving object in each parking surface, and detects a vehicle and a non-vehicle on the corresponding parking surface from the recognized moving object. And judging whether parking is possible by dividing; parking control method using intelligent CCTV equipped with deep learning-based image processing technology.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180059136A KR20190134018A (en) | 2018-05-24 | 2018-05-24 | Parking control method and system using intelligent CCTV with deep learning based image processing technology |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180059136A KR20190134018A (en) | 2018-05-24 | 2018-05-24 | Parking control method and system using intelligent CCTV with deep learning based image processing technology |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20190134018A true KR20190134018A (en) | 2019-12-04 |
Family
ID=69004417
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180059136A KR20190134018A (en) | 2018-05-24 | 2018-05-24 | Parking control method and system using intelligent CCTV with deep learning based image processing technology |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20190134018A (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102260556B1 (en) * | 2020-03-26 | 2021-06-03 | 세종대학교산학협력단 | Deep learning-based parking slot detection method and apparatus integrating global and local information |
KR20210155657A (en) * | 2020-06-16 | 2021-12-23 | 최상수 | Machine learning-based parking support device and method |
KR20220071544A (en) | 2020-11-24 | 2022-05-31 | (주)스핀어웹 | System and method of processing image data for batch processing of big data and computer program for the same |
KR20220086102A (en) * | 2020-12-16 | 2022-06-23 | (주)참슬테크 | Total security and parking guidance system including parking guidance display unit |
KR102414877B1 (en) * | 2021-06-28 | 2022-06-30 | 유에프엠시스템즈 주식회사 | Smart parking lot guiding system for enhancing accuracy and reliability of information |
KR20220092165A (en) * | 2020-12-24 | 2022-07-01 | 주식회사 매쉬플레이 | Method and system for providing parking convenience service using deep learning video recognition technology |
KR20220121961A (en) | 2021-02-25 | 2022-09-02 | 주식회사 포커스에이치엔에스 | Parking management method and apparatus based on cctv |
KR20230040417A (en) * | 2021-09-15 | 2023-03-23 | 주식회사 딥비전 | Parking management method and system using deep learning |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100796920B1 (en) | 2005-12-28 | 2008-01-22 | 삼성에스디에스 주식회사 | Apparatus for existence and nonexistence identification of a car in parking place and parking management system having the same |
-
2018
- 2018-05-24 KR KR1020180059136A patent/KR20190134018A/en not_active IP Right Cessation
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100796920B1 (en) | 2005-12-28 | 2008-01-22 | 삼성에스디에스 주식회사 | Apparatus for existence and nonexistence identification of a car in parking place and parking management system having the same |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102260556B1 (en) * | 2020-03-26 | 2021-06-03 | 세종대학교산학협력단 | Deep learning-based parking slot detection method and apparatus integrating global and local information |
KR20210155657A (en) * | 2020-06-16 | 2021-12-23 | 최상수 | Machine learning-based parking support device and method |
KR20220071544A (en) | 2020-11-24 | 2022-05-31 | (주)스핀어웹 | System and method of processing image data for batch processing of big data and computer program for the same |
KR20220086102A (en) * | 2020-12-16 | 2022-06-23 | (주)참슬테크 | Total security and parking guidance system including parking guidance display unit |
KR20220092165A (en) * | 2020-12-24 | 2022-07-01 | 주식회사 매쉬플레이 | Method and system for providing parking convenience service using deep learning video recognition technology |
KR20220121961A (en) | 2021-02-25 | 2022-09-02 | 주식회사 포커스에이치엔에스 | Parking management method and apparatus based on cctv |
KR102414877B1 (en) * | 2021-06-28 | 2022-06-30 | 유에프엠시스템즈 주식회사 | Smart parking lot guiding system for enhancing accuracy and reliability of information |
KR20230040417A (en) * | 2021-09-15 | 2023-03-23 | 주식회사 딥비전 | Parking management method and system using deep learning |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20190134018A (en) | Parking control method and system using intelligent CCTV with deep learning based image processing technology | |
US9336450B2 (en) | Methods and systems for selecting target vehicles for occupancy detection | |
US20210287035A1 (en) | Image and lidar segmentation for lidar-camera calibration | |
KR20180046798A (en) | Method and apparatus for real time traffic information provision | |
KR101974105B1 (en) | Photographing system and method for increasing recognition rate of vehicle number | |
KR102166283B1 (en) | Device for controlling traffic signal | |
KR102414876B1 (en) | Traffic signal control system using sensitive left turn signal based on LiDAR | |
CN110119725B (en) | Method and device for detecting signal lamp | |
CN114550449B (en) | Vehicle track completion method and device, computer readable medium and electronic equipment | |
US11030465B1 (en) | Method for analyzing number of people and system thereof | |
CN115909224A (en) | Track detection method and track detection system | |
CN116634638A (en) | Light control strategy generation method, light control method and related device | |
CN115063746A (en) | Vehicle warehousing management method and device, computer equipment and storage medium | |
KR102561656B1 (en) | Control system of traffic flow with sensing of vehicle based on deep learning | |
US20210065543A1 (en) | Method, Device, and System of Traffic Light Control Utilizing Virtual Detectors | |
CN113033493A (en) | Target object inspection method and device, electronic equipment and storage medium | |
CN116665179A (en) | Data processing method, device, domain controller and storage medium | |
CN116206451A (en) | Intelligent traffic flow data analysis method | |
CN114219970A (en) | Image processing method and system for traffic management | |
CN114495056A (en) | Parking lot pillar detection method, detection device, vehicle and storage medium | |
US11157755B2 (en) | Image processing apparatus | |
KR102561657B1 (en) | Traffic flow controlling method for controlling traffic signal with sensing vehicle | |
US11756420B2 (en) | Vehicle detection system | |
US20230334980A1 (en) | Method for predicting traffic information, apparatus for predicting traffic information, and storage medium storing instructions to perform method for predicting traffic information | |
RU2724596C1 (en) | Method, apparatus, a central device and a system for recognizing a distribution shift in the distribution of data and / or features of input data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E90F | Notification of reason for final refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
X601 | Decision of rejection after re-examination |