KR20220020171A - A Smart Parking Management Device Using Multiple Complimentary Surveillance Cameras - Google Patents
A Smart Parking Management Device Using Multiple Complimentary Surveillance Cameras Download PDFInfo
- Publication number
- KR20220020171A KR20220020171A KR1020200100808A KR20200100808A KR20220020171A KR 20220020171 A KR20220020171 A KR 20220020171A KR 1020200100808 A KR1020200100808 A KR 1020200100808A KR 20200100808 A KR20200100808 A KR 20200100808A KR 20220020171 A KR20220020171 A KR 20220020171A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- image
- unit
- parking
- viewpoint
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims description 17
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000009434 installation Methods 0.000 abstract description 2
- 230000000295 complement effect Effects 0.000 abstract 1
- 238000007726 management method Methods 0.000 description 17
- 230000008859 change Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q2240/00—Transportation facility access, e.g. fares, tolls or parking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Geometry (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Operations Research (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 다중객체검출, 다중객체추적 등의 기술을 활용하여 차량번호인식기 등의 구성요소 없이 스마트 주차관리를 구현할 수 있는 장치에 관한 것으로, 보다 구체적으로는 복수의 카메라 영상을 기준시점으로 변환하고 이들 영상을 활용한 기준표시장치 검출 결과를 바탕으로 보다 정확한 영상만을 사용하는 것을 특징으로 하는 스마트 주차관리 장치에 관한 것이다. The present invention relates to a device that can implement smart parking management without components such as a vehicle number recognizer by utilizing technologies such as multi-object detection and multi-object tracking, and more specifically, converts a plurality of camera images into a reference point of view, It relates to a smart parking management device characterized in that only more accurate images are used based on the detection results of the reference display device using these images.
기존의 지능형 주차관리 시스템(장치)이나 주차관리 방법은 차량번호인식기 또는 차량번호인식 단계를 필수적인 구성요소로 하고 있어 구입, 설치, 운영 등에 있어 높은 비용을 필요로 하며, 양호한 조건에서는 98% 이상의 높은 인식률을 나타내지만 조명 조건, 촬영 각도, 해상도 등의 조건이 좋지 않은 경우에는 70% 이하의 낮은 인식률을 나타내는 것으로 확인된 바 있다. Existing intelligent parking management systems (devices) or parking management methods require a high cost for purchase, installation, and operation, as the vehicle number recognizer or vehicle number recognition step is an essential component, and under favorable conditions, the Although it shows a recognition rate, it has been confirmed that when conditions such as lighting conditions, shooting angle, and resolution are not good, it shows a low recognition rate of 70% or less.
아울러, 차량번호판 체계의 변경(7→8자리), 친환경 차량 전용번호판 부여 등과 같은 법제도의 개정이나 정부정책의 변화가 있을 경우, 외국 혹은 미군 차량 등과 같이 우리나라와 다른 차량번호판 체계를 갖는 경우에는 인식률이 현저히 감소하는 문제점이 부각된 바 있다. In addition, if there is a change in the license plate system (7 → 8 digits), a change in the legal system or a change in government policy, such as the granting of exclusive license plates for eco-friendly vehicles, if there is a license plate system different from Korea, such as foreign or US vehicles The problem that the recognition rate is significantly reduced has been highlighted.
상기의 이유로, 기존 지능형 주차관리 시스템 및 방법의 문제점을 개선하기 위한 다중객체인식, 다중객체추적 등의 컴퓨터 비전 기술을 활용한 영상인식 기반의 새로운 지능형 주차관리 방식이 개발 과정 중에 있으나, 다중객체추적의 정확도 및 안정성이 담보되지 않아 널리 상용화되지는 못하고 있는 상태이다. For the above reasons, a new intelligent parking management method based on image recognition using computer vision technology such as multi-object recognition and multi-object tracking to improve the problems of existing intelligent parking management systems and methods is in the process of being developed, but multi-object tracking It has not been widely commercialized because its accuracy and stability are not guaranteed.
본 발명은 상기와 같은 기존 컴퓨터 비전 기술을 활용한 영상인식 기반 스마트 주차관리 장치의 문제점인 정확도 및 안정성을 개선하기 위하여 복수의 카메라를 활용한 스마트 주차관리 장치를 제공함을 그 목적으로 하고 있다. An object of the present invention is to provide a smart parking management device using a plurality of cameras in order to improve accuracy and stability, which are problems of the image recognition-based smart parking management device using the existing computer vision technology as described above.
본 발명은 기존 스마트 주차관제 시스템에서 필수불가결적인 요소인 차량번호인식기, 차량번호인식 단계 등의 구성요소 없이 인공지능 기반의 차량인식, 차량추적 등의 요소기술을 활용하여 기존 지능형 주차관리 시스템(장치) 및 방법의 단점, 즉, 좋지 않은 환경여건에서의 차량번호 인식률 저하, 법제도 및 정부정책 변화에 따른 차량번호 인식률 저하, 해외차량 유입 등에 따른 인식률 저하를 원천적으로 해결하며, 기존 컴퓨터 비전 기술을 활용한 영상인식 기반 스마트 주차관리 장치의 문제점인 정확도 및 안정성을 개선하기 위하여 복수의 카메라를 활용한 스마트 주차관리 장치를 제공함을 그 목적으로 하고 있다. The present invention is an existing intelligent parking management system (device) by utilizing element technologies such as artificial intelligence-based vehicle recognition and vehicle tracking without components such as a vehicle number recognizer and vehicle number recognition step, which are essential elements in the existing smart parking control system. ) and the disadvantages of the method, namely, the decrease in the recognition rate of the license plate in unfavorable environmental conditions, the decrease in the recognition rate of the license plate due to changes in legal systems and government policies, the decrease in the recognition rate due to the inflow of foreign vehicles, etc. The purpose of this is to provide a smart parking management device using a plurality of cameras in order to improve accuracy and stability, which are problems of the image recognition-based smart parking management device utilized.
상기의 기술적 과제를 실현하기 위한 본 발명에 따른 스마트 주차관리 장치는, 주차장의 출입구, 이동로 및 주차면의 영상을 촬영하는 제1 카메라(100);
상기 제1 카메라와 다른 위치에 설치되어 주차장의 출입구, 이동로 및 주차면의 영상을 촬영하는 제2 카메라(200); 상기 제1 카메라(100)가 촬영한 영상(101)과 제2 카메라(200)가 촬영한 영상(201)을 기준시점(303)의 영상(301, 302)으로 변환하는 시점변환부(300); 상기 제1 카메라의 촬영 범위와 제 2 카메라의 촬영 범위가 중복되는 어느 하나 이상의 장소에 위치하는 기준표시장치(400); 상기 시점변환부(300)가 변환한 영상(301, 302)에서 주차장으로 입장하는 차량과 상기 기준표시장치(400)를 검출(Multi Object Detection; MOD)하는 검출부(500); 상기 시점변환부(300)에 의해 변환된 각각의 영상(301, 302)에 대하여 검출부(500)가 검출한 기준표시장치(400)의 자카드 지수(Jaccard Index) 값을 산출하는 영상평가부(600); 상기 영상평가부(600)가 계산한 자카드 지수(Jaccard Index) 값 높은 영상에 대하여 검출부(500)가 검출한 차량을 추적(Multi Object Tracking; MOT)하는 추적부(700); 상기 추적부(700)가 추적을 개시한 시간을 기준으로 개별 차량의 주차장 이용시간 및 주차요금을 산출하는 요금산출부(800);를 포함하는 것을 특징으로 하는 스마트 주차관리 장치를 제공한다A smart parking management device according to the present invention for realizing the above technical problem, the first camera 100 for taking an image of the entrance, the moving path and the parking surface of the parking lot;
a second camera 200 installed at a location different from the first camera to photograph an image of an entrance, a movement path, and a parking surface of a parking lot; A
본 발명은 차량번호인식기, 차량인식기(각종 센서류) 등을 포함하지 않고 다중객체인식, 다중객체추적 등과 같은 컴퓨터 비전 기술 기반의 스마트 주차관리 장치를 제공함으로써 차량번호인식기 기반의 기존 스마트 주차관리 장치에 비하여 조명, 해상도, 촬영각도 등의 제반 여건 변화에 따른 인식률 저하를 원천적으로 개선함은 물론 차량번호판 체계의 변경(7→8자리), 친환경 차량 전용번호판 부여 등과 같은 법제도의 개정이나 정부정책의 변화나 해외차량 유입 등에 따른 인식률 의존성(저하)도 원천적으로 개선할 수 있으며, 복수의 카메라 영상을 활용하여 안정성을 제고함은 물론 정확도가 높은 영상만을 사용함으로써 장치의 정확도는 물론 전산처리에 사용되는 재원도 최소화 할 수 있는 스마트 주차관리 장치를 제공함을 그 목적으로 하고 있다.The present invention provides a smart parking management device based on computer vision technology such as multi-object recognition and multi-object tracking without including a vehicle number recognizer, vehicle recognizer (various types of sensors), etc. On the other hand, it fundamentally improves the reduction in recognition rate due to changes in lighting, resolution, and shooting angles, as well as changes to the license plate system (7 to 8 digits), revision of the legal system such as granting of exclusive license plates for eco-friendly vehicles, or government policies. Recognition rate dependence (decreased) due to changes or inflow of foreign vehicles can be fundamentally improved, and stability is improved by using multiple camera images. Its purpose is to provide a smart parking management device that can minimize financial resources.
도 1은 본 발명에 따른 스마트 주차관리 장치의 개략적인 구성 1 is a schematic configuration of a smart parking management device according to the present invention;
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. The present invention will be described in detail with reference to the accompanying drawings as follows.
도 1은 본 발명에 따른 스마트 주차관리 장치의 개략적인 구성으로, 제1 카메라(100)와 제2 카메라는 보안 CCTV용 저해상도 카메라, 최신 고해상도 카메라 등은 물론 이미 상용제품으로 널리 판매 중인 연산처리, 통신 등의 기능을 내장한 다기능카메라가 사용될 수 있으며, 주차장의 출입구, 이동로 및 주차면의 영상을 촬영할 수 있는 장소에 설치한다. 다만, 제2 카메라(200)는 상기 제1 카메라(100)와 다른 위치에 설치된다. 기준표시장치(400, 401)은 주차장 내부의 지정된 장소에 위치하는 구조물 또는 표식이며, 출입구 또는 이동로의 노면에 표시된 주행방향 표시자(화살표 등), 주차구획선, 소방안전선 등의 표식이나 경계석, 스토퍼, 요금수납 부스 등과 같이 주차장 내에 위치하는 인조 구조물은 물론 바위 등과 같은 자연 구조물도 사용될 수 있다. 1 is a schematic configuration of a smart parking management device according to the present invention, wherein the first camera 100 and the second camera are a low-resolution camera for security CCTV, the latest high-resolution camera, etc., as well as calculation processing that are already widely sold as commercial products; A multi-function camera with built-in functions such as communication can be used, and it is installed at the entrance of a parking lot, a moving path, and a place where an image of the parking surface can be photographed. However, the second camera 200 is installed at a different location from the first camera 100 . The reference display device 400, 401 is a structure or mark located in a designated place inside the parking lot, and a driving direction indicator (arrow, etc.) displayed on the road surface of an entrance or movement path, a mark or boundary stone such as a parking dividing line, a fire safety line, Artificial structures located in the parking lot, such as stoppers and toll booths, as well as natural structures such as rocks may be used.
시점변환부(300)은 제1 카메라(100)와 제2 카메라(200)의 영상을 전송받아 기준시점으로 변환하며, 이때 기준 시점은 제1 카메라(100)의 시점, 제2 카메라(200)의 시점, 주차장의 출입구, 이동로, 주차면 중 어느 하나에 대한 법선과 평행하여 주차장의 평면도를 구현할 수 있는 시점 등이 사용될 수 있다.
The
영상의 시점을 다른 시점을 기준으로 변환하기 위한 대표적인 방법으로는 homography 가 있으며, 직접적으로 평면 이미지에서 다른 관점에서의 평면 이미지로 변환을 진행할 수 있는 homography 외에도 voxel coloring, space carving, 그리고 LSTM(Long Short Term Memory), GRU(Gated Recurrent Unit) 등을 CNN과 결합한 3DR2N2(Deep NN for 3D reconstruction) 등의 single/multiple view 3d reconstruction 기술을 활용하여 영상 내 물체들에 대한 3D 모델을 구축한 후, 변경된 시점에서의 2D 이미지(영상)을 생성하는 방식 등을 활용할 수 있다. A representative method for converting an image viewpoint based on another viewpoint is homography, and in addition to homography that can directly convert a flat image from a flat image to a flat image from another viewpoint, voxel coloring, space carving, and LSTM (Long Short Term Memory) and GRU (Gated Recurrent Unit) are combined with CNN using single/multiple view 3d reconstruction techniques such as 3DR2N2 (Deep NN for 3D Reconstruction) to build 3D models of objects in the image and then change the viewpoint A method of generating a 2D image (video) in
상기 homography란 주어진 이미지에 평행이동, 회전, 크기, 시점의 변환 등을 적용하여 변환된 이미지를 얻어내는 방식이다. 두 개의 카메라가 특정 물체를 동일하지 않은 관점에서 촬영 시, 첫 번째 카메라의 촬영물과 두 번째 카메라의 촬영물 안의 각 점들 사이에서의 관계를 찾아내는 방식이다. 이를 이용하여, 주어진 불변의 기준표시장치(400)를 기준으로 상기 각 카메라(100, 200)에서의 촬영물(101, 201)들과 기준관점(303)에서의 기준표시장치(400)의 촬영물 간의 상호관계를 분석하여 영상(101, 201) 내 기준표시장치(400)를 제외한 이미지 또한 기준관점(303)에서의 시점으로 변환할 수 있다. The homography is a method of obtaining a transformed image by applying translation, rotation, size, and viewpoint transformation to a given image. When two cameras take pictures of a specific object from a different point of view, it is a method to find the relationship between points in the first camera's image and the second camera's image. Using this, on the basis of the given immutable reference display device 400 , between the pictures 101 and 201 of the respective cameras 100 and 200 and the pictures taken by the reference display device 400 from the reference point of view 303 . By analyzing the correlation, images other than the reference display device 400 in the images 101 and 201 may also be converted into a viewpoint from the reference viewpoint 303 .
상기 알고리즘 중 LSTM은 1997년 Hochreiter와 Schmidhuber에 의해 고안되었으며, CTC 학습된 LSTM은 2009년 Graves et al.에 의해 발표된 “Offline Handwriting Recognition with Multidimensional Recurrent Neural Network”를 통해, CNN과 결합된 LSTM은 Vinyals et al.에 의해 발표된 “Show and Tell: A Neural Image Caption Generator”을 통해, GRU의 경우 2014년 조경현, et al.을 통해 발표된 “Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation”을 통해 공개된 바 있으며 이후 딥러닝 분야에서 널리 활용되고 있다. Among the above algorithms, LSTM was devised by Hochreiter and Schmidhuber in 1997, and CTC-learned LSTM is Vinyals through “Offline Handwriting Recognition with Multidimensional Recurrent Neural Network” published by Graves et al. in 2009. Through “Show and Tell: A Neural Image Caption Generator” published by et al., in the case of GRU, “Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation” published in 2014 by Cho Kyung-hyun, et al. It has been publicly disclosed through and has been widely used in the deep learning field since then.
상기 검출부(500), 영상평가부(600), 추적부(700)에서는 R-CNN(Region-based Convolutional Neural Network), Fast R-CNN, Faster R-CNN, YOLO(You Only Look Once), SSD(Single Shot Multi-box Detector), Deep SORT(Simple Online and Real-Time Tracking), Hungarian(Kuhn-Munkres) 등의 알고리즘을 활용할 수 있다. 상기 검출부(500)는 상기 시점변환부(300)에서 변환된 시점의 영상들(301,302)을 토대로 주차장으로 입장하는 차량 및 상기 기준표시장치(401)을 검출해낸 후, 해당 정보를 영상평가부(600)로 전송하며, 상기 영상평가부(600)는 상기 검출부(500)에서 검출한 상기 기준표시장치(401)를 기준으로 각 영상(301, 302)에 대한 기준표시장치의 자카드 지수(Jaccard Index)를 계산하여 비교하고, 그 중 높은 자카드 지수 값을 가진 영상과 상기 검출부(500)에서 해당영상에서 특정한 차량 정보를 추적부(700)로 전송한다. 영상 및 차량정보를 전송받은 추적부는 객체인식 및 특정된 차량에 대한 객체추적을 실시한다. In the
상기 알고리즘 중 R-CNN 알고리즘은 2014년 CVPR을 통해 발표된 “Rich feature hierarchies for accurate object detection and semantic segmentation Tech report (v5)”을 통해, Fast R-CNN 알고리즘은 2015년 ICCV를 통해 발표된 “Fast R-CNN”을 통해, Faster R-CNN 알고리즘은 2015년 NIPS를 통해 발표된 “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks”를 통해, YOLO v1, v2, v3 알고리즘은 각각 2016년 CVPR, 2017년 CVPR, 2018년 arXiv에 발표된 “YOLOv3: An Incremental Improvement” 등을 통해, SSD는 2016년 ECCV에 발표된 “SSD: Single Shot MultiBox Detector” 등을 통해, Deep SORT는 2017년 arXiv에 발표된 “Simple Online and Realtime Tracking with a Deep Association Metric” 등을 통해, Hungarian(Kuhn-Munkres)는 2018년 arXiv에 발표된 “A Distributed Version of the Hungarian Method for Multi-Robot Assignment” 등을 통해 공개된 바 있으며 이후 컴퓨터 비전 분야에서 널리 활용되고 있다. Among the above algorithms, the R-CNN algorithm is the “Rich feature hierarchies for accurate object detection and semantic segmentation Tech report (v5)” announced through CVPR in 2014, and the Fast R-CNN algorithm is the “Fast” announced through ICCV in 2015. R-CNN”, Faster R-CNN algorithm through “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks” announced at NIPS in 2015, YOLO v1, v2, v3 algorithm respectively in 2016 Through CVPR in 2017, CVPR in 2017, “YOLOv3: An Incremental Improvement” announced at arXiv in 2018, etc. Through “Simple Online and Realtime Tracking with a Deep Association Metric” published in Since then, it has been widely used in the field of computer vision.
상기 요금산출부(800)는 상기 추적부(700)가 개별 객체에 대한 추적을 개시한 시점을 기준으로 개별 차량의 주차장 이용시간 및 주차요금을 실시간으로 연속하여 산출하거나 일정 시간단위(예시 : 5초, 10초, 30초, 1분 등)로 산출하게 할 수도 있다.
The rate calculation unit 800 continuously calculates the parking lot usage time and parking fee of each vehicle in real time based on the time when the
이상의 내용을 고려할 때, 이 출원 명세서의 특허청구범위에 기재된 발명들은 발명의 상세한 설명에 의하여 뒷받침되며 이 기술이 속하는 기술분야에서 통상의 지식을 가진 자가 이 발명의 출원 명세서에 기재된 사항을 바탕으로 용이하게 실시할 수 있음이 명백하다. In consideration of the above, the inventions described in the claims of this application are supported by the detailed description of the invention, and a person of ordinary skill in the art to which this technology belongs is easily based on the matters described in the application for this invention It is clear that it can be implemented
100 : 제1 카메라
200 : 제2 카메라
300 : 시점변환부
400, 401 : 기준표시장치
500 : 검출부
600 : 영상평가부
700 : 추적부
800 : 요금산출부100: first camera
200: second camera
300: viewpoint conversion unit
400, 401: standard display device
500: detection unit
600: image evaluation unit
700: tracking unit
800: fee calculation unit
Claims (4)
상기 제1 카메라와 다른 위치에 설치되어 주차장의 출입구, 이동로 및 주차면의 영상을 촬영하는 제2 카메라(200);
상기 제1 카메라(100)가 촬영한 영상(101)과 제2 카메라(200)가 촬영한 영상(201)을 기준시점(303)의 영상(301, 302)으로 변환하는 시점변환부(300);
상기 제1 카메라의 촬영 범위와 제 2 카메라의 촬영 범위가 중복되는 어느 하나 이상의 장소에 위치하는 기준표시장치(400, 401);
상기 제1 카메라(100)와 제2 카메라(200)가 촬영한 영상(101, 201)에서 상기 기준표시장치(400)를 검출하고, 시점변환부(300)가 변환한 영상(301, 302)에서 주차장으로 입장하는 차량을 검출(Multi Object Detection; MOD)하는 검출부(500);
상기 시점변환부(300)에 의해 변환된 각각의 영상(301, 302)에 대하여 검출부(500)가 검출한 기준표시장치(401)의 자카드 지수(Jaccard Index) 값을 산출하는 영상평가부(600);
상기 영상평가부(600)가 계산한 자카드 지수(Jaccard Index) 값 높은 영상에 대하여 검출부(500)가 검출한 차량을 추적(Multi Object Tracking; MOT)하는 추적부(700);
상기 추적부(700)가 추적을 개시한 시간을 기준으로 개별 차량의 주차장 이용시간 및 주차요금을 산출하는 요금산출부(800);를 포함하는 것을 특징으로 하는 스마트 주차관리 장치A first camera 100 for photographing an image of the entrance, movement, and parking surface of the parking lot;
a second camera 200 installed at a location different from the first camera to photograph an image of an entrance, a movement path, and a parking surface of a parking lot;
The viewpoint conversion unit 300 for converting the image 101 photographed by the first camera 100 and the image 201 photographed by the second camera 200 into images 301 and 302 of the reference viewpoint 303 . ;
a reference display device (400, 401) positioned at any one or more locations where the shooting range of the first camera and the shooting range of the second camera overlap;
The first camera 100 and the second camera 200 detect the reference display device 400 from the captured images 101, 201, and the viewpoint converting unit 300 converted images (301, 302) a detection unit 500 for detecting a vehicle entering the parking lot from (Multi Object Detection; MOD);
An image evaluation unit 600 for calculating a Jaccard Index value of the reference display device 401 detected by the detection unit 500 for each of the images 301 and 302 converted by the viewpoint converting unit 300 );
a tracking unit 700 for tracking a vehicle detected by the detection unit 500 with respect to an image having a high Jaccard Index calculated by the image evaluation unit 600 (Multi Object Tracking; MOT);
Smart parking management device comprising a; a fee calculation unit (800) for calculating the parking usage time and parking fee of each vehicle based on the time when the tracking unit (700) starts tracking
상기 기준시점은 주차장의 출입구, 이동로, 주차면 중 어느 하나에 대한 법선과 평행한 것을 특징으로 하는 스마트 주차관리 장치
According to claim 1,
The reference point is a smart parking management device, characterized in that it is parallel to the normal to any one of the entrance, the movement path, and the parking surface of the parking lot.
상기 시점변환부(300)는 homography 방식을 통하여 촬영한 영상(201)을 기준시점(303)의 영상(301, 302)으로 변환하는 것을 특징으로 하는 스마트 주차관리 장치
According to claim 2,
Smart parking management device, characterized in that the viewpoint conversion unit 300 converts the image 201 taken through the homography method into the images 301 and 302 of the reference viewpoint 303
상기 기준표시장치(400)는 주차장의 출입구 또는 이동로의 노면에 표시된 주행방향 표시자(401)인 것을 특징으로 하는 스마트 주차관리 장치
According to claim 3,
The reference display device 400 is a smart parking management device, characterized in that the driving direction indicator 401 displayed on the road surface of the entrance or movement of the parking lot.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200100808A KR102476520B1 (en) | 2020-08-11 | 2020-08-11 | A Smart Parking Management Device Using Multiple Complimentary Surveillance Cameras |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200100808A KR102476520B1 (en) | 2020-08-11 | 2020-08-11 | A Smart Parking Management Device Using Multiple Complimentary Surveillance Cameras |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220020171A true KR20220020171A (en) | 2022-02-18 |
| KR102476520B1 KR102476520B1 (en) | 2022-12-12 |
Family
ID=80495310
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200100808A KR102476520B1 (en) | 2020-08-11 | 2020-08-11 | A Smart Parking Management Device Using Multiple Complimentary Surveillance Cameras |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102476520B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140113193A (en) * | 2013-03-15 | 2014-09-24 | (주)나노디지텍 | Apparatus for parking management and method thereof |
| KR101776706B1 (en) * | 2012-11-30 | 2017-09-08 | 한화테크윈 주식회사 | Method and Apparatus for counting the number of person using a plurality of cameras |
| JP2019067172A (en) * | 2017-10-02 | 2019-04-25 | 日本電信電話株式会社 | Subject identifying device, subject identifying method, and program |
| JP2020500389A (en) * | 2016-11-23 | 2020-01-09 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | Method and system for detecting raised objects present in a parking lot |
-
2020
- 2020-08-11 KR KR1020200100808A patent/KR102476520B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101776706B1 (en) * | 2012-11-30 | 2017-09-08 | 한화테크윈 주식회사 | Method and Apparatus for counting the number of person using a plurality of cameras |
| KR20140113193A (en) * | 2013-03-15 | 2014-09-24 | (주)나노디지텍 | Apparatus for parking management and method thereof |
| JP2020500389A (en) * | 2016-11-23 | 2020-01-09 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | Method and system for detecting raised objects present in a parking lot |
| JP2019067172A (en) * | 2017-10-02 | 2019-04-25 | 日本電信電話株式会社 | Subject identifying device, subject identifying method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102476520B1 (en) | 2022-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102197946B1 (en) | object recognition and counting method using deep learning artificial intelligence technology | |
| CN106128121B (en) | Vehicle queue length fast algorithm of detecting based on Local Features Analysis | |
| US20220051425A1 (en) | Scale-aware monocular localization and mapping | |
| CN114972763B (en) | Laser radar point cloud segmentation method, device, equipment and storage medium | |
| CN109934108B (en) | Multi-target and multi-type vehicle detection and distance measurement system and implementation method | |
| CN105787876B (en) | One kind being based on the matched panoramic video method for automatically split-jointing of SURF signature tracking | |
| CN105160649A (en) | Multi-target tracking method and system based on kernel function unsupervised clustering | |
| CN109509213B (en) | Harris corner detection method applied to asynchronous time domain vision sensor | |
| CN117274749B (en) | Fused 3D target detection method based on 4D millimeter wave radar and image | |
| JPH09297849A (en) | Vehicle detector | |
| WO2023284358A1 (en) | Camera calibration method and apparatus, electronic device, and storage medium | |
| KR20210064492A (en) | License Plate Recognition Method and Apparatus for roads | |
| WO2014085953A1 (en) | System and method for detecting pedestrians using a single normal camera | |
| CN113255779B (en) | Multi-source perception data fusion identification method, system and computer readable storage medium | |
| Shafie et al. | Smart video surveillance system for vehicle detection and traffic flow control | |
| Santos et al. | Car recognition based on back lights and rear view features | |
| KR102476520B1 (en) | A Smart Parking Management Device Using Multiple Complimentary Surveillance Cameras | |
| CN113628334A (en) | Visual SLAM method, device, terminal equipment and storage medium | |
| CN111612818A (en) | Novel binocular vision multi-target tracking method and system | |
| US20220392225A1 (en) | Concept for Detecting an Anomaly in Input Data | |
| CN116433712A (en) | Fusion tracking method and device based on pre-fusion of multi-sensor time sequence sensing results | |
| Tang et al. | Comparison of visual features for image-based visibility detection | |
| CN116433715A (en) | Time sequence tracking method, device and medium based on multi-sensor front fusion result | |
| KR20210108833A (en) | A Smart Parking Management System and Method Using Image Recognition Technique | |
| CN112541403A (en) | Indoor personnel falling detection method utilizing infrared camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| GRNT | Written decision to grant |