KR102186974B1 - 차량의 주차면 분석을 위한 지능형 cctv 시스템 - Google Patents

차량의 주차면 분석을 위한 지능형 cctv 시스템 Download PDF

Info

Publication number
KR102186974B1
KR102186974B1 KR1020180170059A KR20180170059A KR102186974B1 KR 102186974 B1 KR102186974 B1 KR 102186974B1 KR 1020180170059 A KR1020180170059 A KR 1020180170059A KR 20180170059 A KR20180170059 A KR 20180170059A KR 102186974 B1 KR102186974 B1 KR 102186974B1
Authority
KR
South Korea
Prior art keywords
vehicle
parking
parked
parking surface
cctv
Prior art date
Application number
KR1020180170059A
Other languages
English (en)
Other versions
KR20200084947A (ko
Inventor
김대선
고영준
Original Assignee
주식회사 디파인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 디파인 filed Critical 주식회사 디파인
Priority to KR1020180170059A priority Critical patent/KR102186974B1/ko
Publication of KR20200084947A publication Critical patent/KR20200084947A/ko
Application granted granted Critical
Publication of KR102186974B1 publication Critical patent/KR102186974B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량의 주차면 분석을 위한 지능형 CCTV 시스템에 관한 것으로, 본 발명의 일 실시예에 따른 지능형 CCTV 시스템은, 차량이 주차할 수 있는 다수의 주차면이 배치되는 주차장을 촬영하는 하나 이상의 CCTV 장치; 및 상기 하나 이상의 CCTV 장치에서 촬영된 영상 또는 이미자와 상기 주차면 및 차량에 대한 특징을 추출하기 위한 데이터베이스를 이용하여 인공신경망을 기반으로 다수의 주차면에 차량의 주차 여부에 대한 검지 모델을 학습하고, 학습된 결과에 따라 상기 다수의 주차면에 차량의 주차 여부에 대한 결과를 연산하여 출력하는 서버를 포함할 수 있다. 본 발명에 의하면, 주차장의 주차면에 차량의 주차 여부를 확인하기 위해 각 주차면에 감지 센서를 설치하는 등과 같이, 대규모로 공사를 하지 않으면서도 CCTV 장치로 촬영된 영상을 이용하여 주차면의 사용 여부를 확인할 수 있어, 간편하여 주차면의 사용여부를 확인할 수 있는 효과가 있다.

Description

차량의 주차면 분석을 위한 지능형 CCTV 시스템{SMART CCTV SYSTEM FOR ANALYSIS OF PARKING}
본 발명은 차량의 주차면 분석을 위한 지능형 CCTV 시스템에 관한 것으로, 더욱 상세하게는 CCTV를 통해 촬영한 영상을 기반으로 실시간 주차 가능 지역에 대한 분석을 수행하는 차량의 주차면 분석을 위한 지능형 CCTV 시스템에 관한 것이다.
주차장은 차량이 주차를 위한 장소이다. 이러한 주차장에 차량을 주차할 때, 차량 안에서 운전자가 주차장의 주차면에 차량이 주차되지 않은 위치를 찾는 것이 쉽지 않다. 따라서 주차장에서 운전자가 빠르게 주차하도록 안내할 수 있도록 주차면이 비어있는 위치를 안내하는 서비스가 시행되고 있다.
이러한 주차면의 빈위치를 안내하는 서비스는 지자기 센서나 초음파 센서 등의 감지 센서를 이용하여 주차면에 차량 유무를 감지하여 이를 표시하는 기술이 이용된다. 그런데, 해당 주차면에 사람이 서 있거나 물이 고여 있는 경우도 있고, 또는 다른 사물이 있는 경우에 주차면에 차량이 있는 것으로 표시되는 등과 같은 오류가 발생할 수 있다.
그리고 주차면마다 감지 센서를 설치해야 하기 때문에 대형 주차장의 경우, 대규모로 감지 센서를 설치해야 하고, 또한 해당 감지 센서에 지속적으로 전원을 공급하기 위한 배터리를 교체해야 하는 등 지속적인 관리가 필요한 문제가 있다.
대한민국 등록특허 제10-1846063호 (2018.03.30.) 대한민국 등록특허 제10-1556076호 (2015.09.21)
본 발명이 해결하고자 하는 과제는, 주차장을 촬영하여 촬영된 영상을 분석하여 주차면에 차량의 유무를 분석하여 실시간 주차 가능여부를 판별할 수 있는 차량의 주차면 분석을 위한 지능형 CCTV 시스템을 제공하는 것이다.
본 발명의 일 실시예에 따른 지능형 CCTV 시스템은, 차량이 주차할 수 있는 다수의 주차면이 배치되는 주차장을 촬영하는 하나 이상의 CCTV 장치; 및 상기 하나 이상의 CCTV 장치에서 촬영된 영상 또는 이미자와 상기 주차면 및 차량에 대한 특징을 추출하기 위한 데이터베이스를 이용하여 인공신경망을 기반으로 다수의 주차면에 차량의 주차 여부에 대한 검지 모델을 학습하고, 학습된 결과에 따라 상기 다수의 주차면에 차량의 주차 여부에 대한 결과를 연산하여 출력하는 서버를 포함할 수 있다.
상기 서버는 데이터베이스를 이용하여 상기 다수의 주차면 각각에 차량의 주차여부에 대한 범주 특징을 추출하고, 추출된 범주 특징을 이용하여 상기 각 주차면에 대한 검지 모델을 학습하며, 상기 학습된 검지 모델을 이용하여 상기 각 주차면에 차량의 주차여부에 대한 이미지나 영상을 확보하여 상기 다수의 주차면에 차량의 주차 여부에 대한 결과를 연산할 수 있다.
상기 서버는, 제한된 볼츠만 머신(Restricted Boltzmann machine) 모델을 이용하여 상기 다수의 주차면에 차량의 주차 여부를 연산할 수 있다.
상기 CCTV 장치는, 차량이 주차할 수 있는 다수의 주차면이 배치되는 주차장을 촬영하는 촬영부; 및 상기 촬영부에 촬영된 영상 또는 이미지와 상기 주차면 및 차량에 대한 특징을 추출하기 위한 데이터베이스를 이용하여 인공신경망을 기반으로 상기 다수의 주차면에 차량의 주차 여부에 대한 검지 모델을 학습하고, 학습된 결과에 따라 상기 다수의 주차면에 차량의 주차 여부에 대한 결과를 출력하도록 연산하는 연산부를 포함할 수 있다.
상기 서버는, 상기 연산된 결과를 상기 CCTV 장치의 연산부에 전송할 수 있다.
상기 서버는, 상기 CCTV 장치에서 촬영된 영상 또는 이미지와 상기 차량의 종류에 대한 특징을 추출하기 위한 데이터베이스를 이용하여 상기 인공신경망을 기반으로 상기 차량의 종류에 대한 검지 모델을 학습하고, 학습된 결과에 따라 상기 차량의 종류에 대한 결과를 연산할 수 있다.
본 발명에 의하면, 주차장의 주차면에 차량의 주차 여부를 확인하기 위해 각 주차면에 감지 센서를 설치하는 등과 같이, 대규모로 공사를 하지 않으면서도 CCTV 장치로 촬영된 영상을 이용하여 주차면의 사용 여부를 확인할 수 있어, 간편하여 주차면의 사용여부를 확인할 수 있는 효과가 있다.
또한, 딥러닝을 통해 주차면에 주차된 차량의 종류를 확인할 수 있어, 차량의 종류에 따른 주차면 이용에 대한 안내 및 확인을 수행할 수 있어, 차량의 종류에 따른 해당 주차면의 안내를 할 수 있어, 보다 정확하게 차량의 주차를 안내할 수 있는 효과가 있다.
더욱이, 차량의 종류를 확인하여, 차량의 종류에 따라 주차장 요금을 확인할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 지능형 CCTV 시스템을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 지능형 CCTV 장치를 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 CCTV 시스템에서 딥러닝을 수행을 위한 개념을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 CCTV 시스템에서 딥러닝 수행의 일례를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 CCTV 시스템에서 주차장에 주차된 차량을 촬영한 예를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 CCTV 시스템에서 주차장에 주차된 차량의 종류를 확인하기 위해 각 주차면을 분할한 것을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 CCTV 시스템에서 주차장의 종류에 따라 차량의 주차를 안내하는 것을 설명하기 위한 도면이다.
본 발명의 바람직한 실시예에 대하여 첨부된 도면을 참조하여 더 구체적으로 설명한다.
도 1은 본 발명의 일 실시예에 따른 지능형 CCTV 장치를 포함하는 CCTV 시스템을 도시한 블록도이이고, 도 2는 본 발명의 일 실시예에 따른 지능형 CCTV 장치를 도시한 블록도이다. 도 3은 본 발명의 일 실시예에 따른 CCTV 시스템에서 딥러닝을 수행을 위한 개념을 설명하기 위한 도면이고, 도 4는 본 발명의 일 실시예에 따른 CCTV 시스템에서 딥러닝 수행의 일례를 설명하기 위한 도면이다. 그리고 도 5는 본 발명의 일 실시예에 따른 CCTV 시스템에서 주차장에 주차된 차량을 촬영한 예를 설명하기 위한 도면이고, 도 6은 본 발명의 일 실시예에 따른 CCTV 시스템에서 주차장에 주차된 차량의 종류를 확인하기 위해 각 주차면을 분할한 것을 도시한 도면이다. 도 7은 본 발명의 일 실시예에 따른 CCTV 시스템에서 주차장의 종류에 따라 차량의 주차를 안내하는 것을 설명하기 위한 도면이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 지능형 CCTV 장치(110)를 포함하는 CCTV 시스템(100)은, CCTV 장치(110), 관리자 단말기(120) 및 서버(130)를 포함한다.
CCTV 장치(110)는, 다수 개가 구비될 수 있다. 그리고 다수의 CCTV 장치(110)는 각각 주차장(200)의 다수의 주차면을 촬영하고, 촬영된 영상을 분석하여 주차면에 차량이 주차되어 있는지 분석한다. 또한, 본 실시예에서, CCTV 장치(110)는 주차면에 주차된 차량의 종류를 분석할 수 있으며, 차량의 번호에 대한 분석도 수행할 수 있다. 이를 위해 CCTV 장치(110)는 촬영부(111), 연산부(113) 및 저장부(115)를 포함한다.
촬영부(111)는, 주간 또는 야간에 촬영을 수행할 수 있다. 즉, 촬영부(111)는 주간 촬영을 위한 카메라와 야간 촬영을 위한 적외선 카메라 등을 포함할 수 있다.
본 실시예에서, 촬영부(111)는 주차장(200)의 주차면을 촬영하도록 주차장(200)의 일 측에 CCTV 장치(110)가 고정된 상태로 특정 위치를 고정적으로 촬영하는 것에 대해 설명하지만, 이에 한정되는 것은 아니며, CCTV 장치(110)가 회전 또는 이동하도록 구성될 수 있고, 촬영부(111)는 이렇게 CCTV 장치(110)가 회전 또는 이동되는 동안 지속적으로 촬영이 이루어질 수 있다.
이러한 촬영부(111)는 영상을 촬영하기 위해 하나 이상의 카메라 모듈이 포함될 수 있다.
연산부(113)는, 촬영부(111)에서 촬영된 영상에 대한 분석을 수행할 수 있으며, 또한, 서버(130)로부터 촬영부(111)에서 촬영된 영상에 대한 분석 결과를 수신할 수도 있다.
이를 위해 연산부(113)는 딥러닝 기반으로 주차장(200)의 주차면을 인지할 수 있는 주차면 학습 모델, 수집된 영상 이미지에서 추출된 차량 정보, 주차면 학습 모델과 연계되어 주차면의 사용여부를 판별할 수 있는 정보 등을 분석할 수 있는 프로그램을 통해 분석을 수행할 수 있다.
따라서 연산부(113)는 상기와 같은 프로그램을 통해 분석을 수행하기 위해 컴퓨팅 리소스(CPU, GPU, RAM, 저장장치 등)를 포함하는 하드웨어로 구성될 수 있다. 또한, 연산부(113)에 포함된 저장장치에는, 차량의 종류에 대한 정보, 주차면 학습 모델 및 분석 프로그램 등과 같은 정보가 저장될 수 있다.
연산부(113)는, 제1 단계로, 주차장(200)의 주차면 및 차량에 대한 특징을 추출하기 위한 데이터베이스가 구축한다. 그리고 제2 단계로, 인공신경망을 기반으로 학습을 위해 데이터베이스에서 주차면에 차량의 주차여부에 대한 범주 특징을 추출한다. 그리고 제3 단계로, 차량의 주차여부에 대한 범주 특징을 이용하여 주차면의 검지 모델을 학습한다. 이렇게 학습된 검지 모델을 이용하여 제4 단계로, 주차면에 차량의 주차 여부를 추출할 수 있다. 이때, 학습된 검지 모델은 주차면에 차량이 주차된 경우와 차량이 주차되지 않은 경우에 대한 영상이나 이미지를 확보할 수 있다.
이때, 제3 단계에서, 주차면의 검지 모델을 학습하는 과정은, 주차장(200)에 발생할 수 있는 다양한 기상변화(예컨대, 눈이나 비가 오는 상황)이나 시간의 변화(시간이 변함에 따라 낮과 밤의 변화) 등에 대한 다양한 이미지나 영상을 통해 주차면에 대한 검지 모델을 학습할 수 있다.
그리고 제4 단계에서, 실제 주차장(200)에 대한 영상 이미지를 사용하여 실제 주차면의 사용여부를 검지하고, 오류가 발생하는 경우, 제2 단계에서부터 다시 반복하여 오류를 줄일 수 있다. 그에 따라 연산부(113)는 최종적으로 주차면에 차량이 주차되어 있는지에 대한 정보를 확보할 수 있으며, 또한, 주차된 차량에 대한 정보도 확인할 수 있다.
연산부(113)는 상기와 같이, 분석된 결과를 서버(130)로 전송할 수 있다.
저장부(115)는 연산부(113)에서 연산된 결과를 저장한다. 저장부(115)는 연산부(113)의 저장장치와 별개로 구비될 수 있으며, 경우에 따라 연산부(113)의 저장장치일 수도 있다.
관리자 단말기(120)는 주차장을 관리하기 위한 단말기로, CCTV 장치(110) 및 서버(130)로부터 전송된 정보를 바탕으로 주차장에 대한 관리가 이루어질 수 있다. 즉, 관리자 단말기(120)는 주차장에 주차된 차량에 대한 정보, 진입 또는 출차되는 차량에 대한 정보 및, 차량에 대한 주차료 과금에 대한 정보를 관리할 수 있다.
서버(130)는 CCTV 장치(110)의 촬영부(111)에서 촬영된 영상을 수신하고, 수신된 영상을 분석을 수행한다. 이를 위해 서버(130)는 딥러닝을 기반으로 주차장(200)의 주차면을 인지할 수 있는 주차면 학습 모델, 수집된 영상 이미지에서 추출된 차량 정보, 주차면 학습 모델과 연계되어 주차면의 사용여부를 판별할 수 있는 정보 및 다수의 CCTV 장치(110)에서 수집된 차량의 이동 경로에 대한 정보 등을 분석할 수 있는 프로그램을 통해 분석을 수행할 수 있다.
즉, 서버(130)는 주차장의 각 주차면에 대한 정보를 실시간으로 분석하여 분석된 결과 및 연산부(113)에서 전송된 결과를 관리자 단말기(120)로 전송할 수 있다. 서버(130)는 주차장에 진입 또는 출차하는 차량에 대한 관리, 차량의 주차 요금에 대한 관리, 차량의 종류에 대한 관리 및 차량의 종류에 따라 할인 대상 여부에 대한 관리를 수행할 수 있다.
그에 따라 서버(130)는 인경신경망을 기반으로 주차장의 주차면 검지 모델을 이용하여 주차면에 대한 검지 모델, 차량의 종류 및 차량 번호판 인식을 위한 모델 및 차량 추적 모델을 딥러닝을 통해 지속적으로 정보를 갱신하고, 갱신된 각 모델에 따라 가장 정확한 모델을 유지할 수 있다.
세부적으로, 서버(130)는 제1 단계로, CCTV 장치(110)의 촬영부(111)를 통해 실시간으로 촬영된 영상 또는 이미지를 수신한다. 그리고 제2 단계로, CCTV 장치(110)의 연산부(113)에서 분석된 주차장의 주차면에 차량의 주차여부에 대한 정보를 수신한다. 제3 단계로, CCTV 장치(110)의 연산부(113)에서 수신된 주차면에 차량의 주차여부에 대한 정보를 이용하여 해당 주차면에 차량의 주차 여부를 판단한다. 제4 단계로, CCTV 장치(110)의 촬영부(111)에서 수신된 영상 또는 이미지와 CCTV 장치(110)의 연산부(113)에서 수신된 정보를 이용하여 주차 여부에 대한 주차면 학습 모델, 차량의 종류 및 차량 번호판 인식 모델 및 차량 추적 모델을 갱신한다. 그리고 제5 단계로, 갱신된 주차면 학습 모델, 차량 종류 및 차량 번호판 인식 모델 및 차량 추적 모델을 CCTV 장치(110) 및 관리자 단말기(120)로 전송한다. 제 6 단계로, 관리자 단말기로 전송된 정보를 바탕으로 관리자 단말기(120)에서 주차장의 운영에 대한 관리가 이루어지도록 할 수 있다.
이때, 서버(130)는 주차면 학습 모델을 수행하기 위해 앞서 설명한 연산부(113)에서 이루어지는 제1 내지 제4 단계와 동일한 과정을 거쳐 수행될 수 있다. 또는, 서버(130)는 제1 단계로, 인공신경망을 기반으로 영상분석을 통한 주차면 학습 모델을 생성한다. 제2 단계로, 도 5에 도시된 바와 같이, 각 CCTV 장치(110)로부터 실시간으로 주차장의 영상 또는 이미지를 수집한다. 제3 단계로, 도 6의 (a) 내지 도 6의 (f)에 도시된 바와 같이, 수집된 영상 또는 이미지에서 각 주차면에 해당하는 이미지를 분할한다. 제4 단계로, 분할된 주차면에 대한 이미지를 이용하여 주차면에 차량이 주차되어 있는지 여부를 판단한다. 예컨대, 도 6의 (a), 도 6의 (b), 도 6의 (d) 및 도 6의 (f)는 차량이 주차된 상태로 판단되고, 도 6의 (c) 및 도 6의 (e)는 주차를 할 수 있는 주차면인 것으로 판단될 수 있다.
이때, CCTV 장치(110)의 연산부(113) 또는 서버(130)에서 이용되는 인공신경망(Artificial Neural Network, ANN)은, 기계학습과 인지과학에서 생물학의 신경망에서 영감을 얻은 통계학적인 학습 알고리즘을 의미한다. 인공 신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다.
본 실시예에서, 인공신경망 모델 중 제한된 볼츠만 머신(Restricted Boltzmann machine) 모델을 이용할 수 있다. 제한된 볼츠만 머신 모델은, 차원 감소, 분류, 선형 회귀 분석, 협업 필터링(collaborative filtering), 특징 값 학습(feature learning) 및 주제 모델링(topic modelling)에 사용할 수 있는 알고리즘으로 Geoff Hinton이 제안한 모델이다.
제한된 볼츠만 머신 모델은 가시층(visible layer) 및 은닉층(hidden layer)로 구성되고, 가시층에는 다수의 가시노드(visible node)를 포함하고, 은닉층은 다수의 은닉노드(hidden node)를 포함한다. 그리고 모든 은닉층에 위치하는 은닉노드는 가시층에 위치하는 가시노드와 연결되고, 모든 가시층의 가시노드는 은닉층의 은닉노드와 연결된다. 즉, 제한된 볼츠만 머신 모델은 같은 층의 노드는 서로 연결되지 않고, 다른 층의 노드와 연결된다.
가시층의 가시노드는 데이터가 입력되면 입력된 데이터를 은닉층의 얼마나 전달할 것인지를 확률에 따라 결정(stochastic decision)한다. 즉, 확률에 따라 입력된 데이터가 전달할 것으로 결정하면 1로 표시하고, 데이터를 전달하지 않을 것으로 결정하면 0으로 표시한다.
도 3을 참조하면, 가시층의 가시노드(i)로 입력 데이터(v)가 입력되면, 가시노드의 입력 데이터와 가중치(wij)의 곱셈 값이 서로 더해진다. 그리고 활성 함수(예컨대, 시그모이드(Sigmoid) 함수)를 거쳐 0 또는 1의 값으로 샘플링되어 은닉노드(j)에 출력 값(h)이 출력된다.
제한된 볼츠만 머신 모델은 비지도 학습(unsupervised learning)을 통해 가중치를 조절하여 입력 데이터의 중요한 특징들을 학습한다. 여기서 가중치는 입력 데이터(v), 은닉노드의 출력 값(h), 재구성(reconstruction) 과정을 통해 계산되는 보정된 입력 데이터(v') 및 재생산(Regeneration) 과정을 통해 계산되는 보정된 출력값(h')으로부터 오차 값(v'h'-vh)을 계산하여 조절될 수 있다.
도 4를 참조하여, 제한된 볼츠만 머신 모델에서 가중치를 조절하는 것에 대한 일례를 설명한다. 도 4의 (a)에 도시된 바와 같이, 재구성 과정에서 은닉층의 각 은닉노드(j)의 출력 값(h)과 가중치(wji)의 곱셈 값은 모두 합산된 후, 활성 함수를 거쳐 0 또는 1의 값으로 샘플링되어 입력 노드(i)에서 보정된 입력 데이터(v')으로 출력된다.
도 4의 (b)에 도시된 바와 같이, 재생산 과정에서 가시노드(i)의 보정된 입력 데이터(v')와 가중치(wij)의 곱셈 값은 서로 합해진 후 활성 함수를 거쳐 0 또는 1의 값으로 샘플링되어 은닉노드(j)에서 다시 보정된 출력값(h')으로 출력된다.
따라서 출력값(h), 보정된 입력 데이터(v'), 보정된 출력값(h')의 계산은 각각 아래와 같이 수학식 1, 수학식 2 및 수학식 3과 같이 표현될 수 있다.
[수학식 1]
Figure 112018130742123-pat00001
[수학식 2]
Figure 112018130742123-pat00002
[수학식 3]
Figure 112018130742123-pat00003
여기서, P는 샘플링 함수, hcj는 입력 케이스(c)에 대한 은닉노드(j)의 출력 값, Nv는 가시노드의 수, vci는 가시노드(i)로 입력되는 입력 케이스(c)의 입력 데이터, wij는 가시노드(i)와 은닉노드(j) 사이의 가중치, bh j는 은닉노드(j)의 입력 바이어스 값, σ는 활성 함수(예컨대, 로지스틱 함수(logistic function))이다.
그리고 Nh는 은닉노드의 수, hcj는 은닉노드(j)에서 출력되는 입력 케이스(c)의 출력 값, wji는 은닉노드(j)와 가시노드(i) 사이의 가중치, bh i는 가시노드(i)의 출력 바이어스 값, h'cj는 입력 케이스(c)에 대한 은닉노드(j)의 보정된 출력 값이다.
이렇게 계산된 출력 값(h), 보정된 입력 데이터(v') 및 보정된 출력 값(h')를 이용하여 가중치(wij), 출력 바이어스(bh) 및 입력 바이어스(bv)는 입력 데이터의 특징을 학습하기 위해 보정될 수 있으며, 가중치, 출력 바이어스 및 입력 바이어스의 보정은 수학식 4, 수학식 5 및 수학식 6으로 보정될 수 있다.
[수학식 4]
Figure 112018130742123-pat00004
[수학식 5]
Figure 112018130742123-pat00005
[수학식 6]
Figure 112018130742123-pat00006
여기서, Nc는 입력 배치를 구성하는 입력케이스의 수, ε는 학습율(learning rate)을 의미한다. 인공신경망에서 연산 시간과 학습 효율을 높이기 위해 다수의 입력 데이터로 이루어진 입력 케이스(c)의 집합인 입력 배치(batch)를 기준으로 가중치 보정이 이루어진다.
상기와 같은 제한된 볼츠만 머신 모델을 이용하여 본 실시예에서, 입력 데이터로, 촬영부(111)에서 촬영된 영상에 대한 이미지나 영상이 입력될 수 있다. 그리고 연산부(113)에서 입력된 영상이나 이미지를 이용하여 주차면에 차량의 주차 여부를 딥러닝하여 차량의 주차여부에 대한 정보를 출력할 수 있다.
다시 말해, 일례로, 가시층의 가시노드(i)로 입력되는 입력 데이터(v)에 촬영부(111)에서 촬영된 이미지나 영상이 입력되며, 입력된 이미지나 영상에서 주차면에 차량이 주차된 경우 은닉노드(j)의 출력 값(h)으로 1 값이 출력되고, 주차면에 차량이 주차되지 않은 경우 은닉노드(j)의 출력 값(h)로 0 값이 출력될 수 있다. 그리고 도 4의 (a) 및 도 4의 (b)에 도시된 과정을 거치면서 학습되어 주차면에 차량의 주차여부에 대한 결과를 출력할 수 있다.
상기와 같은 분석을 통해, 도 5에 도시된 바와 같이, 본 실시예에 따른 CCTV 시스템(100)에서 서버(130)는, 주차장(200)에 주차면에 차량(300)이 주차된 경우와 주차되지 않은 경우를 구분할 수 있으며, 서버(130)는 여섯 개의 주차면 중 네 개의 주차면에 차량(300)이 주차되어 있으며, 두 개의 주차면에 차량(300)이 주차되어 있지 않은 것을 확인할 수 있다. 그리고 이렇게 감지된 정보를 관리자 단말기(120)로 전송할 수 있으며, 관리자 단말기(120)를 해당 정보를 차량(300)의 운전자가 확인할 수 있도록 정보를 표시할 수 있다.
또한, 도 7에 도시된 바와 같이, 주차장(200)에 다양한 차량(300)이 주차하도록 구분된 경우, 서버(130)는, 주차면에 주차된 차량(300)의 종류 대한 정보를 확인하고, 주차하고자 하는 차량(300)의 종류에 대한 정보를 확인할 수 있다. 즉, 주차장(200)에 진입한 차량(300)이 일반 차량인 경우, 일반 차량이 주차할 수 있는 일반 주차면(210)에 대한 안내가 이루어지도록 할 수 있다. 그리고 주차장(200)에 진입한 차량(300)이 전기 충전을 위한 전기 차량인 경우, 전기 차량을 위한 전기차량 주차면(220)에 대한 안내가 이루어지도록 할 수 있다.
또한, 주차장(200)에 진입한 차량(300)이 장애인 차량인 경우, 장애인 차량이 주차할 수 있는 장애인 주차면(230)에 대한 안내가 이루어지도록 할 수 있다.
즉, 본 실시예에서, 서버(130)는 도 4의 (a) 및 도 4의 (b)에서 설명한 딥러닝 과정을 통해 가시층의 가스노드(i)에 입력되는 입력 데이터(v)에 각 CCTV 장치(110)의 촬영부(111)에서 촬영된 이미지나 영상이 입력되도록 한다. 이때, 입력되는 이미지나 영상은 차량(300)에 대한 정보일 수 있다. 따라서 서버(130)는 주차장(200)에 진입한 차량(300)에 대한 이미지나 영상을 입력 데이터(v)로 입력되어 차량(300)의 종류에 대한 결과를 출력할 수 있다. 그에 따라 해당 차량(300)에 대한 종류를 확인할 수 있다. 본 실시예에서, 확인할 수 있는 차량(300)의 종류는, 경차, 소형세단, 중형세단, 대형세단, 소형 SUV, 중형 SUV, 대형 SUV 등의 종류를 확인할 수 있으며, 전기차량인지 여부도 확인할 수 있다.
그리고 본 실시예에서, 서버(130)는, 해당 차량(300)에 장애인 등록증이 차량(300)의 전면에 노출되는 지를 확인할 수 있다. 그에 따라 장애인 등록증이 차량(300)의 전면에 배치된 것을 감지되는 경우, 장애인 차량인 것으로 판단하여 장애인 주차면(230)에 대한 안내가 이루어지도록 해당 정보를 관리자 단말기(120)로 전송할 수 있다.
더욱이, 서버(130)는 주차장에 차량이 진입하면, 해당 차량에 대해 다수의 CCTV 장치(110)에서 촬영된 영상을 바탕으로 해당 차량의 이동 경로를 확인할 수 있다. 이러한 차량 추적 모델을 통해 서버(130)는 해당 차량이 주차장에서 어느 위치의 주차면에 주차가 이루어지는 지에 대한 정보를 확인할 수 있다.
위에서 설명한 바와 같이 본 발명에 대한 구체적인 설명은 첨부된 도면을 참조한 실시예에 의해서 이루어졌지만, 상술한 실시예는 본 발명의 바람직한 예를 들어 설명하였을 뿐이므로, 본 발명이 상기 실시예에만 국한되는 것으로 이해돼서는 안 되며, 본 발명의 권리범위는 후술하는 청구범위 및 그 등가개념으로 이해되어야 할 것이다.
100: CCTV 시스템
110: CCTV 장치
111: 촬영부
113: 연산부
115: 저장부
120: 관리자 단말기
130: 서버
200: 주차장
210: 일반 주차면
220: 전기차량 주차면
230: 장애인 주차면
300: 차량

Claims (6)

  1. 차량이 주차할 수 있는 다수의 주차면이 배치되는 주차장을 촬영하는 하나 이상의 CCTV 장치;
    상기 하나 이상의 CCTV 장치에서 촬영된 영상 또는 이미자와 상기 주차면 및 차량에 대한 특징을 추출하기 위한 데이터베이스를 이용하여 인공신경망을 기반으로 다수의 주차면에 차량의 주차 여부에 대한 검지 모델을 학습하고, 학습된 결과에 따라 상기 다수의 주차면에 차량의 주차 여부에 대한 결과를 연산하여 출력하는 서버; 및
    상기 서버로부터 전송된 정보를 바탕으로 주차장에 대한 관리가 이루어지는 관리자 단말기를 포함하며,
    상기 서버는 데이터베이스를 이용하여 상기 다수의 주차면 각각에 차량의 주차 여부에 대한 범주 특징을 추출하고, 추출된 범주 특징을 이용하여 상기 각 주차면에 대한 검지 모델을 학습하며, 상기 학습된 검지 모델을 이용하여 상기 각 주차면에 차량의 주차 여부에 대한 이미지나 영상을 확보하여 상기 다수의 주차면에 차량의 주차 여부에 대한 결과를 연산하되 각 주차면을 일반 차량이 주차 가능한 일반 주차면과, 전기 차량의 충전을 위한 전기 차량 주차면, 그리고 장애인 차량이 주차 가능한 장애인 주차면을 구분하여 차량의 주차 여부에 대한 결과를 연산하여 상기 관리자 단말기에 전송하고,
    상기 서버는, 상기 CCTV 장치에서 촬영된 영상 또는 이미지와 상기 차량의 종류에 대한 특징을 추출하기 위한 데이터베이스를 이용하여 상기 인공신경망을 기반으로 상기 차량의 종류에 대한 검지 모델을 학습하고, 학습된 결과에 따라 상기 차량의 종류에 대한 결과를 연산하되 전기 차량 여부와, 장애인 차량 여부를 판단함으로써 일반 차량과, 전기 차량, 그리고 장애인 차량으로 구분하여 상기 차량의 종류에 대한 결과를 연산하여 상기 관리자 단말기에 전송하는데, 장애인 차량 여부의 판단은 장애인 등록증이 차량의 전면에 배치되었는지 여부에 기초하며,
    상기 관리자 단말은 상기 일반 차량으로 판단된 차량에게는 상기 일반 주차면에 대하여 안내하고, 상기 전기 차량으로 판단된 차량에게는 상기 전기 차량 주차면에 대하여 안내하며, 상기 장애인 차량으로 판단된 차량에게는 상기 장애인 주차면에 대하여 안내하고,
    상기 CCTV 장치는 회전 또는 이동 가능하도록 구성되고 회전 또는 이동되는 동안 지속적인 촬영이 가능한 지능형 CCTV 시스템.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 서버는, 제한된 볼츠만 머신(Restricted Boltzmann machine) 모델을 이용하여 상기 다수의 주차면에 차량의 주차 여부를 연산하는 지능형 CCTV 시스템.
  4. 청구항 1에 있어서, 상기 CCTV 장치는,
    차량이 주차할 수 있는 다수의 주차면이 배치되는 주차장을 촬영하는 촬영부; 및
    상기 촬영부에 촬영된 영상 또는 이미지와 상기 주차면 및 차량에 대한 특징을 추출하기 위한 데이터베이스를 이용하여 인공신경망을 기반으로 상기 다수의 주차면에 차량의 주차 여부에 대한 검지 모델을 학습하고, 학습된 결과에 따라 상기 다수의 주차면에 차량의 주차 여부에 대한 결과를 출력하도록 연산하는 연산부를 포함하는 지능형 CCTV 시스템.
  5. 청구항 4에 있어서,
    상기 서버는, 상기 연산된 결과를 상기 CCTV 장치의 연산부에 전송하는 지능형 CCTV 시스템.
  6. 삭제
KR1020180170059A 2018-12-27 2018-12-27 차량의 주차면 분석을 위한 지능형 cctv 시스템 KR102186974B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180170059A KR102186974B1 (ko) 2018-12-27 2018-12-27 차량의 주차면 분석을 위한 지능형 cctv 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180170059A KR102186974B1 (ko) 2018-12-27 2018-12-27 차량의 주차면 분석을 위한 지능형 cctv 시스템

Publications (2)

Publication Number Publication Date
KR20200084947A KR20200084947A (ko) 2020-07-14
KR102186974B1 true KR102186974B1 (ko) 2020-12-07

Family

ID=71526633

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180170059A KR102186974B1 (ko) 2018-12-27 2018-12-27 차량의 주차면 분석을 위한 지능형 cctv 시스템

Country Status (1)

Country Link
KR (1) KR102186974B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220114118A (ko) * 2021-02-08 2022-08-17 동의대학교 산학협력단 장애인 주차구역 단속 시스템 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102516521B1 (ko) * 2021-02-24 2023-03-30 충남대학교산학협력단 소방구역 주정차 매니지먼트 장치 및 이를 포함한 매니지먼트 시스템
KR20230060562A (ko) * 2021-10-27 2023-05-08 (주)제이엔디 지능형 영상 분석 기반 스마트 주차 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018055141A (ja) * 2016-09-26 2018-04-05 日立オートモティブシステムズ株式会社 移動体軌道予測システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101556076B1 (ko) 2015-02-17 2015-09-30 케이에스아이 주식회사 주차 통합 관리 시스템 및 이를 이용한 주차 관리 방법
KR101846063B1 (ko) 2016-03-14 2018-05-21 지엘에스이 주식회사 주차 유도 카메라 시스템
KR101908611B1 (ko) * 2016-12-13 2018-12-10 동아대학교 산학협력단 차량 주차관리 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018055141A (ja) * 2016-09-26 2018-04-05 日立オートモティブシステムズ株式会社 移動体軌道予測システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220114118A (ko) * 2021-02-08 2022-08-17 동의대학교 산학협력단 장애인 주차구역 단속 시스템 및 방법
KR102472285B1 (ko) * 2021-02-08 2022-11-29 동의대학교 산학협력단 장애인 주차구역 단속 시스템 및 방법

Also Published As

Publication number Publication date
KR20200084947A (ko) 2020-07-14

Similar Documents

Publication Publication Date Title
Aboah A vision-based system for traffic anomaly detection using deep learning and decision trees
Bura et al. An edge based smart parking solution using camera networks and deep learning
CN109711557B (zh) 一种行车轨迹预测方法、计算机设备及存储介质
KR102186974B1 (ko) 차량의 주차면 분석을 위한 지능형 cctv 시스템
CN110147707B (zh) 一种高精度车辆识别方法及系统
WO2023109099A1 (zh) 基于非侵入式检测的充电负荷概率预测系统及方法
CN114267082B (zh) 基于深度理解的桥侧坠落行为识别方法
CN112287827A (zh) 基于智慧灯杆的复杂环境行人口罩佩戴检测方法及系统
Khosravi et al. Crowd emotion prediction for human-vehicle interaction through modified transfer learning and fuzzy logic ranking
KR102143073B1 (ko) 차량의 주차면 분석을 위한 지능형 cctv 장치
Luo et al. Traffic signal transition time prediction based on aerial captures during peak hours
Hou et al. Reidentification of trucks in highway corridors using convolutional neural networks to link truck weights to bridge responses
BOURJA et al. Real time vehicle detection, tracking, and inter-vehicle distance estimation based on stereovision and deep learning using YOLOv3
Sharma et al. Deep Learning-Based Object Detection and Classification for Autonomous Vehicles in Different Weather Scenarios of Quebec, Canada
Abu-Alsaad CNN-Based Smart Parking System.
US11562184B2 (en) Image-based vehicle classification
CN114821470A (zh) 基于图卷积网络的人车关联方法及装置
US11676391B2 (en) Robust correlation of vehicle extents and locations when given noisy detections and limited field-of-view image frames
CN112861682B (zh) 基于朴素贝叶斯云计算路面图像采集分类方法及其装置
Priya et al. Road traffic condition monitoring using deep learning
Shang et al. Real-time Accurate Object Counting for Smart Farms
Hernandez et al. A hybrid convolutional neural network-gradient boosted classifier for vehicle classification
Maligalig et al. Machine Vision System of Emergency Vehicle Detection System Using Deep Transfer Learning
Muhammad Detection parking Spaces by using the ResNet50 Algorithm
CN110717544A (zh) 一种垂直鱼眼镜头下行人属性分析方法及系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant