KR102019031B1 - Cctv 주차장 영상정보를 이용한 실시간 주차칸 영상객체 인식 장치, 시스템 및 방법 - Google Patents

Abstract

본 발명에 따른 CCTV 영상 정보를 이용한 실시간 주차칸 영상객체 인식 시스템은, 주차장의 주정차 상태를 실시간으로 촬영하는 CCTV계 장치; 오픈 자료소스를 포함할 뿐만 아니라 복수의 일반 주차장에 설치되는 실시간 주차칸 영상객체 인식 장치에 적어도 연결되는 외부 소스와; 특정 주차장에 설치되는 주차장 관리장치와; 주차칸 영상객체 인식 장치;를 구비하고, 주차칸 영상객체 인식 장치는, 일반 주차장과 관련된 영상정보를 적어도 포함하는 오픈 자료를 오픈 소스로부터 입력하는 외부소스 자료 입력부, 및 특정 주차장의 CCTV계 장치로부터 실시간 영상자료를 입력하는 실시간 자료 입력부를 포함하는 입력 모듈과; 입력 모듈의 외부소스 자료 입력부로부터 입력되는 오픈 자료를 이용하여, 예상되는 주차칸의 형상 및 주차칸 환경을 학습하여 임의 주차칸에 대해 차량의 주차 여부를 판단할 수 있는 학습된 신경망 인공지능을 생성하는 인공지능 모듈과; 일반주차장 중 특정 주차장의 CCTV계 장치로부터 실시간으로 제공되는 주차장 영상을 학습된 신경망 인공지능에 적용하여 특정 주차장에서의 주차칸들에 대한 주차 여부를 실시간으로 판단하고 해당 판단결과에 기초하여 특정 주차장에서의 주차칸들의 주차 여부를 나타내는 주차칸 상태정보를 상시 실시간으로 제공하는 주차칸 상태 판단부를 포함하는 제어 모듈을 구비한다.

Description

CCTV 주차장 영상정보를 이용한 실시간 주차칸 영상객체 인식 장치, 시스템 및 방법 {APPARATUS, SYSTEM AND METHOD FOR REAL-TIME PARKING LOT VIDEO OBJECT RECOGNITION FROM CCTV PARKING LOT VIDEO DATA}

본 발명은 CCTV 주차장 영상정보를 이용한 주차칸 영상객체 인식장치, 시스템 및 방법에 관한 것으로서, 특히, 다수의 일반 주차장의 영상정보를 이용하여 미리 인공지능식 학습을 통해 주차칸의 주차 여부를 판단할 수 있는 기능을 가진 학습된 신경망 인공지능 정보를 축적하고, 이 학습된 신경망 인공지능을 기초로 특정 주차장의 CCTV를 통해 입력되는 실시간 정보로부터 해당 주차장의 주차칸이 빈주차칸인지 차량이 주차한 찬주차칸인지의 여부를 판단할 수 있는 기능을 제공하는 CCTV 주차장 영상정보를 이용한 주차칸 영상객체 인식장치, 주차칸 영상객체 인식 시스템, 및 주차칸 영상객체 인식방법에 관한 것이다.

본 발명에서 사용하는 용어는 다음과 같다.

빈주차칸: 현재 차량이 주차되어 있지 않은 주차칸

찬주차칸: 현재 차량이 주차되어 있는 주차칸

일반 주차장: 일반적으로 존재할 수 있는 모든 주차장의 일부 또는 전부를 의미하며, 본 발명에서는 사전에 촬영된 일반 주차장의 공지된 오픈 자료로서의 오픈 CCTV 영상 정보를 이용하여 인공지능식 학습을 통해 주차칸이 빈주차칸인인지 찬주차칸인지의 여부를 판단할 수 있는 학습된 신경망 인공지능을 축적하여 제공한다.

특정 주차장: 실시간으로 CCTV 영상정보를 제공하는 개별 주차장을 의미하며, 본 발명의 학습된 신경망 인공지능을 실시간 CCTV 영상정보에 적용하여 해당 특정 주차장에서 어느 주차칸들이 빈주차칸인지 찬주차칸인지의 여부를 실시간으로 판단할 수 있다.

오픈 자료: 외부소스로부터 주차칸 객체 인식 시스템이나 주차칸 영상객체 인식 장치 내로 입력되는 CCTV 관련 사전 녹화된 영상, 동영상 자료, 분석자료.

종래, 일반 주차장에서 빈주차칸이나 찬주차칸의 여부를 판단하는 기술은 주차칸 마다 설치되는 센서 감지방식과 주차칸 마다 또는 1조 3-4개의 주차칸 소그룹마다 카메라를 설치하여 주차 여부를 판단하는 방법이 있다.

예를 들면, 특허공개 제10-2016-0077977호(2016.07.04 공개)는 주차칸의 바닥에 직진광원을 배치하고, 천장에 직진광원을 인지하는 수광소자를 탑재한 목표영역을 설치하여, 차량이 주차되지 않으면, 목표영역이 광을 인지하고, 차량이 주차되면 주차된 차량으로 인해 직진광원으로부터의 광이 차단되므로 이러한 차이를 이용하여 주차칸이 빈주차칸인지의 여부를 판단할 수 있다.

또 다른 예로는, 특허등록 제10-0956400호(2010. 04. 28. 공개)의 경우는 1조 3개의 주차칸 소그룹 마다 한대의 카메라를 설치하여 한꺼번에 3개의 주차칸에 대해 주차칸 마다 빈주차칸인지 찬주차칸인지의 여부를 인식할 수 있는 기술을 제공하고 있다.

그 밖에도 다양한 형태의 종래 공개된 기술이 제안되어 있지만, 기본적으로 종래기술은 주차칸 마다, 또는 소그룹의 칸(3, 4개 정도가 한 그룹으로된 주차칸들) 마다 센서나 카메라 등의 다수의 단위 감지 장치를 배치하게 된다.

따라서, 종래 기술에서 주차장 관리 시스템은 주차칸의 주차 여부를 인식하기 위한 다수의 단위 감지장치를 배치하게 되어, 거대한 감지장치 시스템을 구성할 수 밖에 없고, 물리적으로도 그 감시장치 마다 관리에 필요한 인적, 물적 투입이 상당히 크다고 할 수 있다. 특히, 먼지, 진동 등으로 인한 광센서 렌즈의 오염이나 고장을 개별 장치마다 관리하는 것에 많은 인력이 투입되고, 실질적으로 주차칸이 빈주차칸인지 찬주차칸인지의 여부를 판단하지 못하는 고장율도 상당히 높아 주차관리 시스템의 불신도 높은 편이다. 특히, 주차칸 소그룹별로 카메라로 주차칸의 주차 여부를 식별하는 카메라 방식은 효율성, 경제적, 관리적 측면에서 모두 열등한 구조라 할 수 있다.

또한, 실외의 경우는 주차칸의 주차 여부를 감지하는 단위 감시장치를 설치하기에는, 온도, 습도, 도난 등의 환경적 제약에 따른 어려움과, 인적, 물적 관리의 어려움으로 현실적으로 주차칸 객체 인식 기술을 거의 적용하지 못하고 있고 설사 적용한다고 하여도 환경의 악조건을 대비하여 센서나 카메라를 배치하고 관리해야 하기 때문에 설치비용과 관리비용이 더욱 과다해지는 면이 있다.

이러한 실정으로 실외 대형 주차장의 경우는 운전자들도 빈주차칸을 찾아서 돌아다니는 경우가 많고, 주차관리측에서도 인력을 동원하여 빈주차칸을 눈으로 파악하여 안내를 하지 못하는 한 현실적으로 운전자들에게 빈주차칸을 위한 효율적인 주차안내를 하기가 어려운 실정이다.

특허등록 제10-2016-0077977(2016. 07. 04. 공개) 특허등록 제10-0956400호(2010. 04. 28. 공개)

본 발명은 상기 종래기술의 문제점을 해소하기 위한 것으로서, 본 발명의 일실시예에 따른 목적은 주차칸 별로, 또는 1조 3-4칸의 주자칸 소그룹 마다 주차칸의 주차 여부를 판단하기 위한 단위 감지장치를 설치하는 것 없이, 또한 실내나 실외와 관계없이 주차장에서 빈주차칸과 찬주차칸을 구별하여 주차장 관리차원에서 주차칸의 주차 여부를 쉽게 파악할 수 있는 CCTV 주차장 영상정보를 이용한 주차칸 영상객체 인식장치, 시스템 및 방법을 제공하는 것이다.

본 발명의 다른 일실시예에 따른 목적은 주차칸의 주차 여부를 판별하기 위한 관련장치들의 설치비용, 유지관리비용을 획기적으로 경감할 수 있고, 운전자들도 쉽게 빈주차칸을 안내받을 수 있으면서도, 고장율이 적어 빈주차칸의 확인을 신뢰성있게 제공해줄 수 있는 CCTV 주차장 영상정보를 이용한 주차칸 영상객체 인식장치, 시스템 및 방법을 제공하는 것이다.

본 발명의 다른 일실시예에 따른 목적은 주차에 필요한 운전자나 차량의 배회를 줄이고, 설치장치의 배치가 간단하여 주차장에서의 배기오염, 소음오염, 설비장치의 번잡함을 경감할 수 있는 CCTV 주차장 영상정보를 이용한 주차칸 영상객체 인식장치, 시스템 및 방법을 제공하는 것이다.

상기 목적 및 그 밖의 목적은 이하에서 첨부도면과 함께 설명하는 구체적인 실시예를 통해 보다 명확히 확인할 수 있다.

상기 목적을 실현하기 위한 본 발명의 일실시예는 일반 주차장에 사용되고, CCTV 영상 정보를 이용한 실시간 주차칸 영상객체 인식 장치로서, 상기 일반 주차장과 관련된 영상정보를 적어도 포함하는 오픈 자료를 사전에 미리 마련된 형태로 제공하는 외부 소스로부터 상기 오픈 자료를 입력하는 외부소스 자료 입력부, 및 특정 주차장의 CCTV계 장치로부터 실시간 영상자료를 입력하는 실시간 자료 입력부를 포함하는 입력 모듈과; 상기 일반주차장 중 특정 주차장의 CCTV계 장치로부터 실시간으로 제공되는 주차장 영상을 상기 학습된 신경망 인공지능에 적용하여 상기 특정 주차장에서의 주차칸들에 대한 주차 여부를 실시간으로 판단하고 해당 판단결과에 기초하여 상기 특정 주차장에서의 주차칸들의 주차 여부를 나타내는 주차칸 상태정보를 상시 실시간으로 제공하는 주차칸 상태 판단부를 포함하는 제어 모듈을 구비하고, 상기 인공지능 모듈은, 상기 입력 모듈의 외부소스 자료 입력부로부터의 오픈 자료로서 일반 주차장의 주차장 상태관련 CCTV 영상을 정지영상 또는 동영상으로 사용하여, 복수의 일반 주차장에서 존재 가능한 주차칸 형상과 주차칸 주변형상을 결정하고, 결정된 상기 형상을 기반으로 복수의 학습 형상 데이터를 생성하여 축적하는 형상 학습전 준비부와; 상기 형상 학습전 준비부로부터 생성된 학습 형상 데이터 및 상기 CCTV로부터 촬영된 정지영상 또는 동영상 중 적어도 하나로부터 제공되는 다수의 영상을 이용하여 날씨변화, 주변물체변화 및 시간기반변화 중 적어도 하나를 포함하는 환경변화가 반영된 학습 복합 데이터 세트를 생성하여 축적하는 환경 학습전 준비부와; 상기 형상 학습전 준비부로부터의 학습 형상 데이터와 상기 환경 학습전 준비부로부터의 복합 학습 데이터 세트를 기초로, 학습을 통해 일반 주차장들의 주차칸에서의 빈주차칸 또는 찬주차칸의 여부를 결정하는 기능을 가진 상기 학습된 인공지능을 생성하는 주차칸 학습부를 포함하고, 상기 학습 형상 데이터 및 상기 학습 복합 데이터 세트는 주차칸 학습부에서의 학습방식을 위해 입력으로 사용할 수 있도록 처리된 데이터이고, 상기 주차칸 학습부 및 상기 주차칸 상태 판단부는 자율학습 및 지도학습 중 적어도 하나를 이용하는 기계학습을 이용하여 주차칸이 빈주차칸인지 찬주차칸인지의 여부를 학습하거나 판단하며, 상기 기계학습은 딥러닝(Deep Learning) 및 샬로우러닝(Shallow learning) 중 적어도 하나를 포함하고, 상기 형상 학습전 준비부는, 상기 입력 모듈에 입력된 CCTV 주차장 영상 데이터인 스냅샷 사진 데이터, 동영상 데이터 중 하나 이상을 사용하여 GUI 상에 표시하여 관리자가 인지한 주차칸 영역을 다각형 중 하나로 영역을 지정하고 지정된 상기 영역을 학습 형상 데이터로 생성하는　주차칸 수동설정 GUI 기구; 및 상기 입력 모듈에 입력된 CCTV　주차장 영상 데이터에서 주차칸들의 위치 및 영역을　자동으로　인식하여 학습 영상 데이터로 생성하는 주차칸 자동설정 GUI 기구를 포함하고, 상기 주차칸 수동설정 GUI 기구는 상기 주차칸 자동설정 GUI 기구가 생성한 학습 형상 데이터를 관리자가 수동으로 정정할 수 있는 환경 기능을 포함하며, 상기 제어 모듈은 상기 주차칸 수동설정 GUI 기구 및 상기 주차칸 자동설정 GUI 기구를 지원하는 그래픽 처리부를 더 포함하고, 상기 주차칸 학습부는 K × K 픽셀로 구성된 필터를 학습 형상 데이터 또는 복합 학습 데이터 세트에 포함된 영상 이미지의 좌측상단부터 우측 하단까지 순차적으로 픽셀을 스캐닝하며 영상 이미지의 픽셀과 K × K 픽셀로 구성된 필터로 내적(dot product)을 구하여 피쳐맵(Feature map)들을 생성하는 컨볼루션 레이어(Convolution Layer)를 적용하고, 컨볼루션 레이어, ReLu 레이어, MaxPool 레이어를 수회 반복적으로 조합하여, 학습 형상 데이터에 포함된 주차칸의 특징을 추출한 최종 샘플링맵을 생성하고, 상기 최종 샘플링맵의 각각의 픽셀값을 연결한 풀리 커넥티드 레이어(Fully connected layer)를 이용하여 상기 기계학습을 위한 인공신경망을 구성하는 것을 특징으로 한다.

바람직하게는, 상기 인공지능부는 상기 입력 모듈의 외부소스 자료 입력부로부터의 오픈 자료로서 일반 주차장의 주차장 상태관련 CCTV 영상을 정지영상 또는 동영상으로 사용하여, 복수의 일반 주차장에서 존재 가능한 주차칸 형상과 주차칸 주변형상을 결정하고, 결정된 상기 형상을 기반으로 복수의 학습 형상 데이터를 생성하여 축적하는 형상 학습전 준비부와; 상기 형상 학습전 준비부로부터 생성된 학습 형상 데이터 및 상기 CCTV로부터 촬영된 정지영상 또는 동영상 중 적어도 하나로부터 제공되는 다수의 영상을 이용하여 날씨변화, 주변물체변화 및 시간기반변화 중 적어도 하나를 포함하는 환경변화가 반영된 학습 복합 데이터 세트를 생성하여 축적하는 환경 학습전 준비부와; 상기 형상 학습전 준비부로부터의 학습 형상 데이터와 상기 환경 학습전 준비부로부터의 복합 학습 데이터 세트를 기초로, 학습을 통해 일반 주차장들의 주차칸에서의 빈주차칸 또는 찬주차칸의 여부를 결정하는 기능을 가진 상기 학습된 신경망 인공지능을 생성하는 주차칸 학습부;를 포함하고, 상기 학습 형상 데이터 및 상기 학습 복합 데이터 세트는 주차칸 학습부에서의 학습방식을 위해 입력으로 사용할 수 있도록 처리된 데이터이고, 상기 주차칸 학습부 및 상기 주차칸 상태 판단부는 자율학습 및 지도학습 중 적어도 하나를 이용하는 기계학습을 이용하여 주차칸이 빈주차칸인지 찬주차칸인지의 여부를 학습하거나 판단하며, 상기 기계학습은 딥러닝(Deep Learning) 및 샬로우러닝(Shallow learning) 중 적어도 하나를 포함한다.

바람직하게는, 상기 제어 모듈은 상기 주차칸 상태 판단부로부터 제공되는 실시간 주차칸 상태 정보를 기반으로 상기 특정 주차장에서 빈주차칸·찬주차칸의 변화를 반영하는 알람, 메시지, 색상변화, 다각형상을 직접 제공하거나, 주차장 관리장치에서 이용할 수 있도록 주차칸 상태변화 알람정보를 제공하는 주차칸 상태변화 알림부;를 더 포함하고, 상기 주차칸 상태변화 알림부에서 제공하는 상기 주차칸 상태변화 알림정보는 주차장 관리장치에 설치된 스피커, 알림전광기, LED 전광판, GUI 모니터 중 적어도 하나 또는 이들의 조합을 위해 사용되거나, 운전자의 차량이나 운전자의 이동단말기의 앱을 통해 빈주차칸 안내정보로 사용된다.

바람직하게는, 형상 학습전 준비부는, 상기 입력 모듈에 입력된 CCTV주차장 영상데이터인 스냅샷 사진데이터, 동영상 데이터중 하나 이상을 사용하여 GUI상에 표시하여 관리자가 인지한 주차칸 영역을 다각형 중 하나로 영역을 지정하고 지정된 상기 영역을 학습 형상 데이터로 생성하는　주차칸 수동설정 GUI 기구; 및 상기 입력 모듈에 입력된 CCTV　주차장 영상 데이터에서 주차칸들의 위치 및 영역을　자동으로　인식하여 학습 영상 데이터로 생성하는　주차칸 자동설정GUI 기구;를 포함하고, 상기 주차칸 수동설정 GUI 기구는 상기 주차칸 자동설정 GUI 기구가 생성한 학습 형상 데이터를 관리자가 수동으로 정정할 수 있는 환경 기능을 포함하며, 상기 제어 모듈은 상기 주차칸 수동설정 GUI 기구 및 상기 주차칸 자동설정 GUI 기구를 지원하는 그래픽 처리부를 더 포함한다.

바람직하게는, 환경 학습전 준비부의 학습 복합 데이터 세트는 이미 촬영된 다수 주차장의 주차상태에 관한 다양한 공지된 오픈 자료로서의 오픈 CCTV 영상을 포함하고, 상기 오픈 CCTV 영상은 상기 환경변화를 적어도 포함하고, 상기 환경변화 중 날씨변화는 맑음, 흐림, 비, 눈, 바람의 변화를 적어도 포함하고, 상기 주변물체변화는 주차장 내, 또는 주차칸 주변의 이동하거나 정착된 물체의 변화를 적어도 포함하고, 상기 시간기반변화는 시간경과에 따른 주변환경의 음양, 색상, 계절적 변화를 적어도 포함하며, 상기 주차칸 학습부는 상기 오픈 CCTV 영상을 포함하는 학습 복합 데이터 세트를 입력으로 하여, 특정 주차칸의 실제 모양을 학습시키는 포지티브 러닝(positive learning)과 상기 환경변화에 따라 주차칸의 변형된 모양을 학습시키는 네거티브 러닝(negative learning)을 통해 주차칸 객체 인식의 완성도를 높이는 기계학습을 수행하며, 상기 주차칸 영상객체 인식 장치는 상기 입력 모듈, 상기 인공지능 모듈 및 상기 제어 모듈로부터 생성되는 데이터, 데이터 세트, 및 정보를 저장하여 상기 모듈의 각 구성요소, 특정 주차장 관리장치 또는 외부소스에 필요에 따라 제공하는 종합 데이터베이스를 더 포함한다.

바람직하게는, 상기 인공지능부는 상기 외부소스로부터의 오픈 자료와 특정 주차장의 CCTV계 장치로부터 제공되는 실시간 영상정보를 기초로 학습된 신경망 인공지능을 업데이트하여 특정 주차장에서의 주차칸의 주차 여부 판단기능 학습능력을 증가시키고, 증가된 학습능력을 다른 주차칸 영상객체 인식장치의 학습된 신경망 인공지능 업그레이드를 위해 외부 소스로 제공한다.

상기 목적을 실현하기 위한 본 발명의 다른 실시예는 주차장 주차정보를 에 사용되는 CCTV 영상 정보를 이용한 실시간 주차칸 영상객체 인식 시스템으로서, 상기 시스템은, 주차장의 주정차 상태를 실시간으로 촬영하고 그 영상정보를 축적하는 CCTV계 장치; 상기 일반 주차장과 관련된 영상정보를 적어도 포함하는 오픈 자료를 사전에 미리 마련된 형태로 제공할 수 있는 오픈 자료소스를 포함할 뿐만 아니라 복수의 일반 주차장에 설치되는 실시간 주차칸 영상객체 인식 장치에 적어도 연결되는 외부 소스와; 특정 주차장에 설치되는 주차장 관리장치와; 상기 CCTV계 장치로부터 쵤영된 CCTV 영상정보를 기초로 특정 주차장의 주차칸의 주차 여부를 인식하는 주차칸 영상객체 인식 장치;를 구비하고, 상기 주차칸 영상객체 인식 장치는, 상기 일반 주차장과 관련된 영상정보를 적어도 포함하는 오픈 자료를 사전에 미리 마련된 형태로 제공하는 외부 소스로부터 상기 오픈 자료를 입력하는 외부소스 자료 입력부, 및 특정 주차장의 CCTV계 장치로부터 실시간 영상자료를 입력하는 실시간 자료 입력부를 포함하는 입력 모듈과; 상기 입력 모듈의 외부소스 자료 입력부로부터 입력되는 오픈 자료를 이용하여, 예상되는 주차칸의 형상 및 주차칸 환경을 학습하여 임의 주차칸에 대해 차량의 주차 여부를 판단할 수 있는 학습된 신경망 인공지능을 생성하는 인공지능 모듈과; 상기 일반주차장 중 특정 주차장의 CCTV계 장치로부터 실시간으로 제공되는 주차장 영상을 상기 학습된 신경망 인공지능에 적용하여 상기 특정 주차장에서의 주차칸들에 대한 주차 여부를 실시간으로 판단하고 해당 판단결과에 기초하여 상기 특정 주차장에서의 주차칸들의 주차 여부를 나타내는 주차칸 상태정보를 상시 실시간으로 제공하는 주차칸 상태 판단부를 포함하는 제어 모듈을 구비하고; 상기 인공지능 모듈은, 상기 입력 모듈의 외부소스 자료 입력부로부터의 오픈 자료로서 일반 주차장의 주차장 상태관련 CCTV 영상을 정지영상 또는 동영상으로 사용하여, 복수의 일반 주차장에서 존재 가능한 주차칸 형상과 주차칸 주변형상을 결정하고, 결정된 상기 형상을 기반으로 복수의 학습 형상 데이터를 생성하여 축적하는 형상 학습전 준비부와; 상기 형상 학습전 준비부로부터 생성된 학습 형상 데이터 및 상기 CCTV로부터 촬영된 정지영상 또는 동영상 중 적어도 하나로부터 제공되는 다수의 영상을 이용하여 날씨변화, 주변물체변화 및 시간기반변화 중 적어도 하나를 포함하는 환경변화가 반영된 학습 복합 데이터 세트를 생성하여 축적하는 환경 학습전 준비부와; 상기 형상 학습전 준비부로부터의 학습 형상 데이터와 상기 환경 학습전 준비부로부터의 복합 학습 데이터 세트를 기초로, 학습을 통해 일반 주차장들의 주차칸에서의 빈주차칸 또는 찬주차칸의 여부를 결정하는 기능을 학습된 신경망 인공지능을 제공하는 주차칸 학습부를 포함하고, 상기 학습 형상 데이터 및 상기 학습 복합 데이터 세트는 주차칸 학습부에서의 학습방식을 위해 입력으로 사용할 수 있도록 처리된 데이터이고, 상기 주차칸 학습부 및 상기 주차칸 상태 판단부는 자율학습 및 지도학습 중 적어도 하나를 이용하는 기계학습을 이용하여 주차칸이 빈주차칸인지 찬주차칸인지의 여부를 학습하거나 판단하며, 상기 기계학습은 딥러닝(Deep Learning) 및 샬로우러닝(Shallow learning) 중 적어도 하나를 포함하고, 상기 형상 학습전 준비부는, 상기 입력 모듈에 입력된 CCTV주차장 영상데이터인 스냅샷 사진데이터, 동영상 데이터중 하나 이상을 사용하여 GUI상에 표시하여 관리자가 인지한 주차칸 영역을 다각형 중 하나로 영역을 지정하고 지정된 상기 영역을 학습 형상 데이터로 생성하는　주차칸 수동설정 GUI 기구; 및 상기 입력 모듈에 입력된 CCTV　주차장 영상 데이터에서 주차칸들의 위치 및 영역을　자동으로　인식하여 학습 영상 데이터로 생성하는　주차칸 자동설정 GUI 기구를 포함하고, 상기 주차칸 수동설정 GUI 기구는 상기 주차칸 자동설정 GUI 기구가 생성한 학습 형상 데이터를 관리자가 수동으로 정정할 수 있는 환경 기능을 포함하며, 상기 제어 모듈은 상기 주차칸 수동설정 GUI 기구 및 상기 주차칸 자동설정 GUI 기구를 지원하는 그래픽 처리부를 더 포함하고, 상기 주차칸 학습부는 K × K 픽셀로 구성된 필터를 학습 형상 데이터 또는 복합 학습 데이터 세트에 포함된 영상 이미지의 좌측상단부터 우측 하단까지 순차적으로 픽셀을 스캐닝하며 영상 이미지의 픽셀과 K × K 픽셀로 구성된 필터로 내적(dot product)을 구하여 피쳐맵(Feature map)들을 생성하는 컨볼루션 레이어(Convolution Layer)를 적용하고, 컨볼루션 레이어, ReLu 레이어, MaxPool 레이어를 수회 반복적으로 조합하여, 학습 형상 데이터에 포함된 주차칸의 특징을 추출한 최종 샘플링맵을 생성하고, 상기 최종 샘플링맵의 각각의 픽셀값을 연결한 풀리 커넥티드 레이어(Fully connected layer)를 이용하여 상기 기계학습을 위한 인공신경망을 구성하는 것을 특징으로 한다.

바람직하게는, 상기 시스템에서, 상기 인공지능부는 상기 입력 모듈의 외부소스 자료 입력부로부터의 오픈 자료로서 일반 주차장의 주차장 상태관련 CCTV 영상을 정지영상 또는 동영상으로 사용하여, 복수의 일반 주차장에서 존재 가능한 주차칸 형상과 주차칸 주변형상을 결정하고, 결정된 상기 형상을 기반으로 복수의 학습 형상 데이터를 생성하여 축적하는 형상 학습전 준비부와; 상기 형상 학습전 준비부로부터 생성된 학습 형상 데이터 및 상기 CCTV로부터 촬영된 정지영상 또는 동영상 중 적어도 하나로부터 제공되는 다수의 영상을 이용하여 날씨변화, 주변물체변화 및 시간기반변화 중 적어도 하나를 포함하는 환경변화가 반영된 학습 복합 데이터 세트를 생성하여 축적하는 환경 학습전 준비부와; 상기 형상 학습전 준비부로부터의 학습 형상 데이터와 상기 환경 학습전 준비부로부터의 복합 학습 데이터 세트를 기초로, 학습을 통해 일반 주차장들의 주차칸에서의 빈주차칸 또는 찬주차칸의 여부를 결정하는 기능을 상기 학습된 신경망 인공지능을 생성하는 주차칸 학습부;를 포함하고, 상기 학습 형상 데이터 및 상기 학습 복합 데이터 세트는 주차칸 학습부에서의 학습방식을 위해 입력으로 사용할 수 있도록 처리된 데이터이고, 상기 주차칸 학습부 및 상기 주차칸 상태 판단부는 자율학습 및 지도학습 중 적어도 하나를 이용하는 기계학습을 이용하여 주차칸이 빈주차칸인지 찬주차칸인지의 여부를 학습하거나 판단하며, 상기 기계학습은 딥러닝(Deep Learning) 및 샬로우러닝(Shallow learning) 중 적어도 하나를 포함한다.

바람직하게는, 상기 시스템에서, 상기 제어 모듈은 상기 주차칸 상태 판단부로부터 제공되는 실시간 주차칸 상태 정보를 기반으로 상기 특정 주차장에서 빈주차칸·찬주차칸의 변화를 반영하는 알람, 메시지, 색상변화, 다각형상을 직접 제공하거나, 주차장 관리장치에서 이용할 수 있도록 주차칸 상태변화 알람정보를 제공하는 주차칸 상태변화 알림부;를 더 포함하고, 상기 주차칸 상태변화 알림부에서 제공하는 상기 주차칸 상태변화 알림정보는 주차장 관리장치에 설치된 스피커, 알림전광기, LED 전광판, GUI 모니터 중 적어도 하나 또는 이들의 조합을 위해 사용되거나, 운전자의 차량이나 운전자의 이동단말기의 앱을 통해 빈주차칸 안내정보로 사용된다.

바람직하게는, 상기 시스템에서, 형상 학습전 준비부는, 상기 입력 모듈에 입력된 CCTV주차장 영상데이터인 스냅샷 사진데이터, 동영상 데이터중 하나 이상을 사용하여 GUI상에 표시하여 관리자가 인지한 주차칸 영역을 다각형 중 하나로 영역을 지정하고 지정된 상기 영역을 학습 형상 데이터로 생성하는　주차칸 수동설정 GUI 기구; 및 상기 입력 모듈에 입력된 CCTV　주차장 영상 데이터에서 주차칸들의 위치 및 영역을　자동으로　인식하여 학습 영상 데이터로 생성하는　주차칸 자동설정GUI 기구;를 포함하고, 상기 주차칸 수동설정 GUI 기구는 상기 주차칸 자동설정 GUI 기구가 생성한 학습 형상 데이터를 관리자가 수동으로 정정할 수 있는 환경 기능을 포함하며, 상기 제어 모듈은 상기 주차칸 수동설정 GUI 기구 및 상기 주차칸 자동설정 GUI 기구를 지원하는 그래픽 처리부를 더 포함한다.

바람직하게는, 상기 시스템에서, 환경 학습전 준비부의 학습 복합 데이터 세트는 이미 촬영된 다수 주차장의 주차상태에 관한 다양한 공지된 오픈 자료로서의 CCTV 영상을 포함하고, 상기 오픈 CCTV 영상은 상기 환경변화를 적어도 포함하고, 상기 환경변화 중 날씨변화는 맑음, 흐림, 비, 눈, 바람의 변화를 적어도 포함하고, 상기 주변물체변화는 주차장 내, 또는 주차칸 주변의 이동하거나 정착된 물체의 변화를 적어도 포함하고, 상기 시간기반변화는 시간경과에 따른 주변환경의 음양, 색상, 계절적 변화를 적어도 포함하며, 상기 주차칸 학습부는 상기 오픈 CCTV 영상을 포함하는 학습 복합 데이터 세트를 입력으로 하여, 특정 주차칸의 실제 모양을 학습시키는 포지티브 러닝(positive learning)과 상기 환경변화에 따라 주차칸의 변형된 모양을 학습시키는 네거티브 러닝(negative learning)을 통해 주차칸 객체 인식의 완성도를 높이는 기계학습을 수행하며, 상기 주차칸 영상객체 인식 장치는 상기 입력 모듈, 상기 인공지능 모듈 및 상기 제어 모듈로부터 생성되는 데이터, 데이터 세트, 및 정보를 저장하여 상기 모듈의 각 구성요소, 특정 주차장 관리장치 또는 외부소스에 필요에 따라 제공하는 종합 데이터베이스를 더 포함한다.

바람직하게는, 상기 시스템에서, 상기 인공지능부는 상기 외부소스로부터의 오픈 자료와 특정 주차장의 CCTV계 장치로부터 제공되는 실시간 영상정보를 기초로 상기 학습된 신경망 인공지능을 업데이트하여 특정 주차장에서의 주차칸의 주차 여부 판단기능 학습능력을 증가시키고, 증가된 학습능력을 다른 주차칸 영상객체 인식장치의 학습된 신경망 인공지능 업그레이드를 위해 외부 소스로 제공한다.

상기 목적을 실현하기 위한 본 발명의 다른 실시예는 주차장 주차정보에 사용되는 CCTV 영상 정보를 이용한 실시간 주차칸 영상객체 인식 시스템을 이용한 실시간 주차칸 영상객체 인식 방법으로서, 상기 시스템은, 주차장의 주정차 상태를 실시간으로 촬영하고 그 영상정보를 축적하는 CCTV계 장치; 상기 일반 주차장과 관련된 영상정보를 적어도 포함하는 오픈 자료를 사전에 미리 마련된 형태로 제공할 수 있는 오픈 자료소스를 포함할 뿐만 아니라 복수의 일반 주차장에 설치되는 실시간 주차칸 영상객체 인식 장치에 적어도 연결되는 외부 소스와; 특정 주차장에 설치되는 주차장 관리장치와; 상기 CCTV계 장치로부터 쵤영된 CCTV 영상정보를 기초로 특정 주차장의 주차칸의 주차 여부를 인식하는 주차칸 영상객체 인식 장치를 구비하며, 상기 방법은, 상기 주차칸 영상객체 인식 장치의 입력 모듈이, 상기 일반 주차장과 관련된 영상정보를 적어도 포함하는 오픈 자료를 사전에 미리 마련된 형태로 제공하는 외부소스로부터 상기 오픈 자료를 입력하는 오픈 자료 입력단계와; 상기 영상객체 인식 장치의 인공지능 모듈이 상기 오픈 자료를 이용하여, 예상되는 주차칸의 형상 및 주차칸 환경을 학습하여 임의 주차칸에 대해 차량의 주차 여부를 판단할 수 있는 기능을 가진 학습된 신경망 인공지능을 생성하는 인공지능 학습단계와; 상기 입력 모듈이 특정 주차장의 CCTV계 장치로부터 실시간 영상자료를 입력하는 실시간 자료 입력단계와; 상기 영상객체 인식 장치의 주차칸 상태 판단부가 상기 특정 주차장의 CCTV계 장치로부터 실시간으로 제공되는 주차장 영상을 상기 학습된 신경망 인공지능에 적용하여 상기 특정 주차장에서의 주차칸들에 대한 주차 여부를 실시간으로 판단하고 해당 판단결과에 기초하여 상기 특정 주차장에서의 주차칸들의 주차 여부를 나타내는 주차칸 상태정보를 상시 실시간으로 제공하는 주차칸 상태 판단단계를 구비하고; 상기 인공지능 학습단계는, 상기 인공지능 모듈이, 상기 입력 모듈의 오픈 자료 입력부로부터의 오픈 자료로서 일반 주차장의 주차장 상태관련 CCTV 영상을 정지영상 또는 동영상으로 사용하여, 복수의 일반 주차장에서 존재 가능한 주차칸 형상과 주차칸 주변형상을 결정하고, 결정된 상기 형상을 기반으로 복수의 학습 형상 데이터를 생성하여 축적하는 형상 학습전 준비단계와; 상기 인공지능 모듈이, 상기 형상 학습전 준비부로부터 생성된 학습 형상 데이터 및 상기 CCTV로부터 촬영된 정지영상 또는 동영상 중 적어도 하나로부터 제공되는 다수의 영상을 이용하여 날씨변화, 주변물체변화 및 시간기반변화 중 적어도 하나를 포함하는 환경변화가 반영된 학습 복합 데이터 세트를 생성하여 축적하는 환경 학습전 준비단계와; 상기 인공지능 모듈이, 상기 형상 학습전 준비단계에서의 학습 형상 데이터와 상기 환경 학습전 준비단계로부터의 복합 학습 데이터 세트를 기초로, 학습을 통해 일반 주차장들의 주차칸에서의 빈주차칸 또는 찬주차칸의 여부를 결정할 수 있는 기능을 상기 학습된 신경망 인공지능을 생성하는 주차칸 학습단계를 포함하고, 상기 학습 형상 데이터 및 상기 학습 복합 데이터 세트는 주차칸 학습부에서의 학습방식을 위해 입력으로 사용할 수 있도록 처리된 데이터이고, 상기 주차칸 학습단계 및 상기 주차칸 상태 판단단계에서, 자율학습 및 지도학습 중 적어도 하나를 이용하는 기계학습을 이용하여 주차칸이 빈주차칸인지 찬주차칸인지의 여부를 학습하거나 판단하고, 상기 기계학습은 딥러닝(Deep Learning) 및 샬로우러닝(Shallow learning) 중 적어도 하나를 포함하고, 상기 형상 학습전 준비단계는, 인공지능 모듈의 주차칸 수동설정 GUI가, 상기 입력 모듈에 입력된 CCTV주차장 영상데이터인 스냅샷 사진데이터, 동영상 데이터중 하나 이상을 사용하여 GUI상에 표시하여 관리자가 인지한 주차칸 영역을 다각형 중 하나로 영역을 지정하고 지정된 상기 영역을 학습 형상 데이터로 생성하는　주차칸 수동설정 GUI 단계; 또는 상기 인공지능 모듈의 주차칸 자동설정 GUI가, 상기 입력 모듈에 입력된 CCTV　주차장 영상 데이터에서 주차칸들의 위치 및 영역을　자동으로　인식하여 학습 영상 데이터로 생성하는　주차칸 자동설정 GUI 단계를 더 포함하고, 상기 주차칸 수동설정 GUI단계는 상기 주차칸 자동설정 GUI 기구가 생성한 학습 형상 데이터를 관리자가 수동으로 정정할 수 있는 교정 기능을 제공하는 단계를 포함하며, 상기 영상객체 인식장치가 상기 주차칸 수동설정 GUI 기구 및 상기 주차칸 자동설정 GUI 기구를 지원하는 그래픽 처리부를 더 포함하고, 상기 주차칸 학습 단계는 K × K 픽셀로 구성된 필터를 학습 형상 데이터 또는 복합 학습 데이터 세트에 포함된 영상 이미지의 좌측상단부터 우측 하단까지 순차적으로 픽셀을 스캐닝하며 영상 이미지의 픽셀과 K × K 픽셀로 구성된 필터로 내적(dot product)을 구하여 피쳐맵(Feature map)들을 생성하는 컨볼루션 레이어(Convolution Layer)를 적용하고, 컨볼루션 레이어, ReLu 레이어, MaxPool 레이어를 수회 반복적으로 조합하여, 학습 형상 데이터에 포함된 주차칸의 특징을 추출한 최종 샘플링맵을 생성하고, 상기 최종 샘플링맵의 각각의 픽셀값을 연결한 풀리 커넥티드 레이어(Fully connected layer)를 이용하여 상기 기계학습을 위한 인공신경망을 구성하는 것을 특징으로 한다.

바람직하게는, 상기 인공지능학습단계는 상기 인공지능 모듈이, 상기 입력 모듈의 오픈 자료 입력부로부터의 오픈 자료로서 일반 주차장의 주차장 상태관련 CCTV 영상을 정지영상 또는 동영상으로 사용하여, 복수의 일반 주차장에서 존재 가능한 주차칸 형상과 주차칸 주변형상을 결정하고, 결정된 상기 형상을 기반으로 복수의 학습 형상 데이터를 생성하여 축적하는 형상 학습전 준비단계와; 상기 인공지능 모듈이, 상기 형상 학습전 준비부로부터 생성된 학습 형상 데이터 및 상기 CCTV로부터 촬영된 정지영상 또는 동영상 중 적어도 하나로부터 제공되는 다수의 영상을 이용하여 날씨변화, 주변물체변화 및 시간기반변화 중 적어도 하나를 포함하는 환경변화가 반영된 학습 복합 데이터 세트를 생성하여 축적하는 환경 학습전 준비단계와; 상기 인공지능 모듈이, 상기 형상 학습전 준비단계에서의 학습 형상 데이터와 상기 환경 학습전 준비단계로부터의 복합 학습 데이터 세트를 기초로, 학습을 통해 일반 주차장들의 주차칸에서의 빈주차칸 또는 찬주차칸의 여부를 결정할 수 있는 기능을 가진 상기 학습된 신경망 인공지능을 생성하는 주차칸 학습단계;를 포함하고, 상기 학습 형상 데이터 및 상기 학습 복합 데이터 세트는 주차칸 학습부에서의 학습방식을 위해 입력으로 사용할 수 있도록 처리된 데이터이고, 상기 주차칸 학습단계 및 상기 주차칸 상태 판단단계에서, 자율학습 및 지도학습 중 적어도 하나를 이용하는 기계학습을 이용하여 주차칸이 빈주차칸인지 찬주차칸인지의 여부를 학습하거나 판단하고, 상기 기계학습은 딥러닝(Deep Learning) 및 샬로우러닝(Shallow learning) 중 적어도 하나를 포함한다.

바람직하게는, 상기 방법에서, 상기 주차칸 상태 판단단계 이후에, 상기 주차칸 상태 판단부로부터 제공되는 실시간 주차칸 상태 정보를 기반으로, 주차칸 영상객체 인식장치의 주차칸 상태변화 알림부가 상기 특정 주차장에서 빈주차칸·찬주차칸의 변화를 반영하는 알람, 메시지, 색상변화, 다각형상을 직접 제공하거나, 주차장 관리장치에서 이용할 수 있도록 주차칸 상태변화 알람정보를 제공하는 주차칸 상태변화 알림단계;를 더 포함하고, 상기 주차칸 상태변화 알림부에서 제공하는 상기 주차칸 상태변화 알림정보는 주차장 관리장치에 설치된 스피커, 알림전광기, LED 전광판, GUI 모니터 중 적어도 하나 또는 이들의 조합을 위해 사용되거나, 운전자의 차량이나 운전자의 이동단말기의 앱을 통해 빈주차칸 안내정보로 사용된다.

바람직하게는, 상기 방법에서, 형상 학습전 준비단계는, 인공지능 모듈의 주차칸 수동설정 GUI가, 상기 입력 모듈에 입력된 CCTV주차장 영상데이터인 스냅샷 사진데이터, 동영상 데이터중 하나 이상을 사용하여 GUI상에 표시하여 관리자가 인지한 주차칸 영역을 다각형 중 하나로 영역을 지정하고 지정된 상기 영역을 학습 형상 데이터로 생성하는　주차칸 수동설정 GUI 단계; 또는 인공지능 모듈의 주차칸 자동설정 GUI가, 상기 입력 모듈에 입력된 CCTV　주차장 영상 데이터에서 주차칸들의 위치 및 영역을　자동으로　인식하여 학습 영상 데이터로 생성하는　주차칸 자동설정 GUI 단계;를 더 포함하고, 상기 주차칸 수동설정 GUI단계는 상기 주차칸 자동설정 GUI 기구가 생성한 학습 형상 데이터를 관리자가 수동으로 정정할 수 있는 교정 기능을 제공하는 단계를 포함하며, 상기 영상객체 인식장치가 상기 주차칸 수동설정 GUI 기구 및 상기 주차칸 자동설정 GUI 기구를 지원하는 그래픽 처리부를 더 포함한다.

바람직하게는, 상기 방법에서, 환경 학습전 준비단계에서의 학습 복합 데이터 세트는 이미 촬영된 다수 주차장의 주차상태에 관한 다양한 공지된 오픈 자료로서의 오픈 CCTV 영상을 포함하고, 상기 오픈 CCTV 영상은 상기 환경변화를 적어도 포함하고, 상기 환경변화 중 날씨변화는 맑음, 흐림, 비, 눈, 바람의 변화를 적어도 포함하고, 상기 주변물체변화는 주차장 내, 또는 주차칸 주변의 이동하거나 정착된 물체의 변화를 적어도 포함하고, 상기 시간기반변화는 시간경과에 따른 주변환경의 음양, 색상, 계절적 변화를 적어도 포함하며, 상기 주차칸 학습부는 상기 오픈 CCTV 영상을 포함하는 학습 복합 데이터 세트를 입력으로 하여, 특정 주차칸의 실제 모양을 학습시키는 포지티브 러닝(positive learning)과 상기 환경변화에 따라 주차칸의 변형된 모양을 학습시키는 네거티브 러닝(negative learning)을 통해 주차칸 객체 인식의 완성도를 높이는 기계학습을 수행하며, 상기 주차칸 영상객체 인식 장치의 종합 데이터베이스가, 상기 입력 모듈, 상기 인공지능 모듈 및 상기 제어 모듈로부터 생성되는 데이터, 데이터 세트, 및 정보를 저장하여 상기 모듈의 각 구성요소, 특정 주차장 관리장치 또는 외부소스에 필요에 따라 제공하는 단계를 더 포함한다.

바람직하게는, 상기 인공지능부가 상기 외부소스로부터의 오픈 자료와 특정 주차장의 CCTV계 장치로부터 제공되는 실시간 영상정보를 기초로 상기 학습된 신경망 인공지능을 업데이트하여 특정 주차장에서의 주차칸의 주차 여부 판단기능 학습능력을 증가시키고, 증가된 학습능력을 다른 주차칸 영상객체 인식장치의 학습된 신경망 인공지능 업그레이드를 위해 외부 소스로 제공하는 단계를 더 포함한다.

이상과 같은 구성에 따라서, 본 발명은 다음과 같은 효과를 얻을 수 있다.

첫째, 주차칸 마다 또는 3-4개의 주차칸 소그룹마다 주차칸이 빈주차칸인지 찬주차칸인지의 여부를 감지하는 단위 감지장치를 배치할 필요가 없이 기존에 주차장에 존재하는 CCTV계 장치 만을 이용하여 주차칸의 주차 여부를 감지할 수 있으므로 단위 감지장치를 모든 주차칸이나 주차칸 소그룹 마다 배치하지 않을 수 있어. 그에 따른 설치비용, 관리비용, 설치에 따른 주차장 설비의 변경 등의 환경적 번잡함을 일거에 해소할 수 있다.

둘째, 종래 단위 감지장치로서 환경이나 도난에 민감한 센서나 카메라를 사용하기 때문에 환경적으로 열악한 지역이나 실외 주차장, 특히 거대한 실외 주차장에서 주차칸 인식 시스템을 적용하는데 많은 비용이나 제약이 있었지만, 본 발명의 경우는 환경에 민감한 센서나 카메라를 전혀 사용하지 않고 주차장에 이미 설치된 기존의 CCTV계 장치만을 센서로 이용하면 되기 때문에 CCTV 설치가 가능한 구역이면 어떠한 환경적 악조건에서도 본 발명의 시스템을 쉽게 적용할 수 있다.

셋째, 본 발명은 기본적으로 주차장에 단위 감지장치를 주차칸 마다 설치하지 않는 기법을 사용하므로, 센서라는 특징상 단위 감지장치마다 발생하는 높은 고장율로 인한 잦은 시설교체 등의 관리부담 문제를 제거할 수 있고, 단위 감지장치의 고장에 따라서 발생하는 주차칸 안내의 어려움, 주차칸 안내 시스템의 불신, 관리자, 운전자의 불편함 등의 문제도 모두 제거할 수 있다.

넷째, 특히, 대형 실외 주차장 또는 실내외가 함께 결합된 대형 주차장에서 운전자들이 빈주차칸을 찾아서 배회하는 문제를 크게 경감할 수 있다.

도 1은 본 발명의 일실시예에 따라서 주차칸 영상객체 인식 시스템의 구성을 나타낸 개략 구성도이다.
도 2는 본 발명의 일실시예에 따라서 주차칸 영상객체 인식 시스템에서 CCTV 영상정보를 이용하는 인공지능 모듈의 학습 과정을 나타낸 설명도이다.
도 3은 본 발명의 일실시예에 따라서 주차칸 영상객체 인식 시스템에서 인공지능 모듈의 학습 결과를 특정 주차장에 적용하여 실시간으로 주차칸의 주차 여부를 판단하는 과정을 나타낸 설명도이다.
도 4는 본 발명의 일실시예에 따라서 주차칸 영상객체 인식 시스템의 동작 과정을 나타낸 흐름도이다.

이하, 본 발명의 바람직한 실시예에 대하여 첨부도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따라서 주차칸 영상객체 인식 시스템의 구성을 나타낸 개략 구성도이다. 도면을 참조하면, 주차칸 영상객체 인식 시스템(이하 "인식 시스템"을 혼용함)은 주차장의 CCTV계 장치(1000)의 CCTV(1100)로부터 영상을 실시간으로 입력받아 주차칸이 빈주차칸인지 찬주차칸인지의 여부를 판별하는 주차칸 영상객체 인식 장치(4000)와, 특정 주차장에 설치되는 CCTV계 장치(1000)와, 특정 주차장에 설치되는 주차장 관리장치(2000)를 포함할 수 있다.

또한, 주차칸 영상객체 인식 시스템은 외부 소스(5000)를 더 포함할 수 있다. 외부 소스(5000)는 특정 주차장 외부 또는 주차칸 영상객체 인식 장치(4000)의 외부에서 주차장 관련 영상, CCTV 영상의 미리 촬영된 영상 또는 동영상을 공지 또는 오픈된 형태(이하, "오픈 자료", "오픈 영상", "오픈 CCTV 영상"으로 표현함)로 제공하는 자료 제공처라 할 수 있으며, 일반 공지 매체, 도서관 자료, 일반 주차장의 CCTV계 장치 등을 포함하거나 연결될 수 있다.

도 1을 참조하면, 본 발명의 일실시예에 따른 주차칸 영상객체 인식 장치(4000)는 입력 모듈(4100), 인공지능 모듈(4200), 제어 모듈(4300), 종합 데이터베이스(종합 DB)(4400)를 포함할 수 있다.

먼저, 입력 모듈(4100)은 외부 소스(5000) 또는 특정 주차장 또는 일반 주차장에 설치된 CCTV계 장치로부터 제공되는 CCTV 영상을 입력하는 기능을 가진다. 보다 구체적으로 설명하면, 구체적으로는, 입력 모듈(4100)은 미리 촬영된 CCTV 영상 또는 동영상을 제공하는 외부 소스(5000)로부터 공지자료, 즉 오픈 자료를 입력하는 외부 소스 입력부(4110)와, 특정 주차장에 설치된 CCTV계 장치(1000)의 CCTV(1100)로부터 실시간으로 현재의 주차장 상황을 CCTV 영상으로 입력받는 실시간 자료 입력부(4120)를 포함할 수 있다. CCTV 영상자료가 적어도 포함되는 오픈 자료, 또는 실시간 자료는 입력 모듈(4100)에 자체적으로 저장될 수도 있고, 종합 데이터베이스(4400)에 저장되어 각 구성요소들이 필요할 때 검색하여 사용할 수도 있다.

인공지능 모듈(4200)은 일반 주차장의 주차칸에 관련된 다양한 형상과 시간적, 물리적 주변환경을 고려하여 주차칸의 주차여부를 판별할 수 있는 인공지능식 학습능력을 키우고 그에 따라서 범용 일반 주차장 어디에도 적용할 수 있는 범용 인공지능식 학습된 신경망 인공지능을 제공할 수 있다. 구체적으로 설명하면, 인공지능 모듈(4200)은 외부소스 자료 입력부로부터 입력되는 CCTVE 영상 자료, 즉, 오픈 자료를 이용하여 주차장에서 예상가능한 주차칸 형상과 주변형상을 모델화하여 결정하고, 결정된 형상을 기반으로 복수의 학습 형상 데이터를 생성하여 축적하는 형상 학습전 준비부(4210)와, 형상 학습전 준비부(4210)에서 마련한 학습 형상 데이터에 대해 역시 CCTV 영상인 오픈 자료를 기초로 주차장에서 예상으로 발생할 수 있는 날씨변화, 주변물체변화, 시간에 기초한 색상, 음영변화와 같은 환경변화를 모델화하여 학습 복합 데이터 세트를 생성 및 축적하는 환경 학습전 준비부(4220)와, 형상 학습전 준비부(4210)로부터의 학습 형상 데이터와 환경 학습전 준비부(4220)로부터의 학습 복합 데이터 세트를 기초로 학습을 통해 일반 주차장들의 주차칸에서의 빈주차칸 또는 찬주차칸의 여부를 결정하는 학습된 신경망 인공지능을 축적하여 제공하는 주차칸 학습부(4230)를 포함할 수 있다.

형상 학습전 준비부(4210)는 또한 형상을 결정하기 위한 그래픽 유저 인터페이스(GUI)로서 형상 수동설정 GUI 기구(4211)와 형상 자동설정 GUI 기구(4212)를 포함할 수 있다. 이 부분의 동작에 대해서는 차후 도 2 및 도 3을 참조하여 설명할 때 보다 자세히 설명한다.

형상 학습전 준비부(4210)로부터의 학습 형상 데이터와 환경 학습전 준비부(4220)로부터의 학습 복합 데이터 세트는 주차칸 학습부(4230)의 입력 데이터에 적합하도록 마련된다. 형상 학습전 준비부(4210), 환경 학습전 준비부(4220), 주차칸 학습부(4230)는 생성되는 학습 형상 데이터와 학습 복합 데이터 세트, 그리고, 범용 주차 여부 판단기능 학습 정보를 자체적으로 저장할 수 있고, 다른 실시예로서, 종합 데이터베이스(4400)에 저장할 수도 있으며, 이 경우에는 각 구성요소들을 필요할 때마다 종합 데이터베이스(4400)로부터 필요한 자료를 검색하여 사용할 수 있다. 인공지능 모듈(4200)의 형상 학습전 준비부(4210), 환경 학습전 준비부(4220), 주차칸 학습부(4230)에서 인공지능 방식의 주차칸 학습동작의 과정에 대해서는 차후에 도 2 내지 도 3을 참조하여 보다 구체적으로 설명한다.

제어 모듈(4300)은 기본적으로 시스템 전체를 제어하는 기능을 하며, 구체적으로는 인공지능 모듈(4200)의 주차칸 학습부(4230)로부터 마련된 범용 주차 여부 판단기능 학습 정보를 기초로 특정 주차장의 현재의 주차장 주차상태를 판단하는 주차칸 상태 판단부(4310)를 포함한다. 즉, 주차칸 상태 판단부(4310)는 종합 DB(4400) 또는 인공지능 모듈(4200)의 주차칸 학습부(4230)로부터 학습된 신경망 인공지능을 입력받고, CCTV계 장치(1000)의 CCTV(1100)로부터 주차장의 영상정보를 실시간 자료 입력부(4120)로부터 실시간으로 입력받아 기존에 학습된 주차칸의 주차 여부 판단기능을 활용하여 특정 주차장(즉 CCTV계 장치(1000)가 설치된 주차장)에서 현재의 주차장의 주차칸들이 찬주차칸인지의 여부, 즉, 어디 주차칸이 찬주차칸이고, 빈주차칸인지를 실시간으로 특정하는 주차칸 상태정보를 제공한다.

한편, 제어 모듈(4300)은 주차칸 상태 판단부(4310)로부터 제공되는 실시간 주차칸 상태정보를 기초로 특정 주차장에서 빈주차칸, 찬주차칸의 변화를 반영하는 알람, 메시지, 색상변화, 다각형상을 직접 제공하거나, 주차장 관리장치(2000)에 설치된 모니터부(2200), 알람부(2300) 등에 상태변화 알람정보로 제공할 수 있다.

한편, 제어 모듈(4300)은 프로세서와 함께 시스템의 제어 프로그램을 갖춘 제어부(4330) 및 형상 학습전 준비부(4211)의 형상 수동설정 GUI 기구(4211) 및 형상 자동설정 GUI 기구(4211)의 동작을 지원하는 GPU를 갖춘 그래픽 처리부(4340)를 더 포함할 수 있다.

CCTV계 장치(1000)는 CCTV 카메라(1100), CCTV 카메라(1100)의 동작과 해당 CCTV 영상을 처리하는 VMS(Vedio Management System)(1200), CCTV(1100)에서 나오는 영상을 일정기간 보관하는 영상DB(1300) 등을 포함할 수 있으며, 필요에 따라서 종합DB(4400)에 영구보관하도록 구성할 수도 있다.

주차장 관리장치(2000)는 주차장의 차량 입출 관리 등을 담당하는 관리부(2100)와, 주차장의 주차칸 변화 상태를 주차칸 상태 판단부(4310) 및 주차칸 상태 변화 알림부(4320)로부터 전달받아 운전자나 관리자에게 화상으로 제공하는 모니터부(2200), 주차장의 주차칸 변화 상태를 주차칸 상태 판단부(4310) 및 주차칸 상태 변화 알림부(4320)로부터 전달받아 소리, 빛 등으로 운전자나 관리자에게 제공하는 알람부(2300)를 포함할 수 있다.

다음에, 도 1 내지 도 3을 참조하여, 본 발명의 일실시예에 따른 실시간 주차칸 영상객체 인식 시스템을 인공지능 학습과정과 주차칸 상태 안내 과정을 중심으로 설명한다.

본 발명은 이미 촬영된 주차장 상태관련 CCTV 영상을 일반 주차장의 CCTV로부터 유무선 통신망을 통해 입력 모듈(4100)의 외부소스 자료 입력부(4110)로 오픈 자료로서 제공받을 수 있다. 또한, 이미 CCTV계 장치(1000)의 영상 DB(1300)나 인식장치(4000)의 종합 DB(4400)에 미리 축적된 영상자료를 오픈 자료로 사용할 수도 있다. 인공지능 모듈(400)의 형상 학습전 준비부(4210)는 오픈 자료를 이용하여, 그래픽 처리부(4340)에 동영상 또는 동영상의 스냅샷 사진으로 GUI 기구(4211)(4212)에 표시하고 자동차가 주차하는 주차칸들의 위치 및 영역을 GUI 기구(4211)(4212)를 통하여　수동 혹은 자동으로 다각형(사각형, 사다리꼴형, 마름모형중의 하나)으로 하나의 주차칸을 그림으로써 주차칸 객체 학습에 필요한 학습 형상 데이터(D100)를 생성하여 종합 DB(4400)에 저장한다. 이때 학습 형상 데이터의 다각형의 위치 정보는 스냅샷 사진에 바로 표시될 수도 있지만 좌표정보를 별도의 파일(텍스트, xlml, 바이너리)로 저장하여 관리할 수도 있다.

도 2의 (a)를 참조하면, 형상 학습전 준비부(4210)는 자동차가 주차하는 주차칸들의 위치 및 영역을 GUI 기구(4211, 4212)를 통하여 수동 혹은 자동으로 주차칸 하나를 표시할 수 있는 작은 크기의 동영상 또는 스냅샷 사진(D100a, D100b)으로 잘라서 형상 학습 데이터(D100)를 생성하거나 다수의 주차칸이 포함된 CCTV 영상 전체화면의 동영상 또는 스냅샷 사진(D100c)에서 주차칸 하나를 표시한 다각형의 선색깔, 선굵기, 선모양중 하나를 변경하여 빈주차칸과 찬주차칸을 구별하여 주차칸을 학습시키는 형상 학습 데이터(D100)를 생성한다.

도 2의 (b)를 참조하면, 환경 학습전 준비부(4220)는 오픈 자료 (예를 들면, 주차장 영상 데이터 세트)를 사용하여 오픈 자료에 포함된 맑음, 흐림, 비 또는 눈오는 날씨 상황의 주차장 영상데이터를 사용하거나, 장기간 주차장 CCTV 영상데이터로서의 오픈 자료에서 수집한 맑음, 흐림, 비 또는 눈오는 날씨 상황의 환경관련 데이터를 수집하여 복합(환경) 학습 데이터 또는 복합(환경) 데이터 세트를 생성한다. 학습에 필요한 복합 학습 데이터 세트는 빈주차칸과 찬주차칸에 대한 영상 이미지가 거의 같은 수로 있을 경우 주차칸 학습부(4230)의 학습효과를 높일 수 있다. 또한, 복합 학습 데이터는 다양한 영상 데이터를 통해 다양한 기상조건에서 CCTV 카메라의 각도와 크기가 다르게 표현되는 자동차를 커버할 수 있어야 한다. 오픈 자료(주차장 영상 데이터 세트)에는 다수의 주차장 영상 이미지(D111a∼D111c)와 하나 이상의 주차장에서 분할된 주차칸을 포함하고 있다. 또한, 영상 이미지(D111a) 하나에 주차칸 영역 정보를 xml파일(D111b) 하나가 동일한 이름으로 포함되어 영상이미지에 포함되어 있는 주차칸 영역을 구별할 수 있게 해준다.

주차칸 학습부(4230)는 딥러닝(Deep Learning) 혹은 샬로러닝(Shallow Learning) 기술을 사용하여 날씨 변화에 따른 형상 학습 데이터(D100), 오픈 자료로서 주차장 영상 데이터 세트(예를 들면, 도 2의 (b)에서의 데이터 세트) 중 하나 이상을 사용하여 환경 학습전 준비부(4300)가 생성한 복합 학습 데이터 세트를 입력으로 주차칸 객체 상태를 파악하는 능력을 갖추도록 주차칸 학습을 수행한다. 즉 도 2를 참조면, 빈주차칸 영상 이미지(D100a) 또는 빈주차칸이 녹색 다각형으로 표시된 영상 이미지(D100c)를 입력으로 빈주차칸을 학습하고, 형상 학습 데이터(D100)에서 찬주차칸 영상이미지(D100b) 또는 찬주차칸이 적색 다각형으로 표시된 영상 이미지(D100c)를 입력으로 찬주차칸을 학습하고 주차칸 객체를 주차장 영상 데이터에서 구별할 수 있는 능력을 가진 주차칸 학습정보를 학습을 통해 획득하여 학습된 신경망 인공지능으로서 자체적으로 축적하고 있거나 종합 DB(4400)에 백업으로 저장한다. 이 때 빈주차칸과 찬주차칸의 색깔은 주차칸 학습부(4230)가 입력된 영상 이미지에서 주차칸이 빈주차칸인지 찬주차칸인지의 상태를 구별하기 위한 정보로 사용되는 한가지 예로 설명한 것이며, 각각의 영상 이미지(D111a)에 빈주차칸과 찬주차칸의 영역 정보를 별도의 xml파일(D111b)에 저장하여 환경 학습전 준비부(4220)가 복합 학습 데이터 세트를 구성할 수도 있다.

이 경우, 주차칸 학습부(4230)는, 예를 들면, ANN(Artificial Neural Network), 부스팅(Boosting), 랜덤 포리스트(Random forest)와 같은 지도학습(Supervised Learning) 방법을 사용하거나 분류(clustering), ICA(Independent Component Analysis), PCA(Principle Component Analysis), SVD(Singlular Value Decomposition)와 같은 자율학습(Unsupervised Learning) 방법을 사용하여 주차칸객체 학습을 진행할 수 있다.

주차칸 상태 판단부(4310)는 주차칸 학습부(4230)로 학습된 신경망 인공지능을 기반으로 실제 운영중에 있는 주차장의 CCTV(1100)의 영상 데이터(P100)를 실시간으로 입력 모듈(4120)의 실시간 자료 입력부(4120)로부터 입력받아 딥러닝(Deep Learning) 혹은 샬로러닝(Shallow Learning) 기술을 사용하여 영상데이터에 포함된 주차칸 객체를 구별하고, 찬주차칸으로 예측·판단된 주차칸과 빈주차칸으로 예측·판단된 주차칸의 정보를 주차칸 상태 변화 알림부(4230)에 전달한다.

주차칸 상태 변화 알림부(4230)는 주차칸 상태 판단부(4310)로부터 받은 주차칸 정보에 따라서 주차칸 객체가 빈주차칸·찬주차칸으로 예측·판단된 정보의 변화를 실시간으로 감지하여 알람, 메시지, 샐깔의 변화, 다각형중 하나 이상을 사용하여 관리자가 쉽게 확인할 수 있도록 관리자용 소프트웨어의 GUI로 기능하는 주자창 관리장치(2000)의 모니터부(2200) 화면 또는 알람부(2300)에 업데이트하고 알려준다.

도 1에 도시된 바와 같이, 형상 학습전 준비부(4210)는 주차칸 학습부(4230)가 주차칸 객체를 인식할 수 있는 학습된 신경망 인공지능을 얻기 위해 필요한 입력 데이터를 수동으로 작성하는 주차칸 수동 설정 GUI 기구(4211)와 입력 데이터를 자동으로 작성하는 주차칸 자동설정 GUI 기구(4212)를 포함할 수 있다. 주차칸 수동설정 GUI 기구(4211)는 외부 소스(5000)로부터 입력 모듈(4100)에 입력된 CCTV 주차장 영상 데이터인 스냅샷 사진 데이터, 동영상 데이터중 하나 이상을 그래픽 처리부(4340)를 통해 동영상 또는 동영상의 스냅샷 사진으로 GUI 기구에 표시하고 관리자가 GUI 기구에 표시된 영상을 보고 빈주차칸과 찬주차칸의 영역을 다각형으로 지정하여 학습 형상 데이터(D100)를 생성한다. 또한 주차칸 자동설정 GUI 기구(4210)는 입력 모듈(4100)에 입력된 CCTV 주차장 영상 데이터인 스냅샷 사진 데이터, 동영상 데이터중 하나 이상을 그래픽 처리부(4340)을 통해 GUI 기구에 표시하고, GUI 기구상에 표시된 영상을 자동으로 인식하여 주차칸 영역을 다각형으로 그림으로써 학습 형상데이터(D100)를 생성한다. 이때 GUI상에 표시된 다각형의 영역이 관리자가 인지한 주차칸 영역과 상이할 경우 주차칸 수동설정 GUI 기구를 사용하여 수동으로 주차칸의 위치 및 영역을 표시한 다각형을 수정하여 학습 형상 데이터(D100)를 생성한다.

도 3의 (a)에 도시된 바와 같이, 주차칸 학습부(4400)는 날씨 변화에 따른 학습 형상 데이터(D100), 오픈 자료(D110)(주차장 영상 데이터 세트) 중 하나 이상을 사용하여 환경 학습전 준비부(4220)가 생성한 환경 학습 데이터 세트를 입력으로 딥러닝(Deep Learning) 혹은 샬로러닝(Shallow Learning) 기술을 사용하여 주차칸 객체 학습을 진행한다. 주차칸 객체 학습을 좀더 자세하게 설명하면 주차칸 학습부(4230)는 K × K 픽셀로 구성된 필터(F100)를 학습 형상 데이터(D100) 또는 복합 학습 데이터 세트(D110)에 포함된 영상 이미지(D100a ~ D100c, D111a ~ D111c)의 좌측상단부터 우측 하단까지 순차적으로 픽셀을 스캐닝하며 영상 이미지(D100a ~ D100c, D111a ~ D111c)의 픽셀과 K × K 픽셀로 구성된 필터로 내적(dot product)을 구하여 피쳐맵(Feature map)들을 생성하는 컨볼루션 레이어(Convolution Layer)(D210a)를 적용한다. 이때 학습 형상 데이터(D100)로 제공된 주차칸 영상 이미지에 포함되어 있는 영상 이미지의 여러 가지 특징을 구별하기 위해 컨볼루션 레이어(D210a)에서는 하나의 필터(F100)가 아닌 여러 개의 다중 필터(F100)를 적용하여 피쳐맵을 생성한다.

필터(F100)를 통해 생성된 피쳐맵을 입력으로 하여 ReLU(Rectified Linear Unit) 레이어에서 피쳐맵에 표시된 정량적인 값을 빈주차칸·찬주차칸의 특징이 어느 정도 있는지 판단할 수 있는 비선형 값으로 바꾸어주는 활성화함수(Activation Function)인 ReLu함수를 적용한 활성화맵(Activation map)을 생성한다.

상기 활성화맵을 입력으로 Maxpool 레이어(Layer)에서

픽셀로 구성된 맥스풀링 필터(F200)를 stride 2로 하여 2칸씩 피쳐맵의 좌측상단부터 우측하단까지 순차적으로 스캐닝하며

픽셀에서 최대값을 뽑아내어 적용한 샘플링맵(sampling map)을 생성한다.

컨볼루션 레이어(D210a, D210b), ReLu 레이어, MaxPool 레이어(D220a, D220b)를 수회 반복적으로 조합하여(도 2의 (c)의 D200에 해당), 학습 형상 데이터(D100)에 포함된 주차칸의 특징을 추출한 최종 샘플링맵을 생성할 수 있다.

마지막으로 출력된 샘플링맵의 각각의 픽셀값을 연결한 소위 "풀리 커넥티드 레이어"(Fully connected layer)(D300a)에 활성화함수인 Softmax 함수(D300c)를 적용하여 빈주차칸(D400a)·찬주차칸(D400b)에 대한 확률을 0 ~ 1.0 범위에서 구할 수 있는 인공 신경망(Neural Network)(학습된 신경망 인공지능)(D300)을 구성하고, 필요에 따라 소위 "드롭아웃 레이어(Dropoutlayer)(D300b)를 사용하여 신경망의 뉴런을 랜덤하게 추출하여 학습에 대한 방해공정을 수행하여 학습 형상 데이터(D100)에서 너무 치우치는 오버피팅(over-fitting) 현상을 차단한다. 이때, Softmax 함수(D300c)를 적용하여 0 ~ 1 사이의 값에서 결과값을 변경시키면 변환된 결과에 대한 모든 합계가 1이 되므로 확률(Probabilittes) 값으로 사용할 수 있게 된다.
상기 컨볼루션 레이어, ReLu 레이어, MaxPool 레이어, 풀리 커넥티드 레이어(Fully connected layer)에는 컴퓨터 자원이 많이 사용되는 행렬(matrix) 연산이 사용되므로 이러한 행렬연산의 성능 향상을 위해 그래픽 처리장치(GPU)가 포함된 그래픽 처리부(4340)(도 1 참조)를 사용할 수 있다. 또한, 상기 표현된 각 레이어(Layer)들의 반복횟수, 실행 위치, 옵션값들은 LeNet, AlexNet, ZFnet, GoogleNet, VGGNet, Res Net과 같이 딥러닝(Deep Learning) 혹은 샬로러닝(Shallow Learning)의 방법에 따라 다른 응용을 사용할 수 있다.

도 3를 참조하여, 주차칸 상태 판단부(4310)가 실제 운영중에 있는 특정 주차장의 CCTV(1000)의 영상데이터(P100)를 영상 모듈(4100)의 실시간 자료 입력부(4120)로부터 입력받아 빈주차칸·찬주차칸을 예측·판단하는 방법을 보다 구체적으로 설명한다.
주차칸 상태 판단부(4310)는 주차칸 학습부(4230)가 학습한 신경망(Neural Network)(D300)(도 2의 (c) 참조)을 기반으로 실제 운영중에 있는 주차장의 CCTV(1000)의 영상데이터(P100)에 컨볼류션 레이어(Convolution Layer), ReLu 레이어, MaxPool 레이어를 수회 반복적으로 조합하여(D200'에 해당), 영상데이터(P100)에 포함된 주차칸의 특징을 추출한 마지막 샘플링맵을 생성하고 풀리커넥티드 레이어(fully-connected layer)와 Softmax 함수(D300c)를 적용하여 생성된 확률값에 따라 입력된 영상 데이터내에 포함된 주차칸 객체를 구별하고 주차칸 객체가 빈주차칸인지 찬주차칸인지 구별된 정보를 주차칸 상태변화 알림부(4320)에 알려주면 주차칸 상태변화 알림부(4320)는 관리자용 소프트웨어의 GUI 기능을 하는 주차장 관리장치(2000)의 모니터부(2200) 화면에 주차칸의 상태(P400)를 다각형과 색깔의 변화 알람, 메시지 중 하나 이상을 사용하여 표시해 준다. 즉, 모니터부(2200)에 제공된 주차칸 상태변화 알림정보(P400)는 특정 주차장의 실시간 주차현황을 보여주며, 빨간선으로 표시된 부분은 찬주차칸을 나타내고, 녹색선으로 표시된 부분은 빈주차칸이며, 화면 좌측으로는 주차칸들의 위치별 주차 여부가 데이터형태로 표현되어 있음을 확인할 수 있다. 따라서, 상태변화 알림정보를 통해 특정 주차장의 특정 주차칸에 대한 주차 여부정보를 주차장 관리원이나 운전자들에게 알람, 표시, 소리 방식으로 제공할 수 있다. 특히, 운전자에게 알릴경우 또는 주차장 관리원에게 알릴 경우, 해당 개인이 소지한 휴대폰 내의 특정 앱이나 자동차내의 앱을 통해 주차칸 상태, 또는 주차칸 상태변화를 전달할 수도 있다.

다음에, 도 4의 흐름도를 참조하여, 위에서 설명한 시스템의 동작을 정리하여 본 발명의 일실시예에 따른 CCTV 영상 정보를 이용한 실시간 주차칸 영상객체 인식 시스템의 전반적인 동작 흐름 및 CCTV 영상 정보를 이용한 실시간 주차칸 영상객체 인식 방법에 대해서 설명한다.

스텝 S1: 주차칸 영상객체 인식 장치(4000)의 입력 모듈(4100)의 외부소스 자료 입력부(4110)가 외부 소스(5000)로부터 오픈 자료를 입력한다. 이 경우, 제어 모듈(4300)의 제어부(4330)은 오픈 자료를 종합 DB(4400)에 저장하도록 입력 모듈(4100)에 명령할 수도 있다. 기본적으로 종합 DB(4400)는 입력 모듈(4100)과 인공지능 모듈(4200), 제어 모듈(4300) 자체의 주차칸 상태 판단부(4310) 및 주차칸 상태 변화 알리부(4320)에서 생성될 수 있는 모든 데이터 또는 정보를 백업 형태로 저장하여 두고, 각 구성요소들이 필요에 따라서 백업 데이터 또는 정보를 종합 DB(4400)를 통해 검색하여 사용할 수 있도록 구성하는 것이 바람직하다.

스텝 S2: 입력 모듈(4100)의 외부 소스 자료 입력부(4110)로부터 입력된 오픈 자료를 기초로 주차장 영상 데이터를 형상 학습전 준비부(4210)의 형상 수동설정 GUI 기구(4211)를 사용하여 GUI 상에 표시하고 관리자가 인지하여 주차칸 영역을 다각형(예를 들면, 사각형, 사다리꼴형, 마름모형 등)으로 영역을 지정하여 학습 형상 데이터(D100)를 생성한다(S2-1).

스텝 S2-1의 과정과 병행해서, 또는 스텝 S2-1의 과정과는 별도로, 입력 모듈(4100)에 입력된 오픈 자료인 주차장 영상 데이터에서 주차칸들의 위치 및 영역을 형상 자동설정 GUI 기구(4212)를 사용하여 자동으로 인식하여 주차칸 영역을 다각형(예를 들면, 사각형, 사다리꼴형, 마름모형 등 중에 하나)로 표시하여 학습영상 데이터를 생성할 수도 있다(S2-2).

한편, 스텝 S2-2에서 형상 자동설정 GUI 기구(4212)를 통해 자동으로 인식되어 GUI상에 표시된 주차칸이 관리자가 인지한 주차칸과 상이할 경우 형상 수동설정 GUI 기구(4211)를 사용하여 수동으로 주차칸을 수정하여 학습 형상 데이터(D100)를 생성한다(S2-S3).

스텝 S3: 환경 학습전 준비부(4220)는 오픈 자료(주차장 영상 데이터 세트)를 다양하게 장기간 수집하여, 맑음, 흐림, 비 또는 눈오는 날씨 상황을 학습 형상 데이터(D100)에 적용시켜, 주차장에서 특히 주차칸 주변의 날씨변화, 물체변화, 시간기반 음영, 색상 변화와 같은 환경 변화를 적용하여 다양한 복합 학습 데이터 세트를 생성하여 주차칸 학습부(4230)의 기계학습용 입력으로 사용할 수 있도록 정리, 축적한다. 앞에서도 설명한 바 있지만, 이와 같이 생성된 데이터 세트, 환경 학습전 준비부(4220)가 자체적으로 저장할 수도 있고, 자체적 저장 없이 또는 병행하여 백업용으로 종합 DB(4400)에도 저장될 수도 있다.

스텝 S4: 주차칸 학습부(4230)는 생성된 학습 형상 데이터(D100), 복합 학습 데이터 세트 중 하나 이상을 입력으로 사용하여 딥러닝 혹은 샬로러닝 기술을 사용하여 주차칸 객체를 구별하여 인식하고 주차칸 객체에 차량이 주차해 있는지 주차해 있지 않은지를 학습한다.

보다 구체적으로 설명하면, 먼저, 주차칸 학습부(4230)가 입력된 학습 형상 데이터(D100)를 딥러닝 혹은 샬로러닝의 기술중 컨볼루션 레이어(Convolution Layer), ReLu 레이어, MaxPool 레이어 중 하나 이상을 반복적으로 적용하여 샘플링맵을 생성한다.

이어서, 주차칸 학습부(4230)가 샘플링맵을 입력으로 딥러닝 혹은 샬로러닝의 기술중 풀리 커넥티드 레이어(Fully connected Layer), 드롭아웃 레이어(Dropout Layer), Softmax 함수중 하나 이상을 적용하여 빈주차칸·찬주차칸을 학습함으로써, 일반 주차장에 범용으로 적용할 수 있는 학습된 신경망 인공지능을 생성, 축적한다.

스텝 S5: 제어 모듈(4300)의 주차칸 상태 판단부(4310)는 특정 주차장에서 실제 운영중에 있는 주차장의 CCTV계 장치(1000)의 CCTV(1100)로부터 입력 모듈(4100)의 실시간 자료 입력부(4120)를 경유하여 실시간 주차장 영상 데이터를 입력받고, 이 실시간 주차장 영상 데이터를 학습된 신경망 인공지능에 적용시켜 딥러닝 혹은 샬로러닝 기술을 사용하여 개별 주차칸 마다 주차칸 객체의 주차상태를 판단하고 빈주차칸/찬주차칸의 변화를 예측 및 판단하여 주차칸 상태정보를 상시 실시간으로 제공한다.

스텝 S6: 제어 모듈(4300)의 주차칸 상태 변화 알림부(4320)는 주차칸 상태정보를 기반으로 알람, 메시지, 샐깔의 변화, 다각형 중 하나 이상을 사용하여 관리자가 쉽게 확인 할 수 있도록 관리자용 소프트웨어의 GUI 기능을 가진 주차장 관리장치(2000)의 모니터부(2200)에 화면의 형태로 제공하거나, 알람부(2300)를 통해 소리, 표시 등으로 관리자 또는 운전자에게 안내해 준다. 이 경우, 주차장 관리장치(2000)의 관리부(2100)에서 주차장으로 진입하는 미지의 차량을 감지하고 알람부(2300)를 통해 차량에 인스톨된 앱이나 차량 운전자의 핸드폰 앱을 통해 자동으로 빈주차칸의 위치를 알려줄 수도 있다. 이와는 달리, 주차칸 영상객체 인식 장치(4000)에서 제어 모듈(4300)의 제어부(4330)가 주차장 관리장치(2000)의 관리부(2100)로부터 차량 진입의 안내를 받아서 진입차량에게 빈주차칸 정보를 직접 주차칸 상태 변화 알림부(4320)를 통해 안내할 수도 있다.

스텝 S7: 종합 DB(4000)에서 해당 특정주차장의 실시간 영상정보 축적, 외부소스(5000)로부터의 추가 오픈 자료 축적, 또는 다른 외부 일반 주차장의 신규 영상정보를 외부소스(5000)를 통해 외부소스 자료 입력부(4110)를 경유하여 종합 DB(4000)에 축적한다.

이후, 스텝 S2에서 스텝 S4를 진행하면서, 인공지능 모듈(4200)을 업데이트하고, 새로 업데이트된 인공지능 모듈(4200)의 기능으로 스텝 S5 및 스텝 S6을 통해 실시간 주차칸 안내 기능을 수행할 수 있다. 그러나, 스텝 S2 내지 스텝 S4을 통한 업데이트는 일정 기간동안 종합 DB(4340)에 오픈 자료가 축적될 경우 수행하는 것이 바람직하다.

이상과 같이 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명의 범위는 이에 한정되지 않으며, 다음의 특허청구범위 일탈하지 않고도 당분야의 통상의 기술자에 의해 여러 가지 변경 및 변형이 가능하다.

1000: CCTV계 장치 1100: CCTV(카메라)
1200: VMS 1300: 영상DB
2000: 주차장 관리장치 2100: 관리부
2200: 모니터부 2300: 알람부
4000: 주차칸 영상객체 인식 장치 4100: 입력 모듈
4110: 외부 소스 자료 입력부 4120: 실시간 자료 입력부
4200 인공지능 모듈 4210: 형상 학습전 준비부
4211: 형상 수동설정 GUI 기구 4212: 형상 자동설정 GUI 기구
4220: 환경 학습전 준비부 4230: 주차칸 학습부
4300: 제어 모듈 4310: 주차칸 상태 판단부
4320: 주차칸 상태 변화 알람부 4330: 제어부
4340: 그래픽 처리부 4400: 종합 DB

Claims (18)

1. CCTV 영상 정보를 이용한 실시간 주차칸 영상객체 인식 장치로서,
   일반 주차장과 관련된 영상정보를 적어도 포함하는 공지된 오픈 자료를 사전에 미리 마련된 형태로 제공하는 외부 소스로부터 상기 오픈 자료를 입력하는 외부소스 자료 입력부, 및 특정 주차장의 CCTV계 장치로부터 실시간 영상자료를 입력하는 실시간 자료 입력부를 포함하는 입력 모듈과;
   상기 입력 모듈의 외부소스 자료 입력부로부터 입력되는 오픈 자료를 이용하여, 예상되는 주차칸의 형상 및 주차칸 환경을 학습하여 임의 주차칸에 대해 차량의 주차 여부를 판단할 수 있는 기능을 가진 학습된 신경망 인공지능을 생성하는 인공지능 모듈과;
   상기 일반주차장 중 특정 주차장의 CCTV계 장치로부터 실시간으로 제공되는 주차장 영상을 상기 학습된 신경망 인공지능에 적용하여 상기 특정 주차장에서의 주차칸들에 대한 주차 여부를 실시간으로 판단하고 해당 판단결과에 기초하여 상기 특정 주차장에서의 주차칸들의 주차 여부를 나타내는 주차칸 상태정보를 상시 실시간으로 제공하는 주차칸 상태 판단부를 포함하는 제어 모듈을 구비하고,
   상기 인공지능 모듈은,
   상기 입력 모듈의 외부소스 자료 입력부로부터의 오픈 자료로서 일반 주차장의 주차장 상태관련 CCTV 영상을 정지영상 또는 동영상으로 사용하여, 복수의 일반 주차장에서 존재 가능한 주차칸 형상과 주차칸 주변형상을 결정하고, 결정된 상기 형상을 기반으로 복수의 학습 형상 데이터를 생성하여 축적하는 형상 학습전 준비부와;
   상기 형상 학습전 준비부로부터 생성된 학습 형상 데이터 및 상기 CCTV로부터 촬영된 정지영상 또는 동영상 중 적어도 하나로부터 제공되는 다수의 영상을 이용하여 날씨변화, 주변물체변화 및 시간기반변화 중 적어도 하나를 포함하는 환경변화가 반영된 학습 복합 데이터 세트를 생성하여 축적하는 환경 학습전 준비부와;
   상기 형상 학습전 준비부로부터의 학습 형상 데이터와 상기 환경 학습전 준비부로부터의 복합 학습 데이터 세트를 기초로, 학습을 통해 일반 주차장들의 주차칸에서의 빈주차칸 또는 찬주차칸의 여부를 결정하는 기능을 가진 상기 학습된 신경망 인공지능을 생성하는 주차칸 학습부를 포함하고,
   상기 학습 형상 데이터 및 상기 학습 복합 데이터 세트는 주차칸 학습부에서의 학습방식을 위해 입력으로 사용할 수 있도록 처리된 데이터이고, 상기 주차칸 학습부 및 상기 주차칸 상태 판단부는 자율학습 및 지도학습 중 적어도 하나를 이용하는 기계학습을 이용하여 주차칸이 빈주차칸인지 찬주차칸인지의 여부를 학습하거나 판단하며,
   상기 기계학습은 딥러닝(Deep Learning) 및 샬로우러닝(Shallow learning) 중 적어도 하나를 포함하고,
   상기 형상 학습전 준비부는,
   상기 입력 모듈에 입력된 CCTV 주차장 영상 데이터인 스냅샷 사진 데이터, 동영상 데이터 중 하나 이상을 사용하여 GUI 상에 표시하여 관리자가 인지한 주차칸 영역을 다각형 중 하나로 영역을 지정하고 지정된 상기 영역을 학습 형상 데이터로 생성하는 주차칸 수동설정 GUI 기구; 및 상기 입력 모듈에 입력된 CCTV　주차장 영상 데이터에서 주차칸들의 위치 및 영역을　자동으로　인식하여 학습 영상 데이터로 생성하는 주차칸 자동설정 GUI 기구를 포함하고,
   상기 주차칸 수동설정 GUI 기구는 상기 주차칸 자동설정 GUI 기구가 생성한 학습 형상 데이터를 관리자가 수동으로 정정할 수 있는 환경 기능을 포함하며,
   상기 제어 모듈은 상기 주차칸 수동설정 GUI 기구 및 상기 주차칸 자동설정 GUI 기구를 지원하는 그래픽 처리부를 더 포함하고,
   상기 주차칸 학습부는 K × K 픽셀로 구성된 필터를 학습 형상 데이터 또는 복합 학습 데이터 세트에 포함된 영상 이미지의 좌측상단부터 우측 하단까지 순차적으로 픽셀을 스캐닝하며 영상 이미지의 픽셀과 K × K 픽셀로 구성된 필터로 내적(dot product)을 구하여 피쳐맵(Feature map)들을 생성하는 컨볼루션 레이어(Convolution Layer)를 적용하고, 컨볼루션 레이어, ReLu 레이어, MaxPool 레이어를 수회 반복적으로 조합하여, 학습 형상 데이터에 포함된 주차칸의 특징을 추출한 최종 샘플링맵을 생성하고, 상기 최종 샘플링맵의 각각의 픽셀값을 연결한 풀리 커넥티드 레이어(Fully connected layer)를 이용하여 상기 기계학습을 위한 인공신경망을 구성하는 것을 특징으로 하는 CCTV 영상 정보를 이용한 실시간 주차칸 영상객체 인식장치.
2. 삭제
3. 제1항에 있어서,
   상기 제어 모듈은
   상기 주차칸 상태 판단부로부터 제공되는 실시간 주차칸 상태 정보를 기반으로 상기 특정 주차장에서 빈주차칸·찬주차칸의 변화를 반영하는 알람, 메시지, 색상변화, 다각형상을 직접 제공하거나, 주차장 관리장치에서 이용할 수 있도록 주차칸 상태변화 알람정보를 제공하는 주차칸 상태변화 알림부;
   를 더 포함하고,
   상기 주차칸 상태변화 알림부에서 제공하는 상기 주차칸 상태변화 알림정보는 주차장 관리장치에 설치된 스피커, 알림 전광기, LED 전광판, GUI 모니터 중 적어도 하나 또는 이들의 조합을 위해 사용되거나, 운전자의 차량이나 운전자의 이동단말기의 앱을 통해 빈주차칸 안내정보로 사용되는 것을 특징으로 하는 CCTV 영상 정보를 이용한 실시간 주차칸 영상객체 인식 장치.
   
4. 제1항 또는 제3항에 있어서,
   상기 주차칸 학습부는 이미 촬영된 다수 주차장의 주차상태에 관한 다양한 공지된 오픈 자료로서의 오픈 CCTV 영상을 포함하는 학습 복합 데이터 세트를 입력으로 하여, 특정 주차칸의 실제 모양을 학습시키는 포지티브 러닝(positive learning)과 상기 환경변화에 따라 주차칸의 변형된 모양을 학습시키는 네거티브 러닝(negative learning)을 통해 주차칸 객체 인식의 완성도를 높이는 기계학습을 수행하는 것을 특징으로 하는 CCTV 영상 정보를 이용한 실시간 주차칸 영상객체 인식 장치.
5. 제1항 또는 제3항에 있어서,
   상기 환경 학습전 준비부의 학습 복합 데이터 세트는 이미 촬영된 다수 주차장의 주차상태에 관한 다양한 공지된 오픈 자료로서의 오픈 CCTV 영상을 포함하고, 상기 오픈 CCTV 영상은 상기 환경변화를 적어도 포함하고, 상기 환경변화 중 날씨변화는 맑음, 흐림, 비, 눈, 바람의 변화를 적어도 포함하고, 상기 주변물체변화는 주차장 내, 또는 주차칸 주변의 이동하거나 정착된 물체의 변화를 적어도 포함하고, 상기 시간기반변화는 시간경과에 따른 주변환경의 음양, 색상, 계절적 변화를 적어도 포함하고,
   상기 주차칸 영상객체 인식 장치는,
   상기 입력 모듈, 상기 인공지능 모듈 및 상기 제어 모듈로부터 생성되는 데이터, 데이터 세트, 및 정보를 저장하여 상기 모듈의 각 구성요소, 특정 주차장 관리장치 또는 외부소스에 필요에 따라 제공하는 종합 데이터베이스를 더 포함하는 것을 특징으로 하는 CCTV 영상정보를 이용한 실시간 주차칸 영상객체 인식 장치.
6. 제5항에 있어서,
   상기 인공지능 모듈은 상기 외부소스로부터의 오픈 자료와 특정 주차장의 CCTV계 장치로부터 제공되는 실시간 영상정보를 기초로 학습된 신경망 인공지능을 업데이트하여 특정 주차장에서의 주차칸의 주차 여부 판단기능 학습능력을 증가시키고, 증가된 학습능력을 다른 주차칸 영상객체 인식장치의 학습된 신경망 인공지능 업그레이드를 위해 외부 소스로 제공하는 것을 특징으로 하는 실시간 주차칸 영상객체 인식장치.
7. CCTV 영상 정보를 이용하는 실시간 주차칸 영상객체 인식 시스템으로서, 상기 시스템은, 주차장의 주정차 상태를 실시간으로 촬영하고 그 영상정보를 축적하는 CCTV계 장치;
   일반 주차장과 관련된 영상정보를 적어도 포함하는 오픈 자료를 사전에 미리 마련된 형태로 제공할 수 있는 오픈 자료소스를 포함할 뿐만 아니라 복수의 일반 주차장에 설치되는 실시간 주차칸 영상객체 인식 장치에 적어도 연결되는 외부 소스와;
   특정 주차장에 설치되는 주차장 관리장치와;
   상기 CCTV계 장치로부터 쵤영된 CCTV 영상정보를 기초로 특정 주차장의 주차칸의 주차 여부를 인식하는 주차칸 영상객체 인식 장치를 구비하고,
   상기 주차칸 영상객체 인식 장치는,
   일반 주차장과 관련된 영상정보를 적어도 포함하는 오픈 자료를 사전에 미리 마련된 형태로 제공하는 외부 소스로부터 상기 오픈 자료를 입력하는 외부소스 자료 입력부, 및 특정 주차장의 CCTV계 장치로부터 실시간 영상자료를 입력하는 실시간 자료 입력부를 포함하는 입력 모듈과;
   상기 입력 모듈의 외부소스 자료 입력부로부터 입력되는 오픈 자료를 이용하여, 예상되는 주차칸의 형상 및 주차칸 환경을 학습하여 임의 주차칸에 대해 차량의 주차 여부를 판단할 수 있는 학습된 신경망 인공지능을 생성하는 인공지능 모듈과;
   상기 일반주차장 중 특정 주차장의 CCTV계 장치로부터 실시간으로 제공되는 주차장 영상을 상기 학습된 신경망 인공지능에 적용하여 상기 특정 주차장에서의 주차칸들에 대한 주차 여부를 실시간으로 판단하고 해당 판단결과에 기초하여 상기 특정 주차장에서의 주차칸들의 주차 여부를 나타내는 주차칸 상태정보를 상시 실시간으로 제공하는 주차칸 상태 판단부를 포함하는 제어 모듈을 구비하고;
   상기 인공지능 모듈은,
   상기 입력 모듈의 외부소스 자료 입력부로부터의 오픈 자료로서 일반 주차장의 주차장 상태관련 CCTV 영상을 정지영상 또는 동영상으로 사용하여, 복수의 일반 주차장에서 존재 가능한 주차칸 형상과 주차칸 주변형상을 결정하고, 결정된 상기 형상을 기반으로 복수의 학습 형상 데이터를 생성하여 축적하는 형상 학습전 준비부와;
   상기 형상 학습전 준비부로부터 생성된 학습 형상 데이터 및 상기 CCTV로부터 촬영된 정지영상 또는 동영상 중 적어도 하나로부터 제공되는 다수의 영상을 이용하여 날씨변화, 주변물체변화 및 시간기반변화 중 적어도 하나를 포함하는 환경변화가 반영된 학습 복합 데이터 세트를 생성하여 축적하는 환경 학습전 준비부와;
   상기 형상 학습전 준비부로부터의 학습 형상 데이터와 상기 환경 학습전 준비부로부터의 복합 학습 데이터 세트를 기초로, 학습을 통해 일반 주차장들의 주차칸에서의 빈주차칸 또는 찬주차칸의 여부를 결정하는 기능을 학습된 신경망 인공지능을 제공하는 주차칸 학습부를 포함하고,
   상기 학습 형상 데이터 및 상기 학습 복합 데이터 세트는 주차칸 학습부에서의 학습방식을 위해 입력으로 사용할 수 있도록 처리된 데이터이고, 상기 주차칸 학습부 및 상기 주차칸 상태 판단부는 자율학습 및 지도학습 중 적어도 하나를 이용하는 기계학습을 이용하여 주차칸이 빈주차칸인지 찬주차칸인지의 여부를 학습하거나 판단하며,
   상기 기계학습은 딥러닝(Deep Learning) 및 샬로우러닝(Shallow learning) 중 적어도 하나를 포함하고,
   상기 형상 학습전 준비부는,
   상기 입력 모듈에 입력된 CCTV주차장 영상데이터인 스냅샷 사진데이터, 동영상 데이터중 하나 이상을 사용하여 GUI상에 표시하여 관리자가 인지한 주차칸 영역을 다각형 중 하나로 영역을 지정하고 지정된 상기 영역을 학습 형상 데이터로 생성하는 주차칸 수동설정 GUI 기구; 및 상기 입력 모듈에 입력된 CCTV　주차장 영상 데이터에서 주차칸들의 위치 및 영역을　자동으로　인식하여 학습 영상 데이터로 생성하는　주차칸 자동설정 GUI 기구를 포함하고,
   상기 주차칸 수동설정 GUI 기구는 상기 주차칸 자동설정 GUI 기구가 생성한 학습 형상 데이터를 관리자가 수동으로 정정할 수 있는 환경 기능을 포함하며,
   상기 제어 모듈은 상기 주차칸 수동설정 GUI 기구 및 상기 주차칸 자동설정 GUI 기구를 지원하는 그래픽 처리부를 더 포함하고,
   상기 주차칸 학습부는 K × K 픽셀로 구성된 필터를 학습 형상 데이터 또는 복합 학습 데이터 세트에 포함된 영상 이미지의 좌측상단부터 우측 하단까지 순차적으로 픽셀을 스캐닝하며 영상 이미지의 픽셀과 K × K 픽셀로 구성된 필터로 내적(dot product)을 구하여 피쳐맵(Feature map)들을 생성하는 컨볼루션 레이어(Convolution Layer)를 적용하고, 컨볼루션 레이어, ReLu 레이어, MaxPool 레이어를 수회 반복적으로 조합하여, 학습 형상 데이터에 포함된 주차칸의 특징을 추출한 최종 샘플링맵을 생성하고, 상기 최종 샘플링맵의 각각의 픽셀값을 연결한 풀리 커넥티드 레이어(Fully connected layer)를 이용하여 상기 기계학습을 위한 인공신경망을 구성하는 것을 특징으로 하는 CCTV 영상 정보를 이용한 실시간 주차칸 영상객체 인식 시스템.
8. 삭제
9. 제7항에 있어서,
   상기 제어 모듈은
   상기 주차칸 상태 판단부로부터 제공되는 실시간 주차칸 상태 정보를 기반으로 상기 특정 주차장에서 빈주차칸·찬주차칸의 변화를 반영하는 알람, 메시지, 색상변화, 다각형상을 직접 제공하거나, 주차장 관리장치에서 이용할 수 있도록 주차칸 상태변화 알람정보를 제공하는 주차칸 상태변화 알림부;
   를 더 포함하고,
   상기 주차칸 상태변화 알림부에서 제공하는 상기 주차칸 상태변화 알림정보는 주차장 관리장치에 설치된 스피커, 알림전광기, LED 전광판, GUI 모니터 중 적어도 하나 또는 이들의 조합을 위해 사용되거나, 운전자의 차량이나 운전자의 이동단말기의 앱을 통해 빈주차칸 안내정보로 사용되는 것을 특징으로 하는 CCTV 영상 정보를 이용한 실시간 주차칸 영상객체 인식 시스템.
   
10. 제7항 또는 제9항에 있어서,
    상기 주차칸 학습부는 이미 촬영된 다수 주차장의 주차상태에 관한 다양한 공지된 오픈 자료로서의 오픈 CCTV 영상을 포함하는 학습 복합 데이터 세트를 입력으로 하여, 특정 주차칸의 실제 모양을 학습시키는 포지티브 러닝(positive learning)과 상기 환경변화에 따라 주차칸의 변형된 모양을 학습시키는 네거티브 러닝(negative learning)을 통해 주차칸 객체 인식의 완성도를 높이는 기계학습을 수행하는 것을 특징으로 하는 CCTV 영상정보를 이용한 실시간 주차칸 영상객체 인식 시스템.
11. 제7항 또는 제9항에 있어서,
    상기 환경 학습전 준비부의 학습 복합 데이터 세트는 이미 촬영된 다수 주차장의 주차상태에 관한 다양한 공지된 오픈 자료로서의 오픈 CCTV 영상을 포함하고, 상기 오픈 CCTV 영상은 상기 환경변화를 적어도 포함하고, 상기 환경변화 중 날씨변화는 맑음, 흐림, 비, 눈, 바람의 변화를 적어도 포함하고, 상기 주변물체변화는 주차장 내, 또는 주차칸 주변의 이동하거나 정착된 물체의 변화를 적어도 포함하고, 상기 시간기반변화는 시간경과에 따른 주변환경의 음양, 색상, 계절적 변화를 적어도 포함하며,
    상기 주차칸 학습부는 상기 오픈 CCTV 영상을 포함하는 학습 복합 데이터 세트를 입력으로 하여, 특정 주차칸의 실제 모양을 학습시키는 포지티브 러닝(positive learning)과 상기 환경변화에 따라 주차칸의 변형된 모양을 학습시키는 네거티브 러닝(negative learning)을 통해 주차칸 객체 인식의 완성도를 높이는 기계학습을 수행하며,
    상기 주차칸 영상객체 인식 장치는, 상기 입력 모듈, 상기 인공지능 모듈 및 상기 제어 모듈로부터 생성되는 데이터, 데이터 세트, 및 정보를 저장하여 상기 모듈의 각 구성요소, 특정 주차장 관리장치 또는 외부소스에 필요에 따라 제공하는 종합 데이터베이스를 더 포함하는 것을 특징으로 하는 CCTV 영상정보를 이용한 실시간 주차칸 영상객체 인식 시스템.
12. 제11항에 있어서,
    상기 인공지능 모듈은 상기 외부소스로부터의 오픈 자료와 특정 주차장의 CCTV계 장치로부터 제공되는 실시간 영상정보를 기초로 상기 학습된 신경망 인공지능을 업데이트하여 특정 주차장에서의 주차칸의 주차 여부 판단기능 학습능력을 증가시키고, 증가된 학습능력을 다른 주차칸 영상객체 인식장치의 학습된 신경망 인공지능 업그레이드를 위해 외부 소스로 제공하는 것을 특징으로 하는 실시간 주차칸 영상객체 인식 시스템.
13. 주차장 주차정보에 사용되는 CCTV 영상 정보를 이용한 실시간 주차칸 영상객체 인식 시스템을 이용한 실시간 주차칸 영상객체 인식 방법으로서,
    상기 시스템은, 주차장의 주정차 상태를 실시간으로 촬영하고 그 영상정보를 축적하는 CCTV계 장치; 일반 주차장과 관련된 영상정보를 적어도 포함하는 오픈 자료를 사전에 미리 마련된 형태로 제공할 수 있는 오픈 자료소스를 포함할 뿐만 아니라 복수의 일반 주차장에 설치되는 실시간 주차칸 영상객체 인식 장치에 적어도 연결되는 외부 소스와; 특정 주차장에 설치되는 주차장 관리장치와; 상기 CCTV계 장치로부터 쵤영된 CCTV 영상정보를 기초로 특정 주차장의 주차칸의 주차 여부를 인식하는 주차칸 영상객체 인식 장치를 구비하며,
    상기 방법은,
    상기 주차칸 영상객체 인식 장치의 입력 모듈이, 상기 일반 주차장과 관련된 영상정보를 적어도 포함하는 오픈 자료를 사전에 미리 마련된 형태로 제공하는 외부소스로부터 상기 오픈 자료를 입력하는 오픈 자료 입력단계와;
    상기 영상객체 인식 장치의 인공지능 모듈이 상기 오픈 자료를 이용하여, 예상되는 주차칸의 형상 및 주차칸 환경을 학습하여 임의 주차칸에 대해 차량의 주차 여부를 판단할 수 있는 기능을 가진 학습된 신경망 인공지능을 생성하는 인공지능 학습단계와;
    상기 입력 모듈이 특정 주차장의 CCTV계 장치로부터 실시간 영상자료를 입력하는 실시간 자료 입력단계와;
    상기 영상객체 인식 장치의 주차칸 상태 판단부가 상기 특정 주차장의 CCTV계 장치로부터 실시간으로 제공되는 주차장 영상을 상기 학습된 신경망 인공지능에 적용하여 상기 특정 주차장에서의 주차칸들에 대한 주차 여부를 실시간으로 판단하고 해당 판단결과에 기초하여 상기 특정 주차장에서의 주차칸들의 주차 여부를 나타내는 주차칸 상태정보를 상시 실시간으로 제공하는 주차칸 상태 판단단계를 구비하고;
    상기 인공지능 학습단계는,
    상기 인공지능 모듈이, 상기 입력 모듈의 오픈 자료 입력부로부터의 오픈 자료로서 일반 주차장의 주차장 상태관련 CCTV 영상을 정지영상 또는 동영상으로 사용하여, 복수의 일반 주차장에서 존재 가능한 주차칸 형상과 주차칸 주변형상을 결정하고, 결정된 상기 형상을 기반으로 복수의 학습 형상 데이터를 생성하여 축적하는 형상 학습전 준비단계와;
    상기 인공지능 모듈이, 상기 형상 학습전 준비부로부터 생성된 학습 형상 데이터 및 상기 CCTV로부터 촬영된 정지영상 또는 동영상 중 적어도 하나로부터 제공되는 다수의 영상을 이용하여 날씨변화, 주변물체변화 및 시간기반변화 중 적어도 하나를 포함하는 환경변화가 반영된 학습 복합 데이터 세트를 생성하여 축적하는 환경 학습전 준비단계와;
    상기 인공지능 모듈이, 상기 형상 학습전 준비단계에서의 학습 형상 데이터와 상기 환경 학습전 준비단계로부터의 복합 학습 데이터 세트를 기초로, 학습을 통해 일반 주차장들의 주차칸에서의 빈주차칸 또는 찬주차칸의 여부를 결정할 수 있는 기능을 상기 학습된 신경망 인공지능을 생성하는 주차칸 학습단계를 포함하고,
    상기 학습 형상 데이터 및 상기 학습 복합 데이터 세트는 주차칸 학습부에서의 학습방식을 위해 입력으로 사용할 수 있도록 처리된 데이터이고,
    상기 주차칸 학습단계 및 상기 주차칸 상태 판단단계에서, 자율학습 및 지도학습 중 적어도 하나를 이용하는 기계학습을 이용하여 주차칸이 빈주차칸인지 찬주차칸인지의 여부를 학습하거나 판단하고, 상기 기계학습은 딥러닝(Deep Learning) 및 샬로우러닝(Shallow learning) 중 적어도 하나를 포함하고,
    상기 형상 학습전 준비단계는,
    인공지능 모듈의 주차칸 수동설정 GUI가, 상기 입력 모듈에 입력된 CCTV주차장 영상데이터인 스냅샷 사진데이터, 동영상 데이터중 하나 이상을 사용하여 GUI상에 표시하여 관리자가 인지한 주차칸 영역을 다각형 중 하나로 영역을 지정하고 지정된 상기 영역을 학습 형상 데이터로 생성하는　주차칸 수동설정 GUI 단계; 또는
    상기 인공지능 모듈의 주차칸 자동설정 GUI가, 상기 입력 모듈에 입력된 CCTV　주차장 영상 데이터에서 주차칸들의 위치 및 영역을　자동으로　인식하여 학습 영상 데이터로 생성하는　주차칸 자동설정 GUI 단계를 더 포함하고,
    상기 주차칸 수동설정 GUI단계는 상기 주차칸 자동설정 GUI 기구가 생성한 학습 형상 데이터를 관리자가 수동으로 정정할 수 있는 교정 기능을 제공하는 단계를 포함하며,
    상기 주차칸 영상 객체 인식장치가 상기 주차칸 수동설정 GUI 기구 및 상기 주차칸 자동설정 GUI 기구를 지원하는 그래픽 처리부를 더 포함하고,
    상기 주차칸 학습 단계는 K × K 픽셀로 구성된 필터를 학습 형상 데이터 또는 복합 학습 데이터 세트에 포함된 영상 이미지의 좌측상단부터 우측 하단까지 순차적으로 픽셀을 스캐닝하며 영상 이미지의 픽셀과 K × K 픽셀로 구성된 필터로 내적(dot product)을 구하여 피쳐맵(Feature map)들을 생성하는 컨볼루션 레이어(Convolution Layer)를 적용하고, 컨볼루션 레이어, ReLu 레이어, MaxPool 레이어를 수회 반복적으로 조합하여, 학습 형상 데이터에 포함된 주차칸의 특징을 추출한 최종 샘플링맵을 생성하고, 상기 최종 샘플링맵의 각각의 픽셀값을 연결한 풀리 커넥티드 레이어(Fully connected layer)를 이용하여 상기 기계학습을 위한 인공신경망을 구성하는 것을 특징으로 하는 CCTV 영상 정보를 이용한 실시간 주차칸 영상객체 인식 방법.
14. 삭제
15. 제13항에 있어서,
    상기 주차칸 상태 판단단계 이후에,
    상기 주차칸 상태 판단부로부터 제공되는 실시간 주차칸 상태 정보를 기반으로, 주차칸 영상객체 인식장치의 주차칸 상태변화 알림부가 상기 특정 주차장에서 빈주차칸·찬주차칸의 변화를 반영하는 알람, 메시지, 색상변화, 다각형상을 직접 제공하거나, 주차장 관리장치에서 이용할 수 있도록 주차칸 상태변화 알람정보를 제공하는 주차칸 상태변화 알림단계를 더 포함하고,
    상기 주차칸 상태변화 알림부에서 제공하는 상기 주차칸 상태변화 알림정보는 주차장 관리장치에 설치된 스피커, 알림전광기, LED 전광판, GUI 모니터 중 적어도 하나 또는 이들의 조합을 위해 사용되거나, 운전자의 차량이나 운전자의 이동단말기의 앱을 통해 빈주차칸 안내정보로 사용되는 것을 특징으로 하는 CCTV 영상 정보를 이용한 실시간 주차칸 영상객체 인식 방법.
16. 제13항 또는 제15항에 있어서,
    상기 환경 학습전 준비단계에서의 학습 복합 데이터 세트는 이미 촬영된 다수 주차장의 주차상태에 관한 다양한 공지된 오픈 자료로서의 오픈 CCTV 영상을 포함하고, 상기 오픈 CCTV 영상은 상기 환경변화를 적어도 포함하고, 상기 환경변화 중 날씨변화는 맑음, 흐림, 비, 눈, 바람의 변화를 적어도 포함하고, 상기 주변물체변화는 주차장 내, 또는 주차칸 주변의 이동하거나 정착된 물체의 변화를 적어도 포함하고, 상기 시간기반변화는 시간경과에 따른 주변환경의 음양, 색상, 계절적 변화를 적어도 포함하며,
    상기 주차칸 학습단계는 상기 오픈 CCTV 영상을 포함하는 학습 복합 데이터 세트를 입력으로 하여, 특정 주차칸의 실제 모양을 학습시키는 포지티브 러닝(positive learning)과 상기 환경변화에 따라 주차칸의 변형된 모양을 학습시키는 네거티브 러닝(negative learning)을 통해 주차칸 객체 인식의 완성도를 높이는 기계학습을 수행하는 것을 특징으로 하는 CCTV 영상정보를 이용한 실시간 주차칸 영상객체 인식 방법.
17. 제13항 또는 제15항에 있어서,
    상기 주차칸 영상객체 인식 장치의 종합 데이터베이스가, 상기 입력 모듈, 상기 인공지능 모듈 및 제어 모듈로부터 생성되는 데이터, 데이터 세트, 및 정보를 저장하여 상기 모듈의 각 구성요소, 특정 주차장 관리장치 또는 외부소스에 필요에 따라 제공하는 단계를 더 포함하는 것을 특징으로 하는 CCTV 영상정보를 이용한 실시간 주차칸 영상객체 인식 방법.
18. 제17항에 있어서,
    상기 인공지능 모듈이 상기 외부소스로부터의 오픈 자료와 특정 주차장의 CCTV계 장치로부터 제공되는 실시간 영상정보를 기초로 상기 학습된 신경망 인공지능을 업데이트하여 특정 주차장에서의 주차칸의 주차 여부 판단기능 학습능력을 증가시키고, 증가된 학습능력을 다른 주차칸 영상객체 인식장치의 학습된 신경망 인공지능 업그레이드를 위해 외부 소스로 제공하는 단계를 더 포함하는 것을 특징으로 하는 실시간 주차칸 영상객체 인식 방법.

Images