KR101515166B1 - 객체인식 기반의 주차장 이벤트 검지 시스템 - Google Patents

객체인식 기반의 주차장 이벤트 검지 시스템 Download PDF

Info

Publication number
KR101515166B1
KR101515166B1 KR1020130114429A KR20130114429A KR101515166B1 KR 101515166 B1 KR101515166 B1 KR 101515166B1 KR 1020130114429 A KR1020130114429 A KR 1020130114429A KR 20130114429 A KR20130114429 A KR 20130114429A KR 101515166 B1 KR101515166 B1 KR 101515166B1
Authority
KR
South Korea
Prior art keywords
event
analysis server
detection
time
parking
Prior art date
Application number
KR1020130114429A
Other languages
English (en)
Other versions
KR20150034398A (ko
Inventor
서준석
Original Assignee
사단법인 한국지능형교통체계협회
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 사단법인 한국지능형교통체계협회 filed Critical 사단법인 한국지능형교통체계협회
Priority to KR1020130114429A priority Critical patent/KR101515166B1/ko
Publication of KR20150034398A publication Critical patent/KR20150034398A/ko
Application granted granted Critical
Publication of KR101515166B1 publication Critical patent/KR101515166B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Abstract

본 발명은 객체인식 기반의 주차장 이벤트 검지 시스템에 관한 것이다. 본 발명은, 실시간 영상 수집을 위한 CCTV(10); CCTV(10)로부터 수신된 실시간 영상을 분석하는 분석서버(20); 및 상기 분석서버(20)에 의해 분석된 영상 중 이벤트를 운영자에게 통보하기 위한 운영단말(30) 및 음성표출 장치(40); 를 포함하는 객체인식 기반의 주차장 이벤트 검지 시스템에 있어서, 상기 분석서버(20)는, 상기 실시간 영상 수신을 위한 영역 탐지 셋팅, 실시간 CCTV 영상 수집, 수집된 영상에 대한 배경 인식, 객체구분(객체 인식) 및 객체 추적에 따라 이벤트 발생 탐지를 수행시 상기 운영자로의 통보를 수행하는 것을 특징으로 한다.
이에 의해, 주차장을 이용하는 사람들에게 불필요하게 주차장을 배회하는 시간을 감소시키고, 신속하게 빈 주차공간으로 주차안내를 하여 주차이용의 효율 증대시키며, 아울러 주차장 내 이벤트 상황의 신속한 검지를 통한 안전성 증대, 손실 최소화를 제공한다.

Description

객체인식 기반의 주차장 이벤트 검지 시스템{A Parking Event Detection System Based on Object Recognition}
본 발명은 객체인식 기반의 주차장 이벤트 검지 시스템에 관한 것으로, 보다 구체적으로는, 주차장을 이용하는 사람들에게 불필요하게 주차장을 배회하는 시간을 감소시키고, 신속하게 빈 주차공간으로 주차안내를 하여 주차이용의 효율 증대시키며, 아울러 주차장 내 이벤트 상황의 신속한 검지를 통한 안전성 증대, 손실 최소화를 제공하도록 하기 위한 객체인식 기반의 주차장 이벤트 검지 시스템에 관한 것이다.
주차장 내에서 지능형 영상을 이용한 서비스로는 주차장 내에 주차면에 대한 정보수집, 주차장 통로감시, 이용차량에 대한 차량정보안내 등이 대표적인 영역으로 구분할 수 있다.
따라서 해당 기술분야에서는 이동통로 감시의 기능으로 수집되는 영상에서 객체 인식 기술을 통하여 실시간 영상분석을 하여 이벤트를 감지하는 시스템을 사용하고 있으며, 이러한 시스템은 실제 주차장에 설치 적용하여 사용되고 있다.
이에 따라, 주차장을 이용하는 사람들에게 불필요하게 주차장을 배회하는 시간을 감소시키고, 미리 설정된 시간 내 빈 주차공간으로 주차안내를 하여 주차이용의 효율 증대시키며, 아울러 주차장 내 이벤트 상황의 신속한 검지를 통한 안전성 증대, 손실 최소화 등을 제공하기 위한 기술 개발이 요구되고 있다.
[관련기술문헌]
1. 카메라 기반 지능형 주차관제 방법 및 시스템(INTELLIGENT PARKING MANAGEMENT METHOD AND SYSTEM BASED ON CAMERA) (특허출원번호 제10-2012-0019498호)
2. 주차 관리 시스템 및 그 방법(Parking management system and method thereof) (특허출원번호 제10-2012-0072169호)
본 발명은 상기의 문제점을 해결하기 위한 것으로, 주차장을 이용하는 사람들에게 불필요하게 주차장을 배회하는 시간을 감소시키고, 신속하게 빈 주차공간으로 주차안내를 하여 주차이용의 효율 증대시키며, 아울러 주차장 내 이벤트 상황의 신속한 검지를 통한 안전성 증대, 손실 최소화 등을 제공하기 위한 객체인식 기반의 주차장 이벤트 검지 시스템을 제공하기 위한 것이다.
또한, 본 발명은 자동화 시스템으로 인한 경비절감 및 운영자의 피로도를 감소시키고, 편리하고 신속한 주차 유도 시스템의 증가 요구에 부응하는 시스템을 제공하기 위한 객체인식 기반의 주차장 이벤트 검지 시스템을 제공하기 위한 것이다.
또한, 본 발명은 주차장 내 돌발상황을 포함한 정지차량, 주차장 내 불법주차(통로주차), 통행시간 외에 배회차량이나 배회자 그리고 화재발생 등에 대한 검지가 가능하도록 하기 위한 객체인식 기반의 주차장 이벤트 검지 시스템을 제공하기 위한 것이다.
그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 객체인식 기반의 주차장 이벤트 검지 시스템은, 실시간 영상 수집을 위한 CCTV(10); CCTV(10)로부터 수신된 실시간 영상을 분석하는 분석서버(20); 및 상기 분석서버(20)에 의해 분석된 영상 중 이벤트를 운영자에게 통보하기 위한 운영단말(30) 및 음성표출 장치(40); 를 포함하는 객체인식 기반의 주차장 이벤트 검지 시스템에 있어서, 상기 분석서버(20)는, 상기 실시간 영상 수신을 위한 영역 탐지 셋팅, 실시간 CCTV 영상 수집, 수집된 영상에 대한 배경 인식, 객체구분(객체 인식) 및 객체 추적에 따라 이벤트 발생 탐지를 수행시 상기 운영자로의 통보를 수행하는 것을 특징으로 한다.
이때, 상기 분석서버(20)는, 상기 배경인식 및 상기 객체구분(객체 인식)의 경우 영상을 배경으로 인식하는 전경 검지와, 배경을 학습하고 학습된 배경에서 객체를 분리하는 객체 분리를 통해 수행하는 것을 특징으로 한다.
또한, 상기 분석서버(20)는, 상기 객체 추적의 경우 객체판단 추적된 객체를 차량, 사람, 및 화재를 포함한 카테고리로 구분하여 판단하며, 판단된 객체의 특성을 반영하여 객체를 추적하는 것을 특징으로 한다.
또한, 상기 분석서버(20)는, 상기 이벤트 발생 탐지에서 이벤트 판단 수행시 미리 설정된 시간 이상 검지 영역 내여서 정지한 차량을 판단하고, 야간시간대에 주차장 내에서 배회하는 사람을 판단하고, 연기에 의한 주차장 내 위험상황을 판단하는 화재의 이벤트로 구분하여 상기 운영자에게 통보하는 것을 특징으로 한다.
또한, 상기 분석서버(20)는, 객체 인식시 영역분할 및 이미지 다운 샘플링을 수행하며, 가우시안 혼합 모델(Gaussian Mix Model)을 사용한 배경 모델링을 수행하며, 메디안 필터(Median Filter)를 사용한 노이즈 제거를 수행한 뒤, 레이블 검출과 윤곽선 검출을 통한 객체 추출을 차례로 수행하는 것을 특징으로 한다.
또한, 상기 분석서버(20)는, 상기 레이블 검출시 레이블링의 현재 탐지된 픽셀과 붙어 있어서 연결된 영역이거나 또는 같은 색상 범위를 갖는 영역들을 하나의 객체로 간주하는 과정을 수행하며, 상기 윤곽선 검출시 객체에 대한 윤곽선(Contour) 정보를 얻기 위해서 레이블링된 객체의 객체를 1부터 n(n은 2 이상의 자연수)이라 하면 각각 해당하는 번호별로 윤곽선을 찾는 과정을 반복하는 것을 특징으로 한다.
또한, 상기 분석서버(20)는, 상기 이벤트 발생 탐지시 이벤트 판별을 위해 추적중인 객체를 대상으로 이동 거리, 이동 속도, 크기 변화량을 계산하여 리스트로 관리되도록 하는 객체의 이동 거리, 속도, 크기 변화량 계산 과정과, 추적 대상 객체에서 미리 설정된 조건(이동 거리, 이동 속도, 크기 변화량)과 일치하는 변화가 발생하면 이벤트를 검출하는 이벤트 발생 조건 분석 과정을 차례로 수행하는 것을 특징으로 한다.
본 발명의 실시예에 따른 객체인식 기반의 주차장 이벤트 검지 시스템은, 주차장을 이용하는 사람들에게 불필요하게 주차장을 배회하는 시간을 감소시키고, 신속하게 빈 주차공간으로 주차안내를 하여 주차이용의 효율 증대시키며, 아울러 주차장 내 이벤트 상황의 신속한 검지를 통한 안전성 증대, 손실 최소화를 제공한다.
또한, 본 발명의 다른 실시예에 따른 객체인식 기반의 주차장 이벤트 검지 시스템은, 자동화 시스템으로 인한 경비절감 및 운영자의 피로도를 감소시키고, 편리하고 신속한 주차 유도 시스템의 증가 요구에 부응하는 시스템을 제공한다.
뿐만 아니라, 본 발명의 다른 실시예에 따른 객체인식 기반의 주차장 이벤트 검지 시스템은, 주차장 내 돌발상황을 포함한 정지차량, 주차장 내 불법주차(통로주차), 통행시간 외에 배회차량이나 배회자 그리고 화재발생 등에 대한 검지가 가능한 효과를 제공한다.
도 1은 본 발명의 실시예에 따른 객체인식 기반의 주차장 이벤트 검지 시스템의 물리적 구성(Physical configuration of system)을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 객체인식 기반의 주차장 이벤트 검지 시스템상에서 수행되는 전체적인 과정을 나타내는 흐름도이다.
도 3은 본 발명의 실시예에 따른 객체인식 기반의 주차장 이벤트 검지 시스템에서의 객체인식 알고리즘(Algorithm for the development of object recognition detection system)을 나타내는 흐름도이다.
도 4는 도 3의 객체인식 알고리즘 중 레이블링 과정을 설명하기 위한 도표이다.
도 5는 도 3의 객체인식 알고리즘 중 객체에 대한 윤곽선(Contour) 정보 획득 과정을 설명하기 위한 도표이다.
이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.
도 1은 본 발명의 실시예에 따른 객체인식 기반의 주차장 이벤트 검지 시스템의 물리적 구성(Physical configuration of system)을 나타내는 도면이다. 도 1을 참조하면, 객체인식 기반의 주차장 이벤트 검지 시스템은 실시간 영상 수집을 위한 CCTV(10), 이를 분석하는 분석서버(20), 분석된 영상 중 이벤트를 운영자에게 통보해 줄 수 있는 운영단말(30) 및 음성표출 장치(40)로 구성된다.
여기서, 실시간 영상수집을 위한 CCTV 영상의 전송은 기존의 동축케이블을 이용한 전송이 아닌 TCP/IP를 이용한 전송방식을 사용하도록 하여 현장단에서는 시스템 구성을 간단히 하였으며, 유지보수가 용이하도록 하는 것이 바람직하다.
한편, 분석서버(20)에 의한 영상분석을 서버 방식을 도입함으로써, 장애발생시 관리센터(방재실)에서 즉각적인 조치가 가능하도록 하며, 운영단말(30)과의 데이터 송수신도 TCP/IP 통신이 가능하도록 하여 동일한 인트라넷에서의 구성이 쉽도록 구성된다.
도 2는 본 발명의 실시예에 따른 객체인식 기반의 주차장 이벤트 검지 시스템 상에서 수행되는 전체적인 과정을 나타내는 흐름도이다. 도 2를 참조하면, 객체인식 기반의 주차장 이벤트 검지 시스템상에서는 논리적으로는 실시간으로 분석서버(20)가 CCTV(10)으로부터 전송되는 CCTV영상을 수집하여 최종적으로 운영자에게 통보하기까지 크게 영역 탐지 셋팅 과정(S1), 실시간 CCTV(10) 영상 수집 과정(S2), 배경 인식 과정(S3), 객체구분 단계(S4), 객체 추적 과정(S5), 이벤트 발생 탐지 과정(S6), 운영자로의 통지 과정(S7)으로 이루어진다.
보다 구체적으로 분석서버(20)에 의해 배경인식 단계(S3) 및 객체구분 단계(S4)에서는 영상을 배경으로 인식하는 전경 검지 기술과 배경을 학습하고 학습된 배경에서 객체를 분리하는 객체 분리 기술이 사용된다. 좀 더 구체적으로는 가우시안 혼합 모델(Gaussian Mix Model)을 사용하여 배경 모델링을 수행하며, 배경 영상의 화소 하나하나를 가우시안 확률 분포를 사용하여 모델링하여 전경과 배경을 분리하는 방법을 활용한다.
객체 추적 과정(S5)에서는 객체판단 추적된 객체를 차량, 사람, 화재 등으로 구분하여 판단하는 기술로서 판단된 객체의 특성을 반영하여 객체를 추적할 수 있도록 하는 것이 바람직하다.
이벤트 발생 탐지 과정(S6)의 이벤트 판단의 경우 일정시간 이상 검지영역 내여서 정지한 차량을 판단하고, 야간시간대에 주차장 내에서 배회하는 사람을 판단, 연기에 의한 주차장내 위험상황을 판단하는 화재의 이벤트로 구분하여 운영자에게 통보하도록 하는 것이 바람직하다.
도 3은 본 발명의 실시예에 따른 객체인식 기반의 주차장 이벤트 검지 시스템에서의 객체인식 알고리즘(Algorithm for the development of object recognition detection system)을 나타내는 흐름도이다. 도 1 내지 도 3을 참조하여 분석서버(20)를 주체로 한 구체적인 과정을 살펴보도록 한다. 전체적으로, 객체인식 알고리즘은 이미지 획득 과정(S10), 객체 인식 과정(S20), 객체추적 알고리즘(S30) 수행 과정, 이벤트 판별 알고리즘(S40) 수행 과정으로 이루어진다.
< 객체 인식 과정( S20 ) >
이미지 획득 과정(S10) 이후의 객체 인식 과정(S20) 중 단계(S21)의 영역분할 및 이미지 다운 샘플링에 대해서 살펴보면, 영상 분석을 위한 배경 검출 알고리즘은 막대한 연산량을 요구하기 때문에 분석되는 영상의 해상도가 높아질수록 기하급수적으로 분석 시스템의 비용이 증가하게 된다. 이에 따라 과다한 비용 발생은 실용성을 떨어뜨리므로, 영상 분석의 성능을 떨어뜨리지 않으면서도 가급적 많은 채널의 영상 분석이 범용의 CPU에서도 수행할 수 있도록 분석서버(20)는 단계별로 다운 샘플링을 수행한다.
이러한 단계별 다운 샘플링에 의한 영상 분석의 결과를 비교해 보면, 분석 결과 D1급 해상도를 사용할 경우 영상 분석의 성능을 떨어뜨리지 않으면서 I7급 CPU를 사용해 8채널 정도의 분석이 가능하며, CIF급 영상의 경우 낙하물 등의 작은 크기의 객체 검출 확률이 떨어지는 문제점이 도출된다. CIF급 영상의 경우 원거리 부분에 대한 영역을 분할하여 고해상도로 처리하는 방법을 적용하면 분석 신뢰도 저하 문제를 해결할 수 있다.
다음으로 단계(S22)의 가우시안 혼합 모델(Gaussian Mix Model)을 사용한 배경 모델링에 대해서 살펴본다. 본 발명에서의 분석서버(20)는 이동 객체 검출을 위한 배경 제거 방법으로 나뭇가지의 흔들림이나 출렁거리는 물결 등 노이즈에 강인한 가우시안 혼합 모델(Gaussian Mixture Model)에 의한 배경 제거하는 방법을 사용한다. 본 발명에서 사용되는 가우시안 혼합 모델은 배경 영상의 화소 하나하나를 가우시안 확률 분포를 사용하여 모델링하여 전경과 배경을 분리하는 방법을 활용한다.
한편, 분석서버(20)는 LAB 색상 모델의 가우시안 혼합 모델(Gaussian MIX Model) 적용하는 것이 바람직하다. 보다 구체적으로, 영상에서 휘도 성분만을 사용하여 가우시안 혼합 모델(GMM)을 수행할 경우 연산량이 적으면서도 급격한 조명 변화가 없는 경우 비교적 안정적인 결과를 얻을 수 있기 때문에 지하 주차장과 같이 비교적 일정한 조명이 유지되는 상황에서는 효과적이다. 반면, 옥외 주차장의 경우에는 조명 변화에 의해 불안정한 결과를 보이기 때문에 색상 성분에 대한 가우시안 혼합 모델(GMM)을 동시에 수행하고 휘도와 색상 성분 각각에 대한 가우시안 혼합 모델(GMM) 수행 결과를 합산하면 보다 안정적인 결과를 얻을 수 있기 때문이다.
다음으로, 단계(S22) 이후에 수행되는 단계(S23)의 메디안 필터(Median Filter)를 사용한 노이즈제거 과정에 대해서 살펴보면, 전경 영상은 배경이 분리된 이진화된 영상이지만 전경 영상에는 노이즈가 섞여 있다. 여기서 노이즈는 한두 개의 작은 단위 픽셀의 집합으로 이러한 노이즈를 "Salt-and-Pepper" 노이즈라고 한다.
본 발명에서 분석서버(20)에 의한 노이즈 제거 방법은 모폴로지(Morphology) 기법과 미디언 필터를 사용한 방법이 사용되며, 연산량에 비해 노이즈 제거 효과가 큰 미디언 필터링 방법이 보다 효과적인 장점을 갖는다.
단계(S23) 이후에 수행되는 단계(S24)의 레이블 검출과 윤곽선 검출 알고리즘을 적용한 객체 추출에 대해서 살펴보면, 분석서버(20)는 레이블링의 현재 탐지된 픽셀과 붙어 있어서 연결된 영역이거나 또는 같은 색상 범위를 갖는 영역들을 하나의 객체로 간주하는 과정을 수행한다. 레이블링은 다음과 같은 과정으로 도 4와 같은 과정으로 수행한다.
한편, 객체에 대한 윤곽선(Contour) 정보를 얻기 위해서 레이블링된 객체의 객체를 1부터 n(n은 2 이상의 자연수)이라 하면 각각 해당하는 번호별로 윤곽선을 찾는 과정을 반복하며, 객체 윤관석을 찾는 과정표는 도 5와 같은 과정으로 수행가능하다.
이에 따라 찾아진 윤곽선 정보는 좌표 데이터량이 많고 추적을 위한 계산 과정이 복잡해지기 때문에 윤곽선에 외접하는 바운딩 박스를 최종 추적 대상 객체로 단순화하는 것이 바람직하다.
< 객체추적 알고리즘( S30 ) >
이미지 획득 과정(S10), 객체 인식 과정(S20)에 대한 순차적 처리 이후의 객체추적 알고리즘(S30)에 대해서 구체적으로 살펴본다. 본 발명에서는 추적의 정확도 대비 연산량 절감을 통한 실용성 확보 차원에서 다양한 객체 추적 방법을 사용한다.
보다 구체적으로, 객체의 블록의 유사도를 판단하여 추적을 하는 '블록 매칭 알고리즘', 컬러 기반 추적 방법을 사용하는 'MEAN Shift 알고리즘', 'CAM Shift 알고리즘', 움직임 추출 정보를 이용하는 'Motion Template 알고리즘', 영상 전체에 대해 광량의 변화를 추적하는 '밀집 옵티컬 플로우 알고리즘', 그리고 특징점을 추출하고 추출된 특징점을 추적하는 'LKT 방법'을 사용한다.
먼저, 블록 매칭 알고리즘에 대해 살펴보면, 블록 매칭(Block Matching) 방법은 동영상에서 객체의 움직임을 예측할 때 주로 사용하는 방식으로 연속하는 두 동영상 프레임에 오직 2차원 이동 움직임만 존재한다고 가정한다. 두 블록의 유사도를 평가하기 위해서 평균 절대값 차이(MAD :Mean Absolute Difference)를 주로 사용한다. 블록 매칭 움직임 추정 방법에서 특정 블록 주변의 모든 변위에 대하여 평균 절대값 차이를 계산하는 방법을 전역 검색(Fullsearch) 방법이라고 한다. 전역 검색 방업을 사용하면 가장 정확한 블록 매칭 기반움직임 벡터를 알아낼 수 있다. 그러나 윈도우 크기가 커질수록 전역검색 방법은 많은 연산 시간을 필요로 한다는 단점이 있다.
다음으로, Mean Shift 알고리즘은 색 정보에 기반하여 관심영역 안에 있는 특장점들과 주변의 특장점들을 비교하여 유사도가 가장 높은 곳으로 중심을 이동 시키는 방법이다. 이러한 Mean Shift 알고리즘의 경우 탐색 윈도우의 크기를 정하기가 어려운 관계로, 형태 변화에 따라 탐색 윈도우의 크기나 형태를 적절히 변경하여야 하는 영상 추적의 성능에 영향을 주게 되며 추적 대상과 배경이 유사할 경우 성능이 급격히 나빠진다. 또한 추적 대상 객체수가 많아질수록 연산량도 증가하기 때문에 다수의 대상을 동시에 추적해야 하는 시스템에 있어서는 실용적이지 못하다.
다음으로, Cam Shift 알고리즘은 탐색 윈도우의 크기나 형태를 적절히 변경할 수 없는 Mean Shift 알고리즘의 단점을 보완하여 스스로 탐색 윈도우의 크기를 최적화 하는 알고리즘이다. Mean Shit 알고리즘은 스텝-1 내지 스텝-5의 다음과 같은 과정으로 수행된다. 먼저, 스텝-1으로 탐색 윈도우의 초기 위치 및 크기를 정하며, 스텝-2로 탐색 윈도우 내의 명암 분포 중심을 구하고, 스텝-3로 MEAN Shift알고리즘을 반복하고, 스텝-4로 이어지는 프레임에서 탐색 윈도우의 위치와 크기를 3)에서 얻어진 명암 분포 중심으로 바꾼 뒤, 스텝-5에서 스텝-2 내지 스텝-4 과정을 반복적으로 수행한다. 이러한, Cam Shift 알고리즘은 Mean Shift 알고리즘에 비해 개선된 결과를 얻을 수 있지만, 추적 대상 객체수가 많아질수록 연산량도 증가하는 문제를 극복할 수 없기 때문에 다수의 대상을 동시에 추적해야 하는 시스템에 있어서는 실용적이지 못한 단점을 갖는다.
다음으로, Motion Template 알고리즘에 대해 살펴보면, 템포럴 템플릿(Temporal Template)의 하나로 사람의 동작을 추적하는 알고리즘에 해당한다. Motion Template 알고리즘은 객체의 최근에 움직임이 있는 영역에 대한 흑백 명암의 스칼라 영상으로 나타내며 이러한 스칼라 영상을 가지고 객체의 이동궤적과 방향을 계산할 수 있다. 그러나 Motion Template 알고리즘의 경우 연산량은 적지만 움직이지 않는 대상에 대한 연속적인 추적이 불가능한 단점으로 돌발 상황 감지에는 적합하지 못한 단점을 갖는다.
다음으로, 밀집 옵티컬 플로우 알고리즘에 살펴보면, 관찰자와 관찰자가 바라보는 장면으로부터 객체, 표면, 외곽선 등에서 발생하는 움직임의 패턴을 추정하는 알고리즘으로 이 경우 연산량이 많고 희소 옵티컬 플로우 방법은 추적하는 대상 객체가 적을 경우 정확도가 떨어지는 단점을 갖는다.
객체추적 알고리즘(S30) 중 단순화된 블록 매칭 방법에 의한 객체 추적(S31)에 대해 살펴보면, 1차로 객체 인식 과정을 통해 추출된 바운딩 박스 정보에 대한 크기와 겹침 비율을 조사하여 유사도가 큰 경우에 있어 동일한 객체로 간주하여 세부적인 추적 알고리즘 적용 대상에서 제외시키고 1차에서 분리되지 못한 객체에 대해서만 블록 매칭 방법을 적용하여 연산량을 줄이면서도 효과적인 추적이 가능하게 한다. 본 발명에서 제안하는 객체 추적의 과정은 스텝-1 내지 스텝-6에 의해 수행된다. 먼저 스텝-1로, 추출된 객체에 대한 바운딩 박스 정보로 탐색 윈도우의 초기 위치 및 크기를 정한 뒤, 스텝-2로 바운딩 박스 정보의 크기와 겹침을 비교하여 1차로 동일 객체를 분리하고, 스텝-3으로 1차로 분리되지 못한 객체에 대해 블록 매칭 방법을 적용하여 2차로 동일 객체를 분리하고, 스텝-4로 2차로 분리되지 못한 객체에 대해서는 큐에 저장되어 있는 객체 정보와 비교하여 놓친 객체에 대한 되찾기를 수행하고, 스텝-5로 스텝-4를 통해서도 분리되지 못한 객체는 새로운 객체로 큐에 등록하고, 마지막 스텝-6으로 스텝-2에서 스텝-4의 과정을 반복한다.
단계(S31) 이후, 카메라 관점에 대한 객체 사이즈를 통한 보정을 수행하고(S32), 카테고리에 의한 객체들의 필터링을 수행한 뒤(S33), 단계(S34)의 이벤트 탐지영역 판별을 수행한다. 단계(S34)의 이벤트 탐지영역 판별을 수행시, 천정등과 같이 이동 객체 발생 가능성이 거의 없는 영역은 추적 대상에서 제외함으로써 연산 부하를 감소시키고, 이벤트 탐지를 위한 영역 또한 관심 대상 영역으로 한정하여 오 감지 확률을 줄임과 동시에 연산량을 줄이는 효과를 기하도록 하는 것이 바람직하다.
< 이벤트 판별 알고리즘( S40 ) >
이미지 획득 과정(S10), 상술한 객체 인식 과정(S20), 객체추적 알고리즘(S30) 이후의 이벤트 판별 알고리즘(S40) 과정에 대해 살펴보도록 한다.
이벤트 판별 알고리즘(S40) 과정 중 객체의 이동 거리, 속도, 크기 변화량 계산 과정(S41)에 대해서 살펴보면, 이벤트 판별을 위해 추적중인 객체를 대상으로 이동 거리, 이동 속도, 크기 변화량을 계산하여 리스트로 관리되도록 한다.
이동 거리의 경우 중심 거리와 함께 모서리의 이동 거리를 개별적으로 계산하여 미세한 변화에 의한 이벤트 판별의 정확도를 높이도록 한다.
이동 속도의 경우 최초로 식별된 시점과의 거리를 계산함으로써 프레임 단위로 속도를 계산할 경우 발생하는 편차가 줄 수 있도록 한다.
크기의 변화는 면적과 함께 종횡비 변화를 함께 관리하여 화재와 같이 시간축에 따라 불규칙하게 변화하는 이벤트를 식별할 수 있도록 한다.
이벤트 판별 알고리즘(S40) 과정 중 이벤트 발생 조건 분석 과정(S42)에 대해서 살펴보면, 추적 대상 객체에서 주어진 조건과 일치하는 변화가 발생하면 이벤트를 검출한다. 여기서 이벤트 검출은 이벤트별로 다음과 같은 조건을 분석하는 방법을 적용한다. 즉, 본 발명의 이벤트 검출은 정지 차량(차량으로 분류된 객체 중 지정된 시간 이상 움직이지 않는 객체), 보행자(사람으로 분류된 객체 중 지정된 시간 이상을 배회하는 객체), 금지된 영역 침범(추적중인 객체 중 지정된 경계선을 통과하는 객체), 낙하물(알 수 없음으로 분류된 객체 중 지정된 시간 이상 움직이지 않는 객체), 화재(알 수 없음으로 분류된 객체 중 지정된 시간 이상 변화가 지속되는 객체) 별로 분석 가능하다.
여기서, 시간에 따라 달라지는 상황을 고려할 수 있도록 이벤트 유형별로 감지 스케쥴을 지정할 수 있도록 하며, 날씨 등 조명 변화 상황에 대해 개별적인 분석 파라미터 적용이 가능하게 한다.
이벤트 판별 알고리즘(S40) 과정 중 이벤트 알람 및 저장(S43)에 대해서 살펴보면, 이벤트 검지시 음성표출 장치(40)로의 음성 출력, 경광등 작동을 통해 상황을 통보할 수 있도록 하며, 이벤트 발생 내역과 함께 해당 이벤트에 대한 비디오를 데이터베이스에 저장할 수 있도록 한다. 저장된 이벤트 데이터에 대한 검색 및 조회를 통해 이벤트 발생 상황에 대한 사후 관리가 가능한 효과를 제공한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
10: CCTV
20: 분석서버
30: 운영단말
40: 음성표출 장치

Claims (7)

  1. 실시간 영상을 수집하는 CCTV(10);
    상기 CCTV(10)에서 수집된 실시간 영상을 분석하는 분석서버(20);
    상기 분석서버(20)에 의해 분석된 실시간 영상 중 이벤트를 운영자에게 통보하는 운영단말(30) 및 음성표출 장치(40)를 포함하고,
    상기 분석서버(20)는,
    상기 실시간 영상 수신을 위한 영역 탐지 셋팅을 수행하고, 상기 수행된 영역 탐지 셋팅에 따른 상기 CCTV(10)의 실시간 영상을 수집하고, 상기 수집된 실시간 영상에 대한 배경을 인식하고, 상기 인식된 배경과 구별되는 객체를 인식하고 상기 인식된 객체를 추적하여 이벤트 발생 탐지를 수행하고, 상기 수행된 이벤트 발생 탐지에 따라 상기 운영자로 통보를 수행하도록 구성되는 객체인식 기반의 주차장 이벤트 검지 시스템.
  2. 제1항에 있어서, 상기 분석서버(20)는,
    상기 배경을 인식하고 상기 인식된 배경과 구별되는 객체를 인식하는 경우, 상기 실시간 영상에 대해 가우시안 혼합 모델(Gaussian Mix Model)을 사용하여 배경 모델링을 수행하고, 수행된 배경 모델링을 통해 전경을 검지하고 검지된 전경으로부터 객체를 구별하여 인식하고 인식된 객체를 분리하도록 구성되는 것을 특징으로 하는 객체인식 기반의 주차장 이벤트 검지 시스템.
  3. 제2항에 있어서, 상기 분석서버(20)는,
    상기 객체를 추적하는 경우, 상기 객체를 차량, 사람, 및 화재를 포함한 카테고리로 구분하여 판단하며, 판단된 객체의 특성을 반영하여 객체를 추적하는 것을 특징으로 하는 객체인식 기반의 주차장 이벤트 검지 시스템.
  4. 제3항에 있어서, 상기 분석서버(20)는,
    상기 이벤트 발생 탐지의 경우, 이벤트 판단 수행시 미리 설정된 시간 이상 검지 영역 내여서 정지한 차량을 판단하고, 야간 시간대에 주차장 내에서 배회하는 사람을 판단하고, 연기에 의한 주차장 내 위험상황을 판단하는 화재의 이벤트로 구별하여 상기 운영자에게 통보하는 것을 특징으로 하는 객체인식 기반의 주차장 이벤트 검지 시스템.
  5. 제2항에 있어서, 상기 분석서버(20)는,
    상기 객체를 인식하는 경우, 영역 분할 및 이미지 다운 샘플링을 수행하며, 가우시안 혼합 모델(Gaussian Mix Model)을 사용한 배경 모델링을 수행하며, 메디안 필터(Median Filter)를 사용한 노이즈 제거를 수행한 뒤, 레이블 검출과 윤곽선 검출을 통한 객체 추출을 차례로 수행하도록 구성되는 것을 특징으로 하는 객체인식 기반의 주차장 이벤트 검지 시스템.
  6. 제5항에 있어서, 상기 분석서버(20)는,
    상기 레이블 검출시 레이블링의 현재 탐지된 픽셀과 붙어 있어서 연결된 영역이거나 또는 같은 색상 범위를 갖는 영역들을 하나의 객체로 간주하는 과정을 수행하며,
    상기 윤곽선 검출시 객체에 대한 윤곽선(Contour) 정보를 얻기 위해서 레이블링된 객체의 객체를 1부터 n(n은 2 이상 50 이하의 자연수 중 어느 하나)이라 하면 각각 해당하는 번호별로 윤곽선을 찾는 과정을 반복하는 것을 특징으로 하는 객체인식 기반의 주차장 이벤트 검지 시스템.
  7. 제1항에 있어서, 상기 분석서버(20)는,
    상기 이벤트 발생 탐지시 이벤트 판별을 위해 추적중인 객체를 대상으로 이동 거리, 이동 속도, 크기 변화량을 계산하여 리스트로 관리되도록 하는 객체의 이동 거리, 속도, 크기 변화량 계산 과정과, 추적 대상 객체에서 미리 설정된 조건(이동 거리, 이동 속도, 크기 변화량)과 일치하는 변화가 발생하면 이벤트를 검출하는 이벤트 발생 조건 분석 과정을 차례로 수행하는 것을 특징으로 하는 객체인식 기반의 주차장 이벤트 검지 시스템.
KR1020130114429A 2013-09-26 2013-09-26 객체인식 기반의 주차장 이벤트 검지 시스템 KR101515166B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130114429A KR101515166B1 (ko) 2013-09-26 2013-09-26 객체인식 기반의 주차장 이벤트 검지 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130114429A KR101515166B1 (ko) 2013-09-26 2013-09-26 객체인식 기반의 주차장 이벤트 검지 시스템

Publications (2)

Publication Number Publication Date
KR20150034398A KR20150034398A (ko) 2015-04-03
KR101515166B1 true KR101515166B1 (ko) 2015-05-04

Family

ID=53031222

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130114429A KR101515166B1 (ko) 2013-09-26 2013-09-26 객체인식 기반의 주차장 이벤트 검지 시스템

Country Status (1)

Country Link
KR (1) KR101515166B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101692504B1 (ko) 2015-05-21 2017-01-03 (주)와이즈콘 비콘 기반 지능형 영상 분석 시스템 및 방법
WO2017131265A1 (ko) * 2016-01-29 2017-08-03 케이에스아이 주식회사 다중객체 영상분석 및 그 결과 제공을 위한 영상분석 시스템
KR101656642B1 (ko) * 2016-03-10 2016-09-09 (주)디지탈라인 영상을 이용한 집단 행동 분석 방법
CN108460983A (zh) * 2017-02-19 2018-08-28 泓图睿语（北京）科技有限公司 基于卷积神经网络的停车位状态检测方法
KR102141296B1 (ko) * 2019-01-30 2020-08-04 건국대학교 산학협력단 객체 추적 방법 및 이를 수행하는 장치
KR102423255B1 (ko) * 2020-08-28 2022-07-20 주식회사큐빅스 사물인터넷 기반의 센서정보와 영상정보를 동기화하여 통합관리하기 위한 시스템 및 방법
KR102448710B1 (ko) * 2020-09-21 2022-09-29 엔에이치엔클라우드 주식회사 딥러닝 기반 출차관리 방법 및 시스템
KR102445972B1 (ko) * 2022-02-24 2022-09-22 주식회사 파로스 차량 충돌 방지 방법 및 주차 관제 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003191810A (ja) 2001-12-26 2003-07-09 Denso Corp 車両周辺監視システム及び車両移動状態検出装置
JP2005521975A (ja) 2002-04-05 2005-07-21 アイデンティクス・インコーポレーテッド 映像を用いたオペレーティング方法およびシステム
JP2008279875A (ja) 2007-05-10 2008-11-20 Alpine Electronics Inc 駐車支援装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003191810A (ja) 2001-12-26 2003-07-09 Denso Corp 車両周辺監視システム及び車両移動状態検出装置
JP2005521975A (ja) 2002-04-05 2005-07-21 アイデンティクス・インコーポレーテッド 映像を用いたオペレーティング方法およびシステム
JP2008279875A (ja) 2007-05-10 2008-11-20 Alpine Electronics Inc 駐車支援装置

Also Published As

Publication number Publication date
KR20150034398A (ko) 2015-04-03

Similar Documents

Publication Publication Date Title
KR101515166B1 (ko) 객체인식 기반의 주차장 이벤트 검지 시스템
KR101731243B1 (ko) 유사한 색상을 지닌 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법
Dick et al. Issues in automated visual surveillance
JP4451330B2 (ja) 圧縮ビデオにおいて交通事象を検出する方法
EP2801078B1 (en) Context aware moving object detection
EP0567059B1 (en) Object recognition system using image processing
US8942913B2 (en) System and method for on-road traffic density analytics using video stream mining and statistical techniques
KR20200071799A (ko) 딥러닝 인공지능 기술을 이용한 객체인식 및 카운팅 방법
Giannakeris et al. Speed estimation and abnormality detection from surveillance cameras
CN101635835A (zh) 智能视频监控方法及系统
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
Bloisi et al. Argos—A video surveillance system for boat traffic monitoring in Venice
CN104378582A (zh) 一种基于ptz摄像机巡航的智能视频分析系统及方法
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN104981818A (zh) 将机场中的移动的飞机分类的系统和方法
Makhmutova et al. Object tracking method for videomonitoring in intelligent transport systems
CN111783700B (zh) 一种路面异物自动识别预警方法和系统
KR20220032681A (ko) 노상 주차장의 주차 관리 방법
Lalonde et al. A system to automatically track humans and vehicles with a PTZ camera
KR101161557B1 (ko) 카메라 위치?태양이 움직이는 시간에 따른 그림자 제거방식을 통한 영상추적장치 및 방법
CN116311166A (zh) 交通障碍物识别方法、装置及电子设备
KR101154350B1 (ko) 고해상도 영상의 객체 검지 및 분할 인식을 이용한 다중 영상처리시스템 및 방법
Lagorio et al. Automatic detection of adverse weather conditions in traffic scenes
CN114912536A (zh) 一种基于雷达和双光电的目标识别方法
Heo et al. Autonomous reckless driving detection using deep learning on embedded GPUs

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180420

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190422

Year of fee payment: 5