KR20220009255A - 통계적 인구 관제를 위한 공간 내 객체감지시스템 - Google Patents

통계적 인구 관제를 위한 공간 내 객체감지시스템 Download PDF

Info

Publication number
KR20220009255A
KR20220009255A KR1020200087744A KR20200087744A KR20220009255A KR 20220009255 A KR20220009255 A KR 20220009255A KR 1020200087744 A KR1020200087744 A KR 1020200087744A KR 20200087744 A KR20200087744 A KR 20200087744A KR 20220009255 A KR20220009255 A KR 20220009255A
Authority
KR
South Korea
Prior art keywords
population
human
space
image
cctv
Prior art date
Application number
KR1020200087744A
Other languages
English (en)
Other versions
KR102481215B1 (ko
Inventor
정성모
김동현
Original Assignee
주식회사 더길
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 더길 filed Critical 주식회사 더길
Priority to KR1020200087744A priority Critical patent/KR102481215B1/ko
Publication of KR20220009255A publication Critical patent/KR20220009255A/ko
Application granted granted Critical
Publication of KR102481215B1 publication Critical patent/KR102481215B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 다수의 CCTV에 의해 촬영된 영상으로부터 특정 공간 내의 인구 객체 이동을 추적하여 유입, 유지, 유출되는 인구의 정보를 통계적으로 관제할 수 있는 통계적 인구 관제를 위한 공간 내 객체감지시스템에 관한 것이다.
보다 구체적으로, 특정 공간을 구성하는 단위 공간에 적어도 하나 설치되어 해당 단위 공간을 촬영하는 CCTV, CCTV로부터 수신된 단위 공간의 영상을 전처리하는 영상 전처리 모듈, 전처리된 영상을 수집하여 인간 객체를 추출하고, 객체 판단 알고리즘에서 분석한 사람확률을 기반으로 검출된 인간 객체의 사람 세부 특징 패턴을 분석하여 이전 프레임에서 추출된 인간 객체와 동일한지 판단하며, 동일 인간 객체의 이동을 추적하여 해당 단위 공간에서의 인구 유입, 유지 및 유출을 카운팅하는 객체검출모듈, 객체검출모듈로부터 해당 단위 공간에 대한 카운팅 정보를 수신하여 특정 공간의 인구 유입, 유지 및 유출에 대한 통계적 정보를 산출하는 통계 데이터 산출 모듈 및 통계 데이터 산출 모듈로부터 통계적 정보를 수신하여 특정 공간의 인구 유입, 유지 및 유출을 모니터링하는 서버를 포함하는 것을 특징으로 하는 통계적 인구관제를 위한 공간 내 객체감지시스템에 관한 것이다.

Description

통계적 인구 관제를 위한 공간 내 객체감지시스템{OBJECT DETECTION SYSTEM IN A SPECIFIC SPACE FOR STATISTICAL POPULATION CONTROL}
본 발명은 다수의 CCTV에 의해 촬영된 영상으로부터 특정 공간 내의 인구 객체 이동을 추적하여 유입, 유지, 유출되는 인구의 정보를 통계적으로 관제할 수 있는 통계적 인구 관제를 위한 공간 내 객체감지시스템에 관한 것이다.
보다 구체적으로, 특정 공간을 구성하는 단위 공간에 적어도 하나 설치되어 해당 단위 공간을 촬영하는 CCTV, CCTV로부터 수신된 단위 공간의 영상을 전처리하는 영상 전처리 모듈, 전처리된 영상을 수집하여 인간 객체를 추출하고, 객체 판단 알고리즘에서 분석한 사람확률을 기반으로 검출된 인간 객체의 사람 세부 특징 패턴을 분석하여 이전 프레임에서 추출된 인간 객체와 동일한지 판단하며, 동일 인간 객체의 이동을 추적하여 해당 단위 공간에서의 인구 유입, 유지 및 유출을 카운팅하는 객체검출모듈, 객체검출모듈로부터 해당 단위 공간에 대한 카운팅 정보를 수신하여 특정 공간의 인구 유입, 유지 및 유출에 대한 통계적 정보를 산출하는 통계 데이터 산출 모듈 및 통계 데이터 산출 모듈로부터 통계적 정보를 수신하여 특정 공간의 인구 유입, 유지 및 유출을 모니터링하는 서버를 포함하는 것을 특징으로 하는 통계적 인구관제를 위한 공간 내 객체감지시스템에 관한 것이다.
일반적으로 영상 정보에서 인간 객체를 분류하기 위해서는 HOG(Histogram of Oriented Gradient), HOF(Histogram of Optical Flow), PCA(Principal Component Analysis), RBFNNS(Radial Basis Function Neural Networks) 등 다양한 공개 알고리즘을 이용하여 영상 내 해당 객체의 유무를 분석하게 된다.
이러한 특허문헌으로 한국등록특허 제10-1631694호(이하, 선행문헌)이 있다. 선행문헌은 “특징과 RBFNNs 패턴분류기를 이용한 보행자 검출 방법”에 관한 것으로 HOG 알고리즘을 이용하여 학습용 입력 영상에서 특징 벡터를 생성하고 PCA 알고리즘을 이용하여 특징 벡터의 차원을 축소하여 RBFNNs 패턴분류기를 이용해 최종 보행자를 검출할 수 있다.
이때, 이미지 영역을 다수의 블록으로 분할하여 정확한 보행자 위치를 측정할 수 있도록 이루어진다.
그러나, 인간 객체를 분류하는 규정된 조건으로 단일 CCTV를 설치하여 분류를 수행하기 때문에 장해물 뒤 또는 아래에 위치한 인간 객체에 대해서는 정확한 측정이 어려운 문제가 있다.
또한, 종래기술은 장해물이 없는 공간에서만 인간 객체를 분류할 수 있고, 영상 내에서 활동하는 인간 객체를 추적하며 유입, 유지, 유출에 관한 정보를 추출하는데 어려움이 있다. 이에, 영상 내 인간 객체의 유입, 유지 유출의 활동 정보에 따른 정확한 상태 분류가 이뤄지지 않는다는 문제가 있다.
또한, 종래기술은 다수개의 CCTV로부터 획득한 영상들로부터 영상전치리, 객체검출, 통계분석 등을 처리하는 경우, 하나의 장치에서 다수의 영상에 대해 각 처리 단계를 순차적으로 수행하게 되어 실시간처리가 어렵다는 문제가 있다.
1. 한국등록특허 제10-1631694호(2016.06.13.공고)
본 발명의 목적은, 다수의 CCTV에 의해 촬영된 영상으로부터 특정 공간 내의 인구 객체를 검출하고, 동일 객체의 이동을 추적하여 유입, 유지 및 유출되는 인구의 정보를 통계적으로 관제할 수 있는, 통계적 인구 관제를 위한 공간 내 객체감지시스템을 제공하는 데 있다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 통계적 인구관제를 위한 공간 내 객체감지시스템은 특정 공간을 구성하는 단위 공간에 적어도 하나 설치되어 해당 단위 공간을 촬영하는 CCTV, 상기 CCTV로부터 수신된 단위 공간의 영상을 전처리하는 영상 전처리 모듈, 상기 전처리된 영상을 수집하여 인간 객체를 추출하고, 객체 판단 알고리즘에서 분석한 사람확률을 기반으로 검출된 인간 객체의 사람 세부 특징 패턴을 분석하여 이전 프레임에서 추출된 인간 객체와 동일한지 판단하며, 동일 인간 객체의 이동을 추적하여 해당 단위 공간에서의 인구 유입, 유지 및 유출을 카운팅하는 객체검출모듈, 상기 객체검출모듈로부터 해당 단위 공간에 대한 카운팅 정보를 수신하여 상기 특정 공간의 인구 유입, 유지 및 유출에 대한 통계적 정보를 산출하는 통계 데이터 산출 모듈 및 상기 통계 데이터 산출 모듈로부터 통계적 정보를 수신하여 상기 특정 공간의 인구 유입, 유지 및 유출을 모니터링하는 서버를 포함할 수 있다.
또한, 상기 영상 전처리 모듈은, 상기 단위 공간에 설치된 화재감지센서로부터 화재감지를 수신시, 상기 CCTV로부터 수신된 촬영 영상이 미확인되면 상기 CCTV가 하강되도록 제어하고, 상기 수신된 촬영영상에 연기에 의한 가려짐 영역이 존재하면 상기 가려짐 영역을 제거한 후 이진화 영상을 생성할 수 있다.
또한, 상기 통계적 산출모듈은, 상기 CCTV의 연결이 끊어졌을 경우 해당 단위 공간에 설치된 화재감지센서의 화재감지시 마지막 영상에서 도출된 인간 객체의 유입, 유지 및 유출에 대한 최종정보를 상기 서버로 전송하고, 상기 화재 미감지시 해당 CCTV의 미연결을 상기 서버로 알림할 수 있다.
또한, 상기 객체검출모듈은, 상기 객체 판단 알고리즘을 통해 인간 객체를 1차 검출하고 1차 검출된 인간 객체가 이전 프레임에서 미검출된 경우, 사람확률이 있는 영역을 규모별 라벨링 처리하되 신체영역별 패턴을 분석하여 인간 객체의 특징 및 행동패턴을 추출하고, 추출된 인간 객체의 특징이 이전 프레임에서 추출된 인간 객체와 동일한지 최종판단할 수 있다.
이상에서 설명한 바와 같이, 본 발명의 통계적 인구 관제를 위한 공간 내 객체감지시스템은 다수개의 CCTV에 의해 촬영된 영상으로부터 특정 공간 내의 인구 객체를 검출하고, 동일 객체의 이동을 추적하여 유입, 유지 및 유출되는 인구의 정보를 통계적으로 관제할 수 있다.
특히, 본 발명의 통계적 인구 관제를 위한 공간 내 객체감지시스템은 다수개의 CCTV에서 출력되는 영상에 대한 처리(전처리,객체검출 및 통계분석)를 분산처리함으로써 데이터처리 단계별 딜레이 발생 및 FPS(Frame Per Second)속도 저하없이 실시간처리를 수행할 수 있다.
또한, 화재 발생시 연기에 의해 영상 확보가 어려운 경우 CCTV모듈을 하강시켜 영상을 확보할 수 있고, 연기에 의해 확보된 영상에 가려짐 영역이 발생하면 이를 제거하여 정확한 객체 검출 및 객체 추적을 수행할 수 있다.
또한, 장애물에 의해 인간 객체가 가려지는 경우, 사람 세부 패턴을 분석하여 인간 객체의 추적 및 행동 패턴까지 검출할 수 있다.
도 1은 공간 설명을 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 통계적 인구 관제를 위한 공간 내 객체감지시스템의 개략적인 구성을 나타내는 블록도이다.
도 3은 도 1의 단위 공간을 설명하기 위한 도면이다.
도 4는 도 2의 영상 전처리 모듈의 구성을 나타내는 블록도이다.
도 5는 도 2의 객체 검출 모듈의 구성을 나타내는 블록도이다.
도 6은 도 5의 객체 감지부의 사람 세부 패턴 분석을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 통계적 인구 관제를 위한 공간 내 객체 감지방법을 설명하기 위한 흐름도이다.
이하에서는 본 발명에 따른 통계적 인구 관제를 위한 공간 내 객체감지시스템에 관하여 첨부된 도면과 함께 더불어 상세히 설명하기로 한다.
도 1은 공간 설명을 위한 도면이다. 본 발명의 일 실시 예에 따른 통계적 인구 관제를 위한 공간 내 객체감지시스템(이하, 객체감지시스템이라함)은 도 1과 같은 특정공간 내에서 이동하는 객체를 추적하여 유입, 유지, 유출되는 인구 수를 카운팅하여 제공할 수 있으며, 화재 발생시 등의 위험상황에서 특정 공간 내의 인간 객체 파악 및 대피로 제공 등에 활용될 수 있다.
여기서, 특정 공간(10)은 학교, 아파트, 회사 등과 같이 사람들이 이동 및 활동하는 물리적 공간을 갖는 특정 장소가 될 수 있으며, 특정 공간(10)은 층별공간(10a~10n)으로 구분될 수 있고, 층별공간(10a~10n)은 단위 공간(1~n)으로 구분될 수 있다. 본 발명의 객체감지시스템은 정확한 인구 수 카운팅을 위해 단위 공간 단위로 인구의 유입, 유지 및 유출을 카운팅하고, 층별 공간(10~10n)별로 통계 산출한 후 서버에서 전반적인 특정공간에 대한 인구 수를 관제할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 통계적 인구 관제를 위한 공간 내 객체감지시스템의 개략적인 구성을 나타내는 블록도이다. 도 2를 참고하면, 본 발명의 일 실시 예에 따른 객체감지시스템은 단위 공간(1~n)에 각각 설치되는 CCTV(100), 영상 전처리 모듈(200), 객체 검출모듈(300) 및 딥러닝 모듈(400), 각 층별 공간(10a~10n)에 설치되는 통계 데이터 산출모듈(500) 및 데이터 전송 모듈(600)을 포함하며, 또한 DB(700), 서버(800) 및 화재대피 시뮬레이션(900)을 포함할 수 있다. 이때, 다수개의 CCTV에서 출력되는 영상에 대한 처리(전처리,객체검출 및 통계분석)를 다수개의 해당모듈(200 내지 600)에서 동시에 분산처리함으로써 데이터처리 단계별 딜레이 발생 및 FPS(Frame Per Second)속도 저하없이 실시간처리를 수행할 수 있다.
한편, 도 3은 도 1의 단위 공간을 설명하기 위한 도면이다. 도 3을 참조하여 각 구성의 기능 및 동작을 설명할 수 있다. 단위 공간(1~n)을 적어도 하나의 출입구가 마련될 수 있으며, CCTV(100:100a,100b)는 출입구 및 해당 단위공간을 촬영할 수 있는 위치에 적어도 하나가 설치될 수 있다.
또한, 도 3과 같이 단위 공간(1~n)에는 화재 감지를 위한 연기센서, 온도센서 등의 화재감지센서(S)가 설치될 수 있다.
도 4는 도 2의 영상 전처리 모듈의 구성을 나타내는 블록도이다. 본 발명의 일 실시 예에 따른 영상 전처리 모듈(200)은 CCTV(100)에 각각 매칭되어 설치되고, 해당 CCTV(100)로부터 촬영 영상을 수신하여 객체검출모듈(300)에서 객체를 검출할 수 있도록 해당 단위 공간에 대한 촬영 영상을 전처리할 수 있다.
구체적으로, 영상 전처리 모듈(200)은 영상 수신부(210), 가려짐 영역 제거부(220) 및 전처리부(230)를 포함할 수 있다.
영상 수신부(210)는 해당 CCTV(100)로부터 촬영영상을 수신하며, 화재감지센서(S)의 화재 미감지시 수신된 영상을 전처리부(230)로 전송하며, 화재 감지시 수신된 촬영영상이 확인하여 영상이 확보된 경우 가려짐 영역 제거부(220)로 전송하고, 촬영영상이 뿌연 연기로 인해 확보되지 않는 경우 CCTV(100)가 하강되도록 제어신호를 전송할 수 있다. 화재 발생시 연기를 위로 상승하게 되므로, 화재에 의한 검은 연기 발생시 촬영된 영상은 인식이 어렵다. 이에, CCTV(100)를 하강시켜 해당공간을 인식할 수 있는 영상을 확보할 수 있다.
이때, CCTV(100)가 하강 후 촬영한 촬영영상을 수신하여 영상이 확보되면 가려짐 영역 제거부(220)로 전송할 수 있다.
가려짐 영역 제거부(220)는 화재발생시 촬영된 촬영 영상으로부터 가려짐 영역을 제거하여 전처리부(230)로 전송할 수 있다. 여기서, 가려짐 영역은 화재시 발생된 연기, 온도 등에 의해 CCTV(100)에서 촬영된 영상 중 뿌옇게 변질된 영역 즉, 색상변조영역이 될 수 있다.
가려짐 영역 제거부(220)는 수신된 촬영영상의 가려짐 영역의 명도, 채도 및 휘도를 분석하여 영상 임계치를 설정함으로써 가려짐 영역을 제거할 수 있다.
구체적으로, 가려짐 영역에 대한 명도, 채도 및 휘도값을 분석하여 외부 간섭에 대한 값을 추출하고, 이를 기반으로 가려짐 영역 내의 임계치를 설정하여 이진화(0,255)함으로써 가려짐 영역이 제거된 영상을 획득할 수 있다.
전처리부(230)는 화재 미감지시 즉 평상시 CCTV(100)로부터 수신되는 영상 및 가려짐 영역 제거부(220)에서 가려짐 영역이 제거된 영상을 수신하여, 영상 전처리를 통해 이진화된 영상을 생성할 수 있다.
이를 위해, 전처리부(230)는 영상 채널을 분리하고, 히스토그램 평활화 및 히스토그램 분포 분석기법을 이용하고, 채널별 다중 임계값(0,255)을 설정하여 영상 이진화를 할 수 있다.
객체검출모듈(300)은 전처리된 영상을 수집하여 인간 객체를 추출하고, 객체 판단 알고리즘에서 분석한 사람확률을 기반으로 검출된 인간 객체의 사람 세부 특징 패턴을 분석하여 이전 프레임에서 추출된 인간 객체와 동일한지 판단하며, 동일 인간 객체의 이동을 추적하여 해당 단위 공간에서의 인구 유입, 유지 및 유출을 카운팅할 수 있다.
도 5는 도 2의 객체 검출 모듈의 구성을 나타내는 블록도이다. 본 발명의 일 실시 예에 따른 객체 검출 모듈(300)은 전경 및 배경 판단부(310), 객체 검출부(320), 객체 추적부(330) 및 카운팅부(340)를 포함할 수 있다.
전경 및 배경 판단부(310)는 이전 배경 이미지들의 누적치를 계산하고, 이를 이용하여 배경 휘도의 평균 및 진폭 초기치를 계산함으로써 배경 화소의 휘도치 범위를 계산할 수 있다. 이때, 계산된 배경화소의 휘도치 범위는 영상 변질시 새로운 임계치를 추출하기 위한 기초 값이 되며, 전경 및 배경 판단부(310)는 휘도치의 평균 진폭(배경 휘도 평균 진폭)을 통해 임계치를 추출하고, 추출된 임계치를 이용하여 영상을 이진화함으로써 배경영역과 전경영역으로 분리할 수 있다. 한편, 입력영상의 휘도치가 배경 휘도 평균 진폭을 통해 확인되지 않으면 휘도 진폭을 재갱신하여 전경영역을 분리할 수 있다.
구체적으로, 영상에서 객체를 검출하기 위해서는 패턴 분석이 필요하며, 패턴분석을 수행하기 위해서는 객체를 분리하기 위한 이진화 작업이 필요하다. 이때, 이진화 작업을 수행하기 위해서는 RGB 영상을 이진화 영상으로 변환하기 위한 임계치가 필요하다.
일반적으로 사람을 검출하기 위한 이진화 기법들에서는 공통적으로 사용되는 임계치(공통적으로 사용되는 공개 알고리즘)를 이용하나, 외부 환경(화재로 인한 연기 등)으로 인한 영상내 간섭이 발생할 경우에는 영상에서 변질되는 영역이 존재하게 된다. 이에, 변질된 영역내에 존재하는 객체를 검출하기 위해서는 변질된 화상에 대하여 임계치를 재설정하여 영상을 이진화 해야할 필요가 있다.
이에, 본 발명에서는 화재 미발생 상황인 평상시에는 외부 간섭이 없기 때문에 동일한 휘도치 범위내에 값이 존재하므로 동일한 이진화 임계치가 추출되며, 이를 적용하여 영상 이진화를 수행함으로써 배경영역과 전경영역을 분리할 수 있다. 하지만, 화재 등에 의해 변질된 영역이 발생할 경우에는 히스토그램 분포가 크게 변경되어 휘도치 범위를 벗어난 값이 나오며 이로 인해 진폭이 급격히 올라가거나 내려가는 상황 발생이 발생된다.
따라서, 진폭이 크게 변경될 경우 기존의 임계치 즉 평상시에 이용된 임계치를 이용하면 이진화 작업이 올바르게 수행되지 않아 전경과 배경영역 분리가 되지 않게 된다. 이에, 본 발명에서는 변질된 영상에서 휘도값 누적치를 통해 새로운 임계치를 생성하고 이진화하여 휘도값을 초기화하고 휘도 진폭을 재갱신하여 변질 영상에서도 배경영역과 전경영역을 분리할 수 있다.
객체 검출부(320)는 전경영역을 기반으로 관심영역을 설정하고 객체 판단 알고리즘을 이용하여 객체를 검출할 수 있다. 여기서, 객체 판단 알고리즘은 HOG(Histogram of Oriented Gradient), HOF(Histogram of Optical Flow), PCA(Principal Component Analysis), RBFNNS(Radial Basis Function Neural Networks)의 공개 알고리즘을 통해 인간 객체를 검출할 수 있다.
또한, 객체 검출부(320)는 검출된 인간 객체가 이전 프레임에서 검출된 동일 객체인지 판단하고, 동일 객체이면 검출된 인간 객체의 검출특징정보를 딥러닝모듈(400)의 학습데이터로 이용할 수 있다. 한편, 객체 검출부(320)는 검출된 인간 객체가 이전 프레임에서 미검출된 것으로 판단되면, 사람 세부 특징 패턴 분석을 통해 이전 프레임에서 추출된 인간 객체와 동일한지 세부판단을 할 수 있다. 이때, 사람 세부 특징 패턴 분석은 도 6을 통해 설명할 수 있다.
도 6은 도 5의 객체 감지부의 사람 세부 패턴 감지를 설명하기 위한 도면이다. 도 6을 참조하면, HOG 알고리즘을 기반으로 사람이 검출되고, 이전 프레임에서 검출되지 않은 객체로 판단되면, 인간 객체의 외곽선, 에지 및 특징점을 검출한 영상 특징영역(a)을 검출할 수 있다. 이때, HOG 알고리즘을 통해 분석된 사람확률을 기반으로 사람객체 내에 가려진 영역(c)을 확인할 수 있다. 도 6의 경우, 일 예로 HOG알고리즘의 분석에 따라 (b)는 사람확률 50%, (c)는 사람확률 0%, (d)는 사람확률 30% 등으로 분석될 수 있으며 이때, (b)와 (d) 사이의 사람확률 0%인 (c)가 가려짐 영역이 될 수 있다.
규모별 라벨링 처리에 따라 영역(b~d)을 지정하고, 사람특징 세부패턴을 분석하여 이전프레임에서 검출된 객체와 동일 객체인지 판단할 수 있다. 이때, 사람특징 세부패턴은 사람의 신체부위별 판단을 통해 사람 상반신인 (b)와 사람의 하반신인 (c)를 동일 인간객체의 신체부위로 판단하여 해당 인간객체의 행동(자세)패턴 및 이전프레임 동일객체 여부를 판단할 수 있다. 이를 통해 추출된 인각객체의 검출특징정보도 딥러닝모듈(400)의 학습데이터로 이용될 수 있다.
본 발명은 딥러닝모듈(400)을 통해 인간객체 검출특징정보를 실시간 갱신하며 학습함으로써 보다 정확한 객체검출 및 동일객체판단 등을 수행할 수 있다.
객체 추적부(330)는 검출된 인간객체의 특징점의 이동벡터를 검출하여 사람 움직임을 갱신하며 해당 단위공간 내에서 동일 인간객체를 추적할 수 있다.
카운팅부(340)는 해당 단위공간에서의 유입, 유지 및 유출되는 인간객체를 카운팅할 수 있다. 이때, 카운팅부(340)는 추적되는 인간객체 즉, HOG 알고리즘에 의해 데이터화 되는 값을 이용하여, 촬영영상에서 검출된 인간 객체의 실시간 위치 정보, 설정된 유입 범위에서 감지된 인간 객체의 유입량, 유입된 인간이 해당 단위 공간에서 위치할 때 실시간으로 검출되는 유지량, 설정된 유입 범위에서 감지된 인간 객체가 유지량을 증가시키지 않을 때 계산되는 유출량을 생성할 수 있다.
통계데이터 산출모듈(500)은 층별공간(10a~10n)별로 구비되어 해당 층의 단위공간(1~n)에 설치된 복수의 객체검출모듈(300)로부터 해당 단위공간에서의 카운팅 정보(인구 유입, 유지 및 유출에 대한 정보)를 수신하여, 특정공간(10)에서의 전체 인구의 유입, 유지 및 유출에 대한 통계적 정보를 산출할 수 있다.
한편, 통계데이터 산출모듈(500)은, CCTV(100)의 연결이 끊어졌을 경우 해당 단위 공간에 설치된 화재감지센서(S)의 화재감지시 마지막 영상에서 도출된 인간 객체의 유입, 유지 및 유출에 대한 최종 통계정보를 데이터 전송모듈(600)을 통해 서버(800)로 전송하고, 화재 미감지시 해당 CCTV(100)의 미연결을 서버(800)로 알림할 수 있다.
데이터 전송모듈(600)은 통계데이터 산출모듈(500)에서 산출된 통계적 정보를 서버(800)로 전송할 수 있다. 여기서, 통계적 정보는 각 단위공간에서의 유입, 유지 및 유출에 대한 정보, 각 층별공간에서의 유입, 유지 및 유출에 대한 정보 등을 포함할 수 있으며, 전송된 통계적 정보는 DB(700)에 저장될 수 있다.
서버(800)는 수신된 통계적 정보를 기설정된 특정공간의 설계도를 기반으로 인간객체 유입, 유지 및 유출 정보를 시각화하여 제공함으로써 인지적으로 모니터링할 수 있게 한다. 또한, 화재대피 시뮬레이션(900)은 서버(800)에서 관제하는 통계적 인구를 기반으로 화재 발생시 인구 대비 경로 등을 시물레이션함으로써 화재 대피 최적 경로 등을 구축할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 통계적 인구 관제를 위한 공간 내 객체 감지방법을 설명하기 위한 흐름도이다. 도 7을 참고하면, CCTV(100)가 정상적으로 연결되어 동작되면(S710), 매칭된 영상 전처리모듈(200)로 실시간 촬영되는 촬영 영상을 전송할 수 있다(SS715).
다음으로, CCTV(100)에서 촬영된 촬영 영상이 실시간 수신되는 상황에서, 해당 단위공간(1~n)에 설치된 화재센서(S)에서 화재가 감지되면(S720) 촬영영상을 확인하여 영상이 확보되었는지 판단할 수 있다(S725). 이때, 영상이 확인되면 화재에 의한 연기에 의해 영상 내에 가려짐 영역이 발생된다. 이에, 확보된 영상에서 가려짐 영역 제거를 수행할 수 있다(S735). 한편, S725단계에서 화재에 의해 영상이 확보되지 않으면, 영상 전처리모듈(200)은 CCTV(100) 하강 제어신호를 해당 CCTV(100)로 출력하여 CCTV(100)를 하강시킬 수 있다(S730).
하강된 CCTV(100)에 의해 가려짐 영역이 발생된 영상이 확보되면 가려짐 영역을 제거하여(S735), 영상전처리를 수행할 수 있다(S740).
다음으로, 영상 전처리 모듈(200)에 의해 촬영영상이 이진화 영상으로 생성되면, 배경/전경 영역을 판단하여 분리하고(S745), 관심영역을 설정하여 HOG알고리즘을 기반으로 객체를 검출할 수 있다(S750).
다음으로, 검출된 객체가 이전 프레임에서 검출된 객체와 동일한지 판단하여(S755), 동일한 객체로 판단되면 객체의 벡터이동을 파악하여 객체의 이동을 추적할 수 있다(S760).
한편, 이전 프레임에서 검출된 객체와 동일하지 않은 객체가 검출되면, 사람 세부특징패턴 검출을 통해(S765) 이전 프레임에서 검출된 객체와 동일한 객체인지 여부를 2차적으로 판단할 수 있다.
구체적으로, 객체 판단 알고리즘을 통해 인간 객체를 1차 검출하고 1차 검출된 인간 객체가 이전 프레임에서 미검출된 경우, 사람확률이 있는 영역을 규모별 라벨링 처리하되 신체영역별 패턴을 분석하여 인간 객체의 특징 및 행동패턴을 추출하고, 추출된 인간 객체의 특징이 이전 프레임에서 추출된 인간 객체와 동일한지 최종판단할 수 있다.
다음으로, 사람 세부 특징패턴 검출에 따라 동일 객체이면 해당 객체의 벡터이동을 추적하여 객체를 추적하고, 동일하지 않은 객체이면 미동일 객체로 해당 객체를 추적할 수 있다(S760).
다음으로, 단위 공간별로 객체의 유입, 유지 및 유출을 카운팅하고(S770), 각 단위 공간별 카운팅 정보를 통계적 산출하여 특정 공간의 인구 유입 유지 및 유출을 관제할 수 있다(S780).
한편, 통계데이터 산출모듈(500)은 CCTV(100)의 연결이 끊어지고 해당 단위 공간에 설치된 화재감지센서의 화재감지가 수신되면, 마지막 영상에서 도출된 인간 객체의 유입, 유지 및 유출에 대한 최종정보를 서버(800)로 전송하고, 화재 미감지시 해당 CCTV(100)의 미연결을 서버(800)로 알림할 수 있다.
여기서, CCTV(100)의 연결은 전류감지센서를 이용한 구동전원확인 또는 CCTV(100)의 구동에 따른 촬영영상 수신 등에 따라 판단할 수 있다.
본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
100(100a,100b) : CCTV 200 : 영상 전처리 모듈
300 : 객체검출모듈 400 : 딥러닝모듈
500 : 통계 데이터 산출모듈 600 : 데이터 전송모듈
700 : DB 800 : 서버
900 : 화재대피 시물레이션
10 : 특정 공간 10a~10n : 층별 공간
1~n : 단위 공간 20a,20b : 화재감지센서

Claims (4)

  1. 특정 공간을 구성하는 단위 공간에 적어도 하나 설치되어 해당 단위 공간을 촬영하는 CCTV(100);
    상기 CCTV(100)로부터 수신된 단위 공간의 영상을 전처리하는 영상 전처리 모듈(200);
    상기 전처리된 영상을 수집하여 인간 객체를 추출하고, 객체 판단 알고리즘에서 분석한 사람확률을 기반으로 검출된 인간 객체의 사람 세부 특징 패턴을 분석하여 이전 프레임에서 추출된 인간 객체와 동일한지 판단하며, 동일 인간 객체의 이동을 추적하여 해당 단위 공간에서의 인구 유입, 유지 및 유출을 카운팅하는 객체검출모듈(300);
    상기 객체검출모듈(300)로부터 해당 단위 공간에 대한 카운팅 정보를 수신하여 상기 특정 공간의 인구 유입, 유지 및 유출에 대한 통계적 정보를 산출하는 통계 데이터 산출 모듈(500); 및
    상기 통계 데이터 산출 모듈(500)로부터 통계적 정보를 수신하여 상기 특정 공간의 인구 유입, 유지 및 유출을 모니터링하는 서버(800);를 포함하는 것을 특징으로 하는 통계적 인구관제를 위한 공간 내 객체감지시스템.
  2. 제1항에 있어서,
    상기 영상 전처리 모듈(200)은,
    상기 단위 공간에 설치된 화재감지센서로부터 화재감지를 수신시, 상기 CCTV(100)로부터 수신된 촬영 영상이 미확인되면 상기 CCTV(100)가 하강되도록 제어하고, 상기 수신된 촬영영상에 연기에 의한 가려짐 영역이 존재하면 상기 가려짐 영역을 제거한 후 이진화 영상을 생성하는 것을 특징으로 하는 통계적 인구관제를 위한 공간 내 객체감지시스템.
  3. 제1항에 있어서,
    상기 통계데이터 산출 모듈(500)은,
    상기 CCTV(100)의 연결이 끊어졌을 경우 해당 단위 공간에 설치된 화재감지센서의 화재감지시 마지막 영상에서 도출된 인간 객체의 유입, 유지 및 유출에 대한 최종정보를 상기 서버(800)로 전송하고, 상기 화재 미감지시 해당 CCTV의 미연결을 상기 서버(800)로 알림하는 것을 특징으로 하는 통계적 인구관제를 위한 공간 내 객체감지시스템.
  4. 제1항에 있어서,
    상기 객체검출모듈(300)은,
    상기 객체 판단 알고리즘을 통해 인간 객체를 1차 검출하고 1차 검출된 인간 객체가 이전 프레임에서 미검출된 경우, 사람확률이 있는 영역을 규모별 라벨링 처리하되 신체영역별 패턴을 분석하여 인간 객체의 특징 및 행동패턴을 추출하고, 추출된 인간 객체의 특징이 이전 프레임에서 추출된 인간 객체와 동일한지 최종판단하는 것을 특징으로 하는 통계적 인구관제를 위한 공간 내 객체감지시스템.
KR1020200087744A 2020-07-15 2020-07-15 통계적 인구 관제를 위한 공간 내 객체감지시스템 KR102481215B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200087744A KR102481215B1 (ko) 2020-07-15 2020-07-15 통계적 인구 관제를 위한 공간 내 객체감지시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200087744A KR102481215B1 (ko) 2020-07-15 2020-07-15 통계적 인구 관제를 위한 공간 내 객체감지시스템

Publications (2)

Publication Number Publication Date
KR20220009255A true KR20220009255A (ko) 2022-01-24
KR102481215B1 KR102481215B1 (ko) 2022-12-26

Family

ID=80049959

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200087744A KR102481215B1 (ko) 2020-07-15 2020-07-15 통계적 인구 관제를 위한 공간 내 객체감지시스템

Country Status (1)

Country Link
KR (1) KR102481215B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230138385A (ko) * 2022-03-23 2023-10-05 주식회사 일루베이션 다중 객체 추적을 활용한 객체 계수 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101093076B1 (ko) * 2011-06-13 2011-12-13 로지시스템(주) 보정 영상 분석을 이용하여 화재를 감지하는 빌딩 자동 제어시스템 및 방법
KR20120088367A (ko) * 2011-01-31 2012-08-08 한남대학교 산학협력단 회전줌 카메라 기반 평균이동 알고리즘을 이용한 객체추적 시스템
JP2015185106A (ja) * 2014-03-26 2015-10-22 パナソニックＩｐマネジメント株式会社 人数計測装置、人数計測システムおよび人数計測方法
KR101631694B1 (ko) 2015-08-24 2016-06-21 수원대학교산학협력단 HOG-PCA 특징과 RBFNNs 패턴분류기를 이용한 보행자 검출 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120088367A (ko) * 2011-01-31 2012-08-08 한남대학교 산학협력단 회전줌 카메라 기반 평균이동 알고리즘을 이용한 객체추적 시스템
KR101093076B1 (ko) * 2011-06-13 2011-12-13 로지시스템(주) 보정 영상 분석을 이용하여 화재를 감지하는 빌딩 자동 제어시스템 및 방법
JP2015185106A (ja) * 2014-03-26 2015-10-22 パナソニックＩｐマネジメント株式会社 人数計測装置、人数計測システムおよび人数計測方法
KR101631694B1 (ko) 2015-08-24 2016-06-21 수원대학교산학협력단 HOG-PCA 특징과 RBFNNs 패턴분류기를 이용한 보행자 검출 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230138385A (ko) * 2022-03-23 2023-10-05 주식회사 일루베이션 다중 객체 추적을 활용한 객체 계수 시스템

Also Published As

Publication number Publication date
KR102481215B1 (ko) 2022-12-26

Similar Documents

Publication Publication Date Title
CN108009473B (zh) 基于目标行为属性视频结构化处理方法、系统及存储装置
CN108062349B (zh) 基于视频结构化数据及深度学习的视频监控方法和系统
KR101869442B1 (ko) 화재 감지 장치 및 방법
US9792505B2 (en) Video monitoring method, video monitoring system and computer program product
KR101237089B1 (ko) 랜덤 포레스트 분류 기법을 이용한 산불연기 감지 방법
KR101716646B1 (ko) 국부이진패턴을 이용한 객체 검출 인식 방법 및 장치
JP5106356B2 (ja) 画像監視装置
US20110286633A1 (en) System And Method For Detecting, Tracking And Counting Human Objects of Interest
KR20140081254A (ko) 사람 검출 장치 및 방법
US20060045354A1 (en) Method and apparatus for improved video surveillance through classification of detected objects
CN106446926A (zh) 一种基于视频分析的变电站工人安全帽佩戴检测方法
KR101697161B1 (ko) 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법
CN108694399B (zh) 车牌识别方法、装置及系统
KR101653278B1 (ko) 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템
US20150262068A1 (en) Event detection apparatus and event detection method
KR101040049B1 (ko) 영상 기반 감시 시스템에서 신속하고 강인한 다수 이동 물체 추적 방법
CA3196344A1 (en) Rail feature identification system
KR101472674B1 (ko) 군중 궤적 추출을 이용한 비정상 행동 검출에 기초한 영상 감시 방법 및 영상 감시 장치
KR101372860B1 (ko) 영상 검색 시스템 및 영상 분석 서버
CN111079694A (zh) 一种柜面助手履职监控装置和方法
KR102481215B1 (ko) 통계적 인구 관제를 위한 공간 내 객체감지시스템
KR101547255B1 (ko) 지능형 감시 시스템의 객체기반 검색방법
KR20160057503A (ko) 다중시차 행위인식 기반의 폭력 검출시스템 및 검출방법
CN113657250A (zh) 一种基于监控视频的火焰检测方法及系统
KR102120812B1 (ko) 카메라와 레이더의 확률 융합에 기반한 타겟 인지 및 분류 시스템 및 그 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant