KR20210072285A

KR20210072285A - 재실자 인원 실시간 모니터링을 위한 cctv 영상정보 분석 시스템 및 그 방법

Info

Publication number: KR20210072285A
Application number: KR1020190162406A
Authority: KR
Inventors: 채승언; 조경숙; 최지훈; 최수환; 김흥열; 조범연
Original assignee: 한국건설기술연구원
Priority date: 2019-12-09
Filing date: 2019-12-09
Publication date: 2021-06-17
Also published as: KR102300640B1

Abstract

고층건물에서 화재 등 재난 발생시, 비상구 및 승강기 등의 출입구로 이동하는 재실자(또는 출입자)의 위치 및 인원수를 실시간 모니터링하기 위해서 CCTV 영상을 수집하여 가시화함으로써 자동으로 신속하고 정확하게 분석할 수 있고, 또한, 카메라 모션 검출에 기반한 재실자의 통행 동선에 따라 여러 명이 한 번에 출입구를 통해 이동하는 경우에도 각각의 재실자를 용이하게 구분하여 인식할 수 있으며, 또한, 다수의 CCTV 각각이 CMOS 이미지 센서(CIS)와 동적시각센서(DVS) 또는 CMOS 이미지 센서(CIS)와 열화상센서(TIS)가 내장된 돔형 IP 카메라로 구현됨에 따라 다양한 조도환경 하에서도 영향을 받지 않고 안정적인 검출률을 확보할 수 있고, 또한, CCTV 모니터링 프로그램에 따라 인식 구역을 지정할 수 있으며, 이러한 지정된 인식 구역을 중심으로 하여 진출/진입 여부를 용이하게 판정할 수 있는, 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템 및 그 방법 이 제공된다.

Description

재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템 및 그 방법 {SYSTEM FOR ANALYZING CCTV IMAGE INFORMATION FOR OCCUPANCY REALTIME MONITORING, AND METHOD FOR THE SAME}

본 발명은 재실자 인원 실시간 모니터링에 관한 것으로, 보다 구체적으로, 고층건물에서 화재 등 재난 발생시, 비상구 및 승강기 등의 출입구로 이동하는 재실자(또는 출입자)의 위치 및 인원수를 실시간 모니터링하기 위해서 CCTV 영상을 수집하여 가시화하고, 자동으로 분석하는 CCTV 영상정보 분석 시스템 및 그 방법에 관한 것이다.

최근 도시화에 따른 인구의 집중화로 각종 빌딩의 대형화, 고층화 및 복합화가 급격히 진행되고 있다. 이에 따라 상대적으로 화재안전에 취약한 건축물이 증가되고 있으므로, 인명안전 확보를 위한 효과적인 화재대책 수립의 필요성이 절실히 요구되고 있다.

특히, 초고층 복합빌딩과 같이 고층빌딩은 재실자들이 외부와의 접근성에 제약을 받기 때문에 화재 발생시 일반 건축물보다 피난 동선이 길어 피난시간이 지연되고, 각종 구난장비 활용의 제약 등으로 인해 인명피해의 위험성이 더 높다고 판단된다. 즉, 고층 또는 대규모의 건물에서는 재난이 발생하게 되면 건물의 특성 상 피난시간이 오래 걸리고, 혼잡성이 증가하게 된다. 또한, 대피로를 찾지 못하여 건물 내에 재실자가 있음에도 불구하고 건물 내 재실자의 유무 또는 위치에 대한 정보를 확인할 수 없기 때문에 구조에 어려움을 겪고 있다. 이에 따라, 재난 발생 시 빠른 대처방법을 제시해 주고 인명피해를 최소화하기 위한 방안이 필요하다.

종래의 기술에 따르면, 건물의 출입구, 사무실 구역에 RFID(Radio Frequency InDentification) 센서, CCTV(Closed Circuit TeleVision), 인체감지센서(pyroelectric infrared sensor: PIR 센서) 등을 설치하고 각 센서를 통해 감지한 데이터에 기초하여 재실자의 유무를 판단하는 기술이 제안되고 있다.

구체적으로, RFID 센서를 이용한 방법은 2인 이상의 단체가 입/퇴실하는 경우, ID카드 유실, 퇴실 시 ID카드를 인식하지 않는 등의 오용에 의해 데이터가 왜곡되어 정확한 출입 데이터를 측정하기가 어렵다.

또한, CCTV를 이용한 방법은 특정 영역을 통과하는 사람들의 얼굴을 연속으로 검출하여 분석함으로써 설치된 영역에 대하여 입퇴실(출입) 인원을 정확하게 카운팅할 수 있는 장점이 있지만, 프라이버시 문제로 오피스 내에 설치하기 힘든 문제점이 있다. 따라서 종래 CCTV를 이용한 방법은 재실 여부를 판단하기 위한 데이터를 측정하는데 한계가 있다.

또한, 인체감지센서를 이용한 방법은 보통 인체감지센서를 건물의 천정에 설치하고 일정 영역에 인체의 존재 여부를 식별하는 것으로 재실 유무를 정확히 판단할 수 있다. 하지만, 재실자의 수를 카운팅할 수는 없으며, 화재 시 연기와 화염에 의해 인체감지센서가 영향을 받게 되면 재실 유무에 대한 판단에 영향을 미칠 수 있다는 문제점이 있다.

전술한 문제점을 해결하기 위한 선행기술로서, 대한민국 등록특허번호 제10-1871991호에는 "재실자 유무 판단 시스템 및 방법"이라는 명칭의 발명이 개시되어 있는데, 도 1 및 도 2를 참조하여 구체적으로 설명한다.

도 1은 종래의 기술에 따른 재실자 유무 판단 시스템의 구성도이다.

도 1을 참조하면, 종래의 기술에 따른 재실자 유무 판단 시스템은 건물 출입구, 층별, 일정 구역에 설치되는 다수의 측정센서(10), 데이터 수신부(20), 출입 여부 분석부(30), 재실자 유무 판단부(40), 보정부(50) 및 데이터베이스(60)를 포함한다.

다수의 측정센서(10)는 서로 다른 종류의 측정센서로서, 건물 내 출입구, 층별, 또는 일정 구역에 설치되어 재실자의 출입 여부 또는 재실 유무를 측정한다. 여기서, 다수의 측정센서(10)는 건물 내 출입구 또는 일정 구역에 설치되어 재실자의 출입 여부를 감지하는 RFID 센서(11); 건물의 일정 구역에 설치되어 재실자의 유무를 감지할 수 있는 인체감지 센서(13); 및 건물 내 출입구, 각 층의 비상구 또는 승강기에 설치되어 해당 출입구, 층간 출입하는 재실자를 촬영하는 CCTV(12)를 포함한다.

데이터 수신부(20)는 다수의 측정센서로부터 감지된 측정 데이터를 수신하여 취합한다.

출입 여부 분석부(30)는 데이터 수신부(20)로부터 다수의 측정센서(10)를 통해 감지된 측정 데이터를 전달받고, 전달받은 측정 데이터를 데이터베이스(60)에 저장된 센서 설치정보-여기서, 센서 설치정보는 다수의 측정센서가 설치된 건물 출입구, 층별, 또는 일정 구역의 위치 정보를 포함함- 및 건물 출입정보에 기초하여 건물 내 재실자의 출입 여부 및 출입 위치를 분석하고, 출입 위치와 대응되는 출입구, 층별 또는 일정 구역의 출입 인원을 카운팅한다. 구체적으로, 출입 여부 분석부(30)는 RFID 센서(11)로부터 감지된 측정 데이터로부터 재실자 ID 및 출입 위치를 식별하여 출입 여부를 분석하고, CCTV(12)로부터 촬영된 측정 데이터로부터 건물 내 출입구 또는 층별 출입 여부를 분석하고 각 층간 이동 인원을 분석한다.

재실자 유무 판단부(40)는 데이터 수신부(20)로부터 다수의 측정센서(10)를 통해 감지된 측정 데이터를 전달받아, 건물 내 재실자의 유무를 판단하고, 출입 여부 분석부(30)를 통해 카운팅한 출입 인원에 기초하여 해당 층별, 일정 구역에 존재하는 재실자 인원을 산출한다. 구체적으로, 재실자 유무 판단부(40)는 각 층의 재실자 수를 산출 시, 수학식 1에 기초하여 RFID 센서(11)로부터 감지된 측정 데이터와 CCTV(12)로로부터 감지된 측정 데이터에 대한 가중치를 다르게 부여하되, 각 층이 2개 이상의 구역으로 구분되는 경우, 수학식 2에 기초하여 CCTV(12)로부터 감지된 측정 데이터에 해당 층의 각 구역별 비중을 반영하여 최종 재실자 수를 산출한다.

[수학식 1]

재실자 수 = a

(RFID 센서에 의한 재실자 수) + b

(CCTV에 의한 재실자 수)(단, a, b는 가중치이고 a < b 임)

[수학식 2]

재실자 수 = a

(RFID 센서에 의한 재실자 수) + {b

(CCTV에 의한 재실자 수)

(각 구역별 비중) }

각 구역별 비중 = 해당 구역의 RFID 측정값 / {(A구역의 RFID 측정값) + (B구역의 RFID 측정값) + … } (단, a, b는 가중치이고 a < b 임)

이때, 각 구역별 비중은 해당 층의 모든 구역에 대한 RFID 센서(11)의 재실자 수 총합을 분모로 하고, 해당 구역의 RFID 센서(11)의 재실자 수를 분자로 하여 산출될 수 있다.

보정부(50)는 다수의 측정센서(10)로부터 감지된 측정 데이터에 기초하여 각 층간 이동 인원을 체크하고, 이동 인원을 재실자 유무 판단부(40)를 통해 산출된 재실자 수로부터 차감하여 보정한다. 구체적으로, 보정부(50)는 재실자 유무 판단부(40)를 통해 산출된 최종 재실자 수 또는 RFID 센서(11)로부터 산출된 RFID 재실자 수가 CCTV(12)로부터 산출된 CCTV 재실자 수를 초과하는지 여부를 판단하고, 초과하면, 최종 재실자 수 또는 RFID 재실자 수를 CCTV(12)로부터 산출된 CCTV 재실자 수로 보정하고, 또한, CCTV(12)로부터 산출된 CCTV 재실자 수가 RFID 센서(11)로부터 산출된 RFID 재실자 수를 비정상적으로 초과하는 경우, RFID 재실자 수에 대한 가중치를 상향 보정하고, CCTV 재실자 수에 대한 가중치를 하향 보정한다.

한편, 도 2는 종래의 기술에 따른 재실자 유무 판단 시스템을 이용하여 재실자 유무를 판단하는 방법을 설명하기 위한 동작흐름도이다.

도 1 및 도 2를 참조하면, 종래의 기술에 따른 재실자 유무 판단 시스템을 이용하여 재실자 유무를 판단하는 방법은, 먼저, 재실자 유무 판단 시스템이 다수의 측정센서로부터 감지된 데이터를 취합하여 해당 건물의 출입 정보를 모델링화한다(S10). 이때, 모델링 방법은 임의 재실자가 건물에 몇 시부터 출근하고, 화장실, 흡연, 타 사무실 출입, 승강기 승하탑, 계단 출입, 외근, 1층 로비 이용, 단체 입퇴실 등의 방법으로 임의로 상주 인원의 이동을 고려하여 모델링할 수 있다. 이러한 모델링을 통해 건물의 입출현황, 이동현황, 재실현황 등을 통계적으로 파악할 수 있다.

다음으로, 재실자 유무 판단 시스템이 데이터 수신부(20)에서 다수의 측정센서(10)로부터 감지된 측정 데이터를 수신하여 취합한다(S20).

다음으로, 재실자 유무 판단 시스템의 출입 여부 분석부(30)가 다수의 측정센서(10)로부터 감지된 측정 데이터를 데이터 수신부(20)로부터 전달받고 전달받은 측정 데이터를 모델링한 건물 출입 정보에 기초하여 출입 여부를 분석한다(S30). 이때, 출입 여부의 분석 과정은 RFID 센서(11)인지 CCTV(12) 인지에 따라 구분할 수 있다. 구체적으로, RFID 센서(11)로부터 감지된 측정 데이터가 수신되면. 출입 여부 분석부(30)가 데이터베이스(60)에 저장되어 있는 센서 설치정보 및 건물 출입 정보에 기초하여 측정 데이터(태그 정보)로부터 재실자 ID 및 출입 위치를 식별하고, 식별한 출입 위치에 대응하여 층별, 구역별 출입 여부를 판단한다. 또한, CCTV(12)로부터 감지된 측정 데이터가 수신되면, 출입 여부 분석부(30)가 측정 데이터로부터 출입구, 층별 출입 여부를 판단하고, 층간 이동 현황을 검출할 수 있다.

다음으로, 재실자 유무 판단 시스템의 출입 여부 분석부(30)가 해당 출입 위치에 대응되는 출입구, 층별, 일정 구역을 식별하고, 해당 출입구, 층별, 일정 구역에 출입하는 인원수를 카운팅한다(S40).

다음으로, 재실자 유무 판단 시스템의 재실자 유무 판단부(40)가 데이터 수신부(20)로부터 다수의 측정센서(10)를 통해 감지된 측정 데이터를 전달받고, 측정 데이터 및 출입 여부 분석부(30)를 통해 카운팅한 출입 인원에 기초하여 해당 층별, 구역에 따라 재실자의 유무 또는 인원을 산출한다. 이에 따라, 재실 유무 또는 재실자 수를 예측할 수 있다(S50).

다음으로, 재실자 유무 판단 시스템의 보정부(50)가 재실자 유무 판단부(40)를 통해 산출된 재실자 수에 대하여 산출 오차 및 오류를 체크하여 보정한다(S60).

종래의 기술에 따른 재실자 유무 판단 시스템 및 그 방법에 따르면, 다수의 측정센서들의 측정 데이터를 취합하여 종합적으로 분석함으로써 각 측정센서가 가지고 있는 한계를 보완하고 보다 정확한 재실자의 유무 또는 인원을 판단할 수 있다. 또한, 건물의 화재, 재난 시 도어 또는 배연창의 자동 개폐를 제어하는데 활용하거나, 보안을 위한 방범 관리 등으로 활용할 수 있다. 또한, 다수의 측정센서들을 이용한 분석 알고리즘을 제공함으로써 기존 건물에 구축되어 있거나 범용적으로 사용되는 다수의 측정센서들을 그대로 활용할 수 있다. 또한, CCTV를 통해 촬영된 측정 데이터로부터 각 층간을 이동하는 인원을 차감하고, 각 센서로부터 산출된 측정 데이터에 대하여 오류를 보정하여 실시간 반영함으로써 각 개별 센서를 이용한 재실자 예측 방법보다 더욱 정확하게 재실자 수를 산출할 수 있다.

하지만, 종래의 기술에 따른 재실자 유무 판단 시스템 및 그 방법의 경우, 다수의 측정센서를 설치해야 하므로 구성이 복잡하며, 또한, CCTV를 이용할 경우, 재실 여부를 판단하기 위한 데이터를 측정하는데 한계가 있다. 예를 들면, 전술한 CCTV가 IP 카메라인 경우, 다음과 같은 문제점이 있다.

먼저, 일반적으로 IP 카메라에 고정되어 있는 IP만 입력하여 영상 재생하는 방식이기 때문에 확장성이 없다는 문제점이 있다. 예를 들면, IP 카메라에 접속 IP를 고정해야 동작하며, IP를 정확히 알지 못하면 접속이 불가하고, 또한, IP 카메라에 고정 IP가 할당되어 있기 때문에 장비 추가 시 개별 동조(tuning) 작업이 필요하다.

또한, IP 카메라의 원격조정이 불가하며, 즉, 재부팅, 해상도, FPS 지정 등 동작 방식 조정은 IP 카메라 설치 장소에서만 가능하다.

또한, 카메라 장비의 펌웨어(Firmware)를 수정 보완 없이 그대로 사용하고 있고, 특히, 고정된 특정 폴더만을 사용하기 때문에 카메라 기종이 변경되는 경우에는 적용이 불가하며, 또한, Hardware/Firmware를 이용하여 "모션 검출(motion detecting)" 및 "모션 영역(detection area)" 설정을 적용하므로 특정 IP 카메라 장비만을 이용해야 한다.

또한, IP 카메라에서 제공되는 기본 기능을 제대로 이용할 수 없다는 문제점이 있다. 예를 들면, 영역을 지정하여 모션 감지 명령을 수행할 수 있는데, 이때, 영역 지정은 가능하지만 떨림으로 인해 정확한 인원 검출은 불가하다는 문제점이 있다. 예를 들면, 움직임이 감지되어도 해당 움직임이 사람인지 동물(혹은 물건)인지 분별하지 못하며, 다수의 사람이 뭉쳐서 움직이는 경우에도 하나의 카운팅으로 확인된다는 문제점이 있다. 이에 따라, 실제 수행 결과로서, 유용한 검출 결과를 확보할 수 없다는 문제점이 있다.

결국, 재실자 유무 판단을 위해 CCTV를 이용할 경우, 보다 정확하게 재실자를 카운팅할 수 있는 방법이 필요한 실정이다.

대한민국 등록특허번호 제10-1871991호(출원일: 2015년 6월 25일), 발명의 명칭: "재실자 유무 판단 시스템 및 방법" 대한민국 등록특허번호 제10-1492799호(출원일: 2014년 11월 21일), 발명의 명칭: "감시영역 입퇴실자 추적을 통한 출입 통제 기능을 가지는 출입 통제 통합 영상 저장 시스템 및 그 방법" 대한민국 등록특허번호 제10-1714479호(출원일: 2015년 2월5일), 발명의 명칭: "광센서를 이용한 공간정보 인식방법 및 이를 이용한 상호 다중 사물인식형 재난 대응 시스템" 대한민국 등록특허번호 제10-2010320호(출원일: 2017년 2월 19일), 발명의 명칭: "재실 확인 서비스 장치" 대한민국 등록특허번호 제10-1972655호(출원일: 2017년 7월 18일), 발명의 명칭: "초음파 인식 기술을 활용한 재실자 감지 보안 시스템" 대한민국 등록특허번호 제10-1442658호(출원일: 2013년 1월 15일), 발명의 명칭: "대피시뮬레이션을 제공하는 재난대피 시스템 및 방법" 대한민국 등록특허번호 제10-1828005호(출원일: 2017년 11월 22일), 발명의 명칭: "피난용 승강기를 이용한 피난전략 지원 시스템 및 그 방법"

전술한 문제점을 해결하기 위한 본 발명이 이루고자 하는 기술적 과제는, 고층건물에서 화재 등 재난 발생시, 비상구 및 승강기 등의 출입구로 이동하는 재실자의 위치 및 인원수를 실시간 모니터링하기 위해서 CCTV 영상을 수집하여 가시화함으로써 자동으로 신속하고 정확하게 분석할 수 있는, 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템 및 그 방법 을 제공하기 위한 것이다.

본 발명이 이루고자 하는 다른 기술적 과제는, 카메라 모션 검출에 기반한 재실자의 통행 동선에 따라 여러 명이 한 번에 출입구를 통해 이동하는 경우에도 각각의 재실자를 용이하게 구분하여 인식할 수 있는, 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템 및 그 방법 을 제공하기 위한 것이다.

본 발명이 이루고자 하는 또 다른 기술적 과제는, 다수의 CCTV 각각이 CMOS 이미지 센서(CIS)와 동적시각센서(DVS) 또는 CMOS 이미지 센서(CIS)와 열화상센서(TIS)가 내장된 돔형 IP 카메라로 구현됨에 따라 다양한 조도환경 하에서도 영향을 받지 않고 안정적인 검출률을 확보할 수 있는, 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템 및 그 방법을 제공하기 위한 것이다.

전술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템은, 건물의 각 층별 및 구역별 출입구에 설치되어 비디오스트림(Video Stream)을 생성하는 다수의 CCTV; 상기 다수의 CCTV 각각으로부터 생성된 비디오스트림을 취합하여 전송하는 중계기; CCTV 모니터링 프로그램 및 출입구 재실자 자동 카운팅 프로그램에 따라, 상기 중계기로부터 비디오스트림을 수집하고, 상기 수집된 비디오스트림을 처리 및 분석하여 출입구를 진입하거나 진출하는 재실자를 카운팅하여 카운팅 데이터에 따른 출입구 통행 인원정보를 생성하고, 상기 다수의 CCTV를 원격 제어하는 CCTV 영상정보 처리장치; 및 상기 CCTV 영상정보 처리장치에서 처리된 출입구 통행 인원정보를 관제 모니터링하는 관제 모니터링 서버를 포함하되, 상기 CCTV 영상정보 처리장치는 CCTV 모니터링 프로그램 및 출입구 재실자 자동 카운팅 프로그램을 처리하기 위한 사용자 인터페이스가 구현되어, 재실자 인원 실시간 모니터링을 위해 카메라 모션 검출에 기반한 재실자의 통행 동선에 따라 출입구 인원을 자동 검출하는 것을 특징으로 한다.

여기서, 상기 다수의 CCTV 각각은 CMOS 이미지 센서(CMOS Image Sensor: CIS)와 동적시각센서(Dynamic Vision Sensor: DVS) 또는 CMOS 이미지 센서(CIS)와 열화상센서(Thermal Imaging Sensor: TIS)가 내장된 돔형(Dome Type) IP(Internet Protocol) 카메라인 것이 바람직하다.

여기서, 상기 다수의 CCTV 각각은, 충분한 조도가 확보된 경우, 상기 CMOS 이미지 센서(CIS)가 작동하여 이미지를 수집하고, 조도가 부족하면 상기 동적시각센서(DVS) 또는 열화상센서(TIS)가 대신 작동하여 비디오스트림을 생성할 수 있다.

여기서, 상기 CCTV 영상정보 처리장치는 상기 CCTV 모니터링 프로그램에서 인식 구역을 지정하고, 상기 지정된 인식 구역을 중심으로 하여 출입구를 통행하는 재실자의 진출/진입 여부를 판정할 수 있다.

여기서, 상기 CCTV 모니터링 프로그램을 통해 "모션 감지영역"을 설정하면 CCTV용 IP 카메라에 원격제어신호를 전송하여 해당 영역의 재실자 이동을 감지하는 것을 특징으로 한다.

여기서, 상기 CCTV 모니터링 프로그램을 통해 "움직임이 있는 경우", CCTV용 IP 카메라는 검출 정보를 IP 카메라 내에 구현된 메모리의 특정 폴더에 저장하고, 주기적으로 상기 IP 카메라의 특정 폴더를 폴링하여 관련정보 파일을 가져 오는 것을 특징으로 한다.

여기서, 상기 CCTV 모니터링 프로그램은 기지정된 "모션 감지영역" 안으로 이동이 확인될 경우, 진입 카운팅(People-In Counting)을 처리하고, 경계 부근에서 "모션 감지영역" 밖으로 이동이 확인될 경우, 진출 카운팅(People-Out Counting)을 진행하여 해당 결과를 저장함으로써, 재실자 인원수는 진입 카운팅(People-In Counting)으로부터 진출 카운팅(People-Out Counting)을 차감한 것으로 판정하는 것을 특징으로 한다.

여기서, 상기 CCTV 영상정보 처리장치는, 상기 중계기를 경유하는 상기 다수의 CCTV으로부터 촬영된 비디오스트림을 실시간 수집하는 비디오스트림 수집부; 상기 비디오스트림 수집부로부터 수집된 비디오스트림을 처리 및 분석하고, 카메라 모션 검출에 기반한 재실자의 통행 동선에 따라 상기 재실자의 출입구 진입 또는 진출을 구분하여 인식하는 출입구 진입/진출 검출부; 상기 출입구 진입/진출 검출부에 의해 인식되는 재실자를 자동 카운팅하여 출입구 통행 인원정보를 생성하는 재실자 카운팅부; 상기 재실자 카운팅부에서 카운팅된 출입구 통행 인원정보를 상기 모니터링 서버로 전송하는 데이터 전송부; 및 상기 다수의 CCTV 각각의 재부팅, 해상도 및 초당 프레임수 지정을 포함하는 동작 방식을 원격 제어하는 원격 제어부를 포함할 수 있다.

여기서, 상기 출입구 진입/진출 검출부는 여러 명이 한 번에 이동하는 경우에도 카메라 모션 검출에 기반하여 재실자를 각각 구분하여 인식할 수 있다.

여기서, 상기 출입구 진입/진출 검출부는, 실시간으로 수집된 CCTV 비디오스트림 각각으로부터 비디오프레임을 각각 추출하여 영상 시퀀스(Sequence)를 자동 추출하는 영상 시퀀스 추출부; 상기 영상 시퀀스 추출부에서 추출된 영상을 분석하는 영상 분석부; 상기 영상 분석부의 영상 분석에 대응하여 카메라 모션 검출에 기반한 재실자의 통행 동선에 따라 재실자 이동방향을 자동 감지하는 이동방향 감지부; 및 상기 재실자의 출입구 진입 또는 진출을 구분하여 인식하는 진입/진출 인식부를 포함할 수 있다.

여기서, 상기 이동방향 감지부는 통행이 없는 상태를 초기 상태로 기억하고 재실자 이동시 이동방향을 자동 감지할 수 있다.

한편, 전술한 기술적 과제를 달성하기 위한 다른 수단으로서, 본 발명에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 방법은, a) 건물의 각 층별 및 구역별 출입구에 설치된 각각의 CCTV가 출입구를 촬영하여 비디오스트림을 생성하는 단계; b) CCTV 영상정보 처리장치가 상기 각각의 CCTV가 생성한 비디오스트림을 중계기를 경유하여 실시간 수집하는 단계; c) 상기 CCTV 영상정보 처리장치가 카메라 모션 검출에 기반하여 상기 출입구를 통행하는 재실자의 진입/진출을 구분하여 인식하는 단계; d) 상기 CCTV 영상정보 처리장치가 상기 출입구를 진입하거나 진출하는 재실자를 자동 카운팅하여 출입구 통행 인원정보를 생성하는 단계; e) 상기 CCTV 영상정보 처리장치가 상기 출입구 통행 인원정보를 관제 모니터링 서버로 전송하는 단계; 및 f) 상기 CCTV 영상정보 처리장치가 각각의 CCTV의 동작을 원격 제어하는 단계를 포함하되, 상기 CCTV 영상정보 처리장치는 CCTV 모니터링 프로그램 및 출입구 재실자 자동 카운팅 프로그램을 처리하기 위한 사용자 인터페이스가 구현되어, 재실자 인원 실시간 모니터링을 위해 카메라 모션 검출에 기반한 재실자의 통행 동선에 따라 출입구 인원을 자동 검출하는 것을 특징으로 한다.

여기서, 상기 c) 단계에서 상기 수집된 비디오스트림을 처리 및 분석하고, 카메라 모션 검출에 기반한 재실자의 통행 동선에 따라 상기 재실자의 출입구 진입 또는 진출을 구분하여 인식하며; 그리고 상기 d) 단계의 인식 결과로 얻은 상기 출입구를 진입하거나 진출하는 재실자를 자동 카운팅한 데이터를 생성하는 것을 특징으로 한다.

여기서, 상기 c) 단계는, c-1) 다수의 CCTV(100)으로부터 실시간 수집되는 비디오스트림으로부터 각각의 비디오프레임(Video Frame)을 추출하는 단계; c-2) 상기 비디오프레임이 첫 번째 프레임인 경우, 통행이 없는 상태를 가정한 첫 번째 추출 이미지를 기본영상으로 저장하는 단계; c-3) 추출되는 프레임 이미지는 분석을 용이하게 하기 위하여 그레이스케일(Grayscale) 형식으로 변환하는 단계; c-4) 상기 그레이스케일 영상에 대해 광학흐름(Optical Flow) 특징을 추출하는 단계; c-5) 상기 그레이스케일 영상의 떨림 제거를 위한 1차 필터링(Filtering), 플리커(Flicker) 제거를 위한 2차 필터링 및 잡영(Noise) 제거를 위한 3차 필터링을 순차적으로 수행하는 단계; c-6) 상기 저장된 기본영상과 순차적으로 필터링이 수행된 그레이스케일 영상에 대한 비교 영역 화소값인 RGB 비교 연산을 수행하는 단계; c-7) 상기 비교 영역 화소값(RGB) 비교 연산이 수행된 영상에 대해 현재 특징 리스트를 추출하여, 상기 현재 특징 리스트를 이전 특징 리스트와 비교하여 운동방향을 추출하는 단계; 및 c-8) 출입구를 통과하는 재실자 각각의 진입 또는 진출 여부를 인식하는 단계를 포함할 수 있다.

본 발명에 따르면, 고층건물에서 화재 등 재난 발생시, 비상구 및 승강기 등의 출입구로 이동하는 재실자(또는 출입자)의 위치 및 인원수를 실시간 모니터링하기 위해서 CCTV 영상을 수집하여 가시화함으로써 자동으로 신속하고 정확하게 분석할 수 있다.

본 발명에 따르면, 카메라 모션 검출에 기반한 재실자의 통행 동선에 따라 여러 명이 한 번에 출입구를 통해 이동하는 경우에도 각각의 재실자를 용이하게 구분하여 인식할 수 있다.

본 발명에 따르면, 다수의 CCTV 각각이 CMOS 이미지 센서(CIS)와 동적시각센서(DVS) 또는 CMOS 이미지 센서(CIS)와 열화상센서(TIS)가 내장된 돔형 IP 카메라로 구현됨에 따라 다양한 조도환경 하에서도 영향을 받지 않고 안정적인 검출률을 확보할 수 있다.

본 발명에 따르면, CCTV 모니터링 프로그램에 따라 인식 구역을 지정할 수 있으며, 이러한 지정된 인식 구역을 중심으로 하여 진출/진입 여부를 용이하게 판정할 수 있다.

도 1은 종래의 기술에 따른 재실자 유무 판단 시스템의 구성도이다.
도 2는 종래의 기술에 따른 재실자 유무 판단 시스템을 이용하여 재실자 유무를 판단하는 방법을 설명하기 위한 동작흐름도이다.
도 3은 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템의 개략적인 구성도이다.
도 4는 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템에 적용되는 CCTV로서 돔형 CCTV를 사용하는 것을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템에 적용되는 CCTV가 CIS-DVS 또는 CIS-TIS로 구현되는 것을 예시하는 도면이다.
도 6은 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템에서 CCTV 영상정보 처리장치가 CCTV 모니터링 프로그램 및 출입구 재실자 자동 카운팅 프로그램을 이용하는 것을 개략적으로 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템의 구체적인 구성도이다.
도 8은 도 7에 도시된 출입구 진입/진출 검출부의 구체적인 구성도이다.
도 9는 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 방법의 개략적인 동작흐름도이다.
도 10은 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 방법에서 재실자의 진입/진출을 인식하는 과정을 구체적으로 나타내는 동작흐름도이다.
도 11은 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 방법에서 입력영상의 재실자 수와 방향을 추출하는 것을 예시하는 도면이다.
도 12는 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석시 입력영상에 대한 모서리 특징 리스트를 예시하는 도면이다.
도 13은 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 방법에서 재실자의 이동 방향을 분석해서 진입 또는 진출 인원을 카운팅하는 것을 예시하는 도면이다.
도 14는 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 방법이 구현된 검출 분석용 프로그램을 예시하는 도면이다.
도 15는 도 14에 도시된 검출 분석용 프로그램을 구체적으로 나타내는 도면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

이하, 도 3 내지 도 8을 참조하여, 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템을 설명하고, 도 9 내지 도 15를 참조하여 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 방법을 설명하기로 한다.

[재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템]

도 3은 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템의 개략적인 구성도이다.

도 3을 참조하면, 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템은, 크게, 다수의 CCTV(100), 중계기(200), CCTV 영상정보 처리장치(300) 및 관제 모니터링 서버(400)를 포함한다.

다수의 CCTV(100)는 IP 카메라로 구현되고, 출입구를 촬영하여 비디오스트림을 생성하고, 중계기(Hub: 200)는 상기 다수의 CCTV(100)에 의해 생성된 비디오스트림을 전송한다. 여기서, 상기 출입구는 고층건물의 비상구 및 승강기를 포함한다.

CCTV 영상정보 처리장치(300)는 상기 중계기(200)를 경유하는 비디오스트림을 수집하여 출입구 비디오스트림을 분석하여 재실자 인원을 카운팅하며, 관제 모니터링 서버(400)는 관제 모니터를 통해 상기 다수의 CCTV(100)에 대한 관제 모니터링을 수행한다. 이때, CCTV 모니터링 프로그램이 전체 출입구의 CCTV를 관제하고 메타자료를 수집하도록 소프트웨어로 구현될 수 있다.

한편, 도 4는 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템에 적용되는 CCTV로서 돔형 CCTV를 사용하는 것을 설명하기 위한 도면이고, 도 5는 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템에 적용되는 CCTV가 CIS-DVS 또는 CIS-TIS로 구현되는 것을 예시하는 도면으로서, 즉, CCTV는 CMOS 이미지 센서(CIS)와 동적시각센서(DVS) 또는 CMOS 이미지 센서(CIS)와 열화상센서(TIS)로 구현될 수 있다.

본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템에 적용되는 CCTV(100)의 경우, 도 4에 도시된 바와 같이, CIS와 DVS 또는 CIS와 TIS를 어레이(Array) 형태로 묶어서 제작하는 카메라의 형태이므로 촬영 전면부가 넓은 돔형 IP 카메라를 사용할 필요가 있다.

또한, 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템의 경우, 도 5에 도시된 바와 같이, 다수의 CCTV(100) 각각은 CMOS Image Sensor(CIS)-DVS(Dynamic Vision Sensor) 또는 CIS-TIS(Thermal Imaging Sensor)가 내장된 돔형 IP 카메라인 것이 바람직하다. 예를 들면, 상기 다수의 CCTV(100) 각각은, 충분한 조도가 확보된 경우, 상기 CMOS 이미지 센서(CIS)가 작동하여 이미지를 수집하고, 조도가 부족하면 상기 동적시각센서(DVS) 또는 열화상센서(TIS)가 대신 작동하여 비디오스트림(Video Stream)을 생성할 수 있다.

한편, 도 6은 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템에서 CCTV 영상정보 처리장치가 CCTV 모니터링 프로그램 및 출입구 재실자 자동 카운팅 프로그램을 이용하는 것을 개략적으로 설명하기 위한 도면이다.

본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템의 경우, 도 6에 도시된 바와 같이, CCTV 영상정보 처리장치(300)는 CCTV 모니터링 프로그램 및 출입구 재실자 자동 카운팅 프로그램에 따라 운용된다.

이때, 상기 CCTV 모니터링 프로그램에 의해 고층건물의 화재상황에 적합한 CCTV 네트워크를 구성하고, CCTV용 IP 카메라를 원격 제어하고 감시하는 관제 인터페이스를 구축할 수 있다. 이에 따라, CCTV 영상정보 처리장치(300)는 원격제어신호를 생성할 수 있고, 다수의 CCTV(100) 각각으로부터 비디오스트림을 수집할 수 있다.

또한, 상기 CCTV 모니터링 프로그램의 경우, CCTV 통합 사용자 인터페이스 화면으로 설계되고, CCTV 해상도 등 촬영 방식을 원격 지정할 수 있다. 또한, 출입구 인원 진입/진출 영역을 원격 지정할 수 있으며, 예를 들면, CCTV 모니터링 프로그램에서 인식 구역을 지정하면, 이러한 지정된 인식 구역을 중심으로 하여 진출/진입 여부를 판정할 수 있다. 또한, 상기 CCTV 모니터링 프로그램에 의해 출입구별 인원 상황을 모니터링할 수 있는 데이터베이스(DB)가 구축될 수 있다.

또한, 상기 출입구 재실자 자동 카운팅 프로그램은 출입구(비상구 및 승강기)별 출입 인원을 자동으로 검출하는 소프트웨어(Automatic People Counting Program: APCP)로서, 카메라 모션 검출에 기반한 재실자의 통행 동선, 예를 들면, 단순통행 등을 파악하여 카운팅 데이터를 제공할 수 있고, 특히, 화재 발생시 한 번에 몰려드는 재실자들의 군집 이동을 감안하여 카운팅 데이터를 처리할 수 있다.

한편, 도 7은 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템의 구체적인 구성도이고, 도 8은 도 7에 도시된 출입구 진입/진출 검출부의 구체적인 구성도이다.

도 7 및 도 8을 참조하면, 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템은, 다수의 CCTV(100), 중계기(200), CCTV 영상정보 처리장치(300) 및 관제 모니터링 서버(400)를 포함하되, 상기 CCTV 영상정보 처리장치(300)는 비디오스트림 수집부(310), 출입구 진입/진출 검출부(320), 재실자 카운팅부(330), 데이터 전송부(340) 및 원격 제어부(350)를 포함한다.

다수의 CCTV(100, 100a~100n)는, 전술한 도 5에 도시된 바와 같이, 건물의 각 층별 및 구역별 출입구(500)에 설치되고, 상기 출입구(500)를 촬영하여 비디오스트림을 실시간 생성한다. 여기서, 상기 다수의 CCTV(100) 각각은 CMOS Image Sensor인 DVS가 내장된 돔형 IP 카메라인 것이 바람직하며, 상기 출입구(500)는 비상구 및 승강기 등을 포함한다.

중계기(200)는 상기 다수의 CCTV(100) 각각으로부터 생성된 비디오스트림을 취합하여 전송한다.

CCTV 영상정보 처리장치(300)는 CCTV 모니터링 프로그램 및 출입구 재실자 자동 카운팅 프로그램에 따라, 상기 중계기(200)로부터 비디오스트림을 수집하고, 상기 수집된 비디오스트림을 처리 및 분석하여 출입구를 진입하거나 진출하는 재실자를 카운팅하여 카운팅 데이터에 따른 출입구 통행 인원정보를 생성하고, 또한, 상기 다수의 CCTV(100)를 원격 제어한다. 이때, 상기 CCTV 영상정보 처리장치(300)는 전술한 CCTV 모니터링 프로그램에 따라 인식 구역을 지정하고, 상기 지정된 인식 구역을 중심으로 하여 출입구를 통행하는 재실자의 진출/진입 여부를 판정할 수 있다. 예를 들면, 상기 CCTV 모니터링 프로그램을 통해 "모션 감지영역"을 설정하면 CCTV(100)용 IP 카메라에 원격제어신호를 전송하여 해당 영역의 재실자 이동을 감지하며, 또한, 상기 CCTV 모니터링 프로그램을 통해 "움직임이 있는 경우", CCTV(100)용 IP 카메라는 검출 정보를 IP 카메라 내에 구현된 메모리의 특정 폴더에 저장하고, 주기적으로 상기 IP 카메라의 특정 폴더를 폴링하여 관련정보 파일을 가져 오며, 또한, 상기 CCTV 모니터링 프로그램은 기지정된 "모션 감지영역" 안으로 이동이 확인될 경우, 진입 카운팅(People-In Counting)을 처리하고, 경계 부근에서 "모션 감지영역" 밖으로 이동이 확인될 경우, 진출 카운팅(People-Out Counting)을 진행하여 해당 결과를 저장함으로써, 재실자 인원수는 진입 카운팅(People-In Counting)으로부터 진출 카운팅(People-Out Counting)을 차감한 것으로 판정할 수 있다.

또한, 상기 CCTV 영상정보 처리장치(300)는 CCTV 모니터링 프로그램 및 출입구 재실자 자동 카운팅 프로그램을 처리하기 위한 사용자 인터페이스(User Interface)를 구현하며, 재실자 인원 실시간 모니터링을 위해 카메라 모션 검출(Motion Detection)에 기반한 재실자의 통행 동선에 따라 출입구 인원을 자동 검출한다.

구체적으로, 상기 CCTV 영상정보 처리장치(300)의 비디오스트림 수집부(310)는 상기 중계기(200)를 경유하는 상기 다수의 CCTV(100)로부터 촬영된 비디오스트림을 실시간 수집한다.

상기 CCTV 영상정보 처리장치(300)의 출입구 진입/진출 검출부(320)는 상기 비디오스트림 수집부(310)로부터 수집된 비디오스트림을 처리 및 분석하고, 카메라 모션 검출(Motion Detection)에 기반한 재실자의 통행 동선에 따라 상기 재실자의 출입구 진입 또는 진출을 구분하여 인식한다. 또한, 상기 출입구 진입/진출 검출부(320)는 여러 명이 한 번에 이동하는 경우에도 카메라 모션 검출에 기반하여 재실자를 각각 구분하여 인식한다. 보다 구체적으로, 도 8에 도시된 바와 같이, 상기 출입구 진입/진출 검출부(320)는 영상 시퀀스 추출부(321), 영상 분석부(322), 이동방향 감지부(323) 및 진입/진출 인식부(324)를 포함한다.

영상 시퀀스 추출부(321)는 실시간으로 수집된 CCTV 비디오스트림 각각으로부터 비디오프레임을 각각 추출하여 영상 시퀀스(Image Sequence)를 자동 추출하며, 영상 분석부(322)는 상기 영상 시퀀스 추출부(321)에서 추출된 영상을 상기 CCTV 모니터링 프로그램에 따라 실시간 분석한다.

이동방향 감지부(323)는 상기 영상 분석부(322)의 영상 분석에 대응하여 카메라 모션 검출(Motion Detection)에 기반한 재실자의 통행 동선에 따라 재실자 이동방향을 자동 감지하고, 또한, 진입/진출 인식부(324)는 상기 재실자의 출입구 진입 또는 진출을 구분하여 인식한다. 이때, 상기 이동방향 감지부(323)는 통행이 없는 상태를 초기 상태로 기억하고 재실자 이동시 이동방향을 자동 감지할 수 있다.

도 7을 다시 참조하면, 상기 CCTV 영상정보 처리장치(300)의 재실자 카운팅부(330)는 상기 출입구 진입/진출 검출부(320)에 의해 인식되는 재실자를 자동 카운팅하여 출입구 통행 인원정보를 생성한다.

상기 CCTV 영상정보 처리장치(300)의 데이터 전송부(340)는 상기 재실자 카운팅부(330)에서 카운팅된 출입구 통행 인원정보를 상기 모니터링 서버(400)로 전송한다.

상기 CCTV 영상정보 처리장치(300)의 원격 제어부(350)는 상기 다수의 CCTV(100) 각각의 재부팅, 해상도 및 초당 프레임수(FPS) 지정을 포함하는 동작 방식을 원격 제어한다.

관제 모니터링 서버(400)는 상기 CCTV 영상정보 처리장치(300)에서 처리된 출입구 통행 인원정보를 관제 모니터링한다. 여기서, 상기 모니터링 서버(400)는 상기 CCTV 영상정보 처리장치(300)에서 처리된 통행 인원정보를 저장하는 출입구 통행 인원정보 데이터베이스(DB); 및 상기 통행 인원정보 데이터베이스(DB)에 저장된 통행 인원정보에 따라 상기 다수의 CCTV(100) 각각을 관제 모니터링하기 위한 관제 모니터를 포함할 수 있다.

결국, 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템에 따르면, 카메라 모션 검출에 기반한 재실자의 통행 동선에 따라 여러 명이 한 번에 출입구를 통해 이동하는 경우에도 각각의 재실자를 용이하게 구분하여 인식할 수 있다. 또한, 다수의 CCTV 각각이 CIS-DVS 또는 CIS-TIS가 내장된 돔형 IP 카메라로 구현됨에 따라 다양한 조도환경 하에서도 영향을 받지 않고 안정적인 검출률을 확보할 수 있고, 또한, 상기 CCTV 모니터링 프로그램에 따라 인식 구역을 지정할 수 있으며, 이러한 지정된 인식 구역을 중심으로 하여 진출/진입 여부를 용이하게 판정할 수 있다.

[재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 방법]

도 9는 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 방법의 개략적인 동작흐름도이고, 도 10은 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 방법에서 재실자의 진입/진출을 인식하는 과정을 구체적으로 나타내는 동작흐름도이다.

도 9 및 도 10을 참조하면, 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 방법은, 먼저, 건물의 각 층별 및 구역별 출입구(500)에 설치된 각각의 CCTV(100)가 출입구(500)를 촬영하여 비디오스트림(Video Stream)을 생성한다(S100).

다음으로, CCTV 영상정보 처리장치(300)가 상기 각각의 CCTV(100)가 생성한 비디오스트림을 중계기(Hub)를 경유하여 실시간 수집한다(S200).

다음으로, 상기 CCTV 영상정보 처리장치(300)가 카메라 모션 검출에 기반하여 상기 출입구(500)를 통행하는 재실자의 진입/진출을 구분하여 인식한다(S300). 보다 구체적으로, 도 10을 참조하면, 다수의 CCTV(100)으로부터 실시간 수집되는 비디오스트림으로부터 각각의 비디오프레임(Video Frame)을 추출하고(S301), 다음으로, 첫 번째 프레임인지 확인한다(S302).

다음으로, 상기 비디오프레임이 첫 번째 프레임인 경우, 통행이 없는 상태를 가정한 첫 번째 추출 이미지를 기본영상으로 저장하고(S303), 다음으로, 추출되는 프레임 이미지는 분석을 용이하게 하기 위하여 그레이스케일(Grayscale) 형식으로 변환하며(S304), 다음으로, 광학흐름(Optical Flow) 특징을 추출한다(S305).

다음으로, 상기 그레이스케일 영상의 떨림 제거를 위한 1차 필터링(Filtering)을 수행하고(S306), 다음으로, 상기 그레이스케일 영상의 플리커(Flicker) 제거를 위한 2차 필터링을 수행하며(S307), 다음으로, 상기 그레이스케일 영상의 잡영(Noise) 제거를 위한 3차 필터링을 수행한다(S308).

다음으로, 상기 저장된 기본영상과 순차적으로 필터링이 수행된 그레이스케일 영상에 대한 비교영역 화소값인 RGB 비교 연산을 수행한다(S309).

다음으로, 상기 비교영역 화소값(RGB) 비교 연산이 수행된 영상에 대해 현재 특징 리스트를 추출하고(S310), 다음으로, 상기 현재 특징 리스트를 이전 특징 리스트와 비교하여 운동방향을 결정한다(S311).

다음으로, 출입구(500)를 통과하는 재실자 각각의 진입 또는 진출 여부를 인식한다(S312). 이때, 전술한 S304 내지 S312 단계는 비디오스트림의 모든 비디오프레임에 대해 반복적으로 수행된다.

이에 따라, 상기 CCTV 영상정보 처리장치(300)는 CCTV 모니터링 프로그램 및 출입구 재실자 자동 카운팅 프로그램을 처리하기 위한 사용자 인터페이스가 구현되어, 재실자 인원 실시간 모니터링을 위해 카메라 모션 검출에 기반한 재실자의 통행 동선에 따라 출입구 인원을 자동으로 인식하여 검출할 수 있다.

도 9를 다시 참조하면, 다음으로, 상기 CCTV 영상정보 처리장치(300)가 상기 출입구(500)를 진입하거나 진출하는 재실자를 자동 카운팅하여 출입구 통행 인원정보를 생성한다(S400).

다음으로, 상기 CCTV 영상정보 처리장치(300)가 상기 출입구 통행 인원정보를 관제 모니터링 서버(400)로 전송한다(S500).

다음으로, 상기 CCTV 영상정보 처리장치(300)가 각각의 CCTV(100)의 동작을 원격 제어한다(S600).

한편, 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 방법의 경우, 노이즈를 제거하는 전처리와 입력 내용의 변화를 비 교하고 정합하기 위한 특징을 추출하며, 분석을 위한 구조체로는 딥러닝(Deep Learning) 기반의 CNN을 적용하였다.

여기서, 컨벌루션 뉴럴 네트워크(Convolutional Neural Network: CNN)는 모델이 직접 이미지, 비디오, 텍스트 또는 사운드를 분류하는 머신 러닝의 한 유형인 딥러닝에 가장 많이 사용되는 알고리즘으로서, 이러한 CNN은 이미지에서 객체, 얼굴, 장면을 인식하기 위해 패턴을 찾는 데 특히 유용하다. 특히, 이러한 CNN은 데이터에서 직접 학습하며, 패턴을 사용하여 이미지를 분류하고 특징을 수동으로 추출할 필요가 없고, 예를 들면, 얼굴 인식 애플리케이션과 같이 객체 인식과 컴퓨터 비전이 필요한 분야에 주로 사용되고 있다.

한편, 도 11은 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 방법에서 입력영상의 재실자 수와 방향을 추출하는 것을 예시하는 도면이고, 도 12는 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석시 입력영상에 대한 모서리 특징 리스트를 예시하는 도면이며, 도 13은 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 방법에서 재실자의 이동 방향을 분석해서 진입 또는 진출 인원을 카운팅하는 것을 예시하는 도면이다.

본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 방법은, 딥러닝 CNN 구조체가 사용되며, 크게 제1 내지 제3 단계까지 순서대로 이루어진다.

제1 CNN 적용 과정으로서, 도 11에 도시된 바와 같이, 입력된 비디오프레임 특징 추출을 위한 전처리(Pre-Processing) 및 광학흐름(Optical Flow)을 적용하여 모서리(Corner) 특징 리스트를 얻고, 이러한 특징 리스트를 특징 리스트 구조체에 저장한다. 구체적으로, 광학흐름(Optical Flow) 분석으로 얻어진 벡터 리스트 중에 불필요하거나 정상적인 검출을 방해하는 요소가 종종 포함되므로 이를 제거해야 한다. 예를 들면, 벡터의 길이가 극단적으로 짧은 경우, 벡터 방향의 분포가 주변과 큰 차이를 보이며 돌출되는 경우 또는 이동 벡터가 지시하는 영역의 화소값(RGB)과 기본영상의 화소값(RGB)과 차이가 없는 경우는 벡터 리스트에서 제외시킨다.

이때, 상기 특징 리스트 구조체의 크기는 입력되는 비디오프레임 영상과 동일하게 설정되며, 입력영상의 광학흐름에 의해 모서리 특징 추출을 모두 표현할 수 있다. 예를 들면, 상기 모서리 특징 리스트는, 도 12에 도시된 바와 같이 주어질 수 있다.

다음으로, 제2 CNN 적용 과정으로서, 상기 제1 CNN 적용 과정의 분석결과인 제1 특징 리스트 구조체를 간략화한 상위레벨 요약에 해당하는 제2 특징 리스트 구조체를 생성한다. 구체적으로, 상기 제2 특징 리스트 구조체의 생성은 상기 제1 CNN 적용 과정의 일정 영역의 대표값을 구하여 매핑하는 과정으로서, 원본영상의 노이즈를 감소시키며, 분석해야 할 계산의 범위를 축소하여 처리시간을 제2 특징 리스트 구조체 생성 과정에 컨벌루션 커널의 크기, 최소 항목 개수 등의 임계치가 사용된다.

다음으로, 제3 CNN 적용 과정으로서, 영상 리스트로부터 검출되는 상기 제2 특징 리스트 구조체 배열의 분석으로부터 재실자의 동선정보를 알 수 있으며, 동일인 경우라면 진행 방향의 일관성을 유지해야 한다. 이때, 광학흐름(Optical Flow) 진행의 일관성이 중단되는 경우, 새로운 모션이 시작되는 시점으로 인식하고, 새로운 재실자의 출현으로 인식한다. 또한, 새로운 재실자 등장 조건으로서 상기 제2 특징 리스트 구조체 배열에 속한 운동벡터들의 방향성 분포의 일관성 검사를 수행할 수 있다.

한편, 상기 CCTV 모니터링 프로그램의 기능으로서, 예를 들면, "모션 감지영역"을 설정하면 IP 카메라에 전송하여 해당 영역의 재실자 이동을 감지하는 방식으로 구성된다. 또한, "움직임이 있는 경우", IP 카메라는 검출 정보를 카메라 내에 구현된 메모리의 특정 폴더에 저장하며, 또한, CCTV 모니터링 프로그램은 주기적으로 IP 카메라의 특정 폴더를 폴링하여 관련정보 파일을 가져 오는 방식을 사용한다. 또한, 상기 CCTV 모니터링 프로그램은 기지정된 "모션 감지영역" 안으로 이동이 확인될 경우, 도 13의 a)에 도시된 바와 같이, 진입 카운팅(People-In Counting)을 처리하고, 경계 부근에서 "모션 감지영역" 밖으로 이동이 확인될 경우, 도 13의 b)에 도시된 바와 같이, 진출 카운팅(People-Out Counting)을 진행하여 해당 결과를 저장한다.

이에 따라, 재실자 인원수는 진입 카운팅(People-In Counting)으로부터 진출 카운팅(People-Out Counting)을 차감한 것으로 판정한다. 즉, 재실자 인원수 = (People-In Counting) - (People-Out Counting)으로 주어질 수 있다.

한편, 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 방법의 경우, 상기 CCTV 모니터링 프로그램의 구현 결과로서, 사용자가 관리 프로그램을 이용하여 CCTV용 IP 카메라를 설정할 수 있다. 또한, 해상도 조정, 초당 프레임수(Frame Per Second: FPS) 조정, 영상물의 저장 위치를 지정할 수 있다. 또한, 화면 레이아웃을 모니터 등 상황에 맞게 관리자가 지정하여 사용할 수 있고, 예를 들면, 3x2, 3x3, 4x2 또는 4x3 등의 화면 분할이 가능하다. 또한 "모션 감지영역"을 사용자 인터페이스(UI) 상에서 지정하고, 현장의 다수의 CCTV(100)를 일괄적으로 변경하거나 또는 특정 CCTV만 변경할 수 있다.

한편, 도 14는 본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 방법이 구현된 검출 분석용 프로그램을 예시하는 도면이고, 도 15는 도 14에 도시된 검출 분석용 프로그램을 구체적으로 나타내는 도면이다.

본 발명의 실시예에 따른 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 방법이 구현된 검출 분석용 프로그램은, 도 14에 도시된 바와 같이 구현될 수 있다.

구체적으로, 도 15의 a)는 비디오스트림으로부터 추출된 현재 저장 영상이며, 표시된 번호는 이동 벡터의 프로그램 내부의 넘버링(Numbering)을 나타낸다. 또한, 도 15의 b)는 현재 입력 영상를로부터 광학흐름(Optical flow) 특징을 추출하기 전단계로서, 그레이스케일(Grayscale) 영상으로 변환한 결과를 나타낸다. 또한, 도 15의 c)는 바로 이전 단계의 그레이스케일 영상을 나타내며, 이동방향을 검출하도록 현재 입력영상과 비교하게 된다. 또한, 도 15의 d)는 분석에 앞서 통행인이 없는 경우, 기본영상으로 저장한 것을 나타내며, 상기 기본영상은 인식 검출의 정확도를 높이기 위한 검증용으로 사용된다. 따라서 측정 결과로서, 출입구의 검출영역 지정, CNN 구성을 위한 다양한 임계치 설정 등에 의하여 인식 측정결과가 다양하게 나타나는 것을 확인할 수 있다.

결국, 본 발명의 실시예에 따르면, 본 발명에 따르면, 고층건물에서 화재 등 재난 발생시, 비상구 및 승강기 등의 출입구로 이동하는 재실자의 위치 및 인원수를 실시간 모니터링하기 위해서 CCTV 영상을 수집하여 가시화함으로써 자동으로 신속하고 정확하게 분석할 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: CCTV 200: 중계기(Hub)
300: CCTV 영상정보 처리장치 400: 관제 모니터링 서버
500: 출입구(비상구 및 승강기) 310: 비디오스트림 수집부
320: 출입구 진입/진출 검출부 330: 재실자 카운팅부
340: 데이터 전송부 350: 원격 제어부
321: 영상 시퀀스 추출부 322: 영상 분석부
323: 이동방향 감지부 324: 진입/진출 인식부

Claims

건물의 각 층별 및 구역별 출입구(500)에 설치되어 비디오스트림(Video Stream)을 생성하는 다수의 CCTV(100);
상기 다수의 CCTV(100) 각각으로부터 생성된 비디오스트림을 취합하여 전송하는 중계기(Hub: 200);
CCTV 모니터링 프로그램 및 출입구 재실자 자동 카운팅 프로그램에 따라, 상기 중계기(200)로부터 비디오스트림을 수집하고, 상기 수집된 비디오스트림을 처리 및 분석하여 출입구를 진입하거나 진출하는 재실자를 카운팅하여 카운팅 데이터에 따른 출입구 통행 인원정보를 생성하고, 상기 다수의 CCTV(100)를 원격 제어하는 CCTV 영상정보 처리장치(300); 및
상기 CCTV 영상정보 처리장치(300)에서 처리된 출입구 통행 인원정보를 관제 모니터링하는 관제 모니터링 서버(400)를 포함하되,
상기 CCTV 영상정보 처리장치(300)는 CCTV 모니터링 프로그램 및 출입구 재실자 자동 카운팅 프로그램을 처리하기 위한 사용자 인터페이스(User Interface)가 구현되어, 재실자 인원 실시간 모니터링을 위해 카메라 모션 검출(Motion Detection)에 기반한 재실자의 통행 동선에 따라 출입구 인원을 자동 검출하는 것을 특징으로 하는 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템.
제1항에 있어서,
상기 다수의 CCTV(100) 각각은 CMOS 이미지 센서(CMOS Image Sensor: CIS)와 동적시각센서(Dynamic Vision Sensor: DVS) 또는 CMOS 이미지 센서(CIS)와 열화상센서(Thermal Imaging Sensor: TIS)가 내장된 돔형(Dome Type) IP(Internet Protocol) 카메라인 것을 특징으로 하는 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템.
제2항에 있어서,
상기 다수의 CCTV(100) 각각은, 충분한 조도가 확보된 경우, 상기 CMOS 이미지 센서(CIS)가 작동하여 이미지를 수집하고, 조도가 부족하면 상기 동적시각센서(DVS) 또는 열화상센서(TIS)가 대신 작동하여 비디오스트림(Video Stream)을 생성하는 것을 특징으로 하는 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템.
제1항에 있어서,
상기 CCTV 영상정보 처리장치(300)는 상기 CCTV 모니터링 프로그램에서 인식 구역을 지정하고, 상기 지정된 인식 구역을 중심으로 하여 출입구를 통행하는 재실자의 진출/진입 여부를 판정하는 것을 특징으로 하는 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템.
제4항에 있어서,
상기 CCTV 모니터링 프로그램을 통해 "모션 감지영역"을 설정하면 CCTV(100)용 IP 카메라에 원격제어신호를 전송하여 해당 영역의 재실자 이동을 감지하는 것을 특징으로 하는 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템.
제4항에 있어서,
상기 CCTV 모니터링 프로그램을 통해 "움직임이 있는 경우", CCTV(100)용 IP 카메라는 검출 정보를 IP 카메라 내에 구현된 메모리의 특정 폴더에 저장하고, 주기적으로 상기 IP 카메라의 특정 폴더를 폴링하여 관련정보 파일을 가져 오는 것을 특징으로 하는 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템.
제4항에 있어서,
상기 CCTV 모니터링 프로그램은 기지정된 "모션 감지영역" 안으로 이동이 확인될 경우, 진입 카운팅(People-In Counting)을 처리하고, 경계 부근에서 "모션 감지영역" 밖으로 이동이 확인될 경우, 진출 카운팅(People-Out Counting)을 진행하여 해당 결과를 저장함으로써, 재실자 인원수는 진입 카운팅(People-In Counting)으로부터 진출 카운팅(People-Out Counting)을 차감한 것으로 판정하는 것을 특징으로 하는 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템.
제1항에 있어서, 상기 CCTV 영상정보 처리장치(300)는,
상기 중계기(200)를 경유하는 상기 다수의 CCTV(100)으로부터 촬영된 비디오스트림을 실시간 수집하는 비디오스트림 수집부(310);
상기 비디오스트림 수집부(310)로부터 수집된 비디오스트림을 처리 및 분석하고, 카메라 모션 검출(Motion Detection)에 기반한 재실자의 통행 동선에 따라 상기 재실자의 출입구(500) 진입 또는 진출을 구분하여 인식하는 출입구 진입/진출 검출부(320);
상기 출입구 진입/진출 검출부(320)에 의해 인식되는 재실자를 자동 카운팅하여 출입구 통행 인원정보를 생성하는 재실자 카운팅부(330);
상기 재실자 카운팅부(330)에서 카운팅된 출입구 통행 인원정보를 상기 모니터링 서버(400)로 전송하는 데이터 전송부(340); 및
상기 다수의 CCTV(100) 각각의 재부팅, 해상도 및 초당 프레임수(FPS) 지정을 포함하는 동작 방식을 원격 제어하는 원격 제어부(350)를 포함하는 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템.
제8항에 있어서,
상기 출입구 진입/진출 검출부(320)는 여러 명이 한 번에 이동하는 경우에도 카메라 모션 검출에 기반하여 재실자를 각각 구분하여 인식하는 것을 특징으로 하는 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템.
제8항에 있어서, 상기 출입구 진입/진출 검출부(320)는,
실시간으로 수집된 CCTV 비디오스트림 각각으로부터 비디오프레임을 각각 추출하여 영상 시퀀스를 자동 추출하는 영상 시퀀스 추출부(321);
상기 영상 시퀀스 추출부(321)에서 추출된 영상을 분석하는 영상 분석부(322);
상기 영상 분석부(322)의 영상 분석에 대응하여 카메라 모션 검출(Motion Detection)에 기반한 재실자의 통행 동선에 따라 재실자 이동방향을 자동 감지하는 이동방향 감지부(323); 및
상기 재실자의 출입구 진입 또는 진출을 구분하여 인식하는 진입/진출 인식부(324)를 포함하는 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템.
제10항에 있어서,
상기 이동방향 감지부(323)는 통행이 없는 상태를 초기 상태로 기억하고 재실자 이동시 이동방향을 자동 감지하는 것을 특징으로 하는 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 시스템.
a) 건물의 각 층별 및 구역별 출입구(500)에 설치된 각각의 CCTV(100)가 출입구(500)를 촬영하여 비디오스트림을 생성하는 단계;
b) CCTV 영상정보 처리장치(300)가 상기 각각의 CCTV(100)가 생성한 비디오스트림을 중계기(Hub)를 경유하여 실시간 수집하는 단계;
c) 상기 CCTV 영상정보 처리장치(300)가 카메라 모션 검출에 기반하여 상기 출입구(500)를 통행하는 재실자의 진입/진출을 구분하여 인식하는 단계;
d) 상기 CCTV 영상정보 처리장치(300)가 상기 출입구(500)를 진입하거나 진출하는 재실자를 자동 카운팅하여 출입구 통행 인원정보를 생성하는 단계;
e) 상기 CCTV 영상정보 처리장치(300)가 상기 출입구 통행 인원정보를 관제 모니터링 서버(400)로 전송하는 단계; 및
f) 상기 CCTV 영상정보 처리장치(300)가 각각의 CCTV(100)의 동작을 원격 제어하는 단계를 포함하되,
상기 CCTV 영상정보 처리장치(300)는 CCTV 모니터링 프로그램 및 출입구 재실자 자동 카운팅 프로그램을 처리하기 위한 사용자 인터페이스가 구현되어, 재실자 인원 실시간 모니터링을 위해 카메라 모션 검출에 기반한 재실자의 통행 동선에 따라 출입구 인원을 자동 검출하는 것을 특징으로 하는 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 방법.
제12항에 있어서,
상기 c) 단계에서 상기 수집된 비디오스트림을 처리 및 분석하고, 카메라 모션 검출(Motion Detection)에 기반한 재실자의 통행 동선에 따라 상기 재실자의 출입구 진입 또는 진출을 구분하여 인식하며; 그리고 상기 d) 단계의 인식 결과로 얻은 상기 출입구(500)를 진입하거나 진출하는 재실자를 자동 카운팅한 데이터를 생성하는 것을 특징으로 하는 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 방법.
제12항에 있어서,
상기 a) 단계의 다수의 CCTV(100) 각각은 CMOS Image Sensor(CIS)인 DVS(Dynamic Vision Sensor)가 내장된 돔형(Dome Type) IP(Internet Protocol) 카메라인 것을 특징으로 하는 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 방법.
제14항에 있어서,
상기 다수의 CCTV(100) 각각은, 충분한 조도가 확보된 경우, 상기 CMOS 이미지 센서(CIS)가 작동하여 이미지를 수집하고, 조도가 부족하면 상기 동적시각센서(DVS) 또는 열화상센서(TIS)가 대신 작동하여 비디오스트림(Video Stream)을 생성하는 것을 특징으로 하는 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 방법.
제14항에 있어서,
상기 c) 단계에서 상기 CCTV 영상정보 처리장치(300)는 상기 CCTV 모니터링 프로그램을 통해 인식 구역을 지정하고, 상기 지정된 인식 구역을 중심으로 하여 출입구를 통행하는 재실자의 진출/진입 여부를 판정하는 것을 특징으로 하는 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 방법.
제14항에 있어서,
상기 CCTV 모니터링 프로그램을 통해 "모션 감지영역"을 설정하면 CCTV(100)용 IP 카메라에 원격제어신호를 전송하여 해당 영역의 재실자 이동을 감지하는 것을 특징으로 하는 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 방법.
제14항에 있어서,
상기 CCTV 모니터링 프로그램을 통해 "움직임이 있는 경우", CCTV(100)용 IP 카메라는 검출 정보를 IP 카메라 내에 구현된 메모리의 특정 폴더에 저장하고, 주기적으로 상기 IP 카메라의 특정 폴더를 폴링하여 관련정보 파일을 가져 오는 것을 특징으로 하는 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 방법.
제14항에 있어서,
상기 CCTV 모니터링 프로그램은 기지정된 "모션 감지영역" 안으로 이동이 확인될 경우, 진입 카운팅(People-In Counting)을 처리하고, 경계 부근에서 "모션 감지영역" 밖으로 이동이 확인될 경우, 진출 카운팅(People-Out Counting)을 진행하여 해당 결과를 저장함으로써, 재실자 인원수는 진입 카운팅(People-In Counting)으로부터 진출 카운팅(People-Out Counting)을 차감한 것으로 판정하는 것을 특징으로 하는 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 방법.
제12항에 있어서,
상기 c) 단계에서 여러 명이 한 번에 이동하는 경우에도 카메라 모션 검출에 기반하여 재실자를 각각 구분하여 인식하는 것을 특징으로 하는 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 방법.
제12항에 있어서, 상기 c) 단계는,
c-1) 다수의 CCTV(100)으로부터 실시간 수집되는 비디오스트림으로부터 각각의 비디오프레임을 추출하는 단계;
c-2) 상기 비디오프레임이 첫 번째 프레임인 경우, 통행이 없는 상태를 가정한 첫 번째 추출 이미지를 기본영상으로 저장하는 단계;
c-3) 추출되는 프레임 이미지는 분석을 용이하게 하기 위하여 그레이스케일(Grayscale) 형식으로 변환하는 단계;
c-4) 상기 그레이스케일 영상에 대해 광학흐름(Optical Flow) 특징을 추출하는 단계;
c-5) 상기 그레이스케일 영상의 떨림 제거를 위한 1차 필터링(Filtering), 플리커(Flicker) 제거를 위한 2차 필터링 및 잡영(Noise) 제거를 위한 3차 필터링을 순차적으로 수행하는 단계;
c-6) 상기 저장된 기본영상과 순차적으로 필터링이 수행된 그레이스케일 영상에 대한 비교 영역 화소값인 RGB 비교 연산을 수행하는 단계;
c-7) 상기 비교 영역 화소값(RGB) 비교 연산이 수행된 영상에 대해 현재 특징 리스트를 추출하여, 상기 현재 특징 리스트를 이전 특징 리스트와 비교하여 운동방향을 추출하는 단계; 및
c-8) 출입구(500)를 통과하는 재실자 각각의 진입 또는 진출 여부를 인식하는 단계를 포함하는 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 방법.
제21항에 있어서,
상기 c-2) 단계에서 출입구(500)의 통행이 없는 상태를 초기 상태로 기억하여 기본영상으로 저장하고, 상기 c-7) 단계에서 재실자 이동시 이동방향을 자동 감지하는 것을 특징으로 하는 재실자 인원 실시간 모니터링을 위한 CCTV 영상정보 분석 방법.