KR102438433B1 - 데이터 기반의 3d 시각화가 가능한 관제 시스템 및 방법 - Google Patents

데이터 기반의 3d 시각화가 가능한 관제 시스템 및 방법 Download PDF

Info

Publication number
KR102438433B1
KR102438433B1 KR1020200119168A KR20200119168A KR102438433B1 KR 102438433 B1 KR102438433 B1 KR 102438433B1 KR 1020200119168 A KR1020200119168 A KR 1020200119168A KR 20200119168 A KR20200119168 A KR 20200119168A KR 102438433 B1 KR102438433 B1 KR 102438433B1
Authority
KR
South Korea
Prior art keywords
information
data
control
event
visualization
Prior art date
Application number
KR1020200119168A
Other languages
English (en)
Other versions
KR20220036672A (ko
Inventor
김찬중
서창현
조준
Original Assignee
엔씨엔스페이스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔씨엔스페이스(주) filed Critical 엔씨엔스페이스(주)
Priority to KR1020200119168A priority Critical patent/KR102438433B1/ko
Publication of KR20220036672A publication Critical patent/KR20220036672A/ko
Application granted granted Critical
Publication of KR102438433B1 publication Critical patent/KR102438433B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

본 발명은 상태 정보를 출력하는 방재 설비 제어반(30); 복수의 센서를 구비한 센서; 복수의 카메라를 구비한 영상 감시부(10); 및 영상 감시부(10)의 영상 데이터와 센서부(20)의 감지 데이터 및 방재 설비 제어반(30)의 상태 정보 중 하나 이상이 포함된 관제 정보를 분석하여 이벤트의 발생 여부와 위험 징후를 감지 및 예측하여 결과값을 출력하는 관제 장치(40)를 포함하고, 관제 장치(40)는 영상 데이터와 감지 데이터가 융합된 시각적 정보와, 복수의 감지 데이터와 방재 설비 제어반(30)의 상태 정보 중 적어도 하나가 융합되는 비 시각적 정보를 3D 시각적 정보로 가공하여 출력하는 것; 을 특징으로 하는 데이터 기반의 3D 시각화가 가능한 관제 시스템을 포함한다.

Description

데이터 기반의 3D 시각화가 가능한 관제 시스템 및 방법{CONTROL SYSTEM CAPABLE OF 3D VISUALIZATION BASED ON DATA AND THE METHOD THEREOF}
본 발명은 데이터 기반의 3D 시각화가 가능한 관제 시스템 및 방법에 관한 것이다.
일반적인 관제 시스템의 경우, CCTV 등과 함께 센서를 설치하여 영상과 센서가 감지한 감지 값을 관리자가 확인함으로써, 특정 지역을 전반적으로 감시하고, 화재, 범죄 발생 등의 사고를 방지할 수 있다.
이러한 관제 시스템은 일반적으로 수집된 데이터를 관리자가 직접 확인하여야 하는바, 관제 시스템을 확인하는 인력이 항상 상주하고 있어야 한다.
하지만, 인력이 상주하여 관제 시스템을 실시간으로 확인하더라도 집중력이 항상 유지되는 것은 아니며, 이로 인해 사건 사고는 계속 발생하고 있는 것이 현실이다.
즉, 종래에는 감시 영상 장치와 관제 시스템, 센서와 관제시스템간의 통신 네트워크가 별개로 구축됨에 따라 화재 등 재난상황에 대한 잘못된 상황 판단이 이루어질 수 있다.
따라서 종래에는 센서 네트워크와 감시 영상 네트워크가 별개로 구축되기에 오탐지 가능성이 있으며, 이를 운영하기 위하여 인력을 고용하기 위한 인건비와, 관리 유지를 위한 비용이 추가로 소요되는 문제점이 있었다.
또한, 종래의 관제 시스템은 영상 데이터 및 센서의 감지정보를 기반으로 이벤트를 감지하고, 이를 경보하는 시스템으로 이루어 졌다.
이와 같은 종래의 관제 시스템은 영상 데이터 및 센서의 감지정보를 기반으로 시각적 정보인 정보와 비 시각적 정보인 정보로 분류되어 모니터에 출력되었다. 따라서 관제 시스템은 시각적으로 확인 가능한 시각적 정보인 정보를 모니터에 출력하여 즉각적인 확인이 가능하나, 비 시각적 정보인 정보는 눈으로 즉각적인 확인이 되지 않기에 다양한 알고리즘을 통한 분석과 예측치를 통하여 징후를 판단하였다.
즉, 종래에는 비 시각적 정보인 정보의 분석을 위하여 다양한 알고리즘등이 필요하며, 현재의 정보를 통하여 미래의 상황에 대한 예측치를 산출하는 것임에 따라 그 오차가 매우 크고, 실질적으로 최종 판단은 사람이 하는 것임에 따라 숙련된 인력이 필요하였다.
따라서 최근에는 이와 같은 비 시각적 정보인 정보를 직관성있는 관제 정보를 제공할 수 있는 기술을 요구하고 있는 실정이다.
대한민국 공개특허공보 제10-2012-0050073호(2012.05.18 공개)
따라서, 본 발명은 이러한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 비가시 정보를 시각화하여 대량의 센싱 정보의 상호 연관성을 바탕으로 직관성 있는 관제정보를 제공할 수 있는 데이터 기반의 3D 시각화가 가능한 관제 시스템 및 방법을 제공함에 있다.
또한, 본 발명의 다른 목적은 영상 데이터에 센서 데이터가 직관적으로 시각화되어 가시성이 확대될 수 있고, 재난 상황의 정확한 예측과, 상황 전파가 신속하게 이루어질 수 있는 데이터 기반의 3D 시각화가 가능한 관제 시스템 및 방법을 제공함에 있다.
본 발명은 상기와 같은 목적을 달성하기 위하여 하기와 같은 실시예를 포함한다.
본 발명의 실시예는 상태 정보를 출력하는 하나 이상의 방재 설비 제어반과, 복수의 센서를 구비한 센서와, 복수의 카메라를 구비한 영상 감시부 및 영상 감시부의 영상 데이터와 센서부의 감지 데이터 및 방재 설비 제어반의 상태 정보 중 하나 이상이 포함된 관제 정보를 분석하여 이벤트의 발생 여부와 위험 징후를 감지 및 예측하여 결과값을 출력하는 관제 장치를 포함하고, 관제 장치는 영상 데이터와 감지 데이터가 융합된 시각적 정보와, 복수의 감지 데이터와 방재 설비 제어반의 상태 정보 중 적어도 하나가 융합되는 비 시각적 정보를 3D 시각적 정보로 출력하는 데이터 기반의 3D 시각화가 가능한 관제 시스템을 포함한다.
그러므로 본 발명은 복수의 모니터들에 나열되는 시각적 정보 및/또는 비 시각적인 관제 정보를 관제자가 직관할 수 있도록 3D 시각화 정보로 제공함에 따라 데이터 기반의 의사 결정 수단을 제공함에 따라 이벤트 발생 및/또는 위험 징후의 예측시에 정확하고 신속한 대응이 가능한 효과가 있다.
또한, 본 발명은 복수의 모니터들에 영상의 출력 규칙을 부여할 수 있어 관제 환경에 따른 영상 출력 방식을 임의대로 설정할 수 있어 관제 환경을 개선할 수있는 효과가 있다.
도 1은 본 발명에 따른 데이터 기반의 3D 시각화가 가능한 관제 시스템의 구성을 나타낸 도면이다.
도 2는 센서부를 도시한 블럭도이다.
도 3은 진단 처리부를 도시한 블럭도이다.
도 4는 본 발명에 따른 데이터 기반의 3D 시각화가 가능한 관제 방법을 도시한 순서도 이다.
도 5는 비 시각적 정보의 3D 시각화의 예를 도시한 도면이다.
도 6은 시각적 정보와 비 시각적 정보의 시각화의 예를 도시한 도면이다.
도 7은 관제 정보의 플레이백(Playback) 영상의 일예를 도시한 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되지 아니하며, 발명자는 그 사용자의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 “…부”, “…기”, “…단”, “모듈”, “장치” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 및/또는 소프트웨어의 결합으로 구현될 수 있다.
이하, 본 발명의 실시 예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명에 따른 데이터 기반의 3D 시각화가 가능한 관제 시스템의 구성을 나타낸 도면, 도 2는 센서부를 도시한 블럭도이다.
도 1 및 도 2를 참조하면, 본 발명은 복수의 센서를 구비하는 센서부(20)와, 영상 데이터를 출력하는 영상 감시부(10)와, 센서부(20) 및 영상 감시부(10)의 정보를 분석하여 이벤트 감지 및 위험 징후를 예측하는 관제 장치(40)와, 관제 장치(40)의 경보를 수신하는 모바일 단말(50)을 포함할 수 있다.
모바일 단말(50)은 관제 장치(40)로부터 이벤트 정보, 위험 징후 및/또는 예측값을 수신할 수 있다.
영상 감시부(10)는 유선 또는 무선으로 영상 데이터를 송신하는 복수의 카메라(예를 들면, CCTV, 화상 카메라, IR 카메라)를 포함할 수 있다.
여기서 영상 감시부(10)는 복 수개의 카메라 중 적어도 1 이상의 카메라를 하나의 그룹으로 설정하고, 그룹별로 채널을 설정하여 채널별로 해당 그룹에 속한 영상 데이터를 관제 장치(40)에 송신할 수 있다.
센서부(20)는 이기종의 센서들로서, 예를 들면, 사운드 센서, 조도센서, 인체감지센서, 온습도센서, 초음파센서, 근접센서, 불꽃센서, 가스센서 및 레이더 센서 중 적어도 하나 이상을 포함한다.
여기서 각각의 센서들은 카메라에 내장되는 고정형 센서, USB가 구비되어 착탈 가능한 USB형 센서, 유선 또는 무선으로 통신 가능한 통신형 센서로서 카메라에 내장 또는 독립 형으로 구성될 수 있다.
방재 설비 제어반(30)은 영상 감시부(10) 및/또는 관제 장치(40)와 유/무선으로 통신연결되어 작동 명령을 출력하거나, 방재 시설(예를 들면, 가스경보기, 화재경보기, 방화문, 소화전, 재난물자 보관함, 응급 의료 장치)의 동작 상태를 정보를 출력한다.
관제 장치(40)는 영상 감시부(10) 및 센서부(20)의 감지 데이터(예를 들면, 영상 데이터어, AI 메타 데이터, IoT 센서 데이터)와 방재 설비 제어반(30)의 상태 정보를 수집 및 분석하여 상호 연관성과, 상태, 임계치를 딥 러닝 엔진(Deep Learning Engine)을 이용하여 분석 처리하고, 비 시각적 정보를 3D 시각화 정보로 가공하여 재난 상황과 위험 상황 발생시 데이터 기반의 의사 결정을 가능하게 한다. 여기서 관제 장치(40)는 모바일 단말(50)에 이벤트 발생 및 위험 징후의 결과값을 송신할 수 있다.
이를 위하여 관제 장치(40)는 센서부(20) 및 영상 감시부(10)에서 데이터를 수집하는 데이터 분석부(410)와, 수집된 정보를 저장하는 DB(420)와, DB(420)에 저장된 정보를 가공 및 분석하여 3D 시각화 정보로 제공하는 진단 처리부(430)와, 진단 처리부(430)에서 변환 및 영상 처리된 정보를 출력하는 디스플레이부(440)를 포함할 수 있다.
데이터 분석부(410)는 영상 감시부(10)에서 촬영된 영상 데이터와 센서부(20)의 감지 데이터와 방재 설비 제어반(30)의 상태 정보를 수집하여 DB(420)에 분류 및 저장하고, 설정된 기준값을 근거하여 데이터를 분석하여 이벤트를 감지한다.
여기서 데이터 분석부(410)는 사용자 선택에 따라서 대상을 선택적으로 감지(예를 들면, 사람, 자동차, 가방, 대차, 등) 하고, 특정 행위 및 특정 현상에 감지 설정으로 특정 이벤트(예를 들면, 무단 횡단, 군집, 배회, 사람/사물 감지, 경로/월담/ 침입 등)를 감지할 수 있다.
DB(420)는 데이터 분석부(410)에서 수집된 정보와, 이전 이벤트 및/또는 위험 징후 예측 정보가 포함된 관제 정보를 설정된 분류 조건에 따라 분류 및 저장한다. 아울러 DB(420)는 영상 감시부(10)의 영상 데이터와 센서부(20)의 감시 데이터와, 그 외 정보(예를 들면, 범죄자의 행동패턴, 날씨, 온도, 출입 기록, 모바일 단말(50) 정보)가 저장될 수 있다.
디스플레이부(440)는 하나 또는 그 이상의 모니터로서 하나 또는 그 이상의 화면을 상호 공유하거나 분할하여 출력한다. 이와 같은 모니터들의 화면 출력은 모니터의 배열에 따른 정보 출력의 규칙이 부여된 것으로서 상황별 운영 시나리오에 의해 정의된다.
진단 처리부(430)는 수집된 관제 정보와, 이벤트 감지 정보와, 위험징후 감지 및 예측값을 3D 시각적 정보로 변환하여 출력한다. 이때 3D 시각적 정보는 영상 데이터 및/또는 센서 데이터가 융합된 시각적 정보와, 복수의 센서부(20) 감지 데이터 및 DB(420)의 저장 정보가 융합되어 영상 데이터로 제공되지 않는 비 시각적 정보를 기반으로 생성될 수 있다. 이와 같은 진단 처리부(430)의 상세 구성은 도 3을 참조하여 설명한다.
도 3은 진단 처리부를 도시한 블럭도이다.
도 3을 참조하면, 진단 처리부(430)는 3D 시각적 정보를 생성하는 시각화 모듈(431)과, 위험 징후를 예측하는 예측 모듈(432)과, 디스플레이 시나리오를 구축 및 운영하는 모니터링 커스텀 모듈(433)과, 관제 정보를 상호 연동하여 특징을 특정하는 플레이백 모듈(434)과, 영상 데이터를 축약하여 전송하는 영상 처리 모듈(435)을 포함한다.
시각화 모듈(431)은 대량의 관제 정보(영상 데이터 및 센서의 감지 데이터와, 바재 설비 제어반(30)의 상태 정보 중 하나 이상)를 분석하여 시각적 정보와 비 시각적 정보(예를 들면, 영상 데이터가 포함되지 않은 정보)를 3D 시각적 정보로 가공 및 생성하여 디스플레이부(440)로 출력한다. 여기서 3D 시각화 정보는 관제 정보와, 데이터 분석부(410)의 이벤트 감지 정보와, 예측 모듈(432)의 위험 징후 감지 및 예측값을 포함할 수 있다. 이와 같은 시각화 모듈(431)은 도 5 및 도 6을 통하여 설명한다.
도 5는 비 시각적 정보의 3D 시각화의 일예를 소개하였고, 도 6은 시각적 정보의 3D 시각화의 예를 도시한 도면이다.
먼저, 도 5를 참조하면, 시각화 모듈(431)은, 예를 들면, 가스 누출, 과열과 같이 시각적으로 보이지 않는 상황을 3D로 시각화하는 것을 특징으로 한다. 시각화 모듈(431)은 가스와 온도의 감지 데이터 외에 레이더 센서 및/또는 인체 감지 센서와, DB(420)에 저장된 출입 기록과, 방재 설비 제어반(30)의 동작 정보, 해당 영역을 포함하는 전자맵과 같은 복수의 정보를 융합하여 화재가 발생 된 위치의 공간을 3D로 구현하고, 화재 지역 내에 설치된 센서들의 감지 데이터를 이용하여 인원수와, 사람의 움직임 등을 3D 공간에 표현 한다.
예를 들면, 도 5에 도시된 바와 같이, 시각화 모듈(431)은 데이터 분석부(410)의 이벤 트 감지 정보에 따라 화재 등의 이벤트가 발생된 공간 또는 동작 중인 방재 설비 제어반(30)(예를 들면, 경보기, 방화문, 소화장치, 송풍장치, 응급 의료 장치, 재난 장비 보관함)이 설치된 공간을 3D로 구현하고, 레이더 센서 및 인체 감지 센서의 감지신호를 융합하여 3D 영상 내에서 사람의 숫자나, 움직임 및 위치를 표현할 수 있다.
또한, 시각화 모듈(431)은 설정된 임계값과 비 시각적 정보의 변화를 비교하여 이벤트를 발생(감지) 및 경보 함도 가능하다.
즉, 시각화 모듈(431)은 이종의 센서들 및 방재 설비 제어반(30)의 상태 정보와, 시스템의 상태 정보와 같이 복수의 비 시각적 데이터를 기반으로 3D 시각적 정보를 가공 할 수 있다.
그러므로 본 발명은 종래와 같이 센서의 감지 데이터와 같이 비 시각적 정보가 모니터들에 나열되는 방식으로 출력되어 관제자가 직관적으로 수용하기에 버거운 상황을 해소할 수 있다. 즉, 본 발명은 위와 같이 비 시각적 정보를 복수의 센서들 및 방재 설비 제어반(30)의 상태 정보들로 이루어진 물리적인 정보와, 감지 데이터 및 DB(420)의 저장 정보를 기반으로 생성된 가상 정보를 3D 공간 데이터로 활용하여 해당 이벤트를 3D로 시각화하여 영상으로 확인되지 않은 영역의 현재 상황을 직관할 수 있도록 하였다.
또한, 시각화 모듈(431)은 시각적 정보와, 비 시각적 정보를 융합하여 디스플레이부(440)에 출력함도 가능하다. 여기서 시각적 정보는 영상 데이터, 영상 데이터와 감시 데이터가 융합된 데이터, 영상 데이터와 감시 데이터 및 상태 정보가 융합된 데이터 중 어느 하나에 해당된다.
비 시각적 정보는 하나 또는 그 이상의 감지 데이터, 하나 또는 그 이상의 감지 데이터와 상태 정보가 융합된 데이터, 하나 또는 그이 상의 감지 데이터와 상태 정보 및 DB(420)에 저장된 데이터 중 어느 하나에 해당된다. 여기서 DB에 저장된 데이터는 현장의 전자 맵과, 이전 관제 정보와 이벤트 정보 및 위험 징후 정보, 외부 환경 정보, 포털 사이트로부터 다운로드된 정보 중 적어도 하나를 포함할 수 있다.
이는 도 6에 그 일예가 소개되었다.
도 6은 시각적 정보의 시각화의 예를 도시한 도면이다.
도 6을 참조하면, 시각화 모듈(431)은 영상 감시부(10)의 영상 데이터와, 센서부(20)의 감지 데이터를 융합하여 촬영된 영상에 센서 데이터를 표출시킬 수 있다. 이때, 시각화 모듈(431)은 센서 데이터를 영상 데이터에 표출하되, 센서가 배치된 공간 정보와 관련 데이터를 3D 시각화 형태로 표시한다.
예를 들면, 시각화 모듈(431)은 도 6에 도시된 바와 같이, 가스 탐지의 경우에 누설된 가스의 진행 방향과, 예측된 추가 사고, 누설 근거와 같은 정보를 해당 영상에 3D로 표시함에 따라 관제자가 직관할 수 있는 3D 시각화 정보를 생성한다.
예측 모듈(432)은 영상 감시부(10)의 영상 데이터 및/또는 센서부(20)의 감지 데이터를 이용하여 사건 및 사고를 예측하여 경고 및 위험 상황을 경보할 수 있다. 구체적으로 설명하자면, 예측 모듈(432)은 딥 러닝(Deep Learning) 기반의 엔진으로서 센서들의 메타 데이터와 DB(420)에 저장된 이전 이벤트 정보를 학습하여 이벤트가 발생하기 전 데이터를 기준으로 설정한다. 그리고 예측 모듈(432)은 현재의 관제 정보를 기준으로 설정된 데이터와 설정된 범위에 해당 되면 경보를 발령할 수 있다.
또한, 예측 모듈(432)은 과거 감지 데이터의 패턴 및 사람의 행동 패턴을 분석하여 위험 징후를 예측할 수 있다. 즉, 예측 모듈(432)은, 예를 들면, 유해 물질 관로의 이상 영상 및 센싱 온도 값의 이상 패턴을 감지하여 관로 파손 전, 디스플레이부(440) 또는 모바일 단말(50)로 경보를 발령할 수 있다. 또는, 예측 모듈(432)은 영상 내 거동이 수상한 자 발견 시 침입자의 행동 패턴을 분석하여 위험도를 판정하고, 디스플레이부(440) 또는 모바일 단말(50)에 경보를 발령할 수 있다.
모니터링 커스텀 모듈(433)은 복수의 모니터에서 출력되는 영상 데이터 및/또는 감지 데이터가 포함된 복수의 정보들을 모니터들의 배열에 따라 규칙을 부여하여 출력되는 상황별 정보들을 출력하는 모니터(서로 다른 정보를 출력하는 모니터 또는 동일 정보를 출력하는 복수의 모니터) 및 출력 방식(화면의 공유 또는 분할)을 특정하는 상황별 운영 시나리오에 따라 복수의 모니터들을 제어하여 영상을 출력하도록 제어한다.
상황별 운영 시나리오는, 예를 들면, 복수의 모니터 중에서 화재 상황이 발생할 경우에 영상 정보를 출력하는 모니터들을 특정하여 화면의 공유, 화면의 분할 및/또는 정보의 전달 가능하거나, 화재 상황 발생 중에 가스 누설, 침입자 탐지 등에 관한 정보를 출력하도록 특정할 수 있다. 이때, 상황 별 운영 시나로이는 하나의 모니터에 하나의 정보를 출력하게 설정되거나, 하나 이상의 모니터들이 통합되어 하나의 정보를 출력하도록 설정될 수 있다.
즉, 본 발명은 관제 환경의 모니터 구축이 각 관제 환경마다 상이하며, 자리 변경 및 인원 재배치로 인한 관제 환경의 변경과, 관제자의 특성에 따라 주요한 관제 정보가 다른 환경을 보완할 수 있도록 모니터링 커스텀 모듈(433)을 제공하는 것을 특징으로 한다.
플레이백 모듈(434)은 관제 정보(예를 들면, 영상 데이터 및 센서의 감지 데이터)를 상호 연동하여 특징을 특정하고, 특정된 관제 정보와 연관된 과거 관제 정보를 검색하여 디스플레이부(440)에 출력할 수 있다. 이와 같은 플레이백 모듈(434)의 실예는 도 7을 참조하여 설명한다.
도 7은 관제 정보의 플레이백(Playback) 영상의 일예를 도시한 도면이다.
도 7을 참조하면, 플레이백 모듈(434)은 영상 감시부(10) 및 센서부(20)의 데이터를 상호 연동하여 현재 감지된 관제 정보의 특징을 특정한다. 관제 정보의 특징은, 예를 들면, 특정 영역(공간) 내의 영상 정보와, 해당 영역(공간)의 센서부(20)의 감지 데이터(예를 들면, 온도, 가스, 조도, 습도, 인체감지 여부, 불꽃, 연기, 진동) 중 적어도 하나이다.
플레이백 모듈(434)은 위와 같은 관제 정보의 감지 데이터 중 어느 하나 또는 그 이상을 특정된 특징과 연계되는 과거의 이벤트, 시간, 상황별 데이터를 검색하여, 도 7에 도시된 바와 같이, 디스플레이부(440)에 출력할 수 있다.
또한, 플레이백 모듈(434)은 영상 감시부(10)의 채널별 영상을 날짜와 시간으로 검색 가능하고, 이벤트별 특징을 썸네일(Thumbnail)로 가공 및 제공하여 영상의 변화되는 모습을 빠르게 검색할 수 있도록 한다.
또한, 플레이백 모듈(434)은 검색 시간대별 스냅샷(Snapshot)을 생성하여 관제자가 원하는 장면을 빠르게 검색 할 수 있는 기능을 제공한다.
즉, 플레이백 모듈(434)은 관제 정보의 이벤트별, 시간별, 상황별로 과거의 정보를 디스플레이부(440)에 출력할 수 있고, 검색시간의 단축을 위하여 썸네일(Thumbnail) 및 스냅샷(Snapshot)을 제공할 수 있다.
영상 처리 모듈(435)은 자동 해상도 조절 기술 및 압축 기술을 적용하여, 예를 들면, 10Mbps 수준의 대역으로 축약하고, 실시간 영상 정보와 녹화 모드를 분리하여 스트리밍 하는 것을 특징으로 한다. 그러므로 영상처리 모듈은 영상 감시부(10)에서 촬영된 영상을 축약하여 전송할 수 있어 네트워크 부하를 최소화할 수 있고, 화면 버퍼링이나 영상 찌그러짐 등의 영상 훼손을 방지할 수 있다.
본 발명은 상기와 같은 구성을 포함하며, 이하에서는 본 발명에 따른 데이터 기반의 3D 시각화가 가능한 관제 방법을 설명한다.
도 4는 본 발명에 따른 데이터 기반의 3D 시각화가 가능한 관제 방법을 도시한 순서도이다.
도 4를 참조하면, 본 발명은 데이터를 수집하는 S100 단계와, 수집된 데이터를 분석하여 이벤트 및/또는 위험 징후를 예측하여 그 결과를 3D 시각화 정보로 출력하는 S200 단계와, 설정된 상황별 운영 시나리오에 따라서 관제 정보를 출력하는 S300 단계를 포함한다.
S100 단계는 영상 감시부(10) 및 센서부(20)로부터 데이터를 수집하여 DB(420)에 저장하는 단계이다. 여기서 DB(420)는 수집된 데이터를 설정된 항목별로 분류하여 저장한다.
S200 단계는 수집된 데이터를 3D 시각화 정보로 가공하되, 수집된 데이터를 분석하여 위험 징후 및/또는 이벤트 발생여부를 감지하는 단계이다.
이를 위하여 S200 단계는 수집된 데이터를 분석하여 이벤트를 감지하는 S210 단계와, 수집된 데이터를 분석하여 위험징후의 감지 및/또는 예측값을 출력하는 S220 단계와, 수집된 데이터와 이벤트 및/또는 위험징후의 감지 및 예측값 중에서 시각적 정보를 3D 시각화 정보로 가공하여 출력하는 S230 단계와, 비 시각적 정보를 3D 시각화 정보로 가공하여 출력하는 S240 단계를 포함한다.
S210 단계는 데이터 분석부(410) 또는 예측 모듈(432)에서 DB(420)에 저장된 영상 데이터 및/또는 센서부(20)의 감지 데이터와, 방재 설비 제어반(30)의 상태 정보를 분석하여 설정된 임계값에 해당되는 이벤트 발생 여부를 감지하는 단계이다.
여기서 데이터 분석부(410)는 사용자 선택에 따라서 대상을 선택적으로 감지(예를 들면, 사람, 자동차, 가방, 대차, 등) 하고, 특정 행위 및 특정 현상에 감지 설정으로 특정 이벤트(예를 들면, 무단 횡단, 군집, 배회, 사람/사물 감지, 경로/월담/ 침입 등)를 감지할 수 있다.
S220 단계는 예측 모듈(432)에서 DB(420)에 저장된 영상 데이터 및/또는 센서부(20)의 감지 데이터를 분석하여 위험징후를 감지 및 예측하는 단계이다. 여기서 예측 모듈(432)은 영상 데이터와 감지 데이터를 상호 연동하여 특징점을 추출하여 위험 징후를 감지 또는 예측한다.
이때, 예측 모듈(432)은 과거 이벤트 정보와, 과거 감지 데이터의 패턴 및 사람의 행동 패턴을 분석하여 특징점의 임계값(기준값)을 설정하여 위험 징후를 예측할 수 있다.
즉, 예측 모듈(432)은 딥 러닝(Deep Learning) 기반의 엔진으로서 센서들의 메타 데이터와 DB(420)에 저장된 이전 이벤트 정보를 학습하여 이벤트가 발생하기 전 데이터를 기준으로 설정하고, 현재의 관제 정보를 분석하여 기준값에 해당되면 경보를 발령할 수 있다.
또한, 예측 모듈(432)은 과거 감지 데이터의 패턴 및 사람의 행동 패턴을 분석하여 위험 징후를 예측할 수 있다. 즉, 예측 모듈(432)은, 예를 들면, 유해 물질 관로의 이상 영상 및 센싱 온도 값의 이상 패턴을 감지하여 관로 파손 전, 디스플레이부(440) 또는 모바일 단말(50)로 경보를 발령할 수 있다. 또는, 예측 모듈(432)은 영상 내 거동이 수상한 자 발견 시 침입자의 행동 패턴을 분석하여 위험도를 판정하고, 디스플레이부(440) 또는 모바일 단말(50)에 경보를 발령할 수 있다.
S230 단계는 시각화 모듈(431)에서 영상 감시부(10)의 영상 데이터와 센서부(20)의 감지 데이터 및 방재 설비 제어반(30)의 상태 정보가 융합된 시각적 정보를 3D 시각적 정보로 변환하는 단계이다. 시각화 모듈(431)은 영상 데이터에 센서의 종류와 위치 및 감지 데이터(예를 들면, 시간, 온습도, 가스 흐름, 사람, 불꽃, 조도 중 적어도 하나)를 융합시키되, 해당 감지 데이터가 입체적으로 표시될 수 있도록 영상 데이터를 3D 시각화 정보로 가공한다.
예를 들면, 시각적 정보의 3D 시각적 정보는, 도 6에 도시된 바와 같이, 센서의 위치 또는 방재 설비 제어반(30)의 위치와, 감지 데이터가 입체적으로 구현되는 영상으로 구현될 수 있다. 여기서 3D 시각적 정보는 이벤트 정보, 위험 징후 감지 및 예측 메세지도 포함될 수 있다.
S240 단계는 비 시각적 정보를 3D 시각화 정보로 가공 및 출력하는 단계이다. 시각화 모듈(431)은 관제 정보 중에서 비 시각적 정보(영상에 포함되지 않은 영역(공간)에서의 센서부(20) 감지 데이터)를 다른 기종의 센서부(20) 감지 데이터와, DB(420)에 저장된 정보를 융합하여 특징점이 확인된 위치의 영역(공간)을 3D로 구현하고, 센서부(20)의 감지 데이터(예를 들면, 화재 발생, 인원과 움직임) 등을 3D 공간 데이터에 표현한다.
S300 단계는 3D 시각화 정보를 설정된 상황별 운영 시나리오에 따라서 복수의 모니터들에 출력하는 단계이다. 여기서 모니터링 커스텀 모듈(433)은 관제 정보(예를 들면, 영상 데이터 및 센서의 감지 데이터)를 상호 연동하여 특징을 특정하고, 특정된 관제 정보와 연관된 과거 관제 정보를 검색하여 설정된 상황별 운영 시나리오에 따라서 디스플레이부(440)에 출력할 수 있다.
이때, 디스플레이부(440)는 플레이백 모듈(434)의 제어에 의해 설정된 상황별 운영 시나리오에 따라서 특정된 하나 이상의 모니터들이 하나의 화면을 공유하거나, 분할된 화면, 또는 서로 다른 정보를 각각 출력한다.
또한, S200 단계 및 S300 단계 중 어느 하나에서 플레이백 모듈(434)은 영상 감시부(10) 및 센서부(20)의 데이터를 상호 연동하여 현재 감지된 관제 정보의 특징을 특정한다. 그리고 플레이백 모듈(434)은 위와 같은 관제 정보의 감지 데이터 중 어느 하나 또는 그 이상을 특정된 특징과 연계되는 과거의 이벤트, 시간, 상황별 데이터를 검색하여 디스플레이부(440)에 출력할 수 있다.
또한, 플레이백 모듈(434)은 입력된 명령에 따라 관제 정보의 이벤트별, 시간별, 상황별로 과거의 정보를 디스플레이부(440)에 출력할 수 있고, 검색시간의 단축을 위하여 썸네일(Thumbnail) 및 스냅샷(Snapshot)을 제공할 수 있다.
이상에서 본 발명은 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 수정 및 변형이 가능함은 물론이다.
본 실시 예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10 : 영상 감시부
20 : 센서부
30 : 방재 설비 제어반
40 : 관제 장치
50 : 모바일 단말
410 : 데이터 분석부
420 : DB
430 : 진단 처리부
431 : 시각화 모듈
432 : 예측 모듈
433: 모니터링 커스텀 모듈
434 : 플레이백 모듈
435 : 영상 처리 모듈
440 : 디스플레이부

Claims (10)

  1. 상태 정보를 출력하는 하나 이상의 방재 설비 제어반(30);
    복수의 센서를 구비한 센서부(20);
    복수의 카메라를 구비한 영상 감시부(10); 및
    영상 감시부(10)의 영상 데이터와 센서부(20)의 감지 데이터가 융합된 시각적 정보와, 복수의 감지 데이터와 방재 설비 제어반(30)의 상태 정보 중 적어도 하나가 융합되는 비시각적 정보를 3D 시각적 정보로 가공 및 분석하여 이벤트의 발생 여부와 위험 징후를 감지 및 예측하는 관제 장치(40)를 포함하고,
    상기 관제 장치(40)는
    관제 정보를 시각적 정보와 비 시각적 정보를 3D 시각적 정보로 가공 및 출력하는 시각화 모듈(431);
    딥 러닝(Deep Learning) 기반의 엔진으로서 센서들의 메타 데이터와 DB(420)에 저장된 이전 이벤트 정보를 학습하여 이벤트가 발생하기 전 데이터를 기준으로 설정하고, 현재의 관제 정보를 분석하여 위험 징후를 감지하는 예측 모듈(432);
    복수의 모니터에 출력되는 복수의 영상 데이터 및 감지 데이터가 포함된 관제 정보들을 설정된 상황별 운영 시나리오에 따라 모니터들별로 정보의 출력, 화면의 공유, 화면의 분할 여부를 특정하여 복수의 모니터들을 제어하는 모니터링 커스텀 모듈(433); 및
    관제 정보를 상호 연동하여 특정하고, 특정된 관제 정보와 연관된 과거 관제 이벤트, 시간, 상황별 데이터를 검색하여 디스플레이부(440)에 출력하는 플레이백 모듈(434); 을 포함하는 데이터 기반의 3D 시각화가 가능한 관제 시스템.
  2. 청구항 1에 있어서, 관제 장치(40)는
    영상 데이터와 감지 데이터를 수집하여 이벤트를 감지하는 데이터 분석부(410);
    데이터 분석부(410)에서 수집된 관제 정보와, 이전 이벤트와 위험 징후 예측 정보를 설정된 분류 조건에 따라 분류 및 저장하는 DB(420);
    복수의 모니터로 구성되어 하나 또는 그 이상의 화면을 상호 공유하거나 분할하여 출력하는 디스플레이부(440); 및
    수집된 관제 정보와, DB(420)에 이전 정보에 따라 설정된 임계값을 분석하여 위험 징후의 감지 및 위험 징후 예측치와, 이벤트 정보를 3D 시각적 정보로 변환하여 디스플레이부(440)에 출력하는 진단 처리부(430); 를 포함하는 데이터 기반의 3D 시각화가 가능한 관제 시스템.
  3. 삭제
  4. 청구항 2에 있어서, 시각화 모듈(431)은 설정된 임계값과 비 시각적 정보의 변화를 비교하여 이벤트 발생을 감지하는 것; 을 특징으로 하는 데이터 기반의 3D 시각화가 가능한 관제 시스템.
  5. 청구항 2에 있어서, 예측 모듈(432)은
    DB(420)에 저장된 과거 감지 데이터의 패턴 및 사람의 행동 패턴을 분석하여 기준을 설정하고, 현재의 관제 정보를 분석하여 위험 징후를 예측하는 것; 을 특징으로하는 데이터 기반의 3D 시각화가 가능한 관제 시스템.
  6. 청구항 2에 있어서, 플레이백 모듈(434)은
    이벤트별 특징이 포함된 썸네일(Thumbnail)과, 검색 시간대별 스냅샷(Snapshot) 중 적어도 하나를 생성하는 것; 을 특징으로 하는 데이터 기반의 3D 시각화가 가능한 관제 시스템.

  7. a) 관제장치에서 복수의 센서들의 감지 데이터와, 하나 이상의 방재 설비 제어반(30)의 상태 정보와, 영상 감시부(10)의 영상 데이터 중 적어도 하나가 포함된 관제 정보를 수집하는 단계;
    b) 상기 관제장치에서 수집된 영상 데이터와 감지 데이터가 융합된 시각적 정보와, 복수의 감지 데이터와 상태 정보 중 적어도 하나가 포함된 비 시각적 정보를 3D 시각적 정보로 가공 및 출력하는 단계; 및
    c) 상기 관제장치에서 설정된 상황별 운영 시나리오에 따라 복수의 모니터들을 상황, 시간, 이벤트 별로 특정하여 정보를 출력하도록 하도록 제어하는 단계; 를 포함하고,
    b)단계는
    b-1)DB(420)에 저장된 이전 관제 정보를 분석하여 설정된 기준값과 현재 관제 정보를 분석하여 이벤트 발생 여부를 감지하는 단계;
    b-2)DB(420)에 저장된 이전 관제 정보를 분석하여 기준값으로 설정된 데이터 및 행동패턴과, 현재 관제 정보의 데이터 및 행동 패턴을 비교 분석하여 위험 징후를 감지 및 예측하는 단계;
    b-3)관제 정보에서 영상 데이터와 하나 이상의 감지 데이터가 융합된 시각적 정보를 3D 시각적 정보로 가공하는 단계; 및
    b-4) 하나 이상의 감지 데이터와 방재 설비 제어반(30)의 상태 정보 중 적어도 하나가 융합된 비 시각적 정보를 3D 시각적 정보로 가공하는 단계; 및
    b-5)이벤트별, 시간별, 상황별로 과거의 정보를 출력하고, 검색시간의 단축을 위하여 썸네일(Thumbnail) 및 스냅샷(Snapshot)을 생성하는 단계; 중 적어도 하나를 포함하고,
    b-3) 및 b-4) 단계의 3D 시각적 정보는
    이벤트, 위험 징후 감지 및 예측 값이 포함된 것을 특징으로 하는 데이터 기반의 3D 시각화가 가능한 관제 방법.
  8. 삭제
  9. 청구항 7에 있어서, b-1)단계는
    대상을 선택적으로 감지하고, 대상의 특정 행위 및 특정 현상을 이벤트로 설정하는 것; 을 특징으로 하는 데이터 기반의 3D 시각화가 가능한 관제 방법.


  10. 삭제
KR1020200119168A 2020-09-16 2020-09-16 데이터 기반의 3d 시각화가 가능한 관제 시스템 및 방법 KR102438433B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200119168A KR102438433B1 (ko) 2020-09-16 2020-09-16 데이터 기반의 3d 시각화가 가능한 관제 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200119168A KR102438433B1 (ko) 2020-09-16 2020-09-16 데이터 기반의 3d 시각화가 가능한 관제 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20220036672A KR20220036672A (ko) 2022-03-23
KR102438433B1 true KR102438433B1 (ko) 2022-09-01

Family

ID=80963644

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200119168A KR102438433B1 (ko) 2020-09-16 2020-09-16 데이터 기반의 3d 시각화가 가능한 관제 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102438433B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102601759B1 (ko) * 2023-07-12 2023-11-14 주식회사 성원 안전 관리 시스템 운용을 위한 이기종 기기 간 통합 방법 및 이를 위한 서버
KR102601760B1 (ko) * 2023-07-12 2023-11-13 주식회사 성원 작업장의 안전 조업을 위한 유저 인터페이스를 제공하는 방법 및 이를 위한 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101988164B1 (ko) 2018-02-23 2019-06-11 창원문성대학교산학협력단 설비 모니터링 시스템 및 그 방법
KR102028147B1 (ko) 2018-10-12 2019-10-04 (주)파슨텍 이벤트 상황을 관제하는 통합 관제 시스템, 영상 분석 장치 및 지역 관제 서버
KR102058452B1 (ko) * 2019-06-28 2019-12-23 가온플랫폼 주식회사 IoT 융합 지능형 영상분석 플랫폼 시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101133388B1 (ko) * 2009-09-15 2012-04-09 한전케이피에스 주식회사 터빈 터닝기어 시스템의 상태진단장치 및 방법
KR20110109621A (ko) * 2010-03-31 2011-10-06 (주)티엘씨테크놀로지 안전 관리 시스템 및 그 방법
KR101200433B1 (ko) 2010-11-10 2012-11-22 (주)아이아이에스티 폐쇄회로 텔레비전 카메라를 이용한 실시간 화재 감시 시스템 및 그 방법
KR101900556B1 (ko) * 2016-07-08 2018-09-19 이에스이 주식회사 통합 관제 장치 및 방법
KR20180063536A (ko) * 2016-12-02 2018-06-12 주식회사 레이월드 공장 가시화에 의한 위치 기반의 공장 측정 자동화 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101988164B1 (ko) 2018-02-23 2019-06-11 창원문성대학교산학협력단 설비 모니터링 시스템 및 그 방법
KR102028147B1 (ko) 2018-10-12 2019-10-04 (주)파슨텍 이벤트 상황을 관제하는 통합 관제 시스템, 영상 분석 장치 및 지역 관제 서버
KR102058452B1 (ko) * 2019-06-28 2019-12-23 가온플랫폼 주식회사 IoT 융합 지능형 영상분석 플랫폼 시스템

Also Published As

Publication number Publication date
KR20220036672A (ko) 2022-03-23

Similar Documents

Publication Publication Date Title
KR102087000B1 (ko) 화재 감지 방법 및 시스템
US20230421728A1 (en) Camera listing based on comparison of imaging range coverage information to event-related data generated based on captured image
KR101544019B1 (ko) 합성 영상을 이용한 화재감지시스템 및 방법
EP2564380B1 (en) Method and system for security system tampering detection
KR102064746B1 (ko) 머신 러닝을 기반으로 한 화재 감시 시스템
KR102058452B1 (ko) IoT 융합 지능형 영상분석 플랫폼 시스템
JP2018101317A (ja) 異常監視システム
KR102438433B1 (ko) 데이터 기반의 3d 시각화가 가능한 관제 시스템 및 방법
KR101411624B1 (ko) 화재 감지 방법 및 시스템
KR102407327B1 (ko) 화재감지장치 및 이를 포함하는 화재감지시스템
KR20070029760A (ko) 감시 장치
KR101485022B1 (ko) 행동 패턴 분석이 가능한 객체 추적 시스템 및 이를 이용한 방법
KR101936837B1 (ko) 맵기반 지능형 영상통합 감시시스템 및 이를 이용한 감시 방법
KR20190035187A (ko) 감시 지역 음성 경고 방송 시스템
KR101467352B1 (ko) 위치기반 통합관제시스템
JP2006287884A (ja) 知的映像監視システム
KR101466004B1 (ko) 지능형 방범, 방재 및 사후처리 통합 트리플렉스 시스템 및 그 제어 방법
CN107122743A (zh) 安防监控方法、装置和电子设备
KR101075550B1 (ko) 이미지 센싱 에이전트 및 ｕｓｎ 복합형 보안 시스템
KR101951361B1 (ko) 인공지능 방범 관리 방법
KR102233679B1 (ko) Ess 침입자 및 화재 감지 장치 및 방법
KR101046819B1 (ko) 소프트웨어 휀스에 의한 침입감시방법 및 침입감시시스템
KR101250956B1 (ko) 자동 관제 시스템
KR20210144455A (ko) 센서 데이터와 영상 데이터의 실시간 시각화 기술 기반의 융복합 관제 시스템 및 그 방법
KR101060414B1 (ko) 감시 시스템 및 그 감시 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right