KR102299704B1 - 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템 - Google Patents

재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템 Download PDF

Info

Publication number
KR102299704B1
KR102299704B1 KR1020210089790A KR20210089790A KR102299704B1 KR 102299704 B1 KR102299704 B1 KR 102299704B1 KR 1020210089790 A KR1020210089790 A KR 1020210089790A KR 20210089790 A KR20210089790 A KR 20210089790A KR 102299704 B1 KR102299704 B1 KR 102299704B1
Authority
KR
South Korea
Prior art keywords
disaster
event
deep learning
events
environment metadata
Prior art date
Application number
KR1020210089790A
Other languages
English (en)
Inventor
권오복
이정원
주재경
김경훈
Original Assignee
(주)진명아이앤씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)진명아이앤씨 filed Critical (주)진명아이앤씨
Priority to KR1020210089790A priority Critical patent/KR102299704B1/ko
Application granted granted Critical
Publication of KR102299704B1 publication Critical patent/KR102299704B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/10—Alarms for ensuring the safety of persons responsive to calamitous events, e.g. tornados or earthquakes

Abstract

본 발명은 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템에 관한 것으로, 복수의 IoT 디바이스로부터 수신한 각 재난환경 메타데이터로부터 재난환경에서 복합적으로 발생되는 복합 이벤트를 확인하고, 상기 확인한 복합 이벤트를 통해 복수의 이벤트에 대한 연관관계를 분석함으로써 상기 재난환경 메타데이터와 연계하여 특정 재난상황의 발생을 인식하여 상기 특정 재난상황에 대한 신속한 대처를 수행할 수 있도록 하는 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템에 관한 것이다.

Description

재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템{SYSTEM FOR SMART DEEP LEARNING VIDEO SURVEILLANCE BY LINKING DISASTER ENVIRONMENT METADATA}
본 발명은 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템에 관한 것으로, 더욱 상세하게는 복수의 IoT 디바이스로부터 수신한 각 재난환경 메타데이터로부터 재난환경에서 복합적으로 발생되는 복합 이벤트를 확인하고 상기 확인한 복합 이벤트를 통해 복수의 이벤트에 대한 연관관계를 분석함으로써 상기 재난환경 메타데이터와 연계하여 특정 재난상황의 발생을 인식하여 신속한 대처를 수행할 수 있도록 하는 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템에 관한 것이다.
일반적으로 영상감시 시스템은 다양한 장소에 설치되는 감시카메라에서 촬영한 영상을 통해 화재, 지진과 같은 재난상황을 모니터링하여 사람들의 안전을 도모하는데 큰 역할을 하고 있다.
그러나 종래의 영상감시 시스템은 중앙의 관제센터에서 관제요원이 지속적으로 상주하여 각 감시카메라에서 촬영한 영상을 실시간으로 확인하는 구조이기 때문에 감시카메라가 매우 많은 경우 실시간으로 재난상황의 발생을 모니터링하는 데 한계가 있으며 관제요원을 확보하기 위한 비용 또한 많이 소모되는 문제점이 있다.
이러한 문제점을 해결하기 위해 최근에는 각 장소에 설치되는 감시카메라에 각 재난상황을 인식하기 위한 인공지능 학습모델을 탑재하여 각 감시카메라에서 재난상황을 인식하도록 하는 지능형 영상감시 시스템이 개발되고 있다.
한편 재난상황은 돌발적으로 발생하며 재난상황이 발생한 재난환경에서는 다수의 상황(이벤트)이 복합적으로 발생된다. 따라서 복합적으로 발생되는 각 이벤트를 인식하고 인식한 각 이벤트를 통합적으로 분석하여 특정 재난상황의 발생을 인식하는 것이 필요하다.
그러나 종래의 지능형 영상감시 시스템은 단순히 특정 재난상황(예: 화재)에 관련된 영상(예: 불꽃 영상)만을 학습한 인공지능 학습모델을 이용하기 때문에 재난환경에서 복합적으로 발생되는 각 이벤트(예: 화재로 인한 유독가스 발생)상황을 인식하는데 한계가 있다.
특히 종래의 지능형 영상감시 시스템은 인공지능 학습모델을 실시간으로 동작시키는 구조이기 때문에 인공지능 학습모델이 탑재된 감시카메라의 부하가 급격하게 증가하는 문제점이 있다.
한편 최근에는 정보통신기술의 발전으로 인해 각종 사물에 센서와 통신기술을 내장하여 각종 사물을 인터넷에 연결하는 IoT(internet of things)기술이 급격하게 발전하고 있어 인터넷에 연결된 각 사물간의 정보를 송수신할 수 있는 환경이 마련되고 있다.
이에 따라 본 발명에서는 카메라를 포함하여 각 감시영역에 설치되고 스마트 딥러닝 영상감시 장치에서 감시영역 내에 설치되는 복수의 IoT 디바이스로부터 재난환경에서 발생되는 각 이벤트에 대한 재난환경 메타데이터를 수신하여 복합 이벤트의 발생을 감지하고 각 이벤트간의 연관관계를 분석함으로써 재난환경 메타데이터를 연계하여 특정 재난상황의 발생을 정확하게 인식하여 신속한 조치를 취할 수 있도록 하는 방안을 제안하고자 한다.
또한 본 발명은 복합 이벤트가 감지되면 특정 재난상황의 발생을 인식함으로써 중앙의 관제서버의 부하를 분산시킴과 동시에 스마트 딥러닝 영상감시 장치의 부하를 현저하게 감소시킬 수 있도록 하는 방안을 제안하고자 한다.
다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.
먼저 한국등록특허 제2014099호(2019.04.18.)는 사물제어유닛을 이용한 IoT기반 재난모니터링 시스템에 관한 것으로, 플랫폼 서버에서 건물 내 설치되는 센서부로부터 측정데이터와 건물 내 피난자의 위치정보를 실시간으로 수시하여, 해당 건물 내 상황을 예측하고 대응정보를 피난자의 단말기에 전송함과 동시에 스피커와 같은 사물제어유닛을 통해 알림으로 제공하는 사물제어유닛을 이용한 IoT기반 재난 모니터링 시스템에 관한 것이다.
즉, 상기 선행기술은 플랫폼 서버를 통해 복수의 센서부에서 측정한 측정데이터에 따라 건물 내 재난상황을 예측하여 대응정보를 제공하는 것으로, 재난상황을 예측하는 것이 중앙집중적이서 플랫폼 서버의 부하를 가중시키며 단순히 측정데이터만을 이용하여 재난상황을 예측하기 때문에 예측 정확도가 떨어질 수 있는 문제점을 내포하고 있다.
반면에 본원발명은 감시영역에 설치되는 각각의 스마트 딥러닝 영상감시 장치에서, 상기 감시영역 내에 설치되는 복수의 IoT 디바이스로부터 재난환경 메타데이터를 수신하여 재난환경에서 복합적으로 발생될 수 있는 복합 이벤트를 확인하고, 확인한 복합 이벤트의 개별적인 이벤트 간의 연관관계를 분석함으로써 재난환경 메타데이터를 연계하여 특정 재난상황의 발생을 정확하게 인식하는 것으로 상기 선행기술은 이러한 본 발명의 기술적 특징을 기재하거나 시사 혹은 암시도 없다.
또한 한국등록특허 제0956124호(2010.04.27.)는 하천 또는 배수지 재난관리 통합 모니터링 시스템 및 방법에 관한 것으로, 하천 또는 배수지의 유량이나 수위를 측정한 측정 데이터와 측정 지점에 대한 영상 데이터를 획득하여 하나의 데이터로 중첩시켜, 측정 데이터와 영상 데이터가 중첩된 화면을 출력하여 모니터링할 수 있도록 하는 하천 또는 배수지 재난관리 통합 모니터링 시스템 및 방법에 관한 것이다.
즉, 상기 선행기술은 단순히 카메라를 통해 촬영한 영상 데이터에 센서를 통해 측정한 측정 데이터를 오버레이(중첩)하는 정도만 기재하고 있을 뿐, 본 발명에서 제안하고 있는 감시영역에 설치되는 각각의 스마트 딥러닝 영상감시 장치에서 복수의 IoT 디바이스로부터 수신되는 재난환경 메타데이터를 연계하여 재난상황의 발생을 인식하는 것도 아니며, 재난환경에 따라 복합적으로 발생되는 복합 이벤트의 발생을 확인하는 방법 또한 전혀 기재되어 있지 않아 상기 선행기술과 본 발명은 분명한 차이점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 감시영역에 각각 설치되는 스마트 딥러닝 영상감시 장치에서, 상기 감시영역 내에 설치되는 복수의 IoT 디바이스로부터 수신되는 재난환경 메타데이터를 연계하여 특정 재난상황의 발생을 신속하고 정확하게 인식함으로써 상기 재난상황에 대한 신속한 대처를 수행할 수 있도록 하는 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템을 제공하는 것을 그 목적으로 한다.
또한 본 발명은 복수의 IoT 디바이스로부터 수신한 재난환경 메타데이터를 활용하여 재난환경에서 발생되는 복합 이벤트를 확인하고, 확인한 복합 이벤트를 통해 개별적인 이벤트간의 연관관계를 분석함으로써 특정 재난상황을 정확하게 인식할 수 있도록 하는 스마트 딥러닝 영상감시 시스템을 제공하는 것을 또 다른 목적으로 한다.
또한 본 발명은 감시영역별로 확인한 복합 이벤트와 인식한 특정 재난상황에 따라 적합한 대응정보를 시청각적으로 제공하여 상기 특정 재난상황에 의해 인명피해를 방지할 수 있도록 하는 스마트 딥러닝 영상감시 시스템을 제공하는 것을 또 다른 목적으로 한다.
또한 본 발명은 복합 이벤트를 확인할 때, 각 이벤트별로 미리 생성한 딥러닝 학습모델, 임계값 또는 이들의 조합을 이용하여 각 이벤트의 발생을 정확하게 확인하여 특정 재난상황의 발생을 인식할 수 있도록 하는 스마트 딥러닝 영상감시 시스템을 제공하는 것을 또 다른 목적으로 한다.
또한 본 발명은 특정 재난상황의 발생을 인식할 때, 각 이벤트간의 시간적 연관관계, 장소적 연관관계, 인과관계에 따른 연관관계 또는 이들의 조합을 포함하는 이벤트간의 연관관계를 분석함으로써 재난환경 메타데이터를 연계하여 특정 재난상황의 발생을 인식하는 스마트 딥러닝 영상감시 시스템을 제공하는 것을 또 다른 목적으로 한다.
또한 본 발명은 복합 이벤트의 발생이 확인되고, 특정 재난상황의 발생이 인식되면 관제서버로 전송하여 상기 복합 이벤트가 발생한 각각의 위치정보, 각 이벤트의 종류 및 재난상황의 종류에 따라 대피경로, 대처행동 또는 이들의 조합을 포함하는 비상 방송을 감시영역별로 각각 수행할 수 있도록 하는 스마트 딥러닝 영상감시 시스템을 제공하는 것을 또 다른 목적으로 한다.
본 발명의 일 실시예에 따른 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템은 적어도 두개 이상의 IoT 디바이스로부터 수신한 재난환경 메타데이터로부터 재난환경에서 발생되는 복합 이벤트를 감지하는 복합 이벤트 감지부 및 상기 감지한 복합 이벤트를 확인하여 특정 재난상황의 발생을 인식하는 재난상황 인식부를 포함하며, 상기 복합 이벤트를 통해 재난환경에서 복합적으로 발생될 수 있는 적어도 두개 이상의 개별적인 이벤트간의 연관관계를 분석함으로써 상기 재난환경 메타데이터를 연계하여 상기 특정 재난상황의 발생을 인식하는 것을 특징으로 한다.
또한 상기 재난환경 메타데이터는 상기 IoT 디바이스의 식별자, 상기 IoT 디바이스에 구비된 적어도 하나 이상의 센서를 통해 감지한 적어도 하나 이상의 이벤트, 상기 각 이벤트가 발생한 위치정보와 시간정보, 상기 각 센서에서 측정한 측정값 또는 이들의 조합을 포함하는 것을 특징으로 한다.
또한 상기 재난상황 인식부는 상기 복합 이벤트가 감지되면, 상기 이벤트별로 사전에 저장한 딥러닝 학습모델에 감시영역을 촬영한 영상을 입력하여 상기 각 딥러닝 학습모델의 출력결과에 따라 상기 감지한 복합 이벤트를 구성하는 적어도 두개 이상의 개별적인 이벤트를 확인하는 복합 이벤트 감지부 및 상기 확인한 적어도 두개 이상의 개별적인 이벤트간의 연관관계를 분석하는 연관관계 분석부를 더 포함하는 것을 특징으로 한다.
또한 상기 연관관계 분석부는 상기 적어도 두개 이상의 이벤트가 발생한 시간 순서에 따른 시간적 연관관계를 분석하거나, 상기 적어도 두개 이상의 이벤트 중 특정 이벤트를 원인으로 또 다른 이벤트가 발생하는 인과관계에 따른 연관관계를 분석하거나, 상기 적어도 두개 이상의 이벤트가 동일한 장소에서 발생하는 것인지에 대한 장소적 인과관계를 분석하거나 또는 이들의 조합을 분석함으로써 상기 이벤트간의 연관관계를 분석하는 것을 특징으로 한다.
또한 상기 스마트 딥러닝 영상감시 시스템은, 상기 확인한 복합 이벤트, 상기 인식한 특정 재난상황, 상기 확인한 복합 이벤트가 발생한 각 위치정보와 시간정보 또는 이들의 조합을 포함하는 재난정보를 관제서버, 관리자 단말 또는 이들의 조합으로 제공하는 재난정보 제공부 및 상기 확인한 복합 이벤트가 발생한 각 위치정보 및 상기 인식한 특정 재난상황에 따른 대피경로, 대처사항 또는 이들의 조합에 대한 비상 방송을 수행하는 비상 방송부를 더 포함하는 것을 특징으로 한다.
아울러 본 발명의 일 실시예에 따른 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 방법은 적어도 두개 이상의 IoT 디바이스로부터 수신한 재난환경 메타데이터로부터 재난환경에서 발생되는 복합 이벤트를 감지하는 복합 이벤트 감지 단계 및 상기 감지한 복합 이벤트를 확인하여 특정 재난상황의 발생을 인식하는 재난상황 인식 단계를 포함하는 것을 특징으로 한다.
또한 상기 재난상황 인식 단계는 상기 복합 이벤트가 감지되면, 상기 이벤트별로 사전에 저장한 딥러닝 학습모델에 감시영역을 촬영한 영상을 각각 입력하여 상기 각 딥러닝 학습모델의 출력결과에 따라 상기 감지한 복합 이벤트를 구성하는 적어도 두개 이상의 개별적인 이벤트를 확인하는 복합 이벤트 감지 단계 및 상기 확인한 적어도 두개 이상의 개별적인 이벤트간의 연관관계를 분석하는 연관관계 분석 단계를 더 포함하는 것을 특징으로 한다.
또한 상기 연관관계 분석 단계는 상기 확인한 적어도 두개 이상의 이벤트가 발생한 시간 순서에 따른 시간적 연관관계를 분석하거나, 상기 확인한 적어도 두개 이상의 이벤트 중 특정 이벤트를 원인으로 또 다른 이벤트가 발생하는 인과관계에 따른 연관관계를 분석하거나, 상기 확인한 적어도 두개 이상의 이벤트가 동일한 장소에서 발생하는 것인지에 대한 장소적 인과관계를 분석하거나 또는 이들의 조합을 분석함으로써 상기 이벤트간의 연관관계를 분석하는 것을 특징으로 한다.
또한 상기 스마트 딥러닝 영상감시 방법은 상기 확인한 복합 이벤트, 상기 인식한 특정 재난상황, 상기 확인한 복합 이벤트가 발생한 각 위치정보와 시간정보 또는 이들의 조합을 포함하는 재난정보를 관제서버, 관리자 단말 또는 이들의 조합으로 제공하는 재난정보 제공 단계 및 상기 확인한 복합 이벤트가 발생한 각 위치정보 및 상기 인식한 특정 재난상황에 따른 대피경로, 대처사항 또는 이들의 조합에 대한 비상 방송을 수행하는 비상 방송 단계를 더 포함하는 것을 특징으로 한다.
이상에서와 같이 본 발명의 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템은 각 감시영역 내에 설치되는 복수의 IoT 디바이스로부터 수신되는 재난환경 메타데이터로부터 재난환경에서 발생될 수 있는 복합 이벤트의 발생을 확인하고, 상기 확인한 복합 이벤트의 개별적인 이벤트간의 연관관계를 분석함으로써, 상기 재난환경 메타데이터를 연계하여 특정 재난상황의 발생을 인식하여 신속한 대처를 수행할 수 있도록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템을 설명하기 위해 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 재난환경 메타데이터의 전송포맷을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 IoT 디바이스의 구성을 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 시간적 연관관계를 분석하는 방법을 설명하기 위해 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 인과관계에 따른 연관관계를 분석하는 방법을 설명하기 위해 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 장소적 인관관계를 분석하는 방법을 설명하기 위해 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 장치의 구성을 나타낸 블록도이다.
도 8은 본 발명의 일 실시예에 따른 재난환경 메타데이터를 연계하여 재난상황을 인식하는 스마트 딥러닝 영상감시 방법에 대한 절차를 나타낸 흐름도이다.
이하, 첨부한 도면을 참조하여 본 발명의 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템에 대한 바람직한 실시예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.
도 1은 본 발명의 일 실시예에 따른 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템을 설명하기 위해 나타낸 개념도이다.
도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템(10)은 감시영역에 설치되는 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 장치(100)(이하 스마트 영상감시 장치라 칭함), 상기 각 감시영역 내에 설치되는 복수의 IoT 디바이스(200), 관제서버(300) 및 데이터베이스(400)를 포함하여 구성된다.
스마트 딥러닝 영상감시 장치(100)는 각 감시영역별로 설치되며 해당 감시영역 내에 설치되는 복수의 IoT 디바이스(200)로부터 재난환경 메타데이터를 수신하여 상기 감시영역에서 특정 재난상황의 발생을 인식한다.
또한 IoT 디바이스(200)는 적어도 하나 이상의 센서와 유무선 통신기능을 구비하며, 상기 센서는 재난환경에서 발생되는 이벤트(즉, 재난환경과 관련되어 발생될 수 있는 상황)의 발생을 감지하기 위해 구비된다.
예를 들어, 상기 IoT 디바이스(200)는 상기 칩임(무단 침입)을 감지하기 위한 센서(움직임 감지센서), 불꽃이나 연기를 감지하기 위한 센서(불꽃 감지센서, 연기감지센서), 이산화탄소의 발생을 감지하기 위한 센서(이산화탄소 감지센서), 유독가스를 감지하기 위한 센서(유독가스 감지센서), 진동을 감지하기 위한 센서(진동 감지센서), 흔들림을 감지하기 위한 센서(흔들림 감지센서), 물의 깊이 혹은 유속을 감지하기 위한 센서(물 깊이 감지센서 혹은 유속 감지센서) 등과 같이, 화재, 지진, 홍수, 침입 등을 포함하여 재난환경과 관련된 다양한 이벤트를 감지하기 위한 적어도 하나 이상의 센서를 포함하여 구성된다.
또한 IoT 디바이스(200)는 센서를 통해 적어도 하나 이상의 이벤트의 발생을 감지하고 상기 감지한 이벤트에 대한 재난환경 메타데이터를 생성하여 스마트 딥러닝 영상감시 장치(100)로 제공한다.
여기서 재난환경 메타데이터는, IoT 디바이스(200)의 식별자, 감지한 적어도 하나 이상의 이벤트, 상기 각 이벤트가 발생한 시간정보와 위치정보, 상기 각 센서에서 측정한 측정값 또는 이들의 조합을 포함하여 구성된다.
예를 들어, 각 IoT 디바이스(200)가 불꽃 감지센서, 연기 감지센서, 움직임 감지센서 및 온도 센서 등을 포함하여 화재와 관련된 센서를 각각 포함하고 있는 경우, 상기 각 IoT 디바이스(200)로부터 수신한 재난환경 메타데이터에 포함된 감지한 이벤트는 불꽃, 연기, 움직임, 온도증가를 각각 포함하며, 이벤트를 감지한 시간정보는 상기 불꽃, 연기, 움직임, 온도증가를 감지한 시간으로 각각 구성되고, 측정값은 온도값이 된다. 이때, 위치정보는 상기 IoT 디바이스(200)의 위치정보로 활용되거나 상기 각 센서의 위치정보로 활용될 수 있다.
또 다른 예로써, 각 IoT 디바이스(200)가 진동 감지센서, 흔들림 감지센서 등을 포함하여 지진과 관련된 센서를 각각 구비하고 있는 경우, 각 IoT 디바이스(200)로부터 수신한 각 재난환경 메타데이터에 포함된 감지한 각 이벤트는 진동, 흔들림으로 각각 구성되며, 각 시간정보는 진동을 감지한 시간, 흔들림을 감지한 시간으로 각각 구성되며, 측정값은 진동값으로 구성된다.
또 다른 예로써, 각 IoT 디바이스(200)가 강우량 센서, 유속 감지센서, 깊이 감지센서 등을 포함하여 홍수와 관련된 센서를 각각 구비하고 있는 경우, 각 IoT 디바이스(200)로부터 수신한 재난환경 메타데이터에 포함된 감지한 각 이벤트는 강우, 유속 증가, 깊이 증가로 각각 구성될 수 있으며, 각 시간정보는 강우 시간, 유속이 증가한 것을 감지한 시간, 깊이가 증가한 것을 감지한 시간으로 각각 구성될 수 있고, 측정값은 강우량, 유속, 깊이값으로 각각 구성될 수 있다.
또 다른 예로써, 각 IoT 디바이스(200)가 움직임 감지 센서 등을 포함하여 침입과 관련된 센서를 각각 구비하고 있는 경우, 각 IoT 디바이스(200)로부터 수신한 재난환경 메타데이터에 포함된 감지한 각 이벤트는 움직임으로 구성될 수 있으며, 시간정보는 움직임을 감지한 시간으로 구성되고, 측정값은 없을 수 있다.
또한 스마트 딥러닝 영상감시 장치(100)는 두개 이상의 복수의 IoT 디바이스(200)로부터 재난환경 메타데이터가 수신되면, 상기 수신한 재난환경 메타데이터에 포함된 이벤트를 참조하여 해당 감시영역에서 적어도 두개 이상의 이벤트를 포함하는 복합 이벤트의 발생을 감지한다.
또한 스마트 딥러닝 영상감시 장치(100)는 상기 확인한 복합 이벤트를 구성하는 적어도 두개 이상의 개별적인 이벤트에 대한 발생을 확인한다.
상기 확인은 상기 각 이벤트별로 사전에 저장한 딥러닝 학습모델, 상기 각 이벤트에 상응하는 측정값의 임계값 초과여부 또는 이들의 조합을 통해 수행된다.
즉, 스마트 딥러닝 영상감시 장치(100)는 재난환경 메타데이터가 수신되면, 해당 재난환경 메타데이터에 포함된 이벤트가 영상으로 확인할 수 있는 것(예: 불꽃, 연기, 움직임 등)이면 해당 이벤트에 대해 사전에 저장한 각 딥러닝 학습모델에 감시영역을 촬영한 영상을 입력하여 상기 딥러닝 학습모델의 출력결과에 따라 해당 이벤트의 발생을 확인한다. 한편 재난환경 메타데이터에 포함된 이벤트가 영상으로 확인할 수 없는 것(예: 온도증가, 진동발생)이면, 해당 이벤트에 상응하는 측정값(예: 온도값, 진동값)이 사전에 설정한 임계값을 초과하는 것을 확인함으로써, 해당 이벤트의 발생을 확인한다.
딥러닝 학습모델은 이벤트별로 사전에 촬영한 복수의 영상을 다양한 인공지능 알고리즘을 통해 기계학습하여 해당 이벤트가 발생한 것을 인식하기 위한 것으로, 입력은 감시영역을 촬영한 영상이며 출력은 이벤트 발생에 대한 확률이다. 따라서 스마트 딥러닝 영상감시 장치(100)는 딥러닝 학습모델의 출력결과가 사전에 설정한 확률을 초과하면 감시영역에서 해당 이벤트가 발생한 것으로 판단함으로써 상기 이벤트의 발생을 확인하게 된다.
또한 스마트 딥러닝 영상감시 장치(100)는 확인한 각 이벤트간의 연관관계를 분석하여 해당 감시영역에서 발생한 특정 재난상황을 인식한다.
여기서, 연관관계는 각 이벤트간의 시간적 연관관계, 상기 각 이벤트간의 원인관계에 따른 연관관계 및 확인한 이벤트와 해당 이벤트가 발생한 장소간의 장소적 연관관계를 포함한다.
또한 시간적 연관관계를 분석하는 것은 어떠한 이벤트가 발생하고 이어서 일어나는 이벤트간의 관계를 분석하는 것을 의미하는 것으로, 예를 들어 특정 재난상황이 침입이라고 가정하면 각 IoT 디바이스(200)에서 수신한 재난환경 메타데이터에 포함된 이벤트가 움직임이고, 움직임이 감지된 위치정보가 침입 대상이 되는 장소(예: 건물)와 점진적으로 가까워지고 시간정보가 먼 위치부터 가까운 위치의 순서인 경우, 해당 장소에 침입이 발생한 것을 인식하게 된다. 이때, 이벤트(즉, 움직임)를 확인하기 위해, 해당 감시영역을 촬영한 영상을 해당 이벤트에 대한 딥러닝 학습모델에 입력하여 해당 딥러닝 학습모델의 출력결과에 따라 상기 이벤트를 각각 확인하여 상기 침입을 인식한다.
또한 각 이벤트간의 원인관계에 따른 연관관계를 분석하는 것은 특정 이벤트를 원인으로 다른 이벤트가 발생하는 관계를 분석하는 것을 의미하는 것으로, 예를 들어, 화재의 경우 불꽃으로 인해 특정 물질이 연소되어 연기, 이산화탄소 혹은 유독가스가 발생될 수 있다. 즉, 연기, 이산화탄소 혹은 유독가스는 불꽃을 원인으로 발생될 수 있는 것이다. 따라서 스마트 딥러닝 영상감시 장치(100)는 재난환경 메타데이터에 포함된 이벤트가 불꽃, 연기, 이산화탄소 발생을 포함하면 해당 불꽃과 연기의 발생(즉, 이벤트의 발생)을 확인하기 위한 딥러닝 학습모델에 영상을 입력하여 불꽃과 연기의 발생을 확인하고, 이산화탄소의 측정값이 사전에 설정한 임계값을 초과하면 이산화탄소가 발생한 것으로 확인한다. 이후, 상기 확인한 연기 및 이산화탄소의 발생은 상기 확인한 불꽃의 발생과 인과관계가 있으므로 해당 감시영역에서 화재(즉, 재난상황)가 발생한 것으로 인식한다.
또한 장소적 연관관계를 분석하는 것은 두개 이상의 이벤트가 발생될 수 있는 장소에서 발생되고 두개 이상의 이벤트가 동일한 장소에서 발생한 것인지에 대한 관계를 분석하는 것을 의미하는 것으로, 각 재난환경 메타데이터에 포함된 이벤트가 강우, 유속 증가, 깊이 증가고 상기 각 재난환경 메타데이터에 포함된 위치정보가 하천이나 하수구에 대한 위치이면 스마트 딥러닝 영상감시 장치(100)는 해당 감시구역에서 홍수가 발생한 것으로 인식한다. 이때, 강우, 유속 증가, 깊이 증가와 같은 이벤트는 영상으로 확인하는 것이 어려우므로 스마트 딥러닝 영상감시 장치(100)는 상기 각 이벤트에 대응하는 측정값(강우량, 유속, 깊이값)이 사전에 설정한 각 임계값을 초과하는 것이 확인되면 상기 각 이벤트의 발생을 확인하여 각 이벤트간의 연관관계 분석을 통해 홍수가 발생한 것을 인식하게 된다.
즉, 스마트 딥러닝 영상감시 장치(100)는 복수의 IoT 디바이스(200)로부터 재난환경 메타데이터를 수신하고, 상기 수신한 재난환경 메타데이터로부터 감시영역에서 발생한 적어도 하나 이상의 이벤트를 포함하는 복합 이벤트의 발생을 확인하고, 상기 확인한 복합 이벤트의 개별적인 이벤트간의 연관관계를 분석함으로써 상기 재난환경 메타데이터를 연계하여 상기 감시영역에 대한 특정 재난상황의 발생을 정확하게 인식하는 것이다.
또한 스마트 딥러닝 영상감시 장치(100)는 복합 이벤트가 확인되고 특정 재난상황의 발생을 인식하면 상기 확인한 복합 이벤트에 대한 각 위치정보와 시간정보, 스마트 딥러닝 영상감시 장치(100)의 위치정보, 복합 이벤트를 구성하는 개별적인 이벤트의 종류, 특정 재난상황의 종류, 상기 복합 이벤트를 확인할 때 이용한 감시영역을 촬영한 영상 또는 이들의 조합을 포함하는 재난정보를 관제서버(300)에 제공하고, 상기 복합 이벤트의 위치정보와 상기 인식한 특정 재난상황에 따라 대피경로, 대처사항 또는 이들의 조합을 포함하는 비상 방송을 자체적으로 수행한다.
또한 관제서버(300)는 재난정보가 수신되면 상기 재난정보를 관리자와 소방서, 병원, 경찰서 등을 포함하는 재난대응 기관에 제공하여 신속한 대처를 수행할 수 있도록 한다.
또한 관제서버(300)는 이벤트별 딥러닝 학습모델을 생성하고 상기 생성한 각 이벤트별 딥러닝 학습모델을 스마트 딥러닝 영상감시 장치(200)로 제공한다. 상기 딥러닝 학습모델은 사전에 수집한 이벤트별 영상을 각각 기계학습함으로써 생성된다. 상기 딥러닝 학습모델은 CNN(convolutional neural network) 등을 이용하여 기계학습을 수행하며, 본 발명에서는 기계학습을 수행하는 방법에 대해서는 제한을 두지 않는다.
또한 데이터베이스(400)는 재난정보, 기계학습을 위한 각 이벤트별 영상, 각 이벤트별 딥러닝 학습모델 등을 포함하여 다양한 정보나 데이터를 저장하는 기능을 수행한다.
도 2는 본 발명의 일 실시예에 따른 재난환경 메타데이터의 전송포맷을 나타낸 도면이다.
도 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 재난환경 메타데이터는 스마트 딥러닝 영상감시 장치(100)가 설치된 감시영역 내에 설치되는 복수의 IoT 디바이스(200)에서 생성되어 상기 스마트 딥러닝 영상감시 장치(100)로 전송된다. 이때, 재난환경 메타데이터는 상기 스마트 딥러닝 영상감시 장치(100)와 통신하기 위한 통신방법에 따른 전송포맷으로 변환되어 전송된다.
또한 재난환경 메타데이터의 전송포맷은 IoT 디바이스의 식별자 필드, 이벤트 필드, 측정값 필드, 위치정보 필드 및 시간정보 필드를 포함하여 구성된다.
IoT 디바이스의 식별자 필드는 IoT 디바이스(200)를 식별하기 위한 식별자(ID)가 삽입되는 영역이다.
또한 이벤트 필드는 IoT 디바이스(200)가 구비한 적어도 하나 이상의 센서를 통해 감지한 적어도 하나 이상의 이벤트가 삽입되는 영역이다. 상기 이벤트에 대해서는 도 1을 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략한다.
또한 측정값 필드는 IoT 디바이스(200)가 구비한 적어도 하나 이상의 센서에서 측정한 측정값이 삽입되는 영역이다.
또한 위치정보 필드는 IoT 디바이스(200)가 감지한 이벤트가 발생한 위치정보가 삽입되는 영역이며, 시간정보 필드는 IoT 디바이스(200)가 감지한 이벤트를 발생한 시간정보가 삽입되는 영역이다.
즉, 재난환경 메타데이터는 IoT 디바이스(200)의 식별자, 위치정보, IoT 디바이스(200)가 감지한 적어도 하나 이상의 이벤트, 각 이벤트가 발생한 위치정보와 시간정보, 각 센서에서 측정한 측정값 또는 이들의 조합을 포함하는 것이다.
도 3은 본 발명의 일 실시예에 따른 IoT 디바이스의 구성을 나타낸 블록도이다.
도 3에 도시한 바와 같이, 본 발명의 일 실시예에 따른 IoT 디바이스(200)는 적어도 하나 이상의 센서를 포함하는 센서부(210), 상기 각 센서를 통해 감지한 결과에 따라 적어도 하나 이상의 이벤트를 감지하는 이벤트 감지부(220), 상기 감지한 이벤트에 대한 재난환경 메타데이터를 생성하는 재난환경 메타데이터 생성부(230), 통신부(240) 및 메모리(250)를 포함하여 구성된다.
센서부(210)는 이벤트의 발생을 감지하기 위해 구비되는 것으로 적어도 하나 이상으로 구성된다. 도 3에는 각 센서가 IoT 디바이스(200)에 탑재되는 것으로 나타나 있으나 IoT 디바이스(200)의 외부에 설치되어 IoT 디바이스(200)와 연결되어 감지결과를 제공하는 형태로 구현될 수도 있다.
또한 이벤트 감지부(220)는 센서부(210)를 구성하는 각 센서의 감지결과에 따라 상기 감시영역 내에서 적어도 하나 이상의 이벤트가 발생한 것을 감지하는 기능을 수행한다. 상기 이벤트를 감지하는 것은 도 1을 참조하여 설명하였으므로 여기서는 생략한다.
또한 재난환경 메타데이터 생성부(230)는 감지한 이벤트에 대한 재난환경 메타데이터를 생성하는 기능을 수행하며, 통신부(240)는 상기 생성한 재난환경 메타데이터를 스마트 딥러닝 영상감시 장치(100)로 전송하는 기능을 수행한다.
이때, 재난환경 메타데이터에 포함되는 위치정보의 경우, 적어도 하나 이상의 센서가 해당 IoT 디바이스(200)에 구성되는 경우, 해당 IoT 디바이스(200)의 위치정보로 구성되며, 상기 각 센서가 IoT 디바이스(200)의 외부에 설치되어 연결되는 경우에는 각 센서의 위치정보로 구성된다.
또한 통신부(240)는 재난환경 메타데이터를 스마트 딥러닝 영상감시 장치(100)와의 통신방법에 적합한 전송포맷으로 변환하여 상기 스마트 딥러닝 영상감시 장치(100)로 전송한다.
또한 메모리(250)는 IoT 디바이스(200)의 위치정보, 각 센서별 위치정보, 재난환경 메타데이터를 생성하는 방법 등을 포함하여 IoT 디바이스(200)의 동작에 관련한 정보를 저장하는 기능을 수행한다.
도 4는 본 발명의 일 실시예에 따른 시간적 연관관계를 분석하는 방법을 설명하기 위해 나타낸 도면이다.
도 4에 도시한 바와 같이, 본 발명의 일 실시예에 따른 스마트 딥러닝 영상감시 장치(100)는 적어도 두개 이상의 IoT 디바이스(200)로부터 수신한 재난환경 메타데이터로부터 재난환경에서 발생되는 복합 이벤트를 확인하고, 확인한 복합 이벤트를 통해 두개 이상의 개별적인 이벤트간의 시간적 연관관계, 인과관계에 따른 연관관계, 장소적 연관관계 또는 이들의 조합을 포함하는 연관관계 정보를 생성하고, 상기 생성한 연관관계 정보를 분석하여 특정 재난상황의 발생을 인식한다.
이때, 시간적 연관관계는 두개 이상의 개별적인 이벤트가 발생한 시간적인 관계를 의미하며, 시간적 연관관계를 분석하는 것은 두개 이상의 각 이벤트가 발생한 순서를 분석하여 특정 재난상황의 발생을 인식하는 것을 의미한다.
예를 들어, 두 개 이상의 IoT 디바이스(200)로부터 수신한 재난환경 메타데이터에 포함된 각 이벤트가 움직임이라고 하면 스마트 딥러닝 영상감시 장치(200)는 사람을 인식하기 위한 딥러닝 학습모델(즉, 움직임 이벤트에 대한 딥러닝 학습모델)을 로딩하여 상기 감시영역을 촬영한 영상을 해당 딥러닝 학습모델이 입력함으로써 해당 이벤트의 발생을 확인한다.
또한 스마트 딥러닝 영상감시 장치(200)는 확인한 각 이벤트가 시간 순서대로 발생되고 상기 이벤트가 발생한 위치정보가 상기 시간 순서에 따라 특정 장소(예: 침입을 감지하기 위한 장소)에 점진적으로 가까워지면 스마트 딥러닝 영상감시 장치(200)는 해당 장소에서 특정 재난상황(즉, 침입)이 발생한 것으로 인식하게 된다.
도 5는 본 발명의 일 실시예에 따른 인과관계에 따른 연관관계를 분석하는 방법을 설명하기 위해 나타낸 도면이다.
도 5에 도시한 바와 같이, 본 발명의 일 실시예에 따른 스마트 딥러닝 영상감시 장치(100)는 두개 이상의 IoT 디바이스(200)로부터 수신한 재난환경 메타데이터에 따라 확인한 복합 이벤트에서 두개 이상의 개별적인 이벤트간의 인과관계에 따른 연관관계를 분석하여 특정 재난상황의 발생을 인식한다.
이때, 인과관계에 따른 연관관계는 각 이벤트간의 인과관계를 의미하며 인과관계에 따른 연관관계를 분석하는 것은 두개 이상의 각 이벤트에서 특정 이벤트가 또 다른 이벤트를 원인으로 발생되는 것(즉, 결과)인지를 분석하여 특정 재난상황의 발생을 인식하는 것을 의미한다.
예를 들어, 두개 이상의 IoT 디바이스(200)로부터 수신한 재난환경 메타데이터를 확인한 복합 이벤트를 구성하는 개별적인 이벤트가 불꽃, 연기 및 유독가스라고 가정하면, 스마트 딥러닝 영상감시 장치(100)는 불꽃을 원인으로 연기가 발생한 것으로 판단하고, 상기 불꽃을 원인으로 유독가스가 발생한 것으로 판단함으로써 해당 감시영역에서 화재가 발생한 것으로 인식한다.
이때, 각 이벤트(즉, 불꽃, 연기 및 유독가스)의 발생을 확인하는 것은, 해당 이벤트에 대한 딥러닝 학습모델(불꽃에 대한 딥러닝 학습모델, 연기에 대한 딥러닝 학습모델을 이용함으로서 수행됨은 상술한 바와 같다. 여기서 유독가스는 영상을 통해서 확인하는 것이 어려우므로 재난환경 메타데이터에 포함된 상기 유독가스에 대한 측정값이 사전에 설정한 임계값을 초과하면 유독가스가 발생한 것으로 확인하게 된다.
도 6은 본 발명의 일 실시예에 따른 장소적 인관관계를 분석하는 방법을 설명하기 위해 나타낸 도면이다.
도 6에 도시한 바와 같이, 본 발명의 일 실시예에 따른 스마트 딥러닝 영상 감시 장치(100)는 두개 이상의 IoT 디바이스(200)로부터 수신한 재난환경 메타데이터에 따라 확인한 복합 이벤트에서 두개 이상의 개별적인 이벤트간의 장소적 연관관계를 분석하여 특정 재난상황의 발생을 인식한다.
이때, 장소적 연관관계는 각 이벤트가 발생될 수 있는 장소적인 관계를 의미하며, 장소적 연관관계를 분석하는 것은 두개 이상의 이벤트가 특정 장소와 관련되어 동일한 장소에서 발생되었는지를 분석하여 특정 재난상황의 발생을 인식하는 것을 의미한다.
예를 들어, 두개 이상의 IoT 디바이스(200)로부터 수신한 재난환경 메타데이터를 확인한 복합 이벤트를 구성하는 개별적인 이벤트가 유속 증가 및 깊이 증가라고 가정하면, 스마트 딥러닝 영상감시 장치(100)는 상기 각 이벤트(유속 증가 및 깊이 증가)를 확인하여 상기 확인한 각 이벤트가 동일한 위치(즉, 하천 또는 하수구 등)에서 발생되고 상기 각 이벤트가 상기 장소와 관련되어 있는 것이라면 해당 감시영역에서 특정 재난상황(예: 홍수)이 발생한 것으로 인식한다.
이때, 유속 증가 및 깊이 증가의 발생을 확인하는 것은 영상을 통해서 확인하는 것이 어려우므로 스마트 딥러닝 영상감시 장치(200)는 재난환경 메타데이터에 포함된 상기 유속에 대한 측정값과 깊이에 대한 측정값이 사전에 설정한 임계값을 각각 초과하면 유속 증가 및 깊이 증가에 대한 이벤트가 각각 발생한 것으로 확인한다.
도 7은 본 발명의 일 실시예에 따른 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 장치의 구성을 나타낸 블록도이다.
도 7에 도시한 바와 같이, 본 발명의 일 실시예에 따른 스마트 딥러닝 영상감시 장치(100)는 감시영역을 실시간으로 촬영하는 촬영부(110), IoT 디바이스(200)로부터 재난환경 메타데이터를 수신하는 재난환경 메타데이터 수신부(120), 상기 수신한 재난환경 메타데이터로부터 복합 이벤트를 감지하는 복합 이벤트 감지부(130), 상기 감지한 복합 이벤트를 확인하여 상기 감시영역에서 특정 재난상황의 발생을 인식하는 재난상황 인식부(140), 상기 인식한 결과를 포함하는 재난정보를 관제서버(300)로 제공하는 재난정보 제공부(150), 비상 방송부(160) 및 메모리(170)를 포함하여 구성된다.
또한 촬영부(110)는 감시용 카메라로 구성되어 감시영역을 실시간으로 촬영하여 영상을 획득하는 기능을 수행한다. 이때, 상기 영상은 관제서버(300)로 전송되며, 상기 관제서버(300)는 상기 영상을 통해 해당 감시영역에 대한 일반적인 관제를 수행할 수 있다.
또한 재난환경 메타데이터 수신부(120)는 감시영역 내에 설치되는 적어도 두개 이상의 IoT 디바이스(200)로부터 재난환경 메타데이터를 수신한다.
또한 복합 이벤트 감지부(130)는 재난환경 메타데이터로부터 재난환경에서 발생되는 적어도 두개 이상의 이벤트를 포함하는 복합 이벤트를 감지하는 기능을 수행한다.
이때, 복합 이벤트를 감지하는 것은 각 재난환경 메타데이터에 포함된 각각의 이벤트를 참조함으로써 수행되는 것으로 해당 감기영역에서 복합 이벤트가 발생한 것을 1차적으로 확인하기 위해 수행된다.
또한 재난상황 인식부(140)는 복합 이벤트 감지부(130)를 통해 감지한 복합 이벤트가 실제 발생되었는지 여부를 정밀하게 확인하고, 상기 확인한 복합 이벤트에 포함된 적어도 두개 이상의 개별적인 이벤트간의 연관관계를 분석하여 상기 재난환경 메타데이터를 연계함으로써 감시영역에서 특정 재난상황의 발생을 인식하는 기능을 수행하는 것으로, 상기 감지한 복합 이벤트를 확인(자세하게는 복합 이벤트의 발생을 확인)하는 복합 이벤트 확인부(141) 및 상기 확인한 복합 이벤트의 각 이벤트간의 연관관계를 분석하여 상기 특정 재난상황의 발생을 인식하도록 하는 연관관계 분석부(142)를 포함하여 구성된다.
또한 복합 이벤트 확인부(141)는 사전에 메모리(170)에 저장한 각 이벤트별 딥러닝 학습모델을 이용하여 각 이벤트를 확인한다.
이때, 복합 이벤트 확인부(141)는 감지한 이벤트가 영상으로 확인할 수 있는 것이면, 각 이벤트에 대한 딥러닝 학습모델을 메모리(170)로부터 로딩하고, 상기 로딩한 딥러닝 학습모델에 촬영한 영상을 입력함으로써 상기 감지한 이벤트를 확인한다.
한편, 복합 이벤트 확인부(141)는 기본적으로 각 이벤트별로 사전에 저장한 딥러닝 학습모델을 통해 감지한 이벤트를 확인하지만, 상기 감지한 이벤트가 영상으로 확인할 수 없는 경우, 즉 수치적으로만 확인 가능한 경우에는 재난환경 메타데이터에 포함된 각 이벤트별에 상응하는 각 측정값이 각 이벤트별로 사전에 설정한 임계값을 초과하는지를 판단하여 상기 감지한 이벤트를 확인한다.
즉, 복합 이벤트 확인부(141)는 해당 감시영역에서 이벤트가 발생한 것을 최종적으로 확인하기 위해 수행되는 것이다.
또한 연관관계 분석부(142)는 확인한 각 이벤트와 해당 이벤트에 대한 재난환경 메타데이터를 이용하여 두개 이상의 개별적인 이벤트간의 연관관계 정보를 생성하고 상기 생성한 연관관계 정보에 따라 상기 개별적인 이벤트간의 연관관계를 분석하여 특정 재난상황의 발생을 인식하는 기능을 수행한다. 한편 상기 연관관계정보는 복수의 이벤트를 감지한 IoT 디바이스(200)에서 생성되어 제공될 수도 있다.
한편 연관관계를 분석하는 것은 이벤트간의 시간적 연관관계, 인과관계에 따른 연관관계, 장소적 연관관계 또는 이들의 조합을 분석하는 것으로, 도 4 내지 도 6을 참조하여 상세히 설명하였으므로 더 이상의 상세한 설명은 생략하도록 한다.
또한 재난정보 제공부(150)는 확인한 복합 이벤트, 인식한 재난상황, 상기 복합 이벤트를 구성하는 개별적인 이벤트가 발생한 위치정보와 시간정보 또는 이들의 조합을 포함하는 재난정보를 구성하여 관제서버(300)로 제공하는 기능을 수행한다. 이를 통해 관제서버(300)는 관리자나 재난대응 기관으로 상기 재난정보를 제공하여 신속한 대처를 수행할 수 있도록 한다.
여기서 개별적인 이벤트가 발생한 위치정보는 확인한 복합 이벤트의 개별적인 이벤트를 감지하여 해당 이벤트에 대한 재난환경 메타데이터를 전송한 IoT 디바이스(200)의 위치정보이거나 각 센서의 위치정보이다.
또한 비상 방송부(160)는 확인한 복합 이벤트가 발생한 각각의 위치(즉, 개별적인 이벤트가 발생한 위치)와 인식한 특정 재난상황에 따라 대피경로, 대처사항 또는 이들의 조합을 포함하는 비상 방송을 수행한다. 이때 비상 방송은 스마트 딥러닝 영상감시 장치(100)에 구비되거나 연결되는 스피커, 디지털 사이니지 또는 이들의 조합을 통해 수행된다.
한편 비상 방송부(160)는 자체적으로 비상 방송을 수행하는 것이 바람직 하지만, 재난정보를 확인한 관제서버(300)에서 대피경로, 대처사항 또는 이들이 조합을 포함하는 비상 방송 정보가 수신되면 상기 수신한 비상 방송 정보에 따라 상기 비상 방송을 수행할 수 도 있다. 왜냐하면 해당 스마트 딥러닝 영상감시 장치(100)에서 재난상황의 발생을 인식하지 않았으나 인접한 스마트 딥러닝 영상감시 장치(100)에서 재난상황이 발생된 것이 인식되는 경우 해당 감시영역에 대한 비상 방송도 동시에 수행해야할 필요가 있기 때문이다.
또한 메모리(170)는 각 이벤트별 딥러닝 학습모델을 포함하여 스마트 딥러닝 영상감시 장치(100)의 동작에 필요한 각종 정보를 저장하는 기능을 수행한다.
도 8은 본 발명의 일 실시예에 따른 재난환경 메타데이터를 연계하여 재난상황을 인식하는 스마트 딥러닝 영상감시 방법에 대한 절차를 나타낸 흐름도이다.
도 8에 도시한 바와 같이, 본 발명의 일 실시예에 따른 재난환경 메타데이터를 연계하여 재난상황을 인식하는 스마트 딥러닝 영상감시 방법에 대한 절차는 우선, 스마트 딥러닝 영상감시 장치(100)는 적어도 두개 이상의 IoT 디바이스(200)로부터 재난환경 메타데이터를 수신하는 재난환경 메타데이터 수신 단계를 수행한다(S110).
재난환경 메타데이터는 각 IoT 디바이스(200)의 식별자, 위치정보, 각 IoT 디바이스(200)에서 감지한 적어도 하나 이상의 이벤트, 상기 각 이벤트에 대응하는 측정값, 상기 감지한 이벤트가 발생한 위치정보와 시간정보 또는 이들이 조합을 포함함은 상술한 바와 같다.
다음으로 스마트 딥러닝 영상감시 장치(100)는 수신한 재난환경 메타데이터로부터 재난환경에서 발생되는 적어도 두개 이상의 이벤트를 포함하는 복합 이벤트를 감지하는 복합 이벤트 감지 단계를 수행한다(S120).
즉, 복합 이벤트 감지 단계는 재난환경 메타데이터에 포함된 이벤트를 참조하여 특정 재난상황에 대한 재난환경에서 복합적으로 발생되는 적어도 두개 이상의 이벤트를 포함하는 복합 이벤트를 감지하는 것이다.
다음으로 스마트 딥러닝 영상감시 장치(100)는 감지한 복합 이벤트를 확인하고 상기 복합 이벤트가 확인되면(S140), 특정 재난상황의 발생을 인식하는 재난상황 인식 단계를 수행한다.
이때, 재난상황 인식 단계는 감지한 복합 이벤트를 확인하는 복합 이벤트 확인 단계(S130) 및 상기 확인한 복합 이벤트를 구성하는 개별적인 이벤트간의 연관관계를 분석하여 특정 재난상황의 발생을 인식하는 연관관계 분석 단계(S150)를 포함하여 구성된다.
또한 복합 이벤트 확인 단계는 각 이벤트별로 사전에 저장한 딥러닝 학습모델을 이용하여 감지한 복합 이벤트를 구성하는 각 이벤트의 발생을 확인하며, 상기 연관관계 분석 단계는 각 이벤트간의 시간적 연관관계, 인관관계에 따른 연관관계, 장소적 연관관계 또는 이들의 조합을 분석하는 것으로 상기 복합 이벤트를 확인하는 것은 도 1 및 도 7을 참조하여 설명하였고, 연관관계를 분석하는 것은 도 4 내지 도 7을 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략한다.
다음으로 스마트 딥러닝 영상감시 장치(100)는 확인한 복합 이벤트를 구성하는 이벤트, 개별적인 이벤트에 대한 위치정보 및 인식한 특정 재난상황에 따른 비상 방송을 수행하는 비상 방송 수행 단계를 수행한다(S160).
한편, S140 단계에서 복합 이벤트가 확인되지 않고 개별적인 이벤트만 확인되는 경우에도, 스마트 딥러닝 영상감시 장치(100)는 해당 이벤트에 대한 비상 방송을 수행할 수 있다(예: "특정 위치에서 특정 이벤트가 발생되어 확인 중"이라는 비상 방송).
다음으로 스마트 딥러닝 영상감시 장치(100)는 상기 확인한 복합 이벤트를 구성하는 개별적인 이벤트, 개별적인 이벤트가 발생한 위치정보와 시간정보, 인식한 특정 재난상황 또는 이들의 조합을 포함하는 재난정보를 관제서버(300), 관리자 또는 이들의 조합으로 제공하는 재난정보 제공 단계를 수행한다(S170).
이때, 스마트 딥러닝 영상감시 장치(100)는 복합 이벤트가 확인되지 않고 개별적인 이벤트만 확인되어 특정 재난상황이 발생한 것이 인식되지 않더라도 상기 확인한 개별적인 이벤트에 대한 위치정보, 시간정보 또는 이들이 조합을 관세서버(300), 관리자 또는 이들의 조합으로 제공할 수 있다. 이를 통해 해당 이벤트의 발생을 확인하고 조치할 수 있도록 한다.
이상에서 설명한 바와 같이, 본 발명은 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템에 관한 것으로, 복수의 IoT 디바이스로부터 수신되는 재난환경 메타데이터를 연계하여 재난환경에서 복합적으로 발생되는 복합 이벤트를 감지 및 인식하고, 상기 복합 이벤트를 구성하는 개별적인 이벤트간의 연관관계를 분석하여 특정 재난상황을 정확하게 인식하여 신속한 대처를 수행할 수 있도록 하는 효과가 있다.
상기에서는 본 발명에 따른 바람직한 실시예를 위주로 상술하였으나, 본 발명의 기술적 사상은 이에 한정되는 것은 아니며 본 발명의 각 구성요소는 동일한 목적 및 효과의 달성을 위하여 본 발명의 기술적 범위 내에서 변경 또는 수정될 수 있을 것이다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
10: 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템
100: 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 장치
110: 촬영부 120: 재난환경 메타데이터 수신부
130: 복합 이벤트 감지부 140: 재난상황 인식부
141: 복합 이벤트 확인부 142: 연관관계 분석부
150: 재난정보 제공부 160: 비상 방송부
170, 250: 메모리 200: IoT 디바이스
210: 센서부 220: 이벤트 감지부
230: 재난환경 메타데이터 생성부 240: 통신부
300: 관제서버 400: 데이터베이스

Claims (10)

  1. 적어도 두개 이상의 IoT 디바이스로부터 수신한 재난환경 메타데이터로부터 재난환경에서 발생되는 복합 이벤트를 감지하는 복합 이벤트 감지부; 및
    상기 감지한 복합 이벤트를 확인하여 특정 재난상황의 발생을 인식하는 재난상황 인식부;를 포함하며,
    상기 복합 이벤트를 통해 재난환경에서 복합적으로 발생될 수 있는 적어도 두개 이상의 개별적인 이벤트간의 연관관계를 분석함으로써 상기 재난환경 메타데이터를 연계하여 상기 특정 재난상황의 발생을 인식하는 것을 특징으로 하는 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템.
  2. 청구항 1에 있어서,
    상기 재난환경 메타데이터는,
    상기 IoT 디바이스의 식별자, 상기 IoT 디바이스에 구비된 적어도 하나 이상의 센서를 통해 감지한 적어도 하나 이상의 이벤트, 상기 각 이벤트가 발생한 위치정보와 시간정보, 상기 각 센서에서 측정한 측정값 또는 이들의 조합을 포함하는 것을 특징으로 하는 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템.
  3. 청구항 1에 있어서,
    상기 재난상황 인식부는,
    상기 복합 이벤트가 감지되면, 상기 이벤트별로 사전에 저장한 딥러닝 학습모델에 감시영역을 촬영한 영상을 입력하여 상기 각 딥러닝 학습모델의 출력결과에 따라 상기 감지한 복합 이벤트를 구성하는 적어도 두개 이상의 개별적인 이벤트를 확인하는 복합 이벤트 감지부; 및
    상기 확인한 적어도 두개 이상의 개별적인 이벤트간의 연관관계를 분석하는 연관관계 분석부;를 더 포함하는 것을 특징으로 하는 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템.
  4. 청구항 3에 있어서,
    상기 연관관계 분석부는,
    상기 적어도 두개 이상의 이벤트가 발생한 시간 순서에 따른 시간적 연관관계를 분석하거나, 상기 적어도 두개 이상의 이벤트 중 특정 이벤트를 원인으로 또 다른 이벤트가 발생하는 인과관계에 따른 연관관계를 분석하거나, 상기 적어도 두개 이상의 이벤트가 동일한 장소에서 발생하는 것인지에 대한 장소적 인과관계를 분석하거나 또는 이들의 조합을 분석함으로써 상기 이벤트간의 연관관계를 분석하는 것을 특징으로 하는 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템.
  5. 청구항 1에 있어서,
    상기 스마트 딥러닝 영상감시 시스템은,
    상기 확인한 복합 이벤트, 상기 인식한 특정 재난상황, 상기 확인한 복합 이벤트가 발생한 각 위치정보와 시간정보 또는 이들의 조합을 포함하는 재난정보를 관제서버, 관리자 단말 또는 이들의 조합으로 제공하는 재난정보 제공부; 및
    상기 확인한 복합 이벤트가 발생한 각 위치정보 및 상기 인식한 특정 재난상황에 따른 대피경로, 대처사항 또는 이들의 조합에 대한 비상 방송을 수행하는 비상 방송부;를 더 포함하는 것을 특징으로 하는 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템.
  6. 적어도 두개 이상의 IoT 디바이스로부터 수신한 재난환경 메타데이터로부터 재난환경에서 발생되는 복합 이벤트를 감지하는 복합 이벤트 감지 단계; 및
    상기 감지한 복합 이벤트를 확인하여 특정 재난상황의 발생을 인식하는 재난상황 인식 단계;를 포함하며,
    상기 복합 이벤트를 통해 재난환경에서 복합적으로 발생될 수 있는 적어도 두개 이상의 개별적인 이벤트간의 연관관계를 분석함으로써 상기 재난환경 메타데이터를 연계하여 상기 특정 재난상황의 발생을 인식하는 것을 특징으로 하는 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 방법.
  7. 청구항 6에 있어서,
    상기 재난환경 메타데이터는,
    상기 IoT 디바이스의 식별자, 상기 IoT 디바이스에 구비된 적어도 하나 이상의 센서를 통해 감지한 적어도 하나 이상의 이벤트, 상기 각 이벤트가 발생한 위치정보와 시간정보, 상기 각 센서에서 측정한 측정값 또는 이들의 조합을 포함하는 것을 특징으로 하는 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 방법.
  8. 청구항 6에 있어서,
    상기 재난상황 인식 단계는,
    상기 복합 이벤트가 감지되면, 상기 이벤트별로 사전에 저장한 딥러닝 학습모델에 감시영역을 촬영한 영상을 각각 입력하여 상기 각 딥러닝 학습모델의 출력결과에 따라 상기 감지한 복합 이벤트를 구성하는 적어도 두개 이상의 개별적인 이벤트를 확인하는 복합 이벤트 감지 단계; 및
    상기 확인한 적어도 두개 이상의 개별적인 이벤트간의 연관관계를 분석하는 연관관계 분석 단계;를 더 포함하는 것을 특징으로 하는 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 방법.
  9. 청구항 8에 있어서,
    상기 연관관계 분석 단계는,
    상기 확인한 적어도 두개 이상의 이벤트가 발생한 시간 순서에 따른 시간적 연관관계를 분석하거나, 상기 확인한 적어도 두개 이상의 이벤트 중 특정 이벤트를 원인으로 또 다른 이벤트가 발생하는 인과관계에 따른 연관관계를 분석하거나, 상기 확인한 적어도 두개 이상의 이벤트가 동일한 장소에서 발생하는 것인지에 대한 장소적 인과관계를 분석하거나 또는 이들의 조합을 분석함으로써 상기 이벤트간의 연관관계를 분석하는 것을 특징으로 하는 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 방법.
  10. 청구항 6에 있어서,
    상기 스마트 딥러닝 영상감시 방법은,
    상기 확인한 복합 이벤트, 상기 인식한 특정 재난상황, 상기 확인한 복합 이벤트가 발생한 각 위치정보와 시간정보 또는 이들의 조합을 포함하는 재난정보를 관제서버, 관리자 단말 또는 이들의 조합으로 제공하는 재난정보 제공 단계; 및
    상기 확인한 복합 이벤트가 발생한 각 위치정보 및 상기 인식한 특정 재난상황에 따른 대피경로, 대처사항 또는 이들의 조합에 대한 비상 방송을 수행하는 비상 방송 단계;를 더 포함하는 것을 특징으로 하는 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 방법.
KR1020210089790A 2021-07-08 2021-07-08 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템 KR102299704B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210089790A KR102299704B1 (ko) 2021-07-08 2021-07-08 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210089790A KR102299704B1 (ko) 2021-07-08 2021-07-08 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템

Publications (1)

Publication Number Publication Date
KR102299704B1 true KR102299704B1 (ko) 2021-09-08

Family

ID=77787758

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210089790A KR102299704B1 (ko) 2021-07-08 2021-07-08 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템

Country Status (1)

Country Link
KR (1) KR102299704B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230053355A (ko) * 2021-10-14 2023-04-21 주식회사 아이뷰테크놀로지 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템 및 방법
KR102654359B1 (ko) * 2023-07-06 2024-04-04 주식회사 코지라인 Ai cctv를 이용한 안전사고 방지 시스템 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190056956A (ko) * 2017-11-17 2019-05-27 한국전자통신연구원 복합재난 모의를 위한 시나리오 자동생성 방법 및 그에 따른 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190056956A (ko) * 2017-11-17 2019-05-27 한국전자통신연구원 복합재난 모의를 위한 시나리오 자동생성 방법 및 그에 따른 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230053355A (ko) * 2021-10-14 2023-04-21 주식회사 아이뷰테크놀로지 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템 및 방법
KR102568169B1 (ko) * 2021-10-14 2023-08-18 주식회사 아이뷰테크놀로지 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템 및 방법
KR102654359B1 (ko) * 2023-07-06 2024-04-04 주식회사 코지라인 Ai cctv를 이용한 안전사고 방지 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
US11626008B2 (en) System and method providing early prediction and forecasting of false alarms by applying statistical inference models
US9779614B2 (en) System and method of alerting CMS and registered users about a potential duress situation using a mobile application
KR101775463B1 (ko) 건물 내에 설치되는 자동화재 탐지설비용 화재 감지기 및 이를 포함하는 통합제어시스템
KR102299704B1 (ko) 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템
US11676478B2 (en) Monitoring security
KR101990803B1 (ko) IoT를 이용한 취약계층 보호관리 시스템
KR101566839B1 (ko) 자가진단 기능을 가진 방범 cctv 시스템 및 그 자가진단 방법
KR100985804B1 (ko) 통합 재난관리 시스템
EP1859422A1 (en) Context-aware alarm system
KR102407327B1 (ko) 화재감지장치 및 이를 포함하는 화재감지시스템
KR101467352B1 (ko) 위치기반 통합관제시스템
US8365871B2 (en) Electronic device and method for monitoring an elevator
KR20210051376A (ko) 빅데이터 기반의 건축물 화재 예방 대응 시스템
KR20190035187A (ko) 감시 지역 음성 경고 방송 시스템
CN112288320A (zh) 一种地铁运行风险监控和管理系统
KR101951361B1 (ko) 인공지능 방범 관리 방법
JP2007264706A (ja) 画像処理装置、監視カメラ及び画像監視システム
US11790743B2 (en) System and method for property monitoring
KR102438433B1 (ko) 데이터 기반의 3d 시각화가 가능한 관제 시스템 및 방법
KR101509223B1 (ko) 모니터링 자동 포착기능이 구비된 보안 시스템 및 그 보안 처리방법
KR101936390B1 (ko) Ｃｃｔｖ 기반의 트래킹 서비스 제공 방법 및 장치
KR20120118339A (ko) 지능형 무인 감시 서비스 방법
KR102266884B1 (ko) 전자액자와 동작 감지 센서를 활용한 홈 모니터링 시스템 및 방법
US20230156160A1 (en) Intelligent surveillance camera control and notification system
KR20230099328A (ko) 재해 대응 방법 및 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant