WO2021091021A1 - 화재 검출 시스템 - Google Patents
화재 검출 시스템 Download PDFInfo
- Publication number
- WO2021091021A1 WO2021091021A1 PCT/KR2020/001357 KR2020001357W WO2021091021A1 WO 2021091021 A1 WO2021091021 A1 WO 2021091021A1 KR 2020001357 W KR2020001357 W KR 2020001357W WO 2021091021 A1 WO2021091021 A1 WO 2021091021A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- fire
- module
- input image
- image
- candidate region
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 179
- 238000004458 analytical method Methods 0.000 claims abstract description 33
- 238000012731 temporal analysis Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 40
- 230000002123 temporal effect Effects 0.000 claims description 39
- 238000012937 correction Methods 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 32
- 238000013136 deep learning model Methods 0.000 claims description 30
- 230000002265 prevention Effects 0.000 claims description 24
- 239000000779 smoke Substances 0.000 claims description 24
- 238000013135 deep learning Methods 0.000 claims description 23
- 238000009499 grossing Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 10
- 238000013145 classification model Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 24
- 238000012806 monitoring device Methods 0.000 description 13
- 238000012544 monitoring process Methods 0.000 description 13
- 238000010304 firing Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- A—HUMAN NECESSITIES
- A62—LIFE-SAVING; FIRE-FIGHTING
- A62C—FIRE-FIGHTING
- A62C3/00—Fire prevention, containment or extinguishing specially adapted for particular objects or places
- A62C3/02—Fire prevention, containment or extinguishing specially adapted for particular objects or places for area conflagrations, e.g. forest fires, subterranean fires
- A62C3/0271—Detection of area conflagration fires
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/70—
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/005—Fire alarms; Alarms responsive to explosion for forest fires, e.g. detecting fires spread over a large or outdoors area
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/10—Actuation by presence of smoke or gases, e.g. automatic alarm devices for analysing flowing fluid materials by the use of optical means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
- G08B29/18—Prevention or correction of operating errors
- G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
- G08B29/186—Fuzzy logic; neural networks
Abstract
화재 검출 시스템이 제공된다. 화재 검출 시스템은, 입력 영상으로부터 화재 요소의 움직임을 추정하여, 상기 입력 영상에서 제1 후보 영역을 결정하는 광흐름 검출 모듈; 상기 입력 영상으로부터 화재 요소의 영상 특징을 인지하여, 상기 입력 영상에서 제2 후보 영역을 결정하는 영상 특징 검출 모듈; 상기 제1 후보 영역 및 상기 제2 후보 영역에 기초하여, 상기 입력 영상에서 화재 발생이 의심되는 의심 영역을 결정하는 후보 영역 분석 모듈; 상기 의심 영역에서 발화점의 위치를 추정하는 발화점 추정 모듈; 상기 의심 영역의 화재 발생 여부를 예측한 분류 스코어를 산출하는 화재 분류 모듈; 및 상기 발화점의 위치 및 상기 분류 스코어에 기초하여 화재 발생 여부를 결정하는 시간적 분석 모듈을 포함한다.
Description
본 발명은 화재 검출 시스템에 관한 것이다.
컴퓨터 하드웨어가 발전하고 빅 데이터(big data)에 대한 관심이 높아지면서, 딥 러닝(deep learning)을 비롯한 인공지능 기술이 각광 받고 있다. 딥 러닝에 사용되는 대표적인 신경망 구조로, 순환 신경망(Recurrent Neural Network, RNN), 합성곱 신경망(Convolutional Neural Network, CNN), 심층 신뢰 신경망(Deep Belief Network, DBN) 등을 들 수 있다. 이와 같은 다양한 딥 러닝 기법은, 컴퓨터 비전, 음성 인식, 자연어 처리, 음성 및 신호 처리 등의 분야에 적용되어 수준 높은 결과를 보여주고 있다.
한편, 화재가 발생한 경우, 초기에 화재를 검출하여 신속하게 대응할 수 있다면 화재 사고로 인한 인명 피해, 재산 피해, 환경 피해 등을 줄일 수 있다. 따라서, 딥 러닝 기법과 같은 최첨단 기술을 이용하여, 화재를 초기에 신속하게 검출하면서도 그 검출 정확도를 높이기 위한 방안이 연구되고 있다.
본 발명이 해결하고자 하는 과제는 딥 러닝을 이용하여 신속하고 정확하게 초기 화재를 검출할 수 있는 화재 검출 시스템을 제공하는 것이다.
본 발명의 일 실시 예에 따른 화재 검출 시스템은, 입력 영상으로부터 화재 요소의 움직임을 추정하여, 입력 영상에서 제1 후보 영역을 결정하는 광흐름 검출 모듈; 입력 영상으로부터 화재 요소의 영상 특징을 인지하여, 입력 영상에서 제2 후보 영역을 결정하는 영상 특징 검출 모듈; 제1 후보 영역 및 제2 후보 영역에 기초하여, 입력 영상에서 화재 발생이 의심되는 의심 영역을 결정하는 후보 영역 분석 모듈; 의심 영역에서 발화점의 위치를 추정하는 발화점 추정 모듈; 의심 영역의 화재 발생 여부를 예측한 분류 스코어를 산출하는 화재 분류 모듈; 및 발화점의 위치 및 분류 스코어에 기초하여 화재 발생 여부를 결정하는 시간적 분석 모듈을 포함할 수 있다.
본 발명의 몇몇의 실시 예에서, 상기 입력 영상은 복수의 프레임을 포함하고, 상기 광흐름 검출 모듈은, 컴퓨터 그래픽으로 사전 생성한 상기 복수의 프레임 간 광흐름 훈련 데이터로 학습된 딥러닝 모델을 이용하여 상기 제1 후보 영역을 결정할 수 있다.
본 발명의 몇몇의 실시 예에서, 상기 영상 특징 검출 모듈은, 상기 화재 요소에 대응하는 사전 생성한 화재 훈련 데이터로 학습된 딥러닝 모델을 이용하여 상기 제2 후보 영역을 결정할 수 있다.
본 발명의 몇몇의 실시 예에서, 상기 화재 검출 시스템은, 상기 제1 후보 영역 및 상기 제2 후보 영역을 추적하고 그 추적 결과를 상기 후보 영역 분석 모듈에 제공하는 후보 영역 추적 모듈을 더 포함할 수 있다.
본 발명의 몇몇의 실시 예에서, 상기 후보 영역 분석 모듈은, 상기 입력 영상에서의 상기 의심 영역의 위치, 상기 의심 영역의 크기, 상기 화재 요소의 움직임을 근사한 광흐름을 나타내는 광흐름 벡터 및 광흐름 크기, 상기 입력 영상에서 예측된 불꽃을 나타내는 소프트 마스크 및 상기 입력 영상에서 예측된 연기를 나타내는 소프트 마스크 중 적어도 하나를 포함하는 의심 영역 정보를 출력할 수 있다.
본 발명의 몇몇의 실시 예에서, 상기 발화점 추정 모듈은, 컴퓨터 그래픽으로 화재 요소와 배경을 합성한 합성 훈련 데이터로 학습된 딥러닝 모델을 이용하여 상기 발화점의 위치를 추정할 수 있다.
본 발명의 몇몇의 실시 예에서, 딥러닝 분류 모델을 이용하여, 상기 의심 영역에 대한 화재 발생 여부를 점수화하거나 상기 의심 영역의 화재 요소가 불꽃 또는 연기로 분류될 확률을 점수화한 상기 분류 스코어를 산출할 수 있다.
본 발명의 몇몇의 실시 예에서, 상기 입력 영상은 복수의 프레임을 포함하고, 상기 시간적 분류 모듈은, 상기 복수의 프레임에 대한 시간적 상관관계(temporal coherence)를 고려하여 상기 화재 발생 여부를 결정할 수 있다.
본 발명의 몇몇의 실시 예에서, 상기 화재 검출 시스템은, 상기 입력 영상의 흔들림을 보정한 흔들림 보정 영상을 상기 광흐름 검출 모듈 및 상기 영상 특징 검출 모듈에 제공하는 흔들림 방지 모듈을 더 포함할 수 있다.
본 발명의 몇몇의 실시 예에서, 상기 흔들림 방지 모듈은, 상기 입력 영상으로부터 모션 벡터를 추출하는 모션 벡터 추출 모듈 및 상기 모션 벡터를 이용하여 상기 입력 영상에 대한 시간적 평활화(temporal smoothing) 처리를 수행하는 시간적 평활화 모듈을 포함할 수 있다.
본 발명의 일 실시 예에 따른 화재 검출 시스템은, 입력 영상으로부터 모션 벡터를 추출하는 모션 벡터 추출 모듈; 모션 벡터를 이용하여 입력 영상에 대한 시간적 평활화 처리를 수행하여 입력 영상에 대한 흔들림 보정 영상을 출력하는 시간적 평활화 모듈; 입력 영상 및 흔들림 보정 영상 중 적어도 하나로부터 화재 발생이 의심되는 의심 영역을 결정하는 의심 영역 검출 모듈; 의심 영역에서 발화점의 위치를 추정하는 발화점 추정 모듈; 의심 영역의 화재 발생 여부를 예측한 분류 스코어를 산출하는 화재 분류 모듈; 및 발화점의 위치 및 분류 스코어에 기초하여 화재 발생 여부를 결정하는 시간적 분석 모듈을 포함할 수 있다.
본 발명의 몇몇의 실시 예에서, 상기 의심 영역 검출 모듈은, 상기 흔들림 보정 영상으로부터 화재 요소의 움직임을 추정하여, 상기 입력 영상에서 제1 후보 영역을 결정하는 광흐름 검출 모듈; 상기 입력 영상으로부터 화재 요소의 영상 특징을 인지하여, 상기 입력 영상에서 제2 후보 영역을 결정하는 영상 특징 검출 모듈; 상기 제1 후보 영역 및 상기 제2 후보 영역에 기초하여, 상기 입력 영상에서 화재 발생이 의심되는 의심 영역을 결정하는 후보 영역 분석 모듈을 포함할 수 있다.
본 발명의 몇몇의 실시 예에서, 상기 발화점 추정 모듈은, 컴퓨터 그래픽으로 화재 요소와 배경을 합성한 합성 훈련 데이터로 학습된 딥러닝 모델을 이용하여 상기 발화점의 위치를 추정할 수 있다.
본 발명의 몇몇의 실시 예에서, 상기 화재 분류 모듈은, 딥러닝 분류 모델을 이용하여, 상기 의심 영역에 대한 화재 발생 여부를 점수화하거나 상기 의심 영역의 화재 요소가 불꽃 또는 연기로 분류될 확률을 점수화한 상기 분류 스코어를 산출할 수 있다.
본 발명의 몇몇의 실시 예에서, 상기 입력 영상은 복수의 프레임을 포함하고, 상기 시간적 분류 모듈은, 상기 복수의 프레임에 대한 시간적 상관관계를 고려하여 상기 화재 발생 여부를 결정할 수 있다.
본 발명의 일 실시 예에 따른 화재 검출 시스템은, 입력 영상으로부터 모션 벡터를 추출하는 모션 벡터 추출 모듈; 모션 벡터를 이용하여 입력 영상에 대한 시간적 평활화 처리를 수행하여 입력 영상에 대한 흔들림 보정 영상을 출력하는 시간적 평활화 모듈; 흔들림 보정 영상으로부터 화재 요소의 움직임을 추정하여, 입력 영상에서 제1 후보 영역을 결정하는 광흐름 검출 모듈; 입력 영상으로부터 화재 요소의 영상 특징을 인지하여, 입력 영상에서 제2 후보 영역을 결정하는 영상 특징 검출 모듈; 및 제1 후보 영역 및 제2 후보 영역에 기초하여, 입력 영상에서 화재 발생이 의심되는 의심 영역을 결정하는 후보 영역 분석 모듈을 포함할 수 있다.
본 발명의 몇몇의 실시 예에서, 상기 의심 영역에서 발화점의 위치를 추정하는 발화점 추정 모듈; 상기 의심 영역의 화재 발생 여부를 예측한 분류 스코어를 산출하는 화재 분류 모듈; 및 상기 발화점의 위치 및 상기 분류 스코어에 기초하여 화재 발생 여부를 결정하는 시간적 분석 모듈을 더 포함할 수 있다.
본 발명의 몇몇의 실시 예에서, 상기 입력 영상은 복수의 프레임을 포함하고, 상기 광흐름 검출 모듈은, 컴퓨터 그래픽으로 사전 생성한 상기 복수의 프레임 간 광흐름 훈련 데이터로 학습된 딥러닝 모델을 이용하여 상기 제1 후보 영역을 결정할 수 있다.
본 발명의 몇몇의 실시 예에서, 상기 영상 특징 검출 모듈은, 상기 화재 요소에 대응하는 사전 생성한 화재 훈련 데이터로 학습된 딥러닝 모델을 이용하여 상기 제2 후보 영역을 결정할 수 있다.
본 발명의 몇몇의 실시 예에서, 상기 화재 검출 시스템은, 상기 제1 후보 영역 및 상기 제2 후보 영역을 추적하고 그 추적 결과를 상기 후보 영역 분석 모듈에 제공하는 후보 영역 추적 모듈을 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 화재 검출 시스템은, 야외에 설치된 카메라에 비, 바람을 비롯한 외력이 작용하는 경우에도 이로 인한 촬영 영상의 흔들림을 보정함으로써, 화재 검출의 정확도를 높일 수 있다. 또한, 컬러(RGB) 영상, 근적외선(Near InfraRed, NIR) 영상과 같은 단일 모달리티(single modality)의 촬영 영상을 분석하는 것만으로도 화재 검출을 높은 정확도로 수행할 수 있다.
또한, 본 발명의 일 실시 예에 따르면, 화재 검출 시스템(10)은, 딥 러닝 기법을 이용하여, 불꽃 및 연기와 같은 화재 요소의 움직임을 추정함과 동시에 화재 요소의 영상 특징(예컨대 컬러, 텍스처(texture), 형태, 밝기 등)을 인지함으로써, 화재 발생 확률이 높은 후보 영역 검출의 정확도를 높일 수 있다.
또한, 본 발명의 일 실시 예에 따르면, 의심 영역에 대해 발화점 추정 모듈(162)을 주 엔진(engine)으로, 그리고 화재 분류 모듈(164)을 보조 엔진으로 사용하여, 화재 발생 여부 판단의 정확도를 개선할 수 있다. 또한, 복수의 프레임에 대한 시간적 상관관계를 고려하여 화재 발생 여부를 결정함으로써 화재 발생 여부 판단의 정확도를 더욱 향상시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 화재 검출 및 모니터링 시스템을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시 예에 따른 화재 검출 및 모니터링 시스템을 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 흔들림 방지 모듈을 설명하기 위한 블록도이다.
도 4 및 도 5는 본 발명의 일 실시 예에 따른 흔들림 방지 모듈의 동작 예를 설명하기 위한 도면들이다.
도 6은 본 발명의 일 실시 예에 따른 의심 영역 검출 모듈을 설명하기 위한 블록도이다.
도 7은 본 발명의 일 실시 예에 따른 광흐름 검출 모듈의 동작 예를 설명하기 위한 도면들이다.
도 8 및 도 9는 본 발명의 일 실시 예에 따른 영상 특징 검출 모듈의 동작 예를 설명하기 위한 도면들이다.
도 10은 본 발명의 일 실시 예에 따른 화재 분석 모듈을 설명하기 위한 블록도이다.
도 11 및 도 12는 본 발명의 일 실시 예에 따른 발화점 추정 모듈의 동작 예를 설명하기 위한 도면들이다.
도 13은 본 발명의 일 실시 예에 따른 화재 분류 모듈의 동작 예를 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시 예에 따른 화재 검출 및 모니터링 시스템을 설명하기 위한 개념도이다.
도 15는 본 발명의 일 실시 예에 따른 화재 검출 및 모니터링 시스템을 설명하기 위한 블록도이다.
도 16은 본 발명의 일 실시 예에 따른 의심 영역 검출 모듈을 설명하기 위한 블록도이다.
아래에서는 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 화재 검출 및 모니터링 시스템을 설명하기 위한 개념도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 화재 검출 및 모니터링 시스템(1)은 카메라(5), 화재 검출 시스템(10) 및 모니터링 장치(20)를 포함할 수 있다. 카메라(5), 화재 검출 시스템(10) 및 모니터링 장치(20)는 네트워크(30)를 통해 서로 데이터를 주고 받을 수 있다.
카메라(5)는 특정 지점에 설치되어, 미리 지정된 장소를 촬영하는 광학 장치이다. 예를 들어, 카메라(5)는 건물 외부에 설치되어 건물 외부를 촬영하거나, 건물 내부에 설치되어 건물 내부를 촬영하거나, 야외에 설치되어 야외에서 미리 지정된 장소를 촬영할 수 있다. 본 발명의 몇몇의 실시 예에서, 카메라(5)는 야외에 설치되어 화재(예컨대 산불)이 발생할 수 있는 장소를 촬영할 수 있다.
카메라(5)는 미리 지정된 장소를 촬영한 촬영 영상을 화재 검출 시스템(10)에 제공할 수 있다. 본 발명의 몇몇의 실시 예에서, 카메라(5)는 단일 모달리티(single modality)의 촬영 영상을 화재 검출 시스템(10)에 제공할 수 있다. 여기서 단일 모달리티의 촬영 영상은, 예를 들어, 컬러(RGB) 영상, 근적외선(Near InfraRed, NIR) 영상일 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.
화재 검출 시스템(10)은, 카메라(5)로부터 제공되는 촬영 영상으로부터, 미리 지정된 장소에 대한 화재 정보를 생성하고, 화재 정보를 모니터링 장치(20)에 제공한다. 여기서 화재 정보는, 미리 지정된 장소에 화재가 발생했는지 여부, 발화점의 위치, 화재 요소(예를 들어, 불꽃, 연기 등)의 광흐름 벡터 및 광흐름 크기, 화재 요소의 형태 및 형상 등의 다양한 정보를 포함할 수 있다. 화재 검출 시스템(10)에 대한 상세한 내용은 도 2 내지 도 13을 참조하여 후술하도록 한다.
특히, 본 발명의 실시 예들에 따른 화재 검출 시스템(10)은, 딥 러닝 기법을 이용하여, 미리 지정된 장소에 대한 화재 분석을 수행하여 상술한 화재 정보를 생성할 수 있다. 본 발명의 몇몇의 실시 예에서, 화재 검출 시스템(10)은 수퍼 컴퓨터, 서버, 메인 프레임, 워크 스테이션, 개인용 컴퓨터, 노트북 컴퓨터, 태블릿 컴퓨터, 내장형 컴퓨터, 착용형 컴퓨터 등으로 구현될 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니고, 화재 검출 시스템(10)은 딥 러닝 기법을 이용하여 화재 분석 알고리즘을 수행할 수 있는 임의의 컴퓨팅 장치로 구현될 수 있다.
모니터링 장치(20)는 미리 지정된 장소에 대한 화재 정보를 화재 검출 시스템(10)으로부터 제공받고, 해당 화재 정보를 사용자 또는 화재 모니터링 소프트웨어에 제공하여 미리 지정된 장소에 대한 화재 발생 여부를 모니터링하기 위한 장치이다. 모니터링 장치(20) 역시, 화재 검출 시스템(10)과 마찬가지로, 해당 화재 정보를 사용자 또는 화재 모니터링 소프트웨어에 제공하여 미리 지정된 장소에 대한 화재 발생 여부를 모니터링하는 작업을 수행할 수 있는 임의의 컴퓨팅 장치로 구현될 수 있다.
네트워크(30)는 LAN(Local Area Network), WAN(Wide Area Network) 등을 비롯한 유선 네트워크, WLAN(Wireless Local Area Network), 셀룰러(cellular) 네트워크를 비롯한 무선 네트워크, 유선 네트워크와 무선 네트워크가 조합된 유무선 네트워크 등을 포함할 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니고, 네트워크(30)는 기기간 직접 연결을 포함할 수도 있다. 예를 들어, 카메라(5), 화재 검출 시스템(10) 및 모니터링 장치(20) 중 적어도 둘은 케이블을 통한 직접 연결을 통해 데이터를 주고 받을 수 있다.
도 2는 본 발명의 일 실시 예에 따른 화재 검출 및 모니터링 시스템을 설명하기 위한 블록도이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 화재 검출 및 모니터링 시스템(2)은 카메라(5), 화재 검출 시스템(10), 모니터링 장치(20), 딥 러닝 모델(40), 학습 모듈(42) 및 훈련 데이터 제공 모듈(44)을 포함할 수 있다. 여기서 카메라(5) 및 모니터링 장치(20)에 관한 설명은 도 1을 참조할 수 있으며, 중복되는 설명은 생략하도록 한다.
화재 검출 시스템(10)은 흔들림 방지 모듈(12), 의심 영역 검출 모듈(14) 및 화재 분석 모듈(16)을 포함할 수 있다.
흔들림 방지 모듈(12)은 카메라(5)로부터 제공되는 촬영 영상의 흔들림을 보정할 수 있다. 구체적으로, 흔들림 방지 모듈(12)은 카메라(5)로부터 제1 영상(촬영 영상에 해당함)을 입력 받고, 제1 영상에 대한 흔들림 보정 작업을 수행한 후, 제2 영상(흔들림 보정 영상에 해당함)을 출력할 수 있다. 그리고 흔들림 방지 모듈(12)은 제2 영상을 의심 영역 검출 모듈(14)에 대한 입력 영상으로서 제공할 수 있다. 흔들림 방지 모듈(12)에 대한 상세한 내용은 도 3 내지 도 5를 참조하여 후술하도록 한다.
의심 영역 검출 모듈(14)은 카메라(5)로부터 제공 받은 촬영 영상 및 흔들림 방지 모듈(12)로부터 제공 받은 흔들림 보정 영상 중 적어도 하나로부터 화재 발생이 의심되는 의심 영역을 결정할 수 있다. 구체적으로, 의심 영역 검출 모듈(14)은 카메라(5)로부터 제공 받은 제1 영상 및 흔들림 방지 모듈(12)로부터 입력 영상으로서 제공받은 제2 영상 중 적어도 하나로부터, 딥 러닝 기법을 이용하여, 화재 요소의 움직임을 추정함과 동시에 화재 요소의 영상 특징(예컨대 컬러, 텍스처(texture), 형태, 밝기 등)을 인지함으로써 입력 영상에서 화재 발생이 의심되는 의심 영역을 결정할 수 있다. 여기서, 화재 요소의 영상 특징은, 예를 들어, 화재 요소의 컬러, 텍스처(texture), 형태, 밝기 등일 수도 있고, 이와 같은 영상 특징의 패턴, 예를 들어, 표시 패턴, 움직임 패턴, 변화 패턴 등까지 포함하는 개념일 수 있다. 의심 영역 검출 모듈(14)에 대한 상세한 내용은 도 6 내지 도 9를 참조하여 후술하도록 한다.
화재 분석 모듈(16)은 의심 영역 검출 모듈(14)에 의해 결정된 의심 영역을 분석하여 화재 발생 여부를 결정할 수 있다. 구체적으로, 화재 분석 모듈(16)은 의심 영역 검출 모듈(14)로부터 제공받은 의심 영역 정보에 기초하여, 딥 러닝 기법을 이용하여, 해당 의심 영역에 대한 화재 발생 여부를 분석 및 결정할 수 있다. 화재 분석 모듈(16)에 대한 상세한 내용은 도 10 내지 도 13을 참조하여 후술하도록 한다.
한편, 딥 러닝 모델(40), 학습 모듈(42) 및 훈련 데이터 제공 모듈(44)은, 구체적인 구현 목적에 따라, 화재 검출 시스템(10)에 포함되도록 구현될 수도 있고, 이와 다르게 화재 검출 시스템(10)과 다른 별도의 컴퓨팅 장치로 구현될 수도 있으며, 본 발명의 범위는 이에 제한되지 않는다. 이에 대한 상세한 내용은 의심 영역 검출 모듈(14) 및 화재 분석 모듈(16)과 관련하여 후술하도록 한다.
도 3은 본 발명의 일 실시 예에 따른 흔들림 방지 모듈을 설명하기 위한 블록도이다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 흔들림 방지 모듈(12)은 모션 벡터 추출 모듈(122) 및 시간적 평활화 모듈(124)을 포함할 수 있다.
카메라(5)는, 예를 들어, 산불이 발생할 수 있는 장소를 촬영하기 위해 야외에 설치될 수 있다. 또한, 카메라(5)에 의해 촬영 시야를 충분히 확보하기 위해, 지면으로부터 비교적 높은 곳에 설치될 수 있다. 이와 같은 경우, 비, 바람을 비롯한 외력이 카메라(5)에 작용함에 따라 카메라(5) 및 그 촬영 결과에 흔들림이 발생할 수 있다.
촬영 결과에 흔들림이 발생하게 되면, 의심 영역 검출 모듈(14) 및 화재 분석 모듈(16)이 화재 요소를 검출하는 정확도를 떨어뜨릴 우려가 있다. 예를 들어, 의심 영역 검출 모듈(14)은 입력 영상에서 화재 요소의 움직임 및 영상 특징을 이용하여 의심 영역을 결정하게 되는데, 입력 영상에 흔들림이 존재하는 경우, 입력 영상에서 화재 요소를 특정하는 단계부터 정확도가 떨어질 수 있어, 흔들림을 보정하는 과정이 필요할 수 있다.
모션 벡터 추출 모듈(122)은 입력 영상(즉 제1 영상)으로부터 모션 벡터를 추출할 수 있다. 입력 영상은 복수의 프레임을 포함할 수 있으며, 도 3에서는 예시적으로 복수의 RGB 프레임을 포함하는 것으로 도시되어 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다. 여기서 모션 벡터는, 특정 객체에 대한 모션 추정(motion estimation)을 하는 경우, 특정 객체가 프레임과 프레임 사이에 이동되었을 거리(변위)를 벡터로 나타낸 것을 의미할 수 있다.
시간적 평활화 모듈(124)은 모션 벡터 추출 모듈(122)로부터 추출된 모션 벡터를 이용하여, 입력 영상에 대한 시간적 평활화 처리를 수행할 수 있다. 구체적으로, 시간적 평활화 모듈(124)은, 예를 들어 카메라(5)를 이용하여 획득한 입력 영상에서, 예를 들어 한정된 시차로 인해 발생하는 시청 상 불편함을 해소하기 위한 시차 추정 영상의 합성을 수행하거나, 시차 추정 과정에서 발생할 수 있는 시차 추정 차이로 인해 발생할 수 있는 예컨대 플리커 현상을 제거하기 위한 시간적 평활화(temporal smoothing) 처리를 수행할 수 있다. 이와 같은 방식으로, 시간적 평활화 모듈(124)은 입력 영상 및 모션 벡터를 이용하여, 입력 영상(즉 제1 영상)의 흔들림을 보정한 흔들림 보정 영상(제2 영상)을 생성하고, 이를 의심 영역 검출 모듈(14)(예컨대 광흐름 검출 모듈(142) 및 영상 특징 검출 모듈(144))에 제공할 수 있다.
따라서, 본 발명의 일 실시 예에 따른 화재 검출 시스템은, 상술한 흔들림 방지 모듈(12)을 이용하여, 야외에 설치된 카메라(5)에 비, 바람을 비롯한 외력이 작용하는 경우에도 이로 인한 촬영 영상의 흔들림을 보정함으로써, 화재 검출의 정확도를 높일 수 있다. 또한, 컬러(RGB) 영상, 근적외선(NIR) 영상과 같은 단일 모달리티의 촬영 영상을 분석하는 것만으로도 화재 검출을 높은 정확도로 수행할 수 있다.
본 발명의 몇몇의 실시 예에서, 모션 벡터 추출 모듈(122) 및 시간적 평활화 모듈(124)을 이용하여 구현되는 것은 흔들림 방지 모듈(12)을 구현하기 위한 일 구현 예에 불과하며, 구체적인 구현 목적에 따라 흔들림 방지 모듈(12)을 구현하기 위한 세부적인 내용은 본 실시 예로부터 얼마든지 달라질 수 있다. 또한, 흔들림 방지 모듈(12)은 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어를 모두 사용하여 상술한 흔들림 보정을 수행할 수도 있다.
도 4 및 도 5는 본 발명의 일 실시 예에 따른 흔들림 방지 모듈의 동작 예를 설명하기 위한 도면들이다.
도 4를 참조하면, 이미지(IMG1) 내지 이미지(IMG4)는 예컨대 카메라(5)로 촬영된 근적외선(NIR) 영상을 구성하는 프레임들에 대응할 수 있다.
여기서 이미지(IMG1, IMG2)는 흔들림 방지 모듈(12)이 흔들림 보정을 수행하기 전의 프레임에 대응하며, 시간적 순서에서 이미지(IMG2)는 이미지(IMG1)의 다음 프레임에 대응할 수 있다.
한편, 이미지(IMG3, IMG4)는 흔들림 방지 모듈(12)이 흔들림 보정을 수행한 후의 프레임에 대응하며, 시간적 순서에서 이미지(IMG4)는 이미지(IMG3)의 다음 프레임에 대응할 수 있다.
이미지(IMG1, IMG2)와 이미지(IMG3, IMG4)를 비교하면, 흔들림 방지 모듈(12)이 흔들림 보정을 수행하기 전의 이미지(IMG2)는 이미지(IMG1)로부터 우측으로 치우쳐져 있으나, 흔들림 방지 모듈(12)이 흔들림 보정을 수행한 후 이미지(IMG4)는 이미지(IMG3) 기준으로 그 치우침이 개선된 것을 알 수 있다.
이어서 도 5를 참조하면, 이미지(IMG1) 내지 이미지(IMG4)는 예컨대 카메라(5)로 촬영된 컬러(RGB) 영상을 구성하는 프레임들에 대응할 수 있다.
여기서 이미지(IMG1, IMG2)는 흔들림 방지 모듈(12)이 흔들림 보정을 수행하기 전의 프레임에 대응하며, 시간적 순서에서 이미지(IMG2)는 이미지(IMG1)의 다음 프레임에 대응할 수 있다.
한편, 이미지(IMG3, IMG4)는 흔들림 방지 모듈(12)이 흔들림 보정을 수행한 후의 프레임에 대응하며, 시간적 순서에서 이미지(IMG4)는 이미지(IMG3)의 다음 프레임에 대응할 수 있다.
이미지(IMG1, IMG2)와 이미지(IMG3, IMG4)를 비교하면, 흔들림 방지 모듈(12)이 흔들림 보정을 수행하기 전의 이미지(IMG2)는 이미지(IMG1)로부터 우측으로 치우쳐져 있으나, 흔들림 방지 모듈(12)이 흔들림 보정을 수행한 후 이미지(IMG4)는 이미지(IMG3) 기준으로 그 치우침이 개선된 것을 알 수 있다.
도 6은 본 발명의 일 실시 예에 따른 의심 영역 검출 모듈을 설명하기 위한 블록도이다.
도 6을 참조하면, 본 발명의 일 실시 예에 따른 의심 영역 검출 모듈(14)은 광흐름 검출 모듈(142), 영상 특징 검출 모듈(144), 후보 영역 추적 모듈(146) 및 후보 영역 분석 모듈(148)을 포함할 수 있다.
광흐름 검출 모듈(142)은 입력 영상으로부터 화재 요소의 움직임을 추정하여, 입력 영상에서 제1 후보 영역을 결정할 수 있다. 구체적으로, 입력 영상은 복수의 프레임을 포함하고, 광흐름 검출 모듈(142)은, 컴퓨터 그래픽으로 사전 생성한 복수의 프레임 간 광흐름 훈련 데이터로 학습된 딥러닝 모델을 이용하여 제1 후보 영역을 결정할 수 있다.
화재가 발생한 경우, 불꽃 및 연기와 같은 화재 요소는 시간이 지남에 따라 확산되는 것이 일반적이다. 광흐름 검출 모듈(142)은 시간 순서에 따라 순차적으로 생성된 프레임, 예컨대 2 개의 연속된 프레임에서, 화재 요소가 시간이 지남에 따라 확산되는 움직임을 광흐름(optical flow)으로 근사할 수 있다.
예를 들어, 훈련 데이터 제공 모듈(44)은 컴퓨터 그래픽으로 사전 생성한 복수의 프레임 간 광흐름 훈련 데이터, 즉 시간이 지남에 따른 화재 요소의 움직임에 관한 데이터를 학습 모듈(42)에 제공하고, 학습 모듈(42)은 훈련 데이터 제공 모듈(44)로부터 제공받은 훈련 데이터를 이용하여 딥 러닝 모델(40)을 학습시킬 수 있다. 이후, 광흐름 검출 모듈(142)은 훈련된 딥 러닝 모델(40)에 입력 영상을 입력하고, 딥 러닝 모델(40)은 화재 요소의 움직임을 추정한 후 제1 후보 영역을 예측할 수 있다.
영상 특징 검출 모듈(144)은 입력 영상으로부터 화재 요소의 영상 특징을 인지하여, 입력 영상에서 제2 후보 영역을 결정할 수 있다. 구체적으로, 영상 특징 검출 모듈(144)은, 화재 요소에 대응하는 사전 생성한 화재 훈련 데이터로 학습된 딥러닝 모델을 이용하여 제2 후보 영역을 결정할 수 있다.
화재가 발생한 경우, 불꽃 및 연기와 같은 화재 요소는 컬러, 텍스처, 형태, 밝기 등에 있어서 화재 요소가 아닌 다른 요소들과 구별되는 영상 특징을 가질 수 있다. 영상 특징 검출 모듈(144)은 입력 영상에서 나타나는 특징을 인지함으로써 화재 요소가 포함된 제2 후보 영역을 결정할 수 있다.
예를 들어, 훈련 데이터 제공 모듈(44)은 화재 요소에 대응하는 사전 생성한 화재 훈련 데이터, 즉 화재 요소만이 갖는 영상 특징에 관한 훈련 데이터를 학습 모듈(42)에 제공하고, 학습 모듈(42)은 훈련 데이터 제공 모듈(44)로부터 제공받은 훈련 데이터를 이용하여 딥 러닝 모델(40)을 학습시킬 수 있다. 이후, 영상 특징 검출 모듈(144)은 훈련된 딥 러닝 모델(40)에 입력 영상을 입력하고, 딥 러닝 모델(40)은 화재 요소의 영상 특징을 인지한 후 제2 후보 영역을 예측할 수 있다.
본 실시 예에서, 광흐름 검출 모듈(142)은 흔들림 보정 영상에 대응하는 제2 영상을 입력 받고, 영상 특징 검출 모듈(144)은 입력 영상에 대응하는 제1 영상을 입력 받도록 구현될 수 있다. 구체적으로, 광흐름 검출 모듈(142)은, 특히 화재 요소의 움직임(예를 들어, 연기의 움직임)을 검출 및 추정하여야 하기 때문에, 흔들림 방지 모듈(12)로부터 제공되는 제2 영상을 입력 받는 것이 더 좋은 성능을 나타낼 수 있다. 한편, 영상 특징 검출 모듈(144)은, 입력 영상에 나타난 영상 특징(예를 들어, 연기, 불꽃과 같은 화재 요소의 패턴에 따라 후보 영역을 찾기 때문에, 그리고 이와 같은 영상 특징은 흔들림 방지 모듈(12)에서 수행되는 시간적 평활 처리에 의해 희석될 수 있기 때문에, 흔들림 보정이 수행되지 않은 제1 영상을 입력 받는 것이 더 좋은 성능을 나타낼 수 있다.
그러나 본 발명이 이에 제한되는 것은 아니다. 이와 같은 성능 효과는, 본 발명에 따른 화재 검출 시스템이 동작하는 환경에 따라 바뀔 수 있고, 구체적인 구현 목적에 따라, 광흐름 검출 모듈(142)이 제1 영상을 입력 받고 영상 특징 검출 모듈(144)이 제2 영상을 입력 받도록 구현될 수도 있고, 광흐름 검출 모듈(142) 및 영상 특징 검출 모듈(144)이 모두 제1 영상을 입력 받거나, 모두 제2 영상을 입력 받도록 구현될 수도 있다.
또한, 구체적인 구현 목적에 따라, 광흐름 검출 모듈(142) 및 영상 특징 검출 모듈(144) 중 하나가 생략될 수도 있다. 즉, 도 6의 실시 예에서 광흐름 검출 모듈(142)이 생략되고, 영상 특징 검출 모듈(144)만이 제1 영상 또는 제2 영상을 입력 받아 후보 영역을 검출하여 후보 영역 분석 모듈(148)에 제공해 줄 수도 있고, 이와 반대로, 영상 특징 검출 모듈(144)이 생략되고, 광흐름 검출 모듈(142)만이 제1 영상 또는 제2 영상을 입력 받아 후보 영역을 검출하여 후보 영역 분석 모듈(148)에 제공해 줄 수도 있다.
후보 영역 추적 모듈(146)은 제1 후보 영역 및 제2 후보 영역을 추적하고 그 추적 결과를 후보 영역 분석 모듈(148)에 제공할 수 있다. 구체적으로, 후보 영역 추적 모듈(146)은 광흐름 검출 모듈(142) 및 영상 특징 검출 모듈(144)의 처리 속도를 향상시키고 정확도를 높이기 위해 제1 후보 영역 및 제2 후보 영역에 대한 추적 작업을 수행할 수 있다.
도 6에 도시된 것과 다르게, 후보 영역 추적 모듈(146)을 생략될 수도 있다. 구체적으로, 후보 영역 추적 모듈(146)의 추적 작업은 후보 영역 분석 모듈(148) 또는 다른 모듈에 의해 수행될 수도 있고, 때로는 후보 영역 추적 모듈(146)의 추적 작업이 아예 생략될 수도 있다.
후보 영역 분석 모듈(148)은 제1 후보 영역 및 제2 후보 영역에 기초하여, 입력 영상에서 화재 발생이 의심되는 의심 영역을 결정할 수 있다. 구체적으로, 후보 영역 분석 모듈(148)은, 예를 들어, 입력 영상에서의 의심 영역의 위치, 의심 영역의 크기, 화재 요소의 움직임을 근사한 광흐름을 나타내는 광흐름 벡터 및 광흐름 크기, 입력 영상에서 예측된 불꽃을 나타내는 소프트 마스크 및 입력 영상에서 예측된 연기를 나타내는 소프트 마스크 중 적어도 하나를 포함하는 의심 영역 정보를 출력할 수 있다.
이와 같은 의심 영역 정보는 화재 분석 모듈(16)에 전달되어, 화재 분석 모듈(16)이 촬영된 장소 중 화재 발생 확률이 높은 영역을 중심으로 화재 발생 여부를 결정할 수 있도록 할 수 있다.
본 실시 예에 따르면, 화재 검출 시스템(10)은, 딥 러닝 기법을 이용하여, 불꽃 및 연기와 같은 화재 요소의 움직임을 추정함과 동시에 화재 요소의 영상 특징(예컨대 컬러, 텍스처(texture), 형태, 밝기 등)을 인지함으로써, 화재 발생 확률이 높은 후보 영역 검출의 정확도를 높일 수 있다.
도 7은 본 발명의 일 실시 예에 따른 광흐름 검출 모듈의 동작 예를 설명하기 위한 도면들이다.
도 7을 참조하면, 이미지(IMG1)는 입력 영상 원본에 대응하고, 이미지(IMG2)는 화재 요소가 시간이 지남에 따라 확산되는 움직임을 광흐름 벡터로 표시한 것을 나타낸다. 또한 이미지(IMG3)는 화재 요소가 시간이 지남에 따라 확산되는 움직임을 광흐름 벡터의 크기로 표시한 것을 나타낸다. 즉, 광흐름 검출 모듈(142)은, 도시된 것과 같이, 입력 영상(이미지(IMG1))으로부터 화재 요소(연기)의 움직임을 추정하여 이를 광흐름으로 근사할 수 있다.
도 8 및 도 9는 본 발명의 일 실시 예에 따른 영상 특징 검출 모듈의 동작 예를 설명하기 위한 도면들이다.
도 8을 참조하면, 이미지(IMG1)는 화재 요소에 해당하는 불꽃에 대한 영상 특징을 인지한 후 예측한 제2 후보 영역(즉, 불꽃 영역)을 박스로 표시한 것을 나타낸다. 그리고 이미지(IMG2)는 예측된 불꽃 영역에 대한 소프트 마스크를 표시한 것을 나타낸다.
이어서 도 9를 참조하면, 이미지(IMG1)는 화재 요소에 해당하는 연기에 대한 영상 특징을 인지한 후 예측한 제2 후보 영역(즉, 연기 영역)을 박스로 표시한 것을 나타낸다. 그리고 이미지(IMG2)는 예측된 연기 영역에 대한 소프트 마스크를 표시한 것을 나타낸다.
도 10은 본 발명의 일 실시 예에 따른 화재 분석 모듈을 설명하기 위한 블록도이다.
도 10을 참조하면, 일 실시 예에 따른 화재 분석 모듈(16)은 발화점 추정 모듈(162), 화재 분류 모듈(164) 및 시간적 분석 모듈(166)을 포함할 수 있다.
발화점 추정 모듈(162)은 의심 영역에서 발화점의 위치를 추정할 수 있다. 구체적으로, 발화점 추정 모듈(162)은, 컴퓨터 그래픽으로 화재 요소와 배경을 합성한 합성 훈련 데이터로 학습된 딥러닝 모델을 이용하여 발화점의 위치를 추정할 수 있다.
발화점은 화재 현상이 갖는 고유의 특징에 해당하며, 화재 여부 검출에 있어서 광흐름에 관한 데이터만을 사용하는 것보다 발화점에 관한 데이터를 함께 사용하면 화재 여부 검출의 정확도를 더 높일 수 있다. 다시 말해서, 광흐름 훈련 데이터뿐 아니라 발화점 훈련 데이터를 이용하여 딥 러닝 모델(40)을 학습시키게 되면, 딥 러닝 모델(40)의 화재 발생 여부에 대한 판단은 더 정확해질 수 있다.
그런데 실제 환경으로부터 발화점 훈련 데이터를 생성하는 것은 비용이 많이 들면서도 그 품질이 만족스럽지 않기 때문에, 발화점 훈련 데이터는 컴퓨터 그래픽으로 화재 요소와 배경을 합성한 합성 훈련 데이터로 생성할 수 있다.
예를 들어, 훈련 데이터 제공 모듈(44)은 컴퓨터 그래픽으로 컴퓨터 그래픽으로 화재 요소와 배경을 합성한 합성 훈련 데이터, 즉 발화점의 위치에 관한 데이터를 학습 모듈(42)에 제공하고, 학습 모듈(42)은 훈련 데이터 제공 모듈(44)로부터 제공받은 훈련 데이터를 이용하여 딥 러닝 모델(40)을 학습시킬 수 있다. 이후, 발화점 추정 모듈(162)은 훈련된 딥 러닝 모델(40)에 의심 영역에 관한 정보를 입력하고, 딥 러닝 모델(40)은 의심 영역에서 발화점의 위치를 추정할 수 있다.
화재 분류 모듈(164)은 의심 영역의 화재 발생 여부를 예측한 분류 스코어를 산출할 수 있다. 구체적으로, 화재 분류 모듈(164)은, 딥러닝 분류 모델을 이용하여, 의심 영역에 대한 화재 발생 여부를 점수화하거나 의심 영역의 화재 요소가 불꽃 또는 연기로 분류될 확률을 점수화한 분류 스코어를 산출할 수 있다.
화재 분류 모듈(164)은 일반적인 딥 러닝 기반의 분류기(classifier)를 이용하여, 의심 영역에 화재가 발생했는지 아닌지 여부를 분류(또는 구분)할 수 있고, 각 분류에 관한 분류 확률에 해당하는 점수에 해당하는 분류 스코어를 산출할 수 있다. 나아가, 화재 분류 모듈(164)은 딥 러닝 기반의 분류기를 이용하여, 의심 영역에서 불꽃과 연기를 분류(또는 구분)할 수도 있다.
시간적 분석 모듈(166)은 발화점의 위치 및 분류 스코어에 기초하여 화재 발생 여부를 결정할 수 있다. 구체적으로, 입력 영상은 복수의 프레임을 포함하고, 시간적 분류 모듈(166)은, 복수의 프레임에 대한 시간적 상관관계를 고려하여 화재 발생 여부를 결정할 수 있다.
예를 들어, 시간적 분석 모듈(166)은 발화점의 위치, 광흐름, 분류 스코어에 기초하여 다음과 같은 식을 통해, 입력 영상의 일 프레임 T에 대한 혼합 스코어 S(T) 를 산출할 수 있다.
S(T) = W1 * Conf(Ignition Point) + W2 * Overlap Ratio(Optical Flow) + W3 * Class Score 식 (1)
여기서 Ignition Point는 발화점의 위치, Optical Flow는 광흐름, Class Score는 분류 스코어를 의미하며, Conf()는 검출된 발화점의 신뢰도, Overlap Ratio()는 검출된 광흐름 영역 대비 발화점 영역의 비율을 의미하며, W1, W2, W3 는 가중치를 의미할 수 있다. 여기서 검출된 발화점의 신뢰도란, 딥 러닝으로 학습된 특징에 기반하여 검출된 발화점이 실제 발화점에 해당할 확률을 의미할 수 있다.
다음으로, 시간적 분석 모듈(166)은, 다음과 같은 식을 통해, 의심 영역을 포함하는 입력 영상의 각 프레임 별로 산출한 혼합 스코어에 기초하여 N 개(여기서 N은 양의 정수)의 프레임에 대한 최종 스코어 F(n) 을 산출할 수 있다.
F(n) = W1 * S(1) + W2 * S(2) + ... + Wn * S(n) 식(2)
여기서 n은 양의 정수이고, 가중치의 총합은 ΣWn = 1.0 이다.
시간적 분석 모듈(166)은 최종 스코어 F(n) 의 값이 사전 설정된 임계치 미만인 경우에는 화재 발생이 검출되지 않은 것으로 결정하고, 최종 스코어 F(n) 의 값이 사전 설정된 임계치 이상인 경우에는 화재 발생이 검출된 것으로 결정할 수 있다.
이와 같은 시간적 분석 모듈(166)과 같이, 앞서 설명한 화재 분류 모듈(164) 역시, 시간적 상관관계를 고려하여, 과거 N 개의 프레임에 대한 데이터로부터 현재 프레임의 화재 발생 여부를 결정하도록 확장 구현될 수도 있다. 예를 들어, 화재 분류 모듈(164)은 CNN(Convolutional Neural Network) 기반의 프레임 별 분류기에서 RNN(Recurrent Neural Network)(LSTM(Long Short-Term Memory), GRU(Gated Recurrent Unit) 등)을 추가하는 방식으로 여상의 시간적 상관관계를 고려하도록 구현될 수 있다.
본 실시 예 따르면, 의심 영역에 대해 발화점 추정 모듈(162)을 주 엔진(engine)으로, 그리고 화재 분류 모듈(164)을 보조 엔진으로 사용하여, 화재 발생 여부 판단의 정확도를 개선할 수 있다. 또한, 복수의 프레임에 대한 시간적 상관관계를 고려하여 화재 발생 여부를 결정함으로써 화재 발생 여부 판단의 정확도를 더욱 향상시킬 수 있다.
도 11 및 도 12는 본 발명의 일 실시 예에 따른 발화점 추정 모듈의 동작 예를 설명하기 위한 도면들이다.
도 11을 참조하면, 이미지(IMG1 내지 IMG 4)는 컴퓨터 그래픽으로 화재 요소와 배경을 합성한 합성 훈련 데이터, 즉 발화점의 위치에 관한 데이터의 예시를 나타낸다. 발화점 추정 모듈(162)에 사용되는 딥 러닝 모델의 훈련과 관련하여, 실제 환경으로부터 발화점 훈련 데이터를 생성하는 것은 비용이 많이 들면서도 그 품질이 만족스럽지 않기 때문에, 발화점 훈련 데이터는 도시된 것과 같이 컴퓨터 그래픽으로 화재 요소와 배경을 합성한 합성 훈련 데이터로 생성할 수 있다.
이어서 도 12를 참조하면, 이미지(IMG1)는 입력 영상 원본에 대응하고, 이미지(IMG2)는 발화점 추정 모듈(162) 및 광흐름 검출 모듈(142)을 통해 예측한 발화점 및 광흐름을 점 및 화살표로 각각 표시한 것을 나타낸다.
도 13은 본 발명의 일 실시 예에 따른 화재 분류 모듈의 동작 예를 설명하기 위한 도면이다.
도 13을 참조하면, 이미지(IMG1)는 화재 분류 모듈(164)을 통해 딥러닝 분류 모델을 이용하여 화재 발생 여부를 예측한 예를 나타낸 것으로, 화재가 아닐 확률(분류 스코어)이 '0.99'에 해당하는 경우이다.
이미지(IMG2 및 IMG3)는 화재 분류 모듈(164)을 통해 딥러닝 분류 모델을 이용하여 화재 발생 여부를 예측한 예를 나타낸 것으로, 화재에 해당할 확률(분류 스코어)이 '0.99'에 해당하는 경우이다.
이미지(IMG4)는 화재 분류 모듈(164)을 통해 딥러닝 분류 모델을 이용하여 불꽃과 연기를 분류 예측한 예를 나타낸 것으로, 불꽃에 해당할 확률(분류 스코어)이 '0.99'에 해당하고 연기에 해당할 확률(분류 스코어)이 '0.98'에 해당하는 경우이다.
도 14는 본 발명의 일 실시 예에 따른 화재 검출 및 모니터링 시스템을 설명하기 위한 개념도이다.
도 14를 참조하면, 본 발명의 일 실시 예에 따른 화재 검출 및 모니터링 시스템(3)은 무인 비행체(6), 화재 검출 시스템(10) 및 모니터링 장치(20)를 포함할 수 있다. 무인 비행체(6), 화재 검출 시스템(10) 및 모니터링 장치(20)는 네트워크(30)를 통해 서로 데이터를 주고 받을 수 있다.
무인 비행체(6)는 조종사가 탑승하지 않은 항공기로서 무인 항공기, 무인 비행기, 무인기, 드론(drone) 등으로 지칭되기도 한다. 무인 비행체(6)는 지상에서 원격조종(remote piloted), 사전 프로그램된 경로에 따라 자동 또는 반자동(semi-auto-piloted)형식으로 자율비행하거나 인공지능을 탑재하여 자체 환경판단에 따라 임무를 수행하는 비행체를 말한다.
무인 비행체(6)는 특정 지점 및 그 인근 지역을 비행하면서, 화재가 발생할 수 있는 장소를 촬영할 수 있는 카메라를 구비할 수 있다. 즉, 무인 비행체(6)는 구비한 카메라를 이용하여 미리 지정된 장소를 촬영한 촬영 영상을 화재 검출 시스템(10)에 제공할 수 있다. 본 발명의 몇몇의 실시 예에서, 카메라(5)는 단일 모달리티(single modality)의 촬영 영상을 화재 검출 시스템(10)에 제공할 수 있다. 여기서 단일 모달리티의 촬영 영상은, 예를 들어, 컬러(RGB) 영상, 근적외선(Near InfraRed, NIR) 영상일 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.
특히 무인 비행체(6)는 촬영 시 흔들림을 보정하기 위한 하드웨어 장치, 예컨대 짐벌(gimbal)을 포함할 수 있다. 이에 따라, 무인 비행체(6)에서 촬영된 영상은 도 2와 관련하여 설명한 흔들림 보정 없이 바로 화재 검출 시스템(10)에 제공될 수 있다. 그리고, 화재 검출 시스템(10)은, 무인 비행체(6)로부터 제공되는 촬영 영상으로부터, 미리 지정된 장소에 대한 화재 정보를 생성하고, 화재 정보를 모니터링 장치(20)에 제공한다.
화재 검출 시스템(10), 모니터링 장치(20) 및 네트워크(30)에 관한 설명은 도 1을 참조할 수 있으며, 중복되는 설명은 생략하도록 한다.
도 15는 본 발명의 일 실시 예에 따른 화재 검출 및 모니터링 시스템을 설명하기 위한 블록도이다.
도 15를 참조하면, 본 발명의 일 실시 예에 따른 화재 검출 및 모니터링 시스템(4)은 무인 비행체(6), 화재 검출 시스템(10), 모니터링 장치(20), 딥 러닝 모델(40), 학습 모듈(42) 및 훈련 데이터 제공 모듈(44)을 포함할 수 있다. 여기서 무인 비행체(6)에 관한 설명은 도 14를 참조할 수 있고, 나머지에 관한 설명은 도 2를 참조할 수 있으며, 중복되는 설명은 생략하도록 한다.
무인 비행체(6)는, 무인 비행체(6)에서 촬영된 영상을 바로 의심 영역 검출 모듈(14)에 제공하고, 의심 영역 검출 모듈(14)은 무인 비행체(6)로부터 제공 받은 영상으로부터 화재 발생이 의심되는 의심 영역을 결정할 수 있다. 그리고 화재 분석 모듈(16)은 의심 영역 검출 모듈(14)에 의해 결정된 의심 영역을 분석하여 화재 발생 여부를 결정할 수 있다.
물론, 무인 비행체(6)를 이용한 촬영의 경우에도, 구체적인 구현 목적에 따라 도 2와 관련하여 설명한 흔들림 보정이 추가로 수행될 수도 있다. 즉, 화재 검출 시스템(10)은 흔들림 방지 모듈(12)을 포함하고, 흔들림 방지 모듈(12)은 무인 비행체(6)로부터 제공되는 촬영 영상의 흔들림을 보정한 후, 흔들림 보정 영상을 의심 영역 검출 모듈(14)에 제공하도록 구현될 수도 있다.
도 16은 본 발명의 일 실시 예에 따른 의심 영역 검출 모듈을 설명하기 위한 블록도이다.
도 16을 참조하면, 본 발명의 일 실시 예에 따른 의심 영역 검출 모듈(14)은 광흐름 검출 모듈(142), 영상 특징 검출 모듈(144), 후보 영역 추적 모듈(146) 및 후보 영역 분석 모듈(148)을 포함할 수 있다.
본 실시 예에서, 광흐름 검출 모듈(142) 및 영상 특징 검출 모듈(144)은 모두 무인 비행체(6)에서 촬영된 영상을 입력 받고 제1 후보 영역 및 제2 후보 영역을 검출할 수 있다.
그러나 본 발명의 범위가 이에 제한되는 것을 아니고, 무인 비행체(6)를 이용한 촬영의 경우에도, 구체적인 구현 목적에 따라 도 2와 관련하여 설명한 흔들림 보정이 추가로 수행된 경우, 광흐름 검출 모듈(142)이 흔들림 보정이 추가로 수행된 제2 영상을 입력 받고 영상 특징 검출 모듈(144)이 흔들림 보정이 수행되지 않은 제1 영상을 입력 받도록 구현될 수도 있고, 광흐름 검출 모듈(142)이 제1 영상을 입력 받고 영상 특징 검출 모듈(144)이 제2 영상을 입력 받도록 구현될 수도 있고, 광흐름 검출 모듈(142) 및 영상 특징 검출 모듈(144)이 모두 제2 영상을 입력 받도록 구현될 수도 있다.
또한, 구체적인 구현 목적에 따라, 광흐름 검출 모듈(142) 및 영상 특징 검출 모듈(144) 중 하나가 생략될 수도 있다. 즉, 도 16의 실시 예에서 광흐름 검출 모듈(142)이 생략되고, 영상 특징 검출 모듈(144)만이 제1 영상 또는 제2 영상을 입력 받아 후보 영역을 검출하여 후보 영역 분석 모듈(148)에 제공해 줄 수도 있고, 이와 반대로, 영상 특징 검출 모듈(144)이 생략되고, 광흐름 검출 모듈(142)만이 제1 영상 또는 제2 영상을 입력 받아 후보 영역을 검출하여 후보 영역 분석 모듈(148)에 제공해 줄 수도 있다.
이제까지 설명한 바에 따르면, 본 발명의 일 실시 예에 따르면, 화재 검출 시스템은, 야외에 설치된 카메라에 비, 바람을 비롯한 외력이 작용하는 경우에도 이로 인한 촬영 영상의 흔들림을 보정함으로써, 화재 검출의 정확도를 높일 수 있다. 또한, 컬러(RGB) 영상, 근적외선(Near InfraRed, NIR) 영상과 같은 단일 모달리티(single modality)의 촬영 영상을 분석하는 것만으로도 화재 검출을 높은 정확도로 수행할 수 있다.
또한, 본 발명의 일 실시 예에 따르면, 화재 검출 시스템(10)은, 딥 러닝 기법을 이용하여, 불꽃 및 연기와 같은 화재 요소의 움직임을 추정함과 동시에 화재 요소의 영상 특징(예컨대 컬러, 텍스처(texture), 형태, 밝기 등)을 인지함으로써, 화재 발생 확률이 높은 후보 영역 검출의 정확도를 높일 수 있다.
또한, 본 발명의 일 실시 예에 따르면, 의심 영역에 대해 발화점 추정 모듈(162)을 주 엔진(engine)으로, 그리고 화재 분류 모듈(164)을 보조 엔진으로 사용하여, 화재 발생 여부 판단의 정확도를 개선할 수 있다. 또한, 복수의 프레임에 대한 시간적 상관관계를 고려하여 화재 발생 여부를 결정함으로써 화재 발생 여부 판단의 정확도를 더욱 향상시킬 수 있다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고, 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속한다.
Claims (20)
- 입력 영상으로부터 화재 요소의 움직임을 추정하여, 상기 입력 영상에서 제1 후보 영역을 결정하는 광흐름 검출 모듈;상기 입력 영상으로부터 화재 요소의 영상 특징을 인지하여, 상기 입력 영상에서 제2 후보 영역을 결정하는 영상 특징 검출 모듈;상기 제1 후보 영역 및 상기 제2 후보 영역에 기초하여, 상기 입력 영상에서 화재 발생이 의심되는 의심 영역을 결정하는 후보 영역 분석 모듈;상기 의심 영역에서 발화점의 위치를 추정하는 발화점 추정 모듈;상기 의심 영역의 화재 발생 여부를 예측한 분류 스코어를 산출하는 화재 분류 모듈; 및상기 발화점의 위치 및 상기 분류 스코어에 기초하여 화재 발생 여부를 결정하는 시간적 분석 모듈을 포함하는화재 검출 시스템.
- 제1항에 있어서,상기 입력 영상은 복수의 프레임을 포함하고,상기 광흐름 검출 모듈은,컴퓨터 그래픽으로 사전 생성한 상기 복수의 프레임 간 광흐름 훈련 데이터로 학습된 딥러닝 모델을 이용하여 상기 제1 후보 영역을 결정하는, 화재 검출 시스템.
- 제1항에 있어서,상기 영상 특징 검출 모듈은,상기 화재 요소에 대응하는 사전 생성한 화재 훈련 데이터로 학습된 딥러닝 모델을 이용하여 상기 제2 후보 영역을 결정하는, 화재 검출 시스템.
- 제1항에 있어서,상기 제1 후보 영역 및 상기 제2 후보 영역을 추적하고 그 추적 결과를 상기 후보 영역 분석 모듈에 제공하는 후보 영역 추적 모듈을 더 포함하는 화재 검출 시스템.
- 제1항에 있어서,상기 후보 영역 분석 모듈은, 상기 입력 영상에서의 상기 의심 영역의 위치, 상기 의심 영역의 크기, 상기 화재 요소의 움직임을 근사한 광흐름을 나타내는 광흐름 벡터 및 광흐름 크기, 상기 입력 영상에서 예측된 불꽃을 나타내는 소프트 마스크 및 상기 입력 영상에서 예측된 연기를 나타내는 소프트 마스크 중 적어도 하나를 포함하는 의심 영역 정보를 출력하는, 화재 검출 시스템.
- 제1항에 있어서,상기 발화점 추정 모듈은,컴퓨터 그래픽으로 화재 요소와 배경을 합성한 합성 훈련 데이터로 학습된 딥러닝 모델을 이용하여 상기 발화점의 위치를 추정하는, 화재 검출 시스템.
- 제1항에 있어서,상기 화재 분류 모듈은,딥러닝 분류 모델을 이용하여, 상기 의심 영역에 대한 화재 발생 여부를 점수화하거나 상기 의심 영역의 화재 요소가 불꽃 또는 연기로 분류될 확률을 점수화한 상기 분류 스코어를 산출하는, 화재 검출 시스템.
- 제1항에 있어서,상기 입력 영상은 복수의 프레임을 포함하고,상기 시간적 분류 모듈은,상기 복수의 프레임에 대한 시간적 상관관계(temporal coherence)를 고려하여 상기 화재 발생 여부를 결정하는, 화재 검출 시스템.
- 제1항에 있어서,상기 입력 영상의 흔들림을 보정한 흔들림 보정 영상을 상기 광흐름 검출 모듈 및 상기 영상 특징 검출 모듈에 제공하는 흔들림 방지 모듈을 더 포함하는 화재 검출 시스템.
- 제9항에 있어서,상기 흔들림 방지 모듈은,상기 입력 영상으로부터 모션 벡터를 추출하는 모션 벡터 추출 모듈 및상기 모션 벡터를 이용하여 상기 입력 영상에 대한 시간적 평활화(temporal smoothing) 처리를 수행하는 시간적 평활화 모듈을 포함하는, 화재 검출 시스템.
- 입력 영상으로부터 모션 벡터를 추출하는 모션 벡터 추출 모듈;상기 모션 벡터를 이용하여 상기 입력 영상에 대한 시간적 평활화 처리를 수행하여 상기 입력 영상에 대한 흔들림 보정 영상을 출력하는 시간적 평활화 모듈;상기 입력 영상 및 상기 흔들림 보정 영상 중 적어도 하나로부터 화재 발생이 의심되는 의심 영역을 결정하는 의심 영역 검출 모듈;상기 의심 영역에서 발화점의 위치를 추정하는 발화점 추정 모듈;상기 의심 영역의 화재 발생 여부를 예측한 분류 스코어를 산출하는 화재 분류 모듈; 및상기 발화점의 위치 및 상기 분류 스코어에 기초하여 화재 발생 여부를 결정하는 시간적 분석 모듈을 포함하는화재 검출 시스템.
- 제11항에 있어서,상기 의심 영역 검출 모듈은,상기 흔들림 보정 영상으로부터 화재 요소의 움직임을 추정하여, 상기 입력 영상에서 제1 후보 영역을 결정하는 광흐름 검출 모듈;상기 입력 영상으로부터 화재 요소의 영상 특징을 인지하여, 상기 입력 영상에서 제2 후보 영역을 결정하는 영상 특징 검출 모듈;상기 제1 후보 영역 및 상기 제2 후보 영역에 기초하여, 상기 입력 영상에서 화재 발생이 의심되는 의심 영역을 결정하는 후보 영역 분석 모듈을 포함하는, 화재 검출 시스템.
- 제11항에 있어서,상기 발화점 추정 모듈은,컴퓨터 그래픽으로 화재 요소와 배경을 합성한 합성 훈련 데이터로 학습된 딥러닝 모델을 이용하여 상기 발화점의 위치를 추정하는, 화재 검출 시스템.
- 제11항에 있어서,상기 화재 분류 모듈은,딥러닝 분류 모델을 이용하여, 상기 의심 영역에 대한 화재 발생 여부를 점수화하거나 상기 의심 영역의 화재 요소가 불꽃 또는 연기로 분류될 확률을 점수화한 상기 분류 스코어를 산출하는, 화재 검출 시스템.
- 제11항에 있어서,상기 입력 영상은 복수의 프레임을 포함하고,상기 시간적 분류 모듈은,상기 복수의 프레임에 대한 시간적 상관관계를 고려하여 상기 화재 발생 여부를 결정하는, 화재 검출 시스템.
- 입력 영상으로부터 모션 벡터를 추출하는 모션 벡터 추출 모듈;상기 모션 벡터를 이용하여 상기 입력 영상에 대한 시간적 평활화 처리를 수행하여 상기 입력 영상에 대한 흔들림 보정 영상을 출력하는 시간적 평활화 모듈;상기 흔들림 보정 영상으로부터 화재 요소의 움직임을 추정하여, 상기 입력 영상에서 제1 후보 영역을 결정하는 광흐름 검출 모듈;상기 입력 영상으로부터 화재 요소의 영상 특징을 인지하여, 상기 입력 영상에서 제2 후보 영역을 결정하는 영상 특징 검출 모듈; 및상기 제1 후보 영역 및 상기 제2 후보 영역에 기초하여, 상기 입력 영상에서 화재 발생이 의심되는 의심 영역을 결정하는 후보 영역 분석 모듈을 포함하는화재 검출 시스템.
- 제16항에 있어서,상기 의심 영역에서 발화점의 위치를 추정하는 발화점 추정 모듈;상기 의심 영역의 화재 발생 여부를 예측한 분류 스코어를 산출하는 화재 분류 모듈; 및상기 발화점의 위치 및 상기 분류 스코어에 기초하여 화재 발생 여부를 결정하는 시간적 분석 모듈을 더 포함하는, 화재 검출 시스템.
- 제16항에 있어서,상기 입력 영상은 복수의 프레임을 포함하고,상기 광흐름 검출 모듈은,컴퓨터 그래픽으로 사전 생성한 상기 복수의 프레임 간 광흐름 훈련 데이터로 학습된 딥러닝 모델을 이용하여 상기 제1 후보 영역을 결정하는, 화재 검출 시스템.
- 제16항에 있어서,상기 영상 특징 검출 모듈은,상기 화재 요소에 대응하는 사전 생성한 화재 훈련 데이터로 학습된 딥러닝 모델을 이용하여 상기 제2 후보 영역을 결정하는, 화재 검출 시스템.
- 제16항에 있어서,상기 제1 후보 영역 및 상기 제2 후보 영역을 추적하고 그 추적 결과를 상기 후보 영역 분석 모듈에 제공하는 후보 영역 추적 모듈을 더 포함하는 화재 검출 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/768,554 US20230201642A1 (en) | 2019-11-08 | 2020-01-29 | Fire detection system |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2019-0142797 | 2019-11-08 | ||
| KR1020190142797A KR102144974B1 (ko) | 2019-11-08 | 2019-11-08 | 화재 검출 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021091021A1 true WO2021091021A1 (ko) | 2021-05-14 |
Family
ID=72050287
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/KR2020/001357 WO2021091021A1 (ko) | 2019-11-08 | 2020-01-29 | 화재 검출 시스템 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230201642A1 (ko) |
| KR (1) | KR102144974B1 (ko) |
| WO (1) | WO2021091021A1 (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210073692A1 (en) | 2016-06-12 | 2021-03-11 | Green Grid Inc. | Method and system for utility infrastructure condition monitoring, detection and response |
| KR102388212B1 (ko) * | 2020-10-29 | 2022-04-18 | 한국해양과학기술원 | 원격관제장치 및 이를 이용한 원격관제방법 |
| CN112906463A (zh) * | 2021-01-15 | 2021-06-04 | 上海东普信息科技有限公司 | 基于图像的火情检测方法、装置、设备及存储介质 |
| CN113128439A (zh) * | 2021-04-27 | 2021-07-16 | 云南电网有限责任公司电力科学研究院 | 一种基于视频图像序列的火焰实时检测算法及系统 |
| KR102521726B1 (ko) * | 2022-06-30 | 2023-04-17 | 주식회사 아이미츠 | 화재 확산 방향을 예측할 수 있는 인공지능 기반의 화재 감지 시스템 및 그 화재 확산 방향 예측 방법 |
| CN116824462B (zh) * | 2023-08-30 | 2023-11-07 | 贵州省林业科学研究院 | 一种基于视频卫星的森林智能防火方法 |
| CN117523499B (zh) * | 2023-12-29 | 2024-03-26 | 广东邦盛北斗科技股份公司 | 基于北斗定位与感知的森林防火监测方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101538923B1 (ko) * | 2014-03-17 | 2015-07-27 | 건국대학교 산학협력단 | 관심 영역 추적을 통한 실시간 영상 안정화 장치 및 그 방법 |
| KR101822924B1 (ko) * | 2016-11-28 | 2018-01-31 | 주식회사 비젼인 | 영상기반 화재 감지 시스템, 방법 및 프로그램 |
| KR20180107930A (ko) * | 2017-03-23 | 2018-10-04 | 한국과학기술원 | 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템 |
| KR101934700B1 (ko) * | 2018-07-12 | 2019-01-03 | 주식회사동우유니온 | 영상처리와 딥러닝 기반의 ai를 이용한 조기 화재감지 시스템, 서버 및 방법 |
| JP2019179573A (ja) * | 2019-06-21 | 2019-10-17 | ホーチキ株式会社 | 火災検知システム及び火災検知方法 |
-
2019
- 2019-11-08 KR KR1020190142797A patent/KR102144974B1/ko active IP Right Grant
-
2020
- 2020-01-29 US US17/768,554 patent/US20230201642A1/en active Pending
- 2020-01-29 WO PCT/KR2020/001357 patent/WO2021091021A1/ko active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101538923B1 (ko) * | 2014-03-17 | 2015-07-27 | 건국대학교 산학협력단 | 관심 영역 추적을 통한 실시간 영상 안정화 장치 및 그 방법 |
| KR101822924B1 (ko) * | 2016-11-28 | 2018-01-31 | 주식회사 비젼인 | 영상기반 화재 감지 시스템, 방법 및 프로그램 |
| KR20180107930A (ko) * | 2017-03-23 | 2018-10-04 | 한국과학기술원 | 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템 |
| KR101934700B1 (ko) * | 2018-07-12 | 2019-01-03 | 주식회사동우유니온 | 영상처리와 딥러닝 기반의 ai를 이용한 조기 화재감지 시스템, 서버 및 방법 |
| JP2019179573A (ja) * | 2019-06-21 | 2019-10-17 | ホーチキ株式会社 | 火災検知システム及び火災検知方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102144974B1 (ko) | 2020-08-14 |
| US20230201642A1 (en) | 2023-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021091021A1 (ko) | 화재 검출 시스템 | |
| WO2017030259A1 (ko) | 자동추적 기능을 갖는 무인항공기 및 그 제어방법 | |
| WO2020085881A1 (en) | Method and apparatus for image segmentation using an event sensor | |
| WO2012005387A1 (ko) | 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템 | |
| WO2014058248A1 (ko) | 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법 | |
| WO2020130309A1 (ko) | 영상 마스킹 장치 및 영상 마스킹 방법 | |
| WO2013100239A1 (ko) | 스테레오 비전 시스템의 영상처리방법 및 그 장치 | |
| WO2016095094A1 (zh) | 图像处理系统、遥控拍摄组件及曝光信息提示方法 | |
| WO2022114731A1 (ko) | 딥러닝 기반 비정상 행동을 탐지하여 인식하는 비정상 행동 탐지 시스템 및 탐지 방법 | |
| WO2017111257A1 (ko) | 영상 처리 장치 및 영상 처리 방법 | |
| WO2016024680A1 (ko) | 주행차량의 번호판 인식이 실시간으로 가능한 차량용 블랙박스 | |
| WO2017034062A1 (ko) | 이동 대상을 이동 로봇이 추종하는 추종 시스템 | |
| WO2021100919A1 (ko) | 행동 시퀀스 기반으로 이상행동 여부를 판단하는 방법, 프로그램 및 시스템 | |
| WO2013085278A1 (ko) | 선택적 주의 집중 모델을 이용한 모니터링 장치 및 그 모니터링 방법 | |
| WO2021235634A1 (ko) | 골프 코스의 디봇 탐지 시스템 및 이를 이용한 탐지 방법 | |
| WO2020017814A1 (ko) | 이상 개체 검출 시스템 및 방법 | |
| WO2020101434A1 (ko) | 영상의 리타겟팅을 위한 영상 처리 장치 및 방법 | |
| WO2018164316A1 (ko) | 전방향 영상 촬상 방법 및 이러한 방법을 수행하는 장치 | |
| WO2019212237A1 (ko) | 이상 개체 검출 장치 및 방법 | |
| WO2023210982A1 (ko) | 선실드가 형성된 감시카메라 장치 및 이의 제어방법 | |
| KR20100118368A (ko) | 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법 | |
| WO2012015156A2 (ko) | 열적외선을 이용한 환경독립형 교통검지시스템 | |
| WO2020230921A1 (ko) | 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법 및 이를 적용한 식별장치와 로봇 | |
| WO2023080667A1 (ko) | Ai 기반 객체인식을 통한 감시카메라 wdr 영상 처리 | |
| WO2022225102A1 (ko) | Ai 기반 객체인식을 통한 감시 카메라의 셔터값 조절 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20884847 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 32PN | Ep: public notification in the ep bulletin as address of the adressee cannot be established |
Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 23/09/2022) |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20884847 Country of ref document: EP Kind code of ref document: A1 |