KR101869442B1 - 화재 감지 장치 및 방법 - Google Patents

화재 감지 장치 및 방법 Download PDF

Info

Publication number
KR101869442B1
KR101869442B1 KR1020170156462A KR20170156462A KR101869442B1 KR 101869442 B1 KR101869442 B1 KR 101869442B1 KR 1020170156462 A KR1020170156462 A KR 1020170156462A KR 20170156462 A KR20170156462 A KR 20170156462A KR 101869442 B1 KR101869442 B1 KR 101869442B1
Authority
KR
South Korea
Prior art keywords
smoke
region
area
classification
candidate
Prior art date
Application number
KR1020170156462A
Other languages
English (en)
Inventor
노승환
Original Assignee
공주대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 공주대학교 산학협력단 filed Critical 공주대학교 산학협력단
Priority to KR1020170156462A priority Critical patent/KR101869442B1/ko
Application granted granted Critical
Publication of KR101869442B1 publication Critical patent/KR101869442B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/10—Actuation by presence of smoke or gases, e.g. automatic alarm devices for analysing flowing fluid materials by the use of optical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/4652—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

본 발명은 카메라 감시 시스템과 영상처리 기술에 의한 자동 연기 감지 알고리즘을 이용하여 연기를 감지하고 움직이는 물체를 추적한 다음 컨볼류션 신경 회로망(CNN: Convolutional Neural Network)을 사용한 캐스케이드(cascade) 분류 모델을 사용하여 연기와 연기가 없는 물체를 구분하는 것에 의해 화재를 감지할 수 있도록 하는 화재 감지 장치 및 방법에 관한 것이다.
상술한 화재 감지 장치는, 화재 감시용 카메라(10)로부터 입력되는 화재 감지 대상 영역 영상에 대하여 배경픽셀의 변화를 감지하고, 연결된 픽셀들을 클러스터링 하여 후보 연기 영역으로 분류하는 연기 영역 감지부(110); 및 상기 후보 연기 영역을 수신한 후 연기와 연기 아닌 영역을 분류하여, 연기 영역이 존재하는 경우 연기 영역을 추출하여 출력하는 연기 영역 분류부(120);를 포함하여 구성되는 것을 특징으로 한다.

Description

화재 감지 장치 및 방법{FIRE DETECTING APPARATUS AND THE METHOD THEREOF}
본 발명은 화재 감지 기술에 관한 것으로서, 더욱 상세하게는, 카메라 감시 시스템과 영상처리 기술에 의한 자동 연기 감지 알고리즘을 이용하여 연기를 감지하고 움직이는 물체를 추적한 다음 컨볼류션 신경 회로망(CNN: Convolutional Neural Network)을 사용한 캐스케이드(cascade) 분류 모델을 사용하여 연기와 연기가 없는 물체를 구분하는 것에 의해 화재를 감지할 수 있도록 하는 화재 감지 장치 및 방법에 관한 것이다.
화재는 많은 인명 피해와 재산 손실이 발생시킨다. 그러나 조기에 화재 발생이 감지가 된다면, 대부분의 화재는 사전에 예방하거나 발생하더라도 손실을 줄일 수 있다. 따라서 자동 화재 경보 시스템은 화재 예방에 매우 중요하다
화재 발생 초기에 연기를 감지하는 것은 화재를 감지하는 가장 중요한 단서가 되므로, 화재 초기에 연기를 감지하는 것은 매우 중요하다. 기존의 연기 감지시스템에서는 센서를 많이 이용하였다. 그러나 연기센서를 사용하는 시스템의 정확도를 높이기 위해서는 센서를 조밀하게 배치해야 하며, 특히 실외 환경과 같은 넓은 지역이면 시스템 설치 자체가 어려울 수 있다.
최근 디지털 카메라는 보안 감시 분야에서 급속도로 발전하고 있다. 보안 카메라의 장점은 센서에 비해서 쉽게 설치를 할 수 있으며 개방된 넓은 지역을 모니터링 할 수 있다. 특히 최근에는 감시 카메라 시스템과 영상 분석 기술을 이용한 연기 감지 시스템이 센서 기반 감지 시스템을 대체하고 있는 추세이다
연기를 감지하기 위한 다양한 영상 처리 알고리즘이 제안되었으며, 대부분의 제안 된 알고리즘은 연기를 움직이는 물체로 간주하고, 연기가 발생할 때 배경의 외관을 변경한다고 가정한다. 이러한 알고리즘의 첫 번째 단계로 배경이 변화하는 것을 탐지하는 것을 연기가 발생하는 후보 영역으로 감지하고 연기가 없는 정지된 물체를 제거하는 방법이 주로 사용된다. 배경이 변화하는 것을 탐지하는 가장 효과적인 기술로는 배경 모델링, 배경 제거 및 광 흐름(optical flow) 방법 등이 있다.
배경이 변화하는 것을 감지하는 것은 단지 연기가 나는 후보 영역을 탐지 하는데 도움이 되지만 인간, 차량 또는 배경 조명 변화와 같은 움직이는 물체와 연기를 구분 할 수는 없다. 따라서 탐지된 객체가 연기라는 것을 검증하기 위해서는 추가적으로 분석 단계가 필요하다.
색은 연기를 분류하는 데 사용되는 일반적인 특성이며, 연기의 색은 회색, 밝은 회색, 흰색 그리고 어두운 회색이 될 수 있다. 그러나 실제 환경에는 비슷한 색을 갖는 많은 물체가 있으며, 그리고 어떤 경우에는 연기가 반투명하여 배경색에 영향을 받을 수도 있다. 따라서 색은 연기를 감지하는 신뢰할 만한 단서가 될 수 없다.
그리고 연기 영역의 크기 변화[2], 연기 윤곽의 거친 정도], 연기 영역의 증가, 상승 영역의 검출 등과 같은 방법들이 연기를 감지할 때 잘못된 경보를 제거하기 위해 제안되었지만, 그 들 모두 여전히 특정 상황에서 잘못된 경보를 유발할 수 있다.
연기를 구분하는 또 다른 방법은 웨이블릿(wavelet) 기반 분석이다[4,5]. 연기가 발생하면 배경 화면의 전체 또는 일부분이 연기에 의해 흐려질 수 있다. 이것은 연기 영역의 경계에서 고주파 성분과 선명도를 떨어뜨린다. 웨이블릿 에너지의 감소를 계산하는 것은 연기를 감지하는데 매우 중요한 단서이다. 그러나 이러한 특성이 항상 정확하지는 않으며, 예를 들어 연기가 매끄러운 배경의 경계를 증가시키거나, 부드럽고 넓은 면적을 갖는 연기가 배경의 선명도와 결계를 감소시킬 수 있다.
최근에는 로컬 화상 특징(HOG(Histogram of Oriented Gradients), SIFT(Scale Invariant Feature Transform)) 기반의 화상 분류 알고리즘을 사용하여 Bag of Visual Words를 구성하고 통계 분류기를 실행하여 많은 수의 객체 범주로 화상을 분류한다. 이러한 접근법은 좋은 결과를 보여 주므로 연기와 연기가 없는 대상을 분류하는 방법으로 사용될 수 있다. 그러나 분류기는 visual word에 의존하며, 객체의 컨텍스트를 표현할 때 패치(patch) 간의 공간적 관계를 무시하고 배경 정보를 혼동하며, 이 알고리즘은 시각적 또는 규모적인 관점에서의 불변성이 충분히 시험되지 않았다.
기계 학습(machine learning)에 있어서 딥 러닝(Deep Learning)은 새로운 경향이며, 컨벌루션 신경회로망(CNN : Convolutional Neural Network)이라는 화상 학습 알고리즘은 화상 분류를 포함한 컴퓨터 비전에서 최근 많은 성과를 보여주고 있다. 그러나 이 방법의 단점은 화상 화면에서 물체의 위치를 지정할 수 없으며, 계산 비용이 매우 높다는 것이다.
한국등록특허공보 제10-0839090호(2008.06.20. 공고) 한국등록특허공보 제10-0862409호(2008.10.08. 공고) 한국등록특허공보 제10-1073076호(2011.10.12. 공고) 한국등록특허공보 제10-1285846호(2013.07.12. 공개)
따라서 본 발명은 상술한 종래기술의 문제점을 해결하기 위한 것으로서, 후보 연기의 위치를 확인하기 위해서 배경을 제거하거나 고속의 하드웨어 가속 장치를 사용하여 계산속도를 향상시킴으로써 딥 러닝(Deep Learning)과 컨벌루션 신경회로망(CNN : Convolutional Neural Network) 화상 학습 알고리즘이 갖는 화상 화면에서 물체의 위치를 지정할 수 없으며 계산 비용이 매우 높은 단점을 해소하고, 연기가 없는 피사체를 대부분 제거하기 위해서 고속의 캐스케이드 모델(cascade model)을 여러 개 시용하며, 다음에 최종적으로 연기를 인식하기 위해 딥 러닝 분류기를 사용함으로써 계산 시간을 줄이는 것에 의해, 연기탐지 효율을 현저히 향상시킴으로서, 신속하고 정확하게 화재를 감지할 수 있도록 하여 종래기술에 비해 잘못된 경보를 줄일 수 있도록 하는 화재 감지 장치 및 그 방법을 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위한 본 발명의 화재 감지 장치는,
화재 감시용 카메라(10)로부터 입력되는 화재 감지 대상 영역 영상에 대하여 배경픽셀의 변화를 감지하고, 연결된 픽셀들을 클러스터링 하여 후보 연기 영역으로 분류하는 연기 영역 감지부(110); 및
상기 후보 연기 영역을 수신한 후 연기와 연기 아닌 영역을 분류하여, 연기 영역이 존재하는 경우 연기 영역을 추출하여 출력하는 연기 영역 분류부(120);를 포함하여 구성되는 것을 특징으로 한다.
상기 연기 영역 감지부(110)는,
GMM(가우시안 혼합 모델링: Mixture of Gaussian Background Modeling)을 사용하여 상기 화재 감지 대상 영역 영상 중 배경 픽셀의 변화를 감지하고, 연결된 픽셀들을 클러스트링 하여 후보 연기 영역으로 분류하도록 구성될 수 있다.
상기 연기 영역 감지부(110)는,
GMM을 이용하여 상기 화재 감지 대상 영역 영상의 화상 픽셀들을 배경 픽셀(background pixel)들 및 전경 픽셀(foreground pixel)들의 2개의 클래스로 분류하고,
연결된 전경 픽셀들을 블럽(blob)들로 묶어서 각 블럽을 하나의 후보 연기 영역으로 추출하도록 구성될 수 있다.
상기 연기 영역 분류부(120)는,
연기를 구성하는 채도별 회색과 흰색에 대하여, 화상 픽셀의 (R, G, B)의 최대 값과 최소 값 및 픽셀 강도(pixel intensity))를 이용하여 연기 픽셀을 분류하여 후보 연기 영역 분류하는 색상 분류를 수행하고,
상기 색상 분류에 의해 분류된 후보 연기 영역에 대하여, 상기 화재 감지 대상 영역 영상을 구성하는 프레임들에서 확장되는 연기 영역을 분류하여 확산 영역의 후보 연기 영역으로 분류하는 확산 영역 분류를 수행하며,
상기 확산 영역 분류에 의해 분류된 후보 연기 영역에 대하여, 시간에 따른 상기 화재 감지 대상 영역 영상 내에서 프레임별 연기의 크기 변화를 고려하여 후보 연기 영역을 분류하는 크기 변화 분류를 수행하고,
상기 크기 변화 분류에 의해 분류된 후보 연기 영역에 대하여, 연기 영역의 경계에서의 잃어버린 경계 픽셀의 수와 얻은 경계 픽셀의 수를 적용하여 후보 연기 영역을 분류하는 경계 에너지 분류를 수행하며,
상기 경계 에너지 분류가 수행된 연기 영역에 대하여, 딥 러닝 알고리즘인 CNN(Convolutional Neural Network)을 사용하여 연기 영역과 연기가 아닌 영역을 분류하는 CNN 딥러닝 화상 분류를 수행하는 다수의 캐스케이드 모델(cascade model)을 적용하는 것에 의해 연기 영역을 추출하도록 구성될 수 있다.
상기 연기 영역 분류부(120)의 상기 색상 분류는,
연기를 구성하는 채도별 회색과 흰색에 대하여, Cmax-Cmin < thC((Cmax, Cmin은 화상 픽셀의 (R, G, B)의 최대 값과 최소 값, thC는 임계 값)이고, Imin < I < Imax(I 는 픽셀 강도(pixel intensity))를 만족하는 픽셀을 연기 픽셀로 분류하는 것을 특징으로 한다.
상기 연기 영역 분류부(120)는,
상기 색상분류가 nc는 연기 색상 픽셀로 분류된 영역 내에 있는 픽셀의 수, S는 영역의 면적, thpc는 연기 영역이 아닌 영역은 배제되도록 하는 임계값,
Figure 112017116400880-pat00001
는 색상 확류에 의한 후보 연기 영역이 사실이 될 확률을 계산하기 위한 식일 때, 색상 확률 Fc < thpc 인 경우 연기 영역이 아닌 영역으로 배제되도록 하는 것을 더 포함할 수 있다.
상기 연기 영역 분류부(120)의 확산 영역 분류는,
상기 색상 분류에 의해 분류된 후보 연기 영역에 대하여, ng를 후보연기 영역의 성장 인자라고 정의하고, 0으로 초기화한 후, 두 연속 프레임 t-1과 t 사이의 연기 영역의 크기가 기 설정된 임계 값 thds를 초과하면 성장 인자가 1만큼 증가하도록 하고, St, St-1를 각각 시간 t와 t-1 사이에서 후보 연기 영역의 크기라 하고 n을 분석 프레임의 수로 하여, 연기 확장 영역 Fg = ng/n일 확률을 ng = ng +1 (St-St-1 > thds 인 경우)에 의해 계산한 후, Fg < thg(기 설정 임계 값) 이면 후보 연기 영역이 연기 영역이 아닌 것으로 분류하는 것을 특징으로 한다.
상기 연기 영역 분류부(120)의 크기 변환 분류는,
상기 확산 영역 분류에 의해 분류된 후보 연기 영역에 대하여, 시간 t에서 연기 영역의 크기 변화 ΔS =|St-St-1|이고, 정규화된 영역의 크기 변화 ΔAt = ΔSt/St이며, 시간 t에서 이전 n 프레임에서의 ΔS에 대한 표준 편차가
Figure 112017116400880-pat00002
일 때, ΔAt > thΔA 이고
Figure 112017116400880-pat00003
> thΔS 만족하는 경우 후보 연기 영역으로 분류하는 것을 특징으로 한다.
상기 연기 영역 분류부(120)의 경계 에너지 분류는,
상기 크기 변화 분류에 의해 분류된 후보 연기 영역에 대하여, 연기 영역의 경계 크기가 감소하는 것을 확인하기 위해 잃어버린 경계 픽셀의 수 nloss와 얻은 경계 픽셀 수 ngain(연기의 경우 ngain <nloss)을 추정하기 위해,
Figure 112017116400880-pat00004
,
Figure 112017116400880-pat00005
,
Figure 112017116400880-pat00006
,가 (x, y) 지점에서 배경 화상에 대한 경사도 크기, 수직 경사도, 수평 경사도 및 화상의 강도일 때,
Figure 112017116400880-pat00007
,
Figure 112017116400880-pat00008
,
Figure 112017116400880-pat00009
이고,
Figure 112017116400880-pat00010
,
Figure 112017116400880-pat00011
,
Figure 112017116400880-pat00012
,가 (x, y) 지점에서 현재 프레임에 대한 경사도 크기, 수직 경사도, 수평 경사도 및 화상의 강도이고,
Figure 112017116400880-pat00013
,
Figure 112017116400880-pat00014
,
Figure 112017116400880-pat00015
가 (x, y) 지점에서 현재 프레임에 대한 경사도 크기, 수직 경사도, 수평 경사도 그리고 화상의 강도이며, thmag는 잡음을 제거하기 위한 임계값일 때,
Figure 112017116400880-pat00016
-
Figure 112017116400880-pat00017
> thmag이면 하나의 픽셀을 손실된 경계 크기 픽셀로 간주하고,
Figure 112017116400880-pat00018
-
Figure 112017116400880-pat00019
> thmag이면 하나의 픽셀을 얻어진 경계 크기 픽셀로 간주하며, ngain/nloss < the(결정 임계값)를 만족하면 후보 연기 영역으로 분류하는 것을 특징으로 한다.
상기 화재 감지 장치는,
상기 화재 감지 대상 영역 영상을 구성하는 전체 프레임 중 상기 추출된 연기 영역을 포함하는 영상 프레임의 비가 기 설정된 기준 값을 초과하는 경우 화재가 발생한 것으로 판단하여 화재 발생 신호를 출력하는 시간분석부(130);를 더 포함하여 구성될 수 있다.
상술한 목적을 달성하기 위한 본 발명의 화재 감지 방법은,
화재 감시용 카메라(10)로부터 입력되는 화재 감지 대상 영역 영상에 대하여 배경픽셀의 변화를 감지하고, 연결된 픽셀들을 클러스터링 하여 후보 연기 영역으로 분류하는 연기 영역 감지부(110) 및 상기 후보 연기 영역을 수신한 후 연기와 연기 아닌 영역을 분류하여, 연기 영역이 존재하는 경우 연기 영역을 추출하여 출력하는 연기 영역 분류부(120);를 포함하여 구성되는 화재 감지 장치에 의한 화재 감지 방법에 있어서,
상기 연기 영역 감지부(110)가 화재 감시용 카메라(10)로부터 입력되는 화재 감지 대상 영역 영상에 대하여 GMM(가우시안 혼합 모델링: Mixture of Gaussian Background Modeling)을 사용하여 상기 화재 감지 대상 영역 영상의 화상 픽셀들을 배경 픽셀(background pixel)들 및 전경 픽셀(foreground pixel)들의 2개의 클래스로 분류하고, 연결된 전경 픽셀들을 블럽(blob)들로 묶어서 각 블럽을 하나의 후보 연기 영역으로 추출하는 후보 연기 영역 감지과정(S10); 및
상기 연기 영역 분류부(120)가 상기 추출된 후보 연기 영역들에 대하여, 색상의 변화, 확산 영역의 변화, 크기 변화, 경계 에너지 변화, 분류, 확산 영역 분류, 크기 변화 및 딥러닝 알고리즘인 CNN을 적용한 연기 영역 분류를 수행하는 것에 의해 연기 영역을 분류하는 연기 영역 분류 과정(S20)을 포함하여 이루어 질 수 있다.
상기 연기 영역 분류 과정(S20)은, 상기 연기 영역 분류부(120)가,
연기를 구성하는 채도별 회색과 흰색에 대하여, Cmax-Cmin < thC((Cmax, Cmin은 화상 픽셀의 (R, G, B)의 최대 값과 최소 값, thC는 임계 값)이고, Imin < I < Imax(I 는 픽셀 강도(pixel intensity))를 만족하는 픽셀을 연기 픽셀로 분류하는 색상 분류 과정(S21);
상기 색상 분류에 의해 분류된 후보 연기 영역에 대하여, ng를 후보연기 영역의 성장 인자라고 정의하고, 0으로 초기화한 후, 두 연속 프레임 t-1과 t 사이의 연기 영역의 크기가 특정 임계 값 thds를 초과하면 성장 인자가 1만큼 증가하도록 하고, St, St-1를 각각 시간 t와 t-1 사이에서 후보 연기 영역의 크기라 하고 n을 분석 프레임의 수로 하여, 연기 확장 영역 Fg = ng/n일 확률을 ng = ng +1 (St-St-1 > thds 인 경우)에 의해 계산 한 후, Fg < thg 이면 후보 연기 영역이 연기 영역이 아닌 것으로 분류하는 확산 영역 분류과정(S23);
상기 확산 영역 분류에 의해 분류된 후보 연기 영역에 대하여, 시간 t에서 연기 영역의 크기 변화 ΔS =|St-St-1|이고, 정규화된 영역의 크기 변화 ΔAt = ΔSt/St이며, 시간 t에서 이전 n 프레임에서의 ΔS에 대한 표준 편차가
Figure 112017116400880-pat00020
일 때, ΔAt > thΔA 이고
Figure 112017116400880-pat00021
> thΔS를 만족하는 경우 후보 연기 영역으로 분류하는 크기 변화 분류과정(S25);
상기 크기 변화 분류에 의해 분류된 후보 연기 영역에 대하여, 연기 영역의 경계 크기가 감소하는 것을 확인하기 위해 잃어버린 경계 픽셀의 수 nloss와 얻은 경계 픽셀 수 ngain(연기의 경우 ngain <nloss)을 추정하기 위해,
Figure 112017116400880-pat00022
,
Figure 112017116400880-pat00023
,
Figure 112017116400880-pat00024
,가 (x, y) 지점에서 배경 화상에 대한 경사도 크기, 수직 경사도, 수평 경사도 및 화상의 강도일 때,
Figure 112017116400880-pat00025
,
Figure 112017116400880-pat00026
,
Figure 112017116400880-pat00027
이고,
Figure 112017116400880-pat00028
,
Figure 112017116400880-pat00029
,
Figure 112017116400880-pat00030
,가 (x, y) 지점에서 현재 프레임에 대한 경사도 크기, 수직 경사도, 수평 경사도 및 화상의 강도이고,
Figure 112017116400880-pat00031
,
Figure 112017116400880-pat00032
,
Figure 112017116400880-pat00033
가 (x, y) 지점에서 현재 프레임에 대한 경사도 크기, 수직 경사도, 수평 경사도 그리고 화상의 강도이며, thmag는 잡음을 제거하기 위한 임계값일 때,
Figure 112017116400880-pat00034
-
Figure 112017116400880-pat00035
> thmag이면 하나의 픽셀을 손실된 경계 크기 픽셀로 간주하고,
Figure 112017116400880-pat00036
-
Figure 112017116400880-pat00037
> thmag이면 하나의 픽셀을 얻어진 경계 크기 픽셀로 간주하며, ngain/nloss < the(결정 임계값)를 만족하면 후보 연기 영역으로 분류하는 경계 에너지 분류과정(S27); 및
상기 경계 에너지 분류가 수행된 연기 영역에 대하여, 딥 러닝 알고리즘인 CNN(Convolutional Neural Network)을 사용하여 연기 영역과 연기가 아닌 영역을 분류하는 CNN 딥러닝 화상 분류과정(S29);을 포함하여 이루어질 수 있다.
상기 색상분류과정(S21)의 색상분류는,
nc는 연기 색상 픽셀로 분류된 영역 내에 있는 픽셀의 수, S는 영역의 면적, thpc는 연기 영역이 아닌 영역은 배제되도록 하는 임계값,
Figure 112017116400880-pat00038
는 색상 확률에 의한 후보 연기 영역이 사실이 될 확률을 계산하기 위한 식일 때, 색상 확률 Fc < thpc 인 경우 연기 영역이 아닌 영역으로 배제되도록 하는 분류를 더 포함할 수 있다.
상기 화재 감지 방법은,
상기 화재 감지 장치가 시가분석부(130)를 더 포함하여 구성되어,
상기 시간분석부(130)가 상기 화재 감지 대상 영역 영상을 구성하는 전체 프레임 중 상기 추출된 연기 영역을 포함하는 영상 프레임의 비가 기 설정된 기준 값을 초과하는 경우 화재가 발생한 것으로 판단하여 화재 발생 신호를 출력하는 시간분석과정(S29);을 더 포함하여 이루어질 수 있다.
상술한 구성을 가지는 본 발명은, 카메라 영상을 통한 화재 감지의 수행 시 딥러닝을 적용한 CNN을 사용하여 화재를 판단할 수 있도록 하는 연기 영역을 검출하는 것에 의해, 화재 감지의 수행을 위한 영상처리를 위한 계산 시간을 줄이며, 이에 의해, 연기탐지 효율을 현저히 향상시킴으로서, 신속하고 정확하게 화재를 감지할 수 있도록 하여 종래기술에 비해 잘못된 경보를 줄일 수 있도록 하는 것을 특징으로 한다.
도 1은 본 발명의 실시예에 따르는 화재 감지 장치(100)의 구성도.
도 2는 본 발명의 실시예에 따르는 화재 감지 방법의 처리과정을 나타내는 순서도.
도 3은 도 2의 처리과정 중 후보 연기 영역 감시과정의 상세 처리과정을 나타내는 순서도.
도 4는 도 3의 후보 영역 감지 과정의 각 과정을 나타내는 이미지.
도 5는 도 2의 연기 영역 분류 과정의 상세 처리과정을 나타내는 순서도.
도 6은 연기가 없는 화면에서의 연기 색상의 분할을 나타내는 도면.
도 7은 연기가 있는 색상에서의 연기 색상의 분할을 나타내는 도면.
도 8은 크기 변화 분류에 의한 연기 영역 확장을 나타내는 도면.
도 9는 연기 영역에 대해 손실된 경계 크기가 픽셀 맵과 얻어진 경계 크기 픽셀의 맵을 나타내는 도면.
도 10은 간단한 구조의 CNN 구조를 나타내는 도면.
도 11은 Alexnet CNN 모델 구조를 나타내는 도면.
도 12는 훈련 곡선을 나타내는 도면.
도 13은 높은 임계값으로 인해 연기 감지가 어려운 경우의 예시도.
도 14는 연기 감지 결과를 나타내는 도면.
하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로, 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원서에 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명은 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시예를 나타내는 첨부 도면을 참조하여 본 발명을 더욱 상세히 설명한다.
도 1은 본 발명의 실시예에 따르는 화재 감지 장치(100)의 구성도이다.
도 1과 같이, 상기 화재 감지 장치(100)는 후보 연기 영역 감지부(110), 연기 영역 분류부(120) 및 시간분석부(130)를 포함하여 구성된다.
상기 후보 연기 영역 감지부(110)는 화재 감시용 카메라(10)로부터 입력되는 화재 감지 대상 영역 영상에 대하여 배경픽셀의 변화를 감지하고, 연결된 픽셀들을 클러스터링 하여 후보 연기 영역으로 분류하도록 구성된다. 후보 연기 영역은 연기 영역의 분류를 위해 연기가 아닌 영역을 포함하는 연기 영역일 가능성이 있다고 선택된 영역들을 의미한다.
상기 연기 영역 분류부(120)는 상기 후보 연기 영역을 수신한 후 연기와 연기 아닌 영역을 분류하여, 연기 영역이 존재하는 경우 연기 영역을 추출하여 출력하도록 구성된다. 상기 연기 영역 분류부(120)에서 분류되는 연기 영역은 하기에서 설명될 색상분류, 확산 영역 분류, 크기 변화 분류, 경계 에너지 분류 및 CNN에 의한 딥러닝 화상 분류를 포함하는 다수의 캐스케이드 모델(cascade model)을 적용하는 것에 의해 순차적으로 후보 연기 영역에서 연기가 아닌 영역을 제거하여 실제 연기를 포함하는 영역을 의미한다.
상기 시간 분석부(130)는 상기 화재 감지 대상 영역 영상을 구성하는 전체 프레임 중 상기 추출된 연기 영역을 포함하는 영상 프레임의 비가 기 설정된 기준 값을 초과하는 경우 화재가 발생한 것으로 판단하여 화재 발생 신호를 출력하도록 구성된다.
도 2는 본 발명의 실시예에 따르는 화재 감지 방법의 처리과정을 나타내는 순서도이다.
도 2와 같이, 상기 화재 감지 장치(100)에 의해 수행되는 화재 감지 방법은, 후보 연기 영역 감지과정(S10), 연기 영역 분류과정(S20) 및 시간분석과정(S30)을 포함하여 이루어진다. 상술한 처리과정을 수행하는 본 발명의 화재 감지 방법은 비디오 기반의 연기 감지 알고리즘이 구현될 수 있다. 즉, 첫 번째 단계에서는 후보 연기 영역을 감지하여 후보 연기 영역들을 추출하는 것으로서, 가우시안 혼합 모델링 (GMM: GMM(Mixture of Gaussian Background Modeling)을 사용하여 배경 픽셀의 변화를 감지하고, 연결된 픽셀들을 클러스터링 하여 후보 연기 영역으로 분류한다.(후보 연기 영역 감지과정(S10)), 두 번째 단계에서는 연기 영역과 연기 영역이 아닌 영역으로 구분하고(연기 영역 분류과정(S20), 세 번째 단계에서는 최종 결정을 위하여 시간분석부(130)가 상기 화재 감지 대상 영역 영상을 구성하는 전체 프레임 중 상기 추출된 연기 영역을 포함하는 영상 프레임의 비가 기 설정된 기준 값을 초과하는 경우 화재가 발생한 것으로 판단하여 화재 발생 신호를 출력하는 시간 분석(temporal analysis)(시간분석과정(S30)을 한다.
도 3은 도 2의 처리과정 중 후보 연기 영역 감시과정의 상세 처리과정을 나타내는 순서도이다.
연기가 발생하면 배경 화상의 모양이 바뀐다. 따라서 배경 화상의 변화를 감지함으로써 연기가 발생했다는 것을 감지할 수 있다. 연기 감지를 위해서 많은 알고리즘이 있으며, GMM(Mixture of Gaussian Background Modeling)은 가장 많이 사용되는 알고리즘이다. GMM에도 여전히 부분적 또는 전체적인 빛의 변화(illumination change)에 따른 문제가 있지만, 매우 효율적으로 사용되고 있다. 따라서 GMM을 이용하여 후보 연기 영역을 탐지하고 나머지 문제는 이 후의 처리 절차에 의해 해결될 것이다.
구체적으로 ,상기 후보 연기 영역 감지부(110)에 의해 수행되는 후보 연기 영역 감지과정(S10)은 배경 및 전경 픽셀분류과정(S11) 및 후부 연기 영역 추출과정(S13)을 포함하여 이루어진다. 도 3과 같이, 후보 연기 영역 감지부(110)는 화재 감시용 카메라(10)로부터 입력되는 화재 감지 대상 영역 영상에 대하여 GMM(가우시안 혼합 모델링: Mixture of Gaussian Background Modeling)을 사용하여 상기 화재 감지 대상 영역 영상의 화상 픽셀들을 배경 픽셀(background pixel)들 및 전경 픽셀(foreground pixel)들의 2개의 클래스로 분류하는 배경 및 전경 픽셀 분류과정(S11)을 수행한다.
연결된 전경 픽셀들을 블럽(blob)들로 묶어서 각 블럽을 하나의 후보 연기 영역으로 추출하는 것에 의해 후보 연기 영역들을 추출하는 후보 연기 영역 추출과정(S13)을 수행한다.
도 4는 도 3의 후보 영역 감지 과정의 각 과정을 나타내는 이미지를 나타낸다.
다시 도 2를 참조하여 설명하면. 상기 연기 영역 분류과정(S20)은 연기와 아닌 영역을 분류하기 위한 것으로, 이를 위해, 상기 연기 영역 분류부(120)는 캐스케이드 모델(cascade model)이라고 하는 분류기의 집합으로 구성된다. 각 분류기는 하나의 계층이며, 후보 연기 객체는 캐스케이드 모델의 모든 계층을 통과하면 실제 연기(연기 영역)로 분류된다. 캐스케이드 모델의 상위 단계에서는 색상, 임의의 크기 변화, 경계 에너지 등을 이용하여 연기 영역이 아닌 영역을 제거한다. 그러나 이 때 오직 연기가 아닌 객체만 제거되도록 임계값을 선택해야 한다. 이 임계값으로 인해 잘못된 경보가 많이 발생할 수 있지만, 분류기의 각 계층을 통과 후에 오류는 감소하게 된다. 캐스케이드 모델의 최종 단계는 연기 영역을 검증하기 위한 딥 러닝 화상 분류기이다.
도 5는 도 2의 연기 영역 분류과정(S20)의 상세 처리과정을 나타내는 순서도이고, 도 6은 연기가 없는 화면에서의 연기 색상의 분할을 나타내는 도면이며, 도 7은 연기가 있는 색상에서의 연기 색상의 분할을 나타내는 도면이다.
도 5 내지 도 7과 같이, 상기 연기 영역 분류과정(S20)은 색상 분류과정(S21), 확산영역 분류과정(S23), 크기 변화 분류과정(S25), 경계 에너지 분류과정(S27) 및 CNN 딥 러닝 화상 분류과정(S29)를 포함하며, 이를 위해, 연기 영역 분류과정(S20)을 수행하는 연기 영역 분류부(120)는 각 과정을 각각 수행하는 분류기들로 구성된다.
상기 후보 연기 영역 감지부(110)에 의해 후보 연기 영역 감지과정(S10)의 수행에 의해 후부 연기 영역들이 추출된 후에는, 상기 연기 영역 분류부(120)는 후부 연기 영역들에 대하여 색상분류과정(S21)을 수행한다. 일반적으로 연기는 어두운 회색, 회색, 밝은 회색, 흰색이다. 따라서 연기를 구성하는 채도별 회색과 흰색에 대하여, Cmax-Cmin < thC((Cmax, Cmin은 화상 픽셀의 (R, G, B)의 최대 값과 최소 값, thC는 임계 값)이고, Imin < I < Imax(I 는 픽셀 강도(pixel intensity))를 만족하는 픽셀을 연기 픽셀로 분류한다. 도 6 및 도 7은 연기 픽셀 80 < I < 220에 대해 연기가 없는 색상이 제거되기 전과 제거된 후의 연기 영역을 각각 보여준다.
nC는 연기 색상 픽셀로 분류된 영역 내에 있는 픽셀의 수를 나타내고, S는 영역의 면적을 나타내며,
Figure 112017116400880-pat00039
가 색상 확률에 의한 후보 연기 영역이 사실이 될 확률을 계산하기 위한 식을 나타낸다. 연기 후보 영역에서 연기 영역이 아닌 것으로 분류된 영역은 제거될 것이다. thpc는 실험에 의해 결정되며, 이 단계에서 Fc < thpc 인 경우 thpc는 후보 연기 영역 중 연기 영역이 아닌 영역은 배제되도록 한다.
다시, 도 5를 참조하면, 연기 영역 분류부(120)에 의해 수행되는 상기 확산 영역 분류과정(S23)을 설명한다.
초기에 연기가 발생하면 빠르게 확산하며, 일정 시간 동안에 연기 영역이 지속적으로 확장된다. 도 8은 크기 변화 분류에 의한 연기 영역 확장을 나타내는 도면이다.
확장하는 영역의 분석은 다음과 같다. ng를 후보 연기 영역의 성장 인자라고 정의하고, 0으로 초기화한다. 두 연속 프레임 t-1과 t 사이의 연기 영역의 크기가 특정 임계 값 thds를 초과하면 성장 인자가 1만큼 증가한다. 이 때
Figure 112017116400880-pat00040
,
Figure 112017116400880-pat00041
를 각각 시간 t와 t-1에서 후보 연기 영역의 크기라 하고, n을 분석 프레임의 수로 하여, 연기 확장 영역 Fg = ng/n일 확률을 ng = ng +1 (St-St-1 > thds 인 경우)에 의해 계산 한 후, Fg < thg 이면 후보 연기 영역이 연기 영역이 아닌 것으로 분류한다.
다시, 도 5를 참조하면, 상기 크기 변화 분류과정(S25)을 설명한다.
공기 흐름 때문에 연기 영역의 크기는 임의로 변하게 된다. 그것은 또한 연기 영역과 연기가 아닌 영역을 구분하는 좋은 특징이 될 수 있다. 따라서 크기 변화 특성을 사용하여 연기 영역과 연기가 아닌 영역을 분류하기 위해 상기 크기 변화 분류과정(Ss25)은 시간 t에서 연기 영역의 크기 변화 ΔS =|St-St-1|이고, 정규화된 영역의 크기 변화 ΔAt = ΔSt/St이며, 시간 t에서 이전 n 프레임에서의 ΔS에 대한 표준 편차가
Figure 112017116400880-pat00042
일 때, ΔAt > thΔA 이고
Figure 112017116400880-pat00043
> thΔS를 만족하는 경우 후보 연기 영역으로 분류한다.
다음으로, 상기 경계 에너지 분류과정(S27)을 설명한다.
연기가 발생하면 배경 화상이 흐려지므로 연기 영역 화상 픽셀의 경계가 선명하지 않게 되므로 경계의 크기가 감소한다. 연기 영역의 경계 크기가 감소하는 것을 확인하기 위해 잃어버린 경계 픽셀의 수 nloss와 얻은 경계 픽셀 수 ngain을 추정한다. 이때 연기의 경우 ngain <nloss 이다. ngain와 nloss를 추정하기 위해
Figure 112017116400880-pat00044
,
Figure 112017116400880-pat00045
,
Figure 112017116400880-pat00046
,가 (x, y) 지점에서 배경 화상에 대한 경사도 크기, 수직 경사도, 수평 경사도 및 화상의 강도일 때,
Figure 112017116400880-pat00047
,
Figure 112017116400880-pat00048
,
Figure 112017116400880-pat00049
이고,
Figure 112017116400880-pat00050
,
Figure 112017116400880-pat00051
,
Figure 112017116400880-pat00052
,가 (x, y) 지점에서 현재 프레임에 대한 경사도 크기, 수직 경사도, 수평 경사도 및 화상의 강도이고,
Figure 112017116400880-pat00053
,
Figure 112017116400880-pat00054
,
Figure 112017116400880-pat00055
가 (x, y) 지점에서 현재 프레임에 대한 경사도 크기, 수직 경사도, 수평 경사도 그리고 화상의 강도이며, thmag는 잡음을 제거하기 위한 임계값일 때,
Figure 112017116400880-pat00056
-
Figure 112017116400880-pat00057
> thmag이면 하나의 픽셀을 손실된 경계 크기 픽셀로 간주하고,
Figure 112017116400880-pat00058
-
Figure 112017116400880-pat00059
> thmag이면 하나의 픽셀을 얻어진 경계 크기 픽셀로 간주한다. 이 후, ngain/nloss < the(결정 임계값)를 만족하면 후보 연기 영역으로 분류한다. 도 9는 연기 영역에 대해 손실된 경계 크기가 픽셀 맵과 얻어진 경계 크기 픽셀의 맵을 나타내는 도면이다. 도 9를 통해 얻어진 경계 크기 픽셀 수가 손실 된 경계 크기 픽셀 수보다 훨씬 적다는 것을 쉽게 알 수 있다. 이러한 특성을 이용하여 연기 영역을 식별 할 수 있다.
다시, 도 5 및 도 10 내지 도 12를 참조하여 CNN 딥러닝 화상 분류과정(S29)을 설명한다.
캐스케이드 모델의 최종 계층은 딥 러닝 알고리즘인 CNN을 사용하여 연기 영역과 연기가 아닌 영역을 분류하는 것이다. 최근 이러한 프레임 워크(frame work)[9,10]가 자연 화상을 하위 객체 범주로 분류하는데 매우 좋은 결과를 보여주었다.
CNN은 유형 분류를 위한 기계 학습 알고리즘의 한 분야이다. 기계 학습을 사용하는 유형 분류는 학습(training) 및 예측(prediction)의 2 단계로 이루어진다. 학습 단계에서는 화상과 해당 클래스 레이블로 구성된 데이터 집합을 사용하여 알고리즘을 학습한다. 예측 단계에서는 보지 않았던 화상의 레이블을 예측하기 위해 학습 된 모델을 사용한다.
CNN은 입력 계층(input layer), 컨벌루션 계층(convolution layer), 풀링 계층(pooling layer) 및 완전연결 계층(fully-connected layer)으로 구성되었다. 일반적으로 CNN은 이러한 계층들의 시퀀스이며 각 계층은 서로 다른 기능을 통해 활성화 볼륨(volume of activation)을 다른 볼륨으로 변환한다. 각 계층별 특성을 설명하면 다음과 같다.
입력 계층 : 화상
- 컨벌루션 계층 : 이 계층은 화상을 공간적으로 이동시킬 수 있는 학습 가능한 필터 세트로 구성되어 필터 항목과 입력 화상 사이의 내적(product)을 계산한다.
- 풀링(pooling) 계층 : 풀링 계층은 공간 차원을 따라 다운 샘플링 연산(down sampling operation)을 수행한다.
- 완전 연결 계층 : 이 계층에서는 클래스 점수를 계산한다.
- ReLU(Rectified Linear Unit) : 이 계층에서는 0지점에서 max (0, x) 임계처리(thresholding)와 같은 요소 단위 활성화 함수를 적용한다. 이 계층에서는 볼륨의 크기가 변경되지 않는다.
가장 간단한 컨벌루션 신경 망은 입력 계층(화상)로 시작해서 컨벌루션 계층과 풀링 계층의 시퀀스가 이어지고, 완전 연결 계층으로 끝난다. 일반적으로 컨벌루션 계층은 하나의 ReLU 활성화 함수 계층이 뒤 따른다. 컨벌루션, 풀링 및 ReLU 계층은 학습 가능한 특징 추출기(feature extractor)의 역할을 하지만, 완전 연결된 계층은 기계 학습 분류기의 역할을 한다. 또한 네트워크의 초기 계층은 화상의 일반 패턴을 인코딩(encoding)하고 나중의 계층은 화상의 세부 패턴을 인코딩한다. 컨벌루션 계층과 완전 연결된 계층에만 가중치가 있으며, 이 가중치는 훈련 단계(training phase)에서 학습이 된다. 도 10은 간단한 구조의 CNN 구조를 나타내는 도면이다.
컨벌루션 신경 회로망은 많은 양의 데이터 세트와 계산 시간이 필요하므로 다른 카테고리의 훈련 된 모델을 재교육하거나 업데이트하고자 할 때 문제가 발생할 수 있다. 전달 학습(transfer learning)[10-13]은 이러한 문제들을 해결할 수 있다. 망을 처음부터 교육하는 대신, 전달 학습은 다른 데이터 세트에서 숙련된 모델을 활용하고 새로운 분류자를 학습하기 위해 적응시킨다.
전달 학습에는 다음과 같은 두 가지 접근법이 있다.
- 훈련 된 모델을 고정된 특징 추출기(featureextractor)로 사용 : 이 접근법에서는 훈련된 모델에서 마지막으로 완전 연결 계층을 제거하고 나머지 계층의 가중치를 고정한 다음, 나머지 계층의 출력에 대한 머신 러닝 분류기를 학습(train)시킨다.
- 훈련 된 모델의 미세 조정 : 이 접근법에서는 역 전파(back propagation)를 계속하여 새 데이터 세트에서 훈련 된 모델을 미세 조정한다. 전체 망을 미세 조정하거나 일부 계층을 고정시킬 수 있다.
BVLC CaffeNet 모델은[9]에서 설명한 Alexnet 모델의 복사본으로 약간의 차이가 있다. 이 모델은 1000개의 객체 범주를 구분하기 위해서 수백만 개의 화상을 갖는 Image Net Database[16]에서 훈련되었다. 본 발명의 실시예의 경우 이 모델을 사용하고 모델을 훈련하기 위해 미세 조정 접근법을 사용한다.
도 11은 Alexnet CNN 모델 구조를 나타내는 도면이다.
도 11은 5개의 컨벌루션 계층으로 구성된 훈련 된 모델의 원래 아키텍처를 보여주며, 5개의 계층 뒤에는 2개의 완전 연결 계층(fully-connected layer)과 최종1,000개 방향의 소프트맥스(1000-way softmax) 분류 계층이 뒤 따른다.
CNN의 분류 계층은 ImageNet 데이터 세트에 대한 1,000 개 클래스 확률을 계산한다. 미세 조정 절차를 하기 위해서는 이 계층을 수정해야 한다. 새로운 분류계층은 연기와 연기가 아닌 두 가지 다른 부류만을 갖는 화상 데이터 세트를 사용하는 역 전파(backpropagation) 알고리즘을 사용하여 처음부터 훈련을 받는다. 화상 데이터 세트에서 연기가 없는 화상은 사람, 차량 또는 단순히 배경 화상이다. 본 발명의 실시예에서 훈련을 위해서 사용된 데이터 세트에는 10,000개의 연기 화상과 10,000개의 연기가 아닌 화상, 그리고 평가를 하기 위한 2,000 개의 연기 화상과 2,000 개의 연기가 아닌 화상이 사용되었다. 연기가 아닌 객체이 화상은 PETA 데이터 세트의 보행자 화상, 차량의 Cars 데이터 세트 및 배경 및 기타 움직이는 물체의 PASCAL 데이터 세트와 같은 다양한 소스에서 수집되었다. 또한 IVS 프로젝트[17]에서 기록 된 감시 영상으로부터 수동으로 연기가 아닌 객체를 분류하였다.
그리고 연기 객체 화상은 IVS 프로젝트, YouTube의 연기 비디오 및 인터넷에서의 연기 비디오(http://signal.ee.bilkent.edu.tr/VisiFire)에서 기록된 비디오에서 수동으로 세그먼트하였다. 학습을 위해서 0.01의 학습율(learning rate)로 미세조정을 시작하고 2,000회 반복마다 학습율을 10배로 낮췄다. 이미 훈련된 CNN 가중치가 상대적으로 양호하다는 가정 하에 미세 조정 된 CNN 가중치에 대해 더 작은 학습율을 사용하였다. 본 실험에서 필터 파라미터(filter parameter)가 빨리 크게 왜곡되지 않게 하기 위해서 학습 속도와 학습 속도 감쇄를 매우 작게 유지하였다. 연기 발생 여부에 대한 최종 결정의 신뢰성을 높이기 위해 일정 시간 동안 화상 프레임들의 이력을 유지한다. 예로 가장 최근 N개의 프레임에서 연기 객체를 포함하는 프레임 수를 Nsmoke라고 가정한다. 이 때 Nsmoke와 N 사이의 비율이 특정 임계값을 초과하면 화재가 발생한 것으로 간주하고 모든 사람에게 화재 경보를 발령한다. 본 실험에서는 분석 프래임 수 N을 20 프레임으로 설정하고 임계값은 0.8로 정했다.
실험에서 최적화 과정은 최대 50,000 회 실행되었으며, 도 12는 훈련 곡선을 나타내는 도면으로서, 훈련 곡선은 훈련 된 모델이 97.2%의 정확도를 보이며, 훈련된 모델의 false positive 확률은 1.8%, false negative 확률은 1.2%를 나타냈다
이 후, 도 2의 시간분석과정(S30)이 수행되어 연기 영역을 확정하여 화재 감지 신호를 출력하게 된다.
<실시예>
본 발명의 실시예로서, VS2013과 오픈 소스 라이브러리 인OpenCV 2.4.10, NVIDIA CUDA SDK, Caffe Deep Learning을 기반으로 제안한 알고리즘을 구현 하였다.
알고리즘은 Intelㄾ core™ i7-4790, windows10 및 NVIDIA GeForce GTX 750에서 실행되었으며, IVS Project[17]의 데이터 세트, 개방형 데이터베이스(http://signal.ee.bilkent.edu.tr/VisiFire/) 및 인터넷 비디오가 사용되었다.
연기를 감지하기 위해서는 높은 임계값을 정해야 하지만, 높은 임계값으로 인해서 연기를 감지하지 못하거나, 잘 못 감지하는 경우가 발생한다. 그림 13은 높은 임계값으로 인해서 연기를 잘 못 감지하는 경우를 보여준다. 그림 13(a)는 배경 화상의 색상대비(contrast)가 낮고 경계 정보가 좋지 않아서 연기 감지가 어려운 경우이다. 이러한 경우에 에너지 분석 기술을 사용하면 연기를 분류하기가 어렵다. 그림 13(b)는 움직이는 물체가 연기와 유사하게 밝은 회색의 매끄러운 표면을 갖는 경우를 보여주며, 이러한 경우에도 잘못된 경보를 발생시킬 수 있는 문제가 발생한다.
본 발명에서 제안 된 알고리즘에서는 마치 연기처럼 이동하는 것처럼 보이는 물체의 확률을 제거하기 위한 임계값을 선택하였으며, 우수한 성능의 CNN 분류기를 사용함으로써, 제안된 알고리즘의 감지 율이 향상된 것과 잘못된 감지가 감소하였다는 것을 알 수 있었다. 그림 14는 실험의 일부 예를 보여주며, 제안된 알고리즘은 연기가 포함 된 짧은 비디오에서 연기를 감지하고 잘못된 경보는 발생하지 않았다. 그림 12에서 빨간 경계영역은 연기 영역으로 분류되며, 녹색 경계영역은 연기가 아닌 영역으로 분류된다.
표 1은 상세한 실험 결과를 보여준다.
Figure 112017116400880-pat00060
표 1에서는 평가를 위해서 15 개의 비디오를 사용했으며, 이 가운데 10개는 연기 화상을 포함하며, 5개는 연기 화상을 포함하지 않는다. 프레임 간 분석에서는 약간의 False Positive(화재가 아닌데 화재로 분석하는 경우)가 발생했으며, 그 이유는 본 알고리즘이 연기 지역의 특징을 분석하는 데 약간의 시간이 필요하기 때문이었다. 표 1의 결과에서 보여주듯이 시간분석(temporal analysis)후의 최종 결정은 매우 정확하다는 것을 보여준다. NVIDIA 컴퓨팅 가속화 하드웨어를 사용함으로써 제안된 알고리즘은 매우 빠른 처리 성능을 보여주었으며, 초당 40 프레임을 처리 할 수 있으므로 실시간 응용에 적합하다는 것을 알 수 있었다.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진 자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 화재 감지 장치

Claims (13)

  1. 화재 감시용 카메라(10)로부터 입력되는 화재 감지 대상 영역 영상에 대하여 배경픽셀의 변화를 감지하고, 연결된 픽셀들을 클러스터링 하여 후보 연기 영역으로 분류하는 연기 영역 감지부(110); 및
    상기 후보 연기 영역을 수신한 후 연기와 연기 아닌 영역을 분류하여, 연기 영역이 존재하는 경우 연기 영역을 추출하여 출력하는 연기 영역 분류부(120);를 포함하고,
    상기 연기 영역 분류부(120)는,
    연기를 구성하는 채도별 회색과 흰색에 대하여, 화상 픽셀의 (R, G, B)의 최대 값과 최소 값 및 픽셀 강도(pixel intensity))를 이용하여 연기 픽셀을 분류하여 후보 연기 영역 분류하는 색상 분류를 수행하고,
    상기 색상 분류에 의해 분류된 후보 연기 영역에 대하여, 상기 화재 감지 대상 영역 영상을 구성하는 프레임들에서 확장되는 연기 영역을 분류하여 확산 영역의 후보 연기 영역으로 분류하는 확산 영역 분류를 수행하며,
    상기 확산 영역 분류에 의해 분류된 후보 연기 영역에 대하여, 시간에 따른 상기 화재 감지 대상 영역 영상 내에서 프레임별 연기의 크기 변화를 고려하여 후보 연기 영역을 분류하는 크기 변화 분류를 수행하고,
    상기 크기 변화 분류에 의해 분류된 후보 연기 영역에 대하여, 연기 영역의 경계에서의 잃어버린 경계 픽셀의 수와 얻은 경계 픽셀의 수를 적용하여 후보 연기 영역을 분류하는 경계 에너지 분류를 수행하며,
    상기 경계 에너지 분류가 수행된 연기 영역에 대하여, 딥 러닝 알고리즘인 CNN(Convolutional Neural Network)을 사용하여 연기 영역과 연기가 아닌 영역을 분류하는 CNN 딥러닝 화상 분류를 수행하는 다수의 캐스케이드 모델(cascade model)을 적용하는 것에 의해 연기 영역을 추출하도록 구성되는 화재 감지 장치.
  2. 청구항 1에 있어서, 상기 연기 영역 감지부(110)는,
    GMM을 이용하여 상기 화재 감지 대상 영역 영상의 화상 픽셀들을 배경 픽셀(background pixel)들 및 전경 픽셀(foreground pixel)들의 2개의 클래스로 분류하고,
    연결된 전경 픽셀들을 블럽(blob)들로 묶어서 각 블럽을 하나의 후보 연기 영역으로 추출하도록 구성되는 화재 감지 장치.
  3. 삭제
  4. 청구항 1에 있어서, 상기 연기 영역 분류부(120)의 상기 색상 분류는,
    연기를 구성하는 채도별 회색과 흰색에 대하여, Cmax-Cmin < thC((Cmax, Cmin은 화상 픽셀의 (R, G, B)의 최대 값과 최소 값, thC는 임계 값)이고, Imin < I < Imax(I 는 픽셀 강도(pixel intensity))를 만족하는 픽셀을 연기 픽셀로 분류하는 화재 감지 장치.
  5. 청구항 4에 있어서, 상기 연기 영역 분류부(120)는,
    상기 색상분류가 nc는 연기 색상 픽셀로 분류된 영역 내에 있는 픽셀의 수, S는 영역의 면적, thpc는 연기 영역이 아닌 영역은 배제되도록 하는 임계값,
    Figure 112017116400880-pat00061
    는 색상 확류에 의한 후보 연기 영역이 사실이 될 확률을 계산하기 위한 식일 때, 색상 확률 Fc < thpc 인 경우 연기 영역이 아닌 영역으로 배제되도록 하는 것을 더 포함하는 화재 감지 장치.
  6. 청구항 1에 있어서, 상기 연기 영역 분류부(120)의 확산 영역 분류는,
    상기 색상 분류에 의해 분류된 후보 연기 영역에 대하여, ng를 후보연기 영역의 성장 인자라고 정의하고, 0으로 초기화한 후, 두 연속 프레임 t-1과 t 사이의 연기 영역의 크기가 기 설정된 임계 값 thds를 초과하면 성장 인자가 1만큼 증가하도록 하고, St, St-1를 각각 시간 t와 t-1 사이에서 후보 연기 영역의 크기라 하고 n을 분석 프레임의 수로 하여, 연기 확장 영역 Fg = ng/n일 확률을 ng = ng +1 (St-St-1 > thds 인 경우)에 의해 계산 한 후, Fg < thg(기 설정 임계 값)이면 후보 연기 영역이 연기 영역이 아닌 것으로 분류하는 화재 감지 장치.
  7. 청구항 1에 있어서, 상기 연기 영역 분류부(120)의 크기 변환 분류는,
    상기 확산 영역 분류에 의해 분류된 후보 연기 영역에 대하여, 시간 t에서 연기 영역의 크기 변화 ΔS =|St-St-1|이고, 정규화된 영역의 크기 변화 ΔAt = ΔSt/St이며, 시간 t에서 이전 n 프레임에서의 ΔS에 대한 표준 편차가
    Figure 112018031274112-pat00062
    일 때, ΔAt > thΔA 이고
    Figure 112018031274112-pat00063
    > thΔS 만족하는 경우 후보 연기 영역으로 분류하는 화재 감지 장치.
  8. 청구항 1에 있어서, 상기 연기 영역 분류부(120)의 경계 에너지 분류는,
    상기 크기 변화 분류에 의해 분류된 후보 연기 영역에 대하여, 연기 영역의 경계 크기가 감소하는 것을 확인하기 위해 잃어버린 경계 픽셀의 수 nloss와 얻은 경계 픽셀 수 ngain(연기의 경우 ngain <nloss)을 추정하기 위해,
    Figure 112018031274112-pat00064
    ,
    Figure 112018031274112-pat00065
    ,
    Figure 112018031274112-pat00066
    ,가 (x, y) 지점에서 배경 화상에 대한 경사도 크기, 수직 경사도, 수평 경사도 및 화상의 강도일 때,
    Figure 112018031274112-pat00067
    ,
    Figure 112018031274112-pat00068
    ,
    Figure 112018031274112-pat00069
    이고,
    Figure 112018031274112-pat00070
    ,
    Figure 112018031274112-pat00071
    ,
    Figure 112018031274112-pat00072
    ,가 (x, y) 지점에서 현재 프레임에 대한 경사도 크기, 수직 경사도, 수평 경사도 및 화상의 강도이고,
    Figure 112018031274112-pat00073
    ,
    Figure 112018031274112-pat00074
    ,
    Figure 112018031274112-pat00075
    가 (x, y) 지점에서 현재 프레임에 대한 경사도 크기, 수직 경사도, 수평 경사도 그리고 화상의 강도이며, thmag는 잡음을 제거하기 위한 임계값일 때,
    Figure 112018031274112-pat00076
    -
    Figure 112018031274112-pat00077
    > thmag이면 하나의 픽셀을 손실된 경계 크기 픽셀로 간주하고,
    Figure 112018031274112-pat00078
    -
    Figure 112018031274112-pat00079
    > thmag이면 하나의 픽셀을 얻어진 경계 크기 픽셀로 간주하며, ngain/nloss < the(결정 임계값)를 만족하면 후보 연기 영역으로 분류하는 되는 화재 감지 장치.
  9. 청구항 1에 있어서,
    상기 화재 감지 대상 영역 영상을 구성하는 전체 프레임 중 상기 추출된 연기 영역을 포함하는 영상 프레임의 비가 기 설정된 기준 값을 초과하는 경우 화재가 발생한 것으로 판단하여 화재 발생 신호를 출력하는 시간분석부(130);를 더 포함하여 구성되는 화재 감지 장치.
  10. 화재 감시용 카메라(10)로부터 입력되는 화재 감지 대상 영역 영상에 대하여 배경픽셀의 변화를 감지하고, 연결된 픽셀들을 클러스터링 하여 후보 연기 영역으로 분류하는 연기 영역 감지부(110) 및 상기 후보 연기 영역을 수신한 후 연기와 연기 아닌 영역을 분류하여, 연기 영역이 존재하는 경우 연기 영역을 추출하여 출력하는 연기 영역 분류부(120);를 포함하여 구성되는 화재 감지 장치에 의한 화재 감지 방법에 있어서,
    상기 연기 영역 감지부(110)가 화재 감시용 카메라(10)로부터 입력되는 화재 감지 대상 영역 영상에 대하여 GMM(가우시안 혼합 모델링: Mixture of Gaussian Background Modeling)을 사용하여 상기 화재 감지 대상 영역 영상의 화상 픽셀들을 배경 픽셀(background pixel)들 및 전경 픽셀(foreground pixel)들의 2개의 클래스로 분류하고, 연결된 전경 픽셀들을 블럽(blob)들로 묶어서 각 블럽을 하나의 후보 연기 영역으로 추출하는 후보 연기 영역 감지과정(S10); 및
    상기 연기 영역 분류부(120)가 상기 추출된 후보 연기 영역들에 대하여, 색상의 변화, 확산 영역의 변화, 크기 변화, 경계 에너지 변화, 분류, 확산 영역 분류, 크기 변화 및 딥러닝 알고리즘인 CNN을 적용한 연기 영역 분류를 수행하는 것에 의해 연기 영역을 분류하는 연기 영역 분류 과정(S20)을 포함하여 이루어지는 화재 감지 방법.
  11. 청구항 10에 있어서, 상기 연기 영역 분류 과정(S20)은, 상기 연기 영역 분류부(120)가,
    연기를 구성하는 채도별 회색과 흰색에 대하여, Cmax-Cmin < thC((Cmax, Cmin은 화상 픽셀의 (R, G, B)의 최대 값과 최소 값, thC는 임계 값)이고, Imin < I < Imax(I 는 픽셀 강도(pixel intensity))를 만족하는 픽셀을 연기 픽셀로 분류하는 색상 분류 과정(S21);
    상기 색상 분류에 의해 분류된 후보 연기 영역에 대하여, ng를 후보연기 영역의 성장 인자라고 정의하고, 0으로 초기화한 후, 두 연속 프레임 t-1과 t 사이의 연기 영역의 크기가 특정 임계 값 thds를 초과하면 성장 인자가 1만큼 증가하도록 하고, St, St-1를 각각 시간 t와 t-1 사이에서 후보 연기 영역의 크기라 하고 n을 분석 프레임의 수로 하여, 연기 확장 영역 Fg = ng/n일 확률을 ng = ng +1 (St-St-1 > thds 인 경우)에 의해 계산 한 후, Fg < thg 이면 후보 연기 영역이 연기 영역이 아닌 것으로 분류하는 확산 영역 분류과정(S23);
    상기 확산 영역 분류에 의해 분류된 후보 연기 영역에 대하여, 시간 t에서 연기 영역의 크기 변화 ΔS =|St-St-1|이고, 정규화된 영역의 크기 변화 ΔAt = ΔSt/St이며, 시간 t에서 이전 n 프레임에서의 ΔS에 대한 표준 편차가
    Figure 112017116400880-pat00080
    일 때, ΔAt > thΔA 이고
    Figure 112017116400880-pat00081
    > thΔS를 만족하는 경우 후보 연기 영역으로 분류하는 크기 변화 분류과정(S25);
    상기 크기 변화 분류에 의해 분류된 후보 연기 영역에 대하여, 연기 영역의 경계 크기가 감소하는 것을 확인하기 위해 잃어버린 경계 픽셀의 수 nloss와 얻은 경계 픽셀 수 ngain(연기의 경우 ngain <nloss)을 추정하기 위해,
    Figure 112017116400880-pat00082
    ,
    Figure 112017116400880-pat00083
    ,
    Figure 112017116400880-pat00084
    ,가 (x, y) 지점에서 배경 화상에 대한 경사도 크기, 수직 경사도, 수평 경사도 및 화상의 강도일 때,
    Figure 112017116400880-pat00085
    ,
    Figure 112017116400880-pat00086
    ,
    Figure 112017116400880-pat00087
    이고,
    Figure 112017116400880-pat00088
    ,
    Figure 112017116400880-pat00089
    ,
    Figure 112017116400880-pat00090
    ,가 (x, y) 지점에서 현재 프레임에 대한 경사도 크기, 수직 경사도, 수평 경사도 및 화상의 강도이고,
    Figure 112017116400880-pat00091
    ,
    Figure 112017116400880-pat00092
    ,
    Figure 112017116400880-pat00093
    가 (x, y) 지점에서 현재 프레임에 대한 경사도 크기, 수직 경사도, 수평 경사도 그리고 화상의 강도이며, thmag는 잡음을 제거하기 위한 임계값일 때,
    Figure 112017116400880-pat00094
    -
    Figure 112017116400880-pat00095
    > thmag이면 하나의 픽셀을 손실된 경계 크기 픽셀로 간주하고,
    Figure 112017116400880-pat00096
    -
    Figure 112017116400880-pat00097
    > thmag이면 하나의 픽셀을 얻어진 경계 크기 픽셀로 간주하며, ngain/nloss < the(결정 임계값)를 만족하면 후보 연기 영역으로 분류하는 경계 에너지 분류과정(S27); 및
    상기 경계 에너지 분류가 수행된 연기 영역에 대하여, 딥 러닝 알고리즘인 CNN(Convolutional Neural Network)을 사용하여 연기 영역과 연기가 아닌 영역을 분류하는 CNN 딥러닝 화상 분류과정(S29);을 포함하여 이루어지는 화재 감지 방법.
  12. 청구항 11에 있어서, 상기 색상분류과정(S21)의 색상분류는,
    nc는 연기 색상 픽셀로 분류된 영역 내에 있는 픽셀의 수, S는 영역의 면적, thpc는 연기 영역이 아닌 영역은 배제되도록 하는 임계값,
    Figure 112017116400880-pat00098
    는 색상 확률에 의한 후보 연기 영역이 사실이 될 확률을 계산하기 위한 식일 때, 색상 확률 Fc < thpc 인 경우 연기 영역이 아닌 영역으로 배제되도록 하는 분류를 더 포함하는 화재 감지 방법.
  13. 청구항 10에 있어서,
    상기 화재 감지 장치가 시간분석부(130)를 더 포함하여 구성되어,
    상기 시간분석부(130)가 상기 화재 감지 대상 영역 영상을 구성하는 전체 프레임 중 상기 추출된 연기 영역을 포함하는 영상 프레임의 비가 기 설정된 기준 값을 초과하는 경우 화재가 발생한 것으로 판단하여 화재 발생 신호를 출력하는 시간분석과정(S29);을 더 포함하여 이루어지는 화재 감지 방법.
KR1020170156462A 2017-11-22 2017-11-22 화재 감지 장치 및 방법 KR101869442B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170156462A KR101869442B1 (ko) 2017-11-22 2017-11-22 화재 감지 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170156462A KR101869442B1 (ko) 2017-11-22 2017-11-22 화재 감지 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101869442B1 true KR101869442B1 (ko) 2018-06-20

Family

ID=62770083

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170156462A KR101869442B1 (ko) 2017-11-22 2017-11-22 화재 감지 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101869442B1 (ko)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101934700B1 (ko) * 2018-07-12 2019-01-03 주식회사동우유니온 영상처리와 딥러닝 기반의 ai를 이용한 조기 화재감지 시스템, 서버 및 방법
CN109147254A (zh) * 2018-07-18 2019-01-04 武汉大学 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法
CN109272037A (zh) * 2018-09-17 2019-01-25 江南大学 一种应用于红外火焰识别的自组织ts型模糊网络建模方法
CN109598891A (zh) * 2018-12-24 2019-04-09 中南民族大学 一种利用深度学习分类模型实现烟雾检测的方法和系统
CN109815904A (zh) * 2019-01-25 2019-05-28 吉林大学 一种基于卷积神经网络的火灾识别方法
KR20200013218A (ko) * 2018-07-12 2020-02-06 주식회사동우유니온 영상처리와 딥러닝 기반의 ai를 이용한 조기 화재감지 시스템, 서버 및 방법
CN110837769A (zh) * 2019-08-13 2020-02-25 广州三木智能科技有限公司 一种图像处理与深度学习的嵌入式远红外行人检测方法
CN111258309A (zh) * 2020-01-15 2020-06-09 上海锵玫人工智能科技有限公司 一种用于城市消防机器人的灭火方法
CN111639620A (zh) * 2020-06-08 2020-09-08 深圳航天智慧城市系统技术研究院有限公司 一种基于可见光图像识别的火灾分析方法及系统
CN111814635A (zh) * 2020-06-30 2020-10-23 神思电子技术股份有限公司 基于深度学习的烟火识别模型建立方法和烟火识别方法
CN111951250A (zh) * 2020-08-14 2020-11-17 西安科技大学 一种基于图像的火灾检测方法
CN111967394A (zh) * 2020-08-18 2020-11-20 北京林业大学 一种基于动静态网格融合策略的森林火灾烟雾根节点检测方法
WO2020206407A3 (en) * 2019-04-05 2020-11-26 Baker Hughes Oilfield Operations Llc Segmentation and prediction of low-level temporal plume patterns
CN112115878A (zh) * 2020-09-21 2020-12-22 北京林业大学 一种基于烟雾区域密度的森林火灾烟雾根节点检测方法
CN112116526A (zh) * 2019-06-19 2020-12-22 中国石油化工股份有限公司 基于深度卷积神经网络的火炬烟雾图像的超分辨率方法
CN112215122A (zh) * 2020-09-30 2021-01-12 中国科学院深圳先进技术研究院 基于视频图像目标检测的火灾检测方法、系统、终端以及存储介质
CN112291536A (zh) * 2020-12-26 2021-01-29 深圳应急者安全技术有限公司 一种消防识别方法和消防系统
CN112784642A (zh) * 2019-11-08 2021-05-11 杭州海康威视数字技术股份有限公司 车辆检测方法及装置
CN112861635A (zh) * 2021-01-11 2021-05-28 西北工业大学 一种基于深度学习的火灾及烟雾实时检测方法
CN113361345A (zh) * 2021-05-24 2021-09-07 上海可深信息科技有限公司 一种烟火智能识别方法
CN113762314A (zh) * 2021-02-02 2021-12-07 北京京东振世信息技术有限公司 一种烟火检测方法和装置
CN113971838A (zh) * 2021-10-28 2022-01-25 江西电信信息产业有限公司 一种基于识别人员安全行为画像的检测方法及装置
CN114092458A (zh) * 2021-11-29 2022-02-25 西安交通大学 一种基于改进NanoDet深度网络的发动机浓烟淡烟自动检测方法
US11295131B1 (en) 2021-06-15 2022-04-05 Knoetik Solutions, Inc. Smoke and fire recognition, fire forecasting, and monitoring
CN114445729A (zh) * 2021-09-30 2022-05-06 太原理工大学 一种基于改进yolo算法的小目标火灾检测方法
KR20220076012A (ko) * 2020-11-30 2022-06-08 푸드팡 주식회사 Ｂ２ｂ 시장을 위한 인공지능 기반 판매가격 결정 서비스 제공 시스템
CN115841642A (zh) * 2022-11-30 2023-03-24 中国电子科技集团公司第十研究所 动态特征辅助的可见光火情检测识别方法、设备及介质
CN116259005A (zh) * 2023-02-04 2023-06-13 国网浙江省电力有限公司嘉兴供电公司 一种基于屋顶光伏消防的智能监控系统
CN116665135A (zh) * 2023-07-28 2023-08-29 中国华能集团清洁能源技术研究院有限公司 储能站电池组的热失控风险预警方法、装置和电子设备
CN116977327A (zh) * 2023-09-14 2023-10-31 山东拓新电气有限公司 一种滚筒驱动带式输送机烟雾检测方法及系统
CN117058625A (zh) * 2023-10-11 2023-11-14 济宁港航梁山港有限公司 基于物联网的园区消防远程监测系统
CN112116526B (zh) * 2019-06-19 2024-06-11 中国石油化工股份有限公司 基于深度卷积神经网络的火炬烟雾图像的超分辨率方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100839090B1 (ko) 2008-03-17 2008-06-20 (주)나인정보시스템 영상기반 화재감시시스템
KR100862409B1 (ko) 2007-05-31 2008-10-08 대구대학교 산학협력단 비디오 영상을 이용한 화재 감지 방법
KR101073076B1 (ko) 2011-06-10 2011-10-12 주식회사 창성에이스산업 복합카메라를 이용한 화재감시 시스템 및 방법
KR101204259B1 (ko) * 2010-10-06 2012-11-23 (주)에이치엠씨 화재 검출 방법
KR101285846B1 (ko) 2012-08-06 2013-07-12 나영선 화재영상음성감지장치
KR101432440B1 (ko) * 2013-04-29 2014-08-21 홍익대학교 산학협력단 화재 연기 감지 방법 및 장치
KR101581162B1 (ko) * 2015-06-24 2015-12-31 전정희 실시간 영상 기반의 화염, 연기 및 물체 움직임 자동 감지 방법, 장치 및 시스템
JP6074304B2 (ja) * 2013-03-29 2017-02-01 能美防災株式会社 煙検出装置および煙検出方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100862409B1 (ko) 2007-05-31 2008-10-08 대구대학교 산학협력단 비디오 영상을 이용한 화재 감지 방법
KR100839090B1 (ko) 2008-03-17 2008-06-20 (주)나인정보시스템 영상기반 화재감시시스템
KR101204259B1 (ko) * 2010-10-06 2012-11-23 (주)에이치엠씨 화재 검출 방법
KR101073076B1 (ko) 2011-06-10 2011-10-12 주식회사 창성에이스산업 복합카메라를 이용한 화재감시 시스템 및 방법
KR101285846B1 (ko) 2012-08-06 2013-07-12 나영선 화재영상음성감지장치
JP6074304B2 (ja) * 2013-03-29 2017-02-01 能美防災株式会社 煙検出装置および煙検出方法
KR101432440B1 (ko) * 2013-04-29 2014-08-21 홍익대학교 산학협력단 화재 연기 감지 방법 및 장치
KR101581162B1 (ko) * 2015-06-24 2015-12-31 전정희 실시간 영상 기반의 화염, 연기 및 물체 움직임 자동 감지 방법, 장치 및 시스템

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101934700B1 (ko) * 2018-07-12 2019-01-03 주식회사동우유니온 영상처리와 딥러닝 기반의 ai를 이용한 조기 화재감지 시스템, 서버 및 방법
KR20200013218A (ko) * 2018-07-12 2020-02-06 주식회사동우유니온 영상처리와 딥러닝 기반의 ai를 이용한 조기 화재감지 시스템, 서버 및 방법
KR102277968B1 (ko) 2018-07-12 2021-07-15 주식회사동우유니온 영상처리와 딥러닝 기반의 ai를 이용한 조기 화재감지 시스템, 서버 및 방법
CN109147254A (zh) * 2018-07-18 2019-01-04 武汉大学 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法
CN109272037A (zh) * 2018-09-17 2019-01-25 江南大学 一种应用于红外火焰识别的自组织ts型模糊网络建模方法
CN109272037B (zh) * 2018-09-17 2020-10-09 江南大学 一种应用于红外火焰识别的自组织ts型模糊网络建模方法
CN109598891A (zh) * 2018-12-24 2019-04-09 中南民族大学 一种利用深度学习分类模型实现烟雾检测的方法和系统
CN109815904A (zh) * 2019-01-25 2019-05-28 吉林大学 一种基于卷积神经网络的火灾识别方法
CN109815904B (zh) * 2019-01-25 2022-05-13 吉林大学 一种基于卷积神经网络的火灾识别方法
WO2020206407A3 (en) * 2019-04-05 2020-11-26 Baker Hughes Oilfield Operations Llc Segmentation and prediction of low-level temporal plume patterns
CN112116526A (zh) * 2019-06-19 2020-12-22 中国石油化工股份有限公司 基于深度卷积神经网络的火炬烟雾图像的超分辨率方法
CN112116526B (zh) * 2019-06-19 2024-06-11 中国石油化工股份有限公司 基于深度卷积神经网络的火炬烟雾图像的超分辨率方法
CN110837769A (zh) * 2019-08-13 2020-02-25 广州三木智能科技有限公司 一种图像处理与深度学习的嵌入式远红外行人检测方法
CN110837769B (zh) * 2019-08-13 2023-08-29 中山市三卓智能科技有限公司 一种图像处理与深度学习的嵌入式远红外行人检测方法
CN112784642A (zh) * 2019-11-08 2021-05-11 杭州海康威视数字技术股份有限公司 车辆检测方法及装置
CN111258309A (zh) * 2020-01-15 2020-06-09 上海锵玫人工智能科技有限公司 一种用于城市消防机器人的灭火方法
CN111639620A (zh) * 2020-06-08 2020-09-08 深圳航天智慧城市系统技术研究院有限公司 一种基于可见光图像识别的火灾分析方法及系统
CN111639620B (zh) * 2020-06-08 2023-11-10 深圳航天智慧城市系统技术研究院有限公司 一种基于可见光图像识别的火灾分析方法及系统
CN111814635A (zh) * 2020-06-30 2020-10-23 神思电子技术股份有限公司 基于深度学习的烟火识别模型建立方法和烟火识别方法
CN111814635B (zh) * 2020-06-30 2023-11-03 神思电子技术股份有限公司 基于深度学习的烟火识别模型建立方法和烟火识别方法
CN111951250A (zh) * 2020-08-14 2020-11-17 西安科技大学 一种基于图像的火灾检测方法
CN111951250B (zh) * 2020-08-14 2024-02-06 西安科技大学 一种基于图像的火灾检测方法
CN111967394A (zh) * 2020-08-18 2020-11-20 北京林业大学 一种基于动静态网格融合策略的森林火灾烟雾根节点检测方法
CN111967394B (zh) * 2020-08-18 2024-05-17 北京林业大学 一种基于动静态网格融合策略的森林火灾烟雾根节点检测方法
CN112115878A (zh) * 2020-09-21 2020-12-22 北京林业大学 一种基于烟雾区域密度的森林火灾烟雾根节点检测方法
CN112115878B (zh) * 2020-09-21 2024-05-14 北京林业大学 一种基于烟雾区域密度的森林火灾烟雾根节点检测方法
CN112215122B (zh) * 2020-09-30 2023-10-24 中国科学院深圳先进技术研究院 基于视频图像目标检测的火灾检测方法、系统、终端以及存储介质
CN112215122A (zh) * 2020-09-30 2021-01-12 中国科学院深圳先进技术研究院 基于视频图像目标检测的火灾检测方法、系统、终端以及存储介质
KR20220076012A (ko) * 2020-11-30 2022-06-08 푸드팡 주식회사 Ｂ２ｂ 시장을 위한 인공지능 기반 판매가격 결정 서비스 제공 시스템
KR102547491B1 (ko) * 2020-11-30 2023-06-27 푸드팡 주식회사 Ｂ２ｂ 시장을 위한 인공지능 기반 판매가격 결정 서비스 제공 시스템
CN112291536A (zh) * 2020-12-26 2021-01-29 深圳应急者安全技术有限公司 一种消防识别方法和消防系统
CN112861635B (zh) * 2021-01-11 2024-05-14 西北工业大学 一种基于深度学习的火灾及烟雾实时检测方法
CN112861635A (zh) * 2021-01-11 2021-05-28 西北工业大学 一种基于深度学习的火灾及烟雾实时检测方法
CN113762314B (zh) * 2021-02-02 2023-11-03 北京京东振世信息技术有限公司 一种烟火检测方法和装置
CN113762314A (zh) * 2021-02-02 2021-12-07 北京京东振世信息技术有限公司 一种烟火检测方法和装置
CN113361345A (zh) * 2021-05-24 2021-09-07 上海可深信息科技有限公司 一种烟火智能识别方法
US11295131B1 (en) 2021-06-15 2022-04-05 Knoetik Solutions, Inc. Smoke and fire recognition, fire forecasting, and monitoring
CN114445729B (zh) * 2021-09-30 2024-03-29 太原理工大学 一种基于改进yolo算法的小目标火灾检测方法
CN114445729A (zh) * 2021-09-30 2022-05-06 太原理工大学 一种基于改进yolo算法的小目标火灾检测方法
CN113971838A (zh) * 2021-10-28 2022-01-25 江西电信信息产业有限公司 一种基于识别人员安全行为画像的检测方法及装置
CN114092458A (zh) * 2021-11-29 2022-02-25 西安交通大学 一种基于改进NanoDet深度网络的发动机浓烟淡烟自动检测方法
CN114092458B (zh) * 2021-11-29 2024-02-27 西安交通大学 一种基于改进NanoDet深度网络的发动机浓烟淡烟自动检测方法
CN115841642B (zh) * 2022-11-30 2023-11-07 中国电子科技集团公司第十研究所 动态特征辅助的可见光火情检测识别方法、设备及介质
CN115841642A (zh) * 2022-11-30 2023-03-24 中国电子科技集团公司第十研究所 动态特征辅助的可见光火情检测识别方法、设备及介质
CN116259005A (zh) * 2023-02-04 2023-06-13 国网浙江省电力有限公司嘉兴供电公司 一种基于屋顶光伏消防的智能监控系统
CN116259005B (zh) * 2023-02-04 2024-05-28 国网浙江省电力有限公司嘉兴供电公司 基于屋顶光伏消防的智能监控系统
CN116665135A (zh) * 2023-07-28 2023-08-29 中国华能集团清洁能源技术研究院有限公司 储能站电池组的热失控风险预警方法、装置和电子设备
CN116665135B (zh) * 2023-07-28 2023-10-20 中国华能集团清洁能源技术研究院有限公司 储能站电池组的热失控风险预警方法、装置和电子设备
CN116977327A (zh) * 2023-09-14 2023-10-31 山东拓新电气有限公司 一种滚筒驱动带式输送机烟雾检测方法及系统
CN116977327B (zh) * 2023-09-14 2023-12-15 山东拓新电气有限公司 一种滚筒驱动带式输送机烟雾检测方法及系统
CN117058625B (zh) * 2023-10-11 2024-01-16 济宁港航梁山港有限公司 基于物联网的园区消防远程监测系统
CN117058625A (zh) * 2023-10-11 2023-11-14 济宁港航梁山港有限公司 基于物联网的园区消防远程监测系统

Similar Documents

Publication Publication Date Title
KR101869442B1 (ko) 화재 감지 장치 및 방법
US8571261B2 (en) System and method for motion detection in a surveillance video
CN107622258B (zh) 一种结合静态底层特征和运动信息的快速行人检测方法
Chaturvedi et al. A survey on vision-based outdoor smoke detection techniques for environmental safety
CN110490043A (zh) 一种基于区域划分和特征提取的森林烟火检测方法
Nandhini et al. CNN Based Moving Object Detection from Surveillance Video in Comparison with GMM
San Miguel et al. Robust unattended and stolen object detection by fusing simple algorithms
CN110929593A (zh) 一种基于细节辨别区别的实时显著性行人检测方法
CN110298297A (zh) 火焰识别方法和装置
CN105741319B (zh) 基于盲目更新策略和前景模型的改进视觉背景提取方法
CN111223129A (zh) 检测方法、检测装置、监控设备和计算机可读存储介质
CN111723773A (zh) 遗留物检测方法、装置、电子设备及可读存储介质
CN112488071A (zh) 提取行人特征的方法、装置、电子设备和存储介质
Nejati et al. License plate recognition based on edge histogram analysis and classifier ensemble
CN114708555A (zh) 基于数据处理的森林防火监控方法及电子设备
KR101243294B1 (ko) 이동 객체 추출 및 추적 방법 및 장치
KR101690050B1 (ko) 지능형 영상보안 시스템 및 객체 추적 방법
CN112347967B (zh) 一种复杂场景下融合运动信息的行人检测方法
KR20200060868A (ko) 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템
Vahora et al. A robust method for moving object detection using modified statistical mean method
CN117475353A (zh) 基于视频的异常烟雾识别方法及系统
Jin et al. Fusing Canny operator with vibe algorithm for target detection
CN116453069A (zh) 基于级联差异感知模型的高速公路抛洒物检测方法
CN114821441A (zh) 联合ads-b信息的基于深度学习的机场场面运动目标识别方法
CN116416565A (zh) 一种特定区域行人尾随及翻越检测方法和系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant