KR101967645B1 - 퍼지로직과 딥러닝 통합 기반의 화재 감지 장치 및 방법 - Google Patents

Abstract

본 발명의 실시예에 따른 화재감지장치는 영상 데이터, 화재 후보 영역 및 센싱 데이터를 수신하는 통신부; 및 상기 영상 데이터 및 상기 화재 후보 영역에 기초하여 화재 확률 데이터를 생성하고, 상기 센싱 데이터 및 상기 화재 확률 데이터에 기초하여 최종 화재 여부를 판단하는 프로세서;를 포함하는 화재감지장치를 제공할 수 있다.

Description

퍼지로직과 딥러닝 통합 기반의 화재 감지 장치 및 방법{a Fire Detection Device and method based on the integration of fuzzy logic and deep learning}

본 발명은 화재 감지 장치 및 방법에 관한 것이다. 보다 상세하게는 CNN 기반의 딥러닝 알고리즘과 온도, 습도, 가스, 연기를 포함하는 이종 화재센서 데이터기반의 퍼지추론엔진을 결합시킨 새로운 방식의 화재 감지 시스템에 관한 것이다.

기존의 온도, 연기 및 가스센서 기반의 독립적 화재감지시스템은 탐지시간과 신뢰도에 있어서 골든타임을 만족시키는데 어려움이 있었다. 최근 성능을 향상시키는 방안으로 불꽃감지센서 등 새로운 디바이스를 도입하였다. 그러나, 탐지 범위가 넓은 불꽃감지센서는 큰 비용이 들며, 실내의 LED(Light emitting diode)등 혹은 스파크에 반응을 하여 화재 오검출이 많이 발생하는 문제가 지적되고 있다. 또한 효과적인 화재감지를 위해 이종 화재센서 데이터들을 융합하는 방안들이 제안되었으나, 룰 기반의 방법의 경우 적응성과 정밀도가 낮고, 퍼지추론의 경우 영상에 대한 고려 미흡으로 검출 속도와 정밀도가 떨어지는 등의 문제점들이 있다. 더불어 영상기반 딥러닝 기술들도 제안되었으나, 실제 상황에서 카메라가 없거나 카메라 영역 밖의 화재 발생에 대한 신속한 탐지가 어렵다. 이와 같이, 기존의 화재검출 시스템에서는 고가 하드웨어 중심 다중 센서 데이터들의 단순 융합으로 인한 낮은 신뢰성 문제와 화재 탐지 영역 확장성 문제 등이 발생한다. 이러한 문제점을 해결하기 위해 각종 화재센서(온도, 습도, 가스, 연기)와 영상데이터를 실시간 수집하고 융합하여 화재를 검출하는 인공지능 엔진과 화재검출 시스템의 신뢰성을 검증하기 위하여 정밀한 화재 시뮬레이터로부터 생성된 정밀 화재 데이터를 활용하는 방법에 대한 기술이 필요한 실정이다.

이와 관련하여 한국특허공개공보 10-2011-0048417 A는 퍼지 규칙을 이용한 화재 불꽃 감지 방법에 관한 것이다. 이러한 퍼지기반 화재감지시스템의 경우 결정적이고, 정적인 센서데이터 소속함수를 적용함으로써 다양한 화재상황에 대한 화재발생 결정에 신뢰성이 낮아진다는 단점이 있다. 또한, 딥러닝이 아닌 퍼지추론에 의한 이미지 분류는 멤버십함수의 종류와 규칙 정의에 따라서 검출 정확성이 떨어질 수 있다.

또한 한국특허공개공보 특2001-0031437 A는 화재경보장치 및 화재경보시스템에 관한 것으로써, 종래 기술과 같이 딥러닝을 활용한 영상기반 화재인식 알고리즘에 대한 연구가 있으나, 카메라의 탐지 영역을 밖에서의 화재나 화재 특성상 불꽃보다 연기, 가스 혹은 온도가 변화되는 상황에 대한 고려가 미흡한 한계가 있다.

KR 10-2011-0048417 A KR 특2001-0031437 A

본 발명은 딥러닝 알고리즘으로 구한 영상데이터 화재 확률과 다중센서 데이터를 퍼지추론 알고리즘의 입력으로 취하는 통합적 방안을 기반으로한 화재 감지 장치 및 방법을 제공하는 것을 목적으로 한다.

또한 본 발명은 카메라의 탐지 영역을 밖에서의 화재나 연기, 가스 혹은 온도가 변화되는 상황을 고려하여 검출의 정확도가 향상된 화재 감지 장치 및 방법을 제공하는 것을 목적으로 한다.

또한 본 발명은 촛불이나 라이터 등과 같은 인위적인 불꽃을 화재로 인식하는 문제를 해결할 수 있는 화재 감지 장치 및 방법을 제공하는 것을 목적으로 한다.

본 발명의 실시예에 따른 화재감지장치는 영상 데이터, 화재 후보 영역 및 센싱 데이터를 수신하는 통신부; 및 상기 영상 데이터 및 상기 화재 후보 영역에 기초하여 화재 확률 데이터를 생성하고, 상기 센싱 데이터 및 상기 화재 확률 데이터에 기초하여 최종 화재 여부를 판단하는 프로세서;를 포함하는 화재감지장치를 제공할 수 있다.

또한 본 발명의 다른 실시예에 따른 화재감지장치의 프로세서는 복수의 화재 후보 영역들 각각에 대한 상기 화재 확률 데이터를 생성하는 화재감지장치를 제공할 수도 있다.

또한 본 발명의 다른 실시예에 따른 화재감지장치의 프로세서는 콘벌루션 뉴럴 네트워크(Convolution Neural Network) 알고리즘에 따라 상기 영상 데이터 및 상기 화재 후보 영역에 기초하여 화재 확률 데이터를 생성하는 화재감지장치를 제공할 수도 있다.

또한 본 발명의 다른 실시예에 따른 화재감지장치의 프로세서는 퍼지(Fuzzy) 알고리즘에 따라 상기 센싱 데이터 및 상기 화재 확률 데이터에 기초하여 최종 화재 여부를 판단하는 화재감지장치를 제공할 수도 있다.

또한 본 발명의 다른 실시예에 따른 화재감지장치의 센싱 데이터는 온도 센싱 데이터, 습도 센싱 데이터, 가스 센싱 데이터, 연기 센싱 데이터 중 적어도 하나를 포함하는 화재감지장치를 제공할 수도 있다.

또한 본 발명의 다른 실시예에 따른 화재감지장치의 통신부는 사물 인터넷 게이트웨이로부터 상기 화재 후보 영역의 정보를 수신하는 화재감지장치를 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 화재감지방법은 영상 데이터를 생성하는 단계; 상기 영상 데이터에 기초하여 화재 후보 영역의 정보를 생성하는 단계; 센싱 데이터를 수집하는 단계; 상기 영상 데이터 및 상기 화재 후보 영역에 기초하여 화재 확률 데이터를 생성하는 단계; 및 상기 센싱 데이터 및 상기 화재 확률 데이터에 기초하여 최종 화재 여부를 판단하는 단계;를 포함하는 화재감지방법을 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 화재감지방법의 상기 영상 데이터 및 상기 화재 후보 영역에 기초하여 화재 확률 데이터를 생성하는 단계는, 복수의 화재 후보 영역들 각각에 대한 상기 화재 확률 데이터를 생성하는 화재감지방법을 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 화재감지방법의 상기 영상 데이터 및 상기 화재 후보 영역에 기초하여 화재 확률 데이터를 생성하는 단계는, 콘벌루션 뉴럴 네트워크(Convolution Neural Network) 알고리즘에 따라 상기 영상 데이터 및 상기 화재 후보 영역에 기초하여 화재 확률 데이터를 생성하는 화재감지방법을 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 화재감지방법의 상기 센싱 데이터 및 상기 화재 확률 데이터에 기초하여 최종 화재 여부를 판단하는 단계는, 퍼지(Fuzzy) 알고리즘에 따라 상기 센싱 데이터 및 상기 화재 확률 데이터에 기초하여 최종 화재 여부를 판단하는 화재감지방법을 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 화재감지방법의 상기 센싱 데이터는 온도 센싱 데이터, 습도 센싱 데이터, 가스 센싱 데이터, 연기 센싱 데이터 중 적어도 하나를 포함하는 화재감지방법을 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 화재감지방법의 상기 영상 데이터에 기초하여 화재 후보 영역의 정보를 생성하는 단계는, 상기 영상 데이터의 RGB 색상 모델을 YCbCr 모델로 변환하는 단계; 상기 YCbCr 모델에서 룰 기반으로 화재 후보 영역에 대한 마스크를 생성하는 단계; 상기 마스크에 대해 라벨링을 수행하는 단계; 및 상기 라벨링된 영역을 사각형 모양의 부분 이미지를 추출하는 단계;를 포함하고, 상기 부분 이미지는 상기 화재 후보 영역인 화재감지방법을 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 화재감지장치는 영상 데이터, 화재 후보 영역 및 센싱 데이터를 수신하는 통신부; 추론 및 뉴럴 네트워크 프로그램의 코드를 저장한 메모리; 및 상기 추론 프로그램을 실행하여 상기 영상 데이터 및 상기 화재 후보 영역에 기초하여 화재 확률 데이터를 생성하고, 상기 뉴럴 네트워크 프로그램을 실행하여 상기 센싱 데이터 및 상기 화재 확률 데이터에 기초하여 최종 화재 여부를 판단하는 프로세서;를 포함하는 화재감지장치를 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 화재감지장치의 프로세서는 상기 뉴럴 네트워크 프로그램을 실행하여 복수의 화재 후보 영역들 각각에 대한 상기 화재 확률 데이터를 생성하는 화재감지장치를 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 화재감지장치의 뉴럴 네트워크 프로그램은 콘벌루션 뉴럴 네트워크(Convolution Neural Network) 알고리즘을 실행하는 화재감지장치를 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 화재감지장치의 추론 프로그램은 퍼지(Fuzzy) 알고리즘을 실행하는 화재감지장치를 제공할 수도 있다.

본 발명의 실시예는 영상 데이터를 활용한 신속한 화재 감지와 이종 센서 데이터들을 이용한 신뢰성 있는 화재 감지가 가능한 효과를 가진다.

또한 본 발명의 실시예는 빠르게 번지는 화재를 영상 데이터를 통해 검출할 수 있으며, 카메라 영상이 비추지 않은 영역에서 화재가 나더라도 정확한 검출이 가능하다.

또한 본 발명의 실시예는 점진적으로 진행하는 화재 상황에서 신속하고 신뢰도 높은 화재 검출이 가능하다.

또한 본 발명의 실시예는 안정적인 화재 감지율을 유지하는 장점이 있어 센싱 오류에 안정성을 가진다.

또한, 본 발명의 실시예는 대규모 시스템에서 컴퓨팅 파워의 지나친 서버 집중을 방지하기 위해 화재 인식 알고리즘에 분산 컴퓨팅 구조를 채택하여 확장성을 높일 수 있다.

또한, 본 발명의 실시예는 NIST 화재 동역학 시뮬레이터를 이용한 화재 시뮬레이션 데이터와 화재영상을 활용하여 화재가 점진적으로 번지는 환경과 급작스럽게 폭발이 발생하는 환경에서 높은 성능을 보인다.

도 1은 본 발명의 실시예에 따른 화재감시장치의 블록도의 예이다.
도 2는 사물인터넷 게이트웨이 및 화재감시장치의 아키텍쳐의 예이다.
도 3은 화재감지장치의 화재 인식 로직의 예이다.
도 4는 일 예로써 퍼지추론기반 화재 검출 알고리즘의 퍼지 집합(Fuzzy Set)을 정의한 것이다.
도 5는 일 예로써 온도 소속 함수의 그래프이다.
도 6은 일 예로써 습도 소속 함수의 그래프이다.
도 7은 일 예로써 가스 소속 함수의 그래프이다.
도 8은 일 예로써 연기 소속 함수의 그래프이다.
도 9는 일 예로써 화재여부 소속 함수의 그래프이다.
도 10은 일 예로써 퍼지추론 기반 화재 검출 알고리즘의 퍼지 규칙을 정의한 것이다.
도 11은 본 발명의 실시예에 따른 화재감지방법의 흐름도이다.
도 12는 시뮬레이션에서 쓰인 화재원과 연료원 설정 정보이다.
도 13은 FDS를 이용한 아파트 환경 모델링도이다.
도 14는 실험 1에서의 시간에 따른 센싱 데이터의 변화를 나타낸 그래프이다.
도 15는 실험 1에서의 화재 시뮬레이션 결과를 나타낸 것이다.
도 16은 FDS를 이용한 폭발 환경을 모델링한 것이다.
도 17은 실험 2에서의 시간에 따른 센싱 데이터의 변화를 나타낸 것이다.
도 18은 실험 2에서의 화재 시뮬레이션 결과를 나타낸 것이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

< 퍼지로직과 딥러닝 통합 기반의 화재 감지 장치 및 방법 >

본 발명의 방법 및 장치는, 컨벌루션 뉴럴 네트워크(convolutional neural network, CNN) 및 퍼지(Fuzzy) 로직을 내장하기 위해, 계산 집약적인 학습 프로세스를 사용하는 상당한 컴퓨팅 자원을 가지는 장치(서버와 같은)에 제공될 수 있다.

이하에서, “서버(server)”라는 용어는 일반적으로 강력한 전산 리소스들을 가지는 컴퓨팅 리소스(computing resource)를 말한다. 대표적인 리소스들은 여기서 설명될 작업들을 수행하기 위한 중요한 것들을 포함한다. 즉, 리소스들은 상당한 크기의 메모리, 프로세싱 능력들, 데이터 스토리지, 및 이와 유사한 것을 포함할 수 있다. 본 발명의 실시 예에 따르면, 서버(server)는 블레이드 서버(blade server)와 같은 컨벤셔널 서버(conventional server), 메인프레임(mainframe), 퍼스널 컴퓨터들의 네트워크, 또는 단순히 퍼스널 컴퓨터를 포함할 수 있다.

이하에서, “뉴럴 네트워크(neural network)”라는 용어는 일반적으로 적응적 네이처(adaptive nature)를 가지는 통계적 학습 알고리즘(statistical learning algorithm)들을 말하고, 따라서 장치 학습(machine learning)에 유용하다. 뉴럴 네트워크(neural network)는, “뉴런(neuron)”, “프로세싱 요소(processing element)”,“유닛(unit)” 또는 이와 유사한 용어들로 알려진, 복수의 인공 노드(artificial node)들을 포함할 수 있다. 이러한 복수의 인공 노드(artificial node)들은 생물학적인 신경망을 모방한 네트워크를 형성하기 위해 서로 연결된다. 일반적으로, 뉴럴 네트워크(neural network)는 적응적 웨이트(adaptive weight)들의 세트들을 포함한다(즉, 학습 알고리즘에 의해 조정되는 수치 파라미터들). 그리고 뉴럴 네트워크(neural network)는 그들의 입력들의 비선형 함수들을 근사화할 수 있다. 적응적 웨이트(adaptive weight)들은 개념적으로 뉴런(neuron)들 사이의 연결 강도(connection strength)이다. 적응적 웨이트(adaptive weight)들은 트레이닝(training) 및 프리딕션(prediction)하는 동안에 활성화될 수 있다. 일반적으로, 뉴럴 네트워크(neural network)는 비선형(nonlinear), 분산(distributed), 평행(parallel), 로컬 프로세싱(local processing) 및 적응(adaptation)의 원리에 따라서 동작한다.

일반적으로, “컨볼루션(convolution)”은 제 3의 함수를 생산하는 두 함수(f 및 g)들의 수학적 동작이다. 제 3의 함수는, 원래의 두 함수들 중 하나의 변화된 총량에 대응하는 함수로서 두 함수들 사이의 영역을 중첩하여, 원래의 함수들 중 하나의 변형된 버전(version)을 보여준다.

일반적으로, “컨볼루션 뉴럴 네트워크(convolution neural network)”라는 용어는 개별 뉴런(neuron)들이 시야에서 중첩하는 영역들에 응답하는 방식으로 타일처럼 연결되는 피드-포워드 인공 뉴럴 네트워크(feedforward artificial neural network)의 한 종류이다. 컨볼루션 네트워크(convolutio network)들은 MLP의 변화들이고, 전처리의 양을 최소화하도록 디자인된다. 화상 인식(image recognition)에 사용될 때, 컨볼루션 뉴럴 네트워크(convolution neural network)는, “수용 필드(receptive field)”라고 불리는, 입력 이미지의 작은 부분들을 보는 스몰 뉴런 콜렉션(small neuron collection)들의 다중 계층들을 사용한다. 이러한 콜렉션(collection)들의 결과들은 타일처럼 배치되어 원본 이미지의 더 좋은 표시를 획득하기 위해 중첩될 수 있다. 이것은 모든 계층에서 반복된다. 유리하게, 컨볼루션 뉴럴 네트워크(convolution neural network)는 컨볼루셔널 계층(convolutional layer)들에서 공유된 웨이트(weight)를 사용할 수 있다. 따라서, 각각의 계층에서 동일한 필터(즉, weights bank)는 각 픽셀에 사용될 수 있다. 이것은 요구되는 메모리 크기의 감소 및 성능 향상 모두를 이룰 수 있다.

이하에서, “이미지(image)”라는 용어는 디지털화된 이미지 데이터의 2차원 어레이를 말한다. 하지만, 이것은 단지 예시일 뿐, 이것에 한정되지 않는다. 이하에서, 서버에 제공된 이미지들은 카메라(미도시)와 같은 다른 장치에 의해 수집될 수 있다

이하에서, “프로그램(program)”, “소프트웨어(software)”, “어플리케이션(application)”, “애드-인(add-in)” 및 다른 유사한 용어들은 비 일시적 컴퓨터 판독 가능 매체에 저장된 장치 실행 가능 명령(machine executable instruction)으로 지칭한다. 장치 실행 가능 명령(machine executable instruction)은 컴퓨팅 자원들 및 적절하다고 간주되는 관련된 구성들의 제어 방법의 실행을 제공한다.

이하에서, 딥러닝은 여러 비선형 변환 기법을 이용하여 학습 데이터에 대한 높은 수준의 추상화를 통해 데이터의 주요 특징들을 추출한 다음, 데이터 군집 및 분류를 수행하는 기계학습의 일종으로 실시예에서는 콘벌루션 뉴럴 네트워크(Convolution Neural Network: CNN)이 이용된다.

이하에서, 콘벌루션 뉴럴 네트워크는 컨볼루션 계층(convolutional layer), 풀링 계층(pooling layer or sub-sampling layer) 그리고 분류 계층(classification layer)로 구성된다.

CNN은 컨볼루션 계층과 풀링 계층을 번갈아가며 수행함으로써 학습 영상으로부터 인식 대상의 특징을 자동으로 추출한다. 컨볼루션 계층은 이전 계층으로부터 들어오는 입력 데이터에 학습된 커널을 한 칸씩 움직이면서 컨볼루션 연산을 수행하여 이미지의 특성을 고려하면서 특징을 추출할 수 있다. 그리고 통합 계층은 컨볼루션 계층을 통해 생성된 특징 맵(feature map)의 차원 수를 줄여주는 역할을 하며, 최대 풀링(max pooling)과 평균 풀링(average polling) 등의 방법이 있는데 일반적으로 영상 내 더 자극적인 정보를 특징으로 취득하기 위해 최대 풀링이 많이 이용된다. 이처럼 컨볼루션 계층과 풀링 계층이 번갈아가며 여러 차례 수행되고 나면 주요 패턴 정보를 가진 특징들이 자동으로 추출되며, 이를 바탕으로 분류 계층에서 최종적으로 영상의 인식 결과를 출력하게 된다. 실시예에 적용된 CNN은 최종적으로 학습된 CNN으로 정의할 수 있다.

또한 본 발명의 실시예에서 적용된 CNN은 오픈 소스 모델(예들 들어 CAFFE(영문 명칭: Convolutional Architecture for Fast Feature Embedding) model, cuda-convNet model)과 같은 다양한 CNN 모델이 될 수 있다.

또한 본 발명의 실시예에서 적용된 CNN 모델은 CAFFE CNN 모델에서 컨볼루션 계층과 완전 연결 계층의 노드 수를 1/2 감소시킨 구조가 될 수 있다.

또한 CNN 모델에서 컨볼루선 계층과 풀링 계층이 서로 교차되어 이미지에서 여러 가지 변화(variation)에 불변인 특징들을 추출한다. 이후 연결된 3개의 Fully connected layer에서는 앞단에서 추출된 특징들을 사용하여 이미지 분류를 수행한다. CNN을 학습시키기 위해서 “fire” 혹은 “not fire”로 라벨링 된 16,529개의 이미지 학습 데이터를 이용하여 15만 번 학습을 반복하였다. 실사용 시에 이미지를 CNN에 입력으로 넣으면 그 이미지가 “fire”에 속하는 확률와 “not fire”에 속하는 확률을 얻을 수 있다.

도 1은 본 발명의 실시예에 따른 화재감시장치의 블록도의 예이다. 그리고 도 2는 사물인터넷 게이트웨이 및 화재감시장치의 아키텍쳐의 예이다. 또한 도 3은 화재감지장치의 화재 인식 로직의 예이다. 그리고 도 4는 일 예로써 퍼지추론기반 화재 검출 알고리즘의 퍼지 집합(Fuzzy Set)을 정의한 것이고, 도 5는 일 예로써 온도 소속 함수의 그래프이고, 도 6은 일 예로써 습도 소속 함수의 그래프이고, 도 7은 일 예로써 가스 소속 함수의 그래프이고, 도 8은 일 예로써 연기 소속 함수의 그래프이고, 도 9는 일 예로써 화재여부 소속 함수의 그래프이고, 도 10은 일 예로써 퍼지추론 기반 화재 검출 알고리즘의 퍼지 규칙을 정의한 것이며, 도 11은 본 발명의 실시예에 따른 화재감지방법의 흐름도이다.

도 1의 화재감지장치(100)는 서버 장치가 될 수 있다.

또한 화재감지장치(100)는 카메라(10), 사물인터넷 게이트웨이(20) 그리고 센서들(30)과 함께 예시적인 화재감지 시스템의 양상을 나타낸다.

화재감지장치(100)는 영상 데이터, 화재 후보 영역 및 센싱 데이터를 수신하는 통신부(110)와 추론 및 뉴럴 네트워크 프로그램의 코드를 저장한 메모리(130) 및 추론 프로그램을 실행하여 영상 데이터 및 화재 후보 영역에 기초하여 화재 확률 데이터를 생성하고, 뉴럴 네트워크 프로그램을 실행하여 센싱 데이터 및 화재 확률 데이터에 기초하여 최종 화재 여부를 판단하는 프로세서(120)를 포함할 수 있다.

화재감지장치(100)의 통신부(110)는 다른 장치와의 유선 및/또는 무선 통신을 위한 복수의 통신 모듈을 포함하는 것으로 정의한다. 그리고 통신부(110)는 다른 장치(예를 들어, 사물인터넷 게이트웨이 등)와의 통신을 위해 WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신 방식을 이용하는 것이 바람직하나, 이에 한정되는 것은 아니며, 시스템 구현 방식에 따라 유에스비(Universal Serial Bus), 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coaxial Cable), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신 방식을 이용할 수도 있다. 또한 근거리 통신 기술인 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication) 등이 이용될 수 있다. 또한 메시지 매개자(broker)를 통해 송신자가 특정 메시지를 발행(publish)하고 수신자가 메시지를 구독(subscribe)하는 방식을 사용하는 MQTT(MQ TELEMETRY TRANSPORT) 프로토콜 방식을 이용할 수도 있다.

또한 이러한 화재감지장치(100)의 통신부(110)의 통신방식에 예시적인 설명은 후술한 사물인터넷 게이트웨이(20)의 통신부가 카메라(10)나 센서들(30) 그리고 화재감지장치(100)와 통신을 위한 통신 방식의 예시적인 설명에도 동일하게 적용될 수 있다.

화재감지장치(100)가 수신하는 각종 데이터는 카메라(10), 사물인터넷 게이트웨이(20) 그리고 센서들(30) 각각과 관련이 있다.

예를 들어 카메라(10)는 화재 감지 영역을 촬영하여 생성한 영상 데이터를 화재감지장치(100) 또는 사물인터넷 게이트웨이(20)로 전송할 수 있다.

또한 사물인터넷 게이트웨이(20)는 카메라(10)로부터 수신한 영상 데이터에 기초하여 화재 감지 영역을 생성하고, 화재 감지 영역에 대한 정보를 화재감지장치(100)로 전송할 수 있다.

또한 센서들(30)은 복수의 센서를 구비한 하나의 센서 장치를 지칭할 수 있고, 서로 독립적으로 이루어진 센서들을 지칭할 수 있다. 또한 도 1은 서로 독립적으로 이루어진 센서들의 예시이다.

센서들(30)의 의미는 화재 감지 영역의 온도를 검출하는 온도 센서(31), 화재 감지 영역의 습도를 검출하는 습도 센서(32), 화재 감지 영역의 가스를 검출하는 가스 검출 센서(33) 그리고 화재 감지 영역의 연기 발생 여부를 검출하는 연기 검출 센서(34)를 포함하는 것으로 사용한다.

도 2의 사물인터넷 게이트웨이(Internet of Things gateway, 20)로써 여기서의 사물 인터넷(Internet of Things, 약어로 IoT)은 각종 사물에 센서와 통신 기능을 내장하여 인터넷에 연결하는 기술을 의미한다. 인터넷으로 연결된 사물들이 데이터를 주고받아 스스로 분석하고 학습한 정보를 사용자에게 제공하거나 사용자가 이를 원격 조정할 수 있는 인공지능 기술이다.

또한 사물인터넷 게이트웨이(20)는 사물인터넷 환경에서 인터넷 망과의 직접 통신이 지원되지 않는 사물 디바이스를 위해서 사물인터넷 서비스를 제공하기 위한 기능을 포함한다. 또한 사물인터넷 환경을 제공하기 위해 사물인터넷 디바이스를 연결하기 위한 HW 인터페이스(Serial, GPIO 등)를 제공하고 인터넷 연결을 위한 Network HW(Ethernet, WiFi모 듈 등)를 탑재하여 사물인터넷 서버플랫폼과 연결을 통해 사물인터넷 서비스를 제공할 수 있도록 게이트웨이 SW가 탑재된 게이트웨이 디바이스가 될 수 있다.

사물인터넷 게이트웨이(20)는 카메라(10)와 센서들(30)로부터 영상 데이터, 온도, 습도, 가스 농도와 연기 검출 정보를 수신할 수 있다.

사물인터넷 게이트웨이(20)는 분석이 불필요한 데이터를 제거하고, 분석이 필요한 데이터만 화재감지장치(100)로 전달함으로써 과도한 데이터 수집과 데이터 분석의 부담을 줄인다.

사물인터넷 게이트웨이(20)는 화재 후보 영역 검출 알고리즘을 수행하는 프로그램 코드를 저장한 메모리와 화재 후보 영역 검출 알고리즘에 따라 수신한 영상 데이터에 기초하여 화재 후보 영역을 검출하는 프로세서(21)를 구비한다.

또한 사물인터넷 게이트웨이(20)는 카메라(10)로부터 영상 데이터를 수신하고, 센서들(30)로부터 센싱 데이터를 수집하기 위한 그리고 생성한 화재 후보 영역에 대한 정보와 수집한 센싱 데이터를 화재감지장치(100)로 전송하기 위한 통신부(22)를 구비할 수 있다.

도 11을 참조하면, 사물인터넷 게이트웨이(20)는 카메라(10)로부터 영상 데이터를 수신(S100)하고, 사물인터넷 게이트웨이(20)의 프로세서(21)는 화재 후보 영역 검출 알고리즘에 따라 원본 영상 데이터인 RGB 색상모델의 영상을 YCbCr 모델로 변환시킨다(S200).

그 다음, 변환된 YCbCr 모델에서 룰 기반으로 화재 후보 영역에 대한 마스크(mask)를 생성한다(S300).

화재 후보 영역에 대한 마스크(mask)를 생성하는 일 예로, 화염에서 발생되는 휘도(luminance)와 색차(chrominance)를 효과적으로 검출 하기 위해, RGB 컬러 모델을 수학식 1을 이용하여 휘도와 색차를 보다 효과적으로 분리할 수 있는 YCbCr 컬러 모델로 변환하고, 수학식 2를 이용해서 화재 후보 영역을 검출함으로써 마스크를 생성할 수 있다.

[수학식 1]

[수학식 2]

위의 수학식 1 및 2에서 Y는 휘도, Cb와 Cr은 색차 값, τ 는 ROC(Receiver Operating Characteristic)의 분석에 의해 결정되는 상수값이다. 즉 τ값은 경험적 임계값(threshold)으로, 이 값이 작으면 영상 안의 화재를 잘 감지한다는 장점이 있지만 유사 색상의 다른 개체에 대해 오경보를 발생시킬 확률이 높아진다는 단점이 있다. 반 대로 임계값이 크면 오경보를 발생시킬 확률은 낮아지지만, 화재를 잘 감지하지 못하는 단점이 있다. 그 밖에 컬러 모델을 활용해서 화재 후보 영역을 검출하는 방법으로는 HSI 컬러 공간에서 화염을 검출하는 방법과 YIQ 컬러 모델을 이용하여 화염 후보를 검출한 다음 검 출된 후보 영역간의 비교를 통해 화재를 감지하는 방법 등이 있지만, 컬러 모델만 적용한 화재 감지 방법은 공통적으로 유사 색상에 대해 오경보를 발생시킬 수 있다는 문제점을 가진다.

마지막으로, 생성된 마스크는 화재 후보 픽셀을 나타내는 것으로 이를 픽셀의 군집 형태에 따라 라벨링을 하고(S400), 라벨링 된 영역을 사각형 모양의 부분 이미지(Region of interest: ROI)로써 원본 이미지로부터 추출한다(S500). 부분 이미지는 화재 후보 영역으로써, 원본 이미지에서 사각형의 좌표로 표현된다. 즉, 영상 데이터에서 화재 후보 영역을 검출하고 사각 영역의 리스트를 반환한다.

또한 사물인터넷 게이트웨이(20)의 통신부(22)는 화재 후보 영역들과 센싱 데이터를 MQTT(MQ Telemetry Transport) 메시지로 만들어서 화재감지장치(100)로 발행(publish)할 수 있다(S500).

도 3의 화재감지장치의 화재 인식 로직에서 먼저 MQTT Broker를 통해 사물인터넷 게이트웨이(20)에서 보낸 MQTT 메시지를 받는다(S600). 그리고 영상 데이터와 화재 후보 영역에 대한 정보는 콘벌루션 뉴럴 네트워크(Convolution Neural Network: CNN) 알고리즘의 입력으로 들어가서 각 후보 영역에 대한 영상기반 화재 확률을 구하고(S700), 최종적으로 영상기반 화재 확률과 각종 센싱 데이터가 퍼지(Fuzzy) 알고리즘에 입력되어 최종 화재 확률을 구하게 된다(S800).

즉, 화재감지장치(100)의 프로세서(110)는 CNN 알고리즘에 따라 사물인터넷 게이트웨이(20)로부터 수신한 영상 데이터 및 화재 후보 영역에 기초하여 화재 확률 데이터를 생성할 수 있다. 또한 프로세서(110)는 복수의 화재 후보 영역들 각각에 대한 화재 확률 데이터를 생성할 수 있다.

또한 프로세서(110)는 퍼지(Fuzzy) 알고리즘에 따라 상기 센싱 데이터 및 상기 화재 확률 데이터에 기초하여 최종 화재 여부를 판단할 수 있다.

퍼지 알고리즘은 퍼지화(Fuzzification) 단계, 인터페이스 룰(Interface Rules) 단계 및 디퍼지화(Defuzzification) 단계로 정의된다.

퍼지화 단계는 입력되는 값을 대응되는 퍼지집합(Fuzzy Set)의 원소들에 대한 소속 함수(Membership function)에 넣어서 소속도(Degrees of membership)로 변화시키는 과정이다. 소속 함수는 도메인의 지식에 의해 정해진다. 본 실시예에서는 퍼지 집합은 도 4와 같이 입력 집합인 T(온도), H(습도), G(가스), S(연기), V(영상기반 알고리즘의 확률)와 출력집합인 F(화재 여부)를 정의하였고 도 5 내지 도 9와 같은 대응하는 소속 함수(Membership Function)를 정의하였다.

인터페이스 룰 단계에서는 퍼지화 단계에서 얻은 각 퍼지집합에 대한 소속도 값을 이용하여 퍼지 규칙에 대한 소속도를 구하게 된다. 퍼지 규칙은 도메인에 대한 지식을 통해 정의된다. 본 실시예에서는 앞서 정의한 퍼지집합을 기반으로 도 10과 같은 퍼지추론 규칙을 정의할 수 있다. 5가지의 입력 집합이 있고, 각 집합 당 3개의 원소가 있으므로 총 규칙의 수는 3^5=243개가 만들어진다.

소속함수 및 규칙을 기반으로한 퍼지 추론에서는 Mamdani의 min-max 중심법을 사용할 수 있다.

디퍼지화 단계에서는 규칙을 기반으로한 퍼지 추론의 결과로 얻어낸 각 규칙에 대한 소속도 값을 이용하여 단일 출력값을 구하는 과정이다. 본 실시예에서는 무게중심법을 이용하여 화재의 정도를 나타내는 값을 얻을 수 있다.

< 화재감지장치 및 방법의 신뢰성 실험>

도 12는 시뮬레이션에서 쓰인 화재원과 연료원 설정 정보이고, 도 13은 FDS를 이용한 아파트 환경 모델링도이고, 도 14는 실험 1에서의 시간에 따른 센싱 데이터의 변화를 나타낸 그래프이고, 도 15는 실험 1에서의 화재 시뮬레이션 결과를 나타낸 것이고, 도 16은 FDS를 이용한 폭발 환경을 모델링한 것이고, 도 17은 실험 2에서의 시간에 따른 센싱 데이터의 변화를 나타낸 것이며, 도 18은 실험 2에서의 화재 시뮬레이션 결과를 나타낸 것이다.

실험 환경을 설명하면, 화재감지 알고리즘의 신뢰성 확보를 위해서는 실제 화재 관련 데이터를 확보하여 검증을 하여야 한다. 실제 화재를 일으켜서 관련 데이터를 수집하기에는 시간적, 경제적 소모의 비용이 크다. 무엇보다 똑같은 현상을 다시 구현하기에는 자연적인 변수가 많기 때문에 완전히 똑같은 현상을 다시 재현 한다는 것은 불가능에 가깝다. 이러한 문제점을 해소하기 위해 화재시뮬레이션의 필요성이 대두되는데, 본 실시예에서는 여러 가지 시뮬레이터 중에서 기존의 연구 사례들에서 그 활용성과 신뢰성이 입증된 미국표준기술연구소(National Standards and Technology, NIST)에서 개발한 공개 화재 시뮬레이션인 Fire Dynamics Simulator(FDS)를 사용하였다. FDS를 사용하여 화재가 발생하는 공간을 3D 모델링하였으며, 화재원의 연료 종류, 연소원의 재질 등을 설정하여 가상의 환경에서 화재를 시뮬레이션 하였다. 본 실험에서는 FDS 화재 시뮬레이션으로부터 생성되는 온도, 습도, 가스 및 연기 농도 센서 데이터와 FDS에서 시뮬레이션한 공간과 유사한 화재 영상 데이터를 사용하였다. 도 12는 FDS 시뮬레이션에서 사용된 화재원과 연료원 설정을 나타낸다.

실험 환경은 도 1과 같이 카메라(10), 사물인터넷 게이트웨이(20), 센서들(30) 및 화재감지장치(100)로 구성된다. 센서들(30)은 온도, 습도, 가스, 연기 센서들로 구성하였으며, 통신 방식의 일 예로 블루투스 통신을 통해 센싱 데이터를 사물인터넷 게이트웨이(20)로 전달한다. 사물인터넷 게이트웨이(20)는 센서들(30)과 연결하여 실제 센싱 데이터를 전달할 수도 있고, 별도의 FDS 센서 데이터와 연결하여 시뮬레이션 데이터를 전달할 수도 있다.

또한 사물인터넷 게이트웨이(20)와 화재감지장치(100)간의 통신은 경량의 Publish/Subscribe 메시징 프로토콜인 MQTT로 이루어지도록 하였다.

또한 화재인식 알고리즘은 분산 구조로 설계함으로써 모든 화재인식 로직 중 화재 후보영역 검출 알고리즘을 각 사물인터넷 게이트웨이(20)에 배치하여 분산 컴퓨팅 구조를 취한다. 실시예에 따른 화재 인식 알고리즘의 신뢰성을 판단하기 위해 두 가지 실험을 수행하였다. 첫 번째 실험에서는 작은 화재원에서 화재가 발생하여 점진적으로 번지는 상황을 모델링하였다. 두 번째 실험에서는 짧은 시간 내에 폭발이 일어나는 상황을 모델링하였다.

-실험 1

실험 1은 작은 화재가 시간이 지남에 따라 큰 화재로 점진적으로 발전하는 상황을 모델링하였다. 화재 시뮬레이터 FDS를 이용하여 도 13과 같은 아파트 환경을 만들고, 부엌에서 화재가 난 상황을 가정하였다.

FDS 시뮬레이션을 한 결과, 도 14와 같이 온도, 습도, CO농도, 연기농도 그래프가 생성되었다.

제시한 실험 환경에서 제안 알고리즘의 성능을 평가하기 위해 세 가지 실험을 수행하였다.

i) 영상 데이터 CNN 알고리즘만 적용 (CNN)

ii) 센서 데이터 퍼지추론 기반 알고리즘만 적용 (Fuzzy)

iii) 본 발명의 실시예에 따른 화재감지방법

시뮬레이션 결과, 시간에 따른 화재 확률은 도 15와 같이 도출되었다.

시뮬레이션 결과, CNN은 오직 영상만을 이용해 화재를 감지하기 때문에 화재가 일정 크기 이상으로 커진 시점부터 검출되었다. 빠르게 번지는 화재였다면 CNN을 통해서 빠른 화재 검출이 가능하다. 그러나 본 실험 1에서는 작은 화재원에서 화재가 점진적으로 확산되는 상황이므로 화재가 일정 크기 이하일 경우에는 검출이 되지 않는다. 또한 카메라가 비추지 않은 영역에서 화재가 나거나 연기 때문에 화재로 식별할 수 없을 경우에도 화재 검출이 불가능하다는 단점이 있다. Fuzzy는 온도, 습도 등의 센싱 데이터를 이용하기 때문에 시간에 따라 화재 확률이 완만하게 증가하는 양상을 보였다. 카메라가 비추지 않은 영역에서 불이 났을 때 Fuzzy를 통해서 효과적으로 화재를 검출할 수 있다. 그러나 센싱 데이터가 서서히 증가하기 때문에 빠르게 번지는 화재이거나 센서가 화재로부터 멀리 설치된 경우에는 검출 시간이 늦어진다는 단점이 있다. 그러나 본 발명에 따른 실시예는 빠르게 번지는 화재를 영상 데이터를 통해 검출할 수 있으며, 카메라 영상이 비추지 않은 영역에서 화재가 나더라도 정확한 검출이 가능하다.

평가 대상	기준 화재 확률 도달 상대 시간
CNN(비교예1)	34,249ms
Fuzzy(비교예2)	0ms
실시예	0ms

평가 대상	기준 화재 확률 도달 상대 시간
CNN(비교예1)	73.27%
Fuzzy(비교예2)	90.60%
실시예	91.59%

표 1은 비교예와 실시예에서 본 실험에서 정의한 기준 화재 확률인 50%까지 도달하기까지 걸린 시간을 상대적으로 나타낸다. CNN은 다중 센서 데이터에 대한 고려 없이 화재원이 일정 크기 이상으로 확산되었을 때 화재를 검출하기 때문에 검출 시간이 길어짐을 알 수 있다. 표 2는 실제로 화재가 발생한 시점부터 각 알고리즘이 도출해내는 화재 확률의 평균을 나타낸다. CNN은 화재원이 작은 시점에는 화재로 검출하지 못하므로 가장 낮은 검출률을 보인다. 반면, Fuzzy와 본 발명에 따른 실시예는 다중 센서에 의한 화재 검출이 가능하므로 90%가 넘는 높은 검출률을 보이며, 특히 본 발명의 실시예는 CNN의 검출 결과까지 반영되므로 Fuzzy보다 약간 더 높은 검출률을 보인다. 따라서, 본 발명의 실시예는 점진적으로 진행하는 화재 상황에서 비교 알고리즘들에 비해 신속하고 신뢰도 높은 화재 검출이 가능함을 알 수 있다.

-실험 2

실험 2는 짧은 시간에 폭발이 일어나는 상황을 모델링하였다. 화재 시뮬레이터 FDS를 이용하여 도 16과 같은 빈 방에서 배터리가 폭파되는 상황을 가정하였다.

FDS 시뮬레이션을 한 결과, 도 17과 같이 온도, 습도, CO농도, 연기농도 그래프가 생성되었다. 실험 1과 달리, 10초 이내의 짧은 시간에 센싱 데이터가 급격하게 변한다.

또한 도 18을 참조하면, 폭발 상황에서는 실험 1에 비해 CNN이 Fuzzy에 비해 빠른 기준 확률 도달 시간을 보인다. 이는 센싱 데이터가 상승하는 시간보다 화재 영상이 감지되는 시간이 좀 더 빠르기 때문에 영상만을 사용하는 CNN의 성능이 우수함을 알 수 있다. 더불어, 본 발명의 실시예는 초기 기준 확률 도달시간이 가장 짧았고, 이후 안정적인 화재 감지율을 유지하는 장점이 있어 센싱 오류에 안정성을 보여주고 있다.

평가 대상	기준 화재 확률 도달 상대 시간
CNN(비교예1)	245ms
Fuzzy(비교예2)	896ms
실시예	0ms

평가 대상	기준 화재 확률 도달 상대 시간
CNN(비교예1)	91.73%
Fuzzy(비교예2)	90.75%
실시예	96.55%

표 3은 비교예와 실시예에서 기준 화재 확률이 50%까지 도달하기까지 걸린 시간을 상대적으로 나타낸다. CNN과 실시예는 영상 데이터에 의해 빠르게 화재를 검출하였지만 다중 센싱 데이터만을 사용하는 Fuzzy는 열이 전도되는 시간과 가스나 연기가 확산되는 시간이 더 소요되므로 상대적으로 늦게화재를 검출한다.

표 4는 실제로 화재가 발생한 시점부터 비교예와 실시예가 도출해내는 화재 확률의 평균을 나타낸다. 폭발성 화재 상황이므로 모든 알고리즘이 90% 이상의 높은 검출률을 보였다. 특히, 실시예는 96% 이상의 안정적인 검출 능력을 보였다.

결과적으로, 본 발명의 실시예는 폭발적인 화재 환경에서도 보다 신속하고 신뢰도 높은 화재 검출이 가능함을 알 수 있다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

10: 카메라 20: 사물인터넷 게이트웨이
21: 프로세서 22: 통신부
30: 센서들
31: 온도 센서 32: 습도 센서
33: 가스 검출 센서 34: 연기 검출 센서
100: 화재감지장치
110: 통신부 120: 프로세서 130: 통신부

Claims (12)

1. 화재 감지 영역 내의 온도, 습도, 가스 농도 및 연기를 검출하는 센서;
   화재 감지 영역을 촬영하여 영상 데이터를 생성하는 카메라;
   상기 센서로부터의 센싱 데이터와 상기 카메라로부터의 영상 데이터를 수신하고, 상기 영상 데이터에 기초하여 화재 후보 영역들을 검출하며 상기 화재 후보 영역들과 상기 센싱 데이터를 MQTT(MQ Telemetry Transport) 메시지로 생성하여 발행하는 사물인터넷 게이트웨이; 및
   수신된 상기 MQTT 메시지의 상기 화재 후보 영역들 및 상기 영상 데이터를 입력으로 하는 콘벌루션 뉴럴 네트워크(Convolution Neural Network) 알고리즘에 따라 상기 화재 후보 영역들 각각에 대한 화재 확률 데이터를 생성하고, 상기 화재 확률 데이터 및 수신된 상기 센싱 데이터를 입력으로 하는 퍼지(Fuzzy) 알고리즘에 따라 최종 화재 확률을 생성하는 화재감지장치;를 포함하고,
   상기 사물인터넷 게이트웨이는, RGB 색상 모델의 상기 영상 데이터를 YCbCr 모델로 변환하고, 상기 YCbCr 모델에서 룰 기반으로 상기 화재 후보 영역에 대한 마스크(mask)를 생성하며, 라벨링된 영역을 ROI(Region of interest)로 추출하여 상기 화재 후보 영역를 검출하고,
   상기 화재감지장치는,
   상기 화재 확률 데이터 및 상기 센싱 데이터를 입력으로 하는 퍼지집합의 원소들에 대한 소속 함수의 출력인 퍼지집합에 대한 소속도를 생성하고, 상기 퍼지집합에 대한 소속도를 이용하여 퍼지 규칙에 대한 소속도를 생성하며, 상기 퍼지 규칙에 대한 소속도를 이용하여 상기 최종 화재 확률을 생성하는
   화재 감지 시스템.
2. 삭제
3. 삭제
4. 삭제
5. 제1 항에 있어서,
   상기 사물인터넷 게이트웨이는 상기 센서와 블루투스 통신하여 상기 센싱 데이터를 수신하는
   화재 감지 시스템.
6. 제1 항에 있어서,
   상기 센서는 온도, 습도, 가스 농도 및 연기를 검출하는 복수의 센서로 구성된
   화재 감지 시스템.
7. 센서가 화재 감지 영역 내의 온도, 습도, 가스 농도 및 연기를 검출하는 단계;
   카메라가 화재 감지 영역을 촬영하여 영상 데이터를 생성하는 단계;
   사물인터넷 게이트웨이가 상기 센서로부터의 센싱 데이터와 상기 카메라로부터의 영상 데이터를 수신하고, 상기 영상 데이터에 기초하여 화재 후보 영역들을 검출하며 상기 화재 후보 영역들과 상기 센싱 데이터를 MQTT(MQ Telemetry Transport) 메시지로 생성하여 발행하는 단계; 및
   화재감지장치가 수신된 상기 MQTT 메시지의 상기 화재 후보 영역들 및 상기 영상 데이터를 입력으로 하는 콘벌루션 뉴럴 네트워크(Convolution Neural Network) 알고리즘에 따라 상기 화재 후보 영역들 각각에 대한 화재 확률 데이터를 생성하고, 상기 화재 확률 데이터 및 수신된 상기 센싱 데이터를 입력으로 하는 퍼지(Fuzzy) 알고리즘에 따라 최종 화재 확률을 생성하는 단계;를 포함하고,
   상기 사물인터넷 게이트웨이는, RGB 색상 모델의 상기 영상 데이터를 YCbCr 모델로 변환하고, 상기 YCbCr 모델에서 룰 기반으로 상기 화재 후보 영역에 대한 마스크(mask)를 생성하며, 라벨링된 영역을 ROI(Region of interest)로 추출하여 상기 화재 후보 영역를 검출하고,
   상기 화재감지장치는, 상기 화재 확률 데이터 및 상기 센싱 데이터를 입력으로 하는 퍼지집합의 원소들에 대한 소속 함수의 출력인 퍼지집합에 대한 소속도를 생성하고, 상기 퍼지집합에 대한 소속도를 이용하여 퍼지 규칙에 대한 소속도를 생성하며, 상기 퍼지 규칙에 대한 소속도를 이용하여 상기 최종 화재 확률을 생성하는
   화재 감지 방법.
8. 삭제
9. 삭제
10. 삭제
11. 제7 항에 있어서,
    상기 사물인터넷 게이트웨이가 블루투스 통신을 통해 상기 센서로부터 센싱 데이터를 수신하는 단계;를 더 포함하는
    화재감지방법.
12. 삭제

Images