KR102060242B1 - 화재 감시 방법 및 그 장치 - Google Patents

Abstract

화재 감시 방법 및 그 장치가 개시된다. 화재 감시 방법은 (a) 입력 프레임을 딥러닝 모델에 적용하여 분류시, 상기 딥러닝 모델에서 생성되는 m(자연수)개의 특징맵을 분석하여 n(m이하의 자연수)개의 특징맵을 선택하는 단계; (b) 상기 n개의 특징맵에 대한 평균 활성화 맵을 생성하고, 상기 평균 활성화 맵을 이용하여 관심 영역을 추출하는 단계; (c) 상기 관심 영역을 이용하여 상기 입력 프레임에서 객체를 감지하는 단계; (d) 상기 감지된 객체를 이용하여 화재 감시에 필요한 복수의 컨텍스트 정보를 추출하는 단계; 및 (e) 상기 추출된 복수의 컨텍스트 정보를 이용하여 화재 신고하는 단계를 포함한다.

Description

화재 감시 방법 및 그 장치{Fire monitoring method and apparatus}

본 발명은 화재 감시 방법 및 그 장치에 관한 것이다.

화재 사고는 수많은 인명 피해를 유발하며 재산상의 손실이 막대하다. 특히 지난 2015년 한해 발생한 화재는 44,435건으로, 하루에 120건의 화재가 발생하였다. 또한, 국민안전처가 발표한 '2016년 상반기 전국 화재 발생 현황'을 확인해보면, 화재 발생은 11시 ~ 17시 사이가 전체의 40.6%를 차지하며 가장 많은 화재가 발생하는 시간대로 확인되었다. 인명피해는 23시 ~ 05시 사이 발생하는 화재에서 전체 사망인원의 32%가 사망한 것으로 확인되었다. 특히, 전술한 바와 같은 화재 발생의 원인은 부주의가 56%를 차지할 정도로 화재에 대한 사전 관심과 예방책을 마련한다면 그 손실 및 위험성을 충분히 저감시킬 수 있다. 이에 따라, 화재를 감지하기 위한 방법들이 요구되고 있다.

현재 주로 사용되고 있는 화재 감지 및 경보 시스템은 열, 연기 등의 센서기반 감지기들이 대부분이며 이들 감지기는 화재가 발생한 후 열이나 연기가 일정 수준 이상 확산되어 센서에 도달해야 비로소 감지가 가능하다. 연기 감시 방식은 센서를 이용한 광전식 스포트형, 광전식 분리형, 이온화식 및 공기흡입형 등이 사용되어 왔다.

그런데, 이와 같은 화재 감지 센서는 열이나 연기가 직접 센서 내로 유입 또는 흡입되어야 화재의 발생을 감지할 수 있다. 이로 인해, 주변 환경에 따라서 화재의 오감지의 가능성이 크며, 이러한 오감지를 방지하기 위해 영상기반 화재 감지 방안이 요구되었다.

영상기반 화재 감지 방법에 관한 종래기술로서 대한민국 등록특허 제10-1620989호(이하 '선행기술'이라 칭하기로 함)는 야간 영상을 포함하는 동영상으로부터 화재를 자동적으로 감지하는 방법 및 이를 수행하는 시스템을 개시한다. 다만, 선행기술은 화재 영역을 판별하는 일련의 과정에서 프레임의 밝기를 기준으로 하여 화재가 발생된 관심 영역을 지정하였다. 이는, 영상에서 파악할 수 있는 화재의 특성을 불빛 또는 화염에 의한 반짝임으로 화재 유무를 검출하는 것으로, 화재 초기에 발생하는 불빛이 작은 불씨의 감지가 어렵거나 화면에 화염이 포함되지 않고 연기만 포함된 화재 현장을 감지하지 못하여 화재 감지율이 낮은 문제점이 있다. 또한, 자전거 깜빡이, 자동차 점멸등, 네온사인 등과 같이 밝기의 변화가 반복되는 조건을 화재와 구별하지 못하여 화재 감지의 오경보율이 높은 문제점이 나타난다.

본 발명은 딥 러닝에 기반하여 입력 프레임을 분류하는 과정에서 생성되는 특징맵을 이용하여 적응적으로 관심 영역을 추출하고, 이를 이용하여 다른 관심 개체를 감지하여 화재 감시를 위한 컨텍스트 정보를 추출하여 자동으로 신고하도록 할 수 있는 화재 감시 방법 및 그 장치를 제공하기 위한 것이다.

또한, 본 발명은 복수의 에이전트를 통해 필요한 컨텍스트 정보를 추출한 후 이를 추론하여 자동으로 화재 신고(보고)를 수행할 수 있어, 정확한 화재 신고 접수가 가능하도록 할 수 있는 화재 감시 방법 및 그 장치를 제공하기 위한 것이다.

본 발명의 일 측면에 따르면, 화재 감시 방법이 제공된다.

본 발명의 일 실시예에 따르면, (a) 입력 프레임을 딥러닝 모델에 적용하여 분류시, 상기 딥러닝 모델에서 생성되는 m(자연수)개의 특징맵을 분석하여 n(m이하의 자연수)개의 특징맵을 선택하는 단계; (b) 상기 n개의 특징맵에 대한 평균 활성화 맵을 생성하고, 상기 평균 활성화 맵을 이용하여 관심 영역을 추출하는 단계; (c) 상기 관심 영역을 이용하여 상기 입력 프레임에서 객체를 감지하는 단계; (d) 상기 감지된 객체를 이용하여 화재 감시에 필요한 복수의 컨텍스트 정보를 추출하는 단계; 및 (e) 상기 추출된 복수의 컨텍스트 정보를 이용하여 화재 신고하는 단계를 포함하는 화재 감시 방법이 제공될 수 있다.

상기 (a) 단계는, 상기 m개의 특징맵에 대한 평균 활성화 맵을 생성하는 단계; 상기 평균 활성화 맵을 이용하여 상기 m개의 특징맵을 각각 이진화하는 단계; 기준값(ground truth)과 상기 이진화된 각각의 특징맵 사이의 해밍 거리를 각각 계산하는 단계; 상기 계산된 해밍 거리를 이용하여 해밍 거리가 짧은 n개의 특징맵을 선택하는 단계를 포함할 수 있다.

상기 (b) 단계는, 상기 n개의 특징맵에 대한 평균 활성화 맵을 생성하는 단계; 상기 평균 활성화 맵을 이진화하는 단계; 및 상기 이진화된 평균 활성화 맵을 이용하여 상기 n개의 특징맵 중 화재 관심 영역을 추출하는 단계를 포함할 수 있다.

상기 (c) 단계는, 상기 입력 프레임에서 상기 관심 영역을 감산(subtract)하여 영향 영역(influence zone)을 찾은 후 상기 영향 영역에서 객체를 감지할 수 있다.

상기 컨텍스트 정보는 화재 발생 여부, 사람 및 인구 밀도, 인접 개체(개체 유형), 인화성 물질 또는 위험물 존재 여부, 대피 현황, 카메라 GPS 정보, 스마트폰 사용자 수 및 화재 확산 정보 중 적어도 하나일 수 있다.

본 발명의 다른 측면에 따르면 화재 감시 장치가 제공된다.

본 발명의 일 실시예에 다르면, 입력 프레임을 딥러닝 모델에 적용하여 분류시, 상기 딥러닝 모델에서 생성되는 m(자연수)개의 특징맵을 분석하여 n(m이하의 자연수)개의 특징맵을 선택하는 특징맵 선택부; 상기 n개의 특징맵에 대한 평균 활성화 맵을 생성하고, 상기 평균 활성화 맵을 이용하여 관심 영역을 추출하는 관심 영역 추출부; 상기 관심 영역을 이용하여 상기 입력 프레임에서 객체를 감지하는 객체 감지부; 상기 감지된 객체를 이용하여 화재 감시에 필요한 복수의 컨텍스트 정보를 추출하는 컨텍스트 추출부; 및 상기 추출된 복수의 컨텍스트 정보를 이용하여 화재 신고하는 통신부를 포함하는 화재 감시 장치가 제공될 수 있다.

상기 특징맵 선택부는, 상기 m개의 특징맵에 대한 평균 활성화 맵을 생성하고, 상기 평균 활성화 맵을 이용하여 상기 m개의 특징맵을 각각 이진화한 후 기준값(ground truth)과 상기 이진화된 각각의 특징맵 사이의 해밍 거리를 각각 계산하며, 상기 계산된 해밍 거리를 이용하여 해밍 거리가 짧은 n개의 특징맵을 선택할 수 있다.

상기 관심 영역 추출부는, 상기 n개의 특징맵에 대한 평균 활성화 맵을 생성하고, 상기 평균 활성화 맵을 이진화한 후 상기 이진화된 평균 활성화 맵을 이용하여 상기 n개의 특징맵 중 화재 관심 영역을 추출할 수 있다.

상기 객체 감지부는, 입력 프레임에서 상기 관심 영역을 감산(subtract)하여 영향 영역(influence zone)을 찾은 후 상기 영향 영역에서 객체를 감지할 수 있다.

본 발명의 다른 실시예에 따르면, 입력 프레임을 딥러닝 모델에 적용하여 분류시, 상기 딥러닝 모델에서 생성되는 m(자연수)개의 특징맵을 분석하여 n(m이하의 자연수)개의 특징맵을 선택하는 제1 에이전트; 상기 제1 에이전트의 입력 프레임의 분류 결과를 토대로 화재 확산 또는 축소 여부를 판단하는 제2 에이전트; 상기 n개의 특징맵에 대한 평균 활성화 맵을 생성하고, 상기 평균 활성화 맵을 이용하여 관심 영역을 추출하며, 상기 관심 영역을 이용하여 화재 지역 이외의 다른 관심 객체를 감지하는 제3 에이전트; 및 상기 다른 관심 객체를 이용하여 컨텍스트 정보를 추출하는 제4 에이전트를 포함하는 화재 감시 장치가 제공될 수 있다.

상기 컨텍스트 정보는, 사람 및 인구 밀도, 인접 개체(개체 유형), 인화성 물질 또는 위험물 존재 여부, 대피 현황 중 복수이되, 상기 제4 에이전트는 복수이되, 상기 복수의 제4 에이전트는 각각 사람 및 인구 밀도, 인접 개체(개체 유형), 인화성 물질 또는 위험물 존재 여부, 대피 현황 중 어느 하나의 컨텍스트 정보를 추출할 수 있다.

본 발명의 일 실시예에 따른 화재 감시 방법 및 장치를 제공함으로써, 딥 러닝에 기반하여 입력 프레임을 분류하는 과정에서 생성되는 특징맵을 이용하여 적응적으로 관심 영역을 추출하고, 이를 이용하여 다른 관심 개체를 감지하여 화재 감시를 위한 컨텍스트 정보를 추출하여 자동으로 신고하도록 할 수 있다.

또한, 본 발명은 복수의 에이전트를 통해 필요한 컨텍스트 정보를 추출한 후 이를 추론하여 자동으로 화재 신고(보고)를 수행할 수 있어, 정확한 화재 신고 접수가 가능하도록 할 수 있는 이점이 있다.

도 1은 본 발명의 일 실시예에 따른 화재 감시 방법을 나타낸 순서도.
도 2는 본 발명의 일 실시예에 따른 n개의 특징맵을 선택하는 방법을 나타낸 순서도.
도 3은 본 발명의 일 실시예에 따른 도 3에는 원본 이미지와 이진화된 특징맵을 도시한 결과를 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 관심 영역 추출 방법을 나타낸 순서도.
도 5는 본 발명의 일 실시예에 따른 화재 신고 정보를 예시한 도면.
도 6은 본 발명의 일 실시예에 따른 화재 감시 장치의 내부 구성을 개략적으로 도시한 블록도.
도 7은 본 발명의 일 실시예에 따른 CNN 구조를 도시한 도면.
도 8 및 도 9는 본 발명의 일 실시예에 따른 에이전트 협업 프로세스를 설명하기 위해 도시한 도면.

본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 화재 감시 방법을 나타낸 순서도이고, 도 2는 본 발명의 일 실시예에 따른 n개의 특징맵을 선택하는 방법을 나타낸 순서도이며, 도 3은 본 발명의 일 실시예에 따른 도 3에는 원본 이미지와 이진화된 특징맵을 도시한 결과이며, 도 4는 본 발명의 일 실시예에 따른 관심 영역 추출 방법을 나타낸 순서도이고, 도 5는 본 발명의 일 실시예에 따른 화재 신고 정보를 예시한 도면이다.

단계 110에서 화재 감시 장치(100)은 입력 프레임을 분석하여 특징맵을 추출하고 분류한다.

예를 들어, 화재 감시 장치(100)은 CNN 모델을 이용하여 화재 감시를 위한 m개의 특징맵을 추출한 각 프레임을 화재 및 비화재(정상) 프레임으로 분류한다.

CNN 모델을 통해 높은 예측 스코어를 갖는 출력 프레임은 누적되며, DB에 전달되어 예측된 레이블(화재 또는 비화재)과 함께 저장될 수 있다. 누적된 DB는 CNN 모델의 미세 조정을 위해 사용된다.

입력 프레임이 CNN 모델을 통해 화재 또는 비화재로 분류될 때 입력 프레임에서 m(여기서, m은 자연수)개의 특징맵이 추출된다. 여기서, m은 입력 프레임이 CNN 모델에 적용시 추출되는 특징맵의 전체 개수를 나타낸다.

단계 115에서 화재 감시 장치(100)은 m개의 특징맵을 분석하여 n개의 특징맵을 선택한다. 화재 감시 장치(100)은 m개의 특징맵 중 화재 감지를 위해 필요하지 않은 영역들을 제거하고 화재 감시에 필요한 n개의 특징맵을 선택하는 과정을 수행한다. 여기서, n은 m보다 작은 자연수일 수 있다.

즉, 비디오 스트림 형태로 입력되는 모든 프레임들을 대상으로 특징맵을 분석하는 것은 비효율적이므로, 화재 감지를 위해 필요하지 않은 영역들을 선별하여 제거한 후 화재 감지를 위해 필요한 영역만을 선택하도록 할 수 있다.

이를 위해, 화재 감시 장치(100)은 m개의 특징맵 중 불필요한 특징맵들을 제거하고 화재 감지를 위해 필요한 n개의 특징맵을 선택할 수 있다. 이에 대해서는 도 2를 참조하여 보다 상세히 설명하기로 한다.

단계 210에서 화재 감시 장치(100)은 m개의 특징맵의 사이즈를 조정한다.

예를 들어, 화재 감시 장치(100)은 m개의 특징맵의 사이즈를 256 x 256로 조정할 수 있다.

단계 215에서 화재 감시 장치(100)은 사이즈가 조정된 m개의 특징맵에 대한 평균 활성화 맵(mean activation map)을 계산한다. 활성화 맵을 계산(생성)하는 방법 자체는 당업자에게는 자명한 사항이므로 이에 대한 별도의 설명은 생략하기로 한다.

단계 220에서 화재 감시 장치(100)은 생성된 평균 활성화 맵을 이용하여 m개의 특징맵을 각각 이진화한다.

예를 들어, 각 특징맵의 특정 픽셀의 픽셀값이 상응하는 평균 활성화 맵의 특정 픽셀의 픽셀값보다 크면, 특정 픽셀의 픽셀값을 제1 값(예를 들어, 1)로 설정하고 그렇지 않으면 제2 값(예를 들어, 0)으로 설정하여 각 특징맵을 이진화할 수 있다.

도 3에는 원본 이미지와 이진화된 특징맵을 도시한 결과가 예시되어 있다.

단계 225에서 화재 감시 장치(100)은 기준값(ground truth)과 이진화된 각 특징맵 사이의 해밍 거리(hamming distance)를 계산한다. 여기서, 해밍 거리를 계산하는 방법 자체는 당업자에게는 자명한 사항이므로 이에 대한 설명은 생략하기로 한다.

단계 230에서 화재 감시 장치(100)은 계산된 해밍 거리를 이용하여 m개의 특징맵 중 n개를 선택한다. 이때, 화재 감시 장치(100)은 해밍 거리가 짧은 n개의 특징맵을 선택할 수 있다.

도 2를 참조하여, m개의 특징 맵 중 n개의 특징맵을 선택하는 방법에 대해 설명하였다.

다시 도 1을 참조하여 단계 120에서 화재 감시 장치(100)은 n개의 특징맵을 분석하여 화재 관심 영역을 선별한다.

이에 대해 도 4를 참조하여 보다 상세히 설명하기로 한다.

단계 410에서 화재 감시 장치(100)은 n개의 특징맵을 이용하여 평균 활성화 맵을 생성한다.

단계 415에서 화재 감시 장치(100)은 평균 활성화 맵을 이진화한다. 이때, 평균 활성화 맵은 임계값(T2)을 이용하여 이진화될 수 있다. 예를 들어, 평균 활성화 맵의 각 픽셀의 픽셀값 중 임계값을 초과하면, 제1 값으로 설정하고 임계값을 이하이면 제1 값으로 설정하여 이진화할 수 있다.

단계 420에서 화재 감시 장치(100)은 이진화된 평균 활성화 맵을 이용하여 n개의 특징 맵 중 적어도 일부의 화재 관심 영역(ROI)을 추출한다.

이러한 단계는 각각의 프레임마다 수행될 수 있음은 당연하다.

이와 같이, 추출(선택된) 화재 관심 영역이 각각의 에이전트에 의해 분석되어 화재 감시를 위해 이용된다.

다시, 도 1을 참조하여, 단계 125에서 화재 감시 장치(100)은 추출된 화재 관심 영역을 분석하여 객체를 감지하고 인식한다.

예를 들어, 화재 감시 장치(100)은 입력 프레임에서 화재 감시 영역을 감산(subtract)하여 영향 영역(influence zone)을 찾아 분석하여 근처의 객체를 감지할 수 있다.

단계 130에서 화재 감시 장치(100)은 감지된 객체를 이용하여 컨텍스트 정보를 추출한다.

일반적으로 소방서에 화재 신고/보고시 다음과 같은 정보들을 필요로 한다.

1. 화재 발생 여부

2. 건물에 사람 존재 여부

3. 화재가 발생한 건물의 종류

4. 건물 주변의 위험 요소

5. 대피 진행 여부

6. 건물 주소

7. 전화번호

8. 기타 관련 정보

따라서, 본 발명의 일 실시예에 따른 화재 감시 장치(100)은 감지된 객체를 이용하여 상술한 정보를 포함하는 컨텍스트 정보를 추출할 수 있다.

추출되는 컨텍스트 정보의 일 예는 다음과 같다.

1. 화재 발생 여부

2. 사람 및 인구 밀도

3. 인접 개체(개체 유형)

4. 인화성 물질/위험물 존재

5. 대피 현황

6. 카메라의 GPS 위치

7. 스마트폰 사용자 수

8. 화재 및 현장 정보의 사이즈/확산

상술한 컨텍스트 정보는 화재 관심 영역에서 추출된 각 객체를 이용하여 추출되는 컨텍스트 정보의 일 예를 기술한 것으로 화재 감시를 위해 추출되는 컨텍스트 정보가 달라질 수도 있음은 당연하다.

컨텍스트 정보는 복수의 에이전트에 의해 각각 추출될 수 있다. 예를 들어, 복수의 에이전트 중 어느 하나는 객체를 형태학적으로 분석하여 객체를 분류할 수도 있다.

또한, 복수의 에이전트 중 다른 하나는 추출된 객체를 분석하여 대피 진행 상황을 검출할 수도 있다.

또한, 복수의 에이전트 중 또 다른 하나는 추출된 객체를 분석하여 사람을 감지한 후 인원 수를 계산하고 인구 밀도를 추정할 수 있다.

또한, 복수의 에이전트 중 또 다른 하나는 추출된 객체를 분석하여 가연성 물질 후보를 결정하여 인화성 물질을 분류할 수도 있다.

이와 같이, 복수의 에이전트를 기반으로 추출된 객체를 분석하여 컨텍스트 정보를 추출할 수 있다.

단계 135에서 화재 감시 장치(100)은 추출된 컨텍스트 정보를 이용하여 화재 신호를 수행한다. 컨텍스트 정보를 기반으로 화재 신고를 수행하는 것 또한 특정 에이전트에 의해 수행될 수도 있음은 당연하다.

예를 들어, 화재 신고되는 정보는 도 5에 도시된 바와 같다.

도 6은 본 발명의 일 실시예에 따른 화재 감시 장치의 내부 구성을 개략적으로 도시한 블록도이고, 도 7은 본 발명의 일 실시예에 따른 CNN 구조를 도시한 도면이다.

도 6을 참조하면, 본 발명의 일 실시예에 따른 화재 감시 장치(100)는 화재 감지 모듈(610), 컨텍스트 정보 추출 모듈(620), 신고 모듈(630), 저장 모듈(640) 및 프로세서(650)를 포함하여 구성된다.

화재 감지 모듈(610)은 입력 프레임을 딥러닝 모델에 적용하여 화재/정상 프레임을 분류하고, 딥러닝 모델에서 생성되는 특징맵을 분석하여 관심 영역을 추출한다.

본 발명의 일 실시예에 따르면 딥러닝 모델은 CNN일 수 있다. 본 발명의 일 실시예에 따른 딥러닝 모델은 도 7에 도시된 바와 같다.

도 7을 참조하면, CNN 구조는 입력 프레임이 적용될 때 다양한 특징맵이 생성되는 컨볼루션 레이어, 플링 레이어 및 완전 연결 레이어를 포함한다. 이들에 대한 일반적인 기능은 당업자에게는 자명한 사항이므로 이에 대한 설명은 생략하기로 하며, 일반적인 CNN 구조와 상이한 구조에 대해서만 설명하기로 한다.

본 발명의 일 실시예에 따르면 입력 프레임은 244 x 244 x 3 크기이며, 제1 계층에서는 크기가 3 x 3인 64개의 필터를 적용하여 64개의 특징맵을 생성하여 컨볼루션을 수행할 수 있다.

64개의 특징 맵의 최대 활성화는 3 x 3 픽셀의 이웃을 고려하여 보폭(stride)을 2로 하여 제1 최대 풀링 레이어에 의해 선택될 수 있다.

이를 통해 특징 맵의 크기가 2회 줄어들어 분별력있는 정보를 고려할 수 있게 된다.

이어, CNN 구조는 128 개의 필터로 구성된 두개의 화재 모듈과 256개의 필터로 구성된 다른 화재 모듈을 포함한다. 각각의 화재 모듈은 두개의 추가 컨볼루션 레이어, 압착 및 확장 레이어로 구성된다. 제3 화재 모듈의 출력은 특징 맵 크기의 감소를 위해 제2 최대 풀링 레이어로 출력될 수 있다. 출력은 필터 크기가 각각 256, 384, 384 및 512인 순서로 4개의 화재 모듈에 제공되며, 세번째 최대 풀링 레이어에서 전달된다. 마지막 화재 모듈에는 512개의 필터가 구비되며, 그 다음 순서대로 변형된 컨볼루션 레이어가 이어진다. 변형된 컨볼루션 레이어에서의 클래스 수는 2(M=2로 화재 및 비화재)를 유지하며, 그 결과는 두 개의 대상 클래스의 확률을 계산하기 위해 소프트맥스 분류기에 입력된 후 입력 프레임에 대한 예측 확률과 함께 화재 및 비화재로 분류될 수 있다.

지금까지 CNN 구조에 대해 간략하게 설명하였다.

화재 감지 모듈(610)은 특징맵 선택부(612)와 관심 영역 추출부(615)를 포함한다.

입력 프레임을 딥러닝 모델에 적용하여 분류시 딥러닝 모듈은 입력 프레임에 대한 특징을 추출하고 이를 분류할 수 있다. 특징맵 선택부(612)는 입력 프레임을 딥러닝 모델에 적용하여 분류결과를 출력하는 과정에서 딥러닝 모델에서 생성된 m개의 특징맵 중 n개를 선택할 수 있다.

이에 대해서는 이미 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다.

이러한 입력 프레임을 딥러닝 모델에 적용하여 분류결과를 출력하는 과정에서 딥러닝 모델에서 생성된 m개의 특징맵 중 n개를 선택하는 과정은 제1 에이전트에 의해 독립적으로 수행될 수 있다.

관심 영역 추출부(615)는 n개의 특징맵을 분석하여 관심 영역을 추출한다.

예를 들어, 관심 영역 추출부(615)는 n개의 특징맵에 대한 평균 활성화 맵을 생성하고, 평균 활성화 맵을 이진화한 후 관심 영역을 선별(추출)할 수 있다. 이는 이미 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다.

컨텍스트 정보 추출 모듈(620)은 관심 영역을 이용하여 입력 프레임에서 관심 객체를 감지하고, 관심 객체를 분석하여 컨텍스트 정보를 추출한다.

예를 들어, 컨텍스트 정보 추출 모듈(620)은 입력 프레임에서 관심 영역을 감산하여 영향 영역을 찾고, 영향 영역에서 다른 관심 객체를 감지할 수 있다.

이와 같은 관심 객체를 분석하여 화재 감시 또는 화재 신고에 필요한 다양한 컨텍스트 정보 중 일부를 추출할 수 있다. 관심 영역을 이용하여 입력 프레임에서 관심 객체를 감지하는 것은 복수의 에이전트 중 어느 하나에 의해 수행될 수 있다.

또한, 감지된 관심 객체를 분석하여 각각 사람 및 인구 밀도, 인접 개체(개체 유형), 인화성 물질 또는 위험물 존재 여부, 대피 현황과 같은 각각의 컨텍스트 정보를 추출하는 것은 각각 별도의 에이전트에 의해 수행될 수 있다.

에이전트를 통한 프로세스에 대해서는 하기에서 별도의 도면을 참조하여 설명하기로 한다.

신고 모듈(630)은 컨텍스트 정보를 수집하여 화재 신고를 수행한다.

저장 모듈(640)은 입력 프레임이 CNN에 적용되어 분류될 때 높은 예측 스코어를 갖는 출력 프레임을 데이터베이스에 저장한다. 출력 프레임은 화재 또는 비화재로 구분되어 저장될 수 있다.

또한, 저장 모듈(640)은 메모리를 포함할 수 있으며, 메모리에는 화재 감시 방법을 수행하기 위한 명령어들, 명령어들을 수행하는 과정에서 파생되는 다양한 데이터들이 저장될 수도 있다.

프로세서(650)는 본 발명의 일 실시예에 따른 화재 감시 장치의 내부 구성 요소들(예를 들어, 화재 감지 모듈(610), 컨텍스트 정보 추출 모듈(620), 신고 모듈(630), 저장 모듈(640) 등)을 제어하기 위한 수단이다.

도 8은 본 발명의 일 실시예에 따른 에이전트 협업 프로세스를 도시한 도면이며, 도 9에는 각 에이전트들에서의 컨텍스트 정보 추출 및 협업을 위한 메시지 흐름을 순서화한 도면이다.

도 8을 참조하면, 본 발명의 일 실시예에 따른 화재 감시 방법은 8개의 에이전트가 병렬적으로 동작하며 수행될 수 있다. 복수의 에이전트 중 일부는 독립적으로 동작될 수도 있으며, 나머지 일부는 다른 에이전트에 종속되거나 다른 에이전트와 협업하여 컨텍스트 정보를 추출할 수도 있다.

입력 프레임이 입력되는 경우, 제1 에이전트는 입력 프레임을 CNN에 적용하여 분류한다. 제1 에이전트는 입력 프레임이 CNN에 적용되어 분류 결과를 출력하는 과정에서 CNN에 의해 출력되는 중간 결과인 m개의 특징맵을 획득한 후 불필요한 특징맵을 제거한 후 화재 감시를 위해 필요한 n개의 특징맵을 선택할 수 있다.

제2 에이전트는 제1 에이전트의 입력 프레임의 분류 결과를 토대로 화재 확산 또는 축소 여부를 판단한다.

예를 들어, 제2 에이전트는 제1 에이전트에 의해 분류된 화재가 감지된 프레임들을 대상으로 분석하여 화재가 확산되는지 축소되는지 여부를 판단할 수 있다. 이를 위해, 제2 에이전트는 현재 입력 프레임의 화재 픽셀을 앞에 있는 여러 프레임들과 비교하여 화재가 확산되는지 축소되는지를 판단할 수 잇다.

제2 에이전트는 결과적으로 화재 확산을 모니터링하는 기능을 수행하며, 화재 확산 모니터링 결과는 제8 에이전트로 전송하여 화재 심각성을 신고하도록 할 수 있다.

제3 에이전트는 n개의 특징맵을 이용하여 평균 활성화 맵을 생성하고, 평균 활성화 맵을 이용하여 관심 영역을 추출하며, 관심 영역을 이용하여 화재 지역 이외의 다른 관심 객체를 로컬에 배치하여 다른 에이전트들로 배포한다.

제4 에이전트는 관심 객체를 분석하여 사람을 검출하여 사람 수를 추정하고 사람의 밀도(인구 밀도)를 분석한다. 이렇게 추출된 정보는 평면 메시지를 통해 제8 에이전트로 전송된다.

보다 상세히 설명하면, 도 9의 910에 도시된 바와 같이, 제4 에이전트는 제3 에이전트로부터 추출된 객체(관심 객체) 정보를 획득한 후 이를 분석하여 사람을 감지(인식)한 후 사람 수(인원 수)와 인구 밀도를 추정한 후 이를 제2 에이전트로 전송한다. 또한, 제4 에이전트는 인원수와 인구 밀도를 추정하여 이를 제8 에이전트에게 전송한다.

제5 에이전트는 관심 객체를 분석하여 인화성 물질을 김지하고 평면 메시지를 통해 제8 에이전트로 출력한다.

도 9의 920에 도시된 바와 같이, 제5 에이전트는 제3 에이전트로부터 추출된 객체(관심 객체) 정보를 획득한 후 이를 분석하여 가연성 물질 후보를 결정한 후 가연성 물질의 세그먼트 영역을 추출하여 인화성 물질을 분류한 후 이를 제8 에이전트로 전송할 수 있다.

또한, 제6 에이전트는 관심 객체를 분석하여 구조를 위해 객체를 우선 순위가 높은 순으로 분류하여 제8 에이전트에게 반환 메시지의 형태로 보고한다(도 9의 930 참조)

또한, 제6 에이전트는 관심 객체를 분석하여 구조를 위해 객체를 우선 순위가 높은 순으로 분류하여 평면 메시지를 통해 제7 에이전트로 전송(도 9의 930 참조)하며, 제7 에이전트는 인식된 객체를 분석하여 객체 유형을 결정하여 평면 메시지를 통해 제8 에이전트로 전송한다(도 9의 940 참조).

예를 들어, 제6 에이전트에서 객체를 차량으로 인식하는 경우, 제7 에이전트는 차량 유형을 인식하여 이를 제8 에이전트로 전송하여 화재 신고하도록 할 수 있다.

제8 에이전트는 제5 및 제6 에이전트로부터 수신된 인화성 물질 분류 및 객체 분류를 기반으로 인식 대상 사이의 관계를 결정한 후 대피 진행 상황을 측정할수 있다. 제8 에이전트는 제4 에이전트 내지 제7 에이전트로부터 수신된 정보들을 분석하여 추가적인 추론을 통해 대피 진행 상황을 추론할 수 있다(도 9의 950 참조).

본 발명의 실시 예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100: 화재 감시 장치
610: 화재 감지 모듈
620: 컨텍스트 정보 추출 모듈
630: 신고 모듈
640: 저장 모듈
650: 프로세서

Claims (12)

1. (a) 입력 프레임을 딥러닝 모델에 적용하여 분류시, 상기 딥러닝 모델에서 생성되는 m(자연수)개의 특징맵을 분석하여 n(m이하의 자연수)개의 특징맵을 선택하는 단계;
   (b) 상기 n개의 특징맵에 대한 평균 활성화 맵을 생성하고, 상기 평균 활성화 맵을 이용하여 관심 영역을 추출하는 단계;
   (c) 상기 관심 영역을 이용하여 상기 입력 프레임에서 객체를 감지하는 단계;
   (d) 상기 감지된 객체를 이용하여 화재 감시에 필요한 복수의 컨텍스트 정보를 추출하는 단계; 및
   (e) 상기 추출된 복수의 컨텍스트 정보를 이용하여 화재 신고하는 단계를 포함하되,
   상기 (b) 단계는,
   상기 n개의 특징맵에 대한 평균 활성화 맵을 생성하는 단계;
   상기 평균 활성화 맵을 이진화하는 단계; 및
   상기 이진화된 평균 활성화 맵을 이용하여 상기 n개의 특징맵 중 화재 관심 영역을 추출하는 단계를 포함하며,
   상기 (c) 단계는,
   입력 프레임에서 상기 관심 영역을 감산(subtract)하여 영향 영역(influence zone)을 찾은 후 상기 영향 영역에서 객체를 감지하는 것을 특징으로 하는 화재 감시 방법.
   
2. 제1 항에 있어서, 상기 (a) 단계는,
   상기 m개의 특징맵에 대한 평균 활성화 맵을 생성하는 단계;
   상기 평균 활성화 맵을 이용하여 상기 m개의 특징맵을 각각 이진화하는 단계;
   기준값(ground truth)과 상기 이진화된 각각의 특징맵 사이의 해밍 거리를 각각 계산하는 단계;
   상기 계산된 해밍 거리를 이용하여 해밍 거리가 짧은 n개의 특징맵을 선택하는 단계를 포함하는 것을 특징으로 하는 화재 감시 방법.
   
3. 삭제
4. 삭제
5. 제1 항에 있어서,
   상기 컨텍스트 정보는 화재 발생 여부, 사람 및 인구 밀도, 인접 개체(개체 유형), 인화성 물질 또는 위험물 존재 여부, 대피 현황, 카메라 GPS 정보, 스마트폰 사용자 수 및 화재 확산 정보 중 적어도 하나인 것을 특징으로 하는 화재 감시 방법.
   
6. 제1 항에 따른 방법을 수행하기 위한 명령어들을 기록한 컴퓨터로 판독 가능한 기록매체 제품.
   
7. 입력 프레임을 딥러닝 모델에 적용하여 분류시, 상기 딥러닝 모델에서 생성되는 m(자연수)개의 특징맵을 분석하여 n(m이하의 자연수)개의 특징맵을 선택하는 특징맵 선택부;
   상기 n개의 특징맵에 대한 평균 활성화 맵을 생성하고, 상기 평균 활성화 맵을 이용하여 관심 영역을 추출하는 관심 영역 추출부;
   상기 관심 영역을 이용하여 상기 입력 프레임에서 객체를 감지하는 객체 감지부;
   상기 감지된 객체를 이용하여 화재 감시에 필요한 복수의 컨텍스트 정보를 추출하는 컨텍스트 추출부; 및
   상기 추출된 복수의 컨텍스트 정보를 이용하여 화재 신고하는 통신부를 포함하되,
   상기 관심 영역 추출부는,
   상기 n개의 특징맵에 대한 평균 활성화 맵을 생성하고, 상기 평균 활성화 맵을 이진화한 후 상기 이진화된 평균 활성화 맵을 이용하여 상기 n개의 특징맵 중 화재 관심 영역을 추출하며,
   상기 객체 감지부는,
   입력 프레임에서 상기 관심 영역을 감산(subtract)하여 영향 영역(influence zone)을 찾은 후 상기 영향 영역에서 객체를 감지하는 것을 특징으로 하는 화재 감시 장치.
   
8. 제7 항에 있어서,
   상기 특징맵 선택부는,
   상기 m개의 특징맵에 대한 평균 활성화 맵을 생성하고, 상기 평균 활성화 맵을 이용하여 상기 m개의 특징맵을 각각 이진화한 후 기준값(ground truth)과 상기 이진화된 각각의 특징맵 사이의 해밍 거리를 각각 계산하며, 상기 계산된 해밍 거리를 이용하여 해밍 거리가 짧은 n개의 특징맵을 선택하는 것을 특징으로 하는 화재 감시 장치.
   
9. 삭제
10. 삭제
11. 입력 프레임을 딥러닝 모델에 적용하여 분류시, 상기 딥러닝 모델에서 생성되는 m(자연수)개의 특징맵을 분석하여 n(m이하의 자연수)개의 특징맵을 선택하는 제1 에이전트;
    상기 제1 에이전트의 입력 프레임의 분류 결과를 토대로 화재 확산 또는 축소 여부를 판단하는 제2 에이전트;
    상기 n개의 특징맵에 대한 평균 활성화 맵을 생성하고, 상기 평균 활성화 맵을 이용하여 관심 영역을 추출하며, 상기 관심 영역을 이용하여 화재 지역 이외의 다른 관심 객체를 감지하는 제3 에이전트; 및
    상기 다른 관심 객체를 이용하여 컨텍스트 정보를 추출하는 제4 에이전트를 포함하되,
    상기 제3 에이전트는,
    상기 n개의 특징맵에 대한 평균 활성화 맵을 생성하고, 상기 평균 활성화 맵을 이진화한 후 상기 이진화된 평균 활성화 맵을 이용하여 상기 n개의 특징맵 중 화재 관심 영역을 추출하며,
    상기 제4 에이전트는,
    입력 프레임에서 상기 관심 영역을 감산(subtract)하여 영향 영역(influence zone)을 찾은 후 상기 영향 영역에서 객체를 감지하는 것을 특징으로 하는 화재 감시 장치.
    
12. 제11 항에 있어서,
    상기 컨텍스트 정보는,
    사람 및 인구 밀도, 인접 개체(개체 유형), 인화성 물질 또는 위험물 존재 여부, 대피 현황 중 복수이되,
    상기 제4 에이전트는 복수이되, 상기 복수의 제4 에이전트는 각각 사람 및 인구 밀도, 인접 개체(개체 유형), 인화성 물질 또는 위험물 존재 여부, 대피 현황 중 어느 하나의 컨텍스트 정보를 추출하는 것을 특징으로 하는 화재 감시 장치.
    
    

Images