KR20220150614A - 화재 감지 서버, 방법 및 컴퓨터 프로그램 - Google Patents

화재 감지 서버, 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20220150614A
KR20220150614A KR1020210057821A KR20210057821A KR20220150614A KR 20220150614 A KR20220150614 A KR 20220150614A KR 1020210057821 A KR1020210057821 A KR 1020210057821A KR 20210057821 A KR20210057821 A KR 20210057821A KR 20220150614 A KR20220150614 A KR 20220150614A
Authority
KR
South Korea
Prior art keywords
fire
detection model
fire detection
image
candidate area
Prior art date
Application number
KR1020210057821A
Other languages
English (en)
Inventor
김경만
정재협
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020210057821A priority Critical patent/KR20220150614A/ko
Publication of KR20220150614A publication Critical patent/KR20220150614A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

화재 감지 서버에 있어서, 복수의 감시 대상 공간에 대한 영상을 수집하는 영상 수집부; 상기 영상의 각 프레임의 변화량을 측정하여 화재 후보 영역을 생성하는 화재 후보 영역 생성부; 제 1 화재 감지 모델을 이용하여 상기 화재 후보 영역에 대한 확률값을 산출하고 상기 산출된 확률값에 기초하여 화재 요소를 인식하는 화재 요소 인식부; 상기 영상의 프레임마다 인식된 상기 화재 요소의 누적값 및 상기 화재 요소의 확률값에 기초하여 상기 화재 요소의 연속성을 판단하는 연속성 판단부; 및 상기 화재 요소의 연속성 판단 결과에 기초하여 화재 경보를 생성하는 경보 생성부를 포함하고, 상기 제 1 화재 감지 모델은 상기 제 1 화재 감지 모델보다 복잡성이 높은 제 2 화재 감지 모델로부터의 증류 지식(Knowledge Distillation)에 기초하여 학습됨으로써, 상기 제 2 화재 감지 모델에 기초하여 경량화된다.

Description

화재 감지 서버, 방법 및 컴퓨터 프로그램{SERVER, METHOD AND COMPUTER PROGRAM FOR DETECTING FIRE}
본 발명은 화재를 감지하는 서버, 방법 및 컴퓨터 프로그램에 관한 것이다.
화재 감지 시스템은 연기나 불꽃 및 온도 등을 센서가 감지하여 화재 경보를 생성하는 시스템이다.
최근에는 영상 분석이나 딥러닝을 이용하여 화재를 감지하고 있으며, 이와 관련하여, 선행기술인 한국등록특허 제2162735호는 딥러닝 기반의 CCTV 영상 인식을 통한 화재 감시 방법에 관한 것으로, 학습된 모델에 의해 수신된 CCTV 영상으로부터 객체, 불꽃, 연기 등을 감지하여 화재 여부를 판단하는 구성을 개시하고 있다.
그러나, 종래의 경우, 유사 화재에 대한 판별이 어려워 화재 경보를 잘못 생성하는 문제점이 있었다. 또한, 딥러닝 적용 한계로 인한 구축 비용상의 문제로 보편화되기가 어려웠다.
또한, 종래의 경우, 경량화되지 않은 일반적인 딥러닝 엔진을 사용함으로써, 수백 채널 이상 운용되는 대규모 CCTV 관제 시스템에서는 적용하기 어려웠다.
한국등록특허공보 제2087000호 (2020. 3. 4. 등록) 한국등록특허공보 제1793636호 (2017. 10. 30. 등록)
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 경량화된 화재 감지 모델을 이용하여 대규모 CCTV 채널에서 화재를 감지할 수 있는 화재 감지 서버를 제공하고자 한다.
또한, 영상 분석을 통해 감시 대상 공간에서 화재 요소의 연속성 있는 움직임에 기초하여 화재가 발생할 수 있는 영역을 조기에 탐지할 수 있는 화재 감지 서버를 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 화재 감지 서버에 있어서, 복수의 감시 대상 공간에 대한 영상을 수집하는 영상 수집부; 상기 영상의 각 프레임의 변화량을 측정하여 화재 후보 영역을 생성하는 화재 후보 영역 생성부; 제 1 화재 감지 모델을 이용하여 상기 화재 후보 영역에 대한 확률값을 산출하고 상기 산출된 확률값에 기초하여 화재 요소를 인식하는 화재 요소 인식부; 상기 영상의 프레임마다 인식된 상기 화재 요소의 누적값 및 상기 화재 요소의 확률값에 기초하여 상기 화재 요소의 연속성을 판단하는 연속성 판단부; 및 상기 화재 요소의 연속성 판단 결과에 기초하여 화재 경보를 생성하는 경보 생성부를 포함하고, 상기 제 1 화재 감지 모델은 상기 제 1 화재 감지 모델보다 복잡성이 높은 제 2 화재 감지 모델로부터의 증류 지식(Knowledge Distillation)에 기초하여 학습됨으로써, 상기 제 2 화재 감지 모델에 기초하여 경량화된 것인, 화재 감지 서버를 제공 할 수 있다.
본 발명의 다른 실시예는, 화재 감지 방법에 있어서, 복수의 감시 대상 공간에 대한 영상을 수집하는 단계; 상기 영상의 각 프레임의 변화량을 측정하여 화재 후보 영역을 생성하는 단계; 제 1 화재 감지 모델을 이용하여 상기 화재 후보 영역에 대한 확률값을 산출하고 상기 산출된 확률값에 기초하여 화재 요소를 인식하는 단계; 상기 영상의 프레임마다 인식된 상기 화재 요소의 누적값 및 상기 화재 요소의 확률값에 기초하여 상기 화재 요소의 연속성을 판단하는 단계; 및 상기 화재 요소의 연속성 판단 결과에 기초하여 화재 경보를 생성하는 단계를 포함하고, 상기 제 1 화재 감지 모델보다 복잡성이 높은 제 2 화재 감지 모델로부터의 증류 지식(Knowledge Distillation)에 기초하여 상기 제 1 화재 감지 모델을 학습하는 단계를 더 포함하는, 화재 감지 방법을 제공할 수 있다.
본 발명의 또 다른 실시예는, 화재를 감지하는 명령어들의 시퀀스를 포함하는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램에 있어서, 상기 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 복수의 감시 대상 공간에 대한 영상을 수집하고, 상기 영상의 각 프레임의 변화량을 측정하여 화재 후보 영역을 생성하고, 제 1 화재 감지 모델을 이용하여 상기 화재 후보 영역에 대한 확률값을 산출하고 상기 산출된 확률값에 기초하여 화재 요소를 인식하고, 상기 영상의 프레임마다 인식된 상기 화재 요소의 누적값 및 상기 화재 요소의 확률값에 기초하여 상기 화재 요소의 연속성을 판단하고, 상기 화재 요소의 연속성 판단 결과에 기초하여 화재 경보를 생성하되, 상기 제 1 화재 감지 모델보다 복잡성이 높은 제 2 화재 감지 모델로부터의 증류 지식(Knowledge Distillation)에 기초하여 상기 제 1 화재 감지 모델을 학습하도록 하는 명령어들의 시퀀스를 포함하는, 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 경량화된 화재 감지 모델을 이용하여 대규모 CCTV 채널에서 화재를 감지할 수 있는 화재 감지 서버를 제공할 수 있다.
또한, 영상의 각 프레임의 변화량을 측정하여 감시 대상 공간에서 화재 요소의 연속성 있는 움직임에 기초하여 화재가 발생할 수 있는 영역을 조기에 탐지할 수 있는 화재 감지 서버를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 화재 감지 서버의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 화재 후보 영역 생성부를 설명하기 위한 예시적인 도면이다.
도 3은 본 발명의 일 실시예에 따른 객체 병합에 따라 화재 후보 영역을 생성하는 과정을 설명하기 위한 예시적인 도면이다.
도 4는 본 발명의 일 실시예에 따른 화재 요소 인식부를 설명하기 위한 예시적인 도면이다.
도 5는 본 발명의 일 실시예에 따른 화재 감지 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 화재 감지 서버의 구성도이다. 도 1을 참조하면, 화재 감지 서버(100)는 영상 수집부(110), 화재 후보 영역 생성부(120), 화재 요소 인식부(130), 연속성 판단부(140) 및 경보 생성부(150)를 포함할 수 있다. 다만 위 구성 요소들(110 내지 150)은 화재 감지 서버(100)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것일 뿐이다.
본 발명의 일 실시예에 따른 화재 감지 서버(100)는 경량화된 화재 감지 모델을 이용하여 대규모 CCTV 채널에서 화재를 감지할 수 있다. 예를 들어, 화재 감지 서버(100)는 종합 상황실 및 개인 사업장 등 수백 채널의 CCTV를 이용하는 대규모 관제 시스템에 활용될 수 있다.
또한, 본 발명의 일 실시예에 따른 화재 감지 서버(100)는 영상의 각 프레임의 변화량을 측정하여 감시 대상 공간에서 화재 요소에 대한 움직임의 연속성에 기초하여 화재가 발생할 수 있는 영역을 조기에 탐지할 수 있다. 이하, 각 구성에 대해 구체적으로 살펴본다.
영상 수집부(110)는 복수의 감시 대상 공간에 대한 영상을 수집할 수 있다. 예를 들어, 영상 수집부(110)는 각 감시 대상 공간에 설치된 다수의 CCTV를 통해 감시 대상 공간에 대한 영상을 수집할 수 있다. 예를 들어, 영상 수집부(110)는 다수의 CCTV에서 영상을 수집하여 각 CCTV에 대한 버퍼에 영상을 저장할 수 있다.
화재 후보 영역 생성부(120)는 영상의 각 프레임의 변화량을 측정하여 화재 후보 영역을 생성할 수 있다. 예를 들어, 화재 후보 영역 생성부(120)는 각 CCTV에 대한 버퍼에 저장된 영상을 분석하여 화재 후보 영역을 추출할 수 있다.
도 2는 본 발명의 일 실시예에 따른 화재 후보 영역 생성부를 설명하기 위한 예시적인 도면이다. 도 2를 참조하면, 화재 후보 영역 생성부(120)는 영상의 프레임에서 변화량을 측정할 수 있다(S210). 예를 들어, 화재 후보 영역 생성부(120)는 하기의 수학식 1을 이용하여 버퍼에 저장된 영상에서 영상의 프레임 변화량을 산출할 수 있다.
<수학식 1>
Figure pat00001
(n은 2 이상의 정수)
수학식 1에서, Ij는 j번째 프레임에 대한 정보이고, Ij-n는 j-n번째 프레임에 대한 정보이며, Ig는 영상의 프레임 변화량에 대한 정보이다.
즉, 화재 후보 영역 생성부(120)는 j번째 프레임과 j-n번째(n은 2 이상의 정수) 프레임 간의 차이에 기초하여 프레임 변화량을 산출할 수 있다. 이는 화재 발생시 초기에 불꽃 및 연기는 매우 작고 흐릿하여 화소 값의 변화, 화소 위치 변화가 거의 없기 때문이다. 즉, j-1과 j을 비교할 경우 변화량 차이가 비교적 적기 때문에 효과적으로 화재 인식을 할 수 없다.
화재 후보 영역 생성부(120)는 프레임 변화량을 기설정된 임계치와 비교하여 영상에서 영상 잡음을 제거하고, 모폴로지(Morphological) 연산을 이용하여 객체를 추출할 수 있다(S220).
예를 들어, 화재 후보 영역 생성부(120)는 하기의 수학식 2를 이용하여 산출된 영상의 프레임 변화량을 기설정된 임계치와 비교하여 화재 인식에 필요 없는 영상 잡음을 영상에서 제거할 수 있다.
<수학식 2>
Figure pat00002
수학식 2에서,
Figure pat00003
는 기설정된 임계치이고, Ib는 영상 잡음이 제거된 영상에 대한 정보이다.
화재 후보 영역 생성부(120)는 영상 잡음이 제거된 영상(Ib)에서 하기의 수학식 3과 같은 모폴로지 연산을 통해 객체를 추출할 수 있다.
<수학식 3>
Figure pat00004
수학식 3에서,
Figure pat00005
는 모폴로지 연산을 의미하고,
Figure pat00006
는 커널(kernel)의 크기이고, It는 영상에서 추출된 객체에 대한 정보이다. 여기서, 모폴로지 연산은 동영상이나 이미지에 대한 전처리 또는 후처리 과정에서 사용되는 연산으로서, 커널의 크기에 기초한 침식 연산과 팽창 연산을 통해 이미지에서 노이즈를 제거하는 것을 의미할 수 있다. 예를 들어, 화재 후보 영역 생성부(120)는 모폴로지 연산을 이용하여 영상에서 영상의 프레임 변화량이 일정 수준 이상인 객체를 추출할 수 있다.
화재 후보 영역 생성부(120)는 영상에서 추출된 객체 중 기설정된 거리 내의 객체를 병합할 수 있다(S230).
도 3은 본 발명의 일 실시예에 따른 객체 병합에 따라 화재 후보 영역을 생성하는 과정을 설명하기 위한 예시적인 도면이다.
예를 들어, 도 3의 (a)를 참조하면, 화재 후보 영역 생성부(120)는 영상에서 추출된 객체1(310), 객체2(320), 객체3 및 객체4 중에서 인접한 거리에 위치한 객체1(310)과 객체2(320)를 병합할 수 있다.
화재 후보 영역 생성부(120)는 화재 후보 영역을 생성할 수 있다(S240). 예를 들어, 도 3의 (b)를 참조하면, 화재 후보 영역 생성부(120)는 영상에서 병합된 객체(330)에 기초하여 화재 후보 영역을 생성할 수 있다. 예를 들어, 화재 후보 영역 생성부(120)는 하기 수학식 4를 이용하여 화재 후보 영역을 생성할 수 있다.
<수학식 4>
Figure pat00007
수학식 4에서,
Figure pat00008
는 병합된 객체를 의미하고,
Figure pat00009
는 화재 후보 영역의 최소 크기이고,
Figure pat00010
는 화재 후보 영역의 위치 정보를 추출하는 연산이고,
Figure pat00011
는 화재 후보 영역을 의미한다.
예를 들어, 화재 후보 영역 생성부(120)는 수학식 4를 이용하여 병합된 객체를 통해 화재 후보 영역에 대한 정제를 수행할 수 있다. 정제된 화재 후보 영역은 화재 후보 영역의 위치 정보를 포함할 수 있다.
화재 요소 인식부(130)는 제 1 화재 감지 모델을 이용하여 화재 후보 영역에 대한 확률값을 산출할 수 있다.
화재 요소 인식부(130)는 산출된 확률값에 기초하여 화재 요소를 인식할 수 있다. 본 발명의 일 실시예에 따른 화재 요소는 불꽃, 연기, 불꽃 및 연기가 아닌 배경, 객체 중 적어도 하나를 포함할 수 있다. 여기서, 각 화재 요소는 주간 및 야간에 따라 세분될 수 있다. 예를 들어, 화재 요소 인식부(130)는 주간에 발생한 불꽃, 야간에 발생한 불꽃, 저조도 상황의 영상 및 IR 영상에서 획득한 불꽃, 영상 내 객체를 포함하는 전경 및 배경 및 주간, 야간, 저조도 및 IR 영상에서 발생한 연기를 포함할 수 있다.
화재 요소 인식부(130)는 하기의 수학식 5를 이용하여 화재 후보 영역에 대한 확률값을 산출할 수 있다.
<수학식 5>
Figure pat00012
수학식 5에서,
Figure pat00013
는 화재 후보 영역에 대한 확률값일 수 있다. 예를 들어, 화재 요소 인식부(130)는 화재 감지 모델(
Figure pat00014
)을 이용하여 화재 후보 영역(
Figure pat00015
)에 대한 확률값(
Figure pat00016
)을 산출할 수 있다.
화재 요소 인식부(130)는 하기의 수학식 6을 이용하여 확률값이 가장 큰 화재 요소를 산출할 수 있다.
<수학식 6>
Figure pat00017
예를 들어, 화재 요소 인식부(130)는 화재 후보 영역에 대한 확률값(
Figure pat00018
)이 가장 큰 화재 요소(
Figure pat00019
)를 산출할 수 있다.
도 4는 본 발명의 일 실시예에 따른 화재 요소 인식부를 설명하기 위한 예시적인 도면이다.
도 4를 참조하면, 제 1 화재 감지 모델(420)은 제 1 화재 감지 모델(420)보다 복잡성이 높은 제 2 화재 감지 모델(410)로부터의 증류 지식(Knowledge Distillation)에 기초하여 학습됨으로써, 제 2 화재 감지 모델(410)에 기초하여 경량화될 수 있다.
예를 들어, 화재 요소 인식부(130)는 상대적으로 복잡성이 높은 제 2 화재 감지 모델(410)을 이용하여 상대적으로 복잡성이 낮은 제 1 화재 감지 모델(420)에 지식(430)을 전달할 수 있다. 예를 들어, 화재 요소 인식부(130)는 제 2 화재 감지 모델(410)과 제 1 화재 감지 모델(410)의 예측 결과의 차이를 줄이는 방향으로 지식(430)을 전달할 수 있다.
본 발명의 일 실시예에 따른 제 2 화재 감지 모델의 학습 데이터는 화재 요소를 서브 샘플링(sub sampling)하여 화재 요소별로 균일하게 생성될 수 있다. 예를 들어, 화재 요소 인식부(130)는 하기의 수학식 7을 이용하여 기정의된 화재 요소로부터 화재 요소별 학습 데이터를 균일하게 추출할 수 있다.
<수학식 7>
Figure pat00020
,
Figure pat00021
수학식 7에서
Figure pat00022
은 각 화재 요소를 나타내는 정보이고,
Figure pat00023
은 화재 요소별 클래스에 적용된 확률값이다. 예를 들어, 화재 요소 인식부(130)는 수학식 7을 이용하여 화재 요소별 학습 데이터의 개수를 배치 사이즈(batch size)에 적응적으로 추출할 수 있다.
또한, 화재 요소 인식부(130)는 화재 요소별 학습 데이터를 균일하게 추출하기 위한 확률값(
Figure pat00024
)을 화재 요소별 정보에 부여할 수 있다.
본 발명의 일 실시예에 따른 화재 요소 인식부(130)는 화재 요소별 학습 데이터의 가중치가 요소별로 총합이 1이 될 수 있도록 각각의 학습 데이터에 가중치를 부여할 수 있다. 이를 통해, 화재 요소 인식부(130)는 각각의 학습 데이터에 부여된 가중치를 이용하여 수집된 데이터가 불균형하더라도 화재 요소별로 균일한 학습 데이터를 추출하여 화재 요소 인식부(130)가 편향되지 않은 학습 모델을 생성할 수 있다.
화재 요소 인식부(130)는 배치 사이즈에 맞게 각 화재 요소 데이터를 균일하게 샘플링한 후 제 2 화재 감지 모델에 전달할 수 있다.
따라서, 본 발명에 따른 화재 요소 인식부(130)는 제 2 화재 감지 모델을 학습시키기 위한 학습 데이터를 특정 화재 요소에 편향되지 않도록 각 화재 요소별로 균일하게 샘플링함으로써, 데이터 불균형에 따른 문제를 해소할 수 있다.
특히, 학습 데이터 중 비화재에 대한 데이터가 많을 경우 화재를 제대로 인식하지 못하는 문제가 종종 발생할 수 있다. 본 발명에 따른 화재 요소 인식부(130)는 비화재에 대한 데이터가 많은 경우에도 균일한 서브 샘플링 방법을 이용하여 학습 데이터를 생성함으로써 보다 정확하게 화재를 인식할 수 있다.
본 발명의 일 실시예에 따른 제 2 화재 감지 모델의 손실 함수(Loss Function)는 화재 요소별 가중치를 상이하게 부여하는 Focal Loss를 포함할 수 있다.
예를 들어, 제 2 화재 감지 모델의 손실 함수는 하기 수학식 8에 따른 Focal Loss (
Figure pat00025
를 포함할 수 있다.
<수학식 8>
Figure pat00026
수학식 8에서,
Figure pat00027
는 데이터 분류시 확률값으로 0~1의 값이고,
Figure pat00028
는 초점 변수(focusing parameter)로 0~5의 값일 수 있다. 수학식 8에서
Figure pat00029
가 감소할수록
Figure pat00030
에 영향이 줄어들어 잘못 분류된 데이터에 대한 집중도가 떨어지게 되고, 반면에,
Figure pat00031
가 증가할수록 잘못 분류된 데이터에 대한 집중도가 증가하게 된다.
예를 들어, 화재 요소 인식부(130)는 Focal Loss를 이용하여 각 화재 요소별로 오분류가 된 데이터에 대해 가중치(패널티)를 부여할 수 있다. 따라서. 화재 요소 인식부(130)는 오분류가 된 데이터를 개선하고 인식이 잘 되도록 할 수 있다.
본 발명의 일 실시예에 따른 제 1 화재 감지 모델의 손실 함수는 Focal Loss 및 화재 요소의 클래스별 정밀도(Precision) 및 재현율(Recall)의 조화평균을 산출한 F1 score를 포함할 수 있다.
예를 들어, 제 1 화재 감지 모델의 손실 함수는 하기의 수학식 9에 따른 F1 score를 포함할 수 있다.
<수학식 9>
Figure pat00032
Figure pat00033
Figure pat00034
수학식 9에서, 'TP'는 '참양성(True Positive)'이고, 'FP'는 '거짓양성(False Positive)'이고, 'FN'은 '거짓음성(False Negative)'이고, 'TN'은 '참음성(True Negative)'을 의미한다. 예를 들어, 화재 요소 인식부(130)는 각 화재 요소별 'TP', 'FP', 'FN', 'TN'을 산출할 수 있다. 화재 요소 인식부(130)는 산출된 'TP', 'FP', 'FN', 'TN'을 이용하여 화재 요소별 정밀도와 재현율을 산출할 수 있다. 화재 요소 인식부(130)는 산출된 정밀도와 재현율의 조화 평균을 이용해 제 1 화재 감지 모델의 전체 분류(예측) 성능을 측정할 수 있다. 즉, F1 score는 배치 전체를 대상으로 현재 제 1 화재 감지 모델의 정밀도와 재현율을 고려한 손실값(loss)을 나타낼 수 있다.
예를 들어, 제 1 화재 감지 모델의 손실 함수는 하기의 수학식 10과 같이 정의될 수 있다.
<수학식 10>
Figure pat00035
수학식 10에서,
Figure pat00036
는 Focal Loss이고,
Figure pat00037
는 F1 score이고,
Figure pat00038
는 제 2 화재 감지 모델의 손실함수이다. 여기서, 제 2 화재 감지 모델의 손실함수는 하기의 수학식 11과 같이 정의될 수 있다.
<수학식 11>
Figure pat00039
수학식 11에서,
Figure pat00040
는 제 1 화재 감지 모델의 크로스 엔트로피(cross entropy)이고,
Figure pat00041
는 제 2 화재 감지 모델과 제 1 화재 감지 모델의 예측 결과를 쿨백-라이블러 발산(Kullback-Leibler divergence)을 이용하여 두 확률의 분포 차이를 계산하는 것을 나타낸다.
여기서, σ는 소프트맥스 함수이고, Zs는 제 1 화재 감지 모델의 로짓 모형(logit)이고, Zt는 제 2 화재 감지 모델의 로짓 모형(logit)이며, T는 Zs와 Zt의 개입을 조절하는 Temperature parameter이다.
예를 들어, 화재 요소 인식부(130)는 수학식 10과 같이 Focal Loss를 결합한 손실 함수를 통해 제 2 화재 감지 모델을 경량화하면서 학습할 수 있다.
이 때, 화재 요소 인식부(130)는 제 1 화재 감지 모델의 네트워크 파라미터와 모델의 복잡성이 부족하기 때문에 제 2 화재 감지 모델의 인식 성능이 저하될 수 있는 문제를 해결하기 위해 mixup, label smoothing, warm up, no bias decay를 사용해 학습할 수 있다.
화재 요소 인식부(130)는 학습 및 경량화된 제 1 화재 감지 모델을 사용하여 화재 후보 영역에서 화재 요소를 인식할 수 있다.
이와 같이, 화재 요소 인식부(130)는 손실 함수에 Focal Loss, F1 score를 포함시킴으로써 경량화된 제 1 화재 감지 모델이 경량화되지 않은 제 2 화재 감지 모델과 같은 고성능을 나타내도록 할 수 있다. 따라서, 화재 요소 인식부(130)는 화재 후보 영역에서 화재 요소를 인식하는 손실 함수를 최소화시킬 수 있다.
연속성 판단부(140)는 영상의 프레임마다 인식된 화재 요소의 누적값 및 화재 요소의 확률값에 기초하여 화재 요소의 연속성을 판단할 수 있다. 예를 들어, 연속성 판단부(140)는 하기의 수학식 12, 13 및 14를 이용하여 화재 요소의 연속성을 판단할 수 있다.
<수학식 12>
Figure pat00042
<수학식 13>
Figure pat00043
<수학식 14>
Figure pat00044
수학식 13에서,
Figure pat00045
는 화재 요소 중 연기에 대한 누적값이고,
Figure pat00046
는 화재 요소 중 연기에 대한 확률값이고,
Figure pat00047
는 화재 요소 중 연기에 대한 임계값이다. 수학식 14에서,
Figure pat00048
는 연기를 제외한 다른 화재 요소에 대한 누적값이다. 예를 들어, 연속성 판단부(140)는 수학식 12, 13 및 14를 이용하여 인식된 화재 요소가 임계값(
Figure pat00049
) 이하의 연기(smoke) 혹은 객체(normal) 인 경우, 화재 요소별 누적값을 증가시키지 않는 방법으로 화재 연속성을 제거할 수 있다.
경보 생성부(150)는 화재 요소의 연속성 판단 결과에 기초하여 화재 경보를 생성할 수 있다. 예를 들어, 경보 생성부(150)는 화재 요소가 지속적으로 인식되는 경우 해당 감시 대상 공간에 대한 화재 경보를 생성할 수 있다. 경보 생성부(150)는 감시 대상 공간에 대한 화재 경보를 어플 등을 활용하여 제공할 수 있다.
도 5는 본 발명의 일 실시예에 따른 화재 감지 방법의 순서도이다. 도 5에 도시된 화재 감지 방법은 도 1 내지 도 4에 도시된 실시예에 따라 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 4에 도시된 실시예에 따른 화재 감지 서버에서 화재를 감지하는 방법에도 적용된다.
단계 S510에서 화재 감지 서버는 복수의 감시 대상 공간에 대한 영상을 수집할 수 있다.
단계 S520에서 화재 감지 서버는 영상의 각 프레임의 변화량을 측정하여 화재 후보 영역을 생성할 수 있다.
단계 S530에서 화재 감지 서버는 제 1 화재 감지 모델을 이용하여 화재 후보 영역에 대한 확률값을 산출하고, 산출된 확률값에 기초하여 화재 요소를 인식할 수 있다.
단계 S540에서 화재 감지 서버는 영상의 프레임마다 인식된 화재 요소의 누적값 및 화재 요소의 확률값에 기초하여 화재 요소의 연속성을 판단할 수 있다.
단계 S550에서 화재 감지 서버는 화재 요소의 연속성 판단 결과에 기초하여 화재 경보를 생성할 수 있다.
상술한 설명에서, 단계 S510 내지 S550는 본 발명의 구현 예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 1 내지 도 5를 통해 설명된 화재 감지 서버에서 화재를 감지하는 방법은 컴퓨터에 의해 실행되는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어들을 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 5를 통해 설명된 화재 감지 서버에서 화재를 감지하는 방법은 컴퓨터에 의해 실행되는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다.
컴퓨터 판독 가능 기록매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 기록매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 화재 감지 서버
110: 영상 수집부
120: 화재 후보 영역 생성부
130: 화재 요소 인식부
140: 연속성 판단부
150: 경보 생성부

Claims (13)

  1. 화재 감지 서버에 있어서,
    복수의 감시 대상 공간에 대한 영상을 수집하는 영상 수집부;
    상기 영상의 각 프레임의 변화량을 측정하여 화재 후보 영역을 생성하는 화재 후보 영역 생성부;
    제 1 화재 감지 모델을 이용하여 상기 화재 후보 영역에 대한 확률값을 산출하고 상기 산출된 확률값에 기초하여 화재 요소를 인식하는 화재 요소 인식부;
    상기 영상의 프레임마다 인식된 상기 화재 요소의 누적값 및 상기 화재 요소의 확률값에 기초하여 상기 화재 요소의 연속성을 판단하는 연속성 판단부; 및
    상기 화재 요소의 연속성 판단 결과에 기초하여 화재 경보를 생성하는 경보 생성부
    를 포함하고,
    상기 제 1 화재 감지 모델은 상기 제 1 화재 감지 모델보다 복잡성이 높은 제 2 화재 감지 모델로부터의 증류 지식(Knowledge Distillation)에 기초하여 학습됨으로써, 상기 제 2 화재 감지 모델에 기초하여 경량화된 것인, 화재 감지 서버.
  2. 제 1 항에 있어서,
    상기 화재 후보 영역 생성부는,
    상기 변화량을 기설정된 임계치와 비교하여 상기 영상에서 영상 잡음을 제거하고, 모폴로지(Morphological) 연산을 이용하여 객체를 추출하는 것인, 화재 감지 서버.
  3. 제 2 항에 있어서,
    상기 화재 후보 영역 생성부는,
    상기 영상에서 상기 추출된 객체 중 기설정된 거리 내의 객체를 병합하여 상기 화재 후보 영역을 생성하는 것인, 화재 감지 서버.
  4. 제 1 항에 있어서,
    상기 제 2 화재 감지 모델의 손실 함수(Loss Function)는 상기 화재 요소별 가중치를 상이하게 부여하는 Focal Loss를 포함하는 것인, 화재 감지 서버.
  5. 제 1 항에 있어서,
    상기 제 2 화재 감지 모델의 학습 데이터는 상기 화재 요소를 서브 샘플링(sub sampling)하여 상기 화재 요소별로 균일하게 생성되는 것인, 화재 감지 서버.
  6. 제 4 항에 있어서,
    상기 제 1 화재 감지 모델의 손실 함수는 상기 Focal Loss 및 상기 화재 요소의 클래스별 정밀도(Precision) 및 재현율(Recall)의 조화평균을 산출한 F1 score를 포함하는 것인, 화재 감지 서버.
  7. 화재 감지 방법에 있어서,
    복수의 감시 대상 공간에 대한 영상을 수집하는 단계;
    상기 영상의 각 프레임의 변화량을 측정하여 화재 후보 영역을 생성하는 단계;
    제 1 화재 감지 모델을 이용하여 상기 화재 후보 영역에 대한 확률값을 산출하고 상기 산출된 확률값에 기초하여 화재 요소를 인식하는 단계;
    상기 영상의 프레임마다 인식된 상기 화재 요소의 누적값 및 상기 화재 요소의 확률값에 기초하여 상기 화재 요소의 연속성을 판단하는 단계; 및
    상기 화재 요소의 연속성 판단 결과에 기초하여 화재 경보를 생성하는 단계
    를 포함하고,
    상기 제 1 화재 감지 모델보다 복잡성이 높은 제 2 화재 감지 모델로부터의 증류 지식(Knowledge Distillation)에 기초하여 상기 제 1 화재 감지 모델을 학습하는 단계
    를 더 포함하는, 화재 감지 방법.
  8. 제 7 항에 있어서,
    상기 화재 후보 영역을 생성하는 단계는,
    상기 변화량을 기설정된 임계치와 비교하여 상기 영상에서 영상 잡음을 제거하고, 모폴로지(Morphological) 연산을 이용하여 객체를 추출하는 단계를 포함하는 것인, 화재 감지 방법.
  9. 제 8 항에 있어서,
    상기 화재 후보 영역을 생성하는 단계는,
    상기 영상에서 상기 추출된 객체 중 기설정된 거리 내의 객체를 병합하여 상기 화재 후보 영역을 생성하는 단계를 더 포함하는 것인, 화재 감지 방법.
  10. 제 7 항에 있어서,
    상기 제 2 화재 감지 모델의 손실 함수(Loss Function)는 상기 화재 요소별 가중치를 상이하게 부여하는 Focal Loss를 포함하는 것인, 화재 감지 방법.
  11. 제 7 항에 있어서,
    상기 화재 요소를 서브 샘플링(sub sampling)하여 상기 제 2 화재 감지 모델의 학습 데이터를 상기 화재 요소별로 균일하게 생성하는 단계를 더 포함하는 것인, 화재 감지 방법.
  12. 제 10 항에 있어서,
    상기 제 1 화재 감지 모델의 손실 함수는 상기 Focal Loss 및 상기 화재 요소의 클래스별 정밀도(Precision) 및 재현율(Recall)의 조화평균을 산출한 F1 score를 포함하는 것인, 화재 감지 방법.
  13. 화재를 감지하는 명령어들의 시퀀스를 포함하는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우,
    복수의 감시 대상 공간에 대한 영상을 수집하고,
    상기 영상의 각 프레임의 변화량을 측정하여 화재 후보 영역을 생성하고,
    제 1 화재 감지 모델을 이용하여 상기 화재 후보 영역에 대한 확률값을 산출하고 상기 산출된 확률값에 기초하여 화재 요소를 인식하고,
    상기 영상의 프레임마다 인식된 상기 화재 요소의 누적값 및 상기 화재 요소의 확률값에 기초하여 상기 화재 요소의 연속성을 판단하고,
    상기 화재 요소의 연속성 판단 결과에 기초하여 화재 경보를 생성하되,
    상기 제 1 화재 감지 모델보다 복잡성이 높은 제 2 화재 감지 모델로부터의 증류 지식(Knowledge Distillation)에 기초하여 상기 제 1 화재 감지 모델을 학습하도록 하는 명령어들의 시퀀스를 포함하는, 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램.
KR1020210057821A 2021-05-04 2021-05-04 화재 감지 서버, 방법 및 컴퓨터 프로그램 KR20220150614A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210057821A KR20220150614A (ko) 2021-05-04 2021-05-04 화재 감지 서버, 방법 및 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210057821A KR20220150614A (ko) 2021-05-04 2021-05-04 화재 감지 서버, 방법 및 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR20220150614A true KR20220150614A (ko) 2022-11-11

Family

ID=84042916

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210057821A KR20220150614A (ko) 2021-05-04 2021-05-04 화재 감지 서버, 방법 및 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR20220150614A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102540208B1 (ko) * 2022-10-31 2023-06-07 (주)에리 딥러닝을 이용한 화재감지방법
CN117037406A (zh) * 2023-07-28 2023-11-10 安徽龙讯信息科技有限公司 一种森林火灾智能化监控和预警系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101793636B1 (ko) 2017-05-31 2017-11-03 주식회사 투윈스컴 통합 지능형 cctv 영상 처리 시스템
KR102087000B1 (ko) 2019-08-13 2020-05-29 주식회사 지에스아이엘 화재 감지 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101793636B1 (ko) 2017-05-31 2017-11-03 주식회사 투윈스컴 통합 지능형 cctv 영상 처리 시스템
KR102087000B1 (ko) 2019-08-13 2020-05-29 주식회사 지에스아이엘 화재 감지 방법 및 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102540208B1 (ko) * 2022-10-31 2023-06-07 (주)에리 딥러닝을 이용한 화재감지방법
CN117037406A (zh) * 2023-07-28 2023-11-10 安徽龙讯信息科技有限公司 一种森林火灾智能化监控和预警系统
CN117037406B (zh) * 2023-07-28 2024-04-30 安徽龙讯信息科技有限公司 一种森林火灾智能化监控和预警系统

Similar Documents

Publication Publication Date Title
CN107292240B (zh) 一种基于人脸与人体识别的找人方法及系统
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
US9911055B2 (en) Method and system for detection and classification of license plates
JP5992276B2 (ja) 人物認識装置、及び方法
CN109977895B (zh) 一种基于多特征图融合的野生动物视频目标检测方法
CN111176524B (zh) 一种多屏显示系统及其鼠标切换控制方法
KR20220150614A (ko) 화재 감지 서버, 방법 및 컴퓨터 프로그램
KR101720781B1 (ko) 객체에 대한 이상 행동 예측 장치 및 이를 이용한 이상 행동 예측 방법
KR101062225B1 (ko) 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템
CN112949511A (zh) 一种基于机器学习和图像识别的施工现场人员管理方法
CN101950448B (zh) Atm的伪装与偷窥行为检测的方法和系统
CN113283282B (zh) 一种基于时域语义特征的弱监督时序动作检测方法
CN112906685A (zh) 一种目标检测方法、装置、电子设备及存储介质
CN112668524A (zh) 多目标跟踪系统及方法
Paek et al. K-lane: Lidar lane dataset and benchmark for urban roads and highways
CN103971100A (zh) 基于视频并针对自动提款机的伪装与偷窥行为的检测方法
CN111428589B (zh) 一种渐变转场的识别方法及系统
CN113486754B (zh) 基于视频的事件演化预测方法、系统
CN115994781A (zh) 一种基于大数据的精准获客系统及方法
JP7372446B2 (ja) 画像解析システム、画像解析方法及び画像解析プログラム
CN114120180A (zh) 一种时序提名的生成方法、装置、设备及介质
CN113657169A (zh) 一种步态识别方法、装置、系统和计算机可读存储介质
CN110852203B (zh) 一种基于视频特征学习的多要素可疑人员识别方法
CN114694090A (zh) 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法
Roy et al. Real-time record sensitive background classifier (RSBC)

Legal Events

Date Code Title Description
A201 Request for examination