KR20230086457A - 화재 감지 시스템의 구축을 위한 전차 장치 및 그 방법 - Google Patents

화재 감지 시스템의 구축을 위한 전차 장치 및 그 방법 Download PDF

Info

Publication number
KR20230086457A
KR20230086457A KR1020210175094A KR20210175094A KR20230086457A KR 20230086457 A KR20230086457 A KR 20230086457A KR 1020210175094 A KR1020210175094 A KR 1020210175094A KR 20210175094 A KR20210175094 A KR 20210175094A KR 20230086457 A KR20230086457 A KR 20230086457A
Authority
KR
South Korea
Prior art keywords
data
fire
detection result
fire detection
module
Prior art date
Application number
KR1020210175094A
Other languages
English (en)
Other versions
KR102653485B1 (ko
Inventor
이상현
Original Assignee
호남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 호남대학교 산학협력단 filed Critical 호남대학교 산학협력단
Priority to KR1020210175094A priority Critical patent/KR102653485B1/ko
Publication of KR20230086457A publication Critical patent/KR20230086457A/ko
Application granted granted Critical
Publication of KR102653485B1 publication Critical patent/KR102653485B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Emergency Management (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

화재 감지 시스템의 구축을 위한 전차 장치 및 그 방법이 개시된다. 본 개시에 따른 전자 장치는 화재 영상 데이터를 프레임 단위로 분할, 전처리하고, 라벨링을 수행하여, 화재 감지 모델을 학습시키고 탐지 결과를 획득하며, 나아가 대상 추적 모델을 통해 다음 프레임에서의 탐지 결과를 획득할 수 있다.

Description

화재 감지 시스템의 구축을 위한 전차 장치 및 그 방법{ELECTRONIC APPARATUS FOR BUILDING FIRE DETECTING SYSTEM AND METHOD THEREOF}
본 개시는 화재 영상 데이터를 바탕으로 모델의 학습 및 테스트를 수행하여 화재 감지 시스템을 구축하는 전자 장치 및 그 방법에 관한 것이다.
2019년도 한국국가화재정보센터(National Fire Data System)의 화재통계연간보고서에 따르면, 2010년부터 2019년까지 426,521건의 화재로 인한 총 사망자는 3,026명, 부상자는 18,792명이다. 또한, 재산피해는 4조 4,313억에 이르러 막대한 인명 및 재산상의 피해가 야기되고 있는 실정이다.
이에, 화재로 인한 환경 문제, 금전적 손실을 최소화하기 위해 많은 연구자들의 노력이 계속되고 있다. 기존의 화재 감지 방법은 센서 기반의 화재 감지 방법과 영상 처리 기반의 화재 감지 방법으로 구분되는데, 센서 기반의 방법은 주변 환경의 여러 요인에 따라 시스템의 성능이 크게 제한될 수 있다는 단점이 있다. 또한, 영상 처리 기반의 방법 역시 경험적, 실험적인 임계 값 설정으로 인해 실제 상황에 적용이 어렵고, 화염과 유사한 객체에 대해 잘못된 경보를 발생시킬 수 있어 아직 부족한 점이 많다.
개시되는 실시예들은 화재 영상 데이터를 프레임 단위로 분할, 전처리하고 라벨링 한 후, 컨볼루셔널 뉴럴 네트워크(CNN; Convolutional Neural Network) 기반의 화재 감지 모델 및 대상 추적 모듈을 통해 화염으로 대표되는 화재 구역을 효율적으로 탐지, 예측하기 위한 것이다.
개시되는 일 실시예에 따른 화재 감지 시스템 구축 방법은, 화재 영상 데이터를 수집하는 단계; 상기 화재 영상 데이터를 프레임 단위로 분할하는 단계; 상기 분할된 데이터를 전처리하는 단계; 상기 전처리 된 데이터를 대상으로 화재 구역을 나타내는 바운딩 박스(bounding box)를 표시하여 라벨링을 수행하는 단계; 및 상기 라벨링 된 데이터에 기초하여 컨볼루셔널 뉴럴 네트워크(CNN; Convolutional Neural Network) 기반의 화재 감지 모델을 학습시키는 단계를 포함한다.
일 실시예에 따르면, 상기 전처리하는 단계는, 상기 분할된 데이터 중 중복되는 데이터의 적어도 일부를 삭제하는 것, 상기 분할된 데이터 중 해상도가 기 설정된 임계 값 이하인 데이터의 적어도 일부를 삭제하는 것, 상기 분할된 데이터를 학습 데이터, 검증 데이터 및 테스트 데이터로 분류하는 것 중 적어도 하나를 포함하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 화재 감지 모델은, 포커스(Focus) 네트워크 구조, C3 구조, CSP(Cross Stage Partial) 네트워크 구조, 특징 피라미트 네트워크(FPN; Feature Pyramid Network) 구조 및 경로 종합 네트워크(PAN; Path Aggregation Network) 구조를 포함하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 화재 감지 모델은, 상기 C3 구조 내에 병목(bottleneck) 구조를 포함하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 화재 감지 시스템 구축 방법은, 테스트 데이터를 상기 화재 감지 모델에 입력하여 상기 테스트 데이터에 대한 탐지 결과를 획득하는 단계; 및 상기 탐지 결과를 대상 추적 모듈에 입력하여 상기 탐지 결과에 대응되는 프레임의 다음 프레임에서의 예측 결과를 획득하고 식별자를 할당하는 단계를 더 포함할 수 있다.
일 실시예에 따르면, 상기 대상 추적 모듈은, DeepSORT(Deep Simple Online and Real-time Tracking) 알고리즘에 기초하여 복수의 대상을 추적하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 대상 추적 모듈은, 상기 탐지 결과에 기초하여 상기 탐지 결과에 대응되는 프레임의 다음 프레임에서의 예측 결과를 출력하는 필터링 모듈; 및 상기 탐지 결과와 상기 예측 결과를 상호 연관시키고, 상기 탐지 결과-예측 결과의 쌍에 식별자를 부여하는 매칭 모듈을 포함하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 필터링 모듈은, 칼만 필터(Kalman Filter)에 기초하여 상기 탐지 결과에 대응되는 프레임의 다음 프레임에서 화재 구역을 나타내는 바운딩 박스가 나타날 가능성이 가장 높은 위치를 출력하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 매칭 모듈은, 헝가리안 알고리즘(Hungarian algorithm)에 기초하여 상기 탐지 결과와 상기 예측 결과를 상호 연관시키고, 상기 탐지 결과와 상기 예측 결과 사이의 위치 변화량에 기초하여 상기 식별자를 부여하는 방식을 선택하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 매칭 모듈은, 상기 위치 변화량이 기 설정된 기준치 미만인 경우, 상기 위치 변화량에 대응되는 마할라노비스 거리(Mahalanobis distance) 값에 기초하여 식별자를 부여하고, 상기 위치 변화량이 기 설정된 기준치 이상인 경우, 딥 어피어런스 디스크립터(Deep Appearance Descriptor)를 이용하여 상기 위치 변화량에 대응되는 식별자를 부여하는 것을 특징으로 할 수 있다.
개시되는 일 실시예에 따른 화재 감지 시스템 구축을 위한 전자 장치는, 트랜시버, 명령어를 저장하는 메모리 및 프로세서를 포함하고, 상기 프로세서는, 상기 트랜시버 및 상기 메모리와 연결되어, 화재 영상 데이터를 수집하고, 상기 화재 영상 데이터를 프레임 단위로 분할하고, 상기 분할된 데이터를 전처리하고, 상기 전처리 된 데이터를 대상으로 화재 구역을 나타내는 바운딩 박스(bounding box)를 표시하여 라벨링을 수행하며, 상기 라벨링 된 데이터에 기초하여 컨볼루셔널 뉴럴 네트워크(CNN; Convolutional Neural Network) 기반의 화재 감지 모델을 학습시킬 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 개시에 따르면, 화재 감지 시스템 구축을 위한 전자 장치는, 영상에 대한 전처리, 라벨링, 딥러닝 모델을 통한 학습 및 테스트를 통해, 화재 영상 데이터로부터 영상 내 화염의 특성을 자동으로 추출하여 화염을 검출할 수 있다.
발명의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당해 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 화재 감지 시스템을 설명하기 위한 개략적인 구성도이다.
도 2는 일 실시예에 따른 화재 감지 시스템 구축 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 화재 감지 모델의 아키텍처에 대한 예시도이다.
도 4는 추가적인 실시예에 따른 화재 감지 시스템 구축 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 테스트 과정을 나타내는 예시도이다.
도 6은 일 실시예에 따라 화재 감지 시스템을 구축하는 전자 장치를 설명하기 위한 블록도이다.
실시 예들에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하고, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있으며, 도시된 예와 달리 구체적 동작에 있어 명확히 구분되지 않을 수 있다.
명세서 전체에서 기재된 "a, b, 및 c 중 적어도 하나"의 표현은, 'a 단독', 'b 단독', 'c 단독', 'a 및 b', 'a 및 c', 'b 및 c', 또는 'a, b, 및 c 모두'를 포괄할 수 있다.
이하에서 언급되는 "단말"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하고, 휴대용 단말은 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, IMT(International Mobile Telecommunication), CDMA(Code Division Multiple Access), W-CDMA(W-Code Division Multiple Access), LTE(Long Term Evolution) 등의 통신 기반 단말, 스마트폰, 태블릿 PC 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
이하의 설명에 있어서, 신호, 메시지 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호, 메시지 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다.
특히 신호, 메시지 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호, 메시지 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호, 메시지 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 개시에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다.
예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
실시 예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이하에서는 도면을 참조하여 본 개시의 실시예들을 상세히 설명한다.
도 1은 일 실시예에 따른 화재 감지 시스템을 설명하기 위한 개략적인 구성도이다.
도시된 바와 같이, 일 실시예에 따른 화재 감지 시스템(100)은 전자 장치(110) 및 네트워크(120)를 포함한다. 도 1에 도시된 화재 감지 시스템(100)은 본 실시예와 관련된 구성들만이 도시되어 있다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
전자 장치(110)는 사진, 그림 등의 정지 영상이나 프레임(frame) 단위의 정지 영상의 합으로 구성된 동영상을 입력으로 하여, 화재 감지 모델을 학습시키거나, 화재 감지 모델을 통해 탐지 결과를 획득하거나, 대상 추적 모듈을 통해 예측 결과를 획득하는 장치를 의미한다.
일 실시예에 따르면, 전자 장치(110)는 유선 또는 무선의 네트워크(120)를 통해 외부로부터 처리 대상이 되는 화재 영상 데이터를 획득할 수 있다. 보다 구체적으로, 전자 장치(110)가 수신하는 화재 영상 데이터는 카메라로 대표되는 촬영 장치로부터 촬영된 영상일 수도 있고, 클라우드 서버에 기 저장된 영상일 수도 있으며, 로컬 데이터베이스(DB)에 기 저장된 영상일 수도 있다. 다만 이는 예시적인 것으로, 영상의 촬영 수단 또는 저장 위치는 실시예에 따라서 다양하게 설정될 수 있다. 또한, 영상의 생성 위치 및 저장 위치는 동일할 수도 있으나, 실시예에 따라 상이할 수도 있다.
일 실시예에 따르면, 네트워크(120)는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 이동 통신망(mobile radio communication network), 위성 통신망 및 이들의 상호 조합을 포함하며, 도 1에 도시된 각 네트워크 구성 주체가 서로 원활하게 통신을 할 수 있도록 하는 포괄적인 의미의 데이터 통신망이며, 유선 인터넷, 무선 인터넷 및 모바일 무선 통신망을 포함할 수 있다. 무선 통신은 예를 들어, 무선 랜(Wi-Fi), 블루투스, 블루투스 저 에너지(Bluetooth low energy), 지그비, WFD(Wi-Fi Direct), UWB(ultra wideband), 적외선 통신(IrDA, infrared Data Association), NFC(Near Field Communication) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
이상과 관련하여, 이하 도면들을 통해 보다 상세히 설명하기로 한다.
도 2는 일 실시예에 따른 화재 감지 시스템 구축 방법을 설명하기 위한 흐름도이다.
이하 도 2에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
단계 210에서, 전자 장치(110)는 화재 영상 데이터를 수집할 수 있다.
일 실시예에 따르면, 전자 장치(110)는 복수의 프레임을 포함하는 동영상을 수집하거나, 단일 프레임의 화재 사진을 수집할 수도 있다. 또한, 도 1을 참조하여 상술한 대로, 전자 장치(110)는 촬영 장치로부터 직접 화재 영상 데이터를 전달받을 수도 있고, 외부의 클라우드 서버나 로컬 DB로부터 화재 영상 데이터를 전송 받을 수도 있으며, 실시예에 따라서는 전자 장치(110) 내의 저장 공간에 저장된 화재 영상 데이터를 후술할 연산의 수행을 위해 전자 장치(110) 내 메모리에 로드함으로써 화재 영상 데이터를 수집할 수도 있다. 이 경우, 도 1에 도시된 촬영 장치, 클라우드 서버, 로컬 DB 등은 테스트 데이터 내지는 실행 데이터가 생성 또는 저장되는 장소를 의미할 수 있다.
예를 들어, 화재 영상 데이터는 큰 규모의 화염, 작은 규모의 화염처럼 발생 규모를 기준으로 분류된 데이터일 수도 있고, 건축물에 발생한 화염, 초원에 발생한 화염, 삼림에 발생한 화염, 차량(자동차, 트럭, 오토바이 등)에 발생한 화염 등과 같이 발생 장소를 기준으로 분류된 데이터일 수도 있다. 또한, 낮 시간대에 발생한 화염과 밤 시간대에 발생한 화염처럼 발생 시간을 기준으로 분류된 데이터일 수도 있다.
단계 220에서, 전자 장치(110)는 화재 영상 데이터를 프레임 단위로 분할할 수 있다.
단계 230에서, 전자 장치(110)는 분할된 데이터를 전처리할 수 있다.
일 실시예에 따르면, 전자 장치(110)는 분할된 데이터에 대한 전처리(pre-processing)로서, 다음의 (1) 내지 (3) 중 적어도 하나를 수행할 수 있다.
(1) 분할된 데이터 중 중복되는 데이터의 적어도 일부를 삭제
(2) 분할된 데이터 중 해상도가 기 설정된 임계 값 이하인 데이터의 적어도 일부를 삭제
(3) 분할된 데이터를 학습 데이터, 검증 데이터 및 테스트 데이터로 분류
구체적으로, (1)의 전처리를 위해 전자 장치(110)는 프레임 단위로 분할된 데이터 사이의 픽셀 값, 명암 값 등에 기초하여 분할된 데이터 사이의 유사도를 판단하고, 유사도가 기 설정된 기준치 이상인 데이터들을 하나만 제외하고 모두 삭제할 수도 있다.
한편 구체적으로, (3)의 전처리를 위해 전자 장치(110)는 분할된 데이터의 과반수 이상은 학습 데이터로, 나머지 데이터 중 절반은 검증 데이터로, 절반은 테스트 데이터로 분류할 수도 있다. 예를 들어, 전자 장치(110)는 분할된 데이터의 70퍼센트는 학습 데이터로, 15퍼센트는 검증 데이터로, 15퍼센트는 테스트 데이터로 분류할 수 있다.
일 실시예에 따르면, 전자 장치(110)는 분할된 데이터의 사이즈를 기 설정된 규격으로 조절하는 전처리를 수행할 수 있다. 예를 들어, 전자 장치(110)는 분할된 데이터의 사이즈를 일괄적으로 640*640(가로 640개의 픽셀, 세로 640개의 픽셀)으로 조절할 수 있다.
단계 240에서, 전자 장치(110)는 전처리 된 데이터를 대상으로 화재 구역을 나타내는 바운딩 박스(bounding box)를 표시하여 라벨링을 수행할 수 있다.
예를 들어, 전자 장치(110)는 CVAT(Computer Vision Annotation Tool)을 이용하여 바운딩 박스를 표시함으로써 라벨링을 수행할 수 있다.
단계 250에서, 전자 장치(110)는 라벨링 된 데이터에 기초하여 컨볼루셔널 뉴럴 네트워크(CNN; Convolutional Neural Network) 기반의 화재 감지 모델을 학습시킬 수 있다.
일 실시예에 따르면, 전자 장치(110)에 의한 학습 대상이 되는 화재 감지 모델은 포커스(Focus) 네트워크 구조, C3 구조, CSP(Cross Stage Partial) 네트워크 구조, 특징 피라미트 네트워크(FPN; Feature Pyramid Network) 구조 및 경로 종합 네트워크(PAN; Path Aggregation Network) 구조를 포함할 수 있다.
구체적으로, 화재 감지 모델에 포함된 C3 구조는, C3 구조 내에 병목(bottleneck) 구조를 포함할 수 있다.
일 실시예에 따르면, 전자 장치(110)에 의한 학습 대상이 되는 화재 감지 모델은 YOLOv5에 기반한 네트워크 구조를 포함할 수 있다.
이와 관련하여, 이하의 도 3을 참조하여 보다 상세히 후술한다.
도 3은 일 실시예에 따른 화재 감지 모델의 아키텍처에 대한 예시도이다.
도 3을 참조하면, 일 실시예에 따른 화재 감지 모델은 백본(backbone), 넥(Neck), 헤드(Head) 부분으로 구성될 수 있다.
먼저 백본 부분은 입력된 데이터로부터 특징 맵(Feature map)을 추출하는 부분으로, 포커스 네트워크 구조, C3 구조 및 CSP 구조를 포함할 수 있다.
일 실시예에 따르면, 백본 부분의 포커스 네트워크 구조는 슬라이스 레이어(slice), 연접 레이어(Concat), 컨볼루션 모듈(Conv)를 포함하며, 입력된 데이터 각각이 복수의 슬라이스 레이어로 입력되고, 각 슬라이스 레이어에서의 출력이 연접 레이어로 입력되고, 연접 레이어에서의 출력이 컨볼루션 모듈에 입력되며, 컨볼루션 모듈에서의 출력이 포커스 네트워크 구조의 출력이 되는 특징을 지닌다.
구체적으로, 컨볼루션 모듈은 2차원 컨볼루션 레이어(Conv2d), 2차원 배치 정규화 레이어(BatchNorm2d), 시그모이드 활성화 함수(SiLU)를 포함할 수 있다.
일 실시예에 따르면, 백본 부분의 C3 구조는 컨볼루션 모듈, 연접 레이어 및 병목 구조를 포함하며, 컨볼루션 모듈과 병목 구조를 거친 출력과 컨볼루션 모듈만을 거친 출력이 연접 레이어를 통해 연접되고, 연접된 출력이 컨볼루션 모듈에 입력되는 구조를 지닌다. 특히, 병목 구조는 2개의 컨볼루션 모듈을 거친 출력과 컨볼루션 모듈을 거치지 않은 입력 그대로가 합산되는 구조를 지닌다.
일 실시예에 따르면, 백본 부분의 CSP 구조는 맥스 풀링 레이어(Max pooling), 연접 레이어 및 컨볼루션 모듈을 포함하며, 입력이 복수의 맥스 풀링 레이어로 각각 입력되고, 각 맥스 풀링 레이어에서의 출력이 연접 레이어를 거쳐 컨볼루션 모듈로 입력되는 구조를 지닌다.
한편 넥 부분은 백본과 헤드를 연결하며 백본에 의해 추출된 특징 맵을 정제하고 재구성하는 부분으로, 컨볼루션 모듈, 업 샘플링 레이어(UP-sample), 연접 레이어, C3 구조를 포함할 수 있다.
도시된 대로, 넥 부분의 연접 레이어는 직전 레이어에서의 출력과 이전 구조에서의 출력을 연접하는 기능을 수행하며, 넥 부분의 끝단에 배치되는 각각의 컨볼루션 모듈의 출력은 후술할 헤드 부분을 구성하는 2차원 컨볼루션 레이어의 입력이 되는 구조를 지닌다.
한편 헤드 부분은 백본에 의해 추출된 특징 맵에 대한 로컬리제이션(Localization)을 수행하는 부분으로, 구체적으로는 특징 맵 상의 객체에 대한 클래스 별 확률 예측 및 바운딩 박스 생성 작업을 수행할 수 있다.
도시된 대로, 헤드 부분은 복수의 2차원 컨볼루션 레이어를 포함할 수 있으며, 2차원 컨볼루션 레이어 각각의 출력은 바운딩 박스가 표시될 좌표, 특징 맵 상의 객체에 대한 클래스 별 확률을 포함하는 행렬 등에 대한 정보를 포함할 수 있다.
도 4는 추가적인 실시예에 따른 화재 감지 시스템 구축 방법을 설명하기 위한 흐름도이다.
이하 도 4에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
단계 410에서, 전자 장치(110)는 화재 영상 데이터를 수집할 수 있다.
단계 420에서, 전자 장치(110)는 화재 영상 데이터를 프레임 단위로 분할할 수 있다.
단계 430에서, 전자 장치(110)는 분할된 데이터를 전처리할 수 있다.
단계 440에서, 전자 장치(110)는 전처리 된 데이터를 대상으로 화재 구역을 나타내는 바운딩 박스(bounding box)를 표시하여 라벨링을 수행할 수 있다.
단계 450에서, 전자 장치(110)는 라벨링 된 데이터에 기초하여 컨볼루셔널 뉴럴 네트워크(CNN; Convolutional Neural Network) 기반의 화재 감지 모델을 학습시킬 수 있다.
단계 460에서, 전자 장치(110)는 테스트 데이터를 화재 감지 모델에 입력하여 테스트 데이터에 대한 탐지 결과를 획득할 수 있다.
단계 470에서, 전자 장치(110)는 테스트 데이터에 대한 탐지 결과를 대상 추적 모듈에 입력하여 해당 탐지 결과에 대응되는 프레임의 다음 프레임에서의 예측 결과를 획득하고 식별자를 할당할 수 있다.
일 실시예에 따르면, 전자 장치(110)가 이용하는 대상 추적 모듈은 DeepSORT(Deep Simple Online and Real-time Tracking) 알고리즘에 기초하여 복수의 대상을 추적 가능한 다중 대상 추적 기능을 제공할 수 있다.
일 실시예에 따르면, 대상 추적 모듈은 테스트 데이터에 대한 탐지 결과에 기초하여 해당 탐지 결과에 대응되는 프레임의 다음 프레임에서의 예측 결과를 출력하는 필터링 모듈; 및 해당 탐지 결과와 대상 추적 모듈의 예측 결과를 상호 연관시키고, 탐지 결과-예측 결과의 쌍에 식별자(descriptor)를 부여하는 매칭 모듈을 포함할 수 있다.
구체적으로, 대상 추적 모듈 내 필터링 모듈은 칼만 필터(Kalman Filter)에 기초하여 테스트 데이터에 대한 탐지 결과에 대응되는 프레임의 다음 프레임에서 화재 구역을 나타내는 바운딩 박스가 나타날 가능성이 가장 높은 위치를 출력할 수 있다.
한편, 대상 추적 모듈 내 매칭 모듈은, 헝가리안 알고리즘(Hungarian algorithm)에 기초하여 테스트 데이터에 대한 탐지 결과와 대상 추적 모듈의 예측 결과를 상호 연관시키고, 탐지 결과와 예측 결과 사이의 위치 변화량에 기초하여 식별자를 부여하는 방식을 선택할 수 있다.
보다 상세하게, 대상 추적 모듈 내 매칭 모듈은, 탐지 결과와 예측 결과 사이의 위치 변화량이 기 설정된 기준치 미만인 경우, 위치 변화량에 대응되는 마할라노비스 거리(Mahalanobis distance) 값에 기초하여 식별자를 부여하고, 탐지 결과와 예측 결과 사이의 위치 변화량이 기 설정된 기준치 이상인 경우, 딥 어피어런스 식별자(Deep Appearance Descriptor)를 이용하여 위치 변화량에 대응되는 식별자를 부여할 수 있다.
일 실시예에 따르면, 딥 어피어런스 식별자는 CNN 구조를 이용하여 감지된 객체의 특징을 추출하고 이를 저차원 벡터로 표현하는 모듈로서, 입력된 각 프레임 단위의 영상 데이터마다 객체의 특징을 추출할 수 있다.
구체적으로, 딥 어피어런스 식별자는 2개의 컨볼루션 레이어(Convolution layer), 1개의 맥스 풀링 레이어(Max pooling layer), 6개의 잔차 블록(Residual block), 1개의 덴스 레이어(Dense layer) 및 1개의 배치 정규화 레이어(Batch normalization layer)를 포함할 수 있다.
이를 통해, 대상 추적 모듈은 Re-identification(ReID) 모델을 적용하여 ID Switching 문제(모델이 올바른 대상을 추적하지 못하고, 원래의 대상에 다른 ID를 배정하는 문제)를 해결하는 동시에, Matching Cascade 로직을 적용함으로써 대상 추적의 정확성을 높일 수 있다.
도 5는 일 실시예에 따른 테스트 과정을 나타내는 예시도이다.
일 실시예에 따르면, 전자 장치(110)는 복수의 프레임 단위 영상으로 구성된 영상 시퀀스를 테스트 데이터로서 YOLOv5 기반의 화재 감지 모듈에 입력하여 영상 시퀀스에 대한 탐지 결과를 획득할 수 있다.
도 5에 도시된 화살표 흐름에 따르면 테스트 데이터가 훈련(Train) 과정에도 이용되는 것처럼 보일 수 있으나, 이는 기존의 데이터 셋을 구성하는 데이터의 일부를 학습 데이터로, 일부를 테스트 데이터로 이용함에 따른 표현임을 통상의 기술자라면 알 수 있다.
한편, 일 실시예에 따르면 전자 장치(110)는 영상 시퀀스에 대한 탐지 결과를 다중 객체 추적(Multi-Object Tracking) 기능을 제공하는 대상 추적 모듈에 입력하여, 다음 프레임에서의 예측 결과를 획득하고 탐지 결과와 예측 결과에 식별자를 할당할 수 있다.
도 6은 일 실시예에 따라 화재 감지 시스템을 구축하는 전자 장치를 설명하기 위한 블록도이다.
전자 장치(110)는 일 실시예에 따라, 트랜시버(111), 프로세서(113) 및 메모리(115)를 포함할 수 있다. 전자 장치(110)는 트랜시버(111)를 통하여 촬영 장치, 클라우드 서버, 로컬 DB 및 기타 외부 장치 등과 연결되고, 데이터를 교환할 수 있다.
프로세서(113)는 도 1 내지 도 5를 통하여 전술한 적어도 하나의 방법을 수행할 수 있다. 메모리(115)는 도 1 내지 도 5를 통하여 전술한 적어도 하나의 방법을 수행하기 위한 정보를 저장할 수 있다. 메모리(115)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.
프로세서(113)는 프로그램을 실행하고, 정보를 제공하기 위해 전자 장치(110)를 제어할 수 있다. 프로세서(113)에 의하여 실행되는 프로그램의 코드는 메모리(115)에 저장될 수 있다.
프로세서(113)는 트랜시버(111) 및 메모리(115)와 연결되어, 화재 영상 데이터를 수집하고, 화재 영상 데이터를 프레임 단위로 분할하고, 분할된 데이터를 전처리하고, 전처리 된 데이터를 대상으로 화재 구역을 나타내는 바운딩 박스(bounding box)를 표시하여 라벨링을 수행하며, 라벨링 된 데이터에 기초하여 컨볼루셔널 뉴럴 네트워크(CNN; Convolutional Neural Network) 기반의 화재 감지 모델을 학습시킬 수 있다.
또한 일 실시예에 따른 전자 장치(110)는 사용자에게 정보를 제공할 수 있는 인터페이스를 더 포함할 수 있다.
도 6에 도시된 전자 장치(110)는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 6에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
전술한 실시예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-Access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 메시지 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
전술한 실시예들은 일 예시일 뿐 후술하는 청구항들의 범위 내에서 다른 실시예들이 구현될 수 있다.

Claims (12)

  1. 화재 영상 데이터를 수집하는 단계;
    상기 화재 영상 데이터를 프레임 단위로 분할하는 단계;
    상기 분할된 데이터를 전처리하는 단계;
    상기 전처리 된 데이터를 대상으로 화재 구역을 나타내는 바운딩 박스(bounding box)를 표시하여 라벨링을 수행하는 단계; 및
    상기 라벨링 된 데이터에 기초하여 컨볼루셔널 뉴럴 네트워크(CNN; Convolutional Neural Network) 기반의 화재 감지 모델을 학습시키는 단계를 포함하는, 화재 감지 시스템 구축 방법.
  2. 청구항 1항에 있어서,
    상기 전처리하는 단계는,
    상기 분할된 데이터 중 중복되는 데이터의 적어도 일부를 삭제하는 것, 상기 분할된 데이터 중 해상도가 기 설정된 임계 값 이하인 데이터의 적어도 일부를 삭제하는 것, 상기 분할된 데이터를 학습 데이터, 검증 데이터 및 테스트 데이터로 분류하는 것 중 적어도 하나를 포함하는 것을 특징으로 하는, 화재 감지 시스템 구축 방법.
  3. 청구항 1항에 있어서,
    상기 화재 감지 모델은,
    포커스(Focus) 네트워크 구조, C3 구조, CSP(Cross Stage Partial) 네트워크 구조, 특징 피라미트 네트워크(FPN; Feature Pyramid Network) 구조 및 경로 종합 네트워크(PAN; Path Aggregation Network) 구조를 포함하는 것을 특징으로 하는, 화재 감지 시스템 구축 방법.
  4. 청구항 3항에 있어서,
    상기 화재 감지 모델은,
    상기 C3 구조 내에 병목(bottleneck) 구조를 포함하는 것을 특징으로 하는, 화재 감지 시스템 구축 방법.
  5. 청구항 1항에 있어서,
    테스트 데이터를 상기 화재 감지 모델에 입력하여 상기 테스트 데이터에 대한 탐지 결과를 획득하는 단계; 및
    상기 탐지 결과를 대상 추적 모듈에 입력하여 상기 탐지 결과에 대응되는 프레임의 다음 프레임에서의 예측 결과를 획득하고 식별자를 할당하는 단계를 더 포함하는, 화재 감지 시스템 구축 방법.
  6. 청구항 5항에 있어서,
    상기 대상 추적 모듈은,
    DeepSORT(Deep Simple Online and Real-time Tracking) 알고리즘에 기초하여 복수의 대상을 추적하는 것을 특징으로 하는, 화재 감지 시스템 구축 방법.
  7. 청구항 6항에 있어서,
    상기 대상 추적 모듈은,
    상기 탐지 결과에 기초하여 상기 탐지 결과에 대응되는 프레임의 다음 프레임에서의 예측 결과를 출력하는 필터링 모듈; 및
    상기 탐지 결과와 상기 예측 결과를 상호 연관시키고, 상기 탐지 결과-예측 결과의 쌍에 식별자를 부여하는 매칭 모듈을 포함하는 것을 특징으로 하는, 화재 감지 시스템 구축 방법.
  8. 청구항 7항에 있어서,
    상기 필터링 모듈은,
    칼만 필터(Kalman Filter)에 기초하여 상기 탐지 결과에 대응되는 프레임의 다음 프레임에서 화재 구역을 나타내는 바운딩 박스가 나타날 가능성이 가장 높은 위치를 출력하는 것을 특징으로 하는, 화재 감지 시스템 구축 방법.
  9. 청구항 7항에 있어서,
    상기 매칭 모듈은,
    헝가리안 알고리즘(Hungarian algorithm)에 기초하여 상기 탐지 결과와 상기 예측 결과를 상호 연관시키고, 상기 탐지 결과와 상기 예측 결과 사이의 위치 변화량에 기초하여 상기 식별자를 부여하는 방식을 선택하는 것을 특징으로 하는, 화재 감지 시스템 구축 방법.
  10. 청구항 9항에 있어서,
    상기 매칭 모듈은,
    상기 위치 변화량이 기 설정된 기준치 미만인 경우, 상기 위치 변화량에 대응되는 마할라노비스 거리(Mahalanobis distance) 값에 기초하여 식별자를 부여하고,
    상기 위치 변화량이 기 설정된 기준치 이상인 경우, 딥 어피어런스 디스크립터(Deep Appearance Descriptor)를 이용하여 상기 위치 변화량에 대응되는 식별자를 부여하는 것을 특징으로 하는, 화재 감지 시스템 구축 방법.
  11. 청구항 1항 내지 10항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 비일시적 기록 매체.
  12. 트랜시버, 명령어를 저장하는 메모리 및 프로세서를 포함하고,
    상기 프로세서는, 상기 트랜시버 및 상기 메모리와 연결되어,
    화재 영상 데이터를 수집하고, 상기 화재 영상 데이터를 프레임 단위로 분할하고, 상기 분할된 데이터를 전처리하고, 상기 전처리 된 데이터를 대상으로 화재 구역을 나타내는 바운딩 박스(bounding box)를 표시하여 라벨링을 수행하며, 상기 라벨링 된 데이터에 기초하여 컨볼루셔널 뉴럴 네트워크(CNN; Convolutional Neural Network) 기반의 화재 감지 모델을 학습시키는, 전자 장치.
KR1020210175094A 2021-12-08 2021-12-08 화재 감지를 위한 화재 감지 모델을 구축하는 전자 장치 및 그 방법 KR102653485B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210175094A KR102653485B1 (ko) 2021-12-08 2021-12-08 화재 감지를 위한 화재 감지 모델을 구축하는 전자 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210175094A KR102653485B1 (ko) 2021-12-08 2021-12-08 화재 감지를 위한 화재 감지 모델을 구축하는 전자 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20230086457A true KR20230086457A (ko) 2023-06-15
KR102653485B1 KR102653485B1 (ko) 2024-03-29

Family

ID=86763968

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210175094A KR102653485B1 (ko) 2021-12-08 2021-12-08 화재 감지를 위한 화재 감지 모델을 구축하는 전자 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102653485B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115641A (zh) * 2023-07-20 2023-11-24 中国科学院空天信息创新研究院 建筑物信息提取方法、装置、电子设备及存储介质
CN117173854A (zh) * 2023-09-13 2023-12-05 西安博深安全科技股份有限公司 一种基于深度学习的煤矿明火预警方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013250881A (ja) * 2012-06-01 2013-12-12 Nippon Telegr & Teleph Corp <Ntt> 学習画像選択方法、コンピュータプログラム及び学習画像選択装置
KR20210010304A (ko) * 2019-07-19 2021-01-27 (주)지와이네트웍스 화염 판단을 위한 신경망 모델의 학습 및 검출 방법, 및 이를 수행하는 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013250881A (ja) * 2012-06-01 2013-12-12 Nippon Telegr & Teleph Corp <Ntt> 学習画像選択方法、コンピュータプログラム及び学習画像選択装置
KR20210010304A (ko) * 2019-07-19 2021-01-27 (주)지와이네트웍스 화염 판단을 위한 신경망 모델의 학습 및 검출 방법, 및 이를 수행하는 장치

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ENFJ.dev,‘DeepSORT, 제대로 이해하기,’ https://gngsn.tistory.com/94 (2021.10.08.) 1부.* *
S. Gutta, ‘Object Detection Algorithm-YOLOv5 Architecture,’https://medium.com/analytics-vidhya/object-detection-algorithm-yolo-v5-architecture-89e0a35472ef (2021.08.02.) 1부.* *
Y. Na et al., ‘AI Fire Detection & Notification System,’ Journal of the Korea Societry of Computer and Information, 25(12), pp.63-71 (2020.12.) 1부.* *
미미수, ‘A-Farm에서 사용하는 딥러닝 모델 [DeepSORT+YOLOv5],’https://memesoo99.tistory.com/80 (2021.11.25.) 1부.* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115641A (zh) * 2023-07-20 2023-11-24 中国科学院空天信息创新研究院 建筑物信息提取方法、装置、电子设备及存储介质
CN117115641B (zh) * 2023-07-20 2024-03-22 中国科学院空天信息创新研究院 建筑物信息提取方法、装置、电子设备及存储介质
CN117173854A (zh) * 2023-09-13 2023-12-05 西安博深安全科技股份有限公司 一种基于深度学习的煤矿明火预警方法及系统
CN117173854B (zh) * 2023-09-13 2024-04-05 西安博深安全科技股份有限公司 一种基于深度学习的煤矿明火预警方法及系统

Also Published As

Publication number Publication date
KR102653485B1 (ko) 2024-03-29

Similar Documents

Publication Publication Date Title
EP3382643B1 (en) Automated object tracking in a video feed using machine learning
US20190073520A1 (en) Identification of individuals in a digital file using media analysis techniques
IL261696A (en) System and method for training a classified object through computational learning
Gomes et al. A vision-based approach to fire detection
KR102653485B1 (ko) 화재 감지를 위한 화재 감지 모델을 구축하는 전자 장치 및 그 방법
US11887374B2 (en) Systems and methods for 2D detections and tracking
CN110910415A (zh) 抛物检测方法、装置、服务器和计算机可读介质
KR20190088087A (ko) 움직임 정보를 이용한 인공지능 학습기반의 이동객체 영상 분류처리 방법
US20240046612A1 (en) Fusion-based sensing intelligence and reporting
Mishra et al. Recent trends in pedestrian detection for robotic vision using deep learning techniques
CN113313098B (zh) 视频处理方法、设备、系统及存储介质
Yang et al. YOLOv8-Lite: A Lightweight Object Detection Model for Real-time Autonomous Driving Systems
Kulbacki et al. Intelligent video monitoring system with the functionality of online recognition of people’s behavior and interactions between people
US20230360402A1 (en) Video-based public safety incident prediction system and method therefor
CN116798117A (zh) 一种基于视频理解的矿井下异常动作识别方法
US20220180102A1 (en) Reducing false negatives and finding new classes in object detectors
KR20230012171A (ko) 딥러닝 기반의 tod 객체 탐지 후 식별 시스템 및 방법
CN113837066A (zh) 行为识别方法、装置、电子设备及计算机存储介质
Chan et al. Flame and smoke detection using Kafka on edge devices
Sahithi et al. Enhancing Object Detection and Tracking from Surveillance Video Camera Using YOLOv8
Meghana et al. Detection of underwater objects using Deep Learning and You Look Only Once Algorithm
Almadhoun et al. Artificial Intelligence Aims to Save Lives in Offshore Marine Vessels
Ahmed et al. Enhancing Post-Disaster Survivor Detection Using UAV Imagery and Transfer Learning Strategies
Shindhe et al. Real-time Violence Activity Detection Using Deep Neural Networks in a CCTV camera
Silva et al. Application of Unmanned Aerial Vehicles

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant