KR20230016826A - 비젼 기반 화재 탐지 시스템 및 그 방법 - Google Patents

비젼 기반 화재 탐지 시스템 및 그 방법 Download PDF

Info

Publication number
KR20230016826A
KR20230016826A KR1020210098303A KR20210098303A KR20230016826A KR 20230016826 A KR20230016826 A KR 20230016826A KR 1020210098303 A KR1020210098303 A KR 1020210098303A KR 20210098303 A KR20210098303 A KR 20210098303A KR 20230016826 A KR20230016826 A KR 20230016826A
Authority
KR
South Korea
Prior art keywords
neural network
artificial neural
data
detection
real
Prior art date
Application number
KR1020210098303A
Other languages
English (en)
Other versions
KR102549809B1 (ko
Inventor
이수홍
현동환
박도현
나유민
박종혁
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020210098303A priority Critical patent/KR102549809B1/ko
Publication of KR20230016826A publication Critical patent/KR20230016826A/ko
Application granted granted Critical
Publication of KR102549809B1 publication Critical patent/KR102549809B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

본 발명은 비젼 기반 화재 탐지 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는, 외부로부터 화재 관련 이미지 데이터 또는, 화재 관련 영상 데이터를 수집하는 데이터 수집부(100), 상기 데이터 수집부(100)에서 수집한 수집 데이터의 외부 환경 조건 정보를 추출하는 데이터 전처리부(200), 상기 데이터 전처리부(200)에서 추출한 외부 환경 조건 정보를 기반으로 상기 수집 데이터를 그룹화하여 둘 이상의 학습 데이터 셋을 생성하고, 기저장된 둘 이상의 인공 신경망 학습 알고리즘을 이용하여, 상기 학습 데이터 셋을 각각 학습하여 다수의 인공 신경망 학습 모델을 생성하는 학습 처리부(300) 및 실시간 화재 탐지 시, 상기 학습 처리부(300)에서 생성한 다수의 인공 신경망 학습 모델 중 적어도 하나의 인공 신경망 학습 모델을 선택하고, 선택된 상기 인공 신경망 학습 모델에 실시간 입력되는 이미지 데이터를 적용하여 화재 탐지를 수행하는 실시간 탐지부(400)를, 포함하는 비젼 기반 화재 탐지 시스템에 관한 것이다.

Description

비젼 기반 화재 탐지 시스템 및 그 방법 {Fire detection system and method based on vision}
본 발명은 비젼 기반 화재 탐지 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 적용 가능한 다양한 조건으로 구분하여 다수의 인공지능 학습을 수행함으로써, 실시간 화재 탐지 시, 최적화된 학습 모델을 선택하여 정확도 높게 화재 탐지를 수행할 수 있는 비젼 기반 화재 탐지 시스템 및 그 방법에 관한 것이다.
일반적으로 화재 발생을 감지하기 위해서는, 화재가 발생할 가능성이 높은 구역에 온도, 적외선 등을 감지하는 센서 수단을 부착하여 감지를 수행하게 되며, 임계값 이상의 높은 온도가 감지될 경우, 화재가 발생한 것으로 판단하여 관련 정보들을 외부로 전송하게 된다.
그렇지만, 이러한 화재 감지 방식의 경우, 실내에 특화되어 있고 화재 발생 장소와 일정 거리 가까운 위치에 센서 수단의 부착이 이루어져야 하기 때문에, 화재가 발생할 가능성이 높은 특정 구역에만 구비가 가능하여, 예측하지 못하는 장소 또는 예측하지 못한 시간대에 발생하는 화재에 대해서는 신속하게 대처하는 것이 어려운 문제점이 있다.
또한, 단순히 온도만을 감지하는 방법이기 때문에, 화재 탐지의 오탐율이 높을 수밖에 없다.
이러한 문제점을 해결하기 위해서, 실외 화재 탐지 기술로는, 불꽃을 감지하는 객체 탐지(object detection) 알고리즘을 적용한 CCTV를 탐지 기술이 구현되고 있다.
객체 탐지란, 이미지나 동영상에서 차량, 사람, 동물 등 유의미한 객체를 추출하고, 추출한 객체의 종류, 그 위치(bounding box)를 찾는 컴퓨터 비젼(computer vision) AI 기술을 의미한다.
이와 관련해서, 국내 공개 특허 제10-2020-0013218호("영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 시스템, 서버 및 방법")에서는 CCTV 영상을 처리하여 1차로 화재를 감지하고 딥러닝 기반 인공지능을 이용하여 2차로 화재를 감지함으로써 화재를 조기에 정확하게 탐지할 수 있는 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 시스템, 서버 및 방법을 개시하고 있다.
국내공개특허 제10-2020-0013218호(공개일자 2020.02.06.)
본 발명은 상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 적용 가능한 다양한 조건으로 구분하여 학습 데이터 셋을 생성하고, 각 학습 데이터 셋에 대한 인공지능 학습을 수행함으로써, 실시간 화재 탐지 시, 다수의 인공지능 학습 모델 중 최적화된 학습 모델을 선택하여 정확도 높게 화재 탐지를 수행할 수 있는 비젼 기반 화재 탐지 시스템 및 그 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 비젼 기반 화재 탐지 시스템은, 외부로부터 화재 관련 이미지 데이터 또는, 화재 관련 영상 데이터를 수집하는 데이터 수집부(100), 상기 데이터 수집부(100)에서 수집한 수집 데이터의 외부 환경 조건 정보를 추출하는 데이터 전처리부(200), 상기 데이터 전처리부(200)에서 추출한 외부 환경 조건 정보를 기반으로 상기 수집 데이터를 그룹화하여 둘 이상의 학습 데이터 셋을 생성하고, 기저장된 둘 이상의 인공 신경망 학습 알고리즘을 이용하여, 상기 학습 데이터 셋을 각각 학습하여 다수의 인공 신경망 학습 모델을 생성하는 학습 처리부(300) 및 실시간 화재 탐지 시, 상기 학습 처리부(300)에서 생성한 다수의 인공 신경망 학습 모델 중 적어도 하나의 인공 신경망 학습 모델을 선택하고, 선택된 상기 인공 신경망 학습 모델에 실시간 입력되는 이미지 데이터를 적용하여 화재 탐지를 수행하는 실시간 탐지부(400)를 포함하는 것이 바람직하다.
더 나아가, 상기 데이터 전처리부(200)는 상기 수집 데이터의 외부 환경 조건 정보로 야간 환경 조건 또는, 주간 환경 조건을 추출하는 것이 바람직하다.
더 나아가, 상기 실시간 탐지부(400)는 온 프레미스(on-premise) 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여, 생성된 인공 신경망 학습 모델을 선택하는 제1 선택부(410)를 더 포함하는 것이 바람직하다.
더 나아가, 상기 실시간 탐지부(400)는 실시간 화재 탐지가 이루어지는 동안의 입력 데이터에 대한 외부 환경 조건 정보를 추출하여, 상기 제1 선택부(410)에 의해 선택된 인공 신경망 학습 모델 중 추출한 외부 환경 조건 정보에 해당하는 학습 데이터 셋을 학습하여 생성된 인공 신경망 학습 모델을 선택하는 제2 선택부(420)를 더 포함하는 것이 바람직하다.
더 나아가, 상기 제2 선택부(420)는 외부로부터 일출시간 정보와 일몰시간 정보를 입력받아, 입력된 상기 정보에 실시간 화재 탐지가 이루어지는 시간 정보를 반영하여 상기 입력 데이터의 외부 환경 조건 정보를 추출하는 것이 바람직하다.
더 나아가, 상기 실시간 탐지부(400)는 상기 제2 선택부(420)에 의해 선택된 인공 신경망 학습 모델에 실시간 입력되는 이미지 데이터를 입력 데이터로 적용하여 화재 탐지를 수행하는 탐지 수행부(430)를 더 포함하는 것이 바람직하다.
더 나아가, 상기 실시간 탐지부(400)는 클라우드 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델 중 상기 제2 선택부(420)에 의해 추출한 입력 데이터의 외부 환경 조건 정보에 해당하는 학습 데이터 셋을 학습하여 생성된 인공 신경망 학습 모델을 선택하여, 상기 입력 데이터의 화재 탐지를 재수행하는 탐지 검증부(440)를 더 포함하는 것이 바람직하다.
더 나아가, 상기 실시간 탐지부(400)는 상기 탐지 수행부(430)와 탐지 검증부(440) 간의 화재 탐지 결과가 상이할 경우, 상기 탐지 검증부(440)의 화재 탐지 결과를 최종 탐지 결과 데이터로 적용하는 것이 바람직하다.
본 발명의 또 다른 일 실시예에 따른 비젼 기반 화재 탐지 방법은, 데이터 수집부에서, 외부로부터 화재 관련 이미지 데이터 또는, 화재 관련 영상 데이터를 수집하는 수집 단계(S100), 데이터 전처리부에서, 상기 수집 단계(S100)에 의해 수집한 수집 데이터의 외부 환경 조건 정보를 추출하는 환경 추출 단계(S200), 학습 처리부에서, 상기 환경 추출 단계(S200)에 의해 추출한 외부 환경 조건 정보를 기반으로 상기 수집 데이터를 그룹화하여, 적어도 두 개의 학습 데이터 셋을 생성하는 셋 생성 단계(S300), 학습 처리부에서, 기저장된 둘 이상의 인공 신경망 학습 알고리즘을 이용하여, 상기 셋 생성 단계(S300)에 의해 생성한 적어도 두 개의 학습 데이터 셋을 각각 학습하여, 다수의 인공 신경망 학습 모델을 생성하는 학습 단계(S400), 실시간 탐지부에서, 화재 탐지를 위해 실시간으로 이미지 데이터를 입력받는 탐지 시작 단계(S500), 실시간 탐지부에서, 상기 탐지 시작 단계(S500)에 의해 입력되는 입력 데이터에 대한 외부 환경 조건 정보를 추출하는 실시간 환경 추출 단계(S600), 실시간 탐지부에서, 상기 학습 단계(S400)에 의해 생성된 다수의 인공 신경망 학습 모델들 중 온 프레미스(on-premise) 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델을 선택하고, 선택한 인공 신경망 학습 모델 중 상기 실시간 환경 추출 단계(S600)에 의해 추출한 입력 데이터의 외부 환경 조건 정보에 해당하는 학습 데이터 셋을 학습하여 생성된 인공 신경망 학습 모델을 선택하는 모델 선택 단계(S700) 및 실시간 탐지부에서, 상기 모델 선택 단계(S700)에 의해 선택한 인공 신경망 학습 모델을 이용하여, 실시간 입력되는 이미지 데이터에 대한 화재 탐지를 수행하는 탐지 수행 단계(S800)를 포함하는 것이 바람직하다.
더 나아가, 상기 비젼 기반 화재 탐지 방법은 실시간 탐지부에서, 상기 학습 단계(S400)에 의해 생성된 다수의 인공 신경망 학습 모델들 중 클라우드 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델을 선택하고, 선택한 인공 신경망 학습 모델 중 상기 실시간 환경 추출 단계(S600)에 의해 추출한 입력 데이터의 외부 환경 조건 정보에 해당하는 학습 데이터 셋을 학습하여 생성된 인공 신경망 학습 모델을 선택하는 모델 재선택 단계(S900) 및 실시간 탐지부에서, 상기 모델 재선택 단계(S900)에 의해 선택한 인공 신경망 학습 모델을 이용하여, 실시간 입력되는 이미지 데이터에 대한 화재 탐지를 수행하는 탐지 재수행 단계(S1000)를 더 포함하되, 상기 탐지 수행 단계(S800)와 탐지 재수행 단계(S1000)의 화재 탐지 결과가 상이할 경우, 상기 탐지 재수행 단계(S1000)의 화재 탐지 결과를 최종 탐지 결과 데이터로 적용하는 것이 바람직하다.
더 나아가, 상기 실시간 환경 추출 단계(S600)는 외부로부터 일출시간 정보와 일몰시간 정보를 입력받아, 입력된 상기 정보에 실시간 화재 탐지가 이루어지는 시간 정보를 반영하여 상기 입력 데이터의 외부 환경 조건 정보를 추출하는 것이 바람직하다.
상기와 같은 구성에 의한 본 발명의 비젼 기반 화재 탐지 시스템 및 그 방법은 학습을 위해서 수집되는 데이터들을 화재 탐지에 적용 가능한 다양한 조건으로 구분하여 다수의 학습 데이터 셋을 생성하고, 각 학습 데이터 셋에 대한 인공지능 학습을 수행함으로써, 실시간 화재 탐지 시, 다수의 인공지능 학습 모델 중 최적화된 학습 모델을 선택하여 정확도 높게 화재 탐지를 수행할 수 있는 장점이 있다.
이를 통해서, 화재 탐지 상황을 고려하지 않고 단일화된 탐지 모델을 적용하는 종래 기술과는 달리, 외부 환경 조건(주간/야간)에 따라 최적화된 학습 모델을 통해 화재를 탐지하여, 탐지 정확도 및 신뢰성을 향상시킬 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 비젼 기반 화재 탐지 시스템을 나타낸 구성 예시도이다.
도 2는 본 발명의 일 실시예에 따른 비젼 기반 화재 탐지 방법을 나타낸 순서 예시도이다.
이하 첨부한 도면들을 참조하여 본 발명의 비젼 기반 화재 탐지 시스템 및 그 방법을 상세히 설명한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.
이때, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다.
더불어, 시스템은 필요한 기능을 수행하기 위하여 조직화되고 규칙적으로 상호 작용하는 장치, 기구 및 수단 등을 포함하는 구성 요소들의 집합을 의미한다.
본 발명의 일 실시예에 따른 비젼 기반 화재 탐지 시스템은, 수집되는 다양한 화재 관련 이미지 데이터 또는, 화재 관련 영상 데이터를 외부 환경 조건(주간/야간)을 구분하여 학습 데이터 셋을 생성하고, CNN 기반 최신 탐지 알고리즘을 이용하여 생성한 학습 데이터 셋을 각각 학습시켜 다수의 학습 모델을 생성함으로써, 실시간으로 화재 탐지 시, 외부 환경 조건을 적용한 최적화된 모델을 선택하여 화재를 탐지할 수 있는 기술에 관한 것이다.
특히, 화재 탐지를 위한 객체 탐지 모델 중 가장 높은 성능을 보이는 EfficientDet 알고리즘과 Yolov4 알고리즘을 이용하여, 외부 환경 조건에 따라 그룹화하여 생성한 학습 데이터 셋을 각각 학습시켜 적어도 4개의 학습 모델을 생성하는 것이 바람직하며, 이 때, EfficientDet 알고리즘과 Yolov4 알고리즘으로 한정하는 것은 아니며, 화재 탐지를 위한 객체 탐지 모델 중 가장 높은 성능을 보이는 어느 알고리즘을 적용하여도 무방하다.
이러한 본 발명의 일 실시예에 따른 비젼 기반 화재 탐지 시스템은 도 1에 도시된 바와 같이, 데이터 수집부(100), 데이터 전처리부(200), 학습 처리부(300) 및 실시간 탐지부(400)를 포함하여 구성되는 것이 바람직하다.
상기 데이터 수집부(100), 데이터 전처리부(200) 및 학습 처리부(300)는 하나의 연산 처리 수단으로 구성되어, 화재 탐지를 위한 학습 모델을 생성하는 동작을 수행하는 것이 바람직하며, 상기 실시간 탐지부(400)는 실시간으로 화재 탐지를 수행하기 위한 구성으로서, 상기 연산 처리 수단과는 독립된 또는 동일한 연산 처리 수단에 구성되어 동작을 수행할 수 있다.
이 때, 상기 데이터 수집부(100), 데이터 전처리부(200) 및 학습 처리부(300)는 실시간 화재 탐지를 수행하기 위해서 사전에 화재 탐지를 위한 학습 모델을 생성하는 것이 바람직하며, 상기 실시간 탐지부(400)는 실시간 화재 탐지를 수행하기 위한 다수의 영상 촬영 수단(일 예를 들자면, CCTV 등)과 연결되어 실시간 입력되는 이미지 데이터를 이용하여 생성한 학습 모델을 통해 화재 탐지를 수행하는 것이 바람직하다. 이에 대해서는 추후에 상세하게 설명하도록 한다.
각 구성에 대해서 자세히 알아보자면,
상기 데이터 수집부(100)는 외부로부터 화재 관련 이미지 데이터 또는, 화재 관련 영상 데이터를 수집하는 것이 바람직하다.
이 때, 상기 데이터 수집부(100)는 이미지 크롤링을 통해서 방대한 양의 화재 관련 이미지 데이터 또는, 화재 관련 영상 데이터를 수집하는 것이 바람직하다.
더불어, 화재 관련 영상 데이터의 경우, 영상 프레임 이미지 데이터를 추출하여 활용하게 된다.
상기 데이터 전처리부(200)는 상기 데이터 수집부(100)에서 수집한 수집 데이터, 다시 말하자면, 상기 화재 관련 이미지 데이터 또는, 화재 관련 영상 데이터에서 추출한 영상 프레임 이미지 데이터의 외부 환경 조건 정보를 추출하는 것이 바람직하다.
상기 데이터 전처리부(200)는 상기 수집 데이터의 외부 환경 조건 정보로 야간 환경 조건 또는, 주간 환경 조건을 추출하는 것이 바람직하며, 이를 추출하기 위하여 상기 수집 데이터에 시간 정보가 포함되어 있을 경우, 이를 이용하여, 연계되어 있는 기상청 데이터베이스를 활용하여 해당하는 날짜의 일몰 시간 정보와 일출 시간 정보를 반영하여, 해당하는 수집 데이터가 야간 환경 조건의 화재 데이터인지, 주간 환경 조건의 화재 데이터인지 추출할 수 있다.
또한, 상기 수집 데이터에 시간 정보가 포함되어 있지 않을 경우, 상기 수집 데이터의 전체 영역의 명암 평균값 등 야간 환경 조건과 주간 환경 조건을 구분할 수 있는 기준치를 설정하여, 상기 수집 데이터의 야간 환경 조건 또는, 주간 환경 조건을 추출하는 것이 바람직하다.
상기 학습 처리부(300)는 상기 데이터 전처리부(200)에서 추출한 외부 환경 조건 정보를 기반으로 상기 수집 데이터를 그룹화하여 둘 이상의 학습 데이터 셋을 생성하는 것이 바람직하다.
다시 말하자면, 상기 학습 처리부(300)는 야간 환경 조건의 화재 데이터와 주간 환경 조건의 화재 데이터가 각각 학습될 수 있도록 이를 분류/그룹화하여 적어도 둘의 학습 데이터 셋(야간 환경 조건에 해당하는 화재 데이터, 주간 환경 조건에 해당하는 화재 데이터)을 생성하는 것이 바람직하다.
이는, 실외에서 발생하는 화재의 경우, 태양 빛 에너지가 존재할 때 발생하는 화재 이미지 데이터와 태양 빛 에너지가 존재하지 않을 때 발생하는 화재 이미지 데이터가 갖는 특성이 상이하기 때문에, 이를 구분하여 학습 처리를 수행하는 것이, 추후 실시간 화재 탐지 시 그 정확성과 신뢰성을 높일 수 있다.
일 예를 들자면, 단순하게 이미지 데이터의 어느 특정 부위에 일정치 이상의 밝음이 탐지될 경우 이를 화재로 탐지할 경우, 태양 빛 에너지가 가장 강렬할 때 발생하는 화재를 정확하게 탐지하기 어려울 수 있으며, 태양 빛 에너지가 존재하지 않을 때에는 가로등 또는 자동차 상향등 등으로 인해 발생하는 밝음을 화재로 탐지할 수 도 있는 문제점을 갖고 있다.
이를 해소하기 위하여, 상기 학습 처리부(300)를 통해서 야간 환경 조건의 화재 데이터와 주간 환경 조건의 화재 데이터가 각각 학습될 수 있도록 이를 분류/그룹화하여 학습 데이터 셋을 생성함으로써, 화재 탐지의 오탐율을 낮출 수 있다.
더불어, 상기 학습 처리부(300)는 미리 저장된 둘 이상의 인공 신경망 학습 알고리즘을 이용하여, 생성한 상기 학습 데이터 셋의 각각 학습 처리를 수행함으로써, 다수의 인공 신경망 학습 모델을 생성하는 것이 바람직하다.
즉, 둘 이상의 인공 신경망 학습 알고리즘 각각에, 야간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋, 주간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 각각 학습함으로써, 적어도 네 개의 인공 신경망 학습 모델을 생성하는 것이 바람직하다.
상세하게는, 상기 학습 처리부(300)는 미리 저장되는 둘 이상의 인공 신경망 학습 알고리즘으로, 통상적으로 화재 탐지 시스템이 구축되는 클라우드 기반의 구동 조건에 맞는 탐지 알고리즘과 온 프레미스(on-premise) 기반의 구동 조건에 맞는 탐지 알고리즘을 선택하여 저장하는 것이 바람직하다.
상기 학습 처리부(300에서는 EfficientDet 알고리즘과 Yolov4 알고리즘을 저장하여 활용하였으나, 이는 본 발명의 일 실시예에 불과하며, 이들로 한정하는 것은 아니다.
먼저, 온 프레미스 기반의 화재 탐지 시스템의 경우, '내부망 구성'을 통한 화재 탐지 시스템인 점을 감안하여, 비교적 정확도는 낮지만 자원을 많이 쓰지 않고 빠른 특징을 갖는 Yolov4 알고리즘이 적합하며, 클라우드 기반의 화재 탐지 시스템의 경우, '클라우드 환경'을 통한 화재 탐지 시스템인 점을 감안하여, 높은 FPS로 처리할 수는 없지만 많은 자원을 활용할 수 있고 비교적 정확한 특징을 갖는 EfficientDet 알고리즘이 적합하다.
이러한 점을 고려하여, 상기 학습 처리부(300)는 둘 이상의 인공 신경망 학습 알고리즘을 이용하여, 상기 학습 데이터 셋을 각각 학습하여 다수의 인공 신경망 학습 모델을 생성하는 것이 바람직하다.
상기 실시간 탐지부(400)는 상기 학습 처리부(300)를 통해서 사전에 생성된 다수의 인공 신경망 학습 모델을 적용하여, 실시간 화재 탐지를 수행하는 것이 바람직하다.
이를 위해, 상기 실시간 탐지부(400)는 연계되어 있는 영상 촬영 수단을 통해서 지속적으로 영상 데이터 또는 이미지 데이터를 입력받는 것이 바람직하며, 영상 데이터로 입력될 경우, 영상 데이터의 전송 시계열 순서대로 추출한 상기 영상 프레임 이미지 데이터를 추출하여 활용하는 것이 바람직하다.
상기 실시간 탐지부(400)는 상기 학습 처리부(300)에서 생성한 다수의 인공 신경망 학습 모델 중 적어도 하나의 인공 신경망 학습 모델을 선택하고, 선택된 상기 인공 신경망 학습 모델에 실시간으로 입력되는 이미지 데이터 또는, 상기 영상 프레임 이미지 데이터를 적용하여 화재 탐지, 다시 말하자면, 화재 객체 탐지를 수행하는 것이 바람직하다.
이 때, 상기 실시간 탐지부(400)는 다수의 인공 신경망 학습 모델 중 적어도 하나의 인공 신경망 학습 모델을 선택함에 있어서, 상기 실시간 탐지부(400)가 구성되어 있는 화재 탐지 시스템의 구동 조건(온 프레미스 기반의 구동 조건 또는, 클라우드 기반의 구동 조건)을 감안하여 해당되는 구동 조건에 맞는 탐지 알고리즘을 통해서 생성된 인공 신경망 학습 모델을 선택하고, 그 중 현재 탐지 외부 환경 조건(주간 또는 야간)에 해당되는 학습 데이터 셋을 학습한 결과 모델을 선택하는 것이 가장 바람직하다.
그렇지만, 이 경우, 상기 실시간 탐지부(400)가 구성되어 있는 화재 탐지 시스템의 구동 조건에 따라서, 하나의 탐지 알고리즘에 의해 생성한 학습 모델을 적용하기 때문에, 그 정확도가 낮아질 수 있기 때문에, 본 발명의 일 실시예에 따른 비젼 기반 화재 탐지 시스템의 상기 실시간 탐지부(400)에서는, 둘 이상의 인공 신경망 학습 알고리즘에 의해 생성한 학습 모델을 순차적으로 적용하거나, 특정한 조건(첫 번째 학습 모델을 통해서 화재 객체 탐지가 이루어진 경우)에서 적용함으로써, 화재 탐지의 정확도 및 신뢰도를 향상시킬 수 있다.
이 때, 순차적인 적용의 예로는, 1차로 온 프레미스 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델을 선택하여 화재 객체 탐지를 수행한 후, 2차로 클라우드 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델을 선택하여 화재 객체 탐지를 수행할 수 있다.
또는 특정한 조건에서의 적용의 예로는, 1차로 화재 객체 탐지를 수행한 온 프레미스 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델의 탐지 결과로, 화재 객체가 탐지될 경우에만, 2차로 클라우드 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델을 선택하여 화재 객체 탐지를 수행할 수도 있다.
이를 통해서, 정확도는 다소 낮지만 비교적 신속하게 객체 탐지를 수행할 수 있는 온 프레미스 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델을 통한 화재 탐지를 수행하고, 이후 정확도, 신뢰도 향상을 위해 클라우드 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델을 선택하여 화재 객체 탐지를 수행함으로써, 탐지 정확도를 향상시킬 수 있는 장점이 있다.
이를 위해, 상기 실시간 탐지부(400)는 도 1에 도시된 바와 같이, 제1 선택부(410), 제2 선택부(420), 탐지 수행부(430) 및 탐지 검증부(440)를 포함하여 구성되는 것이 바람직하다.
상기 제1 선택부(410)는 상술한 바와 같이, 온 프레미스 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델을 선택하는 것이 바람직하다.
여기서, 상기 제1 선택부(410)를 통해서 두 개의 인공 신경망 학습 모델이 선택되는 것이 바람직하며, 상세하게는, Yolov4 알고리즘을 이용하여 생성된 인공 신경망 학습 모델이 선택되되, 야간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋, 주간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 각각 학습한 두 개의 인공 신경망 학습 모델이 선택되게 된다.
상기 제2 선택부(420)는 실시간 화재 탐지가 이루어지는 동안의 입력 데이터, 다시 말하자면, 연계되어 있는 영상 촬영 수단을 통해서 지속적으로 입력되는 감시 데이터(영상 데이터 또는 이미지 데이터)를 분석하여, 외부 환경 조건 정보를 추출하는 것이 바람직하다.
이를 토대로 상기 제1 선택부(410)에 의해 선택된 두 개의 인공 신경망 학습 모델 중 추출한 외부 환경 조건 정보에 해당하는 학습 데이터 셋을 학습하여 생성된 인공 신경망 학습 모델을 선택하는 것이 바람직하다.
즉, Yolov4 알고리즘을 이용하여 생성된 두 개의 인공 신경망 학습 모델 중 실시간 입력되는 감시 데이터가 해당하는 외부 환경 조건 정보(주간 환경 조건 또는, 야간 환경 조건)를 반영하여 해당하는 학습 데이터 셋을 학습한 어느 하나의 인공 신경망 학습 모델이 선택되게 된다.
여기서, 상기 제2 선택부(420)는 입력 데이터의 외부 환경 조건 정보를 추출하기 위하여, 외부로부터, 다시 말하자면, 연계되어 있는 기상청 데이터베이스를 입력받아 기상청 데이터베이스에 포함되어 있는 일출시간 정보와 일몰시간 정보를 추출하여, 이를 기준으로 주간 환경/야간 환경을 구분하는 것이 바람직하다.
상세하게는, 상기 제2 선택부(420)는 입력 데이터에 포함되어 있는 시간 정보 또는, 상기 실시간 탐지부(400)를 이용하고 있는 '화재 탐지 시스템'으로부터 입력되는 실시간 화재 탐지가 이루어지는 시간 정보를 이용하여, 기상청 데이터베이스에 포함되어 있는 일출시간 정보와 일몰시간 정보를 반영하여 실시간 화재 탐지가 이루어지고 있는 현재가 주간 환경 조건인지, 야간 환경 조건인지 판단하여 입력 데이터의 외부 환경 조건 정보를 추출하는 것이 바람직하다.
이 때, 상기 데이터 전처리부(200)에서는 대량의 수집 데이터를 학습 데이터 셋으로 생성하기 때문에, 보다 포괄적으로 외부 환경 조건 정보가 분류되어도 무방하게 된다. 그렇기 때문에, 기상청 데이터베이스까지 활용하지 않고, 수집 데이터 자체의 특징점을 추출하여 외부 환경 조건 정보를 구분하는 것이 바람직하다.
그렇지만, 상기 실시간 탐지부(400)를 이용하고 있는 '화재 탐지 시스템'으로부터 입력되는 감시 데이터는 보다 높은 정확도가 요구되기 때문에, 기상청 데이터베이스까지 활용하여 보다 섬세하게 외부 환경 조건 정보를 추출하는 것이 바람직하다.
이를 통해서, 상기 제2 선택부(420)는 추출한 입력 데이터의 외부 환경 조건 정보를 반영하여, 상기 제1 선택부(410)에 의해 선택된 두 개의 인공 신경망 학습 모델 중 추출한 외부 환경 조건 정보에 해당하는 학습 데이터 셋을 학습하여 생성된 인공 신경망 학습 모델을 선택하게 된다.
상기 탐지 수행부(430)는 상기 제2 선택부(420)에 의해 선택된 인공 신경망 학습 모델에 실시간으로 입력되는 이미지 데이터를 입력 데이터로 적용하여, 화재 객체 탐지를 수행하게 된다.
이 때, 상기 탐지 수행부(430)에 의한 화재 객체 탐지는 '1차 탐지' 개념으로 해석하는 것이 바람직하며, 상기 탐지 검증부(440)를 통해서 상기 탐지 수행부(430)에 의한 화재 객체 탐지 결과의 검증을 수행하는 것이 바람직하다.
상기 탐지 검증부(440)의 동작 여부는 상기 실시간 탐지부(400)를 이용하고 있는 '화재 탐지 시스템'의 사용 관리자(또는, 제어자 등)의 설정에 따라 상기 탐지 수행부(430)에서의 탐지 결과가 화재 발생일 경우에만 다시 한번 재탐지를 수행하기 위해 동작을 제어하거나, 상기 탐지 수행부(430)의 탐지 결과와는 무관하게 '2차 탐지'의 개념으로 동작을 수행할 수도 있다.
이러한 상기 탐지 검증부(440)는 상기 제1 선택부(410)에 의한 인공 신경망 학습 모델의 선택과 상이하도록 하여 2차 탐지에 활용한 인공 신경망 학습 모델의 중복 선택이 발생하지 않도록, 클라우드 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델을 선택하는 것이 바람직하다.
상기 제1 선택부(410)와 마찬가지로, 두 개의 인공 신경망 학습 모델이 선택되는 것이 바람직하며, 상세하게는, EfficientDet 알고리즘을 이용하여 생성된 인공 신경망 학습 모델이 선택되되, 야간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋, 주간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 각각 학습한 두 개의 인공 신경망 학습 모델을 선택한 후, 상기 제2 선택부(420)에 의해 추출한 외부 환경 조건 정보에 해당하는 학습 데이터 셋을 학습하여 생성된 하나의 인공 신경망 학습 모델을 선택하는 것이 바람직하다.
상기 탐지 검증부(440)는 선택한 인공 신경망 학습 모델에 실시간으로 입력되는 이미지 데이터를 입력 데이터로 적용하여, 화재 객체 탐지를 수행하는 것이 바람직하다.
이 때, 상기 탐지 검증부(440)의 탐지 결과와 상기 탐지 수행부(430)의 탐지 결과가 상이할 경우, 상기 탐지 검증부(440)에 의한 탐지 결과를 최종 탐지 결과로 설정하거나, 상기 실시간 탐지부(400)를 이용하고 있는 '화재 탐지 시스템'의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델에 의한 탐지 결과를 최종 탐지 결과로 설정하는 것이 바람직하며, 이는 사용 관리자(또는, 제어자 등)로부터 설정 입력받게 된다.
더불어, 상기 실시간 탐지부(400)는 상기 제2 선택부(420)에서 추출한 상기 입력 데이터의 외부 환경 조건 정보가 주간 환경 조건과 야간 환경 조건 사이의 소정 범위 내일 경우, 야간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 학습한 인공 신경망 학습 모델과 주간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 학습한 인공 신경망 학습 모델을 모두 선택하는 것이 바람직하다.
다시 말하자면, 상기 실시간 탐지부(400)는 일출 시간부터 일몰 시간까지의 시간 정보에 해당하는 입력 데이터를 주간 환경 조건이라 하고, 일몰 시간부터 일출 시간까지의 시간 정보에 해당하는 입력 데이터를 야간 환경 조건이라 할 경우, 현재 입력 데이터의 시간 정보가 일출 시간의 30분 전, 일몰 시간의 30분 후와 같이, 야간과 주간의 경계를 정확하게 구분하기 어려운 시간대의 외부 환경 조건을 소정 범위로 설정하고, 해당하는 소정 범위 내에 시간 정보가 입력될 경우, 야간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 학습한 인공 신경망 학습 모델과 주간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 학습한 인공 신경망 학습 모델을 모두 선택하는 것이 바람직하다.
단, 탐지 수행부(430) 또는, 탐지 검증부(440)에서 두 개의 인공 신경망 학습 모델에 의한 탐지 결과를 도출하되, 현재 시간 정보가 포함되는 영역의 인공 신경망 학습 모델에 의한 탐지 결과, 일 예를 들자면, 일출 시간의 30분 전일 경우, 분류하자면 야간 환경 조건에 해당하기 때문에, 야간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 학습한 인공 신경망 학습 모델에 의한 탐지 결과에 소정 가중치를 더 주어, 최종 탐지 결과로 설정하는 것이 바람직하며, 소정 가중치는 사용 관리자(또는, 제어자 등)로부터 설정 입력받게 된다.
도 2는 본 발명의 일 실시예에 따른 비젼 기반 화재 탐지 방법을 나타낸 순서 예시도로서, 본 발명의 일 실시예에 따른 비젼 기반 화재 탐지 방법은 도 2에 도시된 바와 같이, 수집 단계(S100), 환경 추출 단계(S200), 셋 생성 단계(S300), 학습 단계(S400), 탐지 시작 단계(S500), 실시간 환경 추출 단계(S600), 모델 선택 단계(S700) 및 탐지 수행 단계(S800)를 포함하여 구성되는 것이 바람직하다.
각 단계에 대해서 자세히 알아보자면,
상기 수집 단계(S100)는 상기 데이터 수집부(100)에서, 외부로부터 화재 관련 이미지 데이터 또는, 화재 관련 영상 데이터를 수집하게 된다.
상기 수집 단계(S100)는 이미지 크롤링을 통해서 방대한 양의 화재 관련 이미지 데이터 또는, 화재 관련 영상 데이터를 수집하는 것이 바람직하며, 화재 관련 영상 데이터의 경우, 영상 프레임 이미지 데이터를 추출하여 활용하게 된다.
상기 환경 추출 단계(S200)는 상기 데이터 전처리부(200)에서, 상기 수집 단계(S100)에 의해 수집한 수집 데이터, 다시 말하자면, 상기 화재 관련 이미지 데이터 또는, 화재 관련 영상 데이터에서 추출한 영상 프레임 이미지 데이터의 외부 환경 조건 정보를 추출하게 된다.
상세하게는, 상기 환경 추출 단계(S200)는 상기 수집 데이터의 외부 환경 조건 정보로 야간 환경 조건 또는, 주간 환경 조건을 추출하는 것이 바람직하며, 이를 추출하기 위하여 상기 수집 데이터에 시간 정보가 포함되어 있을 경우, 이를 이용하여, 연계되어 있는 기상청 데이터베이스를 활용하여 해당하는 날짜의 일몰 시간 정보와 일출 시간 정보를 반영하여, 해당하는 수집 데이터가 야간 환경 조건의 화재 데이터인지, 주간 환경 조건의 화재 데이터인지 추출할 수 있다.
또한, 상기 수집 데이터에 시간 정보가 포함되어 있지 않을 경우, 상기 수집 데이터의 전체 영역의 명암 평균값 등 야간 환경 조건과 주간 환경 조건을 구분할 수 있는 기준치를 설정하여, 상기 수집 데이터의 야간 환경 조건 또는, 주간 환경 조건을 추출하는 것이 바람직하다.
상기 셋 생성 단계(S300)는 상기 학습 처리부(300)에서, 상기 환경 추출 단계(S200)에 의해 추출한 외부 환경 조건 정보를 기반으로 상기 수집 데이터를 그룹화하여 둘 이상의 학습 데이터 셋을 생성하게 된다.
즉, 상기 셋 생성 단계(S300)는 야간 환경 조건의 화재 데이터와 주간 환경 조건의 화재 데이터가 각각 학습될 수 있도록 이를 분류/그룹화하여 적어도 둘의 학습 데이터 셋(야간 환경 조건에 해당하는 화재 데이터, 주간 환경 조건에 해당하는 화재 데이터)을 생성하게 된다.
상기 학습 단계(S400)는 상기 학습 처리부(300)에서, 미리 저장된 둘 이상의 인공 신경망 학습 알고리즘을 이용하여, 상기 셋 생성 단계(S300)에 의해 생성한 상기 학습 데이터 셋의 각각 학습 처리를 수행함으로써, 다수의 인공 신경망 학습 모델을 생성하게 된다.
다시 말하자면, 상기 학습 단계(S400)는 둘 이상의 인공 신경망 학습 알고리즘 각각에, 야간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋, 주간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 각각 학습함으로써, 적어도 네 개의 인공 신경망 학습 모델을 생성하게 된다.
미리 저장되는 둘 이상의 인공 신경망 학습 알고리즘으로, 통상적으로 화재 탐지 시스템이 구축되는 클라우드 기반의 구동 조건에 맞는 탐지 알고리즘과 온 프레미스(on-premise) 기반의 구동 조건에 맞는 탐지 알고리즘을 선택하여 저장하는 것이 바람직하다.
먼저, 온 프레미스 기반의 화재 탐지 시스템의 경우, '내부망 구성'을 통한 화재 탐지 시스템인 점을 감안하여, 비교적 정확도는 낮지만 자원을 많이 쓰지 않고 빠른 특징을 갖는 Yolov4 알고리즘이 적합하며, 클라우드 기반의 화재 탐지 시스템의 경우, '클라우드 환경'을 통한 화재 탐지 시스템인 점을 감안하여, 높은 FPS로 처리할 수는 없지만 많은 자원을 활용할 수 있고 비교적 정확한 특징을 갖는 EfficientDet 알고리즘이 적합하다.
이러한 점을 고려하여, 상기 학습 처리부(300)는 둘 이상의 인공 신경망 학습 알고리즘을 이용하여, 상기 학습 데이터 셋을 각각 학습하여 다수의 인공 신경망 학습 모델을 생성하는 것이 바람직하다.
상기 탐지 시작 단계(S500)는 상기 실시간 탐지부(400)에서, 화재 탐지를 위해 실시간으로 화재 감시 데이터, 다시 말하자면, 연계되어 있는 영상 촬영 수단을 통해서 지속적으로 영상 데이터 또는 이미지 데이터를 입력받는 것이 바람직하며, 영상 데이터로 입력될 경우, 영상 데이터의 전송 시계열 순서대로 추출한 상기 영상 프레임 이미지 데이터를 추출하여 활용하게 된다.
상기 실시간 환경 추출 단계(S600)는 상기 실시간 탐지부(400)에서, 상기 탐지 시작 단계(S500)에 의해 입력되는 입력 데이터, 다시 말하자면, 실시간 화재 탐지가 이루어지는 동안 연계되어 있는 영상 촬영 수단을 통해서 지속적으로 입력되는 감시 데이터(영상 데이터 또는 이미지 데이터)를 분석하여, 외부 환경 조건 정보를 추출하게 된다.
이 때, 상기 실시간 환경 추출 단계(S600)는 입력 데이터의 외부 환경 조건 정보를 추출하기 위하여, 외부로부터, 다시 말하자면, 연계되어 있는 기상청 데이터베이스를 입력받아 기상청 데이터베이스에 포함되어 있는 일출시간 정보와 일몰시간 정보를 추출하여, 이를 기준으로 주간 환경/야간 환경을 구분하는 것이 바람직하다.
상세하게는, 입력 데이터에 포함되어 있는 시간 정보 또는, 구동되고 있는 '화재 탐지 시스템'으로부터 입력되는 실시간 화재 탐지가 이루어지는 시간 정보를 이용하여, 기상청 데이터베이스에 포함되어 있는 일출시간 정보와 일몰시간 정보를 반영하여 실시간 화재 탐지가 이루어지고 있는 현재가 주간 환경 조건인지, 야간 환경 조건인지 판단하여 입력 데이터의 외부 환경 조건 정보를 추출하는 것이 바람직하다.
상기 모델 선택 단계(S700)는 상기 실시간 탐지부(400)에서, 상기 학습 단계(S400)에 의해 생성된 다수의 인공 신경망 학습 모델들 중 온 프레미스 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델을 선택하게 된다. 이를 통해서, 두 개의 인공 신경망 학습 모델이 선택되는 것이 바람직하며, 상세하게는, Yolov4 알고리즘을 이용하여 생성된 인공 신경망 학습 모델이 선택되되, 야간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋, 주간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 각각 학습한 두 개의 인공 신경망 학습 모델이 선택되게 된다.
상기 모델 선택 단계(S700)는 선택된 두 개의 인공 신경망 학습 모델 중 상기 실시간 환경 추출 단계(S600)에 의해 추출한 외부 환경 조건 정보에 해당하는 학습 데이터 셋을 학습하여 생성된 인공 신경망 학습 모델을 선택하게 된다.
즉, Yolov4 알고리즘을 이용하여 생성된 두 개의 인공 신경망 학습 모델 중 실시간 입력되는 감시 데이터가 해당하는 외부 환경 조건 정보(주간 환경 조건 또는, 야간 환경 조건)를 반영하여 해당하는 학습 데이터 셋을 학습한 어느 하나의 인공 신경망 학습 모델이 선택되게 된다.
상기 탐지 수행 단계(S800)는 상기 실시간 탐지부(400)에서, 상기 모델 선택 단계(S700)에 의해 선택된 인공 신경망 학습 모델에 실시간으로 입력되는 이미지 데이터를 입력 데이터로 적용하여, 화재 객체 탐지를 수행하게 된다.
이 때, 상기 탐지 수행 단계(S800)에 의한 화재 객체 탐지는 '1차 탐지' 개념으로 해석하는 것이 바람직하며, 탐지 결과에 대한 검증을 수행하는 것이 바람직하다.
이를 위해, 본 발명의 일 실시예에 따른 비젼 기반 화재 탐지 방법은 도 2에 도시된 바와 같이, 모델 재선택 단계(S900) 및 탐지 재수행 단계(S1000)를 더 포함하여 구성되는 것이 바람직하다.
상기 모델 재선택 단계(S900)는 상기 실시간 탐지부(400)에서, 상기 학습 단계(S400)에 의해 생성된 다수의 인공 신경망 학습 모델들 중 클라우드 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델을 선택하게 된다.
이를 통해서, 상기 모델 선택 단계(S700)와 마찬가지로 두 개의 인공 신경망 학습 모델이 선택되는 것이 바람직하며, 상세하게는, EfficientDet 알고리즘을 이용하여 생성된 인공 신경망 학습 모델이 선택되되, 야간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋, 주간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 각각 학습한 두 개의 인공 신경망 학습 모델을 선택되게 된다.
이 후, 상기 모델 재선택 단계(S900)는 선택된 두 개의 인공 신경망 학습 모델 중 상기 실시간 환경 추출 단계(S600)에 의해 추출한 외부 환경 조건 정보에 해당하는 학습 데이터 셋을 학습하여 생성된 인공 신경망 학습 모델을 선택하게 된다.
즉, EfficientDet 알고리즘을 이용하여 생성된 두 개의 인공 신경망 학습 모델 중 실시간 입력되는 감시 데이터가 해당하는 외부 환경 조건 정보(주간 환경 조건 또는, 야간 환경 조건)를 반영하여 해당하는 학습 데이터 셋을 학습한 어느 하나의 인공 신경망 학습 모델이 선택되게 된다.
상기 탐지 재수행 단계(S1000)는 상기 실시간 탐지부(400)에서, 상기 모델 재선택 단계(S900)에 의해 선택한 인공 신경망 학습 모델에 실시간으로 입력되는 이미지 데이터를 입력 데이터로 적용하여, 화재 객체 탐지를 수행하게 된다.
이 때, 상기 탐지 수행 단계(S800)의 탐지 결과와 탐지 재수행 단계(S1000)의 탐지 결과가 상이할 경우, 상기 탐지 재수행 단계(S1000)에 의한 탐지 결과를 최종 탐지 결과로 설정하는 것이 가장 바람직하나, 상기 실시간 탐지부(400)의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델에 의한 탐지 결과를 최종 탐지 결과로 설정하는 것이 바람직하며, 이는 사용 관리자(또는, 제어자 등)로부터 설정 입력받게 된다.
더불어, 본 발명의 일 실시예에 따른 비젼 기반 화재 탐지 방법은, 상기 실시간 환경 추출 단계(S600)에 의해 추출한 외부 환경 조건 정보가 주간 환경 조건과 야간 환경 조건 사이의 소정 범위 내일 경우, 야간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 학습한 인공 신경망 학습 모델과 주간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 학습한 인공 신경망 학습 모델을 모두 선택하는 것이 바람직하다.
다시 말하자면, 일출 시간부터 일몰 시간까지의 시간 정보에 해당하는 입력 데이터를 주간 환경 조건이라 하고, 일몰 시간부터 일출 시간까지의 시간 정보에 해당하는 입력 데이터를 야간 환경 조건이라 할 경우, 현재 입력 데이터의 시간 정보가 일출 시간의 30분 전, 일몰 시간의 30분 후와 같이, 야간과 주간의 경계를 정확하게 구분하기 어려운 시간대의 외부 환경 조건을 소정 범위로 설정하고, 해당하는 소정 범위 내에 시간 정보가 입력될 경우, 야간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 학습한 인공 신경망 학습 모델과 주간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 학습한 인공 신경망 학습 모델을 모두 선택하는 것이 바람직하다.
다만, 상기 탐지 수행 단계(S800), 탐지 재수행 단계(S1000) 모두에서 두 개의 인공 신경망 학습 모델에 의한 탐지 결과를 도출하되, 현재 시간 정보가 포함되는 영역의 인공 신경망 학습 모델에 의한 탐지 결과, 일 예를 들자면, 일출 시간의 30분 전일 경우, 분류하자면 야간 환경 조건에 해당하기 때문에, 야간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 학습한 인공 신경망 학습 모델에 의한 탐지 결과에 소정 가중치를 더 주어, 최종 탐지 결과로 설정하는 것이 바람직하며, 소정 가중치는 사용 관리자(또는, 제어자 등)로부터 설정 입력받게 된다.
이상과 같이 본 발명에서는 구체적인 구성 소자 등과 같은 특정 사항들과 한정된 실시예 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것 일 뿐, 본 발명은 상기의 일 실시예에 한정되는 것이 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허 청구 범위뿐 아니라 이 특허 청구 범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
100 : 데이터 수집부
200 : 데이터 전처리부
300 : 학습 처리부
400 : 실시간 탐지부
410 : 제1 선택부 420 : 제2 선택부
430 : 탐지 수행부 440 : 탐지 검증부

Claims (11)

  1. 외부로부터 화재 관련 이미지 데이터 또는, 화재 관련 영상 데이터를 수집하는 데이터 수집부(100);
    상기 데이터 수집부(100)에서 수집한 수집 데이터의 외부 환경 조건 정보를 추출하는 데이터 전처리부(200);
    상기 데이터 전처리부(200)에서 추출한 외부 환경 조건 정보를 기반으로 상기 수집 데이터를 그룹화하여 둘 이상의 학습 데이터 셋을 생성하고, 기저장된 둘 이상의 인공 신경망 학습 알고리즘을 이용하여, 상기 학습 데이터 셋을 각각 학습하여 다수의 인공 신경망 학습 모델을 생성하는 학습 처리부(300); 및
    실시간 화재 탐지 시, 상기 학습 처리부(300)에서 생성한 다수의 인공 신경망 학습 모델 중 적어도 하나의 인공 신경망 학습 모델을 선택하고, 선택된 상기 인공 신경망 학습 모델에 실시간 입력되는 이미지 데이터를 적용하여 화재 탐지를 수행하는 실시간 탐지부(400);
    를, 포함하는 비젼 기반 화재 탐지 시스템.
  2. 제 1항에 있어서,
    상기 데이터 전처리부(200)는
    상기 수집 데이터의 외부 환경 조건 정보로 야간 환경 조건 또는, 주간 환경 조건을 추출하는, 비젼 기반 화재 탐지 시스템.
  3. 제 2항에 있어서,
    상기 실시간 탐지부(400)는
    온 프레미스(on-premise) 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여, 생성된 인공 신경망 학습 모델을 선택하는 제1 선택부(410);
    를 더 포함하는, 비젼 기반 화재 탐지 시스템.
  4. 제 3항에 있어서,
    상기 실시간 탐지부(400)는
    실시간 화재 탐지가 이루어지는 동안의 입력 데이터에 대한 외부 환경 조건 정보를 추출하여, 상기 제1 선택부(410)에 의해 선택된 인공 신경망 학습 모델 중 추출한 외부 환경 조건 정보에 해당하는 학습 데이터 셋을 학습하여 생성된 인공 신경망 학습 모델을 선택하는 제2 선택부(420);
    를 더 포함하는, 비젼 기반 화재 탐지 시스템.
  5. 제 4항에 있어서,
    상기 제2 선택부(420)는
    외부로부터 일출시간 정보와 일몰시간 정보를 입력받아, 입력된 상기 정보에 실시간 화재 탐지가 이루어지는 시간 정보를 반영하여 상기 입력 데이터의 외부 환경 조건 정보를 추출하는, 비젼 기반 화재 탐지 시스템.
  6. 제 4항에 있어서,
    상기 실시간 탐지부(400)는
    상기 제2 선택부(420)에 의해 선택된 인공 신경망 학습 모델에 실시간 입력되는 이미지 데이터를 입력 데이터로 적용하여 화재 탐지를 수행하는 탐지 수행부(430);
    를 더 포함하는, 비젼 기반 화재 탐지 시스템.
  7. 제 6항에 있어서,
    상기 실시간 탐지부(400)는
    클라우드 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델 중 상기 제2 선택부(420)에 의해 추출한 입력 데이터의 외부 환경 조건 정보에 해당하는 학습 데이터 셋을 학습하여 생성된 인공 신경망 학습 모델을 선택하여, 상기 입력 데이터의 화재 탐지를 재수행하는 탐지 검증부(440);
    를 더 포함하는, 비젼 기반 화재 탐지 시스템.
  8. 제 4항에 있어서,
    상기 실시간 탐지부(400)는
    상기 탐지 수행부(430)와 탐지 검증부(440) 간의 화재 탐지 결과가 상이할 경우, 상기 탐지 검증부(440)의 화재 탐지 결과를 최종 탐지 결과 데이터로 적용하는, 비젼 기반 화재 탐지 시스템.
  9. 데이터 수집부에서, 외부로부터 화재 관련 이미지 데이터 또는, 화재 관련 영상 데이터를 수집하는 수집 단계(S100);
    데이터 전처리부에서, 상기 수집 단계(S100)에 의해 수집한 수집 데이터의 외부 환경 조건 정보를 추출하는 환경 추출 단계(S200);
    학습 처리부에서, 상기 환경 추출 단계(S200)에 의해 추출한 외부 환경 조건 정보를 기반으로 상기 수집 데이터를 그룹화하여, 적어도 두 개의 학습 데이터 셋을 생성하는 셋 생성 단계(S300);
    학습 처리부에서, 기저장된 둘 이상의 인공 신경망 학습 알고리즘을 이용하여, 상기 셋 생성 단계(S300)에 의해 생성한 적어도 두 개의 학습 데이터 셋을 각각 학습하여, 다수의 인공 신경망 학습 모델을 생성하는 학습 단계(S400);
    실시간 탐지부에서, 화재 탐지를 위해 실시간으로 이미지 데이터를 입력받는 탐지 시작 단계(S500);
    실시간 탐지부에서, 상기 탐지 시작 단계(S500)에 의해 입력되는 입력 데이터에 대한 외부 환경 조건 정보를 추출하는 실시간 환경 추출 단계(S600);
    실시간 탐지부에서, 상기 학습 단계(S400)에 의해 생성된 다수의 인공 신경망 학습 모델들 중 온 프레미스(on-premise) 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델을 선택하고, 선택한 인공 신경망 학습 모델 중 상기 실시간 환경 추출 단계(S600)에 의해 추출한 입력 데이터의 외부 환경 조건 정보에 해당하는 학습 데이터 셋을 학습하여 생성된 인공 신경망 학습 모델을 선택하는 모델 선택 단계(S700); 및
    실시간 탐지부에서, 상기 모델 선택 단계(S700)에 의해 선택한 인공 신경망 학습 모델을 이용하여, 실시간 입력되는 이미지 데이터에 대한 화재 탐지를 수행하는 탐지 수행 단계(S800);
    를 포함하는, 비젼 기반 화재 탐지 방법.
  10. 제 9항에 있어서,
    상기 비젼 기반 화재 탐지 방법은
    실시간 탐지부에서, 상기 학습 단계(S400)에 의해 생성된 다수의 인공 신경망 학습 모델들 중 클라우드 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델을 선택하고, 선택한 인공 신경망 학습 모델 중 상기 실시간 환경 추출 단계(S600)에 의해 추출한 입력 데이터의 외부 환경 조건 정보에 해당하는 학습 데이터 셋을 학습하여 생성된 인공 신경망 학습 모델을 선택하는 모델 재선택 단계(S900); 및
    실시간 탐지부에서, 상기 모델 재선택 단계(S900)에 의해 선택한 인공 신경망 학습 모델을 이용하여, 실시간 입력되는 이미지 데이터에 대한 화재 탐지를 수행하는 탐지 재수행 단계(S1000);
    를 더 포함하되,
    상기 탐지 수행 단계(S800)와 탐지 재수행 단계(S1000)의 화재 탐지 결과가 상이할 경우, 상기 탐지 재수행 단계(S1000)의 화재 탐지 결과를 최종 탐지 결과 데이터로 적용하는, 비젼 기반 화재 탐지 방법.
  11. 제 9항에 있어서,
    상기 실시간 환경 추출 단계(S600)는
    외부로부터 일출시간 정보와 일몰시간 정보를 입력받아, 입력된 상기 정보에 실시간 화재 탐지가 이루어지는 시간 정보를 반영하여 상기 입력 데이터의 외부 환경 조건 정보를 추출하는, 비젼 기반 화재 탐지 방법.
KR1020210098303A 2021-07-27 2021-07-27 비젼 기반 화재 탐지 시스템 및 그 방법 KR102549809B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210098303A KR102549809B1 (ko) 2021-07-27 2021-07-27 비젼 기반 화재 탐지 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210098303A KR102549809B1 (ko) 2021-07-27 2021-07-27 비젼 기반 화재 탐지 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20230016826A true KR20230016826A (ko) 2023-02-03
KR102549809B1 KR102549809B1 (ko) 2023-06-30

Family

ID=85225990

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210098303A KR102549809B1 (ko) 2021-07-27 2021-07-27 비젼 기반 화재 탐지 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102549809B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102665312B1 (ko) * 2023-05-02 2024-05-14 주식회사 휴먼시스템즈 안전대피를 위한 터널제어함체 원격 제어방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018088105A (ja) * 2016-11-29 2018-06-07 ホーチキ株式会社 監視システム
KR20200013218A (ko) 2018-07-12 2020-02-06 주식회사동우유니온 영상처리와 딥러닝 기반의 ai를 이용한 조기 화재감지 시스템, 서버 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018088105A (ja) * 2016-11-29 2018-06-07 ホーチキ株式会社 監視システム
KR20200013218A (ko) 2018-07-12 2020-02-06 주식회사동우유니온 영상처리와 딥러닝 기반의 ai를 이용한 조기 화재감지 시스템, 서버 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102665312B1 (ko) * 2023-05-02 2024-05-14 주식회사 휴먼시스템즈 안전대피를 위한 터널제어함체 원격 제어방법

Also Published As

Publication number Publication date
KR102549809B1 (ko) 2023-06-30

Similar Documents

Publication Publication Date Title
CN110688925B (zh) 基于深度学习的级联目标识别方法及系统
KR101353952B1 (ko) 시공간적 비오에프와 랜덤 포레스트를 이용한 산불 연기 감지 방법
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
KR101967645B1 (ko) 퍼지로직과 딥러닝 통합 기반의 화재 감지 장치 및 방법
CN112541508A (zh) 果实分割识别方法及系统、果实采摘机器人
CN109815904B (zh) 一种基于卷积神经网络的火灾识别方法
CN111862065B (zh) 基于多任务深度卷积神经网络的输电线路诊断方法和系统
KR102392822B1 (ko) 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치 및 방법
CN111191535B (zh) 基于深度学习的行人检测模型构建方法及行人检测方法
KR102391853B1 (ko) 영상 정보 처리 시스템 및 방법
KR102549809B1 (ko) 비젼 기반 화재 탐지 시스템 및 그 방법
CN113065601A (zh) 基于遗传算法优化的深度学习林火异常检测方法
US20110040710A1 (en) Structured differential learning
CN108986076A (zh) 一种基于pso优化pcnn的光伏阵列热斑检测方法
CN109684982B (zh) 结合易混目标排除的基于视频分析的火焰检测方法
CN112488213A (zh) 一种基于多尺度特征学习网络的火灾图片分类方法
CN111898427A (zh) 一种基于特征融合深度神经网络的多光谱行人检测方法
CN116563762A (zh) 一种油气站火灾检测方法、系统、介质、设备及终端
CN116894799A (zh) 用于域泛化的数据增强
CN111783891B (zh) 一种定制化物体检测方法
JP7380902B2 (ja) 物体検知装置、学習済みモデル生成方法、及び、プログラム
CN114419026A (zh) 基于视觉注意力的航空发动机保险丝绕向识别系统及方法
CN114169623A (zh) 一种电力设备故障分析方法、装置、电子设备及存储介质
CN110084190B (zh) 一种基于ann的剧烈光照环境下实时非结构化道路检测方法
CN112037248A (zh) 一种基于计算机视觉的矿井下人员跟踪算法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant