KR102549809B1 - Fire detection system and method based on vision - Google Patents
Fire detection system and method based on vision Download PDFInfo
- Publication number
- KR102549809B1 KR102549809B1 KR1020210098303A KR20210098303A KR102549809B1 KR 102549809 B1 KR102549809 B1 KR 102549809B1 KR 1020210098303 A KR1020210098303 A KR 1020210098303A KR 20210098303 A KR20210098303 A KR 20210098303A KR 102549809 B1 KR102549809 B1 KR 102549809B1
- Authority
- KR
- South Korea
- Prior art keywords
- neural network
- artificial neural
- detection
- data
- fire
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 222
- 238000000034 method Methods 0.000 title abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims abstract description 156
- 230000007613 environmental effect Effects 0.000 claims abstract description 102
- 238000011897 real-time detection Methods 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 238000013480 data collection Methods 0.000 claims abstract description 15
- 239000000284 extract Substances 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 22
- 238000012795 verification Methods 0.000 claims description 17
- 238000012544 monitoring process Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000009193 crawling Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Signal Processing (AREA)
- Fire-Detection Mechanisms (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 비젼 기반 화재 탐지 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는, 외부로부터 화재 관련 이미지 데이터 또는, 화재 관련 영상 데이터를 수집하는 데이터 수집부(100), 상기 데이터 수집부(100)에서 수집한 수집 데이터의 외부 환경 조건 정보를 추출하는 데이터 전처리부(200), 상기 데이터 전처리부(200)에서 추출한 외부 환경 조건 정보를 기반으로 상기 수집 데이터를 그룹화하여 둘 이상의 학습 데이터 셋을 생성하고, 기저장된 둘 이상의 인공 신경망 학습 알고리즘을 이용하여, 상기 학습 데이터 셋을 각각 학습하여 다수의 인공 신경망 학습 모델을 생성하는 학습 처리부(300) 및 실시간 화재 탐지 시, 상기 학습 처리부(300)에서 생성한 다수의 인공 신경망 학습 모델 중 적어도 하나의 인공 신경망 학습 모델을 선택하고, 선택된 상기 인공 신경망 학습 모델에 실시간 입력되는 이미지 데이터를 적용하여 화재 탐지를 수행하는 실시간 탐지부(400)를, 포함하는 비젼 기반 화재 탐지 시스템에 관한 것이다.The present invention relates to a vision-based fire detection system and method thereof, and more particularly, to a data collection unit 100 that collects fire-related image data or fire-related image data from the outside, and in the data collection unit 100 A data pre-processing unit 200 that extracts external environmental condition information from the collected collected data, groups the collected data based on the external environmental condition information extracted from the data pre-processing unit 200 to create two or more learning data sets, The learning processing unit 300 for generating a plurality of artificial neural network learning models by learning each of the learning data sets using two or more pre-stored artificial neural network learning algorithms, and multiple generated by the learning processing unit 300 when detecting a fire in real time A vision-based fire including a real-time detection unit 400 that selects at least one artificial neural network learning model among the artificial neural network learning models of and performs fire detection by applying image data input in real time to the selected artificial neural network learning model. It's about the detection system.
Description
본 발명은 비젼 기반 화재 탐지 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 적용 가능한 다양한 조건으로 구분하여 다수의 인공지능 학습을 수행함으로써, 실시간 화재 탐지 시, 최적화된 학습 모델을 선택하여 정확도 높게 화재 탐지를 수행할 수 있는 비젼 기반 화재 탐지 시스템 및 그 방법에 관한 것이다.The present invention relates to a vision-based fire detection system and method, and more particularly, by classifying into various applicable conditions and performing a plurality of artificial intelligence learning, in real-time fire detection, an optimized learning model is selected to increase fire accuracy. It relates to a vision-based fire detection system capable of performing detection and a method thereof.
일반적으로 화재 발생을 감지하기 위해서는, 화재가 발생할 가능성이 높은 구역에 온도, 적외선 등을 감지하는 센서 수단을 부착하여 감지를 수행하게 되며, 임계값 이상의 높은 온도가 감지될 경우, 화재가 발생한 것으로 판단하여 관련 정보들을 외부로 전송하게 된다.In general, in order to detect the occurrence of a fire, the detection is performed by attaching a sensor means for detecting temperature, infrared rays, etc. to an area where a fire is likely to occur, and when a high temperature above a threshold value is detected, it is determined that a fire has occurred. In this way, related information is transmitted to the outside.
그렇지만, 이러한 화재 감지 방식의 경우, 실내에 특화되어 있고 화재 발생 장소와 일정 거리 가까운 위치에 센서 수단의 부착이 이루어져야 하기 때문에, 화재가 발생할 가능성이 높은 특정 구역에만 구비가 가능하여, 예측하지 못하는 장소 또는 예측하지 못한 시간대에 발생하는 화재에 대해서는 신속하게 대처하는 것이 어려운 문제점이 있다.However, in the case of this fire detection method, since it is specialized for indoors and the sensor means must be attached to a location close to a certain distance from the place where a fire occurs, it can be provided only in a specific area with a high possibility of fire, and thus an unpredictable place. Or, there is a problem in that it is difficult to quickly cope with a fire that occurs at an unexpected time.
또한, 단순히 온도만을 감지하는 방법이기 때문에, 화재 탐지의 오탐율이 높을 수밖에 없다.In addition, since this method simply detects only the temperature, the false positive rate of fire detection is inevitably high.
이러한 문제점을 해결하기 위해서, 실외 화재 탐지 기술로는, 불꽃을 감지하는 객체 탐지(object detection) 알고리즘을 적용한 CCTV를 탐지 기술이 구현되고 있다.In order to solve this problem, as an outdoor fire detection technology, a CCTV detection technology to which an object detection algorithm for detecting a flame is applied has been implemented.
객체 탐지란, 이미지나 동영상에서 차량, 사람, 동물 등 유의미한 객체를 추출하고, 추출한 객체의 종류, 그 위치(bounding box)를 찾는 컴퓨터 비젼(computer vision) AI 기술을 의미한다.Object detection refers to computer vision AI technology that extracts meaningful objects such as vehicles, people, and animals from images or videos, and finds the type and location of the extracted objects (bounding box).
이와 관련해서, 국내 공개 특허 제10-2020-0013218호("영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 시스템, 서버 및 방법")에서는 CCTV 영상을 처리하여 1차로 화재를 감지하고 딥러닝 기반 인공지능을 이용하여 2차로 화재를 감지함으로써 화재를 조기에 정확하게 탐지할 수 있는 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 시스템, 서버 및 방법을 개시하고 있다.In this regard, Korean Patent Publication No. 10-2020-0013218 ("Early fire detection system, server and method using image processing and deep learning-based AI") processes CCTV images to detect fire first and deep learning We are disclosing an early fire detection system, server, and method using image processing and deep learning-based AI that can detect fire early and accurately by detecting fire secondarily using AI based artificial intelligence.
본 발명은 상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 적용 가능한 다양한 조건으로 구분하여 학습 데이터 셋을 생성하고, 각 학습 데이터 셋에 대한 인공지능 학습을 수행함으로써, 실시간 화재 탐지 시, 다수의 인공지능 학습 모델 중 최적화된 학습 모델을 선택하여 정확도 높게 화재 탐지를 수행할 수 있는 비젼 기반 화재 탐지 시스템 및 그 방법을 제공하는 것이다.The present invention was made to solve the problems of the prior art as described above, and an object of the present invention is to create a learning data set by dividing into various applicable conditions, and to perform artificial intelligence learning for each learning data set. , To provide a vision-based fire detection system and method that can perform fire detection with high accuracy by selecting an optimized learning model among a number of artificial intelligence learning models in real-time fire detection.
본 발명의 일 실시예에 따른 비젼 기반 화재 탐지 시스템은, 외부로부터 화재 관련 이미지 데이터 또는, 화재 관련 영상 데이터를 수집하는 데이터 수집부(100), 상기 데이터 수집부(100)에서 수집한 수집 데이터의 외부 환경 조건 정보를 추출하는 데이터 전처리부(200), 상기 데이터 전처리부(200)에서 추출한 외부 환경 조건 정보를 기반으로 상기 수집 데이터를 그룹화하여 둘 이상의 학습 데이터 셋을 생성하고, 기저장된 둘 이상의 인공 신경망 학습 알고리즘을 이용하여, 상기 학습 데이터 셋을 각각 학습하여 다수의 인공 신경망 학습 모델을 생성하는 학습 처리부(300) 및 실시간 화재 탐지 시, 상기 학습 처리부(300)에서 생성한 다수의 인공 신경망 학습 모델 중 적어도 하나의 인공 신경망 학습 모델을 선택하고, 선택된 상기 인공 신경망 학습 모델에 실시간 입력되는 이미지 데이터를 적용하여 화재 탐지를 수행하는 실시간 탐지부(400)를 포함하는 것이 바람직하다.A vision-based fire detection system according to an embodiment of the present invention includes a
더 나아가, 상기 데이터 전처리부(200)는 상기 수집 데이터의 외부 환경 조건 정보로 야간 환경 조건 또는, 주간 환경 조건을 추출하는 것이 바람직하다.Furthermore, it is preferable that the data pre-processing
더 나아가, 상기 실시간 탐지부(400)는 온 프레미스(on-premise) 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여, 생성된 인공 신경망 학습 모델을 선택하는 제1 선택부(410)를 더 포함하는 것이 바람직하다.Furthermore, the real-
더 나아가, 상기 실시간 탐지부(400)는 실시간 화재 탐지가 이루어지는 동안의 입력 데이터에 대한 외부 환경 조건 정보를 추출하여, 상기 제1 선택부(410)에 의해 선택된 인공 신경망 학습 모델 중 추출한 외부 환경 조건 정보에 해당하는 학습 데이터 셋을 학습하여 생성된 인공 신경망 학습 모델을 선택하는 제2 선택부(420)를 더 포함하는 것이 바람직하다.Furthermore, the real-
더 나아가, 상기 제2 선택부(420)는 외부로부터 일출시간 정보와 일몰시간 정보를 입력받아, 입력된 상기 정보에 실시간 화재 탐지가 이루어지는 시간 정보를 반영하여 상기 입력 데이터의 외부 환경 조건 정보를 추출하는 것이 바람직하다.Furthermore, the
더 나아가, 상기 실시간 탐지부(400)는 상기 제2 선택부(420)에 의해 선택된 인공 신경망 학습 모델에 실시간 입력되는 이미지 데이터를 입력 데이터로 적용하여 화재 탐지를 수행하는 탐지 수행부(430)를 더 포함하는 것이 바람직하다.Furthermore, the real-
더 나아가, 상기 실시간 탐지부(400)는 클라우드 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델 중 상기 제2 선택부(420)에 의해 추출한 입력 데이터의 외부 환경 조건 정보에 해당하는 학습 데이터 셋을 학습하여 생성된 인공 신경망 학습 모델을 선택하여, 상기 입력 데이터의 화재 탐지를 재수행하는 탐지 검증부(440)를 더 포함하는 것이 바람직하다.Furthermore, the real-
더 나아가, 상기 실시간 탐지부(400)는 상기 탐지 수행부(430)와 탐지 검증부(440) 간의 화재 탐지 결과가 상이할 경우, 상기 탐지 검증부(440)의 화재 탐지 결과를 최종 탐지 결과 데이터로 적용하는 것이 바람직하다.Furthermore, the real-
본 발명의 또 다른 일 실시예에 따른 비젼 기반 화재 탐지 방법은, 데이터 수집부에서, 외부로부터 화재 관련 이미지 데이터 또는, 화재 관련 영상 데이터를 수집하는 수집 단계(S100), 데이터 전처리부에서, 상기 수집 단계(S100)에 의해 수집한 수집 데이터의 외부 환경 조건 정보를 추출하는 환경 추출 단계(S200), 학습 처리부에서, 상기 환경 추출 단계(S200)에 의해 추출한 외부 환경 조건 정보를 기반으로 상기 수집 데이터를 그룹화하여, 적어도 두 개의 학습 데이터 셋을 생성하는 셋 생성 단계(S300), 학습 처리부에서, 기저장된 둘 이상의 인공 신경망 학습 알고리즘을 이용하여, 상기 셋 생성 단계(S300)에 의해 생성한 적어도 두 개의 학습 데이터 셋을 각각 학습하여, 다수의 인공 신경망 학습 모델을 생성하는 학습 단계(S400), 실시간 탐지부에서, 화재 탐지를 위해 실시간으로 이미지 데이터를 입력받는 탐지 시작 단계(S500), 실시간 탐지부에서, 상기 탐지 시작 단계(S500)에 의해 입력되는 입력 데이터에 대한 외부 환경 조건 정보를 추출하는 실시간 환경 추출 단계(S600), 실시간 탐지부에서, 상기 학습 단계(S400)에 의해 생성된 다수의 인공 신경망 학습 모델들 중 온 프레미스(on-premise) 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델을 선택하고, 선택한 인공 신경망 학습 모델 중 상기 실시간 환경 추출 단계(S600)에 의해 추출한 입력 데이터의 외부 환경 조건 정보에 해당하는 학습 데이터 셋을 학습하여 생성된 인공 신경망 학습 모델을 선택하는 모델 선택 단계(S700) 및 실시간 탐지부에서, 상기 모델 선택 단계(S700)에 의해 선택한 인공 신경망 학습 모델을 이용하여, 실시간 입력되는 이미지 데이터에 대한 화재 탐지를 수행하는 탐지 수행 단계(S800)를 포함하는 것이 바람직하다.A vision-based fire detection method according to another embodiment of the present invention includes a collection step (S100) of collecting fire-related image data or fire-related image data from the outside in a data collection unit, and in a data pre-processing unit, the collection An environment extraction step (S200) of extracting external environmental condition information of the collected data collected in step (S100), and the learning processing unit extracts the collected data based on the external environmental condition information extracted by the environment extraction step (S200). A set generation step of grouping and generating at least two training data sets (S300), in the learning processing unit, using two or more pre-stored artificial neural network learning algorithms, at least two learning generated by the set generation step (S300) A learning step (S400) of learning each data set and generating a plurality of artificial neural network learning models (S400), a detection start step (S500) of receiving image data in real time for fire detection in the real-time detection unit, in the real-time detection unit, A real-time environment extraction step (S600) of extracting external environmental condition information for the input data input by the detection start step (S500), and learning of a plurality of artificial neural networks generated by the learning step (S400) in the real-time detection unit. Among the models, an artificial neural network learning model generated using an artificial neural network learning algorithm corresponding to an on-premise operating condition is selected, and the real-time environment extraction step (S600) among the selected artificial neural network learning models A model selection step (S700) of selecting an artificial neural network learning model generated by learning a learning data set corresponding to the external environmental condition information of the extracted input data, and an artificial neural network selected by the model selection step (S700) in the real-time detection unit It is preferable to include a detection performing step ( S800 ) of performing fire detection on image data input in real time using a learning model.
더 나아가, 상기 비젼 기반 화재 탐지 방법은 실시간 탐지부에서, 상기 학습 단계(S400)에 의해 생성된 다수의 인공 신경망 학습 모델들 중 클라우드 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델을 선택하고, 선택한 인공 신경망 학습 모델 중 상기 실시간 환경 추출 단계(S600)에 의해 추출한 입력 데이터의 외부 환경 조건 정보에 해당하는 학습 데이터 셋을 학습하여 생성된 인공 신경망 학습 모델을 선택하는 모델 재선택 단계(S900) 및 실시간 탐지부에서, 상기 모델 재선택 단계(S900)에 의해 선택한 인공 신경망 학습 모델을 이용하여, 실시간 입력되는 이미지 데이터에 대한 화재 탐지를 수행하는 탐지 재수행 단계(S1000)를 더 포함하되, 상기 탐지 수행 단계(S800)와 탐지 재수행 단계(S1000)의 화재 탐지 결과가 상이할 경우, 상기 탐지 재수행 단계(S1000)의 화재 탐지 결과를 최종 탐지 결과 데이터로 적용하는 것이 바람직하다.Furthermore, the vision-based fire detection method is generated by using an artificial neural network learning algorithm corresponding to a cloud-based operating condition among a plurality of artificial neural network learning models generated in the learning step (S400) in a real-time detection unit. Selecting an artificial neural network learning model, and learning a learning data set corresponding to the external environmental condition information of the input data extracted by the real-time environment extraction step (S600) among the selected artificial neural network learning models Selecting an artificial neural network learning model generated by learning Model re-selection step (S900) and real-time detection unit, using the artificial neural network training model selected in the model re-selection step (S900), to perform fire detection on image data input in real time (S1000). ) Further including, but if the fire detection result of the detection step (S800) and the detection re-performation step (S1000) are different, the fire detection result of the detection re-performation step (S1000) is applied as the final detection result data it is desirable
더 나아가, 상기 실시간 환경 추출 단계(S600)는 외부로부터 일출시간 정보와 일몰시간 정보를 입력받아, 입력된 상기 정보에 실시간 화재 탐지가 이루어지는 시간 정보를 반영하여 상기 입력 데이터의 외부 환경 조건 정보를 추출하는 것이 바람직하다.Furthermore, the real-time environment extraction step (S600) receives sunrise time information and sunset time information from the outside, and extracts external environmental condition information of the input data by reflecting real-time fire detection time information to the inputted information. It is desirable to do
상기와 같은 구성에 의한 본 발명의 비젼 기반 화재 탐지 시스템 및 그 방법은 학습을 위해서 수집되는 데이터들을 화재 탐지에 적용 가능한 다양한 조건으로 구분하여 다수의 학습 데이터 셋을 생성하고, 각 학습 데이터 셋에 대한 인공지능 학습을 수행함으로써, 실시간 화재 탐지 시, 다수의 인공지능 학습 모델 중 최적화된 학습 모델을 선택하여 정확도 높게 화재 탐지를 수행할 수 있는 장점이 있다.The vision-based fire detection system and method of the present invention according to the configuration as described above divides the data collected for learning into various conditions applicable to fire detection to create a plurality of learning data sets, and for each learning data set By performing artificial intelligence learning, there is an advantage in that fire detection can be performed with high accuracy by selecting an optimized learning model among a plurality of artificial intelligence learning models in real-time fire detection.
이를 통해서, 화재 탐지 상황을 고려하지 않고 단일화된 탐지 모델을 적용하는 종래 기술과는 달리, 외부 환경 조건(주간/야간)에 따라 최적화된 학습 모델을 통해 화재를 탐지하여, 탐지 정확도 및 신뢰성을 향상시킬 수 있는 장점이 있다.Through this, unlike the prior art that applies a unified detection model without considering the fire detection situation, fire is detected through a learning model optimized according to external environmental conditions (day/night), thereby improving detection accuracy and reliability. There are advantages to doing so.
도 1은 본 발명의 일 실시예에 따른 비젼 기반 화재 탐지 시스템을 나타낸 구성 예시도이다.
도 2는 본 발명의 일 실시예에 따른 비젼 기반 화재 탐지 방법을 나타낸 순서 예시도이다.1 is an exemplary configuration diagram illustrating a vision-based fire detection system according to an embodiment of the present invention.
2 is an exemplary sequence diagram illustrating a vision-based fire detection method according to an embodiment of the present invention.
이하 첨부한 도면들을 참조하여 본 발명의 비젼 기반 화재 탐지 시스템 및 그 방법을 상세히 설명한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.Hereinafter, a vision-based fire detection system and method according to the present invention will be described in detail with reference to the accompanying drawings. The drawings introduced below are provided as examples to sufficiently convey the spirit of the present invention to those skilled in the art. Accordingly, the present invention may be embodied in other forms without being limited to the drawings presented below. Also, like reference numerals denote like elements throughout the specification.
이때, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다.At this time, unless there is another definition in the technical terms and scientific terms used, they have meanings commonly understood by those of ordinary skill in the art to which this invention belongs, and the gist of the present invention in the following description and accompanying drawings Descriptions of well-known functions and configurations that may be unnecessarily obscure are omitted.
더불어, 시스템은 필요한 기능을 수행하기 위하여 조직화되고 규칙적으로 상호 작용하는 장치, 기구 및 수단 등을 포함하는 구성 요소들의 집합을 의미한다.In addition, a system refers to a set of components including devices, mechanisms, and means that are organized and regularly interact to perform necessary functions.
본 발명의 일 실시예에 따른 비젼 기반 화재 탐지 시스템은, 수집되는 다양한 화재 관련 이미지 데이터 또는, 화재 관련 영상 데이터를 외부 환경 조건(주간/야간)을 구분하여 학습 데이터 셋을 생성하고, CNN 기반 최신 탐지 알고리즘을 이용하여 생성한 학습 데이터 셋을 각각 학습시켜 다수의 학습 모델을 생성함으로써, 실시간으로 화재 탐지 시, 외부 환경 조건을 적용한 최적화된 모델을 선택하여 화재를 탐지할 수 있는 기술에 관한 것이다.In the vision-based fire detection system according to an embodiment of the present invention, a learning data set is created by classifying various collected fire-related image data or fire-related image data according to external environmental conditions (day/night), and CNN-based latest It relates to a technology capable of detecting a fire by selecting an optimized model to which external environmental conditions are applied when detecting a fire in real time by learning each learning data set created using a detection algorithm and creating a plurality of learning models.
특히, 화재 탐지를 위한 객체 탐지 모델 중 가장 높은 성능을 보이는 EfficientDet 알고리즘과 Yolov4 알고리즘을 이용하여, 외부 환경 조건에 따라 그룹화하여 생성한 학습 데이터 셋을 각각 학습시켜 적어도 4개의 학습 모델을 생성하는 것이 바람직하며, 이 때, EfficientDet 알고리즘과 Yolov4 알고리즘으로 한정하는 것은 아니며, 화재 탐지를 위한 객체 탐지 모델 중 가장 높은 성능을 보이는 어느 알고리즘을 적용하여도 무방하다.In particular, using the EfficientDet algorithm and Yolov4 algorithm, which show the highest performance among object detection models for fire detection, it is desirable to create at least four learning models by learning each of the generated learning data sets by grouping them according to external environmental conditions. At this time, it is not limited to the EfficientDet algorithm and the Yolov4 algorithm, and it is okay to apply any algorithm showing the highest performance among object detection models for fire detection.
이러한 본 발명의 일 실시예에 따른 비젼 기반 화재 탐지 시스템은 도 1에 도시된 바와 같이, 데이터 수집부(100), 데이터 전처리부(200), 학습 처리부(300) 및 실시간 탐지부(400)를 포함하여 구성되는 것이 바람직하다.As shown in FIG. 1, the vision-based fire detection system according to an embodiment of the present invention includes a
상기 데이터 수집부(100), 데이터 전처리부(200) 및 학습 처리부(300)는 하나의 연산 처리 수단으로 구성되어, 화재 탐지를 위한 학습 모델을 생성하는 동작을 수행하는 것이 바람직하며, 상기 실시간 탐지부(400)는 실시간으로 화재 탐지를 수행하기 위한 구성으로서, 상기 연산 처리 수단과는 독립된 또는 동일한 연산 처리 수단에 구성되어 동작을 수행할 수 있다.Preferably, the
이 때, 상기 데이터 수집부(100), 데이터 전처리부(200) 및 학습 처리부(300)는 실시간 화재 탐지를 수행하기 위해서 사전에 화재 탐지를 위한 학습 모델을 생성하는 것이 바람직하며, 상기 실시간 탐지부(400)는 실시간 화재 탐지를 수행하기 위한 다수의 영상 촬영 수단(일 예를 들자면, CCTV 등)과 연결되어 실시간 입력되는 이미지 데이터를 이용하여 생성한 학습 모델을 통해 화재 탐지를 수행하는 것이 바람직하다. 이에 대해서는 추후에 상세하게 설명하도록 한다.At this time, it is preferable that the
각 구성에 대해서 자세히 알아보자면,For a detailed look at each component,
상기 데이터 수집부(100)는 외부로부터 화재 관련 이미지 데이터 또는, 화재 관련 영상 데이터를 수집하는 것이 바람직하다.Preferably, the
이 때, 상기 데이터 수집부(100)는 이미지 크롤링을 통해서 방대한 양의 화재 관련 이미지 데이터 또는, 화재 관련 영상 데이터를 수집하는 것이 바람직하다.At this time, it is preferable that the
더불어, 화재 관련 영상 데이터의 경우, 영상 프레임 이미지 데이터를 추출하여 활용하게 된다.In addition, in the case of fire-related video data, video frame image data is extracted and used.
상기 데이터 전처리부(200)는 상기 데이터 수집부(100)에서 수집한 수집 데이터, 다시 말하자면, 상기 화재 관련 이미지 데이터 또는, 화재 관련 영상 데이터에서 추출한 영상 프레임 이미지 데이터의 외부 환경 조건 정보를 추출하는 것이 바람직하다.The data pre-processing
상기 데이터 전처리부(200)는 상기 수집 데이터의 외부 환경 조건 정보로 야간 환경 조건 또는, 주간 환경 조건을 추출하는 것이 바람직하며, 이를 추출하기 위하여 상기 수집 데이터에 시간 정보가 포함되어 있을 경우, 이를 이용하여, 연계되어 있는 기상청 데이터베이스를 활용하여 해당하는 날짜의 일몰 시간 정보와 일출 시간 정보를 반영하여, 해당하는 수집 데이터가 야간 환경 조건의 화재 데이터인지, 주간 환경 조건의 화재 데이터인지 추출할 수 있다.The data pre-processing
또한, 상기 수집 데이터에 시간 정보가 포함되어 있지 않을 경우, 상기 수집 데이터의 전체 영역의 명암 평균값 등 야간 환경 조건과 주간 환경 조건을 구분할 수 있는 기준치를 설정하여, 상기 수집 데이터의 야간 환경 조건 또는, 주간 환경 조건을 추출하는 것이 바람직하다.In addition, when time information is not included in the collected data, a reference value capable of distinguishing between nighttime environmental conditions and daytime environmental conditions, such as an average value of brightness and darkness of the entire area of the collected data, is set, and the nighttime environmental conditions of the collected data; It is desirable to extract daytime environmental conditions.
상기 학습 처리부(300)는 상기 데이터 전처리부(200)에서 추출한 외부 환경 조건 정보를 기반으로 상기 수집 데이터를 그룹화하여 둘 이상의 학습 데이터 셋을 생성하는 것이 바람직하다.Preferably, the
다시 말하자면, 상기 학습 처리부(300)는 야간 환경 조건의 화재 데이터와 주간 환경 조건의 화재 데이터가 각각 학습될 수 있도록 이를 분류/그룹화하여 적어도 둘의 학습 데이터 셋(야간 환경 조건에 해당하는 화재 데이터, 주간 환경 조건에 해당하는 화재 데이터)을 생성하는 것이 바람직하다.In other words, the
이는, 실외에서 발생하는 화재의 경우, 태양 빛 에너지가 존재할 때 발생하는 화재 이미지 데이터와 태양 빛 에너지가 존재하지 않을 때 발생하는 화재 이미지 데이터가 갖는 특성이 상이하기 때문에, 이를 구분하여 학습 처리를 수행하는 것이, 추후 실시간 화재 탐지 시 그 정확성과 신뢰성을 높일 수 있다.In the case of a fire that occurs outdoors, since the fire image data that occurs when solar light energy is present and the fire image data that occurs when solar light energy is not present have different characteristics, learning processing is performed by distinguishing them. Doing so can increase the accuracy and reliability of real-time fire detection in the future.
일 예를 들자면, 단순하게 이미지 데이터의 어느 특정 부위에 일정치 이상의 밝음이 탐지될 경우 이를 화재로 탐지할 경우, 태양 빛 에너지가 가장 강렬할 때 발생하는 화재를 정확하게 탐지하기 어려울 수 있으며, 태양 빛 에너지가 존재하지 않을 때에는 가로등 또는 자동차 상향등 등으로 인해 발생하는 밝음을 화재로 탐지할 수 도 있는 문제점을 갖고 있다.As an example, if brightness above a certain level is simply detected in a specific part of the image data, if it is detected as a fire, it may be difficult to accurately detect a fire that occurs when sunlight energy is most intense. When there is no energy, there is a problem in that brightness generated by street lights or high beams of automobiles can be detected as fire.
이를 해소하기 위하여, 상기 학습 처리부(300)를 통해서 야간 환경 조건의 화재 데이터와 주간 환경 조건의 화재 데이터가 각각 학습될 수 있도록 이를 분류/그룹화하여 학습 데이터 셋을 생성함으로써, 화재 탐지의 오탐율을 낮출 수 있다.In order to solve this problem, a learning data set is created by classifying/grouping fire data under nighttime environmental conditions and fire data under daytime environmental conditions so that each can be learned through the
더불어, 상기 학습 처리부(300)는 미리 저장된 둘 이상의 인공 신경망 학습 알고리즘을 이용하여, 생성한 상기 학습 데이터 셋의 각각 학습 처리를 수행함으로써, 다수의 인공 신경망 학습 모델을 생성하는 것이 바람직하다.In addition, the
즉, 둘 이상의 인공 신경망 학습 알고리즘 각각에, 야간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋, 주간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 각각 학습함으로써, 적어도 네 개의 인공 신경망 학습 모델을 생성하는 것이 바람직하다.That is, in each of two or more artificial neural network learning algorithms, a learning data set generated by grouping fire data of nighttime environmental conditions and a learning data set generated by grouping fire data of daytime environmental conditions are learned, respectively. At least four artificial neural networks It is desirable to create a learning model.
상세하게는, 상기 학습 처리부(300)는 미리 저장되는 둘 이상의 인공 신경망 학습 알고리즘으로, 통상적으로 화재 탐지 시스템이 구축되는 클라우드 기반의 구동 조건에 맞는 탐지 알고리즘과 온 프레미스(on-premise) 기반의 구동 조건에 맞는 탐지 알고리즘을 선택하여 저장하는 것이 바람직하다.In detail, the
상기 학습 처리부(300에서는 EfficientDet 알고리즘과 Yolov4 알고리즘을 저장하여 활용하였으나, 이는 본 발명의 일 실시예에 불과하며, 이들로 한정하는 것은 아니다.The
먼저, 온 프레미스 기반의 화재 탐지 시스템의 경우, '내부망 구성'을 통한 화재 탐지 시스템인 점을 감안하여, 비교적 정확도는 낮지만 자원을 많이 쓰지 않고 빠른 특징을 갖는 Yolov4 알고리즘이 적합하며, 클라우드 기반의 화재 탐지 시스템의 경우, '클라우드 환경'을 통한 화재 탐지 시스템인 점을 감안하여, 높은 FPS로 처리할 수는 없지만 많은 자원을 활용할 수 있고 비교적 정확한 특징을 갖는 EfficientDet 알고리즘이 적합하다.First, in the case of an on-premise based fire detection system, considering that it is a fire detection system through 'internal network configuration', the Yolov4 algorithm, which has relatively low accuracy but fast characteristics without consuming a lot of resources, is suitable. In the case of the fire detection system of , considering that it is a fire detection system through a 'cloud environment', the EfficientDet algorithm, which cannot be processed at high FPS, can utilize a lot of resources and has relatively accurate characteristics, is suitable.
이러한 점을 고려하여, 상기 학습 처리부(300)는 둘 이상의 인공 신경망 학습 알고리즘을 이용하여, 상기 학습 데이터 셋을 각각 학습하여 다수의 인공 신경망 학습 모델을 생성하는 것이 바람직하다.Considering this point, the
상기 실시간 탐지부(400)는 상기 학습 처리부(300)를 통해서 사전에 생성된 다수의 인공 신경망 학습 모델을 적용하여, 실시간 화재 탐지를 수행하는 것이 바람직하다.It is preferable that the real-
이를 위해, 상기 실시간 탐지부(400)는 연계되어 있는 영상 촬영 수단을 통해서 지속적으로 영상 데이터 또는 이미지 데이터를 입력받는 것이 바람직하며, 영상 데이터로 입력될 경우, 영상 데이터의 전송 시계열 순서대로 추출한 상기 영상 프레임 이미지 데이터를 추출하여 활용하는 것이 바람직하다.To this end, it is preferable that the real-
상기 실시간 탐지부(400)는 상기 학습 처리부(300)에서 생성한 다수의 인공 신경망 학습 모델 중 적어도 하나의 인공 신경망 학습 모델을 선택하고, 선택된 상기 인공 신경망 학습 모델에 실시간으로 입력되는 이미지 데이터 또는, 상기 영상 프레임 이미지 데이터를 적용하여 화재 탐지, 다시 말하자면, 화재 객체 탐지를 수행하는 것이 바람직하다.The real-
이 때, 상기 실시간 탐지부(400)는 다수의 인공 신경망 학습 모델 중 적어도 하나의 인공 신경망 학습 모델을 선택함에 있어서, 상기 실시간 탐지부(400)가 구성되어 있는 화재 탐지 시스템의 구동 조건(온 프레미스 기반의 구동 조건 또는, 클라우드 기반의 구동 조건)을 감안하여 해당되는 구동 조건에 맞는 탐지 알고리즘을 통해서 생성된 인공 신경망 학습 모델을 선택하고, 그 중 현재 탐지 외부 환경 조건(주간 또는 야간)에 해당되는 학습 데이터 셋을 학습한 결과 모델을 선택하는 것이 가장 바람직하다.At this time, when the real-
그렇지만, 이 경우, 상기 실시간 탐지부(400)가 구성되어 있는 화재 탐지 시스템의 구동 조건에 따라서, 하나의 탐지 알고리즘에 의해 생성한 학습 모델을 적용하기 때문에, 그 정확도가 낮아질 수 있기 때문에, 본 발명의 일 실시예에 따른 비젼 기반 화재 탐지 시스템의 상기 실시간 탐지부(400)에서는, 둘 이상의 인공 신경망 학습 알고리즘에 의해 생성한 학습 모델을 순차적으로 적용하거나, 특정한 조건(첫 번째 학습 모델을 통해서 화재 객체 탐지가 이루어진 경우)에서 적용함으로써, 화재 탐지의 정확도 및 신뢰도를 향상시킬 수 있다.However, in this case, since the learning model generated by one detection algorithm is applied according to the operating conditions of the fire detection system in which the real-
이 때, 순차적인 적용의 예로는, 1차로 온 프레미스 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델을 선택하여 화재 객체 탐지를 수행한 후, 2차로 클라우드 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델을 선택하여 화재 객체 탐지를 수행할 수 있다.At this time, as an example of sequential application, firstly, after performing fire object detection by selecting an artificial neural network learning model generated using an artificial neural network learning algorithm corresponding to an on-premise-based operating condition, secondly, a cloud-based Fire object detection may be performed by selecting an artificial neural network learning model generated using an artificial neural network learning algorithm corresponding to a driving condition.
또는 특정한 조건에서의 적용의 예로는, 1차로 화재 객체 탐지를 수행한 온 프레미스 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델의 탐지 결과로, 화재 객체가 탐지될 경우에만, 2차로 클라우드 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델을 선택하여 화재 객체 탐지를 수행할 수도 있다.Alternatively, as an example of application in a specific condition, as a result of the detection of the artificial neural network learning model generated using the artificial neural network learning algorithm corresponding to the on-premise operating condition in which the fire object was first detected, the fire object may be detected. In this case, fire object detection may be performed by selecting an artificial neural network learning model generated using an artificial neural network learning algorithm corresponding to a second cloud-based operating condition.
이를 통해서, 정확도는 다소 낮지만 비교적 신속하게 객체 탐지를 수행할 수 있는 온 프레미스 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델을 통한 화재 탐지를 수행하고, 이후 정확도, 신뢰도 향상을 위해 클라우드 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델을 선택하여 화재 객체 탐지를 수행함으로써, 탐지 정확도를 향상시킬 수 있는 장점이 있다.Through this, fire detection is performed through an artificial neural network learning model generated using an artificial neural network learning algorithm corresponding to an on-premise-based operating condition that can perform object detection relatively quickly, although the accuracy is somewhat low, and then the accuracy In order to improve reliability, there is an advantage in that detection accuracy can be improved by performing fire object detection by selecting an artificial neural network learning model generated using an artificial neural network learning algorithm corresponding to a cloud-based driving condition.
이를 위해, 상기 실시간 탐지부(400)는 도 1에 도시된 바와 같이, 제1 선택부(410), 제2 선택부(420), 탐지 수행부(430) 및 탐지 검증부(440)를 포함하여 구성되는 것이 바람직하다.To this end, the real-
상기 제1 선택부(410)는 상술한 바와 같이, 온 프레미스 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델을 선택하는 것이 바람직하다.As described above, the
여기서, 상기 제1 선택부(410)를 통해서 두 개의 인공 신경망 학습 모델이 선택되는 것이 바람직하며, 상세하게는, Yolov4 알고리즘을 이용하여 생성된 인공 신경망 학습 모델이 선택되되, 야간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋, 주간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 각각 학습한 두 개의 인공 신경망 학습 모델이 선택되게 된다.Here, it is preferable that two artificial neural network learning models are selected through the
상기 제2 선택부(420)는 실시간 화재 탐지가 이루어지는 동안의 입력 데이터, 다시 말하자면, 연계되어 있는 영상 촬영 수단을 통해서 지속적으로 입력되는 감시 데이터(영상 데이터 또는 이미지 데이터)를 분석하여, 외부 환경 조건 정보를 추출하는 것이 바람직하다.The
이를 토대로 상기 제1 선택부(410)에 의해 선택된 두 개의 인공 신경망 학습 모델 중 추출한 외부 환경 조건 정보에 해당하는 학습 데이터 셋을 학습하여 생성된 인공 신경망 학습 모델을 선택하는 것이 바람직하다.Based on this, it is preferable to select an artificial neural network learning model generated by learning a learning data set corresponding to the extracted external environmental condition information among the two artificial neural network learning models selected by the
즉, Yolov4 알고리즘을 이용하여 생성된 두 개의 인공 신경망 학습 모델 중 실시간 입력되는 감시 데이터가 해당하는 외부 환경 조건 정보(주간 환경 조건 또는, 야간 환경 조건)를 반영하여 해당하는 학습 데이터 셋을 학습한 어느 하나의 인공 신경망 학습 모델이 선택되게 된다.That is, among the two artificial neural network learning models created using the Yolov4 algorithm, which one learned the corresponding training data set by reflecting the external environmental condition information (daytime environment condition or nighttime environment condition) corresponding to the real-time input monitoring data? One artificial neural network learning model is selected.
여기서, 상기 제2 선택부(420)는 입력 데이터의 외부 환경 조건 정보를 추출하기 위하여, 외부로부터, 다시 말하자면, 연계되어 있는 기상청 데이터베이스를 입력받아 기상청 데이터베이스에 포함되어 있는 일출시간 정보와 일몰시간 정보를 추출하여, 이를 기준으로 주간 환경/야간 환경을 구분하는 것이 바람직하다.Here, the
상세하게는, 상기 제2 선택부(420)는 입력 데이터에 포함되어 있는 시간 정보 또는, 상기 실시간 탐지부(400)를 이용하고 있는 '화재 탐지 시스템'으로부터 입력되는 실시간 화재 탐지가 이루어지는 시간 정보를 이용하여, 기상청 데이터베이스에 포함되어 있는 일출시간 정보와 일몰시간 정보를 반영하여 실시간 화재 탐지가 이루어지고 있는 현재가 주간 환경 조건인지, 야간 환경 조건인지 판단하여 입력 데이터의 외부 환경 조건 정보를 추출하는 것이 바람직하다.In detail, the
이 때, 상기 데이터 전처리부(200)에서는 대량의 수집 데이터를 학습 데이터 셋으로 생성하기 때문에, 보다 포괄적으로 외부 환경 조건 정보가 분류되어도 무방하게 된다. 그렇기 때문에, 기상청 데이터베이스까지 활용하지 않고, 수집 데이터 자체의 특징점을 추출하여 외부 환경 조건 정보를 구분하는 것이 바람직하다.At this time, since the
그렇지만, 상기 실시간 탐지부(400)를 이용하고 있는 '화재 탐지 시스템'으로부터 입력되는 감시 데이터는 보다 높은 정확도가 요구되기 때문에, 기상청 데이터베이스까지 활용하여 보다 섬세하게 외부 환경 조건 정보를 추출하는 것이 바람직하다.However, since the monitoring data input from the 'fire detection system' using the real-
이를 통해서, 상기 제2 선택부(420)는 추출한 입력 데이터의 외부 환경 조건 정보를 반영하여, 상기 제1 선택부(410)에 의해 선택된 두 개의 인공 신경망 학습 모델 중 추출한 외부 환경 조건 정보에 해당하는 학습 데이터 셋을 학습하여 생성된 인공 신경망 학습 모델을 선택하게 된다.Through this, the
상기 탐지 수행부(430)는 상기 제2 선택부(420)에 의해 선택된 인공 신경망 학습 모델에 실시간으로 입력되는 이미지 데이터를 입력 데이터로 적용하여, 화재 객체 탐지를 수행하게 된다.The
이 때, 상기 탐지 수행부(430)에 의한 화재 객체 탐지는 '1차 탐지' 개념으로 해석하는 것이 바람직하며, 상기 탐지 검증부(440)를 통해서 상기 탐지 수행부(430)에 의한 화재 객체 탐지 결과의 검증을 수행하는 것이 바람직하다.At this time, it is preferable to interpret the detection of a fire object by the
상기 탐지 검증부(440)의 동작 여부는 상기 실시간 탐지부(400)를 이용하고 있는 '화재 탐지 시스템'의 사용 관리자(또는, 제어자 등)의 설정에 따라 상기 탐지 수행부(430)에서의 탐지 결과가 화재 발생일 경우에만 다시 한번 재탐지를 수행하기 위해 동작을 제어하거나, 상기 탐지 수행부(430)의 탐지 결과와는 무관하게 '2차 탐지'의 개념으로 동작을 수행할 수도 있다.Whether or not the detection verification unit 440 is operating depends on the setting of the manager (or controller, etc.) of the 'fire detection system' using the real-
이러한 상기 탐지 검증부(440)는 상기 제1 선택부(410)에 의한 인공 신경망 학습 모델의 선택과 상이하도록 하여 2차 탐지에 활용한 인공 신경망 학습 모델의 중복 선택이 발생하지 않도록, 클라우드 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델을 선택하는 것이 바람직하다.The detection verification unit 440 makes it different from the selection of the artificial neural network learning model by the
상기 제1 선택부(410)와 마찬가지로, 두 개의 인공 신경망 학습 모델이 선택되는 것이 바람직하며, 상세하게는, EfficientDet 알고리즘을 이용하여 생성된 인공 신경망 학습 모델이 선택되되, 야간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋, 주간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 각각 학습한 두 개의 인공 신경망 학습 모델을 선택한 후, 상기 제2 선택부(420)에 의해 추출한 외부 환경 조건 정보에 해당하는 학습 데이터 셋을 학습하여 생성된 하나의 인공 신경망 학습 모델을 선택하는 것이 바람직하다.Like the
상기 탐지 검증부(440)는 선택한 인공 신경망 학습 모델에 실시간으로 입력되는 이미지 데이터를 입력 데이터로 적용하여, 화재 객체 탐지를 수행하는 것이 바람직하다.Preferably, the detection verification unit 440 performs detection of a fire object by applying image data input in real time to the selected artificial neural network learning model as input data.
이 때, 상기 탐지 검증부(440)의 탐지 결과와 상기 탐지 수행부(430)의 탐지 결과가 상이할 경우, 상기 탐지 검증부(440)에 의한 탐지 결과를 최종 탐지 결과로 설정하거나, 상기 실시간 탐지부(400)를 이용하고 있는 '화재 탐지 시스템'의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델에 의한 탐지 결과를 최종 탐지 결과로 설정하는 것이 바람직하며, 이는 사용 관리자(또는, 제어자 등)로부터 설정 입력받게 된다.At this time, when the detection result of the detection verification unit 440 and the detection result of the
더불어, 상기 실시간 탐지부(400)는 상기 제2 선택부(420)에서 추출한 상기 입력 데이터의 외부 환경 조건 정보가 주간 환경 조건과 야간 환경 조건 사이의 소정 범위 내일 경우, 야간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 학습한 인공 신경망 학습 모델과 주간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 학습한 인공 신경망 학습 모델을 모두 선택하는 것이 바람직하다.In addition, the real-
다시 말하자면, 상기 실시간 탐지부(400)는 일출 시간부터 일몰 시간까지의 시간 정보에 해당하는 입력 데이터를 주간 환경 조건이라 하고, 일몰 시간부터 일출 시간까지의 시간 정보에 해당하는 입력 데이터를 야간 환경 조건이라 할 경우, 현재 입력 데이터의 시간 정보가 일출 시간의 30분 전, 일몰 시간의 30분 후와 같이, 야간과 주간의 경계를 정확하게 구분하기 어려운 시간대의 외부 환경 조건을 소정 범위로 설정하고, 해당하는 소정 범위 내에 시간 정보가 입력될 경우, 야간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 학습한 인공 신경망 학습 모델과 주간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 학습한 인공 신경망 학습 모델을 모두 선택하는 것이 바람직하다.In other words, the real-
단, 탐지 수행부(430) 또는, 탐지 검증부(440)에서 두 개의 인공 신경망 학습 모델에 의한 탐지 결과를 도출하되, 현재 시간 정보가 포함되는 영역의 인공 신경망 학습 모델에 의한 탐지 결과, 일 예를 들자면, 일출 시간의 30분 전일 경우, 분류하자면 야간 환경 조건에 해당하기 때문에, 야간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 학습한 인공 신경망 학습 모델에 의한 탐지 결과에 소정 가중치를 더 주어, 최종 탐지 결과로 설정하는 것이 바람직하며, 소정 가중치는 사용 관리자(또는, 제어자 등)로부터 설정 입력받게 된다.However, the
도 2는 본 발명의 일 실시예에 따른 비젼 기반 화재 탐지 방법을 나타낸 순서 예시도로서, 본 발명의 일 실시예에 따른 비젼 기반 화재 탐지 방법은 도 2에 도시된 바와 같이, 수집 단계(S100), 환경 추출 단계(S200), 셋 생성 단계(S300), 학습 단계(S400), 탐지 시작 단계(S500), 실시간 환경 추출 단계(S600), 모델 선택 단계(S700) 및 탐지 수행 단계(S800)를 포함하여 구성되는 것이 바람직하다.2 is a flowchart illustrating a vision-based fire detection method according to an embodiment of the present invention. As shown in FIG. 2, the vision-based fire detection method according to an embodiment of the present invention includes a collection step (S100). , environment extraction step (S200), set generation step (S300), learning step (S400), detection start step (S500), real-time environment extraction step (S600), model selection step (S700) and detection step (S800) It is preferable to be configured to include.
각 단계에 대해서 자세히 알아보자면,For a detailed look at each step,
상기 수집 단계(S100)는 상기 데이터 수집부(100)에서, 외부로부터 화재 관련 이미지 데이터 또는, 화재 관련 영상 데이터를 수집하게 된다.In the collecting step (S100), the
상기 수집 단계(S100)는 이미지 크롤링을 통해서 방대한 양의 화재 관련 이미지 데이터 또는, 화재 관련 영상 데이터를 수집하는 것이 바람직하며, 화재 관련 영상 데이터의 경우, 영상 프레임 이미지 데이터를 추출하여 활용하게 된다.In the collecting step (S100), it is preferable to collect a vast amount of fire-related image data or fire-related image data through image crawling, and in the case of fire-related image data, image frame image data is extracted and used.
상기 환경 추출 단계(S200)는 상기 데이터 전처리부(200)에서, 상기 수집 단계(S100)에 의해 수집한 수집 데이터, 다시 말하자면, 상기 화재 관련 이미지 데이터 또는, 화재 관련 영상 데이터에서 추출한 영상 프레임 이미지 데이터의 외부 환경 조건 정보를 추출하게 된다.The environment extraction step (S200) is the video frame image data extracted from the collection data collected by the collection step (S100) in the
상세하게는, 상기 환경 추출 단계(S200)는 상기 수집 데이터의 외부 환경 조건 정보로 야간 환경 조건 또는, 주간 환경 조건을 추출하는 것이 바람직하며, 이를 추출하기 위하여 상기 수집 데이터에 시간 정보가 포함되어 있을 경우, 이를 이용하여, 연계되어 있는 기상청 데이터베이스를 활용하여 해당하는 날짜의 일몰 시간 정보와 일출 시간 정보를 반영하여, 해당하는 수집 데이터가 야간 환경 조건의 화재 데이터인지, 주간 환경 조건의 화재 데이터인지 추출할 수 있다.In detail, in the environment extraction step (S200), it is preferable to extract nighttime environmental conditions or daytime environmental conditions as external environmental condition information of the collected data, and time information must be included in the collected data to extract them. In this case, by using the linked database of the Korea Meteorological Administration, the sunset time information and the sunrise time information of the corresponding date are reflected to extract whether the corresponding collected data is fire data of nighttime environmental conditions or fire data of daytime environmental conditions. can do.
또한, 상기 수집 데이터에 시간 정보가 포함되어 있지 않을 경우, 상기 수집 데이터의 전체 영역의 명암 평균값 등 야간 환경 조건과 주간 환경 조건을 구분할 수 있는 기준치를 설정하여, 상기 수집 데이터의 야간 환경 조건 또는, 주간 환경 조건을 추출하는 것이 바람직하다.In addition, when time information is not included in the collected data, a reference value capable of distinguishing between nighttime environmental conditions and daytime environmental conditions, such as an average value of brightness and darkness of the entire area of the collected data, is set, and the nighttime environmental conditions of the collected data; It is desirable to extract daytime environmental conditions.
상기 셋 생성 단계(S300)는 상기 학습 처리부(300)에서, 상기 환경 추출 단계(S200)에 의해 추출한 외부 환경 조건 정보를 기반으로 상기 수집 데이터를 그룹화하여 둘 이상의 학습 데이터 셋을 생성하게 된다.In the set generation step (S300), the
즉, 상기 셋 생성 단계(S300)는 야간 환경 조건의 화재 데이터와 주간 환경 조건의 화재 데이터가 각각 학습될 수 있도록 이를 분류/그룹화하여 적어도 둘의 학습 데이터 셋(야간 환경 조건에 해당하는 화재 데이터, 주간 환경 조건에 해당하는 화재 데이터)을 생성하게 된다.That is, in the set generation step (S300), at least two learning data sets (fire data corresponding to nighttime environmental conditions, fire data corresponding to nighttime environmental conditions, Fire data corresponding to daytime environmental conditions) will be generated.
상기 학습 단계(S400)는 상기 학습 처리부(300)에서, 미리 저장된 둘 이상의 인공 신경망 학습 알고리즘을 이용하여, 상기 셋 생성 단계(S300)에 의해 생성한 상기 학습 데이터 셋의 각각 학습 처리를 수행함으로써, 다수의 인공 신경망 학습 모델을 생성하게 된다.In the learning step (S400), the
다시 말하자면, 상기 학습 단계(S400)는 둘 이상의 인공 신경망 학습 알고리즘 각각에, 야간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋, 주간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 각각 학습함으로써, 적어도 네 개의 인공 신경망 학습 모델을 생성하게 된다.In other words, in the learning step (S400), in each of the two or more artificial neural network learning algorithms, a learning data set generated by grouping fire data of nighttime environmental conditions and a learning data set generated by grouping fire data of daytime environmental conditions are respectively By training, it creates at least four artificial neural network learning models.
미리 저장되는 둘 이상의 인공 신경망 학습 알고리즘으로, 통상적으로 화재 탐지 시스템이 구축되는 클라우드 기반의 구동 조건에 맞는 탐지 알고리즘과 온 프레미스(on-premise) 기반의 구동 조건에 맞는 탐지 알고리즘을 선택하여 저장하는 것이 바람직하다.As two or more artificial neural network learning algorithms that are stored in advance, it is preferable to select and store a detection algorithm suitable for the cloud-based operating conditions in which a fire detection system is normally built and a detection algorithm suitable for the on-premise operating conditions. desirable.
먼저, 온 프레미스 기반의 화재 탐지 시스템의 경우, '내부망 구성'을 통한 화재 탐지 시스템인 점을 감안하여, 비교적 정확도는 낮지만 자원을 많이 쓰지 않고 빠른 특징을 갖는 Yolov4 알고리즘이 적합하며, 클라우드 기반의 화재 탐지 시스템의 경우, '클라우드 환경'을 통한 화재 탐지 시스템인 점을 감안하여, 높은 FPS로 처리할 수는 없지만 많은 자원을 활용할 수 있고 비교적 정확한 특징을 갖는 EfficientDet 알고리즘이 적합하다.First, in the case of an on-premise based fire detection system, considering that it is a fire detection system through 'internal network configuration', the Yolov4 algorithm, which has relatively low accuracy but fast characteristics without consuming a lot of resources, is suitable. In the case of the fire detection system of , considering that it is a fire detection system through a 'cloud environment', the EfficientDet algorithm, which cannot be processed at high FPS, can utilize a lot of resources and has relatively accurate characteristics, is suitable.
이러한 점을 고려하여, 상기 학습 처리부(300)는 둘 이상의 인공 신경망 학습 알고리즘을 이용하여, 상기 학습 데이터 셋을 각각 학습하여 다수의 인공 신경망 학습 모델을 생성하는 것이 바람직하다.Considering this point, the
상기 탐지 시작 단계(S500)는 상기 실시간 탐지부(400)에서, 화재 탐지를 위해 실시간으로 화재 감시 데이터, 다시 말하자면, 연계되어 있는 영상 촬영 수단을 통해서 지속적으로 영상 데이터 또는 이미지 데이터를 입력받는 것이 바람직하며, 영상 데이터로 입력될 경우, 영상 데이터의 전송 시계열 순서대로 추출한 상기 영상 프레임 이미지 데이터를 추출하여 활용하게 된다.In the detection start step (S500), it is preferable that the real-
상기 실시간 환경 추출 단계(S600)는 상기 실시간 탐지부(400)에서, 상기 탐지 시작 단계(S500)에 의해 입력되는 입력 데이터, 다시 말하자면, 실시간 화재 탐지가 이루어지는 동안 연계되어 있는 영상 촬영 수단을 통해서 지속적으로 입력되는 감시 데이터(영상 데이터 또는 이미지 데이터)를 분석하여, 외부 환경 조건 정보를 추출하게 된다.In the real-time environment extraction step (S600), in the real-
이 때, 상기 실시간 환경 추출 단계(S600)는 입력 데이터의 외부 환경 조건 정보를 추출하기 위하여, 외부로부터, 다시 말하자면, 연계되어 있는 기상청 데이터베이스를 입력받아 기상청 데이터베이스에 포함되어 있는 일출시간 정보와 일몰시간 정보를 추출하여, 이를 기준으로 주간 환경/야간 환경을 구분하는 것이 바람직하다.At this time, in order to extract the external environment condition information of the input data, in the real-time environment extraction step (S600), the sunrise time information and the sunset time included in the meteorological agency database are received from the outside, that is, the meteorological agency database associated therewith. It is desirable to extract the information and classify the day environment/night environment based on this information.
상세하게는, 입력 데이터에 포함되어 있는 시간 정보 또는, 구동되고 있는 '화재 탐지 시스템'으로부터 입력되는 실시간 화재 탐지가 이루어지는 시간 정보를 이용하여, 기상청 데이터베이스에 포함되어 있는 일출시간 정보와 일몰시간 정보를 반영하여 실시간 화재 탐지가 이루어지고 있는 현재가 주간 환경 조건인지, 야간 환경 조건인지 판단하여 입력 데이터의 외부 환경 조건 정보를 추출하는 것이 바람직하다.In detail, by using the time information included in the input data or the time information at which real-time fire detection is input from the 'fire detection system' being operated, the sunrise time information and sunset time information included in the database of the Korea Meteorological Administration are calculated. It is desirable to extract the external environmental condition information of the input data by determining whether the current daytime environmental condition or the nighttime environmental condition is reflected in real-time fire detection.
상기 모델 선택 단계(S700)는 상기 실시간 탐지부(400)에서, 상기 학습 단계(S400)에 의해 생성된 다수의 인공 신경망 학습 모델들 중 온 프레미스 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델을 선택하게 된다. 이를 통해서, 두 개의 인공 신경망 학습 모델이 선택되는 것이 바람직하며, 상세하게는, Yolov4 알고리즘을 이용하여 생성된 인공 신경망 학습 모델이 선택되되, 야간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋, 주간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 각각 학습한 두 개의 인공 신경망 학습 모델이 선택되게 된다.In the model selection step (S700), the real-
상기 모델 선택 단계(S700)는 선택된 두 개의 인공 신경망 학습 모델 중 상기 실시간 환경 추출 단계(S600)에 의해 추출한 외부 환경 조건 정보에 해당하는 학습 데이터 셋을 학습하여 생성된 인공 신경망 학습 모델을 선택하게 된다.In the model selection step (S700), an artificial neural network learning model generated by learning a learning data set corresponding to the external environment condition information extracted in the real-time environment extraction step (S600) is selected from among the two selected artificial neural network learning models. .
즉, Yolov4 알고리즘을 이용하여 생성된 두 개의 인공 신경망 학습 모델 중 실시간 입력되는 감시 데이터가 해당하는 외부 환경 조건 정보(주간 환경 조건 또는, 야간 환경 조건)를 반영하여 해당하는 학습 데이터 셋을 학습한 어느 하나의 인공 신경망 학습 모델이 선택되게 된다.That is, among the two artificial neural network learning models created using the Yolov4 algorithm, which one learned the corresponding training data set by reflecting the external environmental condition information (daytime environment condition or nighttime environment condition) corresponding to the real-time input monitoring data? One artificial neural network learning model is selected.
상기 탐지 수행 단계(S800)는 상기 실시간 탐지부(400)에서, 상기 모델 선택 단계(S700)에 의해 선택된 인공 신경망 학습 모델에 실시간으로 입력되는 이미지 데이터를 입력 데이터로 적용하여, 화재 객체 탐지를 수행하게 된다.In the detection performing step (S800), in the real-
이 때, 상기 탐지 수행 단계(S800)에 의한 화재 객체 탐지는 '1차 탐지' 개념으로 해석하는 것이 바람직하며, 탐지 결과에 대한 검증을 수행하는 것이 바람직하다.At this time, it is preferable to interpret the fire object detection by the detection execution step (S800) as a 'primary detection' concept, and it is preferable to perform verification of the detection result.
이를 위해, 본 발명의 일 실시예에 따른 비젼 기반 화재 탐지 방법은 도 2에 도시된 바와 같이, 모델 재선택 단계(S900) 및 탐지 재수행 단계(S1000)를 더 포함하여 구성되는 것이 바람직하다.To this end, as shown in FIG. 2 , the vision-based fire detection method according to an embodiment of the present invention preferably further includes a model re-selection step (S900) and a detection re-performing step (S1000).
상기 모델 재선택 단계(S900)는 상기 실시간 탐지부(400)에서, 상기 학습 단계(S400)에 의해 생성된 다수의 인공 신경망 학습 모델들 중 클라우드 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델을 선택하게 된다.In the model reselection step (S900), the real-
이를 통해서, 상기 모델 선택 단계(S700)와 마찬가지로 두 개의 인공 신경망 학습 모델이 선택되는 것이 바람직하며, 상세하게는, EfficientDet 알고리즘을 이용하여 생성된 인공 신경망 학습 모델이 선택되되, 야간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋, 주간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 각각 학습한 두 개의 인공 신경망 학습 모델을 선택되게 된다.Through this, it is preferable to select two artificial neural network learning models as in the model selection step (S700), and in detail, the artificial neural network learning model generated using the EfficientDet algorithm is selected, but fire data in night environmental conditions Two artificial neural network learning models are selected, each learning a learning data set created by grouping and a learning data set created by grouping fire data of daytime environmental conditions.
이 후, 상기 모델 재선택 단계(S900)는 선택된 두 개의 인공 신경망 학습 모델 중 상기 실시간 환경 추출 단계(S600)에 의해 추출한 외부 환경 조건 정보에 해당하는 학습 데이터 셋을 학습하여 생성된 인공 신경망 학습 모델을 선택하게 된다.Thereafter, the model reselection step (S900) is an artificial neural network learning model generated by learning a training data set corresponding to the external environment condition information extracted by the real-time environment extraction step (S600) among the two selected artificial neural network learning models. will choose
즉, EfficientDet 알고리즘을 이용하여 생성된 두 개의 인공 신경망 학습 모델 중 실시간 입력되는 감시 데이터가 해당하는 외부 환경 조건 정보(주간 환경 조건 또는, 야간 환경 조건)를 반영하여 해당하는 학습 데이터 셋을 학습한 어느 하나의 인공 신경망 학습 모델이 선택되게 된다.That is, among the two artificial neural network learning models created using the EfficientDet algorithm, one of the learning data sets corresponding to the monitoring data input in real time reflects the corresponding external environmental condition information (daytime environment conditions or nighttime environment conditions). One artificial neural network learning model is selected.
상기 탐지 재수행 단계(S1000)는 상기 실시간 탐지부(400)에서, 상기 모델 재선택 단계(S900)에 의해 선택한 인공 신경망 학습 모델에 실시간으로 입력되는 이미지 데이터를 입력 데이터로 적용하여, 화재 객체 탐지를 수행하게 된다.In the detection re-performing step (S1000), in the real-
이 때, 상기 탐지 수행 단계(S800)의 탐지 결과와 탐지 재수행 단계(S1000)의 탐지 결과가 상이할 경우, 상기 탐지 재수행 단계(S1000)에 의한 탐지 결과를 최종 탐지 결과로 설정하는 것이 가장 바람직하나, 상기 실시간 탐지부(400)의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델에 의한 탐지 결과를 최종 탐지 결과로 설정하는 것이 바람직하며, 이는 사용 관리자(또는, 제어자 등)로부터 설정 입력받게 된다.At this time, if the detection result of the detection execution step (S800) and the detection result of the detection re-performation step (S1000) are different, the detection result by the detection re-performation step (S1000) is set as the final detection result. However, it is preferable to set the detection result by the artificial neural network learning model generated using the artificial neural network learning algorithm corresponding to the operating condition of the real-
더불어, 본 발명의 일 실시예에 따른 비젼 기반 화재 탐지 방법은, 상기 실시간 환경 추출 단계(S600)에 의해 추출한 외부 환경 조건 정보가 주간 환경 조건과 야간 환경 조건 사이의 소정 범위 내일 경우, 야간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 학습한 인공 신경망 학습 모델과 주간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 학습한 인공 신경망 학습 모델을 모두 선택하는 것이 바람직하다.In addition, in the vision-based fire detection method according to an embodiment of the present invention, when the external environment condition information extracted by the real-time environment extraction step (S600) is within a predetermined range between the daytime environment condition and the nighttime environment condition, the nighttime environment condition It is preferable to select both an artificial neural network learning model that learns a training data set generated by grouping fire data of , and an artificial neural network learning model that learns a training data set generated by grouping fire data of daytime environmental conditions.
다시 말하자면, 일출 시간부터 일몰 시간까지의 시간 정보에 해당하는 입력 데이터를 주간 환경 조건이라 하고, 일몰 시간부터 일출 시간까지의 시간 정보에 해당하는 입력 데이터를 야간 환경 조건이라 할 경우, 현재 입력 데이터의 시간 정보가 일출 시간의 30분 전, 일몰 시간의 30분 후와 같이, 야간과 주간의 경계를 정확하게 구분하기 어려운 시간대의 외부 환경 조건을 소정 범위로 설정하고, 해당하는 소정 범위 내에 시간 정보가 입력될 경우, 야간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 학습한 인공 신경망 학습 모델과 주간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 학습한 인공 신경망 학습 모델을 모두 선택하는 것이 바람직하다.In other words, when input data corresponding to time information from sunrise to sunset is referred to as daytime environmental conditions, and input data corresponding to time information from sunset to sunrise is referred to as nighttime environmental conditions, the current input data The external environmental conditions of the time zone where it is difficult to accurately distinguish the boundary between night and day, such as 30 minutes before sunrise and 30 minutes after sunset, where time information is set to a predetermined range, and time information is input within the predetermined range If it is, select both the artificial neural network learning model that learned the training data set created by grouping the fire data of nighttime environmental conditions and the artificial neural network learning model that learned the training data set created by grouping the fire data of daytime environmental conditions. it is desirable
다만, 상기 탐지 수행 단계(S800), 탐지 재수행 단계(S1000) 모두에서 두 개의 인공 신경망 학습 모델에 의한 탐지 결과를 도출하되, 현재 시간 정보가 포함되는 영역의 인공 신경망 학습 모델에 의한 탐지 결과, 일 예를 들자면, 일출 시간의 30분 전일 경우, 분류하자면 야간 환경 조건에 해당하기 때문에, 야간 환경 조건의 화재 데이터를 그룹화하여 생성한 학습 데이터 셋을 학습한 인공 신경망 학습 모델에 의한 탐지 결과에 소정 가중치를 더 주어, 최종 탐지 결과로 설정하는 것이 바람직하며, 소정 가중치는 사용 관리자(또는, 제어자 등)로부터 설정 입력받게 된다.However, in both the detection execution step (S800) and the detection re-performation step (S1000), detection results by the two artificial neural network learning models are derived, but detection results by the artificial neural network learning model in the area including the current time information, For example, in the case of 30 minutes before sunrise, since it corresponds to nighttime environmental conditions to be classified, the detection result by the artificial neural network learning model learning the learning data set generated by grouping fire data of nighttime environmental conditions It is preferable to set a final detection result by giving additional weights, and the predetermined weights are input from the user manager (or controller, etc.).
이상과 같이 본 발명에서는 구체적인 구성 소자 등과 같은 특정 사항들과 한정된 실시예 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것 일 뿐, 본 발명은 상기의 일 실시예에 한정되는 것이 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described with specific details such as specific components and limited embodiment drawings, but this is only provided to help a more general understanding of the present invention, and the present invention is not limited to the above embodiment. No, and those skilled in the art to which the present invention pertains can make various modifications and variations from these descriptions.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허 청구 범위뿐 아니라 이 특허 청구 범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments, and it will be said that not only the claims to be described later, but also all modifications equivalent or equivalent to these claims belong to the scope of the present invention. .
100 : 데이터 수집부
200 : 데이터 전처리부
300 : 학습 처리부
400 : 실시간 탐지부
410 : 제1 선택부 420 : 제2 선택부
430 : 탐지 수행부 440 : 탐지 검증부100: data collection unit
200: data pre-processing unit
300: learning processing unit
400: real-time detection unit
410: first selection unit 420: second selection unit
430: detection performing unit 440: detection verification unit
Claims (11)
상기 데이터 수집부(100)에서 수집한 수집 데이터의 외부 환경 조건 정보로 야간 환경 조건 또는, 주간 환경 조건을 추출하는 데이터 전처리부(200);
상기 데이터 전처리부(200)에서 추출한 외부 환경 조건 정보를 기반으로 상기 수집 데이터를 그룹화하여 둘 이상의 학습 데이터 셋을 생성하고, 기저장된 둘 이상의 인공 신경망 학습 알고리즘을 이용하여, 상기 학습 데이터 셋을 각각 학습하여 다수의 인공 신경망 학습 모델을 생성하는 학습 처리부(300); 및
실시간 화재 탐지 시, 상기 학습 처리부(300)에서 생성한 다수의 인공 신경망 학습 모델 중 적어도 하나의 인공 신경망 학습 모델을 선택하고, 선택된 상기 인공 신경망 학습 모델에 실시간 입력되는 이미지 데이터를 적용하여 화재 탐지를 수행하는 실시간 탐지부(400);
를, 포함하며,
상기 실시간 탐지부(400)는
온 프레미스(on-premise) 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여, 생성된 인공 신경망 학습 모델을 선택하는 제1 선택부(410)와,
실시간 화재 탐지가 이루어지는 동안의 입력 데이터에 대한 외부 환경 조건 정보를 추출하여, 상기 제1 선택부(410)에 의해 선택된 인공 신경망 학습 모델 중 추출한 외부 환경 조건 정보에 해당하는 학습 데이터 셋을 학습하여 생성된 인공 신경망 학습 모델을 선택하는 제2 선택부(420)를 더 포함하는 비젼 기반 화재 탐지 시스템.
A data collection unit 100 that collects fire-related image data or fire-related image data from the outside;
a data pre-processing unit 200 that extracts nighttime environmental conditions or daytime environmental conditions as external environmental condition information of the collected data collected by the data collecting unit 100;
Based on the external environmental condition information extracted from the data pre-processing unit 200, the collected data is grouped to create two or more learning data sets, and the learning data sets are respectively learned using two or more pre-stored artificial neural network learning algorithms a learning processing unit 300 that generates a plurality of artificial neural network learning models by doing so; and
In case of real-time fire detection, at least one artificial neural network learning model is selected from among a plurality of artificial neural network learning models generated by the learning processing unit 300, and image data input in real time is applied to the selected artificial neural network learning model to detect fire. Real-time detection unit 400 to perform;
Including,
The real-time detection unit 400
A first selection unit 410 for selecting a generated artificial neural network learning model using an artificial neural network learning algorithm corresponding to an on-premise driving condition;
External environmental condition information for input data during real-time fire detection is extracted, and a learning data set corresponding to the external environmental condition information extracted from the artificial neural network learning model selected by the first selector 410 is generated. A vision-based fire detection system further comprising a second selection unit 420 for selecting the artificial neural network learning model.
상기 제2 선택부(420)는
외부로부터 일출시간 정보와 일몰시간 정보를 입력받아, 입력된 상기 정보에 실시간 화재 탐지가 이루어지는 시간 정보를 반영하여 상기 입력 데이터의 외부 환경 조건 정보를 추출하는, 비젼 기반 화재 탐지 시스템.
According to claim 1,
The second selector 420
A vision-based fire detection system that receives sunrise time information and sunset time information from the outside and extracts external environment condition information of the input data by reflecting time information at which real-time fire detection is performed in the inputted information.
상기 실시간 탐지부(400)는
상기 제2 선택부(420)에 의해 선택된 인공 신경망 학습 모델에 실시간 입력되는 이미지 데이터를 입력 데이터로 적용하여 화재 탐지를 수행하는 탐지 수행부(430);
를 더 포함하는, 비젼 기반 화재 탐지 시스템.
According to claim 1,
The real-time detection unit 400
a detection performer 430 that performs fire detection by applying image data input in real time to the artificial neural network learning model selected by the second selector 420 as input data;
Further comprising a, vision-based fire detection system.
상기 실시간 탐지부(400)는
클라우드 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델 중 상기 제2 선택부(420)에 의해 추출한 입력 데이터의 외부 환경 조건 정보에 해당하는 학습 데이터 셋을 학습하여 생성된 인공 신경망 학습 모델을 선택하여, 상기 입력 데이터의 화재 탐지를 재수행하는 탐지 검증부(440);
를 더 포함하는, 비젼 기반 화재 탐지 시스템.
According to claim 6,
The real-time detection unit 400
Learning and generating a learning data set corresponding to the external environmental condition information of the input data extracted by the second selector 420 among the artificial neural network learning models generated using the artificial neural network learning algorithm corresponding to the cloud-based driving conditions a detection verification unit 440 that selects an artificial neural network learning model and re-performs fire detection of the input data;
Further comprising a, vision-based fire detection system.
상기 실시간 탐지부(400)는
상기 탐지 수행부(430)와 탐지 검증부(440) 간의 화재 탐지 결과가 상이할 경우, 상기 탐지 검증부(440)의 화재 탐지 결과를 최종 탐지 결과 데이터로 적용하는, 비젼 기반 화재 탐지 시스템.
According to claim 7,
The real-time detection unit 400
When the fire detection results between the detection performing unit 430 and the detection verification unit 440 are different, the fire detection result of the detection verification unit 440 is applied as final detection result data.
데이터 전처리부에서, 상기 수집 단계(S100)에 의해 수집한 수집 데이터의 외부 환경 조건 정보를 추출하는 환경 추출 단계(S200);
학습 처리부에서, 상기 환경 추출 단계(S200)에 의해 추출한 외부 환경 조건 정보를 기반으로 상기 수집 데이터를 그룹화하여, 적어도 두 개의 학습 데이터 셋을 생성하는 셋 생성 단계(S300);
학습 처리부에서, 기저장된 둘 이상의 인공 신경망 학습 알고리즘을 이용하여, 상기 셋 생성 단계(S300)에 의해 생성한 적어도 두 개의 학습 데이터 셋을 각각 학습하여, 다수의 인공 신경망 학습 모델을 생성하는 학습 단계(S400);
실시간 탐지부에서, 화재 탐지를 위해 실시간으로 이미지 데이터를 입력받는 탐지 시작 단계(S500);
실시간 탐지부에서, 상기 탐지 시작 단계(S500)에 의해 입력되는 입력 데이터에 대한 외부 환경 조건 정보를 추출하는 실시간 환경 추출 단계(S600);
실시간 탐지부에서, 상기 학습 단계(S400)에 의해 생성된 다수의 인공 신경망 학습 모델들 중 온 프레미스(on-premise) 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델을 선택하고, 선택한 인공 신경망 학습 모델 중 상기 실시간 환경 추출 단계(S600)에 의해 추출한 입력 데이터의 외부 환경 조건 정보에 해당하는 학습 데이터 셋을 학습하여 생성된 인공 신경망 학습 모델을 선택하는 모델 선택 단계(S700); 및
실시간 탐지부에서, 상기 모델 선택 단계(S700)에 의해 선택한 인공 신경망 학습 모델을 이용하여, 실시간 입력되는 이미지 데이터에 대한 화재 탐지를 수행하는 탐지 수행 단계(S800);
를 포함하는, 비젼 기반 화재 탐지 방법.
A collection step of collecting fire-related image data or fire-related image data from the outside in a data collection unit (S100);
an environment extraction step (S200) of extracting external environmental condition information of the collected data collected by the data pre-processing unit (S100);
a set generation step (S300) of generating at least two learning data sets by grouping the collected data based on the external environment condition information extracted by the environment extraction step (S200) in a learning processing unit;
In the learning processing unit, a learning step of generating a plurality of artificial neural network learning models by learning each of the at least two training data sets generated in the set generation step (S300) using two or more pre-stored artificial neural network learning algorithms ( S400);
In the real-time detection unit, a detection start step of receiving image data in real time for fire detection (S500);
A real-time environment extraction step (S600) of extracting external environment condition information for the input data input by the detection start step (S500) in a real-time detection unit;
In the real-time detection unit, an artificial neural network learning model generated by using an artificial neural network learning algorithm corresponding to an on-premise operating condition among a plurality of artificial neural network learning models generated by the learning step (S400). A model selection step of selecting and selecting an artificial neural network learning model generated by learning a learning data set corresponding to the external environmental condition information of the input data extracted by the real-time environment extraction step (S600) among the selected artificial neural network learning models ( S700); and
A detection performing step (S800) of performing fire detection on image data input in real time using the artificial neural network learning model selected by the model selection step (S700) in a real-time detection unit;
Including, vision-based fire detection method.
상기 비젼 기반 화재 탐지 방법은
실시간 탐지부에서, 상기 학습 단계(S400)에 의해 생성된 다수의 인공 신경망 학습 모델들 중 클라우드 기반의 구동 조건에 해당하는 인공 신경망 학습 알고리즘을 이용하여 생성된 인공 신경망 학습 모델을 선택하고, 선택한 인공 신경망 학습 모델 중 상기 실시간 환경 추출 단계(S600)에 의해 추출한 입력 데이터의 외부 환경 조건 정보에 해당하는 학습 데이터 셋을 학습하여 생성된 인공 신경망 학습 모델을 선택하는 모델 재선택 단계(S900); 및
실시간 탐지부에서, 상기 모델 재선택 단계(S900)에 의해 선택한 인공 신경망 학습 모델을 이용하여, 실시간 입력되는 이미지 데이터에 대한 화재 탐지를 수행하는 탐지 재수행 단계(S1000);
를 더 포함하되,
상기 탐지 수행 단계(S800)와 탐지 재수행 단계(S1000)의 화재 탐지 결과가 상이할 경우, 상기 탐지 재수행 단계(S1000)의 화재 탐지 결과를 최종 탐지 결과 데이터로 적용하는, 비젼 기반 화재 탐지 방법.
According to claim 9,
The vision-based fire detection method
In the real-time detection unit, among the plurality of artificial neural network learning models generated in the learning step (S400), an artificial neural network learning model generated using an artificial neural network learning algorithm corresponding to a cloud-based driving condition is selected, and the selected artificial neural network learning model is selected. A model re-selection step (S900) of selecting an artificial neural network learning model generated by learning a learning data set corresponding to external environmental condition information of the input data extracted by the real-time environment extraction step (S600) among neural network learning models; and
a re-detection step (S1000) of performing fire detection on the real-time input image data by using the artificial neural network learning model selected by the model re-selection step (S900) in the real-time detection unit;
Including more,
If the fire detection result of the detection step (S800) and the detection re-performation step (S1000) are different, the vision-based fire detection method applying the fire detection result of the detection re-performation step (S1000) as the final detection result data. .
상기 실시간 환경 추출 단계(S600)는
외부로부터 일출시간 정보와 일몰시간 정보를 입력받아, 입력된 상기 정보에 실시간 화재 탐지가 이루어지는 시간 정보를 반영하여 상기 입력 데이터의 외부 환경 조건 정보를 추출하는, 비젼 기반 화재 탐지 방법.According to claim 9,
The real-time environment extraction step (S600)
A vision-based fire detection method for receiving sunrise time information and sunset time information from the outside and extracting external environment condition information of the input data by reflecting time information at which real-time fire detection is performed in the inputted information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210098303A KR102549809B1 (en) | 2021-07-27 | 2021-07-27 | Fire detection system and method based on vision |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210098303A KR102549809B1 (en) | 2021-07-27 | 2021-07-27 | Fire detection system and method based on vision |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230016826A KR20230016826A (en) | 2023-02-03 |
| KR102549809B1 true KR102549809B1 (en) | 2023-06-30 |
Family
ID=85225990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210098303A KR102549809B1 (en) | 2021-07-27 | 2021-07-27 | Fire detection system and method based on vision |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102549809B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102665312B1 (en) * | 2023-05-02 | 2024-05-14 | 주식회사 휴먼시스템즈 | Tunnel control enclosure and enclosure control method for safe evacuation |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018088105A (en) * | 2016-11-29 | 2018-06-07 | ホーチキ株式会社 | Monitoring system |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102277968B1 (en) | 2018-07-12 | 2021-07-15 | 주식회사동우유니온 | Early fire detection system, server and method using image processing and artificial intelligence based on deep learning |
-
2021
- 2021-07-27 KR KR1020210098303A patent/KR102549809B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018088105A (en) * | 2016-11-29 | 2018-06-07 | ホーチキ株式会社 | Monitoring system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230016826A (en) | 2023-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111582201B (en) | Lane line detection system based on geometric attention perception | |
| KR101353952B1 (en) | Method for detecting wildfire smoke using spatiotemporal bag-of-features of smoke and random forest | |
| CN110688925B (en) | Cascade target identification method and system based on deep learning | |
| CN114863097B (en) | Infrared dim target detection method based on attention mechanism convolutional neural network | |
| US20130094699A1 (en) | Forest fire smoke detection method using random forest classification | |
| KR101967645B1 (en) | a Fire Detection Device and method based on the integration of fuzzy logic and deep learning | |
| WO2013101460A2 (en) | Clustering-based object classification | |
| KR102392822B1 (en) | Device of object detecting and tracking using day type camera and night type camera and method of detecting and tracking object | |
| KR102549809B1 (en) | Fire detection system and method based on vision | |
| US8244649B2 (en) | Structured differential learning | |
| CN111862065A (en) | Power transmission line diagnosis method and system based on multitask deep convolutional neural network | |
| CN116563762A (en) | Fire detection method, system, medium, equipment and terminal for oil and gas station | |
| CN108986076A (en) | A kind of photovoltaic array hot spot detection method based on PSO optimization PCNN | |
| CN111898427A (en) | Multispectral pedestrian detection method based on feature fusion deep neural network | |
| KR102127946B1 (en) | Device and method for person re-identification | |
| CN109684982B (en) | Flame detection method based on video analysis and combined with miscible target elimination | |
| CN112488213A (en) | Fire picture classification method based on multi-scale feature learning network | |
| CN116152699B (en) | Real-time moving target detection method for hydropower plant video monitoring system | |
| CN116894799A (en) | Data enhancement for domain generalization | |
| CN111783891B (en) | Customized object detection method | |
| CN114419026A (en) | Visual attention-based aeroengine fuse winding identification system and method | |
| Jiang et al. | Deep learning of qinling forest fire anomaly detection based on genetic algorithm optimization | |
| CN114169623A (en) | Power equipment fault analysis method and device, electronic equipment and storage medium | |
| Praneash et al. | Forest fire detection using computer vision | |
| TWI793901B (en) | Smoke detection system and smoke detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |