KR20220112913A - Automatic fire and smoke detection method and surveillance systems based on dilated cnns using the same - Google Patents
Automatic fire and smoke detection method and surveillance systems based on dilated cnns using the same Download PDFInfo
- Publication number
- KR20220112913A KR20220112913A KR1020210016375A KR20210016375A KR20220112913A KR 20220112913 A KR20220112913 A KR 20220112913A KR 1020210016375 A KR1020210016375 A KR 1020210016375A KR 20210016375 A KR20210016375 A KR 20210016375A KR 20220112913 A KR20220112913 A KR 20220112913A
- Authority
- KR
- South Korea
- Prior art keywords
- smoke
- fire detection
- present
- detection model
- surveillance system
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 70
- 239000000779 smoke Substances 0.000 title claims abstract description 44
- 238000012360 testing method Methods 0.000 claims abstract description 31
- 238000012795 verification Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 48
- 238000000034 method Methods 0.000 claims description 40
- 238000013527 convolutional neural network Methods 0.000 claims description 38
- 238000012544 monitoring process Methods 0.000 claims description 28
- 238000011176 pooling Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000010191 image analysis Methods 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 description 32
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000006378 damage Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000010339 dilation Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 229910002092 carbon dioxide Inorganic materials 0.000 description 2
- 239000001569 carbon dioxide Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 206010000369 Accident Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
- Y02A40/28—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture specially adapted for farming
Abstract
Description
본 발명은 화염 및 연기 자동 감지 방법 및 이를 이용하는 확장 CNN 기반의 감시 시스템에 관한 것으로, 더욱 상세하게는 확장 합성곱 신경망(Dilated Convolutional Neural Network)에 기반하여, 불꽃 및 연기의 자동 감지를 통해 화재를 예방할 수 있는 방법 및 이를 이용하는 감시 시스템에 관한 것이다.The present invention relates to a flame and smoke automatic detection method and an extended CNN-based monitoring system using the same, and more particularly, based on a Dilated Convolutional Neural Network, fire detection through automatic detection of flame and smoke. It relates to a preventable method and a monitoring system using the same.
기술과 스마트 시스템의 급속한 성장에도 불구하고 특정 문제는 해결되지 않거나, 또는 성능이 떨어지는 방법으로 해결된 채로 남아 있다. 이러한 문제 중 하나는 예상치 못한 화재 발생 및 인명과 재산에 큰 피해를 입힐 수 있는 비정상적인 상황이다. 통계 정보원에 따르면 소방청은 2016년부터 2018년까지 3 년 동안 한국에서 129,929 건의 화재가 발생하여 1020명이 사망했다. 5795 건의 부상 및 재산 피해는 미화 24*?*억 달러로 추정된다.Despite the rapid growth of technology and smart systems, certain problems remain unresolved or solved in poorly performing ways. One of these problems is the occurrence of unexpected fires and unusual circumstances that can cause great damage to people and property. According to the National Statistical Information Service, the Fire Department reported that there were 129,929 fires in South Korea over the three years from 2016 to 2018, killing 1020 people. 5795 injuries and property damage are estimated at US$24*?*billion.
센서 및 감지 기술에서의 최근의 기술 발전으로 인해 산업계에서는, 이러한 기술 발전이 화재로 인한 손해 및 피해를 줄이는 데 도움이 될 수 있는지에 관한 판단이 일어나고 있다. 화재는, 개인의 삶뿐만 아니라 공공 및 사회 개발에 가장 빈번하고 널리 퍼진 위협에 해당할 수 있다.Recent technological advances in sensors and sensing technologies are causing industry judgments as to whether these technological advances can help reduce damage and damage from fires. Fires may represent the most frequent and pervasive threat to private life as well as public and social development.
화재 발생 자체를 미리 근절하는 것이 화재 예방에 있어서 최우선 순위이지만, 그럼에도 불구하고 화재가 심각해지기 전에 발생한 화재를 감지하고 소화하는 것이 필수적이다.Eradicating the fire itself in advance is a top priority in fire prevention, but it is nevertheless essential to detect and extinguish a fire before it becomes serious.
이와 관련하여 화재 사고의 수와 손상 정도를 줄이기 위해, 조기 화재 감지를 위한 많은 방법이 소개되었고 테스트 되었다. 그리고 많은 다양한 종류의 자동 화재 경보 시스템의 감지 기술 유형이 공식화되어 널리 사용되고 있다.In this regard, in order to reduce the number of fire accidents and the degree of damage, many methods for early fire detection have been introduced and tested. And many different types of detection technology types of automatic fire alarm systems have been formulated and widely used.
두 가지 유형의 화재 경보 시스템이 알려져 있다. 예를 들어 전통적인 화재 경보 시스템과 컴퓨터 비전 기반 화재 감지 시스템이다. 전통적인 화재 경보 시스템은 열 감지기, 화염 감지기 및 연기 감지기 같은 물리적 센서를 사용한다. 이러한 종류의 감지 장치에는 경보 발생시 화재 발생을 확인하기 위한 인간의 개입을 요구한다. 또한, 이러한 시스템은, 화재 또는 연기를 감지하고 위치를 제공하여 사람에게 경고하기 위해 다양한 종류의 도구가 필요하다.Two types of fire alarm systems are known. Examples are traditional fire alarm systems and computer vision-based fire detection systems. Traditional fire alarm systems use physical sensors such as heat detectors, flame detectors, and smoke detectors. This type of detection device requires human intervention to confirm the occurrence of a fire in the event of an alarm. In addition, these systems require different kinds of tools to detect fire or smoke and alert a person by providing a location.
또한, 연기 감지기는, 연기와 불꽃을 구별할 수 없는 경우, 종종 잘못 트리거 되기도 한다. 화재 감지 센서는 명확한 탐지를 위한 충분한 강도의 화재로 탐지에 걸리는 시간이 연장될 수 있다.Also, smoke detectors are often mis-triggered when they cannot distinguish between smoke and flames. The fire detection sensor can extend the time it takes to detect a fire of sufficient intensity for clear detection.
종래의 화재 감지기는, 명확한 감지를 위해 충분할 정도의 화재 강도를 요구했기 때문에, 감지에 시간이 소요됐고, 이로 인해 화재 진행으로 인한 많은 손해와 피해를 가져왔다. 화재 감시 시스템의 견고성과 안정성을 향상시킬 수 있는 대안적인 솔루션은, 시각적 화재 감지 기술의 구현이다. 이와 관련하여, 많은 연구자들이 컴퓨터 비전 기반의 방법과 센서의 조합을 통한 연구를 통해 위에서 업급된 한계를 극복하기 위해 노려해 왔다.Since the conventional fire detector requires a sufficient level of fire intensity for clear detection, it takes time to detect, which causes a lot of damage and damage due to the progress of the fire. An alternative solution that can improve the robustness and reliability of fire monitoring systems is the implementation of visual fire detection technology. In this regard, many researchers have tried to overcome the above-mentioned limitations through research through a combination of a computer vision-based method and a sensor.
화재 감지 관련 기술로서 국내 공개 특허 제10-2013-0101873호는 열화상 카메라를 이용한 산불 감시 장치 및 그 방법을 개시하고 있다. 관련 기술은, 전경과 배경 분리부, 패턴 저장부, 객체 추출부 및 트랙킹부를 포함하는 산불 감시 장치를 개시하고 있으나, 열화상 이미지에 기반하는 점에서 본 발명의 구성과 구별된다.As a fire detection-related technology, Korean Patent Laid-Open Patent No. 10-2013-0101873 discloses a forest fire monitoring apparatus and method using a thermal imaging camera. The related art discloses a forest fire monitoring device including a foreground and background separation unit, a pattern storage unit, an object extraction unit, and a tracking unit, but is distinguished from the configuration of the present invention in that it is based on a thermal image.
또한, 화재 감지 관련 기술로서 국내 공개 특허 제10-2020-0078849호는 disposable IoT 단말을 활용한 산불 확산 예측 및 재발화 감시 서비스 방법 및 시스템을 개시하고 있다. 관련 기술은, 드론을 이용 온도 센서 및 이산화탄소 센서가 장착된 disposable IoT의 살포를 통해 대기의 온도와 이산화탄소 농도를 측정함으로써 산불을 감시하는 방법에 관한 것이라는 점에서, 인공지능 모델을 이용하여 불꽃 및 연기를 감지하는 본 발명의 구성과 구별된다.In addition, as a fire detection-related technology, Korean Patent Laid-Open Patent No. 10-2020-0078849 discloses a method and system for predicting forest fire spread and re-ignition monitoring using a disposable IoT terminal. The related technology relates to a method of monitoring forest fires by measuring atmospheric temperature and carbon dioxide concentration through the spraying of disposable IoT equipped with a temperature sensor and a carbon dioxide sensor using a drone, and flame and smoke using an artificial intelligence model It is distinguished from the configuration of the present invention that detects
본 발명이 해결하고자 하는 일 과제는, 불꽃 및 연기를 자동으로 감지하는 방법 및 이를 이용하는 감시 시스템을 제공하는 것이다.An object of the present invention is to provide a method for automatically detecting flames and smoke and a monitoring system using the same.
본 발명이 해결하고자 하는 일 과제는, 확장 컨볼루션에 기반하는 인공 신경망 모델을 이용하여 불꽃 및 연기를 자동으로 감지하는 방법 및 이를 이용하는 감시 시스템을 제공하는 것이다.An object of the present invention is to provide a method for automatically detecting flames and smoke using an artificial neural network model based on extended convolution and a monitoring system using the same.
본 발명이 해결하고자 하는 일 과제는, 확장 컨볼루션 기법을 이용하여 적은 량의 학습용 데이터 및 적은 량의 학습 시간을 투자하고도, 불꽃 및 연지 감지율이 높은 인공 신경망 모델 및 이를 이용하는 감시 시스템을 제공하는 것이다.One problem to be solved by the present invention is to provide an artificial neural network model with a high flame and rouge detection rate, and a monitoring system using the same, even with a small amount of training data and a small amount of learning time invested using the extended convolution technique will do
상기 과제를 해결하기 위해, 본 발명의 일 실시 예에 따른 ~ 방법은, 수집된 불꽃 및 연기에 관한 영상을 이용하여 데이터셋을 생성하는 데이터 처리부; 데이터셋을 이용하여 불꽃 및 연기를 감지하도록 훈련되는 CNN(Convolutional Neural Network) 기반의 화재 감지 모델과 이를 훈련시키는 학습부; 및 화재 감지 모델의 성능을 테스트하는 모델 검증부를 포함하도록 구성될 수 있다.In order to solve the above problems, a method according to an embodiment of the present invention includes: a data processing unit for generating a dataset by using collected images about flames and smoke; a Convolutional Neural Network (CNN)-based fire detection model trained to detect flames and smoke using a dataset, and a learning unit that trains the same; and a model verification unit that tests the performance of the fire detection model.
또한, 감시 시스템은, 데이터셋에 포함된 불꽃 영상 및 연기 영상의 크기 및 데이터 용량에 따라 상기 CNN 기반의 화재 감지 모델에 포함된 레이어의 수 및 커널의 크기 중에서 적어도 하나를 결정하는 제어부를 더 포함하도록 구성될 수 있다.In addition, the monitoring system further includes a control unit that determines at least one of the number of layers and the size of the kernel included in the CNN-based fire detection model according to the size and data capacity of the flame image and the smoke image included in the dataset. can be configured to
또한, 제어부는, 모델 검증부의 테스트 결과의 피드백에 기반하여 상기 화재 감지 모델에 포함된 레이어의 수 및 커널의 크기 중에서 적어도 하나를 변경할 수 있다.Also, the control unit may change at least one of the number of layers and the size of the kernel included in the fire detection model based on the feedback of the test result of the model verification unit.
또한, 화재 감지 모델은, 1차 내지 4차 합성곱 레이어(Convolutional Layer)를 포함하되,In addition, the fire detection model includes a first to fourth convolutional layer (Convolutional Layer),
각 차수의 합성곱 레이어 다음에 Max-pooling Layer를 포함하도록 구성될 수 있다.It can be configured to include a Max-pooling layer after each order of the convolutional layer.
또한, 합성곱 레이어는, 확장 CNN(Dilated Convolutional Neural Network)의 Layer에 해당할 수 있다.In addition, the convolutional layer may correspond to a layer of an extended CNN (Dilated Convolutional Neural Network).
또한, 합성곱 레이어는, 3*3*3(가로*세로*컬러 채널)의 커널 사이즈의 필터를 포함하도록 구성될 수 있다.In addition, the convolution layer may be configured to include a filter with a kernel size of 3*3*3 (horizontal*vertical*color channel).
또한, 화재 감지 모델은, 1차 및 2차 Fully Connected Layer를 포함하되,In addition, the fire detection model includes the 1st and 2nd Fully Connected Layers,
각 차수의 Fully Connected Layer 앞에 Dropout Layer를 더 포함하도록 구성될 수 있다.It may be configured to further include a dropout layer in front of the Fully Connected Layer of each order.
또한, 화재 감지 모델은, 불꽃 또는 연기를 감지하는 분류 레이어(Classification Layer)를 포함하도록 구성될 수 있다.In addition, the fire detection model may be configured to include a classification layer that detects flame or smoke.
본 발명의 일 실시 예에 따른 불꽃 감시 방법은, 수집된 불꽃 및 연기에 관한 영상을 이용하여 데이터셋을 생성하는 단계; 데이터셋을 이용하여 불꽃 및 연기를 감지하도록 CNN(Convolutional Neural Network) 기반의 화재 감지 모델을 훈련시키는 단계; 및 화재 감지 모델의 성능을 테스트하는 단계를 포함하도록 구성될 수 있다.A flame monitoring method according to an embodiment of the present invention includes generating a data set using images related to collected flames and smoke; training a Convolutional Neural Network (CNN)-based fire detection model to detect flames and smoke using a dataset; and testing the performance of the fire detection model.
본 발명의 일 실시 예에 따른, 감시 시스템은, 이미지 분석을 위해 데이터셋에 포함된 이미지의 픽셀 정보를 읽어 들이는 가로 및 세로 크기를 갖는 복수의 필터들; 각 필터를 통해 입력된 픽셀 정보를 분석하는 복수의 합성곱 레이어(Convolutional Layer); 및 합성곱 레이어에 의한 픽셀 분석을 기반으로 테스트 이미지 내에서 불꽃 및 연기 중에서 적어도 하나를 감지함으로써 화재를 자동으로 감지하는 Classification Layer를, 확장 합성곱 신경망의 구성요소로서 포함하도록 구성될 수 있다.According to an embodiment of the present invention, a monitoring system includes: a plurality of filters having horizontal and vertical sizes for reading pixel information of an image included in a dataset for image analysis; a plurality of convolutional layers for analyzing pixel information input through each filter; and a Classification Layer that automatically detects fire by detecting at least one of flame and smoke in the test image based on pixel analysis by the convolutional layer, as a component of the extended convolutional neural network.
또한, 필터는, 커널 사이즈가 3인 경우 최적의 성능을 나타내는 것을 특징으로 한다.In addition, the filter is characterized in that it exhibits optimal performance when the kernel size is 3.
또한, 합성곱 레이어는, 합성곱 레이어의 수가 4인 경우 최적의 성능을 나타내는 것을 특징으로 한다.In addition, the convolutional layer is characterized in that it exhibits optimal performance when the number of convolutional layers is 4.
기타 실시 예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.Specific details of other embodiments are included in "Details for carrying out the invention" and the accompanying "drawings".
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시 예를 참조하면 명확해질 것이다.Advantages and/or features of the present invention, and methods for achieving them, will become apparent with reference to various embodiments described below in detail in conjunction with the accompanying drawings.
그러나 본 발명은 이하에서 개시되는 각 실시 예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시 예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.However, the present invention is not limited to the configuration of each embodiment disclosed below, but may also be implemented in a variety of different forms, and each embodiment disclosed herein only makes the disclosure of the present invention complete, It is provided to fully inform those of ordinary skill in the art to which the scope of the present invention belongs, and it should be understood that the present invention is only defined by the scope of each of the claims.
본 발명에 의하면, 레이어 수 및 커널 크기를 최적으로 결정함으로써 효율적 비용을 들여 불꽃 및 연기를 감지하는 학습 모델을 완성할 수 있다.According to the present invention, by optimally determining the number of layers and the kernel size, it is possible to complete a learning model for detecting flames and smoke at an efficient cost.
또한, 확장 컨볼루션에 기반하는 인공 신경망을 이용하여 오버피팅을 방지할 수 있다.In addition, overfitting can be prevented by using an artificial neural network based on extended convolution.
도 1은 본 발명의 일 실시 예에 따른 감시 시스템의 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 감시 시스템의 네트워크 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 불꼬 및 연기 자동 감지 방법의 흐름도이다.
도 4은 본 발명의 일 실시 예에서 사용된 데이터셋의 불꽃 이미지이다.
도 5는 본 발명의 일 실시 예에서 사용된 데이터셋의 연기 이미지이다.
도 6은 본 발명의 일 실시 예에 따른 확장 CNN 필터의 예시도이다.
도 7은 본 발명의 일 실시 예에 따른 확장 CNN을 이용하는 필터링의 예시도이다.
도 8은 본 발명의 일 실시 예에 따른 인공 신경망 모델의 예시도이다.
도 9는 본 발명의 일 실시 예에 따른 인공 신경망 모델의 세부 정보를 나타내는 테이블이다.
도 10은 본 발명의 일 실시 예에 따른 인공 신경망 모델의 종류에 따른 훈련 정확도 비교의 그래프이다.
도 11은 본 발명의 일 실시 예에 따른 인공 신경망 모델의 종류에 따른 훈련 정확도 비교의 그래프이다.
도 12는 본 발명의 일 실시 예에 따른 인공 신경망 모델의 레이어 수에 따른 훈련 정확도 비교의 그래프이다.
도 13은 본 발명의 일 실시 예에 따른 인공 신경망 모델의 커널 사이즈에 따른 훈련 정확도 비교의 그래프이다.
도 14는 본 발명의 일 실시 예에 따른 인공 신경망 모델과 타 모델의 훈련 정확도 비교의 그래프이다.
도 15는 본 발명의 일 실시 예에 따른 인공 신경망 모델과 타 모델의 훈련 정확도 비교의 그래프이다.
도 16은 본 발명의 일 실시 예에 따른 인공 신경망 모델과 타 모델의 훈련 및 테스트 스코어 비교의 그래프이다.
도 17은 본 발명의 일 실시 예에 따른 인공 신경망 모델과 타 모델의 훈련 및 예측에 소요된 시간 비교의 그래프이다.1 is a block diagram of a monitoring system according to an embodiment of the present invention.
2 is a network configuration diagram of a monitoring system according to an embodiment of the present invention.
3 is a flowchart of a method for automatically detecting flames and smoke according to an embodiment of the present invention.
4 is a flame image of a dataset used in an embodiment of the present invention.
5 is a smoke image of a dataset used in an embodiment of the present invention.
6 is an exemplary diagram of an extended CNN filter according to an embodiment of the present invention.
7 is an exemplary diagram of filtering using an extended CNN according to an embodiment of the present invention.
8 is an exemplary diagram of an artificial neural network model according to an embodiment of the present invention.
9 is a table showing detailed information of an artificial neural network model according to an embodiment of the present invention.
10 is a graph of comparison of training accuracy according to types of artificial neural network models according to an embodiment of the present invention.
11 is a graph of comparison of training accuracy according to types of artificial neural network models according to an embodiment of the present invention.
12 is a graph of comparison of training accuracy according to the number of layers of an artificial neural network model according to an embodiment of the present invention.
13 is a graph of comparison of training accuracy according to kernel size of an artificial neural network model according to an embodiment of the present invention.
14 is a graph of comparison of training accuracy between an artificial neural network model and another model according to an embodiment of the present invention.
15 is a graph of comparison of training accuracy between an artificial neural network model and another model according to an embodiment of the present invention.
16 is a graph of comparison of training and test scores between an artificial neural network model and another model according to an embodiment of the present invention.
17 is a graph illustrating a comparison of the time taken for training and prediction of an artificial neural network model and another model according to an embodiment of the present invention.
본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니 되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있고, 더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.Before describing the present invention in detail, the terms or words used herein should not be construed as being unconditionally limited to their ordinary or dictionary meanings, and in order for the inventor of the present invention to describe his invention in the best way It should be understood that the concepts of various terms can be appropriately defined and used, and further, these terms or words should be interpreted as meanings and concepts consistent with the technical idea of the present invention.
즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시 예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니며, 이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.That is, the terms used in this specification are only used to describe preferred embodiments of the present invention, and are not used for the purpose of specifically limiting the content of the present invention, and these terms represent various possibilities of the present invention. It should be understood that the term has been defined with consideration in mind.
또한, 본 명세서에서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있으며, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.Also, in this specification, it should be understood that, unless the context clearly indicates otherwise, the expression in the singular may include a plurality of expressions, and even if it is similarly expressed in plural, it should be understood that the meaning of the singular may be included. .
본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.In the case where it is stated throughout this specification that a component "includes" another component, it does not exclude any other component, but further includes any other component unless otherwise indicated. It could mean that you can.
더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"라고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있고, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결하기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있으며, 이 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.Furthermore, when it is described that a component is "exists in or is connected to" of another component, this component may be directly connected or installed in contact with another component, and a certain It may be installed spaced apart by a distance, and in the case of being installed spaced apart by a certain distance, a third component or means for fixing or connecting the corresponding component to another component may exist, and now It should be noted that the description of the components or means of 3 may be omitted.
반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.On the other hand, when it is described that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the third element or means does not exist.
마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.Likewise, other expressions describing the relationship between components, such as "between" and "immediately between", or "adjacent to" and "directly adjacent to", have the same meaning. should be interpreted as
또한, 본 명세서에서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 사용된다면, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용되며, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.In addition, if terms such as "one side", "other side", "one side", "other side", "first", "second" are used in this specification, with respect to one component, this one component is It is used to be clearly distinguished from other components, and it should be understood that the meaning of the component is not limitedly used by such terms.
또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 하며, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.In addition, in this specification, terms related to positions such as "upper", "lower", "left", "right", etc., if used, should be understood as indicating a relative position in the drawing with respect to the corresponding component, Unless an absolute position is specified for their position, these position-related terms should not be construed as referring to an absolute position.
또한, 본 명세서에서는 각 도면의 각 구성 요소에 대해서 그 도면 부호를 명기함에 있어서, 동일한 구성 요소에 대해서는 이 구성 요소가 비록 다른 도면에 표시되더라도 동일한 도면 부호를 가지고 있도록, 즉 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지시하고 있다.In addition, in this specification, in specifying the reference numerals for each component in each drawing, the same component has the same reference number even if the component is indicated in different drawings, that is, the same reference throughout the specification. The symbols indicate the same components.
본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.In the drawings attached to this specification, the size, position, coupling relationship, etc. of each component constituting the present invention are partially exaggerated, reduced, or omitted for convenience of explanation or in order to sufficiently clearly convey the spirit of the present invention. may be described, and thus the proportion or scale may not be exact.
또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대해 상세한 설명은 생략될 수도 있다.In addition, in the following, in describing the present invention, a detailed description of a configuration determined that may unnecessarily obscure the subject matter of the present invention, for example, a detailed description of a known technology including the prior art may be omitted.
이하, 본 발명의 실시 예에 대해 관련 도면들을 참조하여 상세히 설명하기로 한다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the related drawings.
도 1은 본 발명의 일 실시 예에 따른 감시 시스템의 블록도이다.1 is a block diagram of a monitoring system according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 감시 시스템(100)은, 제어부(110), 입력 장치(120), 출력 장치(130), 저장 장치(140), 통신 장치(150) 및 메모리(160)를 포함하도록 구성될 수 있다.Referring to FIG. 1 , a
제어부(110)는, 입력 장치(120), 출력 장치(130), 저장 장치(140), 통신 장치(150)를 직접 또는 간접적으로 제어하는 기능 외에, 메모리(160)에 로드된 각종 프로그램 모듈을 제어하는 역할을 한다.In addition to the function of directly or indirectly controlling the
제어부(110)는, 데이터셋에 포함된 불꽃 영상 및 연기 영상의 크기 및 데이터 용량에 따라 상기 CNN 기반의 화재 감지 모델에 포함된 레이어의 수 및 커널의 크기 중에서 적어도 하나를 결정할 수 있다.The
또한, 제어부(110)는, 모델 검증부의 테스트 결과의 피드백에 기반하여 상기 화재 감지 모델에 포함된 레이어의 수 및 커널의 크기 중에서 적어도 하나를 변경할 수 있다.Also, the
입력 장치(120)는, 사용자 입력을 위한 키보드, 마우스, 터치패드 외에 실시간으로 감시 대상을 촬영하는 카메라를 포함하도록 구성될 수 있다.The
출력 장치(120)는, 화재 감지를 위해 수집된 영상을 표시하는 모니터링 디스플레이 외에, 화재 현장이 감지된 경우, 이를 알릴 수 있는 알람 수단, 예를 들어 스피커를 포함하도록 구성될 수 있다.The
감시 시스템은(100)은, 감시 기능과 관련하여 불꽃 또는 연기를 자동으로 감지하는 기능을 수행하는 모듈들, 예를 들어 데이터 처리부(161), 학습부(162), 검증부(163) 및 화재 감지 모델(164)을 포함하도록 구성될 수 있다. 이들 모듈들은, 하드웨어 및 소프트웨어 중에서 적어도 하나를 이용하여 구현될 수 있다.The
데이터 처리부(161)는, 수집된 불꽃 이미지와 연기 이미지를 처리함으로써 학습용과 테스트용의 데이터셋을 생성하는 역할을 한다.The
학습부(162)는, 불꽃 이미지와 연기 이미지로 구성된 데이터셋을 이용하여 화재 감지 모델을 학습시키는 기능을 한다.The
검증부(163)는, 데스트 용도의 데이터셋을 이용하여 학습을 마치 화재 감지 모델의 성능을 데스트하는 역할을 한다.The
화재 감지 모델(164)은, 학습용 데이터셋을 이용하는 학습의 주체로서, 본 발명에서는 불꽃 이미지 및 연기 이미지로 구성된 데이터셋을 이용하여 불꽃 또는 연기를 인식함으로써 자동으로 화재를 감지하는 방법을 학습한다.The
도 2는 본 발명의 일 실시 예에 따른 감시 시스템의 네트워크 구성도이다. 2 is a network configuration diagram of a monitoring system according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 감시 시스템(100)과, 이와 네트워크(300)를 통해서 연결된 적어도 하나 이상의 서버(200)가 묘사되어 있다. 감시 시스템(100)은, 화재 감지 모델을 포함하는 것을 특징으로 한다. 또한, 감시 시스템(100)은, 화재 감지 모델의 학습 및 평가를 위한 시스템으로 이용될 수 있다. 감지 모델의 학습 및 평가에는 감시 시스템(100) 외에 각종 서버(200)가 이용될 수 있다. 서버(200)는 기능 별로, 데이터 서버, 인공지능 API 서버, 클라우드 서버, 및 웹서버 등을 포함할 수 있다.Referring to FIG. 2 , a
도 3은 본 발명의 일 실시 예에 따른 불꽃 및 연기 자동 감지 방법의 흐름도이다.3 is a flowchart of a method for automatically detecting flames and smoke according to an embodiment of the present invention.
도 3을 참조하면, 감지 방법(S100)은 수집된 영상을 이용하여 데이터셋을 생성하는 단계(S110), 데이터셋을 이용하여 화재 감지 모델을 훈련시키는 단계(S120) 및 화재 감지 모델의 성능을 테스트하는 단계(S130)를 포함하도록 구성될 수 있다.Referring to FIG. 3 , the detection method ( S100 ) includes the steps of generating a dataset using the collected images ( S110 ), training a fire detection model using the dataset ( S120 ), and the performance of the fire detection model. It may be configured to include a testing step (S130).
비전 관련 작업의 주요 한계 요인들 중의 하나는 제안된 방법을 평가하고 분석하는데 사용될 강건한 데이터가 부족하다는 것이다. 적합한 데이터셋을 찾기 위해, 본 발명에서는 이전 연구에서 사용되었던 데이터셋이 면밀히 검토되었다. 많은 데이터셋 중에서, Foggia 등에 의해 제공된 데이터셋은, 14 개의 불꽃 및 17 개의 불꽃 외의 비디오를 포함한다. 그러나, 이 비디오의 다양성이 훈련에 적합하지 않았기 때문에, One of the major limiting factors of vision-related work is the lack of robust data to be used to evaluate and analyze the proposed method. In order to find a suitable dataset, in the present invention, the dataset used in the previous study was carefully reviewed. Among the many datasets, the dataset provided by Foggia et al. contains videos other than 14 flames and 17 flames. However, because the diversity of this video was not suitable for training,
트레이닝 셋은 Foggia의 데이터셋에서 추출된 불꽃 이미지와 인터넷 상에서 구해진 이미지로 구성된다. 또 다른 인터넷 소스로부터 구해진 연기 영상은 데이터셋의 다양성을 높였다. The training set consists of flame images extracted from Foggia's dataset and images obtained from the Internet. Smoke images obtained from another internet source increased the diversity of the dataset.
비디오로부터 프레임이 추출되고, 본 발명에서 사용하기 위한, 최종 불꽃-연기 데이터셋을 구축하기 위해, 각 비디오로부터 이미지가 무작위적으로 추출되었다. 본 발명의 일 실시 예에 따른 데이터셋은 8430개의 불꽃 이미지 및 8430개의 연기 이미지, 전체 16,860개의 이미지를 포함한다.Frames were extracted from the video and images were randomly extracted from each video to build the final flame-smoke dataset for use in the present invention. The dataset according to an embodiment of the present invention includes 8430 flame images and 8430 smoke images, and a total of 16,860 images.
도 4은 본 발명의 일 실시 예에서 사용된 데이터셋의 불꽃 이미지이다.4 is a flame image of a dataset used in an embodiment of the present invention.
도 5는 본 발명의 일 실시 예에서 사용된 데이터셋의 연기 이미지이다.5 is a smoke image of a dataset used in an embodiment of the present invention.
도 4 및 도 5를 참조하면, 수집된 불꽃 이미지와 연기 이미지들의 예가 묘사되어 있다. RGB 이미지들은 JPG 포맷으로 저장되고, 이미지들은 100*100 픽셀의 크기를 갖는다.4 and 5, examples of collected flame images and smoke images are depicted. RGB images are saved in JPG format, and the images have a size of 100*100 pixels.
본 발명의 일 실시 예에 따른 화재 감지 모델은, 인공 신경망(Neural Network)에 기반한다. 화재 감지 모델은, 인공 신경망 중에서, 합성곱 신경망(Convolutional Neural Network)이라고 하는 CNN에 기반할 수 있다. 합성곱은 컨볼루션이라 하는데, 하나의 함수와 또 다른 함수를 반전 이동한 값을 곱한 다음, 구간에 대해 적분하여 새로운 함수를 구하는 수학 연산자이다.A fire detection model according to an embodiment of the present invention is based on an artificial neural network. The fire detection model may be based on a CNN called a convolutional neural network, among artificial neural networks. Convolution, called convolution, is a mathematical operator that multiplies a value obtained by inverting one function and another function and then integrating over an interval to obtain a new function.
컨볼루션(convolution)을 이용하는 목적은, 입력 이미지로부터 학습 가능한 특징을 수집하는 것이다. 컴퓨터 비전에서, 특징을 추출하는 몇 가지 다른 종류의 컨볼루션 용도의 필터가 존재한다. 각 유형의 필터는, 입력 데이터로부터 예를 들어 수평방향, 수직방향 및 대각선방향 에지와 같은 서로 다른 측면 또는 특징을 추출하는 역할을 한다.The purpose of using convolution is to collect learnable features from an input image. In computer vision, there are several different types of convolutional filters that extract features. Each type of filter is responsible for extracting different aspects or features from the input data, for example horizontal, vertical and diagonal edges.
수학식 1은 일반적인 컨볼루션(standard convolution)을 나타내고, 수학식 2는 확장 컨볼루션(dilated convolution)을 나타낸다.
수학식 2를 참조하면, s+lt=p는 컨볼루션 중에 어떤 포인트는 스킵될 수 있음을 알려준다. 더욱이, 확장 컨볼루션(dilated convolution)은 신경망으로 하여금 컨텍스트로부터 더 많은 정보를 얻게 하고, 적은 파라미터로 인하여 적은 연산 시간을 요하도록 한다. 그리고 확장 컨볼루션은, 모델이 일반 컨볼루션이 이용하는 모델보다 더 빠른 연산을 하도록 허락한다. 확장 컨볼루션은, 각 픽셀이 해당 카테고리에 의해 라벨링 되는 픽셀 이미지 분할(image segmentation)에서 주로 사용된다. 따라서, 신경망의 출력은 입력 이미지와 동일한 크기일 필요가 있다.Referring to
확장 컨볼루션은 간단히 말하면, 기존 컨볼루션 필터가 수용하는 픽셀 사이에 간격을 둔 형태이다. 확장 컨볼루션에서 입력 픽셀 수는 일반 컨볼루션과 동일하지만, 확장 컨볼루션은 더 넓은 범위에 대한 입력을 수용할 수 있게 된다.Extended convolution, simply put, is a form of spacing between pixels accommodated by a conventional convolution filter. In extended convolution, the number of input pixels is the same as in normal convolution, but extended convolution can accommodate a wider range of inputs.
확장 컨볼루션은 합성곱 레이어(Convolutional layer)에 또 다른 파라미터인 dilation rate이 도입된 것이다. Dilation rate은 커널 사이즈 간격을 정의한다.In extended convolution, another parameter, dilation rate, is introduced into the convolutional layer. The dilation rate defines the kernel size interval.
도 6은 본 발명의 일 실시 예에 따른 확장 CNN 필터의 예시도이다.6 is an exemplary diagram of an extended CNN filter according to an embodiment of the present invention.
도 6을 참조하면, dilation rate이 2인 3*3 커널은 9개의 파라미터를 사용하면서 5*5 커널과 동일한 시야(view)를 갖는다.Referring to FIG. 6 , a 3*3 kernel having a dilation rate of 2 has the same view as a 5*5 kernel while using 9 parameters.
도 7은 본 발명의 일 실시 예에 따른 확장 CNN을 이용하는 필터링의 예시도이다.7 is an exemplary diagram of filtering using an extended CNN according to an embodiment of the present invention.
도 7을 참조하면, 5*5 커널을 사용하고 두번째와 네번째 열과 행이 모두 삭제되면 (3*3 커널을 사용한 경우 대비) 동일한 계산 비용으로 더 넓은 시야가 제공될 수 있다.Referring to FIG. 7 , if a 5*5 kernel is used and all of the second and fourth columns and rows are deleted (compared to the case of using a 3*3 kernel), a wider field of view may be provided at the same computational cost.
확장 컨볼루션은 특히 real-time segmentation 분야에서 주로 사용된다. 특히 확장 컨볼루션은, 넓은 시야가 필요하고 여러 convolution이나 큰 커널을 사용할 여유가 없는 경우 사용된다.Extended convolution is mainly used in real-time segmentation field. In particular, extended convolution is used when a wide field of view is required and it is not possible to use multiple convolutions or large kernels.
즉 확장 컨볼루션은, 적은 계산 비용으로 Receptive Field를 늘리는 방법이다. 이 확장 컨볼루션은 필터 내부에 zero padding을 추가해서 강제로 receptive field를 늘리게 되는데, weight가 존재하는 파라미터가 있고, 나머지 부분은 0으로 채워지게 된다. 이 receptive field는 필터가 한번 보는 영역으로 사진의 feature를 파악하고, 추출하기 위해서는 넓은 receptive field를 사용하는 것이 좋다. 확장 컨볼루션은, Dimension 손실이 적고, 대부분의 weight가 0이기 때문에 연산의 효율이 좋다. 공간적 특징을 유지하는 segmentation에서 주로 사용되는 이유이다.In other words, extended convolution is a method of increasing the receptive field with a low computational cost. This extended convolution adds zero padding inside the filter to forcibly increase the receptive field. There is a parameter with weights, and the rest is filled with zeros. This receptive field is an area that the filter sees once, and it is better to use a wide receptive field to identify and extract the features of the photo. Extended convolution has low dimension loss and has good computational efficiency because most weights are 0. This is why it is mainly used in segmentation that maintains spatial features.
또한, segmentation 뿐만 아니라, object detection 분야에서도 이득을 볼 수 있다. 이와 같이 확장 컨볼루션은, contextual information이 중용한 분야에 적용하기 유리하다. 또한, 간격을 조절하여 다양한 scale에 대한 대응이 가능하다.In addition, it can benefit not only in segmentation but also in object detection. As such, extended convolution is advantageous to apply to fields where contextual information is important. In addition, it is possible to respond to various scales by adjusting the spacing.
도 8은 본 발명의 일 실시 예에 따른 인공 신경망 모델의 예시도이다.8 is an exemplary diagram of an artificial neural network model according to an embodiment of the present invention.
본 발명에서 필요한 신경망은, 1000여 개에 달하는 그룹의 분류 작업이 아니다. 따라서, 본 발명에서는 도 8과 같은 적은 레이어의 모델이 구성될 수 있다.The neural network required in the present invention is not a classification task of about 1000 groups. Accordingly, in the present invention, a model with a small number of layers as shown in FIG. 8 can be configured.
도 8의 구조에서 모든 컨볼루션 레이어는, 사이즈 3*3의 Receptive Field를 이용하고, rate 2의 확장 컨볼루션(Dilated Convolution)이 채용되었다. 4번째 Convolution 레이어 다음에 2024개의 노드를 갖는 2개의 Fully Connected 레이어 및 2개의 노드를 갖는 최종 출력 레이어가 이어진다.In the structure of FIG. 8, all convolutional layers use a Receptive Field of
도 9는 본 발명의 일 실시 예에 따른 인공 신경망 모델의 세부 정보를 나타내는 테이블이다.9 is a table showing detailed information of an artificial neural network model according to an embodiment of the present invention.
제안된 방법의 아키텍처는 도 9에 제공된다. 입력 레이어는 100*100*3(폭*높이*컬러 채널)의 고정 형태의 입력 데이터를 받고, 모든 데이터 포인트들은 주어진 형태에 맞도록 리사이즈 된다.The architecture of the proposed method is provided in FIG. 9 . The input layer receives input data in a fixed format of 100*100*3 (width*height*color channel), and all data points are resized to fit the given shape.
1차 Convolution 레이어의 출력 모양은, 96*96*128이다. 특징의 연산은 수학식 3으로 주어진다.The output shape of the first convolution layer is 96*96*128. The calculation of the feature is given by Equation (3).
수학식 3에서, (폭*높이)는 입력 모양, (Fwidth*Fheight)은 필터 사이즈, Swidth 및 Sheight는 스트라이드이고, P는 패딩(“valid” padding에 해당)한다.In
본 발명에 따른 일 실시 예에서, 전체 4개의 합성곱 레이어(convolutional layer) 다음에 활성화 함수로 Rectified Linear unit(ReLU)를 채택되었다. ReLU의 수학적 폼은 수학식 4와 같이 묘사된다.In an embodiment according to the present invention, a Rectified Linear unit (ReLU) is adopted as an activation function after all four convolutional layers. The mathematical form of ReLU is described as Equation (4).
ReLU의 장점은, 다른 비선형 활성화 함수 대비 프로세싱 속도도 높은 것이다. 추가로, ReLU는 Gradient Vanishing 문제를 격지 않는데, ReLU 함수의 Gradient는 0 또는 1이기 때문인데, 이는 이것이 포화하지 않는 것을 의미하고, 그래서 Gradient Vanishing 문제가 발생하지 않는다.The advantage of ReLU is that its processing speed is high compared to other nonlinear activation functions. In addition, ReLU does not suffer from gradient vanishing problems, since the gradient of the ReLU function is either 0 or 1, which means that it does not saturate, so there is no gradient vanishing problem.
각 합성곱 레이어 다음에, 다운 샘플링 특징을 위해 max-pooling 레이어가 채택되었다. Max-pooling은, 컴퓨터 비전 작업, 예를 들어 분류(classification), 분할(segmentation), 객체 감지(object detection)를 위해서 average pooling 대비 더욱 효과적인 것이 증명되었다. 본 발명의 일 실시 예에 따른 방법은, 4차 합성곱 레이어까지 factor 2만큼 필터 수의 증가에 의해 작용한다. 초기 레이어에서, dilation rate 2를 갖는 128 커널이 채용되었다. 이어지는 레이어는, 1차 합성곱 레이어 대비 2배의 256 커널로 구성된다. 3차 및 4차 레이어는 동일한 깊이, 즉 512 필터를 갖는다. 컴퓨터 비전에서 흔한 문제점은 오버 피팅(over fitting)이다. 오버 피팅 문제를 방지하기 위해 최종 합성곱 레이어(Final Convolutional Layer) 및 각 fully Connected 레이어 다음에 드롭 아웃 정규화(dropout regularization)가 사용된다.After each convolutional layer, a max-pooling layer was adopted for the downsampling feature. Max-pooling has proven to be more effective than average pooling for computer vision tasks, such as classification, segmentation, and object detection. The method according to an embodiment of the present invention works by increasing the number of filters by a factor of 2 up to the fourth-order convolutional layer. In the initial layer, 128 kernels with a dilation rate of 2 were employed. The subsequent layer consists of 256 kernels, twice that of the first-order convolution layer. The 3rd and 4th layers have the same depth, i.e. 512 filters. A common problem in computer vision is over fitting. Dropout regularization is used after the final convolutional layer and each fully connected layer to avoid overfitting problems.
AlexNet은 로컬 입력 영역(local input regions)에 걸쳐 정규화하는 로컬 응답 정규화(local response normalization)를 사용한다. 본 발명의 일 실시 예에 따른 네트워크 아키텍처는 AlexNet 보다 얕으며, 모델을 훈련하는 데 사용되는 데이터의 양은 상당히 많다. 따라서, 어떤 정규화 기술(normalizing technique)의 적용은 데이터 포인트들 간의 본질적인 관계를 잃게 할 수도 있다. 결국, 본 발명은 수학식 5에 묘사된 바와 같이 평가 결과의 확률을 나타내기 위해, 활성화 함수로서 시그모이드 활성화(sigmoid activation)가 채택되었다.AlexNet uses local response normalization to normalize over local input regions. The network architecture according to an embodiment of the present invention is shallower than AlexNet, and the amount of data used to train the model is quite large. Thus, application of any normalizing technique may cause loss of essential relationships between data points. After all, in the present invention, sigmoid activation is adopted as an activation function to represent the probability of an evaluation result as depicted in
본 발명의 일 실시 예에 따른 화재 감지 모델은, Keras, 텐서플로우 프레임워크의 상위 레벨의 API를 이용하여 훈련되었다. Keras는 파이썬으로 쓰여진 오픈-소스 신경망 라이브러리이다. The fire detection model according to an embodiment of the present invention was trained using Keras and a higher-level API of the TensorFlow framework. Keras is an open-source neural network library written in Python.
또한, 본 발명의 일 실시 예에 따른 화재 감지 모델은, 3.4GHz AMD Ryzen Thread ripper 1950X 16-Core 프로세서 및 11GB 메모리의 NVIDIA GeForce GTX 1080Ti GPU를 갖는 워크스테이션 상에서 훈련될 수 있다. 훈련 중에, 데이터 확장(data augmentation) 기술이 사용되고, 그리고 본 발명에서, epochs 및 배치 사이즈는 250 및 64로 셋될 수 있다. 훈련 프로세스를 최적화하기 위해 SGD(Stochastic Gradient Descent) 알고리즘이 채택되고, 파마미터는 다음과 같이 셋될 수 있다: 초기, 모멘텀은 0.99로 셋되고, 훈련 rate는 10-5, l2 이었고, 정규화는 5*10-4 이었다. 본 발명에서 데이터의 80%가 훈련에 사용하고, 나머지는 모델 성능의 측정에 사용될 수 있다.In addition, the fire detection model according to an embodiment of the present invention may be trained on a workstation having a 3.4GHz AMD Ryzen Thread ripper 1950X 16-Core processor and an NVIDIA GeForce GTX 1080Ti GPU of 11GB memory. During training, data augmentation techniques are used, and in the present invention, epochs and batch sizes can be set to 250 and 64. To optimize the training process, the Stochastic Gradient Descent (SGD) algorithm is adopted, and the parameters can be set as follows: Initial, momentum is set to 0.99, training rate is 10-5, l2, and regularization is 5* It was 10-4. In the present invention, 80% of the data is used for training, and the rest can be used for measurement of model performance.
본 발명의 일 실시 예에 따른 화재 감지 모델의 효율성을 분석하기 위해, 최적의 커널 사이즈, 확장 비율, 및 컨볼루션 레이어 수의 선택 관련 광범위한 시도가 있었다. 본 발명에서 텐서플로우 상에 구축된 Keras, 머신러닝 라이브러리가 이용되었다. 초기에 확장(dilation)이 포함되지 않은 모델과, 확장된 컨볼루션 레이어가 포함된 모델의 성능이 서로 비교되었다.In order to analyze the efficiency of the fire detection model according to an embodiment of the present invention, extensive attempts have been made in relation to selection of an optimal kernel size, expansion ratio, and number of convolutional layers. In the present invention, Keras, a machine learning library built on TensorFlow was used. Initially, the performance of the model without dilation and the model with the extended convolutional layer were compared with each other.
성능 실험에 관련된 용어로서, 에포크(epoch)는 전체 데이터셋이 신경망을 1회 학습하는 사이클을 말한다. 배치 사이즈는, 하나의 배치에 포함된 훈련 샘플의 수를 말한다. Iteration은 1 에포크에 소요되는 패스의 수에 해당한다. 배치 사이즈와 iteration 의 곱은 데이터 수를 나타낸다. 가중치(weight) 및 bias를 1회 업데이터하는 것을 1 step이라 한다.As a term related to performance experiments, an epoch refers to a cycle in which the entire dataset trains the neural network once. The batch size refers to the number of training samples included in one batch. Iteration corresponds to the number of passes required in one epoch. The product of batch size and iteration represents the number of data. Updating the weight and bias once is called 1 step.
도 10은 본 발명의 일 실시 예에 따른 인공 신경망 모델의 종류에 따른 훈련 정확도 비교의 그래프이다.10 is a graph of comparison of training accuracy according to types of artificial neural network models according to an embodiment of the present invention.
도 10을 참조하면, 커널 사이즈가 3인 경우, 일반 CNN과 확장 CNN의 성능 비교가 묘사되어 있다.Referring to FIG. 10, when the kernel size is 3, the performance comparison between the normal CNN and the extended CNN is depicted.
도 11은 본 발명의 일 실시 예에 따른 인공 신경망 모델의 종류에 따른 훈련 정확도 비교의 그래프이다.11 is a graph of comparison of training accuracy according to types of artificial neural network models according to an embodiment of the present invention.
도 11을 참조하면, 커널 사이즈가 5인 경우, 일반 CNN과 확장 CNN의 성능 비교가 묘사되어 있다.Referring to FIG. 11 , when the kernel size is 5, the performance comparison between the normal CNN and the extended CNN is depicted.
도 10 및 도 11에서 X축 에포크(epoch)의 수를 나타내고, Y축은 모델의 감지 정확도를 나타낸다.10 and 11, the X-axis represents the number of epochs, and the Y-axis represents the detection accuracy of the model.
도 10 및 도 11은 최종 epoch 이후 모델에 대한 훈련 정확도를 보여준다. 일반 CNN의 경우, 커널 크기가 3과 5 인 경우 각각 98.86% 및 98.63%의 훈련 정확도를 보이는 반면, 확장 CNN의 경우, 두 모델에서 확장된 컨볼루션 레이어가 있는 모델이 99.3%라는 더 높은 훈련 정확도를 제공했고, 테스트 점수는 99.60%를 기록하였다.10 and 11 show the training accuracy for the model after the last epoch. For normal CNN, the training accuracies for
확장 합성곱 레이어를 포함하는 CNN은 일반 CNN 대비, 더 높은 훈련 점수 및 테스트 점수를 갖는다. 본 발명의 특징 중 하나는 앞서 언급했듯이 확장 합성곱 신경망을 사용하는 것이다. 본 발명의 일 실시 예에 따른 화재 감지 모델이, 일반 CNN을 사용한 감지 모델과 비교하여 더 높은 성능을 보임을 증명하기 위해 많은 실험이 수행되었다. 도 10 및 도 11은 많은 실험의 결과를 나타낸다.CNNs with extended convolutional layers have higher training and test scores compared to regular CNNs. One of the features of the present invention is the use of an extended convolutional neural network, as mentioned above. Many experiments were performed to prove that the fire detection model according to an embodiment of the present invention has higher performance compared to a detection model using a general CNN. 10 and 11 show the results of many experiments.
앞에서 언급했듯이 확장 연산자(dilation operator)는 적용 범위(coverage)를 잃지 않고, 수용 필드(receptive field)를 확장하는 기능이 있기 때문에 이미지의 각 픽셀에 대한 각 레이블을 예측하는 데에 적합하다.As mentioned earlier, the dilation operator is suitable for predicting each label for each pixel in an image because it has the ability to extend the receptive field without losing coverage.
도 12는 본 발명의 일 실시 예에 따른 인공 신경망 모델의 레이어 수에 따른 훈련 정확도 비교의 그래프이다.12 is a graph of comparison of training accuracy according to the number of layers of an artificial neural network model according to an embodiment of the present invention.
도 12를 참조하면, 레이어의 수가 각각 2, 3, 4 및 5인 경우의 화재 감지 모델의 성능 비교 결과가 묘사되어 있다.Referring to FIG. 12 , performance comparison results of the fire detection model when the number of layers are 2, 3, 4, and 5, respectively, are depicted.
레이어 수가 2인 경우, 훈련 점수는 98.52%, 테스트 점수는 98.03%, 레이어 수가 3인 경우 훈련 점수는 99.38%, 테스트 점수는 99.06%, 레이어 수가 4인 경우, 훈련 점수는 99.60%, 테스트 점수는 99.53%, 레이어 수가 5인 경우, 훈련 점수는 99.36%, 테스트 점수는 98.07%를 각각 기록하였다. 도 12를 참조하면, 레이어 수에 따른 신경망의 성능은 2~4 구간까지 증가하다가, 레이어 수가 4개인 경우 신경망의 성능은 감소하는 것으로 봐서, 본 발명의 일 실시 예에서 4개의 레이어의 확장 CNN이 최적의 성능을 보였다.If the number of layers is 2, the training score is 98.52%, the test score is 98.03%, if the number of layers is 3, the training score is 99.38%, the test score is 99.06%, and if the number of layers is 4, the training score is 99.60%, the test score is When the number of layers was 99.53% and the number of layers was 5, the training score was 99.36% and the test score was 98.07%, respectively. Referring to FIG. 12 , the performance of the neural network according to the number of layers increases from 2 to 4 sections, but when the number of layers is 4, the performance of the neural network is considered to decrease, so in an embodiment of the present invention, a 4-layer extended CNN is showed optimal performance.
도 13은 본 발명의 일 실시 예에 따른 인공 신경망 모델의 커널 사이즈에 따른 훈련 정확도 비교의 그래프이다.13 is a graph of comparison of training accuracy according to kernel size of an artificial neural network model according to an embodiment of the present invention.
위에서 언급되었듯이 적절히 작은 커널 사이즈 채택될 경우 화재 감지 모델의 성능이 높아질 수 있다. 최적의 커널 사이즈를 알아보기 위해, 본 발명의 일 실시 예에 따른 화재 감지 모델에 대해 서로 다른 커널 사이즈를 적용하여 많은 실험이 수행되었다.As mentioned above, if an appropriately small kernel size is adopted, the performance of the fire detection model can be improved. In order to find out the optimal kernel size, many experiments were performed by applying different kernel sizes to the fire detection model according to an embodiment of the present invention.
도 13을 참조하면, 커널 사이즈가 3, 5, 7, 9, 11 및 13인 경우에 화재 감지 모델의 성능 비교 결과가 묘사되어 있다.Referring to FIG. 13 , performance comparison results of the fire detection model are depicted when the kernel sizes are 3, 5, 7, 9, 11 and 13.
도 13을 참조하면, 본 발명의 일 실시 예에 따른 화재 감지 모델은, 커널 사이즈가 3인 경우, 훈련 점수는 99.6%, 테스트 점수는 99.53%, 커널 사이즈가 5인 경우, 훈련 점수는 99.69%, 테스트 점수는 98.07%, 커널 사이즈가 7인 경우, 훈련 점수는 98.23%, 테스트 점수는 98.83%, 커널 사이즈가 9인 경우, 훈련 점수는 98.13%, 테스트 점수는 98.31%, 커널 사이즈가 11인 경우, 훈련 점수는 98.06%, 테스트 점수는 98.19%, 커널 사이즈가 13인 경우, 훈련 점수는 98.12%, 테스트 점수는 97.95%를 각각 기록하였다. 도 13에서 커널 사이즈 3~11까지 성능이 점점 감소하다가, 커널 사이즈 13에서 11 대비 에포크에 따라 역전 구간이 발생한다. 결론적으로, 본 발명의 일 실시 예에 따른 화재 감지 모델은, 커널 사이즈가 3일 경우 최적의 성능을 보였다.Referring to FIG. 13 , in the fire detection model according to an embodiment of the present invention, when the kernel size is 3, the training score is 99.6%, the test score is 99.53%, and when the kernel size is 5, the training score is 99.69% , the test score is 98.07%, when the kernel size is 7, the training score is 98.23%, the test score is 98.83%, when the kernel size is 9, the training score is 98.13%, the test score is 98.31%, the kernel size is 11 case, the training score was 98.06%, the test score was 98.19%, and when the kernel size was 13, the training score was 98.12% and the test score was 97.95%, respectively. In FIG. 13 , the performance gradually decreases from
도 14는 본 발명의 일 실시 예에 따른 인공 신경망 모델과 타 모델의 훈련 정확도 비교의 그래프이다.14 is a graph of comparison of training accuracy between an artificial neural network model and another model according to an embodiment of the present invention.
도 15는 본 발명의 일 실시 예에 따른 인공 신경망 모델과 타 모델의 훈련 정확도 비교의 그래프이다.15 is a graph of comparison of training accuracy between an artificial neural network model and another model according to an embodiment of the present invention.
도 14 및 도 15를 참조하면, 본 발명의 일 실시 예에 따른 화재 감지 모델의 훈련 정확도가 타 모델과 비교하여 나타나 있다. 많은 실험을 통해 본 발명의 일 실시 예에 따른 화재 감지 모델이, 전체 모델 중에서 훈련 점수가 가장 높게 나타났다.14 and 15 , the training accuracy of the fire detection model according to an embodiment of the present invention is shown as compared with other models. Through many experiments, the fire detection model according to an embodiment of the present invention showed the highest training score among all models.
도 16은 본 발명의 일 실시 예에 따른 인공 신경망 모델과 타 모델의 훈련 및 테스트 스코어 비교의 그래프이다.16 is a graph of comparison of training and test scores of an artificial neural network model and other models according to an embodiment of the present invention.
도 16을 참조하면, 본 발명의 일 실시 예에 따른 화재 감지 모델과 타 모델, 예를 들어 Inception V3, AlexNet, ResNet, VGG16, Vgg19 과의 훈련 점수, 테스트 점수, F1-점수, Recall, Precision의 결과가 나타나 있다. 본 발명의 일 실시 예에 따른 화재 감지 모델이, 전체 카테고리에서 가장 우수한 성능을 보였다. F1-점수는 Precision 및 Recall의 평균에 해당한다.Referring to FIG. 16, training scores, test scores, F1-scores, Recall, Precision of the fire detection model and other models, for example, Inception V3, AlexNet, ResNet, VGG16, Vgg19 according to an embodiment of the present invention The results are shown. The fire detection model according to an embodiment of the present invention showed the best performance in all categories. The F1-score corresponds to the average of Precision and Recall.
수학식 6은 성능 평가 지표인 Precision, Recall 및 F1의 정의를 나타낸다.Equation 6 shows the definitions of Precision, Recall, and F1, which are performance evaluation indicators.
도 17은 본 발명의 일 실시 예에 따른 인공 신경망 모델과 타 모델의 훈련 및 예측에 소요된 시간 비교의 그래프이다. 17 is a graph illustrating a comparison of the time taken for training and prediction of an artificial neural network model and another model according to an embodiment of the present invention.
도 17을 참조하면, 본 발명의 일 실시 예에 따른 화재 감지 모델은, 2시간 15분의 훈련 시간을 기록한 반면, 타 모델, 예를 들어 Inception V3는 10시간 20분, AlexNet은 9시간 26분 40초를, ResNet은 10시간을, VGG16은 3시간 20분을, VGG19는 4시간 43분 20초를 각각 기록하였다. 테스트에 소요된 시간도 본 발명의 일 실시 예에 따른 화재 감지 모델이 1.9시간으로 최소 시간을 기록하였다.Referring to FIG. 17 , the fire detection model according to an embodiment of the present invention records a training time of 2 hours and 15 minutes, while other models, for example, Inception V3, are 10 hours and 20 minutes, and AlexNet is 9 hours and 26 minutes. 40 seconds,
불꽃 및 연기 감지 시스템의 기반이 되는 기술은 최적의 성능을 보장하고 제공에 있어서 현대 감시 환경에서 중요한 역할을 한다. 사실 화재는 생명과 재산에 심각한 피해를 줄 수 있다. 대부분의 도시에 이미 카메라 모니터링 시스템이 설치되어 있는 것을 감안하면, 고무적이게도 이 시스템의 유용성을 이용하여 비용 효율적인 비전 감지 방법이 개발될 수 있다. 그러나 비전 감시 방법은, 복잡한 변형, 비정상적인 카메라 각도 및 시점의 관점 및 계절적 변화로부터 복잡한 비전 감지 작업이 될 수 있다.The technology underlying flame and smoke detection systems plays an important role in modern surveillance environments in ensuring and delivering optimal performance. In fact, fires can cause serious damage to life and property. Given that most cities already have camera monitoring systems installed, it is encouraging that the availability of these systems can be used to develop cost-effective vision sensing methods. However, vision monitoring methods can become complex vision sensing tasks from complex deformations, abnormal camera angles and viewpoints and seasonal changes.
이러한 한계를 극복하기 위해, 본 발명은, 확장 컨볼루션을 채택한 CNN을 이용하는, 딥러닝에 기반하는 새로운 방법을 제안한다.In order to overcome this limitation, the present invention proposes a new method based on deep learning, using a CNN employing extended convolution.
본 발명에서 맞춤형 데이터 세트에서 CNN 모델이 훈련 및 테스트 됨으로써 딥러닝에 기반하는 방법이 평가되었다. 맞춤형 데이터 세트는 인터넷에서 수집되고 수동으로 라벨이 붙여진 불꽃과 연기의 이미지로 구성된다. 본 발명에 따른 방법의 성능은 잘 알려진 최첨단 아키텍처에 기반한 방법과 비교될 수 있다.In the present invention, a method based on deep learning was evaluated by training and testing a CNN model on a customized data set. The custom data set consists of manually labeled images of flames and smoke collected from the Internet. The performance of the method according to the invention can be compared with methods based on well-known state-of-the-art architectures.
이와 같이 본 발명의 일 실시 예에 따르면, 본 발명에 따른 방법의 분류 성능과 복잡성이 우수함이 증명될 수 있다. 또한 본 발명에 따른 방법은, 효과적인 일반화를 제공하고 잘못된 경보의 수를 줄일 수 있는, 보이지 않는 데이터에 대해 잘 일반화되도록 설계되었다.As described above, according to an embodiment of the present invention, it can be proved that the classification performance and complexity of the method according to the present invention are excellent. The method according to the invention is also designed to generalize well to unseen data, which can provide effective generalization and reduce the number of false alarms.
이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시 예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시 예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.In the above, although several preferred embodiments of the present invention have been described with some examples, the descriptions of various various embodiments described in the "Specific Contents for Carrying Out the Invention" item are merely exemplary, and the present invention Those of ordinary skill in the art will understand well that the present invention can be practiced with various modifications or equivalents to the present invention from the above description.
또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.In addition, since the present invention can be implemented in various other forms, the present invention is not limited by the above description, and the above description is intended to complete the disclosure of the present invention, and is generally It should be understood that this is only provided to fully inform those with knowledge of the scope of the present invention, and that the present invention is only defined by each of the claims.
100: 감시 시스템
110: 제어부
161: 데이터 처리부
162: 학습부
163: 검증부
164: 화재 감지 모델
200: 서버
300: 네트워크100: surveillance system
110: control unit
161: data processing unit
162: study department
163: verification unit
164: fire detection model
200: server
300: network
Claims (12)
상기 데이터셋을 이용하여 불꽃 및 연기를 감지하도록 훈련되는 합성곱 신경망(Convolutional Neural Network, CNN) 기반의 화재 감지 모델과 이를 훈련시키는 학습부; 및
상기 화재 감지 모델의 성능을 테스트하는 모델 검증부를 포함하도록 구성되는,
감시 시스템.a data processing unit for generating a dataset by using the collected images of flames and smoke;
a convolutional neural network (CNN)-based fire detection model trained to detect flames and smoke using the dataset, and a learning unit for training the same; and
configured to include a model verification unit that tests the performance of the fire detection model,
surveillance system.
상기 데이터셋에 포함된 불꽃 영상 및 연기 영상의 크기 및 데이터 용량에 따라 상기 CNN 기반의 화재 감지 모델에 포함된 레이어의 수 및 커널의 크기 중에서 적어도 하나를 결정하는 제어부를 더 제어부를 더 포함하도록 구성되는,
감시 시스템.The method of claim 1,
Configured to further include a control unit that determines at least one of the number of layers and the size of the kernel included in the CNN-based fire detection model according to the size and data capacity of the flame image and the smoke image included in the dataset. felled,
surveillance system.
상기 제어부는,
상기 모델 검증부의 테스트 결과의 피드백에 기반하여 상기 화재 감지 모델에 포함된 레이어의 수 및 커널의 크기 중에서 적어도 하나를 변경하는,
감시 시스템.The method of claim 1,
The control unit is
changing at least one of the number of layers and the size of the kernel included in the fire detection model based on the feedback of the test result of the model verification unit,
surveillance system.
상기 화재 감지 모델은,
1차 내지 4차 합성곱 레이어(Convolutional Layer)를 포함하되,
각 차수의 합성곱 레이어 다음에 Max-pooling Layer를 포함하도록 구성되는,
감시 시스템.The method of claim 1,
The fire detection model is
Including a first to fourth convolutional layer (Convolutional Layer),
configured to include a Max-pooling layer after each degree of convolutional layer,
surveillance system.
상기 합성곱 레이어는,
확장 CNN(Dilated Convolutional Neural Network)의 Layer에 해당하는,
감시 시스템.3. The method of claim 2,
The convolutional layer is
Corresponding to the layer of the extended CNN (Dilated Convolutional Neural Network),
surveillance system.
상기 합성곱 레이어는,
3*3*3(가로*세로*컬러 채널)의 커널 사이즈의 필터를 포함하도록 구성되는,
감시 시스템.3. The method of claim 2,
The convolutional layer is
configured to contain a filter with a kernel size of 3*3*3 (horizontal*vertical*color channels),
surveillance system.
상기 화재 감지 모델은,
1차 및 2차 Fully Connected Layer를 포함하되,
각 차수의 Fully Connected Layer 앞에 Dropout Layer를 더 포함하도록 구성되는,
감시 시스템.The method of claim 1,
The fire detection model is
Including the 1st and 2nd Fully Connected Layers,
Configured to further include a Dropout Layer in front of the Fully Connected Layer of each order,
surveillance system.
상기 화재 감지 모델은,
불꽃 또는 연기를 감지하는 분류 레이어(Classification Layer)를 포함하도록 구성되는,
감시 시스템.The method of claim 1,
The fire detection model is
configured to include a classification layer that detects flame or smoke,
surveillance system.
상기 데이터셋을 이용하여 불꽃 및 연기를 감지하도록 CNN(Convolutional Neural Network) 기반의 화재 감지 모델을 훈련시키는 단계; 및
상기 화재 감지 모델의 성능을 테스트하는 단계를 포함하도록 구성되는,
감시 방법.generating a dataset by using the collected images of flames and smoke;
training a Convolutional Neural Network (CNN)-based fire detection model to detect flames and smoke using the dataset; and
configured to include testing the performance of the fire detection model;
monitoring method.
각 필터를 통해 입력된 픽셀 정보를 분석하는 복수의 합성곱 레이어(Convolutional Layer); 및
상기 합성곱 레이어에 의한 픽셀 분석을 기반으로 테스트 이미지 내에서 불꽃 및 연기 중에서 적어도 하나를 감지함으로써 화재를 자동으로 감지하는 Classification Layer를, 확장 합성곱 신경망의 구성요소로서 포함하도록 구성되는,
감시 시스템.a plurality of filters having horizontal and vertical sizes for reading pixel information of an image included in a dataset for image analysis;
a plurality of convolutional layers for analyzing pixel information input through each filter; and
configured to include, as a component of an extended convolutional neural network, a Classification Layer that automatically detects fire by detecting at least one of flame and smoke in a test image based on pixel analysis by the convolutional layer,
surveillance system.
상기 필터는,
커널 사이즈가 3인 경우 최적의 성능을 나타내는 것을 특징으로 하는,
감시 시스템.11. The method of claim 10,
The filter is
Characterized in that the kernel size is 3 to show optimal performance,
surveillance system.
상기 합성곱 레이어는,
합성곱 레이어의 수가 4인 경우 최적의 성능을 나타내는 것을 특징으로 하는,
감시 시스템.11. The method of claim 10,
The convolutional layer is
characterized in that it exhibits optimal performance when the number of convolutional layers is 4,
surveillance system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210016375A KR102493652B1 (en) | 2021-02-04 | 2021-02-04 | Automatic fire and smoke detection method and surveillance systems based on dilated cnns using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210016375A KR102493652B1 (en) | 2021-02-04 | 2021-02-04 | Automatic fire and smoke detection method and surveillance systems based on dilated cnns using the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220112913A true KR20220112913A (en) | 2022-08-12 |
| KR102493652B1 KR102493652B1 (en) | 2023-02-07 |
Family
ID=82803691
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210016375A KR102493652B1 (en) | 2021-02-04 | 2021-02-04 | Automatic fire and smoke detection method and surveillance systems based on dilated cnns using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102493652B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116824462A (en) * | 2023-08-30 | 2023-09-29 | 贵州省林业科学研究院 | Forest intelligent fireproof method based on video satellite |
| CN117036361A (en) * | 2023-10-10 | 2023-11-10 | 云南大学 | Power grid transmission line smoke detection method, system, electronic equipment and medium |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130101873A (en) | 2012-03-06 | 2013-09-16 | (주)유디피 | Monitoring apparatus for forest fire using thermal camera and method thereof |
| KR20190032433A (en) * | 2016-07-18 | 2019-03-27 | 난토믹스, 엘엘씨 | Distributed machine learning systems, apparatus, and methods |
| KR101963404B1 (en) * | 2018-06-14 | 2019-03-28 | 가천대학교 산학협력단 | Two-step optimized deep learning method, computer-readable medium having a program recorded therein for executing the same and deep learning system |
| KR20190119261A (en) * | 2018-04-12 | 2019-10-22 | 가천대학교 산학협력단 | Apparatus and method for segmenting of semantic image using fully convolutional neural network based on multi scale image and multi scale dilated convolution |
| KR20200010993A (en) * | 2018-07-11 | 2020-01-31 | 삼성전자주식회사 | Electronic apparatus for recognizing facial identity and facial attributes in image through complemented convolutional neural network |
| KR102097294B1 (en) * | 2019-07-19 | 2020-04-06 | (주)지와이네트웍스 | Method and apparatus for training neural network model for detecting flame, and flame detecting method using the same model |
| KR20200078849A (en) | 2018-12-24 | 2020-07-02 | 전자부품연구원 | Method and System for Forest Fire Prediction and Re-fire Monitoring using Disposable IoT Terminal |
-
2021
- 2021-02-04 KR KR1020210016375A patent/KR102493652B1/en active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130101873A (en) | 2012-03-06 | 2013-09-16 | (주)유디피 | Monitoring apparatus for forest fire using thermal camera and method thereof |
| KR20190032433A (en) * | 2016-07-18 | 2019-03-27 | 난토믹스, 엘엘씨 | Distributed machine learning systems, apparatus, and methods |
| KR20190119261A (en) * | 2018-04-12 | 2019-10-22 | 가천대학교 산학협력단 | Apparatus and method for segmenting of semantic image using fully convolutional neural network based on multi scale image and multi scale dilated convolution |
| KR101963404B1 (en) * | 2018-06-14 | 2019-03-28 | 가천대학교 산학협력단 | Two-step optimized deep learning method, computer-readable medium having a program recorded therein for executing the same and deep learning system |
| KR20200010993A (en) * | 2018-07-11 | 2020-01-31 | 삼성전자주식회사 | Electronic apparatus for recognizing facial identity and facial attributes in image through complemented convolutional neural network |
| KR20200078849A (en) | 2018-12-24 | 2020-07-02 | 전자부품연구원 | Method and System for Forest Fire Prediction and Re-fire Monitoring using Disposable IoT Terminal |
| KR102097294B1 (en) * | 2019-07-19 | 2020-04-06 | (주)지와이네트웍스 | Method and apparatus for training neural network model for detecting flame, and flame detecting method using the same model |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116824462A (en) * | 2023-08-30 | 2023-09-29 | 贵州省林业科学研究院 | Forest intelligent fireproof method based on video satellite |
| CN116824462B (en) * | 2023-08-30 | 2023-11-07 | 贵州省林业科学研究院 | Forest intelligent fireproof method based on video satellite |
| CN117036361A (en) * | 2023-10-10 | 2023-11-10 | 云南大学 | Power grid transmission line smoke detection method, system, electronic equipment and medium |
| CN117036361B (en) * | 2023-10-10 | 2024-02-20 | 云南大学 | Power grid transmission line smoke detection method, system, electronic equipment and medium |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102493652B1 (en) | 2023-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kim et al. | Real-time probabilistic classification of fire and smoke using thermal imagery for intelligent firefighting robot | |
| Ma et al. | Real-time monitoring of water quality using temporal trajectory of live fish | |
| CN111091072A (en) | YOLOv 3-based flame and dense smoke detection method | |
| CN103632158B (en) | Forest fire prevention monitor method and forest fire prevention monitor system | |
| CN107808139A (en) | A kind of real-time monitoring threat analysis method and system based on deep learning | |
| KR102493652B1 (en) | Automatic fire and smoke detection method and surveillance systems based on dilated cnns using the same | |
| KR20200087297A (en) | Defect inspection method and apparatus using image segmentation based on artificial neural network | |
| JP2008243181A (en) | Smoke detecting device and method thereof | |
| CN114241548A (en) | Small target detection algorithm based on improved YOLOv5 | |
| JP2019079445A (en) | Fire monitoring system | |
| CN109858389A (en) | Vertical ladder demographic method and system based on deep learning | |
| CN101316371B (en) | Flame detecting method and device | |
| CN109377713A (en) | A kind of fire alarm method and system | |
| CN110909672A (en) | Smoking action recognition method based on double-current convolutional neural network and SVM | |
| CN113158983A (en) | Airport scene activity behavior recognition method based on infrared video sequence image | |
| CN116824335A (en) | YOLOv5 improved algorithm-based fire disaster early warning method and system | |
| CN102509414B (en) | Smog detection method based on computer vision | |
| CN114612755A (en) | Fire detection method, fire detection system, electronic equipment and readable storage medium | |
| Pedrayes et al. | Detection and localization of fugitive emissions in industrial plants using surveillance cameras | |
| Cao et al. | YOLO-SF: YOLO for fire segmentation detection | |
| KR20230004124A (en) | Method and Apparatus for Detecting Real-time Anomaly in Video Surveillance System | |
| CN112488213A (en) | Fire picture classification method based on multi-scale feature learning network | |
| CN111191575B (en) | Naked flame detection method and system based on flame jumping modeling | |
| CN115311601A (en) | Fire detection analysis method based on video analysis technology | |
| CN114283367B (en) | Artificial intelligent open fire detection method and system for garden fire early warning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |