KR102576166B1

KR102576166B1 - Artificial Intelligence Smoke Detector and Method applying Optical Flow and Dark Channel Image Difference

Info

Publication number: KR102576166B1
Application number: KR1020230003591A
Authority: KR
Inventors: 곽동걸; 류진규; 최승민
Original assignee: 강원대학교산학협력단; 주식회사 스마트로직스
Priority date: 2023-01-10
Filing date: 2023-01-10
Publication date: 2023-09-14

Abstract

본 발명은 인공지능형 연기 감지 장치에서의 연기 감지 방법에 관한 것으로서, 카메라에서 촬영된 영상 이미지가 입력되면, 입력된 이미지로부터 관심 영역을 추출하기 위한 영상 전처리 단계 및 상기 영상 전처리 단계에서 추출된 관심 영역에 대해 딥러닝을 기반으로 하여 연기 객체 여부를 추론하는 연기 여부 추론 단계를 포함한다.
본 발명에 의하면, 인공지능형 연기 감지 장치는 오검출율이 낮고, 합성곱신경망을 이용한 추론 단계에서 정밀도를 높일 수 있는 효과가 있다. The present invention relates to a smoke detection method in an artificial intelligence smoke detection device. When a video image captured by a camera is input, an image pre-processing step for extracting a region of interest from the input image and a region of interest extracted in the image pre-processing step. It includes a smoke status inference step that infers whether a smoke object is based on deep learning.
According to the present invention, the artificial intelligence smoke detection device has a low false detection rate and has the effect of increasing precision in the inference step using a convolutional neural network.

Description

Artificial Intelligence Smoke Detector and Method applying Optical Flow and Dark Channel Image Difference}

본 발명은 연기 감지 기술에 관한 것으로서, 더욱 상세하게는 인공지능을 기반으로 한 연기 감지 기술에 관한 것이다. The present invention relates to smoke detection technology, and more specifically to smoke detection technology based on artificial intelligence.

화재에서의 주요 사망 원인은 연기흡입으로 인한 것으로, 화재에서의 사망자의 약 70% 정도는 호흡기 화상과 연기흡입으로 인해 사망한다. 특히 화재의 형태 중 훈소(smoldering combustion) 형태의 화재가 발생할 경우, 열원의 표면에 불꽃이 없이 작열하며 숯이 생성되고, 온도는 1,000 ℃ 이상이 된다. 또한, 훈소 형태의 화재는 불완전한 연소과정으로 이산화탄소 대신 높은 일산화탄소의 생성율을 보이므로 인체에 치명적인 잠재력을 갖는다.The main cause of death in fires is smoke inhalation, and approximately 70% of deaths in fires are due to respiratory burns and smoke inhalation. In particular, when a fire in the form of smoldering combustion occurs, the surface of the heat source burns without a flame and charcoal is generated, and the temperature rises to over 1,000 ℃. In addition, fumigation-type fires have the potential to be fatal to the human body because they produce a high rate of carbon monoxide instead of carbon dioxide due to an incomplete combustion process.

이러한 연기 감지의 문제는 조기에 화재를 감지하여 골든타임 내에 피해 사실을 관서에 알리고 대피를 할 수 있도록 하는 것이 중요하지만, 기존에 설치된 연기감지기는 개방된 공간에서 사용하기에 적합하지 않은 문제가 있거나, 연기감지기 자체의 노후화나 관리 부실 등으로 인해 오작동이 발생할 수 있는 문제들을 가지고 있다.The problem with smoke detection is that it is important to detect a fire early and notify the government of the damage within the golden time so that an evacuation can be carried out. However, existing smoke detectors have the problem of being unsuitable for use in open spaces. , there are problems that may cause malfunctions due to aging or poor management of the smoke detector itself.

한편, 기계학습(machine learning)은 컴퓨터가 스스로 학습하여 예측 모형을 개발하는 인공지능의 한 분야이며, 딥러닝(deep learning)은 심층 신경망(deep neural network) 이론을 이용한 기계학습 방법이다. 이러한 딥러닝은 패턴인식이나 영상처리, 음성인식, 기계 번역 등의 다양한 분야에서 좋은 성능을 보여주고 있다.Meanwhile, machine learning is a field of artificial intelligence in which computers learn on their own to develop predictive models, and deep learning is a machine learning method using deep neural network theory. Such deep learning shows good performance in various fields such as pattern recognition, image processing, speech recognition, and machine translation.

인공지능분야에서 딥러닝을 활용한 객체 인식이나 물체의 위치 검출은 활발하게 연구개발이 진행되는 분야로, ILSVRC(Image Large Scale Visual Recognition Challenge)와 같은 대회에서도 딥러닝을 통한 이미지 인식 알고리즘들이 상위권을 차지하고 있다. 딥러닝 기반의 모델의 경우 최근 SSD(Single Shot multi box Detector)나 Faster R-CNN(Region based Convolutional Neural Network) 알고리즘 등과 같이 이미지의 분류뿐만 아닌, 이미지 내에서 객체가 존재하는 영역을 기반으로 한 검출 알고리즘들이 등장하고 있다.In the field of artificial intelligence, object recognition or object location detection using deep learning is a field in which active research and development is taking place, and image recognition algorithms using deep learning are ranked high in competitions such as the ILSVRC (Image Large Scale Visual Recognition Challenge). It is occupied. In the case of deep learning-based models, such as the recent SSD (Single Shot multi box Detector) or Faster R-CNN (Region based Convolutional Neural Network) algorithms, not only image classification, but also detection based on the area where objects exist within the image. Algorithms are emerging.

그러나 최신의 딥러닝 기반 이미지 인식 또는 객체검출(object detection) 알고리즘을 사용하더라도 별도의 견고한 영상 전처리 과정이 없이 객체 검출을 수행하게 되면 연기 감지와 같이 높은 신뢰성을 요구하는 영역에서 기대 이하의 정확도를 얻는다. However, even when using the latest deep learning-based image recognition or object detection algorithms, if object detection is performed without a separate solid image pre-processing process, lower-than-expected accuracy is obtained in areas that require high reliability, such as smoke detection. .

대한민국 공개특허 10-2010-0050920Republic of Korea Public Patent No. 10-2010-0050920

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 컴퓨터 비전 알고리즘 및 딥러닝 기반의 인공지능 기술을 이용하여 연기를 감지하는 장치 및 방법을 제공하는데 그 목적이 있다. The present invention was developed to solve the above problems, and its purpose is to provide a device and method for detecting smoke using computer vision algorithms and deep learning-based artificial intelligence technology.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The object of the present invention is not limited to the object mentioned above, and other objects not mentioned will be clearly understood by those skilled in the art from the description below.

이와 같은 목적을 달성하기 위한 본 발명은 인공지능형 연기 감지 장치에서의 연기 감지 방법에 관한 것으로서, 카메라에서 촬영된 영상 이미지가 입력되면, 입력된 이미지로부터 관심 영역을 추출하기 위한 영상 전처리 단계 및 상기 영상 전처리 단계에서 추출된 관심 영역에 대해 딥러닝을 기반으로 하여 연기 객체 여부를 추론하는 연기 여부 추론 단계를 포함한다. The present invention to achieve this purpose relates to a smoke detection method in an artificial intelligence smoke detection device. When a video image captured by a camera is input, an image pre-processing step for extracting a region of interest from the input image and the image It includes a smoke status inference step that infers whether or not a smoke object is a smoke object based on deep learning for the region of interest extracted in the preprocessing stage.

상기 영상 전처리 단계에서, 다크채널 영상차분을 통해 이미지의 각 픽셀 별로 연기가 존재하는지 여부를 판단하는 방식으로 연기 영역을 검출하는 단계와, 연기 영역이 검출되면, 검출된 연기 영역에서 광학흐름 알고리즘을 이용하여 연기의 움직임을 나타내는 객체들이 갖는 모션 벡터인 연기 벡터를 검출하는 단계를 포함하여 이루어질 수 있다. In the image pre-processing step, detecting the smoke area by determining whether smoke exists for each pixel of the image through dark channel image difference, and when the smoke area is detected, an optical flow algorithm is performed in the detected smoke area. This may include detecting a smoke vector, which is a motion vector of objects representing the movement of smoke, using the method.

상기 연기 여부 추론 단계에서, 합성곱신경망(convolutional neural network, CNN)을 기반으로 연기 여부를 추론할 수 있다. In the postponement inference step, postponement can be inferred based on a convolutional neural network (CNN).

본 발명의 인공지능형 연기 감지 장치는 카메라에서 촬영된 영상 이미지가 입력되면, 입력된 이미지로부터 관심 영역을 추출하기 위한 영상 전처리부 및 상기 영상 전처리부에서 추출된 관심 영역에 대해 딥러닝을 기반으로 하여 연기 객체 여부를 추론하는 연기 추론부를 포함한다. When a video image captured by a camera is input, the artificial intelligence smoke detection device of the present invention uses an image preprocessor to extract a region of interest from the input image and deep learning for the region of interest extracted from the image preprocessor. It includes a smoke inference unit that infers whether a smoke object exists.

상기 영상 전처리부는 다크채널 영상차분을 통해 이미지의 각 픽셀 별로 연기가 존재하는지 여부를 판단하는 방식으로 연기 영역을 검출하고, 연기 영역이 검출되면, 검출된 연기 영역에서 광학흐름 알고리즘을 이용하여 연기의 움직임을 나타내는 객체들이 갖는 모션 벡터인 연기 벡터를 검출할 수 있다. The image pre-processing unit detects the smoke area by determining whether smoke exists for each pixel of the image through dark channel image difference. When the smoke area is detected, it uses an optical flow algorithm in the detected smoke area to detect the smoke area. Smoke vectors, which are motion vectors of objects indicating movement, can be detected.

상기 연기 추론부는 합성곱신경망(convolutional neural network, CNN)을 기반으로 연기 여부를 추론할 수 있다. The postponement inference unit may infer whether to postpone based on a convolutional neural network (CNN).

본 발명에 의하면, 인공지능형 연기 감지 장치는 오검출율이 낮고, 합성곱신경망을 이용한 추론 단계에서 정밀도를 높일 수 있는 효과가 있다. 즉, 본 발명의 인공지능형 연기 감지 장치는 기존의 인공지능형 연기감지기의 연기 추론 단계에서 발생하는 연기가 아닌 객체의 검출로 인한 빈번한 연산을 줄여 속응성과 정밀성을 높일 수 있다.According to the present invention, the artificial intelligence smoke detection device has a low false detection rate and has the effect of increasing precision in the inference step using a convolutional neural network. In other words, the artificial intelligence smoke detection device of the present invention can improve quick response and precision by reducing frequent calculations due to detection of objects other than smoke that occur in the smoke inference stage of existing artificial intelligence smoke detectors.

또한 본 발명에 의하면, 신속한 화재 대응이 가능하고, 연기 감지 시스템 구축에 필요한 하드웨어를 줄일 수 있는 효과가 있다.Additionally, according to the present invention, rapid fire response is possible and the hardware required to build a smoke detection system can be reduced.

도 1은 본 발명의 일 실시예에 따른 인공지능형 연기 감지 장치의 내부 구성을 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 인공지능형 연기 감지 방법을 보여주는 흐름도이다.
도 3은 다크채널 영상차분을 통해 임계 처리된 연기 이미지이다.
도 4는 광학흐름을 이용한 연기 유동 검출을 도시한 것이다.
도 5는 Inception A 모듈의 구조이고, 도 6은 Inception B 모듈의 구조이고, 도 7은 Inception C 모듈의 구조를 보여주고 있다.
도 8은 합성곱신경망 계층의 구성을 나타내는 도표이다.
도 9는 축소 모듈의 구조를 도시한 것이다.
도 10은 본 발명의 일 실시예에서 다크채널 영상차분 및 광학흐름을 이용한 연기 검출 결과를 도시한 것이다. Figure 1 is a block diagram showing the internal configuration of an artificial intelligence smoke detection device according to an embodiment of the present invention.
Figure 2 is a flowchart showing an artificial intelligence smoke detection method according to an embodiment of the present invention.
Figure 3 is a smoke image thresholded through dark channel image differentiation.
Figure 4 shows smoke flow detection using optical flow.
Figure 5 shows the structure of the Inception A module, Figure 6 shows the structure of the Inception B module, and Figure 7 shows the structure of the Inception C module.
Figure 8 is a diagram showing the configuration of the convolutional neural network layer.
Figure 9 shows the structure of the reduction module.
Figure 10 shows the results of smoke detection using dark channel image difference and optical flow in one embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in this application are only used to describe specific embodiments and are not intended to limit the invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, terms such as “comprise” or “have” are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the technical field to which the present invention pertains. Terms such as those defined in commonly used dictionaries should be interpreted as having meanings consistent with the meanings they have in the context of the related technology, and should not be interpreted as having ideal or excessively formal meanings, unless explicitly defined in the present application. No.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, when describing with reference to the accompanying drawings, identical components will be assigned the same reference numerals regardless of the reference numerals, and overlapping descriptions thereof will be omitted. In describing the present invention, if it is determined that a detailed description of related known technologies may unnecessarily obscure the gist of the present invention, the detailed description will be omitted.

도 1은 본 발명의 일 실시예에 따른 인공지능형 연기 감지 장치의 내부 구성을 보여주는 블록도이다. Figure 1 is a block diagram showing the internal configuration of an artificial intelligence smoke detection device according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 연기 감지 장치(100)는 영상 전처리부(110) 및 연기 추론부(120)를 포함한다. Referring to FIG. 1, the smoke detection device 100 according to an embodiment of the present invention includes an image pre-processing unit 110 and a smoke inference unit 120.

영상 전처리부(110)는 카메라에서 촬영된 영상 이미지가 입력되면, 입력된 이미지로부터 관심 영역을 추출하는 역할을 한다. When a video image captured by a camera is input, the image preprocessor 110 serves to extract a region of interest from the input image.

연기 추론부(120)는 영상 전처리부(110)에서 추출된 관심 영역에 대해 딥러닝(deep learning)을 기반으로 하여 연기 객체 여부를 추론하는 역할을 한다. The smoke inference unit 120 serves to infer whether the region of interest extracted from the image preprocessor 110 is a smoke object based on deep learning.

본 발명의 일 실시예에서 영상 전처리부(110)는 다크채널 영상차분(dark channel image difference)을 통해 이미지의 각 픽셀 별로 연기가 존재하는지 여부를 판단하는 방식으로 연기 영역을 검출하고, 연기 영역이 검출되면, 검출된 연기 영역에서 광학흐름(optical flow) 알고리즘을 이용하여 연기의 움직임을 나타내는 객체들이 갖는 모션 벡터인 연기 벡터를 검출할 수 있다. In one embodiment of the present invention, the image preprocessor 110 detects the smoke area by determining whether smoke exists for each pixel of the image through dark channel image difference, and determines whether the smoke area is present. When detected, a smoke vector, which is a motion vector of objects representing the movement of smoke, can be detected using an optical flow algorithm in the detected smoke area.

연기 추론부(120)는 합성곱신경망(convolutional neural network, CNN)을 기반으로 연기 여부를 추론할 수 있다. The smoke inference unit 120 can infer whether or not the smoke is smoked based on a convolutional neural network (CNN).

도 2는 본 발명의 일 실시예에 따른 인공지능형 연기 감지 방법을 보여주는 흐름도이다. Figure 2 is a flowchart showing an artificial intelligence smoke detection method according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 연기 감지 방법은 카메라에서 촬영된 영상 이미지가 입력되면(S210), 입력된 이미지로부터 관심 영역을 추출하기 위한 영상 전처리 단계(S220) 및 영상 전처리 단계(S220)에서 추출된 관심 영역에 대해 딥러닝을 기반으로 하여 연기 객체 여부를 추론하는 연기 여부 추론 단계(S230, S240)를 포함한다. Referring to Figure 2, in the smoke detection method according to an embodiment of the present invention, when a video image captured by a camera is input (S210), an image pre-processing step (S220) and image pre-processing to extract a region of interest from the input image It includes a smoke status inference step (S230, S240) of inferring whether or not a smoke object is a smoke object based on deep learning for the region of interest extracted in step (S220).

보다 구체적으로, 카메라에서 촬영된 영상 이미지가 입력되면(S210), 다크채널 영상차분을 통해 이미지의 각 픽셀 별로 연기가 존재하는지 여부를 판단하는 방식으로 연기 영역을 검출한다(S222, S224). More specifically, when a video image captured by a camera is input (S210), the smoke area is detected by determining whether smoke exists for each pixel of the image through dark channel image difference (S222, S224).

그리고, 연기 영역이 검출되면(S224), 검출된 연기 영역에서 광학흐름 알고리즘을 이용하여 연기의 움직임을 나타내는 객체들이 갖는 모션 벡터인 연기 벡터를 검출한다(S226). Then, when a smoke area is detected (S224), a smoke vector, which is a motion vector of objects representing the movement of smoke, is detected in the detected smoke area using an optical flow algorithm (S226).

그리고, 검출된 연기 벡터에 대해 합성곱신경망(convolutional neural network, CNN)을 기반으로 연기 여부를 추론하고(S230), 이를 통해 연기 여부를 결정한다(S240). Then, whether to smoke is inferred based on a convolutional neural network (CNN) for the detected smoke vector (S230), and whether to smoke is determined through this (S240).

본 발명은 다크채널 영상차분(dark channel image differnce)과 광학흐름(optical flow) 알고리즘을 이용한 카메라 영상 기반의 연기 감지에 관한 기술로서, 다크채널 영상차분 특성을 이용하여 입력 영상으로부터 연기가 존재할 가능성이 높은 픽셀영역을 검출하고, 광학흐름 알고리즘을 이용하여 상단으로 유동하는 객체를 검출하는 원리를 이용한다.The present invention is a technology for detecting smoke based on camera images using dark channel image difference and optical flow algorithms. The present invention detects the possibility of smoke from an input image using dark channel image difference characteristics. It uses the principle of detecting high pixel areas and detecting objects flowing toward the top using an optical flow algorithm.

먼저 입력 영상을 다크채널 영상차분 알고리즘에 기반하여 대기 중 산란광(airlight) 및 투과율(transmission)을 추정하여 연기가 존재할 수 있는 픽셀 영역을 검출하고, 픽셀의 움직임이 발생한 영역을 추출하도록 한다. 그리고 화재에서 발생한 연기는 고온의 밀도차로 인해 상단 방향으로 유동하므로, 이를 광학 흐름을 이용해 검출하는 원리이다. 검출된 관심영역은 딥러닝 기반의 합성곱신경망(convolutional neural network, CNN) 모델을 통해 최종적으로 연기 여부를 분류한다. First, based on the dark channel image difference algorithm for the input image, the scattered light and transmission in the atmosphere are estimated to detect the pixel area where smoke may exist, and to extract the area where pixel movement occurred. And since the smoke generated from a fire flows upward due to the density difference at high temperature, this is detected using optical flow. The detected area of interest is finally classified as smoke or not through a deep learning-based convolutional neural network (CNN) model.

본 발명에서 이용한 합성곱신경망(CNN)은 딥러닝 기술을 기초로 만들어진 인공신경망으로서, 이미지의 공간적인 구조(spatial structure)를 유지한 채 학습을 할 수 있는 장점이 있다. 이것은 기존의 완전 연결 계층(fully connected layer)을 이용하여 이미지를 학습할 때, 1차원의 평평한 데이터로 처리하여 학습을 하는 과정에서 원본 데이터에 대한 특징이 손실되는 문제를 보완한 것이다.The convolutional neural network (CNN) used in the present invention is an artificial neural network created based on deep learning technology, and has the advantage of being able to learn while maintaining the spatial structure of the image. This compensates for the problem of losing features of the original data in the process of learning by processing it as one-dimensional flat data when learning images using an existing fully connected layer.

본 발명에서는 연기 감지 장치에서 정밀도가 높이기 위해, 먼저 입력 영상의 이미지로부터 다크채널 영상차분을 통해 연기가 존재하는 영역을 필터링하고, 광학흐름 알고리즘을 이용한다. 광학흐름 알고리즘을 통해 객체들이 갖는 모션 벡터를 추정하고, 이 중 영상에서 상단 방향으로 이동하는 영역을 관심영역으로 지정한다. 그리고 추출된 관심영역은 연기 이미지들을 학습한 합성곱신경망 기반의 모델을 통해 최종적으로 연기 여부를 판단한다. In the present invention, in order to increase the precision of the smoke detection device, first, the area where smoke is present is filtered from the input image image through dark channel image differentiation, and an optical flow algorithm is used. The motion vectors of objects are estimated through an optical flow algorithm, and the area moving toward the top of the image is designated as the area of interest. And the extracted region of interest is finally judged on whether it is smoke or not through a convolutional neural network-based model that learned smoke images.

본 발명의 일 실시예에서 다크채널 영상차분은 하나의 프로그램 플랫폼(program platform) 또는 독립적인 프레임워크(framework)로 제공될 수 있고, 연기 영역을 효과적으로 전처리 수행하기 위한 관심 영역(Region of Interest)을 추출하는 알고리즘으로서 기능할 수 있다. 본 발명에서는 획득된 카메라 영상의 이미지로부터 관심 영역 추출을 위한 영상 전처리 과정이 포함되어 있고, 최종적으로 추출된 관심 영역에 대해 연기인지 또는 연기가 아닌 객체인지 추론하는 합성곱신경망 기반의 연기 추론 과정을 포함한다.In one embodiment of the present invention, dark channel image differential can be provided as a program platform or an independent framework, and a region of interest for effectively preprocessing the smoke area is provided. It can function as an extraction algorithm. The present invention includes an image pre-processing process for extracting a region of interest from the acquired camera image, and a smoke inference process based on a convolutional neural network to infer whether the finally extracted region of interest is smoke or an object other than smoke. Includes.

본 발명에서 이미지 전처리 과정에서 입력 이미지에 대해 다크채널 영상차분을 통해 각 픽셀 별로 연기가 존재하는지 유무를 판단한다. In the present invention, in the image pre-processing process, the presence or absence of smoke is determined for each pixel through dark channel image difference for the input image.

다크채널 영상차분에서 안개가 존재하지 않는 이미지의 경우, r, g, b 컬러 채널 중 명도 값이 낮은 채널이 한 채널 이상 존재하는 경우를 의미한다. 본래 다크채널 알고리즘은 이러한 특성에 기반해 안개를 제거하는 알고리즘이다.In the case of an image without fog in dark channel image differential, this means that there is at least one channel with a low brightness value among the r, g, and b color channels. The original dark channel algorithm is an algorithm that removes fog based on these characteristics.

대기 중에 안개나 연기가 존재할 경우, 물체로부터 반사된 빛이 관찰자 또는 카메라에 전달되는 과정에서 일부 손실되어 물체가 흐리게 보이게 된다. 이러한 사실을 픽셀 P를 기준으로 식 (1)과 같이 표현할 수 있다.If there is fog or smoke in the atmosphere, some of the light reflected from the object is lost in the process of being transmitted to the observer or camera, making the object appear blurry. This fact can be expressed as equation (1) based on pixel P.

(1) (One)

여기서, 는 왜곡되지 않은 픽셀, 는 실제 카메라에 도달한 픽셀을 나타내고, 는 대기 투과율(medium transmission)로서 안개나 연기 없이 완전하게 카메라까지 도달하게 될 경우 1의 값을 갖는다. 그리고 는 대기 산란광(air light)으로 이미지 내에 모든 픽셀들이 동일한 값을 가진다고 가정할 수 있다.here, is the undistorted pixel, represents the pixel that actually reached the camera, is the atmospheric transmission rate (medium transmission) and has a value of 1 when it completely reaches the camera without fog or smoke. and is air light, and it can be assumed that all pixels in the image have the same value.

이미지에서 픽셀 P에 존재하는 다크채널 영상차분의 연산은 식 (2)와 같이 표현될 수 있다. 본 발명에서 식 (2)는 하나의 프로그램 플랫폼 또는 독립적인 프레임워크로 제공될 수 있다. The calculation of the dark channel image difference existing at pixel P in the image can be expressed as equation (2). In the present invention, equation (2) can be provided as one program platform or an independent framework.

(2) (2)

여기서, J^c는 J의 r, g, b 채널별 컬러 값이며, p는 P를 중심으로 하는 일정 크기의 커널인 Ω(P)중 가장 작은 값이다. 따라서 픽셀 P를 중심으로 하는 픽셀들 중 한가지 이상 색상의 채널 값이 0 또는 0에 가까운 경우, 다크채널 픽셀로 정의할 수 있으며, 이러한 영역은 연무나 연기가 존재하지 않는 영역일 가능성이 크다.Here, J ^c is the color value for each r, g, and b channel of J, and p is the smallest value among Ω(P), which is a kernel of a certain size centered on P. Therefore, if the channel value of one or more colors among the pixels centered on pixel P is 0 or close to 0, it can be defined as a dark channel pixel, and this area is likely to be an area where haze or smoke does not exist.

식 (2)에서 이러한 다크채널 알고리즘을 통해 검출된 픽셀 P는 연무나 연기가 존재하지 않을 가능성이 큰 영역이다. 따라서 연기로 추정할 수 있는 픽셀을 라고 가정한다. 이러한 픽셀의 좌표 값인 가 있을 때, 시간 의 이전 장면이 특별한 변화가 없는 배경화면인 와 동일하다면, 그 다음 장면과 차분을 수행한다. 그리고 설정된 임계값 보다 큰 경우, 영상의 변화가 발생한 것으로 감지하여 광학흐름을 이용한 연기벡터 검출을 수행한다. 광학흐름 알고리즘의 경우 벡터 변화를 계산하는데 다소 시간이 소요되는데, 영상차분을 사전에 수행한다면 광학흐름 수행에 따른 시간 지연을 줄일 수 있다.In equation (2), pixel P detected through this dark channel algorithm is an area in which there is a high possibility that haze or smoke does not exist. Therefore, the pixels that can be estimated as smoke are Assume: Such The coordinate value of the pixel When there is time The previous scene is wallpaper with no special changes. If it is the same as , perform the difference with the next scene. And the set threshold If it is larger, it is detected that a change in the image has occurred and smoke vector detection using optical flow is performed. In the case of the optical flow algorithm, it takes some time to calculate the vector change, but if image differentiation is performed in advance, the time delay due to the optical flow performance can be reduced.

도 3은 다크채널 영상차분을 통해 임계 처리된 연기 이미지이다. 즉, 도 3은 픽셀에 존재하는 다크채널 영상차분을 통해 임계 처리한 결과물을 나타낸 것이다. Figure 3 is a smoke image thresholded through dark channel image differentiation. That is, Figure 3 shows the result of thresholding through the dark channel image difference present in the pixel.

화재에서 고체 연료의 연소는 대체로 타는 인접 재료나 그 연료 자체에 열을 수반하게 된다. 이로 인하여 뜨거운 휘발, 가연성의 증기가 나오고, 화재에 화염 기둥과 뜨거운 연기를 동반하는 가스가 발생하면 낮아진 가스의 밀도 때문에 주변의 차가운 공기보다도 위로 상승하게 된다.The combustion of solid fuels in a fire usually involves heat in the burning adjacent materials or in the fuel itself. As a result, hot volatilized and flammable vapor is released, and when gas accompanied by a plume of flame and hot smoke is generated in a fire, the gas rises above the surrounding cold air due to the lowered density.

따라서, 본 발명에서는 이러한 연기의 유동 특성을 기반으로 영상전처리를 하고자 광학흐름 알고리즘을 이용하여 영상에서 상부로 상승하는 연기의 움직임을 검출한다. Therefore, in the present invention, the movement of smoke rising upward in the image is detected using an optical flow algorithm in order to pre-process the image based on the flow characteristics of the smoke.

도 4는 광학흐름을 이용한 연기 유동 검출을 도시한 것이다. Figure 4 shows smoke flow detection using optical flow.

도 4에서 보는 바와 같이, 광학흐름을 통해 물체의 움직임을 추정하는 것은 인접한 시간 차이를 두고 있는 두 장의 이미지로부터 명암의 변화를 통해 움직임 정보를 추정하는 것이다. As shown in Figure 4, estimating the movement of an object through optical flow involves estimating motion information through changes in brightness and darkness from two adjacent images with a time difference.

본 발명에서 응용한 Lucas-Kanade 기반의 광학흐름 추정 방법은 실제 현실에서 크게 벗어나지 않는 범위 내에서 적절한 가정을 세운다. 그 중 밝기 항상성(brightness constancy)은 광류 추정 알고리즘의 가장 중요한 가정인데, 밝기 항상성에 따라 실제 영상으로부터 시간 차를 두는 두 이미지의 같은 부분의 명암값은 같거나 거의 비슷한 강도(intensity)를 갖는다는 것이다. 이러한 밝기 항상성은 현실에서 항상 옳은 것은 아니지만 영상 프레임의 짧은 시간 차이에는 물체가 갖는 명암 변화가 크지 않다는 전제하에 구동될 수 있는 원리라고 할 수 있다. The Lucas-Kanade-based optical flow estimation method applied in the present invention makes appropriate assumptions within a range that does not significantly deviate from actual reality. Among them, brightness constancy is the most important assumption of the optical flow estimation algorithm. According to brightness constancy, the brightness value of the same part of two images with a time difference from the actual image has the same or almost similar intensity. . This brightness constancy is not always correct in reality, but it can be said to be a principle that can be operated under the premise that the change in brightness and darkness of an object is not large in short time differences between image frames.

본 발명에서는 이러한 원리를 이용하여 광학흐름을 통한 객체들이 갖는 모션 벡터인 연기 벡터를 추정하고, 이 중 영상에서 상단 방향으로 이동하는 영역을 관심영역으로 지정할 수 있다. In the present invention, using this principle, smoke vectors, which are motion vectors of objects through optical flow, can be estimated, and the area moving toward the top of the image can be designated as the area of interest.

본 발명에서 딥러닝 기반의 합성곱신경망을 이용하여 이미지 학습을 할 때, 깊은 계층과 넓은 노드로 구성하여 사용한다면 더 높은 정밀도를 얻을 수 있다. 하지만 이렇게 구성할 경우, 파라미터의 양이 증가해 연산량이 상당히 늘어나고, 과적합(over fitting) 문제나 기울기 소실(gradient vanishing problem)이 발생하게 된다. 따라서 노드간의 연결은 간결(sparse)하게 하고, 행렬 연산은 밀집(dense)되도록 하는 것이 바람직하다. 이를 반영하여 전체적인 신경망이 깊으면서도 연산에 어려움이 없도록 만든 것이 Inception 구조이다.In the present invention, when learning images using a deep learning-based convolutional neural network, higher precision can be obtained if it is composed of deep layers and wide nodes. However, when configured in this way, the amount of calculation increases significantly as the amount of parameters increases, and overfitting problems or gradient vanishing problems occur. Therefore, it is desirable to make connections between nodes sparse and matrix operations dense. Reflecting this, the Inception structure is designed to ensure that the overall neural network is deep and has no difficulty in computation.

도 5는 Inception A 모듈의 구조이고, 도 6은 Inception B 모듈의 구조이고, 도 7은 Inception C 모듈의 구조를 보여주고 있다. 여기서 특징적인 것으로는 1×1 컨볼루션(convolution) 필터가 포함되어 있다는 것이다.Figure 5 shows the structure of the Inception A module, Figure 6 shows the structure of the Inception B module, and Figure 7 shows the structure of the Inception C module. What is unique here is that a 1×1 convolution filter is included.

1×1 필터는 평면상에서 컨볼루션을 수행하더라도 높이나 넓이의 변화가 없으므로 공간적인 특징 손실이 없다. 따라서 1×1 필터의 역할은 여러 계층의 합성곱 수행으로 인해 채널 수가 증가하는 경우, 이 채널의 수를 조절하는 기능이다. 이로 인하여 1×1 필터 다음에 나오는 3×3 이나 5×5 필터에서의 파라미터 개수가 절약된다. 따라서 Inception V3 모델은 다른 합성곱신경망 모델들보다 더욱 계층이 깊고 파라미터는 비교적 크지 않은 장점을 갖는다.The 1×1 filter has no change in height or width even if convolution is performed on a plane, so there is no loss of spatial features. Therefore, the role of the 1×1 filter is to adjust the number of channels when the number of channels increases due to performing convolution of multiple layers. This saves the number of parameters in the 3×3 or 5×5 filter following the 1×1 filter. Therefore, the Inception V3 model has the advantage of having a deeper hierarchy and relatively smaller parameters than other convolutional neural network models.

도 8은 합성곱신경망 계층의 구성을 나타내는 도표로서, Inception 모듈들을 이용하여 구성한 합성곱신경망 계층의 구성을 나타내고 있다.Figure 8 is a diagram showing the configuration of a convolutional neural network layer, showing the configuration of a convolutional neural network layer constructed using Inception modules.

본 발명의 일 실시예에서 입력 이미지 크기의 경우 299×299로 설정한다. In one embodiment of the present invention, the input image size is set to 299×299.

그리고, 일반적인 합성곱신경망에서는 파라미터의 크기를 줄이고자 모듈 또는 계층 사이에 풀링(pooling)을 사용하나, 이미지의 특징 손실이 커지는 표현 병목(representational bottleneck) 문제가 발생하므로 이를 해결하기 위해 차원 축소모듈(dimension reduction module)을 이용하여 차원을 축소하는 방법을 사용한다.In addition, in general convolutional neural networks, pooling is used between modules or layers to reduce the size of parameters, but the problem of representational bottleneck, which increases the feature loss of the image, occurs, so to solve this problem, a dimension reduction module ( A method of reducing the dimension using a dimension reduction module is used.

도 9는 축소 모듈의 구조를 도시한 것이다.Figure 9 shows the structure of the reduction module.

도 9에서 보는 바와 같이, 본 발명에서는 특징 손실이 커지는 표현 병목(representational bottleneck) 문제를 해결하기 위해, 차원 축소모듈(dimension reduction module)을 이용하여 차원을 축소하는 방법을 사용한다.As shown in FIG. 9, the present invention uses a dimension reduction method using a dimension reduction module to solve the representational bottleneck problem in which feature loss increases.

마지막으로, 본 발명에서 최종 계층에서의 활성함수(activation function)로 시그모이드(sigmoid)를 사용하여, 연기 객체 또는 연기가 아닌 객체 두 가지에 대한 분류를 수행한다.Finally, in the present invention, sigmoid is used as an activation function in the final layer to classify both smoke objects and non-smoke objects.

도 10은 본 발명의 일 실시예에서 다크채널 영상차분 및 광학흐름을 이용한 연기 검출 결과를 도시한 것이다. Figure 10 shows the results of smoke detection using dark channel image difference and optical flow in one embodiment of the present invention.

도 10은 본 발명에서 제안한 최종 결과물을 도시한 것으로서, 입력 이미지로부터 다크채널 영상차분 및 광학흐름 알고리즘을 이용하여 관심영역을 추출하고, 해당 관심영역에 대해 연기로 추론될 경우 붉은색 경계상자로 표시하고, 연기가 아닐 경우 초록색 경계상자로 표시한 것이다. Figure 10 shows the final result proposed in the present invention. A region of interest is extracted from the input image using a dark channel image difference and optical flow algorithm, and if the region of interest is inferred to be smoke, it is displayed as a red bounding box. And if it is not smoke, it is indicated with a green bounding box.

연기의 경우, 다른 객체 인식 문제와 달리 연기 자체의 모양, 움직임 및 패턴의 다양성으로 인해 높은 정밀도로 감지하기에 어려움이 있고, 연기 자체의 외형적 특징은 휘도(luminance) 조건이나 배경에 따른 색상 및 투명도가 다르게 보이므로, 이미지 기반의 검출을 할 때에 적절한 전처리 방법의 사용에 따라 정확도를 상당히 향상시킬 수 있게 된다.In the case of smoke, unlike other object recognition problems, it is difficult to detect with high precision due to the diversity of the shape, movement, and pattern of the smoke itself, and the external characteristics of the smoke itself include color and color depending on luminance conditions or background. Because transparency appears different, accuracy can be significantly improved by using appropriate preprocessing methods when performing image-based detection.

따라서, 본 발명에서는 영상 전처리 방법들을 통해 최대한 불필요한 배경 영역을 제거한 뒤에 딥러닝 모델을 통해 검출을 시도한다면 좋은 결과를 얻을 수 있다.Therefore, in the present invention, good results can be obtained by removing as much unnecessary background area as possible through image preprocessing methods and then attempting detection through a deep learning model.

본 발명에서 이용한 합성곱신경망(CNN)은 딥러닝 기술을 기초로 만들어진 인공신경망으로 이미지의 공간적인 구조(spatial structure)를 유지한 채 학습을 할 수 있는 장점이 있다. 이것은 기존의 완전 연결 계층(fully connected layer)을 이용하여 이미지를 학습할 때 1차원의 평평한 데이터로 처리하여 학습을 하는 과정에서 원본 데이터에 대한 특징이 손실되는 문제를 보완한 것이다.The convolutional neural network (CNN) used in the present invention is an artificial neural network created based on deep learning technology and has the advantage of being able to learn while maintaining the spatial structure of the image. This compensates for the problem of losing features of the original data during learning by processing it as one-dimensional flat data when learning images using an existing fully connected layer.

이상 본 발명을 몇 가지 바람직한 실시 예를 사용하여 설명하였으나, 이들 실시 예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.Although the present invention has been described above using several preferred examples, these examples are illustrative and not limiting. Those of ordinary skill in the technical field to which the present invention pertains will understand that various changes and modifications can be made without departing from the spirit of the present invention and the scope of rights set forth in the appended claims.

110 영상 전처리부 120 연기 추론부110 Image pre-processing unit 120 Smoke inference unit

Claims

In the smoke detection method in an artificial intelligence smoke detection device,
When a video image captured by a camera is input, an image pre-processing step for extracting a region of interest from the input image; and
A smoke inference step of inferring whether a smoke object exists based on deep learning for the region of interest extracted in the image pre-processing step,
In the image preprocessing step,
A step of detecting a smoke area by determining whether smoke exists for each pixel of the image through dark channel image difference;
When a smoke area is detected, it includes the step of detecting a smoke vector, which is a motion vector of objects representing the movement of smoke, in the detected smoke area using an optical flow algorithm,
In the postponement inference step, whether to postpone is inferred based on a convolutional neural network (CNN),
In the step of detecting the smoke vector, the motion vectors of the objects are estimated using an optical flow algorithm, and the area moving toward the top of the image is designated as the area of interest,
The optical flow algorithm estimates motion information through changes in brightness and darkness from two adjacent images with a time difference,
The optical flow algorithm is an application of the Lucas-Kanade-based optical flow estimation method, and uses brightness constancy, which means that the brightness value of the same part of two images with a time difference from the actual image has the same or similar intensity. ) is used to estimate the smoke vector, which is the motion vector of objects through optical flow, and designate the area moving toward the top of the image as the area of interest.
In the postponement inference step, whether to postpone is inferred based on a convolutional neural network, but a method of reducing the dimension using a dimension reduction module is used, and the activation function in the final layer is used. A smoke detection method characterized by performing classification for both smoke objects and non-smoke objects using sigmoid.

delete

When a video image captured by a camera is input, an image preprocessor for extracting a region of interest from the input image; and
A smoke inference unit that infers whether a smoke object exists based on deep learning for the region of interest extracted from the image preprocessor,
The image pre-processing unit detects the smoke area by determining whether smoke exists for each pixel of the image through dark channel image difference. When the smoke area is detected, it uses an optical flow algorithm in the detected smoke area to detect the smoke area. Detect smoke vectors, which are motion vectors of objects that indicate movement,
The postponement inference unit infers whether to postpone based on a convolutional neural network (CNN),
In detecting the smoke vector, the motion vectors of the objects are estimated using an optical flow algorithm, and the area moving toward the top of the image is designated as the area of interest,
The optical flow algorithm estimates motion information through changes in brightness and darkness from two adjacent images with a time difference,
The optical flow algorithm is an application of the Lucas-Kanade-based optical flow estimation method, and uses brightness constancy, which means that the brightness value of the same part of two images with a time difference from the actual image has the same or similar intensity. ) is used to estimate the smoke vector, which is the motion vector of objects through optical flow, and designate the area moving toward the top of the image as the area of interest.
The smoke inference unit infers whether to smoke based on a convolutional neural network, but uses a method of reducing the dimension using a dimension reduction module, and uses sigmoid as the activation function in the final layer. A smoke detection device characterized in that it performs classification for both smoke objects and non-smoke objects using (sigmoid).

delete