WO2022121129A1 - 烟火识别方法、装置、计算机设备和存储介质 - Google Patents

烟火识别方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
WO2022121129A1
WO2022121129A1 PCT/CN2021/079267 CN2021079267W WO2022121129A1 WO 2022121129 A1 WO2022121129 A1 WO 2022121129A1 CN 2021079267 W CN2021079267 W CN 2021079267W WO 2022121129 A1 WO2022121129 A1 WO 2022121129A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
area
pyrotechnic
value
recognized
Prior art date
Application number
PCT/CN2021/079267
Other languages
English (en)
French (fr)
Inventor
孙立群
陈满
张豪
卢勇
刘涛
徐�明
李建辉
王苗庚
吕志鹏
林恺
韩玉麟
巩宇
郭海峰
王晓翼
王翰龙
贺儒飞
Original Assignee
南方电网调峰调频发电有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南方电网调峰调频发电有限公司 filed Critical 南方电网调峰调频发电有限公司
Priority to US17/919,511 priority Critical patent/US20240005757A1/en
Publication of WO2022121129A1 publication Critical patent/WO2022121129A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G06V20/39—Urban scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the luminance-chrominance conversion matrix According to the normalized color value and the preset luminance-chrominance conversion matrix, obtain the luminance value, chromaticity value and density value corresponding to the pixel;
  • the monitoring image is an infrared image
  • sort all the pixels in the neighborhood of each pixel in the infrared image obtain the intermediate gray value in the sorted pixels, and assign the intermediate gray value to the corresponding pixels to obtain a filtered monitoring image.
  • the to-be-recognized image is an infrared image
  • FIG. 5 is a schematic interface diagram of a step of identifying a fireworks suspected area in an infrared image in one embodiment
  • the pyrotechnic identification method provided in this application can be applied to the application environment shown in FIG. 1 .
  • the terminal 102 communicates with the server 104 through the network.
  • the terminal 102 can acquire the images to be recognized in the fireworks monitoring area, for example, can acquire the camera equipment connected to the terminal 102, wherein the camera equipment can be a mobile camera equipment or a fixed camera equipment.
  • Step S202 acquiring an image to be identified in the fireworks monitoring area; the image to be identified includes a visible light image and/or an infrared image.
  • the fireworks monitoring area may be a range that can be photographed by a camera device connected to the terminal 102, and the terminal 102 may acquire images to be recognized in the fireworks monitoring area, wherein the images to be recognized may include multiple types, for example, images to be recognized It may include visible light images or infrared images, and the terminal 102 may identify the pyrotechnics in the fireworks monitoring area based on the visible light images, may also identify the pyrotechnics in the pyrotechnic area based on the infrared images, or may identify the pyrotechnics based on the visible light images and the infrared images jointly. Fireworks in the area are identified. In addition, when acquiring the image to be recognized, the terminal 102 may also preprocess the image to be recognized.
  • the preset model may be a model obtained through training and used for recognizing the state of fireworks.
  • the preset model may be EfficientNet (composite model scaling method network), and EfficientNet may be a model scaling method.
  • the terminal 102 may input the image to be identified including the suspected pyrotechnic area into the preset model, for example, the suspected pyrotechnic area may be marked and then input into the preset model, and the preset model may identify the pyrotechnic state based on the marked suspected pyrotechnic area.
  • the color value in each color channel in the space can also be obtained, and the ratio of each color value to the sum of all color values can be obtained, and the color value with the largest proportion can be obtained, and the terminal 102 can multiply the color value with the largest proportion by each ratio, Get the normalized color value of each color value bet winning.
  • the terminal 102 may first calculate the ratio of the values of the three channel components R, G, and B to the sum of the values of the three channel components, and then multiply the maximum possible values of the three channels R, G, and B as the normalized value.
  • the value of the image pixel point (r, g, b), the corresponding calculation formula is as follows:
  • H, S, and V represent the values on the H (hue), S (saturation), and V (hue) components of the HSV color space, respectively
  • Y, U, and V represent the Y (brightness), U ( chromaticity) and V (density) components
  • R, G, and B represent the coordinate values on the R, G, and B components in the RGB color space, respectively
  • max and min represent the maximum value in R, G, and B, respectively. minimum value.
  • the terminal 102 can sort (in ascending order) all the pixels in the neighborhood of the current pixel point, and assign the gray value in the middle to the pixel, usually an odd number is used. A window of points is scanned, and the median value is assigned to the pixels in the middle of the window, until all image pixels have been scanned, and the median filter is completed. But if it is an even number of points, the median takes the average of the two elements in the middle.
  • the calculation formula can be as follows:
  • the monitoring image after filtering processing of multiple frames eliminating the device motion optical flow in the monitoring image after filtering processing, to obtain the image to be recognized, including: the monitoring image after filtering processing according to the current moment, and the current
  • the filtered monitoring image at the next moment corresponding to the moment is obtained, and the projection transformation matrix corresponding to the filtered monitoring image is obtained; according to the inverse of the projection transformation matrix and the filtered monitoring image corresponding to the current moment, the elimination of equipment motion light is obtained.
  • the filtered monitoring image after streaming is used as the image to be recognized.
  • the second smallest flame area in the to-be-recognized image is obtained; according to the brightness value corresponding to each pixel in the to-be-recognized image , chromaticity value, density value, brightness threshold, brightness threshold and chromaticity threshold to obtain the third smallest flame area in the image to be recognized; perform optical flow extraction on the image sequence of multiple images to be recognized, and obtain the image in the image to be recognized.
  • the minimum smoke area, the first minimum flame area, the second minimum flame area, the third minimum flame area and the movement area, the suspected pyrotechnic area in the image to be recognized is obtained.
  • R Color R SMOKE ⁇ R FIRE ;
  • the terminal 102 can input the image to be recognized of the identified pyrotechnic state into the pyrotechnic detection model, and obtain a pyrotechnic area prediction frame output by the pyrotechnic detection model, wherein the pyrotechnic detection model can be obtained by training based on a plurality of images with pyrotechnics, and its network structure adopts the following: It is the same as the yolov2 network structure.
  • the terminal 102 can input the first frame image after the alarm into the fireworks detection model, calculate the feature vector of the image through the network, and combine the regression method to obtain the first frame after correcting the frame.
  • the sample near the position P t of the previous frame is used to judge the response value of each sampling window by the aforementioned regressor, and the sample with the largest response value is taken as the position P t+1 of the target in the current frame.
  • the principle of the KCF algorithm is to train a target detection model during the tracking process, use the required target detection model to detect the position of the next frame of video image, to predict whether the position is the required target, and then use the new detection model. As a result, the training set is updated to update the target detection model.
  • the terminal 102 can use the preset pyrotechnic detection model to continuously track the state of the fireworks after recognizing the fireworks, and can grasp the movement state and spreading situation of the fire in time, thereby improving the timely rate of fireworks identification.
  • the acquisition module 500 is used to acquire the to-be-recognized image in the fireworks monitoring area; the to-be-recognized image includes a visible light image and/or an infrared image.
  • the above-mentioned first identification module 502 is specifically configured to obtain the flame area in the image to be identified according to a preset infrared brightness threshold if the image to be identified is an infrared image; according to the image to be identified at the current moment and the current identification Corresponding to the image to be recognized at the next moment, the pixel difference corresponding to the image to be recognized is obtained; according to the pixel difference and the preset moving image threshold, the motion area in the image to be recognized is determined; according to the flame area and the motion area, the motion area in the image to be recognized is obtained. fireworks suspected area.
  • a computer device is provided, and the computer device may be a terminal, and its internal structure diagram may be as shown in FIG. 10 .
  • the computer equipment includes a processor, memory, a communication interface, a display screen, and an input device connected by a system bus.
  • the processor of the computer device is used to provide computing and control capabilities.
  • the memory of the computer device includes a non-volatile storage medium, an internal memory.
  • the nonvolatile storage medium stores an operating system and a computer program.
  • the internal memory provides an environment for the execution of the operating system and computer programs in the non-volatile storage medium.
  • the communication interface of the computer device is used for wired or wireless communication with an external terminal, and the wireless communication can be realized by WIFI, operator network, NFC (Near Field Communication) or other technologies.
  • the computer program when executed by a processor, implements a pyrotechnic identification method.
  • the display screen of the computer equipment may be a liquid crystal display screen or an electronic ink display screen, and the input device of the computer equipment may be a touch layer covered on the display screen, or a button, a trackball or a touchpad set on the shell of the computer equipment , or an external keyboard, trackpad, or mouse.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

本申请涉及一种烟火识别方法、装置、计算机设备和存储介质。通过获取烟火监控区域内的包括可见光图像、红外图像的待识别图像，并根据待识别图像，识别待识别图像中的烟火疑似区域，包括基于颜色识别可见光图像中的烟火疑似区域，基于亮度识别红外图像中的烟火疑似区域，再将烟火疑似区域的待识别图像输入预设模型，根据基于预先标记烟火状态的可见光图像或预先标记烟火状态的红外图像训练得到的预设模型的输出结果，识别待识别图像中的烟火状态。相较于传统的基于感温探测或感烟探测对烟火进行检测的方式，本方案通过预设模型，对可见光图像或红外图像中的烟火区域进行识别，从而实现提高烟火的识别及时率的效果。

Description

烟火识别方法、装置、计算机设备和存储介质 技术领域
本申请涉及安全预警技术领域，特别是涉及一种烟火识别方法、装置、计算机设备和存储介质。
背景技术
火的出现促进了人类文明的进步，但火灾一直以来都是全世界的重大威胁和灾害，如发电厂中，火灾事故的影响范围和严重程度包括：财产损失、人员伤亡、中断正常发电工作等，其原因在于一旦发生火灾，往往会烧毁发电设备、变电和配电设备，而这些设备的修复或更换往往需要较长的时间，不但影响发电厂生产，更严重的是造成其他企业单位和部门停电，从而可能导致严重事故和损失；其次火灾事故可能造成电厂在岗职工的伤亡；另外有时还会引起一些公共场所的混乱和刑事案件的发生，造成不良后果和影响。而如何早期预防和识别火灾是减少火灾发生及蔓延带来的严重危害的重要手段之一，所以能够及时并准确的预警火灾变得尤为重要。
目前对于火灾时的烟火检测方式通常是基于感温探测或感烟探测对烟火进行检测，然而，通过感温探测或感烟探测的方式检测烟火时，需要在烟火达到一定浓度后才能检测到，当检测到时火势通常已经大范围蔓延。
因此，目前的烟火识别方法存在检测不及时的缺陷。
发明内容
基于此，有必要针对上述技术问题，提供一种能够及时识别烟火的烟火识别方法、装置、计算机设备和存储介质。
一种烟火识别方法，所述方法包括：
获取烟火监控区域内的待识别图像；所述待识别图像包括可见光图像和/或红外图像；
根据所述待识别图像，识别所述待识别图像中的烟火疑似区域，包括：基 于颜色识别所述可见光图像中的烟火疑似区域，基于亮度识别所述红外图像中的烟火疑似区域；
将包括所述烟火疑似区域的待识别图像输入预设模型，根据所述预设模型的输出结果，识别所述待识别图像中的烟火状态；所述预设模型基于预先标记烟火状态的可见光图像或预先标记烟火状态的红外图像训练得到。
在其中一个实施例中，所述获取烟火监控区域内的待识别图像，包括：
获取所述烟火监控区域内的监控图像；
根据所述监控图像的图像类型，对所述监控图像进行对应的过滤处理，得到过滤处理后的监控图像；
根据多帧所述过滤处理后的监控图像，消除所述过滤处理后的监控图像中的设备运动光流，得到所述待识别图像。
在其中一个实施例中，所述根据所述监控图像的图像类型，对所述监控图像进行对应的过滤处理，得到过滤处理后的监控图像，包括：
若所述监控图像为可见光图像，获取所述可见光图像中的各个像素在三原色颜色空间的各个颜色通道中的颜色值；
获取各个颜色值占所有颜色值的和的比例；
获取所述比例最大的颜色值与各个比例的乘积，作为各个颜色值对应的规范后的颜色值；
根据所述规范后的颜色值的最大值、最小值以及所述像素对应的颜色值，确定所述像素对应的色相值、饱和度值以及色调值；
根据所述规范后的颜色值以及预设亮度色度转换矩阵，得到所述像素对应的明亮度值、色度值以及浓度值；
根据所述监控图像中的各个所述像素对应的所述各个颜色值、所述色相值、所述饱和度值、所述色调值、所述明亮度值、所述色度值以及所述浓度值，得到过滤处理后的监控图像；
和/或
若所述监控图像为红外图像，将所述红外图像中的各个像素的邻域内的所有像素进行排序，获取排序后的像素中的中间灰度值，并将所述中间灰度值赋 给对应的像素，得到过滤处理后的监控图像。
在其中一个实施例中，所述根据多帧所述过滤处理后的监控图像，消除所述过滤处理后的监控图像中的设备运动光流，得到所述待识别图像，包括：
根据当前时刻的过滤处理后的监控图像，以及当前时刻对应的下一时刻的过滤处理后的监控图像，得到所述过滤处理后的监控图像对应的投影变换矩阵；
根据所述投影变换矩阵的逆与所述当前时刻对应的过滤处理后的监控图像，得到消除设备运动光流后的过滤处理后的监控图像，作为所述待识别图像。
在其中一个实施例中，所述根据所述待识别图像，识别所述待识别图像中的烟火疑似区域，包括：
若所述待识别图像为可见光图像，根据所述待识别图像中各个像素对应的亮度值、色度值、浓度值、颜色值、第一最大阈值以及第一最小阈值，得到所述待识别图像中的最小烟雾区域；
根据所述待识别图像中各个像素对应的第一颜色阈值、第二颜色阈值以及颜色值，得到所述待识别图像中的第一最小火焰区域；
根据所述待识别图像中各个像素对应的色相值、饱和度值以及色调值，得到所述待识别图像中的第二最小火焰区域；
根据所述待识别图像中各个像素对应的明亮度值、色度值、浓度值、明亮度阈值、亮度阈值以及色度阈值，得到所述待识别图像中的第三最小火焰区域；
对多个所述待识别图像的图像序列进行光流提取，得到所述待识别图像中的运动区域；
根据所述最小烟雾区域、所述第一最小火焰区域、所述第二最小火焰区域、所述第三最小火焰区域以及所述运动区域，得到所述待识别图像中的烟火疑似区域；
和/或，
若所述待识别图像为红外图像，根据预设红外亮度阈值，得到所述待识别图像中的火焰区域；
根据当前时刻的待识别图像以及当前识别对应的下一时刻的待识别图像，得到所述待识别图像对应的像素差；
根据所述像素差以及预设运动图像阈值，确定所述待识别图像中的运动区域；
根据所述火焰区域以及所述运动区域，得到所述待识别图像中的烟火疑似区域。
在其中一个实施例中，所述预设模型包括：第一预设模型以及第二预设模型；
所述将包括所述烟火疑似区域的待识别图像输入预设模型，根据所述预设模型的输出结果，识别所述待识别图像中的烟火状态，包括：
若所述待识别图像为可见光图像，将所述待识别图像输入第一预设模型；
若所述待识别图像为红外图像，将所述待识别图像输入第二预设模型；
获取通过所述第一预设模型和/或所述第二预设模型对所述烟火疑似区域进行特征提取后得到的判断向量；
根据所述判断向量，确定所述待识别图像中的烟火状态。
在其中一个实施例中，所述根据所述预设模型的输出结果，识别所述待识别图像中的烟火状态之后，还包括：
若所述烟火状态为有烟或有火，触发报警信息，并将所述待识别图像输入烟火检测模型，获取所述烟火检测模型输出的烟火区域预测框；所述烟火检测模型基于多个具有烟火的图像训练得到；
根据预设判别式跟踪算法，对所述烟火区域预测框进行连续识别，以对所述待识别图像中的烟火状态进行跟踪；所述预设判别式跟踪算法基于当前时刻对应的前一时刻的包括烟火区域预测框的待识别图像得到所述当前时刻所述待识别图像中的烟火区域预测框。
一种烟火识别装置，所述装置包括：
获取模块，用于获取烟火监控区域内的待识别图像；所述待识别图像包括可见光图像和/或红外图像；
第一识别模块，用于根据所述待识别图像，识别所述待识别图像中的烟火疑似区域，包括：基于颜色识别所述可见光图像中的烟火疑似区域，基于亮度识别所述红外图像中的烟火疑似区域；
第二识别模块，用于将包括所述烟火疑似区域的待识别图像输入预设模型，根据所述预设模型的输出结果，识别所述待识别图像中的烟火状态；所述预设模型基于预先标记烟火状态的可见光图像或预先标记烟火状态的红外图像训练得到。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述方法的步骤。
上述烟火识别方法、装置、计算机设备和存储介质，通过获取烟火监控区域内的包括可见光图像、红外图像的待识别图像，并根据待识别图像，识别待识别图像中的烟火疑似区域，包括基于颜色识别可见光图像中的烟火疑似区域，基于亮度识别红外图像中的烟火疑似区域，再将烟火疑似区域的待识别图像输入预设模型，根据基于预先标记烟火状态的可见光图像或预先标记烟火状态的红外图像训练得到的预设模型的输出结果，识别待识别图像中的烟火状态。相较于传统的基于感温探测或感烟探测对烟火进行检测的方式，本方案通过预设模型，对可见光图像或红外图像中的烟火区域进行识别，从而实现提高烟火的识别及时率的效果。
附图说明
图1为一个实施例中烟火识别方法的应用环境图；
图2为一个实施例中烟火识别方法的流程示意图；
图3为一个实施例中识别可见光图像中烟火疑似区域步骤的界面示意图；
图4为一个实施例中识别可见光图像中运动区域步骤的界面示意图；
图5为一个实施例中识别红外图像中烟火疑似区域步骤的界面示意图；
图6为一个实施例中识别可见光图像中运动区域步骤的界面示意图；
图7为一个实施例中烟火跟踪步骤的界面示意图；
图8为另一个实施例中烟火识别方法的流程示意图；
图9为一个实施例中烟火识别装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的烟火识别方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102可以获取烟火监控区域内的待识别图像，例如，可以获取与终端102连接的摄像设备获取，其中摄像设备可以是移动的摄像设备，也可以是固定的摄像设备，终端102可以根据待识别图像，识别其中的烟火疑似区域，终端102还可以在识别烟火疑似区域后，利用训练好的预设模型，将待识别图像输入至预设模型中，根据预设模型的输出结果，识别待识别图像中的烟火状态，终端102可以在得到烟火状态后，根据烟火状态做出相应提示，还可以向服务器104发送上述烟火状态，服务器104可以对识别结果进行存储。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种烟火识别方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤S202，获取烟火监控区域内的待识别图像；待识别图像包括可见光图像和/或红外图像。
其中，烟火监控区域可以是与终端102连接的摄像设备所能拍摄到的范围，终端102可以获取烟火监控区域内的待识别图像，其中，待识别图像可以包括多个种类，例如，待识别图像可以包括可见光图像，也可以包括红外图像，终端102可以基于可见光图像对烟火监控区域的烟火进行识别，也可以基于红外图像对烟火区域的烟火进行识别，也可以基于可见光图像和红外图像共同对烟火区域的烟火进行识别。另外，终端102在获取待识别图像时，还可以对待识别图像进行预处理，具体地，终端102可以获取烟火监控区域内的监控图像； 其中监控图像可以是上述摄像设备拍摄得到的烟火监控区域内的图像，包括可见光图像，也可以包括红外图像，两种图像可以通过一台摄像设备拍摄，也可以分别使用两台摄像设备拍摄；终端102还可以根据监控图像的图像类型，对监控图像进行对应的过滤处理，得到过滤处理后的监控图像；例如对可见光图像进行基于颜色的过滤，对红外图像进行基于灰度值的过滤等。由于摄像设备可以是移动的摄像设备，因此需要对摄像设备的运动光流进行消除，终端102还可以获取多帧监控图像，分别对每个帧的监控图像进行过滤，并根据多帧过滤处理后的监控图像，消除过滤处理后的监控图像中的设备运动光流，得到待识别图像，具体地，可以通过预设的算法对监控图像中的设备运动光流进行消除，从而得到待识别图像。
步骤S204，根据待识别图像，识别待识别图像中的烟火疑似区域，包括：基于颜色识别可见光图像中的烟火疑似区域，基于亮度识别红外图像中的烟火疑似区域。
其中，待识别图像可以是终端102通过摄像设备获取的，经过预处理后的待识别图像，终端102可以根据待识别图像，例如待识别图像的种类，识别待识别图像中的烟火疑似区域，烟火疑似区域可以是疑似发生烟火的区域，具体地，若待识别图像为可见光图像，则终端102可以基于颜色识别烟火疑似区域，例如基于RGB(Red Green Blue，三原色系统)，也可以称为三原色颜色空间，识别烟火疑似区域，其中，三原色系统中有多个颜色值，具体地，可以包括红色、绿色以及蓝色，即颜色值可以包括上述三种颜色；也可以基于YUV识别烟火疑似区域，其中Y表示明亮度值、U表示色度值、V表示浓度值；还可以基于HSV识别烟火疑似区域，其中H表示色相值、S表示饱和度值、V表示色调值。若待识别图像为红外图像，由于烟火区域的温度与其他区域不同，因此待识别图像中的烟火位置的亮度也会与周围的亮度不同，终端102可以基于待识别图像中的亮度值，识别待识别图像中的烟火疑似区域。
步骤S206，将包括烟火疑似区域的待识别图像输入预设模型，根据预设模型的输出结果，识别待识别图像中的烟火状态；预设模型基于预先标记烟火状态的可见光图像或预先标记烟火状态的红外图像训练得到。
其中，预设模型可以是通过训练得到的，用于识别烟火状态的模型，具体地，该预设模型可以是EfficientNet(复合模型缩放方法络)，EfficientNet可以是一种模型缩放方法。终端102可以将上述包括烟火疑似区域的待识别图像输入预设模型，例如可以将烟火疑似区域进行标记后，输入预设模型，预设模型可以基于标记的烟火疑似区域，进行烟火状态的识别。其中，预设模型可以有多个，分别使用预先标记烟火状态的可见光图像进行训练以及预先标记烟火状态的红外图像进行训练，从而可以基于待识别图像的种类的不同，利用不同的预设模型进行烟火状态的识别。
上述烟火识别方法中，通过获取烟火监控区域内的包括可见光图像、红外图像的待识别图像，并根据待识别图像，识别待识别图像中的烟火疑似区域，包括基于颜色识别可见光图像中的烟火疑似区域，基于亮度识别红外图像中的烟火疑似区域，再将烟火疑似区域的待识别图像输入预设模型，根据基于预先标记烟火状态的可见光图像或预先标记烟火状态的红外图像训练得到的预设模型的输出结果，识别待识别图像中的烟火状态。相较于传统的基于感温探测或感烟探测对烟火进行检测的方式，本方案通过预设模型，对可见光图像或红外图像中的烟火区域进行识别，从而实现提高烟火的识别及时率的效果。
在一个实施例中，根据监控图像的图像类型，对监控图像进行对应的过滤处理，得到过滤处理后的监控图像，包括：若监控图像为可见光图像，获取可见光图像中的各个像素在三原色颜色空间的各个颜色通道中的颜色值；获取各个颜色值占所有颜色值的和的比例；获取比例最大的颜色值与各个比例的乘积，作为各个颜色值对应的规范后的颜色值；根据规范后的颜色值的最大值、最小值以及像素对应的颜色值，确定像素对应的色相值、饱和度值以及色调值；根据规范后的颜色值以及预设亮度色度转换矩阵，得到像素对应的明亮度值、色度值以及浓度值；根据监控图像中的各个像素对应的各个颜色值、色相值、饱和度值、色调值、明亮度值、色度值以及浓度值，得到过滤处理后的监控图像。
本实施例中，监控图像可以是终端102连接的摄像设备获取的烟火监控区域内的图像，终端102可以对监控图像进行过滤处理，监控图像可以包括多种类型，若监控图像为可见光图像，由于不同光照强度的可见光图像对算法检测 效果会产生一定的影响，为了减小光照对算法效果的影响，因此需要对图像RGB颜色空间色彩进行规范化，终端102可以获取可见光图像中的各个像素在三原色颜色空间中的各个颜色通道中的颜色值，还可以获取各个颜色值占所有颜色值的和的比例，得到比例占比最大的颜色值，终端102可以将比例最大的颜色值与各个比例相乘，得到各个颜色值赌赢的规范后的颜色值。具体地，终端102可以首先计算R，G，B三个通道分量的值占这三个通道分量值的和的比例，然后乘以R，G，B三个通道的最大可能值以作为规范化后图像像素点(r，g，b)的值，对应的计算公式如下所示：
Figure PCTCN2021079267-appb-000001
其中，R、G和B分别表示原图片某一像素点在RGB颜色空间种R、G和B通道上分量的值，r、g和b为图片进行规范化预处理后像素点的值。
终端102还可以在对可见光图像中的颜色进行规范化后，确定可见光图像中各个像素的色相值、饱和度值以及色调值，终端102可以根据规范化后的颜色值中的最大值、最小值以及上述可见光图像中各个像素对应的颜色值，确定各个像素在HSV颜色空间中对应的色相值、饱和度值以及色调值，其中，H表示色相值、S表示饱和度值、V表示色调值，还可以基于规范后的颜色值以及预设亮度色度转换矩阵，得到各个像素对应的在YUV颜色空间中的明亮度值、色度值以及浓度值。具体地，终端102可以采用RGB颜色空间与YUV颜色空间和HSV颜色空间的转换方法，将规范化预处理后的可见光图像进行颜色空间转换；终端102可以根据RGB颜色空间与HSV颜色空间和YUV颜色空间转换关系构建对应颜色空间分量，对应的计算方式如下所示：
Figure PCTCN2021079267-appb-000002
Figure PCTCN2021079267-appb-000003
V＝max；
Figure PCTCN2021079267-appb-000004
其中，H、S和V分别表示HSV颜色空间H(色相)、S(饱和度)和V(色调)分量上的值，Y、U和V表示YUV颜色空间中Y(明亮度)、U(色度)和V(浓度)分量上的值，R、G和B分别表示RGB颜色空间中R、G和B分量上的坐标值，max和min分别表示R、G和B中的最大值和最小值。
终端102可以对上述可见光图像的监控图像中各个像素均进行上述规范化和颜色空间转换处理，即基于颜色值对监控图像进行颜色规范化、基于色相值、饱和度值、色调值对可见光图像进行HSV颜色空间上的转换；基于明亮度值、色度值以及浓度值对可见光图像进行YUV颜色空间上的转换，从而得到过滤处理后的监控图像。
通过本实施例，终端102可以通过对可见光图像的监控图像进行颜色规范化以及进行颜色空间的转换，从而可以使终端102基于过滤处理后的监控图像进行烟火识别，提高了烟火识别的及时率。
在一个实施例中，根据监控图像的图像类型，对监控图像进行对应的过滤处理，得到过滤处理后的监控图像，包括：若监控图像为红外图像，将红外图像中的各个像素的邻域内的所有像素进行排序，获取排序后的像素中的中间灰度值，并将中间灰度值赋给对应的像素，得到过滤处理后的监控图像。
本实施例中，监控图像还可以是红外图像，红外图像可以是摄像设备拍摄的红外监控图像，若监控图像为红外图像，终端102在对红外图像进行过滤处理时，可以将红外图像中各个像素的邻域内的所以像素进行排序，例如升序排序，并获取排序后的像素中的中间灰度值，将中间灰度值赋予对应的像素，得到过滤处理后的监控图像。具体地，在采集以及传输红外图像的过程中，由于 硬件条件和拍摄场景的限制，所采集到的实验数据会受到一定的干扰，可能包含一定的噪声，这些噪声会影响后续的处理工作的效果，所以在对红外图像进行分析之前，需要对红外图像进行过滤处理，终端102可以将当前像素点邻域内的所有像素进行排序(升序)，将中间的灰度值赋给该像素，通常采用奇数个点的窗口来扫描，将中值赋给窗口中间的像素，直到扫描完所有的图像像素，中值滤波便得以完成。但是如果是偶数个点，则中值取中间两个元素的平均值。计算公式可以如下所示：
g(m，n)＝Median{f(m-k，n-l)，(k，l)∈W}；
其中，m，n分别是像素点在红外图像中对应的横坐标和纵坐标。
通过本实施例，终端102可以基于灰度值，对红外监控图像进行滤波过滤处理，从而终端102可以基于过滤处理后的监控图像进行烟火识别，提高了烟火识别的及时率。
在一个实施例中，根据多帧过滤处理后的监控图像，消除过滤处理后的监控图像中的设备运动光流，得到待识别图像，包括：根据当前时刻的过滤处理后的监控图像，以及当前时刻对应的下一时刻的过滤处理后的监控图像，得到过滤处理后的监控图像对应的投影变换矩阵；根据投影变换矩阵的逆与当前时刻对应的过滤处理后的监控图像，得到消除设备运动光流后的过滤处理后的监控图像，作为待识别图像。
本实施例中，终端102在对监控图像进行过滤处理后，由于采集图像数据的摄像设备在运动，例如可见光相机或移动式摄像头，所以背景上也有很多轨迹，识别目标的运动轨迹也受到相机运动的很大影响。而这些信息与要识别的目标关系是不大的，属于干扰信息，终端102需要识别并消除这些轨迹。而实际上轨迹的运动也是通过计算光流信息进行计算的，因此需要通过估计相机运动，来消除设备运动光流，即背景区域的光流。终端102可以根据多帧监控图像对设备运动光流进行消除，终端102可以根据当前时刻的过滤处理后的监控图像，以及当前时刻对应的下一时刻的过滤处理后的监控图像，得到过滤处理后的监控图像对应的投影变换矩阵，并基于投影变换矩阵的逆，以及当前时刻对应的过滤处理后的监控图像，对设备运动光流进行消除，例如通过预设的消 除算法进行消除，得到消除设备运动光流以及过滤处理后的监控图像，作为待识别图像。具体地，终端102可以首先估计摄像设备的运动，由于相邻两帧图像之间变化比较小，相邻的两帧图像之间的关系可以用一个投影变换矩阵来描述，即后一帧图像是前一帧图像通过投影变换得到的。因此，估计摄像设备运动的问题就变成了利用前后帧图像计算投影变换矩阵的问题，相邻帧投影变换矩阵计算公式如下所示：
I t+1＝H×I t；
其中，t时刻和t+1时刻的灰度图像分别为I t和I t+1用两张图像计算得到投影变换矩阵H。
终端102可以在得到投影变化矩阵后，利用投影变换矩阵消除设备运动光流，具体地，终端102可以利用得到的投影变换矩阵H的逆对I t+1进行变换(warp)，具体计算公式如下所示：
Figure PCTCN2021079267-appb-000005
其中，
Figure PCTCN2021079267-appb-000006
代表假设不存在摄像设备运动时t+1时刻的图像，H -1为投影变换矩阵H的逆。
终端102可以采用TVL1(Total Variation L1，全变分)算法计算得到I t和
Figure PCTCN2021079267-appb-000007
的优化过的光流，作为各个时刻的待识别图像。
通过本实施例，终端102可以基于投影变换矩阵以及全变分算法，对设备运动光流进行消除，从而终端102可以基于消除设备运动光流后的图像识别烟火，提高了烟火识别的及时率。
在一个实施例中，根据待识别图像，识别待识别图像中的烟火疑似区域，包括：若待识别图像为可见光图像，根据待识别图像中各个像素对应的亮度值、色度值、浓度值、颜色值、第一最大阈值以及第一最小阈值，得到待识别图像中的最小烟雾区域；根据待识别图像中各个像素对应的第一颜色阈值、第二颜色阈值以及颜色值，得到待识别图像中的第一最小火焰区域；根据待识别图像中各个像素对应的色相值、饱和度值以及色调值，得到待识别图像中的第二最小火焰区域；根据待识别图像中各个像素对应的明亮度值、色度值、浓度值、明亮度阈值、亮度阈值以及色度阈值，得到待识别图像中的第三最小火焰区域； 对多个待识别图像的图像序列进行光流提取，得到待识别图像中的运动区域；根据最小烟雾区域、第一最小火焰区域、第二最小火焰区域、第三最小火焰区域以及运动区域，得到待识别图像中的烟火疑似区域。
本实施例中，终端102可以待识别图像的种类，识别待识别图像中的烟火疑似区域，若待识别图像为可见光图像，终端102可以根据待识别图像中的各个像素对应的亮度值、色度值、浓度值、颜色值、第一最大阈值以及第一最小阈值，得到待识别图像中的最小烟雾区域，具体地，在可见光图像中，烟雾和火焰的颜色与周围环境对比特征显著，而且实际场景中烟雾和火焰的颜色受诸多环境因素影响，诸如温度、燃烧物燃烧充分性、燃烧物材料等，使得烟雾和火焰具有特殊的颜色分布规律，其中烟雾在火灾初期产生烟雾的颜色大部分呈现灰白色或者淡蓝色，随着时间的推进，颜色会从灰黑变化到黑，而火焰在视频图像中大部分呈现为突出且明亮的红色和黄色，因此终端102可以利用烟雾表现出的颜色规律，对图像进行过滤。由于烟雾区域在YUV颜色空间中的U和V分量之间的差异比其他非烟雾区域大得多，非烟雾区域像素值范围被压缩，所以终端102可以采用YUV颜色空间像素滤色规则对烟雾图片进行过滤，像素滤色规律如下所示：
Figure PCTCN2021079267-appb-000008
其中，U(x，y)和V(x，y)是(x，y)处像素点在YUV颜色空间上U分量和V分量的值；I rgb(x，y)为(x，y)处像素点在RGB颜色空间中的像素值；T max、T min分别为第一最大阈值以及第一最小阈值，在本发明中T min可取63，T max可取178，将区域内满足式(9)规则的最小矩形区域记为R SMOKE-YUV，作为上述最小烟雾区域。
终端102还可以根据待识别图像中各个像素对应的第一颜色阈值、第二颜色阈值以及各个像素的颜色值，对可见光的待识别图像中的火焰区域进行识别，得到第一最小火焰区域，第一最小火焰区域可以表征上述可见光图像在RGB颜色空间上的火焰区域；终端102还可以根据待识别图像中各像素对应的色相值、饱和度值以及色调值，得到待识别图像中的第二最小火焰区域，第二最小火焰 区域可以表征上述可见光图像在HSV颜色空间上的火焰区域；终端102还可以根据待识别图像中各个像素对应的明亮度值、色度值、浓度值、明亮度阈值、亮度阈值以及色度阈值，得到待识别图像中的第三最小火焰区域，第三最小火焰区域可以表征上述可见光图像中在YUV颜色空间上的火焰区域。
具体地，终端102可以利用火焰表现出的颜色规律，对图像进行过滤。根据火焰的颜色特征，在RGB、HSV和YUV颜色空间中设置不同多的颜色过滤范围，将不在颜色范围内的像素点的像素值设置为0，将在范围内的像素点值大小保持不变，结合多颜色空间过滤的结果得到多颜色空间过滤的火焰图像。其在RGB、HSV和YUV颜色空间的过滤范围如下所示：
Figure PCTCN2021079267-appb-000009
Figure PCTCN2021079267-appb-000010
Figure PCTCN2021079267-appb-000011
其中，R 0为像素点R分量的阈值，即上述第一颜色阈值，设定为135；T 0为|G-B|+|R-B|的阈值，即上述第二颜色阈值，设定为20，在疑似烟雾区域内进行RGB颜色特征检测，将区域内满足规则的最小矩形区域记为R FIRE-RGB，即上述第一最小火焰区域；H、S和V分别表示HSV颜色空间H(色相)、S(饱和度)和V(色调)分量上的值，将区域内满足规则的最小矩形区域记为R FIRE-HSV，即上述第二最小火焰区域；Y、U和V表示YUV颜色空间中Y(明亮度)、U(亮度)和V(色度)分量上的值，Y mean、V mean和U mean为阈值由实验决定，将区域内满足规则的最小矩形区域记为R FIRE-YUV，即上述第三最小火焰区域。
终端102在得到上述第一最小火焰区域、第二最小火焰区域以及第三最小火焰区域后，可以将最小烟雾区域以及各个最小火焰区域进行合并，得到未计 算运动区域的待定烟火疑似区域，如图3所示，图3为一个实施例中识别可见光图像中烟火疑似区域步骤的界面示意图。终端102可以将通过颜色过滤后得到烟雾疑似区域R SMOKE和各个最小火焰疑似区域R FIRE合并得到颜色分析后的烟火疑似区域R Color，各疑似区域的计算方式如下所示：
R SMOKE＝R SMOKE-YUV
R FIRE＝R FIRE-RGB∪ RFIRE-HSV∪R FIRE-YUV
R Color＝R SMOKE∪R FIRE；
其中，R SMOKE表示经过颜色分析后的烟雾疑似区域，即最小烟雾区域；R FIRE表示经过颜色分析后火焰疑似区域，R Color表示合并得到颜色分析后的待定烟火疑似区域。
终端102可以还可以对可见光图像中的运动区域进行识别，如图4所示，图4为一个实施例中识别可见光图像中运动区域步骤的界面示意图。终端102可以根据多帧待识别图像，对待识别图像中运动区域进行识别，由于摄像头拍摄图像的时候，相邻两帧或者几帧的背景很相似，如果有运动前景目标，相邻两帧相同位置的像素就会产生差别，在忽略噪声干扰的前提下，目标的运动是造成两帧对应像素值发生变化的主要因素，因此终端102可以基于光流法对运动区域进行识别，光流(optical flow)是空间运动物体在观察成像平面上的像素运动的瞬时速度。光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法，在计算机视觉领域，是指视频图像中各点像素随时间的运动情况。具体地，终端102可以使用TV-L1算法对消除设备运动光流后的待识别图像的图像序列进行光流提取，根据提取到多的光流，得到对应图像的运动区域R Action。
终端102还可以在识别到运动区域后，根据上述烟雾区域、各个火焰区域以及上述运动区域，得到待识别图像中的烟火疑似区域，具体地，终端102可以将上述烟雾区域、各个火焰区域以及上述运动区域融合，即将同一图像得到的颜色分析结果区域及运动区域融合，得到该可见光图像的烟火疑似区域，其计算公式可以如下所示：
R A＝R Color∪R Action；
其中，R A表示颜色分析结果区域及运动区域融合后的区域，R Color表示颜色分析后得到的烟火疑似区域，R Action表示到图片的运动区域。
通过本实施例，终端102可以基于多个颜色空间对可见光图像中的烟雾区域和火焰区域进行识别，并且可以基于预设算法对运动区域进行识别，从而得到可见光图像中的烟火疑似区域，提高了烟火识别的及时率。
在一个实施例中，根据待识别图像，识别待识别图像中的烟火疑似区域，包括：若待识别图像为红外图像，根据预设红外亮度阈值，得到待识别图像中的火焰区域；根据当前时刻的待识别图像以及当前识别对应的下一时刻的待识别图像，得到待识别图像对应的像素差；根据像素差以及预设运动图像阈值，确定待识别图像中的运动区域；根据火焰区域以及运动区域，得到待识别图像中的烟火疑似区域。
本实施例中，待识别图像还可以是红外图像，终端102还可以对红外图像中的烟火疑似区域进行识别，如图5所示，图5为一个实施例中识别红外图像中烟火疑似区域步骤的界面示意图。终端102可以根据红外图像对应的预设红外亮度阈值，得到红外图像中的火焰区域。具体地，由于物质燃烧产生的大量能量以电磁波的形式向周围辐射，这些电磁波主要有以热辐射为主的红外波段和以光辐射为主的可见光波段。因此用红外摄像机采集的火焰视频图像中，即火焰区的亮度要明显高于其他区域。因此终端102可利用火焰的高温高亮特征进行可疑区的检测，得到红外图像的火焰疑似区域，满足其区域的最小矩形区域为r fire；
终端102还可以对红外图像中的运动区域进行检测，如图6所示，图6为一个实施例中识别可见光图像中运动区域步骤的界面示意图。终端102可以根据当前时刻的红外待识别图像以及下一时刻的红外待识别图像，得到待识别图像对应的像素差，并根据该像素差以及预设运动图像阈值，确定待识别图像中的运动区域。具体地，终端102可以利用当前图像的上帧图像作为背景，进行差分，其计算公式如下所示：
Δf i＝|f i(x，y)-f i-1(x，y)|；
其中，f i和f i-1分别为当前帧红外图像和上一帧红外图像，Δf i为第i帧差分图像，即两帧红外图像的差值，其像素取两帧红外图像所有对应像素点的值作差，取绝对值，作为上述像素差；
终端102可以选取预设运动图像阈值以提取差分图像中的运动区域，其计算公式可以如下所示：
Figure PCTCN2021079267-appb-000012
其中，M i(x，y)为提取的运动图像，T为上述预设运动图像阈值，等式的具体含义为当图像中像素点坐标(x，y)位置的差分值大于或等于上述阈值时，运动图像该像素点的值取原始差分图像该像素点的像素值，即为前景像素，否则取0。上述T的取值可以为40；得到运动图像后，终端102可以根据图像得到运动区域，即满足上述规则的最小矩形区域r action，即包含像素值不为0的最小矩形区域。
终端102在得到上述红外图像中的火焰区域以及运动区域后，可以对火焰区域以及运动区域进行融合，得到红外图像中的烟火疑似区域。具体地，终端102可以将同一红外图像得到的火焰疑似区域及运动区域融合，得到该红外图像的烟火疑似区域r a，具体公式可以如下所示：
r a＝r fire∪r action；
其中，r a表示红外图像火焰区域及运动区域融合后的区域，即烟火疑似区域，r fire表示亮度分析后得到的火焰疑似区域，r action表示到红外图像的运动区域，上述的区域为满足其规则的最小矩形区域。
通过本实施例，终端102可以基于亮度识别红外图像中的火焰区域、基于差分图像识别运动区域，从而得到红外图像中的烟火疑似区域，提高了烟火识别的及时率。
在一个实施例中，将包括烟火疑似区域的待识别图像输入预设模型，根据预设模型的输出结果，识别待识别图像中的烟火状态，包括：若待识别图像为可见光图像，将待识别图像输入第一预设模型；若待识别图像为红外图像，将 待识别图像输入第二预设模型；获取通过第一预设模型和/或第二预设模型对烟火疑似区域进行特征提取后得到的判断向量；根据判断向量，确定待识别图像中的烟火状态。
本实施例中，上述预设模型包括：第一预设模型以及第二预设模型；终端102可以根据待识别图像的种类的不同，使用不同的预设模型，其中，在将包含烟火疑似区域的待识别图像输入预设模型前，终端102还可以对待识别图像中的各个像素点通过注意力机制进行权重分配，具体地，终端102可以根据上述烟火疑似区域，得到输入上述预设模型，具体地，可以是特征提取网络，的重点区域，具体计算公式可以如下所示：
I i-attention＝w iI i；
其中，I i-attention表示经过注意力机制后像素点i的值，I i代表原图片像素点i的值，w i代表权重参数(如像素点i属于图像烟火疑似区域则w i＝1.5反之w i＝1)。从而终端102可以利用该注意力机制对图像的重点区域进行关注。
终端102可以将类型为可见光图像的待识别图像输入第一预设模型，将类型为红外图像的待识别图像输入第二预设模型，即第一预设模型可以用于识别可见光图像，第二预设模型可以用于识别红外图像。其中，在将待识别图像输入预设模型前，终端102还可以对模型进行训练，具体地，上述预设模型可以是EfficientNet，终端102可以通过输入标记了烟火状态的可见光图像数据和标记了烟火状态的红外图像数据分别训练网络第一预设模型E1和第二预设模型E2(网络结构相同)，其具体步骤为：(1)ImageNet挑战数据集上预先训练网络；(2)利用可见光烟雾火焰图像数据对网络E1进行训练，利用红外烟雾火焰图像数据对网络E2进行训练。其中，训练模型的过程中采用了随机梯度下降的方法；(3)通过调节参数微调网络，得到训练好的网络模型E1和E2，作为上述第一预设模型和第二预设模型。
终端102可以获取第一预设模型、第二预设模型对烟火疑似区域进行特征提取后的判断向量，并根据判断向量，确定待识别图像中的烟火状态。具体地，终端102可以将EfficientNet最后的全连接层中的隐藏单元数设置为对应分类结 果的总数量，例如可以为4，代表无烟无火，有烟有火，无烟有火，有烟无火4种类别；终端102可以通过特征提取得到1*4的判断向量，通过比较向量中各数值的大小，将最大的值所对应的类别，作为识别结果，例如，将包含火焰的可见光图像以及包含烟火的可见光图像分别输入上述预设模型中，在经过最后的全连接层之后得到的结果分别为
Figure PCTCN2021079267-appb-000013
和
Figure PCTCN2021079267-appb-000014
从而根据我们预先设置的数据类别
Figure PCTCN2021079267-appb-000015
得到，分别输入无烟有火以及有烟有火的状态。
通过本实施例，终端102可以根据预设模型识别待识别图像中烟火疑似区域的烟火状态，从而可以提高烟火识别的及时率。
在一个实施例中，根据预设模型的输出结果，识别待识别图像中的烟火状态之后，还包括：若烟火状态为有烟或有火，触发报警信息，并将待识别图像输入烟火检测模型，获取烟火检测模型输出的烟火区域预测框；烟火检测模型基于多个具有烟火的图像训练得到；根据预设判别式跟踪算法，对烟火区域预测框进行连续识别，以对待识别图像中的烟火状态进行跟踪；预设判别式跟踪算法基于当前时刻对应的前一时刻的包括烟火区域预测框的待识别图像得到当前时刻待识别图像中的烟火区域预测框。
本实施例中，终端102可以在识别到待识别图像中的烟火状态后，根据烟火状态的不同，执行不同的步骤，例如，若烟火状态为有烟或有火，则终端102可以触发报警信息，并且可以对烟火进行跟踪，如图7所示，图7为一个实施例中烟火跟踪步骤的界面示意图。终端102可以将识别出的烟火状态的待识别图像输入烟火检测模型，得到烟火检测模型输出的烟火区域预测框，其中，烟火检测模型可以基于多个具有烟火的图像训练得到，其网络结构采用的是与yolov2网络结构相同，具体地，终端102可以将报警后第一帧图像输入到烟火 检测模型中，通过网络计算出该图像的特征向量，结合回归的方法，将该方框修正后得到第一帧图像的烟火区域预测框。
终端102还可以根据预设判别式跟踪算法，对烟火区域预测框进行连续识别，得到不同时刻的多个预测框，从而对待识别图像中的烟火状态进行跟踪，其中，预设判别式跟踪算法可以根据当前时刻对应的前一时刻的包括烟火区域预测框的待识别图像，得到当前时刻待识别图像中的烟火区域预测框。具体地，终端102可以利用判别式跟踪算法中的KCF算法对烟火区域进行跟踪，具体的，在帧I t中，在目标所在位置P t附近采样，训练一个回归器，该回归器可以计算一个小窗口的响应。在I t+1帧中，在前一帧位置P t附近采样用前述回归器判断每个采样窗口的响应值，取响应值最大的采样作为本帧中目标的位置P t+1。具体的，KCF算法原理是在追踪过程中训练一个目标检测模型，使用所需的目标检测模型去检测下一帧视频图像位置，来预测该位置是否是所需要的目标，然后再使用新的检测结果去更新训练集，以此来实现更新目标检测模型。通过在频域内的傅里叶变换和脊回归，将目标区域作为正样本，周围不包括目标的区域视为负样本，选定的目标区域和周围区域的循环矩阵进行水平、垂直的循环移位来产生大量的样本，实现目标检测模型的训练。
通过本实施例，终端102可以在识别出烟火后，利用预设烟火是检测模型对烟火状态进行持续跟踪，可以及时掌握火灾的运动状态以及蔓延态势，从而提高了烟火识别的及时率。
在一个实施例中，如图8所示，图8为另一个实施例中烟火识别方法的流程示意图。终端102可以通过摄像设备，例如固定式摄像头或移动式摄像头，获取监控图像，根据获取的图像类型，进行相应的处理，具体地，若为可见光图像，则进行可见光图像的预处理，即上述过滤处理，并对可见光图像中的烟火疑似区域进行检测，还可以对可见光图像中的烟火状态进行特征提取和分类；若为红外图像，则进行红外图像的预处理，即上述过滤处理，并对红外图像中的烟火疑似区域进行检测，还可以对红外图像中的烟火状态进行特征提取和分类；最终得到识别结果，其中识别结果中可以包括可见光图像的识别结果，也可以包括红外图像的识别结果，还可以是可见光图像和红外图像的共同识别结 果。终端102在得到识别结果后，还可以对烟火状态进行跟踪，例如可以利用上述烟火检测模型和判别式跟踪算法进行跟踪。
通过本实施例，终端102可以通过预设模型，对可见光图像或红外图像中的烟火区域进行识别，并且可以进行持续跟踪，从而实现提高烟火的识别及时率的效果。
应该理解的是，虽然图2及图8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2及图8中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种烟火识别装置，包括：获取模块500、第一识别模块502和第二识别模块504，其中：
获取模块500，用于获取烟火监控区域内的待识别图像；待识别图像包括可见光图像和/或红外图像。
第一识别模块502，用于根据待识别图像，识别待识别图像中的烟火疑似区域，包括：基于颜色识别可见光图像中的烟火疑似区域，基于亮度识别红外图像中的烟火疑似区域。
第二识别模块504，用于将包括烟火疑似区域的待识别图像输入预设模型，根据预设模型的输出结果，识别待识别图像中的烟火状态；预设模型基于预先标记烟火状态的可见光图像或预先标记烟火状态的红外图像训练得到。
在一个实施例中，上述获取模块500，具体用于获取烟火监控区域内的监控图像；根据监控图像的图像类型，对监控图像进行对应的过滤处理，得到过滤处理后的监控图像；根据多帧过滤处理后的监控图像，消除过滤处理后的监控图像中的设备运动光流，得到待识别图像。
在一个实施例中，上述获取模块500，具体用于若监控图像为可见光图像， 获取可见光图像中的各个像素在三原色颜色空间的各个颜色通道中的颜色值；获取各个颜色值占所有颜色值的和的比例；获取比例最大的颜色值与各个比例的乘积，作为各个颜色值对应的规范后的颜色值；根据规范后的颜色值的最大值、最小值以及像素对应的颜色值，确定像素对应的色相值、饱和度值以及色调值；根据规范后的颜色值以及预设亮度色度转换矩阵，得到像素对应的明亮度值、色度值以及浓度值；根据监控图像中的各个像素对应的各个颜色值、色相值、饱和度值、色调值、明亮度值、色度值以及浓度值，得到过滤处理后的监控图像。
在一个实施例中，上述获取模块500，具体用于若监控图像为红外图像，将红外图像中的各个像素的邻域内的所有像素进行排序，获取排序后的像素中的中间灰度值，并将中间灰度值赋给对应的像素，得到过滤处理后的监控图像。
在一个实施例中，上述获取模块500，具体用于根据当前时刻的过滤处理后的监控图像，以及当前时刻对应的下一时刻的过滤处理后的监控图像，得到过滤处理后的监控图像对应的投影变换矩阵；根据投影变换矩阵的逆与当前时刻对应的过滤处理后的监控图像，得到消除设备运动光流后的过滤处理后的监控图像，作为待识别图像。
在一个实施例中，上述第一识别模块502，具体用于若待识别图像为可见光图像，根据待识别图像中各个像素对应的亮度值、色度值、浓度值、颜色值、第一最大阈值以及第一最小阈值，得到待识别图像中的最小烟雾区域；根据待识别图像中各个像素对应的第一颜色阈值、第二颜色阈值以及颜色值，得到待识别图像中的第一最小火焰区域；根据待识别图像中各个像素对应的色相值、饱和度值以及色调值，得到待识别图像中的第二最小火焰区域；根据待识别图像中各个像素对应的明亮度值、色度值、浓度值、明亮度阈值、亮度阈值以及色度阈值，得到待识别图像中的第三最小火焰区域；对多个待识别图像的图像序列进行光流提取，得到待识别图像中的运动区域；根据最小烟雾区域、第一最小火焰区域、第二最小火焰区域、第三最小火焰区域以及运动区域，得到待识别图像中的烟火疑似区域。
在一个实施例中，上述第一识别模块502，具体用于若待识别图像为红外图 像，根据预设红外亮度阈值，得到待识别图像中的火焰区域；根据当前时刻的待识别图像以及当前识别对应的下一时刻的待识别图像，得到待识别图像对应的像素差；根据像素差以及预设运动图像阈值，确定待识别图像中的运动区域；根据火焰区域以及运动区域，得到待识别图像中的烟火疑似区域。
在一个实施例中，上述第二识别模块504，具体用于若待识别图像为可见光图像，将待识别图像输入第一预设模型；若待识别图像为红外图像，将待识别图像输入第二预设模型；获取通过第一预设模型和/或第二预设模型对烟火疑似区域进行特征提取后得到的判断向量；根据判断向量，确定待识别图像中的烟火状态。
在一个实施例中，上述装置还包括：跟踪模块，用于若烟火状态为有烟或有火，触发报警信息，并将待识别图像输入烟火检测模型，获取烟火检测模型输出的烟火区域预测框；烟火检测模型基于多个具有烟火的图像训练得到；根据预设判别式跟踪算法，对烟火区域预测框进行连续识别，以对待识别图像中的烟火状态进行跟踪；预设判别式跟踪算法基于当前时刻对应的前一时刻的包括烟火区域预测框的待识别图像得到当前时刻待识别图像中的烟火区域预测框。
关于烟火识别装置的具体限定可以参见上文中对于烟火识别方法的限定，在此不再赘述。上述烟火识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商 网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种烟火识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述烟火识别方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述烟火识别方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细， 但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

  1. 一种烟火识别方法，其特征在于，所述方法包括：
    获取烟火监控区域内的待识别图像；所述待识别图像包括可见光图像和/或红外图像；
    根据所述待识别图像，识别所述待识别图像中的烟火疑似区域，包括：基于颜色识别所述可见光图像中的烟火疑似区域，基于亮度识别所述红外图像中的烟火疑似区域；
    将包括所述烟火疑似区域的待识别图像输入预设模型，根据所述预设模型的输出结果，识别所述待识别图像中的烟火状态；所述预设模型基于预先标记烟火状态的可见光图像或预先标记烟火状态的红外图像训练得到。
  2. 根据权利要求1所述的方法，其特征在于，所述获取烟火监控区域内的待识别图像，包括：
    获取所述烟火监控区域内的监控图像；
    根据所述监控图像的图像类型，对所述监控图像进行对应的过滤处理，得到过滤处理后的监控图像；
    根据多帧所述过滤处理后的监控图像，消除所述过滤处理后的监控图像中的设备运动光流，得到所述待识别图像。
  3. 根据权利要求2所述的方法，其特征在于，所述根据所述监控图像的图像类型，对所述监控图像进行对应的过滤处理，得到过滤处理后的监控图像，包括：
    若所述监控图像为可见光图像，获取所述可见光图像中的各个像素在三原色颜色空间的各个颜色通道中的颜色值；
    获取各个颜色值占所有颜色值的和的比例；
    获取所述比例最大的颜色值与各个比例的乘积，作为各个颜色值对应的规范后的颜色值；
    根据所述规范后的颜色值的最大值、最小值以及所述像素对应的颜色值，确定所述像素对应的色相值、饱和度值以及色调值；
    根据所述规范后的颜色值以及预设亮度色度转换矩阵，得到所述像素对应 的明亮度值、色度值以及浓度值；
    根据所述监控图像中的各个所述像素对应的所述各个颜色值、所述色相值、所述饱和度值、所述色调值、所述明亮度值、所述色度值以及所述浓度值，得到过滤处理后的监控图像；
    和/或
    若所述监控图像为红外图像，将所述红外图像中的各个像素的邻域内的所有像素进行排序，获取排序后的像素中的中间灰度值，并将所述中间灰度值赋给对应的像素，得到过滤处理后的监控图像。
  4. 根据权利要求2所述的方法，其特征在于，所述根据多帧所述过滤处理后的监控图像，消除所述过滤处理后的监控图像中的设备运动光流，得到所述待识别图像，包括：
    根据当前时刻的过滤处理后的监控图像，以及当前时刻对应的下一时刻的过滤处理后的监控图像，得到所述过滤处理后的监控图像对应的投影变换矩阵；
    根据所述投影变换矩阵的逆与所述当前时刻对应的过滤处理后的监控图像，得到消除设备运动光流后的过滤处理后的监控图像，作为所述待识别图像。
  5. 根据权利要求3所述的方法，其特征在于，所述根据所述待识别图像，识别所述待识别图像中的烟火疑似区域，包括：
    若所述待识别图像为可见光图像，根据所述待识别图像中各个像素对应的亮度值、色度值、浓度值、颜色值、第一最大阈值以及第一最小阈值，得到所述待识别图像中的最小烟雾区域；
    根据所述待识别图像中各个像素对应的第一颜色阈值、第二颜色阈值以及颜色值，得到所述待识别图像中的第一最小火焰区域；
    根据所述待识别图像中各个像素对应的色相值、饱和度值以及色调值，得到所述待识别图像中的第二最小火焰区域；
    根据所述待识别图像中各个像素对应的明亮度值、色度值、浓度值、明亮度阈值、亮度阈值以及色度阈值，得到所述待识别图像中的第三最小火焰区域；
    对多个所述待识别图像的图像序列进行光流提取，得到所述待识别图像中的运动区域；
    根据所述最小烟雾区域、所述第一最小火焰区域、所述第二最小火焰区域、所述第三最小火焰区域以及所述运动区域，得到所述待识别图像中的烟火疑似区域；
    和/或，
    若所述待识别图像为红外图像，根据预设红外亮度阈值，得到所述待识别图像中的火焰区域；
    根据当前时刻的待识别图像以及当前识别对应的下一时刻的待识别图像，得到所述待识别图像对应的像素差；
    根据所述像素差以及预设运动图像阈值，确定所述待识别图像中的运动区域；
    根据所述火焰区域以及所述运动区域，得到所述待识别图像中的烟火疑似区域。
  6. 根据权利要求1所述的方法，其特征在于，所述预设模型包括：第一预设模型以及第二预设模型；
    所述将包括所述烟火疑似区域的待识别图像输入预设模型，根据所述预设模型的输出结果，识别所述待识别图像中的烟火状态，包括：
    若所述待识别图像为可见光图像，将所述待识别图像输入第一预设模型；
    若所述待识别图像为红外图像，将所述待识别图像输入第二预设模型；
    获取通过所述第一预设模型和/或所述第二预设模型对所述烟火疑似区域进行特征提取后得到的判断向量；
    根据所述判断向量，确定所述待识别图像中的烟火状态。
  7. 根据权利要求1所述的方法，其特征在于，所述根据所述预设模型的输出结果，识别所述待识别图像中的烟火状态之后，还包括：
    若所述烟火状态为有烟或有火，触发报警信息，并将所述待识别图像输入烟火检测模型，获取所述烟火检测模型输出的烟火区域预测框；所述烟火检测模型基于多个具有烟火的图像训练得到；
    根据预设判别式跟踪算法，对所述烟火区域预测框进行连续识别，以对所述待识别图像中的烟火状态进行跟踪；所述预设判别式跟踪算法基于当前时刻 对应的前一时刻的包括烟火区域预测框的待识别图像得到所述当前时刻所述待识别图像中的烟火区域预测框。
  8. 一种烟火识别装置，其特征在于，所述装置包括：
    获取模块，用于获取烟火监控区域内的待识别图像；所述待识别图像包括可见光图像和/或红外图像；
    第一识别模块，用于根据所述待识别图像，识别所述待识别图像中的烟火疑似区域，包括：基于颜色识别所述可见光图像中的烟火疑似区域，基于亮度识别所述红外图像中的烟火疑似区域；
    第二识别模块，用于将包括所述烟火疑似区域的待识别图像输入预设模型，根据所述预设模型的输出结果，识别所述待识别图像中的烟火状态；所述预设模型基于预先标记烟火状态的可见光图像或预先标记烟火状态的红外图像训练得到。
  9. 一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
  10. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
PCT/CN2021/079267 2020-12-12 2021-03-05 烟火识别方法、装置、计算机设备和存储介质 WO2022121129A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/919,511 US20240005757A1 (en) 2020-12-12 2021-03-05 Method and device for smoke or fire recognition, computer apparatus, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011453646.7A CN112560657B (zh) 2020-12-12 2020-12-12 烟火识别方法、装置、计算机设备和存储介质
CN202011453646.7 2020-12-12

Publications (1)

Publication Number Publication Date
WO2022121129A1 true WO2022121129A1 (zh) 2022-06-16

Family

ID=75061626

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/079267 WO2022121129A1 (zh) 2020-12-12 2021-03-05 烟火识别方法、装置、计算机设备和存储介质

Country Status (3)

Country Link
US (1) US20240005757A1 (zh)
CN (1) CN112560657B (zh)
WO (1) WO2022121129A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115223105A (zh) * 2022-09-20 2022-10-21 万链指数(青岛)信息科技有限公司 基于大数据的风险信息监控分析方法及系统
CN115356782A (zh) * 2022-09-20 2022-11-18 中国人民解放军61540部队 一种夜间地面火情自动识别方法、系统、电子设备及介质
CN115394039A (zh) * 2022-08-26 2022-11-25 新创碳谷控股有限公司 基于双颜色空间分割的火焰检测方法、设备及存储介质
CN116091959A (zh) * 2022-11-21 2023-05-09 武汉坤达安信息安全技术有限公司 基于全天候烟火的双光联动识别方法及装置
CN116453064A (zh) * 2023-06-16 2023-07-18 烟台黄金职业学院 基于监控数据的隧道路段路况异常识别方法
CN116630843A (zh) * 2023-04-13 2023-08-22 安徽中科数智信息科技有限公司 一种用于消防救援的防火监督管理方法和系统
CN116907349A (zh) * 2023-09-12 2023-10-20 北京宝隆泓瑞科技有限公司 一种基于图像处理的通用开关状态识别方法
CN117671914A (zh) * 2023-10-26 2024-03-08 广州成至智能机器科技有限公司 一种无人机多传感器林火识别方法、装置和系统
CN117789394A (zh) * 2023-12-14 2024-03-29 营口世纪电子仪器股份有限公司 一种基于运动历史图像的早期火灾烟雾检测方法
CN117853935A (zh) * 2024-03-07 2024-04-09 河南胜华电缆集团有限公司 一种基于视觉分析的电缆火焰蔓延检测方法、装置和服务平台
CN117934457A (zh) * 2024-03-20 2024-04-26 国网江苏省电力有限公司 输电线路山火检测方法及系统
CN117994711A (zh) * 2024-04-07 2024-05-07 西安航天动力研究所 基于发动机羽流图像识别火焰的方法、装置、计算机设备
CN118230257A (zh) * 2024-05-24 2024-06-21 国网江西省电力有限公司信息通信分公司 一种输电线通道烟火识别方法、系统、装置及存储介质
CN118280089A (zh) * 2024-05-31 2024-07-02 南通大学 一种基于数据分析的电瓶车蓄电池火灾预警方法及系统

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240880A (zh) * 2021-05-27 2021-08-10 浙江大华技术股份有限公司 一种火点检测方法、装置、电子设备及存储介质
CN113537092A (zh) * 2021-07-21 2021-10-22 中科曙光国际信息产业有限公司 烟火检测方法、装置、设备及存储介质
CN114821428A (zh) * 2022-04-29 2022-07-29 中国建设银行股份有限公司 一种智能火灾识别方法、装置、计算机设备及存储介质
CN115700757B (zh) * 2022-11-08 2024-05-17 中信重工开诚智能装备有限公司 消防水炮的控制方法、装置及电子设备
WO2024168206A1 (en) * 2023-02-10 2024-08-15 Schlumberger Technology Corporation Flare stream classification with semantic segmentation and generative adversarial networks in normal and low-light conditions
CN116740577B (zh) * 2023-08-10 2024-01-12 瞳见科技有限公司 道路积水识别方法、系统、终端及存储介质
CN117058253B (zh) * 2023-10-12 2024-01-23 南京邮电大学 一种基于ptz摄像机的高精度告警定位方法
CN117612093B (zh) * 2023-11-27 2024-06-18 北京东青互联科技有限公司 一种数据中心的动力环境监控方法、系统、设备和介质
CN117541997B (zh) * 2024-01-10 2024-03-12 泰安万川电器设备有限公司 一种基于图像特征的巷道安全预警方法及系统
CN118298354A (zh) * 2024-04-03 2024-07-05 常州市新创智能科技有限公司 碳纤维生产线预氧化炉内火焰识别方法、装置及电子设备
CN118314680A (zh) * 2024-06-11 2024-07-09 山东联合能源管道输送有限公司 一种基于监控数据的火灾智能预警系统
CN118379687B (zh) * 2024-06-24 2024-08-16 上海意静信息科技有限公司 一种联动式智慧消防分级预警与应急响应系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090123074A1 (en) * 2007-11-13 2009-05-14 Chao-Ho Chen Smoke detection method based on video processing
CN101814134A (zh) * 2009-12-04 2010-08-25 四川川大智胜软件股份有限公司 一种基于计算机视觉监视技术的火焰智能检测方法
CN102163358A (zh) * 2011-04-11 2011-08-24 杭州电子科技大学 一种基于视频图像分析的烟雾/火焰检测方法
CN105488941A (zh) * 2016-01-15 2016-04-13 中林信达（北京）科技信息有限责任公司 基于红外-可见光图像的双光谱森林火情监测方法及装置
CN108108695A (zh) * 2017-12-22 2018-06-01 湖南源信光电科技股份有限公司 基于红外视频图像的火焰检测识别方法
CN111476086A (zh) * 2020-03-02 2020-07-31 西安天和防务技术股份有限公司 烟火识别方法、装置、计算机设备和可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236947B (zh) * 2010-04-29 2012-08-29 中国建筑科学研究院 基于视频摄像机的火焰监测方法与系统
CN105512667B (zh) * 2014-09-22 2019-01-15 中国石油化工股份有限公司 红外和可见光视频图像融合识别火灾的方法
CN104581076A (zh) * 2015-01-14 2015-04-29 国网四川省电力公司电力科学研究院 基于360度全景红外鱼眼摄像机之山火监控识别方法及装置
CN107730548A (zh) * 2017-10-23 2018-02-23 厦门诺银科技有限公司 一种基于平均灰度和面积的面向加热炉火焰实时检测方法
CN108090495A (zh) * 2017-12-22 2018-05-29 湖南源信光电科技股份有限公司 一种基于红外光和可见光图像的疑似火焰区域提取方法
CN109637068A (zh) * 2018-11-23 2019-04-16 山东智洋电气股份有限公司 智能烟火识别系统
CN110598655B (zh) * 2019-09-18 2023-12-19 东莞德福得精密五金制品有限公司 人工智能云计算多光谱烟雾高温火花火灾监控方法
CN111626188B (zh) * 2020-05-26 2022-05-06 西南大学 一种室内不可控明火监测方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090123074A1 (en) * 2007-11-13 2009-05-14 Chao-Ho Chen Smoke detection method based on video processing
CN101814134A (zh) * 2009-12-04 2010-08-25 四川川大智胜软件股份有限公司 一种基于计算机视觉监视技术的火焰智能检测方法
CN102163358A (zh) * 2011-04-11 2011-08-24 杭州电子科技大学 一种基于视频图像分析的烟雾/火焰检测方法
CN105488941A (zh) * 2016-01-15 2016-04-13 中林信达（北京）科技信息有限责任公司 基于红外-可见光图像的双光谱森林火情监测方法及装置
CN108108695A (zh) * 2017-12-22 2018-06-01 湖南源信光电科技股份有限公司 基于红外视频图像的火焰检测识别方法
CN111476086A (zh) * 2020-03-02 2020-07-31 西安天和防务技术股份有限公司 烟火识别方法、装置、计算机设备和可读存储介质

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115394039A (zh) * 2022-08-26 2022-11-25 新创碳谷控股有限公司 基于双颜色空间分割的火焰检测方法、设备及存储介质
CN115356782A (zh) * 2022-09-20 2022-11-18 中国人民解放军61540部队 一种夜间地面火情自动识别方法、系统、电子设备及介质
CN115223105B (zh) * 2022-09-20 2022-12-09 万链指数(青岛)信息科技有限公司 基于大数据的风险信息监控分析方法及系统
CN115223105A (zh) * 2022-09-20 2022-10-21 万链指数(青岛)信息科技有限公司 基于大数据的风险信息监控分析方法及系统
CN116091959A (zh) * 2022-11-21 2023-05-09 武汉坤达安信息安全技术有限公司 基于全天候烟火的双光联动识别方法及装置
CN116091959B (zh) * 2022-11-21 2024-03-22 武汉坤达安信息安全技术有限公司 基于全天候烟火的双光联动识别方法及装置
CN116630843B (zh) * 2023-04-13 2024-05-17 安徽中科数智信息科技有限公司 一种用于消防救援的防火监督管理方法和系统
CN116630843A (zh) * 2023-04-13 2023-08-22 安徽中科数智信息科技有限公司 一种用于消防救援的防火监督管理方法和系统
CN116453064A (zh) * 2023-06-16 2023-07-18 烟台黄金职业学院 基于监控数据的隧道路段路况异常识别方法
CN116453064B (zh) * 2023-06-16 2023-08-18 烟台黄金职业学院 基于监控数据的隧道路段路况异常识别方法
CN116907349A (zh) * 2023-09-12 2023-10-20 北京宝隆泓瑞科技有限公司 一种基于图像处理的通用开关状态识别方法
CN116907349B (zh) * 2023-09-12 2023-12-08 北京宝隆泓瑞科技有限公司 一种基于图像处理的通用开关状态识别方法
CN117671914A (zh) * 2023-10-26 2024-03-08 广州成至智能机器科技有限公司 一种无人机多传感器林火识别方法、装置和系统
CN117671914B (zh) * 2023-10-26 2024-06-04 广州成至智能机器科技有限公司 一种无人机多传感器林火识别方法、装置和系统
CN117789394A (zh) * 2023-12-14 2024-03-29 营口世纪电子仪器股份有限公司 一种基于运动历史图像的早期火灾烟雾检测方法
CN117853935A (zh) * 2024-03-07 2024-04-09 河南胜华电缆集团有限公司 一种基于视觉分析的电缆火焰蔓延检测方法、装置和服务平台
CN117853935B (zh) * 2024-03-07 2024-06-11 河南胜华电缆集团有限公司 一种基于视觉分析的电缆火焰蔓延检测方法、装置和服务平台
CN117934457A (zh) * 2024-03-20 2024-04-26 国网江苏省电力有限公司 输电线路山火检测方法及系统
CN117934457B (zh) * 2024-03-20 2024-05-31 国网江苏省电力有限公司 输电线路山火检测方法及系统
CN117994711A (zh) * 2024-04-07 2024-05-07 西安航天动力研究所 基于发动机羽流图像识别火焰的方法、装置、计算机设备
CN118230257A (zh) * 2024-05-24 2024-06-21 国网江西省电力有限公司信息通信分公司 一种输电线通道烟火识别方法、系统、装置及存储介质
CN118280089A (zh) * 2024-05-31 2024-07-02 南通大学 一种基于数据分析的电瓶车蓄电池火灾预警方法及系统

Also Published As

Publication number Publication date
CN112560657B (zh) 2023-05-30
US20240005757A1 (en) 2024-01-04
CN112560657A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
WO2022121129A1 (zh) 烟火识别方法、装置、计算机设备和存储介质
Mahmoud et al. Forest fire detection and identification using image processing and SVM
CN108416968B (zh) 火灾预警方法和装置
WO2020078229A1 (zh) 目标对象的识别方法和装置、存储介质、电子装置
Emmy Prema et al. Multi feature analysis of smoke in YUV color space for early forest fire detection
CN107944359B (zh) 基于视频的火焰检测方法
Khalil et al. Fire detection using multi color space and background modeling
Premal et al. Image processing based forest fire detection using YCbCr colour model
TWI419082B (zh) 偵測視訊序列中的移動物體影像的方法以及影像處理系統
Li et al. Toward efficient safety helmet detection based on YoloV5 with hierarchical positive sample selection and box density filtering
KR101204259B1 (ko) 화재 검출 방법
CN109360370B (zh) 一种基于机器人烟火检测的方法
CN113688820B (zh) 频闪条带信息识别方法、装置和电子设备
Dong et al. Camera anomaly detection based on morphological analysis and deep learning
Chen et al. Fire detection using spatial-temporal analysis
KR101476764B1 (ko) 카메라의 명암 영상신호를 이용한 화염 검출방법
Poobalan et al. Fire detection based on color filters and Bag-of-Features classification
Dulski et al. Concept of data processing in multisensor system for perimeter protection
CN113537092A (zh) 烟火检测方法、装置、设备及存储介质
Lai et al. Robust little flame detection on real-time video surveillance system
Khan et al. Real-time fire detection using enhanced color segmentation and novel foreground extraction
Karthikeyen et al. Novel Method Of Real Time Fire Detection And Video Alerting System Using Open-CV Techniques
Li et al. An Adaptive Detection Method for Early Smoke of Coal Mine Fire Based on Local Features
Jamal et al. A novel framework for real-time fire detection in CCTV videos using a hybrid approach of motion-flicker detection, colour detection and YOLOv7
Mohammed et al. Implementation of human detection on raspberry pi for smart surveillance

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21901846

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 14/12/2023)

122 Ep: pct application non-entry in european phase

Ref document number: 21901846

Country of ref document: EP

Kind code of ref document: A1