WO2018116966A1 - 火災監視システム - Google Patents

火災監視システム Download PDF

Info

Publication number
WO2018116966A1
WO2018116966A1 PCT/JP2017/045036 JP2017045036W WO2018116966A1 WO 2018116966 A1 WO2018116966 A1 WO 2018116966A1 JP 2017045036 W JP2017045036 W JP 2017045036W WO 2018116966 A1 WO2018116966 A1 WO 2018116966A1
Authority
WO
WIPO (PCT)
Prior art keywords
fire
learning
image
block
smoke
Prior art date
Application number
PCT/JP2017/045036
Other languages
English (en)
French (fr)
Inventor
弘道 江幡
Original Assignee
ホーチキ株式会社
弘道 江幡
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホーチキ株式会社, 弘道 江幡 filed Critical ホーチキ株式会社
Priority to EP17884017.9A priority Critical patent/EP3561788B1/en
Publication of WO2018116966A1 publication Critical patent/WO2018116966A1/ja
Priority to US16/411,665 priority patent/US10854062B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/06—Electric actuation of the alarm, e.g. using a thermally-operated switch
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/10—Actuation by presence of smoke or gases, e.g. automatic alarm devices for analysing flowing fluid materials by the use of optical means
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data

Definitions

  • the present invention relates to a fire monitoring system for judging and alarming a fire by using a neural network from an image of a monitoring area captured by a monitoring camera.
  • Patent Document 1 As a phenomenon caused by smoke from a fire from an image, a decrease in transmittance or contrast, a convergence of a luminance value to a specific value, a luminance distribution range is narrowed and a luminance distribution is reduced. , A change in average value of brightness due to smoke, a decrease in the total amount of edges, and an increase in intensity in the low frequency band are derived, and these can be comprehensively judged to detect smoke.
  • JP 2008-046916 A JP-A-7-245757 JP 2010-238028 A JP-A-6-325270
  • a fire detection system using a sensor that monitors a specific physical quantity has a problem that even if the monitoring standard is satisfied by an event that is not a fire, it is regarded as a fire and the fire cannot be detected correctly.
  • a fire monitoring system that detects a fire from a smoke image associated with a fire
  • smoke features such as transmittance, contrast, and edge in the smoke image are determined in advance, and an image captured by the monitoring camera is captured.
  • the characteristics of smoke must be generated by processing, and there are a wide variety of smoke generation situations due to fire, and it is extremely difficult to find out what the characteristics of smoke are in it. Therefore, a fire monitoring system that accurately determines smoke from a fire from a monitoring image and outputs a fire alarm is on the way to practical use.
  • deep learning is not only used for image analysis but also for natural language processing and behavior analysis.
  • Such a multi-layer neural network is provided in a judgment device for judging a fire by inputting an image of a surveillance area imaged by a surveillance camera, and at the time of learning, a large number of fire and non-fire images are prepared. If a multi-layer neural network is trained and the monitoring area image captured by the surveillance camera is input to the learned multi-layer neural network during monitoring, it can be estimated with high accuracy from the output. A fire monitoring system that outputs an alarm can be constructed.
  • a multi-layer neural network is trained by using a number of fire and non-fire images prepared in advance in the manufacturing stage of the fire monitoring system as supervised learning images. Is installed in a facility to be monitored, and an image captured by a monitoring camera installed in a monitoring area is input to the determination device to monitor a fire.
  • the characteristic part due to fire such as fire flames and smoke
  • a multi-layer neural network is learned over the entire image, and the surveillance area after learning
  • the fire determination accuracy is lowered because the feature portion due to the fire is limited to a narrow range even if the image is input.
  • the present invention provides a fire monitoring system and a fire monitoring method capable of improving a fire detection accuracy by efficiently learning a multi-layer neural network even if a feature portion due to a fire occupying the entire image is limited to a narrow range.
  • the purpose is to do.
  • the monitoring image of the monitoring area captured by the imaging unit is divided into a plurality of block images, and the block images are input to a fire detector configured by a multilayer neural network. Is detected.
  • the fire monitoring system A learning image generation unit that divides an input image into a plurality of block images as a learning image, and classifies the input image into a fire learning block image, a normal learning block image, or a non-learning block image and stores it in a learning image storage unit; A learning control unit for learning a multilayer neural network by inputting a fire learning block image and a normal learning block image stored in a learning image storage unit to a fire detector; Is provided.
  • the block image divided into the multilayer neural network is input, the type of the block image is determined, the block image is classified using the determination result, and stored in the learning image storage unit.
  • the fire detector determines that a fire has occurred when the distribution of the block image in which the fire is detected moves upward and / or expands over time.
  • the fire detector determines a fire based on the state of a set of block images in which a fire is detected.
  • the fire detector displays the distribution of block images in which a fire is detected on the monitor unit.
  • the fire detector includes a first multi-layer neural network that detects a fire flame by inputting a block image, and a second multi-layer neural network that detects a fire smoke by inputting a block image,
  • the input image is divided into a plurality of block images as learning images, and each block image has a flame learning block image, a smoke learning block image, a normal learning block image, or according to the proportion of flame or smoke, or
  • a learning image generation unit that is classified into non-learning block images and stored in the learning image storage unit, and a disaster learning block image and a normal learning block image stored in the learning image storage unit are input to the first multilayer neural network
  • the smoke learning block image and the normal learning block image stored in the learning image storage unit are learned and stored in the second multilayer neural network.
  • a learning control unit for learning by force is provided.
  • the fire detector displays the distribution of block images in which flames and smoke are detected on the monitor unit.
  • the monitoring image of the monitoring area captured by the imaging unit is divided into a plurality of block images, and the block images are input to a fire detector configured by a multilayer neural network. Since the fire is detected, the block image is divided into a plurality of block images even if characteristic parts such as fire flames and smoke occupying the entire image of the monitoring area are limited to a narrow range.
  • the block image is input to the multi-layer neural network, the fire can be estimated from the block image with high accuracy and can be alarmed.
  • the fire monitoring system further divides the input image as a learning image into a plurality of block images, and each block image has a fire learning block image and a normal learning block image according to the presence or absence of flame and smoke and the proportion of flame and smoke.
  • a learning image generation unit that is classified into a non-learning block image and stored in a learning image storage unit, and a fire learning block image and a normal learning block image stored in the learning image storage unit are input to a fire detector to be a multilayer type Since a learning control unit for learning a neural network is provided, for example, a fire image captured by a surveillance camera by a fire experiment or the like is divided into a plurality of block images as learning images, and a block image having no flame or smoke is obtained. A normal block image, and a block image that occupies most of the flame and smoke is a fire block image.
  • normal block images are classified and stored as non-learning block images, and the stored fire block images and normal block images are input to the multilayer neural network of the fire detector for learning.
  • the feature part of the entire learning block image due to fire can be widened, and when the image of the monitoring area is divided into block images and input, the fire can be detected with high accuracy and non-fire It is possible to prevent false detection of the cause and consequently improve the fire detection accuracy.
  • the fire learning block image includes a flame learning block image in which the ratio of fire flames is greater than or equal to a predetermined ratio and a smoke learning block image in which the ratio of smoke due to fire is greater than or equal to a predetermined ratio.
  • the block images in which the flames and smoke that are the characteristic part of the fire can be surely seen can be classified as fire learning images, and the multilayer neural network is based on the block image having the characteristic part of the fire Enables learning to increase the accuracy of fire estimation.
  • the type of the block image is determined, and the block image is classified using the determination result and stored in the learning image storage unit.
  • the setter can set only by performing a confirmation act.
  • the block distribution is superimposed on the input image and output, and the setter can set the type of block image simply by setting a non-learning block or correcting the detection result of the block image. Can be improved. It is also possible to check the determination accuracy of the multilayer neural network at the current time. In addition, workability improves as the determination accuracy of the multilayer neural network improves.
  • the fire detector determines that a fire is detected when the distribution of the block image in which the fire is detected moves upwards or expands over time
  • the fire detector uses a multilayer neural network for fire determination.
  • the distribution of the block image in which the fire is detected is large even if time passes. It stays within a certain range without expanding, and it is possible to reliably prevent false alarms due to non-fire factors.
  • the fire detector determines fire based on the state of the set of block images in which a fire is detected. Therefore, in addition to fire detection of block images using a multi-layer neural network, the fire and smoke growth conditions specific to fire are also detected. By capturing it, it is possible to further improve the fire determination accuracy.
  • the block image block where the fire was detected does not expand greatly even if time passes. It is within the scope, and it is possible to reliably prevent misinformation due to non-fire factors.
  • the fire detector displays the distribution of the block image in which the fire is detected on the monitor unit
  • the distribution of the fire and the normal block image is, for example, the monitor of the disaster prevention center for the block image obtained by dividing the monitoring image.
  • the fire detector includes a first multilayer neural network that detects a fire flame by inputting a block image, and a second multilayer neural network that detects a fire smoke by inputting a block image, Further, the input image is divided into a plurality of block images as learning images, and each block image has a flame learning block image, a smoke learning block image, and a normal learning block image according to the presence / absence of flame and smoke and the proportion of the flame and smoke.
  • a learning image generation unit that is classified into non-learning block images and stored in a learning image storage unit, and a disaster learning block image and a normal learning block image stored in the learning image storage unit are input to the first multilayer neural network
  • the smoke learning block image and the normal learning block image stored in the learning image storage unit are stored in the second multilayer neural network. Since a learning control unit is provided for learning by inputting to a learning block, a learning block image for flame and a learning block image for smoke are generated and input to different first and second multilayer neural networks for learning.
  • the first neural network detects the presence or absence of flame in the block image with high accuracy in response to the input of the block image obtained by dividing the monitoring image, and the second multilayer neural network detects smoke in the block image with high accuracy.
  • Explanatory drawing showing the outline of a fire monitoring system that monitors fire with a surveillance camera
  • Explanatory diagram showing the functional configuration of a learning image generation device that generates a learning block image from a fire image captured by a monitoring camera and a determination device that uses a multilayer neural network that estimates a fire from a block image of a monitoring area
  • Explanatory drawing showing the functional configuration of the multilayer neural network shown in FIG.
  • Explanatory diagram showing block division of learning image captured by fire experiment in monitoring area and classification of flame, smoke, normal, non-learning of block image
  • Explanatory drawing which showed the block division of the learning image imaged by the fire experiment of the monitoring area
  • FIG. 1 is an explanatory diagram showing an outline of a fire monitoring system for monitoring a fire with a monitoring camera.
  • monitoring cameras 16-1 and 16-2 functioning as imaging means are installed in monitoring areas 15-1 and 15-2 of facilities such as buildings, respectively.
  • a moving image is photographed by 16-1, and a moving image is photographed by the monitoring camera 16-2 in the monitoring area 15-2.
  • the monitoring areas 15-1 and 15-2 are described as the monitoring area 15 when there is no need for distinction, and the monitoring cameras 16-1 and 16-2 are described as the monitoring camera 16 when there is no need for distinction.
  • the surveillance camera 16 takes an RGB color image at, for example, 30 frames / second and outputs it as a moving image.
  • one frame has a pixel arrangement of, for example, vertical and horizontal 3840 ⁇ 2160 pixels.
  • on-off type fire detectors 18-1 and 18-2 are installed in the monitoring areas 15-1 and 15-2, respectively, and the temperature or smoke density due to the fire is detected and a predetermined threshold level is exceeded. In this case, a fire alarm signal is output.
  • the fire detectors 18-1 and 18-2 are described as the fire detector 18 when there is no need to distinguish them.
  • the disaster prevention monitoring center of the facility, the manager's room, etc. correspond to the monitoring cameras 16-1 and 16-2 and generate the learning images 10-1 and 10-2.
  • Apparatuses 12-1 and 12-2 are installed, and a fire receiver 14 of a fire alarm facility is installed.
  • the determination devices 10-1 and 10-2 are described as the determination device 10 when there is no need for distinction, and the learning image generation devices 12-1 and 12-2 are described as the learning image generation device 12 when there is no need for distinction. To do.
  • a monitoring camera 16-1 installed in the monitoring area 15-1 is connected to the determination apparatus 10-1 via a signal cable 20-1, and a monitoring camera 16 installed in the monitoring area 15-2 is connected to the determination apparatus 10-2.
  • -2 are connected by a signal cable 20-2, and moving image images captured by the monitoring cameras 16-1 and 16-2 are input thereto.
  • the sensor line 22 is drawn out to the monitoring areas 15-1 and 15-2, and the fire detectors 18-1 and 18-2 are connected to the sensor line 22 unit. , 18-2 receive the fire alarm signal for each sensor line 22 and output a fire alarm.
  • the determination device 10 includes a multi-layer neural network, inputs a moving image sent from the monitoring camera 16 in units of frames, and divides the monitoring image to be the input frame image into block images of 135 blocks of 9 ⁇ 15 vertical and horizontal, for example. Then, each block image is input to the multilayer neural network to detect whether it is a fire block image or a normal block image for each block image, and the presence or absence of a fire is determined based on the time-series distribution change of the fire detection block image, When a fire is determined, a fire determination signal is output to the fire receiver 14, for example, a fire warning alarm indicating a fire warning is output.
  • the learning image generation device 12 inputs a fire image of the monitoring area 15 as a learning image and divides the image into 135 block images of 9 ⁇ 15 vertical and horizontal, for example, and each block image is subjected to the presence or absence of flame or smoke, Depending on the proportion of smoke, it is classified and stored as a flame learning block image, a smoke learning block image, a normal learning block image, or a non-learning block image.
  • the flame learning block image and the smoke learning block image are included in the fire learning block image.
  • the flame learning block image, the smoke learning block image, and the normal learning block image stored in the learning image generation device 12 are read by the learning control unit provided in the determination device 10 and input to the multilayer neural network of the determination device 10. And learn from deep learning.
  • FIG. 2 is an explanatory diagram showing a functional configuration of a learning image generation device that generates a learning block image from an image at the time of a fire captured by a monitoring camera and a determination device that uses a multilayer neural network that estimates a fire.
  • the determination apparatus 10 includes a fire detector 24 and a learning control unit 26, and the fire detector 24 includes an image input unit 28, a multilayer neural network 30, and a determination unit 32.
  • the functions of the fire detector 24 and the learning control unit 26 are realized by executing a program by the CPU of the computer circuit corresponding to the processing of the neural network.
  • the fire detector 24 inputs the moving area image of the monitoring area captured by the monitoring camera 16 to the image input unit 28 as a monitoring image for each frame, and the image input unit 28 converts it into a block image of 135 blocks of 9 ⁇ 15 vertical and horizontal, for example.
  • Each block image is divided and sequentially input to the multilayer neural network 30, and a flame block estimated value y1, a smoke block estimated value y2, and a normal block estimated value y3 are output.
  • the determination unit 32 compares the estimated values y1 to y3 of the block image output from the multi-layer neural network 30 with a predetermined threshold value to determine whether the block is a flame block, a smoke block, or a normal block.
  • the distribution of fire detection blocks including flame blocks and smoke blocks is obtained and stored, and changes specific to the fire, such as the distribution of fire detection blocks over time, from time-series changes in the distribution of fire detection blocks for a predetermined time. When it moves and / or expands upward as the time elapses, it is determined that there is a fire, and a fire determination signal is output to the fire receiver 14 to output a fire warning, for example.
  • the learning control unit 26 sequentially reads out the flame learning block image, the smoke learning block image, and the normal learning block image that are generated and stored in advance by the learning image generation device 12 when the system is started up, and the image input unit 28 is read.
  • a learning method such as a back-propagation method (error back propagation method).
  • the flame block estimated value y1, the smoke block estimated value y2, and the normal block estimated value y3 are ideally as follows.
  • (y1, y2, y3) (1, 0, 0)
  • In the case of smoke block (y1, y2, y3) (0, 1, 0)
  • For a normal block, (y1, y2, y3) (0, 0, 1)
  • the sum of the estimated values y1 to y3 is 1, and each takes a value between 0 and 1, so that the estimated values y1 to y3 are determined by the determination unit 32.
  • a smoke block or a normal block exceeding the threshold value is judged, and as described above, the distribution of the fire detection block including the flame block and the smoke block Is determined over a predetermined period of time, and when a time-series change in the fire detection block specific to the fire is detected, the fire is determined and a fire determination signal is output to the fire receiver 14. An alarm is output.
  • a predetermined threshold value for example, 0.5, and a flame block
  • a smoke block or a normal block exceeding the threshold value is judged, and as described above, the distribution of the fire detection block including the flame block and the smoke block Is determined over a predetermined period of time, and when a time-series change in the fire detection block specific to the fire is detected, the fire is determined and a fire determination signal is output to the fire receiver 14. An alarm is output.
  • the determination apparatus 10 when the determination apparatus 10 is provided with a monitor device and a fire is determined, an image of the monitoring area in which the fire is detected by the monitoring camera 16 is displayed on the screen, and the distribution of the fire detection blocks is also monitored. It is also possible to display the image in a superimposed manner so that the person in charge of management or the person in charge of disaster prevention who knows the fire warning from the fire receiver 14 can confirm the fire.
  • a fire determination switch is provided in the operation unit of the determination device 10 and a fire determination switch is operated when a fire is confirmed from the monitor image, a fire notification signal is generated in the same manner as when a transmitter is operated on the fire receiver 14. And a fire alarm may be output from the fire receiver 14.
  • FIG. 3 is an explanatory diagram showing a functional configuration of the multilayer neural network shown in FIG. 2, schematically showing in FIG. 3 (A) and schematically showing details in FIG. 3 (B).
  • the multilayer neural network 30 includes a feature extraction unit 58 and a recognition unit 60.
  • the feature extraction unit 58 is a convolutional neural network
  • the recognition unit 60 is a fully connected neural network.
  • the multilayer neural network 30 is a neural network that performs deep learning (deep learning), and has a deep hierarchy in which a plurality of intermediate layers are connected, and performs expression learning for feature extraction.
  • a feature extraction for estimating a fire from an image requires an artificial trial and error.
  • a convolutional neural network is used as the feature extraction unit 58. Then, the pixel value of the image is input, an optimum feature is extracted by learning, and input to the fully connected neural network of the recognition unit 60 to estimate whether it is a fire or a non-fire.
  • the fully connected neural network of the recognition unit 60 includes an input layer 66, a fully connected 68, a repetition of the intermediate layer 70 and the fully connected 68, and an output layer 72. .
  • the fully connected neural network of the recognition unit 60 performs multi-class classification that classifies the block image into three classes of flame, smoke, and normal, so that the final output layer 72 includes the target three classes and
  • the same three units are arranged, and the inputs to these units are set to output y1, y2, y3 with a sum of 1 using a softmax function, and the outputs y1, y2, y3 of each unit are It indicates the probability of belonging to a class.
  • FIG. 3B schematically shows the structure of a convolutional neural network constituting the feature extraction unit 58.
  • Convolutional neural networks are slightly different from normal neural networks and incorporate biological structures from the visual cortex.
  • the visual cortex contains a receptive field that is a collection of small cells that are sensitive to a small area of the field of view, and the behavior of the receptive field can be imitated by learning weights in the form of a matrix.
  • This matrix is called a weight filter (kernel) and becomes sensitive to similar subregions of an image, as well as the role biologically receptive fields play.
  • the convolutional neural network can express the similarity between the weight filter and the small area by the convolution operation, and can extract an appropriate feature of the image through this operation.
  • the convolution neural network first performs a convolution process using a weight filter 63 on an input image 62 input as a block image.
  • the weight filter 63 is a matrix filter with predetermined weights of 3 ⁇ 3 in the vertical and horizontal directions, and by performing a convolution operation while aligning the filter center with each pixel of the input image 62, nine pixels of the input image 62 are obtained.
  • a plurality of feature maps 64a are generated by convolving one pixel of the feature map 64a, which is a small area.
  • the pooling calculation is a process of removing feature quantities unnecessary for identification and extracting feature quantities necessary for identification.
  • the convolution operation and the pooling operation using the weight filters 65a and 65b are repeated in multiple stages to obtain the feature maps 64b and 64c.
  • the feature map 64c of the last layer is input to the recognition unit 60, and the normal full combination It is estimated whether the fire or non-fire by the recognition unit 60 using a neural network.
  • pooling calculation in the convolutional neural network does not perform the pooling calculation because the unnecessary feature quantity is not always clear and the necessary feature quantity may be deleted. You may do it.
  • a neural network composed of an input layer, a plurality of intermediate layers, and an output layer is provided with a plurality of units in each layer and combined with a plurality of units in other layers, and a weight and a bias value are selected for each unit.
  • the vector product of the input value and the weight is calculated and the bias value is added to find the sum, which is output to the next layer unit through a predetermined activation function, and reaches the final layer Forward propagation in which the value is propagated is performed.
  • back propagation a learning algorithm known as back propagation.
  • backpropagation supervised learning when a data set of an input value x and an expected output value (expected value) y is given to the network, and unsupervised learning when only the input value x is given to the network.
  • supervised learning is performed.
  • a function of the mean square error is used as an error for comparing the estimated value y * and the expected value y as a result of forward propagation through the network. To do.
  • the value is propagated from the back to the front of the network while correcting the weight and bias using the magnitude of the error between the estimated value y * and the expected value y.
  • the amount corrected for each weight and bias is treated as a contribution to the error, calculated by the steepest descent method, and minimizing the error function value by changing the weight and bias values.
  • the learning procedure by backpropagation for the neural network is as follows. (1) An input value x is input to a neural network and forward propagation is performed to obtain an estimated value y *. (2) Calculate an error with an error function based on the estimated value y * and the expected value y. (3) Back propagation is performed on the network while updating the weight and bias.
  • This procedure is repeated using different combinations of the input value x and the expected value y until the error of the neural network weight and bias is minimized as much as possible to minimize the value of the error function.
  • expected value (y1, y2, y3) (1, 0, 0) of the flame learning block image
  • Expected value of smoke learning block image (y1, y2, y3) (0, 1, 0)
  • Expected value of normal learning block image (y1, y2, y3) (0, 0, 1)
  • the magnitude of error between the estimated value y * and the input value x is used to propagate the value while correcting the weight and bias from the back to the front of the network.
  • the amount corrected for each weight and bias is treated as a contribution to the error, calculated by the steepest descent method, and the value of the error function is minimized by changing the value of the weight and the bias.
  • the learning image generation device 12 includes a learning image generation control unit 34, a recording unit 36, a fire image storage unit 38, a block image storage unit 40, a learning image storage unit 42, an operation unit 44, and a monitor unit 46.
  • the function of the learning image generation control unit 34 is realized by executing a program by the CPU of the computer circuit.
  • the recording unit 36, the fire image storage unit 38, the block image storage unit 40, and the learning image storage unit 42 are divided for each function, but a single storage unit is used as hardware.
  • a fire video obtained by capturing the fire experiment performed in the monitoring area 15 with the monitoring camera 16 is recorded.
  • the surveillance camera 16 takes an RGB color image at, for example, 30 frames / second and outputs it as a moving image, which is recorded in the recording unit 36 as a fire moving image.
  • one frame of the fire video recorded in the recording unit 36 has a pixel arrangement of 2160 ⁇ 3840 pixels in the vertical and horizontal directions.
  • the learning image generation control unit 34 reads out a fire image as a learning image from the recording unit 36 in units of frames. For example, in the case of a 4K image, 135 ⁇ 9 ⁇ 15 The block image is divided into block images, stored in the block image storage unit 40, and displayed on the monitor unit 46.
  • FIG. 4 is an explanatory diagram showing block division of a learning image captured by a fire experiment or the like in a monitoring area and classification of flame, smoke, normal, and non-learning of the block image.
  • the monitor unit 46 displays a fire image 48-1 read from the recording unit 36 and divided into blocks.
  • the fire image 48-1 is divided into 6 ⁇ 7 42 block images.
  • the fire image 48-1 is an image at the initial stage of fire in which, for example, square wood is stacked on the combusted material 50 and ignited as a combusted material, the flame 52 rises slightly after ignition, and the smoke 54 rises thereon.
  • the classification of the block image as the normal learning block image N, the smoke learning block image S, the flame learning block image F, or the non-learning block image NG is performed by the operator. Perform by visual judgment.
  • the divided block image is input to the multilayer neural network, and according to the result, the fire detection block is used as a fire learning block image, the flame detection block is used as a flame learning block image, and the smoke detection block is used as a smoke learning block.
  • a normal learning block a block that does not detect a fire is displayed on the monitor unit 46 by changing the frame color of the block in accordance with each classification so that it is superimposed on the image, and the result is edited manually.
  • the normal learning block image N is a block having no flame or smoke
  • the smoke learning block image S is a block in which smoke can be visually observed and occupies the majority
  • the flame learning block image F is a block in which the flame occupies most.
  • the non-learning block image NG is almost a normal block although there are smoke and flames that are difficult to see.
  • FIG. 4B is a block classification image 56-1 in the fire image 48-1 of FIG. 4A, and a block with the combustion product 50 becomes a flame learning block image F, which is 7 immediately above and obliquely in the upper right direction.
  • One block is a smoke learning block image S, three blocks in the upper right corner are non-learning block images NG, and the other blocks are normal learning block images N.
  • block classification image 56-1 shown in FIG. 4B has, for example, block addresses (binary addresses) A11 to A67 identified by row numbers 1 to 6 and column numbers 1 to 7 with the upper left corner as an initial position.
  • block addresses binary addresses
  • the smoke learning block image S, the flame learning block image F, or the non-learning block image NG is stored in a data format storing the identification information.
  • FIG. 5 is an explanatory diagram showing the block division of the learning image captured by the fire experiment in the monitoring area after the passage of time and the classification of flame, smoke, normal and non-learning of the block image with respect to FIG.
  • FIG. 5B is a block classification image 56-2 in the fire image 48-2 of FIG. 5A, and two blocks with the combustion product 50 become flame learning block images F, and two blocks immediately above them.
  • FIG. 4 (A) and 5 (A) are examples of a fire image.
  • the flame is burned up as shown in FIG. 5 (A) through FIG. 4 (A) after the ignition of the combustion substance. Since an expanding fire video is recorded, for example, if a 5-minute recording from ignition is read out in units of frames, 9000 fire images are obtained, each divided into a block image of 42 blocks of 6 x 7 vertical and horizontal. As a result, the maximum number of normal block images N, flame learning block images F, and smoke learning block images S can be generated by 378,000.
  • non-learning block images NG are present at a ratio of, for example, 10% or less, and still about 340,000 normal block images N, flame learning block images F, and smoke learning block images S Learning block images are generated, and a sufficient number of learning block images for learning of the multilayer neural network 30 of the fire detector 24 are generated.
  • smoke generated by a fire varies depending on the material of the combusted combustible material.
  • the material of the combustion material is wood, cloth, paper or the like, white smoke is often obtained, and when the material of the combustion material is synthetic resin or oil, black smoke is often obtained.
  • a fire experiment in which the material of the combustion material is changed is captured and recorded by the monitoring camera 16, and the recorded image is read out and divided into blocks to obtain a normal learning block image N and smoke learning.
  • the block image S, the flame learning block image F, or the non-learning block image NG is classified, and the normal learning block image N, the smoke learning block image S, and the flame learning block image F differ depending on the material of the combustion product.
  • the multi-layer neural network 30 of the fire detector 24 is trained.
  • the classification of the block image obtained by dividing the fire image may be classified by automatically determining the sum of the luminance of the pixels for each block, for example, in addition to the classification by the manual operation by the operator's visual observation. .
  • the flame learning block image and the smoke learning block image in the block image are used as learning block images.
  • the normal learning block image may be excluded from the learning target, and instead of this, a normal learning block image generated by block division of the image captured by the monitoring camera 16 in the normal monitoring state of the monitoring region 15 may be used.
  • FIG. 6 is a flowchart showing learning image generation control by the learning image generation apparatus of FIG. 2, and is control by the learning image generation control unit 34 shown in FIG.
  • the learning image generation control unit 34 captures the fire moving image captured by the monitoring camera 16 and stored in the recording unit 36 in step S1.
  • a fire image is read in frame units, divided into block images of a predetermined size in step S2, and displayed on the monitor unit 46 in step S3 as shown in FIG. 4A, for example.
  • step S4 the learning image generation control unit 34 converts the block image into a flame learning block image, a smoke learning block image, and a normal image based on a visual operation by the operator of the block image displayed on the monitor unit 46.
  • Classifying into learning block images or non-learning block images, the flame learning block image, smoke learning block image, and normal learning block image are stored in the learning image storage unit 42 in step S5.
  • the learning image generation control unit 34 determines whether or not all the fire images have been processed in step S6. If all the fire images have not been processed, the processing from step S1 is repeated, and all the fire images are processed. When it is determined that the processing has been performed, the series of processing ends, and the learning control unit 26 of the determination device 10 is notified of the completion of generation of the learning image, and learning of the multilayer neural network 30 is performed.
  • FIG. 7 is a flowchart showing the fire detection control by the determination apparatus of FIG. 2, which is the control by the fire detector 24 shown in FIG.
  • the fire detector 24 reads the monitoring image from the monitoring camera 16 into the image input unit 28 in step S11, divides it into block images of a predetermined size in step S12, and the first block image in step S13.
  • the estimated value y1, y2, y3 output from the multilayer neural network 30 is compared with a predetermined threshold by the determination unit 32, and the estimated value y1 is greater than or equal to the threshold. If the estimated value y2 is greater than or equal to the threshold value, it is determined as a smoke block. If the estimated value y3 is equal to or greater than the threshold value, it is determined as a normal block, and a flame block or smoke block is determined as a fire. It is determined that the block is a detection block, and the determination result is stored in step S14.
  • step S15 the fire detector 24 determines whether or not all block images have been input. If it is determined that no input has been made, the process from step S13 is repeated to determine whether all block images have been input. Proceeds to step S16, and if there is at least one fire detection block including a flame block or a smoke block, the process proceeds to step S17, where the distribution of the fire detection block is stored, and the monitor unit 46 superimposes the fire detection block on the current monitoring image. Display the distribution of.
  • FIG. 8 is an explanatory diagram showing an example of a monitor screen in which the distribution of the fire detection blocks is displayed over the monitoring image.
  • FIG. 8A is an example of the fire image 48-1 shown in FIG.
  • FIG. 8B is an example of the fire image 48-2 shown in FIG.
  • a flame detection block indicated by a solid line frame and a dotted line frame are superimposed on the fire image of the monitoring area as a fire detection block.
  • the smoke detection block indicated by is displayed.
  • FIG. 8 shows the flame detection block and the smoke detection block separately, they may be displayed as the same fire detection block.
  • the flame detection block and the smoke detection block or the fire detection block are distinguished by the line type of the frame.
  • the present invention is not limited to this, and the flame detection block may be distinguished by the color of the frame. You can also distinguish them by painting with.
  • the block frame and block color may be flickered.
  • step S18 the fire detector 24 determines that the predetermined time has elapsed in step S18, it returns to step S11, reads the next monitoring image, and repeats the processing of steps S12 to S17. Store the distribution of fire detection blocks that change over time.
  • step S18 determines that the predetermined time has elapsed in step S18
  • the fire detector 24 proceeds to step S19, determines the distribution of the fire detection blocks that change in time series stored by the processing of steps S11 to S17, and fires in step S20.
  • step S21 determines a fire, and a fire determination signal is output to the fire receiver 14, for example, a fire sign. An alarm is output.
  • FIG. 9 is a block diagram showing a functional configuration of a determination apparatus provided with a multilayer neural network for flame detection and smoke detection together with a learning image generation apparatus.
  • the fire detector 24 is provided with a single multilayer neural network 30, and both the flame learning block image and the smoke learning block image generated by the learning image generation device 12 are displayed.
  • a fire learning block image it is input to a single multi-layer neural network 30 for learning. For this reason, an estimated value of fire by inputting a block image in which most flames are input and a block image in which smoke is most input are input.
  • the estimated values of fire will differ, and there is a possibility that the estimation accuracy of fire with less learning number will be lowered.
  • the determination apparatus 10 of FIG. 9 in order to detect a fire flame by inputting a block image to the fire detector 24, the image input unit 28-1, the first multilayer neural network 30-1, A determination unit 32-1 is provided, and an image input unit 28-2, a second multilayer neural network 30-2, and a determination unit 32-2 are provided to detect fire smoke by inputting a block image. Yes.
  • the learning image generation device 12 is the same as that in the embodiment of FIG. 2, and divides the fire image read from the recording unit 36 into block images of a predetermined size, and each block image has flames and smoke, and flames and smoke occupy. Depending on the ratio, they are classified into flame learning block images, smoke learning block images, normal learning block images, or non-learning block images and stored.
  • the learning control unit 26 of the determination device 10 reads the flame learning block image and the normal learning block image stored in the learning image storage unit 42 of the learning image generation device 12, and the first multi-layer via the image input unit 28-1. Input into the neural network 30-1 for learning. For this reason, the first multilayer neural network 30-1 outputs an estimated value of the flame in response to the input of the block image obtained by dividing the monitoring image.
  • the learning control unit 26 of the determination device 10 reads the smoke learning block image and the normal learning block image stored in the learning image storage unit 42 of the learning image generation device 12, and performs the second operation via the image input unit 28-2.
  • the second multilayer neural network 30-2 outputs an estimated value of smoke in response to the input of the block image obtained by dividing the monitoring image.
  • the first multilayer neural network detects the presence or absence of flame in the block image with high accuracy with respect to the input of the block image obtained by dividing the monitoring image
  • the second multilayer neural network detects smoke in the block image with high accuracy. It is possible to determine a fire with higher accuracy by detecting the above and combining them.
  • the determination units 32-1 and 32-2 determine the fire flame and the fire smoke by comparing the estimated value of the flame and the estimated value of the smoke with a predetermined threshold, and further, the distribution of the flame detection blocks By determining a time-series change peculiar to the fire in the distribution of the smoke detection block, the fire is determined with high accuracy and a fire determination signal is output to the fire receiver 14.
  • the fire detector 24 superimposes the distribution of the flame detection blocks and smoke detection blocks obtained as the detection results of the first and second multilayer neural networks 30-1 and 30-2 on the monitoring image of the monitor unit. By displaying it, it becomes easier to visually check the status of flames and smoke due to the fire linked with the monitoring image, and appropriate countermeasures for initial fire extinguishing and evacuation guidance are possible.
  • the fire learning block image, normal learning block image, and non-learning block image that are the above embodiments may be independent items.
  • it can be a fire learning block image and a fire boundary learning block image.
  • the multi-layer neural network that detects the fire boundary uses the same neural network as the multi-layer neural network that detects the fire, and learns so that the output terms are the fire detection term and the fire boundary detection term. good. At this time, for the non-learning image, learning based on the fire detection term is not performed, and only the fire boundary detection term is learned.
  • the fire detector determines whether the adjacent block is a fire boundary block.
  • a block adjacent to the fire block is considered to be a block having a fire boundary, and may have a block image that becomes a non-fire learning block at the time of learning. Even if it is difficult to determine whether this is a fire block, it is determined whether it is a fire detection block or a fire detection block at the time of monitoring. It can be determined whether there is a fire boundary, and more accurate determination and display of the magnitude and movement of the fire can be performed.
  • the fire alarm facility and the monitoring system when linked, it may be displayed on the display unit such as the display unit of the fire receiver or the monitor of the monitoring facility which system has detected the fire.
  • the supervisor can distinguish between a sensor alarm and a fire alarm based on video surveillance.
  • the above embodiment takes fire monitoring in an indoor warning area as an example, but in addition to this, a fire detector configured by a multilayer neural network is provided for arson monitoring performed by installing a surveillance camera outdoors, The fire detector may be learned from deep learning, and an image captured by a monitoring camera may be input to monitor the fire.
  • a trigger is applied when a human detection means such as a human sensor or a surveillance camera detects a person entering the area, and the trigger is released when the person leaves.
  • a human detection means such as a human sensor or a surveillance camera detects a person entering the area
  • the trigger is released when the person leaves.
  • a fire block is detected while the trigger is applied, a person who has entered the area is estimated as a person who performs the fire, and a video can be read out while the person is in the area.
  • Non-fire learning In the above-described embodiment, learning is performed using an image at the time of fire, but non-fire learning may be performed using an image at the time of non-fire.
  • an image of a block detected as a fire block is stored in the learning image storage unit as a non-fire learning block image.
  • non-fire judgment term as an output term separate from the fire block and normal block. This is because if a non-fire block is not a fire and set as a normal block, the non-fire block image has characteristics close to that of the fire block, which may adversely affect the determination accuracy of normal blocks and fire blocks that are not non-fire blocks. It is.
  • the fire block or the fire block is binarized, but the likelihood of fire may be used to determine the fire in the monitoring area and display the distribution.
  • the likelihood of fire an estimated value output by a multilayer neural network is used for each block.
  • the estimated value and the likelihood may be the same, or the estimated value may be divided for each specific value to correspond to the likelihood.
  • the likelihood may be affected by the adjacent block, for example, the likelihood is changed by an average value of the likelihood of the adjacent block.
  • the determination device notifies the determination result of the presence or absence of a fire, but in addition to this, a factor determined to be a fire may be displayed. For example, in monitoring a camera image, an image determined to be a fire is displayed, and a block having a higher contribution rate of the fire determination (a block having a higher estimated fire value) is highlighted. This makes it easy to visually check the block area that the fire detector has determined to be a fire, makes it possible to easily determine whether a fire has actually occurred, and helps to determine the response according to the situation. it can.
  • an image is input to a convolutional neural network and features due to fire are extracted.
  • preprocessing is performed to extract features such as contour and shading from the input image without using the convolutional neural network.
  • a predetermined feature may be extracted, and an image from which the feature has been extracted may be input to a fully connected neural network that functions as a recognition unit to estimate a fire.
  • the processing load for image feature extraction can be reduced.
  • the convolutional neural network is preferable because learning is faster than the fully connected neural network, but a fully connected neural network may be used.
  • the monitoring area is imaged in a state where the monitoring area is illuminated by the monitoring camera and / or in a natural light state.
  • the infrared light from the infrared illumination device is irradiated to the monitoring area, and the sensitivity to the infrared area is detected.
  • An infrared image is captured by a monitoring camera with a learning image, a learning block image is generated by a learning image generation device, the multi-layer neural network of the determination device is learned by back-propagation, and the monitoring region is added to the learned multi-layer neural network.
  • a fire may be determined by inputting a block image obtained by dividing an infrared image.

Abstract

画像全体の占める火災による特徴部分が狭い範囲に限られても、多層式のニューラルネットワークを効率よく学習させて火災の検出精度を向上可能とする。監視カメラ（１６）により撮像された監視領域の監視画像を複数ブロック画像に分割し、ブロック画像を多層式ニューラルネットワーク（３０）によって構成される火災検出器（２４）に入力して火災を検出する。学習画像生成装置（１２）は、監視領域の火災が撮像された学習画像を複数のブロック画像に分割すると共に、各ブロック画像の炎や煙の有無及び炎や煙の占める割合に応じて火災学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して記憶させ、学習制御部（２６）は、学習画像生成装置（１２）に記憶された火災学習ブロック画像及び正常学習ブロック画像を火災検出器（２４）に入力して多層ニューラルネットワーク（３０）をディープラーニングにより学習させる。

Description

火災監視システム
　本発明は、監視カメラで撮像した監視領域の画像からニューラルネットワークにより火災を判断して警報させる火災監視システムに関する。
　従来、煙感知器や熱感知器など、特定の物理量を監視するセンサを用いて、火災を検出するシステムが実用化されている。
　一方、従来、監視カメラで撮像した監視領域の画像に対し画像処理を施すことにより、火災を検知するようにした様々な装置やシステムが提案されている。
　このような火災監視システムにあっては、火災発生に対する初期消火や避難誘導の観点から火災の早期発見が重要である。
　このため従来装置（特許文献１）にあっては、画像から火災に伴う煙により起きる現象として、透過率又はコントラストの低下、輝度値の特定値への収束、輝度分布範囲が狭まって輝度の分散の低下、煙による輝度の平均値の変化、エッジの総和量の低下、低周波帯域の強度増加を導出し、これらを総合的に判断して煙の検出を可能としている。
特開２００８－０４６９１６号公報 特開平７－２４５７５７号公報 特開２０１０－２３８０２８号公報 特開平６－３２５２７０号公報
　しかしながら、特定の物理量を監視するセンサを用いた火災検出システムは、火災でない事象により監視基準が満たされた場合でも火災とみなし、正しく火災を検出できない問題があった。
　また、従来の火災に伴う煙の画像から火災を検知する火災監視システムにあっては、煙の画像における透過率、コントラスト、エッジ等の煙の特徴量を予め定め、監視カメラで撮像した画像を処理することで煙による特徴を生成しなければならず、火災による煙の発生状況は多種多様であり、その中に煙としてどのような特徴があるかを見出すことは極めて困難であり、決め手となる特徴がなかなか見いだせないため、監視画像から火災による煙を精度良く判断して火災警報を出力する火災監視システムは実用化の途上にある。
　一方、近年にあっては、例えば多数の猫と犬の画像にラベル付けをし、それを畳み込みニューラルネットワークを備えた多層式のニューラルネットワークに学習させ、所謂ディープラーニングを行い、新たな画像を学習済みの多層式のニューラルネットワークに提示し、それが猫なのか犬なのかを判定する技術が開示されている。
　また、ディープラーニングは画像解析のみにとどまらず、自然言語処理や行動解析等に用いることが検討されている。
　このような多層式のニューラルネットワークを、監視カメラで撮像した監視領域の画像を入力して火災を判断する判定装置に設け、学習時においては多数の火災時及び非火災時の画像を準備して多層式のニューラルネットワークに学習させ、監視時においては監視カメラで撮像した監視領域の画像を学習済みの多層式のニューラルネットワークに入力すれば、その出力から火災か否かを高い精度で推定して警報を出力させる火災監視システムが構築可能となる。
　この場合、火災監視システムの製造段階で予め準備された多数の火災時及び非火災時の画像を教師ありの学習画像として多層式のニューラルネットワークの学習を行い、学習の済んだ多層式のニューラルネットワークを備えた判定装置を、監視する施設に設置し、監視領域に設置している監視カメラで撮像した画像を判定装置に入力して火災を監視することになる。
　しかしながら、監視カメラで撮像された監視領域の画像の中で火災による炎や煙といった火災による特徴的な部分は狭い範囲に限られ、画像全体で多層式のニューラルネットワークを学習し、学習後に監視領域の画像を入力しても火災による特徴部分が狭い範囲に限られるため、火災の判定精度が低下する問題がある。
　本発明は、画像全体に占める火災による特徴部分が狭い範囲に限られても、多層式のニューラルネットワークを効率良く学習させて火災の検出精度を向上可能とする火災監視システム及び火災監視方法を提供することを目的とする。
（火災監視システム）
　本発明は、火災監視システムに於いて、撮像部により撮像された監視領域の監視画像を複数のブロック画像に分割し、ブロック画像を多層式ニューラルネットワークによって構成される火災検出器に入力して火災を検出することを特徴とする。
　（ブロック画像による学習）
　火災監視システムは、更に、
　入力画像を学習画像として複数のブロック画像に分割すると共に、火災学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、
　学習画像記憶部に記憶された火災学習ブロック画像及び正常学習ブロック画像を火災検出器に入力して多層式ニューラルネットワークを学習させる学習制御部と、
が設けられる。
　（ブロック画像の推定による学習）
　多層式ニューラルネットワークに分割されたブロック画像を入力し、ブロック画像の種類を判定させ、当該判定結果を用いてブロック画像を分類して学習画像記憶部に記憶させる。
　（火災検出ブロックの時系列変化による火災判定）
　火災検出器は、火災が検出されたブロック画像の分布が時間の経過に伴い上方に移動及び又は拡大した場合に火災と判定する。
　（火災検出ブロックの塊による火災判定）
　火災検出器は、火災が検出されたブロック画像の集合の状態に基づき火災を判定する。
　（火災が検出されたブロック画像の分布表示）
　火災検出器は、火災が検出されたブロック画像の分布をモニタ部に画面表示させる。
　（煙ブロックと炎ブロックの検出）
　火災検出器は、ブロック画像を入力して火災の炎を検出する第１の多層式ニューラルネットワークと、ブロック画像を入力して火災の煙を検出する第２の多層式ニューラルネットワークを備え、更に、入力画像を学習画像として複数のブロック画像に分割すると共に、各ブロック画像に炎や煙の有無及び炎や煙の占める割合に応じて炎学習ブロック画像、煙学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、学習画像記憶部に記憶された災学習ブロック画像及び正常学習ブロック画像を第１の多層式ニューラルネットワークに入力して学習させ、学習画像記憶部に記憶された煙学習ブロック画像及び正常学習ブロック画像を第２の多層式ニューラルネットワークに入力して学習させる学習制御部と、が設けられる。
　（炎と煙が検出されたブロック画像の分布表示）
　火災検出器は、炎と煙が検出されたブロック画像の分布をモニタ部に画面表示させる。
（基本的な効果）
　本発明は、火災監視システムに於いて、撮像部により撮像された監視領域の監視画像を複数のブロック画像に分割し、前記ブロック画像を多層式ニューラルネットワークによって構成される火災検出器に入力して火災を検出するようにしたため、監視領域の画像全体に占める火災による炎や煙等の特徴的な部分が狭い範囲に限られても、監視画像を複数のブロック画像に分割することで、ブロック画像の画像全体に占める火災による特徴部分が広い範囲となり、ブロック画像を多層式ニューラルネットワークに入力した場合に、ブロック画像から高い精度で火災を推定して警報可能とする。
　（ブロック画像による学習による効果）
　火災監視システムは、更に、入力画像を学習画像として複数のブロック画像に分割すると共に、各ブロック画像に炎や煙の有無及び炎や煙の占める割合に応じて火災学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、学習画像記憶部に記憶された火災学習ブロック画像及び正常学習ブロック画像を火災検出器に入力して多層式ニューラルネットワークを学習させる学習制御部とが設けられたため、例えば火災実験等により監視カメラで撮像された火災時の画像を学習画像として複数のブロック画像に分割し、炎や煙が全くないブロック画像は正常ブロック画像とし、炎や煙が目視されて大半を占めるブロック画像は火災ブロック画像とし、目視が難しい煙や炎があるが全体的には正常なブロック画像は非学習ブロック画像とする分類を行って記憶し、記憶された火災ブロック画像及び正常ブロック画像を火災検出器の多層式ニューラルネットワークに入力して学習させることで、学習ブロック画像の全体に占める火災による特徴部分を広い範囲とすることができ、監視領域の画像をブロック画像に分割して入力した場合に、高い精度で火災を検出可能とし、また、非火災要因に対する誤検出を防止し、結果的に火災の検出精度を向上させることを可能とする。
　（炎学習ブロック画像と煙学習ブロック画像による効果）
　また、火災学習ブロック画像は、火災による炎が占める割合が所定割合以上の炎学習ブロック画像と、火災による煙が占める割合が所定割合以上の煙学習ブロック画像を含むようにしたため、火災学習画像から分割されたブロック画像につき、火災の特徴的部分となる炎や煙が確実に目視されるブロック画像を火災学習画像に分類することができ、火災の特徴的部分をもつブロック画像により多層式ニューラルネットワークの火災の推定精度を高める学習を可能とする。
　（ブロック画像の推定による学習の効果）
　また、多層式ニューラルネットワークに分割されたブロック画像を入力し、ブロック画像の種類を判定させ、当該判定結果を用いてブロック画像を分類して学習画像記憶部に記憶させるようにしたため、例えば分割されたブロック画像ごとに手動でブロック画像の種類を設定するような場合に設定者は確認行為を行うだけで設定可能となる。
　また、ブロック分布が入力画像と重ね合わされて出力され、設定者は非学習のブロックの設定や、ブロック画像の検出結果の修正を行うだけでブロック画像の種類を設定することが可能となり、作業性を向上させることができる。また、現時点における多層ニューラルネットワークの判定精度を確認することが可能となる。また、多層ニューラルネットワークの判定精度の向上に従い作業性は向上する。
　（火災検出ブロックの時系列変化による火災判定による効果）
　また、火災検出器は、火災が検出されたブロック画像の分布が時間の経過に伴い上方に移動及び又は拡大した場合に火災と判定するようにしたため、多層式ニューラルネットワークによるブロック画像の火災判定に加え、火災が検出されたブロック画像の時系列的な分布の変化から火災に特有な炎や煙の時間的な動きを捉えることで、火災の判定精度を更に向上可能とする。また、多層式ニューラルネットワークによりブロック画像の火災が判定されても、これが調理に伴う炎や煙等の非火災要因による場合は、時間が経過しても火災が検出されたブロック画像の分布が大きく拡大することなく、ある範囲にとどまっており、非火災要因による誤報を確実に防止可能とする。
　（火災検出ブロックの時系列変化による火災判定）
火災が検出されたブロック画像の時系列的な分布の変化から火災に特有な炎や煙の時間的な動きを捉えることで、火災の判定精度を更に向上可能とする。また、多層式ニューラルネットワークによりブロック画像の火災が判定されても、これが調理に伴う炎や煙等の非火災要因による場合は、時間が経過しても火災が検出されたブロック画像の分布が大きく拡大することなく、ある範囲にとどまっており、非火災要因による誤報を確実に防止可能とする。
　（火災検出ブロックの塊による火災判定）
　火災検出器は、火災が検出されたブロック画像の集合の状態に基づき火災を判定するようにしたため、多層式ニューラルネットワークによるブロック画像の火災判定に加え、火災に特有な炎や煙の成長状態を捉えることで、火災の判定精度を更に向上可能とする。
　また、多層式ニューラルネットワークによりブロック画像の火災が判定されても、これが照明等による誤検出の場合は、時間が経過しても火災が検出されたブロック画像の塊が大きく拡大することなく、ある範囲にとどまっており、非火災要因による誤報を確実に防止可能とする。
　（火災が検出されたブロック画像の分布表示による効果）
　また、火災検出器は、火災が検出されたブロック画像の分布をモニタ部に画面表示させるようにしたため、監視画像を分割したブロック画像につき、火災と正常のブロック画像の分布が例えば防災センターのモニタ画面に表示されることで、監視画像と連携した火災による炎や煙の状況を目視により確認可能とし、初期消火や避難誘導等の適切な対処を可能とする。
　また、火災と正常のブロック分布が例えば防災センターのモニタ画面に表示された監視画像に重ねて表示させることで、監視画像と連携した火災状況の目視による確認を更に行い易くできる。
　特に、監視領域の火点が物陰に隠れているような場合、ブロック画像の分布表示を行わないと煙だけしか確認するものがなく、煙を見落とすことにより誤報と勘違いしてしまう可能性がある。ブロック画像の分布表示を行うことで、煙の状況を確実に確認することができ、さらにブロックを辿ることで煙が物陰から発生していることを想起でき、火災状況を認識しやすくなる。
　（煙ブロックと炎ブロックの検出による効果）
　また、火災検出器は、ブロック画像を入力して火災の炎を検出する第１の多層式ニューラルネットワークと、ブロック画像を入力して火災の煙を検出する第２の多層式ニューラルネットワークを備え、更に、入力画像を学習画像として複数のブロック画像に分割すると共に、各ブロック画像に炎や煙の有無及び炎や煙の占める割合に応じて炎学習ブロック画像、煙学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、学習画像記憶部に記憶された災学習ブロック画像及び正常学習ブロック画像を第１の多層式ニューラルネットワークに入力して学習させ、学習画像記憶部に記憶された煙学習ブロック画像及び正常学習ブロック画像を第２の多層式ニューラルネットワークに入力して学習させる学習制御部が設けられたため、炎の学習ブロック画像と煙の学習ブロック画像を生成して、それぞれ異なる第１と第２の多層式ニューラルネットワークに入力して学習させることで、監視画像を分割したブロック画像の入力に対し第１のニューラルネットワークはブロック画像の炎の有無を高い精度で検出し、第２の多層式ニューラルネットワークはブロック画像の煙を高い精度で検出し、両者を組み合わせることで、より精度の高い火災判定を可能とする。
　（炎と煙が検出されたブロック画像の分布表示の効果）
　また、火災検出器は、災と煙が検出されたブロック画像の分布をモニタ部に画面表示させるようにしたため、炎、煙及び正常のブロック分布が例えば防災センターのモニタ画面に表示された監視画像に重ねて表示されることで、監視画像と連携した火災による炎や煙の状況の目視による確認を更に行い易くできる。
監視カメラにより火災を監視する火災監視システムの概略を示した説明図 監視カメラで撮像した火災時の画像から学習ブロック画像を生成する学習画像生成装置と監視領域のブロック画像から火災を推定する多層式ニューラルネットワークを用いた判定装置の機能構成を示した説明図 図２に示した多層式ニューラルネットワークの機能構成を示した説明図 監視領域の火災実験により撮像された学習画像のブロック分割とブロック画像の炎、煙、正常、非学習の分類を示した説明図 図４に対し時間が経過した後の監視領域の火災実験により撮像された学習画像のブロック分割とブロック画像の炎、煙、正常、非学習の分類を示した説明図 図２の学習画像生成装置による学習画像生成制御を示したフローチャート 図２の判定装置による火災検出制御を示したフローチャート 監視画像に重ねて火災検出ブロックの分布を表示させたモニタ画面の一例を示した説明図 炎検出用と煙検出用の多層式ニューラルネットワークを設けた判定装置の機能構成を学習画像生成装置と共に示したブロック図
［火災監視システムの概要］
　図１は監視カメラにより火災を監視する火災監視システムの概略を示した説明図である。
　図１に示すように、ビル等の施設の監視領域１５－１、１５－２にはそれぞれ撮像手段として機能する監視カメラ１６－１、１６－２が設置され、監視領域１５－１を監視カメラ１６－１により動画撮影し、監視領域１５－２を監視カメラ１６－２により動画撮像している。
　監視領域１５－１、１５－２は特に区別の必要がないときは監視領域１５として、監視カメラ１６－１、１６－２は特に区別の必要がないときは監視カメラ１６として記述する。
　監視カメラ１６はＲＧＢのカラー画像を例えば３０フレーム／秒で撮像して動画として出力する。また、１フレームは例えば縦横３８４０×２１６０ピクセルの画素配置となる。
　また、監視領域１５－１、１５－２にはそれぞれオンオフ型の火災感知器１８－１、１８－２が設置されており、火災による温度又は煙濃度を検出し、所定の閾値レベルを超えた場合に発報し、火災発報信号を出力するようにしている。火災感知器１８－１、１８－２は特に区別の必要がないときは火災感知器１８として記述する。
　監視領域１５－１，１５－２に対し施設の防災監視センターや管理人室等には、監視カメラ１６－１，１６－２に対応して判定装置１０－１，１０－２と学習画像生成装置１２－１，１２－２が設置され、更に、火災報知設備の火災受信機１４が設置されている。
　判定装置１０－１、１０－２は特に区別の必要がないときは判定装置１０として、学習画像生成装置１２－１，１２－２は特に区別の必要がないときは学習画像生成装置１２として記述する。
　判定装置１０－１には監視領域１５－１に設置された監視カメラ１６－１が信号ケーブル２０－１により接続され、判定装置１０－２には監視領域１５－２に設置された監視カメラ１６－２が信号ケーブル２０－２により接続され、それぞれ監視カメラ１６－１，１６－２で撮像された動画画像を入力している。
　火災受信機１４からは監視領域１５－１,１５－２に感知器回線２２が引き出され、感知器回線２２単位に火災感知器１８－１，１８－２が接続され、火災感知器１８－１，１８－２からの火災発報信号を感知器回線２２単位に受信して火災警報を出力している。
　判定装置１０は多層式ニューラルネットワークを備え、監視カメラ１６から送られてきた動画画像をフレーム単位に入力し、入力したフレーム画像となる監視画像を例えば縦横９×１５の１３５ブロックのブロック画像に分割し、各ブロック画像を多層式ニューラルネットワークに入力してブロック画像単位に火災ブロック画像か正常ブロック画像かを検出し、火災検出ブロック画像の時系列的な分布変化に基づき火災の有無を判定し、火災を判定した場合は火災判定信号を火災受信機１４に出力し、例えば、火災予兆を示す火災予兆警報等を出力させる。
　学習画像生成装置１２は、監視領域１５の火災時の画像を学習画像として入力して例えば縦横９×１５の１３５ブロックのブロック画像に分割し、各ブロック画像を、炎や煙の有無及び炎や煙の占める割合に応じて炎学習ブロック画像、煙学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して記憶させる。ここで、炎学習ブロック画像と煙学習ブロック画像は、火災学習ブロック画像に含まれる。
　学習画像生成装置１２に記憶された炎学習ブロック画像、煙学習ブロック画像及び正常学習ブロック画像は、判定装置１０に設けられた学習制御部により読み出され、判定装置１０の多層式ニューラルネットワークに入力してディープラーニングより学習させる。
　［判定装置及び学習画像生成装置］
　図２は監視カメラで撮像した火災時の画像から学習ブロック画像を生成する学習画像生成装置と火災を推定する多層式ニューラルネットワークを用いた判定装置の機能構成を示した説明図である。
　（判定装置の機能構成）
　図２に示すように、判定装置１０は、火災検出器２４と学習制御部２６を備え、火災検出器２４は画像入力部２８、多層式ニューラルネットワーク３０および判定部３２で構成される。ここで、火災検出器２４及び学習制御部２６の機能は、ニューラルネットワークの処理に対応したコンピュータ回路のＣＰＵによるプログラムの実行により実現される。
　火災検出器２４は監視カメラ１６により撮像された監視領域の動画画像を、フレーム単位に監視画像として画像入力部２８に入力し、画像入力部２８で例えば縦横９×１５の１３５ブロックのブロック画像に分割し、各ブロック画像を多層式ニューラルネットワーク３０に順次入力し、炎ブロック推定値ｙ１、煙ブロック推定値ｙ２及び正常ブロック推定値ｙ３を出力する。
　判定部３２は多層式ニューラルネットワーク３０から出力されたブロック画像の推定値ｙ１～ｙ３を所定の閾値と比較して炎ブロックか、煙ブロックか、正常ブロックかを判定し、入力された監視画像単位に炎ブロックと煙ブロックを含む火災検出ブロックの分布を求めて記憶し、所定時間分の火災検出ブロックの分布の時系列的な変化から火災に特有な変化、例えば、火災検出ブロックの分布が時間の経過に伴い上方に移動及び又は拡大した場合に火災と判定し、火災判定信号を火災受信機１４に出力して例えば火災予兆警報を出力させる。
　学習制御部２６は、システム立上げ時等に、学習画像生成装置１２で予め生成されて記憶されている炎学習ブロック画像、煙学習ブロック画像及び正常学習ブロック画像を順次読み出し、画像入力部２８を介して多層式ニューラルネットワーク３０に教師ありのブロック画像として入力し、例えばバックプロパゲーション法（誤差逆伝播法）等の学習法により多層式ニューラルネットワーク３０の重みとバイアスを学習させる。
　この教師ありのブロック画像を用いて学習の済んだ多層式ニューラルネットワーク３０に、監視カメラ１６で撮像された監視領域の画像を分割したブロック画像を入力すると、炎、煙、正常のクラス（種別）を示す推定値ｙ１，ｙ２，ｙ３が出力される。
　ここで、炎ブロック推定値ｙ１、煙ブロック推定値ｙ２及び正常ブロック推定値ｙ３は、理想的には次のようになる。
炎ブロックの場合は（ｙ１，ｙ２，ｙ３）　＝（１，０，０）
煙ブロックの場合は（ｙ１，ｙ２，ｙ３）　＝（０，１，０）
正常ブロックの場合は（ｙ１，ｙ２，ｙ３）＝（０，０，１）
　実際のブロック画像を多層式ニューラルネットワーク３０に入力した場合は、推定値ｙ１～ｙ３の総和は１で、それぞれは０～１の間の値をとることから、推定値ｙ１～ｙ３を判定部３２に入力して所定の閾値、例えば０．５と比較し、閾値以上となる炎ブロック、煙ブロック又は正常ブロックを判定結果し、前述したように、炎ブロックと煙ブロックを含む火災検出ブロックの分布を所定時間に亘り求め、火災に固有な火災検出ブロックの時系列的な変化を検出した場合に火災を判定して火災判定信号を火災受信機１４に出力し、火災受信機１４から例えば火災予兆警報を出力させる。
　なお、判定装置１０にモニタ装置を設け、火災を判定した場合に監視カメラ１６により撮像している火災が判定された監視領域の画像を画面表示し、併せて、火災検出ブロックの分布を監視領域の画像に重ね合わせて表示させ、火災受信機１４からの火災予兆警報を知った管理責任者や防災担当者による火災確認ができるようにしても良い。この場合、判定装置１０の操作部に火災断定スイッチを設け、モニタ画像から火災を確認した場合に火災断定スイッチを操作すると、火災受信機１４に発信機を操作した場合と同様に、火災通報信号を出力し、火災受信機１４から火災警報を出力させるようにしても良い。
　［多層式ニューラルネットワーク］
　図３は図２に示した多層式ニューラルネットワークの機能構成を示した説明図であり、図３（Ａ）に概略を示し、図３（Ｂ）に詳細を模式的に示している。
　図３（Ａ）に示すように、本実施形態の多層式ニューラルネットワーク３０は、特徴抽出部５８と認識部６０で構成される。特徴抽出部５８は畳み込みニューラルネットワークであり、認識部６０は全結合ニューラルネットワークである。
　多層式ニューラルネットワーク３０は、深層学習（ディープラーニング）を行うニューラルネットワークであり、中間層を複数つなぎ合わせた深い階層をもつニューラルネットワークであり、特徴抽出となる表現学習を行う。
　通常のニューラルネットワークは、画像から火災を推定するための特徴抽出には、人為的な試行錯誤による作業を必要とするが、多層式ニューラルネットワーク３０では、特徴抽出部５８として畳み込みニューラルネットワークを用いることで、画像の画素値を入力とし、学習により最適な特徴を抽出し、認識部６０の全結合ニューラルネットワークに入力して火災か非火災かを推定する。
　認識部６０の全結合ニューラルネットワークは、図３（Ｂ）に模式的に示すように、入力層６６、全結合６８、中間層７０と全結合６８の繰り返し、及び出力層７２で構成されている。
　ここで、認識部６０の全結合ニューラルネットワークは、ブロック画像を炎、煙、及び正常の３クラスに分類する多クラス分類を行うことから、最後の出力層７２には、目的とする３クラスと同じ３ユニットを配置し、これらのユニットへの入力を、ソフトマックス関数を用いて、総和が１の出力ｙ１，ｙ２，ｙ３となるようにしており、各ユニットの出力ｙ１，ｙ２，ｙ３はそのクラスに属する確率を示すことになる。
　（畳み込みニューラルネットワーク）
　図３（Ｂ）は特徴抽出部５８を構成する畳み込みニューラルネットワークの構造を模式的に示している。
　畳み込みニューラルネットワークは、通常のニューラルネットワークとは少し特徴が異なり、視覚野から生物学的な構造を取り入れている。視覚野には、視野の小区域に対し敏感な小さな細胞の集まりとなる受容野が含まれており、受容野の挙動は、行列の形で重み付けを学習することで模倣できる。この行列は重みフィルタ（カーネル）呼ばれ、生物学的に受容野が果たす役割と同様に、ある画像の類似した小区域に対して敏感になる。
　畳み込みニューラルネットワークは、畳み込み演算により、重みフィルタと小区域との間の類似性を表すことでき、この演算を通して、画像の適切な特徴を抽出することができる。
　畳み込みニューラルネットワークは、図３（Ｂ）に示すように、まず、ブロック画像として入力される入力画像６２に対し重みフィルタ６３により畳み込み処理を行う。例えば、重みフィルタ６３は縦横３×３の所定の重み付けがなされた行列フィルタであり、入力画像６２の各画素にフィルタ中心を位置合わせしながら畳み込み演算を行うことで、入力画像６２の９画素を小区域となる特長マップ６４ａの１画素に畳み込み、複数の特徴マップ６４ａが生成される。
　続いて、畳み込み演算により得られた特徴マップ６４ａに対しプーリングの演算を行う。プーリングの演算は、識別に不必要な特徴量を除去し、識別に必要な特徴量を抽出する処理である。
　続いて、重みフィルタ６５ａ，６５ｂを使用した畳み込み演算とプーリングの演算を多段に繰り返して特徴マップ６４ｂ，６４ｃが得られ、最後の層の特徴マップ６４ｃを認識部６０に入力し、通常の全結合ニューラルネットワークを用いた認識部６０により火災か非火災かを推定する。
　なお、畳み込みニューラルネットワークにおけるプーリングの演算は、火災か非火災かの推定に不必要な特徴量が必ずしも明確でなく、必要な特徴量を削除する可能性があることから、プーリングの演算は行わないようにしても良い。
　［多層式ニューラルネットワークの学習］
　（バックプロパゲーション）
　入力層、複数の中間層及び出力層で構成されるニューラルネットワークは、各層に複数のユニットを設けて他の層の複数のユニットと結合し、各ユニットには重みとバイアス値が選択され、複数の入力値と重みとのベクトル積を求めてバイアス値を加算して総和を求め、これを所定の活性化関数に通して次の層のユニットに出力するようにしており、最終層に到達するまで値が伝播するフォワードプロパゲーションが行われる。
　このようなニューラルネットワークの重み（ウェイト）やバイアスを変更するには、バックプロパゲーションとして知られている学習アルゴリズムを使用する。バックプロパゲーションでは、入力値ｘと期待される出力値（期待値）ｙというデータセットをネットワークに与えた場合の教師ありの学習と、入力値ｘのみをネットワークに与えた場合の教師なしの学習があり、本実施形態は、教師ありの学習を行う。
　教師ありの学習でバックプロパゲーションを行う場合は、ネットワークを通ってきたフォワードプロパゲーションの結果である推定値ｙ＊と期待値yの値を比較する誤差として、例えば、平均二乗誤差の関数を使用する。
　バックプロパゲーションでは、推定値ｙ＊と期待値ｙの誤差の大きさを使い、ネットワークの後方から前方まで重みとバイアスを補正しながら値を伝播させる。各重みとバイアスについて補正した量は、誤差への寄与として扱われ、最急降下法で計算され、重みとバイアスの値を変更することにより、誤差関数の値を最小化する。
　ニューラルネットワークに対するバックプロパゲーションによる学習の手順は次にようになる。
（１）　入力値ｘをニューラルネットワークに入力して、フォワードプロパゲーションを行い推定値ｙ＊を求める。
（２）　推定値ｙ＊と期待値ｙに基づき誤差関数で誤差を計算する。
（３）　重みとバイアスを更新しながら、ネットワークにて、バックプロパゲーションを行う。
　この手順は、ニューラルネットワークの重みとバイアスの誤差が可能な限り最小になるまで、異なる入力値ｘと期待値ｙの組み合わせを使って繰り返し、誤差関数の値を最小化する。
　図３（Ｂ）に示す多層式ニューラルネットワーク３０の教師ありの学習制御では、炎学習ブロック画像の期待値（ｙ１，ｙ２，ｙ３）　＝（１，０，０）
煙学習ブロック画像の期待値（ｙ１，ｙ２，ｙ３）　＝（０，１，０）
正常学習ブロック画像の期待値（ｙ１，ｙ２，ｙ３）＝（０，０，１）
を使用し、前述したバックプロパゲーションを行う。
　なお、教師なしの学習でバックプロパゲーションを行う場合は、推定値ｙ＊と入力値ｘの誤差の大きさを使い、ネットワークの後方から前方まで重みとバイアスを補正しながら値を伝播させる。この場合にも各重みとバイアスについて補正した量は、誤差への寄与として扱われ、最急降下法で計算され、重みとバイアスの値を変更することにより、誤差関数の値を最小化する。
　［学習画像生成装置の機能構成］
　図２に示すように、学習画像生成装置１２は、学習画像生成制御部３４、録画部３６、火災画像記憶部３８、ブロック画像記憶部４０、学習画像記憶部４２、操作部４４及びモニタ部４６で構成され、学習画像生成制御部３４の機能はコンピュータ回路のＣＰＵによるプログラムの実行により実現される。また、録画部３６、火災画像記憶部３８、ブロック画像記憶部４０、学習画像記憶部４２は機能毎に分けているが、ハードウェアとしては単一の記憶部を使用している。
　録画部３６には、監視領域１５で行った火災実験を監視カメラ１６で撮像した火災動画が録画される。監視カメラ１６はＲＧＢのカラー画像を例えば３０フレーム／秒で撮像して動画として出力し、これが火災動画として録画部３６に録画される。また、録画部３６に録画された火災動画の１フレームは例えば４Ｋ画像の場合、縦横２１６０×３８４０ピクセルの画素配置となる。
　学習画像生成制御部３４は、操作部４４による所定の学習画像生成操作が行われると、録画部３６からフレーム単位に火災画像を学習画像として読出し、例えば４Ｋ画像の場合、縦横９×１５の１３５ブロックのブロック画像に分割し、ブロック画像記憶部４０に記憶させると共にモニタ部４６に画面表示させる。
　図４は監視領域の火災実験等により撮像された学習画像のブロック分割とブロック画像の炎、煙、正常、非学習の分類を示した説明図である。
　図４（Ａ）に示すように、モニタ部４６には、録画部３６から読み込まれてブロック分割された火災画像４８－１が表示される。本実施形態では、図面の簡略化のため、火災画像４８－１は縦横６×７の４２ブロックのブロック画像に分割されている。
　火災画像４８－１は、燃焼物５０に例えば角材を積み上げて燃焼物として着火し、着火後に炎５２が少し上がり、その上に煙５４が上がっている火災初期段階の画像である。
　このようなブロック分割された火災画像４８－１に対し、正常学習ブロック画像Ｎ、煙学習ブロック画像Ｓ、炎学習ブロック画像Ｆ、又は非学習ブロック画像ＮＧとするブロック画像の分類を、操作者の目視判断により行う。
　この際、多層式ニューラルネットワークに分割されたブロック画像を入力し、その結果に応じて、火災検出ブロックを火災学習ブロック画像として、炎検出ブロックを炎学習ブロック画像として、煙検出ブロックを煙学習ブロックとして、火災を検出しないブロックを正常学習ブロックとして、モニタ部４６にそれぞれの分類に応じてブロックの枠色を変化させて画像に重ね合わせて表示されるようにし、この結果を手動で編集するようにしても良い。このようにすることで、ブロック画像の分類の手間を削減することが出来、同時に現在の火災検出器の精度を確認することができる。
　ここで、正常学習ブロック画像Ｎは炎や煙が全くないブロックであり、煙学習ブロック画像Ｓは煙が目視でき大半を占めるブロックであり、炎学習ブロック画像Ｆは炎が大半を占めるブロックであり、また、非学習ブロック画像ＮＧは目視が難しい煙や炎があるがほとんど正常なブロックである。
　図４（Ｂ）は、図４（Ａ）の火災画像４８－１におけるブロック分類画像５６－１であり、燃焼物５０のあるブロックが炎学習ブロック画像Ｆとなり、その直上及び斜め右上方向の７つのブロックが煙学習ブロック画像Ｓとなり、右上隅の３つのブロックが非学習ブロック画像ＮＧとなり、それ以外のブロックが正常学習ブロック画像Ｎとなっている。
　なお、図４（Ｂ）に示すブロック分類画像５６－１は、例えば左上隅を初期位置とした行番号１～６と列番号１～７で特定されるブロックアドレス（二元アドレス）Ａ１１～Ａ６７に対応して正常学習ブロック画像Ｎ、煙学習ブロック画像Ｓ、炎学習ブロック画像Ｆ、又は非学習ブロック画像ＮＧを示す識別情報を格納したデータ形式で記憶される。
　図５は図４に対し時間が経過した後の監視領域の火災実験により撮像された学習画像のブロック分割とブロック画像の炎、煙、正常、非学習の分類を示した説明図である。
　図５（Ａ）に示すブロック分割された火災画像４８－２にあっては、図４（Ａ）に対し時間の経過に伴い火災が拡大し、燃焼物５０からの炎５２は大きく立ち上がっており、炎５２の上の煙５４はその量が減った状態となっている。
　図５（Ｂ）は、図５（Ａ）の火災画像４８－２におけるブロック分類画像５６－２であり、燃焼物５０のある２つのブロックが炎学習ブロック画像Ｆとなり、その直上の２つのブロックが煙学習ブロック画像Ｓとなり、その上の１つのブロックが非学習ブロック画像ＮＧとなり、それ以外のブロックが正常学習ブロック画像Ｎとなっている。
　なお、図４（Ａ）及び図５（Ａ）は火災画像の一例であり、実際には、燃焼物の着火から図４（Ａ）を経て図５（Ａ）のように炎が燃え上がるように拡大して行く火災動画が録画されていることから、例えば着火から５分間の録画をフレーム単位に読み出すと、９０００枚の火災画像が得られ、それぞれ縦横６×７の４２ブロックのブロック画像に分割して分類することで、正常ブロック画像Ｎ、炎学習ブロック画像Ｆ及び煙学習ブロック画像Ｓが最大で３７８，０００枚生成できる。
　実際には、一部に非学習ブロック画像ＮＧが例えば１０パーセント以下の割合で存在することが想定され、それでも３４０，０００枚程度の正常ブロック画像Ｎ、炎学習ブロック画像Ｆ及び煙学習ブロック画像Ｓを含む学習ブロック画像が生成され、火災検出器２４の多層式ニューラルネットワーク３０の学習に十分な数の学習ブロック画像が生成される。
　また、火災により発生する煙は、燃焼する燃焼物の材質により異なる。例えば燃焼物の材質が木材、布、紙等の場合は白い煙となり、また、燃焼物の材質が合成樹脂や油の場合は黒い煙となることが多い。このため火災学習データの生成にあっては、燃焼物の材質を変えた火災実験を監視カメラ１６により撮像して録画し、この録画画像を読み出してブロック分割して正常学習ブロック画像Ｎ、煙学習ブロック画像Ｓ、炎学習ブロック画像Ｆ、又は非学習ブロック画像ＮＧとするブロック画像の分類を行い、正常学習ブロック画像Ｎ、煙学習ブロック画像Ｓ、炎学習ブロック画像Ｆを、燃焼物の材質により異なる煙毎に生成して、火災検出器２４の多層式ニューラルネットワーク３０を学習にさせる。
　なお、火災画像を分割したブロック画像の分類は、操作者の目視による手動操作による分類以外に、例えばブロック単位に画素の輝度の総和を求めて自動的に判定して分類するようにしても良い。
　また、火災実験による火災画像の撮像は、監視領域１５では行えない場合もあることから、この場合には、システム製造側の火災実験施設を使用して行った火災実験を撮像して録画した動画を利用する。このように監視領域１５以外の場所で撮像した火災の動画は、背景が監視領域１５と相違することから、ブロック画像の中の炎学習ブロック画像と煙学習ブロック画像は、学習ブロック画像として使用するが、正常学習ブロック画像は学習対象から除外し、これに代えて、監視領域１５の通常監視状態で監視カメラ１６により撮像した画像のブロック分割で生成された正常学習ブロック画像を使用すれば良い。
　［学習画像生成制御］
　図６は図２の学習画像生成装置による学習画像生成制御を示したフローチャートであり、図２に示した学習画像生成制御部３４による制御となる。
　図６に示すように、所定の操作により学習画像生成制御が開始されると、学習画像生成制御部３４は、ステップＳ１で監視カメラ１６により撮像されて録画部３６に記憶されている火災動画をフレーム単位に火災画像として読出し、ステップＳ２で所定サイズのブロック画像に分割し、ステップＳ３で例えば図４（Ａ）に示すようにモニタ部４６に画面表示させる。
　続いて、ステップＳ４に進み、学習画像生成制御部３４は、モニタ部４６に画面表示されたブロック画像の操作者による目視による操作に基づき、ブロック画像を炎学習ブロック画像、煙学習ブロック画像、正常学習ブロック画像又は非学習ブロック画像に分類し、この内の炎学習ブロック画像、煙学習ブロック画像、正常学習ブロック画像をステップＳ５で学習画像記憶部４２に記憶させる。
　続いて、学習画像生成制御部３４は、ステップＳ６で全ての火災画像を処理したか否か判別し、全ての火災画像を処理していない場合はステップＳ１からの処理を繰り返し、全ての火災画像を処理したことを判別すると一連の処理を終了し、判定装置１０の学習制御部２６に学習画像の生成完了を通知して多層式ニューラルネットワーク３０の学習を行わせる。
　［火災検出制御］
　図７は図２の判定装置による火災検出制御を示したフローチャートであり、図２に示した火災検出器２４による制御となる。
　図７に示すように、火災検出器２４はステップＳ１１で監視カメラ１６からの監視画像を画像入力部２８に読み込み、ステップＳ１２で所定サイズのブロック画像に分割して、ステップＳ１３で先頭のブロック画像から順番に多層式ニューラルネットワーク３０に入力させ、多層式ニューラルネットワーク３０から出力された推定値ｙ１，ｙ２，ｙ３に対し判定部３２で所定の閾値との比較により、推定値ｙ１が閾値以上であれば炎ブロックと判定し、推定値ｙ２が閾値以上であれば煙ブロックと判定し、更に、推定値ｙ３が閾値以上であれば正常ブロックと判定し、炎ブロック又は煙ブロックを判定した場合に火災検出ブロックであることを判定し、ステップＳ１４で判定結果を記憶させる。
　続いて、ステップＳ１５で、火災検出器２４は全てのブロック画像を入力したか否か判別し、未入力を判別した場合はステップＳ１３からの処理を繰り返し、全てのブロック画像の入力を判別した場合はステップＳ１６に進み、炎ブロック又は煙ブロックを含む火災検出ブロックが１つでもあればステップＳ１７に進み、火災検出ブロックの分布を記憶させ、モニタ部４６にその時の監視画像に重ねて火災検出ブロックの分布を表示させる。
　図８は監視画像に重ねて火災検出ブロックの分布を表示させたモニタ画面の一例を示した説明図であり、図８（Ａ）は図４（Ａ）に示した火災画像４８－１を例にとっており、図８（Ｂ）は図５（Ａ）に示した火災画像４８－２を例にとっている。
　図８（Ａ）（Ｂ）のモニタ画面７４－１，７４－２にあっては、監視領域の火災画像に重ねて、火災検出ブロックとして、実線の枠で示す炎検出ブロックと、点線の枠で示す煙検出ブロックが表示されている。
　なお、図８は炎検出ブロックと煙検出ブロックに分けて示しているが、両者を同じ火災検出ブロックとして表示しても良い。また、炎検出ブロックと煙検出ブロック又は火災検出ブロックは、枠の線種で区別しているが、これに限定されず、枠の色彩により区別しても良いし、ブロックを監視画像が見える透明な色彩で塗りつぶすようにして区別しても良い。更に、ブロック枠やブロック色をフリッカさせるようにしても良い。
　再び図７を参照するに、続いて、火災検出器２４はステップＳ１８で所定時間の経過を判別するまでは、ステップＳ１１に戻り、次の監視画像を読み込んでステップＳ１２～Ｓ１７の処理を繰り返し、時系列的に変化する火災検出ブロックの分布を記憶させる。
　火災検出器２４は、ステップＳ１８で所定時間の経過を判別するとステップＳ１９に進み、ステップＳ１１～Ｓ１７の処理により記憶された時系列的に変化する火災検出ブロックの分布を判定し、ステップＳ２０で火災検出ブロックが時間の経過に伴い上方に移動するか又は拡大する時系列的変化を判別した場合はステップＳ２１に進んで火災を判定し、火災判定信号を火災受信機１４に出力して例えば火災予兆警報を出力させる。
　［炎と煙を個別に検出する判定装置］
　図９は炎検出用と煙検出用の多層式ニューラルネットワークを設けた判定装置の機能構成を学習画像生成装置と共に示したブロック図である。
　図２に示した判定装置１０にあっては、火災検出器２４に単一の多層式ニューラルネットワーク３０を設け、学習画像生成装置１２で生成された炎学習ブロック画像と煙学習ブロック画像の両方を火災学習ブロック画像として単一の多層式ニューラルネットワーク３０に入力して学習させており、このため炎が大半を占めるブロック画像の入力による火災の推定値と、煙が大半を占めるブロック画像の入力による火災の推定値が相違が出ることが想定され、学習数の少ない方の火災の推定精度が低下する可能性がある。
　そこで図９の判定装置１０にあっては、火災検出器２４に、ブロック画像を入力して火災の炎を検出するため、画像入力部２８－１、第１の多層式ニューラルネットワーク３０－１及び判定部３２－１を設け、また、ブロック画像を入力して火災の煙を検出するため、画像入力部２８－２、第２の多層式ニューラルネットワーク３０－２及び判定部３２－２を設けている。
　学習画像生成装置１２は図２の実施形態と同じであり、録画部３６から読み出した火災画像を所定サイズのブロック画像に分割すると共に、各ブロック画像に炎や煙の有無及び炎や煙の占める割合に応じて炎学習ブロック画像、煙学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して記憶させている。
　判定装置１０の学習制御部２６は、学習画像生成装置１２の学習画像記憶部４２に記憶された炎学習ブロック画像及び正常学習ブロック画像を読出し、画像入力部２８－１を介して第１の多層式ニューラルネットワーク３０－１に入力して学習させる。このため第１の多層式ニューラルネットワーク３０－１は監視画像を分割したブロック画像の入力に対し炎の推定値を出力する。
　また、判定装置１０の学習制御部２６は、学習画像生成装置１２の学習画像記憶部４２に記憶された煙学習ブロック画像及び正常学習ブロック画像を読出し、画像入力部２８－２を介して第２の多層式ニューラルネットワーク３０－２に入力して学習させる。このため第２の多層式ニューラルネットワーク３０－２は監視画像を分割したブロック画像の入力に対し煙の推定値を出力する。
　このように監視画像を分割したブロック画像の入力に対し第１の多層式ニューラルネットワークはブロック画像の炎の有無を高い精度で検出し、第２の多層式ニューラルネットワークはブロック画像の煙を高い精度で検出し、両者を組み合わせることで、より精度の高い火災を判定することが可能となる。
　また、判定部３２－１，３２－２は、炎の推定値と煙の推定値を所定の閾値と比較して火災の炎と火災の煙を判定しており、更に、炎検出ブロックの分布と煙検出ブロックの分布の火災に特有な時系列的変化を判定することで、高い精度で火災を判定して火災判定信号を火災受信機１４に出力する。
　また、火災検出器２４は、第１及び第２の多層式ニューラルネットワーク３０－１，３０－２の検出結果として得られた炎検出ブロックと煙検出ブロックの分布をモニタ部の監視画像に重ねて表示させることで、監視画像と連携した火災による炎や煙の状況の目視による確認を更に行い易くし、初期消火や避難誘導の適切な対処を可能とする。
　〔本発明の変形例〕
　（境界の学習と検出）
　上記の実施形態は、ブロック画像が火災かどうかを判定していたが、さらにブロック画像が火災の境界に当たるかどうかを判定するようにしても良い。学習時においてはブロック中に炎や煙等の火災の影響がある部分とない部分が混在するようなブロックであるとき、火災境界学習ブロック画像として学習画像記憶部に記憶させる。
　なお、上記の実施形態である火災学習ブロック画像、正常学習ブロック画像、非学習ブロック画像の区別によらず独立の項目としても良い。例えば、火災学習ブロック画像かつ火災境界学習ブロック画像であることが可能である。
　火災境界を検出する多層式ニューラルネットワークは火災を検出する多層式ニューラルネットワークと同じニューラルネットワークを用い、出力項を火災検出項と火災境界検出項の２つにするようにして学習するようにしても良い。この際、非学習画像については火災検出項に基づく学習を行わず、火災境界検出項のみ学習を行う。
　このように同一の多層式ニューラルネットワークを用いることで、監視時においては出力層直前の計算を行うだけで良くなり、複数の多層式ニューラルネットワークを用いる場合に発生する多層式ニューラルネットワークの複数回の計算が不要となる。また、上記の点で同一の多層式ニューラルネットワークを用いることが好適であるが、異なる多層式ニューラルネットワークを用いるようにしても良い。
　火災検出器は火災ブロックと火災が検出されないブロックが隣接するとき、隣接するブロックについて火災境界ブロックかどうか判定する。火災ブロックに隣接するブロックは火災の境界が存在するブロックと考えられ、学習時においては非火災学習ブロックとなるようなブロック画像となる可能性がある。このような火災ブロックかどうかの判定が困難なブロックについても、監視時においては火災検出ブロックか火災を検出しないブロックか判定されるが、火災境界ブロックかどうか検出することで、どちらかのブロックに火災境界が存在するかが判定でき、火災の規模の大きさや動きについてより正確な判定や表示を行うことが可能となる。
　（火災報知設備と監視システムとの関係）
　上記の実施形態は、火災報知設備と監視システムと連携する構成をとっているが、監視システムのみを用いるようにしても良い。吹き抜け構造等、火災報知設備の感知器が設置できないような場所においても本システムは運用可能である。
　また、火災報知設備と監視システムと連携する場合、いずれの系により火災を検出したか火災受信機の表示部や監視設備のモニタ等の表示部に表示するようにしても良い。これにより、監視者は感知器発報か映像監視による火災警報かを区別することが可能となる。
　（放火監視）
　上記の実施形態は、屋内の警戒領域の火災監視を例にとっているが、これ以外に、屋外に監視カメラを設置して行う放火監視に多層式のニューラルネットワークによって構成される火災検出器を設け、火災検出器をディープラーニングより学習させ、監視カメラで撮像した画像を入力して放火を監視するようにしても良い。
　また、放火の実行者の推定を行うシステムとしても良い。人感センサや監視カメラ等の人検出手段によって領域への人の侵入を検知したときにトリガを掛け、当該人物が退出した場合トリガを解除する。トリガがかかっている間に火災ブロックが検出された場合、領域へ侵入した人物を放火の実行者として推定し、当該人物の領域にいる間の映像の読み出し等を可能にする。
　（非火災学習）
　上記の実施形態は、火災時の画像を用いて学習を行っているが、非火災時の画像を用いて非火災の学習を行うようにしても良い。監視時、非火災を誤検出した場合、火災ブロックとして検出したブロックの画像を非火災学習ブロック画像として学習画像記憶部に記憶する。
　火災ブロックや正常ブロックとは別の出力項として非火災判定の項を設けることが、好適である。これは、非火災ブロックが火災でないため正常ブロックとして設定すると、非火災ブロック画像は火災ブロックと近い特徴を持つため、非火災ブロックでない正常ブロックと火災ブロックの判定精度に悪影響を与える恐れがあるためである。
　（尤度を用いたブロック画像の火災判定）
　上記の実施形態は、火災ブロックか火災ブロックでないか２値化しているが、火災の尤度を用いるようにして、監視領域における火災の判定や分布の表示を行うようにしても良い。火災の尤度はブロックごとに多層式ニューラルネットワークにより出力される推定値を用いる。推定値と尤度を同じにしても良いし、推定値を特定の値ごとに区切って尤度を対応させても良い。また、例えば隣接するブロックの尤度の平均値により尤度を変化させるなど、尤度は隣接するブロックの影響を受けるようにしても良い。このようにすることで、照明等による火災ブロックの誤検出の可能性を低減させ、通常炎と煙が複数のブロックにまたがって検出されやすい真の火災については検出率を高めることが出来る。
　（火災判断根拠の明示）
　上記の実施形態は、判定装置は火災の有無の判定結果を報知しているが、これに加え火災と判定した要因について表示するようにしても良い。例えばカメラ画像の監視においては、火災と判定した画像を表示し、更に火災判定の寄与率が高かったブロック（火災推定値の高かったブロック）について強調表示する。これにより、火災検出器が火災と判断したブロック領域について目視確認が容易となり、真に火災が発生したかどうかを容易に判定できるようになり、また状況に応じた対応判断の助けとすることができる。
　（特徴抽出）
　上記の実施形態は、畳み込みニューラルネットワークに画像を入力して火災による特徴を抽出しているが、畳み込みニューラルネットワークを使用せず、入力した画像から輪郭、濃淡等の特徴を抽出する前処理を行って所定の特徴を抽出し、特徴が抽出された画像を認識部として機能する全結合ニューラルネットワークに入力して火災を推定させるようにしても良い。これにより画像の特徴抽出の処理負担を低減可能とする。また、畳み込みニューラルネットワークは全結合のニューラルネットワークより学習が高速となるため好適であるが、全結合のニューラルネットワークを用いるようにしても良い。
　（学習方法について）
　上記の実施形態は、バックプロパゲーションによる学習を行っているが、多層式ニューラルネットワークの学習方法はこれに限らない。
　（赤外線照明と赤外線画像の撮像）
　上記の実施形態は、監視カメラにより監視領域の照明を使用した状態及び又は自然光の状態で監視領域を撮像しているが、赤外線照明装置からの赤外線光を監視領域に照射し、赤外線領域に感度のある監視カメラにより赤外線画像を撮像して学習画像生成装置により学習ブロック画像を生成し、判定装置の多層式ニューラルネットワークをバックプロパゲーションにより学習し、学習の済んだ多層式ニューラルネットワークに監視領域の赤外線画像を分割したブロック画像を入力して火災を判定するようにしても良い。
　このように監視領域の赤外線画像を分割したブロック画像を判定装置に入力することで、監視領域の照明状態や昼夜の明るさ変化等に影響されることなく、監視画像を用いた火災監視が可能となる。
　（その他）
　また、本発明は上記の実施形態に限定されず、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。
１０，１０－１，１０－２：判定装置
１２，１２－１，１２－２：学習画像生成装置
１４：火災受信機
１５，１５－１，１５－２：監視領域
１６，１６－１，１６－２：監視カメラ
１８，１８－１，１８－２：火災感知器
２０－１，２０－２：信号ケーブル
２２：感知器回線
２４：火災検出器
２６：学習制御部
２８，２８－１，２８－２：画像入力部
３０：多層式ニューラルネットワーク
３０－１：第１の多層式ニューラルネットワーク
３０－２：第２の多層式ニューラルネットワーク
３２，３２－１，３２－２：判定部
３４：学習画像生成制御部
３６：録画部
３８：火災画像記憶部
４０：ブロック画像記憶部
４２：学習画像記憶部
４４：操作部
４６：モニタ部
４８－１，４８－２：火災画像
５０：燃焼物
５２，１０２：炎
５４：煙
５５：熱気流
５６－１，５６－２：ブロック分類画像
５８：特徴抽出部
６０：認識部
６２：入力画像
６３，６５ａ，６５ｂ：重みフィルタ
６４ａ，６４ｂ，６４ｃ：特徴マップ
６６：入力層
６８：全結合
７０：中間層
７２：出力層
７４－１，７４－２：モニタ画面

Claims (9)

  1. 　撮像部により撮像された監視領域の監視画像を複数のブロック画像に分割し、前記ブロック画像を多層式ニューラルネットワークによって構成される火災検出器に入力して火災を検出することを特徴とする火災監視システム。
  2. 　請求項１記載の火災監視システムに於いて、更に、
    　入力画像を学習画像として複数のブロック画像に分割すると共に、火災学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、
    　前記学習画像記憶部に記憶された前記火災学習ブロック画像及び前記正常学習ブロック画像を前記火災検出器に入力して前記多層式ニューラルネットワークを学習させる学習制御部と、
    が設けられたことを特徴とする火災監視システム。
  3. 　請求項２記載の火災監視システムに於いて、前記火災学習ブロック画像は、火災による炎が占める割合が所定割合以上の炎学習ブロック画像と、火災による煙が占める割合が所定割合以上の煙学習ブロック画像を含むことを特徴とする火災監視システム。
  4. 　請求項２又は３記載の火災監視システムに於いて、
    　前記多層式ニューラルネットワークに前記分割されたブロック画像を入力し、ブロック画像の種類を判定させ、当該判定結果を用いてブロック画像を分類して前記学習画像記憶部に記憶させることを特徴とする火災監視システム。
  5. 　請求項１記載の火災監視システムに於いて、
    　前記火災検出器は、火災が検出されたブロック画像の分布が時間の経過に伴い上方に移動及び又は拡大した場合に火災と判定することを特徴とする火災監視システム。
  6. 　請求項１記載の火災監視システムに於いて、
    　前記火災検出器は、火災が検出されたブロック画像の集合の状態に基づき火災を検出することを特徴とする火災監視システム。

  7. 　請求項１記載の火災監視システムに於いて、
    　前記火災検出器は、火災が検出されたブロック画像の分布をモニタ部に画面表示させることを特徴とする火災監視システム。
  8. 　請求項１記載の火災監視システムに於いて、
    　前記火災検出器は、前記ブロック画像を入力して火災の炎を検出する第１の多層式ニューラルネットワークと、前記ブロック画像を入力して火災の煙を検出する第２の多層式ニューラルネットワークを備え、更に、
    　入力画像を学習画像として複数のブロック画像に分割すると共に、各ブロック画像に炎や煙の有無及び炎や煙の占める割合に応じて炎学習ブロック画像、煙学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、
    　学習画像記憶部に記憶された前記災学習ブロック画像及び前記正常学習ブロック画像を前記第１の多層式ニューラルネットワークに入力して学習させ、前記学習画像記憶部に記憶された前記煙学習ブロック画像及び前記正常学習ブロック画像を前記第２の多層式ニューラルネットワークに入力して学習させる学習制御部と、
    が設けられたことを特徴とする火災監視システム。
  9. 　請求項８記載の火災監視システムに於いて、
    　前記火災検出器は、炎と煙が検出されたブロック画像の分布をモニタ部に画面表示させることを特徴とする火災監視システム。
PCT/JP2017/045036 2016-12-21 2017-12-15 火災監視システム WO2018116966A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP17884017.9A EP3561788B1 (en) 2016-12-21 2017-12-15 Fire monitoring system
US16/411,665 US10854062B2 (en) 2016-12-21 2019-05-14 Fire monitoring system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-247407 2016-12-21
JP2016247407 2016-12-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/411,665 Continuation US10854062B2 (en) 2016-12-21 2019-05-14 Fire monitoring system

Publications (1)

Publication Number Publication Date
WO2018116966A1 true WO2018116966A1 (ja) 2018-06-28

Family

ID=62626900

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/045036 WO2018116966A1 (ja) 2016-12-21 2017-12-15 火災監視システム

Country Status (4)

Country Link
US (1) US10854062B2 (ja)
EP (1) EP3561788B1 (ja)
JP (1) JP6968681B2 (ja)
WO (1) WO2018116966A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906463A (zh) * 2021-01-15 2021-06-04 上海东普信息科技有限公司 基于图像的火情检测方法、装置、设备及存储介质
US11080990B2 (en) 2019-08-05 2021-08-03 Factory Mutual Insurance Company Portable 360-degree video-based fire and smoke detector and wireless alerting system

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200053886A (ko) * 2018-11-09 2020-05-19 삼성전자주식회사 뉴럴 프로세싱 유닛, 뉴럴 프로세싱 시스템, 및 어플리케이션 시스템
KR102155286B1 (ko) * 2018-11-21 2020-09-14 대한민국 무인 비행체를 이용한 야간 산불 대응 시스템
US11169678B2 (en) * 2018-11-21 2021-11-09 One Conern, Inc. Fire management tool with versatile user interface
CN109903507A (zh) * 2019-03-04 2019-06-18 上海海事大学 一种基于深度学习的火灾智能监控系统及其方法
KR102231160B1 (ko) * 2019-03-19 2021-03-25 경북대학교 산학협력단 지능형 화재 감지 장치, 지능형 화재 감지 방법 및 기록 매체
CN110059723B (zh) * 2019-03-19 2021-01-05 北京工业大学 一种基于集成深度卷积神经网络的鲁棒烟雾检测方法
JP6815431B2 (ja) * 2019-03-26 2021-01-20 株式会社ダイヘン 塗装面検査装置、及びプログラム
JP7294848B2 (ja) * 2019-03-26 2023-06-20 Ｅｎｅｏｓ株式会社 監視装置、監視システムおよび監視方法
CN110070690B (zh) * 2019-05-13 2021-11-23 上海荷福人工智能科技（集团）有限公司 一种基于深度学习的智能消防分级预警方法及系统
CN110115819A (zh) * 2019-05-14 2019-08-13 上海荷福人工智能科技（集团）有限公司 基于人工智能的消防水炮定向预警及灭火方法、存储介质和消防水炮
KR102067994B1 (ko) * 2019-05-20 2020-01-20 한밭대학교 산학협력단 딥러닝을 이용한 임베디드 환경의 불꽃 감지 시스템
DE102019207711A1 (de) * 2019-05-27 2020-12-03 Robert Bosch Gmbh Verfahren und Vorrichtung zur Detektion von Rauch
KR102097294B1 (ko) * 2019-07-19 2020-04-06 (주)지와이네트웍스 화염 판단을 위한 신경망 모델의 학습 및 검출 방법, 및 이를 수행하는 장치
US11853863B2 (en) 2019-08-12 2023-12-26 Micron Technology, Inc. Predictive maintenance of automotive tires
US11361552B2 (en) * 2019-08-21 2022-06-14 Micron Technology, Inc. Security operations of parked vehicles
JP6664574B1 (ja) * 2019-09-06 2020-03-13 三菱電機株式会社 画像処理システムおよび画像処理方法
WO2021149208A1 (ja) * 2020-01-23 2021-07-29 日本電気株式会社 注意喚起システム及び注意喚起方法
CN111341059A (zh) * 2020-02-06 2020-06-26 河南理工大学 基于深度分离和目标感知的早期野火烟雾检测方法和装置
US11462089B1 (en) * 2020-02-24 2022-10-04 General Cybernation Group, Inc. Smoke auto-detection and control for industrial flares
CN111402540B (zh) * 2020-02-25 2021-08-24 王勇强 吸气式感烟火灾探测装置、方法及设备
JP7118322B2 (ja) * 2020-07-09 2022-08-15 三菱電機ビルソリューションズ株式会社 監視システム
WO2022067668A1 (zh) * 2020-09-30 2022-04-07 中国科学院深圳先进技术研究院 基于视频图像目标检测的火灾检测方法、系统、终端以及存储介质
CN112347878A (zh) * 2020-10-27 2021-02-09 中材邦业(杭州)智能技术有限公司 一种水泥烧成过程看火信号辨识处理方法及装置
KR102472366B1 (ko) * 2020-11-25 2022-11-30 주식회사 에이치에스정보기술 360도 감시카메라
US11908195B2 (en) 2020-12-01 2024-02-20 Devon Energy Corporation Systems, methods, and computer program products for object detection and analysis of an image
JP7226424B2 (ja) * 2020-12-14 2023-02-21 横河電機株式会社 異常温度検知装置、異常温度検知方法、及び異常温度検知プログラム
US11295131B1 (en) 2021-06-15 2022-04-05 Knoetik Solutions, Inc. Smoke and fire recognition, fire forecasting, and monitoring
KR102388292B1 (ko) * 2021-10-07 2022-04-26 대한민국(기상청 국립기상과학원장) 복사 물리 모수화 에뮬레이터의 불확실성을 보정하는 복사 물리 모수화 시스템 및 그의 동작 방법
KR102409057B1 (ko) * 2021-11-23 2022-06-16 주식회사 이린 인공지능(ai)을 이용한 소방시설 점검 시스템
KR102409061B1 (ko) * 2021-11-23 2022-06-16 주식회사 이린 인공지능(ai)을 이용한 화재 감시 시스템
CN114419558B (zh) * 2022-03-31 2022-07-05 华南理工大学 火灾视频图像识别方法、系统、计算机设备及存储介质
CN115861898A (zh) * 2022-12-27 2023-03-28 浙江创悦诚科技有限公司 一种应用于燃气场站火焰烟雾识别方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06325270A (ja) 1993-05-18 1994-11-25 Hochiki Corp 火災判定装置及びニューラルネットワークの学習方法
JPH07245757A (ja) 1994-03-07 1995-09-19 Mitsubishi Heavy Ind Ltd 可視カメラ・赤外線カメラ併用型異常検知装置
US20020026431A1 (en) * 1995-11-03 2002-02-28 Pedersen Robert D. Fire detection systems and methods
US20030214583A1 (en) * 2002-05-20 2003-11-20 Mokhtar Sadok Distinguishing between fire and non-fire conditions using cameras
JP2004064714A (ja) * 2002-07-31 2004-02-26 Advance Design Corp フレーム監視システム
US20050100193A1 (en) * 2003-11-07 2005-05-12 Axonx, Llc Smoke detection method and apparatus
JP2006268200A (ja) * 2005-03-22 2006-10-05 Nagasaki Univ 炎・ガス煙検出システムおよび炎・ガス煙検出方法
US20070188336A1 (en) * 2006-02-13 2007-08-16 Axonx, Llc Smoke detection method and apparatus
JP2008046916A (ja) 2006-08-17 2008-02-28 Nohmi Bosai Ltd 煙検出装置
US20080191886A1 (en) * 2006-12-12 2008-08-14 Industrial Technology Research Institute Flame detecting method and device
JP2010097412A (ja) * 2008-10-16 2010-04-30 Nohmi Bosai Ltd 煙検出装置
JP2010238028A (ja) 2009-03-31 2010-10-21 Nohmi Bosai Ltd 火災検出システム
US20110064264A1 (en) * 2008-05-08 2011-03-17 Utc Fire & Security System and method for video detection of smoke and flame
US8655010B2 (en) * 2008-06-23 2014-02-18 Utc Fire & Security Corporation Video-based system and method for fire detection
JP2014229035A (ja) * 2013-05-22 2014-12-08 ホーチキ株式会社 火災検知装置及び火災検知方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619619A (en) * 1993-03-11 1997-04-08 Kabushiki Kaisha Toshiba Information recognition system and control system using same
US5937077A (en) * 1996-04-25 1999-08-10 General Monitors, Incorporated Imaging flame detection system
US6035057A (en) * 1997-03-10 2000-03-07 Hoffman; Efrem H. Hierarchical data matrix pattern recognition and identification system
US20030025599A1 (en) * 2001-05-11 2003-02-06 Monroe David A. Method and apparatus for collecting, sending, archiving and retrieving motion video and still images and notification of detected events
JP2002032701A (ja) * 2000-07-14 2002-01-31 Kajima Corp 建築物の性能解析方法及び装置
US7365672B2 (en) * 2001-03-16 2008-04-29 Battelle Memorial Institute Detection of a concealed object
RU2003133287A (ru) * 2001-05-11 2005-05-27 Детектор Электроникс Корпорэйшн (Us) Способ и устройство обнаружения пламени путем формирования изображения пламени
US9052386B2 (en) * 2002-02-06 2015-06-09 Nice Systems, Ltd Method and apparatus for video frame sequence-based object tracking
US7505604B2 (en) * 2002-05-20 2009-03-17 Simmonds Precision Prodcuts, Inc. Method for detection and recognition of fog presence within an aircraft compartment using video images
JP4532915B2 (ja) * 2004-01-29 2010-08-25 キヤノン株式会社 パターン認識用学習方法、パターン認識用学習装置、画像入力装置、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
JP4169063B2 (ja) * 2006-04-06 2008-10-22 ソニー株式会社 データ処理装置、データ処理方法、及びプログラム
US20070276776A1 (en) * 2006-05-24 2007-11-29 Vigilant Technology Ltd. User trainable detection apparatus and method
US20100034420A1 (en) * 2007-01-16 2010-02-11 Utc Fire & Security Corporation System and method for video based fire detection
ES2410429T3 (es) * 2007-01-16 2013-07-01 Utc Fire&Security Corporation Sistema y método para detección por video de humo y llamas
US7876229B2 (en) * 2007-08-14 2011-01-25 Honeywell International Inc. Flare monitoring
US9117133B2 (en) * 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
US7969296B1 (en) * 2008-08-01 2011-06-28 Williams-Pyro, Inc. Method and system for fire detection
EP2178056B1 (en) * 2008-10-14 2012-02-01 Nohmi Bosai Ltd. Smoke detecting apparatus
TWI420423B (zh) * 2011-01-27 2013-12-21 Chang Jung Christian University Machine vision flame identification system and method
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US9002060B2 (en) * 2012-06-28 2015-04-07 International Business Machines Corporation Object retrieval in video data using complementary detectors
JP5369340B1 (ja) 2013-01-16 2013-12-18 強化土株式会社 地盤改良工法
CN106030608A (zh) * 2013-11-06 2016-10-12 理海大学 生物组织分析诊断系统与方法
US9613432B2 (en) * 2014-01-29 2017-04-04 Stmicroelectronics S.R.L. Fire detection system and method employing digital images processing
WO2016207875A1 (en) * 2015-06-22 2016-12-29 Photomyne Ltd. System and method for detecting objects in an image
US9818277B1 (en) * 2015-07-27 2017-11-14 Amazon Technologies, Inc. Systems and methods for smoke detection
US9946951B2 (en) * 2015-08-12 2018-04-17 International Business Machines Corporation Self-optimized object detection using online detector selection
WO2017125980A1 (ja) * 2016-01-21 2017-07-27 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06325270A (ja) 1993-05-18 1994-11-25 Hochiki Corp 火災判定装置及びニューラルネットワークの学習方法
JPH07245757A (ja) 1994-03-07 1995-09-19 Mitsubishi Heavy Ind Ltd 可視カメラ・赤外線カメラ併用型異常検知装置
US20020026431A1 (en) * 1995-11-03 2002-02-28 Pedersen Robert D. Fire detection systems and methods
US20030214583A1 (en) * 2002-05-20 2003-11-20 Mokhtar Sadok Distinguishing between fire and non-fire conditions using cameras
JP2004064714A (ja) * 2002-07-31 2004-02-26 Advance Design Corp フレーム監視システム
US20050100193A1 (en) * 2003-11-07 2005-05-12 Axonx, Llc Smoke detection method and apparatus
JP2006268200A (ja) * 2005-03-22 2006-10-05 Nagasaki Univ 炎・ガス煙検出システムおよび炎・ガス煙検出方法
US20070188336A1 (en) * 2006-02-13 2007-08-16 Axonx, Llc Smoke detection method and apparatus
JP2008046916A (ja) 2006-08-17 2008-02-28 Nohmi Bosai Ltd 煙検出装置
US20080191886A1 (en) * 2006-12-12 2008-08-14 Industrial Technology Research Institute Flame detecting method and device
US20110064264A1 (en) * 2008-05-08 2011-03-17 Utc Fire & Security System and method for video detection of smoke and flame
US8655010B2 (en) * 2008-06-23 2014-02-18 Utc Fire & Security Corporation Video-based system and method for fire detection
JP2010097412A (ja) * 2008-10-16 2010-04-30 Nohmi Bosai Ltd 煙検出装置
JP2010238028A (ja) 2009-03-31 2010-10-21 Nohmi Bosai Ltd 火災検出システム
JP2014229035A (ja) * 2013-05-22 2014-12-08 ホーチキ株式会社 火災検知装置及び火災検知方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3561788A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11080990B2 (en) 2019-08-05 2021-08-03 Factory Mutual Insurance Company Portable 360-degree video-based fire and smoke detector and wireless alerting system
CN112906463A (zh) * 2021-01-15 2021-06-04 上海东普信息科技有限公司 基于图像的火情检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP2018101416A (ja) 2018-06-28
EP3561788A4 (en) 2020-08-05
EP3561788A1 (en) 2019-10-30
JP6968681B2 (ja) 2021-11-17
US10854062B2 (en) 2020-12-01
EP3561788B1 (en) 2023-08-09
US20190279478A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
WO2018116966A1 (ja) 火災監視システム
WO2018079400A1 (ja) 火災監視システム
JP6867153B2 (ja) 異常監視システム
JP6943401B2 (ja) 火災監視システム
JP7072700B2 (ja) 監視システム
JP6942029B2 (ja) 火災監視システム
JP6857007B2 (ja) 火災監視システム
JP6849411B2 (ja) 監視システム
JP6968530B2 (ja) 火災監視システム
CN106650584B (zh) 火焰检测方法和系统
JPH10285581A (ja) 自動監視装置
CN107688793A (zh) 一种变电站室外火灾自动监测预警方法
CN109377713A (zh) 一种火灾预警方法及系统
Hossain et al. Wildfire flame and smoke detection using static image features and artificial neural network
KR20200052418A (ko) 딥러닝 기반의 자동 폭력 감지 시스템
CN113963301A (zh) 一种时空特征融合的视频火灾烟雾探测方法及系统
CN109410497A (zh) 一种基于深度学习的桥洞空间安全监测与报警系统
CN108363992A (zh) 一种基于机器学习监测视频图像烟雾的火情预警方法
KR102493652B1 (ko) 불꽃 및 연기 자동 감지 방법 및 이를 이용하는 확장 cnn 기반의 감시 시스템
Kumar et al. Computer vision-based early fire detection using machine learning
KR20210013865A (ko) 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템 및 방법
CN115798133A (zh) 一种火焰报警方法、装置、设备及存储介质
CN116052035A (zh) 一种基于卷积神经网络的电厂人员周界入侵检测方法
JP7328778B2 (ja) 画像処理装置及び画像処理プログラム
CN112507925A (zh) 一种基于慢特征分析的火灾检测方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17884017

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017884017

Country of ref document: EP

Effective date: 20190722