WO2019048604A1 - Automatische früherkennung von rauch, russ und feuer mit erhöhter erkennungssicherheit durch maschinelles lernen - Google Patents

Automatische früherkennung von rauch, russ und feuer mit erhöhter erkennungssicherheit durch maschinelles lernen Download PDF

Info

Publication number
WO2019048604A1
WO2019048604A1 PCT/EP2018/074119 EP2018074119W WO2019048604A1 WO 2019048604 A1 WO2019048604 A1 WO 2019048604A1 EP 2018074119 W EP2018074119 W EP 2018074119W WO 2019048604 A1 WO2019048604 A1 WO 2019048604A1
Authority
WO
WIPO (PCT)
Prior art keywords
smoke
detection algorithm
color
fire
soot
Prior art date
Application number
PCT/EP2018/074119
Other languages
English (en)
French (fr)
Inventor
Hans WELTERT
Original Assignee
Fcm Dienstleistungs Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fcm Dienstleistungs Ag filed Critical Fcm Dienstleistungs Ag
Publication of WO2019048604A1 publication Critical patent/WO2019048604A1/de

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/005—Fire alarms; Alarms responsive to explosion for forest fires, e.g. detecting fires spread over a large or outdoors area
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data

Definitions

  • the present invention relates to a method and a system for the automatic early detection of events such as smoke, soot and / or fire with increased detection reliability through machine learning and their use.
  • Forest fires devastate large areas of forest every year worldwide. Not infrequently, cultivated land and even humans, farm animals and their buildings are affected, which leads to major economic and ecological damage. Therefore, great efforts are made to limit forest fires as quickly as possible and possibly completely prevent. It has been shown that the probability of extinguishing the fire quickly and thus preventing a major fire is much higher if the forest fire can be fought within the first 20 minutes after the outbreak of the fire. This requires a very quick fire detection to have enough time to alert the firefighters and start firefighting on the spot.
  • EP 984 413 A2 describes an apparatus and a method for automatic detection of forest fires by means of an optical recording device rotatably mounted on a platform, an electronic evaluation unit and a transmitter or local alarm transmitter comprising a plurality of method steps.
  • a reference picture of a scene is taken, the horizon determined, the reference picture normalized, the picture area under the horizon determined, a non-linear filtering performed and the resulting reference picture stored.
  • at least one current picture is taken, a picture matching of the current picture with the reference picture is made and the picture normalized.
  • the current image is then compared with the reference image, a binarized differential image is generated, a cluster algorithm applied, probabilities for evaluating the clusters found and then triggered an alarm if the smoke probability for at least one cluster exceeds the predetermined threshold.
  • the reliability of the evaluation can be increased.
  • the error rate - and thus the triggered error alarms - especially due to moving objects like Animals, vehicles or trees moving in the wind relatively high. Accordingly, the recognition security is poor and does not meet modern standards.
  • DE 10 2009 020 709 A1 describes a method for monitoring and analyzing territories by means of a georeferenced multiplatform system, which is equipped with at least one optical black / white or color sensor and at least one further sensor and thus used for a multiplicity of different monitoring systems can.
  • the number of generated messages should be continuously optimized during operation, whereby influence of an operator is necessary.
  • the monitoring is not automated and not in real time.
  • a database comparison is mandatory in order to arrive at the effect to be achieved.
  • US-A-2015/030203 discloses a fire detection apparatus and method for detecting a fire.
  • the method includes activities for extracting a feature of at least one object into an input image using a value of a brightness difference between pixels of the input image or using an RGB value of the input image; Converting the extracted feature of the at least one object into an N-dimensional feature; and Running the Support Vector Machine (SVM) Machine learning on the N-dimensional feature of the at least one object.
  • SVM Support Vector Machine
  • the technology disclosed is based on surveillance systems such as Closed Circuit Television (CCTV), and thus on video technology. It distinguishes the brightness between image pixels and analyzes related histograms.
  • images obtained with video technology have a significantly reduced information density, which has a negative effect on the data quality and the evaluation of the data.
  • DE-B-10 2013 017 395 discloses a method for automated early forest fire detection by means of optical sensors and computer-aided image processing for automatic smoke detection.
  • smoke clouds are detected using the method steps i) generating images by means of at least one digital color camera and transmitting the images to a digital data processing medium and ii) defining membership functions in a fuzzy logic system to the classes "smoke", "forest” and " dark area »by evaluating a plurality of test images recorded by the color image camera or test sequences with respect to a saturation value (S) of the image pixels.
  • S saturation value
  • the preserving color information of the RGB space for each pixel by means of suitable functional transformation, for example, in a HSV space with color value H, saturation S and bright value H converted.
  • the resulting color images are then analyzed for smoke detection using fuzzy logic.
  • fuzzy logic is based on fuzzy sets, which are not defined as conventionally by objects that are elements of sets, but by their degree of belonging to that set. For this purpose membership functions are used, which assign each element a numerical value as degree of affiliation.
  • a disadvantage of all proposed methods and systems is that they have the required automatic early detection of events such as smoke, soot and fire with a very high probability of detection and a low number of false arms can not or only very insufficiently recognize.
  • the object of the present invention not only to obtain a fast, automatic and accurate location of a fire, but the detection reliability in the automatic forest fire detection in the early stages - and thus in particular smoke, soot and / or fire - even for large distances of 10 km or more and greatly reduce the error rate of the triggered error alarms.
  • smoke, soot and / or fire should be detected in the very early stages of an emerging forest fire, even if there are no visible signs to the human eye.
  • smoke, soot and / or fire for example, from passing bird swarms and / or clouds, from non-combustible places such as rocks, roads and / or waters, but also from other events, such as cars driving on streets with reflecting in the sunlight slices a very small number of false alarms can be distinguished.
  • the complex task could surprisingly be solved with a method for automatic early detection with increased recognition reliability of events such as smoke, soot and / or fire by means of a sensor unit (2) comprising at least one objective (4), a sensor (5), an electronic pixel A color channel mixing unit (6) and a data processing unit (3), comprising the step of exposing the sensor (5) during at least one exposure period (U) of a landscape sector to be monitored, wherein at least one data set obtained by the exposure
  • a smoke-color-optimized pixel area (DSo-s, DSi-s, DS2-S, DSn-s) is calculated and the obtained data set including at least one detection algorithm A on the Presence of smoke, soot and / or fire analyzed, and / or
  • a data set with color information in the pixel range (DSo-c) is calculated and the received data record is analyzed with the aid of at least one detection algorithm B on the color information contained in the data record,
  • the detection algorithm A comprises a calculation model A
  • the detection algorithm B comprises a calculation model B and / or a detection algorithm C comprises a calculation model C
  • the calculation models A, B and C represent machine learning calculation models and the detection algorithm C analyzes data records derived from time-shifted ones Exposures were obtained and analyzed using detection algorithms A and / or detection algorithms B.
  • a system (1) for automatic early detection with increased recognition reliability and precise localization of events such as smoke, soot and / or fire comprising a sensor unit (2), a data processing unit (3) and an electronic pixel color channel Mixing unit (6) for processing data sets received from the color sensor (5-1), wherein preferably each color channel of the color sensor (5-1) can be mixed in separately, characterized in that on the data processing unit (3) at least one software for machine learning, in particular a software for machine learning using Boosted Combined Model Classification, a parameter-free method for estimating probability density functions, in particular a nearest neighbor classification comprising a k nearest neighbor algorithm, and / or a Gaussian mixing model ( GMM) analysis is stored.
  • Boosted Combined Model Classification Boosted Combined Model Classification
  • GMM Gaussian mixing model
  • the process according to the invention, the system (1) according to the invention and the use according to the invention offer many advantages.
  • the machine learning allows independent learning, for example, in terms of appearance, the behavior resp. the dynamics, the colors, and the structures, such as the propagation and turbulence of events to be investigated, especially smoke, soot, and fire.
  • on-road cars can be distinguished with sunlight reflecting disks of smoke, soot and / or fire. This allows for an ever better distinction of "smoke” and “non-smoke” whereby the number of false alarms approaches zero, or even zero, over time. This allows a much faster fire fighting, since a false alarm does not have to be verified first.
  • the method according to the invention and the system according to the invention are also extended with a 3D terrain model, it is possible to automatically generate 3D terrain models of very large areas and with a terrain depth of 40 km and more - even in very hilly areas with many mountains and valleys , This astonishingly allows the localization of fire sources quickly and with very high accuracy of, for example, 10 m or less even in hilly terrain. This also applies if a fire source is located in an area not visible to the sensor unit, such as in valleys and / or on the back of hills and mountains.
  • the use of the 3D terrain model also makes it possible to define areas in the terrain and to recognize where fires are permitted.
  • smoke, soot and / or fire can be detected more automatically and without the intervention of a person in the early stages compared to conventional systems with greater probability and low error rate both day, night and in difficult lighting conditions - up to distances of 40 km distance or more! This can automatically trigger an alarm at a very early stage of an emerging fire, drastically increasing the likelihood of extinguishing the fire early.
  • the low error rate allows a high degree of automation with only a few error messages. Due to the plausibility check used in the method according to the invention, smoke, soot and / or fire, for example, can already be detected in the early phase of an emerging forest fire passing bird flocks and / or clouds, but also non-combustible places such as rocks, roads and / or waters are distinguished.
  • the inventive method and the inventive system (1) are used for automatic early detection of events such as smoke, soot and / or fire with greatly increased detection reliability, exact location of a fire and a significantly reduced number of error messages.
  • early detection according to the invention means the detection of smoke, soot and / or fire at such an early stage, in which the human eye can still see no smoke, soot and / or fire.
  • the method according to the invention is carried out by means of at least one sensor unit (2), a data processing unit (3) and an electronic pixel color channel mixing unit (6).
  • the sensor unit (2) comprises at least one objective (4) and at least one sensor (5), wherein a sensor (5) comprises a color sensor (5-1). All components can be arranged together in one unit or in spatially different locations.
  • the data processing unit (3) can be arranged separately from the sensor unit (2), wherein data can be exchanged between the sensor unit (2) and the data processing unit (3).
  • one part of the data processing unit (3) may be arranged at the sensor unit (2) and another part of the data processing unit (3) at another location.
  • the electronic pixel color channel mixing unit (6) is preferably located at the sensor unit (2) and / or at the data processing unit (3), since data sets obtained in the sensor unit (2) by exposure of the sensor (5) , to the electronic pixel color channel mixing unit (6) and on to the data processing unit (3).
  • the method comprises the step of exposing the sensor (5) during one or more exposure periods (U) of one to be monitored Landscape sector. From at least one record obtained by the exposure
  • a smoke color-optimized pixel region (DSO s, DSi s, DS2 S, DS n - s) is calculated and the data obtained with the inclusion of at least one detection algorithm A for the presence of
  • the detection algorithm A comprises a calculation model A, the detection algorithm B a calculation model B and / or a detection algorithm C a calculation model C.
  • the calculation models A, B and C represent calculation models for machine learning and the detection algorithm C analyzes data records which are from temporal offset exposures were obtained and analyzed using detection algorithms A and / or detection algorithms B.
  • a first step i) the sensor (5) is exposed for at least one exposure period (Lo) by a landscape sector to be monitored, wherein per exposure period (Lo) a data set for at least one smoke color-optimized pixel - Range (DSo-s) is calculated and the obtained data set DSo-s is analyzed with the inclusion of at least one detection algorithm A on the presence of smoke, soot and / or fire.
  • This step is repeated until a DSo-s record indicates the presence of smoke, soot and / or fire, ie there is a possibility of smoke, soot and / or fire being detected.
  • the sensor unit (2) with the sensor (5) monitor at least one other landscape sector by repeating step i).
  • the detection algorithm A very particularly preferably comprises, for machine learning, a calculation model A for the smoke color optimized area and for checking the presence of smoke, soot and / or fire.
  • the calculation model A is suitable for machine learning and for the analysis of the detection algorithm A.
  • DSo-s smoke color-optimized pixel area
  • the DSo-s, DSi-s, DS2-S, DSn-s datasets also include certain color components, such as blue and / or red, although sometimes only from gray tones or - after transformation into a visible image - from a black and white Picture is the speech.
  • a further step ii) as soon as an analyzed data set for a smoke color-optimized area (DSo-s) indicates the presence of smoke, soot and / or fire (Fo-s?),
  • the raw data set with the color pixels is used , or a section thereof, calculate a data set with color information in the pixel area (DSo-c) and analyzed with the inclusion of at least one further detection algorithm B.
  • the raw data set with the color pixels can be the same raw data set, on the basis of which the smoke color-optimized area (DSo-s) indicates the presence of smoke, soot and / or fire (Fo-s?).
  • the detection algorithm B preferably comprises a calculation model B for the color range and to verify the presence of non-combustible objects and / or events such as clouds, shadows, forest, trees and / or leaves, buildings, roads, waters, snow and / or glaciers, rocks and / or traffic.
  • the calculation model B is suitable for machine learning and for the analysis of the detection algorithm B.
  • the color information of the observed land sector is included.
  • flapping leaves of a tree - which was identified as a possible smoke, soot and / or fire in the record of the smoke color optimized area (DSo-s) - can be identified as a false alarm.
  • the method continues with step i).
  • step iii) if the analyzed data set with color information in the pixel area (DSo-c) and / or the data set of the smoke color-optimized area (DSo-s) show signs of smoke, soot and / or fire ( Fo-c ?, Fo-s?), The calibrated 3D terrain model (3D-GM) included in the analysis (F3D-GM?).
  • a next step iv) if the analyzed color information record (DSo-c) continues to indicate the presence of smoke, soot and / or fire (Fo-c?),
  • the landscape sector, or a section thereof - that is, in particular or the cutouts with reference to smoke, soot and / or fire - exposed during at least two further, staggered, exposure periods (Li, L2, L n ) and the resulting raw data records for data sets for the smoke color optimized area (DSi calculated s, DS2 S, DS n -s), and preferably analyzed with the involvement of at least one a detection algorithm.
  • step v) the data sets (for the smoke color-optimized range DSi s, DS2 S, DS n-s) obtained in step iii) of at least two temporally staggered exposures with the inclusion of at least one other detection algorithm C are analyzed ( calc (t)).
  • further inputs may be included in the calculation, such as weather data (WD) and / or specific inputs of an operator, ie a supervisor, such as interactive adaptation to the forest fire index in case of especially increased forest fire risk.
  • the detection algorithm C very particularly preferably comprises a calculation model C for the color range and for checking the presence of non-combustible objects and / or events, such as clouds, shadows, forest, trees and / or leaves, buildings, roads, waters, snow and / or glaciers, rocks and / or traffic.
  • the calculation model C is suitable for machine learning and for the analysis of the detection algorithm C and makes it possible, inter alia, to detect smoke in the cans under high-pressure influence.
  • At least two further time-shifted data sets for the smoke color-optimized pixel region (DSi s, DS2 S, DS n -s) is created and the inclusion of at least one detection algorithm A for the presence of smoke, soot and / or fire are analyzed, temporally offset information of the same landscape sector, or a section thereof, provided.
  • the time data sets are put in the presence of smoke, soot and / or fire analyzed (calc (t)).
  • the corresponding data sets (DSi-s, DS2s, DSn-s) change as a function of time. Because the difference of the time-shifted data sets DSi -s, DS2-S, DS n -s of a shining in the sun rock wall shows a completely different pattern than is the case with smoke, soot and / or fire.
  • the terms "data for at least one smoke color-optimized pixel area (DSo-s)" and “record DSo-s” all records DSo-s, DSi-s, DS2-S, DS n -s and DSO s, which arise before, during and after the analysis with at least one detection algorithm and / or a calculation model.
  • the data sets for the smoke color-optimized pixel area are preferably created with an electronic pixel-color channel mixing unit (6) and the data processing unit (3) and optionally in the data processing unit (3) stored.
  • DSo-s smoke color-optimized pixel area
  • the DSo-s, DSi-s, DS2-S, DSn-s datasets also include certain color components, such as blue and / or red, although sometimes only from gray tones or - after transformation into a visible image - from a black and white Picture is the speech.
  • the color information of the observed land sector is included.
  • flapping leaves of a tree - which was identified as a possible smoke, soot and / or fire in the record of the smoke color optimized area (DSo-s) - can be identified as a false alarm.
  • the method continues with step i).
  • At least two further time-shifted data sets for the smoke color-optimized pixel region (DSi s, DS2 S, DS n -s) is created and the inclusion of at least one detection algorithm A for the presence of smoke, soot and / or fire are analyzed, temporally offset information of the same landscape sector, or a section thereof, provided.
  • the time data sets are put in the presence of smoke, soot and / or fire analyzed (calc (t)).
  • the corresponding data sets (DSi-s, DS2s, DSn-s) change as a function of time. And the difference between the staggered DSi-s, DS2-S, DS n -s records of a rock face glistening in the sun is quite different than smoke, soot, and / or fire. Comparing pixels of different data sets and checking whether the previous conclusion, ie whether a hint If the presence of smoke, soot and / or fire is present, is correct, according to the invention plausibility check is called.
  • An exemplary plausibility check comprises comparing pixels from at least one data record - in particular at least one raw data record - with color information (DSo-c), ie a data record for at least one color image, with data records - in particular raw data records - for at least one smoke color. optimized area (DSo-s), ie a data set suitable for generating so-called black-and-white images.
  • This plausibility check is preferably carried out in the data processing unit (3) and in real time and by means of algorithms. It allows a large reduction of false detections, which leads to a significant decrease of false alarms.
  • the sensor (5) with the at least two further time-shifted exposure periods (Li, l_2, L n ) is exposed at least once each at a time interval of at least 1 second, preferably at least 2 seconds.
  • the time interval of the exposures is generally sufficient for 10 seconds or less, in particular 5 seconds or less.
  • the thus obtained raw data sets are calculated on a data set for the smoke color-optimized range (DSi s, DS2 S, DS n -s), and preferably analyzed with the involvement of at least one A detection algorithm. Due to the temporal spacing of the images, important conclusions can be drawn about the dynamics of the area to be observed. Because two data sets of smoke, soot and / or fire with said time interval are not identical - this in contrast to records of grayish rock.
  • the machine learning takes place - using at least one calculation model A, B and / or C - using Boosted Combined Model Classification.
  • the Boosted Combined Model Classification is preferred i) a parameter-free method for estimating probability density functions, in particular a nearest neighbor classification comprising a k-nearest neighbor algorithm (k-nearest-neighbor algorithm (KNN)).
  • KNN k-nearest-neighbor algorithm
  • This KNN algorithm is preferably used for the evaluation of static events with the inclusion of cartographic data; and or
  • GMM Gaussian Mix Model
  • the detection algorithm A is a contrast detection algorithm and / or a brightness detection algorithm
  • the detection algorithm B is a color detection algorithm, and / or
  • the detection algorithm C is a contrast detection algorithm, a brightness detection algorithm, a smoke detection dynamics detection algorithm, an expansion detection algorithm for analyzing the propagation of smoke and / or soot, and / or a structure detection algorithm for analyzing the smoke Structure and direction of the smoke and / or soot, wherein the detection algorithm C preferably the data sets DSi-s, DS2-S and DSn-s in interdependence, ie interactive, analyzed.
  • the machine learning and analysis calculation model includes
  • Detection Algorithm A at least one calculation model A for the smoke-colored optinn being considered.
  • Presence of smoke, soot and / or fire at least one calculation model B for the color range and for checking the presence of non-combustible objects and / or events, such as clouds, shadows, forest, trees and / or leaves, buildings, roads, bodies of water, snow and / or glaciers, rocks and or
  • Detection algorithm C at least one calculation model C for weather data, geography and / or the smoke character, such as the movement, expansion and / or structure of the smoke.
  • current weather data such as solar radiation, temperature, wind direction, wind force, humidity, soil moisture, precipitation and / or lightning; and or
  • the weather data are preferably weather data from the landscape sector to be monitored, ie surveillance sector, or an adjacent area. Suitable weather data can be retrieved online at weather stations, for example.
  • the inclusion of weather data (WD) further reduces the number of false alarms. After a long period of rain and / or heavy rain, it is unlikely that a fire will break out. In case of doubt, the possible source of fire can be further monitored by providing further data collected and evaluated.
  • the use of weather data - in particular local weather data - in the inventive method is particularly helpful for the localization of a fire with the inclusion of the 3D terrain model (3D-GM), if this in a not visible to the sensor unit area as in valleys and / or on the back of hills and mountains is located.
  • a calibrated 3D terrain model (3D model) is used for the analysis of at least one detection algorithm A, B and / or C, and / or for the analysis of at least one calculation model A, B and / or C.
  • GM calibrated 3D terrain model
  • the 3D terrain model extends only to a distant and visible from the camera area.
  • Generation of a 3D Terrain Model for subsequent real-time image or pixel analysis, for use in a method for the automatic early detection of fires with increased detection reliability of events such as smoke, soot and / or fire as well as the triggering of an alarm in the event of an incident is not mentioned still suggested.
  • the calibrated 3D Terrain Model (3D-GM) is advantageously obtained by:
  • the sensor (5) is georeferenced, and thus the height, the coordinate position and the inclination and azimuth angle of the sensor (5) for the respective surveillance sector is determined exactly,
  • the 2D terrain calibrated raw record of the surveillance sector is computed with a 3D GIS terrain record of the same site using appropriate algorithms, thereby obtaining a calibrated 3D terrain model (3D-GM) in which the pixels of the sensor ( 5) correlate with the region of the 3D GIS terrain data set that is visible from the location of the sensor (5) and, if necessary, stores the calibrated 3D terrain model (3D-GM) in the data processing unit (3).
  • the data evaluation in the data processing unit (3) is preferably carried out in real time, i. in a few seconds or less.
  • no influence of a person i. an operator, in particular for a comparison of the data necessary.
  • the defined criteria for the event to be observed such as smoke, soot and / or fire, are given, an alarm is triggered, and no database synchronization is necessary.
  • a coordinate network is calculated over the surveillance sector and the individual coordinate areas of the surveillance sector thus obtained are assigned to the individual pixels or pixel areas of the sensor (5).
  • the coordinate regions of the surveillance sector and / or the number of pixels of the sensor (5) are advantageously selected such that the individual coordinate regions of the surveillance sector do not exceed an area of 100 ⁇ 100 m, in particular an area of 30 ⁇ 30 m ,
  • the area represents a two-dimensional area of a cartographic map.
  • 3D-GM 3D terrain model
  • static, combustible objects such as forest or trees - and thus leaves of trees, as well as non-combustible objects such as buildings, roads, water, rocks, traffic, snow and / or glaciers are detected. If so If an indication of smoke, soot and / or fire comes from a non-flammable object, this indicates a false alarm and may be further investigated or ignored.
  • information about the areas will be located behind a hill range or a mountain range.
  • control points of the 2D terrain calibrated raw dataset are matched with the control points of the 3D GIS terrain dataset by means of suitable algorithms when calculating the 3D terrain model (3D-GM).
  • objects and buildings such as buildings, roads, transmission towers, wells, summit crosses, free-standing trees and / or prominent rocks are preferably selected.
  • the clearing and calibration of the 3D terrain model (3D-GM) with control points significantly increases the agreement with the data set created by the sensor (5).
  • DSo-s smoke color-optimized pixel areas
  • DSi-s smoke color-optimized pixel areas
  • DS2-S pixel information color set
  • DSn-c pixel information color set
  • the data sets for the smoke color-optimized pixel regions are also advantageously obtained by determining the values of the sensor during the exposure periods (, Li, L2, L n ) ) obtained raw data sets with color pixels based on the electronic pixel color channel mixing unit (6) in records for smoke color-optimized pixel areas (DSo-s, DSi-s, DS2-S, DSn-s) are converted by increasing the intensity of at least one color channel, and reducing the intensity of at least two color channels to determine the resulting blends of the smoke color-optimized pixel areas Represent gray tone-like colors, wherein preferably the intensity of a color channel at least twice the intensity of the two color channels having the lowest intensity. In other words, if, for example, the three RGB color channels are used, the color channels are changed such that one of the RGB color channels has at least twice the intensity of the other two color channels-measured individually.
  • the analysis of the data sets in the method according to the invention and in the system according to the invention preferably takes place with the pixels obtained by the sensor (5), and thus the raw data sets.
  • the raw data the data of the sensor contents, i. the photodiodes present in the sensor (5) are used before they are changed, for example, by means of an electronic pixel color channel mixing unit (6).
  • this does not require a "density" of the event for the detection of smoke, soot and / or fire.
  • the event need not be visible to the human eye and still be detected, allowing much earlier detection.
  • the sensor unit (2) The sensor unit (2)
  • the sensor unit (2) comprises at least one objective (4) and at least one sensor (5), wherein at least one sensor (5) is a color sensor (5-1) with which data sets in the gray area, and thus in the smoke color optimized pixel area, to be obtained.
  • lens (4) commercially available lenses for video, film and / or cameras can be used.
  • the focal length of the lens is typically selected according to the terrain to be monitored. If shorter distances and / or a landscape sector are monitored at a large angle, wide-angle lenses are generally suitable. However, if longer distances are to be monitored in typically small angle landscape sectors, telephoto lenses are usually suitable. The person skilled in the art knows which lens he can select for the particular landscape sector to be monitored.
  • the sensor unit (2) preferably comprises a diaphragm (7), wherein the diaphragm (7) before and / or after the lens (4) - in relation to the incident light and the sensor (5) - can be arranged.
  • Suitable diaphragms (7) are known to the person skilled in the art and are commercially available.
  • the exposure time is advantageously controlled by suitable electronic control of the exposure time of the sensor (5).
  • the aperture of the diaphragm (7) in the exposure periods (Lo, Li, L2, L n ) for detecting the raw data sets has a value of f / 4 or smaller, preferably f / 5.6 or smaller, in particular f / 8 or smaller.
  • the aperture can be designed so that it can be varied, or that it is fixed. Through a small aperture, a higher depth of field is achieved, which is beneficial in many cases.
  • the sensor unit (2) advantageously has no filter for wavelengths in the infrared (IR) and / or near-infrared (NIR) range.
  • the Sensor unit (2) preferably a lens (4) with diaphragm (7), but without NIR and / or IR filters.
  • the sensor unit (2) typically comprises at least one optical filter different from an NIR and / or IR filter, for example a spectral filter. Suitable filters are known in the art and commercially available.
  • the sensor unit (2) comprises at least one sensor (5), wherein the sensor (5) is a color sensor (5-1) and an optionally further sensor (5) may be a black and white sensor.
  • Suitable sensors (5) are known to the person skilled in the art and are commercially available.
  • Preferred sensors (5) comprise CCD sensors, in particular an at least 2-dimensional CCD sensor, wherein CCD stands for “Charged Coupled Device”, CMOS sensors, CMOS stands for “Complementary Metal-Oxide Semiconductor”, Active Pixel Sensors (APS), line scanner sensors and / or multispectral sensors.
  • sensors (5) with 1000 ⁇ 1000 pixels, preferably with at least 1500 ⁇ 1500 pixels, in particular with at least 2000 ⁇ 2000 pixels, can be used.
  • the data sets obtained in the color sensor (5-1) during exposure are preferably in the form of at least 3 different color channels, in particular by means of RGB color channels, from the sensor (5) to the electronic pixel color channel mixing unit (6) and then to the data processing unit (3 ) forwarded.
  • the records for the Rauchmaschine- optimized pixel regions usually with the involvement of the pixel color channel mixing unit (6), the data Processing unit (3) and at least one detection algorithm C calculated.
  • the data sets obtained in the sensor (5), in particular in the color sensor (5-1), by the exposure to light (hv) during the exposure time are suitable for a color image and / or a smoke color optimized image, i. a so-called black and white picture to get.
  • the data sets obtained in the sensor (5) are typically forwarded as raw data to the data processing unit (3), wherein the forwarding preferably takes place first via the electronic pixel color channel mixing unit (6) and then to the data processing unit (3).
  • the data processing unit (3) The data processing unit (3)
  • the data processing unit (3) of the method according to the invention and of the system (1) according to the invention is used for processing the data, in particular for processing the data sets measured at the sensor (5).
  • the data processing unit (3) can comprise one or more data processing units, the latter being able to be arranged at the same location or at different locations.
  • the data processing unit (3) - or a part thereof - can be mounted next to the sensor unit (2) or it can be located at a different location from the sensor unit (2).
  • the data processing unit (3) advantageously comprises at least one processor, at least one data communication module, in particular an Internet and / or cable interface, an antenna, a transceiver, a Satellite connection and / or a telephone interface, at least one power source, in particular a power grid connection, a battery, a battery, a photovoltaic module, a wind generator and / or a fuel cell.
  • the data communication module is preferably suitable for receiving data, in particular data records, from the sensor unit (2) and / or the electronic pixel color channel mixing unit (6) and possibly sending it back again.
  • Suitable data processing units (3) are known to the person skilled in the art and are commercially available.
  • the electronic pixel color channel mixing unit (6) of the method according to the invention and the system (1) according to the invention receives data, in particular data records, from the sensor unit (2) and forwards them to the data processing unit (3) after processing. It can also receive data from the data processing unit (3) and, if appropriate, forward it to the sensor unit (2), for example the sensor (5).
  • the electronic pixel color channel mixing unit (6) also called color mixing and amplifying unit (6), of the method according to the invention and of the system (1) according to the invention is used in particular for processing the sensor unit (2), preferably the sensor (5). , in particular from the color sensor (5-1), received data sets.
  • the processing is preferably carried out to smoke color-optimized data sets in the pixel region (DSO s, DSi s, DS2 S, DS n -s). These are analyzed with the inclusion of at least one detection algorithm A and by means of the data processing unit (3) for the presence of smoke, soot and / or fire.
  • the electronic pixel color channel mixing unit (6) is advantageously stored as software on a data carrier.
  • the data carrier can form part of the data processing unit (3) and / or a separate chip, which can be arranged, for example, in the sensor unit (2).
  • the electronic pixel color channel mixing unit (6) can preferably receive and / or process separately each color channel of the raw data sets received by the sensor (5) for each color channel.
  • Suitable electronic color mixing and amplifier units (6) are known in the art and commercially available.
  • the inventive system (1) is preferably used in the inventive method for the automatic early detection of events such as smoke, soot and / or fire with increased recognition reliability - and preferably exact localization of a fire - and allows the detection of light of the monitored landscape sector, collecting the data sets received thereby as well as the electronic processing of the data records in order to trigger an alarm if necessary.
  • the system (1) comprises a sensor unit (2), the data processing unit (3) and the electronic pixel color channel mixing unit (6) for processing data sets received from the sensor (5), in particular from the color sensor (5-1) , wherein preferably each color channel of the color sensor (5-1) can be added separately.
  • the sensor unit (2) of the system (1) according to the invention preferably comprises i) at least one objective (4) with diaphragm (7) and in particular without NIR and / or IR filters, ii) at least one sensor (5), wherein at least one sensor (5) is a color sensor (5-1) and optionally another sensor (5) is a black-and-white sensor, and iii) optionally at least one of a NIR and / or IR filter different optical filter.
  • the sensor unit (2) comprises a black-and-white sensor.
  • At least one computing model A, B and / or C for machine learning is also a parameter-free method for estimating probability density functions, in particular a following, on the data processing unit (3) of the system (1) according to the invention.
  • Neighbor Classification comprising a k-nearest neighbor algorithm, and / or a Gaussian Mixture Model (GMM) analysis stored.
  • GMM Gaussian Mixture Model
  • a calibrated 3D terrain model (3D-GM) is stored on the data processing unit (3) of the landscape sector to be monitored, wherein the 3D terrain model (3D-GM) is obtained by offsetting the 2D terrain calibrated raw data record of the surveillance sector with a 3D GIS terrain data set with suitable control points of the same area, and optionally weather data (WD) to be monitored landscape sector, stored on the data processing unit (3) and / or online retrieved.
  • the aperture (7) of the objective (4) has an aperture with a value of f / 4 or smaller, preferably of f / 5.6 or smaller, in particular of f / 8 or smaller, -
  • the exposure time is at least 0.2 seconds, preferably at least 0.5 seconds, in particular at least 1 second.
  • the exposure time is usually not more than 10 seconds, especially not more than 5 seconds.
  • the exposure time is preferably controlled electronically, and / or
  • the sensor unit (2) is arranged on a rotatable device and a landscape sector of an angle of 2 to 30 °, preferably an angle of 5 to 20 ° covers, wherein the sensor unit (2) on the rotatable device preferably up to 360 ° is rotatable.
  • the terrain visible by the sensor unit (2) can be monitored up to a distance of about 40 km.
  • the terrain to be monitored is typically divided by the rotatable device into different landscape sectors to be monitored, which the sensor unit (2) examines in typically defined order for the event to be examined.
  • a landscape sector advantageously covers an angle of 2 to 30 °, preferably an angle of 5 to 20 °.
  • a particularly preferred use includes the automatic early detection of events such as smoke, soot, fire and / or fires such as forest fires, the reduction of false alarms, especially in forest fire detection systems that are non-combustible locations such as rocks, Roads and / or waters, and / or non-combustible events such as cloud shadows, clouds of dust, bird swarms, air pollution, driving and / or flying objects; increasing the reliability of detection of events; as well as the geological monitoring of geologically critical regions, in particular in case of risk of a rock and / or ice break, a rock fall and / or a landslide.
  • Fig. 1 shows an exemplary embodiment of the sensor unit (2) of the inventive method and the inventive
  • a system (1) comprising an objective (4), an optional diaphragm (7), a sensor (5), an electronic pixel color channel mixing unit (6) and a data processing unit (3).
  • the data records can be converted beforehand into images (P) visible to the human eye, typically comprising at least one smoke color-optimized pixel region (DSo-s, DSi-s, DS 2 -s, DS n -s). a picture with predominantly gray tones, also called black and white image according to the invention, as well as from the data set with color information in the pixel area (DSo-c) a color image is generated.
  • images (P) visible to the human eye typically comprising at least one smoke color-optimized pixel region (DSo-s, DSi-s, DS 2 -s, DS n -s).
  • DSo-s, DSi-s, DS 2 -s, DS n -s typically comprising at least one smoke color-optimized pixel region (DSo-s, DSi-s, DS 2 -s, DS n -s).
  • the senor (5) which is a color sensor (5-1), is exposed to light (hv) by a landscape sector to be monitored during at least one exposure period (U).
  • a data set for at least one smoke color-optimized pixel area (DSo-s) is calculated by means of the electronic pixel color channel mixing unit (6) and the data processing unit (3) (not shown) and the resulting data set DSo-s.
  • the resulting data set is also shown with DSo-s.
  • a detection algorithm A advantageously a contrast detection algorithm and / or a brightness detection algorithm is used.
  • the detection algorithm A comprises a computation model A for machine learning (ML), wherein the computation model A is preferably suitable for the smoke color-optimized region and for checking the presence of smoke, soot and / or fire.
  • ML machine learning
  • corresponding events such as smoke, soot, fire and / or clouds can be better and better characterized with each analysis cycle.
  • Machine learning preferably takes place by means of Boosted Combined Model Classification.
  • the next step is to use the raw data set with the color pixels or a section of the raw Data set - in particular that section which indicates the presence of smoke, soot and / or fire - a data set with color information in the pixel area (DSo-c) calculated and analyzed with the inclusion of at least one further detection algorithm B, the resulting data set also represented by DSo-c.
  • the detection algorithm B a color detection algorithm is preferably used.
  • the detection algorithm B includes a machine learning (ML) computation model B (not shown), wherein the computational model B preferably includes the color range and checking for the presence of non-combustible objects and / or events, such as clouds, shadows, forests , Trees and / or leaves, buildings, roads, waters, snow and / or glaciers, rocks and / or traffic. In this way, corresponding events such as vehicles, forests, trees, waters, etc. can be better and better characterized with each analysis cycle.
  • Machine learning preferably takes place by means of Boosted Combined Model Classification.
  • the calibrated SD terrain model (3D-GM) is included in the analysis (F3D-GM?).
  • evidence of smoke, soot and / or fire in the middle of a lake or glacier can be excluded.
  • the landscape sector, or a section thereof, ie the section in question - during at least two other, staggered, exposure periods (Li, L2, L n ) expose and the resulting raw data records for data sets for the calculated smoke color-optimized range (DSi s, DS2 S, DS n -s), and preferably analyzed with the involvement of at least one a detection algorithm.
  • the thus-obtained and analyzed records Rauchmaschine- optimized range (DSi s, DS2 S, DS n -s) of at least two temporally staggered exposures will analyze below with inclusion of at least one other detection algorithm C (calc (t)).
  • the detection algorithm C is preferably a contrast detection algorithm, a brightness detection algorithm, a smoke detection dynamics detection algorithm, an expansion detection algorithm for analyzing smoke propagation and / or soot, and / or a structure detection algorithm for analysis the structure and the Direction of smoke and / or soot used. In this case, one or more detection algorithms can be used.
  • the or the detection algorithms C preferably the data sets DSi s, DS2 S and DS n -s in mutual dependence, that is interactively analyzed.
  • data records can optionally current weather data (WD), such as sunlight, temperature, wind direction, wind speed, humidity, soil moisture, precipitation, and / or lightning; and / or accumulated weather data (WD) of the last days or weeks, such as in particular temperature, humidity, soil moisture and / or precipitation are consulted.
  • WD current weather data
  • WD accumulated weather data
  • (calc (t)) of data records can give the operator an optional input for analysis and calculation, for example, interactive adjusting the calculation parameters to the forest fire index at especially increased risk of forest fires.
  • the detection algorithm C comprises a machine learning (ML) calculation model C, wherein the calculation model C comprises at least one weather data, geography and / or smoke character calculation model C, such as the movement, expansion and / or structure of the smoke.
  • ML machine learning
  • the calculation model C comprises at least one weather data, geography and / or smoke character calculation model C, such as the movement, expansion and / or structure of the smoke.
  • smoke under high-pressure influence in the canals can be detected with great certainty.
  • Machine learning preferably takes place by means of Boosted Combined Model Classification.
  • the analyzed record continues to indicate the presence of smoke, soot and / or fire (F13-S?)
  • An operator O is notified and / or an alarm is triggered. It can optionally based on at least one record for the smoke color-optimized pixel region (DSO s, DSi s, DS2 S, DS n -s) and / or the data with color information in the pixel region (DSO c) for the human eye visible image (P) can be calculated.

Landscapes

  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Fire-Detection Mechanisms (AREA)
  • Image Analysis (AREA)

Abstract

Die vorliegende Erfindung bezieht sich auf ein Verfahren zur automatischen Früherkennung mit erhöhter Erkennungssicherheit von Ereignissen wie Rauch, Russ und/oder Feuer wobei ein Sensor (5) während mindestens einer Belichtungsperiode von einem zu überwachenden Landschaftssektor belichtet wird. Aus mindestens einem durch die Belichtung erhaltenen Datensatz wird ein Rauchfarben-optimierten Pixel-Bereich und/oder ein Datensatz mit Farbinformation im Pixel-Bereich berechnet und die erhaltenen Datensätze unter Einbezug von mindestens einem Detektionsalgorithmus analysiert. Die Detektionsalgorithmen umfassen mindestens ein Berechnungsmodell für das maschinelle Lernen. Beansprucht wird auch ein System zur automatischen Früherkennung von Ereignissen wie Rauch, Russ und/oder Feuer mit erhöhter Erkennungssicherheit gemäss dem erfindungsgemässen Verfahren sowie die Verwendung des Verfahrens und des Systems.

Description

Automatische Früherkennung von Rauch, Russ und Feuer mit erhöhter Erkennungssicherheit durch maschinelles Lernen
Die vorliegende Erfindung bezieht sich auf ein Verfahren und ein System zur automatischen Früherkennung von Ereignissen wie Rauch, Russ und/oder Feuer mit erhöhter Erkennungssicherheit durch maschinelles Lernen sowie deren Verwendung. Waldbrände verwüsten weltweit jedes Jahr grosse Flächen an Wald. Nicht selten sind auch Kulturland und sogar Menschen, Nutztiere sowie deren Gebäude betroffen, was zu grossen ökonomischen und ökologischen Schäden führt. Daher werden grosse Anstrengungen unternommen, Waldbrände möglichst schnell einzuschränken und womöglich ganz zu verhindern. Dabei hat es sich gezeigt, dass die Wahrscheinlichkeit den Brand schnell zu löschen und somit ein grösseres Feuer zu verhindern, wesentlich höher ist, wenn der Waldbrand schon innerhalb den ersten 20 Minuten nach Ausbruch des Feuers bekämpft werden kann. Dies erfordert eine sehr schnelle Branddetektion, um genügend Zeit zu haben, die Brandbekämpfung zu alarmieren und mit der Brandbekämpfung vor Ort zu beginnen.
Die wohl älteste Methode um Waldbrände zu erkennen sind menschliche Beobachtungsposten. Allerdings ist es für das menschliche Auge nicht immer möglich, Rauch - das Zeichen für ein beginnendes Feuer - auch auf längere Distanzen und bei schlechter Sicht treffsicher schon im Frühstadium zu erkennen. Auch deshalb wurden verschiedene Methoden zur - idealerweise automatischen - Früherkennung von Rauch, Russ und Feuer vorgeschlagen. In einem Ansatz werden Videoüberwachungskameras - auch CCTV- Kameras genannt, wobei CCTV für Closed Circuit Television steht - eingesetzt und die erhaltenen Bilder mittel Bildverarbeitungssoftware bearbeitet. Solche Systeme sind jedoch nur für kurze Distanzen einsetzbar. Selbst Langdistanz-Videoüberwachungskameras können lediglich Distanzen von wenigen Kilometern abdecken und weisen in diesem Bereich eine mangelnde Auflösung auf. Somit sind selbst Langdistanz-Videoüberwachungskameras wenig geeignet für eine schnelle Früherkennung von Rauch, Russ und/oder Feuer - insbesondere bei weiten Distanzen, schwierigem Gelände und/oder komplexen Sichtverhältnissen.
Um diese Nachteile zu beheben wurden verschiedenste Verfahren und Vorrichtungen vorgeschlagen. So beschreibt beispielsweise die EP 984 413 A2 eine Vorrichtung und ein Verfahren zur automatischen Wald- branderkennung mittels auf einer Plattform drehbar angeordneten optischen Aufnahmeeinrichtung, einer elektronischen Auswerteeinheit und einem Sender oder lokalem Alarmgeber umfassend eine Vielzahl von Verfahrensschritte. So wird zunächst ein Referenzbild einer Szene aufgenommen, der Horizont bestimmt, das Referenzbild normiert, der Bildbereich unter dem Horizont bestimmt, eine nichtlineare Filterung durchgeführt und das erhaltene Referenzbild gespeichert. Anschliessend wird mindestens ein aktuelles Bild aufgenommen, ein Bildmatching des aktuellen Bildes mit dem Referenzbild vorgenommen und das Bild normiert. Das aktuelle Bild wird anschliessend mit dem Referenzbild verglichen, ein binarisiertes Differenzbild erzeugt, ein Clusteralgorithmus angewandt, Wahrscheinlichkeiten zur Bewertung der gefundenen Cluster gebildet und anschliessend ein Alarm ausgelöst, falls die Rauchwahrscheinlichkeit für mindestens einen Cluster die vorgegebene Schwelle überschreitet. Mit dem vorgeschlagenen Verfahren kann die Zuverlässigkeit der Auswertung erhöht werden. Allerdings ist die Fehlerquote - und somit die ausgelösten Fehleralarme - insbesondere aufgrund sich bewegenden Objekten wie Tieren, Fahrzeugen oder von sich im Wind bewegenden Bäumen relativ hoch. Dementsprechend ist die Erkennungssicherheit mangelhaft und genügt modernen Ansprüchen nicht. Zudem ist es oft schwierig bis unmöglich, aufgrund der vorhandenen 2D-Bilder bei einer Rauchentwicklung eine exakte Ortsbestimmung des Brandherds durchzuführen. Wenn ein Alarm ausgelöst werden muss, ist dies jedoch äusserst wichtig, damit die Brandbekämpfung schnell am richtigen Ort ist und dadurch keine Zeit verloren geht. Die DE 10 2009 020 709 A1 beschreibt ein Verfahren zur Überwachung und Analyse von Territorien mittels eines georeferenzierten Multiplattform- systems, welches mit mindestens einem optischen schwarz/weiss oder Farbsensor sowie mindestens einem weiteren Sensor bestückt ist und damit für eine Vielzahl von unterschiedlichen Überwachungssystemen eingesetzt werden kann. Mit dem Verfahren soll während dem Betrieb kontinuierlich die Anzahl der generierten Meldungen optimiert werden, wobei dazu Einflussnahme einer Bedienungsperson notwendig ist. Demzufolge erfolgt die Überwachung nicht automatisiert und nicht in Echtzeit. Auch ist ein Datenbankabgleich zwingend um zu dem zu erzielenden Effekt zu gelangen. Zwar wird erwähnt, dass zukünftige selbstlernende Analyseverfahren angewendet werden könnten, wobei jedoch nicht offengelegt ist, mit welchen zukünftigen Auswertungen ein solcher Selbstlerneffekt erzielt werden sollte.
Die US-A-2015/030203 offenbart eine Feuerdetektionsvorrichtung und ein Verfahren zum Detektieren eines Feuers bereitgestellt. Das Verfahren umfasst Tätigkeiten zum Extrahieren eines Merkmals von mindestens einem Objekt in ein Eingabebild unter Verwendung eines Werts einer Helligkeitsdifferenz zwischen Pixeln des Eingabebilds oder unter Verwendung eines RGB-Werts des Eingabebildes; Umwandeln des extrahierten Merkmals des mindestens einen Objekts in ein N-dimensionales Merkmal; und Ausführen des Support-Vector-Machine (SVM) Maschinenlernens auf dem N-dimensionalen Merkmal des mindestens einen Objekts. Die offenbarte Technologie basiert auf Überwachungssystemen wie «Closed-Circuit Television (CCTV)», und somit auf Video-Technologie. Sie unterscheidet die Helligkeit zwischen Bildpixeln und analysiert dazugehörige Histogramme. Mit Videotechnologie erhaltene Bilder weisen zudem eine deutlich reduzierte Informationsdichte auf, was sich negativ auf die Datenqualität und die Auswertung der Daten auswirkt. Dementsprechend können nur Waldbrände in kurzer Distanz erkannt werden. Zudem müssen sie eine gewisse Grösse erreicht haben. Um Rauch, Russ und/oder Feuer zu detektieren, wird zudem eine sehr hohe Dichte, auch Density genannt, der Rauchwolke benötigt. Somit kann der Rauch, Russ und/oder das Feuer erst zu einem späten Zeitpunkt detektiert werden. Da nur ein Faktor, d.h. die Helligkeit, untersucht wird, ist sie zudem stark fehleranfällig, d.h. eine grosse Anzahl Fehlalarmen wird erzeugt. Die geforderte automatische Früh- erkennung ist jedoch mit der offenbarten Vorrichtung und Verfahren nicht möglich. Zudem wird weder eine elektronische Pixel-Farbkanal-Mischeinheit noch ein Datensatz für einen Rauchfarben-optimierten Pixel-Bereich offenbart oder benötigt. Die DE-B-10 2013 017 395 offenbart ein Verfahren zur automatisierten Waldbrandfrüherkennung mittels optischer Sensoren und Computer gestützter Bildverarbeitung zur automatischen Rauchdetektion. Dabei werden Rauchwolken detektiert mit den Verfahrungsschritten i) Erzeugen von Bildern mittels mindestens einer digitalen Farbbildkamera und übermitteln der Bilder an ein digitales Datenverarbeitungsmedium und ii) Definieren von Zugehörigkeitsfunktionen in einem Fuzzy-Logik-System zu den Klassen «Rauch», «Wald» und «dunkle Fläche» durch Auswertung einer Vielzahl von durch die Farbbildkamera aufgenommener Testbildern bzw. Testsequenzen in Bezug auf einen Sättigungswert (S) der Bildpixel. Die beanspruchte Technologie basiert auf Bildverarbeitung mit anschliessender Auswertung der Farbbilder. Dabei wird die erhaltende Farbinformation des RGB-Raums für jeden Pixel mittels geeigneter Funktional-Transformation beispielsweise in einen HSV-Raum mit Farbwert H, Sättigung S und Hellwert H umgewandelt. Die so erhaltenden Farbbilder werden anschliessend auf die Detektion von Rauch unter Verwendung der Fuzzy-Logik analysiert. Letztere basiert auf unscharfen Mengen, welche nicht wie herkömmlich durch Objekte definiert, die Elemente der Mengen sind, sondern über den Grad ihrer Zugehörigkeit zu dieser Menge. Hierzu werden Zugehörigkeitsfunktionen verwendet, welche jedem Element einen numerischen Wert als Zugehörigkeitsgrad zuordnen. Durch die Auswertung der Farbbilder des HSV-Raums werden fertige Bilder miteinander verglichen und deren Unterschiede in Bezug auf deren Helligkeit und Sättigung ausgewertet. Indem im Voraus als Referenz Testbilder bzw. Testsequenzen erstellt werden, welche dann im Brandfall mit dem aktuellen Bild verglichen wird, ist sehr fehleranfällig, da sich das Bild eines gleichen Landschaftsausschnitts aufgrund unterschiedlicher Lichtbedingungen oft sehr schnell ändert. Zudem weisen die generierten Bilder - im Vergleich zu Information basierend auf einzelnen Pixeln - eine stark reduzierte Informationsdichte auf. Dies wirkt sich negativ auf die Datenqualität und die Auswertung der Daten aus. Auch wird für eine korrekte Analyse eine sehr hohe Dichte, auch Density genannt, der Rauchwolke benötigt. Somit kann der Rauch, Russ und/oder das Feuer erst zu einem so späten Zeitpunkt detektiert werden, wenn eine Rauchwolke sichtbar ist. Die geforderte Früherkennung ist jedoch mit dem offenbarten Verfahren und der Vorrichtung nicht möglich. Zudem erzeugt das Verfahren eine grosse Anzahl an Fehlalarmen. Auch wird weder eine elektronische Pixel-Farbkanal-Mischeinheit noch ein Datensatz für einen Rauchfarben- optimierten Pixel-Bereich offenbart oder benötigt.
Nachteilig an allen vorgeschlagenen Verfahren und Systemen ist, dass sie die geforderte automatische Früherkennung von Ereignissen wie Rauch, Russ und Feuer mit sehr grosser Detektionswahrscheinlichkeit und einer geringen Anzahl von Fehlarmen nicht oder nur sehr ungenügend erkennen können.
Somit ist die Aufgabe der vorliegenden Erfindung, nicht nur eine schnelle, automatische und exakte Ortsbestimmung eines Brandherds zu erhalten, sondern die Erkennungssicherheit bei der automatischen Waldbranderkennung im Frühstadium - und somit insbesondere von Rauch, Russ und/oder Feuer - auch für grosse Distanzen von 10 km oder mehr deutlich zu erhöhen und die Fehlerquote der ausgelösten Fehleralarme stark zu reduzieren. So soll beispielsweise Rauch, Russ und/oder Feuer schon in der sehr frühen Frühphase eines entstehenden Waldbrands detektiert werden können, auch wenn noch gar keine für das menschliche Auge sichtbare Anzeichen vorhanden sind. Zudem sollen Rauch, Russ und/oder Feuer beispielsweise von vorbeifliegende Vogelschwärmen und/oder Wolken, von nicht-brennbaren Orten wie Felsen, Strassen und/oder Gewässer, aber auch von weiteren Ereignissen, wie beispielsweise auf Strassen fahrende Autos mit im Sonnenlicht reflektierenden Scheiben mit einer sehr geringer Anzahl an Fehlalarmen unterschieden werden können. Die komplexe Aufgabe konnte überraschenderweise gelöst werden mit einem Verfahren zur automatischen Früherkennung mit erhöhter Erkennungssicherheit von Ereignissen wie Rauch, Russ und/oder Feuer mittels einer Sensoreinheit (2) umfassend mindestens ein Objektiv (4), einen Sensor (5), eine elektronische Pixel-Farbkanal-Mischeinheit (6) sowie eine Datenverarbeitungseinheit (3), umfassend den Schritt des Belichtens des Sensors (5) während mindestens einer Belichtungsperiode (U) von einem zu überwachenden Landschaftssektor, wobei aus mindestens einem durch die Belichtung erhaltenen Datensatz
- ein Rauchfarben-optimierten Pixel-Bereich (DSo-s, DSi-s, DS2-S, DSn-s) berechnet und den erhaltenen Datensatz unter Einbezug von mindestens einem Detektionsalgorithmus A auf die Anwesenheit von Rauch, Russ und/oder Feuer analysiert, und/oder
- ein Datensatz mit Farbinformation im Pixel-Bereich (DSo-c) berechnet und den erhaltenen Datensatz unter Einbezug von mindestens einem Detektionsalgorithmus B auf die im Datensatz enthaltene Farbinformation analysiert wird,
wobei der Detektionsalgorithmus A ein Berechnungsmodell A, der Detektionsalgorithmus B ein Berechnungsmodell B und/oder ein Detektionsalgorithmus C ein Berechnungsmodell C umfasst, wobei die Berechnungsmodelle A, B und C Berechnungsmodelle für das maschinelle Lernen darstellen und der Detektionsalgorithmus C Datensätze analysiert, welche aus zeitlich versetzten Belichtungen erhalten wurden und anhand Detektionsalgorithmen A und/oder Detektionsalgorithmen B analysiert wurden.
Beansprucht wird auch ein System (1 ) zur automatischen Früherkennung mit erhöhter Erkennungssicherheit und genauer Ortsbestimmung von Ereignissen wie Rauch, Russ und/oder Feuer gemäss dem erfindungsgemässen Verfahren, umfassend eine Sensoreinheit (2), eine Datenverarbeitungseinheit (3) sowie eine elektronische Pixel-Farbkanal- Mischeinheit (6) zur Verarbeitung von vom Farbsensor (5-1 ) erhaltenen Datensätze, wobei bevorzugt jeder Farbkanal des Farbsensors (5-1 ) separat zugemischt werden kann, umfasst, dadurch gekennzeichnet, dass auf der Datenverarbeitungseinheit (3) mindestens eine Software zum maschinellen Lernen, insbesondere eine Software zum maschinellen Lernen mittels Boosted Combined Model Classification, eine parameterfreie Methode zur Schätzung von Wahrscheinlichkeitsdichtefunktionen, insbesondere eine Nächste-Nachbarn-Klassifikation umfassend einen k-nächste-Nachbarn- Algorithmus, und/oder eine Gaussches-Mischungs-Modell (GMM) Analyse gespeichert ist. Zudem wird auch Verwendung des erfindungsgemässen Verfahrens und des erfindungsgemässen Systems (1 ) zur automatischen Früherkennung von Ereignissen wie Rauch, Russ, Feuer und/oder Bränden wie Waldbrände; zur Reduktion von Fehlalarmen, insbesondere bei Waldbranderkennungs- Systemen, die von nicht-brennbaren Orten wie Felsen, Strassen und/oder Gewässer, und/oder von nicht-brennbaren Ereignissen wie Wolkenschatten, Staubwolken, Vogelschwärmen, Luftverschmutzung sowie von Fahr- und/oder Flugobjekten herrühren können; zur Erhöhung der Erkennungssicherheit von Ereignissen; sowie zur geologischen Überwachung von geologisch kritischen Regionen, insbesondere bei Gefahr eines Fels- und/oder Eisabbruchs, eines Felssturzes und/oder eines Erdrutsches beansprucht.
Das erfindungsgemässe Verfahren, das erfindungsgemässe System (1 ) und die erfindungsgemässe Verwendung bieten überraschenderweise viele Vorteile. Das maschinelle Lernen ermöglicht ein selbständiges Lernen beispielsweise in Bezug auf das Erscheinungsbild, das Verhalten resp. die Dynamik, die Farben sowie die Strukturen wie die Ausbreitung und Turbulenzen von zu untersuchenden Ereignissen, insbesondere von Rauch, Russ und Feuer. Auch können auf Strassen fahrende Autos mit im Sonnenlicht reflektierenden Scheiben von Rauch, Russ und/oder Feuer unterschieden werden. Dies erlaubt eine immer bessere Unterscheidung von „Rauch" und„Nicht-Rauch", wodurch die Anzahl von Fehlalarmen mit der Zeit gegen null geht, oder sogar gleich null ist. Dies erlaubt eine wesentlich schnellere Brandbekämpfung, da ein Fehlalarm nicht zuerst verifiziert werden muss. Zudem wird die Feuerwehr nicht mehr unnötig alarmiert. Überraschenderweise ist es anhand des maschinellen Lernens auch möglich, Rauch in einem Talkessel bei Hochdruckeinfluss zu detektieren. Dies ist mit herkömmlichen Methoden nicht möglich, da sich ein solcher Rauch von im Talkessel gefangenen Wolken nicht unterscheiden lässt. Durch die im erfindungsgemässen Verfahren wird zur Erkennung von Russ, Rauch und/oder Feuer überraschenderweise keine sogenannte «Density» des Ereignisses benötigt. Das heisst, das Ereignis muss für das menschliche Auge nicht sichtbar sein und kann trotzdem detektiert werden. Dies erlaubt eine wesentlich frühere Detektion als bei anderen, bekannten Systemen, was für die Brandbekämpfung von wesentlichem Vorteil ist.
Wird das erfindungsgemässe Verfahren und das erfindungsgemässe System überdies mit einem 3D-Geländemodell erweitert, ist es möglich, 3D- Geländemodelle von sehr grossen Gebieten und mit einer Geländetiefe von 40 km und mehr automatisiert zu generieren - auch bei sehr hügeligen Gebieten mit vielen Bergen und Tälern. Dies erlaubt erstaunlicherweise die Lokalisation von Brandherden schnell und mit sehr hoher Genauigkeit von beispielsweise 10 m oder weniger auch in hügeligem Gelände. Dies gilt auch wenn sich ein Brandherd in einem für die Sensoreinheit nicht sichtbaren Bereich wie in Tälern und/oder auf der Rückseite von Hügeln und Bergen befindet. Der Einsatz des 3D-Geländemodells erlaubt es auch, im Gelände Bereiche zu definieren und zu erkennen, in welchen Feuer erlaubt sind. Auch können überraschenderweise Rauch, Russ und/oder Feuer im Vergleich zu herkömmlichen Systemen mit grösserer Wahrscheinlichkeit und niedriger Fehlerquote sowohl bei Tag, bei Nacht als auch bei schwierigen Lichtverhältnissen automatisch und ohne Einwirken einer Person im Frühstadium detektiert werden - und dies bis zu Distanzen von 40 km Entfernung oder mehr! Dadurch kann in einer sehr frühen Phase eines entstehenden Feuers automatisch ein Alarm ausgelöst werden, wodurch die Wahrscheinlichkeit, das Feuer frühzeitig zu löschen, drastisch erhöht wird. Die niedrige Fehlerquote erlaubt einen hohen Automatisationsgrad mit nur wenigen Fehlermeldungen. Aufgrund der im erfindungsgemässen Verfahren eingesetzten Plausibilitätsprüfung kann beispielsweise Rauch, Russ und/oder Feuer schon in der Frühphase eines entstehenden Waldbrands von vorbeifliegenden Vogelschwärmen und/oder Wolken, aber auch von nichtbrennbaren Orten wie Felsen, Strassen und/oder Gewässer unterschieden werden. Zudem können überraschenderweise auch bisher nicht- unterscheidbare Ereignisse wie Fahrzeuge mit reflektierender Windschutzscheibe und das Flattern von Birkenblättern im Wind detektiert werden, wodurch sich die Anzahl Fehlermeldungen weiter reduziert. Dies ist nicht zuletzt darauf zurückzuführen, dass sowohl Datensätze mit Farbinformation im Pixel-Bereich (DSo-c), anhand welcher Farbbilder generiert werden können, als auch Datensätze mit Rauchfarben-optimierten Bereichen (DSo-s, DSi-s, DS2-S, DSn-s), anhand welcher Schwarz-Weiss- Bilder generiert werden, welche miteinander verglichen werden. Dieser Vergleich wird gemäss vorliegender Erfindung auch Plausibilitätsprüfung genannt. Denn insbesondere die erhaltenen Graustufen der Datensätze mit Rauchfarben-optimierten Bereichen (DSo-s, DSi-s, DS2-S, DSn-s) liefern zusätzlich wertvolle Hinweise zur Dynamik und Ausbreitung von Rauch, Russ und/oder Feuer. Und die Datensätze mit Farbinformation im Pixel-Bereich (DSo-c) liefern wertvolle Hinweise auf Ereignisse mit Farben, welche nicht auf Rauch, Russ und/oder Feuer hinweisen, und somit ausgeschieden werden können. Datensätze der Rauchfarben-optimierten Bereiche (DSo-s, DSi-s, DS2-S, DSn-s) werden manchmal auch Schwarz-Weiss-Bilder genannt.. Durch die Einbindung von maschinellem Lernen kann die Fehlerquote weiter drastisch reduziert oder sogar auf null herabgesenkt werden.
Indem das erfindungsgemässe Verfahren Datensätze im Pixel-Bereich DSo- s, DSi-s, DS2-S, DSn-s sowie DSo-c analysiert und sogar auch Datensätze auswerten kann, obwohl das menschliche Auge keine sichtbaren Anzeichen von Rauch, Russ und/oder Feuer wahrnimmt, erhöht sich die Sensitivität des Systems überraschenderweise erheblich. Das erfindungsgemässe Verfahren und das erfindungsgemässe System (1 ) dienen zur automatischen Früherkennung von Ereignissen wie Rauch, Russ und/oder Feuer mit stark erhöhter Erkennungssicherheit, exakter Ortsbestimmung eines Brandherds und einer deutlich reduzierten Anzahl an Fehlermeldungen. Dabei wird unter dem Begriff Früherkennung erfindungsgemass die Erkennung von Rauch, Russ und/oder Feuer in einem so frühen Stadium verstanden, bei welchem das menschliche Auge noch keinen Rauch, Russ und/oder Feuer sehen kann.
Das Verfahren
Das erfindungsgemässe Verfahren wird mittels mindestens einer Sensoreinheit (2), einer Datenverarbeitungseinheit (3) und einer elektronischen Pixel-Farbkanal-Mischeinheit (6) durchgeführt. Die Sensoreinheit (2) umfasst mindestens ein Objektiv (4) und mindestens einen Sensor (5), wobei ein Sensor (5) ein Farbsensor (5-1 ) umfasst. Es können alle Komponenten zusammen in einer Einheit angeordnet sein oder an räumlich verschiedenen Orten. So kann beispielsweise die Datenverarbeitungseinheit (3) von der Sensoreinheit (2) getrennt angeordnet sein, wobei zwischen der Sensoreinheit (2) und der Daten- Verarbeitungseinheit (3) Daten ausgetauscht werden können. Auch kann ein Teil der Datenverarbeitungseinheit (3) bei der Sensoreinheit (2) und ein anderer Teil der Datenverarbeitungseinheit (3) an einem anderen Ort angeordnet sein. Die elektronische Pixel-Farbkanal-Mischeinheit (6) befindet sich bevorzugt bei der Sensoreinheit (2) und/oder bei der Daten- Verarbeitungseinheit (3), da Datensätze, die in der Sensoreinheit (2) durch Belichtung des Sensors (5) erhalten werden, zur elektronischen Pixel- Farbkanal-Mischeinheit (6) und weiter zur Datenverarbeitungseinheit (3) gesendet werden. Das Verfahren umfasst den Schritt des Belichtens des Sensors (5) während mindestens einer Belichtungsperiode (U) von einem zu überwachenden Landschaftssektor. Aus mindestens einem durch die Belichtung erhaltenen Datensatz wird
- ein Rauchfarben-optimierten Pixel-Bereich (DSo-s, DSi-s, DS2-S, DSn- s) berechnet und den erhaltenen Datensatz unter Einbezug von mindestens einem Detektionsalgorithmus A auf die Anwesenheit von
Rauch, Russ und/oder Feuer analysiert, und/oder
- ein Datensatz mit Farbinformation im Pixel-Bereich (DSo-c) berechnet und den erhaltenen Datensatz unter Einbezug von mindestens einem Detektionsalgorithmus B auf die im Datensatz enthaltene Farbinformation analysiert wird.
Dabei umfasst der Detektionsalgorithmus A ein Berechnungsmodell A, der Detektionsalgorithmus B ein Berechnungsmodell B und/oder ein Detektionsalgorithmus C ein Berechnungsmodell C. Dabei stellen die Berechnungsmodelle A, B und C Berechnungsmodelle für das maschinelle Lernen dar und der Detektionsalgorithmus C analysiert Datensätze, welche aus zeitlich versetzten Belichtungen erhalten wurden und anhand Detektionsalgorithmen A und/oder Detektionsalgorithmen B analysiert wurden. In einer ganz besonders bevorzugten Ausführungsform des erfindungsgemassen Verfahren wird in einem ersten Schritt i) der Sensor (5) während mindestens einer Belichtungsperiode (Lo) von einem zu überwachenden Landschaftssektor belichtet, wobei pro Belichtungsperiode (Lo) einen Datensatz für mindestens einen Rauchfarben-optimierten Pixel- Bereich (DSo-s) berechnet und der erhaltene Datensatz DSo-s unter Einbezug von mindestens einem Detektionsalgorithmus A auf die Anwesenheit von Rauch, Russ und/oder Feuer analysiert wird. Dieser Schritt wird so oft wiederholt, bis ein Datensatz DSo-s auf die Anwesenheit von Rauch, Russ und/oder Feuer hinweist, d.h. dass die Möglichkeit besteht, dass Rauch, Russ und/oder Feuer detektiert wird. Zwischen den einzelnen Wiederholungsschritten kann die Sensoreinheit (2) mit dem Sensor (5) mindestens einen weiteren Landschaftssektor überwachen, indem der Schritt i) wiederholt wird. Dabei umfasst der Detektionsalgorithmus A ganz besonders bevorzugt für das maschinelle Lernen ein Berechnungsmodell A für den Rauchfarben-optimierten Bereich und zur Überprüfung der Anwesenheit von Rauch, Russ und/oder Feuer. Dabei ist das Berechnungsmodell A für das maschinelle Lernen und zur Analyse des Detektionsalgorithmus A geeignet.
Indem ein Datensatz für den Rauchfarben-optimierten Pixel-Bereich (DSo-s) mittels der elektronische Pixel-Farbkanal-Mischeinheit (6) und der Datenverarbeitungseinheit (3), erstellt und unter Einbezug von mindestens einem Detektionsalgorithmus A auf die Anwesenheit von Rauch, Russ und/oder Feuer analysiert wird, können äusserst feine Unterschiede der einzelnen Pixel festgestellt werden, wodurch die Detektionsempfindlichkeit drastisch erhöht wird. Dabei umfassen die Datensätze DSo-s, DSi-s, DS2-S, DSn-s auch gewisse Farbanteile wie blau und/oder rot, obwohl manchmal auch nur von Grautönen oder - nach der Transformation in ein sichtbares Bild - von einem Schwarz-Weiss Bild die Rede ist. In einem weiteren Schritt ii) wird, sobald ein analysierter Datensatz für einen Rauchfarben-optimierten Bereich (DSo-s) auf die Anwesenheit von Rauch, Russ und/oder Feuer (Fo-s?) hinweist, anhand des Roh-Datensatzes mit den Farbpixeln, oder einen Ausschnitt davon, einen Datensatz mit Farbinformation im Pixel-Bereich (DSo-c) berechnen und unter Einbezug von mindestens einem weiteren Detektionsalgorithmus B analysiert. Dabei kann der Roh-Datensatzes mit den Farbpixeln der gleiche Roh-Datensatz sein, anhand welchem der Rauchfarben-optimierte Bereich (DSo-s) auf die Anwesenheit von Rauch, Russ und/oder Feuer (Fo-s?) hinweist. Alternativ kann mittels einer erneuten Belichtungsperiode ein neuer, zeitlich naher, Datensatz mit Farbinformation im Pixel-Bereich (DSo-c) erstellt werden. Der Detektionsalgorithmus B umfasst bevorzugt ein Berechnungsmodell B für den Farbbereich und zur Überprüfung der Anwesenheit von nicht-brennbaren Objekten und/oder Ereignissen, wie beispielsweise Wolken, Schatten, Wald, Bäume und/oder Blätter, Gebäude, Strassen, Gewässer, Schnee und/oder Gletscher, Felsen und/oder Verkehr. Dabei ist das Berechnungsmodell B für das maschinelle Lernen und zur Analyse des Detektionsalgorithmus B geeignet.
Indem ein Datensatz mit Farbinformation im Pixel-Bereich (DSo-c) erstellt und unter Einbezug von mindestens einem Detektionsalgorithmus B auf die Anwesenheit von Rauch, Russ und/oder Feuer analysiert wird, wird die Farbinformation des beobachteten Land Schaftssektors miteinbezogen. Dadurch können beispielsweise flatternde Blätter eines Baums - welche beim Datensatz des Rauchfarben-optimierten Bereichs (DSo-s) als möglicher Rauch, Russ und/oder Feuer identifiziert wurde - als Fehlalarm identifiziert. Demzufolge wird das Verfahren mit Schritt i) weitergeführt.
In einem weiteren, optionalen Schritt iii) wird, falls der analysierte Datensatz mit Farbinformation im Pixel-Bereich (DSo-c) und/oder der Datensatz des Rauchfarben-optimierten Bereichs (DSo-s) Anzeichen für Rauch, Russ und/oder Feuer (Fo-c?, Fo-s?) aufweist, das kalibrierte 3D-Geländemodell (3D-GM) mit in die Analyse (F3D-GM?) einbezogen.
In einem nächsten Schritt iv) wird, falls der analysierte Datensatz mit Farbinformation (DSo-c) weiterhin auf die Anwesenheit von Rauch, Russ und/oder Feuer (Fo-c?) hinweist, der Landschaftssektor, oder einen Ausschnitt davon - d.h. insbesondere den oder die Ausschnitte mit Hinweis auf Rauch, Russ und/oder Feuer - während mindestens zwei weiteren, zeitlich versetzten, Belichtungsperioden (Li, L2, Ln) belichtet und die dadurch erhaltenen Roh-Datensätze zu Datensätzen für den Rauchfarben- optimierten Bereich (DSi-s, DS2-S, DSn-s) berechnet und bevorzugt unter Einbezug von mindestens einem Detektionsalgorithmus A analysiert. In einem weiteren Schritt v) werden die unter Schritt iii) erhaltenen Datensätze für den Rauchfarben-optimierten Bereich (DSi-s, DS2-S, DSn-s) von mindestens zwei zeitlich versetzten Belichtungen unter Einbezug von mindestens einem weiteren Detektionsalgorithmus C analysiert (calc (t)). Hierzu können optional noch weitere Eingaben in die Berechnung einfliessen, wie beispielsweise Wetterdaten (WD) und/oder spezifische Inputs eines Operators, d.h. einer Überwachungsperson, - wie interaktives Anpassen an den Waldbrand-Index bei speziell erhöhter Waldbrandgefahr. Dabei umfasst der Detektionsalgorithmus C ganz besonders bevorzugt ein Berechnungsmodell C für den Farbbereich und zur Überprüfung der Anwesenheit von nicht-brennbaren Objekten und/oder Ereignissen, wie beispielsweise Wolken, Schatten, Wald, Bäume und/oder Blätter, Gebäude, Strassen, Gewässer, Schnee und/oder Gletscher, Felsen und/oder Verkehr. Dabei ist das Berechnungsmodell C für das maschinelle Lernen und zur Analyse des Detektionsalgorithmus C geeignet und ermöglicht u.a. das Detektieren von Rauch in Talkesseln bei Hochdruckeinfluss.
Indem mindestens zwei weitere, zeitlich versetzte Datensätze für den Rauchfarben-optimierten Pixel-Bereich (DSi-s, DS2-S, DSn-s) erstellt und unter Einbezug von mindestens einem Detektionsalgorithmus A auf die Anwesenheit von Rauch, Russ und/oder Feuer analysiert werden, werden zeitlich versetzte Informationen des gleichen Landschaftssektors, oder eines Ausschnitts davon, bereitgestellt. Durch die Analyse der zeitlich versetzten Datensätze DSi-s, DS2-S, DSn-s mittels mindestens einem Detektionsalgorithmus C werden die zeitversetzen Datensätze auf die Anwesenheit von Rauch, Russ und/oder Feuer analysiert (calc (t)). Denn bei Rauch, Russ und/oder Feuer verändern sich die entsprechenden Datensätze (DSi-s, DS2- s, DSn-s) in Funktion der Zeit. Denn der Unterschied der zeitlich versetzten Datensätze DSi-s, DS2-S, DSn-s einer in der Sonne glänzenden Felswand weist ein ganz anderes Muster auf als dies bei Rauch, Russ und/oder Feuer der Fall ist.
In einem weiteren - typischerweise letzten - Schritt vi) wird - falls der analysierte Datensatz weiterhin auf die Anwesenheit von Rauch, Russ und/oder Feuer (F13-S?) hinweist - ein Operator O benachrichtigt und/oder direkt ein Alarm ausgelöst, wobei gegebenenfalls anhand mindestens einem Datensatz für den Rauchfarben-optimierten Pixel-Bereich (DSo-s, DSi-s, DS2- s, DSn-s) und/oder dem Datensatz mit Farbinformation im Pixel-Bereich (DSo- c) ein für das menschliche Auge sichtbares Bild (P) berechnet wird.
Erfindungsgemäss wird unter den Begriffen «Datensatz für mindestens einen Rauchfarben-optimierten Pixel-Bereich (DSo-s)» und «Datensatz DSo-s» alle Datensätze DSo-s, DSi-s, DS2-S, DSn-s und DSo-s verstanden, die vor, während und nach der Analyse mit mindestens einem Detektionsalgorithmen und/oder einem Berechnungsmodell entstehen.
Die Datensätze für den Rauchfarben-optimierten Pixel-Bereich (DSo-s, DSi-s, DS2-S, DSn-s) werden bevorzugt mit einer elektronische Pixel-Farbkanal- Mischeinheit (6) und der Datenverarbeitungseinheit (3) erstellt und gegebenenfalls in der Datenverarbeitungseinheit (3) gespeichert.
Die genannten Schritte i) bis v) werden bevorzugt in der aufgeführten Reihenfolge durchgeführt, wobei auch eine andere Abfolge denkbar ist.
Indem ein Datensatz für den Rauchfarben-optimierten Pixel-Bereich (DSo-s) mittels der elektronische Pixel-Farbkanal-Mischeinheit (6) und der Datenverarbeitungseinheit (3) erstellt und unter Einbezug von mindestens einem Detektionsalgorithmus A auf die Anwesenheit von Rauch, Russ und/oder Feuer analysiert wird, können äusserst feine Unterschiede der einzelnen Pixel festgestellt werden, wodurch die Detektionsempfindlichkeit drastisch erhöht wird. Dabei umfassen die Datensätze DSo-s, DSi-s, DS2-S, DSn-s auch gewisse Farbanteile wie blau und/oder rot, obwohl manchmal auch nur von Grautönen oder - nach der Transformation in ein sichtbares Bild - von einem Schwarz-Weiss Bild die Rede ist.
Indem ein Datensatz mit Farbinformation im Pixel-Bereich (DSo-c) erstellt und unter Einbezug von mindestens einem Detektionsalgorithmus B auf die Anwesenheit von Rauch, Russ und/oder Feuer analysiert wird, wird die Farbinformation des beobachteten Land Schaftssektors miteinbezogen. Dadurch können beispielsweise flatternde Blätter eines Baums - welche beim Datensatz des Rauchfarben-optimierten Bereichs (DSo-s) als möglicher Rauch, Russ und/oder Feuer identifiziert wurde - als Fehlalarm identifiziert. Demzufolge wird das Verfahren mit Schritt i) weitergeführt. Indem mindestens zwei weitere, zeitlich versetzte Datensätze für den Rauchfarben-optimierten Pixel-Bereich (DSi-s, DS2-S, DSn-s) erstellt und unter Einbezug von mindestens einem Detektionsalgorithmus A auf die Anwesenheit von Rauch, Russ und/oder Feuer analysiert werden, werden zeitlich versetzte Informationen des gleichen Landschaftssektors, oder eines Ausschnitts davon, bereitgestellt. Durch die Analyse der zeitlich versetzten Datensätze DSi-s, DS2-S, DSn-s mittels mindestens einem Detektionsalgorithmus C werden die zeitversetzen Datensätze auf die Anwesenheit von Rauch, Russ und/oder Feuer analysiert (calc (t)). Denn bei Rauch, Russ und/oder Feuer verändern sich die entsprechenden Datensätze (DSi-s, DS2- s, DSn-s) in Funktion der Zeit. Und der Unterschied der zeitlich versetzten Datensätze DSi-s, DS2-S, DSn-s einer in der Sonne glänzenden Felswand weist ein ganz anderes Muster auf als dies bei Rauch, Russ und/oder Feuer der Fall ist. Das Vergleichen von Pixeln unterschiedlicher Datensätze und das Überprüfen, ob die vorgängig erfolgte Schlussfolgerung, d.h. ob ein Hinweis auf die Anwesenheit von Rauch, Russ und/oder Feuer vorliegt, korrekt ist, wird erfindungsgemäss Plausibilitätsprüfung genannt. Eine beispielhafte Plausibilitätsprüfung umfasst das Vergleichen von Pixeln aus mindestens einem Datensatz - insbesondere von mindestens einem Roh-Datensatz - mit Farbinformation (DSo-c), d.h. ein Datensatz für mindestens ein Farbbild, mit Datensätzen - insbesondere Roh-Datensätze - für mindestens einen Rauchfarben-optimierten Bereich (DSo-s), d.h. einen Datensatz geeignet um sogenannte Schwarz-Weiss-Bilder zu generieren. Diese Plausibilitätsprüfung erfolgt bevorzugt in der Datenverarbeitungseinheit (3) und in Echtzeit und mittels Algorithmen. Sie erlaubt eine grosse Reduktion von Fehl- detektionen, was zu einer wesentlichen Abnahme von Fehlalarmen führt.
In einer bevorzugten Ausführungsform der Plausibilitätsprüfung wird der Sensor (5) mit den mindestens zwei weiteren, zeitlich versetzten Belichtungsperioden (Li, l_2, Ln) im zeitlichen Abstand von mindestens 1 Sekunde, bevorzugt von mindestens 2 Sekunden, mindestens je einmal belichtet. Als zeitlichen Abstand der Belichtungen genügen in der Regel 10 Sekunden oder weniger, insbesondere 5 Sekunden oder weniger. Die dadurch erhaltenen Roh-Datensätzen werden zu Datensätzen für den Rauchfarben-optimierten Bereich (DSi-s, DS2-S, DSn-s) berechnet und bevorzugt unter Einbezug von mindestens einem Detektionsalgorithmus A analysiert. Aufgrund des zeitlichen Abstands der Bilder können wichtige Rückschlüsse auf die Dynamik des zu beobachtenden Bereichs geschlossen werden. Denn zwei Datensätze von Rauch, Russ und/oder Feuer mit genanntem zeitlichem Abstand sind nicht identisch - dies im Gegensatz zu Datensätzen von gräulichem Fels.
In einer weiteren bevorzugten Ausführungsform erfolgt das maschinelle Lernen - unter Einsatz mindestens eines Berechnungsmodells A, B und/oder C - mittels Boosted Combined Model Classification. Dabei umfasst die Boosted Combined Model Classification bevorzugt i) eine parameterfreie Methode zur Schätzung von Wahrscheinlichkeitsdichtefunktionen, insbesondere eine Nächste- Nachbarn-Klassifikation umfassend einen k-nächste-Nachbarn- Algorithmus (englisch: k-Nearest-Neighbor-Algohthmus (KNN)). Dieser KNN-Algo thmus wird bevorzugt zur Auswertung von statischen Ereignissen unter Einbezug kartographischer Daten verwendet; und/oder
ii) eine Gaussches-Mischungs-Modell (GMM) Analyse. Eine solche GMM Analyse wird bevorzugt zur Auswertung von dynamischen Ereignissen wie beispielsweise Wetterdaten eingesetzt.
In einer bevorzugten Ausführungsform umfasst
- der Detektionsalgorithmus A ein Kontrast-Detektionsalgorithmus und/oder ein Helligkeits-Detektionsalgorithmus,
- der Detektionsalgorithmus B ein Farb-Detektionsalgorithmus, und/oder
- der Detektionsalgorithmus C ein Kontrast-Detektionsalgorithmus, ein Helligkeits-Detektionsalgorithmus, ein Dynamik-Detektions- algorithmus zur Analyse der Rauchbewegung, ein Expansions- Detektionsalgorithmus zur Analyse der Ausbreitung des Rauchs und/oder Russ, und/oder ein Struktur-Detektionsalgorithmus zur Analyse der Struktur und der Richtung des Rauchs und/oder Russ, wobei der Detektionsalgorithmus C bevorzugt die Datensätze DSi-s, DS2-S und DSn-s in gegenseitiger Abhängigkeit, d.h. interaktiv, analysiert.
In einer anderen bevorzugten Ausführungsform umfasst das Berechnungsmodell für das maschinelle Lernen und zur Analyse des
- Detektionsalgorithmus A mindestens ein Berechnungsmodell A für den Rauchfarben-optinnierten Bereich und zur Überprüfung der
Anwesenheit von Rauch, Russ und/oder Feuer, - Detektionsalgorithmus B mindestens ein Berechnungsmodell B für den Farbbereich und zur Überprüfung der Anwesenheit von nichtbrennbaren Objekten und/oder Ereignissen, wie beispielsweise Wolken, Schatten, Wald, Bäume und/oder Blätter, Gebäude, Strassen, Gewässer, Schnee und/oder Gletscher, Felsen und/oder
Verkehr, und/oder
- Detektionsalgorithmus C mindestens ein Berechnungsmodell C für Wetterdaten, Geographie und/oder den Rauchcharakter, wie die Bewegung, Ausdehnung und/oder Struktur des Rauchs.
In einer weiteren bevorzugen Ausführungsform werden - insbesondere zur Analyse der zeitlich versetzten Datensätze - für den Rauchfarben-optimierten Pixel-Bereich (DSi-s, DS2-S, DSn-s) unter Einsatz mindestens eines Detektionsalgorithmus C zusätzlich Wetterdaten (WD) vom zu überwachenden Landschaftssektor einbezogen, wobei die Wetterdaten (WD) gegebenenfalls mittels geeigneter weiterer Algorithmen analysiert werden. Als Wetterdaten können
i) aktuelle Wetterdaten, wie Sonneneinstrahlung, Temperatur, Windrichtung, Windstärke, Luftfeuchtigkeit, Bodenfeuchtigkeit, Niederschlag und/oder Blitzschlag; und/oder
ii) kumulierte Wetterdaten der letzten Tage oder Wochen, wie insbesondere Temperatur, Luftfeuchtigkeit, Bodenfeuchtigkeit und/oder Niederschlag
verwendet werden. Dabei sind die Wetterdaten bevorzugt Wetterdaten von dem zu überwachenden Landschaftssektor, d.h. Überwachungssektor, oder einem angrenzenden Gebiet sind. Geeignete Wetterdaten können beispielsweise online bei Wetterstationen abgerufen werden. Durch den Einbezug von Wetterdaten (WD) wird die Anzahl Fehlalarme weiter reduziert. Denn nach einer längeren Regenperiode und/oder bei Starkregen ist es unwahrscheinlich, dass ein Brandherd ausbricht. Im Zweifelsfall kann der mögliche Brandherd weiter überwacht werden, indem dass weitere Daten gesammelt und ausgewertet werden. Die Verwendung von Wetterdaten - insbesondere von lokalen Wetterdaten - im erfindungsgemassen Verfahren ist insbesondere hilfreich zur Lokalisation eines Brandherds unter Einbezug des 3D-Geländemodell (3D-GM), wenn sich dieser in einem für die Sensoreinheit nicht sichtbaren Bereich wie in Tälern und/oder auf der Rückseite von Hügeln und Bergen befindet.
Das 3D-Geländemodell
In einer ganz bevorzugten Ausführungsform des erfindungsgemassen Verfahrens und des erfindungsgemassen Systems wird zur Analyse mindestens eines Detektionsalgorithmus A, B und/oder C, und/oder zur Analyse mindestens eines Berechnungsmodells A, B und/oder C, ein kalibriertes 3D-Geländemodells (3D-GM) hinzugezogen.
Das manuelle Erstellen von 3D-Geländemodellen eines beschränkten sichtbaren Gebiets ist bekannt und wird für das Naturgefahrenmanagement anhand von Schrägbildern von Naturgefahrenereignissen, welche in grosser Anzahl in Archiven zur Verfügung stehen, durchgeführt. Die Methodik wird u.a. in Applied Geography 63 (1015) 315-325 und in Schweiz Z Forstwes 164 (2013) 7: 173-180 sowie in den dort zitierten Referenzen beschrieben. Dabei werden frühere Ereignisse untersucht, die mittels Vergleich von z.T. jahrzehntealten Bildern mit aktuellen Bildern erhalten werden. Dazu wird ein 3D-Geländemodell des früheren Gebiets erstellt und mit einem weiteren SD- Geländemodell des gleichen, jedoch aktuellen Gebiets verglichen. Daraus kann ein «früher/jetzt» Vergleich abgeleitet werden und es werden Geländeveränderungen sichtbar, die beispielsweise durch Felsstürze oder Murgänge entstanden sind. Dabei erstreckt sich das 3D-Geländemodell nur auf einen distanznahen und von der Kamera aus sichtbaren Bereich. Nicht erwähnt ist das automatische Erstellen von 3D-Geländemodellen von wesentlich grösseren Gebieten mit einer Geländetiefe von beispielsweise 40 km und mehr, welches auch Gebiete umfassen kann, die hinter Bergen und Hügeln liegen und somit vom Standpunkt der Kamera unsichtbar sind. Das Generieren eines 3D-Geländemodells für eine nachfolgende Bild- oder Pixelanalyse in Echtzeit, für den Einsatz in einem Verfahren zur automatischen Früherkennung von Brandherden mit erhöhter Erkennungssicherheit von Ereignissen wie Rauch, Russ und/oder Feuer sowie das Auslösen eines Alarms im Ereignisfall wird weder erwähnt noch nahegelegt.
Das kalibrierte 3D-Geländemodell (3D-GM) wird vorteilhafterweise erhalten, indem
i) der Sensor (5) georeferenziert wird, und somit die Höhe, der Koordinaten-Standort sowie die Neigungs- und Azimutwinkel des Sensors (5) für den jeweiligen Überwachungssektor exakt bestimmt wird,
ii) die Pixel des Sensors (5) eines ersten Roh-Datensatzes einer ersten Belichtungsperiode (U) zum jeweiligen Überwachungssektor des Geländes mittels geeigneter Algorithmen unter Einbezug der Neigungs- und Azimutwinkel des Sensors (5) zugeordnet und so die Pixel des Sensors (5) kalibriert werden, wodurch ein 2D-Gelände-kalibrierter Roh-Datensatz des Überwachungssektors erhalten wird sowie gegebenenfalls Speichern des 2D-Gelände-kalibrierten Roh-Datensatzes in der Datenverarbeitungseinheit (3),
iii) der 2D-Gelände-kalibrierte Roh-Datensatzes des Überwachungssektors mit einem 3D-GIS-Geländedatensatz des gleichen Geländes mittels geeigneten Algorithmen verrechnet wird, wodurch ein kalibriertes 3D-Geländemodell (3D-GM) erhalten wird, bei welchem die Pixel des Sensors (5) mit dem vom Standort des Sensors (5) aus sichtbaren Gebiet des 3D-GIS- Geländedatensatz korrelieren sowie gegebenenfalls Speichern des kalibriertes 3D-Geländemodells (3D-GM) in der Datenverarbeitungseinheit (3).
Überraschenderweise ist kein Abgleich mit einer externen Datenbank notwendig und die Datenauswertung in der Datenverarbeitungseinheit (3) erfolgt bevorzugt in Echtzeit, d.h. in einigen Sekunden oder weniger. Zudem ist in aller Regel keine Einflussnahme einer Person, d.h. eines Operators, insbesondere zu einem Vergleich der Daten, notwendig. Jedoch möglich. Sofern die definierten Kriterien für das zu beobachtende Ereignis wie Rauch, Russ und/oder Feuer gegeben sind, wird ein Alarm ausgelöst, wobei dazu kein Datenbankabgleich notwendig ist. Somit kann innerhalb kürzester Zeit, beispielsweise innerhalb von einigen Sekunden oder weniger nachdem das Ereignis beobachtet wurde, ein Alarm ausgelöst werden. In einer besonders bevorzugten Ausführungsform wird zur Erstellung des 2D- Gelände-kalibrierten Roh-Datensatzes des Überwachungssektors ein Koordinatennetz über den Überwachungssektor berechnet und die dadurch erhaltenen einzelnen Koordinaten-Bereiche des Überwachungssektors werden den einzelnen Pixeln oder Pixel-Bereichen des Sensors (5) zugeordnet.
Dabei werden die Koordinaten-Bereiche des Überwachungssektors und/oder die Anzahl Pixel des Sensors (5) vorteilhafterweise so gewählt, dass die einzelnen Koordinaten-Bereiche des Überwachungssektors eine Fläche von 100 x 100 m, insbesondere eine Fläche von 30 x 30 m, nicht übersteigt. Dabei stellt die Fläche eine zweidimensionale Fläche einer kartografischen Karte dar. Dadurch entsteht ein 3D-Geländemodells (3D-GM) mit Informationen der GIS-Daten wie auch von kartographischen Daten. Dadurch werden u.a. statische, brennbare Objekte wie Wald oder Bäume - und somit auch Blätter von Bäumen, wie auch nicht-brennbare Objekte wie Gebäude, Strassen, Gewässer, Felsen, Verkehr, Schnee und/oder Gletscher erkannt. Falls nun ein Hinweis auf Rauch, Russ und/oder Feuer von einem nicht-brennbaren Objekt kommt, deutet dies auf einen Fehlalarm hin und er kann näher untersucht oder ignoriert werden. Zudem werden Information zu den Gebieten hinter einem Hügelzug oder einer Bergkette liegen.
In einer weiteren bevorzugten Ausführungsform werden zur Verrechnung und Kalibrierung des 3D-Geländemodells (3D-GM) im 2D-Gelände- kalibrierten Roh-Datensatz und im 3D-GIS-Geländedatensatzes pro Überwachungssektor mindestens je 4, bevorzugt mindestens je 6, identische, exakt definierte Passpunkte ausgewählt. Dabei werden die Passpunkte des 2D-Gelände-kalibrierten Roh-Datensatzes bei der Berechnung des 3D-Geländemodells (3D-GM) mit den Passpunkten des 3D- GIS-Geländedatensatzes mittels geeigneter Algorithmen in Übereinstimmung gebracht. Als Passpunkte werden bevorzugt Objekte und Bauten wie Gebäude, Strassen, Sendetürme, Brunnen, Gipfelkreuze, freistehende Bäume und/oder markante Felsen ausgewählt. Durch die Verrechnung und Kalibrierung des 3D-Geländemodells (3D-GM) mit Passpunkten erhöht sich die Übereinstimmung mit dem vom Sensor (5) erstellten Datensatz deutlich.
Für die Datensätze für die Rauchfarben-optimierten Pixel-Bereiche (DSo-s, DSi-s, DS2-S, DSn-s) und für der Datensatz mit Farbinformation im Pixel- Bereich (DSo-c) wird vorteilhafterweise Licht innerhalb des Wellenlängenbereichs von 350 bis 1 100 nm, bevorzugt innerhalb von 400 bis 1000 nm, verwendet.
Die Datensätze für die Rauchfarben-optimierten Pixel-Bereiche (DSo-s, DSi- s, DS2-S, DSn-s) werden zudem vorteilhafterweise erhalten, indem die während der Belichtungsperioden ( , Li, L2, Ln) des Sensors (5) erhaltenen Roh-Datensätze mit Farbpixeln anhand der elektronischen Pixel-Farbkanal- Mischeinheit (6) in Datensätze für Rauchfarben-optimierten Pixel-Bereiche (DSo-s, DSi-s, DS2-S, DSn-s) umgewandelt werden, indem die Intensität mindestens eines Farbkanals verstärkt, und die Intensität von mindestens zwei Farbkanälen reduziert wird, um die resultierenden Mischfarben der Rauchfarben-optimierten Pixel-Bereiche als Grauton-ähnliche Farben darzustellen, wobei bevorzugt die Intensität eines Farbkanals mindestens die doppelte Intensität der beiden Farbkanäle aufweist, die die niedrigste Intensität aufweisen. Mit anderen Worten: Werden beispielsweise die drei RGB-Farbkanäle verwendet, werden die Farbkanäle so verändert, dass einer der RGB-Farbkanäle mindestens die doppelte Intensität der beiden anderen Farbkanäle - jeweils einzeln gemessen - aufweist.
In einer bevorzugten Ausführungsform des erfindungsgemässen Verfahrens erfolgt die Analyse der Datensätzen im erfindungsgemässen Verfahren und im erfindungsgemässen System erfolgt bevorzugt mit den durch den Sensor (5) erhaltenen Pixeln, und somit den Roh-Datensätzen. Mit anderen Worten: Als Roh-Daten werden bevorzugt die Daten des Sensorinhalts, d.h. der im Sensor (5) vorhandenen Photodioden, verwendet, bevor sie beispielsweise mittels elektronischer Pixel-Farbkanal-Mischeinheit (6) verändert werden. Überraschenderweise wird dadurch für die Detektion von Rauch, Russ und/oder Feuer keine «Density» des Ereignisses benötigt. Somit muss das Ereignis für das menschliche Auge nicht sichtbar sein und kann trotzdem detektiert werden, was eine wesentlich frühere Detektion erlaubt.
Die Sensoreinheit (2)
Mit der Sensoreinheit (2) des erfindungsgemässen Verfahrens und des erfindungsgemässen Systems (1 ) wird Licht vom zu überwachenden Landschaftssektor durch das Objektiv (4) auf den Sensor (5) geleitet, wo es in den im Sensor (5) enthaltenen Photodioden in Datensätzen gesammelt und gegebenenfalls gespeichert wird. Die Sensoreinheit (2) umfasst mindestens ein Objektiv (4) und mindestens einen Sensor (5), wobei mindestens ein Sensor (5) ein Farbsensor (5-1 ) ist, mit welchem Datensätze im Graubereich, und somit im Rauchfarben- optimierten Pixelbereich, erhalten werden.
Als Objektiv (4) können kommerziell erhältliche Objektive für Video-, Film- und/oder Fotokameras eingesetzt werden. Die Brennweite des Objektivs wird typischerweise nach dem zu überwachenden Gelände ausgewählt. Werden kürzere Distanzen und/oder ein Landschaftssektor mit grossem Winkel überwacht, sind in der Regel Weitwinkel Objektive geeignet. Sollen jedoch längere Distanzen in Landschaftssektoren mit typischerweise kleinem Winkel überwacht werden, sind in der Regel Teleobjektive geeignet. Dem Fachmann ist bekannt, welches Objektiv er für den jeweiligen zu überwachenden Landschaftssektor auswählen kann.
Die Sensoreinheit (2) umfasst bevorzugt eine Blende (7), wobei die Blende (7) vor und/oder nach dem Objektiv (4) - in Bezug auf das einfallende Licht und den Sensor (5) - angeordnet sein kann. Geeignete Blenden (7) sind dem Fachmann bekannt und im Handel erhältlich. Dabei wird die Belichtungszeit vorteilhafterweise durch geeignete elektronische Steuerung der Belichtungszeit des Sensors (5) geregelt. Vorteilhafterweise weist die Blendenöffnung der Blende (7) bei den Belichtungsperioden (Lo, Li , L2, Ln) zur Erfassung der Roh-Datensätze einen Wert von f/4 oder kleiner, bevorzugt von f/5.6 oder kleiner, insbesondere von f/8 oder kleiner. Dabei kann die Blendenöffnung so gestaltet sein, dass sie variiert werden kann, oder dass sie fest eingestellt ist. Durch eine kleine Blendenöffnung wird eine höhere Tiefenschärfe erzielt, was in vielen Fällen von Vorteil ist. Die Sensoreinheit (2) besitzt vorteilhafterweise keinen Filter für Wellenlängen im Infrarot- (IR-) und/oder Nahinfrarot- (NIR-) Bereich. Somit umfasst die Sensoreinheit (2) bevorzugt ein Objektiv (4) mit Blende (7), jedoch ohne NIR- und/oder IR-Filter.
Die Sensoreinheit (2) umfasst typischerweise mindestens einen von einem NIR- und/oder IR-Filter unterschiedlichen optischen Filter, beispielsweise einen Spektralfilter. Geeignete Filter sind dem Fachmann bekannt und im Handel erhältlich.
Die Sensoreinheit (2) umfasst mindestens einen Sensor (5), wobei der Sensor (5) ein Farbsensor (5-1 ) ist und ein gegebenenfalls weiterer Sensor (5) kann ein Schwarz-Weiss-Sensor sein. Geeignete Sensoren (5) sind dem Fachmann bekannt und kommerziell erhältlich. Bevorzugte Sensoren (5) umfassen CCD-Sensoren, insbesondere ein mindestens 2-dimensionaler CCD-Sensor, wobei CCD für „Charged Coupled Device" steht, CMOS- Sensoren, wobei CMOS für„Complementary Metal-Oxide Semiconductor" steht, Active-Pixel-Sensoren (APS), Line-Scanner-Sensoren und/oder Multispektral-Sensoren.
Die Pixelanzahl des Sensors (5) spielt überraschenderweise eine untergeordnete Rolle. So können beispielsweise Sensoren (5) mit 1000 x 1000 Pixel, bevorzugt mit mindestens 1500 x 1500 Pixel, insbesondere mit mindestens 2000 x 2000 Pixel eingesetzt werden.
Die im Farbsensor (5-1 ) bei der Belichtung erhaltenen Datensätze werden bevorzugt in Form von mindestens 3 unterschiedlichen Farbkanälen, insbesondere mittels RGB-Farbkanälen, vom Sensor (5) zur elektronischen Pixel-Farbkanal-Mischeinheit (6) und anschliessend zur Datenverarbeitungseinheit (3) weitergeleitet. Die Datensätze für die Rauchfarben- optimierten Pixel-Bereiche (DSo-s, DSi-s, DS2-S, DSn-s) werden in aller Regel unter Einbezug der Pixel-Farbkanal-Mischeinheit (6), der Daten- Verarbeitungseinheit (3) sowie mindestens eines Detektionsalgorithmus C berechnet.
Die im Sensor (5), insbesondere im Farbsensor (5-1 ), durch die Belichtung mit Licht (hv) während der Belichtungszeit erhaltenen Datensätze sind geeignet um ein Farbbild und/oder ein Rauchfarben-optimiertes Bild, d.h. ein sogenanntes Schwarz-Weiss-Bild, zu erhalten.
Die im Sensor (5) erhaltenen Datensätze werden typischerweise als Rohdaten zur Datenverarbeitungseinheit (3) weitergeleitet, wobei die Weiterleitung bevorzugt zuerst über die elektronische Pixel-Farbkanal- Mischeinheit (6) und anschliessend zur Datenverarbeitungseinheit (3) erfolgt.
Die Datenverarbeitungseinheit (3)
Die Datenverarbeitungseinheit (3) des erfindungsgemässen Verfahrens und des erfindungsgemässen Systems (1 ) dient zur Verarbeitung der Daten, insbesondere zur Verarbeitung der beim Sensor (5) gemessenen Datensätze.
Die Datenverarbeitungseinheit (3) kann eine oder mehrere Datenverarbeitungseinheiten umfassen, wobei letztere am gleichen Ort oder an unterschiedlichen Orten angeordnet sein können. Die Datenverarbeitungs- einheit (3) - oder ein Teil davon - kann neben der Sensoreinheit (2) angebracht sein oder sie kann sich an einem von der Sensoreinheit (2) unterschiedlichen Ort befinden.
Hilfreicherweise umfasst die Datenverarbeitungseinheit (3) mindestens einen Prozessor, mindestens ein Datenkommunikationsmodul, insbesondere eine Internet- und/oder Kabelschnittstelle, eine Antenne, einen Transceiver, einen Satellitenanschluss und/oder eine Telefon-Schnittstelle, mindestens eine Stromquelle, insbesondere ein Stromnetzanschluss, eine Batterie, einen Akku, ein Photovoltaikmodul, einen Windgenerator und/oder eine Brennstoffzelle. Dabei ist das Datenkommunikationsmodul bevorzugt geeignet, um Daten, insbesondere Datensätze, von der Sensoreinheit (2) und/oder der elektronischen Pixel-Farbkanal-Mischeinheit (6) zu empfangen und gegebenenfalls wieder zurück zu senden. Geeignete Datenverarbeitungseinheiten (3) sind dem Fachmann bekannt und kommerziell erhältlich.
Die elektronische Pixel-Farbkanal-Mischeinheit (6)
Die elektronische Pixel-Farbkanal-Mischeinheit (6) des erfindungsgemässen Verfahrens und des erfindungsgemässen Systems (1 ) empfängt Daten, insbesondere Datensätze, von der Sensoreinheit (2) und leitet diese nach Verarbeitung weiter zur Datenverarbeitungseinheit (3). Auch kann sie von der Datenverarbeitungseinheit (3) Daten empfangen und gegebenenfalls an die Sensoreinheit (2), beispielsweise den Sensor (5), weiterleiten.
Die eingesetzte elektronische Pixel-Farbkanal-Mischeinheit (6), auch Farbmisch- und Verstärkereinheit (6) genannt, des erfindungsgemässen Verfahrens und des erfindungsgemässen Systems (1 ) dient insbesondere zur Verarbeitung der von der Sensoreinheit (2), bevorzugt vom Sensor (5), insbesondere vom Farbsensor (5-1 ), erhaltenen Datensätze. Die Verarbeitung erfolgt bevorzugt zu Rauchfarben-optimierten Datensätzen im Pixel-Bereich (DSo-s, DSi-s, DS2-S, DSn-s). Diese werden unter Einbezug von mindestens einem Detektionsalgorithmus A und mittels der Datenverarbeitungseinheit (3) auf die Anwesenheit von Rauch, Russ und/oder Feuer analysiert. Die elektronische Pixel-Farbkanal-Mischeinheit (6) ist vorteilhafterweise als Software auf einem Datenträger gespeichert. Der Datenträger kann Teil der Datenverarbeitungseinheit (3) und/oder einen separaten Chip darstellen, welcher beispielsweise bei der Sensoreinheit (2) angeordnet sein kann.
Die elektronische Pixel-Farbkanal-Mischeinheit (6) kann zudem bevorzugt jeden Farbkanal der vom Sensor (5) erhaltenen Roh-Datensätze für jeden Farbkanal separat empfangen und/oder separat verarbeiten. Geeignete elektronische Farbmisch- und Verstärkereinheiten (6) sind dem Fachmann bekannt und kommerziell erhältlich.
Das System (1 )
Das erfindungsgemässe System (1 ) wird bevorzugt im erfindungsgemässen Verfahren zur automatischen Früherkennung von Ereignissen wie Rauch, Russ und/oder Feuer mit erhöhter Erkennungssicherheit - und bevorzugt exakter Ortsbestimmung eines Brandherds - eingesetzt und ermöglicht das Detektieren von Licht des zu überwachenden Landschaftssektor, das Sammeln der dabei erhaltenen Datensätze sowie die elektronische Verarbeitung der Datensätze um gegebenenfalls Alarm auszulösen.
Das System (1 ) umfasst eine Sensoreinheit (2), die Datenverarbeitungs- einheit (3) und die elektronische Pixel-Farbkanal-Mischeinheit (6) zur Verarbeitung von vom Sensor (5), insbesondere vom Farbsensor (5-1 ), erhaltenen Datensätze, wobei bevorzugt jeder Farbkanal des Farbsensors (5-1 ) separat zugemischt werden kann. Die Sensoreinheit (2) des erfindungsgemässen Systems (1 ) umfasst bevorzugt i) mindestens ein Objektiv (4) mit Blende (7) und insbesondere ohne NIR- und/oder IR-Filter, ii) mindestens einen Sensor (5), wobei mindestens ein Sensor (5) ein Farbsensor (5-1 ) und gegebenenfalls ein weiterer Sensor (5) ein Schwarz-Weiss-Sensor ist, und iii) gegebenenfalls mindestens einen von einem NIR- und/oder IR-Filter unterschiedlichen optischen Filter. Ein solcher ist insbesondere vorteilhaft, falls beispielsweise die Sensoreinheit (2) einen Schwarz-Weiss-Sensor umfasst.
Auf der Datenverarbeitungseinheit (3) des erfindungsgemässen Systems (1 ) ist zudem mindestens ein Berechnungsmodell A, B und/oder C zum maschinellen Lernen, insbesondere zum maschinellen Lernen mittels Boosted Combined Model Classification, eine parameterfreie Methode zur Schätzung von Wahrscheinlichkeitsdichtefunktionen, insbesondere eine Nächste-Nachbarn-Klassifikation umfassend einen k-nächste-Nachbarn- Algorithmus, und/oder eine Gaussches-Mischungs-Modell (GMM) Analyse gespeichert.
In einer bevorzugten Ausführungsform des Systems (1 ) und des Verfahrens ist auf der Datenverarbeitungseinheit (3) von dem zu überwachenden Landschaftssektors ein kalibriertes 3D-Geländemodell (3D-GM) gespeichert, wobei das 3D-Geländemodell (3D-GM) erhalten wird durch Verrechnung des 2D-Gelände-kalibrierten Roh-Datensatzes des Überwachungssektors mit einem 3D-GIS-Geländedatensatz mit geeigneten Passpunkten des gleichen Geländes, sowie gegebenenfalls Wetterdaten (WD) zum zu überwachenden Landschaftssektor, auf der Datenverarbeitungseinheit (3) gespeichert und/oder online abrufbar sind.
In einer bevorzugten Ausführungsform des Systems (1 ) und des erfindungsgemässen Verfahrens
- weist die Blende (7) des Objektivs (4) eine Blendenöffnung mit einem Wert von f/4 oder kleiner, bevorzugt von f/5.6 oder kleiner, insbesondere von f/8 oder kleiner, auf, - beträgt die Belichtungszeit mindestens 0.2 Sekunden, bevorzugt mindestens 0.5 Sekunden, insbesondere mindestens 1 Sekunde. Die Belichtungszeit beträgt in der Regel nicht mehr als 10 Sekunden, insbesondere nicht mehr als 5 Sekunden. Dabei wird die Belichtungszeit bevorzugt elektronisch gesteuert, und/oder
- ist die Sensoreinheit (2) auf einer drehbaren Vorrichtung angeordnet und einen Landschaftssektor von einem Winkel von 2 bis 30°, bevorzugt einem Winkel von 5 bis 20°, abdeckt, wobei die Sensoreinheit (2) auf der drehbaren Vorrichtung bevorzugt bis zu 360° drehbar ist.
Aufgrund der drehbaren Vorrichtung kann das von der Sensoreinheit (2) sichtbare Gelände bis zu einer Distanz von etwa 40 km überwacht werden. Dabei wird das zu überwachende Gelände durch die drehbare Vorrichtung typischerweise in verschiedene zu überwachende Landschaftssektoren eingeteilt, welche die Sensoreinheit (2) in typischerweise definierter Reihenfolge auf das zu untersuchende Ereignis hin untersucht. Dabei deckt ein Landschaftssektor vorteilhafterweise einen Winkel von 2 bis 30°, bevorzugt einen Winkel von 5 bis 20°, ab.
Die Verwendung Das erfindungsgemässe Verfahren und das erfindungsgemässe System (1 ) finden überraschenderweise eine vielseitige Anwendung.
Eine ganz besonders bevorzugte Verwendung umfasst die automatische Früherkennung von Ereignissen wie Rauch, Russ, Feuer und/oder Bränden wie Waldbrände, die Reduktion von Fehlalarmen, insbesondere bei Waldbranderkennungssystemen, die von nicht-brennbaren Orten wie Felsen, Strassen und/oder Gewässer, und/oder von nicht-brennbaren Ereignissen wie Wolkenschatten, Staubwolken, Vogelschwärmen, Luftverschmutzung sowie von Fahr- und/oder Flugobjekten herrühren können; die Erhöhung der Erkennungssicherheit von Ereignissen; sowie die geologische Überwachung von geologisch kritischen Regionen, insbesondere bei Gefahr eines Fels- und/oder Eisabbruchs, eines Felssturzes und/oder eines Erdrutsches.
Im Folgenden werden nicht-limitierende, bevorzugte Ausführungsformen des erfindungsgemässen Verfahrens anhand der nachfolgenden Zeichnungen beschrieben. Diese sind nicht einschränkend auszulegen und werden als Bestandteil der Beschreibung verstanden:
Fig. 1 zeigt eine beispielhafte Ausführungsform der Sensoreinheit (2) des erfindungsgemässen Verfahrens und des erfindungsgemässen
Systems (1 ) umfassend ein Objektiv (4), eine optionale Blende (7), einen Sensor (5), eine elektronische Pixel-Farbkanal-Mischeinheit (6) sowie eine Datenverarbeitungseinheit (3).
Während einer Belichtungsperiode (Lo) gelangt Licht (hv) durch das Objektiv (4) und durch die optionale Blende (7) zum Sensor (5), d.h. zum Farbsensor (5-1 ). Das Licht (hv) wird im Sensor (5) mittels Farbpixeln detektiert und - typischerweise ohne Transformation - in den einzelnen RGB-Kanälen zur elektronischen Pixel-Farbkanal-
Mischeinheit (6) sowie zur Datenverarbeitungseinheit (3) weitergeleitet. Ist die Analyse der erhaltenen Datensätze abgeschlossen, werden die Resultate im Fall eines klaren Hinweises auf Rauch, Russ und/oder Feuer zum Operator (O) weitergeleitet. Dabei können optional die Datensätze vorher noch in für das menschliche Auge sichtbare Bilder (P) umgewandelt werden, wobei typischerweise aus mindestens einem Rauchfarben-optimierten Pixel-Bereich (DSo-s, DSi-s, DS2-s, DSn-s) ein Bild mit vorherrschenden Grautönen, erfindungsgemäss auch Schwarz- Weiss Bild genannt, als auch aus dem Datensatz mit Farbinformation im Pixel-Bereich (DSo-c) ein Farbbild generiert wird. zeigt eine beispielhafte Ausführungsform des erfindungsgemässen Verfahrens zur automatischen Früherkennung und genauer Ortsbestimmung von Ereignissen wie Rauch, Russ und/oder Feuer mit erhöhter Erkennungssicherheit. Hierzu wird der Sensor (5), welcher ein Farbsensor (5-1 ) ist, während mindestens einer Belichtungsperiode (U) mit Licht (hv) von einem zu überwachenden Landschaftssektor belichtet. Pro Belichtungsperiode (Lo) wird mittels der elektronischen Pixel-Farbkanal-Mischeinheit (6) und der Datenverarbeitungseinheit (3) (nicht dargestellt) ein Datensatz für mindestens einen Rauchfarben-optimierten Pixel-Bereich (DSo-s) berechnet und der erhaltene Datensatz DSo-s unter Einbezug von mindestens einem Detektionsalgorithmus A auf die Anwesenheit von Rauch, Russ und/oder Feuer analysiert, wobei der dadurch resultierende Datensatz ebenfalls mit DSo-s dargestellt ist. Als Detektionsalgorithmus A wird vorteilhafterweise ein Kontrast- Detektionsalgorithmus und/oder ein Helligkeits-Detektions- algorithmus verwendet.
Der Detektionsalgorithmus A umfasst ein Berechnungsmodell A für das maschinelle Lernen (ML), wobei das Berechnungsmodell A bevorzugt für den Rauchfarben-optimierten Bereich und zur Überprüfung der Anwesenheit von Rauch, Russ und/oder Feuer geeignet ist. Damit können entsprechende Ereignisse wie Rauch, Russ, Feuer und/oder Wolken mit jedem Analysezyklus besser und besser charakterisiert werden. Dabei erfolgt das maschinelle Lernen bevorzugt mittels Boosted Combined Model Classification.
Weist der so analysierte Datensatz für den Rauchfarben-optimierten Bereich (DSo-s) keine Anzeichen für Rauch, Russ und/oder Feuer (Fo-s?) auf, wird - gegebenenfalls mit einer Verzögerung - ein gleicher oder ein anderer Landschaftssektor belichtet, um diesen erneut auf die Anwesenheit von Rauch, Russ und/oder Feuer zu belichten. Weist der analysierte Datensatz für den Rauchfarben-optimierten Bereich (DSo-s) auf Rauch, Russ und/oder Feuer (Fo-s?) hin, wird in einem weiteren Schritt anhand des Roh-Datensatzes mit den Farbpixeln, oder einem Ausschnitt des Roh-Datensatzes - insbesondere derjenige Ausschnitt welcher auf die Anwesenheit von Rauch, Russ und/oder Feuer hinweist - ein Datensatz mit Farbinformation im Pixel-Bereich (DSo-c) berechnet und unter Einbezug von mindestens einem weiteren Detektionsalgorithmus B analysiert, wobei der dadurch resultierende Datensatz ebenfalls mit DSo-c dargestellt ist. Als Detektionsalgorithmus B wird bevorzugt ein Farb-Detektionsalgorithmus verwendet.
Der Detektionsalgorithmus B umfasst ein Berechnungsmodell B (nicht dargestellt) für das maschinelle Lernen (ML), wobei das Berechnungsmodell B bevorzugt für den Farbbereich und zur Überprüfung der Anwesenheit von nicht-brennbaren Objekten und/oder Ereignissen umfasst, wie beispielsweise Wolken, Schatten, Wald, Bäume und/oder Blätter, Gebäude, Strassen, Gewässer, Schnee und/oder Gletscher, Felsen und/oder Verkehr. Damit können entsprechende Ereignisse wie Fahrzeuge, Wälder, Bäume, Gewässer etc. mit jedem Analysezyklus besser und besser charakterisiert werden. Dabei erfolgt das maschinelle Lernen bevorzugt mittels Boosted Combined Model Classification.
Weist der so analysierte Datensatz mit Farbinformation im Pixel- Bereich (DSo-c) keine Anzeichen für Rauch, Russ und/oder Feuer (Fo-s?) auf - beispielsweise wenn der Hinweis des Rauchfarben- optimierten Bereichs (DSo-s) aufgrund von im Wind flatternder Blätter zustande kam, welche im Datensatz mit Farbinformation erkannt werden können - wird erneut ein gleicher oder ein anderer Landschaftssektor belichtet.
Wenn der analysierte Datensatz mit Farbinformation im Pixel- Bereich (DSo-c) und/oder der Datensatz des Rauchfarben- optimierten Bereichs (DSo-s) Anzeichen für Rauch, Russ und/oder Feuer (Fo-c?, Fo-s?) aufweist, wird bevorzugt das kalibrierte SD- Geländemodell (3D-GM) mit in die Analyse (F3D-GM?) einbezogen. Dadurch können beispielsweise Hinweise auf Rauch, Russ und/oder Feuer in der Mitte eines Sees oder Gletschers ausgeschlossen werden.
Ist dies nicht der Fall - oder wird kein 3D-Geländemodell zur Beurteilung hinzugezogen (mit gestrichelter Verbindung dargestellt) - und weist der analysierte Datensatz mit Farbinformation im Pixel- Bereich (DSo-c) Anzeichen für Rauch, Russ und/oder Feuer (Fo-s?) auf, wird der Landschaftssektor, oder ein Ausschnitt davon, d.h. der in Frage kommende Ausschnitt - während mindestens zwei weiteren, zeitlich versetzten, Belichtungsperioden (Li, L2, Ln) belichten und die dadurch erhaltenen Roh-Datensätzen zu Datensätzen für den Rauchfarben-optimierten Bereich (DSi-s, DS2-S, DSn-s) berechnet und bevorzugt unter Einbezug von mindestens einem Detektionsalgorithmus A analysiert.
Die so erhaltenen und analysierten Datensätze für den Rauchfarben- optimierten Bereich (DSi-s, DS2-S, DSn-s) von mindestens zwei zeitlich versetzten Belichtungen werden nachfolgend unter Einbezug von mindestens einem weiteren Detektionsalgorithmus C analysieren (calc (t)). Als Detektionsalgorithmus C wird bevorzugt ein Kontrast-Detektionsalgorithmus, ein Helligkeits-Detektions- algorithmus, ein Dynamik-Detektionsalgorithmus zur Analyse der Rauchbewegung, ein Expansions-Detektionsalgorithmus zur Analyse der Ausbreitung des Rauchs und/oder Russ, und/oder ein Struktur-Detektionsalgorithmus zur Analyse der Struktur und der Richtung des Rauchs und/oder Russ verwendet. Dabei können ein oder mehrere Detektionsalgorithmen eingesetzt werden. Auch ist es vorteilhaft, wenn der oder die Detektionsalgorithmen C bevorzugt die Datensätze DSi-s, DS2-S und DSn-s in gegenseitiger Abhängigkeit, d.h. interaktiv, analysiert. Zur Analyse und Berechnung (calc (t)) der Datensätze (DSi-s, DS2-S, DSn-s) können optional aktuelle Wetterdaten (WD), wie Sonneneinstrahlung, Temperatur, Windrichtung, Windstärke, Luftfeuchtigkeit, Bodenfeuchtigkeit, Niederschlag und/oder Blitzschlag; und/oder kumulierte Wetterdaten (WD) der letzten Tage oder Wochen, wie insbesondere Temperatur, Luftfeuchtigkeit, Bodenfeuchtigkeit und/oder Niederschlag hinzugezogen werden. Auch kann zur Analyse und Berechnung (calc (t)) der Datensätze (DSi-s, DS2-S, DSn-s) der Operator optional einen Input geben, beispielsweise interaktives Anpassen der Berechnungsparameter an den Waldbrand-Index bei speziell erhöhter Waldbrandgefahr.
Der Detektionsalgorithmus C umfasst ein Berechnungsmodell C für das maschinelle Lernen (ML), wobei das Berechnungsmodell C mindestens ein Berechnungsmodell C für Wetterdaten, Geographie und/oder den Rauchcharakter, wie die Bewegung, Ausdehnung und/oder Struktur des Rauchs, umfasst. Damit kann unter anderem auch Rauch bei Hochdruckeinfluss in Talkesseln mit grosser Sicherheit detektiert werden. Dabei erfolgt das maschinelle Lernen bevorzugt mittels Boosted Combined Model Classification.
Weisen die so analysierten Datensätze DSi-s, DS2-S und DSn-s keine Anzeichen für Rauch, Russ und/oder Feuer (Fo-s?) auf, beginnt das Verfahren wieder von vorne und es wird erneut ein gleicher oder ein anderer Landschaftssektor belichtet.
Falls der analysierte Datensatz jedoch weiterhin auf die Anwesenheit von Rauch, Russ und/oder Feuer (F13-S?) hinweist, wird ein Operator O benachrichtigt und/oder ein Alarm ausgelöst. Dabei kann gegebenenfalls anhand mindestens einem Datensatz für den Rauchfarben-optimierten Pixel-Bereich (DSo-s, DSi-s, DS2-S, DSn-s) und/oder dem Datensatz mit Farbinformation im Pixel-Bereich (DSo- c) ein für das menschliche Auge sichtbare Bild (P) berechnet werden.

Claims

Patentansprüche
Verfahren zur automatischen Früherkennung mit erhöhter Erkennungssicherheit von Ereignissen wie Rauch, Russ und/oder Feuer mittels einer Sensoreinheit (2) umfassend mindestens ein Objektiv (4), einen Sensor (5), eine elektronische Pixel-Farbkanal-Mischeinheit (6) sowie eine Datenverarbeitungseinheit (3), umfassend den Schritt des Belichtens des Sensors (5) während mindestens einer Belichtungsperiode (Lo) von einem zu überwachenden Landschaftssektor, wobei aus mindestens einem durch die Belichtung erhaltenen Datensatz
- ein Rauchfarben-optimierten Pixel-Bereich (DSo-s, DSi-s, DS2- s, DSn-s) berechnet und den erhaltenen Datensatz unter Einbezug von mindestens einem Detektionsalgorithmus A auf die Anwesenheit von Rauch, Russ und/oder Feuer analysiert, und/oder
- ein Datensatz mit Farbinformation im Pixel-Bereich (DSo-c) berechnet und den erhaltenen Datensatz unter Einbezug von mindestens einem Detektionsalgorithmus B auf die im Datensatz enthaltene Farbinformation analysiert wird, wobei der Detektionsalgorithmus A ein Berechnungsmodell A, der Detektionsalgorithmus B ein Berechnungsmodell B und/oder ein Detektionsalgorithmus C ein Berechnungsmodell C umfasst, wobei die Berechnungsmodelle A, B und C Berechnungsmodelle für das maschinelle Lernen (ML) darstellen und der Detektionsalgorithmus C Datensätze analysiert, welche aus zeitlich versetzten Belichtungen erhalten wurden und anhand Detektionsalgorithmen A und/oder Detektionsalgorithmen B analysiert wurden.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass
i) der Sensor (5) ein Farbsensor (5-1 ) umfasst und während mindestens einer Belichtungsperiode (Lo) von einem zu überwachenden Landschaftssektor belichtet, pro Belichtungsperiode (U) einen Datensatz für mindestens einen Rauchfarben-optimierten Pixel-Bereich (DSo-s) berechnet und der erhaltene Datensatz DSo-s unter Einbezug von mindestens einem Detektionsalgorithmus A auf die
Anwesenheit von Rauch, Russ und/oder Feuer analysiert wird,
ii) sobald ein analysierter Datensatz für einen Rauchfarben- optimierten Bereich (DSo-s) auf die Anwesenheit von Rauch, Russ und/oder Feuer (Fo-s?) hinweist, anhand des Ron-
Datensatzes mit den Farbpixeln, oder einen Ausschnitt davon, einen Datensatz mit Farbinformation im Pixel-Bereich (DSo-c) berechnen und unter Einbezug von mindestens einem weiteren Detektionsalgorithmus B analysieren, iii) falls der analysierte Datensatz mit Farbinformation im Pixel-
Bereich (DSo-c) und/oder der Datensatz des Rauchfarben- optimierten Bereichs (DSo-s) Anzeichen für Rauch, Russ und/oder Feuer (Fo-c?, Fo-s?) aufweist, wird bevorzugt ein kalibriertes 3D-Geländemodell (3D-GM) mit in die Analyse (F3D-GM?) einbezogen,
iv) falls der analysierte Datensatz mit Farbinformation (DSo-c) weiterhin auf die Anwesenheit von Rauch, Russ und/oder Feuer (Fo-c?) hinweist, den Landschaftssektor, oder einen Ausschnitt davon, während mindestens zwei weiteren, zeitlich versetzten, Belichtungsperioden (Li, L2, Ln) belichten und die dadurch erhaltenen Roh-Datensätzen zu Datensätzen für den Rauchfarben-optimierten Bereich (DSi- s, DS2-S, DSn-s) berechnen und bevorzugt unter Einbezug von mindestens einem Detektionsalgorithmus A analysieren, v) die so erhaltenen Datensätze für den Rauchfarben- optimierten Bereich (DSi-s, DS2-S, DSn-s) von mindestens zwei zeitlich versetzten Belichtungen unter Einbezug von mindestens einem weiteren Detektionsalgorithmus C analysieren (calc (t)), und
vi) falls der analysierte Datensatz weiterhin auf die Anwesenheit von Rauch, Russ und/oder Feuer (F13-S?) hinweist, einen Operator O benachrichtigen und/oder einen Alarm auslösen, wobei gegebenenfalls anhand mindestens einem Datensatz für den Rauchfarben-optimierten Pixel-Bereich (DSo-s, DSi- s, DS2-S, DSn-s) und/oder dem Datensatz mit Farbinformation im Pixel-Bereich (DSo-c) ein für das menschliche Auge sichtbare Bild (P) berechnet wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das maschinelle Lernen mittels Boosted Combined Model Classification erfolgt und bevorzugt eine parameterfreie Methode zur Schätzung von Wahrscheinlichkeitsdichtefunktionen, insbesondere eine Nächste- Nachbarn-Klassifikation umfassend einen k-nächste-Nachbarn- Algorithmus, und/oder eine Gaussches-Mischungs-Modell (GMM) Analyse umfasst.
Verfahren nach mindestens einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass
- der Detektionsalgorithmus A ein Kontrast-Detektions- algorithmus und/oder ein Helligkeits-Detektionsalgorithmus darstellt,
- der Detektionsalgorithmus B ein Farb-Detektionsalgorithmus darstellt, und/oder
- der Detektionsalgorithmus C ein Kontrast-Detektions- algorithmus, ein Helligkeits-Detektionsalgorithmus, Dynamik- Detektionsalgorithmus zur Analyse der Rauchbewegung, ein Expansions-Detektionsalgorithmus zur Analyse der Ausbreitung des Rauchs und/oder Russ, und/oder ein Struktur- Detektionsalgorithmus zur Analyse der Struktur und der Richtung des Rauchs und/oder Russ darstellt, wobei der Detektionsalgorithmus C bevorzugt die Datensätze DSi-s, DS2- s und DSn-s in gegenseitiger Abhängigkeit, d.h. interaktiv, analysiert.
Verfahren nach mindestens einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Berechnungsmodell für das maschinelle Lernen und zur Analyse des
- Detektionsalgorithmus A mindestens ein Berechnungsmodell A für den Rauchfarben-optimierten Bereich und zur Überprüfung der Anwesenheit von Rauch, Russ und/oder Feuer umfasst,
- Detektionsalgorithmus B mindestens ein Berechnungsmodell B für den Farbbereich und zur Überprüfung der Anwesenheit von nicht-brennbaren Objekten und/oder Ereignissen umfasst, wie beispielsweise Wolken, Schatten, Wald, Bäume und/oder Blätter, Gebäude, Strassen, Gewässer, Schnee und/oder Gletscher, Felsen und/oder Verkehr, und/oder
- Detektionsalgorithmus C mindestens ein Berechnungsmodell C für Wetterdaten, Geographie und/oder den Rauchcharakter, wie die Bewegung, Ausdehnung und/oder Struktur des Rauchs, umfasst.
Verfahren nach mindestens einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass zur Analyse der zeitlich versetzten Datensätze für den Rauchfarben-optimierten Bereich (DSi-s, DS2-S, DSn-s) unter Einsatz zusätzlicher Wetterdaten (WD) vom zu überwachenden Landschaftssektor einbezogen und gegebenenfalls mittels geeigneter Algorithmen analysiert werden, wobei als Wetterdaten (WD) i) aktuelle Wetterdaten, insbesondere Sonneneinstrahlung, Temperatur, Windrichtung, Windstärke, Luftfeuchtigkeit, Bodenfeuchtigkeit, Niederschlag und/oder Blitzschlag, und/oder
ii) kumulierte Wetterdaten der letzten Tage oder Wochen, insbesondere Temperatur, Luftfeuchtigkeit, Bodenfeuchtigkeit und/oder Niederschlag
verwendet werden, und die Wetterdaten bevorzugt Wetterdaten von dem zu überwachenden Landschaftssektor, oder einem angrenzenden Gebiet sind.
Verfahren nach mindestens einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass zur Analyse mindestens eines Detektions- algorithmus A, B und/oder C, und/oder zur Analyse mindestens eines Berechnungsmodells A, B und/oder C, ein kalibriertes SD-Geländemodells (3D-GM) hinzugezogen wird.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass das kalibrierte 3D-Geländemodells (3D-GM) erhalten wird, indem
i) der Sensor (5) georeferenziert wird, und somit die Höhe, der Koordinaten-Standort sowie die Neigungs- und Azimutwinkel des Sensors (5) für den jeweiligen Überwachungssektor exakt bestimmt wird,
ii) die Pixel des Sensors (5) eines ersten Roh-Datensatzes einer ersten Belichtungsperiode (Lo) zum jeweiligen Überwachungssektor des Geländes mittels geeigneter Algorithmen unter Einbezug der Neigungs- und Azimutwinkel des Sensors (5) zugeordnet und so die Pixel des Sensors (5) kalibriert werden, wodurch ein 2D-Gelände-kalibrierter Roh-Datensatz des Überwachungssektors erhalten wird, iii) der 2D-Gelände-kalibrierte Roh-Datensatzes des Uber- wachungssektors mit einem 3D-GIS-Geländedatensatz des gleichen Geländes mittels geeigneten Algorithmen verrechnet wird, wodurch ein kalibriertes 3D-Geländemodell (3D-GM) erhalten wird, bei welchem die Pixel des Sensors (5) mit dem vom Standort des Sensors (5) aus sichtbaren Gebiet des 3D- GIS-Geländedatensatz korrelieren.
Verfahren nach mindestens einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Analyse der Datensätzen mit den durch den Sensor (5) erhaltenen Pixeln, und somit den Roh-Datensätzen, erfolgt.
Verfahren nach mindestens einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass zur Erstellung des 2D-Gelände-kalibrierten Roh- Datensatzes des Überwachungssektors ein Koordinatennetz über den Überwachungssektor berechnet wird und die dadurch erhaltenen einzelnen Koordinaten-Bereiche des Überwachungssektors den einzelnen Pixeln oder Pixel-Bereichen des Sensors (5) zugeordnet werden.
Verfahren nach mindestens einem der Ansprüche 7 bis 10, dadurch gekennzeichnet, dass zur Verrechnung und Kalibrierung des SD- Geländemodells (3D-GM) im 2D-Gelände-kalibrierten Roh-Datensatz und im 3D-GIS-Geländedatensatzes pro Überwachungssektor mindestens je 4, bevorzugt mindestens je 6, identische, exakt definierte Passpunkte ausgewählt werden, wobei die Passpunkte des 2D- Gelände-kalibrierten Roh-Datensatzes bei der Berechnung des SD- Geländemodells (3D-GM) mit den Passpunkten des 3D-GIS- Geländedatensatzes mittels geeigneter Algorithmen in Übereinstimmung gebracht werden wobei als Passpunkte bevorzugt Objekte und Bauten wie Gebäude, Strassen, Sendetürme, Brunnen, Gipfelkreuze, freistehende Bäume und/oder markante Felsen, ausgewählt werden.
System (1 ) zur automatischen Früherkennung mit erhöhter Erkennungssicherheit von Ereignissen wie Rauch, Russ und/oder Feuer gemäss dem Verfahren nach mindestens einem der Ansprüche 1 bis 1 1 , umfassend eine Sensoreinheit (2), eine Datenverarbeitungseinheit (3) sowie eine elektronische Pixel-Farbkanal-Mischeinheit (6) zur Verarbeitung von vom Farbsensor (5-1 ) erhaltenen Datensätze, dadurch gekennzeichnet, dass auf der Datenverarbeitungseinheit (3) mindestens ein Berechnungsmodell A, B und/oder C zum maschinellen Lernen, insbesondere zum maschinellen Lernen mittels Boosted Combined Model Classification, eine parameterfreie Methode zur Schätzung von Wahrscheinlichkeitsdichtefunktionen, insbesondere eine Nächste-Nachbarn-Klassifikation umfassend einen k-nächste- Nachbarn-Algorithmus, und/oder eine Gaussches-Mischungs-Modell (GMM) Analyse gespeichert ist.
System (1 ) nach Anspruch 12 und Verfahren nach mindestens einem der Ansprüche 1 bis 1 1 , dadurch gekennzeichnet, dass auf der Datenverarbeitungseinheit (3) von dem zu überwachenden Landschaftssektors ein kalibriertes 3D-Geländemodell (3D-GM) gespeichert ist, wobei das 3D-Geländemodell (3D-GM) erhalten wird durch Verrechnung des 2D-Gelände-kalibrierten Roh-Datensatzes des Überwachungssektors mit einem 3D-GIS-Geländedatensatz mit geeigneten Passpunkten des gleichen Geländes, sowie gegebenenfalls Wetterdaten (WD) zum zu überwachenden Landschaftssektor, auf der Datenverarbeitungseinheit (3) gespeichert und/oder online abrufbar sind. System (1 ) nach Anspruch 12 und Verfahren nach mindestens einem der Ansprüche 1 bis 1 1 , dadurch gekennzeichnet, dass
- die Blende (7) des Objektivs (4) eine Blendenöffnung mit einem Wert von f/4 oder kleiner, bevorzugt von f/5.6 oder kleiner, insbesondere von f/8 oder kleiner, aufweist,
- die Belichtungszeit mindestens 0.2 Sekunden, bevorzugt mindestens 0.5 Sekunden, insbesondere mindestens 1 Sekunde, beträgt, und/oder
- die Sensoreinheit (2) auf einer drehbaren Vorrichtung angeordnet ist und einen Landschaftssektor von einem Winkel von 2 bis 30°, bevorzugt einem Winkel von 5 bis 20°, abdeckt, wobei die Sensoreinheit (2) auf der drehbaren Vorrichtung bevorzugt bis zu 360° drehbar ist.
Verwendung des Verfahrens nach mindestens einem der Ansprüche 1 bis 10 und des Systems (1 ) nach mindestens einem der Ansprüche 1 1 bis 14 zur automatischen Früherkennung von Ereignissen wie Rauch, Russ, Feuer und/oder Bränden wie Waldbrände; zur Reduktion von Fehlalarmen, insbesondere bei Waldbranderkennungssystemen, die von nicht-brennbaren Orten wie Felsen, Strassen und/oder Gewässer, und/oder von nicht-brennbaren Ereignissen wie Wolkenschatten, Staubwolken, Vogelschwärmen, Luftverschmutzung sowie von Fahr- und/oder Flugobjekten herrühren können; zur Erhöhung der Erkennungssicherheit von Ereignissen; zur genauen Ortsbestimmung von Ereignissen; sowie zur geologischen Überwachung von geologisch kritischen Regionen, insbesondere bei Gefahr eines Fels- und/oder Eisabbruchs, eines Felssturzes und/oder eines Erdrutsches.
PCT/EP2018/074119 2017-09-09 2018-09-07 Automatische früherkennung von rauch, russ und feuer mit erhöhter erkennungssicherheit durch maschinelles lernen WO2019048604A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17190262.0 2017-09-09
EP17190262 2017-09-09

Publications (1)

Publication Number Publication Date
WO2019048604A1 true WO2019048604A1 (de) 2019-03-14

Family

ID=59895069

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/074119 WO2019048604A1 (de) 2017-09-09 2018-09-07 Automatische früherkennung von rauch, russ und feuer mit erhöhter erkennungssicherheit durch maschinelles lernen

Country Status (1)

Country Link
WO (1) WO2019048604A1 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052026A (zh) * 2021-03-12 2021-06-29 北京经纬恒润科技股份有限公司 座舱内抽烟行为定位方法及装置
CN113255238A (zh) * 2021-07-07 2021-08-13 南昌伐典热电科技有限责任公司 一种基于混合神经网络的燃气利用率预测方法和系统
CN113537226A (zh) * 2021-05-18 2021-10-22 哈尔滨理工大学 一种基于深度学习的烟雾检测方法
CN114241189A (zh) * 2021-11-30 2022-03-25 东南大学 一种基于深度学习的船舶黑烟识别方法
CN117152893A (zh) * 2023-10-31 2023-12-01 广州市林业和园林科学研究院 一种森林防灾方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0984413A2 (de) 1998-09-01 2000-03-08 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur automatischen Waldbranderkennung
DE102009020709A1 (de) 2009-05-11 2010-11-18 Basso, Gertrud Verfahren und Vorrichtung zur Überwachung und Detektion von Zuständen der Luft und Bewuchs in Waldgebieten mit selbstlernenden Analyseverfahren zur Generierung von Alarmwahrscheinlichkeiten
DE102013017395B3 (de) 2013-10-19 2014-12-11 IQ Wireless Entwicklungsges. für Systeme und Technologien der Telekommunikation mbH Verfahren und Vorrichtung zur automatisierten Waldbrandfrüherkennung mittels optischer Detektion von Rauchwolken
US20150030203A1 (en) 2013-07-23 2015-01-29 Samsung Techwin Co., Ltd. Method and apparatus for detecting smoke from image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0984413A2 (de) 1998-09-01 2000-03-08 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur automatischen Waldbranderkennung
DE102009020709A1 (de) 2009-05-11 2010-11-18 Basso, Gertrud Verfahren und Vorrichtung zur Überwachung und Detektion von Zuständen der Luft und Bewuchs in Waldgebieten mit selbstlernenden Analyseverfahren zur Generierung von Alarmwahrscheinlichkeiten
US20150030203A1 (en) 2013-07-23 2015-01-29 Samsung Techwin Co., Ltd. Method and apparatus for detecting smoke from image
DE102013017395B3 (de) 2013-10-19 2014-12-11 IQ Wireless Entwicklungsges. für Systeme und Technologien der Telekommunikation mbH Verfahren und Vorrichtung zur automatisierten Waldbrandfrüherkennung mittels optischer Detektion von Rauchwolken

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
APPLIED GEOGRAPHY, vol. 63, no. 1015, pages 315 - 325
DAVID MEASE ET AL: "Boosted Classification Trees and Class Probability / Quantile Estimation (PDF Download Available)", JOURNAL OF MACHINE LEARNING, vol. 8, 1 March 2007 (2007-03-01), pages 409 - 439, XP055445142 *
SCHWEIZ Z FORSTWES, vol. 164, no. 7, 2013, pages 173 - 180

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052026A (zh) * 2021-03-12 2021-06-29 北京经纬恒润科技股份有限公司 座舱内抽烟行为定位方法及装置
CN113052026B (zh) * 2021-03-12 2023-07-18 北京经纬恒润科技股份有限公司 座舱内抽烟行为定位方法及装置
CN113537226A (zh) * 2021-05-18 2021-10-22 哈尔滨理工大学 一种基于深度学习的烟雾检测方法
CN113255238A (zh) * 2021-07-07 2021-08-13 南昌伐典热电科技有限责任公司 一种基于混合神经网络的燃气利用率预测方法和系统
CN114241189A (zh) * 2021-11-30 2022-03-25 东南大学 一种基于深度学习的船舶黑烟识别方法
CN114241189B (zh) * 2021-11-30 2024-06-07 东南大学 一种基于深度学习的船舶黑烟识别方法
CN117152893A (zh) * 2023-10-31 2023-12-01 广州市林业和园林科学研究院 一种森林防灾方法及系统
CN117152893B (zh) * 2023-10-31 2023-12-29 广州市林业和园林科学研究院 一种森林防灾方法及系统

Similar Documents

Publication Publication Date Title
WO2019048604A1 (de) Automatische früherkennung von rauch, russ und feuer mit erhöhter erkennungssicherheit durch maschinelles lernen
EP3058556B1 (de) Verfahren und vorrichtung zur automatisierten waldbrandfrüherkennung mittels optischer detektion von rauchwolken
EP0984413B1 (de) Verfahren und Vorrichtung zur automatischen Waldbranderkennung
WO2019048603A1 (de) Automatische früherkennung von rauch, russ und feuer mittels 3d-geländemodell
DE69815977T2 (de) Gegen globale veränderungen unempfindlicher videobewegungsdetektor
CN103778418A (zh) 一种输电线路杆塔图像监测系统的山火图像识别方法
DE102007029476A1 (de) Bildverarbeitungsvorrichtung zur Schattendetektion bzw. -unterdrückung, Verfahren und Computerprogramm
CN109218667B (zh) 一种公共场所安全预警系统和方法
EP2677460A1 (de) Verfahren zur Bestimmung der Länge einer Warteschlange
Ibrahim et al. The application of UAV images in flood detection using image segmentation techniques
Yoon et al. An intelligent automatic early detection system of forest fire smoke signatures using Gaussian mixture model
EP3847575A1 (de) Überwachungsvorrichtung und verfahren zur mann-über-bord-überwachung
DE60123214T2 (de) Rauch- und flammendetektion
WO2019048601A1 (de) Automatische früherkennung von rauch, russ und feuer mit erhöhter erkennungssicherheit
CN113191292A (zh) 一种溃决洪水淹没范围快速提取方法
DE102013217223A1 (de) Überwachungsanlage sowie Verfahren zur Darstellung eines Überwachungsbereichs
DE102009020709A1 (de) Verfahren und Vorrichtung zur Überwachung und Detektion von Zuständen der Luft und Bewuchs in Waldgebieten mit selbstlernenden Analyseverfahren zur Generierung von Alarmwahrscheinlichkeiten
Daengsi et al. Irrigation Management: A Pilot Study for Automatic Water Level Measurement and Report System Development Using Machine Learning Associated with Modified Images
DE102016222134A1 (de) Videoanalyseeinrichtung für eine Überwachungsvorrichtung und Verfahren zur Erzeugung eines Einzelbildes
DE4009912A1 (de) Videokontroll-einrichtung
DE102022200996A1 (de) Umgebungsbranddetektionsanordnung zur Überwachung von einem Überwachungsbereich, Verfahren, Computerprogramm und Speichermedium
Adurkar et al. Fire detection using HSV color picker: a review
DE102019131858A1 (de) System zur automatischen Erfassung und Bestimmung von sich bewegenden Objekten
WO2016087202A1 (de) Bildverarbeitung mittels kreuzkorrelation
Rajan et al. Forest fire detection using machine learning

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18762328

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18762328

Country of ref document: EP

Kind code of ref document: A1