WO2024111237A1 - 煙監視システム、気体揺らぎ監視システム、煙監視方法、気体揺らぎ監視方法、煙監視プログラム、及び気体揺らぎ監視プログラム - Google Patents

煙監視システム、気体揺らぎ監視システム、煙監視方法、気体揺らぎ監視方法、煙監視プログラム、及び気体揺らぎ監視プログラム Download PDF

Info

Publication number
WO2024111237A1
WO2024111237A1 PCT/JP2023/034229 JP2023034229W WO2024111237A1 WO 2024111237 A1 WO2024111237 A1 WO 2024111237A1 JP 2023034229 W JP2023034229 W JP 2023034229W WO 2024111237 A1 WO2024111237 A1 WO 2024111237A1
Authority
WO
WIPO (PCT)
Prior art keywords
smoke
fluctuation
appearance
judgment
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/034229
Other languages
English (en)
French (fr)
Inventor
望 仲尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2024559982A priority Critical patent/JPWO2024111237A1/ja
Publication of WO2024111237A1 publication Critical patent/WO2024111237A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/10—Actuation by presence of smoke or gases, e.g. automatic alarm devices for analysing flowing fluid materials by the use of optical means

Definitions

  • the present invention relates to a smoke monitoring system, a gas fluctuation monitoring system, a smoke monitoring method, a gas fluctuation monitoring method, a smoke monitoring program, and a gas fluctuation monitoring program.
  • Fire monitoring devices and systems have been considered for some time now in order to detect fires early.
  • smoke alarms which are an example of fire monitoring equipment, can only be installed in certain locations and cannot be installed outdoors where there is no ceiling. Also, because smoke must reach the smoke alarm, by the time it detects smoke and sounds an alarm, the fire is often well advanced.
  • Thermal cameras an example of fire monitoring equipment, are cameras that detect heat and can detect high temperature areas, but they can only detect fires that have progressed quite a bit. Infrared light also passes through smoke, so it is difficult for them to detect smoke. In particular, fires generally progress in three stages: (1) smoke is generated, (2) heat is generated, and (3) surrounding materials begin to burn. However, it is difficult to detect the initial stage when smoke is being generated.
  • AI Artificial Intelligence
  • smoke detection systems are often unable to detect smoke until it has matured and its volume has increased.
  • the influence of the background that penetrates through the smoke is significant, making it difficult to improve detection performance.
  • the appearance of smoke is greatly affected by burning materials, wind, temperature, humidity, etc., making it difficult to cover the wide variety of smoke appearances that can change.
  • Patent Document 1 describes a smoke detection device that improves smoke detection accuracy by "providing a detection area setting means for setting a predetermined detection area within the captured area when detecting smoke generation within the captured area by processing an image captured by a camera, and providing a calculation means for calculating two or more smoke detection determination elements within the detection area to detect smoke generation within the detection area, the smoke detection determination elements being comprised of transmittance, convergence luminance value, frequency spectrum, average value of average luminance, and variance of average luminance, and the calculation means comprising two or more of the following: transmittance calculation means for calculating the transmittance of the detection area; convergence luminance value calculation means for calculating the convergence luminance value of the detection area; luminance average variance calculation means for calculating the average and variance of luminance of the detection area; and average luminance frequency analysis means for performing frequency analysis on time series data of the average luminance of the detection area to obtain a frequency spectrum" (see the abstract of Patent Document 1).
  • Patent document 2 also describes a monitoring device that reliably detects changes caused by smoke, stating that "in a monitoring device that detects the occurrence of an abnormality based on images captured by cameras, a difference processing unit 18 detects a difference image that represents a change over a predetermined time from the difference between a first image captured by ITV cameras 10-1, 10-2, ... and stored in image memory 20, and a second image captured after a predetermined time has passed and stored in image memory 16.
  • a motion vector detection unit 22 detects a motion vector that represents a changed portion of the image based on the detected difference image.
  • An abnormality determination unit 24 determines the occurrence of an abnormality based on the motion vector detected by the motion vector detection unit 22" (see the abstract of patent document 2).
  • JP 2011-238280 A Japanese Patent Application Laid-Open No. 11-339162
  • the smoke detection device described in Patent Document 1 sets a detection area when detecting smoke within the range captured by the camera.
  • some production activity is often taking place within the detection area, so the smoke detection device in Patent Document 1 is prone to frequent false positives.
  • a certain amount of smoke is required to detect smoke within the detection area, so the smoke detection device in Patent Document 1 can only detect smoke when a fire has already progressed.
  • the monitoring device described in Patent Document 2 detects non-rigid motion vectors that change in a wide variety of ways, such as smoke, but detecting such motion vectors is extremely complex and difficult. In particular, the initial smoke that sparks a fire erupts slowly and thinly, making it difficult to determine whether it is smoke or not based on its motion vector.
  • the present invention aims to make it possible to detect smoke at a small, thin, and stable stage.
  • a fluctuation detection means for detecting fluctuation information of a subject from a group of images captured by a camera and successive in a time direction
  • An appearance judgment adoptability judging means for judging whether to judge smoke from the appearance in addition to the fluctuation information
  • a determining means for determining whether or not smoke is present using appearance information of each image in the image group when the appearance determination adoptability determining means determines that the image should also be determined from the appearance
  • a smoke monitoring system comprising:
  • the fluctuation detection means detects smoke based on a change in the time domain and determines a smoke region.
  • a smoke monitoring system as described in (1).
  • the appearance judgment adoptability determining means determines that the probability of smoke is low if a change in an area of the histogram of the fluctuation information that is equal to or greater than a predetermined value exceeds a threshold value.
  • a smoke monitoring system as described in (1).
  • the appearance judgment adoptability determining means determines that the probability of smoke is low if the variance of the difference amount in the fluctuation information area exceeds a threshold.
  • the appearance judgment adoptability determining means determines that the probability of smoke is low if the saturation in the region of the fluctuation information exceeds a predetermined value.
  • the appearance judgment adoptability determining means determines that the probability of smoke is low if the amount of center of gravity shift of the fluctuation information exceeds a predetermined value.
  • the appearance judgment adoptability determining means determines that the probability of smoke is low if a shift amount of the center of gravity of the fluctuation information in a predetermined time exceeds a predetermined value.
  • the determination means includes a smoke detector trained by deep learning.
  • a smoke monitoring system as described in (1) (10) A warning unit that issues a warning when the appearance judgment adoptability determining unit or the determining unit determines that there is smoke. A smoke monitoring system as described in (1).
  • the warning means issues a preliminary warning when the determination means determines that there is smoke, and issues a main warning only when the warning continues for a certain period of time at a certain position.
  • a smoke monitoring system as described in (10).
  • a user can adjust a judgment criterion in the appearance judgment adoption judgment means.
  • a judgment criterion is switched according to an imaging mode of a camera.
  • a judgment criterion is switched depending on whether a light is on or off. A smoke monitoring system as described in (1).
  • a fluctuation detection means for detecting fluctuation information of a subject from a group of images captured by a camera and successive in a time direction; a visual appearance judgment adoptability judgment means for judging whether to judge gas fluctuation from the visual appearance in addition to the fluctuation information; a judgment means for judging whether or not the fluctuation is caused by gas fluctuation using appearance information of each image of the image group when the appearance judgment adoptability judgment means judges that the fluctuation should also be caused by appearance;
  • a gas fluctuation monitoring system comprising:
  • the fluctuation detection means detects gas fluctuations based on a change in the time direction and determines a gas fluctuation region.
  • the appearance judgment adoptability determining means determines that the probability of gas fluctuation is low if a change in the fluctuation information over a predetermined time period exceeds a threshold value.
  • the appearance judgment adoptability determining means determines that the probability of gas fluctuation is low if the saturation in the fluctuation information area exceeds a predetermined value.
  • the appearance judgment adoptability determining means determines that the probability of gas fluctuation is low if the amount of center of gravity movement of the fluctuation information exceeds a predetermined value.
  • the appearance judgment adoptability determining means determines that the probability of gas fluctuation is low if the amount of center of gravity movement of the fluctuation information in a predetermined time exceeds a predetermined value.
  • (26) detecting information about fluctuation of a subject from a group of images captured by a camera and successive in a time direction; A step of determining whether to determine gas fluctuations from appearance in addition to the fluctuation information; a step of determining whether or not the fluctuation is caused by gas fluctuation using appearance information of each image of the image group when it is determined that the fluctuation can also be determined from the appearance; A gas fluctuation monitoring method that performs the above.
  • a computer is provided with: A step of detecting fluctuation information of a subject from a group of images captured by a camera and successive in a time direction; A step of determining whether smoke is detected based on the appearance in addition to the fluctuation information; a step of determining whether or not smoke is present using appearance information of each image in the image group when it is determined that the appearance should also be used to determine whether or not smoke is present; Smoke monitoring program to run.
  • a computer is provided with: A step of detecting fluctuation information of a subject from a group of images captured by a camera and successive in a time direction; A step of determining whether gas fluctuation is determined from the appearance in addition to the fluctuation information; a step of determining whether or not the fluctuation is caused by gas fluctuation using appearance information of each image in the image group when it is determined that the fluctuation can also be determined from the appearance; A gas fluctuation monitoring program for executing the above.
  • the present invention makes it possible to detect smoke at a small, thin, and stable stage.
  • FIG. 1 is an explanatory diagram illustrating an example of the main configuration of a smoke monitoring system according to an embodiment of the present invention
  • FIG. 2 is a functional block diagram showing functions of a CPU of the smoke monitoring device according to the present embodiment.
  • 1 is a flowchart (part 1) showing the process by which a smoke monitoring device according to the present embodiment determines whether or not there is smoke based on a group of images acquired from a camera.
  • 11 is a flowchart (part 2) showing the process in which the smoke monitoring device of the present embodiment determines whether or not there is smoke based on a group of images acquired from a camera.
  • FIG. 11 is an explanatory diagram (part 1) showing the concept of the fluctuation detection unit calculating differential information of smoke in the time direction as fluctuation information in step S005.
  • FIG. 1 is an explanatory diagram illustrating an example of the main configuration of a smoke monitoring system according to an embodiment of the present invention
  • FIG. 2 is a functional block diagram showing functions of a CPU of the smoke monitoring device according to
  • FIG. 2 is an explanatory diagram (part 2) showing the concept of the fluctuation detection unit calculating differential information of smoke in the time direction as fluctuation information in step S005.
  • FIG. 11 is an explanatory diagram (part 1) showing a concept in which the fluctuation detection unit calculates difference information of a moving object (person) in the time direction as fluctuation information in step S005.
  • FIG. 2 is an explanatory diagram (part 2) showing the concept of the fluctuation detection unit calculating difference information of a moving object (person) in the time direction as fluctuation information in step S005.
  • 13 is a histogram showing a case where the difference amount of fluctuation information is strong.
  • FIG. 13 is a conceptual diagram showing a case where the difference amount of fluctuation information is large.
  • FIG. 13 is a histogram showing a case where the difference amount of fluctuation information is weak.
  • FIG. 13 is a conceptual diagram showing a case where the difference amount of fluctuation information is weak.
  • FIG. 13 is a conceptual diagram showing a case where the variance of fluctuation information in a candidate region is large (part 1).
  • FIG. 13 is a conceptual diagram showing a case where the variance of fluctuation information in a candidate region is large (part 2).
  • FIG. 13 is a conceptual diagram showing a case where the variance of fluctuation information in a candidate region is not large (part 1).
  • FIG. 2 is a conceptual diagram showing a case where the variance of fluctuation information in a candidate region is not large (part 2).
  • FIG. 11 is a conceptual diagram (part 1) showing a case in which the appearance judgment adoptability determining unit determines in step S019 that the amount of movement of the center of gravity of the candidate region is large.
  • FIG. 11 is a conceptual diagram (part 2) showing a case in which the appearance judgment adoptability determining unit determines in step S019 that the amount of movement of the center of gravity of the candidate region is large.
  • FIG. 11 is a conceptual diagram (part 1) showing a case in which the appearance judgment adoptability determining unit determines in step S019 that the amount of movement of the center of gravity of the candidate region is not large.
  • FIG. 11 is a conceptual diagram (part 2) showing a case in which the appearance judgment adoptability determining unit determines in step S019 that the amount of movement of the center of gravity of the candidate region is not large.
  • FIG. 11 is a conceptual diagram (part 1) showing a case where the appearance judgment adoption determining unit determines in step S021 that the accumulated fluctuation information has moved globally.
  • FIG. 2 is a conceptual diagram showing a case where the appearance judgment adoption determining unit determines that the accumulated fluctuation information has moved globally in step S021 (part 2).
  • FIG. 11 is a conceptual diagram (part 1) showing a case where the appearance judgment adoption determining unit determines in step S021 that the accumulation of fluctuation information has not moved globally.
  • 11 is a conceptual diagram (part 2) showing a case where the appearance judgment adoption determining unit determines in step S021 that the accumulation of fluctuation information has not moved globally.
  • 13 is a flowchart (part 1) showing the processing of a preliminary warning and a main warning by a smoke monitoring device according to a second embodiment based on a group of images acquired from a camera.
  • 13 is a flowchart (part 2) showing the processing of a preliminary warning and a main warning by a smoke monitoring device according to a second embodiment based on a group of images acquired from a camera.
  • First Embodiment is an explanatory diagram illustrating an example of the main configuration of a smoke monitoring system 200 according to this embodiment.
  • the smoke monitoring system 200 according to this embodiment is configured to include a smoke monitoring device 100 and a camera 180.
  • the smoke monitoring system 200 is an example of a gas fluctuation monitoring system, and the case where smoke is detected using the smoke monitoring device 100 will be described, but the present embodiment is not limited to this.
  • a gas fluctuation monitoring system it can detect anything related to gas fluctuation, such as heat haze, tornadoes, fog, dust, pollen, and visible gases.
  • the smoke monitoring device 100 is configured with a CPU (Central Processing Unit) 110, a memory unit 120, a ROM (Read Only Memory) 130, a RAM (Random Access Memory) 140, an input unit 150, a display unit 160, and a communication unit 170.
  • the smoke monitoring device 100 is configured, for example, as a board-shaped computer to which a camera 180 is connected, and functions as an edge terminal.
  • the CPU 110 is a central processing unit, and embodies each process (function) shown in FIG. 2 by executing a smoke monitoring program 121 stored in the memory unit 120 or the ROM 130. Each process embodied by the CPU 110 will be described later with reference to FIG. 2.
  • the memory unit 120 is a large-capacity storage device, and is composed of, for example, a hard disk drive, non-volatile memory, etc.
  • the memory unit 120 stores a smoke monitoring program 121.
  • RAM 140 functions as a work area that temporarily stores various programs, input data, output data, and parameters that are read from ROM 130 and can be executed by CPU 110 during various processes that are executed and controlled by CPU 110.
  • the input unit 150 is configured with a keyboard equipped with cursor keys, numeric input keys, and various function keys, and a pointing device such as a mouse.
  • the input unit 150 outputs, as input signals, press signals of keys pressed on the keyboard and operation signals from the mouse to the CPU 110.
  • the CPU 110 executes various processes based on the operation signals from the input unit 150.
  • the display unit 160 is configured with a monitor such as a CRT (Cathode Ray Tube) or LCD (Liquid Crystal Display).
  • the display unit 160 displays various screens according to the instructions of a display signal input from the CPU 110.
  • a touch panel display can also be used as the display unit 160 and the input unit 150.
  • the communication unit 170 has a communication interface and communicates with external devices on the network.
  • the communication unit 170 is connected to the camera 180 and receives images captured by the camera 180.
  • Camera 180 is installed, for example, on the ceiling of a factory or outdoors, and captures images to monitor smoke occurring inside or outside the factory.
  • the internal bus 190 interconnects each component in the smoke monitoring device 100.
  • FIG. 2 is a functional block diagram showing the functions of the CPU 110 of the smoke monitoring device 100 according to this embodiment.
  • the CPU 110 executes the smoke monitoring program 121 in FIG. 1 to embody the fluctuation detection unit 111 (fluctuation detection means), the appearance judgment adoption determination unit 112 (appearance judgment adoption determination means), the appearance determination unit 113 (determination means), and the alarm unit 114 (alarm means) shown in FIG. 2.
  • the fluctuation detection unit 111 detects fluctuation information of a subject from a group of images (video) captured by the camera 180 and continuous in the time direction.
  • the fluctuation detection unit 111 detects smoke and determines a smoke region from changes in the fluctuation information of the subject in the time direction.
  • the fluctuation detection unit 111 may also detect gas fluctuations and determine a gas fluctuation region from changes in the fluctuation information of the subject in the time direction. Note that the determination of a smoke region or gas fluctuation region by the fluctuation detection unit 111 from the fluctuation information of the subject is referred to as calculation of a candidate region.
  • the appearance judgment adoption determination unit 112 determines whether to determine smoke from appearance in addition to fluctuation information. For example, when determining smoke from fluctuation information, the appearance judgment adoption determination unit 112 may determine that the probability of smoke is low if the fluctuation information fluctuates strongly and significantly in a short period of time, that is, if the change in the fluctuation information over a specified period of time exceeds a threshold. In this case, the change in the fluctuation information over a specified period of time corresponds to, for example, a change in the area in a histogram or the variance of the amount of difference in the area of the fluctuation information.
  • the appearance judgment adoptability determination unit 112 may also analyze the color components of the fluctuation information, and if the color is vivid, determine that the likelihood of smoke is low. In other words, the appearance judgment adoptability determination unit 112 may determine that the likelihood of smoke is low if the saturation in the fluctuation information area exceeds a predetermined value.
  • the appearance judgment adoption determination unit 112 may also analyze the amount of center of gravity movement of the fluctuation information, and if it is difference information that moves significantly overall, determine that the likelihood of smoke is low. In other words, the appearance judgment adoption determination unit 112 may determine that the likelihood of smoke is low if the amount of center of gravity movement of the fluctuation information exceeds a predetermined value. The appearance judgment adoption determination unit 112 may also accumulate fluctuation information over a predetermined time, and determine that it is a moving object that is moving overall, and determine that the likelihood of smoke is low. In other words, the appearance judgment adoption determination unit 112 may determine that the likelihood of smoke is low if the amount of center of gravity movement of the fluctuation information over a predetermined time exceeds a predetermined value.
  • the appearance judgment adoptability determination unit 112 may also switch the judgment criteria depending on the time. For example, the appearance judgment adoptability determination unit 112 sets separate parameters for daytime and nighttime, and uses different parameters depending on the time.
  • the appearance judgment adoptability determination unit 112 may also switch the judgment criteria depending on the imaging mode of the camera 180. For example, when the imaging mode of the camera 180 is switched from a daytime imaging mode to a nighttime imaging mode, the appearance judgment adoptability determination unit 112 detects the switch in the imaging mode of the camera 180, and sets the parameters for the nighttime imaging mode.
  • the appearance judgment adoptability determination unit 112 may switch the judgment criteria depending on whether the lights are on or off. For example, if the lights outside the factory are turned on automatically, the appearance judgment adoptability determination unit 112 detects this automatic lighting and sets parameters for nighttime use. Furthermore, the appearance judgment adoptability determination unit 112 may allow the user to adjust the judgment criteria.
  • the appearance determination unit 113 uses the appearance information of each image in the image group to determine whether or not there is smoke. In addition, when the appearance judgment adoptability determination unit 112 determines that the image cannot be judged from the appearance, the appearance determination unit 113 may use fluctuation information to determine whether or not there is smoke.
  • the appearance judgment adoption determination unit 112 may determine whether to judge gas fluctuations from the appearance in addition to the fluctuation information. In this case, the appearance judgment adoption determination unit 112 may determine that the probability of gas fluctuations is low if, for example, the fluctuation information fluctuates strongly and significantly in a short period of time, that is, if the change in the fluctuation information in a specified period of time exceeds a threshold value.
  • the appearance judgment adoptability determination unit 112 may also analyze the color components of the fluctuation information, and if the color is vivid, determine that the likelihood of gas fluctuation is low. In other words, the appearance judgment adoptability determination unit 112 may determine that the likelihood of gas fluctuation is low if the saturation in the fluctuation information area exceeds a predetermined value.
  • the appearance judgment adoption determination unit 112 may also analyze the amount of center of gravity movement of the fluctuation information, and if it is difference information that moves significantly overall, determine that the likelihood of gas fluctuation is low. In other words, the appearance judgment adoption determination unit 112 may determine that the likelihood of gas fluctuation is low if the amount of center of gravity movement of the fluctuation information exceeds a predetermined value. The appearance judgment adoption determination unit 112 may also accumulate fluctuation information over a predetermined time, and determine that it is a moving object that is moving overall, and determine that the likelihood of gas fluctuation is low. In other words, the appearance judgment adoption determination unit 112 may determine that the likelihood of gas fluctuation is low if the amount of center of gravity movement of the fluctuation information over a predetermined time exceeds a predetermined value.
  • the appearance judgment adoptability determination unit 112 may arbitrarily change the judgment criteria, as in the case of smoke.
  • the appearance determination unit 113 may use the appearance information of each image in the image group to determine whether or not there is gas fluctuation. In this case, when the appearance judgment adoptability determination unit 112 determines that gas fluctuation cannot be determined from the appearance, the appearance determination unit 113 may use the fluctuation information to determine whether or not there is gas fluctuation.
  • the smoke monitoring system 200 can also be used as a gas fluctuation monitoring system, and can detect anything related to gas fluctuations, such as heat haze, tornadoes, fog, dust, pollen, and visible gases.
  • the alarm issuing unit 114 issues an alarm to the user when the appearance determining unit 113 determines that there is smoke.
  • the alarm issuing unit 114 may also issue a preliminary warning when the appearance determining unit 113 determines that there is smoke, and issue a full warning only if the warning continues for a certain period of time at a predetermined location.
  • the predetermined location refers to a location that is almost the same as the location of the smoke source (within a predetermined range) when the appearance determining unit 113 determines that there is smoke, since the source of the smoke hardly changes position. Note that since the smoke source is expected to move slightly, an alarm is issued at the predetermined location if it is within a predetermined range (for example, within a radius of 30 cm).
  • the alarm issuing unit 114 may also issue an alarm to the user when the appearance determining unit 113 determines that the detected object is a gas fluctuation other than smoke, or may issue a preliminary alarm and a main alarm as a warning.
  • the trained model 122 is a smoke detector trained by deep learning. For example, the trained model 122 performs machine learning using training data that indicates smoke in advance, and determines whether or not there is smoke from the appearance information of each image in the image group.
  • the trained model 122 may also perform machine learning for gas fluctuations other than smoke using training data that indicates gas fluctuations in advance, and determine whether or not an image in the image group is a gas fluctuation based on the appearance information of each image.
  • FIG. 3 and 4 are flow charts showing the process of the smoke monitoring device 100 according to the first embodiment for determining whether or not there is smoke based on a group of images acquired from the camera 180.
  • FIG. 3 and 4 are flow charts showing the process of the smoke monitoring device 100 according to the first embodiment for determining whether or not there is smoke based on a group of images acquired from the camera 180.
  • the camera 180 is installed, for example, inside a factory or outdoors, and captures an image of a predetermined range.
  • the camera 180 sends the captured image to the fluctuation detection unit 111 of the CPU 110.
  • the fluctuation detection unit 111 acquires an image from the camera 180 and registers it in a buffer (step S001).
  • the buffer is provided in the storage unit 120, for example.
  • the fluctuation detection unit 111 searches for smoke from the appearance information of the image (step S003). Then, the fluctuation detection unit 111 calculates the difference information in the time direction as fluctuation information (step S005).
  • FIGS. 5A and 5B are explanatory diagrams showing the concept of the fluctuation detection unit 111 calculating smoke difference information in the time direction as fluctuation information in step S005.
  • image PC11 shows an image of smoke at time t1
  • image PC12 shows an image of smoke at time t2
  • image PC13 shows an image of smoke at time t3.
  • Image FI1 in FIG. 5B shows the concept of an image in which smoke fluctuation information has been calculated by taking the difference between images PC11 to PC13.
  • the fluctuation detection unit 111 takes the difference between frames at a fixed interval, and generates fluctuation information based on the strength of the change in the image, as shown in FIG. 5B.
  • the source of the smoke has momentum, so the source of the smoke changes strongly, as shown in image FI1 in FIG. 5B.
  • Figures 6A and 6B are explanatory diagrams showing the concept in which the fluctuation detection unit 111 calculates difference information of a moving object (person) in the time direction as fluctuation information in step S005.
  • image PC21 shows an image of a person at time t1
  • image PC22 shows an image of a person at time t2
  • image PC23 shows an image of a person at time t3.
  • Image FI2 in FIG. 6B shows the concept of an image in which the difference between images PC21 to PC23 is taken and person fluctuation information is calculated.
  • the fluctuation detection unit 111 detects that the person moves overall within the image, causing a strong overall change, as in image FI2 in FIG. 6B.
  • the fluctuation detection unit 111 registers the calculated fluctuation information in a fluctuation buffer (step S007).
  • the fluctuation buffer is provided in the storage unit 120.
  • the fluctuation detection unit 111 determines whether it is a period for judging the fluctuation information (step S009), and if it is a period for judgment (Yes in step S009), it performs a primary smoke judgment from the fluctuation information and calculates the candidate area (step S011).
  • the fluctuation detection unit 111 calculates candidate areas from images FI1 and FI2 in Figures 5B and 6B (step S011).
  • step S009 the fluctuation detection unit 111 returns to step S001 and continues acquiring images from the camera 180.
  • the appearance judgment adoption determination unit 112 determines whether or not a strong difference predominates in the histogram of the candidate area calculated by the fluctuation detection unit 111 (step S013). If a strong difference predominates in the histogram (Yes in step S013), the appearance judgment adoption determination unit 112 proceeds to step S025. On the other hand, if a strong difference does not predominate (No in step S013), the appearance judgment adoption determination unit 112 proceeds to step S015.
  • the amount of difference in the histogram is one of the indices used to determine whether or not the fluctuation information has moved strongly and significantly in a short period of time.
  • Fig. 7A is a histogram showing a case where the difference in the fluctuation information is strong.
  • Fig. 7B is a conceptual diagram showing a case where the difference in the fluctuation information is strong.
  • the horizontal axis shows the strength of the difference
  • the vertical axis shows the frequency of the fluctuation information in the candidate region.
  • Fig. 7B also shows the fluctuation information in the candidate region when the difference is strong.
  • Figures 7A and 7B in this histogram, the difference is strong or there is a high frequency of strong fluctuation information, so the probability of smoke is low and it is the source of false alarms. Therefore, Figures 7A and 7B correspond to the case where the moving object is, for example, a person.
  • Fig. 8A is a histogram showing a case where the difference in the fluctuation information is weak.
  • Fig. 8B is a conceptual diagram showing a case where the difference in the fluctuation information is weak.
  • the horizontal axis shows the strength of the difference
  • the vertical axis shows the frequency of the fluctuation information in the candidate region.
  • Fig. 8B also shows the fluctuation information in the candidate region when the difference is weak.
  • the criteria for determining the strength of the difference amount can be determined by adjusting the parameters of the appearance judgment adoptability determination unit 112. For example, if the parameters are set to include many strong differences, initially weak smoke will be detected at a mature stage, reducing false alarms but increasing the possibility of missed reports.
  • the parameters are set to include many weak differences, for example, it will be possible to detect thin, weak smoke at an early stage, which will result in more false alarms, but will reduce the possibility of missed alerts.
  • the appearance judgment adoption determination unit 112 appropriately sets parameters that serve as the judgment criteria, for example, setting the sensitivity high for an unmanned warehouse at night and low for a warehouse where production activities are carried out during the day, thereby preventing false and missed reports.
  • the parameter adjustments may be switched between different settings at different times depending on the site, and may also be linked to the final exit signal of workers, etc.
  • the appearance judgment adoptability determination unit 112 does not use the direction in which the smoke travels, it is robust to the shape of the smoke and the manner in which the smoke rises. Therefore, the appearance judgment adoptability determination unit 112 is not restricted by the camera 180 used, and can be applied to even an overhead camera, a fisheye camera, etc.
  • step S015 the appearance judgment adoption determination unit 112 determines whether the variance of the difference amount (fluctuation information) of the candidate area is greater than a predetermined value (step S015). If the variance of the difference amount is greater than the predetermined value (Yes in step S015), the appearance judgment adoption determination unit 112 proceeds to step S025. On the other hand, if the variance of the difference amount is not greater than the predetermined value (No in step S015), the appearance judgment adoption determination unit 112 proceeds to step S017.
  • the variance of the difference amount is one of the indicators used to determine whether the fluctuation information has moved strongly and significantly in a short period of time.
  • Figures 9A and 9B are conceptual diagrams showing a case where the variance of the fluctuation information in the candidate region is large.
  • the horizontal axis shows the strength of the fluctuation information
  • the vertical axis shows the number of pixels.
  • Figure 9B shows a candidate region where the variance of the fluctuation information is large.
  • Figures 10A and 10B are conceptual diagrams showing a case where the variance of the fluctuation information in the candidate region is not large.
  • the horizontal axis shows the strength of the fluctuation information
  • the vertical axis shows the number of pixels.
  • Figure 10B shows a candidate region where the variance of the fluctuation information is not large.
  • the width DW2 of the fluctuation information is not large compared to Figures 9A and 9B (i.e., it is relatively small compared to the variance width DW2 in Figure 9A), so the probability of smoke is high.
  • the criteria for judging the widths DW1 and DW2 of the variance of the fluctuation information in the difference amount are determined by adjusting the parameters of the appearance judgment adoptability determination unit 112. For example, by setting the width DW1 of the variance of the fluctuation information wide, the variance will become large, which may lead to an increase in false reports. On the other hand, by setting the width DW2 of the variance of the fluctuation information narrow, the variance will become small, which increases the possibility of false reports.
  • the user can reduce false and missed reports by setting appropriate parameters for the variance widths DW1 and DW2 of the fluctuation information.
  • step S017 the appearance judgment adoptability determination unit 112 determines whether the color of the candidate area is vivid or not, i.e., whether the saturation of the candidate area exceeds a predetermined value. If the candidate area is vivid (Yes in step S017), the appearance judgment adoptability determination unit 112 determines that there is a low probability that the candidate area is smoke, and proceeds to step S025. On the other hand, if the candidate area is not vivid (No in step S017), the appearance judgment adoptability determination unit 112 determines that there is a high probability that the candidate area is smoke, and proceeds to step S019.
  • vivid refers to a color that is not mixed with colors such as white, black, and gray, such as a vivid red or a primary yellow. In this case, the saturation of the candidate area exceeds the predetermined value.
  • the appearance judgment adoptability determination unit 112 determines that vivid colors opposite these colors are relatively less likely to represent smoke.
  • the saturation of the candidate area is below a predetermined value.
  • the appearance judgment adoptability determination unit 112 may use background difference technology to cut out and determine only the part of the candidate area that corresponds to smoke. If the background structure of the candidate area is a vivid color, the appearance judgment adoptability determination unit 112 may make an erroneous determination of the background structure. By cutting out only the part of the candidate area that corresponds to smoke and determining the saturation, the appearance judgment adoptability determination unit 112 can detect smoke with higher accuracy.
  • step S019 the appearance judgment adoptability determination unit 112 determines whether the amount of movement of the center of gravity of the candidate area is large. If the amount of movement of the center of gravity of the candidate area is large (Yes in step S019), the appearance judgment adoptability determination unit 112 determines that the probability that the candidate area is smoke is low, and proceeds to step S025. On the other hand, if the amount of movement of the center of gravity of the candidate area is not large (No in step S019), the appearance judgment adoptability determination unit 112 determines that the probability that the candidate area is smoke is high, and proceeds to step S021.
  • FIGS. 11A and 11B are conceptual diagrams showing a case in which the appearance judgment adoption determination unit 112 determines in step S019 that the amount of movement of the center of gravity of the candidate area is large.
  • image PC21 shows an image of a person at time t1
  • image PC22 shows an image of a person at time t2
  • image PC23 shows an image of a person at time t3.
  • center of gravity CG2 shows the center of gravity CG2 of the people in images PC21 to PC23.
  • Image FI4 shown in Figure 11B shows the state in which the trajectory CL2 of the center of gravity CG2 of the person in images PC21 to PC23 has been calculated.
  • the candidate area moves globally and the amount of movement of the person's center of gravity CG2 is also large.
  • Figures 12A and 12B are conceptual diagrams showing a case where the appearance judgment adoption determination unit 112 determines in step S019 that the amount of movement of the center of gravity of the candidate area is not large (i.e., the amount of movement of the center of gravity of the candidate area is relatively small).
  • image PC11 shows an image of smoke at time t1
  • image PC12 shows an image of smoke at time t2
  • image PC13 shows an image of smoke at time t3.
  • center of gravity CG1 shows the center of gravity CG1 of the smoke in images PC11 to PC13.
  • Image FI3 shown in Figure 12B shows the state in which the trajectory CL1 of the center of gravity CG1 of the smoke in images PC11 to PC13 has been calculated.
  • Figure 12B for example, in the case of smoke, there is a peak mainly at the source of the smoke, and the movement of the center of gravity CG1 of the candidate region does not change significantly.
  • step S021 the appearance judgment adoptability determination unit 112 determines whether the accumulation of fluctuation information has moved globally. If the accumulation of fluctuation information has moved globally (Yes in step S021), the fluctuation information has transitioned significantly, so the appearance judgment adoptability determination unit 112 determines that the probability that the candidate region is smoke is low, and proceeds to step S025. On the other hand, if the accumulation of fluctuation information has not moved globally (No in step S021), the appearance judgment adoptability determination unit 112 determines that the probability that the candidate region is smoke is high, and proceeds to step S023.
  • FIGS. 13A and 13B are conceptual diagrams showing a case in which the appearance judgment adoption determination unit 112 determines in step S021 that the accumulated fluctuation information (candidate area) has moved globally.
  • image FC21 shows an image of human fluctuation information at time e1
  • image FC22 shows an image of human fluctuation information at time e2
  • image FC23 shows an image of human fluctuation information at time e3.
  • the accumulated fluctuation information in the candidate area is obtained by accumulating images FC21 to FC23 and dividing the accumulated information by the accumulated number of images.
  • the accumulated fluctuation information (image FC2) transitions significantly due to the accumulation of candidate regions, and therefore becomes flat (Yes in step S021). Note that flat means smooth or without undulations or differences in elevation.
  • Figures 14A and 14B are conceptual diagrams showing a case in which the appearance judgment adoption determination unit 112 determines in step S021 that the accumulation of fluctuation information has not moved globally.
  • image FC11 shows an image of smoke fluctuating information at time c1
  • image FC12 shows an image of smoke fluctuating information at time c2
  • image FC13 shows an image of smoke fluctuating information at time c3.
  • the accumulated fluctuation information in the candidate area is the result of accumulating images FC11 to FC13 and dividing the result by the accumulated number of images.
  • the accumulated fluctuation information (image FC1) does not change significantly due to the accumulation of candidate areas, and for example, even if it is swayed by the wind, it basically maintains a state in which a strong peak appears at the source of the jet.
  • step S025 the appearance determination unit 113 determines whether or not smoke has been detected from the appearance information of the image. If smoke has been detected from the appearance information of the image (Yes in step S025), the appearance determination unit 113 proceeds to step S023. On the other hand, if smoke has not been detected from the appearance information of the image (No in step S025), the appearance determination unit 113 determines whether or not to continue monitoring (step S027).
  • step S023 since smoke has been detected in the candidate area, the alarm unit 114 issues an alarm to the user to inform them that smoke has been detected, and ends the processing of Figures 3 and 4.
  • step S027 if monitoring is to be continued (Yes in step S027), the appearance determination unit 113 returns to step S001. On the other hand, if monitoring is to be ended (No in step S027), the appearance determination unit 113 ends the processing in Figs. 3 and 4.
  • the smoke monitoring device 100 of this embodiment is configured to include a fluctuation detection unit 111, an appearance judgment adoptability determination unit 112, and an appearance determination unit 113.
  • the fluctuation detection unit 111 detects fluctuation information of a subject from a group of images that are consecutive in the time direction captured by the camera 180.
  • the appearance judgment adoptability determination unit 112 determines whether to judge smoke from the appearance in addition to the fluctuation information.
  • the appearance determination unit 113 uses the appearance information of each image in the image group to determine whether or not there is smoke.
  • the smoke monitoring device 100 of this embodiment can calculate candidate areas from the fluctuation information using the fluctuation detection unit 111, and determine whether or not there is smoke from the candidate areas using the appearance judgment adoptability determination unit 112. Furthermore, the appearance determination unit 113 uses the appearance information of each image to determine whether or not there is smoke, thereby improving the accuracy of smoke detection. Therefore, the smoke monitoring device 100 of this embodiment can detect smoke that is small, thin, and has little change.
  • the appearance judgment adoption determination unit 112 can switch the judgment criteria under specified conditions. For example, the appearance judgment adoption determination unit 112 switches the judgment criteria depending on the time. For example, the appearance judgment adoption determination unit 112 switches the judgment criteria sharply during unmanned hours at night, and switches the judgment criteria slowly during manned hours during the day. This allows the smoke monitoring device 100 of this embodiment to operate all day without having to switch between manned daytime hours and unmanned nighttime hours. Even if smoke begins during unmanned hours at night, the smoke monitoring device 100 can detect smoke that is small, thin, and has little change, and can prevent false detections due to human movement during the day.
  • the appearance judgment adoption determination unit 112 slowly switches the judgment criteria when the lights are on, and quickly switches the judgment criteria when the lights are off. This allows the smoke monitoring device 100 of this embodiment to operate without having to switch the lights on and off, and makes it possible to quickly detect smoke that is difficult to see when the lights are off.
  • the alarm issuing unit 114 issues a preliminary warning when the appearance judgment adoption determining unit 112 or the appearance determining unit 113 determines that there is smoke, and issues a full warning only if the warning continues for a certain period of time at a specified position.
  • FIGS. 15 and 16 are flow charts showing the process of issuing a preliminary warning and a main warning based on a group of images acquired from the camera 180 by the smoke monitoring device 100 according to the second embodiment. Note that in FIG. 15 and FIG. 16, the same processes as those in FIG. 3 and FIG. 4 are denoted by the same reference numerals, and the description will be omitted as appropriate.
  • the smoke monitoring device 100 according to the second embodiment shown in Figures 15 and 16 differs from the smoke monitoring device 100 according to the first embodiment shown in Figures 3 and 4 in that, before the alarm issuing unit 114 issues an actual alarm in step S023, a preliminary alarm is issued as a warning in steps S031 to S037.
  • the alarm issuing unit 114 judges whether the appearance judgment adoptability judgment unit 112 or the appearance judgment unit 113 has finally judged that there is smoke (step S031), and if it has finally judged that there is smoke (Yes in step S031), the process proceeds to step S033. On the other hand, if it has not finally been judged that there is smoke (No in step S031), the appearance judgment unit 113 proceeds to step S027.
  • step S033 the alarm issuing unit 114 accumulates the smoke detection results and issues a preliminary warning (step S035).
  • the alarm issuing unit 114 displays "A fluctuating state suspected to be smoke has been detected" on the display unit 160 of the smoke monitoring device 100, displays a pop-up icon indicating smoke, or displays an enlarged image captured by the camera 180.
  • whether or not to issue a preliminary warning can be arbitrarily changed using a predetermined setting, and at the initial warning stage, a warning can be issued according to the user's needs.
  • the alarm issuing unit 114 determines whether a preliminary smoke warning has been issued from the same location (step S037), and if a warning from the same location continues (Yes in step S037), the process proceeds to step S23. On the other hand, if a warning from the same location is not continuing (No in step S037), the alarm issuing unit 114 proceeds to step S027.
  • step S037 when the alarm issuing unit 114 determines whether the position where the preliminary warning was issued is the same position, if the position of the smoke is within a specified range after the warning was issued, it is determined that the smoke is continuing from the same position.
  • the position of the smoke may move slightly over time after the smoke is issued, and for example, if a preliminary warning is issued again within a radius of 30 cm after the warning was issued, it is determined that the warning from the same position has continued.
  • the value of a radius of 30 cm is an example and is not limited to this.
  • the notification unit 114 when the notification unit 114 issues an actual notification of smoke detection in step S023, since a preliminary warning has already been issued in step S035, it may, for example, display a warning light to more strongly notify the smoke detection.
  • the actual notification may be not only a warning light that visually indicates a warning, but also, for example, audio or a warning sound, and the manner of the actual notification is not limited.
  • the alarm issuing unit 114 may appropriately set the timing for confirming the preliminary alarm or the main alarm.
  • the alarm issuing unit 114 may suppress chattering of the alarm by making the interval for confirming the alarm longer than the judgment period of the fluctuation detection unit 111.
  • the alarm issuing unit 114 sets the time interval for confirming the alarm to 30 seconds, and confirms the alarm if fluctuation is detected in any of the time intervals for confirming the alarm, and confirms that the alarm will not be issued if fluctuation is not detected in any of the time intervals for confirming the alarm.
  • the alarm issuing unit 114 may set the alarm period per time and the interval for confirming the alarm to any period.
  • the conditions for detecting fluctuation within the time interval for confirming the alarm may be set arbitrarily.
  • the alarm issuing unit 114 issues a preliminary warning, and issues a full warning only if the warning continues for a certain period of time at a specified location.
  • the smoke monitoring device 100 can issue a preliminary warning, and can also issue warnings in stages when smoke is detected, depending on the user's needs.
  • the appearance determining unit 113 may use the fluctuation information to determine whether or not there is smoke. In other words, when the appearance judgment adoptability determining unit 112 determines that gas fluctuation cannot be determined from the appearance, the appearance determining unit 113 may use the fluctuation information to determine whether or not there is gas fluctuation.
  • the fluctuation detection unit 111 may detect smoke based on changes in the time direction and determine a smoke region. In other words, the fluctuation detection unit 111 may detect gas fluctuations based on changes in the time direction and determine a gas fluctuation region.
  • the appearance judgment adoptability determination unit 112 may determine that the probability of smoke is low if the change in the region of the histogram of the fluctuation information that is equal to or greater than a predetermined value exceeds a threshold. The appearance judgment adoptability determination unit 112 may also determine that the probability of smoke is low if the variance of the difference amount in the region of the fluctuation information exceeds a threshold. In other words, the appearance judgment adoptability determination unit 112 may determine that the probability of smoke is low if the change in the fluctuation information in a predetermined time exceeds a threshold. In other words, the appearance judgment adoptability determination unit 112 may determine that the probability of gas fluctuation is low if the change in the fluctuation information in a predetermined time exceeds a threshold.
  • the appearance judgment adoptability determination unit 112 may determine that the probability of smoke is low if the saturation in the fluctuation information area exceeds a predetermined value. In other words, the appearance judgment adoptability determination unit 112 may determine that the probability of gas fluctuation is low if the saturation in the fluctuation information area exceeds a predetermined value. (e) The appearance judgment adoptability determination unit 112 may determine that the probability of smoke is low if the amount of center of gravity shift of the fluctuation information exceeds a predetermined value. In other words, the appearance judgment adoptability determination unit 112 may determine that the probability of gas fluctuation is low if the amount of center of gravity shift of the fluctuation information exceeds a predetermined value.
  • the appearance judgment adoptability determination unit 112 may determine that the probability of smoke is low if the amount of center of gravity movement of the fluctuation information at a specified time exceeds a specified value. In other words, the appearance judgment adoptability determination unit 112 may determine that the probability of gas fluctuation is low if the amount of center of gravity movement of the fluctuation information at a specified time exceeds a specified value.
  • the appearance determination unit 113 may be equipped with a smoke detector trained by deep learning.
  • the appearance judgment acceptance determining unit 112 may switch the judgment criteria depending on time.
  • the appearance judgment adoption determining unit 112 may allow the user to adjust the judgment criteria.
  • the appearance judgment adoptability determining unit 112 may switch the judgment criteria depending on the imaging mode of the camera 180.
  • the appearance judgment adoptability determining unit 112 may switch the judgment criteria depending on whether the lighting is on or off.
  • the appearance judgment adoptability determining unit 112 may determine whether to judge gas fluctuations from the appearance in addition to the fluctuation information.
  • the appearance determining unit 113 may determine whether or not the judgment is due to gas fluctuations using the appearance information of each image in the image group.
  • Smoke monitoring device 110 CPU 111 Fluctuation detection unit (fluctuation detection means) 112 Appearance judgment adoption determination unit (appearance judgment adoption determination means) 113 Appearance judgment unit (judging means) 114: Alarm unit (alert means) 120 Memory section 121 Smoke monitoring program 130 ROM 140 RAM 150 Input unit 160 Display unit 170 Communication unit 180 Camera 200 Smoke monitoring system (gas fluctuation monitoring system)

Landscapes

  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

煙監視システム（２００）は、カメラ（１８０）によって撮像され、時間方向に連続する画像群から被写体の揺らぎ情報を検出する揺らぎ検出部（１１１）と、揺らぎ情報に加えて外観からも煙を判断するかを判定する外観判断採用可否判定部（１１２）と、外観判断採用可否判定部（１１２）にて外観からも判断すると判定されたときに画像群の各画像の外観情報を使って煙か否かを判断する外観判定部（１１３）と、を備える。

Description

煙監視システム、気体揺らぎ監視システム、煙監視方法、気体揺らぎ監視方法、煙監視プログラム、及び気体揺らぎ監視プログラム
　本発明は、煙監視システム、気体揺らぎ監視システム、煙監視方法、気体揺らぎ監視方法、煙監視プログラム、及び気体揺らぎ監視プログラムに関する。
　従来から、火災を早期に検知するため、火災監視装置や火災監視システムが検討されている。
　例えば、火災監視装置の一例である煙報知器は、設置される場所が限定されており、天井がない屋外には設置できない。また、煙が煙報知器に到達する必要があるため、煙を検知して発報したときには、火災はかなり進行していることが多い。
　また、火災監視装置の一例であるサーマルカメラは、熱を検知するカメラであり、温度の高い箇所を検知することができるが、火災がかなり進行した状態しか検知することができない。また、赤外線は煙を透過してしまうため、赤外線サーマルカメラでも煙を検知することは難しい。特に、火災の発生は、（１）まず、発煙した後、（２）次に、熱を帯び、（３）周囲の物質が燃えるという３段階で一般的には進行するが、初動の煙が発煙している状態を検知することは難しい。
　更に、ＡＩ（Artificial Intelligence）により煙を認識するシステムも検討されているが、ＡＩにより煙を検知するシステムは、煙が成熟し、体積量が増えた段階にならないと検知できないことが多い。また、初期の細くて薄い煙の段階では、透過した背景の影響が大きく、検知する性能を向上させることが困難である。特に、燃焼物、風、温度、湿度など煙の外観に与える影響は大きく、多種多様な形態に変化する煙の外観を網羅することは、難しい。
　ここで、特許文献１には、煙の検出精度を高める煙検出装置として、「カメラで撮影される画像を画像処理することにより撮影された範囲内での煙の発生を検出する際に、撮影された範囲内に、所定の検出領域を設定する検出領域設定手段を設け、該検出領域内における、煙検出判定要素の２つ以上を演算する演算手段を設けて、該検出領域内の煙の発生を検出し、煙検出判定要素は、透過率、収束輝度値、周波数スペクトル、平均輝度の平均値、平均輝度の分散からなり、演算手段は、検出領域の透過率を演算する透過率演算手段；検出領域の収束輝度値を演算する収束輝度値演算手段；検出領域の輝度の平均及び分散を演算する輝度平均分散演算手段；検出領域の平均輝度の時系列データを周波数分析して周波数スペクトルを求める平均輝度周波数分析手段；のいずれか２つ以上を備える。」旨が、記載されている（特許文献１の要約書参照）。
　また、特許文献２には、煙による変化の判別を確実に行う監視装置として、「カメラにより撮影された画像をもとに異常の発生を検出する監視装置において、差分処理部１８の機能によって、ＩＴＶカメラ１０－１，１０－２，…によって撮像され画像メモリ２０に記憶された第１の画像と、所定時間が経過した後に撮影された画像メモリ１６に記憶された第２の画像との差から、所定時間における変化を表す差分画像を検出する。動きベクトル検出部２２は、検出された差分画像をもとに画像中の変化部分を表す動きベクトルを検出する。異常判定部２４は、動きベクトル検出部２２によって検出された動きベクトルをもとに異常の発生を判定する。」旨が、記載されている（特許文献２の要約書参照）。
特開２０１１―２３８２８０号公報 特開平１１―３３９１６２号公報
　特許文献１に記載された煙検出装置は、カメラで撮影された範囲内で煙を検出する際、検出領域を設定している。しかしながら、平常時は、検出領域内において何らかの生産活動が行われていることが多いため、特許文献１の煙検出装置は誤検知が多くなりやすい。また、検出領域内で煙を検出するには、一定量の煙が必要であるため、特許文献１の煙検出装置では、既に火災が進行した状態でしか煙を検出できない。
　また、特許文献２に記載された監視装置は、煙のような態様が多種多様に変化する非剛性の動きベクトルを検知しているが、このような動きベクトルを検知することは、非常に複雑で難しい。特に、火災の火種となる初期の煙の場合は、ゆっくり、かつ薄っすらと噴出するため、動きベクトルを基に煙を判断するのは困難である。
　このような課題に関し、本発明では、小さく薄く、かつ変化が乏しい段階の煙を検知可能とすることを課題とする。
　すなわち、本発明の上記課題は、下記の構成により解決される。
（１）　カメラによって撮像され、時間方向に連続する画像群から被写体の揺らぎ情報を検出する揺らぎ検出手段と、
　前記揺らぎ情報に加えて外観からも煙を判断するかを判定する外観判断採用可否判定手段と、
　前記外観判断採用可否判定手段にて外観からも判断すると判定されたときに前記画像群の各画像の外観情報を使って煙か否かを判断する判断手段と、
　を備える煙監視システム。
（２）　前記判断手段は、前記外観判断採用可否判定手段にて外観からは煙を判断できないと判定したとき、前記揺らぎ情報を用いて煙か否かを判断する、
　（１）に記載の煙監視システム。
（３）　前記揺らぎ検出手段は、時間方向の変化により煙を検出して煙領域を決定する、
　（１）に記載の煙監視システム。
（４）　前記外観判断採用可否判定手段は、前記揺らぎ情報のヒストグラムの所定値以上の領域の変化が閾値を超えたならば、煙の確度は低いと判断する、
　（１）に記載の煙監視システム。
（５）　前記外観判断採用可否判定手段は、前記揺らぎ情報の領域における差分量の分散が閾値を超えたならば、煙の確度は低いと判断する、
　（１）に記載の煙監視システム。
（６）　前記外観判断採用可否判定手段は、前記揺らぎ情報の領域における彩度が所定値を超えていたならば、煙の確度は低いと判断する、
　（１）に記載の煙監視システム。
（７）　前記外観判断採用可否判定手段は、前記揺らぎ情報の重心移動量が所定値を超えていたならば、煙の確度は低いと判断する、
　（１）に記載の煙監視システム。
（８）　前記外観判断採用可否判定手段は、所定時間における前記揺らぎ情報の重心移動量が所定値を超えていたならば、煙の確度は低いと判断する、
　（１）に記載の煙監視システム。
（９）　前記判断手段は、ディープラーニングによって学習された煙検出器を備える、
　（１）に記載の煙監視システム。
（１０）　前記外観判断採用可否判定手段又は前記判断手段が煙であると判断したときに、発報する発報手段を備える、
　（１）に記載の煙監視システム。
（１１）　前記発報手段は、前記判断手段が煙であると判断したときに、注意報として予備発報し、一定時間、所定の位置で注意報が継続した場合のみ本発報する、
　（１０）に記載の煙監視システム。
（１２）　前記外観判断採用可否判定手段において判断基準を時間に応じて切り替える、
　（１）に記載の煙監視システム。
（１３）　前記外観判断採用可否判定手段において判断基準をユーザが調整可能である、
　（１）に記載の煙監視システム。
（１４）　前記外観判断採用可否判定手段において、カメラの撮像モードに応じて判断基準を切り替える、
　（１）に記載の煙監視システム。
（１５）　前記外観判断採用可否判定手段において、照明のオンとオフに応じて判断基準を切り替える、
　（１）に記載の煙監視システム。
（１６）　カメラによって撮像され、時間方向に連続する画像群から被写体の揺らぎ情報を検出する揺らぎ検出手段と、
　前記揺らぎ情報に加えて外観からも気体揺らぎを判断するかを判定する外観判断採用可否判定手段と、
　前記外観判断採用可否判定手段にて外観からも判断すると判定されたときに前記画像群の各画像の外観情報を使って気体揺らぎか否かを判断する判断手段と、
　を備える気体揺らぎ監視システム。
（１７）　前記判断手段は、前記外観判断採用可否判定手段にて外観からは気体揺らぎを判断できないと判定したとき、前記揺らぎ情報を用いて気体揺らぎか否かを判断する、
　（１６）に記載の気体揺らぎ監視システム。
（１８）　前記揺らぎ検出手段は、時間方向の変化により気体揺らぎであると検出して気体揺らぎ領域を決定する、
　（１６）に記載の気体揺らぎ監視システム。
（１９）　前記外観判断採用可否判定手段は、所定時間における前記揺らぎ情報の変化が閾値を超えたならば、気体揺らぎの確度は低いと判断する、
　（１６）に記載の気体揺らぎ監視システム。
（２０）　前記外観判断採用可否判定手段は、前記揺らぎ情報の領域における彩度が所定値を超えていたならば、気体揺らぎの確度は低いと判断する、
　（１６）に記載の気体揺らぎ監視システム。
（２１）　前記外観判断採用可否判定手段は、前記揺らぎ情報の重心移動量が所定値を超えていたならば、気体揺らぎの確度は低いと判断する、
　（１６）に記載の気体揺らぎ監視システム。
（２２）　前記外観判断採用可否判定手段は、所定時間における前記揺らぎ情報の重心移動量が所定値を超えていたならば、気体揺らぎの確度は低いと判断する、
　（１６）に記載の気体揺らぎ監視システム。
（２３）　前記外観判断採用可否判定手段において、カメラの撮像モードに応じて判断基準を切り替える、
　（１６）に記載の気体揺らぎ監視システム。
（２４）　前記外観判断採用可否判定手段において、照明のオンとオフに応じて判断基準を切り替える、
　（１６）に記載の気体揺らぎ監視システム。
（２５）　カメラによって撮像され、時間方向に連続する画像群から被写体の揺らぎ情報を検出するステップと、
　前記揺らぎ情報に加えて外観からも煙を判断するかを判定するステップと、
　前記外観からも判断すると判定されたときに前記画像群の各画像の外観情報を使って煙か否かを判断するステップと、
　を実行する煙監視方法。
（２６）　カメラによって撮像され、時間方向に連続する画像群から被写体の揺らぎ情報を検出するステップと、
　前記揺らぎ情報に加えて外観からも気体揺らぎを判断するかを判定するステップと、
　前記外観からも判断すると判定されたときに前記画像群の各画像の外観情報を使って気体揺らぎか否かを判断するステップと、
　を実行する気体揺らぎ監視方法。
（２７）　コンピュータに、
　カメラによって撮像され、時間方向に連続する画像群から被写体の揺らぎ情報を検出する手順、
　前記揺らぎ情報に加えて外観からも煙を判断するかを判定する手順、
　前記外観からも判断すると判定されたときに前記画像群の各画像の外観情報を使って煙か否かを判断する手順、
　を実行させるための煙監視プログラム。
（２８）　コンピュータに、
　カメラによって撮像され、時間方向に連続する画像群から被写体の揺らぎ情報を検出する手順、
　前記揺らぎ情報に加えて外観からも気体揺らぎを判断するかを判定する手順、
　前記外観からも判断すると判定されたときに前記画像群の各画像の外観情報を使って気体揺らぎか否かを判断する手順、
　を実行させるための気体揺らぎ監視プログラム。
　本発明によれば、小さく薄く、かつ変化が乏しい段階の煙を検知可能となる。
本実施形態に係る煙監視システムの主な構成例を説明する説明図である。 本実施形態に係る煙監視装置のＣＰＵの機能を示した機能ブロック図である。 本実施形態に係る煙監視装置が、カメラから取得する画像群に基づいて、煙か否かを判断する処理を示したフローチャートである（その１）。 本実施形態に係る煙監視装置が、カメラから取得する画像群に基づいて、煙か否かを判断する処理を示したフローチャートである（その２）。 ステップＳ００５において、揺らぎ検出部が、時間方向の煙の差分情報を揺らぎ情報として算出する概念を示した説明図である（その１）。 ステップＳ００５において、揺らぎ検出部が、時間方向の煙の差分情報を揺らぎ情報として算出する概念を示した説明図である（その２）。 ステップＳ００５において、揺らぎ検出部が、時間方向の動体（人）の差分情報を揺らぎ情報として算出する概念を示した説明図である（その１）。 ステップＳ００５において、揺らぎ検出部が、時間方向の動体（人）の差分情報を揺らぎ情報として算出する概念を示した説明図である（その２）。 揺らぎ情報の差分量が強い場合を示したヒストグラムである。 揺らぎ情報の差分量が強い場合を示した概念図である。 揺らぎ情報の差分量が弱い場合を示したヒストグラムである。 揺らぎ情報の差分量が弱い場合を示した概念図である。 候補領域における揺らぎ情報の分散が大きい場合を示した概念図である（その１）。 候補領域における揺らぎ情報の分散が大きい場合を示した概念図である（その２）。 候補領域における揺らぎ情報の分散が大きくない場合を示した概念図である（その１）。 候補領域における揺らぎ情報の分散が大きくない場合を示した概念図である（その２）。 ステップＳ０１９において、外観判断採用可否判定部が、候補領域の重心の移動量が大きいと判断する場合を示した概念図である（その１）。 ステップＳ０１９において、外観判断採用可否判定部が、候補領域の重心の移動量が大きいと判断する場合を示した概念図である（その２）。 ステップＳ０１９において、外観判断採用可否判定部が、候補領域の重心の移動量が大きくないと判断する場合を示した概念図である（その１）。 ステップＳ０１９において、外観判断採用可否判定部が、候補領域の重心の移動量が大きくないと判断する場合を示した概念図である（その２）。 ステップＳ０２１において、外観判断採用可否判定部が、累積した揺らぎ情報が大局的に移動したと判断する場合を示した概念図である（その１）。 ステップＳ０２１において、外観判断採用可否判定部が、累積した揺らぎ情報が大局的に移動したと判断する場合を示した概念図である（その２）。 ステップＳ０２１において、外観判断採用可否判定部が、揺らぎ情報の累積が大局的に移動していないと判断する場合を示した概念図である（その１）。 ステップＳ０２１において、外観判断採用可否判定部が、揺らぎ情報の累積が大局的に移動していないと判断する場合を示した概念図である（その２）。 第２実施形態に係る煙監視装置が、カメラから取得する画像群に基づいて、注意報としての予備発報と本発報の処理を示したフローチャートである（その１）。 第２実施形態に係る煙監視装置が、カメラから取得する画像群に基づいて、注意報としての予備発報と本発報の処理を示したフローチャートである（その２）。
　以下に、本発明を実施するための形態について詳細に説明する。なお、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は、以下の実施の形態に限定されるものではない。なお、本実施形態とは、第１実施形態及び第２実施形態のことをいう。
　＜第１実施形態＞
［画像処理装置の全体構成］
　図１は、本実施形態に係る煙監視システム２００の主な構成例を説明する説明図である。本実施形態に係る煙監視システム２００は、煙監視装置１００と、カメラ１８０と、を備えて構成されている。
　なお、煙監視システム２００は、気体揺らぎ監視システムの一例であり、煙監視装置１００を用いて煙を検知する場合について説明するが、本実施形態はこれに限定されるものではない。気体揺らぎ監視システムとして使用する場合、例えば、陽炎、竜巻、霧、埃、花粉、可視判断可能なガスなど気体の揺らぎに関するものであれば、検知できる。
　煙監視装置１００は、ＣＰＵ(Central Processing Unit)１１０、記憶部１２０、ＲＯＭ（Read Only Memory）１３０、ＲＡＭ(Random Access Memory)１４０、入力部１５０、表示部１６０、及び通信部１７０を備えて構成されている。煙監視装置１００は、例えば、カメラ１８０が接続されたボード状のコンピュータとして構成され、エッジ端末として機能する。
　ＣＰＵ１１０は、中央処理装置であり、記憶部１２０又はＲＯＭ１３０に格納された煙監視プログラム１２１を実行することにより、図２に示す各処理（機能）を具現化する。なお、ＣＰＵ１１０が具現化する各処理については、図２を用いて後述する。
　記憶部１２０は、大容量の記憶装置であり、例えば、ハードディスクドライブ（Hard Disk Drive）、不揮発性メモリ等で構成される。記憶部１２０は、煙監視プログラム１２１を格納する。
　ＲＡＭ１４０は、ＣＰＵ１１０により実行制御される各種処理において、ＲＯＭ１３０から読み出され、ＣＰＵ１１０で実行可能な各種プログラム、入力データ、出力データ、及びパラメータを一時的に記憶するワークエリアとして機能する。
　入力部１５０は、カーソルキー、数字入力キー、及び各種機能キーを備えたキーボードと、マウスなどのポインティングデバイスを備えて構成される。入力部１５０は、キーボードで押下操作されたキーの押下信号やマウスによる操作信号を、入力信号としてＣＰＵ１１０に出力する。ＣＰＵ１１０は、入力部１５０からの操作信号に基づいて、各種処理を実行する。
　表示部１６０は、例えばＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等のモニタを備えて構成される。表示部１６０は、ＣＰＵ１１０から入力される表示信号の指示に従って、各種画面を表示する。表示部１６０および入力部１５０として、タッチパネルディスプレイを採用することもできる。
　通信部１７０は、通信インタフェースを備え、ネットワーク上の外部装置と通信する。通信部１７０は、カメラ１８０に接続されており、カメラ１８０が撮影した画像を受信する。
　カメラ１８０は、例えば、工場内の天井や屋外に設置され、画像を撮像することにより、工場内や屋外に発生する煙を監視する。
　内部バス１９０は、煙監視装置１００における各構成要素について、相互に接続されている。
　次に、本実施形態に係る煙監視装置１００のＣＰＵ１１０の機能について、図２を用いて説明する。
　図２は、本実施形態に係る煙監視装置１００のＣＰＵ１１０の機能を示した機能ブロック図である。ＣＰＵ１１０は、図１の煙監視プログラム１２１を実行することにより、図２に示した、揺らぎ検出部１１１（揺らぎ検出手段）、外観判断採用可否判定部１１２（外観判断採用可否判定手段）、外観判定部１１３（判断手段）、及び発報部１１４（発報手段）を具現化する。
　揺らぎ検出部１１１は、カメラ１８０によって撮像され、時間方向に連続する画像群（動画）から、被写体の揺らぎ情報を検出する。揺らぎ検出部１１１は、被写体における揺らぎ情報の時間方向の変化により、煙を検出して煙領域を決定する。また、揺らぎ検出部１１１は、被写体における揺らぎ情報の時間方向の変化により、気体揺らぎを検出して気体揺らぎ領域を決定してもよい。なお、揺らぎ検出部１１１が被写体の揺らぎ情報から煙領域又は気体揺らぎ領域を決定することを、候補領域の算出という。
　外観判断採用可否判定部１１２は、揺らぎ情報に加えて、外観からも煙を判断するかを判定する。外観判断採用可否判定部１１２は、例えば、揺らぎ情報から煙を判断する場合、揺らぎ情報が短時間に強く大きく動いたものならば、つまり所定時間における揺らぎ情報の変化が閾値を超えたならば、煙の確度は低いと判断してもよい。この場合、所定時間における揺らぎ情報の変化とは、例えば、ヒストグラムにおける領域の変化や揺らぎ情報の領域における差分量の分散が該当する。
　また、外観判断採用可否判定部１１２は、揺らぎ情報の色味成分を解析し、鮮やかな色味であれば、煙の確度は低いと判断してもよい。つまり外観判断採用可否判定部１１２は、揺らぎ情報の領域における彩度が所定値を超えていたならば、煙の確度は低いと判断してもよい。
　また、外観判断採用可否判定部１１２は、揺らぎ情報の重心移動量を解析し、大局的に大きく動く差分情報であれば、煙の確度は低いと判断してもよい。つまり外観判断採用可否判定部１１２は、揺らぎ情報の重心移動量が所定値を超えていたならば、煙の確度は低いと判断してもよい。また、外観判断採用可否判定部１１２は、所定時間における揺らぎ情報を累積して、大局的に移動している動体と判定したならば、煙の確度は低いと判断してもよい。つまり外観判断採用可否判定部１１２は、所定時間における揺らぎ情報の重心移動量が所定値を超えていたならば、煙の確度は低いと判断してもよい。
　また、外観判断採用可否判定部１１２は、判断基準を時間に応じて切り替えてもよい。例えば、外観判断採用可否判定部１１２は、日中と夜間とに個別のパラメータを設定し、時間に応じてパラメータを使い分ける。また、外観判断採用可否判定部１１２は、カメラ１８０の撮像モードに応じて判断基準を切り替えてもよい。例えば、カメラ１８０の撮像モードが昼間の撮像モードから夜間の撮像モードに切り替わった場合、外観判断採用可否判定部１１２は、カメラ１８０の撮像モードの切り替えを検知して、夜間の撮像モードのパラメータを設定する。
　また、外観判断採用可否判定部１１２は、照明のオンとオフに応じて、判断基準を切り替えてもよい。例えば、工場外にある照明が自動点灯した場合、外観判断採用可否判定部１１２は、この照明の自動点灯を検知して、夜間用のパラメータを設定する。また、外観判断採用可否判定部１１２は、判断基準をユーザが調整可能であってもよい。
　なお、外観判断採用可否判定部１１２における判断基準については、図７Ａ，図７Ｂ，図８Ａ，図８Ｂ，図９Ａ，図９Ｂ，図１０Ａ、及び図１０Ｂを用いて、説明する。
　外観判定部１１３は、外観判断採用可否判定部１１２にて外観からも判断すると判定されたときに、画像群の各画像の外観情報を使って煙か否かを判断する。また、外観判定部１１３は、外観判断採用可否判定部１１２にて外観からは煙を判断できないと判定したとき、揺らぎ情報を用いて煙か否かを判断してもよい。
　ここで、例えば、煙以外の気体揺らぎを判断する場合、外観判断採用可否判定部１１２は、揺らぎ情報に加えて外観からも気体揺らぎを判断するかを判定してもよい。この場合、外観判断採用可否判定部１１２は、例えば、揺らぎ情報が短時間に強く大きく動いたものならば、つまり所定時間における揺らぎ情報の変化が閾値を超えたならば、気体揺らぎの確度は低いと判断してもよい。
　また、外観判断採用可否判定部１１２は、揺らぎ情報の色味成分を解析し、鮮やかな色味であれば、気体揺らぎの確度は低いと判断してもよい。つまり外観判断採用可否判定部１１２は、揺らぎ情報の領域における彩度が所定値を超えていたならば、気体揺らぎの確度は低いと判断してもよい。
　また、外観判断採用可否判定部１１２は、揺らぎ情報の重心移動量を解析し、大局的に大きく動く差分情報であれば、気体揺らぎの確度は低いと判断してもよい。つまり外観判断採用可否判定部１１２は、揺らぎ情報の重心移動量が所定値を超えていたならば、気体揺らぎの確度は低いと判断してもよい。また、外観判断採用可否判定部１１２は、所定時間における揺らぎ情報を累積して、大局的に移動している動体と判定したならば、気体揺らぎの確度は低いと判断してもよい。つまり外観判断採用可否判定部１１２は、所定時間における揺らぎ情報の重心移動量が所定値を超えていたならば、気体揺らぎの確度は低いと判断してもよい。
　また、煙以外の気体揺らぎを判断する場合に、外観判断採用可否判定部１１２は、煙の場合と同様に、判断基準を任意に変更してもよい。
　同様に、外観判定部１１３は、外観判断採用可否判定部１１２にて外観からも判断すると判定されたときに、画像群の各画像の外観情報を使って気体揺らぎか否かを判断してもよい。この場合、外観判定部１１３は、外観判断採用可否判定部１１２にて外観からは気体揺らぎを判断できないと判定したとき、揺らぎ情報を用いて気体揺らぎか否かを判断してもよい。
　これにより、煙監視システム２００は、気体揺らぎ監視システムとしても使用することができ、例えば、陽炎、竜巻、霧、埃、花粉、可視判断可能なガスなど、気体の揺らぎに関するものであれば、検知できる。
　発報部１１４は、外観判定部１１３が煙であると判断したときに、ユーザに発報する。また、発報部１１４は、外観判定部１１３が煙であると判断したときに、注意報として予備発報し、一定時間、所定の位置で注意報が継続した場合のみ本発報してもよい。ここで、所定の位置とは、外観判定部１１３が煙であると判断した場合、煙の発煙元は、位置がほとんど変わらないため、発煙元の位置とほぼ同等の位置（所定の範囲内）を示す。なお、発煙元は、多少の移動は想定されるため、所定の範囲（例えば、半径３０［ｃｍ］以内）にあれば、所定の位置の発報とする。
　なお、発報部１１４は、外観判定部１１３が煙以外の気体揺らぎであると判断したときにも同様に、ユーザに発報し、又は注意報として予備発報と本発報とをしてもよい。
　学習済みモデル１２２は、ディープラーニングによって学習された煙検出器である。学習済みモデル１２２は、例えば、予め煙を示す教師データを用いて機械学習を行うことで、画像群の各画像の外観情報から煙か否かを判断する。
　なお、学習済みモデル１２２は、煙以外の気体揺らぎについても同様に、予め気体揺らぎを示す教師データを用いて機械学習を行うことで、画像群の各画像の外観情報から気体揺らぎか否かを判断してもよい。
　［情報処理装置の処理］
　次に、第１実施形態に係る煙監視装置１００のＣＰＵ１１０の処理を説明する。
　図３及び図４は、第１実施形態に係る煙監視装置１００が、カメラ１８０から取得する画像群に基づいて、煙か否かを判断する処理を示したフローチャートである。
　まず、カメラ１８０は、例えば、工場内又は屋外に設置され、所定の範囲を撮像する。カメラ１８０は、撮像した画像をＣＰＵ１１０の揺らぎ検出部１１１に送出する。
　揺らぎ検出部１１１は、カメラ１８０から画像を取得して、バッファに登録する（ステップＳ００１）。なお、バッファは、例えば、記憶部１２０に設けられる。
揺らぎ検出部１１１は、画像の外観情報から煙を探索する（ステップＳ００３）。そして、揺らぎ検出部１１１は、時間方向の差分情報を、揺らぎ情報として算出する（ステップＳ００５）。
　図５Ａ及び図５Ｂは、ステップＳ００５において、揺らぎ検出部１１１が、時間方向の煙の差分情報を、揺らぎ情報として算出する概念を示した説明図である。
　図５Ａでは、画像ＰＣ１１は、時刻ｔ１のときの煙の画像を示し、画像ＰＣ１２は、時刻ｔ２のときの煙の画像を示し、画像ＰＣ１３は、時刻ｔ３のときの煙の画像を示している。図５Ｂの画像ＦＩ１は、画像ＰＣ１１～画像ＰＣ１３の差分を取り、煙の揺らぎ情報を算出した画像の概念を示している。
　図５Ａに示すように、揺らぎ検出部１１１は、一定周期のフレーム同士で差分を取ることにより、図５Ｂに示すように、画像の変化の強さに基づいて、揺らぎ情報を生成する。もし、煙の場合には、噴出元に勢いがあるため、図５Ｂの画像ＦＩ１のように、噴出元が強く変化する。
　これに対し、図６Ａ及び図６Ｂは、ステップＳ００５において、揺らぎ検出部１１１が、時間方向の動体（人）の差分情報を、揺らぎ情報として算出する概念を示した説明図である。
　図６Ａでは、画像ＰＣ２１は、時刻ｔ１のときの人の画像を示し、画像ＰＣ２２は、時刻ｔ２のときの人の画像を示し、画像ＰＣ２３は、時刻ｔ３のときの人の画像を示している。図６Ｂの画像ＦＩ２は、画像ＰＣ２１～画像ＰＣ２３の差分を取り、人の揺らぎ情報を算出した画像の概念を示している。
　図６Ａに示すように、揺らぎ検出部１１１は、動体である人の場合、画像内で全体的に移動することにより、図６Ｂの画像ＦＩ２のように、全体的に強く変化する。
　図４に戻り、説明を続ける。揺らぎ検出部１１１は、算出した揺らぎ情報を、揺らぎバッファに登録する（ステップＳ００７）。なお、揺らぎバッファは、記憶部１２０に設けられる。
　揺らぎ検出部１１１は、揺らぎ情報を判断する周期か否かを判定し（ステップＳ００９）、判定周期の場合には（ステップＳ００９のＹｅｓ）、揺らぎ情報から一次煙判定を実施して、候補領域を算出する（ステップＳ０１１）。
　この場合、揺らぎ検出部１１１は、図５Ｂ及び図６Ｂの画像ＦＩ１，画像ＦＩ２から、候補領域を算出する（ステップＳ０１１）。
　一方、判定周期ではない場合は（ステップＳ００９のＮｏ）、揺らぎ検出部１１１は、ステップＳ００１に戻り、引き続き、カメラ１８０から画像を取得する。
　次に、外観判断採用可否判定部１１２は、揺らぎ検出部１１１が算出した候補領域に対し、候補領域のヒストグラムのうち強い差分が支配的か否かを判定する（ステップＳ０１３）。ヒストグラムにおいて強い差分が支配的な場合（ステップＳ０１３のＹｅｓ）、外観判断採用可否判定部１１２は、ステップＳ０２５に進む。一方、強い差分が支配的でない場合（ステップＳ０１３のＮｏ）、外観判断採用可否判定部１１２は、ステップＳ０１５に進む。なお、ヒストグラムの差分量は、揺らぎ情報が短時間に強く大きく動いたものか否かを判断する指標の１つである。
　図７Ａは、揺らぎ情報の差分量が強い場合を示したヒストグラムである。図７Ｂは、揺らぎ情報の差分量が強い場合を示した概念図である。図７Ａでは、横軸が差分量の強弱を示し、縦軸が候補領域における揺らぎ情報の頻度を示している。また、図７Ｂでは、差分が強い場合の候補領域における揺らぎ情報を示している。
　図７Ａ及び図７Ｂに示すように、このヒストグラムでは、差分が強く、または強い揺らぎ情報の頻度が多いので、煙の確度は低く、誤報の元となっている。よって、図７Ａ及び図７Ｂは、例えば、動体として人の場合に該当する。
　これに対し、図８Ａは、揺らぎ情報の差分量が弱い場合を示したヒストグラムである。図８Ｂは、揺らぎ情報の差分量が弱い場合を示した概念図である。図８Ａでは、図７Ａと同様に、横軸が差分量の強弱を示し、縦軸が候補領域における揺らぎ情報の頻度を示している。また、図８Ｂでは、差分が弱い場合の候補領域における揺らぎ情報を示している。
　図８Ａ及び図８Ｂに示すように、このヒストグラムでは、差分が弱く、または弱い揺らぎ情報の頻度が多いので、煙の確度が高くなっている。
　ここで、差分量における強弱の判断を示す判断基準は、外観判断採用可否判定部１１２のパラメータを調整することによって決定できる。例えば、強い差分を多く含むように、パラメータを設定した場合、当初弱い煙が成熟した段階での検知となるため、誤報は減るが、失報の可能性が高まる。
　これに対し、例えば、弱い差分を多く含むように、パラメータを設定した場合、初期の薄くて弱い煙の段階で検知することができるため、誤報は多くなるが、失報の可能性は、低減できる。
　このため、外観判断採用可否判定部１１２は、判断基準となるパラメータを適切に設定し、例えば、夜間の無人倉庫の場合は感度を高く設定し、一方、昼間の生産活動が行われている倉庫の場合は感度を低く設定することで、誤報と失報とを防ぐことができる。このパラメータの調整は、現場に応じて時間ごとに設定を切り替えてもよく、また、作業者の最終退出信号などと連動してもよい。
　また、外観判断採用可否判定部１１２は、煙の進行方向を用いていないため、煙の形状や煙の上昇態様にロバスト性を有している。そのため、外観判断採用可否判定部１１２は、使用するカメラ１８０が制約を受けず、直上カメラ、魚眼カメラ等であっても適用することができる。
　図４に戻り、説明を続ける。ステップＳ０１５において、外観判断採用可否判定部１１２は、候補領域の差分量（揺らぎ情報）の分散が所定値よりも大きいか否かを判定する（ステップＳ０１５）。差分量の分散が所定値よりも大きい場合（ステップＳ０１５のＹｅｓ）、外観判断採用可否判定部１１２は、ステップＳ０２５に進む。一方、差分量の分散が所定値よりも大きくない場合（ステップＳ０１５のＮｏ）、外観判断採用可否判定部１１２は、ステップＳ０１７に進む。なお、差分量の分散は、揺らぎ情報が短時間に強く大きく動いたものか否かを判断する指標の１つである。
　図９Ａ及び図９Ｂは、候補領域における揺らぎ情報の分散が大きい場合を示した概念図である。図９Ａでは、横軸が揺らぎ情報の強弱を示し、縦軸が画素数を示している。また、図９Ｂでは、揺らぎ情報の分散が大きい場合の候補領域を示している。
　図９Ａ及び図９Ｂに示すように、この揺らぎ情報の分散では、分散の幅ＤＷ１が比較的大きいので、煙の確度は低く、誤報の元となっている。図９Ａ及び図９Ｂは、例えば、人の場合に該当する。
　これに対し、図１０Ａ及び図１０Ｂは、候補領域における揺らぎ情報の分散が大きくない場合を示した概念図である。図１０Ａでは、横軸が揺らぎ情報の強弱を示し、縦軸が画素数を示している。また、図１０Ｂでは、揺らぎ情報の分散が大きくない場合の候補領域を示している。
　図１０Ａ及び図１０Ｂに示すように、この揺らぎ情報の分散では、図９Ａ及び図９Ｂに対し、揺らぎ情報の幅ＤＷ２が大きくない（すなわち、図９Ａの分散の幅ＤＷ２に比べて、相対的に小さい）ので、煙の確度は高くなっている。
　ここで、差分量における揺らぎ情報の分散の幅ＤＷ１，ＤＷ２の判断基準は、外観判断採用可否判定部１１２のパラメータを調整することによって決定する。例えば、揺らぎ情報の分散の幅ＤＷ１を広く設定することにより分散が大きくなり、誤報が多くなり得る。一方、揺らぎ情報の分散の幅ＤＷ２を狭く設定することにより分散が小さくなり、失報の可能性が高まる。
　そこで、ユーザは、揺らぎ情報の分散の幅ＤＷ１，ＤＷ２に対して適切なパラメータを設定することで、誤報と失報とを軽減できる。
　図４に戻り、説明を続ける。ステップＳ０１７において、外観判断採用可否判定部１１２は、候補領域の色味が鮮やかか否か、すなわち候補領域の彩度が所定値を超えているか否かを判定する。候補領域が鮮やかな場合（ステップＳ０１７のＹｅｓ）、外観判断採用可否判定部１１２は、候補領域が煙である確度は低いと判定して、ステップＳ０２５に進む。一方、候補領域が鮮やかではない場合（ステップＳ０１７のＮｏ）、外観判断採用可否判定部１１２は、煙である確度は高いと判定して、ステップＳ０１９に進む。なお、鮮やかとは、例えば、鮮明な赤色や原色の黄色など、白色、黒色、灰色等の色が混ざっていない色のこという。このとき、候補領域の彩度は所定値を超える。
　通常、煙は、白色、黒色、又は灰色が含まれることが多い。そのため、外観判断採用可否判定部１１２は、これらの色と対局にある鮮やかな色味は、相対的に煙の確度が小さいと判断する。これにより、候補領域の色味に白色、黒色、又は灰色が含まれるとき、候補領域の彩度が所定値以下となる。また、候補領域の彩度を判定する際、外観判断採用可否判定部１１２は、背景差分技術を使って、候補領域内の煙に相当する部分だけを切り出し、判定してもよい。候補領域の背景の構造物が鮮やかな色の場合、外観判断採用可否判定部１１２は、背景の構造物に対して誤判定する可能性がある。外観判断採用可否判定部１１２は、候補領域内の煙に相当する部分だけを切り出して彩度を判断することで、より高精度に煙を検知できる。
　ステップＳ０１９において、外観判断採用可否判定部１１２は、候補領域の重心の移動量が大きいか否かを判定する。候補領域の重心の移動量が大きい場合（ステップＳ０１９のＹｅｓ）、外観判断採用可否判定部１１２は、候補領域が煙である確度は低いと判定し、ステップＳ０２５に進む。一方、候補領域の重心の移動量が大きくない場合（ステップＳ０１９のＮｏ）、外観判断採用可否判定部１１２は、煙である確度は高いと判定して、ステップＳ０２１に進む。
　図１１Ａ及び図１１Ｂは、ステップＳ０１９において、外観判断採用可否判定部１１２が、候補領域の重心の移動量が大きいと判断する場合を示した概念図である。
　図１１Ａでは、図６Ａと同様に、画像ＰＣ２１は、時刻ｔ１のときの人の画像を示し、画像ＰＣ２２は、時刻ｔ２のときの人の画像を示し、画像ＰＣ２３は、時刻ｔ３のときの人の画像を示している。また、重心ＣＧ２は、画像ＰＣ２１～画像ＰＣ２３における人の重心ＣＧ２を示している。
　図１１Ｂに示す画像ＦＩ４では、画像ＰＣ２１～画像ＰＣ２３における人の重心ＣＧ２の軌跡ＣＬ２を算出した状態を示している。図１１Ｂに示すように、例えば、動体が人の場合、候補領域が大局的に移動し、人の重心ＣＧ２の移動量も大きい。
　一方、図１２Ａ及び図１２Ｂは、ステップＳ０１９において、外観判断採用可否判定部１１２が、候補領域の重心の移動量が大きくない（すなわち、候補領域の重心の移動量が、相対的に小さい）と判断する場合を示した概念図である。
　図１２Ａでは、図５Ａと同様に、画像ＰＣ１１は、時刻ｔ１のときの煙の画像を示し、画像ＰＣ１２は、時刻ｔ２のときの煙の画像を示し、画像ＰＣ１３は、時刻ｔ３のときの煙の画像を示している。また、重心ＣＧ１は、画像ＰＣ１１～画像ＰＣ１３における煙の重心ＣＧ１を示している。
　図１２Ｂに示す画像ＦＩ３では、画像ＰＣ１１～画像ＰＣ１３における煙の重心ＣＧ１の軌跡ＣＬ１を算出した状態を示している。図１２Ｂに示すように、例えば、煙の場合は、主に噴出元にピークがあり、候補領域の重心ＣＧ１の移動量が大きく動くものではない。
　図４に戻り、説明を続ける。ステップＳ０２１において、外観判断採用可否判定部１１２は、揺らぎ情報の累積が大局的に移動したか否かを判定する。揺らぎ情報の累積が大局的に移動した場合（ステップＳ０２１のＹｅｓ）、揺らぎ情報が大きく遷移するため、外観判断採用可否判定部１１２は、候補領域が煙である確度は低いと判定し、ステップＳ０２５に進む。一方、揺らぎ情報の累積が大局的に移動していない場合（ステップＳ０２１のＮｏ）、外観判断採用可否判定部１１２は、煙である確度は高いと判定して、ステップＳ０２３に進む。
　図１３Ａ及び図１３Ｂは、ステップＳ０２１において、外観判断採用可否判定部１１２が、累積した揺らぎ情報（候補領域）が大局的に移動したと判断する場合を示した概念図である。
　図１３Ａでは、画像ＦＣ２１は、時刻e１のときの人の揺らぎ情報の画像を示し、画像ＦＣ２２は、時刻ｅ２のときの人の揺らぎ情報の画像を示し、画像ＦＣ２３は、時刻ｅ３のときの人の揺らぎ情報の画像を示している。
　図１３Ｂに示す画像ＦＣ２では、候補領域における累積揺らぎ情報として、画像ＦＣ２１～画像ＦＣ２３を累積して累積枚数で除算した状態を示している。
　図１３Ｂに示すように、累積揺らぎ情報（画像ＦＣ２）は、候補領域の累積により大きく遷移するため、のっぺりする（ステップＳ０２１のＹｅｓ）。なお、のっぺりとは、滑らか又は起伏や高低差がないことを意味するものとする。
　一方、図１４Ａ及び図１４Ｂは、ステップＳ０２１において、外観判断採用可否判定部１１２が、揺らぎ情報の累積が大局的に移動していないと判断する場合を示した概念図である。
　図１４Ａでは、画像ＦＣ１１は、時刻ｃ１のときの煙の揺らぎ情報の画像を示し、画像ＦＣ１２は、時刻ｃ２のときの煙の揺らぎ情報の画像を示し、画像ＦＣ１３は、時刻ｃ３のときの煙の揺らぎ情報の画像を示している。
　図１４Ｂに示す画像ＦＣ１では、候補領域における累積揺らぎ情報として、画像ＦＣ１１～画像ＦＣ１３を累積して累積枚数で除算した状態を示している。
　図１４Ｂに示すように、累積揺らぎ情報（画像ＦＣ１）は、候補領域の累積により大きく遷移することなく、例えば、風に揺られたとしても、基本的には、噴出元に強いピークが現れた状態を維持している。
　図４に戻り、説明を続ける。ステップＳ０２５において、外観判定部１１３は、画像の外観情報から煙を検知したか否かを判定する。画像の外観情報から煙を検知した場合（ステップＳ０２５のＹｅｓ）、外観判定部１１３は、ステップＳ０２３に進む。一方、画像の外観情報から煙を検知しなかった場合（ステップＳ０２５のＮｏ）、外観判定部１１３は、監視を継続するか否かを判定する（ステップＳ０２７）。
　ステップＳ０２３において、発報部１１４は、候補領域に煙が検知されたため、ユーザに煙を検知した旨を発報し、図３及び図４の処理を終了する。
　ステップＳ０２７において、監視を継続する場合には（ステップＳ０２７のＹｅｓ）、外観判定部１１３は、ステップＳ００１に戻る。一方、監視を終了する場合は（ステップＳ０２７のＮｏ）、外観判定部１１３は、図３及び図４の処理を終了する。
　以上説明したように、本実施形態の煙監視装置１００は、揺らぎ検出部１１１、外観判断採用可否判定部１１２、及び外観判定部１１３を備えて構成されている。揺らぎ検出部１１１は、カメラ１８０によって撮像された時間方向に連続する画像群から被写体の揺らぎ情報を検出する。外観判断採用可否判定部１１２は、揺らぎ情報に加えて外観からも煙を判断するかを判定する。外観判定部１１３は、外観判断採用可否判定部１１２にて外観からも判断すると判定されたときに、画像群の各画像の外観情報を使って煙か否かを判断する。
　これにより、本実施形態の煙監視装置１００は、揺らぎ検出部１１１により揺らぎ情報から候補領域を算出して、外観判断採用可否判定部１１２により候補領域から煙か否かを判定できる。また、外観判定部１１３は、各画像の外観情報を用いて煙か否かを判断することにより、煙の検出精度が向上する。したがって、本実施形態の煙監視装置１００は、小さく薄く、かつ変化が乏しい段階の煙を検知できる。
　更に、外観判断採用可否判定部１１２は、判断基準を、所定の条件で切り替えることができる。例えば、外観判断採用可否判定部１１２は、時間に応じて、判断基準を切り替える。例えば、外観判断採用可否判定部１１２は、夜間の無人の時間帯には判断基準を鋭敏に切り替え、昼間の有人の時間帯には判断基準を遅鈍に切り替える。これにより、本実施形態の煙監視装置１００は、昼間の有人の時間帯と夜間の無人の時間帯との切り替え作業をすることなく終日稼働することができる。煙監視装置１００は、夜間の無人の時間帯に発煙が始まった場合でも、小さく薄く、かつ変化が乏しい段階の発煙を検知可能となり、昼間の時間帯には人の動きによる誤検知を抑止できる。
　また、外観判断採用可否判定部１１２は、照明オンの場合に判断基準を遅鈍に切り替え、照明オフの場合に判断基準を鋭敏に切り替える。これにより、本実施形態の煙監視装置１００は、照明オンとオフとの切り替え作業をすることなく稼働でき、照明オフの場合には視認しづらい発煙をいち早く検知可能となる。
＜第２実施形態＞
　発報部１１４は、外観判断採用可否判定部１１２又は外観判定部１１３が煙であると判断したときに、注意報として予備発報し、一定時間、所定の位置で注意報が継続した場合のみ本発報する。
　図１５及び図１６は、第２実施形態に係る煙監視装置１００が、カメラ１８０から取得する画像群に基づいて、注意報としての予備発報と本発報の処理を示したフローチャートである。なお、図１５及ぶ図１６において、図３及び図４と同一の処理については、同一の符号を付し、説明を適宜省略する。
　図１５及び図１６に示す第２実施形態に係る煙監視装置１００が、図３及び図４に示す第１実施形態に係る煙監視装置１００と異なる処理は、ステップＳ０２３において発報部１１４が本発報する前に、ステップＳ０３１からステップＳ０３７まで、注意報としての予備発報する処理が追加されている点である。
　図１６に示すように、発報部１１４は、外観判断採用可否判定部１１２又は外観判定部１１３により最終的に煙と判断されたか否かを判定し（ステップＳ０３１）、最終的に煙と判断された場合には（ステップＳ０３１のＹｅｓ）、ステップＳ０３３に進む。一方、最終的に煙と判断されなかった場合（ステップＳ０３１のＮｏ）、外観判定部１１３は、ステップＳ０２７に進む。
　ステップＳ０３３において、発報部１１４は、煙検知結果を累積し、注意報を予備発報する（ステップＳ０３５）。注意報の段階では、発報部１１４は、例えば、煙監視装置１００の表示部１６０に、「発煙と疑われる揺らぎの状態を検出しました」と表示させたり、発煙を示すアイコンをポップアップにより表示させたり、カメラ１８０で撮像した画像を拡大表示させる。なお、注意報の段階では、予備発報するか否かは所定の設定によって任意に変更することができ、初回の注意報の段階では、ユーザのニーズに応じて発報することができる。
　発報部１１４は、煙について、同じ位置からの注意報を継続して予備発報したか否かを判定し（ステップＳ０３７）、同じ位置からの注意報が継続した場合（ステップＳ０３７のＹｅｓ）、ステップＳ２３に進む。一方、同じ位置からの注意報が継続していない場合は（ステップＳ０３７のＮｏ）、発報部１１４は、ステップＳ０２７に進む。
　ステップＳ０３７において、発報部１１４が注意報を予備発報した位置が同じ位置か否かを判定する際、煙の位置が、注意報を発報してから、その発煙の位置が所定の範囲内に位置する場合に、同じ位置からの煙が継続していると判定する。すなわち、煙の位置は、発煙後に、時間の経過とともに多少移動することがあり、例えば、注意報を発報してから、半径３０［ｃｍ］以内において再度注意報を予備発報した場合、同じ位置からの注意報が継続したと判定する。なお、半径３０［ｃｍ］という数値は例示であり、これに限定されるものではない。
　また、第２実施形態では、ステップＳ０２３において、発報部１１４が煙を検知した旨を本発報する際、既にステップＳ０３５において注意報を予備発報しているため、例えば、警告灯を表示して、より強く発煙検知を発報してもよい。この場合、本発報は、視覚的に警告を示す警告灯だけでなく、例えば、音声や警告音を用いてもよく、本発報の態様は、限定されない。
　また、発報部１１４は、予備発報または本発報を確定するタイミングを、適宜設定してもよい。例えば、発報部１１４は、発報を確定する間隔を、揺らぎ検出部１１１の判定周期よりも長くすることで、発報のチャタリングを抑制してもよい。具体的には、揺らぎ検出部１１１の判定周期が１０秒の場合、発報部１１４は、発報を確定する時間間隔を３０秒に設定し、発報を確定する時間間隔の何れかで揺らぎが検知されたならば、発報を確定し、発報を確定する時間間隔の何れでも揺らぎが検知されなかったならば、発報しないことを確定する。なお、発報部１１４は、１回当りの発報期間と発報を確定する間隔を、任意の期間に設定してもよい。また、発報を確定する時間間隔内での揺らぎ検知の条件を、任意に設定してもよい。
　以上説明したように、第２実施形態の煙監視装置１００は、外観判断採用可否判定部１１２又は外観判定部１１３により煙があると判断したときに、発報部１１４が、注意報として予備発報し、一定時間、所定の位置で注意報が継続した場合のみ本発報する。
　これにより、第２実施形態によれば、煙監視装置１００は、注意報を予備発報できるとともに、ユーザのニーズに応じて、発煙を検知したことを警告として、段階的に発報することができる。
（変形例）
　本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ）～（ｍ）のようなものがある。
（ａ）　外観判定部１１３は、外観判断採用可否判定部１１２にて外観からは煙を判断できないと判定したとき、揺らぎ情報を用いて煙か否かを判断してもよい。つまり外観判断採用可否判定部１１２にて外観からは気体揺らぎを判断できないと判定したとき、揺らぎ情報を用いて気体揺らぎか否かを判断してもよい。
（ｂ）　揺らぎ検出部１１１は、時間方向の変化により煙を検出して煙領域を決定してもよい。つまり揺らぎ検出部１１１は、時間方向の変化により気体揺らぎを検出して気体揺らぎ領域を決定してもよい。
（ｃ）　外観判断採用可否判定部１１２は、揺らぎ情報のヒストグラムの所定値以上の領域の変化が閾値を超えたならば、煙の確度は低いと判断してもよい。また、外観判断採用可否判定部１１２は、揺らぎ情報の領域における差分量の分散が閾値を超えたならば、煙の確度は低いと判断してもよい。つまり外観判断採用可否判定部１１２は、所定時間における揺らぎ情報の変化が閾値を超えたならば、煙の確度は低いと判断してもよい。すなわち、外観判断採用可否判定部１１２は、所定時間における揺らぎ情報の変化が閾値を超えたならば、気体揺らぎの確度は低いと判断してもよい。
（ｄ）　外観判断採用可否判定部１１２は、揺らぎ情報の領域における彩度が所定値を超えていたならば、煙の確度は低いと判断してもよい。つまり外観判断採用可否判定部１１２は、揺らぎ情報の領域における彩度が所定値を超えていたならば、気体揺らぎの確度は低いと判断してもよい。
（ｅ）　外観判断採用可否判定部１１２は、揺らぎ情報の重心移動量が所定値を超えていたならば、煙の確度は低いと判断してもよい。つまり外観判断採用可否判定部１１２は、揺らぎ情報の重心移動量が所定値を超えていたならば、気体揺らぎの確度は低いと判断してもよい。
（ｆ）　外観判断採用可否判定部１１２は、所定時間における揺らぎ情報の重心移動量が所定値を超えていたならば、煙の確度は低いと判断してもよい。つまり外観判断採用可否判定部１１２は、所定時間における揺らぎ情報の重心移動量が所定値を超えていたならば、気体揺らぎの確度は低いと判断してもよい。
（ｇ）　外観判定部１１３は、ディープラーニングによって学習された煙検出器を備えていてもよい。
（ｈ）　外観判断採用可否判定部１１２は、判断基準を時間に応じて切り替えてもよい。
（ｉ）　外観判断採用可否判定部１１２は、判断基準をユーザにより調整可能であってもよい。
（ｊ）　外観判断採用可否判定部１１２は、カメラ１８０の撮像モードに応じて判断基準を切り替えてもよい。
（ｋ）　外観判断採用可否判定部１１２は、照明のオンとオフに応じて判断基準を切り替えてもよい。
（ｌ）　外観判断採用可否判定部１１２は、揺らぎ情報に加えて外観からも気体揺らぎを判断するかを判定してもよい。
（ｍ）　外観判定部１１３は、外観判断採用可否判定部１１２にて外観からも判断すると判定されたときに、画像群の各画像の外観情報を使って気体揺らぎか否かを判断してもよい。
　１００　煙監視装置
　１１０　ＣＰＵ
　１１１　揺らぎ検出部（揺らぎ検出手段）
　１１２　外観判断採用可否判定部（外観判断採用可否判定手段）
　１１３　外観判定部（判定手段）
　１１４　発報部（発報手段）
　１２０　記憶部
　１２１　煙監視プログラム
　１３０　ＲＯＭ
　１４０　ＲＡＭ
　１５０　入力部
　１６０　表示部
　１７０　通信部
　１８０　カメラ
　２００　煙監視システム（気体揺らぎ監視システム）
 

Claims (28)

  1. 　カメラによって撮像され、時間方向に連続する画像群から被写体の揺らぎ情報を検出する揺らぎ検出手段と、
    　前記揺らぎ情報に加えて外観からも煙を判断するかを判定する外観判断採用可否判定手段と、
    　前記外観判断採用可否判定手段にて外観からも判断すると判定されたときに前記画像群の各画像の外観情報を使って煙か否かを判断する判断手段と、
    　を備える煙監視システム。
  2. 　前記判断手段は、前記外観判断採用可否判定手段にて外観からは煙を判断できないと判定したとき、前記揺らぎ情報を用いて煙か否かを判断する、
    　請求項１に記載の煙監視システム。
  3. 　前記揺らぎ検出手段は、時間方向の変化により煙を検出して煙領域を決定する、
    　請求項１に記載の煙監視システム。
  4. 　前記外観判断採用可否判定手段は、前記揺らぎ情報のヒストグラムの所定値以上の領域の変化が閾値を超えたならば、煙の確度は低いと判断する、
    　請求項１に記載の煙監視システム。
  5. 　前記外観判断採用可否判定手段は、前記揺らぎ情報の領域における差分量の分散が閾値を超えたならば、煙の確度は低いと判断する、
    　請求項１に記載の煙監視システム。
  6. 　前記外観判断採用可否判定手段は、前記揺らぎ情報の領域における彩度が所定値を超えていたならば、煙の確度は低いと判断する、
    　請求項１に記載の煙監視システム。
  7. 　前記外観判断採用可否判定手段は、前記揺らぎ情報の重心移動量が所定値を超えていたならば、煙の確度は低いと判断する、
    　請求項１に記載の煙監視システム。
  8. 　前記外観判断採用可否判定手段は、所定時間における前記揺らぎ情報の重心移動量が所定値を超えていたならば、煙の確度は低いと判断する、
    　請求項１に記載の煙監視システム。
  9. 　前記判断手段は、ディープラーニングによって学習された煙検出器を備える、
    　請求項１に記載の煙監視システム。
  10. 　前記外観判断採用可否判定手段又は前記判断手段が煙であると判断したときに、発報する発報手段を備える、
    　請求項１に記載の煙監視システム。
  11. 　前記発報手段は、前記判断手段が煙であると判断したときに、注意報として予備発報し、一定時間、所定の位置で注意報が継続した場合のみ本発報する、
    　請求項１０に記載の煙監視システム。
  12. 　前記外観判断採用可否判定手段において判断基準を時間に応じて切り替える、
    　請求項１に記載の煙監視システム。
  13. 　前記外観判断採用可否判定手段において判断基準をユーザが調整可能である、
    　請求項１に記載の煙監視システム。
  14. 　前記外観判断採用可否判定手段において、カメラの撮像モードに応じて判断基準を切り替える、
    　請求項１に記載の煙監視システム。
  15. 　前記外観判断採用可否判定手段において、照明のオンとオフに応じて判断基準を切り替える、
    　請求項１に記載の煙監視システム。
  16. 　カメラによって撮像され、時間方向に連続する画像群から被写体の揺らぎ情報を検出する揺らぎ検出手段と、
    　前記揺らぎ情報に加えて外観からも気体揺らぎを判断するかを判定する外観判断採用可否判定手段と、
    　前記外観判断採用可否判定手段にて外観からも判断すると判定されたときに前記画像群の各画像の外観情報を使って気体揺らぎか否かを判断する判断手段と、
    　を備える気体揺らぎ監視システム。
  17. 　前記判断手段は、前記外観判断採用可否判定手段にて外観からは気体揺らぎを判断できないと判定したとき、前記揺らぎ情報を用いて気体揺らぎか否かを判断する、
    　請求項１６に記載の気体揺らぎ監視システム。
  18. 　前記揺らぎ検出手段は、時間方向の変化により気体揺らぎであると検出して気体揺らぎ領域を決定する、
    　請求項１６に記載の気体揺らぎ監視システム。
  19. 　前記外観判断採用可否判定手段は、所定時間における前記揺らぎ情報の変化が閾値を超えたならば、気体揺らぎの確度は低いと判断する、
    　請求項１６に記載の気体揺らぎ監視システム。
  20. 　前記外観判断採用可否判定手段は、前記揺らぎ情報の領域における彩度が所定値を超えていたならば、気体揺らぎの確度は低いと判断する、
    　請求項１６に記載の気体揺らぎ監視システム。
  21. 　前記外観判断採用可否判定手段は、前記揺らぎ情報の重心移動量が所定値を超えていたならば、気体揺らぎの確度は低いと判断する、
    　請求項１６に記載の気体揺らぎ監視システム。
  22. 　前記外観判断採用可否判定手段は、所定時間における前記揺らぎ情報の重心移動量が所定値を超えていたならば、気体揺らぎの確度は低いと判断する、
    　請求項１６に記載の気体揺らぎ監視システム。
  23. 　前記外観判断採用可否判定手段において、カメラの撮像モードに応じて判断基準を切り替える、
    　請求項１６に記載の気体揺らぎ監視システム。
  24. 　前記外観判断採用可否判定手段において、照明のオンとオフに応じて判断基準を切り替える、
    　請求項１６に記載の気体揺らぎ監視システム。
  25. 　カメラによって撮像され、時間方向に連続する画像群から被写体の揺らぎ情報を検出するステップと、
    　前記揺らぎ情報に加えて外観からも煙を判断するかを判定するステップと、
    　前記外観からも判断すると判定されたときに前記画像群の各画像の外観情報を使って煙か否かを判断するステップと、
    　を実行する煙監視方法。
  26. 　カメラによって撮像され、時間方向に連続する画像群から被写体の揺らぎ情報を検出するステップと、
    　前記揺らぎ情報に加えて外観からも気体揺らぎを判断するかを判定するステップと、
    　前記外観からも判断すると判定されたときに前記画像群の各画像の外観情報を使って気体揺らぎか否かを判断するステップと、
    　を実行する気体揺らぎ監視方法。
  27. 　コンピュータに、
    　カメラによって撮像され、時間方向に連続する画像群から被写体の揺らぎ情報を検出する手順、
    　前記揺らぎ情報に加えて外観からも煙を判断するかを判定する手順、
    　前記外観からも判断すると判定されたときに前記画像群の各画像の外観情報を使って煙か否かを判断する手順、
    　を実行させるための煙監視プログラム。
  28. 　コンピュータに、
    　カメラによって撮像され、時間方向に連続する画像群から被写体の揺らぎ情報を検出する手順、
    　前記揺らぎ情報に加えて外観からも気体揺らぎを判断するかを判定する手順、
    　前記外観からも判断すると判定されたときに前記画像群の各画像の外観情報を使って気体揺らぎか否かを判断する手順、
    　を実行させるための気体揺らぎ監視プログラム。
     
PCT/JP2023/034229 2022-11-21 2023-09-21 煙監視システム、気体揺らぎ監視システム、煙監視方法、気体揺らぎ監視方法、煙監視プログラム、及び気体揺らぎ監視プログラム Ceased WO2024111237A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024559982A JPWO2024111237A1 (ja) 2022-11-21 2023-09-21

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-185942 2022-11-21
JP2022185942 2022-11-21

Publications (1)

Publication Number Publication Date
WO2024111237A1 true WO2024111237A1 (ja) 2024-05-30

Family

ID=91195355

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/034229 Ceased WO2024111237A1 (ja) 2022-11-21 2023-09-21 煙監視システム、気体揺らぎ監視システム、煙監視方法、気体揺らぎ監視方法、煙監視プログラム、及び気体揺らぎ監視プログラム

Country Status (2)

Country Link
JP (1) JPWO2024111237A1 (ja)
WO (1) WO2024111237A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002032876A (ja) * 2000-07-13 2002-01-31 Fujitsu Ltd 火災検出装置
JP2008046917A (ja) * 2006-08-17 2008-02-28 Nohmi Bosai Ltd 煙検出装置
JP2016110262A (ja) * 2014-12-03 2016-06-20 能美防災株式会社 煙検出装置および煙検出方法
JP2018088630A (ja) * 2016-11-29 2018-06-07 ホーチキ株式会社 火災監視システム
JP2020204837A (ja) * 2019-06-14 2020-12-24 鹿島建設株式会社 火災監視システム及び火災監視方法
JP2022147696A (ja) * 2021-03-23 2022-10-06 能美防災株式会社 煙監視システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002032876A (ja) * 2000-07-13 2002-01-31 Fujitsu Ltd 火災検出装置
JP2008046917A (ja) * 2006-08-17 2008-02-28 Nohmi Bosai Ltd 煙検出装置
JP2016110262A (ja) * 2014-12-03 2016-06-20 能美防災株式会社 煙検出装置および煙検出方法
JP2018088630A (ja) * 2016-11-29 2018-06-07 ホーチキ株式会社 火災監視システム
JP2020204837A (ja) * 2019-06-14 2020-12-24 鹿島建設株式会社 火災監視システム及び火災監視方法
JP2022147696A (ja) * 2021-03-23 2022-10-06 能美防災株式会社 煙監視システム

Also Published As

Publication number Publication date
JPWO2024111237A1 (ja) 2024-05-30

Similar Documents

Publication Publication Date Title
CN101458865B (zh) 一种火灾探测系统及方法
JP4668978B2 (ja) 火炎検出方法及びその装置
KR101953342B1 (ko) 멀티 센서 화재감지 방법 및 시스템
CN201259717Y (zh) 一种火灾探测系统
CN101625789A (zh) 基于烟火智能识别的森林火灾实时监测方法
US20080137906A1 (en) Smoke Detecting Method And Device
CN119784848B (zh) 一种基于图像识别的火灾烟雾与火源精准定位方法
KR20210097500A (ko) 화재감지장치 및 이를 포함하는 화재감지시스템
US10309673B2 (en) Air anomaly alarming method, device and storage medium
CN102881106A (zh) 一种热成像视频双鉴林火识别系统及其识别方法
CN109741565B (zh) 煤矿火灾识别系统及方法
CN112733646B (zh) 一种基于热成像的液态介质泄漏自动检测方法及系统
CN107729913A (zh) 一种基于多特征融合聚类的锅炉炉膛态势感知方法
CN107688793A (zh) 一种变电站室外火灾自动监测预警方法
CN110507941B (zh) 一种火灾处理方法及其系统
CN101316371A (zh) 火焰侦测方法及装置
KR101044903B1 (ko) 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법
CN117373196B (zh) 一种电气火灾报警方法及系统
WO2024111237A1 (ja) 煙監視システム、気体揺らぎ監視システム、煙監視方法、気体揺らぎ監視方法、煙監視プログラム、及び気体揺らぎ監視プログラム
CN119741810B (zh) 一种具有防火功能的户外摄像机
CN209657454U (zh) 煤矿火灾识别系统
KR102854117B1 (ko) 멀티모달센서 기반의 통합화재감시시스템
CN120526485A (zh) 一种智能工地安全监控与异常行为检测方法
KR102958941B1 (ko) Ai 기반 실시간 영상 상황 인식형 컨텐츠 자동 송출 방법 및 그 시스템
CN120689599B (zh) 针对火灾监测的数据异常值剔除方法和系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23894249

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024559982

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23894249

Country of ref document: EP

Kind code of ref document: A1