WO2018123197A1 - ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム - Google Patents

ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム Download PDF

Info

Publication number
WO2018123197A1
WO2018123197A1 PCT/JP2017/036580 JP2017036580W WO2018123197A1 WO 2018123197 A1 WO2018123197 A1 WO 2018123197A1 JP 2017036580 W JP2017036580 W JP 2017036580W WO 2018123197 A1 WO2018123197 A1 WO 2018123197A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
gas
region
images
similarity
Prior art date
Application number
PCT/JP2017/036580
Other languages
English (en)
French (fr)
Inventor
基広 浅野
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to JP2018558832A priority Critical patent/JP6508439B2/ja
Priority to US16/466,181 priority patent/US10997734B2/en
Publication of WO2018123197A1 publication Critical patent/WO2018123197A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00—Investigating fluid-tightness of structures
    • G01M3/02—Investigating fluid-tightness of structures by using fluid or vacuum
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3504—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing gases, e.g. multi-gas analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Definitions

  • the present invention relates to a technology for detecting gas using an infrared image.
  • Patent Literature 1 includes an infrared camera that captures an inspection target region and an image processing unit that processes an infrared image captured by the infrared camera. Discloses a gas leak detection apparatus having a fluctuation extraction unit that extracts dynamic fluctuation due to gas leakage from a plurality of infrared images arranged in time series.
  • a moving cloud may be detected as gas when a camera that captures an infrared image is installed at an angle that includes the sky in the background.
  • the image processing apparatus for gas detection includes a processing unit, a determination unit, and a determination unit.
  • the processing unit captures a first process, which is extracted from a predetermined region of an infrared image, and acquires a first image including a region image indicating a region where a gas candidate appears, at a plurality of different times.
  • the process is executed for each of the plurality of infrared images to obtain a plurality of the first images.
  • the determining unit determines a moving direction of the region image based on the two first images, and considers that the region image moves in the determined moving direction. Determine the similarity of images.
  • the determination unit determines whether the gas candidate is a gas based on the similarity determined by the determination unit and whether the region image is moving.
  • FIG. 1A It is a block diagram which shows the structure of the gas detection system which concerns on embodiment. It is a block diagram which shows the hardware constitutions of the image processing apparatus for gas detection shown to FIG. 1A. It is explanatory drawing explaining time series pixel data D1. It is an image figure which shows the infrared image which image
  • difference data D4 It is a graph which shows difference data D4.
  • difference data D8 It is an image figure which shows the image I10, the image I11, and the image I12 which were produced
  • FIG. 6 is a schematic diagram showing a positional relationship between a region image 1i-1 and a region image 1i-3 when the position of the first image 1I-1 is the origin.
  • FIG. 6 is a schematic diagram showing a positional relationship between a region image 1i-1 and a region image 1i-2 when the position of the first image 1I-1 is the origin. It is explanatory drawing explaining the 1st image 1I produced
  • FIG. 6 is a schematic diagram showing a positional relationship between a region image 1i-4 and a region image 1i-6 when the position of the first image 1I-4 is the origin.
  • FIG. 6 is a schematic diagram showing a positional relationship between a region image 1i-4 and a region image 1i-5 when the position of the first image 1I-4 is the origin.
  • FIG. 1A is a block diagram illustrating a configuration of a gas detection system 1 according to an embodiment.
  • the gas detection system 1 includes an infrared camera 2 and a gas detection image processing device 3.
  • the infrared camera 2 captures a moving image of an infrared image and generates moving image data MD indicating the moving image of a subject including a gas leak monitoring target (for example, a place where gas transport pipes are connected). Any infrared image captured in time series may be used, and the image is not limited to a moving image.
  • the infrared camera 2 includes an optical system 4, a filter 5, a two-dimensional image sensor 6, and a signal processing unit 7.
  • the optical system 4 forms an infrared image of the subject on the two-dimensional image sensor 6.
  • the filter 5 is disposed between the optical system 4 and the two-dimensional image sensor 6, and allows only infrared light having a specific wavelength to pass through the light that has passed through the optical system 4.
  • the wavelength band that passes through the filter 5 depends on the type of gas to be detected. For example, in the case of methane, a filter 5 that passes a wavelength band of 3.2 to 3.4 ⁇ m is used.
  • the two-dimensional image sensor 6 is a cooled indium antimony (InSb) image sensor, for example, and receives the infrared rays that have passed through the filter 5.
  • the signal processing unit 7 converts the analog signal output from the two-dimensional image sensor 6 into a digital signal and performs known image processing. This digital signal becomes the moving image data MD.
  • the gas detection image processing device 3 is a personal computer, a smartphone, a tablet terminal, or the like, and includes an image data input unit 8, an image processing unit 9, a display control unit 10, a display unit 11, and an input unit 12 as functional blocks.
  • the image data input unit 8 is a communication interface that communicates with a communication unit (not shown) of the infrared camera 2.
  • the moving image data MD sent from the communication unit of the infrared camera 2 is input to the image data input unit 8.
  • the image data input unit 8 sends the moving image data MD to the image processing unit 9.
  • the image processing unit 9 is realized by a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), an HDD (Hard Disk Drive), and the like, and performs predetermined processing on the moving image data MD.
  • the predetermined process is, for example, a process for generating time-series pixel data from the moving image data MD.
  • FIG. 2 is an explanatory diagram for explaining the time-series pixel data D1.
  • the moving image indicated by the moving image data MD has a structure in which a plurality of frames are arranged in time series. Data obtained by arranging pixel data of pixels at the same position in time series in a plurality of frames (a plurality of infrared images) is referred to as time series pixel data D1.
  • K be the number of frames of a moving image of an infrared image.
  • One frame is composed of M pixels, that is, a first pixel, a second pixel,..., An M ⁇ 1th pixel, and an Mth pixel.
  • Based on the pixel data (pixel value) physical quantities such as luminance and temperature are determined.
  • Pixels in the same position in multiple (K) frames mean pixels in the same order.
  • the pixel data of the first pixel included in the first frame the pixel data of the first pixel included in the second frame,..., The (K ⁇ 1) th frame.
  • Data obtained by arranging the pixel data of the first pixel included in the pixel data and the pixel data of the first pixel included in the Kth frame in time series becomes the time series pixel data D1 of the first pixel.
  • the pixel data of the Mth pixel included in the first frame, the pixel data of the Mth pixel included in the second frame the pixel data of the Mth pixel included in the second frame,..., The (K ⁇ 1) th frame.
  • the time-series pixel data D1 of the Mth pixel is obtained by arranging the pixel data of the Mth pixel included in the pixel data and the pixel data of the Mth pixel included in the Kth frame in time series.
  • the number of time-series pixel data D1 is the same as the number of pixels constituting one frame.
  • the image processing unit 9 includes a processing unit 91, a determination unit 92, and a determination unit 93. These will be described later.
  • the display control unit 10 is realized by a CPU, RAM, ROM, HDD, and the like, and causes the display unit 11 to display an image or the like indicated by the moving image data MD.
  • the display unit 11 is realized by a liquid crystal display, for example.
  • the input unit 12 is realized by a keyboard, a touch panel, or the like, and performs various inputs related to gas detection.
  • the gas detection image processing apparatus 3 includes the display control unit 10, the display unit 11, and the input unit 12, but may be the gas detection image processing apparatus 3 that does not include these.
  • FIG. 1B is a block diagram showing a hardware configuration of the gas detection image processing apparatus 3 shown in FIG. 1A.
  • the gas detection image processing apparatus 3 includes a CPU 3a, a RAM 3b, a ROM 3c, an HDD 3d, a liquid crystal display 3e, a communication interface 3f, a keyboard 3g, and a bus 3h for connecting them.
  • the liquid crystal display 3 e is hardware that implements the display unit 11. Instead of the liquid crystal display 3e, an organic EL display (Organic Light Emitting Diode display), a plasma display, or the like may be used.
  • the communication interface 3 f is hardware that implements the image data input unit 8.
  • the keyboard 3g is hardware for realizing the input unit 12.
  • the HDD 3d stores programs for realizing these functional blocks for the image processing unit 9 and the display control unit 10, respectively.
  • the program that realizes the image processing unit 9 is a processing program that acquires the moving image data MD and performs the predetermined processing on the moving image data MD.
  • the program for realizing the display control unit 10 is a display control program for causing the display unit 11 to display an image (for example, a moving image indicated by the moving image data MD). These programs may be stored in the ROM 3c instead of the HDD 3d.
  • the CPU 3a reads out the processing program and the display control program from the HDD 3d, expands them in the RAM 3b, and executes the expanded programs to realize these functional blocks.
  • the processing program and the display control program are stored in advance in the HDD 3d, but are not limited thereto.
  • a recording medium for example, an external recording medium such as a magnetic disk or an optical disk
  • the program stored in the recording medium may be stored in the HDD 3d.
  • These programs may be stored in a server connected to the image processing apparatus 3 for gas detection via a network, and these programs may be sent to the HDD 3d via the network and stored in the HDD 3d.
  • the gas detection image processing apparatus 3 includes a plurality of elements. Accordingly, the HDD 3d stores a program for realizing these elements.
  • the gas detection image processing apparatus 3 includes a processing unit 91, a determination unit 92, and a determination unit 93 as elements.
  • the HDD 3d stores programs for realizing each of the processing unit 91, the determination unit 92, and the determination unit 93. These programs are expressed as a processing program, a determination program, and a determination program.
  • the HDD that stores the processing program, the HDD that stores the determination program, and the HDD that stores the determination program may be different from each other.
  • a server having an HDD storing a processing program, a server having an HDD storing a determination program, and a server having an HDD storing a determination program are connected to a network (for example, the Internet). It may be connected via.
  • at least one HDD may be an external HDD connected to a USB port or the like, or a network compatible HDD (NAS: Network Attached Storage).
  • At least two or more of these programs may be stored in the same HDD, and the remaining programs may be stored in an HDD different from this HDD (for example, the processing program and the determination program are stored in the first HDD, and the determination program is stored in the first HDD). Stored in the second HDD).
  • the processing unit and the processing program will be described as an example.
  • the processing unit was captured at a plurality of different times to perform a first process for obtaining a first image including a region image indicating a region where a gas candidate appears, extracted from a predetermined region of the infrared image.
  • the process is executed for each of the plurality of infrared images, and the plurality of first images are acquired.
  • the first processing program performs a first process of acquiring a first image including a region image indicating a region where a gas candidate appears, extracted from a predetermined region of the infrared image, at a plurality of different times.
  • the program is executed for each of the plurality of captured infrared images and acquires the plurality of first images.
  • FIG. 15 A flowchart of these programs (processing program, determination program, determination program) executed by the CPU 3a is FIG. 15 described later.
  • the present inventor found that a gas leak and a background temperature change occur in parallel, and if the background temperature change is larger than the temperature change due to the leaked gas, the background temperature If changes are not taken into account, it has been found that the state of gas leakage cannot be displayed as an image. This will be described in detail.
  • FIG. 3 is an image diagram showing, in time series, an infrared image obtained by photographing an outdoor test place in a state where gas leakage and background temperature change occur in parallel. These are infrared images obtained by shooting a moving image with an infrared camera. There is a point SP1 at the test place where gas can be ejected. For comparison with the point SP1, a point SP2 where no gas is ejected is shown.
  • the image I1 is an infrared image of the test place taken at time T1 immediately before the sunlight is blocked by the clouds.
  • the image I2 is an infrared image of the test place taken at time T2 after 5 seconds from time T1. At time T2, sunlight is blocked by clouds, so the background temperature is lower than at time T1.
  • the image I3 is an infrared image of the test place taken at time T3 10 seconds after time T1. From time T2 to time T3, the state in which the sunlight is blocked by the cloud is continued, so that the temperature of the background is lower at time T3 than at time T2.
  • the image I4 is an infrared image of the test place taken at time T4 15 seconds after time T1. From time T3 to time T4, the state in which sunlight is blocked by the cloud is continued, so that the background temperature is lower at time T4 than at time T3.
  • the background temperature has dropped by about 4 ° C in 15 seconds from time T1 to time T4. For this reason, the image I4 is generally darker than the image I1, and it can be seen that the background temperature is lowered.
  • FIG. 4A is a graph showing the temperature change at the point SP1 at the test location
  • FIG. 4B is a graph showing the temperature change at the point SP2 at the test location.
  • the vertical axis of these graphs indicates temperature.
  • the horizontal axis of these graphs indicates the frame order. For example, 45 means the 45th frame.
  • the frame rate is 30 fps. Therefore, the time from the first frame to the 450th frame is 15 seconds.
  • the graph showing the temperature change at the point SP1 is different from the graph showing the temperature change at the point SP2. Since no gas is ejected at the point SP2, the temperature change at the point SP2 indicates the background temperature change. On the other hand, since gas is ejected at the point SP1, gas is drifting at the point SP1. For this reason, the temperature change at the point SP1 indicates the temperature change obtained by adding the background temperature change and the temperature change caused by the leaked gas.
  • the moving image data MD (FIG. 1A) has low frequency component data D2 indicating a change in background temperature, in addition to the frequency component data indicating the temperature change due to the leaked gas, in addition to the frequency component data. Is included.
  • the image indicated by the low-frequency component data D2 (change in brightness of the background) makes the image indicated by the frequency component data invisible.
  • corresponds to the said frequency component data.
  • the graph showing the temperature change at the point SP2 corresponds to the low frequency component data D2.
  • the image processing unit 9 (FIG. 1A) generates a plurality of time-series pixel data D1 (that is, a plurality of time-series pixel data D1 constituting the moving image data MD) having different pixel positions from the moving image data MD.
  • the low frequency component data D2 is removed from each of the plurality of time series pixel data D1.
  • the plurality of time-series pixel data having different pixel positions refers to the time-series pixel data D1 of the first pixel, the time-series pixel data D1,. It means the time-series pixel data D1 of the pixels and the time-series pixel data D1 of the Mth pixel.
  • the frequency component data that is higher in frequency than the frequency component data indicating the temperature change due to the leaked gas and that indicates high frequency noise is referred to as high frequency component data D3.
  • the image processing unit 9 performs processing for removing the high-frequency component data D3 in addition to the processing for removing the low-frequency component data D2 for each of the plurality of time-series pixel data D1 constituting the moving image data MD.
  • the image processing unit 9 does not perform the process of excluding the low frequency component data D2 and the high frequency component data D3 in units of frames, but the low frequency component data D2 and the high frequency component data in units of time series pixel data D1. Processing excluding D3.
  • the gas detection image processing device 3 generates a monitoring image using an infrared image.
  • the monitoring image includes an image showing a region where the gas appears due to the gas leak.
  • the gas detection image processing device 3 detects gas leakage based on the monitoring image.
  • There are various methods for generating a monitoring image Here, an example of a method for generating a monitoring image will be described.
  • the monitoring image is generated using an infrared image of the monitoring target and the background.
  • FIG. 5 is a flowchart for explaining monitoring image generation processing.
  • the image processing unit 9 generates M pieces of time-series pixel data D1 from the moving image data MD (step S1).
  • the first predetermined number of frames is, for example, 21 frames.
  • the breakdown is a target frame, 10 consecutive frames before this, and 10 consecutive frames after this.
  • the first predetermined number is not limited to 21 but may be more than 21 or less than 21 as long as the low-frequency component data D2 can be extracted from the time-series pixel data D1.
  • the image processing unit 9 calculates a simple moving average in units of a third predetermined number (for example, 3) smaller than the first predetermined number (for example, 21) for the time-series pixel data D1.
  • a third predetermined number for example, 3
  • the first predetermined number for example, 21
  • the image processing unit 9 calculates a simple moving average in units of a third predetermined number (for example, 3) smaller than the first predetermined number (for example, 21) for the time-series pixel data D1.
  • the data extracted from the time series pixel data D1 is used as the high frequency component data D3, and M pieces of high frequency component data D3 corresponding to each of the M pieces of time series pixel data D1 are extracted (step S3).
  • FIG. 6 shows time-series pixel data D1 of pixels corresponding to the point SP1 (FIG. 4A), low-frequency component data D2 extracted from the time-series pixel data D1, and high-frequency component data D3 extracted from the time-series pixel data D1. It is a graph to show. The vertical axis and horizontal axis of the graph are the same as the vertical axis and horizontal axis of the graph of FIG. 4A.
  • the temperature indicated by the time-series pixel data D1 changes relatively abruptly (change period is relatively short), and the temperature indicated by the low-frequency component data D2 changes relatively slowly (change period). Is relatively long).
  • the high frequency component data D3 appears to substantially overlap the time series pixel data D1.
  • the third predetermined number of frames is, for example, 3 frames.
  • the breakdown is the target frame, the immediately preceding frame, and the immediately following frame.
  • the third predetermined number is not limited to 3 and may be more than 3 as long as the third frequency component can be extracted from the time-series pixel data.
  • the image processing unit 9 obtains data obtained by calculating the difference between the time-series pixel data D1 and the low-frequency component data D2 extracted from the time-series pixel data D1. Is the difference data D4, and M pieces of difference data D4 corresponding to each of the M pieces of time-series pixel data D1 are calculated (step S4).
  • the image processing unit 9 sets the difference data D5 as data obtained by calculating the difference between the time-series pixel data D1 and the high-frequency component data D3 extracted from the time-series pixel data D1, and M pieces of time-series pixel data. M pieces of difference data D5 corresponding to each of D1 are calculated (step S5).
  • FIG. 7A is a graph showing the difference data D4, and FIG. 7B is a graph showing the difference data D5.
  • the vertical and horizontal axes of these graphs are the same as the vertical and horizontal axes of the graph of FIG. 4A.
  • the difference data D4 is data obtained by calculating a difference between the time-series pixel data D1 and the low-frequency component data D2 shown in FIG. Before the gas ejection starts at the point SP1 shown in FIG. 4A (up to about the 90th frame), the minute amplitude repetition indicated by the difference data D4 mainly indicates the sensor noise of the two-dimensional image sensor 6. ing. After starting gas ejection at the point SP1 (the 90th and subsequent frames), the amplitude and waveform variations of the difference data D4 are large.
  • the difference data D5 is data obtained by calculating a difference between the time-series pixel data D1 and the high-frequency component data D3 shown in FIG.
  • the difference data D4 includes frequency component data indicating the temperature change due to the leaked gas and high frequency component data D3 (data indicating high frequency noise).
  • the difference data D5 does not include the frequency component data indicating the temperature change due to the leaked gas, but includes the high frequency component data D3.
  • the difference data D4 includes frequency component data indicating a temperature change due to the leaked gas, after the gas ejection is started at the point SP1 (the 90th and subsequent frames), the difference data D4 has large variations in amplitude and waveform. It has become.
  • the difference data D5 does not include frequency component data indicating a temperature change due to the leaked gas, this is not the case.
  • the difference data D5 repeats a minute amplitude. This is high frequency noise.
  • the difference data D4 and the difference data D5 are correlated, but not completely correlated. That is, in a certain frame, the value of the difference data D4 may be plus and the value of the difference data D5 may be minus or vice versa. For this reason, even if the difference between the difference data D4 and the difference data D5 is calculated, the high frequency component data D3 cannot be removed. In order to remove the high-frequency component data D3, it is necessary to convert the difference data D4 and the difference data D5 into values such as absolute values that can be subtracted.
  • the image processing unit 9 sets, as the standard deviation data D6, data obtained by calculating the moving standard deviation with the second predetermined number of frames smaller than K frames as a unit for the difference data D4. M pieces of standard deviation data D6 corresponding to each of the M pieces of time-series pixel data D1 are calculated (step S6). Note that the movement variance may be calculated instead of the movement standard deviation.
  • the image processing unit 9 uses the data obtained by calculating the moving standard deviation in units of a fourth predetermined number (for example, 21) fewer than K frames as the standard for the difference data D5.
  • a fourth predetermined number for example, 21
  • M standard deviation data D7 corresponding to each of the M time-series pixel data D1 are calculated (step S7).
  • moving variance may be used.
  • FIG. 8 is a graph showing standard deviation data D6 and standard deviation data D7.
  • the horizontal axis of the graph is the same as the horizontal axis of the graph of FIG. 4A.
  • the vertical axis of the graph indicates standard deviation.
  • the standard deviation data D6 is data indicating the moving standard deviation of the difference data D4 shown in FIG. 7A.
  • the standard deviation data D7 is data indicating the moving standard deviation of the difference data D5 illustrated in FIG. 7B.
  • the number of frames used for the calculation of the moving standard deviation is 21 in both the standard deviation data D6 and the standard deviation data D7. However, any number may be used as long as a statistically significant standard deviation is obtained. It is not limited.
  • the standard deviation data D6 and the standard deviation data D7 are standard deviations and do not include negative values. Therefore, the standard deviation data D6 and the standard deviation data D7 can be regarded as data converted so that the difference data D4 and the difference data D5 can be subtracted.
  • the image processing unit 9 sets difference data D8 as data obtained by calculating the difference between the standard deviation data D6 and the standard deviation data D7 obtained from the same time series pixel data D1, and M pieces of time series pixel data D1. M pieces of difference data D8 corresponding to each are calculated (step S8).
  • FIG. 9 is a graph showing the difference data D8.
  • the horizontal axis of the graph is the same as the horizontal axis of the graph of FIG. 4A.
  • the vertical axis of the graph is the standard deviation difference.
  • the difference data D8 is data indicating a difference between the standard deviation data D6 and the standard deviation data D7 shown in FIG.
  • the difference data D8 is data that has been processed to exclude the low-frequency component data D2 and the high-frequency component data D3.
  • the image processing unit 9 generates a monitoring image (step S9). That is, the image processing unit 9 generates a moving image composed of M pieces of difference data D8 obtained in step S8. Each frame constituting the moving image is a monitoring image.
  • the monitoring image is an image that visualizes the difference of the standard deviation.
  • the image processing unit 9 outputs the moving image obtained in step S9 to the display control unit 10.
  • the display control unit 10 displays this moving image on the display unit 11.
  • the monitoring images included in this moving image for example, there are an image I12 shown in FIG. 10 and an image I15 shown in FIG.
  • FIG. 10 is an image diagram showing an image I10, an image I11, and an image I12 generated based on the frame at time T1.
  • the image I10 is a frame image at time T1 in the moving image indicated by the M standard deviation data D6 obtained in step S6 of FIG.
  • the image I11 is a frame image at time T1 in the moving image indicated by the M standard deviation data D7 obtained in step S7 of FIG.
  • a difference between the image I10 and the image I11 is an image I12 (monitoring image).
  • FIG. 11 is an image diagram showing an image I13, an image I14, and an image I15 generated based on the frame at time T2.
  • the image I13 is an image of a frame at time T2 in the moving image indicated by the M standard deviation data D6 obtained in step S6.
  • the image I14 is an image of a frame at time T2 in the moving image indicated by the M standard deviation data D7 obtained in step S7.
  • the difference between the image I13 and the image I14 is an image I15 (monitoring image).
  • Each of the images I10 to I15 shown in FIGS. 10 and 11 is an image in which the standard deviation is multiplied by 5000 times.
  • the image I12 shown in FIG. 10 is an image taken before the gas is ejected from the point SP1 shown in FIG. 4A, the state in which the gas is emitted from the point SP1 does not appear in the image I12.
  • the image I15 shown in FIG. 11 is an image taken at the time when the gas is ejected from the point SP1, a state in which the gas is emitted from the point SP1 appears in the image I15.
  • the image processing unit 9 (FIG. 1A) generates the moving image data by performing the process of removing the low frequency component data D2 included in the moving image data MD of the infrared image
  • the display control unit 10 causes the display unit 11 to display the moving image (the moving image of the monitoring image) indicated by the moving image data. Therefore, according to the embodiment, the gas leakage and the background temperature change occur in parallel, and even when the background temperature change is larger than the temperature change due to the leaked gas, the state of the gas leak is monitored. Can be displayed in the video.
  • FIG. 12 is an image diagram showing an infrared image 100 in which the sky in which clouds are present is captured. Since the temperature difference between the cloud and the sky is small, the difference between the cloud image and the sky image does not appear clearly. There is an image of a cloud near the center of the infrared image 100, and the other image is an image of the sky. One point SP3 corresponds to one pixel of the infrared image 100.
  • FIG. 13 is a graph showing a temperature change at the point SP3.
  • the horizontal axis and vertical axis of the graph are the same as the horizontal axis and vertical axis of the graph of FIG. 4A. Since the frame rate is 30 fps, a graph of temperature change for 10 seconds is shown. From the state where the cloud is located at the point SP3, the cloud has moved and has changed to a state where no cloud is located at the point SP3.
  • the period of change at the point SP3 is approximately the period of the 100th to 150th frames. The temperature change during this period is larger than that before and after this period.
  • FIG. 14 is a graph showing difference data D8 generated based on the time-series pixel data D1 indicating the temperature change at the point SP3.
  • the horizontal axis of the graph is the same as the horizontal axis of the graph of FIG. 4A.
  • the vertical axis of the graph represents the standard deviation difference.
  • the difference data D8 is generated by performing the processing in steps S2 to S8 shown in FIG. 5 on the time-series pixel data D1 indicating the temperature change at the point SP3.
  • the difference data D8 is large in the period of the approximately 100th to 150th frames. This period is a period during which the state where the cloud is located at the point SP3 changes to the state where the cloud is not located.
  • the difference data D8 during the period when the gas is out is larger than the difference data D8 during the period when the gas is out.
  • the difference data D8 shown in FIG. 14 is as large as the difference data D8 during the period in which gas is emitted in the period of the approximately 100th to 150th frames. Therefore, when the difference data D8 shown in FIG. 14 is obtained, the gas detection image processing apparatus 3 may erroneously detect gas. If the cloud does not move, the temperature change described with reference to FIG. 13 does not occur, so that no false detection occurs.
  • FIG. 15 is a flowchart of processing executed in the embodiment.
  • the processing unit 91 generates a moving image of the monitoring image based on the moving image data MD (step S100). More specifically, the processing unit 91 performs the processing of steps S1 to S9 shown in FIG. 5 for the moving image data MD. Thereby, each frame constituting the moving image becomes a monitoring image from the infrared image, and the moving image of the monitoring image is generated.
  • the monitoring images are, for example, an image I12 shown in FIG. 10 and an image I15 shown in FIG. If a gas candidate appears, a region image indicating a region where the gas candidate appears is included in the monitoring image. An image indicating the region where the gas appears may be a region image, and the image indicating the moving cloud described above may be a region image.
  • the image I15 is an image 2 seconds after the start of gas ejection. A white region located near the center of the image I15 is a region image.
  • the region image is an image showing a region where gas appears.
  • the region image is obtained by the processing in steps S1 to S9.
  • a known technique for example, image processing disclosed in Patent Document 1 that obtains the region image by image processing on the infrared image is used.
  • An area image may be obtained.
  • the process of step S100 is a process of extracting a region image from an infrared image.
  • the infrared image that has been processed to extract the region image is the monitoring image.
  • the processing unit 91 sets a predetermined area including the area image as each monitoring image, and acquires the predetermined area as the first image (step S101). That is, the processing unit 91 sets a predetermined area including the area image in each infrared image that has been subjected to the process of extracting the area image, and acquires the predetermined area as the first image.
  • FIG. 16 is an explanatory diagram for explaining the first image 1I generated by the embodiment when the infrared camera 2 is installed at an angle including a sky in the background and a moving cloud is imaged. .
  • FIG. 16 shows a first image 1I cut out from the monitoring image.
  • the processing unit 91 may automatically cut out the first image 1I from the monitoring image, or the user may actually operate the gas detection system 1 to check a region where a reflection erroneously recognized as gas occurs, and manually You may cut out. In the latter case, the user determines the size of the first image 1I so that the first region image 1i is included in the first image 1I. The determined size is stored in the first processing unit 91 in advance.
  • the processing unit 91 binarizes the monitoring image shown in FIGS. 10 and 11 (that is, for example, the difference data D8 shown in FIG. 9 and the difference data D8 shown in FIG. After binarization with a threshold value (for example, 0.02), labeling processing is performed, and the image is automatically cut out.
  • a threshold value for example, 0.02
  • the moving image generated in step S100 is a moving image of 10 seconds, for example.
  • the first image 1I-1 is the first image 1I set as the monitoring image at the time when the 10 seconds start.
  • the first image 1I-2 is the first image 1I set as a monitoring image 3 seconds after the start time.
  • the first image 1I-3 is the first image 1I set as a monitoring image 6 seconds after the start time.
  • the first image 1I is a part of the monitoring image and has a rectangular shape.
  • the shape of the first image 1I is not limited to a rectangular shape.
  • the value of each pixel constituting the first image 1I is a difference in standard deviation.
  • an image composed of pixels other than black pixels is a region image 1i.
  • the region image 1i-1 included in the first image 1I-1, the region image 1i-2 included in the first image 1I-2, and the region image 1i-3 included in the first image 1I-3 are moved. It is an image which shows the cloud to do.
  • the area image 1i moves with the passage of time. This indicates the movement of the clouds.
  • the processing unit 91 performs the first process of acquiring the first image 1I including the region image 1i indicating the region where the gas candidate appears, extracted from the predetermined region of the infrared image.
  • a first process is performed on each of a plurality of infrared images captured at a plurality of different times to obtain a plurality of first images 1I.
  • the processing unit 91 performs processing for extracting the region image 1i for each infrared image (step S100), and adds a predetermined region including the region image 1i to each infrared image subjected to this processing.
  • the predetermined area is acquired as the first image 1I (step S101).
  • the user may set a predetermined region in the infrared image in advance. The modification is applied when a location where gas is likely to appear is known in advance.
  • the display control unit 10 causes the display unit 11 to display a moving image (moving image of an infrared image) indicated by the moving image data MD.
  • the user operates the input unit 12 to set a predetermined region in the infrared image displayed on the display unit 11.
  • the processing unit 91 When the input unit 12 is operated and a predetermined region is set in the infrared image, the processing unit 91 does not perform the process of extracting the region image 1i with respect to the entire infrared image, but in the predetermined region. On the other hand, processing for extracting the region image 1i is performed. The processing unit 91 acquires the predetermined area on which this processing has been performed as the first image 1I.
  • the process of extracting the area image 1i since the process of extracting the area image 1i is performed on the predetermined area set in the infrared image, not the entire infrared image, the amount of image processing can be reduced.
  • the region image 1i may be an image showing a region where gas appears, or may be an image showing a moving cloud. In the case where the area image 1i is an image showing a moving cloud, the area image 1i is moving as viewed in time series.
  • the movement of the cloud hardly changes the shape of the cloud and is at a substantially constant speed. Therefore, in the case where the area image 1i is an image showing a moving cloud, the area image 1i moves at a substantially constant speed without changing its shape when viewed in a short period of time. Therefore, when the movement of the region image 1i is taken into consideration and the similarity between the two first images 1I is calculated, the similarity is relatively high.
  • the area image 1i is an image showing an area where gas appears
  • the gas leaks from the same location, and therefore the area image 1i often does not move when viewed in time series. Since the gas fluctuates irregularly, the similarity between the two first images 1I is low compared to the case where the region image 1i is an image showing a moving cloud.
  • the region image 1i is not an image showing a region where gas appears, but is likely to be an image showing a moving cloud. Therefore, there is a high possibility that the gas candidate is not a gas.
  • the area image 1i is moving.
  • the moving direction of the region image 1i is the same.
  • the identity means that the moving direction of the area image 1i is the same or almost the same.
  • the movement direction of the area image 1i in the period from 0 second (start time) to 3 seconds and the movement direction of the area image 1i in the period from 0 second to 6 seconds are the same or substantially the same. In this case, the moving direction of the region image 1i is the same.
  • the region image 1i is determined as an image indicating a moving cloud. This is the process of steps S102 to S106.
  • the description has been given by taking the moving cloud as an example, the same can be said for a subject that changes its shape and moves at a substantially constant speed. That is, when the conditions (1) to (3) are satisfied, the possibility that the area image 1i is an image showing the subject is considerably increased. In addition, the aspect which does not consider (3) is also possible.
  • the two first images 1I are combined from among the three first images 1I, and a plurality of sets for calculating similarity are preset. This may be set by the manufacturer of the gas detection image processing apparatus 3 or by the user. In the embodiment, a set composed of the first image 1I-1 and the first image 1I-3, and a pair composed of the first image 1I-1 and the first image 1I-2. , The similarity is calculated.
  • the determining unit 92 calculates a plurality of similarities by calculating the similarity between the two first images 1I-1 and 1I-3 while changing the positional relationship between the two first images 1I-1 and 1I-3.
  • the degree is acquired (step S102).
  • FIG. 17 is a schematic diagram showing the positional relationship between the region image 1i-1 and the region image 1i-3 when the position of the first image 1I-1 is the origin.
  • the determination unit 92 moves the first image 1I-1 within a predetermined range, and calculates the similarity between the first image 1I-1 and the first image 1I-3 at each coordinate including the origin. This is a pattern matching process.
  • the similarity is calculated for a portion where the first image 1I-1 and the first image 1I-3 overlap.
  • the predetermined range is ⁇ 20 pixels to +20 pixels in the x direction, and ⁇ 20 pixels to +20 pixels in the y direction.
  • the determination unit 92 calculates the degree of similarity using Equation 1.
  • Equation 1 shows the normalized cross correlation (NCC).
  • I (i, j) indicates the coordinates on the first image 1I-1.
  • T (i, j) indicates coordinates on the first image 1I-3.
  • i represents a coordinate value in the x direction.
  • j represents a coordinate value in the y direction.
  • M represents the number of pixels in the x direction of the first image 1I.
  • N indicates the number of pixels in the y direction of the first image 1I.
  • Normalized cross-correlation is a value in the range of -1 to +1. When there is no correlation between the first image 1I-1 and the first image 1I-3, the normalized cross-correlation is zero. As the positive correlation between the first image 1I-1 and the first image 1I-3 increases, the normalized cross-correlation approaches +1. As the negative correlation between the first image 1I-1 and the first image 1I-3 increases, the normalized cross-correlation approaches -1. As the normalized cross-correlation approaches +1, the similarity between the first image 1I-1 and the first image 1I-3 increases.
  • the determining unit 92 stores the calculated 1681 similarities in association with the coordinates. For example, when the position of the first image 1I-1 is the coordinate (18, -6), the similarity between the first image 1I-1 and the first image 1I-3 is 0.86. The determination unit 92 associates the coordinates (18, ⁇ 6) with 0.86 and stores them.
  • the determining unit 92 determines the maximum similarity among the calculated 1681 similarities (step S103).
  • the maximum similarity is 0.86.
  • This similarity is the determination similarity.
  • the determination similarity is a similarity used for determining whether or not a gas candidate is a gas, and is a similarity between two first images 1I calculated in consideration of the movement of the region image 1i. Among the calculated 1681 similarities, the higher similarity is the determination similarity.
  • the maximum similarity is set as the determination similarity, but the second highest similarity or the third highest similarity may be set as the determination similarity.
  • the determining unit 92 determines the coordinate having the maximum similarity (that is, the coordinate associated with the maximum similarity) as the position of the region image 1i after 6 seconds.
  • the coordinates (18, -6) are determined as the position of the area image 1i after 6 seconds.
  • the determination unit 92 determines that the area image 1i is not moved when the coordinate having the maximum similarity is the origin, and determines that the area image 1i is moved when the coordinate is different from the origin.
  • the determination unit 92 determines that the area image 1i is moving.
  • the determining unit 92 determines the direction from the origin to the coordinate (the coordinate having the maximum similarity) as the moving direction of the area image 1i (that is, the moving direction of the cloud) (step S104).
  • the direction from the origin to the coordinates (18, ⁇ 6) is determined as the moving direction of the area image 1i. Further, since it is determined that the area image 1i has moved from the origin to the coordinates (18, -6) in 6 seconds, the moving speed of the area image 1i is also determined.
  • the determination unit 92 determines the moving direction of the area image 1i based on the two first images 1I, and the two first images calculated based on the positional relationship of the determined moving directions.
  • the similarity of 1I is determined as the similarity for determination used for determining whether or not the gas candidate is a gas (steps S102 to S104).
  • the determination unit 92 moves the first image 1I-1 to a predetermined coordinate and calculates the similarity between the two first images 1I-1 and 1I-2 (step S105). Step S105 will be described in detail. At the position where the first image 1I-1 and the first image 1I-2 completely overlap, the center of the first image 1I-1 is the origin (0, 0).
  • FIG. 18 is a schematic diagram showing the positional relationship between the region image 1i-1 and the region image 1i-2 when the position of the first image 1I-1 is the origin.
  • the determining unit 92 moves the first image 1I-1 to the coordinates (9, -3), and calculates the similarity between the first image 1I-1 and the first image 1I-2. The similarity is calculated for a portion where the first image 1I-1 and the first image 1I-2 overlap. Here, the similarity is 0.89.
  • the reason for the coordinates (9, -3) is as follows.
  • the coordinates (18, -6) are the position of the area image 1i after 6 seconds. If the area image 1i is an image showing a moving cloud, the area image 1i moves in the same direction at a substantially constant speed. Therefore, the position of the area image 1i after 3 seconds can be regarded as (9, -3).
  • the determination unit 92 determines the similarity between the first image 1I-1 and the first image 1I-2 in consideration of the movement of the region image 1i. This similarity is a similarity for determination.
  • a set (first set) composed of the first image 1I-1 and the first image 1I-3, and the first image 1I-1 and the first image 1I-2.
  • the method of determining the similarity for determination is different for the configured group (remaining group).
  • the determination similarity between the first image 1I-1 and the first image 1I-2 is the same method as the determination similarity between the first image 1I-1 and the first image 1I-3. It is also possible to determine by.
  • the determination unit 92 performs the processing from step S102 to step 104 on the first image 1I-1 and the first image 1I-2.
  • the determining unit 93 determines whether or not the area image 1i is an image indicating a moving cloud (step S106). Step S106 will be described in detail. If the similarity for determination exceeds a predetermined threshold (for example, 0.80), it is assumed that the similarity for determination is relatively high.
  • a predetermined threshold for example 0.80
  • the determination similarity determined in step S103 (that is, the similarity between the first image 1I-1 and the first image 1I-3 at the coordinates (18, -6)) is 0.86.
  • the determination unit 93 determines that the similarity is relatively high.
  • step S105 The determination similarity determined in step S105 (that is, the similarity between the first image 1I-1 and the first image 1I-2 at the coordinates (9, -3)) is 0.89.
  • the determination unit 93 determines that the similarity is relatively high.
  • the coordinates at which the determination similarity determined in step S103 is obtained are coordinates (18, -6) instead of the origin.
  • the determination unit 93 determines that the area image 1i is moving.
  • the movement direction of the area image 1i in the period from 0 second (start time) to 6 seconds is the coordinate (18, -6) from the origin, and the movement direction of the area image 1i in the period from 0 second to 3 seconds.
  • the determination unit 93 determines that the moving directions of the area images 1i are the same.
  • the determination unit 93 determines that the region image 1i is not an image indicating a region where gas appears but an image indicating a moving cloud. As a result, the determination unit 93 determines that the gas candidate is not a gas (step S107). In other words, the determination unit 93 determines the gas candidate as noise.
  • the determination unit 93 determines whether the gas candidate is a gas based on the similarity for determination, whether the region image 1i is moving, and whether the moving direction of the region image 1i is the same. It is determined whether or not.
  • FIG. 19 is an explanatory diagram illustrating the first image 1I generated by the embodiment when gas is present.
  • Each first image 1I shown in FIG. 19 is the first image 1I acquired from each frame (each monitoring image) constituting a 10-second moving image, as in FIG.
  • the first image 1I-4 is the first image 1I set as the monitoring image at the time when the 10 seconds start.
  • the first image 1I-5 is the first image 1I set as the monitoring image 3 seconds after the start time.
  • the first image 1I-6 is the first image 1I set as the monitoring image 6 seconds after the start time.
  • the region image 1i-4 included in the first image 1I-4, the region image 1i-5 included in the first image 1I-5, and the region image 1i-6 included in the first image 1I-6 It is an image which shows the area
  • FIG. 20 is a schematic diagram showing the positional relationship between the region image 1i-4 and the region image 1i-6 when the position of the first image 1I-4 is the origin.
  • the determination unit 92 performs the processes of steps S102 to S104 for the first image 1I-4 and the first image 1I-6.
  • the maximum similarity is 0.74
  • the moving direction of the region image 1i is the direction from the origin to the coordinates ( ⁇ 6, 2).
  • the determination unit 92 performs the process of step S105 on the first image 1I-4 and the first image 1I-5.
  • FIG. 21 is a schematic diagram showing a positional relationship between the region image 1i-4 and the region image 1i-5 when the position of the first image 1I-4 is the origin.
  • the determination unit 92 moves the first image 1I-4 to the coordinates ( ⁇ 3, 1), and the similarity between the first image 1I-4 and the first image 1I-5 (similarity for determination) Degree).
  • the similarity is assumed to be 0.65.
  • the similarity for determination determined in step S103 (that is, the similarity between the first image 1I-4 and the first image 1I-6 at the coordinates ( ⁇ 6, 2)) is 0.74.
  • the determination unit 93 determines that the similarity is not relatively high.
  • the similarity for determination determined in step S105 (that is, the similarity between the first image 1I-4 and the first image 1I-5 at the coordinates (-3, 1)) is 0.65.
  • the determination unit 93 determines that the similarity is not relatively high.
  • the determination unit 93 determines that the region image 1i is not an image indicating a moving cloud but an image indicating a region where gas appears. As a result, the determination unit 93 determines that the gas candidate is a gas (step S107).
  • the similarity is calculated using Equation 1.
  • the calculation of the similarity is not limited to Equation 1.
  • Formula 2 may be used for calculating the similarity. Equation 2 shows zero-average normalized cross-correlation (ZNCC: Zero-mean Normalized Cross Correlation).
  • the process of step S105 is performed for the set consisting of:
  • a set composed of the first first image 1I and the third first image 1I, and the first first image 1I and the second one A set composed of the first image 1I is a target for calculating the similarity.
  • this combination is arbitrary.
  • a set composed of a first first image 1I and a second first image 1I, and a pair composed of a second first image 1I and a third first image 1I May be the target for calculating the similarity.
  • the number of combinations is not limited to two, and may be one or three.
  • first images 1I are used, but the number of the first images 1I is not limited to three, and may be two, or four or more. When there are four or more first images 1I, the number of combinations can be four or more.
  • the imaging time of the infrared image from which the first first image 1I is extracted is the start time, and the imaging time of the infrared image from which the second first image 1I is extracted is 3 seconds later.
  • the imaging time of the infrared image from which the third first image 1I is extracted is 6 seconds later.
  • the imaging time of the infrared image from which the second first image 1I is extracted is 4 seconds later, and the imaging time of the infrared image from which the third first image 1I is extracted is 8 seconds later. Good.
  • the gas detection image processing apparatus acquires a first image including a region image extracted from a predetermined region of an infrared image and indicating a region where a gas candidate appears.
  • the processing is performed for each of the plurality of infrared images captured at different times, and the processing unit that acquires the plurality of first images and the two first images are used as the basis.
  • a determination unit that determines a movement direction of the region image and determines the similarity between the two first images in consideration of the movement of the region image in the determined movement direction, and the determination unit determines
  • a determination unit that determines whether the gas candidate is a gas based on the similarity and whether the region image is moving.
  • the area image is generated when gas appears, as described above (when a camera that captures an infrared image is installed at an angle that includes the sky in the background and a moving cloud is captured) Also occurs.
  • the area image may be an image showing an area where gas appears or an image showing a moving cloud.
  • the area image is moving as viewed in time series.
  • the shape of the cloud hardly changes and the speed is almost constant when observed from the ground. Therefore, in the case where the area image is an image showing a moving cloud, the area image moves at a substantially constant speed without changing its shape when viewed in a short period of time. Therefore, when the movement of the region image is taken into consideration and the similarity between the two first images is calculated, the similarity is relatively high.
  • the cloud which does not move is image
  • the area image is an image showing an area where the leaked gas has appeared from a fixed place such as a pipe
  • the gas leaks from the same location. Often does not move. Since the gas fluctuates irregularly, the degree of similarity between the two first images is lower than in the case of an image in which the area image shows a moving cloud.
  • the region image is not an image showing the region where the gas appears, but is likely to be an image showing a moving cloud.
  • the gas candidate is not likely to be a gas.
  • the area image is moving.
  • the determination unit determines the movement direction of the region image based on the two first images, and considers the similarity between the two first images in consideration of the movement of the region image in the determined movement direction. decide.
  • the similarity thus determined is the determination similarity used for determining whether or not the gas candidate is a gas.
  • the determination unit acquires a plurality of similarities by calculating a similarity between the two first images while changing a positional relationship between the two first images, and obtains a plurality of similarities from the plurality of similarities.
  • the determination similarity is determined.
  • the high similarity is the determination similarity.
  • the determination unit determines the maximum similarity among the plurality of similarities as the determination similarity.
  • the second highest similarity or the third highest similarity may be determined as the determination similarity, not limited to the maximum similarity.
  • the determining unit calculates the similarity using, for example, normalized cross-correlation or zero average normalized cross-correlation.
  • the determination unit determines whether or not the gas candidate is a gas based on the determined similarity (that is, the determination similarity) and whether or not the region image is moving. For example, when the similarity for determination is relatively high and the region image is moving, the determination unit regards the region image as an image indicating a moving cloud and determines that the gas candidate is not a gas. For example, the determination unit determines that the determination similarity is relatively high when the determination similarity exceeds a predetermined threshold.
  • the gas detection image processing apparatus can improve gas detection accuracy.
  • the number of the plurality of first images may be two, or three or more.
  • the number of the first images is three or more, it is possible to determine the identity of the movement direction of the region images as will be described later.
  • the processing unit performs the first processing on each of three or more infrared images captured at three or more different times to obtain three or more first images, Whether the determination unit has the same moving direction of the region images in each set of a plurality of sets configured by combining the two first images from among the three or more first images. No is added to the condition for determining whether the gas candidate is a gas.
  • the movement direction of the region image is the same.
  • the identity means that the moving directions of the area images are the same or substantially the same. For example, if the movement direction of the area image in the period from 0 second to 3 seconds and the movement direction of the area image in the period from 0 second to 6 seconds are the same or substantially the same, the movement of the area image is performed. The directions are identical.
  • the determination unit determines that the gas candidate is not a gas when the similarity for determination is relatively high, the region images are moving, and the movement directions of the region images are the same.
  • the determination unit can further improve the gas detection accuracy by adding the identity of the movement direction of the region image to the condition for determining whether or not the gas candidate is a gas. Note that the determination unit determines that the determination similarity is relatively high, for example, when the determination similarity exceeds a predetermined threshold.
  • the determination unit adds each of the plurality of sets of similarities (similarity for determination) to a condition for determining whether or not the gas candidate is a gas.
  • the cloud in which the region image moves is compared with the case where the similarity for determination of any one or more of the plurality of sets is not relatively high. It is highly possible that the image is shown.
  • the determination unit is not a gas candidate. judge.
  • the determination unit can further improve the gas detection accuracy by adding the determination similarity of each of the plurality of sets to a condition for determining whether or not the gas candidate is a gas.
  • the determination unit divides the plurality of sets into a first set which is one set and a remaining set.
  • the remaining group may be one, or two or more.
  • the determining unit determines the moving direction of the region image in the first set based on the two first images constituting the first set, and the similarity calculated by the positional relationship of the determined moving direction (Similarity between two first images constituting the first group) is determined as the similarity for determination of the first group.
  • the determination unit determines the movement direction of the region image in the first group as the movement direction of the region image in the remaining group, and the similarity calculated based on the positional relationship of the determined movement direction (configures the remaining group)
  • the similarity between the two first images) is determined as the remaining set of similarity for determination.
  • the determination unit may determine the remaining sets of determination similarities in the same manner as the first set of determination similarities. For example, in the case of the second group, the determination unit determines the movement direction of the area image in the second group based on the two first images that constitute the second group, and the determined movement.
  • the similarity (similarity between the two first images constituting the second set) calculated by the positional positional relationship is determined as the determination similarity of the second set.
  • the processing unit performs an extraction process for extracting the region image from the infrared image, and sets the predetermined region including the region image in the extracted infrared image.
  • the predetermined area is acquired as the first image.
  • This configuration performs processing for extracting a region image (that is, an image showing a region where a gas candidate appears) for the entire infrared image.
  • the method of extracting the region image is not limited to this, and processing for extracting the region image may be performed on a part of the infrared image. This is shown below.
  • the image processing apparatus further includes an input unit, and the processing unit extracts the region image with respect to the predetermined region when the input unit is operated and the predetermined region is set in the infrared image.
  • the predetermined area subjected to the extraction process is acquired as the first image.
  • This configuration is applied when a location where gas is likely to appear is known in advance. According to this configuration, since the region image is extracted not with respect to the entire infrared image but with respect to a predetermined region set in the infrared image, the amount of image processing can be reduced.
  • the gas detection image processing method acquires a first image including a region image extracted from a predetermined region of an infrared image and indicating a region where a gas candidate appears.
  • the processing is performed for each of the plurality of infrared images captured at a plurality of different times to obtain a plurality of the first images, and based on the two first images, A determination step of determining a moving direction of the region image and determining a similarity between the two first images in consideration of the movement of the region image in the determined moving direction, and the determination step A determination step of determining whether the gas candidate is a gas based on the similarity and the region image being moved.
  • the image processing method for gas detection according to the second aspect of the embodiment defines the image processing apparatus for gas detection according to the first aspect of the embodiment from the viewpoint of the method, and the gas detection according to the first aspect of the embodiment. This has the same effect as the image processing apparatus for use.
  • the gas detection image processing program obtains a first image including a region image extracted from a predetermined region of an infrared image and indicating a region where a gas candidate appears.
  • the processing is performed for each of the plurality of infrared images captured at a plurality of different times to obtain a plurality of the first images, and based on the two first images, A determination step of determining a moving direction of the region image and determining a similarity between the two first images in consideration of the movement of the region image in the determined moving direction, and the determination step And a determination step of determining whether the gas candidate is a gas based on the similarity and the region image being moved.
  • the gas detection image processing program according to the third aspect of the embodiment defines the gas detection image processing apparatus according to the first aspect of the embodiment from the viewpoint of the program, and the gas detection according to the first aspect of the embodiment. This has the same effect as the image processing apparatus for use.
  • the present invention it is possible to provide a gas detection image processing apparatus, a gas detection image processing method, and a gas detection image processing program.

Abstract

ガス検知用画像処理装置は、処理部９１と、決定部９２と、判定部９３と、を備える。処理部９１は、赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す領域像１ｉを含む第１の画像１Ｉを取得する第１の処理を、異なる複数の時刻で撮像された複数の赤外画像のそれぞれに関して実行し、複数の第１の画像１Ｉを取得する。決定部９２は、２つの第１の画像１Ｉを基にして領域像１ｉの移動方向を決定するとともに、決定した移動方向へ領域像１ｉが移動することを考慮して、２つの第１の画像１Ｉの類似度を決定する。判定部９３は、決定部９２が決定した類似度、及び、領域像１ｉが移動しているか否かを基にして、ガス候補がガスか否かを判定する。

Description

ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
　本発明は、赤外画像を利用してガスを検知する技術に関する。
　ガス漏れが発生したとき、漏れたガスが漂っている領域では、わずかな温度変化が生じる。この原理を利用してガス検知する技術として、赤外画像を利用したガス検知が知られている。
　赤外画像を利用したガス検知として、例えば、特許文献１は、検査対象領域を撮影する赤外線カメラと、赤外線カメラにより撮影された赤外画像を処理する画像処理部と、を有し、画像処理部は、時系列に並べられた複数の赤外画像からガス漏れによる動的なゆらぎを抽出するゆらぎ抽出部を有するガス漏れ検出装置を開示している。
　本発明者は、赤外画像を撮像するカメラが、背景に空が含まれる角度で設置されている場合、移動する雲がガスとして検知される可能性があることを見出した。
特開２０１２－５８０９３号公報
　本発明は、ガスの検知精度を向上させることができるガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラムを提供することを目的とする。
　上記目的を達成する本発明の第１の局面に係るガス検知用画像処理装置は、処理部と、決定部と、判定部と、を備える。前記処理部は、赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す領域像を含む第１の画像を取得する第１の処理を、異なる複数の時刻で撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第１の画像を取得する。前記決定部は、２つの前記第１の画像を基にして前記領域像の移動方向を決定するとともに、決定した前記移動方向へ前記領域像が移動することを考慮して、２つの前記第１の画像の類似度を決定する。前記判定部は、前記決定部が決定した前記類似度、及び、前記領域像が移動しているか否かを基にして、前記ガス候補がガスか否かを判定する。
　発明の１又は複数の実施形態により与えられる利点及び特徴は以下に与えられる詳細な説明及び添付図面から十分に理解される。これら詳細な説明及び添付図面は、例としてのみ与えられるものであり本発明の限定の定義として意図されるものではない。
実施形態に係るガス検知システムの構成を示すブロック図である。 図１Ａに示すガス検知用画像処理装置のハードウェア構成を示すブロック図である。 時系列画素データＤ１を説明する説明図である。 ガス漏れと背景の温度変化とが並行して発生している状態で、屋外の試験場所を撮影した赤外画像を時系列で示す画像図である。 試験場所の地点ＳＰ１の温度変化を示すグラフである。 試験場所の地点ＳＰ２の温度変化を示すグラフである。 監視画像の生成処理を説明するフローチャートである。 地点ＳＰ１（図３）に対応する画素の時系列画素データＤ１、時系列画素データＤ１から抽出された低周波数成分データＤ２、時系列画素データＤ１から抽出された高周波数成分データＤ３を示すグラフである。 差分データＤ４を示すグラフである。 差分データＤ５を示すグラフである。 標準偏差データＤ６及び標準偏差データＤ７を示すグラフである。 差分データＤ８を示すグラフである。 時刻Ｔ１のフレームを基にして生成された、画像Ｉ１０、画像Ｉ１１及び画像Ｉ１２を示す画像図である。 時刻Ｔ２のフレームを基にして生成された、画像Ｉ１３、画像Ｉ１４及び画像Ｉ１５を示す画像図である。 雲が存在している状態の空が写された赤外画像を示す画像図である。 地点ＳＰ３の温度変化を示すグラフである。 地点ＳＰ３の温度変化を示す時系列画素データＤ１を基にして生成された差分データＤ８を示すグラフである。 実施形態で実行される処理のフローチャートである。 赤外線カメラが、背景に空が含まれる角度で設置されており、移動する雲が撮像された場合に、実施形態によって生成された第１の画像１Ｉを説明する説明図である。 第１の画像１Ｉ－１の位置が原点のとき、領域像１ｉ－１と領域像１ｉ－３との位置関係を示す模式図である。 第１の画像１Ｉ－１の位置が原点のとき、領域像１ｉ－１と領域像１ｉ－２との位置関係を示す模式図である。 ガスが出現している場合に、実施形態によって生成された第１の画像１Ｉを説明する説明図である。 第１の画像１Ｉ－４の位置が原点のとき、領域像１ｉ－４と領域像１ｉ－６との位置関係を示す模式図である。 第１の画像１Ｉ－４の位置が原点のとき、領域像１ｉ－４と領域像１ｉ－５との位置関係を示す模式図である。
　以下、図面を参照して、本発明の１又は複数の実施形態が説明される。しかし、発明の範囲は、開示された実施形態に限定されない。
　各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し（例えば、第１の画像１Ｉ）、個別の構成を指す場合には添え字を付した参照符号で示す（例えば、第１の画像１Ｉ－１）。
　図１Ａは、実施形態に係るガス検知システム１の構成を示すブロック図である。ガス検知システム１は、赤外線カメラ２とガス検知用画像処理装置３とを備える。
　赤外線カメラ２は、ガス漏れの監視対象（例えば、ガス輸送管どうしが接続されている箇所）を含む被写体について、赤外画像の動画を撮影し、動画を示す動画データＭＤを生成する。時系列に撮像された複数の赤外画像であればよく、動画に限定されない。赤外線カメラ２は、光学系４、フィルター５、二次元イメージセンサー６及び信号処理部７を備える。
　光学系４は、被写体の赤外画像を二次元イメージセンサー６上で結像させる。フィルター５は、光学系４と二次元イメージセンサー６との間に配置され、光学系４を通過した光のうち、特定波長の赤外線のみを通過させる。赤外の波長帯のうち、フィルター５を通過させる波長帯は、検知するガスの種類に依存する。例えばメタンの場合、３．２～３．４μｍの波長帯を通過させるフィルター５が用いられる。二次元イメージセンサー６は、例えば、冷却型インジウムアンチモン（ＩｎＳｂ）イメージセンサーであり、フィルター５を通過した赤外線を受光する。信号処理部７は、二次元イメージセンサー６から出力されたアナログ信号を、デジタル信号に変換し、公知の画像処理をする。このデジタル信号が、動画データＭＤとなる。
　ガス検知用画像処理装置３は、パーソナルコンピュータ、スマートフォン、タブレット端末等であり、機能ブロックとして、画像データ入力部８、画像処理部９、表示制御部１０、表示部１１及び入力部１２を備える。
　画像データ入力部８は、赤外線カメラ２の通信部（不図示）と通信する通信インターフェイスである。画像データ入力部８には、赤外線カメラ２の通信部から送られてきた動画データＭＤが入力される。画像データ入力部８は、動画データＭＤを画像処理部９へ送る。
　画像処理部９は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及び、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等によって実現され、動画データＭＤに所定の処理をする。所定の処理とは、例えば、動画データＭＤから時系列画素データを生成する処理である。
　時系列画素データを具体的に説明する。図２は、時系列画素データＤ１を説明する説明図である。動画データＭＤで示される動画は、フレームが時系列に複数並べられた構造を有する。複数のフレーム（複数の赤外画像）において、同じ位置にある画素の画素データを時系列に並べたデータを、時系列画素データＤ１とする。赤外画像の動画のフレーム数をＫとする。一つのフレームがＭ個の画素、すなわち、１番目の画素、２番目の画素、・・・、Ｍ－１番目の画素、Ｍ番目の画素で構成されている。画素データ（画素値）を基にして、輝度、温度等の物理量が定められる。
　複数（Ｋ個）のフレームの同じ位置にある画素とは、同じ順番の画素を意味する。例えば、１番目の画素で説明すると、１番目のフレームに含まれる１番目の画素の画素データ、２番目のフレームに含まれる１番目の画素の画素データ、・・・、Ｋ－１番目のフレームに含まれる１番目の画素の画素データ、Ｋ番目のフレームに含まれる１番目の画素の画素データを、時系列に並べたデータが、１番目の画素の時系列画素データＤ１となる。また、Ｍ番目の画素で説明すると、１番目のフレームに含まれるＭ番目の画素の画素データ、２番目のフレームに含まれるＭ番目の画素の画素データ、・・・、Ｋ－１番目のフレームに含まれるＭ番目の画素の画素データ、Ｋ番目のフレームに含まれるＭ番目の画素の画素データを、時系列に並べたデータが、Ｍ番目の画素の時系列画素データＤ１となる。時系列画素データＤ１の数は、一つのフレームを構成する画素の数と同じである。
　図１Ａを参照して、画像処理部９は、処理部９１、決定部９２及び判定部９３を備える。これらについては、後で説明する。
　表示制御部１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ及びＨＤＤ等によって実現され、動画データＭＤで示される画像等を、表示部１１に表示させる。表示部１１は、例えば、液晶ディスプレイにより実現される。
　入力部１２は、キーボード、タッチパネル等により実現され、ガス検知に関連する各種入力がされる。実施形態に係るガス検知用画像処理装置３は、表示制御部１０、表示部１１及び入力部１２を備えるが、これらを備えないガス検知用画像処理装置３でもよい。
　図１Ｂは、図１Ａに示すガス検知用画像処理装置３のハードウェア構成を示すブロック図である。ガス検知用画像処理装置３は、ＣＰＵ３ａ、ＲＡＭ３ｂ、ＲＯＭ３ｃ、ＨＤＤ３ｄ、液晶ディスプレイ３ｅ、通信インターフェイス３ｆ、キーボード等３ｇ、及び、これらを接続するバス３ｈを備える。液晶ディスプレイ３ｅは、表示部１１を実現するハードウェアである。液晶ディスプレイ３ｅの替わりに、有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ　ｄｉｓｐｌａｙ）、プラズマディスプレイ等でもよい。通信インターフェイス３ｆは、画像データ入力部８を実現するハードウェアである。キーボード等３ｇは、入力部１２を実現するハードウェアである。
　ＨＤＤ３ｄには、画像処理部９及び表示制御部１０について、これらの機能ブロックをそれぞれ実現するためのプログラムが格納されている。画像処理部９を実現するプログラムは、動画データＭＤを取得し、動画データＭＤに上記所定の処理をする処理プログラムである。表示制御部１０を実現するプログラムは、画像（例えば、動画データＭＤで示される動画）を表示部１１に表示させる表示制御プログラムである。これらのプログラムは、ＨＤＤ３ｄの替わりにＲＯＭ３ｃに格納しても良い。
　ＣＰＵ３ａは、処理プログラム及び表示制御プログラムを、ＨＤＤ３ｄから読み出してＲＡＭ３ｂに展開させ、展開されたプログラムを実行することによって、これらの機能ブロックが実現される。処理プログラム及び表示制御プログラムは、ＨＤＤ３ｄに予め記憶されているが、これに限定されない。例えば、これらのプログラムを記録している記録媒体（例えば、磁気ディスク、光学ディスクのような外部記録媒体）が用意されており、この記録媒体に記憶されているプログラムがＨＤＤ３ｄに記憶されてもよい。また、これらのプログラムは、ガス検知用画像処理装置３とネットワーク接続されたサーバに格納されており、ネットワークを介して、これらのプログラムがＨＤＤ３ｄに送られ、ＨＤＤ３ｄに記憶されても良い。
　なお、ガス検知用画像処理装置３は、複数の要素によって構成される。従って、ＨＤＤ３ｄには、これらの要素を実現するためのプログラムが格納されている。例えば、ガス検知用画像処理装置３は、要素として、処理部９１、決定部９２及び判定部９３を含む。ＨＤＤ３ｄには、処理部９１、決定部９２、判定部９３のそれぞれを実現するためのプログラムが格納されている。これらのプログラムは、処理プログラム、決定プログラム、判定プログラムと表現される。
　処理プログラムを記憶しているＨＤＤと、決定プログラムを記憶しているＨＤＤと、判定プログラムを記憶しているＨＤＤと、が互いに異なっていてもよい。この場合、処理プログラムを記憶しているＨＤＤを有するサーバと、決定プログラムを記憶しているＨＤＤを有するサーバと、判定プログラムを記憶しているＨＤＤを有するサーバとが、ネットワーク（例えば、インターネット）を介して接続されていてもよい。又は、少なくとも一つのＨＤＤが、ＵＳＢポートなどに接続された外付けＨＤＤでもよいし、ネットワーク対応のＨＤＤ（ＮＡＳ：Ｎｅｔｗｏｒｋ　Ａｔｔａｃｈｅｄ　Ｓｔｏｒａｇｅ）でもよい。これらのプログラムの少なくとも二以上を同じＨＤＤに記憶させ、残りのプログラムを、このＨＤＤと異なるＨＤＤに記憶させてもよい（例えば、処理プログラム及び決定プログラムを第１のＨＤＤに記憶させ、判定プログラムを第２のＨＤＤに記憶させる）。
　これらのプログラムは、要素の定義を用いて表現される。処理部及び処理プログラムを例にして説明する。処理部は、赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す領域像を含む第１の画像を取得する第１の処理を、異なる複数の時刻で撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第１の画像を取得する。第１の処理プログラムは、赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す領域像を含む第１の画像を取得する第１の処理を、異なる複数の時刻で撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第１の画像を取得するプログラムである。
　ＣＰＵ３ａによって実行されるこれらのプログラム（処理プログラム、決定プログラム、判定プログラム）のフローチャートが、後で説明する図１５である。
　本発明者は、赤外画像を利用したガス検知において、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合、背景の温度変化を考慮しなければ、ガスが漏れている様子を画像で表示できないことを見出した。これについて詳しく説明する。
　図３は、ガス漏れと背景の温度変化とが並行して発生している状態で、屋外の試験場所を撮影した赤外画像を時系列で示す画像図である。これらは、赤外線カメラで動画を撮影して得られた赤外画像である。試験場所には、ガスを噴出させることができる地点ＳＰ１がある。地点ＳＰ１と比較するために、ガスが噴出しない地点ＳＰ２を示している。
　画像Ｉ１は、太陽光が雲で遮られる直前の時刻Ｔ１に撮影された試験場所の赤外画像である。画像Ｉ２は、時刻Ｔ１から５秒後の時刻Ｔ２に撮影された試験場所の赤外画像である。時刻Ｔ２は、太陽光が雲で遮られているので、時刻Ｔ１と比べて背景の温度が下がっている。
　画像Ｉ３は、時刻Ｔ１から１０秒後の時刻Ｔ３に撮影された試験場所の赤外画像である。時刻Ｔ２から時刻Ｔ３まで、太陽光が雲で遮られた状態が継続されているので、時刻Ｔ３は、時刻Ｔ２と比べて背景の温度が下がっている。
　画像Ｉ４は、時刻Ｔ１から１５秒後の時刻Ｔ４に撮影された試験場所の赤外画像である。時刻Ｔ３から時刻Ｔ４まで、太陽光が雲で遮られた状態が継続されているので、時刻Ｔ４は、時刻Ｔ３と比べて背景の温度が下がっている。
　時刻Ｔ１から時刻Ｔ４までの１５秒間で、背景の温度が約４℃下がっている。このため、画像Ｉ４は、画像Ｉ１と比べて全体的に暗くなっており、背景の温度が低下していることが分かる。
　時刻Ｔ１後かつ時刻Ｔ２前の時刻に、地点ＳＰ１において、ガスの噴出を開始させている。噴出されたガスによる温度変化は、わずかである（約０．５℃）。このため、時刻Ｔ２、時刻Ｔ３、時刻Ｔ４では、地点ＳＰ１でガスが噴出しているが、噴出されたガスによる温度変化よりも、背景の温度変化の方がはるかに大きいので、画像Ｉ２、画像Ｉ３、画像Ｉ４を見ても地点ＳＰ１からガスが出ている様子が分からない。
　図４Ａは、試験場所の地点ＳＰ１の温度変化を示すグラフであり、図４Ｂは、試験場所の地点ＳＰ２の温度変化を示すグラフである。これらのグラフの縦軸は、温度を示している。これらのグラフの横軸は、フレームの順番を示している。例えば、４５とは、４５番目のフレームを意味する。フレームレートは、３０ｆｐｓである。よって、１番目のフレームから４５０番目のフレームまでの時間は、１５秒となる。
　地点ＳＰ１の温度変化を示すグラフと地点ＳＰ２の温度変化を示すグラフとは異なる。地点ＳＰ２ではガスが噴出していないので、地点ＳＰ２の温度変化は、背景の温度変化を示している。これに対して、地点ＳＰ１では、ガスが噴出しているので、地点ＳＰ１には、ガスが漂っている。このため、地点ＳＰ１の温度変化は、背景の温度変化と漏れたガスによる温度変化とを加算した温度変化を示している。
　図４Ａに示すグラフからは、地点ＳＰ１でガスが噴出していることが分かる（すなわち、地点ＳＰ１でガス漏れが発生していることが分かる）。しかし、上述したように、図３に示す画像Ｉ２、画像Ｉ３、画像Ｉ４からは、地点ＳＰ１でガスが噴出していることが分からない（すなわち、地点ＳＰ１でガス漏れが発生していることが分からない）。
　このように、噴出されたガス（漏れたガス）による温度変化よりも、背景の温度変化の方がはるかに大きい場合、図３に示す画像Ｉ２、画像Ｉ３、画像Ｉ４を見ても地点ＳＰ１からガスが出ている様子が分からない。
　この原因は、動画データＭＤ（図１Ａ）には、漏れたガスによる温度変化を示す周波数成分データに加えて、この周波数成分データよりも周波数が低く、背景温度の変化を示す低周波成分データＤ２が含まれるからである。低周波成分データＤ２で示される像（背景の明暗の変化）により、前記周波数成分データで示される像が見えなくなるのである。図４Ａ及び図４Ｂを参照して、地点ＳＰ１の温度変化を示すグラフに含まれる細かい変化が、前記周波数成分データに対応する。地点ＳＰ２の温度変化を示すグラフが低周波成分データＤ２に対応する。
　そこで、画像処理部９（図１Ａ）は、画素の位置がそれぞれ異なる複数の時系列画素データＤ１（すなわち、動画データＭＤを構成する複数の時系列画素データＤ１）を、動画データＭＤから生成し、複数の時系列画素データＤ１のそれぞれに対して、低周波成分データＤ２を除く処理をする。画素の位置がそれぞれ異なる複数の時系列画素データとは、図２を参照して、１番目画素の時系列画素データＤ１、２番目画素の時系列画素データＤ１、・・・、Ｍ－１番目画素の時系列画素データＤ１、Ｍ番目画素の時系列画素データＤ１を意味する。
　漏れたガスによる温度変化を示す周波数成分データの周波数よりも周波数が高く、高周波ノイズを示す周波数成分データを、高周波成分データＤ３とする。画像処理部９は、動画データＭＤを構成する複数の時系列画素データＤ１のそれぞれに対して、低周波成分データＤ２を除く処理に加えて、高周波成分データＤ３を除く処理をする。
　このように、画像処理部９は、フレームの単位で低周波成分データＤ２及び高周波成分データＤ３を除く処理をするのではなく、時系列画素データＤ１の単位で低周波成分データＤ２及び高周波成分データＤ３を除く処理をする。
　ガス検知用画像処理装置３は、赤外画像を利用して、監視画像を生成する。ガス漏れが発生している場合、監視画像には、ガス漏れによりガスが出現している領域を示す像が含まれる。ガス検知用画像処理装置３は、監視画像を基にしてガス漏れを検知する。監視画像の生成方法として、様々な方法があるが、ここでは、監視画像の生成方法の一例を説明する。監視画像は、監視対象及び背景の赤外画像を利用して生成される。図５は、監視画像の生成処理を説明するフローチャートである。
　図１Ａ、図２及び図５を参照して、画像処理部９は、動画データＭＤからＭ個の時系列画素データＤ１を生成する（ステップＳ１）。
　画像処理部９は、時系列画素データＤ１に対して、Ｋ個のフレームより少ない第１の所定数のフレームを単位とする単純移動平均を算出することにより時系列画素データＤ１から抽出されたデータを、低周波成分データＤ２とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の低周波成分データＤ２を抽出する（ステップＳ２）。
　第１の所定数のフレームは、例えば、２１フレームである。内訳は、ターゲットとなるフレーム、これより前の連続する１０フレーム、これより後の連続する１０フレームである。第１の所定数は、時系列画素データＤ１から低周波成分データＤ２を抽出できる数であればよく、２１に限らず、２１より多くてもよいし、２１より少なくてもよい。
　画像処理部９は、時系列画素データＤ１に対して、第１の所定数（例えば、２１）より少ない第３の所定数（例えば、３）のフレームを単位とする単純移動平均を算出することにより時系列画素データＤ１から抽出されたデータを、高周波成分データＤ３とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の高周波成分データＤ３を抽出する（ステップＳ３）。
　図６は、地点ＳＰ１（図４Ａ）に対応する画素の時系列画素データＤ１、時系列画素データＤ１から抽出された低周波成分データＤ２、時系列画素データＤ１から抽出された高周波成分データＤ３を示すグラフである。グラフの縦軸及び横軸は、図４Ａのグラフの縦軸及び横軸と同じである。時系列画素データＤ１で示される温度は、比較的急に変化し（変化の周期が比較的短く）、低周波成分データＤ２で示される温度は、比較的緩やかに変化している（変化の周期が比較的長い）。高周波成分データＤ３は、時系列画素データＤ１とほぼ重なって見える。
　第３の所定数のフレームは、例えば、３フレームである。内訳は、ターゲットとなるフレーム、この直前の１フレーム、この直後の１フレームである。第３の所定数は、時系列画素データから第３の周波数成分を抽出できる数であればよく、３に限定されず、３より多くてもよい。
　図１Ａ、図２及び図５を参照して、画像処理部９は、時系列画素データＤ１とこの時系列画素データＤ１から抽出された低周波成分データＤ２との差分を算出して得られるデータを、差分データＤ４とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の差分データＤ４を算出する（ステップＳ４）。
　画像処理部９は、時系列画素データＤ１とこの時系列画素データＤ１から抽出された高周波成分データＤ３との差分を算出して得られるデータを、差分データＤ５とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の差分データＤ５を算出する（ステップＳ５）。
　図７Ａは、差分データＤ４を示すグラフであり、図７Ｂは、差分データＤ５を示すグラフである。これらのグラフの縦軸及び横軸は、図４Ａのグラフの縦軸及び横軸と同じである。差分データＤ４は、図６に示す時系列画素データＤ１と低周波成分データＤ２との差分を算出して得られたデータである。図４Ａに示す地点ＳＰ１でガスの噴出を開始する前において（９０番目くらいまでのフレーム）、差分データＤ４で示される微小な振幅の繰り返しは、主に、二次元イメージセンサー６のセンサーノイズを示している。地点ＳＰ１でガスの噴出を開始した後において（９０番目以降のフレーム）、差分データＤ４の振幅及び波形のばらつきが大きくなっている。
　差分データＤ５は、図６に示す時系列画素データＤ１と高周波成分データＤ３との差分を算出して得られたデータである。
　差分データＤ４は、漏れたガスによる温度変化を示す周波数成分データ及び高周波成分データＤ３（高周波ノイズを示すデータ）を含む。差分データＤ５は、漏れたガスによる温度変化を示す周波数成分データを含まず、高周波成分データＤ３を含む。
　差分データＤ４は、漏れたガスによる温度変化を示す周波数成分データを含むので、地点ＳＰ１でガスの噴出を開始した後において（９０番目以降のフレーム）、差分データＤ４の振幅及び波形のばらつきが大きくなっている。これに対して、差分データＤ５は、漏れたガスによる温度変化を示す周波数成分データを含まないので、そのようなことはない。差分データＤ５は、微小な振幅を繰り返している。これが高周波ノイズである。
　差分データＤ４と差分データＤ５とは、相関しているが、完全に相関していない。すなわち、あるフレームにおいて、差分データＤ４の値がプラス、差分データＤ５の値がマイナスとなり、又は、その逆となる場合がある。このため、差分データＤ４と差分データＤ５との差分を算出しても、高周波成分データＤ３を除去できない。高周波成分データＤ３を除去するには、差分データＤ４及び差分データＤ５を引き算できる絶対値のような値に変換する必要がある。
　そこで、画像処理部９は、差分データＤ４に対して、Ｋ個のフレームより少ない第２の所定数のフレームを単位とする移動標準偏差を算出して得られるデータを、標準偏差データＤ６とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の標準偏差データＤ６を算出する（ステップＳ６）。なお、移動標準偏差の替わりに、移動分散を算出してもよい。
　また、画像処理部９は、差分データＤ５に対して、Ｋ個のフレームより少ない第４の所定数（例えば、２１）のフレームを単位とする移動標準偏差を算出して得られるデータを、標準偏差データＤ７とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の標準偏差データＤ７を算出する（ステップＳ７）。移動標準偏差の替わりに、移動分散を用いてもよい。
　図８は、標準偏差データＤ６及び標準偏差データＤ７を示すグラフである。グラフの横軸は、図４Ａのグラフの横軸と同じである。グラフの縦軸は、標準偏差を示している。標準偏差データＤ６は、図７Ａに示す差分データＤ４の移動標準偏差を示すデータである。標準偏差データＤ７は、図７Ｂに示す差分データＤ５の移動標準偏差を示すデータである。移動標準偏差の算出に用いるフレーム数は、標準偏差データＤ６及び標準偏差データＤ７のいずれの場合も、２１であるが、統計的に意義がある標準偏差が求められる数であればよく、２１に限定されない。
　標準偏差データＤ６及び標準偏差データＤ７は、標準偏差なので、マイナスの値を含まない。このため、標準偏差データＤ６及び標準偏差データＤ７は、差分データＤ４及差分データＤ５を引き算できるように変換したデータと見なすことができる。
　画像処理部９は、同じ時系列画素データＤ１から得られた標準偏差データＤ６と標準偏差データＤ７との差分を算出して得られるデータを、差分データＤ８とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の差分データＤ８を算出する（ステップＳ８）。
　図９は、差分データＤ８を示すグラフである。グラフの横軸は、図４Ａのグラフの横軸と同じである。グラフの縦軸は、標準偏差の差分である。差分データＤ８は、図８に示す標準偏差データＤ６と標準偏差データＤ７との差分を示すデータである。差分データＤ８は、低周波成分データＤ２及び高周波成分データＤ３を除く処理がされたデータである。
　画像処理部９は、監視画像を生成する（ステップＳ９）。すなわち、画像処理部９は、ステップＳ８で得られたＭ個の差分データＤ８で構成される動画を生成する。この動画を構成する各フレームが監視画像である。監視画像は、標準偏差の差分を可視化した画像である。画像処理部９は、ステップＳ９で得られた動画を表示制御部１０に出力する。表示制御部１０は、この動画を表示部１１に表示させる。この動画に含まれる監視画像として、例えば、図１０に示す画像Ｉ１２及び図１１に示す画像Ｉ１５がある。
　図１０は、時刻Ｔ１のフレームを基にして生成された、画像Ｉ１０、画像Ｉ１１及び画像Ｉ１２を示す画像図である。画像Ｉ１０は、図５のステップＳ６で得られたＭ個の標準偏差データＤ６で示される動画において、時刻Ｔ１のフレームの画像である。画像Ｉ１１は、図５のステップＳ７で得られたＭ個の標準偏差データＤ７で示される動画において、時刻Ｔ１のフレームの画像である。画像Ｉ１０と画像Ｉ１１との差分が、画像Ｉ１２（監視画像）となる。
　図１１は、時刻Ｔ２のフレームを基にして生成された、画像Ｉ１３、画像Ｉ１４及び画像Ｉ１５を示す画像図である。画像Ｉ１３は、ステップＳ６で得られたＭ個の標準偏差データＤ６で示される動画において、時刻Ｔ２のフレームの画像である。画像Ｉ１４は、ステップＳ７で得られたＭ個の標準偏差データＤ７で示される動画において、時刻Ｔ２のフレームの画像である。画像Ｉ１３と画像Ｉ１４との差分が、画像Ｉ１５（監視画像）となる。図１０及び図１１に示す画像Ｉ１０～画像Ｉ１５のいずれも、いずれも標準偏差を５０００倍にした画像である。
　図１０に示す画像Ｉ１２は、図４Ａに示す地点ＳＰ１からガスが噴出される前に撮影された画像なので、画像Ｉ１２には、地点ＳＰ１からガスが出ている様子が現れていない。これに対して、図１１に示す画像Ｉ１５は、地点ＳＰ１からガスが噴出されている時刻で撮影された画像なので、画像Ｉ１５には、地点ＳＰ１からガスが出ている様子が現れている。
　以上説明したように、実施形態によれば、画像処理部９（図１Ａ）が、赤外画像の動画データＭＤに含まれる低周波成分データＤ２を除く処理をして、動画データを生成し、表示制御部１０が、この動画データで示される動画（監視画像の動画）を表示部１１に表示させる。従って、実施形態によれば、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合でも、ガスが漏れている様子を監視画像の動画で表示できる。
　センサーノイズは、温度が高くになるに従って小さくなるので、温度に応じて異なる。二次元イメージセンサー６（図１Ａ）において、画素が感知している温度に応じたノイズが、各画素で発生する。すなわち、全ての画素のノイズが同じではない。実施形態によれば、動画から高周波ノイズを除くことができるので、僅かなガス漏れでも表示部１１に表示させることができる。
　次に、赤外線カメラ２で撮像される動画に移動する雲の像が含まれることが原因で発生するガスの誤検知について説明する。赤外線カメラ２は、背景に空が含まれる角度で設置されていることがある。このような場合、動画に移動する雲の像が写ることがある。図１２は、雲が存在している状態の空が写された赤外画像１００を示す画像図である。雲と空との温度差は小さいので、雲の像と空の像との差が明確に現れていない。赤外画像１００の中央付近に雲の像があり、この像以外が空の像である。一つの地点ＳＰ３は、赤外画像１００の一つの画素と対応する。
　図１３は、地点ＳＰ３の温度変化を示すグラフである。グラフの横軸及び縦軸は、図４Ａのグラフの横軸及び縦軸と同じである。フレームレートは、３０ｆｐｓなので、１０秒間の温度変化のグラフが示されている。地点ＳＰ３に雲が位置している状態から、雲が移動し、地点ＳＰ３に雲が位置していない状態に変化している。地点ＳＰ３での変化の期間は、おおよそ１００番目～１５０番目のフレームの期間である。この期間の温度変化は、この期間の前後の期間と比べて、温度変化が大きい。
　図１４は、地点ＳＰ３の温度変化を示す時系列画素データＤ１を基にして生成された差分データＤ８を示すグラフである。グラフの横軸は、図４Ａのグラフの横軸と同じである。グラフの縦軸は、標準偏差の差分を示している。この差分データＤ８は、地点ＳＰ３の温度変化を示す時系列画素データＤ１に対して、図５に示すステップＳ２～ステップＳ８の処理がされて生成される。おおよそ１００番目～１５０番目のフレームの期間において、差分データＤ８が大きくなっている。この期間は、地点ＳＰ３に雲が位置している状態から雲が位置しない状態に変化する期間である。
　図９を参照して、ガスが出ている期間の差分データＤ８は、ガスが出ていない期間の差分データＤ８と比べて大きい。図１４に示す差分データＤ８は、おおよそ１００番目～１５０番目のフレームの期間において、ガスが出ている期間の差分データＤ８と同様に大きい。従って、図１４に示す差分データＤ８が得られた場合、ガス検知用画像処理装置３は、ガスと誤検知する可能性がある。なお、雲が移動しない場合、図１３で説明した温度変化は発生しないので、誤検知は発生しない。
　実施形態は、この誤検知を防止できるようにしている。図１５は、実施形態で実行される処理のフローチャートである。
　図１Ａ及び図１５を参照して、処理部９１は、動画データＭＤを基にして、監視画像の動画を生成する（ステップＳ１００）。詳しく説明すると、処理部９１は、動画データＭＤに対して、図５に示すステップＳ１～ステップＳ９の処理をする。これにより、動画を構成する各フレームは、赤外画像から監視画像となり、監視画像の動画が生成される。監視画像は、例えば、図１０に示す画像Ｉ１２、図１１に示す画像Ｉ１５である。ガス候補が出現していれば、ガス候補が出現している領域を示す領域像が、監視画像に含まれる。ガスが出現している領域を示す像が、領域像になることもあるし、上述した移動する雲を示す像が、領域像になることもある。画像Ｉ１５は、ガス噴出の開始から２秒後の画像である。画像Ｉ１５の中央付近に位置する白領域が領域像である。ここでは、領域像は、ガスが出現している領域を示す像である。
　実施形態では、ステップＳ１～ステップＳ９の処理で領域像を得ているが、赤外画像に対する画像処理によって、領域像を得る公知の技術（例えば、特許文献１に開示された画像処理）を用いて領域像を得ても良い。
　以上説明したように、ステップＳ１００の処理は、赤外画像に対して、領域像を抽出する処理である。領域像を抽出する処理がされた赤外画像が、監視画像である。
　ステップＳ１００で生成された動画を構成する各フレーム（各監視画像）に、領域像が含まれているとする。処理部９１は、領域像を含む所定領域を各監視画像に設定し、所定領域を第１の画像として取得する（ステップＳ１０１）。すなわち、処理部９１は、領域像を抽出する処理がされた各赤外画像に、領域像を含む所定領域を設定し、所定領域を第１の画像として取得する。
　図１６は、赤外線カメラ２が、背景に空が含まれる角度で設置されており、移動する雲が撮像された場合に、実施形態によって生成された第１の画像１Ｉを説明する説明図である。図１６は、監視画像から切り出された第１の画像１Ｉが示されている。処理部９１が、監視画像から第１の画像１Ｉを自動で切り出してもよいし、ユーザーが、ガス検知システム１を実際に動作させ、ガスと誤認識する反射が発生する領域を確認し、マニュアルで切り出してもよい。後者の場合、ユーザーが、第１の画像１Ｉに第１の領域像１ｉが含まれるように、第１の画像１Ｉのサイズを決定する。この決定されたサイズが、第１の処理部９１に予め記憶されている。前者の場合、処理部９１が、例えば、図１０及び図１１に示す監視画像を２値化した後（すなわち、例えば、図９に示す差分データＤ８及び図１４に示す差分データＤ８を所定のしきい値（例えば、０．０２）で２値化した後）、ラベリング処理をして、自動で切り出す。
　ステップＳ１００で生成された動画が、例えば、１０秒間の動画とする。第１の画像１Ｉ－１は、その１０秒間が開始する時刻の監視画像に設定された第１の画像１Ｉである。第１の画像１Ｉ－２は、開始時刻から３秒後の監視画像に設定された第１の画像１Ｉである。第１の画像１Ｉ－３は、開始時刻から６秒後の監視画像に設定された第１の画像１Ｉである。
　第１の画像１Ｉは、監視画像の一部であり、矩形形状を有する。第１の画像１Ｉの形状は、矩形形状に限定されない。第１の画像１Ｉを構成する各画素の値は、標準偏差の差分である。第１の画像１Ｉにおいて、黒画素以外の画素で構成される像が領域像１ｉである。第１の画像１Ｉ－１に含まれる領域像１ｉ－１、第１の画像１Ｉ－２に含まれる領域像１ｉ－２、第１の画像１Ｉ－３に含まれる領域像１ｉ－３は、移動する雲を示す像である。領域像１ｉは、時間の経過により移動している。これが雲の移動を示している。
　以上説明したように、処理部９１は、赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す領域像１ｉを含む第１の画像１Ｉを取得する処理を第１の処理とし、異なる複数の時刻で撮像された複数の赤外画像のそれぞれに関して、第１の処理をして、複数の第１の画像１Ｉを取得する。
　実施形態において、処理部９１は、各赤外画像に対して、領域像１ｉを抽出する処理をし（ステップＳ１００）、この処理がされた各赤外画像に、領域像１ｉを含む所定領域を設定し、所定領域を第１の画像１Ｉとして取得している（ステップＳ１０１）。変形例として、ユーザーが赤外画像に予め所定領域を設定してもよい。変形例は、ガスが出現する可能性が高い箇所が予め分かっているときに適用される。詳しく説明すると、図１Ａを参照して、表示制御部１０は、動画データＭＤで示される動画（赤外画像の動画）を表示部１１に表示させている。ユーザーは、入力部１２を操作して、表示部１１に表示されている赤外画像に所定領域を設定する。
　処理部９１は、入力部１２が操作されて、赤外画像に所定領域が設定されたとき、赤外画像の全体に対して領域像１ｉを抽出する処理をするのではなく、その所定領域に対して領域像１ｉを抽出する処理をする。処理部９１は、この処理がされた所定領域を第１の画像１Ｉとして取得する。
　変形例によれば、赤外画像の全体でなく、赤外画像に設定された所定領域に対して、領域像１ｉを抽出する処理をするので、画像処理量を減らすことができる。
　実施形態の説明に戻る。領域像１ｉは、ガスが出現している領域を示す像の可能性もあるし、移動する雲を示す像の可能性もある。領域像１ｉが移動する雲を示す像の場合、時系列で見れば、領域像１ｉは移動している。
　雲の移動は、短い期間（例えば、１０秒間程度）で見ると、雲の形状をほとんど変化させず、かつ、ほぼ一定の速度である。よって、領域像１ｉが移動する雲を示す像の場合、短い期間で見ると、領域像１ｉは、その形状をほとんど変化させないで、ほぼ一定の速度で移動する。従って、領域像１ｉの移動が考慮されて、２つの第１の画像１Ｉの類似度が算出されると、類似度は比較的高くなる。
　これに対して、領域像１ｉが、ガスが出現している領域を示す像の場合、ガスは同じ箇所から漏れているので、時系列で見れば、領域像１ｉは移動しないことが多い。ガスは不規則にゆらぐので、領域像１ｉが移動する雲を示す像の場合と比べて、２つの第１の画像１Ｉの類似度は低い。
　以上より、下記（１）及び（２）の条件が満たされていれば、領域像１ｉは、ガスが出現している領域を示す像でなく、移動する雲を示す像である可能性が高いので、ガス候補がガスでない可能性が高い。
　　（１）領域像１ｉが移動している。
　　（２）領域像１ｉの移動が考慮されて、２つの第１の画像１Ｉの類似度が算出されたとき、類似度が比較的高い。
　上述した短い期間中に風向きが大きく変化しなければ、領域像１ｉの移動方向は、同一性を有する。同一性とは、領域像１ｉの移動方向が同一、又は、ほぼ同一を意味する。例えば、０秒（開始時刻）から３秒までの期間での領域像１ｉの移動方向と、０秒から６秒までの期間での領域像１ｉの移動方向とが、同一、又は、ほぼ同一の場合、領域像１ｉの移動方向は同一性を有する。
　従って、（１）及び（２）の条件が満たされ、かつ、下記（３）の条件が満たされたとき、領域像１ｉが移動する雲を示す像である可能性がかなり高くなる。
　　　（３）領域像１ｉの移動方向が同一性を有する。
　実施形態では、（１）～（３）の条件が満たされるとき、領域像１ｉを、移動する雲を示す像と判定する。これが、ステップＳ１０２～ステップＳ１０６の処理である。移動する雲を例にして説明したが、形状をほとんど変えず、かつ、ほぼ一定の速度で移動する被写体についても、同じことが言える。すなわち、（１）～（３）の条件が満たされたとき、領域像１ｉが、上記被写体を示す像である可能性がかなり高くなる。なお、（３）を考慮しない態様も可能である。
　３つの第１の画像１Ｉの中から２つの第１の画像１Ｉが組み合わされて、類似度の算出対象となる複数組が予め設定される。これは、ガス検知用画像処理装置３のメーカーが設定してもよし、ユーザーが設定してもよい。実施形態では、第１の画像１Ｉ－１と第１の画像１Ｉ－３とで構成される組と、第１の画像１Ｉ－１と第１の画像１Ｉ－２とで構成される組とを、類似度を算出する対象としている。
　決定部９２は、２つの第１の画像１Ｉ－１，１Ｉ－３の位置関係を変えながら、２つの第１の画像１Ｉ－１，１Ｉ－３の類似度を算出することにより、複数の類似度を取得する（ステップＳ１０２）。
　ステップＳ１０２について詳しく説明する。第１の画像１Ｉ－１と第１の画像１Ｉ－３とが完全に重なる位置において、第１の画像１Ｉ－１の中心が原点（０、０）とする。図１７は、第１の画像１Ｉ－１の位置が原点のとき、領域像１ｉ－１と領域像１ｉ－３との位置関係を示す模式図である。決定部９２は、第１の画像１Ｉ－１を所定範囲において移動させ、原点を含む各座標において、第１の画像１Ｉ－１と第１の画像１Ｉ－３との類似度を算出する。これは、パターンマッチング処理である。類似度は、第１の画像１Ｉ－１と第１の画像１Ｉ－３とが重なる部分に対して算出されることになる。所定範囲は、例えば、ｘ方向が、－２０画素～＋２０画素であり、ｙ方向が、－２０画素～＋２０画素である。以上により、１６８１個の類似度（＝４１画素×４１画素）が算出される。
　類似度の算出方法としては、様々な方法があるが、決定部９２は、例えば、式１を用いて、類似度を算出する。式１は、正規化相互相関（ＮＣＣ：Ｎｏｒｍａｌｉｚｅｄ　Ｃｒｏｓｓ　Ｃｏｒｒｅｌａｔｉｏｎ）を示している。
Figure JPOXMLDOC01-appb-M000001
　Ｉ（ｉ，ｊ）は、ここでは、第１の画像１Ｉ－１上の座標を示す。Ｔ（ｉ，ｊ）は、ここでは、第１の画像１Ｉ－３上の座標を示す。ｉは、ｘ方向の座標値を示す。ｊは、ｙ方向の座標値を示す。Ｍは、第１の画像１Ｉのｘ方向の画素数を示す。Ｎは、第１の画像１Ｉのｙ方向の画素数を示す。
　正規化相互相関は、－１から＋１の範囲の値である。第１の画像１Ｉ－１と第１の画像１Ｉ－３との相関性がない場合、正規化相互相関は、０となる。第１の画像１Ｉ－１と第１の画像１Ｉ－３とが、正の相関性が強くなるに従って、正規化相互相関は、＋１に近づく。第１の画像１Ｉ－１と第１の画像１Ｉ－３とが、負の相関性が強くなるに従って、正規化相互相関は、－１に近づく。正規化相互相関が、＋１に近づくに従って、第１の画像１Ｉ－１と第１の画像１Ｉ－３との類似度が高くなる。
　決定部９２は、算出した１６８１個の類似度を座標と紐付けて記憶する。例えば、第１の画像１Ｉ－１の位置が座標（１８，－６）のとき、第１の画像１Ｉ－１と第１の画像１Ｉ－３との類似度が、０．８６とする。決定部９２は、座標（１８，－６）と０．８６とを紐付けて、記憶する。
　決定部９２は、算出した１６８１個の類似度の中で最大の類似度を決定する（ステップＳ１０３）。ここでは、最大の類似度が０．８６とする。この類似度が、判定用類似度となる。判定用類似度は、ガス候補がガスか否かの判定に用いられる類似度であり、領域像１ｉの移動が考慮されて算出された、２つの第１の画像１Ｉの類似度である。算出された１６８１個の類似度のうち、高い類似度が判定用類似度となる。ここでは、最大の類似度が判定用類似度とされているが、２番目に高い類似度や３番目に高い類似度が、判定用類似度とされてもよい。
　決定部９２は、類似度が最大となる座標（すなわち、最大の類似度に紐付けられた座標）を、６秒後の領域像１ｉの位置として決定する。ここでは、座標（１８，－６）が６秒後の領域像１ｉの位置として決定される。決定部９２は、類似度が最大となる座標が、原点の場合、領域像１ｉが移動していないと決定し、原点と異なる座標の場合、領域像１ｉが移動していると決定する。ここでは、類似度が最大となる座標が座標（１８，－６）なので、決定部９２は、領域像１ｉが移動していると決定する。
　決定部９２は、原点からその座標（類似度が最大となる座標）への方向を、領域像１ｉの移動方向（すなわち、雲の移動方向）と決定する（ステップＳ１０４）。ここでは、原点から座標（１８，－６）への方向が領域像１ｉの移動方向と決定される。また、領域像１ｉが６秒間で原点から座標（１８，－６）まで移動したことが判別するので、領域像１ｉの移動速度が判別したことにもなる。
　以上説明したように、決定部９２は、２つの第１の画像１Ｉを基にして、領域像１ｉの移動方向を決定し、決定した移動方向の位置関係で算出された２つの第１の画像１Ｉの類似度を、ガス候補がガスか否かの判定に用いる判定用類似度として決定する（ステップＳ１０２～ステップＳ１０４）。
　決定部９２は、第１の画像１Ｉ－１を所定の座標に移動させ、２つの第１の画像１Ｉ－１，１Ｉ－２の類似度を算出する（ステップＳ１０５）。ステップＳ１０５について詳しく説明する。第１の画像１Ｉ－１と第１の画像１Ｉ－２とが完全に重なる位置において、第１の画像１Ｉ－１の中心が原点（０，０）とする。図１８は、第１の画像１Ｉ－１の位置が原点のとき、領域像１ｉ－１と領域像１ｉ－２との位置関係を示す模式図である。決定部９２は、第１の画像１Ｉ－１を座標（９，－３）に移動させ、第１の画像１Ｉ－１と第１の画像１Ｉ－２との類似度を算出する。類似度は、第１の画像１Ｉ－１と第１の画像１Ｉ－２とが重なる部分に対して算出されることになる。ここでは、類似度は、０．８９とする。
　座標（９，－３）とした理由は、以下の通りである。座標（１８，－６）は、６秒後の領域像１ｉの位置である。領域像１ｉが、移動する雲を示す像であれば、領域像１ｉは、同一方向に、ほぼ一定速度で移動する。よって、３秒後の領域像１ｉの位置は、（９，－３）と見なすことができる。
　このように、決定部９２は、領域像１ｉの移動を考慮して、第１の画像１Ｉ－１と第１の画像１Ｉ－２との類似度を決定している。この類似度は、判定用類似度となる。実施形態では、第１の画像１Ｉ－１と第１の画像１Ｉ－３とで構成される組（第１の組）と、第１の画像１Ｉ－１と第１の画像１Ｉ－２とで構成される組（残りの組）とで、判定用類似度の決定の仕方を異ならせている。しかしながら、第１の画像１Ｉ－１と第１の画像１Ｉ－２との判定用類似度について、第１の画像１Ｉ－１と第１の画像１Ｉ－３との判定用類似度と同様の方法で決定することも可能である。この場合、決定部９２は、第１の画像１Ｉ－１と第１の画像１Ｉ－２に対して、ステップＳ１０２～ステップ１０４の処理をする。
　判定部９３は、領域像１ｉが移動する雲を示す像か否かを判定する（ステップＳ１０６）。ステップＳ１０６について詳しく説明する。判定用類似度が、所定のしきい値（例えば、０．８０）を超えていれば、判定用類似度が比較的高いとする。
　ステップＳ１０３で決定された判定用類似度（すなわち、座標（１８，－６）での第１の画像１Ｉ－１と第１の画像１Ｉ－３との類似度）は、０．８６である。判定部９３は、この類似度が比較的高いと判定する。
　ステップＳ１０５で決定された判定用類似度（すなわち、座標（９，－３）での第１の画像１Ｉ－１と第１の画像１Ｉ－２との類似度）は、０．８９である。判定部９３は、この類似度が比較的高いと判定する。
　ステップＳ１０３で決定された判定用類似度が得られる座標が、原点でなく、座標（１８，－６）である。判定部９３は、領域像１ｉが移動していると判定する。
　０秒（開始時刻）から６秒までの期間での領域像１ｉの移動方向は、原点から座標（１８，－６）であり、０秒から３秒までの期間での領域像１ｉの移動方向は、原点から座標（９，－３）である。判定部９３は、領域像１ｉの移動方向が同一性を有すると判定する。
　以上より、判定部９３は、領域像１ｉが、ガスが出現している領域を示す像でなく、移動する雲を示す像と判定する。この結果、判定部９３は、ガス候補をガスでないと判定する（ステップＳ１０７）。言い換えれば、判定部９３は、ガス候補をノイズと判定する。
　このように、判定部９３は、判定用類似度、領域像１ｉが移動しているか否か、及び、領域像１ｉの移動方向が同一性を有するか否かを基にして、ガス候補がガスか否かを判定する。
　次に、ガスが出現している場合について説明する。図１９は、ガスが出現している場合に、実施形態によって生成された第１の画像１Ｉを説明する説明図である。図１９に示す各第１の画像１Ｉは、図１６と同じく、１０秒間の動画を構成する各フレーム（各監視画像）から取得された第１の画像１Ｉである。
　第１の画像１Ｉ－４は、その１０秒間が開始する時刻の監視画像に設定された第１の画像１Ｉである。第１の画像１Ｉ－５は、開始時刻から３秒後の監視画像に設定された第１の画像１Ｉである。第１の画像１Ｉ－６は、開始時刻から６秒後の監視画像に設定された第１の画像１Ｉである。第１の画像１Ｉ－４に含まれる領域像１ｉ－４、第１の画像１Ｉ－５に含まれる領域像１ｉ－５、第１の画像１Ｉ－６に含まれる領域像１ｉ－６は、ガスが出現している領域を示す像である。
　図２０は、第１の画像１Ｉ－４の位置が原点のとき、領域像１ｉ－４と領域像１ｉ－６との位置関係を示す模式図である。決定部９２は、第１の画像１Ｉ－４と第１の画像１Ｉ－６とについて、ステップＳ１０２～Ｓ１０４の処理をする。ここでは、最大の類似度（判定用類似度）が０．７４とし、領域像１ｉの移動方向が原点から座標（－６，２）への方向とする。
　決定部９２は、第１の画像１Ｉ－４と第１の画像１Ｉ－５とについて、ステップＳ１０５の処理をする。図２１は、第１の画像１Ｉ－４の位置が原点のとき、領域像１ｉ－４と領域像１ｉ－５との位置関係を示す模式図である。ここでは、決定部９２は、第１の画像１Ｉ－４を座標（－３、１）に移動させ、第１の画像１Ｉ－４と第１の画像１Ｉ－５との類似度（判定用類似度）を算出する。類似度が０．６５とする。
　ステップＳ１０３で決定された判定用類似度（すなわち、座標（－６，２）での第１の画像１Ｉ－４と第１の画像１Ｉ－６との類似度）は、０．７４である。判定部９３は、この類似度が比較的高くないと判定する。
　ステップＳ１０５で決定された判定用類似度（すなわち、座標（－３，１）での第１の画像１Ｉ－４と第１の画像１Ｉ－５との類似度）は、０．６５である。判定部９３は、この類似度が比較的高くないと判定する。
　以上より、判定部９３は、領域像１ｉが、移動する雲を示す像でなく、ガスが出現している領域を示す像と判定する。この結果、判定部９３は、ガス候補をガスと判定する（ステップＳ１０７）。
　なお、実施形態では、式１を用いて類似度を算出している。類似度の算出は、式１に限らない。例えば、類似度の算出に式２が用いられてもよい。式２は、ゼロ平均正規化相互相関（ＺＮＣＣ：Ｚｅｒｏ－ｍｅａｎ　Ｎｏｒｍａｌｉｚｅｄ　Ｃｒｏｓｓ　Ｃｏｒｒｅｌａｔｉｏｎ）を示している。
Figure JPOXMLDOC01-appb-M000002
　実施形態では、３つの第１の画像１Ｉのうち、１番目の第１の画像１Ｉ（第１の画像１Ｉ－１，１Ｉ－４）と３番目の第１の画像１Ｉ（第１の画像１Ｉ－３，１Ｉ－６）とで構成される組に対して、ステップＳ１０２～ステップＳ１０４の処理をし、１番目の第１の画像１Ｉと２番目の第１の画像１Ｉ（第１の画像１Ｉ－２，１Ｉ－５）とで構成される組に対して、ステップＳ１０５の処理をしているが、逆でもよい。
　実施形態では、３つの第１の画像１Ｉのうち、１番目の第１の画像１Ｉと３番目の第１の画像１Ｉとで構成される組と、１番目の第１の画像１Ｉと２番目の第１の画像１Ｉとで構成される組とを、類似度を算出する対象としている。しかしながら、この組み合わせは、任意である。例えば、１番目の第１の画像１Ｉと２番目の第１の画像１Ｉとで構成される組と、２番目の第１の画像１Ｉと３番目の第１の画像１Ｉとで構成される組とを、類似度を算出する対象としてもよい。また、組み合わせの数は、２つに限定されず、１つでもよいし、３つでもよい。
　実施形態では、３つの第１の画像１Ｉが用いられるが、第１の画像１Ｉの数は、３つに限定されず、２つでもよいし、４つ以上でもよい。第１の画像１Ｉが４つ以上の場合、組み合わせの数を４つ以上にすることができる。
　実施形態では、１番目の第１の画像１Ｉが抽出された赤外画像の撮像時刻を開始時刻とし、２番目の第１の画像１Ｉが抽出された赤外画像の撮像時刻を３秒後とし、３番目の第１の画像１Ｉが抽出された赤外画像の撮像時刻を６秒後としている。しかしながら、上述した短い期間内（１０秒間程度）であれば、これに限定されない。例えば、２番目の第１の画像１Ｉが抽出された赤外画像の撮像時刻を４秒後とし、３番目の第１の画像１Ｉが抽出された赤外画像の撮像時刻を８秒後としてもよい。
（実施形態の纏め）
　実施形態の第１態様に係るガス検知用画像処理装置は、赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す領域像を含む第１の画像を取得する第１の処理を、異なる複数の時刻で撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第１の画像を取得する処理部と、２つの前記第１の画像を基にして前記領域像の移動方向を決定するとともに、決定した前記移動方向へ前記領域像が移動することを考慮して、２つの前記第１の画像の類似度を決定する決定部と、前記決定部が決定した前記類似度、及び、前記領域像が移動しているか否かを基にして、前記ガス候補がガスか否かを判定する判定部と、を備える。
　領域像は、ガスが出現した場合に発生する以外に、上述した場合（赤外画像を撮像するカメラが、背景に空が含まれる角度で設置されており、移動する雲が撮像された場合）にも発生する。
　領域像は、ガスが出現している領域を示す像の可能性もあるし、移動する雲を示す像の可能性もある。領域像が移動する雲を示す像の場合、時系列で見れば、領域像は移動している。
　雲の移動は、短い期間（例えば、１０秒間程度）で見た場合、地上から観察すると、雲の形状をほとんど変化させず、かつ、ほぼ一定の速度である。よって、領域像が移動する雲を示す像の場合、短い期間で見ると、領域像は、その形状をほとんど変化させないで、ほぼ一定の速度で移動する。従って、領域像の移動が考慮されて、２つの第１の画像の類似度が算出されると、類似度は比較的高くなる。なお、移動しない雲も赤外画像としては撮像されるが、温度変化を生じないため、ガスとして間違えて検知されることはない。
　これに対して、領域像が、配管などの決まったところから漏洩したガスが出現している領域を示す像の場合、ガスは同じ箇所から漏れているので、時系列で見れば、領域像は移動しないことが多い。ガスは不規則にゆらぐので、領域像が移動する雲を示す像の場合と比べて、２つの第１の画像の類似度は低い。
　以上より、下記（１）及び（２）の条件が満たされていれば、領域像は、ガスが出現している領域を示す像でなく、移動する雲を示す像である可能性が高いので、ガス候補がガスでない可能性が高い。
　　（１）領域像が移動している。
　　（２）領域像の移動が考慮されて、２つの第１の画像の類似度が算出されたとき、類似度が比較的高い。
　決定部は、２つの第１の画像を基にして領域像の移動方向を決定するとともに、決定した移動方向へ領域像が移動することを考慮して、２つの第１の画像の類似度を決定する。この決定がされた類似度が、ガス候補がガスか否かの判定に用いられる判定用類似度となる。好ましくは、決定部は、２つの第１の画像の位置関係を変えながら、２つの第１の画像の類似度を算出することにより、複数の類似度を取得し、複数の類似度の中から判定用類似度を決定する。複数の類似度のうち、高い類似度が判定用類似度となる。例えば、決定部は、複数の類似度のうち、最大の類似度を判定用類似度として決定する。最大の類似度に限らず、例えば、２番目に高い類似度や３番目に高い類似度が、判定用類似度として決定されてもよい。
　決定部は、例えば、正規化相互相関、又は、ゼロ平均正規化相互相関を用いて類似度を算出する。
　判定部は、上記決定がされた類似度（すなわち、判定用類似度）、及び、領域像が移動しているか否かを基にして、ガス候補がガスか否かを判定する。例えば、判定部は、判定用類似度が比較的高く、かつ、領域像が移動している場合、領域像が移動する雲を示す像と見なし、ガス候補がガスでないと判定する。判定部は、例えば、判定用類似度が所定のしきい値を超えているとき、判定用類似度が比較的高いと判定する。
　移動する雲を例にして説明したが、形状をほとんど変えず、かつ、ほぼ一定の速度で移動する被写体についても、同じことが言える。以上説明したように、実施形態の第１態様に係るガス検知用画像処理装置によれば、ガスの検知精度を向上させることができる。
　なお、複数の第１の画像の数は、２つでもよいし、３つ以上でもよい。第１の画像の数が３つ以上の場合、後で説明するように、領域像の移動方向の同一性を判定することができる。
　上記構成において、前記処理部は、異なる３以上の時刻で撮像された３以上の前記赤外画像のそれぞれに関して、前記第１の処理をして、３以上の前記第１の画像を取得し、前記判定部は、３以上の前記第１の画像の中から２つの前記第１の画像が組み合わされて構成される複数組について、各組での前記領域像の移動方向が同一性を有するか否かを、前記ガス候補がガスか否かを判定する条件に加える。
　上述した短い期間中に風向きが大きく変化しなければ、領域像の移動方向は、同一性を有する。同一性とは、領域像の移動方向が同一、又は、ほぼ同一を意味する。例えば、０秒から３秒までの期間での領域像の移動方向と、０秒から６秒までの期間での領域像の移動方向とが、同一、又は、ほぼ同一の場合、領域像の移動方向は同一性を有する。
　上記決定がされた類似度（判定用類似度）が比較的高く、かつ、領域像が移動しており、かつ、領域像の移動方向が同一性を有する場合、領域像が移動する雲を示す像である可能性がかなり高くなる。そこで、例えば、判定部は、判定用類似度が比較的高く、かつ、領域像が移動しており、かつ、領域像の移動方向が同一性を有する場合、ガス候補がガスでないと判定する。判定部は、領域像の移動方向の同一性を、ガス候補がガスか否かを判定する条件に加えることにより、ガスの検知精度をさらに向上させることができる。なお、判定部は、例えば、判定用類似度が所定のしきい値を超えているとき、判定用類似度が比較的高いと判定する。
　上記構成において、前記判定部は、前記複数組のそれぞれの類似度（判定用類似度）を、前記ガス候補がガスか否かを判定する条件に加える。
　複数組のそれぞれの判定用類似度が比較的高い場合は、複数組のうち、いずれか１つ以上の組の判定用類似度が比較的高くない場合と比べて、領域像が移動する雲を示す像である可能性が高い。判定部は、例えば、複数組のそれぞれの判定用類似度が比較的高く、かつ、領域像が移動しており、かつ、領域像の移動方向が同一性を有する場合、ガス候補がガスでないと判定する。判定部は、複数組のそれぞれの判定用類似度を、ガス候補がガスか否かを判定する条件に加えることにより、ガスの検知精度をさらに向上させることができる。
　複数組のそれぞれの判定用類似度の決定の仕方について説明する。決定部は、複数組を、１つの組である第１の組と残りの組とに分ける。残りの組は、１つでもよいし、２つ以上でもよい。決定部は、第１の組を構成する２つの第１の画像を基にして、第１の組での領域像の移動方向を決定し、決定した移動方向の位置関係で算出された類似度（第１の組を構成する２つの第１の画像の類似度）を、第１の組の判定用類似度として決定する。決定部は、第１の組での領域像の移動方向を残りの組での領域像の移動方向と決定し、決定した移動方向の位置関係で算出された類似度（残りの組を構成する２つの第１の画像の類似度）を、残りの組の判定用類似度として決定する。なお、決定部は、残りの組の判定用類似度を、第１の組の判定用類似度と同じ方法で決定してもよい。例えば、第２の組で説明すると、決定部は、第２の組を構成する２つの第１の画像を基にして、第２の組での領域像の移動方向を決定し、決定した移動方向の位置関係で算出された類似度（第２の組を構成する２つの第１の画像の類似度）を、第２の組の判定用類似度として決定する。
　上記構成において、前記処理部は、前記赤外画像に対して、前記領域像を抽出する抽出処理をし、前記抽出処理がされた前記赤外画像に、前記領域像を含む前記所定領域を設定し、前記所定領域を前記第１の画像として取得する。
　この構成は、赤外画像の全体に対して、領域像（すなわち、ガス候補が出現している領域を示す像）を抽出する処理をする。領域像の抽出の仕方は、これに限定されず、赤外画像の一部に対して、領域像を抽出する処理がされてもよい。これを以下に示す。
　上記構成において、入力部をさらに備え、前記処理部は、前記入力部が操作されて、前記赤外画像に前記所定領域が設定されたとき、前記所定領域に対して前記領域像を抽出する抽出処理をし、前記抽出処理がされた前記所定領域を前記第１の画像として取得する。
　この構成は、ガスが出現する可能性が高い箇所が予め分かっているときに適用される。この構成によれば、赤外画像の全体でなく、赤外画像に設定された所定領域に対して、領域像を抽出する処理をするので、画像処理量を減らすことができる。
　実施形態の第２態様に係るガス検知用画像処理方法は、赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す領域像を含む第１の画像を取得する第１の処理を、異なる複数の時刻で撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第１の画像を取得する処理ステップと、２つの前記第１の画像を基にして前記領域像の移動方向を決定するとともに、決定した前記移動方向へ前記領域像が移動することを考慮して、２つの前記第１の画像の類似度を決定する決定ステップと、前記決定ステップで決定された前記類似度、及び、前記領域像が移動しているか否かを基にして、前記ガス候補がガスか否かを判定する判定ステップと、を備える。
　実施形態の第２態様に係るガス検知用画像処理方法は、実施形態の第１態様に係るガス検知用画像処理装置を方法の観点から規定しており、実施形態の第１態様に係るガス検知用画像処理装置と同様の作用効果を有する。
　実施形態の第３態様に係るガス検知用画像処理プログラムは、赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す領域像を含む第１の画像を取得する第１の処理を、異なる複数の時刻で撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第１の画像を取得する処理ステップと、２つの前記第１の画像を基にして前記領域像の移動方向を決定するとともに、決定した前記移動方向へ前記領域像が移動することを考慮して、２つの前記第１の画像の類似度を決定する決定ステップと、前記決定ステップで決定された前記類似度、及び、前記領域像が移動しているか否かを基にして、前記ガス候補がガスか否かを判定する判定ステップと、をコンピュータに実行させる。
　実施形態の第３態様に係るガス検知用画像処理プログラムは、実施形態の第１態様に係るガス検知用画像処理装置をプログラムの観点から規定しており、実施形態の第１態様に係るガス検知用画像処理装置と同様の作用効果を有する。
　本発明の実施形態が詳細に図示され、かつ、説明されたが、それは単なる図例及び実例であって限定ではない。本発明の範囲は、添付されたクレームの文言によって解釈されるべきである。
　明細書、クレーム、図面、及び要約を含む、２０１６年１２月２７日に提出された日本国特許出願特願２０１６－２５２２７０は、その全体の開示が、その全体において参照によりここに組み込まれる。
　本発明によれば、ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラムを提供することができる。

Claims (9)

  1. 　赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す領域像を含む第１の画像を取得する第１の処理を、異なる複数の時刻で撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第１の画像を取得する処理部と、
    　２つの前記第１の画像を基にして前記領域像の移動方向を決定するとともに、決定した前記移動方向へ前記領域像が移動することを考慮して、２つの前記第１の画像の類似度を決定する決定部と、
    　前記決定部が決定した前記類似度、及び、前記領域像が移動しているか否かを基にして、前記ガス候補がガスか否かを判定する判定部と、を備える、ガス検知用画像処理装置。
  2. 　前記判定部は、前記類似度が所定のしきい値よりも高く、かつ、前記領域像が移動している場合、前記ガス候補がガスでないと判定する、請求項１に記載のガス検知用画像処理装置。
  3. 　前記処理部は、異なる３以上の時刻で撮像された３以上の前記赤外画像のそれぞれに関して、前記第１の処理をして、３以上の前記第１の画像を取得し、
    　前記判定部は、３以上の前記第１の画像の中から２つの前記第１の画像が組み合わされて構成される複数組について、各組での前記領域像の移動方向が同一性を有するか否かを、前記ガス候補がガスか否かを判定する条件に加える、請求項１又は２に記載のガス検知用画像処理装置。
  4. 　前記判定部は、前記複数組のそれぞれの前記類似度を、前記ガス候補がガスか否かを判定する条件に加える、請求項３に記載のガス検知用画像処理装置。
  5. 　前記処理部は、前記赤外画像に対して、前記領域像を抽出する抽出処理をし、前記抽出処理がされた前記赤外画像に、前記領域像を含む前記所定領域を設定し、前記所定領域を前記第１の画像として取得する、請求項１～４のいずれか一項に記載のガス検知用画像処理装置。
  6. 　入力部をさらに備え、
    　前記処理部は、前記入力部が操作されて、前記赤外画像に前記所定領域が設定されたとき、前記所定領域に対して前記領域像を抽出する抽出処理をし、前記抽出処理がされた前記所定領域を前記第１の画像として取得する、請求項１～４のいずれか一項に記載のガス検知用画像処理装置。
  7. 　前記決定部は、正規化相互相関、又は、ゼロ平均正規化相互相関を用いて前記類似度を算出する、請求項１～６のいずれか一項に記載のガス検知用画像処理装置。
  8. 　赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す領域像を含む第１の画像を取得する第１の処理を、異なる複数の時刻で撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第１の画像を取得する処理ステップと、
    　２つの前記第１の画像を基にして前記領域像の移動方向を決定するとともに、決定した前記移動方向へ前記領域像が移動することを考慮して、２つの前記第１の画像の類似度を決定する決定ステップと、
    　前記決定ステップで決定された前記類似度、及び、前記領域像が移動しているか否かを基にして、前記ガス候補がガスか否かを判定する判定ステップと、を備える、ガス検知用画像処理方法。
  9. 　赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す領域像を含む第１の画像を取得する第１の処理を、異なる複数の時刻で撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第１の画像を取得する処理ステップと、
    　２つの前記第１の画像を基にして前記領域像の移動方向を決定するとともに、決定した前記移動方向へ前記領域像が移動することを考慮して、２つの前記第１の画像の類似度を決定する決定ステップと、
    　前記決定ステップで決定された前記類似度、及び、前記領域像が移動しているか否かを基にして、前記ガス候補がガスか否かを判定する判定ステップと、をコンピュータに実行させるガス検知用画像処理プログラム。
PCT/JP2017/036580 2016-12-27 2017-10-10 ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム WO2018123197A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018558832A JP6508439B2 (ja) 2016-12-27 2017-10-10 ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
US16/466,181 US10997734B2 (en) 2016-12-27 2017-10-10 Gas detection-use image processing device, gas detection-use image processing method, and gas detection-use image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-252270 2016-12-27
JP2016252270 2016-12-27

Publications (1)

Publication Number Publication Date
WO2018123197A1 true WO2018123197A1 (ja) 2018-07-05

Family

ID=62707127

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/036580 WO2018123197A1 (ja) 2016-12-27 2017-10-10 ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム

Country Status (3)

Country Link
US (1) US10997734B2 (ja)
JP (1) JP6508439B2 (ja)
WO (1) WO2018123197A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020197794A (ja) * 2019-05-31 2020-12-10 株式会社日立ソリューションズ 画像解析装置、画像解析方法及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6493624B2 (ja) * 2016-06-07 2019-04-03 コニカミノルタ株式会社 ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
WO2019064822A1 (ja) * 2017-09-27 2019-04-04 コニカミノルタ株式会社 ガス撮像装置及び画像取得方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012058093A (ja) * 2010-09-09 2012-03-22 Mitsubishi Electric Building Techno Service Co Ltd ガス漏れ検出装置
JP2012237563A (ja) * 2011-05-10 2012-12-06 Mitsubishi Electric Corp 目標検出装置
JP2016206139A (ja) * 2015-04-28 2016-12-08 コニカミノルタ株式会社 ガス検出装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE9904836L (sv) * 1999-12-28 2001-06-29 Jonas Sandsten Kvantitativ avbildning av gasemissioner utnyttjande optisk teknik
US7189970B2 (en) * 2003-08-29 2007-03-13 Power Diagnostic Technologies Ltd. Imaging of fugitive gas leaks
US6822742B1 (en) * 2003-12-19 2004-11-23 Eastman Kodak Company System and method for remote quantitative detection of fluid leaks from a natural gas or oil pipeline
US7649174B2 (en) * 2008-02-11 2010-01-19 Flir Systems, Inc. Thermography camera configured for gas leak detection
EP2689576B1 (en) * 2011-03-25 2020-03-04 Exxonmobil Upstream Research Company Autonomous detection of chemical plumes
EP2590138B1 (en) * 2011-11-07 2019-09-11 Flir Systems AB Gas visualization arrangements, devices, and methods
JP5904795B2 (ja) * 2012-01-06 2016-04-20 セコム株式会社 画像監視装置
JP5957409B2 (ja) * 2013-03-29 2016-07-27 富士フイルム株式会社 領域抽出装置および方法並びにプログラム
US9488629B2 (en) * 2014-04-10 2016-11-08 General Electric Company Method for detecting coolant leaks in generators
CA2985486C (en) * 2014-05-09 2021-04-13 Kairos Aerospace Inc. Systems and methods for detecting gas leaks
US9464984B2 (en) * 2014-06-20 2016-10-11 Fluke Corporation Laser illuminated gas imaging device for determining inoperable gas detection pixels
US9958328B2 (en) * 2015-03-19 2018-05-01 Ci Systems (Israel) Ltd. Single device for gas and flame detection, imaging and measurement, and drift correction method thereof
EP3343202B1 (en) * 2015-08-24 2019-12-04 Panasonic Intellectual Property Management Co., Ltd. Substance detecting device, substance detecting system, and substance detecting method
EP3957969A1 (en) * 2015-10-29 2022-02-23 Konica Minolta, Inc. Image processing device for gas detection, image processing method for gas detection and image processing program for gas detection
WO2017073427A1 (ja) * 2015-10-29 2017-05-04 コニカミノルタ株式会社 漏洩ガス検出装置および漏洩ガス検出方法
JP6319527B2 (ja) * 2015-12-15 2018-05-09 コニカミノルタ株式会社 ガス検知用画像処理装置、ガス検知用画像処理方法、ガス検知用画像処理プログラム、ガス検知用画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び、ガス検知システム
WO2017104607A1 (ja) * 2015-12-15 2017-06-22 コニカミノルタ株式会社 ガス濃度厚み積測定装置、ガス濃度厚み積測定方法、ガス濃度厚み積測定プログラム、及び、ガス濃度厚み積測定プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2019168225A (ja) * 2016-08-15 2019-10-03 コニカミノルタ株式会社 ガス検知システム及びガス検知方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012058093A (ja) * 2010-09-09 2012-03-22 Mitsubishi Electric Building Techno Service Co Ltd ガス漏れ検出装置
JP2012237563A (ja) * 2011-05-10 2012-12-06 Mitsubishi Electric Corp 目標検出装置
JP2016206139A (ja) * 2015-04-28 2016-12-08 コニカミノルタ株式会社 ガス検出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020197794A (ja) * 2019-05-31 2020-12-10 株式会社日立ソリューションズ 画像解析装置、画像解析方法及びプログラム

Also Published As

Publication number Publication date
JP6508439B2 (ja) 2019-05-08
JPWO2018123197A1 (ja) 2019-06-27
US10997734B2 (en) 2021-05-04
US20190325587A1 (en) 2019-10-24

Similar Documents

Publication Publication Date Title
US10520429B2 (en) Image processing device, image processing method and image processing program
JP6344533B2 (ja) ガス濃度厚み積測定装置、ガス濃度厚み積測定方法、ガス濃度厚み積測定プログラム、及び、ガス濃度厚み積測定プログラムを記録したコンピュータ読み取り可能な記録媒体
JP6319527B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法、ガス検知用画像処理プログラム、ガス検知用画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び、ガス検知システム
US10739226B2 (en) Gas leak position estimation device, gas leak position estimation method and gas leak position estimation program
JP5644097B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2018123197A1 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
WO2017213075A1 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
JP6579291B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム
JP6579290B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム
JP7047638B2 (ja) ガス可視化用画像処理装置、ガス可視化用画像処理方法、ガス可視化用画像処理プログラム、及び、ガス検知システム
US20200258267A1 (en) Image processing device for gas detection, image processing method for gas detection, and image processing program for gas detection
WO2018123196A1 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
WO2018211778A1 (ja) ガス漏れ位置推定装置、ガス漏れ位置推定方法及びガス漏れ位置推定プログラム
Choi et al. Steam leak detection by using image signal
US11954839B2 (en) Leak source specification assistance device, leak source specification assistance method, and leak source specification assistance program
JP2011123562A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17886200

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018558832

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17886200

Country of ref document: EP

Kind code of ref document: A1