WO2017073430A1 - ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム - Google Patents

ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム Download PDF

Info

Publication number
WO2017073430A1
WO2017073430A1 PCT/JP2016/080968 JP2016080968W WO2017073430A1 WO 2017073430 A1 WO2017073430 A1 WO 2017073430A1 JP 2016080968 W JP2016080968 W JP 2016080968W WO 2017073430 A1 WO2017073430 A1 WO 2017073430A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
frequency component
time
image processing
image
Prior art date
Application number
PCT/JP2016/080968
Other languages
English (en)
French (fr)
Inventor
基広 浅野
隆史 森本
塁 渡辺
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to EP21201144.9A priority Critical patent/EP3957969A1/en
Priority to JP2017543848A priority patent/JP6245418B2/ja
Priority to US15/770,273 priority patent/US10145788B2/en
Priority to EP16859660.9A priority patent/EP3351916B1/en
Publication of WO2017073430A1 publication Critical patent/WO2017073430A1/ja
Priority to US16/162,963 priority patent/US10520429B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00—Investigating fluid-tightness of structures
    • G01M3/02—Investigating fluid-tightness of structures by using fluid or vacuum
    • G01M3/04—Investigating fluid-tightness of structures by using fluid or vacuum by detecting the presence of fluid at the leakage point
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3504—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing gases, e.g. multi-gas analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration by non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00—Investigating fluid-tightness of structures
    • G01M3/38—Investigating fluid-tightness of structures by using light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3504—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing gases, e.g. multi-gas analysis
    • G01N2021/3531—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing gases, e.g. multi-gas analysis without instrumental source, i.e. radiometric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Definitions

  • the present invention relates to a technology for detecting gas using an infrared image.
  • Patent Document 1 includes an infrared camera that captures an inspection target region and an image processing unit that processes an infrared image captured by the infrared camera. Discloses a gas leak detection apparatus having a fluctuation extracting unit that extracts dynamic fluctuation due to gas leak from a plurality of infrared images arranged in time series.
  • the temperature change due to the leaked gas is slight (for example, 0.5 ° C.). If the target of gas leak monitoring (for example, where gas transport pipes are connected) is outdoors, if the cloud moves and blocks sunlight, or the cloud that blocks sunlight moves, Compared to the temperature change caused by the gas, the background temperature of the monitoring target changes drastically (for example, 4 ° C.).
  • the present inventor cannot display the state of gas leakage in an infrared image unless the temperature change of the background is taken into consideration if the temperature change of the background is larger than the temperature change caused by the leaked gas. That is, it has been found that gas detection is difficult.
  • An object is to provide a gas detection image processing apparatus, a gas detection image processing method, and a gas detection image processing program capable of performing image processing.
  • a gas detection image processing apparatus that achieves the above object performs image processing on an infrared image obtained by imaging a gas leak monitoring target at a plurality of times.
  • the frequency data is lower than the first frequency component data indicating the temperature change due to the leaked gas, and the second frequency component data indicating the temperature change of the background to be monitored is the image data indicating the infrared image.
  • a graph showing time-series pixel data D2 of the pixel corresponding to the point SP1, second frequency component data D3 extracted from the time-series pixel data D2, and third frequency component data D6 extracted from the time-series pixel data D2. is there. It is a graph which shows the 1st difference data D4. It is a graph which shows the 2nd difference data D7. It is a graph which shows the 1st variation data D5 and the 2nd variation data D8. It is a graph which shows the 3rd difference data D9. It is an image figure which shows the image I15 of the flame
  • the present inventor found that a gas leak and a background temperature change occur in parallel, and if the background temperature change is larger than the temperature change due to the leaked gas, the background temperature If changes are not considered, it has been found that the state of gas leakage cannot be displayed as an infrared image. This will be described in detail.
  • FIG. 1 is an image diagram showing, in a time series, an infrared image obtained by photographing an outdoor test place in a state where gas leakage and background temperature change occur in parallel. These are infrared images obtained by shooting a moving image with an infrared camera. There is a point SP1 at the test place where gas can be ejected. For comparison with the point SP1, a point SP2 where no gas is ejected is shown.
  • the infrared image I1 is an infrared image of the test place taken at time T1 immediately before the sunlight is blocked by the clouds.
  • the infrared image I2 is an infrared image of the test place taken at time T2 after 5 seconds from time T1. At time T2, sunlight is blocked by clouds, so the background temperature is lower than at time T1.
  • the image I3 is an infrared image of the test place taken at time T3 10 seconds after time T1. From time T2 to time T3, the state in which the sunlight is blocked by the cloud is continued, so that the temperature of the background is lower at time T3 than at time T2.
  • the image I4 is an infrared image of the test place taken at time T4 15 seconds after time T1. From time T3 to time T4, the state in which sunlight is blocked by the cloud is continued, so that the background temperature is lower at time T4 than at time T3.
  • the background temperature has dropped by about 4 ° C in 15 seconds from time T1 to time T4. For this reason, the image I4 is generally darker than the image I1, and it can be seen that the background temperature is lowered.
  • FIG. 2A is a graph showing the temperature change at the point SP1 at the test location
  • FIG. 2B is a graph showing the temperature change at the point SP2 at the test location.
  • the vertical axis of these graphs indicates temperature.
  • the horizontal axis of these graphs indicates the frame order. For example, 45 means the 45th frame.
  • the frame rate is 30 fps. Therefore, the time from the first frame to the 450th frame is 15 seconds.
  • the graph showing the temperature change at the point SP1 is different from the graph showing the temperature change at the point SP2. Since no gas is ejected at the point SP2, the temperature change at the point SP2 indicates the background temperature change. On the other hand, since gas is ejected at the point SP1, gas is drifting at the point SP1. For this reason, the temperature change at the point SP1 indicates the temperature change obtained by adding the background temperature change and the temperature change caused by the leaked gas.
  • FIG. 3A is a block diagram showing a configuration of the gas detection system 1 according to the present embodiment.
  • the gas detection system 1 includes an infrared camera 2 and a gas detection image processing device 3.
  • the infrared camera 2 captures a moving image of an infrared image of an object to be monitored for gas leakage (for example, a place where gas transport pipes are connected) and a background, and generates moving image data D1 indicating the moving image.
  • the moving image data D1 is an example of image data of an infrared image.
  • an infrared camera 2 may be used to capture a gas leak monitoring target and a background infrared image at a plurality of times.
  • the infrared camera 2 includes an optical system 4, a filter 5, a two-dimensional image sensor 6, and a signal processing unit 7.
  • the optical system 4 forms an infrared image of the subject (monitoring target and background) on the two-dimensional image sensor 6.
  • the filter 5 is disposed between the optical system 4 and the two-dimensional image sensor 6, and allows only infrared light having a specific wavelength to pass through the light that has passed through the optical system 4.
  • the wavelength band that passes through the filter 5 depends on the type of gas to be detected. For example, in the case of methane, a filter 5 that passes a wavelength band of 3.2 to 3.4 ⁇ m is used.
  • the two-dimensional image sensor 6 is a cooled indium antimony (InSb) image sensor, for example, and receives the infrared rays that have passed through the filter 5.
  • the signal processing unit 7 converts the analog signal output from the two-dimensional image sensor 6 into a digital signal and performs known image processing. This digital signal becomes the moving image data D1.
  • the moving image indicated by the moving image data D1 has a structure in which a plurality of frames are arranged in time series.
  • Data obtained by arranging pixel data of pixels at the same position in a plurality of frames in time series is referred to as time series pixel data.
  • the time series pixel data will be specifically described.
  • FIG. 4 is an explanatory diagram for explaining time-series pixel data.
  • K be the number of frames of a moving image of an infrared image. Assume that one frame includes M pixels, that is, a first pixel, a second pixel,..., An M ⁇ 1th pixel, and an Mth pixel.
  • the pixel data indicates the luminance or temperature of the pixel.
  • Pixels in the same position in multiple (K) frames mean pixels in the same order.
  • the pixel data of the first pixel included in the first frame the pixel data of the first pixel included in the second frame,..., The (K ⁇ 1) th frame.
  • the data obtained by arranging the pixel data of the first pixel included in the pixel data and the pixel data of the first pixel included in the Kth frame in time series becomes the time series pixel data of the first pixel.
  • the pixel data of the Mth pixel included in the first frame, the pixel data of the Mth pixel included in the second frame the pixel data of the Mth pixel included in the second frame,..., The (K ⁇ 1) th frame.
  • the data obtained by arranging the pixel data of the Mth pixel included in the pixel data and the pixel data of the Mth pixel included in the Kth frame in time series becomes the time series pixel data of the Mth pixel.
  • the number of time-series pixel data is the same as the number of pixels constituting one frame, and the moving image data D1 is composed of the plurality (M) of time-series pixel data.
  • the gas detection image processing apparatus 3 is a personal computer, a smartphone, a tablet terminal, or the like, and includes an image processing unit 8, a display control unit 9, and a display unit 10 as functional blocks.
  • the image processing unit 8 and the display control unit 9 are realized by a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), an HDD (Hard Disk Drive), and the like.
  • the display unit 10 is realized by, for example, a liquid crystal display.
  • the image processing unit 8 performs predetermined processing on the moving image data D1 (image data).
  • the predetermined process includes a process of removing the second frequency component data from the moving image data D1. This process will be described.
  • the moving image data D1 includes first frequency component data indicating a temperature change due to the leaked gas. It is.
  • the image indicated by the first frequency component data indicates the state of gas leakage (in other words, the region where the leaked gas is drifting).
  • the moving image data D1 includes, in addition to the first frequency component data, second frequency component data having a frequency lower than that of the first frequency component data and indicating a background temperature change.
  • the image indicated by the first frequency component data becomes invisible due to the image indicated by the second frequency component data (background light change).
  • the fine change included in the graph indicating the temperature change at the point SP1 corresponds to the first frequency component data.
  • a graph indicating the temperature change at the point SP2 corresponds to the second frequency component data.
  • the image processing unit 8 excludes the second frequency component data for each of a plurality of time-series pixel data having different pixel positions (that is, a plurality of time-series pixel data constituting the moving image data D1).
  • the plurality of time-series pixel data having different pixel positions refers to the time-series pixel data of the first pixel, the time-series pixel data of the second pixel,..., M ⁇ 1th, with reference to FIG. Means time-series pixel data of the second pixel and time-series pixel data of the Mth pixel.
  • the image processing unit 8 does not perform the process of excluding the second frequency component data in units of frames, but performs the process of excluding the second frequency component data in units of time series pixel data. The processing in the image processing unit 8 will be described in more detail later.
  • the display control unit 9 causes the display unit 10 to display the moving image indicated by the moving image data D1 that has been subjected to predetermined processing by the image processing unit 8.
  • FIG. 3B is a block diagram showing a hardware configuration of the image processing apparatus 3 for gas detection shown in FIG. 3A.
  • the gas detection image processing apparatus 3 includes a CPU 3a, a RAM 3b, a ROM 3c, an HDD 3d, a liquid crystal display 3e, and a bus 3f for connecting them.
  • the liquid crystal display 3 e is hardware that implements the display unit 10. Instead of the liquid crystal display 3e, an organic EL display (Organic Light Emitting Diode display), a plasma display, or the like may be used.
  • the HDD 3d (or the ROM 3c instead of the HDD 3d) stores programs for realizing these functional blocks for the image processing unit 8 and the display control unit 9 shown in FIG. 3A.
  • the program that realizes the image processing unit 8 is a processing program that acquires moving image data D1 (image data) and performs the predetermined processing on the moving image data D1.
  • the program that realizes the display control unit 9 is a display control program that causes the display unit 10 to display an image (for example, the moving image indicated by the moving image data D1 that has been subjected to the predetermined processing). These programs may be stored in the ROM 3c instead of the HDD 3d.
  • the CPU 3a reads out the processing program and the display control program from the HDD 3d, expands them in the RAM 3b, and executes the expanded programs to realize these functional blocks.
  • the processing program and the display control program may be stored in advance in the HDD 3d, or a storage medium (for example, an external storage medium such as a magnetic disk or an optical disk) storing these programs is prepared.
  • the program stored in this storage medium may be stored in the HDD 3d.
  • the image processing unit 8 has the first to seventh modes as described below. Each of these aspects is constituted by a plurality of elements. Accordingly, the HDD 3d stores a program for realizing these elements.
  • the first aspect of the image processing unit 8 includes a first extraction unit, a first calculation unit, and a second calculation unit as elements.
  • the HDD 3d stores programs for realizing each of the first extraction unit, the first calculation unit, and the second calculation unit. These programs are expressed as a first extraction program, a first calculation program, and a second calculation program.
  • the first extraction unit and the first extraction program will be described as an example.
  • the first extraction unit extracts the time-series pixel data from the time-series pixel data by calculating a simple moving average in units of a first predetermined number of frames smaller than the K frames shown in FIG.
  • the obtained data is set as second frequency component data, and M second frequency component data corresponding to each of the M time-series pixel data shown in FIG. 4 is extracted.
  • the first extraction program extracts the time series pixel data from the time series pixel data by calculating a simple moving average in units of a first predetermined number of frames smaller than the K frames shown in FIG. This program is used as second frequency component data to extract M second frequency component data corresponding to each of the M time-series pixel data shown in FIG.
  • FIG. 5 A flowchart of these programs (first extraction program, first calculation program, and second calculation program) executed by the CPU 3a is FIG. 5 described later.
  • FIG. 5 is a flowchart of processing executed in the first mode of the image processing unit 8.
  • the first aspect of the image processing unit 8 functions as a first extraction unit.
  • the first extraction unit extracts the time-series pixel data from the time-series pixel data by calculating a simple moving average in units of a first predetermined number of frames smaller than the K frames shown in FIG.
  • the obtained data is set as second frequency component data, and M pieces of second frequency component data corresponding to each of the M pieces of time-series pixel data shown in FIG. 4 are extracted (step S1).
  • FIG. 6 is a graph showing the time-series pixel data D2 of the pixel corresponding to the point SP1 in FIG. 2A and the second frequency component data D3 extracted from the time-series pixel data D2.
  • the temperature indicated by the time-series pixel data D2 changes relatively abruptly (change period is relatively short), and the temperature indicated by the second frequency component data D3 changes relatively slowly (change). Is relatively long).
  • the vertical axis and horizontal axis of the graph are the same as the vertical axis and horizontal axis of the graph of FIG. 2A. That is, the vertical axis of the graph indicates temperature.
  • the horizontal axis of the graph indicates the frame order.
  • the first predetermined number of frames is, for example, 21 frames.
  • the breakdown is a target frame, 10 consecutive frames before this, and 10 consecutive frames after this.
  • the first predetermined number is not limited to 21 but may be more than 21 or less than 21 as long as the second frequency component data can be extracted from the time series pixel data.
  • the first mode of the image processing unit 8 functions as a first calculation unit.
  • the first calculation unit uses the data obtained by calculating the difference between the time-series pixel data and the second frequency component data extracted from the time-series pixel data as the first difference data, and M times M pieces of first difference data corresponding to each of the series pixel data are calculated (step S2).
  • FIG. 7 is a graph showing the first difference data D4.
  • the vertical axis and horizontal axis of the graph are the same as the vertical axis and horizontal axis of the graph of FIG. 2A.
  • the first difference data D4 is data obtained by calculating a difference between the time-series pixel data D2 and the second frequency component data D3 shown in FIG.
  • the minute amplitude repetition indicated by the first difference data D4 mainly indicates the sensor noise of the two-dimensional image sensor 6. Yes.
  • variations in the amplitude and waveform of the first difference data D4 are large.
  • the image processing unit 8 functions as a second calculation unit.
  • the second calculation unit calculates data indicating fluctuations in the first difference data, which is calculated by performing a predetermined calculation in units of the second predetermined number of frames on the first difference data.
  • As the first variation data a plurality (M) of first variation data corresponding to each of the plurality (M) of time-series pixel data shown in FIG. 4 is calculated.
  • There are two types of first variation data one is first variation data, and the other is first absolute value addition data.
  • the first variation data is used as the first variation data.
  • the first variation data is data indicating variation in the waveform of the first difference data.
  • the second calculation unit calculates a moving standard deviation in units of a second predetermined number of frames smaller than K frames for the first difference data.
  • the obtained data is set as first variation data, and M pieces of first variation data corresponding to each of the M pieces of time-series pixel data are calculated (step S3).
  • the movement variance may be calculated instead of the movement standard deviation.
  • FIG. 8 is a graph showing the first variation data D5.
  • the horizontal axis of the graph is the same as the horizontal axis of the graph of FIG. 2A.
  • the vertical axis of the graph indicates standard deviation.
  • the first variation data D5 is data indicating the moving standard deviation of the first difference data D4 shown in FIG.
  • the second predetermined number of frames is, for example, 21 frames. The second predetermined number may be the same as or different from the first predetermined number, as long as a statistically significant standard deviation is obtained.
  • the first mode of the image processing unit 8 can detect gas leakage.
  • the display control unit 9 shown in FIG. 3A may cause the display unit 10 to display that the gas leak has been detected.
  • the processing device 3 may notify that the gas leak has been detected by operating an alarm (speaker) (not shown). This display and notification of gas leak detection can also be applied to the second to seventh aspects of the image processing unit 8 described later.
  • the display control unit 9 sets the M pieces of first variation data obtained in step S3 as moving image data D1 that has been processed to exclude the second frequency component data, and displays the moving image indicated by the moving image data D1. 10 is displayed.
  • images of frames at time T1, time T2, time T3, and time T4 are shown in FIGS. 9 and 10 are image diagrams illustrating an example of an image processed in the first mode of the image processing unit 8 in time series. In the generation of these images, the coefficients that determine the magnification of the moving standard deviation are different, so that these images have different contrasts.
  • FIG. 9 shows an image I5, an image I6, an image I7, and an image I8 obtained by multiplying the standard deviation obtained in step S3 by 1000 times
  • FIG. 10 shows an image I9 obtained by multiplying the standard deviation obtained in step S3 by 5000 times.
  • I10, I11, and I12 are shown.
  • the image I5 and the image I9 are images obtained by processing the infrared image I1 shown in FIG.
  • the image I6 and the image I10 are images obtained by processing the infrared image I2 shown in FIG.
  • the image I7 and the image I11 are images obtained by processing the infrared image I3 shown in FIG.
  • the image I8 and the image I12 are images obtained by processing the infrared image I4 shown in FIG. 9 and 10, it can be seen that the gas is ejected at the point SP1.
  • the image processing unit 8 performs the process of removing the second frequency component data included in the moving image data D1, and the display control unit 9 performs this process.
  • the moving image indicated by the moving image data D1 is displayed on the display unit 10. Therefore, according to the first aspect of the image processing unit 8, even when the gas leak and the background temperature change occur in parallel and the background temperature change is larger than the temperature change due to the leaked gas, the gas leaks. Can be displayed as a video.
  • the second mode of the image processing unit 8 performs processing for removing the third frequency component data indicating high-frequency noise from the moving image data D1 in addition to the second frequency component data indicating the temperature change of the background.
  • the high frequency noise is mainly sensor noise of the two-dimensional image sensor 6.
  • the third frequency component data has a higher frequency than the first frequency component data indicating the temperature change due to the leaked gas.
  • the second aspect of the image processing unit 8 passes the first frequency component data indicating the temperature change due to the leaked gas, the second frequency component data having a frequency lower than the first frequency component data, and the first The third frequency component data having a higher frequency than the frequency component data is cut. Therefore, the second mode of the image processing unit 8 functions as a band pass filter.
  • FIG. 11 is a flowchart of processing executed in the second mode of the image processing unit 8.
  • the second mode of the image processing unit 8 functions as a first extraction unit that executes step S1, that is, extracts second frequency component data. This function has been described in the first aspect of the image processing unit 8.
  • the second aspect of the image processing unit 8 functions as a second extraction unit.
  • the second extraction unit calculates a simple moving average with a third predetermined number (for example, 3) frames smaller than the first predetermined number (for example, 21) as a unit for the time series pixel data.
  • the data extracted from the time-series pixel data is used as the third frequency component data, and M pieces of third frequency component data corresponding to each of the M pieces of time-series pixel data shown in FIG. S4).
  • FIG. 12 shows the time-series pixel data D2 of the pixel corresponding to the point SP1, the second frequency component data D3 extracted from the time-series pixel data D2, and the third frequency component data D6 extracted from the time-series pixel data D2. It is a graph which shows. The vertical axis and horizontal axis of the graph are the same as the vertical axis and horizontal axis of the graph of FIG. 2A.
  • FIG. 12 is a graph obtained by adding the third frequency component data D6 to the graph shown in FIG.
  • the temperature indicated by the time-series pixel data D2 changes relatively abruptly (change period is relatively short), and the temperature indicated by the second frequency component data D3 changes relatively slowly (change). Is relatively long).
  • the third frequency component data D6 substantially overlaps with the time series pixel data D2.
  • the third predetermined number of frames is, for example, 3 frames.
  • the breakdown is the target frame, the immediately preceding frame, and the immediately following frame.
  • the third predetermined number is not limited to 3 and may be more than 3 as long as the third frequency component can be extracted from the time-series pixel data.
  • the second mode of the image processing unit 8 functions as a first calculation unit that executes step S2, that is, calculates first difference data. This function has been described in the first aspect of the image processing unit 8.
  • the second aspect of the image processing unit 8 functions as a third calculation unit.
  • the third calculation unit uses the data obtained by calculating the difference between the time-series pixel data and the third frequency component data extracted from the time-series pixel data as the second difference data, and M times M pieces of second difference data corresponding to each of the series pixel data are calculated (step S5).
  • FIG. 13A is a graph showing the first difference data D4, and FIG. 13B is a graph showing the second difference data D7.
  • the vertical and horizontal axes of these graphs are the same as the vertical and horizontal axes of the graph of FIG. 2A.
  • the first difference data D4 is the same as the first difference data D4 shown in FIG. 7, and is obtained by calculating the difference between the time-series pixel data D2 and the second frequency component data D3 shown in FIG. It is data.
  • the second difference data D7 is data obtained by calculating a difference between the time-series pixel data D2 and the third frequency component data D6 shown in FIG.
  • the first difference data D4 includes first frequency component data (data indicating a temperature change due to leaked gas) and third frequency component data D6 (data indicating high-frequency noise).
  • the second difference data D7 does not include the first frequency component data but includes the third frequency component data D6.
  • the amplitude and waveform variations of the first difference data D4 vary after starting the gas ejection at the point SP1 (the 90th and subsequent frames). It is getting bigger.
  • the second difference data D7 does not include the first frequency component data, and thus does not occur.
  • the second difference data D7 repeats a minute amplitude. This is high frequency noise.
  • the first difference data D4 and the second difference data D7 are correlated, but not completely correlated. That is, in a certain frame, the value of the first difference data D4 may be plus and the value of the second difference data D7 may be minus or vice versa. For this reason, even if the difference between the first difference data D4 and the second difference data D7 is calculated, the third high-frequency component data D6 cannot be removed. In order to remove the third high-frequency component data D6, it is necessary to convert the first difference data D4 and the second difference data D7 into absolute values.
  • the second mode of the image processing unit 8 functions as a second calculation unit that executes Step S3, that is, calculates the first variation data. This function has been described in the first aspect of the image processing unit 8.
  • the image processing unit 8 functions as a fourth calculation unit.
  • the fourth calculation unit calculates data indicating the variation of the second difference data, which is calculated by performing a predetermined calculation in units of a fourth predetermined number of frames on the second difference data, As the second variation data, a plurality (M) of second variation data corresponding to each of the plurality (M) of time-series pixel data shown in FIG. 4 is calculated. There are two types of second variation data, one is second variation data, and the other is second absolute value addition data. In the second mode of the image processing unit 8, the second variation data is used as the second variation data.
  • the second variation data is data indicating variation in the waveform of the second difference data.
  • the fourth calculation unit is configured to move the second standard data in units of a fourth predetermined number (for example, 21) frames smaller than K frames. Data obtained by calculating the deviation is set as second variation data, and M second variation data corresponding to each of the M time-series pixel data are calculated (step S6). Instead of the moving standard deviation, moving variance may be used.
  • FIG. 14 is a graph showing the first variation data D5 and the second variation data D8.
  • the horizontal axis of the graph is the same as the horizontal axis of the graph of FIG. 2A.
  • the vertical axis of the graph indicates standard deviation.
  • FIG. 14 is a graph obtained by adding the second variation data D8 to the graph shown in FIG.
  • the first variation data D5 is data indicating the moving standard deviation of the first difference data D4 shown in FIG. 13A.
  • the second variation data D8 is data indicating the moving standard deviation of the second difference data D7 shown in FIG. 13B.
  • the number of frames used for the calculation of the moving standard deviation is 21 in both the first variation data D5 and the second variation data D8, but any number that can obtain a statistically significant standard deviation is available. Well, not limited to 21.
  • the first variation data D5 and the second variation data D8 are standard deviations, they do not include negative values. Therefore, the first variation data D5 and the second variation data D8 can be regarded as data obtained by converting the first difference data D4 and the second difference data D7 into absolute values.
  • the second mode of the image processing unit 8 functions as a fifth calculation unit.
  • the fifth calculation unit calculates a difference between the first variation data (an example of the first variation data) obtained from the same time-series pixel data and the second variation data (an example of the second variation data).
  • the data obtained in this way is set as third difference data, and M pieces of third difference data corresponding to each of the M pieces of time-series pixel data are calculated (step S7).
  • FIG. 15 is a graph showing the third difference data D9.
  • the horizontal axis of the graph is the same as the horizontal axis of the graph of FIG. 2A.
  • the vertical axis of the graph is standard deviation.
  • the third difference data D9 is data indicating a difference between the first variation data D5 and the second variation data D8 shown in FIG.
  • the display control unit 9 uses the M pieces of third difference data obtained in step S7 as moving image data D1 that has been subjected to the processing excluding the second frequency component data and the third frequency component data, and this moving image data D1. Is displayed on the display unit 10. In this movie, an image I15 of a frame at time T1, and images I13 and I14 related thereto are shown in FIG. 16, and an image I18 of a frame at time T2 and images I16 and I17 related thereto are shown. As shown in FIG. Both are images with a standard deviation of 5000 times.
  • FIG. 16 is an image diagram showing the image I15 of the frame at time T1 processed in the second mode of the image processing unit 8, and the images I13 and I14 related thereto.
  • the image I13 is an image of a frame at time T1 in the moving image indicated by the M pieces of first variation data (moving image data D1) obtained in step S3 of FIG.
  • the image I14 is a frame image at time T1 in the moving image indicated by the M pieces of second variation data (moving image data D1) obtained in step S6 of FIG.
  • a difference between the image I13 and the image I14 is an image I15.
  • FIG. 17 is an image diagram showing the image I18 of the frame at time T2 processed in the second mode of the image processing unit 8, and the images I16 and I17 related thereto.
  • the image I16 is an image of a frame at time T2 in the moving image indicated by the M pieces of first variation data (moving image data D1) obtained in step S3.
  • the image I17 is an image of a frame at time T2 in the moving image indicated by the M pieces of second variation data (moving image data D1) obtained in step S6.
  • a difference between the image I16 and the image I17 is an image I18.
  • the frequency of the third frequency component data is specified in advance (for example, 5 Hz or more), and the third frequency is determined from the time-series pixel data. Component data can be extracted. For this reason, even if the frequency of the 1st frequency component data and the 3rd frequency component data is near, only the 3rd frequency component data can be extracted in Step S4. This will be described in detail.
  • FIG. 18 is an image diagram showing an infrared image I19 in a state where gas is ejected at the point SP3. Image processing according to the second mode of the image processing unit 8 is not performed.
  • FIG. 19 is a graph showing time-series pixel data D10 of the pixel corresponding to the point SP3. The vertical axis and horizontal axis of the graph are the same as the vertical axis and horizontal axis of the graph of FIG. 2A.
  • gas ejection starts at the point SP3. No background temperature change has occurred.
  • the time T6 when the infrared image I19 is taken is after the time T5.
  • Time-series pixel data D10 before time T5 indicates third frequency component data.
  • the time-series pixel data D10 after time T5 indicates data obtained by combining the first frequency component data and the third frequency component data. Since the frequency of the first frequency component data is close to the frequency of the third frequency component data, there is no significant difference in the waveform of the time-series pixel data before and after time T5. For this reason, in the infrared image I19 shown in FIG. 18 in which the image processing according to the second mode of the image processing unit 8 is not performed, it is not known that gas is ejected at the point SP3.
  • FIG. 20 is an image diagram showing the image I22 of the frame at time T6, the image I20 and the image I21 related thereto, which have been image-processed in the second mode of the image processing unit 8.
  • the image I20 is an image forming a moving image indicated by the M pieces of first variation data (moving image data D1) obtained in step S3 of FIG.
  • the image I21 is an image constituting a moving image indicated by the M pieces of second variation data (moving image data D1) obtained in step S6 of FIG.
  • a difference between the image I20 and the image I21 is an image I22.
  • a white spot at the center of the image I22 indicates gas ejection.
  • FIG. 21 is a flowchart of processing executed in the third mode of the image processing unit 8.
  • the third mode of the image processing unit 8 is different from the second mode of the image processing unit 8 shown in FIG. 11 in that the first absolute value data is used instead of the process of calculating the first variation data (step S3). Is calculated (step S8), and instead of the process of calculating the second variation data (step S6), the process of calculating the second absolute value data is performed (step S9).
  • the third mode of the image processing unit 8 functions as a second calculation unit.
  • the second calculation unit uses the data indicating the absolute values of the M pieces of first difference data obtained in step S2 shown in FIG. 21 as the first absolute value data, and uses the M time series shown in FIG. M pieces of first absolute value data corresponding to each of the pixel data are calculated (step S8).
  • the third aspect of the image processing unit 8 functions as a fourth calculation unit.
  • the fourth calculation unit uses the data indicating the absolute values of the M second difference data obtained in step S5 illustrated in FIG. 21 as the second absolute value data, and each of the M time-series pixel data. M pieces of second absolute value data corresponding to are calculated (step S9).
  • FIG. 22 is a graph showing the first absolute value data D11 and the second absolute value data D12.
  • the vertical axis and horizontal axis of the graph are the same as the vertical axis and horizontal axis of the graph of FIG. 2A.
  • the first absolute value data D11 is data indicating the absolute value of the first difference data D4 shown in FIG. 13A.
  • the second absolute value data D12 is data indicating the absolute value of the second difference data D7 shown in FIG. 13B.
  • the third mode of the image processing unit 8 functions as a second calculation unit and a fourth calculation unit.
  • the second calculation unit performs a moving addition on the first absolute value data in units of a second predetermined number of frames smaller than a plurality of frames, thereby obtaining first absolute value addition data (first An example of fluctuation data) is obtained.
  • the fourth calculation unit performs second addition on the second absolute value data by using a second predetermined number of frames smaller than a plurality of frames as a unit, thereby obtaining second absolute value addition data (second An example of fluctuation data) is obtained.
  • FIG. 23 is a graph showing the first absolute value addition data D14 and the second absolute value addition data D15.
  • the vertical axis and horizontal axis of the graph are the same as the vertical axis and horizontal axis of the graph shown in FIG. 2A.
  • the first absolute value addition data D14 is an addition to the first absolute value data D11 shown in FIG. 22 in units of a predetermined number of frames (for example, 21) smaller than the K frames shown in FIG. This is the data obtained.
  • the second calculation unit calculates M first absolute value addition data corresponding to each of the M time-series pixel data.
  • the second absolute value addition data D15 is obtained by adding the second absolute value data D12 shown in FIG. 22 in units of a predetermined number of frames (for example, 21) smaller than K frames. Data.
  • the fourth calculation unit calculates M second absolute value addition data corresponding to each of the M time-series pixel data. In the simple moving average in units of 21 frames, the added value is divided by 21. However, in the addition in
  • the third mode of the image processing unit 8 functions as a fifth calculation unit.
  • the fifth calculation unit includes first absolute value addition data (an example of first variation data) and second absolute value addition data (an example of second variation data) obtained from the same time-series pixel data.
  • the data obtained by calculating the difference is used as the third difference data, and M pieces of third difference data corresponding to each of the M pieces of time-series pixel data are calculated (step S10).
  • the display control unit 9 sets the M pieces of third difference data obtained in step S10 as moving image data D1 that has been subjected to the processing excluding the second frequency component data and the third frequency component data, and this moving image data D1. Is displayed on the display unit 10. According to the third aspect of the image processing unit 8, high frequency noise can be removed from the moving image, so that even a slight gas leak can be displayed on the display unit 10.
  • FIG. 25 is a flowchart of processing executed in the fourth mode of the image processing unit 8.
  • the fourth mode of the image processing unit 8 is different from the third mode of the image processing unit 8 shown in FIG. 21 in that the processes of step S4, step S5, step S9, and step S10 are not performed. Therefore, the fourth mode of the image processing unit 8 excludes the second frequency component data without performing the process of excluding the third frequency component data, like the first mode of the image processing unit 8 shown in FIG. Process.
  • the fourth mode of the image processing unit 8 is one mode of the image processing unit 8 that performs processing for removing the second frequency component data from the moving image data D1.
  • a fifth mode of the image processing unit 8 will be described. This is one aspect of the image processing unit 8 that performs processing for removing the second frequency component data from the moving image data D1. Moreover, according to the 5th aspect of the image process part 8, since a high frequency noise can be remove
  • FIG. 1 A fifth mode of the image processing unit 8 will be described.
  • FIG. 26 is a flowchart of processing executed in the fifth mode of the image processing unit 8.
  • the fifth aspect of the image processing unit 8 extracts first frequency component data from time series pixel data.
  • the first frequency component data is frequency component data indicating a temperature change due to leaked gas.
  • the fifth aspect of the image processing unit 8 functions as an extraction unit.
  • the extraction unit uses a weighting coefficient that can extract the first frequency component data for the time-series pixel data, and uses a predetermined number (first predetermined number) of frames that is smaller than the number of K frames illustrated in FIG.
  • the data extracted from the time-series pixel data by calculating the weighted moving average as a unit is set as the first frequency component data, and M pieces of M-th series data corresponding to each of the M pieces of time-series pixel data shown in FIG. 1 frequency component data is extracted (step S11).
  • FIG. 27 is an explanatory diagram for explaining a bandpass filter from which the first frequency component data can be extracted.
  • the horizontal axis indicates the frame, and the vertical axis indicates the weighting coefficient.
  • the first predetermined number of frames is, for example, 99 frames.
  • the breakdown is a target frame, 49 consecutive frames before this, and 49 consecutive frames after this.
  • the first predetermined number may be any number that can extract the first frequency component from the time-series pixel data, and may be larger or smaller than 99.
  • FIG. 28 is a graph showing the extracted first frequency component data D16.
  • the vertical axis and horizontal axis of the graph are the same as the vertical axis and horizontal axis of the graph of FIG. 2A.
  • the first frequency component data D16 is data extracted from the time-series pixel data of the pixel corresponding to the point SP1 shown in FIG. 2A.
  • the fifth mode of the image processing unit 8 functions as a calculation unit.
  • the calculation unit uses the data indicating the fluctuation of the first frequency component obtained based on the first frequency component data as fluctuation data, and a plurality of (M) pieces of time-series pixel data corresponding to each of the time-series pixel data. Calculate (M) variation data.
  • variation data is used as the variation data. That is, the calculation unit uses, as variation data, data obtained by calculating a moving standard deviation with a second predetermined number of frames smaller than K frames as a unit for the first frequency component data. M pieces of variation data corresponding to each piece of time-series pixel data are calculated (step S12). Note that the movement variance may be calculated instead of the movement standard deviation.
  • FIG. 29 is a graph showing the variation data D17.
  • the horizontal axis of the graph is the same as the horizontal axis of the graph of FIG. 2A.
  • the vertical axis of the graph indicates standard deviation.
  • the variation data D17 is data indicating the moving standard deviation of the first frequency component data D16 shown in FIG.
  • the second predetermined number of frames is, for example, 21 frames.
  • the second predetermined number is 21, but is not limited to 21 as long as a statistically significant standard deviation is obtained.
  • the display control unit 9 uses the M pieces of variation data obtained in step S12 as moving image data D1 that has been processed to exclude the second frequency component data and the third frequency component data, and is indicated by the moving image data D1.
  • the moving image is displayed on the display unit 10.
  • a sixth aspect of the image processing unit 8 will be described. This is one aspect of the image processing unit 8 that performs processing for removing the second frequency component data from the moving image data D1. Moreover, according to the 6th aspect of the image process part 8, since a high frequency noise can be remove
  • FIG. 1 A sixth aspect of the image processing unit 8 that performs processing for removing the second frequency component data from the moving image data D1.
  • the flowchart of the process executed in the second mode of the image processing unit 8 shown in FIG. 11 can be applied to the flowchart of the process executed in the sixth mode of the image processing unit 8, or the image processing shown in FIG.
  • the flowchart of the process executed in the third mode of the unit 8 can also be applied.
  • the process of Step S1 and the process of Step S2 are processed together, and the process of Step S4 and the process of Step S5 are processed together.
  • the sixth aspect of the image processing unit 8 functions as a first calculation unit.
  • the first calculation unit uses, as a unit, a first predetermined number of frames less than K frames shown in FIG. 4 using a weighting coefficient that can extract the second frequency component data for the time-series pixel data.
  • the data obtained by calculating the weighted moving average is first difference data
  • the first difference data is a difference between the time-series pixel data and the second frequency component data, and is M time-series.
  • M pieces of first difference data corresponding to each of the pixel data are calculated (a process in which the process of step S1 and the process of step S2 are combined).
  • the sixth aspect of the image processing unit 8 functions as a third calculation unit.
  • the third calculation unit can extract the third frequency component data from the time-series pixel data by using the data having a higher frequency than the first frequency component data and indicating the high frequency noise as the third frequency component data.
  • the frequency of the second frequency component data is 0.5 Hz or less, and the frequency of the third frequency component data is 5 Hz or more.
  • FIG. 30 is an explanatory diagram illustrating a filter that can extract the first difference data.
  • FIG. 31 is an explanatory diagram illustrating a filter that can extract the second difference data. 30 and 31, the horizontal axis indicates the frame, and the vertical axis indicates the weighting coefficient.
  • the first predetermined number and the third predetermined number of frames are, for example, 99 frames.
  • the breakdown is a target frame, 49 consecutive frames before this, and 49 consecutive frames after this.
  • step S3 The subsequent processing executed in the sixth mode of the image processing unit 8 is the same as step S3, step S6, and step S7 when applying the flowchart shown in FIG. 11, and when applying the flowchart shown in FIG. This is the same as Step S8, Step S9, and Step S10.
  • the sixth mode of the image processing unit 8 has a modification.
  • the modification includes the first calculation unit described above, but does not include the third calculation unit.
  • the flowchart of the processing executed in the modification can be applied to the flowchart of the processing executed in the first mode of the image processing unit 8 shown in FIG. 5, or the fourth mode of the image processing unit 8 shown in FIG. It is also possible to apply a flowchart of processing executed in the above.
  • the process of step S1 and the process of step S2 are processed together.
  • the subsequent processing is the same as step S3 when the flowchart shown in FIG. 5 is applied, and is the same as step S8 when the flowchart shown in FIG. 25 is applied.
  • the seventh aspect of the image processing unit 8 will be described. This is one aspect of the image processing unit 8 that performs processing for removing the second frequency component data from the moving image data D1. Moreover, according to the 7th aspect of the image process part 8, since a high frequency noise can be remove
  • FIG. 1 is one aspect of the image processing unit 8 that performs processing for removing the second frequency component data from the moving image data D1. Moreover, according to the 7th aspect of the image process part 8, since a high frequency noise can be remove
  • FIG. 32 is a flowchart of processing executed in the seventh mode of the image processing unit 8.
  • the seventh aspect of the image processing unit 8 uses the Fourier transform and the inverse Fourier transform to remove the second frequency component data and the third frequency component data from the time series pixel data.
  • the seventh aspect of the image processing unit 8 functions as a first calculation unit.
  • the first calculation unit uses data obtained by performing Fourier transform on the time series pixel data as Fourier transform data, and M Fouriers corresponding to each of the M time series pixel data shown in FIG. Conversion data is calculated (step S21).
  • the seventh aspect of the image processing unit 8 functions as a second calculation unit.
  • the second calculation unit uses the data obtained by removing the second frequency component data and the third frequency component data from the Fourier transform data as specific frequency component cut data, and corresponds to each of the M time-series pixel data. M pieces of specific frequency component cut data are calculated (step S22).
  • the frequency of the second frequency component data is, for example, 0.5 Hz or less
  • the frequency of the third frequency component data is, for example, 5 Hz or more.
  • the seventh aspect of the image processing unit 8 functions as a third calculation unit.
  • the third calculation unit uses, as inverse Fourier transform data, data obtained by inverse Fourier transform of the specific frequency component cut data, and M Fourier inverses corresponding to each of the M time-series pixel data. Conversion data is calculated (step S23).
  • FIG. 33 is a graph showing the inverse Fourier transform data D18. The vertical axis and horizontal axis of the graph are the same as the vertical axis and horizontal axis of the graph of FIG. 2A.
  • the inverse Fourier transform data D18 is data calculated from the time-series pixel data of the pixels corresponding to the point SP1 shown in FIG. 2A.
  • FIG. 33 shows the result of the processing of step S21, step S22, and step S23 with the number of frames K being 512.
  • the seventh aspect of the image processing unit 8 functions as a fourth calculation unit.
  • the fourth calculation unit uses, as fluctuation data, data indicating fluctuations of the Fourier inverse transform data obtained based on the inverse Fourier transform data, and a plurality of fluctuation data corresponding to each of the plurality of Fourier inverse transform data. calculate.
  • variation data is used as the variation data. That is, the fourth calculation unit uses, as variation data, data obtained by calculating a moving standard deviation in units of a predetermined number of frames smaller than K frames for inverse Fourier transform data, M pieces of variation data corresponding to each of the inverse Fourier transform data are calculated (step S24). Note that the movement variance may be calculated instead of the movement standard deviation.
  • FIG. 34 is a graph showing the variation data D19.
  • the horizontal axis of the graph is the same as the horizontal axis of the graph of FIG. 2A.
  • the vertical axis of the graph indicates standard deviation.
  • the variation data D19 is data indicating the moving standard deviation of the inverse Fourier transform data D18 shown in FIG.
  • the predetermined number of frames is, for example, 21 frames.
  • the predetermined number is 21, but may be any number that can obtain a statistically significant standard deviation, and is not limited to 21.
  • the display control unit 9 sets the M pieces of variation data obtained in step S24 as moving image data D1 that has been processed to exclude the second frequency component data and the third frequency component data, and the moving image indicated by the moving image data D1 Is displayed on the display unit 10.
  • the image processing unit 8 performs image processing that can show an image of a gas leak, and the display control unit 9 displays the image.
  • the processed image is displayed on the display unit 10.
  • the present invention is not limited to this configuration, and includes the image processing unit 8. However, the configuration may not include the display control unit 8 and the display unit 10, or may include the image processing unit 8 and the display control unit 9. 10 may be provided.
  • the gas detection image processing apparatus performs image processing on an infrared image obtained by photographing a gas leak monitoring target at a plurality of times.
  • An image processing unit for removing data from the data is provided.
  • the image data includes first frequency component data indicating a temperature change due to the leaked gas.
  • the image indicated by the first frequency component data indicates the state of gas leakage (in other words, the region where the leaked gas is drifting).
  • the image data includes, in addition to the first frequency component data, second frequency component data having a frequency lower than that of the first frequency component data and indicating a background temperature change.
  • the image indicated by the first frequency component data becomes invisible due to the image indicated by the second frequency component data (background light change).
  • the image processing unit performs a process of excluding the second frequency component data included in the image data. Therefore, according to the gas detection image processing apparatus according to the first aspect of the present invention, the gas leakage and the background temperature change occur in parallel, and the background temperature change is more than the temperature change caused by the leaked gas. Even if it is large, it is possible to perform image processing that can show an image of a gas leak.
  • the image processing unit performs processing for removing third frequency component data having a higher frequency than the first frequency component data and indicating high-frequency noise from the image data.
  • the image data is moving image data having a structure in which a plurality of frames are arranged in time series, and the image processing unit arranges pixel data of pixels at the same position in the plurality of frames in time series.
  • the data is used as time-series pixel data, and the process of excluding the second frequency component data is performed on each of the plurality of time-series pixel data constituting the moving image data.
  • the process of removing the second frequency component data in units of time series pixel data is performed instead of the process of removing the second frequency component data in units of frames.
  • the time series pixel data is data in which pixel data of pixels at the same position in a plurality of frames are arranged in time series.
  • the number of time-series pixel data is the same as the number of pixels constituting one frame, and moving image data is composed of the plurality of time-series pixel data.
  • the gas detection image processing apparatus can be divided into the following three technical ideas.
  • the first is a technical idea that excludes the second frequency component data or the second frequency component data and the third frequency component data from the image data.
  • the second is a technical idea of extracting first frequency component data from image data.
  • the third is a technical idea using Fourier transform.
  • the first technical idea is as follows.
  • the image processing unit uses, as the second frequency component data, data extracted by performing first predetermined processing on the time-series pixel data, and corresponds to each of the plurality of time-series pixel data. Obtained by calculating a difference between the time-series pixel data and the second frequency component data extracted from the time-series pixel data. And a first calculation unit that calculates a plurality of the first difference data corresponding to each of the plurality of time-series pixel data. This corresponds to the first to fourth aspects of the image processing unit.
  • the first predetermined processing calculates the moving average of the time-series pixel data from the time-series pixel data by calculating a moving average in units of a first predetermined number of the frames that is smaller than a plurality of the frames. This is a process of extracting frequency component data of 2. This corresponds to the first to fourth aspects of the image processing unit.
  • the image processing unit uses a weighting coefficient capable of extracting the second frequency component data for the time-series pixel data, and weights the first predetermined number of frames smaller than a plurality of the frames.
  • Data obtained by calculating a moving average is defined as first difference data, and the first difference data is a difference between the time-series pixel data and the second frequency component data,
  • a first calculation unit configured to calculate a plurality of the first difference data corresponding to each of the series pixel data; This corresponds to the sixth aspect of the image processing unit.
  • the image processing unit is a data indicating a variation of the first difference data, which is calculated by performing a predetermined operation on the first difference data in units of a second predetermined number of frames. Is a first variation data, and further includes a second calculation unit that calculates a plurality of the first variation data corresponding to each of the plurality of time-series pixel data. This corresponds to the first to fourth and sixth aspects of the image processing unit.
  • the first variation data is first variation data
  • the second calculation unit calculates the second predetermined number of frames less than a plurality of the frames for the first difference data.
  • the first variation data is obtained by calculating a moving standard deviation or moving variance as a unit. This corresponds to the first aspect, the second aspect, and the sixth aspect of the image processing unit.
  • the first variation data is first absolute value addition data
  • the second calculation unit calculates an absolute value of the first difference data obtained based on the first difference data.
  • the indicated data is first absolute value data
  • the first absolute value data is subjected to moving addition in units of the second predetermined number of frames smaller than a plurality of the frames.
  • the absolute value addition data of 1 is obtained. This corresponds to the third aspect, the fourth aspect, and the sixth aspect of the image processing unit.
  • the image processing unit uses, as third frequency component data, data extracted by performing second predetermined processing on the time-series pixel data, and the third frequency component data is the first frequency component data.
  • a second extraction unit that extracts a plurality of the third frequency component data corresponding to each of the plurality of time-series pixel data, the data having a frequency higher than that of the frequency component data and indicating high-frequency noise;
  • Data obtained by calculating the difference between the time-series pixel data and the third frequency component data extracted from the time-series pixel data is defined as second difference data, and each of the plurality of time-series pixel data
  • a third calculation unit that calculates a plurality of the corresponding second difference data, and a predetermined calculation in units of a fourth predetermined number of frames for the second difference data.
  • the data indicating the variation of the second difference data calculated by the second variation data is used as second variation data, and a plurality of second variation data corresponding to each of the plurality of time-series pixel data is calculated. And a data obtained by calculating a difference between the first variation data and the second variation data obtained from the same time-series pixel data as a third difference data, A fifth calculation unit that calculates a plurality of the third difference data corresponding to each of the time-series pixel data. This corresponds to the second mode and the third mode of the image processing unit.
  • the second predetermined processing extracts the third frequency component data from the time-series pixel data by calculating a moving average in units of a third predetermined number of frames for the time-series pixel data. It is processing to do. This corresponds to the second mode and the third mode of the image processing unit. For example, the third predetermined number is smaller than the first predetermined number.
  • the image processing unit uses third frequency component data as data having a frequency higher than that of the first frequency component data and indicating high-frequency noise, and the third frequency component data with respect to the time-series pixel data.
  • Data obtained by calculating a weighted moving average in units of a third predetermined number of frames smaller than a plurality of the frames using a weighting factor that can be extracted is defined as second difference data, and the second difference data
  • the difference data is a difference between the time-series pixel data and the third frequency component data, and a third calculation for calculating the plurality of second difference data corresponding to each of the plurality of time-series pixel data.
  • the second variation data is second variation data
  • the fourth calculation unit calculates the fourth predetermined number of frames less than the plurality of frames with respect to the second difference data.
  • the second variation data is obtained by calculating a moving standard deviation or moving variance as a unit. This corresponds to the second aspect and the sixth aspect of the image processing unit.
  • the second variation data is second absolute value addition data
  • the fourth calculation unit calculates an absolute value of the second difference data obtained based on the second difference data.
  • the data shown is second absolute value data, and the second absolute value data is moved and added in units of the fourth predetermined number of frames smaller than the plurality of frames.
  • the absolute value addition data of 2 is obtained. This corresponds to the third aspect and the sixth aspect of the image processing unit.
  • the second technical idea is as follows.
  • the image processing unit uses a weighting coefficient capable of extracting the first frequency component data for the time-series pixel data, and uses a weighted moving average in units of a predetermined number of frames smaller than the number of frames.
  • the data extracted from the time-series pixel data by calculating is used as the first frequency component data, and a plurality of the first frequency component data corresponding to each of the plurality of time-series pixel data is extracted.
  • Data indicating fluctuations of the first frequency component obtained based on the extraction unit and the first frequency component data is defined as fluctuation data, and a plurality of time series pixel data corresponding to each of the plurality of time-series pixel data
  • a calculating unit that calculates the variation data. This corresponds to the fifth aspect of the image processing unit.
  • the third technical idea is as follows.
  • the image processing unit calculates Fourier transform data obtained by performing Fourier transform on the time series pixel data, and calculates a plurality of Fourier transform data corresponding to each of the plurality of time series pixel data. And a plurality of the specific items corresponding to each of the plurality of time-series pixel data, wherein the first calculation unit and the data obtained by removing the second frequency component data from the Fourier transform data are defined as specific frequency component cut data.
  • a second calculation unit that calculates frequency component cut data, and data obtained by performing Fourier inverse transform on the specific frequency component cut data are defined as Fourier inverse transform data, and each of the plurality of time-series pixel data
  • the data indicating the variation of the inverse Fourier transform data comprises a change data, a fourth calculating portion that calculates a plurality of the variation data corresponding to each of the plurality of the inverse Fourier transform data. This corresponds to the seventh aspect of the image processing unit.
  • the second calculation unit removes the third frequency component data having a frequency higher than the first frequency component data and indicating high-frequency noise, and the second frequency component data from the Fourier transform data.
  • the data is used as the specific frequency component cut data, and a plurality of specific frequency component cut data corresponding to each of the plurality of time-series pixel data is calculated. This corresponds to the seventh aspect of the image processing unit.
  • the gas detection image processing method includes a first step of acquiring image data indicating an infrared image obtained by photographing a monitoring target of gas leakage at a plurality of times, and a leaked gas. And a second step of performing processing for removing, from the image data, second frequency component data having a frequency lower than that of the first frequency component data indicating a temperature change and indicating a temperature change of the background to be monitored. .
  • the gas detection image processing method according to the second aspect of the present embodiment has the same operational effects as the gas detection image processing apparatus according to the first aspect of the present embodiment.
  • the gas detection image processing program includes a first step of acquiring image data indicating an infrared image obtained by photographing a gas leak monitoring target at a plurality of times, and a leaked gas.
  • the gas detection image processing program according to the third aspect of the present embodiment has the same operational effects as the gas detection image processing apparatus according to the first aspect of the present embodiment.
  • the present invention it is possible to provide a gas detection image processing apparatus, a gas detection image processing method, and a gas detection image processing program.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Examining Or Testing Airtightness (AREA)
  • Radiation Pyrometers (AREA)

Abstract

ガス検知用画像処理装置は、ガス漏れの監視対象を複数の時刻で撮影した赤外画像に対して画像処理をする。ガス検知用画像処理装置は、漏れたガスによる温度変化を示す第１の周波数成分データよりも周波数が低く、監視対象の背景の温度変化を示す第２の周波数成分データを、赤外画像を示す画像データから除く処理をする画像処理部を備える。

Description

ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
　本発明は、赤外画像を利用してガスを検知する技術に関する。
　ガス漏れが発生したとき、漏れたガスが漂っている領域では、わずかな温度変化が生じる。この原理を利用してガス検知する技術として、赤外画像を利用したガス検知が知られている。これによれば、ガスが漏れている様子（言い換えれば、漏れたガスが漂っている領域）を示す動画をリアルタイムで表示できるので、直感的にガス漏れの範囲を把握することができる。
　赤外画像を利用したガス検知として、例えば、特許文献１は、検査対象領域を撮影する赤外線カメラと、赤外線カメラにより撮影された赤外線画像を処理する画像処理部と、を有し、画像処理部は、時系列に並べられた複数の赤外線画像からガス漏れによる動的なゆらぎを抽出するゆらぎ抽出部を有するガス漏れ検出装置を開示している。
　ガス漏れが発生したとき、漏れたガスによる温度変化は、僅かである（例えば、０．５℃）。ガス漏れの監視対象（例えば、ガス輸送管どうしが接続されている箇所）が屋外にある場合、雲が移動して太陽光を遮ったり、太陽光を遮っている雲が移動したりすると、漏れたガスによる温度変化と比較して、監視対象の背景の温度は、急激に大きく変化する（例えば、４℃）。
　ガス漏れと背景の温度変化とが並行して発生した場合、漏れたガスが漂っている領域では、ガス漏れによる温度変化と背景の温度変化とが重なることになる。本発明者は、このような場合、背景の温度変化が漏れたガスによる温度変化よりも大きければ、背景の温度変化を考慮しなければ、ガスが漏れている様子を赤外画像で表示できない、すなわち、ガス検知が困難であることを見出した。
特開２０１２－５８０９３号公報
　本発明は、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合でも、ガスが漏れている様子を画像で示すことができる画像処理をできるガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラムを提供することを目的とする。
　上記目的を達成する本発明の第１の局面に係るガス検知用画像処理装置は、ガス漏れの監視対象を複数の時刻で撮影した赤外画像に対して画像処理をするガス検知用画像処理装置であって、漏れたガスによる温度変化を示す第１の周波数成分データよりも周波数が低く、前記監視対象の背景の温度変化を示す第２の周波数成分データを、前記赤外画像を示す画像データから除く処理をする画像処理部を備える。
　上記並びにその他の本発明の目的、特徴及び利点は、以下の詳細な記載と添付図面から明らかになるであろう。
ガス漏れと背景の温度変化とが並行して発生している状態で、屋外の試験場所を撮影した赤外画像を時系列で示す画像図である。 試験場所の地点ＳＰ１の温度変化を示すグラフである。 試験場所の地点ＳＰ２の温度変化を示すグラフである。 本実施形態に係るガス検知装置の構成を示すブロック図である。 図３Ａに示すガス検知用画像処理装置のハードウェア構成を示すブロック図である。 時系列画素データを説明する説明図である。 画像処理部の第１態様で実行される処理のフローチャートである。 地点ＳＰ１に対応する画素の時系列画素データＤ２、及び、この時系列画素データＤ２から抽出された第２の周波数成分データＤ３を示すグラフである。 第１の差分データＤ４を示すグラフである。 第１のばらつきデータＤ５を示すグラフである。 画像処理部の第１態様で処理された画像の一例を時系列で示す画像図である。 画像処理部の第１態様で処理された画像の他の例を時系列で示す画像図である。 画像処理部の第２態様で実行される処理のフローチャートである。 地点ＳＰ１に対応する画素の時系列画素データＤ２、時系列画素データＤ２から抽出された第２の周波数成分データＤ３、時系列画素データＤ２から抽出された第３の周波数成分データＤ６を示すグラフである。 第１の差分データＤ４を示すグラフである。 第２の差分データＤ７を示すグラフである。 第１のばらつきデータＤ５及び第２のばらつきデータＤ８を示すグラフである。 第３の差分データＤ９を示すグラフである。 画像処理部の第２態様で画像処理された、時刻Ｔ１のフレームの画像Ｉ１５、並びに、これに関係する画像Ｉ１３及び画像Ｉ１４を示す画像図である。 画像処理部の第２態様で画像処理された、時刻Ｔ２のフレームの画像Ｉ１８、並びに、これに関係する画像Ｉ１６及び画像Ｉ１７を示す画像図である。 地点ＳＰ３でガスを噴出している状態の赤外画像を示す画像図である。 地点ＳＰ３に対応する画素の時系列画素データＤ１０を示すグラフである。 画像処理部の第２態様で画像処理された、時刻Ｔ６のフレームの画像Ｉ２２、並びに、これに関係する画像Ｉ２０及び画像Ｉ２１を示す画像図である。 画像処理部の第３態様で実行される処理のフローチャートである。 第１の絶対値データＤ１１及び第２の絶対値データＤ１２を示すグラフである。 第１の絶対値加算データＤ１４及び第２の絶対値加算データＤ１５を示すグラフである。 第３の差分データＤ１３を示すグラフである。 画像処理部の第４態様で実行される処理のフローチャートである。 画像処理部の第５態様で実行される処理のフローチャートである。 第１の周波数成分データを抽出できるバンドパスフィルターを説明する説明図である。 抽出された第１の周波数成分データＤ１６を示すグラフである。 ばらつきデータＤ１７を示すグラフである。 第１の差分データを抽出できるフィルターを説明する説明図である。 第２の差分データを抽出できるフィルターを説明する説明図である。 画像処理部の第７態様で実行される処理のフローチャートである。 フーリエ逆変換データＤ１８を示すグラフである。 ばらつきデータＤ１９を示すグラフである。
　以下、図面に基づいて本発明の実施形態を詳細に説明する。各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。
　本発明者は、赤外画像を利用したガス検知において、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合、背景の温度変化を考慮しなければ、ガスが漏れている様子を赤外画像で表示できないことを見出した。これについて詳しく説明する。
　図１は、ガス漏れと背景の温度変化とが並行して発生している状態で、屋外の試験場所を撮影した赤外画像を時系列で示す画像図である。これらは、赤外線カメラで動画を撮影して得られた赤外画像である。試験場所には、ガスを噴出させることができる地点ＳＰ１がある。地点ＳＰ１と比較するために、ガスが噴出しない地点ＳＰ２を示している。
　赤外画像Ｉ１は、太陽光が雲で遮られる直前の時刻Ｔ１に撮影された試験場所の赤外画像である。赤外画像Ｉ２は、時刻Ｔ１から５秒後の時刻Ｔ２に撮影された試験場所の赤外画像である。時刻Ｔ２は、太陽光が雲で遮られているので、時刻Ｔ１と比べて背景の温度が下がっている。
　画像Ｉ３は、時刻Ｔ１から１０秒後の時刻Ｔ３に撮影された試験場所の赤外画像である。時刻Ｔ２から時刻Ｔ３まで、太陽光が雲で遮られた状態が継続されているので、時刻Ｔ３は、時刻Ｔ２と比べて背景の温度が下がっている。
　画像Ｉ４は、時刻Ｔ１から１５秒後の時刻Ｔ４に撮影された試験場所の赤外画像である。時刻Ｔ３から時刻Ｔ４まで、太陽光が雲で遮られた状態が継続されているので、時刻Ｔ４は、時刻Ｔ３と比べて背景の温度が下がっている。
　時刻Ｔ１から時刻Ｔ４までの１５秒間で、背景の温度が約４℃下がっている。このため、画像Ｉ４は、画像Ｉ１と比べて全体的に暗くなっており、背景の温度が低下していることが分かる。
　時刻Ｔ１後かつ時刻Ｔ２前の時刻に、地点ＳＰ１において、ガスの噴出を開始させている。噴出されたガスによる温度変化は、わずかである（約０．５℃）。このため、時刻Ｔ２、時刻Ｔ３、時刻Ｔ４では、地点ＳＰ１でガスが噴出しているが、噴出されたガスによる温度変化よりも、背景の温度変化の方がはるかに大きいので、画像Ｉ２、画像Ｉ３、画像Ｉ４を見ても地点ＳＰ１からガスが出ている様子が分からない。
　図２Ａは、試験場所の地点ＳＰ１の温度変化を示すグラフであり、図２Ｂは、試験場所の地点ＳＰ２の温度変化を示すグラフである。これらのグラフの縦軸は、温度を示している。これらのグラフの横軸は、フレームの順番を示している。例えば、４５とは、４５番目のフレームを意味する。フレームレートは、３０ｆｐｓである。よって、１番目のフレームから４５０番目のフレームまでの時間は、１５秒となる。
　地点ＳＰ１の温度変化を示すグラフと地点ＳＰ２の温度変化を示すグラフとは異なる。地点ＳＰ２ではガスが噴出していないので、地点ＳＰ２の温度変化は、背景の温度変化を示している。これに対して、地点ＳＰ１では、ガスが噴出しているので、地点ＳＰ１には、ガスが漂っている。このため、地点ＳＰ１の温度変化は、背景の温度変化と漏れたガスによる温度変化とを加算した温度変化を示している。
　図２Ａに示すグラフからは、地点ＳＰ１でガスが噴出していることが分かる（すなわち、地点ＳＰ１でガス漏れが発生していることが分かる）。しかし、上述したように、図１に示す赤外画像からは、地点ＳＰ１でガスが噴出していることが分からない（すなわち、地点ＳＰ１でガス漏れが発生していることが分からない）。本実施形態では、背景の温度変化を考慮して赤外画像を画像処理することにより、ガスが漏れている様子を画像で示すことができるようにする。
　図３Ａは、本実施形態に係るガス検知システム１の構成を示すブロック図である。ガス検知システム１は、赤外線カメラ２とガス検知用画像処理装置３とを備える。
　赤外線カメラ２は、ガス漏れの監視対象（例えば、ガス輸送管どうしが接続されている箇所）、及び、背景の赤外画像の動画を撮影し、動画を示す動画データＤ１を生成する。動画データＤ１は、赤外画像の画像データの一例である。動画に限らず、赤外線カメラ２によって、ガス漏れの監視対象及び背景の赤外画像を複数の時刻で撮影してもよい。赤外線カメラ２は、光学系４、フィルター５、二次元イメージセンサー６及び信号処理部７を備える。
　光学系４は、被写体（監視対象及び背景）の赤外画像を二次元イメージセンサー６上で結像させる。フィルター５は、光学系４と二次元イメージセンサー６との間に配置され、光学系４を通過した光のうち、特定波長の赤外線のみを通過させる。赤外の波長帯のうち、フィルター５を通過させる波長帯は、検知するガスの種類に依存する。例えばメタンの場合、３．２～３．４μｍの波長帯を通過させるフィルター５が用いられる。二次元イメージセンサー６は、例えば、冷却型インジウムアンチモン（ＩｎＳｂ）イメージセンサーであり、フィルター５を通過した赤外線を受光する。信号処理部７は、二次元イメージセンサー６から出力されたアナログ信号を、デジタル信号に変換し、公知の画像処理をする。このデジタル信号が、動画データＤ１となる。
　動画データＤ１（画像データ）で示される動画は、フレームが時系列に複数並べられた構造を有する。複数のフレームの同じ位置にある画素の画素データを時系列に並べたデータを、時系列画素データとする。時系列画素データを具体的に説明する。図４は、時系列画素データを説明する説明図である。赤外画像の動画のフレーム数をＫとする。一つのフレームがＭ個の画素、すなわち、１番目の画素、２番目の画素、・・・、Ｍ－１番目の画素、Ｍ番目の画素で構成されているとする。画素データは、画素の輝度又は温度を示す。
　複数（Ｋ個）のフレームの同じ位置にある画素とは、同じ順番の画素を意味する。例えば、１番目の画素で説明すると、１番目のフレームに含まれる１番目の画素の画素データ、２番目のフレームに含まれる１番目の画素の画素データ、・・・、Ｋ－１番目のフレームに含まれる１番目の画素の画素データ、Ｋ番目のフレームに含まれる１番目の画素の画素データを、時系列に並べたデータが、１番目の画素の時系列画素データとなる。また、Ｍ番目の画素で説明すると、１番目のフレームに含まれるＭ番目の画素の画素データ、２番目のフレームに含まれるＭ番目の画素の画素データ、・・・、Ｋ－１番目のフレームに含まれるＭ番目の画素の画素データ、Ｋ番目のフレームに含まれるＭ番目の画素の画素データを、時系列に並べたデータが、Ｍ番目の画素の時系列画素データとなる。時系列画素データの数は、一つのフレームを構成する画素の数と同じであり、これら複数（Ｍ個）の時系列画素データにより動画データＤ１が構成される。
　図３Ａの説明に戻る。ガス検知用画像処理装置３は、パーソナルコンピューター、スマートフォン、タブレット端末等であり、機能ブロックとして、画像処理部８、表示制御部９及び表示部１０を備える。画像処理部８及び表示制御部９は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及び、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等によって実現される。表示部１０は、例えば、液晶ディスプレイにより実現される。
　画像処理部８は、動画データＤ１（画像データ）に所定の処理をする。所定の処理には、動画データＤ１から第２の周波数成分データを除く処理が含まれる。この処理について説明する。ガス漏れの監視対象及び背景の動画を赤外線カメラ２で撮影している状態で、ガス漏れが発生したとき、動画データＤ１には、漏れたガスによる温度変化を示す第１の周波数成分データが含まれる。赤外画像の動画のうち、第１の周波数成分データで示される像が、ガス漏れの様子（言い換えれば、漏れたガスが漂っている領域）を示している。
　本発明者は、以下の現象を見出した。ガス漏れの監視対象及び背景の動画を赤外線カメラ２で撮影している状態で、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きいとき、赤外画像の動画からガス漏れの様子が分からない。これは、動画データＤ１には、第１の周波数成分データに加えて、第１の周波数成分データよりも周波数が低く、背景の温度変化を示す第２の周波数成分データが含まれるからである。第２の周波数成分データで示される像（背景の明暗の変化）により、第１の周波数成分データで示される像が見えなくなるのである。図２Ａを参照して、地点ＳＰ１の温度変化を示すグラフに含まれる細かい変化が、第１の周波数成分データに対応する。地点ＳＰ２の温度変化を示すグラフが第２の周波数成分データに対応する。
　そこで、画像処理部８は、画素の位置がそれぞれ異なる複数の時系列画素データ（すなわち、動画データＤ１を構成する複数の時系列画素データ）のそれぞれに対して、第２の周波数成分データを除く処理をする。画素の位置がそれぞれ異なる複数の時系列画素データとは、図４を参照して、１番目の画素の時系列画素データ、２番目の画素の時系列画素データ、・・・、Ｍ－１番目の画素の時系列画素データ、Ｍ番目の画素の時系列画素データを意味する。画像処理部８は、フレームの単位で第２の周波数成分データを除く処理をするのではなく、時系列画素データの単位で第２の周波数成分データを除く処理をする。画像処理部８での処理については、後でさらに詳しく説明する。
　表示制御部９は、画像処理部８で所定の処理された動画データＤ１で示される動画を、表示部１０に表示させる。
　図３Ｂは、図３Ａに示すガス検知用画像処理装置３のハードウェア構成を示すブロック図である。ガス検知用画像処理装置３は、ＣＰＵ３ａ、ＲＡＭ３ｂ、ＲＯＭ３ｃ、ＨＤＤ３ｄ、液晶ディスプレイ３ｅ、及び、これらを接続するバス３ｆを備える。液晶ディスプレイ３ｅは、表示部１０を実現するハードウェアである。液晶ディスプレイ３ｅの替わりに、有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ　ｄｉｓｐｌａｙ）、プラズマディスプレイ等でもよい。
　ＨＤＤ３ｄ（ＨＤＤ３ｄの替わりにＲＯＭ３ｃでもよい）には、図３Ａに示す画像処理部８、及び、表示制御部９について、これらの機能ブロックをそれぞれ実現するためのプログラムが格納されている。画像処理部８を実現するプログラムは、動画データＤ１（画像データ）を取得し、動画データＤ１に上記所定の処理をする処理プログラムである。表示制御部９を実現するプログラムは、画像（例えば、上記所定の処理がされた動画データＤ１で示される動画）を表示部１０に表示させる表示制御プログラムである。これらのプログラムは、ＨＤＤ３ｄの替わりにＲＯＭ３ｃに格納しても良い。
　ＣＰＵ３ａは、処理プログラム及び表示制御プログラムを、ＨＤＤ３ｄから読み出してＲＡＭ３ｂに展開させ、展開されたプログラムを実行することによって、これらの機能ブロックが実現される。処理プログラム及び表示制御プログラムは、ＨＤＤ３ｄに予め記憶されていてもよいし、これらのプログラムを記憶している記憶媒体（例えば、磁気ディスク、光学ディスクのような外部記憶媒体）が用意されており、この記憶媒体に記憶されているプログラムがＨＤＤ３ｄに記憶されてもよい。
　なお、画像処理部８は、次に説明するように、第１態様から第７態様がある。これらの態様は、それぞれ、複数の要素によって構成される。従って、ＨＤＤ３ｄには、これらの要素を実現するためのプログラムが格納されている。例えば、画像処理部８の第１態様は、要素として、第１の抽出部、第１の算出部、及び、第２の算出部を備える。ＨＤＤ３ｄには、第１の抽出部、第１の算出部、第２の算出部のそれぞれを実現するためのプログラムが格納されている。これらのプログラムは、第１の抽出プログラム、第１の算出プログラム、第２の算出プログラムと表現される。
　これらのプログラムは、要素の定義を用いて表現される。第１の抽出部及び第１の抽出プログラムを例にして説明する。第１の抽出部は、時系列画素データに対して、図４に示すＫ個のフレームより少ない第１の所定数のフレームを単位とする単純移動平均を算出することにより時系列画素データから抽出されたデータを、第２の周波数成分データとし、図４に示すＭ個の時系列画素データのそれぞれに対応するＭ個の第２の周波数成分データを抽出する。第１の抽出プログラムは、時系列画素データに対して、図４に示すＫ個のフレームより少ない第１の所定数のフレームを単位とする単純移動平均を算出することにより時系列画素データから抽出されたデータを、第２の周波数成分データとし、図４に示すＭ個の時系列画素データのそれぞれに対応するＭ個の第２の周波数成分データを抽出するプログラムである。
　ＣＰＵ３ａによって実行されるこれらのプログラム（第１の抽出プログラム、第１の算出プログラム、第２の算出プログラム）のフローチャートが、後で説明する図５である。
　画像処理部８の第１態様を説明する。図５は、画像処理部８の第１態様で実行される処理のフローチャートである。画像処理部８の第１態様は、第１の抽出部として機能する。第１の抽出部は、時系列画素データに対して、図４に示すＫ個のフレームより少ない第１の所定数のフレームを単位とする単純移動平均を算出することにより時系列画素データから抽出されたデータを、第２の周波数成分データとし、図４に示すＭ個の時系列画素データのそれぞれに対応するＭ個の第２の周波数成分データを抽出する（ステップＳ１）。
　図６は、図２Ａの地点ＳＰ１に対応する画素の時系列画素データＤ２、及び、この時系列画素データＤ２から抽出された第２の周波数成分データＤ３を示すグラフである。時系列画素データＤ２で示される温度は、比較的急に変化し（変化の周期が比較的短く）、第２の周波数成分データＤ３で示される温度は、比較的緩やかに変化している（変化の周期が比較的長い）。グラフの縦軸及び横軸は、図２Ａのグラフの縦軸及び横軸と同じである。すなわち、グラフの縦軸は、温度を示している。グラフの横軸は、フレームの順番を示している。
　第１の所定数のフレームは、例えば、２１フレームである。内訳は、ターゲットとなるフレーム、これより前の連続する１０フレーム、これより後の連続する１０フレームである。第１の所定数は、時系列画素データから第２の周波数成分データを抽出できる数であればよく、２１に限らず、２１より多くてもよいし、２１より少なくてもよい。
　画像処理部８の第１態様は、第１の算出部として機能する。第１の算出部は、時系列画素データとこの時系列画素データから抽出された第２の周波数成分データとの差分を算出して得られるデータを、第１の差分データとし、Ｍ個の時系列画素データのそれぞれに対応するＭ個の第１の差分データを算出する（ステップＳ２）。
　図７は、第１の差分データＤ４を示すグラフである。グラフの縦軸及び横軸は、図２Ａのグラフの縦軸及び横軸と同じである。第１の差分データＤ４は、図６に示す時系列画素データＤ２と第２の周波数成分データＤ３との差分を算出して得られたデータである。地点ＳＰ１でガスの噴出を開始する前において（９０番目くらいまでのフレーム）、第１の差分データＤ４で示される微小な振幅の繰り返しは、主に、二次元イメージセンサー６のセンサーノイズを示している。地点ＳＰ１でガスの噴出を開始した後において（９０番目以降のフレーム）、第１の差分データＤ４の振幅及び波形のばらつきが大きくなっている。
　画像処理部８は、第２の算出部として機能する。第２の算出部は、第１の差分データに対して、第２の所定数のフレームを単位とする所定の演算をすることにより算出された、第１の差分データの変動を示すデータを、第１の変動データとし、図４に示す複数（Ｍ個）の時系列画素データのそれぞれに対応する複数（Ｍ個）の第１の変動データを算出する。第１の変動データは、二種類あり、一つは、第１のばらつきデータであり、もう一つは、第１の絶対値加算データである。画像処理部８の第１態様では、第１のばらつきデータが第１の変動データとして用いられる。第１のばらつきデータは、第１の差分データの波形のばらつきを示すデータである。
　画像処理部８の第１態様において、第２の算出部は、第１の差分データに対して、Ｋ個のフレームより少ない第２の所定数のフレームを単位とする移動標準偏差を算出して得られるデータを、第１のばらつきデータとし、Ｍ個の時系列画素データのそれぞれに対応するＭ個の第１のばらつきデータを算出する（ステップＳ３）。なお、移動標準偏差の替わりに、移動分散を算出してもよい。
　図８は、第１のばらつきデータＤ５を示すグラフである。グラフの横軸は、図２Ａのグラフの横軸と同じである。グラフの縦軸は、標準偏差を示している。第１のばらつきデータＤ５は、図７に示す第１の差分データＤ４の移動標準偏差を示すデータである。第２の所定数のフレームは、例えば、２１フレームである。第２の所定数は、統計的に意義がある標準偏差が求められる数であればよいので、第１の所定数と同じでもよいし、異なっていてもよい。
　図８に示すように、ガス漏れを示す標準偏差のしきい値（例えば、０．０３）を設定することにより、画像処理部８の第１態様は、ガス漏れを検知することができる。画像処理部８の第１態様が、ガス漏れを検知したとき、図３Ａに示す表示制御部９は、ガス漏れが検知されたことを表示部１０に表示させてもよいし、ガス検知用画像処理装置３は、不図示の警報器（スピーカー）を作動させて、ガス漏れが検知されたこと報知してもよい。このガス漏れ検知の表示及び報知は、後で説明する画像処理部８の第２態様～第７態様でも適用できる。
　表示制御部９は、ステップＳ３で得られたＭ個の第１のばらつきデータを、第２の周波数成分データを除く処理がされた動画データＤ１とし、この動画データＤ１で示される動画を表示部１０に表示させる。この動画において、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３、時刻Ｔ４のフレームの画像を、図９、図１０に示す。図９及び図１０は、画像処理部８の第１態様で処理された画像の一例を時系列で示す画像図である。これらの画像の生成において、移動標準偏差の倍率を決める係数が異なり、これにより、これらの画像は、コントラストが異なっている。
　図９は、ステップＳ３で得られた標準偏差を１０００倍にした画像Ｉ５、画像Ｉ６、画像Ｉ７、画像Ｉ８を示し、図１０は、ステップＳ３で得られた標準偏差を５０００倍にした画像Ｉ９、画像Ｉ１０、画像Ｉ１１、画像Ｉ１２を示している。画像Ｉ５及び画像Ｉ９は、図１に示す赤外画像Ｉ１を、画像処理部８の第１態様で処理した画像である。画像Ｉ６及び画像Ｉ１０は、図１に示す赤外画像Ｉ２を、画像処理部８の第１態様で処理した画像である。画像Ｉ７及び画像Ｉ１１は、図１に示す赤外画像Ｉ３を、画像処理部８の第１態様で処理した画像である。画像Ｉ８及び画像Ｉ１２は、図１に示す赤外画像Ｉ４を、画像処理部８の第１態様で処理した画像である。図９及び図１０のいずれでも、地点ＳＰ１でガスが噴出している様子が分かる。
　以上説明したように、画像処理部８の第１態様によれば、画像処理部８が、動画データＤ１に含まれる第２の周波数成分データを除く処理をし、表示制御部９が、この処理がされた動画データＤ１で示される動画を表示部１０に表示させる。従って、画像処理部８の第１態様によれば、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合でも、ガスが漏れている様子を動画で表示できる。
　画像処理部８の第２態様を説明する。画像処理部８の第２態様は、背景の温度変化を示す第２の周波数成分データに加えて、高周波ノイズを示す第３の周波数成分データを動画データＤ１から除く処理をする。高周波ノイズは、主に、二次元イメージセンサー６のセンサーノイズである。第３の周波数成分データは、漏れたガスによる温度変化を示す第１の周波数成分データより、周波数が高い。画像処理部８の第２態様は、漏れたガスによる温度変化を示す第１の周波数成分データを通過させ、第１の周波数成分データより周波数が低い第２の周波数成分データ、及び、第１の周波数成分データより周波数が高い第３の周波数成分データをカットする。よって、画像処理部８の第２態様は、バンドパスフィルターとして機能する。図１１は、画像処理部８の第２態様で実行される処理のフローチャートである。
　画像処理部８の第２態様は、ステップＳ１を実行する、すなわち、第２の周波数成分データを抽出する第１の抽出部として機能する。この機能は、画像処理部８の第１態様で説明した。画像処理部８の第２態様は、第２の抽出部として機能する。第２の抽出部は、時系列画素データに対して、第１の所定数（例えば、２１）より少ない第３の所定数（例えば、３）のフレームを単位とする単純移動平均を算出することにより時系列画素データから抽出されたデータを、第３の周波数成分データとし、図４に示すＭ個の時系列画素データのそれぞれに対応するＭ個の第３の周波数成分データを抽出する（ステップＳ４）。
　図１２は、地点ＳＰ１に対応する画素の時系列画素データＤ２、時系列画素データＤ２から抽出された第２の周波数成分データＤ３、時系列画素データＤ２から抽出された第３の周波数成分データＤ６を示すグラフである。グラフの縦軸及び横軸は、図２Ａのグラフの縦軸及び横軸と同じである。図１２は、図６に示すグラフに、第３の周波数成分データＤ６を加えたグラフである。時系列画素データＤ２で示される温度は、比較的急に変化し（変化の周期が比較的短く）、第２の周波数成分データＤ３で示される温度は、比較的緩やかに変化している（変化の周期が比較的長い）。第３の周波数成分データＤ６は、時系列画素データＤ２とほぼ重なっている。
　第３の所定数のフレームは、例えば、３フレームである。内訳は、ターゲットとなるフレーム、この直前の１フレーム、この直後の１フレームである。第３の所定数は、時系列画素データから第３の周波数成分を抽出できる数であればよく、３に限定されず、３より多くてもよい。
　画像処理部８の第２態様は、ステップＳ２を実行する、すなわち、第１の差分データを算出する第１の算出部として機能する。この機能は、画像処理部８の第１態様で説明した。画像処理部８の第２態様は、第３の算出部として機能する。第３の算出部は、時系列画素データとこの時系列画素データから抽出された第３の周波数成分データとの差分を算出して得られるデータを、第２の差分データとし、Ｍ個の時系列画素データのそれぞれに対応するＭ個の第２の差分データを算出する（ステップＳ５）。
　図１３Ａは、第１の差分データＤ４を示すグラフであり、図１３Ｂは、第２の差分データＤ７を示すグラフである。これらのグラフの縦軸及び横軸は、図２Ａのグラフの縦軸及び横軸と同じである。第１の差分データＤ４は、図７に示す第１の差分データＤ４と同じであり、図１２に示す時系列画素データＤ２と第２の周波数成分データＤ３との差分を算出して得られたデータである。第２の差分データＤ７は、図１２に示す時系列画素データＤ２と第３の周波数成分データＤ６との差分を算出して得られたデータである。
　第１の差分データＤ４は、第１の周波数成分データ（漏れたガスによる温度変化を示すデータ）及び第３の周波数成分データＤ６（高周波ノイズを示すデータ）を含む。第２の差分データＤ７は、第１の周波数成分データを含まず、第３の周波数成分データＤ６を含む。
　第１の差分データＤ４は、第１の周波数成分データを含むので、地点ＳＰ１でガスの噴出を開始した後において（９０番目以降のフレーム）、第１の差分データＤ４の振幅及び波形のばらつきが大きくなっている。これに対して、第２の差分データＤ７は、第１の周波数成分データを含まないので、そのようなことはない。第２の差分データＤ７は、微小な振幅を繰り返している。これが高周波ノイズである。
　第１の差分データＤ４と第２の差分データＤ７とは、相関しているが、完全に相関していない。すなわち、あるフレームにおいて、第１の差分データＤ４の値がプラス、第２の差分データＤ７の値がマイナスとなり、又は、その逆となる場合がある。このため、第１の差分データＤ４と第２の差分データＤ７との差分を算出しても、第３の高周波成分データＤ６を除去できない。第３の高周波成分データＤ６を除去するには、第１の差分データＤ４及び第２の差分データＤ７を絶対値に変換する必要がある。
　そこで、画像処理部８の第２態様は、ステップＳ３を実行する、すなわち、第１のばらつきデータを算出する第２の算出部として機能する。この機能は、画像処理部８の第１態様で説明した。
　画像処理部８は、第４の算出部として機能する。第４の算出部は、第２の差分データに対して、第４の所定数のフレームを単位とする所定の演算をすることにより算出された、第２の差分データの変動を示すデータを、第２の変動データとし、図４に示す複数（Ｍ個）の時系列画素データのそれぞれに対応する複数（Ｍ個）の第２の変動データを算出する。第２の変動データは、二種類あり、一つは、第２のばらつきデータであり、もう一つは、第２の絶対値加算データである。画像処理部８の第２態様では、第２のばらつきデータが第２の変動データとして用いられる。第２のばらつきデータは、第２の差分データの波形のばらつきを示すデータである。
　画像処理部８の第２態様において、第４の算出部は、第２の差分データに対して、Ｋ個のフレームより少ない第４の所定数（例えば、２１）のフレームを単位とする移動標準偏差を算出して得られるデータを、第２のばらつきデータとし、Ｍ個の時系列画素データのそれぞれに対応するＭ個の第２のばらつきデータを算出する（ステップＳ６）。移動標準偏差の替わりに、移動分散を用いてもよい。
　図１４は、第１のばらつきデータＤ５及び第２のばらつきデータＤ８を示すグラフである。グラフの横軸は、図２Ａのグラフの横軸と同じである。グラフの縦軸は、標準偏差を示している。図１４は、図８に示すグラフに、第２のばらつきデータＤ８を加えたグラフである。第１のばらつきデータＤ５は、図１３Ａに示す第１の差分データＤ４の移動標準偏差を示すデータである。第２のばらつきデータＤ８は、図１３Ｂに示す第２の差分データＤ７の移動標準偏差を示すデータである。移動標準偏差の算出に用いるフレーム数は、第１のばらつきデータＤ５及び第２のばらつきデータＤ８のいずれの場合も、２１であるが、統計的に意義がある標準偏差が求められる数であればよく、２１に限定されない。
　第１のばらつきデータＤ５及び第２のばらつきデータＤ８は、標準偏差なので、マイナスの値を含まない。このため、第１のばらつきデータＤ５及び第２のばらつきデータＤ８は、第１の差分データＤ４及び第２の差分データＤ７を絶対値に変換したデータと見なすことができる。
　画像処理部８の第２態様は、第５の算出部として機能する。第５の算出部は、同じ時系列画素データから得られた第１のばらつきデータ（第１の変動データの一例）と第２のばらつきデータ（第２の変動データの一例）との差分を算出して得られるデータを、第３の差分データとし、Ｍ個の時系列画素データのそれぞれに対応するＭ個の第３の差分データを算出する（ステップＳ７）。
　図１５は、第３の差分データＤ９を示すグラフである。グラフの横軸は、図２Ａのグラフの横軸と同じである。グラフの縦軸は、標準偏差である。第３の差分データＤ９は、図１４に示す第１のばらつきデータＤ５と第２のばらつきデータＤ８との差分を示すデータである。
　表示制御部９は、ステップＳ７で得られたＭ個の第３の差分データを、第２の周波数成分データ及び第３の周波数成分データを除く処理がされた動画データＤ１とし、この動画データＤ１で示される動画を表示部１０に表示させる。この動画において、時刻Ｔ１のフレームの画像Ｉ１５、並びに、これに関係する画像Ｉ１３及び画像Ｉ１４を、図１６に示し、時刻Ｔ２のフレームの画像Ｉ１８、並びに、これに関係する画像Ｉ１６及び画像Ｉ１７を、図１７に示す。いずれも標準偏差を５０００倍にした画像である。
　図１６は、画像処理部８の第２態様で処理された、時刻Ｔ１のフレームの画像Ｉ１５、並びに、これに関係する画像Ｉ１３及び画像Ｉ１４を示す画像図である。画像Ｉ１３は、図１１のステップＳ３で得られたＭ個の第１のばらつきデータ（動画データＤ１）で示される動画において、時刻Ｔ１のフレームの画像である。画像Ｉ１４は、図１１のステップＳ６で得られたＭ個の第２のばらつきデータ（動画データＤ１）で示される動画において、時刻Ｔ１のフレームの画像である。画像Ｉ１３と画像Ｉ１４との差分が、画像Ｉ１５となる。
　図１７は、画像処理部８の第２態様で処理された、時刻Ｔ２のフレームの画像Ｉ１８、並びに、これに関係する画像Ｉ１６及び画像Ｉ１７を示す画像図である。画像Ｉ１６は、ステップＳ３で得られたＭ個の第１のばらつきデータ（動画データＤ１）で示される動画において、時刻Ｔ２のフレームの画像である。画像Ｉ１７は、ステップＳ６で得られたＭ個の第２のばらつきデータ（動画データＤ１）で示される動画において、時刻Ｔ２のフレームの画像である。画像Ｉ１６と画像Ｉ１７との差分が、画像Ｉ１８となる。
　センサーノイズは、温度が高くになるに従って小さくなるので、温度に応じて異なる。二次元イメージセンサー６において、画素が感知している温度に応じたノイズが、各画素で発生する。すなわち、全ての画素のノイズが同じではない。画像処理部８の第２態様によれば、動画から高周波ノイズを除くことができるので、僅かなガス漏れでも表示部１０に表示させることができる。
　また、画像処理部８の第２態様によれば、図１１のステップＳ４において、第３の周波数成分データの周波数を予め特定して（例えば、５Ｈｚ以上）、時系列画素データから第３の周波数成分データを抽出できる。このため、第１の周波数成分データと第３の周波数成分データとの周波数が近くても、ステップＳ４において、第３の周波数成分データのみを抽出できる。これについて詳しく説明する。
　図１８は、地点ＳＰ３でガスを噴出している状態の赤外画像Ｉ１９を示す画像図である。画像処理部８の第２態様による画像処理がされていない。図１９は、地点ＳＰ３に対応する画素の時系列画素データＤ１０を示すグラフである。グラフの縦軸及び横軸は、図２Ａのグラフの縦軸及び横軸と同じである。時刻Ｔ５において、地点ＳＰ３でガスの噴出を開始する。背景の温度変化は、生じていない。赤外画像Ｉ１９が撮影された時刻Ｔ６は、時刻Ｔ５より後である。
　時刻Ｔ５より前の時系列画素データＤ１０は、第３の周波数成分データを示している。時刻Ｔ５以降の時系列画素データＤ１０は、第１の周波数成分データと第３の周波数成分データとが合成されたデータを示している。第１の周波数成分データの周波数と第３の周波数成分データの周波数とが近いので、時刻Ｔ５の前後で、時系列画素データの波形に大きな差が生じていない。このため、画像処理部８の第２態様による画像処理がされていない、図１８に示す赤外画像Ｉ１９では、地点ＳＰ３でガスが噴出していることが分からない。
　図２０は、画像処理部８の第２態様で画像処理された、時刻Ｔ６のフレームの画像Ｉ２２、並びに、これに関係する画像Ｉ２０及び画像Ｉ２１を示す画像図である。画像Ｉ２０は、図１１のステップＳ３で得られたＭ個の第１のばらつきデータ（動画データＤ１）で示される動画を構成する画像である。画像Ｉ２１は、図１１のステップＳ６で得られたＭ個の第２のばらつきデータ（動画データＤ１）で示される動画を構成する画像である。画像Ｉ２０と画像Ｉ２１との差分が、画像Ｉ２２となる。画像Ｉ２２の中央部の白い箇所がガスの噴出を示している。
　画像処理部８の第３態様を説明する。図２１は、画像処理部８の第３態様で実行される処理のフローチャートである。画像処理部８の第３態様が、図１１に示す画像処理部８の第２態様と異なる点は、第１のばらつきデータを算出する処理（ステップＳ３）の替わりに、第１の絶対値データを算出する処理をし（ステップＳ８）、第２のばらつきデータを算出する処理（ステップＳ６）の替わりに、第２の絶対値データを算出する処理をする（ステップＳ９）。
　画像処理部８の第３態様は、第２の算出部として機能する。第２の算出部は、図２１に示すステップＳ２で得られたＭ個の第１の差分データの絶対値を示すデータを、第１の絶対値データとし、図４に示すＭ個の時系列画素データのそれぞれに対応するＭ個の第１の絶対値データを算出する（ステップＳ８）。画像処理部８の第３態様は、第４の算出部として機能する。第４の算出部は、図２１に示すステップＳ５で得られたＭ個の第２の差分データの絶対値を示すデータを、第２の絶対値データとし、Ｍ個の時系列画素データのそれぞれに対応するＭ個の第２の絶対値データを算出する（ステップＳ９）。
　図２２は、第１の絶対値データＤ１１及び第２の絶対値データＤ１２を示すグラフである。グラフの縦軸及び横軸は、図２Ａのグラフの縦軸及び横軸と同じである。第１の絶対値データＤ１１は、図１３Ａに示す第１の差分データＤ４の絶対値を示すデータである。第２の絶対値データＤ１２は、図１３Ｂに示す第２の差分データＤ７の絶対値を示すデータである。
　画像処理部８の第３態様は、第２の算出部及び第４の算出部として機能する。第２の算出部は、第１の絶対値データに対して、複数のフレームより少ない第２の所定数のフレームを単位とする移動加算をすることにより第１の絶対値加算データ（第１の変動データの一例）を求める。第４の算出部は、第２の絶対値データに対して、複数のフレームより少ない第２の所定数のフレームを単位とする移動加算をすることにより第２の絶対値加算データ（第２の変動データの一例）を求める。
　図２３は、第１の絶対値加算データＤ１４及び第２の絶対値加算データＤ１５を示すグラフである。グラフの縦軸及び横軸は、図２Ａに示すグラフの縦軸及び横軸と同じである。第１の絶対値加算データＤ１４は、図２２に示す第１の絶対値データＤ１１に対して、図４に示すＫ個のフレームより少ない所定数（例えば、２１）のフレームを単位とする加算をして得られたデータである。第２の算出部は、Ｍ個の時系列画素データのそれぞれに対応するＭ個の第１の絶対値加算データを算出する。第２の絶対値加算データＤ１５は、図２２に示す第２の絶対値データＤ１２に対して、Ｋ個のフレームより少ない所定数（例えば、２１）のフレームを単位とする加算をして得られたデータである。第４の算出部は、Ｍ個の時系列画素データのそれぞれに対応するＭ個の第２の絶対値加算データを算出する。２１フレームを単位とする単純移動平均では、加算した値を２１で割っているが、２１フレームを単位とする加算では、この割り算をする処理をしない。
　画像処理部８の第３態様は、第５の算出部として機能する。第５の算出部は、同じ時系列画素データから得られた第１の絶対値加算データ（第１の変動データの一例）と第２の絶対値加算データ（第２の変動データの一例）との差分を算出して得られるデータを、第３の差分データとし、Ｍ個の時系列画素データのそれぞれに対応するＭ個の第３の差分データを算出する（ステップＳ１０）。
　表示制御部９は、ステップＳ１０で得られたＭ個の第３の差分データを、第２の周波数成分データ及び第３の周波数成分データを除く処理がされた動画データＤ１とし、この動画データＤ１で示される動画を表示部１０に表示させる。画像処理部８の第３態様によれば、動画から高周波ノイズを除くことができるので、僅かなガス漏れでも表示部１０に表示させることができる。
　画像処理部８の第４態様を説明する。図２５は、画像処理部８の第４態様で実行される処理のフローチャートである。画像処理部８の第４態様が、図２１に示す画像処理部８の第３態様と異なる点は、ステップＳ４、ステップＳ５、ステップＳ９及びステップＳ１０の処理をしないことである。従って、画像処理部８の第４態様は、図５に示す画像処理部８の第１態様と同様に、第３の周波数成分データを除く処理をせずに、第２の周波数成分データを除く処理をする。画像処理部８の第４態様は、動画データＤ１から第２の周波数成分データを除く処理をする画像処理部８の一つの態様である。
　画像処理部８の第５態様を説明する。これは、動画データＤ１から第２の周波数成分データを除く処理をする画像処理部８の一つの態様である。また、画像処理部８の第５態様によれば、動画から高周波ノイズを除くことができるので、僅かなガス漏れでも表示部１０に表示させることができる。
　図２６は、画像処理部８の第５態様で実行される処理のフローチャートである。画像処理部８の第５態様は、時系列画素データから第１の周波数成分データを抽出する。第１の周波数成分データとは、漏れたガスによる温度変化を示す周波数成分データである。
　画像処理部８の第５態様は、抽出部として機能する。抽出部は、時系列画素データに対して、第１の周波数成分データを抽出できる重み付け係数を用いて、図４に示すＫ個のフレーム数より少ない所定数（第１の所定数）のフレームを単位とする加重移動平均を算出することにより時系列画素データから抽出されたデータを、第１の周波数成分データとし、図４に示すＭ個の時系列画素データのそれぞれに対応するＭ個の第１の周波数成分データを抽出する（ステップＳ１１）。
　第１の周波数成分データの周波数を、０．３～３Ｈｚとする。図２７は、第１の周波数成分データを抽出できるバンドパスフィルターを説明する説明図である。横軸は、フレームを示し、縦軸は、重み付け係数を示している。第１の所定数のフレームは、例えば、９９フレームである。内訳は、ターゲットとなるフレーム、これより前の連続する４９フレーム、これより後の連続する４９フレームである。第１の所定数は、時系列画素データから第１の周波数成分を抽出できる数であればよく、９９より多くてもよいし、少なくてもよい。
　図２８は、抽出された第１の周波数成分データＤ１６を示すグラフである。グラフの縦軸及び横軸は、図２Ａのグラフの縦軸及び横軸と同じである。第１の周波数成分データＤ１６は、図２Ａに示す地点ＳＰ１に対応する画素の時系列画素データから抽出されたデータである。
　画像処理部８の第５態様は、算出部として機能する。算出部は、第１の周波数成分データを基にして求められた、第１の周波数成分の変動を示すデータを、変動データとし、複数（Ｍ個）の時系列画素データのそれぞれに対応する複数（Ｍ個）の変動データを算出する。第５態様では、変動データとして、ばらつきデータを用いる。すなわち、算出部は、第１の周波数成分データに対して、Ｋ個のフレームより少ない第２の所定数のフレームを単位とする移動標準偏差を算出して得られるデータを、ばらつきデータとし、Ｍ個の時系列画素データのそれぞれに対応するＭ個のばらつきデータを算出する（ステップＳ１２）。なお、移動標準偏差の替わりに、移動分散を算出してもよい。
　図２９は、ばらつきデータＤ１７を示すグラフである。グラフの横軸は、図２Ａのグラフの横軸と同じである。グラフの縦軸は、標準偏差を示している。ばらつきデータＤ１７は、図２８に示す第１の周波数成分データＤ１６の移動標準偏差を示すデータである。第２の所定数のフレームは、例えば、２１フレームである。第２の所定数は、２１であるが、統計的に意義がある標準偏差が求められる数であればよく、２１に限定されない。
　表示制御部９は、ステップＳ１２で得られたＭ個のばらつきデータを、第２の周波数成分データ及び第３の周波数成分データを除く処理がされた動画データＤ１とし、この動画データＤ１で示される動画を表示部１０に表示させる。
　画像処理部８の第６態様を説明する。これは、動画データＤ１から第２の周波数成分データを除く処理をする画像処理部８の一つの態様である。また、画像処理部８の第６態様によれば、動画から高周波ノイズを除くことができるので、僅かなガス漏れでも表示部１０に表示させることができる。
　画像処理部８の第６態様で実行される処理のフローチャートは、図１１に示す画像処理部８の第２態様で実行される処理のフローチャートを応用することもできるし、図２１に示す画像処理部８の第３態様で実行される処理のフローチャートを応用することもできる。画像処理部８の第６態様は、ステップＳ１の処理とステップＳ２の処理とをまとめて処理をし、ステップＳ４の処理とステップＳ５の処理とをまとめて処理をする。
　画像処理部８の第６態様は、第１の算出部として機能する。第１の算出部は、時系列画素データに対して、第２の周波数成分データを抽出できる重み付け係数を用いて、図４に示すＫ個のフレームより少ない第１の所定数のフレームを単位とする加重移動平均を算出して得られたデータを、第１の差分データとし、第１の差分データは、時系列画素データと第２の周波数成分データとの差分であり、Ｍ個の時系列画素データのそれぞれに対応するＭ個の第１の差分データを算出する（ステップＳ１の処理とステップＳ２の処理とがまとめられた処理）。
　画像処理部８の第６態様は、第３の算出部として機能する。第３の算出部は、第１の周波数成分データよりも周波数が高く、高周波ノイズを示すデータを第３の周波数成分データとし、時系列画素データに対して、第３の周波数成分データを抽出できる重み付け係数を用いて、Ｋ個のフレームより少ない第３の所定数のフレームを単位とする加重移動平均を算出して得られたデータを、第２の差分データとし、第２の差分データは、時系列画素データと第３の周波数成分データとの差分であり、Ｍ個の時系列画素データのそれぞれに対応するＭ個の第２の差分データを算出する（ステップＳ４の処理とステップＳ５の処理とがまとめられた処理）。
　第２の周波数成分データの周波数を、０．５Ｈｚ以下とし、第３の周波数成分データの周波数を５Ｈｚ以上とする。図３０は、第１の差分データを抽出できるフィルターを説明する説明図である。図３１は、第２の差分データを抽出できるフィルターを説明する説明図である。図３０及び図３１の横軸は、フレームを示し、縦軸は、重み付け係数を示している。第１の所定数及び第３の所定数のフレームは、例えば、９９フレームである。内訳は、ターゲットとなるフレーム、これより前の連続する４９フレーム、これより後の連続する４９フレームである。
　画像処理部８の第６態様で実行される後の処理は、図１１に示すフローチャートを応用する場合、ステップＳ３、ステップＳ６、ステップＳ７と同じであり、図２１に示すフローチャートを応用する場合、ステップＳ８、ステップＳ９、ステップＳ１０と同じである。
　画像処理部８の第６態様には、変形例がある。変形例は、上述した第１の算出部を備えるが、第３の算出部を備えない。変形例で実行される処理のフローチャートは、図５に示す画像処理部８の第１態様で実行される処理のフローチャートを応用することもできるし、図２５に示す画像処理部８の第４態様で実行される処理のフローチャートを応用することもできる。変形例は、ステップＳ１の処理とステップＳ２の処理とをまとめて処理をする。後の処理は、図５に示すフローチャートを応用する場合、ステップＳ３と同じであり、図２５に示すフローチャートを応用する場合、ステップＳ８と同じである。
　画像処理部８の第７態様を説明する。これは、動画データＤ１から第２の周波数成分データを除く処理をする画像処理部８の一つの態様である。また、画像処理部８の第７態様によれば、動画から高周波ノイズを除くことができるので、僅かなガス漏れでも表示部１０に表示させることができる。
　図３２は、画像処理部８の第７態様で実行される処理のフローチャートである。画像処理部８の第７態様は、フーリエ変換及びフーリエ逆変換を利用して、時系列画素データから第２の周波数成分データ及び第３の周波数成分データを除く。
　画像処理部８の第７態様は、第１の算出部として機能する。第１の算出部は、時系列画素データに対して、フーリエ変換して得られたデータを、フーリエ変換データとし、図４に示すＭ個の時系列画素データのそれぞれに対応するＭ個のフーリエ変換データを算出する（ステップＳ２１）。
　画像処理部８の第７態様は、第２の算出部として機能する。第２の算出部は、フーリエ変換データから第２の周波数成分データ及び第３の周波数成分データが取り除かれたデータを、特定周波数成分カットデータとし、Ｍ個の時系列画素データのそれぞれに対応するＭ個の特定周波数成分カットデータを算出する（ステップＳ２２）。ここでは、第２の周波数成分データの周波数を、例えば、０．５Ｈｚ以下とし、第３の周波数成分データの周波数を、例えば、５Ｈｚ以上とする。
　画像処理部８の第７態様は、第３の算出部として機能する。第３の算出部は、特定周波数成分カットデータに対して、フーリエ逆変換して得られたデータを、フーリエ逆変換データとし、Ｍ個の時系列画素データのそれぞれに対応するＭ個のフーリエ逆変換データを算出する（ステップＳ２３）。図３３は、フーリエ逆変換データＤ１８を示すグラフである。グラフの縦軸及び横軸は、図２Ａのグラフの縦軸及び横軸と同じである。フーリエ逆変換データＤ１８は、図２Ａに示す地点ＳＰ１に対応する画素の時系列画素データから算出されたデータである。図３３は、フレーム数Ｋを、５１２として、ステップＳ２１、ステップＳ２２及びステップＳ２３の処理をした結果を示している。
　画像処理部８の第７態様は、第４の算出部として機能する。第４の算出部は、フーリエ逆変換データを基にして求められた、フーリエ逆変換データの変動を示すデータを、変動データとし、複数のフーリエ逆変換データのそれぞれに対応する複数の変動データを算出する。第７態様では、変動データとして、ばらつきデータを用いる。すなわち、第４の算出部は、フーリエ逆変換データに対して、Ｋ個のフレームより少ない所定数のフレームを単位とする移動標準偏差を算出して得られるデータを、ばらつきデータとし、Ｍ個のフーリエ逆変換データのそれぞれに対応するＭ個のばらつきデータを算出する（ステップＳ２４）。なお、移動標準偏差の替わりに、移動分散を算出してもよい。
　図３４は、ばらつきデータＤ１９を示すグラフである。グラフの横軸は、図２Ａのグラフの横軸と同じである。グラフの縦軸は、標準偏差を示している。ばらつきデータＤ１９は、図３３に示すフーリエ逆変換データＤ１８の移動標準偏差を示すデータである。所定数のフレームは、例えば、２１フレームである。所定数は、２１であるが、統計的に意義がある標準偏差が求められる数であればよく、２１に限定されない。
　表示制御部９は、ステップＳ２４で得られたＭ個のばらつきデータを、第２の周波数成分データ及び第３の周波数成分データを除く処理がされた動画データＤ１とし、動画データＤ１で示される動画を表示部１０に表示させる。
　図３Ａに示す本実施形態に係るガス検知用画像処理装置３は、画像処理部８が、ガスが漏れている様子を画像で示すことができる画像処理をし、表示制御部９が、その画像処理がされた画像を表示部１０に表示させている。本発明は、この構成に限定されず、画像処理部８を備えるが、表示制御部８及び表示部１０を備えない構成でもよいし、画像処理部８及び表示制御部９を備えるが、表示部１０を備えない構成でもよい。
　（実施形態の纏め）
　上記目的を達成する本実施形態の第１の局面に係るガス検知用画像処理装置は、ガス漏れの監視対象を複数の時刻で撮影した赤外画像に対して画像処理をするガス検知用画像処理装置であって、漏れたガスによる温度変化を示す第１の周波数成分データよりも周波数が低く、前記監視対象の背景の温度変化を示す第２の周波数成分データを、前記赤外画像を示す画像データから除く処理をする画像処理部を備える。
　ガス漏れの監視対象の赤外画像を複数の時刻で撮影している状態で、ガス漏れが発生したとき、画像データには、漏れたガスによる温度変化を示す第１の周波数成分データが含まれる。赤外画像のうち、第１の周波数成分データで示される像が、ガス漏れの様子（言い換えれば、漏れたガスが漂っている領域）を示している。
　本発明者は、以下の現象を見出した。ガス漏れの監視対象の赤外画像を複数の時刻で撮影している状態で、ガス漏れと監視対象の背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きいとき、赤外画像からガス漏れの様子が分からない。これは、画像データには、第１の周波数成分データに加えて、第１の周波数成分データよりも周波数が低く、背景の温度変化を示す第２の周波数成分データが含まれるからである。第２の周波数成分データで示される像（背景の明暗の変化）により、第１の周波数成分データで示される像が見えなくなるのである。
　本実施形態の第１の局面に係るガス検知用画像処理装置によれば、画像処理部が、画像データに含まれる第２の周波数成分データを除く処理をする。従って、本発明の第１の局面に係るガス検知用画像処理装置によれば、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合でも、ガスが漏れている様子を画像で示すことができる画像処理をできる。
　上記構成において、前記画像処理部は、前記第１の周波数成分データよりも周波数が高く、高周波ノイズを示す第３の周波数成分データを、前記画像データから除く処理をする。
　この構成によれば、画像データから高周波ノイズを除くことができるので、ガスが僅かに漏れている様子を画像で示すことができる画像処理をできる。
　上記構成において、前記画像データは、フレームが時系列に複数並べられた構造を有する動画データであり、前記画像処理部は、複数の前記フレームの同じ位置にある画素の画素データを時系列に並べたデータを時系列画素データとし、前記動画データを構成する複数の前記時系列画素データのそれぞれに対して、前記第２の周波数成分データを除く処理をする。
　この構成によれば、フレームの単位で第２の周波数成分データを除く処理をするのではなく、時系列画素データの単位で第２の周波数成分データを除く処理をする。時系列画素データは、複数のフレームの同じ位置にある画素の画素データを時系列に並べたデータである。時系列画素データの数は、一つのフレームを構成する画素の数と同じであり、これら複数の時系列画素データにより動画データが構成される。
　本実施形態の第１の局面に係るガス検知用画像処理装置は、以下の三つの技術思想に分けることができる。第１は、画像データから、第２の周波数成分データ、又は、第２の周波数成分データ及び第３の周波数成分データを除く技術思想である。第２は、画像データから第１の周波数成分データを抽出する技術思想である。第３は、フーリエ変換を利用する技術思想である。
　第１の技術思想は、以下の通りである。
　前記画像処理部は、前記時系列画素データに対して、第１の所定処理をすることにより抽出されたデータを、前記第２の周波数成分データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第２の周波数成分データを抽出する第１の抽出部と、前記時系列画素データと前記時系列画素データから抽出された前記第２の周波数成分データとの差分を算出して得られるデータを、第１の差分データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第１の差分データを算出する第１の算出部と、を備える。これは、画像処理部の第１態様～第４態様に対応する。
　前記第１の所定処理は、前記時系列画素データに対して、複数の前記フレームより少ない第１の所定数の前記フレームを単位とする移動平均を算出することにより前記時系列画素データから前記第２の周波数成分データを抽出する処理である。これは、画像処理部の第１態様～第４態様に対応する。
　前記画像処理部は、前記時系列画素データに対して、前記第２の周波数成分データを抽出できる重み付け係数を用いて、複数の前記フレームより少ない第１の所定数の前記フレームを単位とする加重移動平均を算出して得られたデータを、第１の差分データとし、前記第１の差分データは、前記時系列画素データと前記第２の周波数成分データとの差分であり、複数の前記時系列画素データのそれぞれに対応する複数の前記第１の差分データを算出する第１の算出部を備える。これは、画像処理部の第６態様に対応する。
　前記画像処理部は、前記第１の差分データに対して、第２の所定数の前記フレームを単位とする所定の演算をすることにより算出された、前記第１の差分データの変動を示すデータを、第１の変動データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第１の変動データを算出する第２の算出部をさらに備える。これは、画像処理部の第１態様～第４態様、第６態様に対応する。
　前記第１の変動データは、第１のばらつきデータであり、前記第２の算出部は、前記第１の差分データに対して、複数の前記フレームより少ない前記第２の所定数の前記フレームを単位とする移動標準偏差又は移動分散を算出することにより前記第１のばらつきデータを求める。これは、画像処理部の第１態様、第２態様、第６態様に対応する。
　前記第１の変動データは、第１の絶対値加算データであり、前記第２の算出部は、前記第１の差分データを基にして求められた、前記第１の差分データの絶対値を示すデータを、第１の絶対値データとし、前記第１の絶対値データに対して、複数の前記フレームより少ない前記第２の所定数の前記フレームを単位とする移動加算をすることにより前記第１の絶対値加算データを求める。これは、画像処理部の第３態様、第４態様、第６態様に対応する。
　前記画像処理部は、前記時系列画素データに対して、第２の所定処理をすることにより抽出されたデータを、第３の周波数成分データとし、前記第３の周波数成分データは、前記第１の周波数成分データよりも周波数が高く、高周波ノイズを示すデータであり、複数の前記時系列画素データのそれぞれに対応する複数の前記第３の周波数成分データを抽出する第２の抽出部と、前記時系列画素データと前記時系列画素データから抽出された前記第３の周波数成分データとの差分を算出して得られるデータを、第２の差分データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第２の差分データを算出する第３の算出部と、前記第２の差分データに対して、第４の所定数の前記フレームを単位とする所定の演算をすることにより算出された、前記第２の差分データの変動を示すデータを、第２の変動データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第２の変動データを算出する第４の算出部と、同じ前記時系列画素データから得られた前記第１の変動データと前記第２の変動データとの差分を算出して得られるデータを、第３の差分データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第３の差分データを算出する第５の算出部と、をさらに備える。これは、画像処理部の第２態様、第３態様に対応する。
　前記第２の所定処理は、前記時系列画素データに対して、第３の所定数のフレームを単位とする移動平均を算出することにより前記時系列画素データから前記第３の周波数成分データを抽出する処理である。これは、画像処理部の第２態様、第３態様に対応する。第３の所定数は、例えば、前記第１の所定数より少ない。
　前記画像処理部は、前記第１の周波数成分データよりも周波数が高く、高周波ノイズを示すデータを第３の周波数成分データとし、前記時系列画素データに対して、前記第３の周波数成分データを抽出できる重み付け係数を用いて、複数の前記フレームより少ない第３の所定数の前記フレームを単位とする加重移動平均を算出して得られたデータを、第２の差分データとし、前記第２の差分データは、前記時系列画素データと前記第３の周波数成分データとの差分であり、複数の前記時系列画素データのそれぞれに対応する複数の前記第２の差分データを算出する第３の算出部と、前記第２の差分データに対して、第４の所定数の前記フレームを単位とする所定の演算をすることにより算出された、前記第２の差分データの変動を示すデータを、第２の変動データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第２の変動データを算出する第４の算出部と、同じ前記時系列画素データから得られた前記第１の変動データと前記第２の変動データとの差分を算出して得られるデータを、第３の差分データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第３の差分データを算出する第５の算出部と、をさらに備える。これは、画像処理部の第６態様に対応する。
　前記第２の変動データは、第２のばらつきデータであり、前記第４の算出部は、前記第２の差分データに対して、複数の前記フレームより少ない前記第４の所定数の前記フレームを単位とする移動標準偏差又は移動分散を算出することにより前記第２のばらつきデータを求める。これは、画像処理部の第２態様、第６態様に対応する。
　前記第２の変動データは、第２の絶対値加算データであり、前記第４の算出部は、前記第２の差分データを基にして求められた、前記第２の差分データの絶対値を示すデータを、第２の絶対値データとし、前記第２の絶対値データに対して、複数の前記フレームより少ない前記第４の所定数の前記フレームを単位とする移動加算をすることにより前記第２の絶対値加算データを求める。これは、画像処理部の第３態様、第６態様に対応する。
　第２の技術思想は、以下の通りである。
　前記画像処理部は、前記時系列画素データに対して、前記第１の周波数成分データを抽出できる重み付け係数を用いて、複数の前記フレーム数より少ない所定数の前記フレームを単位とする加重移動平均を算出することにより前記時系列画素データから抽出されたデータを、前記第１の周波数成分データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第１の周波数成分データを抽出する抽出部と、前記第１の周波数成分データを基にして求められた、前記第１の周波数成分の変動を示すデータを、変動データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記変動データを算出する算出部と、を備える。これは、画像処理部の第５態様に対応する。
　第３の技術思想は、以下の通りである。
　前記画像処理部は、前記時系列画素データに対して、フーリエ変換して得られたデータを、フーリエ変換データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記フーリエ変換データを算出する第１の算出部と、前記フーリエ変換データから前記第２の周波数成分データが取り除かれたデータを、特定周波数成分カットデータとし、複数の前記時系列画素データのそれぞれに対応する複数の前記特定周波数成分カットデータを算出する第２の算出部と、前記特定周波数成分カットデータに対して、フーリエ逆変換して得られたデータを、フーリエ逆変換データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記フーリエ逆変換データを算出する第３の算出部と、前記フーリエ逆変換データを基にして求められた、前記フーリエ逆変換データの変動を示すデータを、変動データとし、複数の前記フーリエ逆変換データのそれぞれに対応する複数の前記変動データを算出する第４の算出部と、を備える。これは、画像処理部の第７態様に対応する。
　前記第２の算出部は、前記第１の周波数成分データよりも周波数が高く、高周波ノイズを示す第３の周波数成分データ、及び、前記第２の周波数成分データを、前記フーリエ変換データから取り除かれたデータを、前記特定周波数成分カットデータとし、複数の前記時系列画素データのそれぞれに対応する複数の前記特定周波数成分カットデータを算出する。これは、画像処理部の第７態様に対応する。
　本実施形態の第２の局面に係るガス検知用画像処理方法は、ガス漏れの監視対象を複数の時刻で撮影した赤外画像を示す画像データを取得する第１のステップと、漏れたガスによる温度変化を示す第１の周波数成分データよりも周波数が低く、前記監視対象の背景の温度変化を示す第２の周波数成分データを、前記画像データから除く処理をする第２のステップと、を備える。
　本実施形態の第２の局面に係るガス検知用画像処理方法によれば、本実施形態の第１の局面に係るガス検知用画像処理装置と同様の作用効果を有する。
　本実施形態の第３の局面に係るガス検知用画像処理プログラムは、ガス漏れの監視対象を複数の時刻で撮影した赤外画像を示す画像データを取得する第１のステップと、漏れたガスによる温度変化を示す第１の周波数成分データよりも周波数が低く、前記監視対象の背景の温度変化を示す第２の周波数成分データを、前記画像データから除く処理をする第２のステップと、をコンピューターに実行させる。
　本実施形態の第３の局面に係るガス検知用画像処理プログラムによれば、本実施形態の第１の局面に係るガス検知用画像処理装置と同様の作用効果を有する。
　この出願は、２０１５年１０月２９日に出願された日本国特許出願特願２０１５－２１２５１８を基礎とするものであり、その内容は、本願に含まれるものである。
　本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
　本発明によれば、ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラムを提供することができる。

Claims (19)

  1. 　ガス漏れの監視対象を複数の時刻で撮影した赤外画像に対して画像処理をするガス検知用画像処理装置であって、
    　漏れたガスによる温度変化を示す第１の周波数成分データよりも周波数が低く、前記監視対象の背景の温度変化を示す第２の周波数成分データを、前記赤外画像を示す画像データから除く処理をする画像処理部を備えるガス検知用画像処理装置。
  2. 　前記画像処理部は、前記第１の周波数成分データよりも周波数が高く、高周波ノイズを示す第３の周波数成分データを、前記画像データから除く処理をする請求項１に記載のガス検知用画像処理装置。
  3. 　前記画像データは、フレームが時系列に複数並べられた構造を有する動画データであり、
    　前記画像処理部は、複数の前記フレームの同じ位置にある画素の画素データを時系列に並べたデータを時系列画素データとし、前記動画データを構成する複数の前記時系列画素データのそれぞれに対して、前記第２の周波数成分データを除く処理をする請求項１に記載のガス検知用画像処理装置。
  4. 　前記画像処理部は、
    　前記時系列画素データに対して、第１の所定処理をすることにより抽出されたデータを、前記第２の周波数成分データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第２の周波数成分データを抽出する第１の抽出部と、
    　前記時系列画素データと前記時系列画素データから抽出された前記第２の周波数成分データとの差分を算出して得られるデータを、第１の差分データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第１の差分データを算出する第１の算出部と、を備える請求項３に記載のガス検知用画像処理装置。
  5. 　前記第１の所定処理は、前記時系列画素データに対して、複数の前記フレームより少ない第１の所定数の前記フレームを単位とする移動平均を算出することにより前記時系列画素データから前記第２の周波数成分データを抽出する処理である請求項４に記載のガス検知用画像処理装置。
  6. 　前記画像処理部は、前記時系列画素データに対して、前記第２の周波数成分データを抽出できる重み付け係数を用いて、複数の前記フレームより少ない第１の所定数の前記フレームを単位とする加重移動平均を算出して得られたデータを、第１の差分データとし、前記第１の差分データは、前記時系列画素データと前記第２の周波数成分データとの差分であり、複数の前記時系列画素データのそれぞれに対応する複数の前記第１の差分データを算出する第１の算出部を備える請求項３に記載のガス検知用画像処理装置。
  7. 　前記画像処理部は、
    　前記第１の差分データに対して、第２の所定数の前記フレームを単位とする所定の演算をすることにより算出された、前記第１の差分データの変動を示すデータを、第１の変動データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第１の変動データを算出する第２の算出部をさらに備える請求項４～６のいずれか一項に記載のガス検知用画像処理装置。
  8. 　前記第１の変動データは、第１のばらつきデータであり、前記第２の算出部は、前記第１の差分データに対して、複数の前記フレームより少ない前記第２の所定数の前記フレームを単位とする移動標準偏差又は移動分散を算出することにより前記第１のばらつきデータを求める請求項７に記載のガス検知用画像処理装置。
  9. 　前記第１の変動データは、第１の絶対値加算データであり、前記第２の算出部は、前記第１の差分データを基にして求められた、前記第１の差分データの絶対値を示すデータを、第１の絶対値データとし、前記第１の絶対値データに対して、複数の前記フレームより少ない前記第２の所定数の前記フレームを単位とする移動加算をすることにより前記第１の絶対値加算データを求める請求項７に記載のガス検知用画像処理装置。
  10. 　前記画像処理部は、
    　前記時系列画素データに対して、第２の所定処理をすることにより抽出されたデータを、第３の周波数成分データとし、前記第３の周波数成分データは、前記第１の周波数成分データよりも周波数が高く、高周波ノイズを示すデータであり、複数の前記時系列画素データのそれぞれに対応する複数の前記第３の周波数成分データを抽出する第２の抽出部と、
    　前記時系列画素データと前記時系列画素データから抽出された前記第３の周波数成分データとの差分を算出して得られるデータを、第２の差分データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第２の差分データを算出する第３の算出部と、
    　前記第２の差分データに対して、第４の所定数の前記フレームを単位とする所定の演算をすることにより算出された、前記第２の差分データの変動を示すデータを、第２の変動データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第２の変動データを算出する第４の算出部と、
    　同じ前記時系列画素データから得られた前記第１の変動データと前記第２の変動データとの差分を算出して得られるデータを、第３の差分データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第３の差分データを算出する第５の算出部と、をさらに備える請求項７～９のいずれか一項に記載のガス検知用画像処理装置。
  11. 　前記第２の所定処理は、前記時系列画素データに対して、第３の所定数のフレームを単位とする移動平均を算出することにより前記時系列画素データから前記第３の周波数成分データを抽出する処理である請求項１０に記載のガス検知用画像処理装置。
  12. 　前記画像処理部は、
    　前記第１の周波数成分データよりも周波数が高く、高周波ノイズを示すデータを第３の周波数成分データとし、前記時系列画素データに対して、前記第３の周波数成分データを抽出できる重み付け係数を用いて、複数の前記フレームより少ない第３の所定数の前記フレームを単位とする加重移動平均を算出して得られたデータを、第２の差分データとし、前記第２の差分データは、前記時系列画素データと前記第３の周波数成分データとの差分であり、複数の前記時系列画素データのそれぞれに対応する複数の前記第２の差分データを算出する第３の算出部と、
    　前記第２の差分データに対して、第４の所定数の前記フレームを単位とする所定の演算をすることにより算出された、前記第２の差分データの変動を示すデータを、第２の変動データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第２の変動データを算出する第４の算出部と、
    　同じ前記時系列画素データから得られた前記第１の変動データと前記第２の変動データとの差分を算出して得られるデータを、第３の差分データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第３の差分データを算出する第５の算出部と、をさらに備える請求項７～９のいずれか一項に記載のガス検知用画像処理装置。
  13. 　前記第２の変動データは、第２のばらつきデータであり、前記第４の算出部は、前記第２の差分データに対して、複数の前記フレームより少ない前記第４の所定数の前記フレームを単位とする移動標準偏差又は移動分散を算出することにより前記第２のばらつきデータを求める請求項１０～１２のいずれか一項に記載のガス検知用画像処理装置。
  14. 　前記第２の変動データは、第２の絶対値加算データであり、前記第４の算出部は、前記第２の差分データを基にして求められた、前記第２の差分データの絶対値を示すデータを、第２の絶対値データとし、前記第２の絶対値データに対して、複数の前記フレームより少ない前記第４の所定数の前記フレームを単位とする移動加算をすることにより前記第２の絶対値加算データを求める請求項１０～１２のいずれか一項に記載のガス検知用画像処理装置。
  15. 　前記画像処理部は、
    　前記時系列画素データに対して、前記第１の周波数成分データを抽出できる重み付け係数を用いて、複数の前記フレーム数より少ない所定数の前記フレームを単位とする加重移動平均を算出することにより前記時系列画素データから抽出されたデータを、前記第１の周波数成分データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記第１の周波数成分データを抽出する抽出部と、
    　前記第１の周波数成分データを基にして求められた、前記第１の周波数成分の変動を示すデータを、変動データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記変動データを算出する算出部と、を備える請求項３に記載のガス検知用画像処理装置。
  16. 　前記画像処理部は、
    　前記時系列画素データに対して、フーリエ変換して得られたデータを、フーリエ変換データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記フーリエ変換データを算出する第１の算出部と、
    　前記フーリエ変換データから前記第２の周波数成分データが取り除かれたデータを、特定周波数成分カットデータとし、複数の前記時系列画素データのそれぞれに対応する複数の前記特定周波数成分カットデータを算出する第２の算出部と、
    　前記特定周波数成分カットデータに対して、フーリエ逆変換して得られたデータを、フーリエ逆変換データとし、複数の前記時系列画素データのそれぞれに対応する複数の前記フーリエ逆変換データを算出する第３の算出部と、
    　前記フーリエ逆変換データを基にして求められた、前記フーリエ逆変換データの変動を示すデータを、変動データとし、複数の前記フーリエ逆変換データのそれぞれに対応する複数の前記変動データを算出する第４の算出部と、を備える請求項３に記載のガス検知用画像処理装置。
  17. 　前記第２の算出部は、前記第１の周波数成分データよりも周波数が高く、高周波ノイズを示す第３の周波数成分データ、及び、前記第２の周波数成分データを、前記フーリエ変換データから取り除かれたデータを、前記特定周波数成分カットデータとし、複数の前記時系列画素データのそれぞれに対応する複数の前記特定周波数成分カットデータを算出する請求項１６に記載のガス検知用画像処理装置。
  18. 　ガス漏れの監視対象を複数の時刻で撮影した赤外画像を示す画像データを取得する第１のステップと、
    　漏れたガスによる温度変化を示す第１の周波数成分データよりも周波数が低く、前記監視対象の背景の温度変化を示す第２の周波数成分データを、前記画像データから除く処理をする第２のステップと、を備えるガス検知用画像処理方法。
  19. 　ガス漏れの監視対象を複数の時刻で撮影した赤外画像を示す画像データを取得する第１のステップと、
    　漏れたガスによる温度変化を示す第１の周波数成分データよりも周波数が低く、前記監視対象の背景の温度変化を示す第２の周波数成分データを、前記画像データから除く処理をする第２のステップと、をコンピューターに実行させるガス検知用画像処理プログラム。
PCT/JP2016/080968 2015-10-29 2016-10-19 ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム WO2017073430A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP21201144.9A EP3957969A1 (en) 2015-10-29 2016-10-19 Image processing device for gas detection, image processing method for gas detection and image processing program for gas detection
JP2017543848A JP6245418B2 (ja) 2015-10-29 2016-10-19 ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
US15/770,273 US10145788B2 (en) 2015-10-29 2016-10-19 Image processing device for gas detection, image processing method for gas detection and image processing program for gas detection
EP16859660.9A EP3351916B1 (en) 2015-10-29 2016-10-19 Image processing device for gas detection, image processing method for gas detection and image processing program for gas detection
US16/162,963 US10520429B2 (en) 2015-10-29 2018-10-17 Image processing device, image processing method and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015212518 2015-10-29
JP2015-212518 2015-10-29

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/770,273 A-371-Of-International US10145788B2 (en) 2015-10-29 2016-10-19 Image processing device for gas detection, image processing method for gas detection and image processing program for gas detection
US16/162,963 Continuation US10520429B2 (en) 2015-10-29 2018-10-17 Image processing device, image processing method and image processing program

Publications (1)

Publication Number Publication Date
WO2017073430A1 true WO2017073430A1 (ja) 2017-05-04

Family

ID=58631464

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/080968 WO2017073430A1 (ja) 2015-10-29 2016-10-19 ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム

Country Status (4)

Country Link
US (2) US10145788B2 (ja)
EP (2) EP3351916B1 (ja)
JP (1) JP6245418B2 (ja)
WO (1) WO2017073430A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018211778A1 (ja) * 2017-05-18 2018-11-22 コニカミノルタ株式会社 ガス漏れ位置推定装置、ガス漏れ位置推定方法及びガス漏れ位置推定プログラム
JPWO2018207528A1 (ja) * 2017-05-10 2020-05-07 コニカミノルタ株式会社 構造物異常診断装置
JP2020085829A (ja) * 2018-11-30 2020-06-04 コニカミノルタ株式会社 振動検出方法
WO2020250461A1 (ja) 2019-06-11 2020-12-17 コニカミノルタ株式会社 ガス監視装置、該方法および該プログラム
US10997734B2 (en) * 2016-12-27 2021-05-04 Konica Minolta, Inc. Gas detection-use image processing device, gas detection-use image processing method, and gas detection-use image processing program
WO2021095112A1 (ja) * 2019-11-12 2021-05-20 コニカミノルタ株式会社 ガス検知装置、画像処理制御方法および画像処理制御プログラム
WO2021205901A1 (ja) 2020-04-10 2021-10-14 コニカミノルタ株式会社 ガス検知装置、ガス検知方法、および、ガス検知プログラム
WO2022004461A1 (ja) * 2020-07-03 2022-01-06 コニカミノルタ株式会社 ガス領域判定装置、ガス領域判定方法、学習モデル生成装置、学習モデル生成方法、および、プログラム
WO2023105856A1 (ja) * 2021-12-10 2023-06-15 コニカミノルタ株式会社 ガス濃度測定装置、ガス濃度測定方法、およびプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111801569B (zh) * 2018-01-03 2023-10-13 前视红外系统股份公司 使用多波段传感器阵列系统和方法动态确定辐射值
US10684216B2 (en) * 2018-03-30 2020-06-16 Konica Minolta Laboratory U.S.A., Inc. Multi-spectral gas quantification and differentiation method for optical gas imaging camera
TW202105987A (zh) * 2019-07-26 2021-02-01 日商半導體能源研究所股份有限公司 攝像裝置及其工作方法及電子裝置
DE102021100405A1 (de) 2021-01-12 2022-07-14 Inficon Gmbh Verfahren zur Detektion von aus einem Prüfling austretendem Prüfgas mit einem optischen Sensor
CN113406035A (zh) * 2021-05-31 2021-09-17 浙江焜腾红外科技有限公司 一种voc气体排放用的成像传感器结构

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012058093A (ja) * 2010-09-09 2012-03-22 Mitsubishi Electric Building Techno Service Co Ltd ガス漏れ検出装置
US20130113939A1 (en) * 2011-11-07 2013-05-09 Flir Systems Ab Gas visualization arrangements, devices, and methods
JP2013122389A (ja) * 2011-12-09 2013-06-20 Mitsubishi Electric Corp 気体検出装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7358860B2 (en) * 2005-03-31 2008-04-15 American Air Liquide, Inc. Method and apparatus to monitor and detect cryogenic liquefied gas leaks
US7851758B1 (en) * 2005-09-29 2010-12-14 Flir Systems, Inc. Portable multi-function inspection systems and methods
US7649174B2 (en) * 2008-02-11 2010-01-19 Flir Systems, Inc. Thermography camera configured for gas leak detection
US8539818B2 (en) * 2010-02-01 2013-09-24 The Boeing Company Methods and systems for evaporative cooling infrared thermographic leak detection
WO2011106796A1 (en) * 2010-02-26 2011-09-01 Delacom Detection Systems, Llc A method, device and system for determining the presence of volatile organic and hazardous vapors using an infrared light source and infrared video imaging
WO2012170093A2 (en) * 2011-03-25 2012-12-13 Exxonmobil Upstream Research Company Autonomous detection of chemical plumes
US20140210984A1 (en) * 2013-01-28 2014-07-31 General Electric Company System, Apparatus, And Method For Gas Turbine Leak Detection
CA2985486C (en) * 2014-05-09 2021-04-13 Kairos Aerospace Inc. Systems and methods for detecting gas leaks
US9482592B2 (en) * 2014-09-24 2016-11-01 General Monitors, Inc. Directional ultrasonic gas leak detector
JP6224037B2 (ja) 2015-07-29 2017-11-01 株式会社ニュー・メソッド コンクリートブロック
US9995647B2 (en) * 2015-09-30 2018-06-12 General Monitors, Inc. Ultrasonic gas leak location system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012058093A (ja) * 2010-09-09 2012-03-22 Mitsubishi Electric Building Techno Service Co Ltd ガス漏れ検出装置
US20130113939A1 (en) * 2011-11-07 2013-05-09 Flir Systems Ab Gas visualization arrangements, devices, and methods
JP2013122389A (ja) * 2011-12-09 2013-06-20 Mitsubishi Electric Corp 気体検出装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10997734B2 (en) * 2016-12-27 2021-05-04 Konica Minolta, Inc. Gas detection-use image processing device, gas detection-use image processing method, and gas detection-use image processing program
JPWO2018207528A1 (ja) * 2017-05-10 2020-05-07 コニカミノルタ株式会社 構造物異常診断装置
JP7048590B2 (ja) 2017-05-10 2022-04-05 コニカミノルタ株式会社 構造物異常診断装置及び構造物異常診断プログラム
WO2018211778A1 (ja) * 2017-05-18 2018-11-22 コニカミノルタ株式会社 ガス漏れ位置推定装置、ガス漏れ位置推定方法及びガス漏れ位置推定プログラム
JPWO2018211778A1 (ja) * 2017-05-18 2020-03-19 コニカミノルタ株式会社 ガス漏れ位置推定装置、ガス漏れ位置推定方法及びガス漏れ位置推定プログラム
JP7036112B2 (ja) 2017-05-18 2022-03-15 コニカミノルタ株式会社 ガス漏れ位置推定装置、ガス漏れ位置推定方法及びガス漏れ位置推定プログラム
JP7031570B2 (ja) 2018-11-30 2022-03-08 コニカミノルタ株式会社 振動検出方法
JP2020085829A (ja) * 2018-11-30 2020-06-04 コニカミノルタ株式会社 振動検出方法
WO2020250461A1 (ja) 2019-06-11 2020-12-17 コニカミノルタ株式会社 ガス監視装置、該方法および該プログラム
WO2021095112A1 (ja) * 2019-11-12 2021-05-20 コニカミノルタ株式会社 ガス検知装置、画像処理制御方法および画像処理制御プログラム
WO2021205901A1 (ja) 2020-04-10 2021-10-14 コニカミノルタ株式会社 ガス検知装置、ガス検知方法、および、ガス検知プログラム
WO2022004461A1 (ja) * 2020-07-03 2022-01-06 コニカミノルタ株式会社 ガス領域判定装置、ガス領域判定方法、学習モデル生成装置、学習モデル生成方法、および、プログラム
WO2023105856A1 (ja) * 2021-12-10 2023-06-15 コニカミノルタ株式会社 ガス濃度測定装置、ガス濃度測定方法、およびプログラム

Also Published As

Publication number Publication date
EP3351916B1 (en) 2021-11-17
EP3351916A4 (en) 2019-03-06
EP3957969A1 (en) 2022-02-23
US20180313748A1 (en) 2018-11-01
JPWO2017073430A1 (ja) 2017-12-14
US10520429B2 (en) 2019-12-31
US10145788B2 (en) 2018-12-04
US20190049371A1 (en) 2019-02-14
JP6245418B2 (ja) 2017-12-13
EP3351916A1 (en) 2018-07-25

Similar Documents

Publication Publication Date Title
JP6245418B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
JP6344533B2 (ja) ガス濃度厚み積測定装置、ガス濃度厚み積測定方法、ガス濃度厚み積測定プログラム、及び、ガス濃度厚み積測定プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2017104617A1 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法、ガス検知用画像処理プログラム、ガス検知用画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び、ガス検知システム
WO2017213075A1 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
JP6579290B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム
JPWO2017122660A1 (ja) ガス可視化装置、ガス可視化方法およびガス可視化プログラム
JP6579291B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム
JP6508439B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
JP7230813B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム
JP7047638B2 (ja) ガス可視化用画像処理装置、ガス可視化用画像処理方法、ガス可視化用画像処理プログラム、及び、ガス検知システム
JP7036112B2 (ja) ガス漏れ位置推定装置、ガス漏れ位置推定方法及びガス漏れ位置推定プログラム
JP7156291B2 (ja) ガス検査レポート作成支援装置、ガス検査レポート作成支援方法、及び、ガス検査レポート作成支援プログラム
JPWO2020110411A1 (ja) ガス流量推定装置、ガス流量推定方法、及び、ガス流量推定プログラム
JP6504325B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
JP7302605B2 (ja) 漏洩源特定支援装置、漏洩源特定支援方法、及び、漏洩源特定支援プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16859660

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017543848

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15770273

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016859660

Country of ref document: EP