WO2022264604A1 - ガス濃度特徴量推定装置、ガス濃度特徴量推定方法、プログラム、およびガス濃度特徴量推論モデル生成装置 - Google Patents

ガス濃度特徴量推定装置、ガス濃度特徴量推定方法、プログラム、およびガス濃度特徴量推論モデル生成装置 Download PDF

Info

Publication number
WO2022264604A1
WO2022264604A1 PCT/JP2022/013879 JP2022013879W WO2022264604A1 WO 2022264604 A1 WO2022264604 A1 WO 2022264604A1 JP 2022013879 W JP2022013879 W JP 2022013879W WO 2022264604 A1 WO2022264604 A1 WO 2022264604A1
Authority
WO
WIPO (PCT)
Prior art keywords
gas
data
pixel group
time
gas concentration
Prior art date
Application number
PCT/JP2022/013879
Other languages
English (en)
French (fr)
Inventor
基広 浅野
隆史 森本
俊介 ▲高▼村
美佳子 木内
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to JP2023529589A priority Critical patent/JPWO2022264604A1/ja
Priority to EP22824600.5A priority patent/EP4357746A1/en
Publication of WO2022264604A1 publication Critical patent/WO2022264604A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3504—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing gases, e.g. multi-gas analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00—Investigating fluid-tightness of structures
    • G01M3/38—Investigating fluid-tightness of structures by using light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3504—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing gases, e.g. multi-gas analysis
    • G01N2021/3531—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing gases, e.g. multi-gas analysis without instrumental source, i.e. radiometric
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/02—Mechanical
    • G01N2201/022—Casings
    • G01N2201/0221—Portable; cableless; compact; hand-held
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks

Definitions

  • the present disclosure relates to a gas concentration feature quantity estimating device and a gas concentration feature quantity estimating method, and relates to a gas concentration feature quantity estimating method based on an infrared captured image.
  • Gas facilities Facilities that use gas (hereinafter referred to as " Gas facilities") are aware of the danger of gas leaks due to aging deterioration and operational errors of the facilities, and are equipped with gas detection devices to minimize gas leaks.
  • the gas detection method using infrared video can visualize the gas with images, so compared to the conventional detection probe method, it has the advantage of being able to easily detect the release state of the gas flow and the location of the leak. In addition, since the state of the leaked gas is recorded as a video, there is an advantage that it can be used as evidence of the occurrence of the gas leak and its repair.
  • Patent Document 1 discloses an infrared image of an object to be monitored, which detects the presence of gas by detecting the amplitude characteristics in the time-series luminance change of each pixel.
  • a technique is disclosed for estimating the concentration thickness product by specifying the background temperature and the background temperature in the absence of gas.
  • the mechanical vibrations that occur during operation cause mechanical vibrations in the imaging target, and the captured infrared images may contain mechanical vibration noise.
  • mechanical vibration noise may be transmitted from the gas equipment or the like to the imaging device, and the captured infrared image may be affected by the mechanical vibration noise.
  • the luminance change of each pixel is detected due to the luminance change of each pixel due to the vibration noise. Therefore, as a problem specific to non-contact gas detection using infrared images, there was concern that the accuracy of the feature value related to the calculated gas concentration would be reduced due to the influence of mechanical vibration noise existing in the measurement environment.
  • An object of the present invention is to provide a concentration feature quantity estimating device, a gas concentration feature quantity estimating method, a program, and a gas concentration feature quantity inference model generating device.
  • a gas concentration feature value estimating device is a gas concentration feature quantity estimation device having two or more vertical and horizontal pixels each extracted from inspection data of a gas distribution moving image representing an existing region of gas in space.
  • an inspection data acquiring unit for acquiring time-series pixel group inspection data of the distribution video and the temperature value of the gas; and time-series pixel group teacher data of the gas distribution video of the same size as the time-series pixel group inspection data.
  • the time-series pixel group inspection acquired by the inspection data acquisition unit using an inference model machine-learned using gas temperature values and gas concentration feature values corresponding to the time-series pixel group teacher data as teacher data. and an estimating unit that calculates the gas concentration feature quantity corresponding to the data.
  • a gas concentration feature quantity estimating device capable of reducing the influence of mechanical vibration noise on measurement and accurately detecting a feature quantity representing gas concentration in a space from an infrared gas distribution moving image, gas concentration A feature quantity estimation method, a program, and a gas concentration feature quantity inference model generation device can be provided.
  • the feature quantity that expresses the gas concentration in the space can be obtained. It can be detected with high accuracy.
  • FIG. 1 is a schematic configuration diagram of a gas concentration feature quantity estimation system 1 according to an embodiment
  • FIG. FIG. 3 is a schematic diagram showing the relationship between the gas visualization imaging device 10 and an inspection object 300
  • 2 is a diagram showing a circuit configuration of a gas concentration feature quantity estimating device 20
  • FIG. (a) is a functional block diagram of the control unit 21, and (b) is a functional block diagram of a machine learning unit 2151 in the control unit 21.
  • FIG. (a) is a diagram showing the aspect of time-series pixel group inspection data of a gas distribution video image whose regions are extracted from the inspection data of the gas distribution video image;
  • 3C is a diagram showing a mode of time-series pixel group teacher data of a gas distribution moving image
  • (c) is a schematic diagram showing a mode of a gas concentration feature amount estimated from time-series pixel group inspection data of a gas distribution moving image.
  • (a) is the aspect of the time-series pixel group data of the gas distribution video when there is no mechanical vibration noise
  • (b) is the gas distribution video when it is affected by mechanical vibration noise.
  • 2 is a schematic diagram showing a mode of time-series pixel group data of FIG.
  • FIG. 3A is a schematic diagram showing temporal changes in luminance values representing gas distribution in time-series pixel group data of a gas distribution moving image
  • FIG. 4B is a schematic diagram showing positional changes in luminance values representing gas distribution in time-series pixel group data.
  • FIG. . (a) to (d) are diagrams showing a method of calculating a density-thickness product from a light absorption rate.
  • 4 is a flow chart showing the operation of the gas concentration feature quantity estimating device 20 in the learning phase.
  • FIG. 4 is a flow chart showing the operation of the gas concentration feature quantity estimating device 20 in the operation phase.
  • (a) is an example of a gas distribution moving image to be inspected
  • (b) is an example of an inspection object image of a light absorption image
  • (c) is an example of a processing result of the light absorption image.
  • 3 is a diagram showing a circuit configuration of a machine learning data generation device 30
  • FIG. 3 is a functional block diagram of a control unit 31
  • FIG. 3A is a schematic diagram showing the data structure of three-dimensional structure data DTstr
  • FIG. 3B is a schematic diagram showing the data structure of three-dimensional gas distribution image data DTgas.
  • FIG. 10 is a schematic diagram for explaining an outline of a concentration/thickness integration calculation method in a two-dimensional single-viewpoint gas distribution image conversion process
  • FIG. 10 is a schematic diagram for explaining an outline of a concentration/thickness integration calculation method under the condition that a structure exists in the two-dimensional single-viewpoint gas distribution image conversion process
  • (a) is a schematic diagram showing an outline of the density-thickness product image data
  • (b) is a schematic diagram for explaining the outline of the density-thickness integration calculation method in the light absorptance image conversion process
  • (c) is a light FIG.
  • FIG. 4 is a schematic diagram showing an overview of absorptance image data;
  • (a) is a schematic diagram showing an overview of the three-dimensional structure data,
  • (b) is a schematic diagram showing an overview of the extracted background location data, and
  • (c) is background image data based on the background location data.
  • (a) is a schematic diagram showing an outline of background image data
  • (b) is a schematic diagram showing an outline of light absorptance image data
  • (c) is a schematic diagram showing an outline of light intensity image data.
  • 4 is a flowchart showing an outline of a two-dimensional single-viewpoint gas distribution image conversion process;
  • 4 is a flowchart showing an overview of background image generation processing;
  • 4 is a flowchart showing an overview of light intensity image data generation processing;
  • FIG. 1 is a schematic configuration diagram of a gas concentration feature amount system 1 according to an embodiment.
  • the gas concentration feature value system 1 includes a plurality of gas visualization imaging devices 10 connected to a communication network N, a gas concentration feature value estimation device 20, a machine learning data generation device 30, and a storage means 40. consists of
  • the communication network N is, for example, the Internet, and the gas visualization imaging device 10, the gas concentration feature value estimation device 20, a plurality of machine learning data generation devices 30, and the storage means 40 are connected so as to exchange information with each other. ing.
  • the gas visualization imaging device 10 is a device or system that captures an image of an object to be monitored using infrared rays and provides an infrared image in which gas is visualized. There are modes such as a portable type and a drone-mounted type.
  • the gas visualization imaging device 10 includes, for example, imaging means (not shown) composed of an infrared camera that detects infrared rays and takes an image, and an interface circuit (not shown) that outputs to the communication network N.
  • An infrared camera is an infrared imaging device that generates an infrared image based on infrared light and outputs the infrared image to the outside. It can be used for a leak gas visualization imaging device for visualizing gas leaks from gas equipment by capturing an infrared moving image of gas in the air using the infrared absorption characteristics of gas.
  • Infrared camera images are commonly used to detect hydrocarbon gases.
  • a so-called infrared camera equipped with an image sensor having a sensitivity wavelength band for at least part of infrared light wavelengths of 3 ⁇ m to 5 ⁇ m detects infrared light with a wavelength of 3.2 to 3.4 ⁇ m and images It can detect hydrocarbon gases such as methane, ethane, ethylene, and propylene.
  • hydrocarbon gases such as methane, ethane, ethylene, and propylene.
  • infrared light with a wavelength of 4.52-4.67 ⁇ m different kinds of gases such as carbon monoxide can also be detected.
  • FIG. 2 is a schematic diagram showing the relationship between the gas visualization imaging device 10 and the inspection object 300.
  • the gas visualization imaging device 10 is installed so that the inspection object 300 is included in the field of view 310 of the infrared camera.
  • the obtained inspection image is, for example, a video signal for transmitting an image of 30 frames per second.
  • the gas visualization imaging device 10 converts the captured image into a predetermined video signal.
  • the infrared image signal obtained from the infrared camera is processed as a moving image consisting of a plurality of frames by restoring the video signal to an image.
  • the image is an infrared photograph of an object to be monitored, and has infrared intensity as a pixel value.
  • the number of pixels of the gas distribution image is, for example, 320 ⁇ 256 pixels, and the number of frames is, for example, 100.
  • the gas visualization imaging device detects the presence of gas by capturing changes in the amount of electromagnetic waves emitted from background objects with an absolute temperature of 0 (K) or higher. Changes in the amount of electromagnetic waves are mainly caused by the absorption of electromagnetic waves in the infrared region by the gas or by the generation of black body radiation from the gas itself.
  • the gas visualization imaging device 10 captures an image of the gas leakage by photographing the space to be monitored, so that the gas leakage can be detected earlier and the location of the gas can be accurately captured.
  • the visualized inspection image is temporarily stored in a memory or the like, and is transferred to and stored in the storage means 40 via the communication network N based on the operation input.
  • gas visualization imaging device 10 is not limited to this, and may be any imaging device capable of detecting the gas to be monitored.
  • a general visible light camera may be used.
  • the storage means 40 is a storage device for storing inspection images transmitted from the gas visualization imaging device 10.
  • the storage means 40 includes, for example, a nonvolatile memory such as a hard disk. stored in a state associated with the identification information of The administrator can use a management terminal (not shown) or the like to read the infrared image from the storage means 40 and grasp the state of the infrared image to be browsed.
  • the gas concentration feature quantity estimating device 20 acquires an inspection image of the object to be monitored from the gas visualization imaging device 10, estimates the gas feature quantity based on the inspection image, and notifies the user of the gas detection through the display 24. It is a device.
  • the gas concentration feature quantity estimating device 20 is realized, for example, as a computer having a general CPU (Central Processing Unit), RAM (Random Access Memory), and programs executed by these. As will be described later, the gas concentration feature quantity estimating device 20 may further include a GPU (Graphics Processing Unit) as a computing device and a RAM.
  • GPU Graphics Processing Unit
  • FIG. 3 is a diagram showing the circuit configuration of the gas concentration feature quantity estimating device 2. As shown in FIG.
  • the gas concentration feature quantity estimating device 20 is a server computer for estimating the optical absorptance based on the inspection image.
  • the gas concentration feature value estimating device 20 reads the inspection image stored in the storage means 40 or receives the inspection image from the gas visualization imaging device 10, estimates the light absorption rate of the inspection image, and calculates the light absorption rate.
  • An absorptance image is generated and output to the storage means 40 via the communication network N for storage.
  • FIG. 3 is a schematic configuration diagram showing the circuit configuration of the gas concentration feature quantity estimating device 20.
  • the gas concentration feature quantity estimation device 20 includes a control section 21 , a communication circuit 22 , a storage device 23 , a display device 24 and an operation input section 25 .
  • the display device 24 is, for example, a liquid crystal panel or the like, and displays a display screen generated by the control unit 21.
  • the operation input unit 25 is an input device for input for the operator to operate the gas concentration feature quantity estimation device 20 .
  • an input device such as a keyboard and a mouse, or a touch panel having a touch sensor arranged on the front surface of the display 24 may be implemented as one device that serves as both a display device and an input device.
  • the control unit 21 includes a CPU, a RAM, and a ROM, and the CPU executes a program (not shown) stored in the ROM to realize each function of the gas concentration feature value estimation device 20. Specifically, the control unit 21 estimates the gas concentration feature amount of the gas distribution image based on the inspection image acquired from the communication circuit 22, creates an image of the gas concentration feature amount, and creates the image of the gas concentration feature amount. Output to the communication circuit 22 . Specifically, as the gas concentration feature amount, the light absorption rate or the gas concentration thickness product is estimated to create a light absorption rate image or a gas concentration thickness product image, which is output to the communication circuit 22 .
  • FIG. 4A is a functional block diagram of the control section 21. As shown in FIG.
  • the gas concentration feature value estimation device 20 includes an inspection image acquisition unit 211 , a gas temperature value inspection data acquisition unit 212 , a teacher image acquisition unit 213 , a gas feature value teacher data acquisition unit 214 , a machine A learning unit 2151 , a learning model holding/inference unit 2152 , and a gas concentration feature value output unit 216 are provided.
  • the machine learning unit 2151 and the learning model holding/inference unit 2152 constitute the gas concentration feature quantity estimation unit 215 .
  • the inspection image acquisition unit 211 is a circuit that acquires pixel group inspection data of the gas distribution moving image (hereinafter sometimes referred to as "gas distribution pixel group inspection data") from the gas visualization imaging device 10.
  • a device such as an image capture board can be used that captures image data into a processing device such as a computer.
  • the inspection data of the gas distribution moving image is an infrared image captured by an infrared camera and sensitive to wavelengths of 3.2 to 3.4 ⁇ m. , a luminance signal indicating a gas existing region in the space so as to have a high concentration.
  • the size of the image may be, for example, 320 ⁇ 256 pixels (vertical ⁇ horizontal).
  • the inspection data of the gas distribution moving image is a moving image including time-series data of multiple frames. Gain adjustment, offset adjustment, image inversion processing, and the like may be performed as required for post-processing.
  • the pixel group inspection data is inspection data in which the number of pixels in the vertical and horizontal directions is two or more, and the area is extracted from the inspection data of the gas distribution moving image. Further, the pixel group inspection data may be composed of pixel groups whose number is smaller than the number of pixels in the frame of the gas distribution moving image. The reason for this is that the smaller the number of pixels in the pixel group inspection data, the more areas can be extracted from one inspection image for learning, and the number of inspection image data for learning can be reduced. This is because, if the number of pixels of the inspection data is large, it will be necessary to prepare various background variations for learning.
  • the time-series pixel group inspection data have a frame pixel count of 3 or more and 7 or less pixels in the vertical and horizontal directions, respectively.
  • the pixel group inspection data may be 4 ⁇ 4 pixels in the vertical ⁇ horizontal direction, N frames (N is a natural number), or 10 frames per second (fps) for 10 seconds, where N is approximately 100 frames.
  • FIG. 5(a) is a diagram showing a mode of time-series pixel group inspection data of a gas distribution moving image region-extracted from the inspection data of the gas distribution moving image.
  • the gas type is a hydrocarbon gas such as methane gas
  • the inspection data and pixel group inspection data of the gas distribution moving image captured by the infrared camera are as shown in FIG. 5(a).
  • the gas temperature value inspection data acquisition unit 212 is a circuit that acquires the gas temperature value corresponding to the pixel group inspection data of the gas distribution image.
  • the brightness value of the captured image is input, and for the gas temperature, the value obtained by converting the temperature value measured by the thermometer into the brightness value is input, but the temperature value may also be input.
  • the gas temperature value may be a value obtained by converting the temperature measurement data obtained by measuring the temperature of the gas atmosphere using a thermometer TE at the time of capturing the gas distribution moving image into a brightness value.
  • an average value of 4 ⁇ 4 pixels and N frames in time-series pixel group inspection data is used.
  • the pixel group inspection data and gas temperature value inspection data are an image captured and measured under the same conditions and a temperature value related to the image.
  • a data set consisting of pixel group inspection data and gas temperature value inspection data is output to the inference unit 2152 as inspection target data in the inference unit 2152 .
  • the teacher image acquisition unit 213 is a circuit that receives an input of time-series pixel group teacher data of a gas distribution moving image that is region-extracted from the gas distribution moving image generated by the machine learning data generating device 30 .
  • FIG. 5(b) shows a mode of time-series pixel group training data of a gas distribution moving image obtained by region extraction from the training data of the gas distribution moving image when a light absorptance image is used as the gas distribution moving image. It is a diagram.
  • the time-series pixel group teacher data is an image having the same format as the pixel group inspection data generated by the gas visualization imaging device 10, and is a moving image including a plurality of frames of time-series data. is a statue.
  • the time-series pixel group teacher data preferably has a frame pixel count of 3 or more and 7 or less pixels in the vertical and horizontal directions.
  • the number of vertical ⁇ horizontal pixels may be 4 ⁇ 4, 10 frames per second (fps), 10 seconds, and N frames (N is a natural number), for example, N may be approximately 100 frames.
  • learning is performed effectively by changing the number of frame pixels in the time-series pixel group training data according to the magnitude of the vibration noise. For example, in the case of 3 ⁇ 3 pixels, it is possible to learn the influence of vibration noise of less than 1 pixel on the top, bottom, left, and right. In the case of 4 ⁇ 4, it is possible to learn the influence of vibration noise up to about 1.5 pixels in the vertical and horizontal directions. In the case of 7 ⁇ 7 pixels, the influence of displacement of less than 3 pixels vertically and horizontally can be learned.
  • the gas feature teacher data acquisition unit 214 obtains gas temperature value and gas concentration feature teacher data corresponding to the time-series pixel group teacher data region-extracted from the gas distribution moving image generated by the machine learning data generator 30. , are circuits for obtaining representative values for time-series pixel group teacher data.
  • the time-series pixel group teacher data, the gas temperature value, and the gas concentration feature amount are images generated under the same conditions and parameters relating to the images.
  • the temperature value may be an average value (an average value of N frames) corresponding to the time-series pixel group teacher data.
  • a gas temperature value corresponding to the brightness of the time-series pixel group teacher data may be used as the gas temperature value. Further, the light absorption rate or the gas concentration thickness product corresponding to the time-series pixel group teacher data may be used as the gas concentration feature amount.
  • the light absorption rate is the rate of light absorption when there is gas in the space, and is expressed as 0 to 1 when the state without gas is 0. Note that the optical absorptance can be converted into a concentration-thickness product by the spectral absorption coefficient of the gas. As shown in FIG. 5(b), for the light absorption rate and the density-thickness product, an average value (average value for 4 ⁇ 4 pixels ⁇ N frames) corresponding to the time-series pixel group teacher data may be used.
  • a data set consisting of the teacher data of the time-series pixel group teacher data, the teacher data of the gas temperature value, and the teacher data of the gas concentration feature quantity is output to the machine learning unit 2151 .
  • the teacher image acquisition unit 213 cuts out or enlarges it so that it has the same format. Processing such as reduction may be performed.
  • the machine learning unit 2151 obtains the time-series pixel group teacher data obtained by region extraction from the teacher data of the gas distribution moving image received by the teacher image acquisition unit 213 and the time-series pixel group teacher data received by the gas feature quantity teacher data acquisition unit 214.
  • This is a circuit that performs machine learning based on a data set consisting of gas temperature values and gas concentration feature values corresponding to data and generates an inference model.
  • the inference model is formed to estimate the gas concentration feature of the gas distribution video based on the pixel group inspection data of the gas distribution video and the gas temperature value and gas concentration feature of the gas distribution video. .
  • CNN convolutional neural network
  • PyTorch PyTorch
  • FIG. 4(b) is a schematic diagram showing the outline of the logical configuration of the machine learning model.
  • the machine learning model comprises an input layer 51, an intermediate layer 52-1, an intermediate layer 52-2, .
  • the input layer 51 receives a 4 ⁇ 4 ⁇ 100 three-dimensional tensor into which the pixel values of the gas distribution moving image are input.
  • the intermediate layer 52-1 is, for example, a convolution layer, and receives a 4 ⁇ 4 ⁇ 100 three-dimensional tensor generated from the data of the input layer 51 by convolution operation.
  • the intermediate layer 52-2 is, for example, a pooling layer, and receives a three-dimensional tensor obtained by resizing the data of the intermediate layer 52-1.
  • the intermediate layer 52-n is, for example, a fully connected layer, and converts the data of the intermediate layer 52-(n-1) into a two-dimensional vector indicating coordinate values.
  • the configuration of the intermediate layers is an example, and the number n of intermediate layers is about 3 to 5, but the present invention is not limited to this. Also, in FIG. 4B, each layer is drawn with the same number of neurons, but each layer may have any number of neurons.
  • the machine learning unit 2151 receives as input a data set consisting of time-series pixel group teacher data, teacher data of gas temperature values, and teacher data of gas concentration feature values, and performs learning with the gas concentration feature value as the correct answer to form a machine learning model. is generated and output to the learning model holding/inference unit 2152 .
  • the machine learning unit 2151 may be implemented by a GPU and software when the gas concentration feature quantity estimation device 20 includes a GPU and a RAM as arithmetic devices.
  • machine learning builds a processing system that can perform processing similar to human shape recognition and recognition of changes over time by automatically adjusting parameters such as convolution filtering used in image recognition through the learning process.
  • specific frequency component data appearing in the time-series pixel group teacher data is extracted, and the brightness value, gas temperature value, and gas concentration feature of the specific frequency component data are extracted.
  • an inference model for estimating the gas concentration feature amount corresponding to the pixel group inspection data can be constructed.
  • the light absorptivity and the concentration-thickness product are parameters that can be calculated by estimating the background temperature with gas and the background temperature without gas from the time change for each pixel, as described in known literature, for example, Patent Literature 1. Therefore, the gas feature amount teacher data acquisition unit 214 is configured to acquire the average value of frames in the time-series pixel group teacher data as teacher data.
  • FIG. 6(a) shows the mode of time-series pixel group data of the gas distribution moving image when there is no influence of mechanical vibration noise, and (b) shows the gas distribution when affected by mechanical vibration noise.
  • FIG. 4 is a schematic diagram showing a mode of time-series pixel group data of a moving image
  • FIG. 7(a) shows the time change of the luminance value in the time-series pixel group data of the gas distribution video when affected by mechanical vibration noise
  • (b) shows the luminance value in the time-series pixel group data.
  • It is a schematic diagram showing a position change of.
  • the change in luminance under the influence of mechanical vibration noise is observed as a change in luminance in the same phase with the same timing of variation in the time direction, and the luminance value in the pixel group data
  • the direction of change in is independent of the direction of gas flow, as shown in (b), and is usually in a different direction.
  • FIG. 8(a) shows temporal changes in luminance values representing the gas distribution in the time-series pixel group data of the gas distribution moving image, and (b) shows positional changes in the luminance values representing the gas distribution in the time-series pixel group data.
  • FIG. 8A the change in brightness representing the gas distribution is observed as a change in brightness accompanied by a timing (phase) shift due to gas flow. ) in the same direction as the gas flow direction.
  • the learning model holding/inference unit 2152 holds the machine learning model generated by the machine learning unit 2151, performs inference using the machine learning model, and performs pixel group inspection of the gas distribution moving image acquired by the inspection image acquisition unit 211.
  • This is a circuit that estimates and outputs gas concentration feature values corresponding to data.
  • the light absorptance or the gas concentration thickness product is specified as the average value of the pixel group inspection data of the input gas distribution moving image and output as the gas concentration feature amount.
  • the gas concentration feature quantity output unit 216 is a circuit that generates a display image for displaying the second image output by the learning model holding/inference unit 2152 on the display device 24 .
  • FIG. 5(c) is a schematic diagram showing a mode of the gas concentration feature amount estimated from the time-series pixel group inspection data of the gas distribution moving image when the optical absorptance image is used as the gas distribution moving image. An average value of light absorptances of 4 ⁇ 4 pixels and N frames in the time-series pixel group inspection data is output.
  • the optical absorptivity can be converted into a concentration-thickness product by the spectral absorption coefficient of the gas.
  • the concentration-thickness product can be calculated directly by creating a trained model for a specific gas type, such as methane.
  • a specific gas type such as methane.
  • the concentration-thickness product of various gas species can be calculated.
  • FIGS. 9(a) to 9(d) are diagrams showing a method of calculating the concentration-thickness product from the light absorption rate.
  • the method shown in FIG. 9(a) is a method of experimentally acquiring in advance data on the relationship between the light absorption rate and the concentration-thickness product for each gas type. For example, by measuring the light absorption rate using a gas cell filled with a gas of a predetermined concentration-thickness product and repeating the measurement while changing the concentration-thickness product of the sealed gas, the relationship data between the light absorption rate and the concentration-thickness product can be obtained. get. Then, the density-thickness product is obtained by interpolation processing using the obtained relationship data. An interpolation processing method such as spline interpolation may be used as the interpolation processing.
  • An interpolation processing method such as spline interpolation may be used as the interpolation processing.
  • relationship data between light absorptance and concentration-thickness product is experimentally acquired in advance for each gas type, mathematical parameter fitting is performed from the acquired relationship data, and light absorptance is This is a method of obtaining an approximation formula for calculating the concentration-thickness product.
  • the black dots in FIG. 9(b) are data related to methane gas actually measured using a gas cell, and the black dotted line is the result of interpolation by an approximation formula obtained by fitting mathematical parameters based on the measured data. You can see what is being done.
  • the method shown in FIG. 9(c) is a method of obtaining data on the relationship between the light absorption rate and the concentration-thickness product by theoretical calculation for gas species for which the light absorption line database can be used.
  • the spectral absorption coefficient can be obtained in detail. can be obtained.
  • the black dots in FIG. 9(c) are data on methane gas obtained using HITRAN, and the black solid line is the result of cubic spline interpolation. It can be seen that good interpolation is achieved by calculating the cubic spline coefficient with the intervals between the measurement points and obtaining the concentration-thickness product value corresponding to the light absorptance value.
  • the relationship data between the light absorptance and the concentration thickness product is acquired by the same method as in FIG. 9(c), and the relationship data acquired by the same method as in FIG. Interpolate.
  • the black dots in FIG. 9(d) are data related to methane gas obtained using HITRAN, and the black dotted line is the result of interpolation by an approximation formula obtained by fitting mathematical parameters based on this data. I know there is.
  • the concentration-thickness product can be calculated by the same calculation method even when the gas type is different, such as propane gas.
  • the concentration-thickness product of the output methane gas is converted to the light absorption rate by the above method, and then converted to the concentration-thickness product of propane gas as another gas species. It is also possible to
  • the optical absorptance that does not depend on the gas type is calculated, and based on the calculated optical absorptance, the concentration thickness in the specific gas type You can find the product.
  • the gas concentration feature amount is the gas concentration thickness product
  • a method of directly obtaining the concentration thickness product specifying a specific gas type as the gas concentration feature amount may be adopted.
  • the gas type is fixed, the accuracy can be improved and the calculation can be simplified.
  • FIG. 10 is a flowchart showing the operation of the gas concentration feature value estimation device 20 in the learning phase.
  • a method for constructing an inference model for estimating the light absorption rate as the gas concentration feature amount will be described.
  • the gas concentration-thickness product may be substituted for the optical absorptance in the following processing, and the concentration-thickness product may be estimated as the gas concentration feature quantity.
  • gas distribution video teaching data is created based on the three-dimensional fluid simulation (step S110).
  • the 3D optical reflectance image data may be based on a 3D optical illumination analysis simulation.
  • 3D CAD Computer-Aided Design
  • 3D concept modeling of gas equipment consider the structure model, and use commercially available 3D optical illumination analysis simulation software to create a 3D model.
  • An optical illumination analysis simulation is performed, and the three-dimensional optical reflection image data obtained as the simulation result is converted into a two-dimensional image observed from a predetermined viewpoint position and generated.
  • an image containing a region with gas and a region without gas is used using a subject with a background temperature difference.
  • an image without vibration noise and an image with vibration noise are combined on the image to form learning data.
  • the image with vibration noise is generated by vibrating the original background data in the plane direction by simulation to generate background data with vibration noise, and superimposing the gas distribution image on this background data with vibration noise. do.
  • a region of time-series pixel group teacher data of a predetermined size (4 ⁇ 4 pixels ⁇ N frames) is extracted from the gas distribution image teacher data (step S120).
  • the temperature value and light absorption rate of the gas corresponding to the time-series pixel group teacher data are calculated (step S130).
  • the gas temperature value and light absorption rate may be average values of 4 ⁇ 4 pixels ⁇ N frames in time-series pixel group teacher data.
  • the time-series pixel group teacher data is acquired as a training image by the teacher image acquiring unit 213, and the corresponding temperature value and light absorption rate are acquired by the gas feature amount teacher data acquiring unit 214 as correct data.
  • image data that has undergone processing such as gain adjustment may be acquired as necessary.
  • step S150 data is input to the convolutional neural network, machine learning is executed, and an inference model for estimating the light absorption rate is constructed (step S150). This allows deep learning to optimize the parameters by trial and error to form a machine-learned model.
  • the formed machine-learned model is held in the learning model holding/inference unit 2152 .
  • an inference model for estimating the light absorption rate is formed based on the characteristics of the time-series pixel group teacher data of the gas distribution image.
  • FIG. 11 is a flow chart showing the operation of the gas concentration feature value estimation device 20 in the operation phase.
  • the gas distribution moving image inspection data acquired by the gas visualization imaging device 10 is acquired (step S210), and the temperature value of the imaging environment is measured (step S220).
  • the gas distribution moving image inspection image is an infrared image captured by the infrared camera of the gas visualization imaging device 10, and is a moving image showing the gas distribution in which the gas leakage portion to be inspected is visualized.
  • a region of time-series pixel group inspection data of a predetermined size (4 ⁇ 4 pixels ⁇ N frames) is extracted from the gas distribution image data (step S230).
  • a part of each frame of the captured image may be cut out so as to include all the pixels in which gas has been detected, and time-series pixel group inspection data may be generated as a frame of the gas distribution image.
  • a data set consisting of a combination of time-series pixel group inspection data of gas distribution images and temperature values is acquired (step S240).
  • the time-series pixel group inspection data is acquired as an image of an inspection object by the inspection image acquisition unit 211 , and the corresponding temperature value is acquired by the gas temperature value inspection data acquisition unit 212 .
  • image data that has undergone processing such as gain adjustment may be acquired as necessary.
  • the time-series pixel group inspection data is image data in the same format as the time-series pixel group teacher data, and consists of time-series data of a plurality of frames. Subtraction of offset components and gain adjustment may be performed on the inspection image.
  • the learned model is used to calculate the estimated light absorption rate of the time-series pixel group inspection data (step S250).
  • the time-series pixel group teacher data of the gas distribution image is input, and the light absorptance is estimated based on its features.
  • the estimated optical absorptance is converted into a concentration-thickness product value (step S260).
  • FIG. 12(a) is an example of a gas distribution moving image to be inspected.
  • the gas distribution moving image to be inspected is a time series in which a gas image corresponding to the light absorptance image in FIG. 12(b) is superimposed on a background image of a vertically extending rod-shaped object. It is one frame image of inspection data.
  • the inspection image is 112 ⁇ 64 pixels long and wide, and 100 frames.
  • vibration noise a high-pixel frame image is generated for each frame so that the amount of movement is an integer, and after the movement, the frame image is reduced to 112 ⁇ 64 pixels to give sub-pixel vibration deviation. .
  • FIG. 12(a) is created by creating a background image with no gas with this vibration deviation, and then superimposing a gas image corresponding to the light absorptance image in FIG. 12(b).
  • FIG. 12(b) is an example of an image to be inspected (correct image) of a light absorption image, and is a light absorption rate image of gas superimposed on the gas distribution moving image of FIG. 12(a). It is data of 16 pixels. Time-series pixel group inspection data having a 4 ⁇ 4 pixel area as one pixel can be extracted from this inspection target image.
  • FIG. 12(c) is an example of the processing result of the light absorption image.
  • Time-series pixel group inspection data of the light absorption rate image shown in FIG. 14387 (16-bit value) corresponding to the gas temperature is input to each region, the gas concentration feature amount is calculated, and one gas concentration feature amount image is output. This is data of 28 ⁇ 16 pixels per frame.
  • the time-series pixel group inspection data and the teacher data of the gas distribution moving image are time-series pixel group inspection data in which the number of pixels in the vertical direction and the number of horizontal pixels are two or more, respectively.
  • the learning data used in the learning phase can also be prepared using simulation.
  • three-dimensional simulation of gas diffusion is performed using fluid simulation, and time-series changes in three-dimensional concentration distribution data of gas are obtained.
  • the viewpoint is set at a predetermined position, and the concentration-thickness product of the gas (visual image) is scanned over an angular region that includes the space in which the gas exists, with respect to the three-dimensional concentration distribution data at a certain time.
  • the integrated value of the density distribution on the line in the distance direction from the viewpoint) is obtained, and two-dimensional density-thickness product distribution data at that time, that is, a density-thickness product image is obtained.
  • FIG. 13 is a diagram showing the configuration of the machine learning data generation device 30.
  • the machine learning data generation device 30 includes a control unit (CPU) 31, a communication unit 32, a storage unit 33, a display unit 34, and an operation input unit 35.
  • the control unit 31 generates machine learning data. It is implemented as a computer that executes a generation program.
  • the storage unit 33 stores the program 331 required for the operation of the machine learning data generation device 30, and also functions as a temporary storage area for temporarily storing the calculation results of the control unit 31.
  • the communication unit 32 transmits and receives information to and from the machine learning data generation device 30 and the storage means 40 .
  • the display unit 34 is, for example, a liquid crystal panel or the like, and displays a display screen generated by the CPU 31 .
  • the control unit 31 implements the functions of the machine learning data generation device 30 by executing the machine learning data generation program 331 in the storage unit 33 .
  • FIG. 14 is a functional block diagram of the machine learning data generation device 30. As shown in FIG. The conditional parameters necessary for processing input in each functional block in FIG. 14(b) are as shown in the table below.
  • the machine learning data generation device 30 includes a three-dimensional structure modeling unit 311, a three-dimensional fluid simulation execution unit 312, a two-dimensional single-view gas distribution image conversion processing unit 313, and a light absorption rate image conversion unit. 314 , a background image generation unit 315 , and a light intensity image generation unit 316 .
  • the three-dimensional structure modeling unit 311 performs three-dimensional structure modeling for designing a three-dimensional structure model and laying out structures in a three-dimensional space based on an operation input from the operator to the operation input unit 35,
  • the structure three-dimensional data DTstr is output to the subsequent stage.
  • the structural three-dimensional data DTstr is shape data representing the three-dimensional shape of, for example, piping and other plant facilities.
  • Commercially available three-dimensional CAD (Computer-Aided Design) software can be used for three-dimensional structure modeling.
  • FIG. 15(a) is a schematic diagram showing the data structure of the structure three-dimensional data DTstr.
  • the X direction, Y direction, and Z direction in each drawing are defined as the width direction, the depth direction, and the height direction, respectively.
  • the structure three-dimensional data DTstr is three-dimensional voxel data representing a three-dimensional space, and from the structure identification information Std arranged at coordinates in the X, Y, and Z directions, Configured. Since the structure identification information Std is expressed as three-dimensional shape data, it may be recorded as a binary image of 0 and 1, such as "with structure" and "without structure".
  • the three-dimensional fluid simulation execution unit 312 acquires the structure three-dimensional data DTstr as an input, and further acquires the condition parameters CP1 required for the fluid simulation based on the operation input to the operation input unit 35 by the operator.
  • the condition parameter CP1 is, for example, settings necessary for a fluid simulation mainly related to gas leakage, such as gas species, gas flow rate, gas flow velocity in three-dimensional space, shape, diameter, and position of the gas leakage source, as shown in Table 1. It is a parameter that defines conditions. It is possible to generate a large amount of learning data by generating images by changing many types of these condition parameters.
  • the three-dimensional gas distribution image data DTgas is data including at least three-dimensional gas concentration distribution. Calculations are performed using commercially available three-dimensional fluid simulation software, such as ANSYS Fluent, Flo EFD, and Femap/Flow.
  • FIG. 15(b) is a schematic diagram showing the data structure of the three-dimensional gas distribution image data DTgas.
  • the three-dimensional gas distribution image data DTgas is three-dimensional voxel data representing a three-dimensional space, and gas concentration data of voxels arranged at coordinates in the X, Y, and Z directions.
  • Dst (%) and may further include voxel gas flow velocity vector data Vc (Vx, Vy, Vz).
  • the two-dimensional single-viewpoint gas distribution image conversion processing unit 313 receives and acquires the three-dimensional gas distribution image data DTgas of the gas leaking from the gas leakage source into the three-dimensional space. , a condition parameter CP2 required for conversion to a two-dimensional single-viewpoint gas distribution image is acquired.
  • the condition parameter CP2 is a parameter related to the photographing conditions of the gas visualization imaging device, such as the angle of view of the imaging device, the line of sight direction, the distance, and the image resolution as shown in Table 1, for example.
  • the two-dimensional single-viewpoint gas distribution image conversion processing unit 313 converts the three-dimensional gas distribution image data DTgas into two-dimensional gas distribution image data observed from a predetermined viewpoint position. As a result, a process of converting into density-thickness product image data DTdt as two-dimensional gas distribution image data is performed.
  • the density-thickness product image DTdt is an image corresponding to an inspection image in which leaked gas is captured by the gas visualization imaging device 10, and is an image representing how the gas can be seen from a viewpoint. Furthermore, by considering the information of the structure three-dimensional data DTstr, it is possible to generate the gas concentration thickness product image data DTdt that does not reflect the gas image that is blocked by the structure and cannot be observed from the viewpoint.
  • FIG. 16 is a schematic diagram for explaining the outline of the concentration/thickness calculation method in the three-dimensional single-viewpoint gas distribution image conversion process.
  • FIG. 4 is a conceptual diagram of a method for generating product image data DTdt;
  • the two-dimensional single-viewpoint gas distribution image conversion processing unit 313 spatially integrates the three-dimensional gas concentration image indicated by the three-dimensional gas distribution image data DTgas in the line-of-sight direction from a preset viewpoint position (X, Y, Z).
  • a plurality of values of the thickness product Dst are generated by changing the angles ⁇ and ⁇ of the line-of-sight direction, and the obtained values of the density-thickness product Dst are arranged two-dimensionally to generate the density-thickness product image data DTdt.
  • an arbitrary viewpoint position SP (X, Y, Z) is set in a three-dimensional space, and three-dimensional gas distribution image data DTgas is obtained from the viewpoint position SP (X, Y, Z).
  • a virtual image plane VF is set at a position separated by a predetermined distance in the direction of the three-dimensional gas concentration image indicated by .
  • the virtual image plane VF is set so that the center O intersects a straight line passing through the viewpoint position SP (X, Y, Z) and the center voxel of the three-dimensional gas distribution image data DTgas.
  • the image frame of the virtual image plane VF is set according to the angle of view of the gas visualization imaging device 10 .
  • the line-of-sight direction DA from the viewpoint position SP (X, Y, Z) to the target pixel A (x, y) on the virtual image plane VF is the line-of-sight direction DO toward the central pixel O, that is, the gas visualization imaging device with respect to the line-of-sight direction DO in the X direction at an angle ⁇ and in the Y direction at an angle ⁇ .
  • the gas concentration distribution data corresponding to the voxel of the three-dimensional gas distribution image intersecting the line of sight is spaced in the line-of-sight direction DA with respect to the voxel intersecting the line of sight.
  • the value of the gas concentration thickness product for the pixel of interest A(x, y) is calculated.
  • the position of the target pixel A (x, y) is gradually moved, and all the pixels on the virtual image plane VF become the target pixel.
  • the concentration thickness product image data DTdt is calculated.
  • FIG. 17 is a schematic diagram for explaining the outline of the density/thickness integration calculation method under the condition that a structure exists in the three-dimensional single-viewpoint gas distribution image conversion process. 10 indicates the case where observation is not possible.
  • the target pixel A is calculated by a method that does not perform spatial integration of the gas concentration distribution that exists behind the structure when viewed from the viewpoint position SP (X, Y, Z).
  • the value of the gas concentration thickness product is calculated for (x, y).
  • the time-series data of the density-thickness product image is converted into the time-series data of the light absorptance image using the spectral absorption coefficient data of the gas species set during the simulation.
  • the light absorption rate image conversion unit 314 acquires the condition parameter CP3 based on the operation input, further converts the gas concentration thickness product image data DTdt into the light absorption rate image data DT ⁇ , and outputs the data to the subsequent stage.
  • FIG. 18A is a schematic diagram showing an outline of density-thickness product image data
  • FIG. 3A and 3B are schematic diagrams showing an outline of light absorptance image data
  • the gas concentration thickness product value Dt at the pixel (x, y) in the gas concentration thickness product image data DTdt shown in FIG. the relationship between the gas concentration thickness product and the light absorptance ⁇ is used to calculate the light absorptance value ⁇ corresponding to the gas concentration thickness product in the pixel (x, y) shown in FIG. 18(c).
  • the optical absorptance ⁇ differs depending on the gas type specified by the condition parameter CP3, and the relationship data between the concentration-thickness product value Dt and the optical absorptivity ⁇ , for example, the gas concentration-thickness product value Dt stored in a data table or the like is used.
  • the relationship between the value Dt of the gas concentration thickness product for each gas type and the light absorptance ⁇ may be acquired in advance by actual measurement.
  • an image equivalent to the captured image is generated using the obtained time-series data of the light absorptance image and a predetermined background image.
  • the background image is composed of the same number of frames as the light absorptance image, and is constructed so that the brightness of the image is constant or varies over time. Also, the pattern in one frame may be full-screen filling, or may have different brightness set for each small area.
  • the light absorptance can be obtained from the time-series data of the light absorptance image described above by extracting regions and averaging in the spatial and temporal directions.
  • the above is the method of preparing learning data using simulation.
  • the background image generation unit 315 acquires the background part data PTbk and the condition parameter CP5 based on the operation input, and generates the background image data DTIback.
  • FIG. 19(a) is a schematic diagram showing an overview of the three-dimensional structure data.
  • the structure three-dimensional data DTstr is three-dimensional voxel data representing a three-dimensional space.
  • a value indicating the classification of the structure surface is assigned to each pixel and recorded as a multivalued image such as 0, 1, 2, 3, .
  • the structure identification information Std made up of this multi-valued image is subjected to two-dimensional single-view conversion processing using the virtual image plane VF observed from the viewpoint position SP (X, Y, Z) as the image frame. Background part data PTbk is generated.
  • FIG. 19(b) is a schematic diagram showing an overview of the extracted background part data PTbk.
  • the background classification Std is, for example, a classification number classified based on the optical characteristics of the surface of the structure. For example, it may be set such that 1 is unpainted piping, 2 is painted, and 3 is concrete.
  • FIG. 19(c) is a conceptual diagram showing a method of generating background image data DTIback based on background part data PTbk. As shown in FIG. 19(c), the background image data DTIback is generated based on the background part data PTbk generated as a multivalued image and the condition parameter CP5 based on the operation input.
  • the condition parameter CP5 is the lighting conditions for the structure, such as the background two-dimensional temperature distribution, the background surface spectral emissivity, the background surface spectral reflectance, the illumination light wavelength distribution, the spectral illuminance, and the illumination angle, as shown in Table 1. , is the temperature condition of the structure itself.
  • the background image data DTIback is generated by assigning different condition parameters CP5 for each background classification Std.
  • the background image data DTIback is generated by applying different conditions for each background classification Std depending on whether the background is present or not.
  • the light intensity image generation unit 316 generates light intensity image data DTI based on the light absorption rate image data DT ⁇ , the background image data DTIback, and the gas temperature condition provided as the condition parameter CP4 based on the operation input.
  • FIG. 20(a) is a schematic diagram showing an outline of the background image data DTIback
  • (b) is a schematic diagram showing an outline of the light absorptance image data DT ⁇
  • (c) is a schematic diagram showing an outline of the light intensity image data. It is a diagram.
  • DTIback (x, y) is the infrared intensity at the coordinates (x, y) of the background image
  • Igas is the blackbody radiance corresponding to the gas temperature
  • the light absorption rate is at the coordinates (x, y) of the light absorption rate image.
  • DT ⁇ (x, y) the infrared intensity DTI(x, y) at the coordinates (x, y) of the light intensity image is calculated by Equation (1).
  • the light intensity image generator 316 calculates the coordinates (x, y ) to calculate the infrared intensity DTI(x,y). As a result, along the line-of-sight direction DA corresponding to the target pixel A (x, y), the infrared radiation emitted by the background structure and the infrared radiation emitted by the gas existing in the voxels of the three-dimensional gas distribution image intersecting the line of sight are detected. The summation of radiation can be calculated.
  • the infrared intensity DTI (x, y) is calculated for all pixels A (x, y) on the virtual image plane VF to generate the light intensity image data DTI.
  • FIG. 21 is a flowchart showing an overview of the two-dimensional single-viewpoint gas distribution image conversion process. The processing is executed by a two-dimensional single-viewpoint gas distribution image conversion processing unit 313 whose function is configured by the control unit 31 .
  • the two-dimensional single-viewpoint gas distribution image conversion processing unit 313 acquires structure three-dimensional data DTstr (step S1), and further acquires three-dimensional gas distribution image data DTgas (step S2).
  • step S1 structure three-dimensional data DTstr
  • step S2 three-dimensional gas distribution image data DTgas
  • step S3 input of information regarding, for example, the angle of view of the imaging device, the line-of-sight direction, the distance, and the image resolution is accepted as the condition parameter CP2 (step S3).
  • the viewpoint position SP X, Y, Z
  • the viewpoint position SP corresponding to the position of the imaging portion of the gas visualization imaging device 10 is set within the three-dimensional space (step S4).
  • a virtual image plane VF is set at a predetermined distance in the direction of the three-dimensional gas concentration image from the viewpoint position SP (X, Y, Z). It is calculated according to the angle of view of the imaging device 10 (step S5).
  • step S6 the coordinates of the target pixel A (x, y) are set to the initial values (step S6), and the target pixel A (x, y) on the virtual image plane VF from the viewpoint position SP (X, Y, Z).
  • step S7 A position LV on the directed line of sight is set to an initial value (step S7).
  • step S10 it is determined whether or not there is a voxel of the three-dimensional gas distribution image data DTgas that intersects with the line of sight. (for example, 1) (step S11) and returns to step S8. If there is a voxel that intersects with the line of sight, the density thickness value Dst of that voxel is read, and the integral stored in the addition register or the like is The sum with the value Dsti is stored as a new integral value Dsti in an addition register or the like (step S12).
  • step S13 it is determined whether or not the total length of the line of sight corresponding to the range where the line of sight intersects with the voxel has been calculated. If not, the position LV on the line of sight is incremented by the unit length. Then (step S14), the process returns to step S8, and if completed, along the line-of-sight direction DA corresponding to the target pixel A (x, y), voxels of the three-dimensional gas distribution image that intersect the line of sight are displayed.
  • the gas concentration distribution data is spatially integrated to calculate the value of the gas concentration thickness product for the target pixel A(x, y).
  • step S15 it is determined whether or not the calculation of the gas concentration thickness product value has been completed for all the pixels on the virtual image plane VF (step S15). ) is gradually moved (step S16), the process returns to step S7, and if completed, the value of the gas concentration thickness product is calculated for all pixels on the virtual image plane VF, and the virtual image plane VF A gas concentration thickness product image DTdt is generated as two-dimensional gas distribution image data for .
  • step S17 it is determined whether or not generation of the gas concentration thickness product image DTdt has been completed for all viewpoint positions SP (X, Y, Z) to be calculated (step S17). Returning to S4, the gas concentration thickness product image DTdt is generated for the newly input viewpoint position SP (X, Y, Z).
  • FIG. 22 is a flowchart showing an outline of background image generation processing. The processing is executed by the background image generation unit 315 whose function is configured by the control unit 31 .
  • the background image generation unit 315 acquires the structure three-dimensional data DTstr (step S1).
  • the operations of steps S3 to S8 are the same as the operations of each step in FIG.
  • step 8 when the background part data PTbk of the voxel that intersects the line of sight is "with structure", the background classification Std of the background part data PTbk is acquired (step S121A), and the condition parameter CP5 corresponding to the background classification Std is obtained. is input (step S122A) to determine the background image data value of the pixel A of interest, the position of the pixel A (x, y) of interest is gradually moved (step S9), and the process returns to step S7.
  • the condition parameter CP5 is, for example, conditions such as background two-dimensional temperature distribution, background surface spectral emissivity, background surface spectral reflectance, illumination light wavelength distribution, spectral illuminance, and illumination angle.
  • step S13 it is determined whether or not the calculation for the total length of the line of sight corresponding to the range where the line of sight intersects with the voxel has been completed.
  • step S14 the position LV on the line is incremented by the unit length (step S14), and the process returns to step S8.
  • step S15 the standard value set when there is no structure is determined as the background image data value for the target pixel A, and whether the calculation for all pixels on the virtual image plane VF is completed. It is determined whether or not (step S15), and if not completed, the position of the target pixel A (x, y) is gradually moved (step S16), and the process returns to step S7. End the process.
  • the standard value set when there is no structure is, for example, a background image data value corresponding to the ground or sky in real space.
  • a standard value can be obtained by appropriately setting the condition indicated by the condition parameter CP5.
  • the background classification Std of the background part data PTbk is obtained for all pixels on the virtual image plane VF, and the background image data DTIback for the virtual image plane VF is generated.
  • FIG. 23 is a flowchart showing an overview of the light intensity image data generation process.
  • the background image data DTIback (x, y) and the light absorptance image data DT ⁇ (x, y) regarding the virtual image plane VF are acquired (steps S101 and 102), and the condition parameter CP4 regarding the gas temperature condition is input (step S103).
  • step S104 the black body radiance Igas corresponding to the gas temperature is acquired (step S104), the infrared intensity DTI (x, y) of the light intensity image is calculated by (Equation 1) (step S105), and the light intensity image
  • Equation 1 the infrared intensity DTI (x, y) of the light intensity image is calculated by (Equation 1) (step S105), and the light intensity image
  • the data is output as data DTI (step S106), and the process ends.
  • the light intensity image data DTI generated by the machine learning data generation device 30 is used as a gas distribution moving image, and the gas concentration feature amount calculated from the light absorptance image data Dt ⁇ or the gas concentration thickness product image DTdt is a gas concentration feature. It can be used as teacher data for machine learning used in the quantity estimation device 20 .
  • an input such as a gas leak image and gas leak source position coordinate information in this example
  • a correct output It is possible to efficiently generate tens of thousands of sets of learning data, which can contribute to improvement of learning accuracy.
  • the machine learning model can contribute to the improvement of learning accuracy.
  • the machine learning model in the gas leakage detection device can contribute to further improvement in learning accuracy.
  • a gas concentration feature value estimating device is a gas concentration feature quantity estimation device having two or more vertical and horizontal pixels each extracted from inspection data of a gas distribution moving image representing an existing region of gas in space.
  • an inspection data acquiring unit for acquiring time-series pixel group inspection data of the distribution video and the temperature value of the gas; and time-series pixel group teacher data of the gas distribution video of the same size as the time-series pixel group inspection data.
  • the time-series pixel group inspection acquired by the inspection data acquisition unit using an inference model machine-learned using gas temperature values and gas concentration feature values corresponding to the time-series pixel group teacher data as teacher data.
  • an estimating unit that calculates the gas concentration feature quantity corresponding to the data.
  • the time-series pixel group inspection data may have a frame pixel number smaller than the frame pixel number of the gas distribution moving image.
  • the time-series pixel group inspection data may have a frame pixel count of 3 or more and 7 or less in the vertical and horizontal directions.
  • the time-series pixel group teacher data may be a moving image including vibration noise.
  • the gas concentration feature amount is an optical absorptance, and further, based on the relationship characteristic between the optical absorptance of the gas species and the concentration thickness product, the time series A configuration may be provided that includes a conversion unit that converts the light absorptance corresponding to the pixel group inspection data into a concentration thickness product value related to the gas type.
  • the gas concentration feature amount may be a gas concentration thickness product.
  • the gas distribution moving image may be an image captured by an imaging device.
  • the teaching data of the gas distribution moving image may be generated by simulation.
  • the teacher data of the gas distribution moving image may be generated from a background image and a light absorptance.
  • the number of frames in the time-series pixel group inspection data or the time-series pixel group teacher data is greater than the number of vertical or horizontal pixels in each frame.
  • the gas concentration feature amount corresponding to the time-series pixel group inspection data is a sequence of values calculated for each frame of the time-series pixel group inspection data. A certain configuration may be used.
  • the gas concentration feature amount corresponding to the time-series pixel group inspection data is an average value of values calculated for each frame of the time-series pixel group inspection data.
  • a certain configuration may be used.
  • the imaging device may be an infrared camera.
  • the number of vertical and horizontal pixels extracted from the inspection data of the gas distribution moving image representing the gas existing region in space is 2 or more.
  • Time-series pixel group inspection data of a certain gas distribution video and the temperature value of the gas are acquired, and time-series pixel group teacher data of the gas distribution video having the same size as the time-series pixel group inspection data and the time-series pixel group inspection data are acquired.
  • the gas concentration feature value corresponding to the time-series pixel group inspection data acquired using an inference model machine-learned using the gas temperature value and the gas concentration feature value value corresponding to the sequence pixel group teacher data as teacher data. may be configured to calculate an estimated value of .
  • a program is a program that causes a computer to perform a gas concentration feature amount estimation process, wherein the gas concentration feature amount estimation process includes a gas distribution moving image representing a gas existing region in space.
  • the gas concentration feature amount estimation process includes a gas distribution moving image representing a gas existing region in space.
  • the gas concentration feature value inference model generation device includes two pixels each in the vertical and horizontal directions extracted from teacher data of a gas distribution video representing an existing region of gas in space.
  • a teacher data acquisition unit configured to acquire, as teacher data, the time-series pixel group teacher data of the gas distribution moving image, and the gas temperature value and the gas concentration feature quantity value corresponding to the time-series pixel group teacher data. and time-series pixel group inspection data having the same size as the time-series pixel group teacher data, and an estimated value of the gas concentration feature amount corresponding to the gas temperature value corresponding to the time-series pixel group inspection data, which are combined into the teacher data. and a machine learning unit that constructs an inference model calculated based on the above.
  • the gas moving image teacher data acquired by the gas concentration feature quantity estimation device 20 is generated by simulation using the machine learning data generation device 30 as an example.
  • the gas moving image training data an actual image captured by the gas visualization imaging device 10 may be used.
  • the temperature value can be the temperature measurement result of the imaging atmosphere
  • the teaching data of the gas concentration feature amount can be the value calculated based on the brightness of the moving gas teaching image.
  • the time element is 100 frames
  • the pixel element is 4 ⁇ 4
  • machine learning is performed in which the weight of the time element is relatively increased.
  • the configuration is given as an example. However, it may be configured such that the pixel element is relatively increased with respect to the time element.
  • the present invention may be a computer system comprising a microprocessor and memory, the memory storing the computer program, and the microprocessor operating according to the computer program.
  • it may be a computer system that has a computer program for processing in the system of the present disclosure or its components, and that operates according to this program (or instructs each connected part to operate).
  • the present invention also includes the case where all or part of the processing in the system or its constituent elements is configured by a computer system configured with a microprocessor, a recording medium such as ROM and RAM, a hard disk unit, and the like.
  • the RAM or hard disk unit stores a computer program that achieves the same operations as the above devices. Each device achieves its function by the microprocessor operating according to the computer program.
  • a system LSI is an ultra-multifunctional LSI manufactured by integrating multiple components on a single chip. Specifically, it is a computer system that includes a microprocessor, ROM, RAM, etc. . These may be made into one chip individually, or may be made into one chip so as to include part or all of them.
  • the RAM stores a computer program that achieves the same operations as those of the above devices.
  • the system LSI achieves its functions by the microprocessor operating according to the computer program.
  • the present invention also includes a case where processing in a system or its components is stored as an LSI program, and this LSI is inserted into a computer to execute a predetermined program.
  • the method of circuit integration is not limited to LSI, and may be realized with a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connections and settings of circuit cells inside the LSI may be used.
  • part or all of the functions of the system or its constituent elements according to each embodiment may be implemented by a processor such as a CPU executing a program. It may be a non-transitory computer-readable recording medium in which a program for executing the operation of the system or its components is recorded. By recording the program and signals on a recording medium and transferring the program, the program may be executed by another independent computer system. It goes without saying that the above program can be distributed via a transmission medium such as the Internet.
  • each component thereof may be configured by a programmable device such as a CPU, a GPU (Graphics Processing Unit), or a processor, and software.
  • a programmable device such as a CPU, a GPU (Graphics Processing Unit), or a processor, and software.
  • These components can be single circuit components or aggregates of multiple circuit components. Also, a plurality of components can be combined to form a single circuit component, or a plurality of circuit components can be aggregated.
  • Division of functional blocks is just an example. good. Also, the functions of multiple functional blocks having similar functions may be processed by a single piece of hardware or software in parallel or in a time-sharing manner.
  • gas concentration feature value estimation device gas concentration feature value estimation method, program, and gas concentration feature value inference model generation device according to the present disclosure are widely applicable to estimation of gas concentration feature values using an infrared imaging device.
  • gas concentration feature quantity estimation system 10 gas visualization imaging device 20 gas concentration feature quantity estimation device 21 control unit 210 gas leakage position identification device 211 inspection image acquisition unit 212 gas temperature value inspection data acquisition unit 213 teacher image acquisition unit 214 gas feature quantity Teacher data acquisition unit 215 Gas concentration feature amount estimation unit 2151 Machine learning unit 2152 Learning model holding/inference unit 216 Gas concentration feature amount output unit 22 Communication circuit 23 Storage device 24 Display device 25 Operation input unit 30 Machine learning data generation device 31 Control unit (CPU) 311 three-dimensional structure modeling unit 312 three-dimensional fluid simulation execution unit 313 two-dimensional single-viewpoint gas distribution image conversion processing unit 314 light absorption rate image conversion unit 315 background image generation unit 316 light intensity image generation unit 32 communication unit 33 storage unit 34 Display unit 35 Operation input unit 40 Storage means

Abstract

空間中におけるガスの存在領域を示すガス分布動画像の検査データから領域抽出された、縦及び横の画素数がそれぞれ２以上であって、時系列画素群検査データと、ガスの温度値とを取得する検査データ取得部２１１、２１２と、ガス分布動画像の教師データから領域抽出された、時系列画素群検査データと同一サイズの時系列画素群教師データと、時系列画素群教師データに対応するガス温度値及びガス濃度特徴量の値とを教師データとして機械学習された推論モデルを用いて、検査データ取得部が取得した時系列画素群検査データに対応するガス濃度特徴量の推定値を算出する推定部２１５１とを備えた。

Description

ガス濃度特徴量推定装置、ガス濃度特徴量推定方法、プログラム、およびガス濃度特徴量推論モデル生成装置
　本開示は、ガス濃度特徴量推定装置、ガス濃度特徴量推定方法に関し、赤外線撮像画像に基づくガス濃度特徴量の推定方法に関する。
　天然ガスや石油を生産する生産施設、ガスを使用して化学製品を生産する生産プラント、ガス送管設備、石油化学プラントや火力発電所、製鉄関連施設等といった、ガスを使用する設備（以下「ガス設備」と記す場合もある）では、施設の経年劣化や運転ミスにより、ガス漏洩の危険性が認識されており、ガス漏洩を最小限にとどめるためガス検知装置が備え付けられている。
　このガス検知において、検知プローブにガス分子が接触することでプローブの電気的特性が変化することを利用したガス検知装置の他、近年では、ガスの赤外線吸光特性を利用して赤外線動画を撮影することにより、検査領域のガス漏れを検出する光学的ガス漏れ検出方法が取り入れられている。
　赤外線動画によるガス検出方法は、映像によりガスを可視化することができるため、従来の検知プローブ方式と比べて、ガスの流れ等の放出状態や、漏れ位置を容易に検出できるという利点がある。また、漏れたガスの状態が映像として記録されるために、ガス漏れの発生やその修復の証拠としても活用できるという利点がある。
　この種の赤外線ガス検知装置として、例えば、特許文献１には、監視対象を撮影した赤外画像における画素ごとの時系列の輝度変化における振幅の特徴を検出することで、ガスが存在するときの背景温度とガスが存在しないときの背景温度とを特定して、濃度厚み積を推定する技術が開示されている。
国際公開第２０１７／１０４６１７号
　ガス設備等におけるガスの流量推定等には正確に濃度厚み積を推定することが必要となる。
　ところが、ガスプラントや石油化学プラントでは操業時に発生する機械的な振動によって撮像対象が機械的な振動を伴い、撮像された赤外線画像に機械的な振動ノイズを含む場合がある。あるいは、ガス設備等から撮像装置に機械的な振動ノイズが伝わり撮像された赤外線画像に機械的な振動ノイズの影響を受ける場合がある。このような場合には、振動ノイズに伴う画素ごとの輝度変化によって、ガス分布が存在しない場合においても画素ごとの輝度変化が検出される。そのため、赤外線画像による非接触ガス検知に特有の問題として、測定環境に存在する機械的な振動ノイズの影響を受けて、算出されるガス濃度に関する特徴量の精度が低下することが懸念された。
　本開示の態様は、上記課題に鑑みてなされたものであり、機械的振動ノイズによる測定への影響を低減し、赤外線ガス分布動画像から空間のガス濃度を現す特徴量を精度よく検出できるガス濃度特徴量推定装置、ガス濃度特徴量推定方法、プログラム、およびガス濃度特徴量推論モデル生成装置を提供することを目的とする。
　本開示の一態様に係るガス濃度特徴量推定装置は、空間中におけるガスの存在領域を表すガス分布動画像の検査データから領域抽出された、縦及び横の画素数がそれぞれ２以上であるガス分布動画像の時系列画素群検査データと、前記ガスの温度値とを取得する検査データ取得部と、前記時系列画素群検査データと同一サイズのガス分布動画像の時系列画素群教師データと、前記時系列画素群教師データに対応するガス温度値及びガス濃度特徴量の値とを教師データとして機械学習された推論モデルを用いて、前記検査データ取得部が取得した前記時系列画素群検査データに対応する前記ガス濃度特徴量を算出する推定部とを備えたことを特徴とする。
　本開示の一態様によれば、機械的振動ノイズによる測定への影響を低減し、赤外線ガス分布動画像から空間のガス濃度を現す特徴量を精度よく検出できるガス濃度特徴量推定装置、ガス濃度特徴量推定方法、プログラム、およびガス濃度特徴量推論モデル生成装置を提供できる。
　これより、検査対象であるガス設備に機械的な振動ノイズが観測される場合や、ガス設備等から撮像装置に機械的な振動ノイズが伝わる環境下においても、空間のガス濃度を現す特徴量を精度よく検出できる。
実施の形態に係るガス濃度特徴量推定システム１の概略構成図である。 ガス可視化撮像装置１０と検査対象物３００との関係を示す概略図である。 ガス濃度特徴量推定装置２０の回路構成を示す図である。 （ａ）は、制御部２１の機能ブロック図、（ｂ）は、制御部２１における、機械学習部２１５１の機能ブロック図である。 （ａ）は、ガス分布動画像の検査データから領域抽出されたガス分布動画像の時系列画素群検査データの態様を示す図、（ｂ）はガス分布動画像の教師データから領域抽出されたガス分布動画像の時系列画素群教師データの態様を示す図、（ｃ）は、ガス分布動画像の時系列画素群検査データから推定されたガス濃度特徴量の態様を示す模式図である。 （ａ）は、機械的な振動ノイズの影響がない場合のガス分布動画像の時系列画素群データの態様、（ｂ）は、機械的な振動ノイズの影響を受けたときのガス分布動画像の時系列画素群データの態様を示す模式図である。 （ａ）機械的な振動ノイズの影響を受けたときのガス分布動画像の時系列画素群データにおける輝度値の時間変化、（ｂ）は時系列画素群データにおける輝度値の位置変化を示す模式図である。 （ａ）ガス分布動画像の時系列画素群データにおけるガス分布を現す輝度値の時間変化、（ｂ）は、時系列画素群データにおけるガス分布を現す輝度値の位置変化を示す模式図である。 （ａ）～（ｄ）は、光吸収率から濃度厚み積を算出する方法を示す図である。 学習フェーズにおけるガス濃度特徴量推定装置２０の動作を示すフローチャートである。 運用フェーズにおけるガス濃度特徴量推定装置２０の動作を示すフローチャートである。 （ａ）は、検査対象のガス分布動画像の一例、（ｂ）は、光吸収画像の検査対象画像の一例、（ｃ）は、光吸収画像の処理結果の一例である。 機械学習用データ生成装置３０の回路構成を示す図である。 制御部３１の機能ブロック図である。 （ａ）は、構造物３次元データＤＴｓｔｒのデータ構造を示す模式図、（ｂ）は、３次元ガス分布画像データＤＴｇａｓのデータ構造を示す模式図である。 ２次元単視点ガス分布画像変換処理における濃度厚み積算出方法の概要を説明するための模式図である。 ２次元単視点ガス分布画像変換処理において、構造物が存在する条件における濃度厚み積算出方法の概要を説明するための模式図である。 （ａ）は、濃度厚み積画像データの概要を示す模式図、（ｂ）は、光吸収率画像変換処理における濃度厚み積算出方法の概要を説明するための模式図、（ｃ）は、光吸収率画像データの概要を示す模式図である。 （ａ）は、構造物３次元データの概要を示す模式図、（ｂ）は、抽出された背景箇所データの概要を示す模式図、（ｃ）は、背景箇所データをもとに背景画像データを生成する方法を示した概念図である。 （ａ）は、背景画像データの概要を示す模式図、（ｂ）は、光吸収率画像データの概要を示す模式図、（ｃ）は、光強度画像データの概要を示す模式図である。 ２次元単視点ガス分布画像変換処理の概要を示すフローチャートである。 背景画像生成処理の概要を示すフローチャートである。 光強度画像データ生成処理の概要を示すフローチャートである。
　≪実施の形態≫
　＜ガス濃度特徴量推定システム１の構成＞
　本開示の実施の形態は、ガス設備のガス漏れ検査画像からガス漏れを分析する、ガス濃度特徴量システム１として実現される。以下、実施の形態に係るガス濃度特徴量システム１について、図面を用いて詳細に説明する。
　図１は、実施の形態に係るガス濃度特徴量システム１の概略構成図である。図１に示すように、ガス濃度特徴量システム１は、通信ネットワークＮに接続された複数のガス可視化撮像装置１０、ガス濃度特徴量推定装置２０、機械学習用データ生成装置３０、及び記憶手段４０で構成される。
　通信ネットワークＮは、例えば、インターネットであり、ガス可視化撮像装置１０、ガス濃度特徴量推定装置２０、複数の機械学習用データ生成装置３０、及び記憶手段４０が、互いに情報を交換できるように接続されている。
　＜ガス可視化撮像装置１０＞
　ガス可視化撮像装置１０は、赤外線を用いて監視対象を撮像し、ガスが可視化された赤外線画像を提供する装置またはシステムであって、ガス設備等に設置された設置型、検査者が持ち運ぶことが可能なポータブル型、ドローン搭載型等の態様がある。ガス可視化撮像装置１０は、例えば、赤外線を検知して撮像する赤外線カメラからなる撮像手段（不図示）、通信ネットワークＮに出力するインターフェイス回路（不図示）を備える。
　赤外線カメラは、赤外光に基づき赤外画像を生成して赤外画像を外部に出力する赤外線撮像装置であり、例えば、公知の文献（例えば、特開２０１２－５８０９３）に記載されるように、ガスの赤外線吸光特性を利用して空気中のガスの赤外線動画を撮影することにより、ガス設備からのガス漏れを可視化する漏洩ガス可視化撮像装置に用いることができる。
　赤外線カメラによる画像は、一般に炭化水素系ガスの検出に用いられる。例えば、３μｍ～５μｍの少なくとも一部の赤外光波長に感度波長帯を持つ画像センサを備えたいわゆる赤外線カメラであり、例えば、波長３．２～３．４μｍの赤外光を検知して画像化することで、メタン、エタン、エチレン、プロピレンなど炭化水素系ガスを検知可能である。あるいは、波長４．５２～４．６７μｍの赤外光を用いることで、一酸化炭素のような異なる種類のガスも検知可能である。
　図２は、ガス可視化撮像装置１０と検査対象物３００との関係を示す概略図である。図２に示すように、ガス可視化撮像装置１０は、赤外線カメラの視野範囲３１０に検査対象物３００が含まれるように設置される。得られた検査画像は、例えば、秒間３０フレームの画像を伝送するための映像信号である。ガス可視化撮像装置１０は、撮像した画像を所定の映像信号に変換する。本実施の形態では、赤外線カメラから取得された赤外線画像信号は、映像信号を画像に復元されて、複数のフレームからなる動画像として処理される。画像は監視対象を撮像した赤外線写真であり、画素値として赤外線の強度を有する。
　なお、ガス分布画像のサイズや動画としてのフレーム数が過大であると機械学習および機械学習に基づく判定の演算量が大きくなる。実施の形態では、ガス分布画像の画素数は、例えば、３２０×２５６ピクセルであり、フレーム数は、例えば１００である。
　ガス可視化撮像装置では、絶対温度０（Ｋ）以上の背景物体から放射される電磁波量の変化をとらえることでガスの存在を検知する。電磁波量の変化は、主に赤外線領域の電磁波がガスによって吸収されたり、ガス自身から黒体放射が発生することで生じる。ガス可視化撮像装置１０では、監視対象空間を撮影することで、ガス漏洩を画像としてとらえることができるため、より早期にガス漏洩を検知し、ガスの存在箇所を正確にとらえることができる。
　可視化された検査画像は、メモリ等に一時的に記憶され、操作入力に基づき、通信ネットワークＮを介して記憶手段４０に転送されて保存される。
　なお、ガス可視化撮像装置１０はこれに限らず、監視対象のガスを検知可能な撮像装置であればよく、例えば、監視対象が白煙化した水蒸気など可視光で検知可能なガスであれば、一般的な可視光カメラであってもよい。
　＜記憶手段４０＞
　記憶手段４０は、ガス可視化撮像装置１０から送信される検査画像を記憶する記憶装置であり、例えばハードディスクなどの不揮発性メモリを含んで構成され、検査画像及び光吸収率画像をガス可視化撮像装置１０の識別情報と関連付けた状態で保存する。管理者は、管理端末（不図示）等に用いて記憶手段４０から赤外線画像を読み出して、閲覧対象の赤外線画像の状態を把握することができる。
　＜ガス濃度特徴量推定装置２０＞
　ガス濃度特徴量推定装置２０は、ガス可視化撮像装置１０から監視対象を撮像した検査画像を取得し、検査画像に基づいてガス特徴量の推定を行い、表示器２４を通じてユーザにガス検知を通知する装置である。ガス濃度特徴量推定装置２０は、例えば、一般的なＣＰＵ(Central Processing Unit)とＲＡＭ(Random Access Memory)と、これらで実行されるプログラムを備えるコンピュータとして実現される。なお、後述するように、ガス濃度特徴量推定装置２０は、演算装置としてのＧＰＵ(Graphics Processing Unit)とＲＡＭをさらに備えてもよい。
　以下、ガス濃度特徴量推定装置２０の構成について説明する。図３は、ガス濃度特徴量推定装置２の回路構成を示す図である。
　ガス濃度特徴量推定装置２０は、検査画像に基づいて光吸収率の推定するためのサーバーコンピュータである。ガス濃度特徴量推定装置２０は、記憶手段４０に保存されている検査画像を読み出して、あるいは、ガス可視化撮像装置１０から検査画像の取得を受けて、検査画像の光吸収率を推定して光吸収率画像を生成し、通信ネットワークＮを介して記憶手段４０に出力して保存する。
　図３は、ガス濃度特徴量推定装置２０の回路構成を示す模式構成図である。図３に示すように、ガス濃度特徴量推定装置２０は、制御部２１、通信回路２２，記憶装置２３、表示器２４、操作入力部２５を備える。
　表示器２４は、例えば液晶パネル等であり、制御部２１の生成した表示画面を表示する。
　操作入力部２５は、操作者がガス濃度特徴量推定装置２０を操作するための入力を行う入力装置である。例えば、キーボード、マウスなどの入力装置、あるいは、表示器２４の前面にタッチセンサを配したタッチパネルなどの、表示装置と入力装置を兼ねた１つの装置として実現されてもよい。
　制御部２１は、ＣＰＵ、ＲＡＭ、ＲＯＭを含んで構成され、ＣＰＵが、ＲＯＭに記憶されたプログラム（図示せず）を実行することにより、ガス濃度特徴量推定装置２０の各機能を実現する。具体的には、制御部２１は、通信回路２２から取得した検査画像に基づき、ガス分布画像のガス濃度特徴量を推定してガス濃度特徴量の画像を作成し、ガス濃度特徴量の画像を通信回路２２に出力する。具体的には、ガス濃度特徴量として、光吸収率又はガス濃度厚み積を推定して光吸収率画像又はガス濃度厚み積画像を作成し通信回路２２に出力する。
　[ガス濃度特徴量の推定について]
　図４（ａ）は、制御部２１の機能ブロック図である。
　ガス濃度特徴量推定装置２０は、図４（ａ）に示すように、検査画像取得部２１１、ガス温度値検査データ取得部２１２、教師画像取得部２１３、ガス特徴量教師データ取得部２１４、機械学習部２１５１、学習モデル保持・推論部２１５２、ガス濃度特徴量出力部２１６を備える。機械学習部２１５１と学習モデル保持・推論部２１５２とは、ガス濃度特徴量推定部２１５を構成する。
　検査画像取得部２１１は、ガス可視化撮像装置１０からガス分布動画像の画素群検査データ（以後、「ガス分布画素群検査データ」と記す場合がある）を取得する回路である。例えば、画像キャプチャーボード等、画像データをコンピュータ等の処理装置に取り込む装置を用いることができる。
　ガス分布動画像の検査データは、赤外線カメラによって撮像された３．２～３．４μｍの波長に感度を持つ赤外線画像であり、例えば、検査対象のガス漏れ部分を可視化した画像としてもよく、例えば、空間中におけるガスの存在領域を高濃度となるように示した輝度信号としてもよい。画像のサイズは、例えば、縦×横の画素数が３２０×２５６としてもよい。また、ガス分布動画像の検査データは、複数フレームの時系列データを含む動画像である。後段処理上の必要に応じて、ゲイン調整やオフセット調整、画像の反転処理等を実施してもよい。
　画素群検査データは、ガス分布動画像の検査データから領域抽出された、縦及び横の画素数がそれぞれ２以上である検査データである。また、画素群検査データは、ガス分布動画像のフレームの画素数より少ない画素群から構成されていてもよい。その理由は、画素群検査データの画素数が小さいほど、1つの検査画像から多くの領域を領域抽出して学習することができ、学習用の検査画像データの数を削減できること、また、画素群検査データの画素数が大きいと、色々な背景バリエーションを用意して学習させる必要が生じるためである。具体的には、時系列画素群検査データは、縦及び横の画素数がそれぞれ３以上７以下のフレーム画素数であることが好ましい。例えば、画素群検査データは、縦×横の画素数が４×４、Ｎフレーム（Ｎは自然数）としてもよく、毎秒１０フレーム（ｆｐｓ）で１０秒分、Ｎは約１００フレームとしてもよい。
　図５（ａ）は、ガス分布動画像の検査データから領域抽出されたガス分布動画像の時系列画素群検査データの態様を示す図である。ガス種が、メタンガスなどの炭化水素系ガスであるとき、赤外線カメラで撮像されたガス分布動画像の検査データと画素群検査データは、図５（ａ）に示すような態様となる。
　ガス温度値検査データ取得部２１２は、ガス分布画像の画素群検査データに対応するガス温度値を取得する回路である。撮影画像は撮影した輝度値、ガス温度は温度計で計測した温度値を輝度値に換算した値を入力するものとするが、それぞれ温度値で入力しても構わない。ガス温度値は、ガス分布動画像撮像時にガス雰囲気の温度を温度計ＴＥを用いて計測した温度測定データを輝度値に換算した値としてもよい。本例では、図５（ａ）に示すように、時系列画素群検査データにおける４×４画素、Ｎフレームの平均値を用いるものとする。画素群検査データとガス温度値の検査データとは同一の条件によって撮像及び測定がなされた画像と当該画像に関する温度値である。
　画素群検査データとガス温度値検査データからなるデータセットは、推論部２１５２における検査対象用データとして推論部２１５２に出力される。
　教師画像取得部２１３は、機械学習用データ生成装置３０により生成されたガス分布動画像から領域抽出されたガス分布動画像の時系列画素群教師データの入力を受け付ける回路である。図５（ｂ）は、ガス分布動画像として、光吸収率画像を用いたときの、ガス分布動画像の教師データから領域抽出されたガス分布動画像の時系列画素群教師データの態様を示す図である。図５（ｂ）に示すように、時系列画素群教師データは、ガス可視化撮像装置１０が生成する画素群検査データと同一のフォーマットからなる画像であって、複数フレームの時系列データを含む動画像である。ここでも、時系列画素群教師データは、縦及び横の画素数がそれぞれ３以上７以下のフレーム画素数であることが好ましい。例えば、縦×横の画素数が４×４、毎秒１０フレーム（ｆｐｓ）で１０秒分、Ｎフレーム（Ｎは自然数）、例えば、Ｎは約１００フレームとしてもよい。
　また、時系列画素群教師データのフレーム画素数は振動ノイズの大きさによって変えることで、学習が効果的に行われる。例えば、３×３画素の場合、上下左右1画素未満の振動ノイズがある場合の影響を学習できる。４×４だと、上下左右１．５画素程度までの振動ノイズがある場合の影響を学習できる。７×７画素の場合、上下左右３画素未満のずれの影響を学習できる。
　ガス特徴量教師データ取得部２１４は、機械学習用データ生成装置３０により生成されたガス分布動画像から領域抽出された時系列画素群教師データに対応するガス温度値及びガス濃度特徴量教師データを、それぞれ時系列画素群教師データに対する代表値として取得する回路である。時系列画素群教師データとガス温度値及びガス濃度特徴量は、同一の条件によって生成がなされた画像と当該画像に関するパラメータである。図５（ｂ）に示すように、温度値は、時系列画素群教師データに対応する平均値（Ｎフレームの平均値）を用いてもよい。
　ガス温度値には、時系列画素群教師データの輝度に対応するガス温度値を用いてもよい。また、ガス濃度特徴量には、時系列画素群教師データに対応する光吸収率又はガス濃度厚み積を用いてもよい。
　光吸収率とは、空間中にガスが存在したときの光の吸収割合であり、ガス無の状態を０としたとき、０～１で表される。なお、光吸収率は、ガスの分光吸収係数により濃度厚み積に変換できる。図５（ｂ）に示すように、光吸収率、濃度厚み積は、時系列画素群教師データに対応する平均値（４×４画素×Ｎフレーム分の平均値）を用いてもよい。
　時系列画素群教師データの教師データ、ガス温度値の教師データ及びガス濃度特徴量の教師データからなるデータセットは、機械学習部２１５１に出力される。
　なお、教師画像取得部２１３は、取得した時系列画素群教師データが、検査画像取得部２１１が取得する画素群検査データと同一のフォーマットでない場合には、同一のフォーマットとなるように切り出しや拡大縮小等の加工を行ってもよい。
　機械学習部２１５１は、教師画像取得部２１３が受け付けたガス分布動画像の教師データから領域抽出された時系列画素群教師データと、ガス特徴量教師データ取得部２１４が受け付けた時系列画素群教師データに対応するガス温度値及びガス濃度特徴量からなるデータセットに基づいて機械学習を実行し推論モデルを生成する回路である。推論モデルは、ガス分布動画像の画素群検査データと、ガス分布動画像が有するガス温度値及びガス濃度特徴量に基づいてガス分布動画像が有するガス濃度特徴量を推定するように形成される。
　機械学習としては、例えば、畳み込みニューラルネットワーク(ＣＮＮ：Convolutional Neural Network)を用いることができ、ＰｙＴｏｒｃｈなどの公知のソフトウェアを用いることができる。
　図４（ｂ）は、機械学習モデルの論理構成の概要を示す模式図である。機械学習モデルは、入力層５１、中間層５２－１、中間層５２－２、…、中間層５２－ｎ、出力層５３を備え、学習によって層間フィルタが最適化される。例えば、ガス分布動画像の画素数が４×４ピクセルでありフレーム数が１００である場合、入力層５１は、ガス分布動画像の画素値を入力した４×４×１００の３次元テンソルを受け付ける。中間層５２－１は例えば畳み込み層であり、入力層５１のデータから畳み込み演算によって生成される４×４×１００の３次元テンソルを受け付ける。中間層５２－２は例えばプーリング層であり、中間層５２－１のデータをリサイズした３次元テンソルを受け付ける。中間層５２－ｎは例えば全結合層であり、中間層５２－（ｎ－１）のデータを、座標値を示す２次元ベクトルに変換する。なお、中間層の構成は一例であり、また、中間層の数ｎは３～５程度であるが、これに限られない。また、図４（ｂ）では各層のニューロン数は同一として描画しているが、各層は任意の数のニューロンを有してよい。機械学習部２１５１は、時系列画素群教師データとガス温度値の教師データ及びガス濃度特徴量の教師データからなるデータセットを入力とし、ガス濃度特徴量を正解とする学習を行って機械学習モデルを生成し、学習モデル保持・推論部２１５２に出力する。なお、機械学習部２１５１は、ガス濃度特徴量推定装置２０が演算装置としてのＧＰＵとＲＡＭを備える場合には、ＧＰＵとソフトウェアとによって実現されてもよい。
　一般に、機械学習では、画像認識等で用いられる畳み込みフィルタ処理等のパラメータを、学習過程を通じて自動調整することにより、人間の形状認識や時間変化に対する認識に近い処理を実行できる処理系を構築する。本実施の形態にかかるガス濃度特徴量推定装置２０の機械学習モデルでは、時系列画素群教師データに現れる特定周波数成分データを抽出し、特定周波数成分データの輝度値とガス温度値及びガス濃度特徴量との関係性を推定することで、画素群検査データに対応するガス濃度特徴量を推定する推論モデルを構築することができる。
　光吸収率、濃度厚み積は、公知の文献、例えば、特許文献１に記載されるように、画素ごとに時間変化からガスあり背景温度、ガスなし背景温度を推定して算出できるパラメータである。そのためガス特徴量教師データ取得部２１４では、時系列画素群教師データにおいてフレームの平均値を教師データとして取得する構成としている。
　しかしながら、時系列画素群教師データに基づく推論モデルが機械的な振動ノイズの影響を受けて、算出されるガス濃度特徴量の精度が低下するという課題がある。
　図６（ａ）は、機械的な振動ノイズの影響がない場合のガス分布動画像の時系列画素群データの態様、（ｂ）は、機械的な振動ノイズの影響を受けたときのガス分布動画像の時系列画素群データの態様を示す模式図である。
　機械的な振動ノイズの影響がない場合には、図６（ａ）に示すように、ガス分布動画像の時系列画素群データの連続するフレーム間で、各画素の輝度値の変化は無い。一方、機械的な振動ノイズの影響がある場合には、図６（ｂ）に示すように、ガス分布動画像の時系列画素群データの連続するフレーム間で、各画素の輝度値が可逆的に変化する。図６（ｂ）に示す例では、Ｎフレームでは、Ｎ－１及びＮ＋１フレームに対し、下方に向けて１行目及び３行目の画素の輝度値が２℃又は４℃に相当する輝度値だけ増加する。すなわち、これらの画素では、振動ノイズに伴う輝度変化のためにガス分布が存在しなくても画素の輝度変化が検出される。
　図７（ａ）は、機械的な振動ノイズの影響を受けたときのガス分布動画像の時系列画素群データにおける輝度値の時間変化であり、（ｂ）は時系列画素群データにおける輝度値の位置変化を示す模式図である。図７（ａ）に示すように、機械的な振動ノイズの影響を受けたときの輝度変化は、時間方向の変動のタイミングが揃った同位相の輝度変化として観測され、画素群データにおける輝度値の変化の方向は、（ｂ）に示すようにガスの流れの向きとは、独立であって通常異なる方向となる。
　これに対し、ガス分布を現す輝度値の変化は異なる態様を採る。
　図８（ａ）ガス分布動画像の時系列画素群データにおけるガス分布を現す輝度値の時間変化であり、（ｂ）は、時系列画素群データにおけるガス分布を現す輝度値の位置変化を示す模式図である。図８（ａ）に示すように、ガス分布を現す輝度変化は、ガスの流れによるタイミング（位相）のズレを伴う輝度変化として観測され、画素群データにおける輝度値の変化の方向は、（ｂ）に示すようにガスの流れの向きと同じ方向になる。このように、複数の画素群からなる時系列情報を利用することにより、機械的な振動ノイズによる輝度変化とガスの流れによる輝度変化とを区別できる。
　そのため、時間変化の情報だけを入力にするのではなく、少なくとも機械的な振動ノイズによってタイミングが揃っているのか、ガスの流れの影響で位相が揃っていないか判別できるだけの数の画素の情報を用いて機械学習させることで機械的な振動ノイズの影響を低減することができる。
　学習モデル保持・推論部２１５２は、機械学習部２１５１によって生成された機械学習モデルを保持し当該機械学習モデルを用いて推論を行い、検査画像取得部２１１が取得したガス分布動画像の画素群検査データに対応するガス濃度特徴量を推定して出力する回路である。本実施の形態では、ガス濃度特徴量として光吸収率又はガス濃度厚み積が、入力されたガス分布動画像の画素群検査データの平均値として特定され出力される。
　[ガス濃度特徴量間でのパラメータ変換について]
　ガス濃度特徴量出力部２１６は、学習モデル保持・推論部２１５２が出力した第２の画像を表示器２４に表示するための表示画像を生成する回路である。図５（ｃ）は、ガス分布動画像として光吸収率画像を用いたときの、ガス分布動画像の時系列画素群検査データから推定されたガス濃度特徴量の態様を示す模式図である。時系列画素群検査データにおける４×４画素、Ｎフレームの光吸収率の平均値が出力される。
　ここで、光吸収率は、ガスの分光吸収係数により濃度厚み積に変換できる。
　濃度厚み積を用いる学習器の場合、特定の例えばメタンなどガス種用の学習済みモデルを作成することで、直接濃度厚み積を算出できる。一方、光吸収率の場合にはあとでガス種を指定することで、色々なガス種の濃度厚み積を算出できる。
　図９（ａ）～（ｄ）は、光吸収率から濃度厚み積を算出する方法を示す図である。
　図９（ａ）に示す方法は、光吸収率と濃度厚み積の関係性データをガス種ごとにあらかじめ実験的に取得する方法である。例えば、所定の濃度厚み積のガスを封入したガスセルを用いて光吸収率を測定し封入するガスの濃度厚み積を変更しながら測定を繰り返すことで光吸収率と濃度厚み積の関係性データを取得する。そして、取得した関係性データを利用し補間処理によって濃度厚み積を求める。補間処理としてスプライン補間等の補間処理方法を利用してもよい。図９（ａ）の黒丸点はガスセルを用いて実際に測定したメタンガスに関するデータであり、黒実線は３次スプライン補間した結果である。測定点間を区間として３次スプライン係数を計算し、光吸収率値に対応する濃度厚み積値を求め、良好に補間できていることが見て取れる。
　図９（ｂ）に示す方法は、光吸収率と濃度厚み積の関係性データをガス種ごとにあらかじめ実験的に取得し、取得した関係性データから数式パラメタフィッティングを実施し、光吸収率から濃度厚み積を算出する近似式を求める方法である。図９（ｂ）の黒丸点はガスセルを用いて実際に測定したメタンガスに関するデータであり、黒点線は測定データをもとに数式パラメタフィッティングして求めた近似式による補間結果であり、良好に補間できていることが見て取れる。
　図９（ｃ）に示す方法は、光吸収線データベースが利用できるガス種について、理論計算によって光吸収率と濃度厚み積の関係性データを取得する方法である。例えばＨＩＴＲＡＮと呼ばれる光吸収線データベースを用いれば分光吸光係数を詳細に求めることができるので、濃度厚み積値を変更しながら光吸収率を計算することで光吸収率と濃度厚み積の関係性データを取得することができる。図９（ｃ）の黒丸点はＨＩＴＲＡＮを用いて求めたメタンガスに関するデータであり、黒実線は３次スプライン補間した結果である。測定点間を区間として３次スプライン係数を計算し、光吸収率値に対応する濃度厚み積値を求めることで、良好に補間できていることが見て取れる。
　図９（ｄ）に示す方法では、図９（ｃ）を同じ方法により光吸収率と濃度厚み積の関係性データの取得し、図９（ｂ）と同じの方法により取得した関係性データの補間を行う。図９（ｄ）の黒丸点はＨＩＴＲＡＮを用いて求めたメタンガスに関するデータであり、黒点線はこのデータをもとに数式パラメタフィッティングして求めた近似式による補間結果であり、良好に補間できていることがわかる。
　なお、プロパンガスのようにガス種が異なる場合にも、同様の算出方法で濃度厚み積を算出できる。
　また、メタンの濃度厚み積を推定する学習器を作成した場合でも、出力のメタンガスの濃度厚み積を上記方法により光吸収率に変換し、さらに別のガス種としてプロパンガスの濃度厚み積に変換することも可能である。
　以上のとおり、ガス濃度特徴量推定装置２０によれば、ガス濃度特徴量として、ガス種に依存しない光吸収率を算出するとともに、算出された光吸収率に基づき具体的なガス種における濃度厚み積を求めることができる。
　あるいは、ガス濃度特徴量はガス濃度厚み積である構成を採ることにより、ガス濃度特徴量として、具体的なガス種を特定した濃度厚み積を直接的に求める方法と取ってもよい。ガス種が定まっている場合に精度向上を図るとともに、計算の簡素化が図れる。
　（ガス濃度特徴量推定装置の動作）
　以下、図面を用いて、本実施の形態におけるガス濃度特徴量推定装置２０の動作について説明する。
　図１０は、学習フェーズにおけるガス濃度特徴量推定装置２０の動作を示すフローチャートである。以下の説明では、ガス濃度特徴量として光吸収率を推定する推論モデルを構築する方法を示す。しかしながら、以下の処理における光吸収率をガス濃度厚み積に置き換えて、ガス濃度特徴量として濃度厚み積を推定してもよい。
　先ず、３次元流体シミュレーションに基づきガス分布動画像教師データを作成する（ステップＳ１１０）。３次元光学反射画像データは、３次元光学照明解析シミュレーションに基づくものであっても良い。例えば市販の3次元ＣＡＤ(Computer-Aided Design)ソフトウェアを用いて、ガス設備の3次元構想物モデリングを行い、構造物モデルを考慮して市販の3次元光学照明解析シミュレーション用ソフトウェアを用いて３次元光学照明解析シミュレーションを行い、シミュレーション結果として得られた3次元光学反射画像データから所定の視点位置から観察した２次元画像に変換して生成する。
　このとき、学習フェーズは、背景温度差ある被写体を使いガスあり領域とガスなし領域を含む画像を用いる。また、振動ノイズの無い画像と、振動ノイズを発生させた画像とを画像上で組み合わせて学習データとする。振動ノイズを発生させた画像は、元の背景データをシミュレーションにより平面方向に振動させることにより振動ノイズを伴う背景データを生成し、この振動ノイズを伴う背景データにガス分布画像を重畳することにより作成する。
　次に、ガス分布画像教師データから所定サイズの（４×４画素×Ｎフレーム）の時系列画素群教師データを領域抽出する（ステップＳ１２０）。
　次に、時系列画素群教師データに対応するガスの温度値、光吸収率を算出する（ステップＳ１３０）。ガスの温度値、光吸収率は、時系列画素群教師データに４×４画素×Ｎフレームの平均値としてもよい。
　次に、ガス分布画像の時系列画素群教師データ、温度値、光吸収率の組み合わせからなるデータセットを取得する。時系列画素群教師データは教師画像取得部２１３により訓練画像として取得され、対応する温度値、光吸収率は正解データとしてガス特徴量教師データ取得部２１４により取得される。このとき、必要に応じてゲイン調整等の処理がなされた画像データを取得してもよい。
　次に、畳み込みニューラルネットワークにデータを入力して機械学習を実行して光吸収率を推定する推論モデルを構築する（ステップＳ１５０）。これにより、深層学習によってパラメータが試行錯誤によって最適化され、機械学習済みモデルが形成される。形成された機械学習済みモデルは、学習モデル保持・推論部２１５２に保持される。
　以上の動作により、ガス分布画像の時系列画素群教師データに対してその特徴に基づき、光吸収率を推定する推論モデルが形成される。
　図１１は、運用フェーズにおけるガス濃度特徴量推定装置２０の動作を示すフローチャートである。
　先ず、ガス可視化撮像装置１０において取得したガス分布動画像検査データを取得し（ステップＳ２１０）、撮影環境の温度値を計測する（ステップＳ２２０）。ガス分布動画像検査画像は、ガス可視化撮像装置１０の赤外線カメラによって撮像された赤外線画像であり、検査対象のガス漏れ部分を可視化したガス分布を示す動画像である。
　次に、ガス分布画像データから所定サイズの（４×４画素×Ｎフレーム）の時系列画素群検査データを領域抽出する（ステップＳ２３０）。ガスを検知した画素をすべて含むように撮像画像の各フレームからその一部を切り出し、ガス分布画像のフレームとして時系列画素群検査データを生成してもよい。
　次に、ガス分布画像の時系列画素群検査データ、温度値の組み合わせからなるデータセットを取得する（ステップＳ２４０）。時系列画素群検査データは検査画像取得部２１１により検査対象の画像として取得され、対応する温度値はガス温度値検査データ取得部２１２により取得される。このとき、必要に応じてゲイン調整等の処理がなされた画像データを取得してもよい。時系列画素群検査データは、時系列画素群教師データと同じフォーマットの画像データであって、複数フレームの時系列データをからなる。検査画像に対して、オフセット成分の減算やゲイン調整が実施されてもよい。
　次に、学習済モデルを用いて時系列画素群検査データの光吸収率推定値を算出する（ステップＳ２５０）。ステップＳ１５０によって形成された機械学習済み推論モデルを用いることにより、ガス分布画像の時系列画素群教師データを入力として、その特徴に基づき、光吸収率が推定される。
　次に、ガス種の光吸収率と濃度厚み積との関係性特性に基づき、光吸収率推測値を濃度厚み積値に変換する（ステップＳ２６０）。
　以上により、ガス濃度特徴量の推定が完了する。
　（評価試験）
　以下、実施の形態に係るガス濃度特徴量推定装置を用いて性能評価試験を行った。以下、その結果について、画像を用いて説明する。
　図１２（ａ）は、検査対象のガス分布動画像の一例である。図１２（ａ）に示すように、検査対象のガス分布動画像は、上下に延びる棒状物体の背景画像に、図１２（ｂ）の光吸収率画像に対応するガス画像を重畳させた時系列検査データのうちの１つのフレーム画像である。本例では、検査画像は、縦×横が１１２×６４画素、１００フレームとした。また、振動ノイズとして、フレーム毎に、移動量が整数となるような高画素のフレーム画像を生成し、移動後にフレーム画像を１１２×６４画素に縮小することでサブピクセルの振動ずれを与えている。具体的には、振幅として、平均、Ｘ方向：０．４７３、Ｙ方向：０．３６２、標準偏差Ｘ：０．４８６，Ｙ：０．３７８の正規分布（単位画素）の振動ノイズを与えた。なお、図１２（ａ）は、この振動ずれのあるガスのない背景画像を作成したのち、図１２（ｂ）の光吸収率画像に対応するガス画像を重畳し、作成している。
　図１２（ｂ）は、光吸収画像の検査対象画像（正解画像）の一例であり、図１２（ａ）のガス分布動画像に重畳させたガスの光吸収率画像であり、１フレーム２８×１６画素のデータである。この検査対象画像から、４×４画素領域を１画素とする時系列画素群検査データを領域抽出することができる。
　図１２（ｃ）は、光吸収画像の処理結果の一例であり、図１２（ｂ）に示す光吸収率画像の時系列画素群検査データを２８×１６領域（１領域は４×４画素）に分割し、各領域に対しそれぞれ、ガス温度相当の輝度値１４３８７（１６ｂｉｔ値）を入力して、ガス濃度特徴量を算出し、１枚のガス濃度特徴量画像とし出力した出力画像であり、１フレーム２８×１６画素のデータである。
　図１２（ｃ）に示すように、振動ノイズとガスをうまく判断できていることが見て取れる。
　（小　括）
　以上説明したように、本実施の形態では、複数の画素群からなる時系列情報を利用することにより、機械的な振動ノイズによる輝度変化とガスの流れによる輝度変化とを区別できる。これより、機械的な振動ノイズによってタイミングが揃っているのか、ガスの流れの影響で位相が揃っていないか判別できるだけの数の画素の情報を用いて機械学習させることで機械的な振動ノイズの影響を低減することができる。
　すなわち、ガス濃度特徴量推定装置２０では、ガス分布動画像の時系列画素群検査データおよび教師データを、縦及び横の画素数がそれぞれ２以上である時系列画素群検査データとすることにより、時系列画素群データにおける輝度変化のタイミング（位相）ズレの有無を検出することにより、時系列画素群データにおける輝度変化が位相ズレを伴わない機械的な振動ノイズによるものか、位相ズレを伴うガスの流れによる輝度変化であるかを峻別できる推論モデルを構築することができ、算出されるガス濃度特徴量の精度を向上することができる。
　＜機械学習用データ生成装置３０＞
　次に、機械学習用データ生成装置３０の構成について説明する。
　[濃度厚み積画像データの生成]
　学習フェーズで用いる学習データはシミュレーションを利用して準備することもできる。まず流体シミュレーションを用いてガス拡散についての３次元シミュレーションを行い、ガスの３次元的な濃度分布データの時系列変化を求める。次に、所定の位置に視点を設定し、ある時刻の３次元的な濃度分布データに対して、ガスが存在する空間を含むような角度領域にわたって視線を走査しながらガスの濃度厚み積（視線上にある濃度分布の、視点からの距離方向の積分値）を求め、その時刻の２次元的な濃度厚み積分布データ、すなわち濃度厚み積画像を得る。時刻を変化させながら上述の処理を繰り返すことで複数の濃度厚み積画像フレームからなる時系列データを得ることができる。
　図１３は、機械学習用データ生成装置３０の構成を示す図である。図１３に示すように、機械学習用データ生成装置３０は、制御部（ＣＰＵ）３１、通信部３２、記憶部３３、表示部３４、操作入力部３５を備え、制御部３１により機械学習用データ生成プログラムを実行するコンピュータとして実現される。
　記憶部３３は、機械学習用データ生成装置３０が動作するために必要なプログラム３３１などを記憶している他、制御部３１の計算結果を一時的に格納する一時記憶領域としての機能を有する。通信部３２は、機械学習用データ生成装置３０、記憶手段４０と情報の送受信を行う。表示部３４は、例えば液晶パネル等であり、ＣＰＵ３１の生成した表示画面を表示する。
　制御部３１は、記憶部３３に機械学習用データ生成プログラム３３１を実行することにより、機械学習用データ生成装置３０の機能を実現する。
　図１４は、機械学習用データ生成装置３０の機能ブロック図である。図１４（ｂ）における、各機能ブロックにおいて入力される処理に必要な、条件パラメータは下表のとおりである。
Figure JPOXMLDOC01-appb-T000001
 　図１４に示すように、機械学習用データ生成装置３０は、３次元構造物モデリング部３１１、３次元流体シミュレーション実行部３１２、２次元単視点ガス分布画像変換処理部３１３、光吸収率画像変換部３１４、背景画像生成部３１５、光強度画像生成部３１６を備える。
　３次元構造物モデリング部３１１は、操作者からの操作入力部３５への操作入力に基づき、３次元構造部モデル設計を行い、３次元空間に構造物をレイアウトする３次元構造物モデリングを行い、構造物３次元データＤＴｓｔｒを後段に出力する。構造物３次元データＤＴｓｔｒとは、例えば配管やその他のプラント施設の３次元的な形状を表す形状データである。３次元構造物モデリングには、市販の３次元ＣＡＤ(Computer-Aided Design)ソフトウェアを用いることができる。
　図１５（ａ）は、構造物３次元データＤＴｓｔｒのデータ構造を示す模式図である。ここで、本明細書では、各図におけるＸ方向、Ｙ方向、Ｚ方向を、それぞれ、幅方向、奥行方向、高さ方向とする。図１５（ａ）に示すように、構造物３次元データＤＴｓｔｒは、３次元空間を表す３次元ボクセルデータであり、Ｘ方向、Ｙ方向、Ｚ方向の座標に配された構造物識別情報Ｓｔｄから構成される。構造物識別情報Ｓｔｄは、３次元の形状データとして表現されているため、例えば、「構造物あり」、「構造物なし」といった、０、１による２値画像として記録されてもよい。
　３次元流体シミュレーション実行部３１２は、構造物３次元データＤＴｓｔｒを入力として取得し、さらに、操作者からの操作入力部３５への操作入力に基づき、流体シミュレーションに必要な条件パラメータＣＰ１を取得する。条件パラメータＣＰ１は、例えば、表１に示すような、ガス種、ガス流量、３次元空間におけるガス流速、ガス漏洩源の形状、口径、位置といった、主にガス漏洩にかかわる流体シミュレーションに必要な設定条件を定めるパラメータである。これらの条件パラメータを何種類も変化させて画像を生成することで、多数の学習データを生成することが可能となる。
　そして、３次元構造物モデリングが行われた３次元空間において、３次元流体シミュレーションを行い、３次元ガス分布画像データＤＴｇａｓを生成し後段に出力する。３次元ガス分布画像データＤＴｇａｓとは、少なくとも３次元のガス濃度分布を含むデータである。計算は、市販の３次元流体シミュレーション用ソフトウェアを用いて行い、例えば、ＡＮＳＹＳ　Ｆｌｕｅｎｔ，　Ｆｌｏ　ＥＦＤ，　Ｆｅｍａｐ／Ｆｌｏｗを用いてもよい。
　図１５（ｂ）は、３次元ガス分布画像データＤＴｇａｓのデータ構造を示す模式図である。図１５（ｂ）に示すように、３次元ガス分布画像データＤＴｇａｓは、３次元空間を表す３次元ボクセルデータであり、Ｘ方向、Ｙ方向、Ｚ方向の座標に配されたボクセルのガス濃度データＤｓｔ（％）から構成され、さらに、ボクセルのガス流速ベクトルデータＶｃ（Ｖｘ、Ｖｙ、Ｖｚ）を含んでいてもよい。
　２次元単視点ガス分布画像変換処理部３１３は、ガス漏洩源から３次元空間に漏洩するガスの３次元ガス分布画像データＤＴｇａｓを入力して取得し、さらに、操作者からの操作入力部３５への操作入力に基づき、２次元単視点ガス分布画像への変換処理に必要な条件パラメータＣＰ２を取得する。条件パラメータＣＰ２は、例えば、表１に示すような、撮像装置画角、視線方向、距離、画像解像度といった、ガス可視化撮像装置の撮影条件にかかわるパラメータである。そして、２次元単視点ガス分布画像変換処理部３１３は、３次元ガス分布画像データＤＴｇａｓを所定の視点位置から観察された２次元ガス分布画像データに変換する。これにより、２次元ガス分布画像データとして、濃度厚み積画像データＤＴｄｔに変換する処理が行われる。
　濃度厚み積画像ＤＴｄｔは、ガス可視化撮像装置１０によって取得される漏洩ガスが撮像された検査画像に相当する画像であって、視点からどのようにガスが見えるかを表した画像である。さらに、構造物３次元データＤＴｓｔｒの情報を考慮することにより、構造物に遮られて視点から観察できないガス画像を反映しないガス濃度厚み積画像データＤＴｄｔを生成することができる。
　図１６は、３次元単視点ガス分布画像変換処理における濃度厚み積算出方法の概要を説明するための模式図であって、ガスの挙動を表すガスの３次元ガス分布画像データＤＴｇａｓからガス濃度厚み積画像データＤＴｄｔを生成する方法の概念図である。
　２次元単視点ガス分布画像変換処理部３１３は、３次元ガス分布画像データＤＴｇａｓの示す３次元ガス濃度画像を予め設定された視点位置（Ｘ，Ｙ，Ｚ）からの視線方向に空間積分した濃度厚み積Ｄｓｔの値を、視線方向の角度θ及びσを変化させて複数生成し、得られた濃度厚み積Ｄｓｔの値を２次元に配列して濃度厚み積画像データＤＴｄｔを生成する。
　具体的には、図２１に示すように、３次元空間に任意の視点位置ＳＰ（Ｘ，Ｙ，Ｚ）を設定し、視点位置ＳＰ（Ｘ，Ｙ，Ｚ）から３次元ガス分布画像データＤＴｇａｓの示す３次元ガス濃度画像の方向に所定距離離れた位置に仮想画像面ＶＦを設定する。このとき、仮想画像面ＶＦは、中心Ｏが視点位置ＳＰ（Ｘ，Ｙ，Ｚ）と３次元ガス分布画像データＤＴｇａｓの中心ボクセルを通る直線と交わるように設定される。また、仮想画像面ＶＦの画像枠は、ガス可視化撮像装置１０の画角に応じて設定される。そうすると、視点位置ＳＰ（Ｘ，Ｙ，Ｚ）から仮想画像面ＶＦ上の着目画素Ａ（ｘ，ｙ）に向いた視線方向ＤＡは、中心画素Ｏに向けた視線方向ＤＯ、すなわちガス可視化撮像装置の視線方向ＤＯに対し、Ｘ方向に角度θ、Ｙ方向に角度σ、傾いた方向となっている。
　この着目画素Ａ（ｘ，ｙ）に対応する視線方向ＤＡに沿って、視線と交差する３次元ガス分布画像のボクセルに対応するガス濃度分布データを、視線と交差するボクセルに関して視線方向ＤＡに空間積分することにより、着目画素Ａ（ｘ，ｙ）に関するガス濃度厚み積の値を算出する。そして、角度θ、σをガス可視化撮像装置１０の画角に応じて変化させながら、着目画素Ａ（ｘ，ｙ）の位置を漸動させて、仮想画像面ＶＦ上のすべての画素を着目画素Ａ（ｘ，ｙ）としてガス濃度厚み積の値の算出を繰り返すことで、濃度厚み積画像データＤＴｄｔが算出される。
　さらに、同一の３次元ガス分布画像データＤＴｇａｓを用い視点位置ＳＰ（Ｘ，Ｙ，Ｚ）を異ならせて、濃度厚み積画像データＤＴｄｔを生成することにより、１回の流体シミュレーションから複数の濃度厚み積画像データＤＴｄｔを簡易に生成することができる。
　図１７は、３次元単視点ガス分布画像変換処理において、構造物が存在する条件における濃度厚み積算出方法の概要を説明するための模式図であって、構造物に遮られてガス可視化撮像装置１０から観察できない場合を示している。
　この場合、構造物の３次元的位置を考慮して、視点位置ＳＰ（Ｘ，Ｙ，Ｚ）からみて構造物より後ろ側に存在するガス濃度分布の空間積分を行わない方法で、着目画素Ａ（ｘ，ｙ）についてガス濃度厚み積の値の算出を行う。
　具体的には、視点位置ＳＰ（Ｘ，Ｙ，Ｚ）から着目画素Ａ（ｘ，ｙ）に対応する視線方向ＤＡに空間積分することにより、着目画素Ａ（ｘ，ｙ）に関するガス濃度厚み積の値を算出する。
　そして、仮想画像面ＶＦ上のすべての画素について、構造物の３次元的位置を考慮したガス濃度厚み積の値の算出を繰り返すことで、構造物に遮られて視点から観察できないガス画像を反映しないガス濃度厚み積画像ＤＴｄｔを生成する。
　[光吸収率画像データの生成]
　次に、シミュレーション時に設定したガス種の分光吸収係数データを用いて濃度厚み積画像の時系列データを光吸収率画像の時系列データに変換する。
　光吸収率画像変換部３１４は、操作入力に基づく条件パラメータＣＰ３を取得して、ガス濃度厚み積画像データＤＴｄｔを、さらに、光吸収率画像データＤＴαに変換して後段に出力する。
　図１８（ａ）は、濃度厚み積画像データの概要を示す模式図、（ｂ）は、光吸収率画像変換処理における濃度厚み積算出方法の概要を説明するための模式図、（ｃ）は、光吸収率画像データの概要を示す模式図である。
　機械学習用データ生成装置３０では、図１８（ａ）に示すガス濃度厚み積画像データＤＴｄｔにおける画素（ｘ，ｙ）におけるガス濃度厚み積の値Ｄｔに対し、図１８（ｂ）に示すような、ガス濃度厚み積と光吸収率αの関係性を用いて、図１８（ｃ）に示す画素（ｘ，ｙ）におけるガス濃度厚み積に対応した光吸収率の値αを算出する。光吸収率αは条件パラメータＣＰ３で指定されるガス種によって異なり、濃度厚み積の値Ｄｔと光吸収率αとの関係性データ、例えば、データテーブル等に格納されたガス濃度厚み積の値Ｄｔに対応する光吸収率αの値、あるいは、近似曲線を表す数式等に基づき、ガス濃度厚み積画像データＤＴｄｔを、濃度厚み積値をガスの光吸収特性に基づいて光吸収率画像データＤｔαに変換する。ガス種ごとのガス濃度厚み積の値Ｄｔと光吸収率αとの関係は、予め実測により取得してもよい。
　[光強度画像データの生成]
　次に、求められた光吸収率画像の時系列データと所定の背景画像を用いて、撮像画像相当の画像を生成する。背景画像は光吸収率画像と同数のフレームから構成されており、画像の輝度が時系列にわたって一定、あるいは変化するように構成されている。また、１つのフレーム内のパターンは全画面塗りつぶしの場合もあれば、小領域ごとに異なる輝度が設定される場合もある。
　光吸収率は、上述の光吸収率画像の時系列データから、領域の抽出、空間方向、時間方向の平均値処理により求めることができる。
　ガス温度については、撮像画像相当の画像生成のところで使用したガス温度をそのまま用いる。以上がシミュレーションを利用した学習データの準備の方法である。
　背景画像生成部３１５は、背景箇所データＰＴｂｋと、操作入力に基づく条件パラメータＣＰ５を取得して、背景画像データＤＴＩｂａｃｋを生成する。
　図１９（ａ）は、構造物３次元データの概要を示す模式である。構造物３次元データＤＴｓｔｒは、図１９（ａ）に示すように、３次元空間を表す３次元ボクセルデータであり、構造物識別情報Ｓｔｄは、３次元の形状データとして「構造物あり」、「構造物なし」といった２値画像として記憶する構成と異なり、構造物表面の分類を示した値を画素ごとに付与し、０，１，２，３・・といった多値画像として記録されている。
　この多値画像からなる構造物識別情報Ｓｔｄを、上述のとおり、視点位置ＳＰ（Ｘ，Ｙ，Ｚ）から観察した仮想画像面ＶＦを画像枠とする２次元単視点化処理を行うことにより、背景箇所データＰＴｂｋが生成される。
　図１９（ｂ）は、抽出された背景箇所データＰＴｂｋの概要を示す模式図である。背景箇所データＰＴｂｋは、仮想画像面ＶＦ内の画素Ａ（ｘ，ｙ）に関する背景分類Ｓｔｄ（Ｓｔｄ＝０，１，２，３・・）からなる２次元画像データである。ここで背景分類Ｓｔｄは、例えば構造物表面の光学的特性に基づいて分類された分類番号である。例えば、塗装なし配管を１、塗装ありを２、コンクリートを３といった設定にしてもよい。
　図１９（ｃ）は、背景箇所データＰＴｂｋをもとに背景画像データＤＴＩｂａｃｋを生成する方法を示した概念図である。図１９（ｃ）に示すように、多値画像として生成された背景箇所データＰＴｂｋと、操作入力に基づく条件パラメータＣＰ５に基づき背景画像データＤＴＩｂａｃｋが生成される。
　条件パラメータＣＰ５は、表１に示すような、例えば、背景２次元温度分布、背景表面分光放射率、背景表面分光反射率、照明光波長分布、分光照度、照明角といった、構造物に対する照明条件や、構造物自体の温度条件である。背景箇所データＰＴｂｋが多値画像である場合には、背景分類Ｓｔｄごとに異なる条件パラメータＣＰ５を付与して背景画像データＤＴＩｂａｃｋを生成する。また、背景箇所データを２値画像とした場合は、背景分類Ｓｔｄごとに背景ありとなしで異なる条件を付与して背景画像データＤＴＩｂａｃｋを生成する。
　光強度画像生成部３１６は、光吸収率画像データＤＴαと、背景画像データＤＴＩｂａｃｋと、操作入力に基づき条件パラメータＣＰ４として提供されるガス温度条件とに基づいて光強度画像データＤＴＩを生成する。
　図２０（ａ）は、背景画像データＤＴＩｂａｃｋの概要を示す模式図、（ｂ）は、光吸収率画像データＤＴαの概要を示す模式図、（ｃ）は、光強度画像データの概要を示す模式図である。
　背景画像の座標（ｘ，ｙ）での赤外強度を、ＤＴＩｂａｃｋ（ｘ，ｙ）、ガス温度相当の黒体放射輝度をＩｇａｓ、光吸収率画像の座標（ｘ，ｙ）での光吸収率の値をＤＴα（ｘ，ｙ）としたとき、光強度画像の座標（ｘ，ｙ）での赤外強度をＤＴＩ（ｘ，ｙ）は、式１により算出される。
Figure JPOXMLDOC01-appb-M000002
 　光強度画像生成部３１６は、光吸収率画像データＤＴαと、背景画像データＤＴＩｂａｃｋと、ガスの温度条件とに基づいて、（式１）に基づいて、仮想画像面ＶＦ上の座標（ｘ，ｙ）での赤外強度ＤＴＩ（ｘ，ｙ）を算出する。これにより、着目画素Ａ（ｘ，ｙ）に対応する視線方向ＤＡに沿って、背景となる構造物が発する赤外線放射と、視線と交差する３次元ガス分布画像のボクセルに存在するガスが発する赤外線放射の総和を算出することができる。
　そして、仮想画像面ＶＦ上のすべての画素Ａ（ｘ，ｙ）として赤外強度ＤＴＩ（ｘ，ｙ）を算出して、光強度画像データＤＴＩを生成する。
　（２次元単視点ガス分布画像変換処理の動作）
　次に、図面を用いて、機械学習用データ生成装置３０における２次元単視点ガス分布画像変換処理動作を説明する。
　図２１は、２次元単視点ガス分布画像変換処理の概要を示すフローチャートである。当該処理は、制御部３１によってその機能が構成される２次元単視点ガス分布画像変換処理部３１３によって実行される。
　先ず、２次元単視点ガス分布画像変換処理部３１３は、構造物３次元データＤＴｓｔｒを取得し（ステップＳ１）、さらに、３次元ガス分布画像データＤＴｇａｓを取得する（ステップＳ２）。次に、操作入力に基づき、条件パラメータＣＰ２として、例えば、撮像装置画角、視線方向、距離、画像解像度に関する情報の入力を受け付ける（ステップＳ３）。さらに、操作入力に基づき、ガス可視化撮像装置１０の撮像部分の位置に相当する視点位置ＳＰ（Ｘ，Ｙ，Ｚ）を３次元空間内に設定する（ステップＳ４）。
　次に、視点位置ＳＰ（Ｘ，Ｙ，Ｚ）から３次元ガス濃度画像の方向に所定距離離れた仮想画像面ＶＦを設定し、上述のとおり、仮想画像面ＶＦの画像枠の位置をガス可視化撮像装置１０の画角に応じて算出する（ステップＳ５）。
　次に、着目画素Ａ（ｘ，ｙ）の座標を初期値に設定し（ステップＳ６）、視点位置ＳＰ（Ｘ，Ｙ，Ｚ）から仮想画像面ＶＦ上の着目画素Ａ（ｘ，ｙ）に向いた視線上の位置ＬＶを初期値に設定する（ステップＳ７）。
　次に、視線と交差する構造物３次元データＤＴｓｔｒのボクセルの構造物識別情報Ｓｔｄが「構造物なし」（Ｓｔｄ＝０）を表すものであるか否かを判定し（ステップＳ８）、「構造物あり」である場合には、着目画素Ａ（ｘ，ｙ）の位置を漸動させて（ステップＳ９）、ステップＳ７に戻り、「構造物あり」ではない場合にはステップＳ１０に進む。
　ステップＳ１０では、視線と交わる３次元ガス分布画像データＤＴｇａｓのボクセルの存否を判定し、視線と交差する構造物３次元データＤＴｓｔｒのボクセルが存在しない場合には、視線上の位置ＬＶを単位長さ（例えば、１）だけインクリメントして（ステップＳ１１）、ステップＳ８に戻り、視線と交差するボクセルが存在する場合には、そのボクセルの濃度厚み値Ｄｓｔを読込み、加算レジスタ等に記憶されている積分値Ｄｓｔｉとの和を新たな積分値Ｄｓｔｉとして加算レジスタ等に保存する（ステップＳ１２）。
　次に、視線とボクセルが交差する範囲に相当する視線全長について計算を完了したか否かを判定し（ステップＳ１３）、完了していない場合には、視線上の位置ＬＶを単位長さだけインクリメントして（ステップＳ１４）、ステップＳ８に戻り、完了している場合には、着目画素Ａ（ｘ，ｙ）に対応する視線方向ＤＡに沿って、視線と交差する３次元ガス分布画像のボクセルのガス濃度分布データを空間積分して、着目画素Ａ（ｘ，ｙ）に関するガス濃度厚み積の値が算出される。
　次に、仮想画像面ＶＦ上の全ての画素についてガス濃度厚み積の値の算出が完了したか否かを判定し（ステップＳ１５）、完了していない場合には、着目画素Ａ（ｘ，ｙ）の位置を漸動させて（ステップＳ１６）、ステップＳ７に戻り、完了している場合には、仮想画像面ＶＦ上のすべての画素についてガス濃度厚み積の値が算出され、仮想画像面ＶＦに関する２次元ガス分布画像データとしてガス濃度厚み積画像ＤＴｄｔが生成される。
　次に、算出すべき全ての視点位置ＳＰ（Ｘ，Ｙ，Ｚ）についてガス濃度厚み積画像ＤＴｄｔの生成が完了したか否かを判定し（ステップＳ１７）、完了していない場合には、ステップＳ４に戻り、操作入力された新たな視点位置ＳＰ（Ｘ，Ｙ，Ｚ）についてガス濃度厚み積画像ＤＴｄｔの生成し、完了している場合には処理を終了する。
　（背景画像生成処理の動作）
　次に、図面を用いて、機械学習用データ生成装置３０における背景画像生成処理動作を説明する。
　図２２は、背景画像生成処理の概要を示すフローチャートである。当該処理は、制御部３１によってその機能が構成される背景画像生成部３１５によって実行される。
　先ず、背景画像生成部３１５は、構造物３次元データＤＴｓｔｒを取得する（ステップＳ１）。ステップＳ３～Ｓ８の動作は、図２１１１における各ステップの動作と同じである。
　ステップ８において、視線と交差するボクセルの背景箇所データＰＴｂｋが「構造物あり」である場合には、背景箇所データＰＴｂｋの背景分類Ｓｔｄを取得（ステップＳ１２１Ａ）、背景分類Ｓｔｄに対応する条件パラメータＣＰ５の入力（ステップＳ１２２Ａ）を行い、着目画素Ａにおける背景画像データ値を確定した後、着目画素Ａ（ｘ，ｙ）の位置を漸動させて（ステップＳ９）、ステップＳ７に戻る。
　条件パラメータＣＰ５は、例えば、背景２次元温度分布、背景表面分光放射率、背景表面分光反射率、照明光波長分布、分光照度、照明角度といった条件である。
　一方、「構造物あり」ではない場合には、視線とボクセルが交差する範囲に相当する視線全長について計算を完了したか否かを判定し（ステップＳ１３）、完了していない場合には、視線上の位置ＬＶを単位長さだけインクリメントして（ステップＳ１４）、ステップＳ８に戻る。一方、完了している場合には、構造物が無かった場合に設定される標準値を着目画素Ａにおける背景画像データ値として確定し、仮想画像面ＶＦ上の全ての画素について計算が完了したか否かを判定し（ステップＳ１５）、完了していない場合には、着目画素Ａ（ｘ，ｙ）の位置を漸動させて（ステップＳ１６）、ステップＳ７に戻り、完了している場合には処理を終了する。ここで構造物がなかった場合に設定される標準値とは、例えば実空間における地面や空に相当する背景画像データ値である。条件パラメータＣＰ５で示される条件を適宜設定することで標準値を得ることができる。
　以上により、仮想画像面ＶＦ上のすべての画素について背景箇所データＰＴｂｋの背景分類Ｓｔｄが取得され、仮想画像面ＶＦに関する背景画像データＤＴＩｂａｃｋが生成される。
　（光強度画像データ生成処理の動作）
　次に、図面を用いて、機械学習用データ生成装置３０における光強度画像データ生成処理動作を説明する。
　図２３は、光強度画像データ生成処理の概要を示すフローチャートである。
　先ず、仮想画像面ＶＦに関する背景画像データＤＴＩｂａｃｋ（ｘ，ｙ）、光吸収率画像データＤＴα（ｘ，ｙ）を取得し（ステップＳ１０１、１０２）、ガス温度条件に関する条件パラメータＣＰ４を入力する（ステップＳ１０３）。
　次に、ガス温度相当の黒体放射輝度Ｉｇａｓを取得し（ステップＳ１０４）、（式１）により光強度画像の赤外強度ＤＴＩ（ｘ，ｙ）を算出して（ステップＳ１０５）、光強度画像データＤＴＩとして出力し（ステップＳ１０６）、処理を終了する。
　（小　括）
　以上により、機械学習用データ生成装置３０により生成された光強度画像データＤＴＩをガス分布動画像とし、光吸収率画像データＤｔα又はガス濃度厚み積画像ＤＴｄｔから算出したガス濃度特徴量をガス濃度特徴量推定装置２０に用いる機械学習用教師データとして用いることができる。
　これにより、本実施の形態に係るガス濃度特徴量推定装置２０における機械学習モデルの学習のために、例えば、本例におけるガス漏洩画像と、ガス漏洩源位置座標情報といった、入力と正解出力からなる数万組程度の学習データの組を効率的に生成することができ、学習精度向上に寄与できる。
　また、ガス可視化撮像装置１０より得られるガス分布画像により近い光吸収率画像データＤＴαを教師データとして生成することにより、より検査画像に近い教師データを生成することができる。これより、機械学習モデルにおいて、より学習精度向上に寄与できる。
　また、ガス可視化撮像装置１０より得られるガス分布画像により一層類似した態様の光強度画像データＤＴＩを教師データとして生成することにより、より一層検査画像に近い教師データを生成することができ、対象となるガス部分の抽出を容易できる。これより、ガス漏洩検知装置における機械学習モデルにおいて、より一層学習精度向上に寄与できる。
　≪まとめ≫
　本開示の一態様に係るガス濃度特徴量推定装置は、空間中におけるガスの存在領域を表すガス分布動画像の検査データから領域抽出された、縦及び横の画素数がそれぞれ２以上であるガス分布動画像の時系列画素群検査データと、前記ガスの温度値とを取得する検査データ取得部と、前記時系列画素群検査データと同一サイズのガス分布動画像の時系列画素群教師データと、前記時系列画素群教師データに対応するガス温度値及びガス濃度特徴量の値とを教師データとして機械学習された推論モデルを用いて、前記検査データ取得部が取得した前記時系列画素群検査データに対応する前記ガス濃度特徴量を算出する推定部とを備えたことを特徴とする。さらに、前記時系列画素群検査データは、前記ガス分布動画像のフレームの画素数よりも少ないフレーム画素数を有する構成としてもよい。
　係る構成により、機械的振動ノイズによる測定への影響を低減し、赤外線ガス分布動画像から空間のガス濃度を現す特徴量を精度よく検出できる。
　また、別の態様では、上記何れかの態様において、前記時系列画素群検査データは、縦及び横の画素数がそれぞれ３以上７以下のフレーム画素数を有する構成としてもよい。
　また、別の態様では、上記何れかの態様において前記時系列画素群教師データは、振動ノイズを含む動画像である構成としてもよい。　また、別の態様では、上記何れかの態様において、前記ガス濃度特徴量は、光吸収率であり、さらに、ガス種の光吸収率と濃度厚み積との関係性特性に基づき、前記時系列画素群検査データに対応する前記光吸収率を前記ガス種に関する濃度厚み積値に変換する変換部を備えた構成としてもよい。
　係る構成により、ガス濃度特徴量として、ガス種に依存しない光吸収率を算出するとともに、算出された光吸収率に基づき具体的なガス種における濃度厚み積を求めることができる。
　また、別の態様では、上記何れかの態様において、前記ガス濃度特徴量は、ガス濃度厚み積である構成としてもよい。
　係る構成により、ガス濃度特徴量として、具体的なガス種を特定した濃度厚み積を直接的に求めることができ、ガス種が定まっている場合に精度向上と計算の簡素化を図れる。
　また、別の態様では、上記何れかの態様において、前記ガス分布動画像は撮像装置により撮像された画像である構成としてもよい。
　また、別の態様では、上記何れかの態様において、前記ガス分布動画像の教師データは、シミュレーションにより生成される構成としてもよい。
　係る構成により、入力と正解出力からなる数万組程度の学習データの組を効率的に生成することができ、学習精度向上に寄与できる。
　また、別の態様では、上記何れかの態様において、前記ガス分布動画像の教師データは、背景画像と光吸収率から生成される構成としてもよい。
　係る構成により、ガス可視化撮像装置により得られるガス分布画像により近い光吸収率画像を用いて、より検査画像に近い教師データを生成することができる。これより、機械学習モデルにおいて、より学習精度向上に寄与できる。
　また、別の態様では、上記何れかの態様において、前記時系列画素群検査データ又は前記時系列画素群教師データにおけるフレーム数は、各フレームにおける縦又は横の画素数よりも多い。
　係る構成により、複数の画素群からなる時系列情報を利用することにより、機械的な振動ノイズによる輝度変化とガスの流れによる輝度変化とを区別できる。これより、機械的な振動ノイズによってタイミングが揃っているのか、ガスの流れの影響で位相が揃っていないか判別できるだけの数の画素の情報を用いて機械学習させることで機械的な振動ノイズの影響を低減できる。
　また、別の態様では、上記何れかの態様において、前記時系列画素群検査データに対応する前記ガス濃度特徴量は、前記時系列画素群検査データのフレームごとに算出された値からなる数列である構成としてもよい。
　また、別の態様では、上記何れかの態様において、前記時系列画素群検査データに対応する前記ガス濃度特徴量は、前記時系列画素群検査データのフレームごとに算出された値の平均値である構成としてもよい。
　係る構成により、ガス濃度特徴量推定の計算を簡素化できる。
　また、別の態様では、上記何れかの態様において、前記撮像装置は赤外カメラである構成としてもよい。
　また、本開示の一態様に係るガス濃度特徴量推定方法は、空間中におけるガスの存在領域を表すガス分布動画像の検査データから領域抽出された、縦及び横の画素数がそれぞれ２以上であるガス分布動画像の時系列画素群検査データと、前記ガスの温度値とを取得し、前記時系列画素群検査データと同一サイズのガス分布動画像の時系列画素群教師データと、前記時系列画素群教師データに対応するガス温度値及びガス濃度特徴量の値とを教師データとして機械学習された推論モデルを用いて、取得した前記時系列画素群検査データに対応する前記ガス濃度特徴量の推定値を算出する構成としてもよい。
　係る構成により、機械的振動ノイズによる測定への影響を低減し、赤外線ガス分布動画像から空間のガス濃度を現す特徴量を精度よく検出できるガス濃度特徴量推定方法を実現できる。
　また、本開示の一態様に係るプログラムは、コンピュータにガス濃度特徴量推定処理を行わせるプログラムであって、前記ガス濃度特徴量推定処理は、空間中におけるガスの存在領域を表すガス分布動画像の検査データから領域抽出された、縦及び横の画素数がそれぞれ２以上であって、前記ガス分布動画像の時系列画素群検査データと、前記ガスの温度値とを取得し、前記時系列画素群検査データと同一サイズのガス分布動画像の時系列画素
群教師データと、前記時系列画素群教師データに対応するガス温度値及びガス濃度特徴量の値とを教師データとして機械学習された推論モデルを用いて、取得した前記時系列画素群検査データに対応する前記ガス濃度特徴量の推定値を算出する構成としてもよい。
　また、本開示の一態様に係るガス濃度特徴量推論モデル生成装置は、空間中におけるガスの存在領域を表すガス分布動画像の教師データから領域抽出された、縦及び横の画素数がそれぞれ２以上であって、前記ガス分布動画像の時系列画素群教師データと、前記時系列画素群教師データに対応するガス温度値及びガス濃度特徴量の値とを教師データとして取得する教師データ取得部と、前記時系列画素群教師データと同一サイズの時系列画素群検査データと、当該時系列画素群検査データに対応するガス温度値に対応する前記ガス濃度特徴量の推定値を、前記教師データに基づき算出する推論モデルを構築する機械学習部とを備えた構成としてもよい。
　係る構成により、機械的振動ノイズによる測定への影響を低減し、赤外線ガス分布動画像から空間のガス濃度を現す特徴量を精度よく検出できるガス濃度特徴量推論モデルを構築できる。
　≪変形例≫
　以上、実施の形態に係るガス濃度特徴量推定システム１について説明したが、本開示は、その本質的な特徴的構成要素を除き、以上の実施の形態に何ら限定を受けるものではない。例えば、実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。以下では、そのような形態の一例として、上記した実施の形態の変形例を説明する。
　（１）上記した実施の形態では、ガス濃度特徴量推定装置２０が取得するガス動画像教師データは、機械学習用データ生成装置３０を用いてシミュレーションにより生成される構成を一例として説明した。しかしながら、ガス動画像教師データは、ガス可視化撮像装置１０によって撮像された実画像を用いてもよい。この場合、背景像がガス分布の濃度厚み積又は光吸収率に影響を与えることを防止するために、黒体板を背景としてガス動画像教師画像を撮像することが好ましい。この場合、温度値は撮像雰囲気の温度測定結果、ガス濃度特徴量の教師データはガス動画像教師画像の現す輝度に基づき算出される値を用いることができる。
　（２）上記した実施の形態では、時系列画素群データにおいて、時間の要素が１００フレームに対し、画素の要素は４×４として、相対的に時間の要素の重みを増した機械学習を行う構成を一例として示した。しかしながら、時間の要素に対し画素の要素を相対的に増加した構成としてもよい。
　（３）上記した実施の形態では、検査画像の一例として、ガス設備としてガスプラントを例示して説明を行った。しかしながら、本開示はこれに限定されるものではなく、ガスを利用する機器、装置、実験室、研究室、工場、事業所における表示画像の生成に適用してもよい。
　（４）本開示を上記実施の形態に基づいて説明してきたが、本開示は、上記の実施の形態に限定されず、以下のような場合も本発明に含まれる。
　例えば、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムにしたがって動作するとしてもよい。例えば、本開示のシステム又はその構成要素における処理のコンピュータプログラムを有しており、このプログラムに従って動作する（又は接続された各部位に動作を指示する）コンピュータシステムであってもよい。
　また、上記システム又はその構成要素における処理の全部、もしくは一部を、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等の記録媒体、ハードディスクユニットなどから構成されるコンピュータシステムで構成した場合も本発明に含まれる。上記ＲＡＭ又はハードディスクユニットには、上記各装置と同様の動作を達成するコンピュータプログラムが記憶されている。上記マイクロプロセッサが、上記コンピュータプログラムにしたがって動作することにより、各装置はその機能を達成する。
　また、上記の各装置を構成する構成要素の一部又は全部は、１つのシステムＬＳＩ（Large scale Integration（大規模集積回路））から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。上記ＲＡＭには、上記各装置と同様の動作を達成するコンピュータプログラムが記憶されている。上記マイクロプロセッサが、上記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。例えば、システム又はその構成要素における処理がＬＳＩのプログラムとして格納されており、このＬＳＩがコンピュータ内に挿入され、所定のプログラムを実施する場合も本発明に含まれる。
　なお、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ(Field Programmable Gate Array)や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサー(Reconfigurable Processor)を利用してもよい。
　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
　また、各実施の形態に係る、システム又はその構成要素の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。システム又はその構成要素の動作を実施させるプログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。プログラムや信号を記録媒体に記録して移送することにより、プログラムを独立した他のコンピュータシステムにより実施するとしてもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
　また、上記実施形態に係るシステム又はその各構成要素は、ＣＰＵやＧＰＵ(Graphics Processing Unit)やプロセッサなどのプログラマブルデバイスとソフトウェアにより実現される構成であってもよい。これらの構成要素は一個の回路部品とすることができるし、複数の回路部品の集合体にすることもできる。また、複数の構成要素を組合せて一個の回路部品とすることができるし、複数の回路部品の集合体にすることもできる。
　（５）機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を、単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
　また、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　また、各実施の形態、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。更に上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
　≪補足≫
　以上で説明した実施の形態は、いずれも本発明の好ましい一具体例を示すものである。実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、工程、工程の順序などは一例であり、本発明を限定する主旨ではない。また、実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない工程については、より好ましい形態を構成する任意の構成要素として説明される。
　また、発明の理解の容易のため、上記各実施の形態で挙げた各図の構成要素の縮尺は実際のものと異なる場合がある。また本発明は上記各実施の形態の記載によって限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。
　さらに、基板上に回路部品、リード線等の部材も存在するが、電気的配線、電気回路について当該技術分野における通常の知識に基づいて様々な態様を実施可能であり、本発明の説明として直接的には無関係のため、説明を省略している。なお、上記に示した各図は模式図であり、必ずしも厳密に図示したものではない。
　本開示に係るガス濃度特徴量推定装置、ガス濃度特徴量推定方法、プログラム、およびガス濃度特徴量推論モデル生成装置は、赤外線撮像装置を用いたガス濃度特徴量の推定に広く適用可能である。
１　ガス濃度特徴量推定システム
１０　ガス可視化撮像装置
２０　ガス濃度特徴量推定装置
　２１　制御部
　　２１０　ガス漏洩位置同定装置
　　２１１　検査画像取得部
　　２１２　ガス温度値検査データ取得部
　　２１３　教師画像取得部
　　２１４　ガス特徴量教師データ取得部
　　２１５　ガス濃度特徴量推定部
　　　２１５１　機械学習部
　　　２１５２　学習モデル保持・推論部
　　２１６　ガス濃度特徴量出力部
　２２　通信回路
　２３　記憶装置
　２４　表示器
　２５　操作入力部
３０　機械学習用データ生成装置
　３１　制御部（ＣＰＵ）
　　３１１　３次元構造物モデリング部
　　３１２　３次元流体シミュレーション実行部
　　３１３　２次元単視点ガス分布画像変換処理部
　　３１４　光吸収率画像変換部
　　３１５　背景画像生成部
　　３１６　光強度画像生成部
　３２　通信部
　３３　記憶部
　３４　表示部
　３５　操作入力部
４０　記憶手段

Claims (16)

  1. 　空間中におけるガスの存在領域を表すガス分布動画像の検査データから領域抽出された、縦及び横の画素数がそれぞれ２以上である時系列画素群検査データと、前記ガスの温度値とを取得する検査データ取得部と、
    　前記時系列画素群検査データと同一サイズのガス分布動画像の時系列画素群教師データと、前記時系列画素群教師データに対応するガス温度値及びガス濃度特徴量の値とを教師データとして機械学習された推論モデルを用いて、前記検査データ取得部が取得した前記時系列画素群検査データに対応する前記ガス濃度特徴量を算出する推定部とを備えた
    　ガス濃度特徴量推定装置。
  2. 　前記時系列画素群検査データは、前記ガス分布動画像のフレームの画素数よりも少ないフレーム画素数を有する、
    　請求項１に記載のガス濃度特徴量推定装置。
  3. 　前記時系列画素群検査データは、縦及び横の画素数がそれぞれ３以上７以下のフレーム画素数を有する、
    　請求項２に記載のガス濃度特徴量推定装置。
  4. 　前記時系列画素群教師データは、振動ノイズを含む動画像である、
    　請求項１から３の何れか１項に記載のガス濃度特徴量推定装置。
  5. 　前記ガス濃度特徴量は、光吸収率であり、
    　さらに、ガス種の光吸収率と濃度厚み積との関係性特性に基づき、前記時系列画素群検査データに対応する前記光吸収率を前記ガス種に関する濃度厚み積値に変換する変換部を備えた
    　請求項１から４の何れか１項に記載のガス濃度特徴量推定装置。
  6. 　前記ガス濃度特徴量は、ガス濃度厚み積である
    　請求項１に記載のガス濃度特徴量推定装置。
  7. 　前記ガス分布動画像は撮像装置により撮像された画像である
    　請求項１から６の何れか１項に記載のガス濃度特徴量推定装置。
  8. 　前記ガス分布動画像の教師データは、シミュレーションにより生成される
    　請求項１から７の何れか１項に記載のガス濃度特徴量推定装置。
  9. 　前記ガス分布動画像の教師データは、背景画像と光吸収率から生成される
    　請求項１から８の何れか１項に記載のガス濃度特徴量推定装置。
  10. 　前記時系列画素群検査データ又は前記時系列画素群教師データにおけるフレーム数は、各フレームにおける縦又は横の画素数よりも多い
    　請求項１から９の何れか１項に記載のガス濃度特徴量推定装置。
  11. 　前記時系列画素群検査データに対応する前記ガス濃度特徴量は、前記時系列画素群検査データのフレームごとに算出された値からなる数列である
    　請求項１から１０の何れか１項に記載のガス濃度特徴量推定装置。
  12. 　前記時系列画素群検査データに対応する前記ガス濃度特徴量は、前記時系列画素群検査データのフレームごとに算出された値の平均値である
    　請求項１から１１の何れか１項にガス濃度特徴量推定装置。
  13. 　前記撮像装置は赤外カメラである
    　請求項７に記載のガス濃度特徴量推定装置。
  14. 　空間中におけるガスの存在領域を表すガス分布動画像の検査データから領域抽出された、縦及び横の画素数がそれぞれ２以上であるガス分布動画像の時系列画素群検査データと、前記ガスの温度値とを取得し、
    　前記時系列画素群検査データと同一サイズのガス分布動画像の時系列画素群教師データと、前記時系列画素群教師データに対応するガス温度値及びガス濃度特徴量の値とを教師データとして機械学習された推論モデルを用いて、取得した前記時系列画素群検査データに対応する前記ガス濃度特徴量の推定値を算出する
    　ガス濃度特徴量推定方法。
  15. 　コンピュータにガス濃度特徴量推定処理を行わせるプログラムであって、
    　前記ガス濃度特徴量推定処理は、
    　空間中におけるガスの存在領域を表すガス分布動画像の検査データから領域抽出された、縦及び横の画素数がそれぞれ２以上であるガス分布動画像の時系列画素群検査データと、前記ガスの温度値とを取得し、
    　前記時系列画素群検査データと同一サイズのガス分布動画像の時系列画素群教師データと、前記時系列画素群教師データに対応するガス温度値及びガス濃度特徴量の値とを教師データとして機械学習された推論モデルを用いて、取得した前記時系列画素群検査データに対応する前記ガス濃度特徴量の推定値を算出する
    　プログラム。
  16. 　空間中におけるガスの存在領域を表す、縦及び横の画素数がそれぞれ２以上であるガス分布動画像の時系列画素群教師データと、前記時系列画素群教師データに対応するガス温度値及びガス濃度特徴量の値とを教師データとして取得する教師データ取得部と、
    　ガス分布動画像の検査データから領域抽出された前記時系列画素群教師データと同一サイズの時系列画素群検査データと、当該時系列画素群検査データに対応するガス温度値に対応する前記ガス濃度特徴量の推定値を、前記教師データに基づき算出する推論モデルを構築する機械学習部とを備えた
    　ガス濃度特徴量推論モデル生成装置。
PCT/JP2022/013879 2021-06-16 2022-03-24 ガス濃度特徴量推定装置、ガス濃度特徴量推定方法、プログラム、およびガス濃度特徴量推論モデル生成装置 WO2022264604A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023529589A JPWO2022264604A1 (ja) 2021-06-16 2022-03-24
EP22824600.5A EP4357746A1 (en) 2021-06-16 2022-03-24 Gas concentration feature quantity estimation device, gas concentration feature quantity estimation method, program, and gas concentration feature quantity inference model generation device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021100464 2021-06-16
JP2021-100464 2021-06-16

Publications (1)

Publication Number Publication Date
WO2022264604A1 true WO2022264604A1 (ja) 2022-12-22

Family

ID=84527044

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/013879 WO2022264604A1 (ja) 2021-06-16 2022-03-24 ガス濃度特徴量推定装置、ガス濃度特徴量推定方法、プログラム、およびガス濃度特徴量推論モデル生成装置

Country Status (3)

Country Link
EP (1) EP4357746A1 (ja)
JP (1) JPWO2022264604A1 (ja)
WO (1) WO2022264604A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH058093A (ja) 1991-02-18 1993-01-19 Sanki Kogyo Kk 空缶の圧縮処理方法
WO2017104607A1 (ja) * 2015-12-15 2017-06-22 コニカミノルタ株式会社 ガス濃度厚み積測定装置、ガス濃度厚み積測定方法、ガス濃度厚み積測定プログラム、及び、ガス濃度厚み積測定プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2017104617A1 (ja) 2015-12-15 2017-06-22 コニカミノルタ株式会社 ガス検知用画像処理装置、ガス検知用画像処理方法、ガス検知用画像処理プログラム、ガス検知用画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び、ガス検知システム
WO2017213075A1 (ja) * 2016-06-07 2017-12-14 コニカミノルタ株式会社 ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
JP2019074777A (ja) * 2017-10-12 2019-05-16 キヤノン株式会社 画像処理方法、画像処理装置、および撮像装置
US20190331301A1 (en) * 2016-12-30 2019-10-31 Du Yuchuan Method for leakage detection of underground pipeline corridor based on dynamic infrared thermal image processing
WO2020079920A1 (ja) * 2018-10-16 2020-04-23 千代田化工建設株式会社 流体漏洩検知システム、流体漏洩検知装置、及び学習装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH058093A (ja) 1991-02-18 1993-01-19 Sanki Kogyo Kk 空缶の圧縮処理方法
WO2017104607A1 (ja) * 2015-12-15 2017-06-22 コニカミノルタ株式会社 ガス濃度厚み積測定装置、ガス濃度厚み積測定方法、ガス濃度厚み積測定プログラム、及び、ガス濃度厚み積測定プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2017104617A1 (ja) 2015-12-15 2017-06-22 コニカミノルタ株式会社 ガス検知用画像処理装置、ガス検知用画像処理方法、ガス検知用画像処理プログラム、ガス検知用画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び、ガス検知システム
WO2017213075A1 (ja) * 2016-06-07 2017-12-14 コニカミノルタ株式会社 ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
US20190331301A1 (en) * 2016-12-30 2019-10-31 Du Yuchuan Method for leakage detection of underground pipeline corridor based on dynamic infrared thermal image processing
JP2019074777A (ja) * 2017-10-12 2019-05-16 キヤノン株式会社 画像処理方法、画像処理装置、および撮像装置
WO2020079920A1 (ja) * 2018-10-16 2020-04-23 千代田化工建設株式会社 流体漏洩検知システム、流体漏洩検知装置、及び学習装置

Also Published As

Publication number Publication date
JPWO2022264604A1 (ja) 2022-12-22
EP4357746A1 (en) 2024-04-24

Similar Documents

Publication Publication Date Title
EP3258445B1 (en) Augmented reality occlusion
US10497111B2 (en) Information processing apparatus and method of selecting viewpoint for measuring object, and measuring system
US8179393B2 (en) Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment
KR101604037B1 (ko) 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
An et al. Quantifying time-series of leaf morphology using 2D and 3D photogrammetry methods for high-throughput plant phenotyping
JP6239314B2 (ja) ハイパースペクトル画像のシミュレーション方法
den Bieman et al. Deep learning video analysis as measurement technique in physical models
CN107067470A (zh) 基于红外热像仪与深度相机的便携式三维温度场重建系统
Diaz et al. Analysis and evaluation between the first and the second generation of RGB-D sensors
CN108416805B (zh) 一种基于深度学习的本征图像分解方法及装置
Dufour et al. 3D surface measurements with isogeometric stereocorrelation—application to complex shapes
El Ghazouali et al. Optimised calibration of machine vision system for close range photogrammetry based on machine learning
JP2012141758A (ja) 三次元データ処理装置、方法及びプログラム
CN110225335A (zh) 相机稳定性评估方法及装置
WO2022264604A1 (ja) ガス濃度特徴量推定装置、ガス濃度特徴量推定方法、プログラム、およびガス濃度特徴量推論モデル生成装置
KR20190124625A (ko) 인공위성 센서와 지상관측망을 이용한 입자상 물질의 연직 분포 분석시스템, 분석장치, 및 분석방법
Son et al. High-quality as-is 3D thermal modeling in MEP systems using a deep convolutional network
CN104685542B (zh) 用于检测和表征水道系统的方法和系统
WO2021246210A1 (ja) 機械学習用データ生成装置、機械学習用データ生成方法、プログラム及び学習用データセット
KR101919958B1 (ko) 건축 구조물의 변형률 분포 시각화 장치 및 방법
US20230274443A1 (en) Gas migration estimation device, gas migration estimation method, estimation model generation device, estimation model generation method, and program
CN105046724B (zh) 差分像运动大气相干参数测试中的双像点质心提取方法
US20230351568A1 (en) Reflection-component-reduced image generating device, reflection component reduction inference model generating device, reflection-component-reduced image generating method, and program
Rangel et al. Gas leak inspection using thermal, visual and depth images and a depth-enhanced gas detection strategy
WO2023105856A1 (ja) ガス濃度測定装置、ガス濃度測定方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22824600

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023529589

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2022824600

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022824600

Country of ref document: EP

Effective date: 20240116