WO2021246185A1 - ガス移動推測装置、ガス移動推測方法、推測モデル生成装置、推測モデル生成方法、および、プログラム - Google Patents

ガス移動推測装置、ガス移動推測方法、推測モデル生成装置、推測モデル生成方法、および、プログラム Download PDF

Info

Publication number
WO2021246185A1
WO2021246185A1 PCT/JP2021/019125 JP2021019125W WO2021246185A1 WO 2021246185 A1 WO2021246185 A1 WO 2021246185A1 JP 2021019125 W JP2021019125 W JP 2021019125W WO 2021246185 A1 WO2021246185 A1 WO 2021246185A1
Authority
WO
WIPO (PCT)
Prior art keywords
gas
movement
image
perspective direction
gas distribution
Prior art date
Application number
PCT/JP2021/019125
Other languages
English (en)
French (fr)
Inventor
基広 浅野
隆史 森本
俊介 ▲高▼村
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to JP2022528733A priority Critical patent/JPWO2021246185A1/ja
Priority to US18/008,175 priority patent/US20230274443A1/en
Publication of WO2021246185A1 publication Critical patent/WO2021246185A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00—Investigating fluid-tightness of structures
    • G01M3/02—Investigating fluid-tightness of structures by using fluid or vacuum
    • G01M3/04—Investigating fluid-tightness of structures by using fluid or vacuum by detecting the presence of fluid at the leakage point
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00—Investigating fluid-tightness of structures
    • G01M3/38—Investigating fluid-tightness of structures by using light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Definitions

  • the present disclosure relates to a device, a system, a method, and a program for identifying the movement of the leaked gas in a method for detecting the leaked gas in the space using an image.
  • Gas plants, petrochemical plants, thermal power plants, steel-related facilities, etc. handle a large amount of gas during operation. In such facilities, the danger of gas leaks is recognized due to aging deterioration of the facilities and operational mistakes, and gas detection devices are installed to minimize gas leaks before a major accident occurs.
  • gas detection devices that utilize the fact that the electrical characteristics of the probe change when gas molecules come into contact with the detection probe, in recent years, gas visualization imaging devices that utilize infrared absorption by gas have been introduced.
  • a gas visualization imager electromagnetic waves mainly in the infrared region called blackbody radiation emitted from a background object with an absolute temperature of 0 K or higher are absorbed by the gas, or blackbody radiation is generated from the gas itself.
  • the presence of gas is detected by capturing changes in the amount of electromagnetic waves.
  • an aspect of the present disclosure is an estimation device and an estimation method capable of detecting whether or not gas is flowing in the perspective direction from the viewpoint even when gas monitoring is performed based only on an image from one viewpoint.
  • the purpose is to provide.
  • the gas movement estimation device is composed of a plurality of frames, and has an image input unit that accepts a gas distribution moving image in which the existence range of the gas leaked in the space is shown as a gas region, and a teacher gas. Using a guess model machine-learned using the combination of the distribution video and the gas movement state in the perspective direction in the teacher gas distribution video as teacher data, the perspective direction corresponding to the gas distribution video received by the image acquisition unit. It is provided with a gas movement estimation unit that estimates the movement state of the gas.
  • the moving state of the gas in the perspective direction is estimated based on the characteristics of the gas region of the gas distribution movie. Therefore, by properly designing the teacher data, it is possible to identify whether the gas is approaching or moving away from the imaging position.
  • FIG. It is a functional block diagram of the gas detection system 100 which concerns on Embodiment 1.
  • FIG. It is a schematic diagram which shows the relationship between a monitoring object 300 and an image generation part 10. It is a schematic diagram which shows the outline of the logical structure of a machine learning model. It is a schematic diagram which shows the process of generating a gas distribution moving image from a captured image. It is a bird's-eye view schematic diagram explaining the relationship between the time-varying tendency of the gas region and the flow velocity of gas in the perspective direction in the gas distribution moving image. It is a bird's-eye view schematic diagram explaining the relationship between the moving speed of gas in space, the correct answer of teacher data, and the flow velocity of gas which is the output of the learning model.
  • the probability distribution of the gas velocity is shown, (a) shows the probability distribution with respect to the velocity value, and (b) shows the probability distribution when the velocity is a relative value with respect to a pixel size.
  • FIG. It is a functional block diagram which shows the structure of the gas detection system 200 which concerns on Embodiment 2.
  • Embodiment 1 the gas detection system 100 according to the first embodiment will be described with reference to the drawings.
  • FIG. 1 is a functional block diagram of the gas detection system 100 according to the first embodiment.
  • the gas detection system 100 includes an image generation unit 10 for capturing an image of a monitored object, a gas detection device 20 for detecting gas based on an image acquired by the image generation unit 10, and a display unit 24.
  • the image generation unit 10 and the display unit 24 are configured to be connectable to the gas detection device 20, respectively.
  • the image generation unit 10 is a device or system that captures an image of a monitored object and provides an image to the gas detection device 20.
  • the image generation unit 10 is a so-called infrared camera that detects and images infrared light having a wavelength of 3.2 to 3.4 ⁇ m, and is a hydrocarbon such as methane, ethane, ethylene, and propylene. It is possible to detect system gas.
  • the image generation unit 10 is not limited to this, and may be an image pickup device capable of detecting the gas to be monitored.
  • the monitoring target is a gas that can be detected by visible light such as white smoked water vapor, it is general. It may be a visible light camera.
  • the gas refers to a gas leaked from a closed space such as a pipe or a tank, and is not intentionally diffused into the atmosphere.
  • the image generation unit 10 is installed so that the monitoring target 300 is included in the field of view range 310 of the image generation unit 10.
  • the image generation unit 10 outputs the captured image as a video signal to the gas detection device 20.
  • the video signal is, for example, a signal for transmitting an image of 30 frames per second.
  • the gas detection device 20 is a device that acquires an image of a monitored object from the image generation unit 10, detects a gas region based on the image, and notifies the user of the gas detection through the display unit 24.
  • the gas detection device 20 is, for example, a general CPU (Central Processing Unit) and RAM. And, it is realized as a computer equipped with a program executed by these.
  • the gas detection device 20 may further include a GPU (Graphics Processing Unit) and a RAM as arithmetic units. As shown in FIG.
  • the gas detection device 20 includes an image acquisition unit 201, a gas region moving image extraction unit 211, a gas region moving image acquisition unit 212, a perspective speed acquisition unit 213, a machine learning unit 2141, and a learning model holding unit 2142.
  • a determination result output unit 215 is provided.
  • the gas region moving image extraction unit 211 has the function of the image acquisition unit of the present disclosure.
  • the machine learning unit 2141 and the learning model holding unit 2142 form a perspective speed estimation unit 214.
  • the gas region moving image extraction unit 211 and the perspective velocity estimation unit 214 constitute the gas velocity estimation device 21.
  • the image acquisition unit 201 is an acquisition unit that acquires a moving image of a monitored object from the image generation unit 10.
  • the image acquisition unit 201 acquires a video signal from the image generation unit 10, restores the video signal to an image, and outputs the video signal to the gas region moving image extraction unit 211 as a moving image composed of a plurality of frames.
  • the image is an infrared photograph of the monitored object, and has the intensity of infrared rays as a pixel value.
  • the gas region moving image extraction unit 211 is an image processing unit that performs gas detection processing on the moving image output by the image acquisition unit 201 to generate a gas distribution moving image including the gas region.
  • a known method can be used for the gas detection process. Specifically, for example, the method described in International Publication No. 2017/073440 (Patent Document 1) can be used. Then, a gas distribution moving image as a moving image obtained by cutting out a region including a gas region from each frame of the moving image is generated. Specifically, when the gas leaked from the equipment is imaged by the image generation unit 10, the gas region 310 corresponding to the gas is imaged as shown in the frame example 301 of FIG. 4A. Here, the image 300 of the equipment is not drawn on the image.
  • the gas distribution moving image is composed of a plurality of frames 302-n acquired in time series.
  • the gas region moving image extraction unit 211 may perform processing such as gain adjustment after cutting out a region including the gas region from each frame of the moving image.
  • a specific frequency component may be extracted by the method described in Patent Document 1. This process can remove high frequency noise and low frequency noise such as overall temperature changes in space.
  • each frame constituting the gas distribution moving image is extracted from the same coordinate range in each frame of the original moving image at the same scale so that the spatial position indicated by the pixel is the same. That is, the temporal and spatial changes in the size of the gas cloud are captured as changes in the angle of view due to it, and are reflected as changes in the size of the gas region. Therefore, as shown in the bird's-eye view schematic diagram of FIG. 5A, when the gas cloud is flowing away from the image generation unit 10, when the gas cloud at position 511 moves to position 512, position 512 is positioned.
  • the image 522 of the gas cloud at position 512 is smaller than the image 521 of the gas cloud at position 511 if the size of the gas cloud does not change. Even if the image is reflected and the gas cloud spreads, the expansion width becomes small. On the other hand, since the total amount of gas contained in the gas cloud has not changed significantly, the concentration of the gas cloud is the same or decreases in inverse proportion to the area of the gas cloud, but the degree is small. On the other hand, as shown in the bird's-eye view schematic diagram of FIG.
  • the number of pixels of the gas distribution moving image is 224 ⁇ 224 pixels
  • the frame rate is 5 frames per second
  • the number of frames is 16.
  • the gas region moving image acquisition unit 212 is a gas distribution moving image having the same format as the gas distribution moving image generated by the gas area moving image extraction unit 211, and has a scale of an image and a perspective direction of the gas as a subject when viewed from an imaging viewpoint. It is an acquisition unit that acquires an image in which the flow velocity (component) of is known. Here, the flow velocity (component) of the gas can be calculated using, for example, the wind speed and the wind direction at the time of imaging. If the acquired image is not in the same format as the gas distribution moving image generated by the gas region moving image extraction unit 211, the gas region moving image acquisition unit 212 performs processing such as cutting out and gain adjustment so as to have the same format. May be done.
  • the flow velocity (component) of the gas can be calculated using, for example, the wind speed and the wind direction at the time of imaging.
  • the perspective velocity acquisition unit 213 is an acquisition unit that acquires the flow velocity component of the gas in the perspective direction when viewed from the imaging viewpoint, which corresponds to the gas region of the gas distribution moving image acquired by the gas region moving image acquisition unit 212.
  • the flow velocity component of the gas is specified as a relative value with respect to the flow velocity component of the gas in the direction orthogonal to the perspective direction (direction in which the viewing angle changes, direction of the viewing angle).
  • the direction orthogonal to the perspective direction corresponds to the X direction, the Y direction, or the combined direction of the gas distribution moving image, and the direction from the imaging viewpoint does not change.
  • the flow velocity component of the gas in the direction orthogonal to the perspective direction may be shown as a relative value with respect to the image size and the number of pixels of the gas distribution moving image.
  • the number of pixels (number of pixels) is used as a unit.
  • a flow velocity of 3 m / s in the perspective direction is a flow velocity of 30 pixels / s. Designated as s. More specifically, when the gas is moving away, as shown in the bird's-eye view schematic diagram of FIG.
  • the angle ⁇ and the wind speed f formed by the optical axis 500 of the image generation unit 10 and the wind direction are used.
  • the value of the velocity component f ⁇ cos ⁇ along the optical axis 500 is calculated.
  • the flow velocity of the gas in the perspective direction is 188.3 pixels / s.
  • the gas is approaching, as shown in the bird's-eye view schematic diagram of FIG. 6B, first, light is used by using the angle ⁇ and the wind speed f formed by the optical axis 500 of the image generation unit 10 and the wind direction. The value of the velocity component ⁇ f ⁇ cos ⁇ along the axis 500 is calculated.
  • the reason why a negative number is used is that the flow velocity is a one-dimensional vector, the direction of moving away is positive, and the direction of approaching is negative.
  • 1 m in the vicinity of the gas cloud 515 corresponds to how many pixels of the gas distribution moving image. This is used to calculate how many pixels per second the velocity component f ⁇ cos ⁇ along the optical axis 500 corresponds to.
  • the movement in pixel units in the image is inversely proportional to the distance between the camera and the gas cloud.
  • the movement in pixel units in the image is inversely proportional to the distance between the camera and the gas cloud.
  • the motion vector in the gas distribution moving image is shown in the unit of fix / s, it is inversely proportional to the subject distance.
  • the ratio of the absolute value of the velocity in the direction in which the direction of the gas cloud changes from the imaging viewpoint to the absolute value of the velocity in the perspective direction is the distance between the camera and the gas cloud and the wide angle of view of the camera itself. It does not depend on the image resolution.
  • the flow velocity of the gas in the perspective direction is converted into pixel units to obtain the relative relationship between the perspective component and the other components with respect to the movement of the gas corresponding to the gas region in the gas distribution moving image. Learn and use.
  • the machine learning unit 2141 is based on a combination of the gas distribution video received by the gas region video acquisition unit 212 and the flow velocity of the gas corresponding to the gas region of the gas distribution video received by the perspective speed acquisition unit 213. It is a learning model generation unit that executes machine learning and generates a machine learning model.
  • the machine learning model determines the flow velocity of the gas in the perspective direction based on the combination of the features of the gas distribution video, such as the time change of the outer peripheral shape of the gas region and the time change of the gas shading distribution, and the pixel size of the gas distribution video. It is formed as expected as a relative ratio to.
  • a convolutional neural network (CNN) can be used, and known software such as PyTorch can be used.
  • CNN convolutional neural network
  • the machine learning model includes an input layer 410, an intermediate layer 420-1, an intermediate layer 420-2, ..., An intermediate layer 420-n, and an output layer 430, and the interlayer filter is optimized by learning. For example, when the number of pixels of the gas distribution moving image is 224 ⁇ 224 pixels and the number of frames is 16, the input layer 410 accepts a 224 ⁇ 224 ⁇ 16 three-dimensional tensor in which the pixel value of the gas distribution moving image is input.
  • the intermediate layer 420-1 is, for example, a convolution layer, and receives a 224 ⁇ 224 ⁇ 16 three-dimensional tensor generated by a convolution operation from the data of the input layer 410.
  • the intermediate layer 420-2 is, for example, a pooling layer, and accepts a three-dimensional tensor obtained by resizing the data of the intermediate layer 420-1.
  • the intermediate layer 420-n is, for example, a fully connected layer, and the data of the intermediate layer 420- (n-1) is converted into a one-dimensional vector whose velocity value is an absolute value and whose direction is a sign.
  • the configuration of the intermediate layer is an example, and the number n of the intermediate layers is about 3 to 5, but the number n is not limited to this. Further, although the number of neurons in each layer is drawn as the same in FIG. 3, each layer may have an arbitrary number of neurons.
  • the machine learning unit 2141 receives a moving image as a gas distribution moving image as an input, performs learning with the gas flow velocity in the perspective direction as the correct answer, generates a machine learning model, and outputs it to the learning model holding unit 2142.
  • the machine learning unit 2141 may be realized by the GPU and software when the gas detection device 20 includes a GPU and a RAM as arithmetic units.
  • the learning model holding unit 2142 holds the machine learning model generated by the machine learning unit 2141, and the perspective of the gas corresponding to the gas region of the gas distribution moving image generated by the gas region moving image extraction unit 211 using the machine learning model. It is a learning model operation unit that outputs the flow velocity of gas in the direction. The gas flow velocity in the perspective direction is specified and output as a relative value to the pixel size of the input gas distribution moving image.
  • the determination result output unit 215 converts the flow velocity of the gas in the perspective direction output by the learning model holding unit 2142 into a velocity in space, superimposes it on the moving image acquired by the image acquisition unit 201, and displays it on the display unit 24. It is an image display unit that generates an image for the purpose.
  • the conversion from the velocity of gas in the perspective direction to the velocity in space uses the relationship between the distance between the image generation unit 10 and the gas cloud and the angle of view and the number of pixels in the image generation unit 10, and the gas in the gas distribution movie. It is performed by calculating the conversion coefficient of how many meters one pixel of the region corresponds to in the gas cloud in space, and integrating the conversion coefficient with the flow velocity of the gas in the perspective direction output by the learning model holding unit 2142.
  • the display unit 24 is a display device such as a liquid crystal display or an organic EL display.
  • FIG. 7 is a flowchart showing the operation of the gas detection device 20 in the learning phase.
  • a combination of the gas distribution video and the gas flow velocity in the perspective direction is created (step S110).
  • the moving image of the gas distribution an image in which the flow velocity of the gas in the perspective direction is known can be used.
  • the gas flow velocity is a relative value using the scale in the gas region in the gas distribution moving image.
  • FIG. 8A is a combination of one frame in the gas distribution moving image and the flow velocity of the gas in the perspective direction, which is the correct answer data, and shows the case where the gas approaches.
  • FIG. 8B is a combination of one frame in the gas distribution moving image and the flow velocity of the gas in the perspective direction, which is the correct answer data, and shows the case where the gas moves away.
  • FIG. 9A shows a combination of one frame in the gas distribution video when only a specific frequency component is extracted as a gas distribution video and the flow velocity of the gas in the perspective direction, which is the correct answer data, and shows the case where the gas approaches. Shows.
  • FIG. 9B shows a combination of one frame in the gas distribution video when only a specific frequency component is extracted as a gas distribution video and the flow velocity of the gas in the perspective direction, which is the correct answer data, and shows the case where the gas moves away. Shows.
  • high-frequency noise and low-frequency noise such as overall temperature changes in space can be removed by extracting only specific frequency components. Therefore, high-frequency noise and low-frequency noise are erroneously used as feature quantities in the learning phase. In addition to suppressing learning, it is possible to prevent high-frequency noise and low-frequency noise from affecting other feature quantities and reducing estimation accuracy even in the operation phase described later.
  • step S120 the combination of the gas distribution video and the gas flow velocity in the perspective direction is input to the gas detection device 20 (step S120).
  • the gas distribution moving image is input to the gas region moving image acquisition unit 212, and the corresponding flow velocity of the gas in the perspective direction is input to the perspective direction velocity acquisition unit 213.
  • step S130 input data to the convolutional neural network and execute machine learning (step S130).
  • the parameters are optimized by trial and error by deep learning, and a machine-learned model is formed.
  • the formed machine-learned model is held in the learning model holding unit 2142.
  • FIG. 10 is a flowchart showing the operation of the gas detection device 20 in the learning phase.
  • the gas region is detected from each frame of the captured image, and the gas distribution moving image including the gas region and its surroundings is cut out (step S210).
  • the detection of the gas region is performed by a known method based on the time-series change of the brightness in the captured image, its frequency, and the like. Then, a part of each frame of the captured image is cut out so as to include all the pixels in which gas is detected, and a gas distribution moving image is generated using each as a frame.
  • the moving image in which only the specific frequency component is extracted is used as the gas distribution moving image in the teacher data, similarly, only the specific frequency component is extracted and used as the gas distribution moving image.
  • the flow velocity of the gas in the perspective direction is estimated from the gas distribution movie using the trained model (step S220).
  • the gas flow velocity in the perspective direction of the gas with respect to the gas region of the gas distribution moving image is estimated as a relative value with respect to the pixel in the gas region of the gas distribution moving image. Since the learning model holding unit 2142 estimates the flow velocity of the gas in the perspective direction as a relative value to the pixels in the gas region of the gas distribution moving image, the determination result output unit 215 is the gas in the perspective direction output by the learning model holding unit 2142.
  • Converts the flow velocity of The conversion from the velocity of gas in the perspective direction to the velocity in space uses the relationship between the distance between the image generation unit 10 and the gas cloud and the angle of view and the number of pixels in the image generation unit 10, and the gas in the gas distribution movie. It is performed by calculating the conversion coefficient of how many meters one pixel of the region corresponds to in the gas cloud in the space, and integrating the conversion coefficient with the flow velocity of the gas in the perspective direction output by the learning model holding unit 2142. Then, the calculated information indicating the flow velocity and direction of the gas is superimposed on the moving image acquired by the image acquisition unit 201 and output to the display unit 24.
  • a display mode for example, as shown in the output image examples of FIGS. 11A and 11B, along with the absolute value of the velocity, whether the flow direction is the front side or the back side may be indicated by the direction of the arrow. At this time, the color and shape of the arrow may be changed depending on whether the flow direction is the front side or the back side. Further, as shown in FIG. 12A, when the flow velocity of the gas in the perspective direction is 0 or extremely small, the arrow in either direction may not be displayed.
  • the display mode may be different depending on the magnitude of the speed.
  • the arrow may be displayed so that the larger the absolute value of the velocity, the longer the arrow.
  • the display may be performed so that the larger the absolute value of the velocity, the higher the saturation of the arrow.
  • the arrows are displayed in a two-color gradation, and the larger the absolute value of the speed, the higher the saturation of one color. May be good.
  • FIG. 15A if the absolute value of the velocity is 0 or extremely small, it may be displayed in one color.
  • the velocity in the perspective direction of the gas corresponding to the gas region of the gas distribution moving image is a one-dimensional vector including an absolute value and a direction.
  • the gas velocity in the perspective direction may be a probability distribution indicating the probability of being the gas velocity.
  • FIG. 16A shows the probability distribution of the gas velocity output by the determination result output unit 215.
  • the horizontal axis shows the gas velocity value
  • the vertical axis shows the probability that the gas velocity in the perspective direction is the value shown in the horizontal axis as a relative value.
  • FIG. 16B such data is a probability distribution in which the gas velocity value shown in pixel units on the horizontal axis and the gas velocity in the perspective direction on the vertical axis are the values shown on the horizontal axis. It can be formed by converting the coordinates of the horizontal axis and the vertical axis of.
  • the determination result output unit 215 creates a normal distribution with the velocity as the median with respect to the flow velocity of the gas in the perspective direction output by the learning model holding unit 2142.
  • the machine learning model may use the probability distribution of the gas velocity as the flow velocity of the gas in the perspective direction.
  • the perspective velocity acquisition unit 213 acquires the probability distribution of the gas velocity as the gas flow velocity in the perspective direction of the gas corresponding to the gas region of the gas distribution moving image acquired by the gas region moving image acquisition unit 212.
  • the intermediate layer 420-n of the machine learning model stores, for example, the data of the intermediate layer 420- (n-1) as one line of data, which is a combination of the velocity value and the probability that the value is the gas velocity. Designed as a fully connected layer that transforms into a matrix of rows.
  • the learning model holding unit 2142 outputs a probability distribution that is a combination of the gas velocity in the perspective direction and the probability that the gas velocity in the perspective direction is the gas velocity for the gas distribution moving image.
  • FIG. 17 is a functional block diagram of the gas detection system 101 according to the second modification.
  • the gas detection system 101 includes an image generation unit 10 for capturing an image of a monitored object, a gas detection device 41 for detecting gas based on an image acquired by the image generation unit 10, and a learning data creation device. It has 30 and a display unit 24.
  • the image generation unit 10, the display unit 24, and the learning data creation device 30 are configured to be connectable to the gas detection device 41, respectively.
  • the gas detection device 41 is a device that acquires a moving image of a monitored object from the image generation unit 10, detects a gas region based on the moving image, and notifies the user of the gas detection through the display unit 24.
  • the gas detection device 41 is realized as, for example, a computer including a general CPU and RAM, and a program executed by these.
  • the gas detection device 41 includes an image acquisition unit 201, a gas region moving image extraction unit 211, a learning model holding unit 2142, and a determination result output unit 215.
  • the learning model holding unit 2142 constitutes the perspective direction velocity estimation unit 224. Further, the gas region moving image extraction unit 211 and the perspective speed estimation unit 224 constitute the gas speed estimation device 26.
  • the learning data creation device 30 is realized as, for example, a computer including a general CPU, a GPU, a RAM, and a program executed by these.
  • the learning data creating device 30 includes a gas region moving image acquisition unit 212, a perspective direction velocity acquisition unit 213, and a machine learning unit 2141.
  • the gas detection device 41 only performs the operation mode operation of the gas detection device 20 according to the first embodiment. Further, the learning data creating device 30 carries out only the learning mode operation of the gas detecting device 20 according to the first embodiment.
  • the gas detection device 41 and the learning data creation device 30 are connected by, for example, a LAN, and the learned model formed by the learning data creation device 30 is stored in the learning model holding unit 2142 of the gas detection device 41.
  • the storage of the trained model in the training model holding unit 2142 is not limited to duplication by the network, and may be performed using, for example, a removable medium, an optical disk, a ROM, or the like.
  • ⁇ Summary> in a gas detection device that detects gas using an image, if the gas cloud is imaged as a moving image, it is possible to estimate whether the gas is approaching or moving away from the image pickup device. Also, since machine learning and gas perspective velocity estimation are performed on different hardware, the gas detector does not need to have resources for machine learning. Therefore, the gas detection device only needs to have the resources for operating the trained model, and can be realized by using a simple device such as a notebook computer, a smartphone, or a tablet. Further, since it is possible to operate the trained model constructed by machine learning using one learning data creation device 30 with a plurality of gas detection devices 41, it is possible to easily manufacture the gas detection device 41. It will be possible.
  • Embodiment 2 >> In the first embodiment and each modification, a case where only the moving speed of the gas in the perspective direction is estimated has been described. However, the moving speed in the direction in which the direction of the gas changes from the imaging viewpoint may be further estimated, and the moving direction of the gas and its speed may be estimated three-dimensionally.
  • the gas detection system 200 is further characterized in that it estimates the moving speed in the direction in which the direction of the gas changes from the imaging viewpoint, and three-dimensionally estimates the moving direction of the gas and its speed. And.
  • FIG. 18 is a functional block diagram showing the configuration of the gas detection system 200 according to the second embodiment.
  • the gas detection device 42 of the gas detection system 200 includes a gas speed estimation device 27 further including a screen direction speed estimation unit 271 and a speed synthesis unit 272, and a determination result output unit 275. It is characterized in that it is provided in place of the estimation device 21 and the determination result output unit 215.
  • the screen direction velocity estimation unit 271 calculates the motion vector of the gas region in the screen from the gas distribution moving image generated by the gas region moving image extraction unit 211, and the direction in which the direction of the gas from the imaging viewpoint changes (orthogonal to the perspective direction).
  • (Direction) is identified as the moving speed and direction of the gas. Specifically, for example, pattern matching is performed between two frames constituting a gas distribution moving image, and the arithmetic mean of the detected movement vectors is taken to output as a two-dimensional vector. For example, if the moving speed in the x direction (horizontal direction) is 180pixel / s and the moving speed in the y direction (vertical direction) is 0pixel / s, (180,0) is output as the moving speed.
  • the speed synthesis unit 272 includes the gas movement speed and direction estimated by the screen direction speed estimation unit 271 in the direction in which the direction changes from the imaging viewpoint, and the gas movement speed and direction in the perspective direction estimated by the learning model holding unit 2142. From the direction, the three-dimensional gas movement direction and its velocity are estimated.
  • the gas movement vector estimated by the screen direction velocity estimation unit 271 in the direction in which the direction changes from the imaging viewpoint is (v x , v y ) [pixel / s], and the gas in the perspective direction estimated by the learning model holding unit 2142.
  • the absolute value v of the three-dimensional gas moving speed is expressed by the following equation.
  • Speed synthesis unit 272 outputs the moving speed v z in absolute value v and the gas in the direction of access of the moving speed of the calculated three-dimensional gas to the determination result output unit 275.
  • the determination result output unit 275 converts the three-dimensional gas flow velocity output by the velocity synthesis unit 272 into a velocity in space, superimposes it on the moving image acquired by the image acquisition unit 201, and displays it on the display unit 24. Generate an image to do.
  • the conversion from the three-dimensional gas flow velocity v to the velocity in space uses the relationship between the distance between the image generation unit 10 and the gas cloud, the angle of view and the number of pixels in the image generation unit 10, and the gas distribution moving image. Calculate the conversion coefficient of how many meters one pixel of the gas region corresponds to in the gas cloud in space, and integrate the conversion coefficient into the three-dimensional gas velocity v output by the learning model holding unit 2142. It is done in.
  • the display mode for example, the absolute value v of the velocity, the absolute value of the moving velocity v z of the gas in the direction of access, indicating the flow direction is indicated by an arrow direction.
  • the color and shape of the arrow may be changed depending on whether the flow direction in the perspective direction is the front side or the back side.
  • the display mode may be different depending on the magnitude of the speed.
  • the display may be performed so that the arrow becomes longer as the absolute value of the velocity becomes larger.
  • the display may be performed so that the larger the absolute value of the velocity, the higher the saturation of the arrow.
  • the arrow may be displayed in a gradation of two colors, and the display may be performed so that the larger the absolute value of the speed, the higher the saturation of one color.
  • Output image example of FIG. 19 (a) illustrates as displayed in 2-color gradient arrows, as one of the color saturation is greater absolute value of the distance direction of the velocity v z is increased.
  • the absolute value of the distance direction of the velocity v z is 0 or very small displays in one color, it may be.
  • the flow velocity of the gas is output as a value, but it may be output as a probability distribution of the velocity as in the modified example 1.
  • the three-dimensional velocity can be calculated as the probability distribution by calculating the velocity in the perspective direction as the probability distribution and then combining it with the velocity in the direction in which the direction of the gas changes from the imaging viewpoint.
  • both machine learning and speed estimation in the perspective direction are performed by one gas detection device.
  • the machine learning is a learning model generation device.
  • the gas velocity estimation device may only estimate the velocity in the perspective direction.
  • the absolute value of the gas velocity in the perspective direction is displayed on the display unit, but the present invention is not limited to this, and only the presence / absence of gas movement in the perspective direction is displayed. May be.
  • the direction in which the gas flows when the camera or the leakage source is viewed from above may be displayed. Such a display is performed by calculating the direction of gas flow from the gas velocity v x in the horizontal direction and the gas velocity v z in the perspective direction while the direction of the gas changes from the imaging viewpoint. Can be done.
  • the captured image is an infrared image having a wavelength of 3.2 to 3.4 ⁇ m, but the image is not limited to this, as long as the presence of gas to be detected can be confirmed. Any image such as an infrared image, a visible image, and an ultraviolet image in another wavelength range may be used. Further, the method for detecting the gas region is not limited to the above-mentioned one, and may be any processing capable of detecting the gas region.
  • the gas to be detected and the gas corresponding to the image shown in the captured image do not have to be the same.
  • 1 An image of a type of gas may be used and treated as an image of another gas.
  • the image of the water vapor is treated as the image of the gas to be detected by using the image having the image of the water vapor as the gas region. You may.
  • a gas distribution moving image in which the flow velocity of the gas in the perspective direction is known is used as the teacher data.
  • the teacher data is not limited to this, and for example, a gas distribution moving image may be created by simulation. More specifically, for example, modeling is performed to lay out a structure in a three-dimensional space based on the three-dimensional voxel data of the equipment. Next, conditions such as the type of gas, flow rate, wind speed, wind direction, shape of gas leak source, diameter, and position are determined, and a three-dimensional fluid simulation is performed to calculate the gas distribution state. A viewpoint is set in space for the three-dimensional model formed in this way, and a two-dimensional image from the viewpoint is generated as a gas distribution image.
  • the gas concentration thickness product is calculated for the gas existing from the viewpoint to the surface of the equipment.
  • the light intensity for each pixel is calculated with, and the pixel value is calculated.
  • teacher data can be created by pairing the perspective component of the wind speed at the time of simulation as the correct answer.
  • the gas velocity estimation device may be a device using an FPGA (Field Programmable Gate Array) or an ASIC (Application Specific Integrated Circuit) as a processor.
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • a system LSI is a super-multifunctional LSI manufactured by integrating a plurality of components on one chip, and specifically, is a computer system including a microprocessor, ROM, RAM, and the like. .. These may be individually integrated into one chip, or may be integrated into one chip so as to include a part or all of them.
  • the LSI may be referred to as an IC, a system LSI, a super LSI, or an ultra LSI depending on the degree of integration.
  • a computer program that achieves the same operation as each of the above devices is stored in the RAM.
  • the system LSI achieves its function.
  • the present invention also includes a case where the gas velocity estimation method of the present invention is stored as an LSI program, and the LSI is inserted into a computer to execute a predetermined program.
  • the method of making an integrated circuit is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. After manufacturing the LSI, an FPGA that can be programmed or a reconfigurable processor that can reconfigure the connection and settings of the circuit cells inside the LSI may be used.
  • the division of functional blocks in the block diagram is an example, and multiple functional blocks can be realized as one functional block, one functional block can be divided into multiple, and some functions can be transferred to other functional blocks. You may. Further, the functions of a plurality of functional blocks having similar functions may be processed by a single hardware or software in parallel or in a time division manner.
  • the order in which the above steps are executed is for exemplifying in order to specifically explain the present invention, and may be an order other than the above. Further, a part of the above steps may be executed simultaneously with other steps (parallel).
  • the present invention also includes various modifications in which modifications within the range that can be conceived by those skilled in the art are made to the present embodiment.
  • the gas movement estimation device includes an image input unit which is composed of a plurality of frames and accepts a gas distribution moving image in which the existence range of gas leaked in the space is shown as a gas region.
  • an image input unit which is composed of a plurality of frames and accepts a gas distribution moving image in which the existence range of gas leaked in the space is shown as a gas region.
  • the gas distribution video accepted by the image acquisition unit using a machine-learned guess model using the combination of the gas distribution video for teachers and the gas movement state in the perspective direction in the gas distribution video for teachers as teacher data. It is provided with a gas movement estimation unit that estimates the movement state of gas in the perspective direction.
  • the gas movement estimation method is composed of a plurality of frames, and accepts a gas distribution video in which the existence range of the gas leaked in the space is shown as a gas region as an input, and a gas distribution video for teachers.
  • a machine-learned guessing model using the combination of the gas movement state in the perspective direction in the teacher gas distribution video as teacher data, the gas movement state in the perspective direction corresponding to the received gas distribution video can be obtained. Infer.
  • the program according to one aspect of the present disclosure is a program for causing a computer to perform a gas movement estimation process, and the gas movement estimation process is composed of a plurality of frames, and the existence range of the gas leaked in the space is a gas region.
  • the gas distribution video shown as is accepted as an input, and the combination of the teacher gas distribution video and the gas movement state in the perspective direction in the teacher gas distribution video is used as the teacher data by using a machine-learned guessing model.
  • the moving state of the gas in the perspective direction corresponding to the received gas distribution moving image is estimated.
  • the gas movement state in the perspective direction is estimated based on the characteristics of the gas region of the gas distribution movie. Therefore, by properly designing the teacher data, it is possible to identify whether the gas is approaching or moving away from the imaging position.
  • the gas movement estimation unit determines the movement speed of the gas in the perspective direction as the movement state of the gas in the perspective direction in the teacher data with respect to the movement speed in the viewing angle direction.
  • the relative perspective velocity indicated by the relative value may be used.
  • the gas movement state in the perspective direction can be inferred.
  • the gas movement estimation unit determines that the gas movement state in the perspective direction is the gas movement speed in the perspective direction in the gas distribution moving image received by the image input unit. May be output.
  • the velocity of the gas can be obtained in the direction toward the gas from the imaging viewpoint, so it is possible to examine in more detail whether or not a person can approach while avoiding the gas.
  • the gas movement estimation unit determines the gas movement state in the perspective direction, and the gas movement speed in the perspective direction in the gas distribution moving image received by the image input unit. It may be possible to output the probability distribution of.
  • the image input unit includes an image pickup means for detecting infrared light
  • the gas region is a gas that absorbs infrared light or water vapor. It may be an image.
  • one aspect of the present disclosure can be applied to a gas that can be detected using infrared light or a gas whose existence can be estimated using the existence range of the gas.
  • the image input unit includes an image pickup means for detecting visible light, and the gas region is an image of a gas that absorbs visible light or water vapor. There may be.
  • one aspect of the present disclosure can be applied to a gas that can be detected using visible light or a gas whose existence can be estimated using the existence range of the gas.
  • the image input unit may accept a gas distribution moving image in which a specific frequency component is extracted from a moving image of a space as an input.
  • the gas movement estimation device further includes an image display unit that superimposes and displays the gas movement state in the perspective direction on the gas distribution moving image received by the image input unit. May be good.
  • the image display unit may display at least one of the presence / absence, movement direction, and movement speed of gas in the perspective direction in color. ..
  • the equipment manager etc. can easily grasp the moving state of the gas based on the color, and the usability is improved.
  • the image display unit displays at least one of the presence / absence of gas movement in the perspective direction, the movement direction, and the movement speed by the length of a line or an arrow. May be done.
  • the equipment manager or the like can easily grasp the presence or absence of gas movement, the movement direction, the movement speed, etc., and usability is improved.
  • the gas movement estimation device estimates the gas movement state in the viewing angle direction in the gas distribution moving image received by the image input unit, and the gas movement state in the viewing angle direction and the perspective.
  • a three-dimensional flow estimation unit that estimates the gas movement state as three-dimensional information from the movement state of the gas in the direction may be further provided, and the image display unit may display the gas movement state as three-dimensional information. ..
  • the estimation model generation device includes an image input unit which is composed of a plurality of frames and accepts a gas distribution moving image in which the existence range of the gas leaked in the space is shown as a gas region as an input.
  • Machine learning is performed using the speed input unit that accepts the gas movement state in the perspective direction in the gas distribution video as input, the combination of the gas distribution video and the gas movement state in the perspective direction as teacher data, and the gas distribution video. It is provided with a machine learning unit that generates an estimation model that outputs the movement state of gas in the perspective direction by inputting.
  • the method for generating a guess model is composed of a plurality of frames, and accepts a gas distribution moving image in which the existence range of the gas leaked in the space is shown as a gas region as an input, and receives the above-mentioned gas distribution moving image. Accepts the gas movement state in the perspective direction as an input, machine-learns the combination of the gas distribution video and the gas movement state in the perspective direction as teacher data, and uses the gas distribution video as an input to move the gas in the perspective direction. Generate a guess model that outputs the state.
  • the program according to one aspect of the present disclosure is a program that causes a computer to perform a guess model generation process, and the guess model generation process is composed of a plurality of frames, and the existence range of the gas leaked into the space is a gas region.
  • the gas distribution video shown as is accepted as an input, the gas movement state in the perspective direction in the gas distribution video is accepted as an input, and the combination of the gas distribution video and the gas movement state in the perspective direction is taught.
  • Machine learning is performed as data, and a guess model is generated that outputs the gas movement state in the perspective direction by inputting a gas distribution movie.
  • the movement state of the gas in the perspective direction is estimated based on the characteristics of the gas region of the gas distribution movie. Therefore, by properly designing the teacher data, it is possible to generate a guess model that identifies whether the gas is approaching or moving away from the imaging position.
  • the gas movement estimation device includes an image input unit which is composed of a plurality of frames and accepts a gas distribution moving image in which the existence range of gas leaked in the space is shown as a gas region.
  • an image input unit which is composed of a plurality of frames and accepts a gas distribution moving image in which the existence range of gas leaked in the space is shown as a gas region.
  • the machine learning unit that generates an estimation model by machine learning the combination of the teacher gas distribution video and the gas movement state in the perspective direction in the teacher gas distribution video as teacher data, and the estimation model, the above It is provided with a gas movement estimation unit that estimates the gas movement state in the perspective direction corresponding to the gas distribution moving image received by the image acquisition unit.
  • the gas movement estimation method is composed of a plurality of frames, and accepts a gas distribution video in which the existence range of the gas leaked in the space is shown as a gas region as an input, and a gas distribution video for teachers. And the combination with the gas movement state in the perspective direction in the teacher gas distribution movie is machine-learned as teacher data to generate a guess model, and the guess model is used to correspond to the received gas distribution movie. Guess the moving state of gas in the direction.
  • the program according to one aspect of the present disclosure is a program for causing a computer to perform a gas movement estimation process, and the gas movement estimation process is composed of a plurality of frames, and the existence range of the gas leaked in the space is a gas region.
  • the gas distribution video shown as is accepted as an input, and the combination of the teacher gas distribution video and the gas movement state in the perspective direction in the teacher gas distribution video is machine-learned as teacher data to generate a guessing model.
  • the estimation model is used to estimate the gas movement state in the perspective direction corresponding to the received gas distribution moving image.
  • the movement state of the gas in the perspective direction is estimated based on the characteristics of the gas region of the gas distribution movie. Therefore, by properly designing the teacher data, it is possible to generate and identify a guess model that identifies whether the gas is approaching or moving away from the imaging position.
  • the gas leak position identification device, the gas leak position identification method, and the program according to the present disclosure can estimate the gas movement state from the image captured from one viewpoint, so that a person can safely investigate and work on the site. It is useful as a system of.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

ガス監視を一視点からの画像のみに基づいて行う場合においても、ガスが視点からの遠近方向に流動しているか否かを検出できる推定装置及び推定方法を提供する。 【解決手段】空間中に漏洩したガスの存在範囲がガス領域として示されているガス分布動画を入力として受け付ける画像入力部と、教師用ガス分布動画と、前記教師用ガス分布動画における遠近方向のガスの移動状態との組み合わせを教師データとして機械学習された推測モデルを用いて、前記画像取得部が受け付けたガス分布動画に対応する遠近方向のガスの移動状態を推測するガス移動推測部とを備えるガス移動推測装置。

Description

ガス移動推測装置、ガス移動推測方法、推測モデル生成装置、推測モデル生成方法、および、プログラム
　本開示は、画像を用いて空間中に漏洩したガスを検知する方法において、その漏洩したガスの移動を同定する装置、システム、方法、プログラムに関する。
　ガスプラント、石油化学プラントや火力発電所、製鉄関連施設等では、操業時に大量のガスを取り扱っている。このような施設においては、施設の経年劣化や運転ミスにより、ガス漏洩の危険性が認識されており、大事故に至る前にガス漏洩を最小限にとどめるためガス検知装置が備え付けられている。検知プローブにガス分子が接触することでプローブの電気的特性が変化することを利用したガス検知装置の他、近年では、ガスによる赤外線吸収を利用したガス可視化撮像装置が取り入れられつつある。
　ガス可視化撮像装置では、絶対温度０Ｋ以上の背景物体から放射される黒体放射と呼ばれる、主に赤外線領域の電磁波がガスによって吸収されたり、ガス自身から黒体放射が発生したりすることで生じる電磁波量の変化をとらえることでガスの存在を検知する。ガス可視化撮像装置で、監視対象空間を撮影することで、ガス漏洩を画像としてとらえることができるため、格子点状の場所の監視しかできない検知プローブ式に比較して、より早期にガス漏洩を検知し、ガスの存在箇所を正確にとらえることができる。
特開平１１－３２６００８号公報
　ガス漏洩が発生した場合においてバルブ等を操作しても、バルブ等と漏洩源との間に存在しているガスが継続して漏れ出す可能性があるほか、既に漏洩したガスが漏洩源近傍の空間に滞留していることがある。したがって、設備状態の確認や修理等を人が行う必要がある場合、ガス濃度の高い場所を避けて移動することが好ましく、ガスが流れている場合は風下を避けて風上から接近することが好ましい。しかしながら、一視点からの画像に基づくガス可視化撮像装置では、撮像視点からの向きが変化する方向（画像の左右方向および上下方向）のガスの移動を容易に捕捉できるのに対し、撮像視点からの遠近方向（画像の奥行き方向）のガスの移動を捉えることが困難である。例えば、特許文献１に開示の技術のように、鏡を用いて多視点から観察する方法はあるが、鏡が配置できない場合には適用できない。
　本開示の態様は、上記課題に鑑み、ガス監視を一視点からの画像のみに基づいて行う場合においても、ガスが視点からの遠近方向に流動しているか否かを検出できる推定装置及び推定方法を提供することを目的とする。
　本開示の一態様にかかるガス移動推測装置は、複数フレームからなり、空間中に漏洩したガスの存在範囲がガス領域として示されているガス分布動画を入力として受け付ける画像入力部と、教師用ガス分布動画と、前記教師用ガス分布動画における遠近方向のガスの移動状態との組み合わせを教師データとして機械学習された推測モデルを用いて、前記画像取得部が受け付けたガス分布動画に対応する遠近方向のガスの移動状態を推測するガス
移動推測部とを備える。
　上記態様によれば、ガス分布動画のガス領域の特徴に基づいてガスの遠近方向の移動状態を推測する。したがって、教師データを適切に設計することにより、ガスが撮像位置に対して近づいているか遠ざかっているかを同定することができる。
実施の形態１に係るガス検知システム１００の機能ブロック図である。 監視対象３００と画像生成部１０との関係を示す概略図である。 機械学習モデルの論理構成の概要を示す模式図である。 撮像画像からガス分布動画を生成する過程を示す模式図である。 ガス分布動画におけるガス領域の時間変化傾向と遠近方向のガスの流速との関係を説明する俯瞰模式図である。 空間上のガスの移動速度と教師データの正解および学習モデルの出力であるガスの流速との関係を説明する俯瞰模式図である。 学習フェーズにおけるガス検知装置２０の動作を示すフローチャートである。 教師データとしてのガス分布動画の例である。 教師データとしてのガス分布動画の例である。 学習フェーズにおけるガス検知装置２０の動作を示すフローチャートである。 速度推定の結果を示す出力画像例である。 速度推定の結果を示す出力画像例である。 速度推定の結果を示す出力画像例である。 速度推定の結果を示す出力画像例である。 速度推定の結果を示す出力画像例である。 ガス速度の確率分布を示したものであり、（ａ）は速度値に対する確率分布を示し、（ｂ）は速度をピクセルサイズに対する相対値とした場合の確率分布を示す。 変形例２に係るガス検知システム１０１の機能ブロック図である。 実施の形態２に係るガス検知システム２００の構成を示す機能ブロック図である。 速度推定の結果を示す出力画像例である。
　≪実施の形態１≫
　以下、実施の形態１に係るガス検知システム１００について、図面を参照しながら説明する。
　図１は、実施の形態１に係るガス検知システム１００の機能ブロック図である。図１に示すように、ガス検知システム１００は、監視対象を撮像するための画像生成部１０と、画像生成部１０が取得した画像に基づきガスを検知するガス検知装置２０と、表示部２４とを有する。画像生成部１０、表示部２４は、それぞれ、ガス検知装置２０に接続可能に構成されている。
　＜画像生成部１０＞
　画像生成部１０は、監視対象を撮像してガス検知装置２０に画像を提供する装置またはシステムである。実施の形態１において、画像生成部１０は、例えば、波長３．２～３．４μｍの赤外光を検知して画像化する、いわゆる赤外線カメラであり、メタン、エタン、エチレン、プロピレンなど炭化水素系ガスを検知可能である。なお、画像生成部１０はこれに限られず、監視対象のガスを検知可能な撮像装置であればよく、例えば、監視対象が白煙化した水蒸気など可視光で検知可能なガスであれば、一般的な可視光カメラであってもよい。なお、本明細書において、ガスとは、配管やタンク等の閉鎖空間から漏出した気体であって、意図的に大気中に拡散させたものではないものを指す。
　画像生成部１０は、図２の模式図に示すように、画像生成部１０の視野範囲３１０に監視対象３００が含まれるように設置される。画像生成部１０は、撮像した画像を映像信号としてガス検知装置２０に出力する。映像信号としては、例えば、秒間３０フレームの画像を伝送するための信号である。
　＜ガス検知装置２０の構成＞
　ガス検知装置２０は、画像生成部１０から監視対象を撮像した画像を取得し、画像に基づいてガス領域の検出を行い、表示部２４を通じてユーザにガス検知を通知する装置である。ガス検知装置２０は、例えば、一般的なＣＰＵ(Central Processing Unit)とＲＡＭ
と、これらで実行されるプログラムを備えるコンピュータとして実現される。なお、後述するように、ガス検知装置２０は、演算装置としてのＧＰＵ（Graphics Processing Unit）とＲＡＭをさらに備えてもよい。ガス検知装置２０は、図１に示すように、画像取得部２０１、ガス領域動画抽出部２１１、ガス領域動画取得部２１２、遠近方向速度取得部２１３、機械学習部２１４１、学習モデル保持部２１４２、判定結果出力部２１５を備える。ガス領域動画抽出部２１１は、本開示の画像取得部の機能を備える。また、機械学習部２１４１と学習モデル保持部２１４２とは、遠近方向速度推定部２１４を構成する。ガス領域動画抽出部２１１と遠近方向速度推定部２１４は、ガス速度推定装置２１を構成する。
　画像取得部２０１は、監視対象を撮像した動画を画像生成部１０から取得する取得部である。実施の形態では、画像取得部２０１は、画像生成部１０から映像信号を取得し、映像信号を画像に復元して、複数のフレームからなる動画像としてガス領域動画抽出部２１１に出力する。画像は監視対象を撮像した赤外線写真であり、画素値として赤外線の強度を有する。
　ガス領域動画抽出部２１１は、画像取得部２０１が出力した動画像に対してガス検知処理を行って、ガス領域を含むガス分布動画を生成する画像処理部である。ガス検知処理は、公知の方法を用いることができる。具体的には、例えば、国際公開第２０１７／０７３４４０号公報（特許文献１）に記載の方法を用いることができる。そして、動画像の各フレームからガス領域を含む領域を切り出した動画像としてのガス分布動画が生成する。具体的には、設備から漏出したガスを画像生成部１０において撮像した場合、図４（ａ）のフレーム例３０１に示すように、ガスに対応するガス領域３１０が撮像されている。ここで、設備の像３００は画像に描画されていない。したがって、ガス分布動画の各フレームは、図４（ｂ）に示すフレーム例３０２に示すように、ガス領域３１０を含む画像が生成される。したがって、ガス分布動画は、図４（ｃ）に示すように、時系列に取得された複数のフレーム３０２－ｎから構成される。なお、ガス領域動画抽出部２１１は、動画像の各フレームからガス領域を含む領域を切り出した後、ゲイン調整等の加工を行ってもよい。また、動画像の画素値そのものではなく、特許文献１に記載の手法で特定の周波数成分のみを抽出したものであってもよい。この処理により、高周波ノイズや、空間における全体的な温度変化などの低周波ノイズを除去することができる。
　ここで、ガス分布動画を構成する各フレームは、その画素が示す空間位置が同一となるよう、元の動画像の各フレームにおける同一の座標範囲から同一の縮尺で抽出される。すなわち、ガス雲の大きさの時間的、空間的変化は、それによる画角の変化として捉えられ、ガス領域の大きさの変化として反映される。したがって、図５（ａ）の俯瞰模式図に示すように、ガス雲が画像生成部１０に対して遠ざかるように流れている場合、位置５１１のガス雲が位置５１２に移動すると、位置５１２が位置５１１より画像生成部１０から遠く同一寸法のものが小さく映るため、位置５１１のガス雲の像５２１に対して位置５１２のガス雲の像５２２は、ガス雲の大きさが変化していなければ小さく映り、ガス雲が広がっていてもその拡大幅は小さくなる。一方、ガス雲に含まれるガスの総量は大きく変化していないので、ガス雲の濃度は同一であるか、または、ガス雲の面積に反比例して低くなるが、その程度は小さい。これに対し、図５（ｂ）の俯瞰模式図に示すように、ガス雲が画像生成部１０に対して近づくように流れている場合、位置５１３のガス雲が位置５１４に移動すると、位置５１４が位置５１３より画像生成部１０から近く同一寸法のものが大きく映るため、位置５１３のガス雲の像５２３に対して位置５１４のガス雲の像５２４は、ガス雲の大きさが変化していなくても大きく映り、ガス雲が広がっていれば拡大幅はさらに大きくなる。一方、ガス雲に含まれるガスの総量は大きく変化していないので、ガス雲の濃度は、ガス雲の面積に反比例して低くなり、その程度は大きい。したがって、ガス領域の拡がり方および濃度の変化が、ガスの遠近方向におけるガスの流れを指し示す特徴量となる。
　なお、ガス分布動画のサイズや動画としてのフレーム数が過大であると機械学習および機械学習に基づく判定の演算量が大きくなる。実施の形態１では、ガス分布動画の画素数は２２４×２２４ピクセルであり、フレームレートは秒間５フレーム、フレーム数は１６である。
　ガス領域動画取得部２１２は、ガス領域動画抽出部２１１が生成するガス分布動画と同一のフォーマットからなるガス分布動画であって、画像の縮尺及び被写体であるガスの、撮像視点から見て遠近方向の流速（成分）が既知である画像を取得する取得部である。ここで、ガスの流速（成分）としては、例えば、撮像時点における風速および風向を用いて算出することができる。なお、ガス領域動画取得部２１２は、取得した画像が、ガス領域動画抽出部２１１が生成するガス分布動画と同一のフォーマットでない場合には、同一のフォーマットとなるように切り出しやゲイン調整等の加工を行ってもよい。 　　      　    
　遠近方向速度取得部２１３は、ガス領域動画取得部２１２が取得するガス分布動画のガス領域に対応する、撮像視点から見て遠近方向のガスの流速成分を取得する取得部である。ガスの流速成分は、遠近方向に直交する向き（視野角が変化する向き、視野角方向）のガスの流速成分に対する相対値として指定される。遠近方向に直交する向きは、ガス分布動画のＸ方向、Ｙ方向、またはその合成方向に対応し、撮像視点からの距離が変化しない向きである。なお、遠近方向に直交する向きのガスの流速成分は、ガス分布動画の画像サイズやピクセル数に対する相対値として示してもよい。実施の形態では、ピクセル数（画素数）を単位として用いる。例えば、ガス分布動画において水平方向に１０ピクセルの幅を有するガス領域が、水平方向の幅１ｍの空間中のガス雲に対応していた場合、遠近方向における流速３ｍ／ｓは、流速３０ピクセル／ｓとして指定される。より具体的には、ガスが遠ざかっている場合には、図６（ａ）の俯瞰模式図に示すように、画像生成部１０の光軸５００と風向とがなす角θと風速ｆとを用いて、まず、光軸５００に沿った速度成分ｆ・ｃｏｓθの値を算出する。ここでは、ｆは３ｍ／ｓであり、θ＝４５°であるため、ｆ・ｃｏｓθは２．１２ｍ／ｓである。そして、画像生成部１０とガス雲５１４との距離ｄと、画像生成部１０における画角とピクセル数との関係を用いて、ガス雲５１４近傍における１ｍがガス分布動画の何ピクセルに相当するかを算出し、これを用いて光軸５００に沿った速度成分ｆ・ｃｏｓθが秒間何ピクセルに相当するか算出する。例えば、ガス雲５１４近傍における１ｍが８８．８ピクセルに相当する場合、遠近方向のガスの流速は、１８８．３ｐｉｘｅｌ／ｓとする。ガスが近づいている場合も同様に、図６（ｂ）の俯瞰模式図に示すように、画像生成部１０の光軸５００と風向とがなす角φと風速ｆとを用いて、まず、光軸５００に沿った速度成分－ｆ・ｃｏｓφの値を算出する。ここで、負の数を用いているのは、流速を１次元ベクトルとし、遠ざかる向きを正、近づく向きを負としているためである。そして同様に、画像生成部１０とガス雲５１５との距離ｄと、画像生成部１０における画角とピクセル数との関係を用いて、ガス雲５１５近傍における１ｍがガス分布動画の何ピクセルに相当するかを算出し、これを用いて光軸５００に沿った速度成分ｆ・ｃｏｓφが秒間何ピクセルに相当するか算出する。
　ガス分布動画のガス流速に対する特徴量はピクセル単位で取得されるため、同一の被写体を同一のカメラを用いて撮像した場合、画像内のピクセル単位の動きは、カメラとガス雲との距離に反比例することとなる。例えば、距離１５ｍにおける被写体が１．１２５ｃｍ／ｐｉｘの縮尺で表示される場合、距離３０ｍにおける被写体は２．２５ｃｍ／ｐｉｘの縮尺で表示される。したがって、ガス分布動画内の動きベクトルをｐｉｘ／ｓの単位で示すと、被写体距離に反比例することとなる。一方で、ガス雲の撮像視点からの向きが変化する方向の速度の絶対値と遠近方向の速度の絶対値との比は、カメラとガス雲との距離や、カメラ自体の画角の広さや画像解像度には依存しない。本開示の一態様では、遠近方向のガスの流速をピクセル単位に換算することで、ガス分布動画内のガス領域に対応するガスの動きについて、遠近方向成分とそれ以外の成分との相対関係を学習して利用する。
　機械学習部２１４１は、ガス領域動画取得部２１２が受け付けたガス分布動画と、遠近方向速度取得部２１３が受け付けたガス分布動画のガス領域に対応するガスの、遠近方向の流速との組み合わせに基づいて機械学習を実行し、機械学習モデルを生成する学習モデル生成部である。機械学習モデルは、ガス分布動画が有する特徴量、例えば、ガス領域の外周形状の時間変化、ガスの濃淡分布の時間変化等の組み合わせに基づいて遠近方向のガスの流速をガス分布動画のピクセルサイズに対する相対比として予測するように形成される。機械学習としては、例えば、畳み込みニューラルネットワーク（ＣＮＮ；Convolutional Neural Network）を用いることができ、PyTorchなどの公知のソフトウェアを用いることができる。図３は、機械学習モデルの論理構成の概要を示す模式図である。機械学習モデルは、入力層４１０、中間層４２０－１、中間層４２０－２、…、中間層４２０－ｎ、出力層４３０を備え、学習によって層間フィルタが最適化される。例えば、ガス分布動画の画素数が２２４×２２４ピクセルでありフレーム数が１６である場合、入力層４１０は、ガス分布動画の画素値を入力した２２４×２２４×１６の３次元テンソルを受け付ける。中間層４２０－１は例えば畳み込み層であり、入力層４１０のデータから畳み込み演算によって生成される２２４×２２４×１６の３次元テンソルを受け付ける。中間層４２０－２は例えばプーリング層であり、中間層４２０－１のデータをリサイズした３次元テンソルを受け付ける。中間層４２０－ｎは例えば全結合層であり、中間層４２０－（ｎ－１）のデータを、速度の値を絶対値として、向きを符号として示す１次元ベクトルに変換する。なお、中間層の構成は一例であり、また、中間層の数ｎは３～５程度であるが、これに限られない。また、図３では各層のニューロン数は同一として描画しているが、各層は任意の数のニューロンを有してよい。機械学習部２１４１は、ガス分布動画としての動画像を入力とし、遠近方向のガスの流速を正解とする学習を行って機械学習モデルを生成し、学習モデル保持部２１４２に出力する。なお、機械学習部２１４１は、ガス検知装置２０が演算装置としてのＧＰＵとＲＡＭを備える場合には、ＧＰＵとソフトウェアとによって実現されてもよい。
　学習モデル保持部２１４２は、機械学習部２１４１によって生成された機械学習モデルを保持し、当該機械学習モデルを用いてガス領域動画抽出部２１１が生成したガス分布動画のガス領域に対応するガスの遠近方向のガスの流速を出力する学習モデル運用部である。遠近方向のガスの流速は、入力されたガス分布動画のピクセルサイズに対する相対値として特定され出力される。
　判定結果出力部２１５は、学習モデル保持部２１４２が出力した遠近方向のガスの流速を、空間上の速度に変換し、画像取得部２０１が取得した動画像上に重畳して表示部２４に表示するための画像を生成する画像表示部である。遠近方向のガスの流速から空間上の速度への変換は、画像生成部１０とガス雲との距離と、画像生成部１０における画角とピクセル数との関係を用いて、ガス分布動画のガス領域の１ピクセルが、空間中のガス雲における何ｍに相当するかの変換係数を算出し、変換係数を学習モデル保持部２１４２が出力した遠近方向のガスの流速に積算することで行われる。
　＜その他の構成＞
　表示部２４は、例えば、液晶ディスプレイ、有機ＥＬディスプレイなどの表示装置である。
　＜動作＞
　以下、図面を用いて、本実施の形態におけるガス検知装置２０の動作について説明する。
　＜学習フェーズ＞
　図７は、学習フェーズにおけるガス検知装置２０の動作を示すフローチャートである。
　まず、ガス分布動画と、遠近方向のガスの流速との組み合わせを作成する（ステップＳ１１０）。ガス分布動画としては、遠近方向のガスの流速が既知である画像を用いることができる。また、ガスの流速は、上述したように、ガス分布動画内のガス領域における縮尺を用いた相対値である。図８（ａ）は、ガス分布動画中の１フレームと正解データである遠近方向のガスの流速との組み合わせであり、ガスが近づく場合を示している。また、図８（ｂ）は、ガス分布動画中の１フレームと正解データである遠近方向のガスの流速との組み合わせであり、ガスが遠ざかる場合を示している。
　また、ガス領域動画抽出部２１１が、特定周波数成分のみを抽出した動画をガス分布動画として出力する場合には、教師データでのガス分布動画も、同様に、特定周波数成分のみを抽出した動画をガス分布動画とする必要がある。図９（ａ）は、ガス分布動画として、特定周波数成分のみを抽出した場合におけるガス分布動画中の１フレームと正解データである遠近方向のガスの流速との組み合わせであり、ガスが近づく場合を示している。図９（ｂ）は、ガス分布動画として、特定周波数成分のみを抽出した場合におけるガス分布動画中の１フレームと正解データである遠近方向のガスの流速との組み合わせであり、ガスが遠ざかる場合を示している。上述したように、特定周波数成分のみを抽出すると高周波ノイズや、空間における全体的な温度変化などの低周波ノイズを除去することができるため、学習フェーズにおいて高周波ノイズや低周波ノイズを特徴量として誤って学習することを抑止するとともに、後述の運用フェーズにおいても、高周波ノイズや低周波ノイズが他の特徴量に影響が及ぼし推測精度が低下することを抑止することができる。
　次に、ガス分布動画と、遠近方向のガスの流速の組み合わせをガス検知装置２０に入力する（ステップＳ１２０）。ガス分布動画はガス領域動画取得部２１２に入力され、対応する遠近方向のガスの流速は、遠近方向速度取得部２１３に入力される。
　次に、畳み込みニューラルネットワークにデータを入力して機械学習を実行する（ステップＳ１３０）。これにより、深層学習によってパラメータが試行錯誤によって最適化され、機械学習済みモデルが形成される。形成された機械学習済みモデルは、学習モデル保持部２１４２に保持される。
　以上の動作により、ガス分布動画に対してその特徴量に基づいて遠近方向のガスの流速を出力する機械学習済みモデルが形成される。
　＜運用フェーズ＞
　図１０は、学習フェーズにおけるガス検知装置２０の動作を示すフローチャートである。
　まず、撮像画像の各フレームからガス領域を検出し、ガス領域とその周辺を含むガス分布動画を切り出す（ステップＳ２１０）。ガス領域の検出は、撮像画像における輝度の時系列変化やその周波数等に基づいて、公知の方法により行われる。そして、ガスを検知した画素をすべて含むように撮像画像の各フレームからその一部を切り出し、それぞれをフレームとしてガス分布動画を生成する。ここで、学習フェーズにおいて、特定周波数成分のみを抽出した動画を教師データにおけるガス分布動画として用いた場合、同様に、特定周波数成分のみを抽出してガス分布動画とする。
　次に、学習済みモデルを用いてガス分布動画から遠近方向のガスの流速を推定する（ステップＳ２２０）。ステップＳ１３０によって形成された機械学習済みモデルを用いることにより、ガス分布動画のガス領域に対するガスの遠近方向のガスの流速が、ガス分布動画のガス領域における、ピクセルに対する相対値として推定される。学習モデル保持部２１４２は、遠近方向のガスの流速を、ガス分布動画のガス領域におけるピクセルに対する相対値として推定するので、判定結果出力部２１５は、学習モデル保持部２１４２が出力した遠近方向のガスの流速を、空間上の速度に変換する。遠近方向のガスの流速から空間上の速度への変換は、画像生成部１０とガス雲との距離と、画像生成部１０における画角とピクセル数との関係を用いて、ガス分布動画におけるガス領域の１ピクセルが空間内のガス雲における何ｍに相当するかの変換係数を算出し、変換係数を学習モデル保持部２１４２が出力した遠近方向のガスの流速に積算することで行われる。そして、算出したガスの流速や向きを示す情報を、画像取得部２０１が取得した動画に重畳し、表示部２４に出力する。
　表示態様としては、例えば、図１１（ａ）および（ｂ）の出力画像例に示すように、速度の絶対値とともに、流動方向が手前側か奥側かを矢印の向きで示してもよい。このとき、流動方向が手前側か奥側かによって、矢印の色、形状を変えてもよい。また、図１２（ａ）に示すように、遠近方向へのガスの流速が０または極めて小さい場合には、どちら向きの矢印も表示しない、としてもよい。
　または、例えば、速度の大きさに応じて、表示態様を異ならせてもよい。例えば、図１２（ｂ）に示すように、速度の絶対値が大きいほど矢印が長くなるように表示を行ってもよい。または、例えば、図１３（ａ）および（ｂ）に示すように、速度の絶対値が大きいほど矢印の彩度が高くなるように表示を行ってもよい。または、例えば、図１４（ａ）、（ｂ）に示すように、矢印を２色のグラデーションで表示し、速度の絶対値が大きいほど一方の色の彩度が高くなるように表示を行ってもよい。このとき、図１５（ａ）に示すように、速度の絶対値が０または極めて小さい場合には、１色で表示する、としてもよい。
　＜小括＞
　以上の構成により、画像を用いてガス検知を行うガス検知装置において、ガス雲が動画として撮像されていれば、ガスが撮像装置に対して近づいているか遠ざかっているかを推定することができる。したがって、設備を１か所から撮像している場合においてもガスの流れる向きを３次元的に推定できるため、作業員等が設備に近づく場合に、ガス濃度の低い風上側から近づくことができ、安全性をより高く担保することができる。
　≪変形例１≫
　実施の形態１では、ガス分布動画のガス領域に対応するガスの遠近方向の速度は絶対値と向きを含む１次元ベクトルであるとした。しかしながら、遠近方向のガス速度は、ガス速度である確率を示す確率分布であってもよい。
　図１６（ａ）は、判定結果出力部２１５が出力するガス速度の確率分布を示したものである。図１６（ａ）のグラフにおいて、横軸はガス速度値を示し、縦軸は、遠近方向のガス速度が、横軸に示す値である確率を相対値で示したものである。このようなデータは、図１６（ｂ）に示すように、横軸としてピクセル単位で示したガス速度値、縦軸として遠近方向のガス速度が、横軸に示す値である確率である確率分布の横軸および縦軸の座標変換を行うことで形成可能である。このようなデータを出力する方法としては、例えば、学習モデル保持部２１４２が出力した遠近方向のガスの流速に対し、判定結果出力部２１５が、当該速度を中央値とする正規分布を作成して出力する態様がある。または、機械学習モデルが、遠近方向のガスの流速として、ガス速度の確率分布を用いてもよい。この場合、遠近方向速度取得部２１３は、ガス領域動画取得部２１２が取得するガス分布動画のガス領域に対応するガスの遠近方向のガスの流速として、ガス速度の確率分布を取得する。機械学習モデルの中間層４２０－ｎは、例えば、中間層４２０－（ｎ－１）のデータを、速度の値とその値がガス速度である確率との組み合わせを１行のデータとして格納する２行の行列に変換する全結合層として設計される。学習モデル保持部２１４２は、ガス分布動画に対し、遠近方向のガス速度と、遠近方向のガス速度が当該ガス速度である確率との組み合わせである確率分布を出力する。
　＜小括＞
　以上の構成により、画像を用いてガス検知を行うガス検知装置において、ガス雲が動画として撮像されていれば、ガスが撮像装置に対して近づいているか遠ざかっているかを推定することができる。したがって、設備を１か所から撮像している場合においてもガスの流れる向きを３次元的に推定できるため、作業員等が設備に近づく場合に、ガス濃度の低い風上側から近づくことができ、安全性をより高く担保することができる。また、ガスの遠近方向における速度が確率分布として示されるため、教師データの不足や偏りのある教師データに対する過学習によるガス速度の推定精度の低下を抑止し、推定精度を容易に向上させることが可能となる。
　≪変形例２≫
　実施の形態１および変形例１では、１台のガス検知装置を用いて、学習モードにより生成した機械学習モデルを用いて運用モードでガスの遠近方向の速度推定を行うとした。しかしながら、機械学習とガスの遠近方向の速度推定の同定は同一のハードウェアで行う必要はなく、異なるハードウェアを用いて実行してもよい。
　図１７は、変形例２に係るガス検知システム１０１の機能ブロック図である。図１５に示すように、ガス検知システム１０１は、監視対象を撮像するための画像生成部１０と、画像生成部１０が取得した画像に基づきガスを検知するガス検知装置４１と、学習データ作成装置３０と、表示部２４とを有する。画像生成部１０、表示部２４、学習データ作成装置３０は、それぞれ、ガス検知装置４１に接続可能に構成されている。
　ガス検知装置４１は、画像生成部１０から監視対象を撮像した動画を取得し、動画に基づいてガス領域の検出を行い、表示部２４を通じてユーザにガス検知を通知する装置である。ガス検知装置４１は、例えば、一般的なＣＰＵとＲＡＭと、これらで実行されるプログラムを備えるコンピュータとして実現される。ガス検知装置４１は、画像取得部２０１、ガス領域動画抽出部２１１、学習モデル保持部２１４２、判定結果出力部２１５を備える。学習モデル保持部２１４２は、遠近方向速度推定部２２４を構成する。また、ガス領域動画抽出部２１１と遠近方向速度推定部２２４は、ガス速度推定装置２６を構成する。学習データ作成装置３０は、例えば、一般的なＣＰＵとＧＰＵとＲＡＭと、これらで実行されるプログラムを備えるコンピュータとして実現される。学習データ作成装置３０は、ガス領域動画取得部２１２、遠近方向速度取得部２１３、機械学習部２１４１を備える。
　ガス検知装置４１は、実施の形態１に係るガス検知装置２０の運用モード動作のみを実施する。また、学習データ作成装置３０は、実施の形態１に係るガス検知装置２０の学習モード動作のみを実施する。ガス検知装置４１と学習データ作成装置３０は、例えば、ＬＡＮで接続されており、学習データ作成装置３０で形成された学習済みモデルは、ガス検知装置４１の学習モデル保持部２１４２に格納される。なお、学習済みモデルの学習モデル保持部２１４２への格納はネットワークによる複製に限られず、例えば、リムーバブルメディアや光学ディスク、ＲＯＭ等を用いて行われてもよい。
　＜小括＞
　以上の構成により、画像を用いてガス検知を行うガス検知装置において、ガス雲が動画として撮像されていれば、ガスが撮像装置に対して近づいているか遠ざかっているかを推定することができる。また、機械学習とガスの遠近方向の速度推定を別のハードウェアで実施するため、ガス検知装置が機械学習のためのリソースを有している必要がない。したがって、ガス検知装置は学習済みモデルを運用するためのリソースを有していればよく、ノート型コンピュータやスマートフォン、タブレットなどの簡易デバイスを用いて実現することができる。また、１台の学習データ作成装置３０を用いて機械学習で構築した学習済みモデルを複数台のガス検知装置４１で運用することが可能であるため、容易にガス検知装置４１を製造することが可能となる。
　≪実施の形態２≫
　実施の形態１および各変形例では、ガスの遠近方向の移動速度のみを推定する場合について説明した。しかしながら、ガスの撮像視点からの向きが変化する方向の移動速度をさらに推測し、３次元的にガスの移動方向とその速度を推定するとしてもよい。
　実施の形態２に係るガス検知システム２００は、さらに、ガスの撮像視点からの向きが変化する方向の移動速度を推定して、３次元的にガスの移動方向とその速度を推定することを特徴とする。
　図１８は、実施の形態２に係るガス検知システム２００の構成を示す機能ブロック図である。図１８に示すように、ガス検知システム２００のガス検知装置４２は、画面方向速度推定部２７１と速度合成部２７２とをさらに備えるガス速度推定装置２７と、判定結果出力部２７５とを、ガス速度推定装置２１と判定結果出力部２１５とに替えて備えることを特徴とする。
　画面方向速度推定部２７１は、ガス領域動画抽出部２１１が生成したガス分布動画から画面内のガス領域の動きベクトルを算出し、ガスの撮像視点からの向きが変化する方向（遠近方向に直交する方向）におけるガスの移動速度及び方向として同定する。具体的には、例えば、ガス分布動画を構成する２つのフレーム間でパターンマッチングを行い、検出した移動ベクトルの算術平均をとることにより、２次元ベクトルとして出力する。例えば、ｘ方向（水平方向）の移動速度が１８０ｐｉｘｅｌ／ｓ、ｙ方向（上下方向）の移動速度が０ｐｉｘｅｌ／ｓであれば、移動速度として、（１８０，０）を出力する。
　速度合成部２７２は、画面方向速度推定部２７１が推定した、撮像視点からの向きが変化する方向におけるガスの移動速度及び方向と、学習モデル保持部２１４２が推定した遠近方向におけるガスの移動速度及び方向から、３次元的なガスの移動方向とその速度を推定する。画面方向速度推定部２７１が推定した、撮像視点からの向きが変化する方向におけるガスの移動ベクトルが（ｖx，ｖy）［ｐｉｘｅｌ／ｓ］、学習モデル保持部２１４２が推定した遠近方向におけるガスの移動ベクトルがｖz［ｐｉｘｅｌ／ｓ］としたとき、
３次元的なガスの移動速度の絶対値ｖは、以下の式で示される。
ｖ2＝ｖx 2＋ｖy 2＋ｖz 2
　速度合成部２７２は、算出した３次元的なガスの移動速度の絶対値ｖおよび遠近方向におけるガスの移動速度ｖzを判定結果出力部２７５に出力する。
　判定結果出力部２７５は、速度合成部２７２が出力した３次元的なガスの流速を、空間上の速度に変換し、画像取得部２０１が取得した動画像上に重畳して表示部２４に表示するための画像を生成する。３次元的なガスの流速ｖから空間上の速度への変換は、画像生成部１０とガス雲との距離と、画像生成部１０における画角とピクセル数との関係を用いて、ガス分布動画のガス領域の１ピクセルが、空間中のガス雲における何ｍに相当するかの変換係数を算出し、変換係数を学習モデル保持部２１４２が出力した３次元的なガスの流速ｖに積算することで行われる。
　表示態様としては、例えば、速度の絶対値ｖ、遠近方向におけるガスの移動速度ｖzの絶対値とともに、流動方向を矢印の向きで示す。このとき、遠近方向の流動方向が手前側か奥側かによって、矢印の色、形状を変えてもよい。また、例えば、速度の大きさに応じて、表示態様を異ならせてもよい。例えば、速度の絶対値が大きいほど矢印が長くなるように表示を行ってもよい。または、例えば、速度の絶対値が大きいほど矢印の彩度が高くなるように表示を行ってもよい。または、例えば、矢印を２色のグラデーションで表示し、速度の絶対値が大きいほど一方の色の彩度が高くなるように表示を行ってもよい。図１９（ａ）の出力画像例は、矢印を２色のグラデーションで表示し、遠近方向の速度ｖzの絶対値が大きいほど一方の色の彩度が高くなるように示したものである。このとき、図１９（ｂ）の出力画像例に示すように、遠近方向の速度ｖzの絶対値が０または極めて小さい場合には、１色で表示する、としてもよい。
　＜小括＞
　以上の構成により、画像を用いてガス検知を行うガス検知システムにおいて、ガス領域が撮像されていれば、ガスの流動速度を３次元的に推定することが可能となる。
　≪実施の形態に係るその他の変形例≫
　（１）実施の形態２では、ガスの流動速度を値として出力したが、変形例１と同様に、速度の確率分布として出力してもよい。このとき、遠近方向の速度を確率分布として算出した後、ガスの撮像視点からの向きが変化する方向の速度と合成することにより、３次元的な速度を確率分布として算出することができる。
　（２）実施の形態２及び変形例１では、１台のガス検知装置において機械学習と遠近方向の速度推定の双方を行うとしたが、変形例２と同様に、機械学習を学習モデル生成装置で行い、ガス速度推定装置は遠近方向の速度推測のみを行うとしてもよい。
　（３）各実施の形態及び各変形例では、表示部に遠近方向におけるガスの速度の絶対値を表示するとしたが、これに限られず、単純に遠近方向におけるガスの移動の有無のみを表示するとしてもよい。また、例えば、実施の形態２において、カメラや漏洩源を上から俯瞰した場合のガスの流れる向きを表示してもよい。このような表示は、ガスの撮像視点からの向きが変化し、かつ、水平方向であるガスの速度ｖxと、遠近方向のガスの速度ｖzからガスの流れる向きを算出することで行うことができる。
　（４）各実施の形態及び変形例では、撮像画像は波長３．２～３．４μｍの赤外線画像であるとしたがこれに限られず、検知すべきガスの存在を確認可能なものであれば他の波長域の赤外画像、可視画像、紫外画像など任意の画像を用いてもよい。また、ガス領域の検知方法は上述のものに限られず、ガス領域を検知可能な任意の処理であってよい。
　さらには、検知すべきガスと、撮像画像に示された像に対応するガスが同一でなくてもよく、例えば、２種類以上のガスが同一の場所に存在するとの知見がある場合に、１種類のガスの像を用いて他のガスの像とみなして処理を行ってもよい。例えば、空間中において、水蒸気と、検知すべきガスとが略同一の場所に存在する場合、水蒸気の像をガス領域とする画像を用いて、水蒸気の像を当該検知すべきガスの像として取り扱ってもよい。
　（５）各実施の形態及び変形例では、教師データとして、遠近方向のガスの流速が既知であるガス分布動画を用いるとした。しかしながら、教師データはこれに限られず、例えば、シミュレーションによりガス分布動画を作成するとしてもよい。より具体的には、例えば、設備の３次元ボクセルデータに基づいて３次元空間に構造物をレイアウトするモデリングを行う。次に、ガスの種類、流量、風速、風向、ガス漏洩源の形状、口径、位置などの条件を定め、３次元流体シミュレーションを行い、ガスの分布状態を算出する。このようにして形成された３次元モデルに対して空間内に視点を設定し、当該視点からの２次元画像をガス分布画像として生成する。具体的には、ガス分布画像の１画素に対応する、空間内における視点を通過する１つの直線に対し、視点から設備の表面までの間に存在するガスについて、ガス濃度厚み積を算出することで画素ごとの光強度を算出し、画素値を算出する。そして、シミュレーション時の風速の、視点からの遠近方向成分を正解としてペアリングすることで、教師データを作成できる。
　（６）なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されず、以下のような場合も本発明に含まれる。
　例えば、本発明において、ガス速度推定装置は、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）をプロセッサとした装置であってもよい。
　また、上記の各装置を構成する構成要素の一部又は全部は、１つのシステムＬＳＩ（Large Scale Integration（大規模集積回路））から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。なお、ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。上記ＲＡＭには、上記各装置と同様の動作を達成するコンピュータプログラムが記憶されている。上記マイクロプロセッサが、上記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。例えば、本発明のガス速度推定方法がＬＳＩのプログラムとして格納されており、このＬＳＩがコンピュータ内に挿入され、所定のプログラムを実施する場合も本発明に含まれる。
　なお、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡや、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサー（Reconfigurable Processor）を利用してもよい。
　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
　また、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　また、各実施の形態に係るガス速度推定装置、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。更に上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
　さらに、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
　≪まとめ≫
　（１）本開示の一態様に係るガス移動推測装置は、複数フレームからなり、空間中に漏洩したガスの存在範囲がガス領域として示されているガス分布動画を入力として受け付ける画像入力部と、教師用ガス分布動画と、前記教師用ガス分布動画における遠近方向のガスの移動状態との組み合わせを教師データとして機械学習された推測モデルを用いて、前記画像取得部が受け付けたガス分布動画に対応する遠近方向のガスの移動状態を推測するガス移動推測部とを備える。
　また、本開示の一態様に係るガス移動推測方法は、複数フレームからなり、空間中に漏洩したガスの存在範囲がガス領域として示されているガス分布動画を入力として受け付け、教師用ガス分布動画と、前記教師用ガス分布動画における遠近方向のガスの移動状態との組み合わせを教師データとして機械学習された推測モデルを用いて、前記受け付けたガス分布動画に対応する遠近方向のガスの移動状態を推測する。
　また、本開示の一態様に係るプログラムは、コンピュータにガス移動推測処理を行わせるプログラムであって、前記ガス移動推測処理は、複数フレームからなり、空間中に漏洩したガスの存在範囲がガス領域として示されているガス分布動画を入力として受け付け、教師用ガス分布動画と、前記教師用ガス分布動画における遠近方向のガスの移動状態との組み合わせを教師データとして機械学習された推測モデルを用いて、前記受け付けたガス分布動画に対応する遠近方向のガスの移動状態を推測する。
　本開示の一態様に係るガス移動推測装置、ガス移動推測方法、プログラムによれば、ガス分布動画のガス領域の特徴に基づいてガスの遠近方向の移動状態を推測する。したがって、教師データを適切に設計することにより、ガスが撮像位置に対して近づいているか遠ざかっているかを同定することができる。
　（２）本開示の一態様に係るガス移動推測装置は、前記ガス移動推測部は、教師データにおける遠近方向のガスの移動状態として、遠近方向のガスの移動速度を視野角方向の移動速度に対する相対値で示した相対遠近速度を用いる、としてもよい。
　上記構成により、ガスまでの距離や撮像装置の視野範囲などの撮像条件が、移動状態を推測する対象であるガス分布動画と教師用ガス分布動画で異なっていても、遠近方向のガスの移動状態を推測することができる。
　（３）本開示の一態様に係るガス移動推測装置は、前記ガス移動推測部は、遠近方向のガスの移動状態として、前記画像入力部が受け付けたガス分布動画における遠近方向のガスの移動速度を出力する、としてもよい。
　上記構成により、撮像視点からガスに向かう向きについてガスの速度が得られるため、ガスを回避して人が近づくことができるか否かについて、より詳細に検討することができる。
　（４）本開示の一態様に係るガス移動推測装置は、前記ガス移動推測部は、遠近方向のガスの移動状態として、前記画像入力部が受け付けたガス分布動画における遠近方向のガスの移動速度の確率分布を出力する、としてもよい。
　上記構成により、撮像視点からガスに向かう向きについてガスの速度の取りうる範囲を得られるため、人が近づくことができるか否かについて、安全性を高めて検討することができる。
　（５）本開示の一態様に係るガス移動推測装置は、前記画像入力部は、赤外光を検知する撮像手段を含み、前記ガス領域は、赤外光を吸収するガス、または、水蒸気の像である、としてもよい。
　上記構成により、赤外光を用いて検出できるガス、または、当該ガスの存在範囲を用いて存在が推定できるガスについて、本開示の一態様を適用できる。
　（６）本開示の一態様に係るガス移動推測装置は、前記画像入力部は、可視光を検知する撮像手段を含み、前記ガス領域は、可視光を吸収するガス、または、水蒸気の像である、としてもよい。
　上記構成により、可視光を用いて検出できるガス、または、当該ガスの存在範囲を用いて存在が推定できるガスについて、本開示の一態様を適用できる。
　（７）本開示の一態様に係るガス移動推測装置は、前記画像入力部は、空間を撮像した動画から特定の周波数成分が抽出されたガス分布動画を入力として受け付ける、としてもよい。
　上記構成により、高周波ノイズや低周波ノイズを除いて機械学習やガス移動推測が可能となるため、正しく推測できる確率を向上できる。
　（８）本開示の一態様に係るガス移動推測装置は、前記画像入力部が受け付けたガス分布動画に、前記遠近方向のガスの移動状態を重畳して表示する画像表示部をさらに備える、としてもよい。
　上記構成により、設備管理者等が容易にガスの移動状態を把握でき、ユーザビリティが向上する。
　（９）本開示の一態様に係るガス移動推測装置は、前記画像表示部は、前記遠近方向のガスの移動の有無、移動方向、移動速度の少なくとも１つを色彩で表示する、としてもよい。
　上記構成により、設備管理者等が色彩に基づいて容易にガスの移動状態を把握でき、ユーザビリティが向上する。
　（１０）本開示の一態様に係るガス移動推測装置は、前記画像表示部は、前記遠近方向のガスの移動の有無、移動方向、移動速度の少なくとも１つを線または矢印の長さで表示する、としてもよい。
　上記構成により、設備管理者等がガスの移動の有無、移動方向、移動速度等を容易に把握でき、ユーザビリティが向上する。
　（１１）本開示の一態様に係るガス移動推測装置は、前記画像入力部が受け付けたガス分布動画における視野角方向のガスの移動状態を推定し、視野角方向のガスの移動状態と、遠近方向のガスの移動状態とから、３次元情報としてガスの移動状態を推測する３次元流れ推定部をさらに備え、前記画像表示部は、３次元情報としてガスの移動状態を表示する、としてもよい。
　上記構成により、ガスの３次元的な移動状態を予測することができるため、人が近づくことができるか否かについて、安全性を高めて検討することができる。
　（１２）本開示の一態様に係る推測モデル生成装置は、複数フレームからなり、空間中に漏洩したガスの存在範囲がガス領域として示されているガス分布動画を入力として受け付ける画像入力部と、前記用ガス分布動画における遠近方向のガスの移動状態を入力として受け付ける速度入力部と、前記ガス分布動画と、前記遠近方向のガスの移動状態との組み合わせを教師データとして機械学習し、ガス分布動画を入力として遠近方向のガスの移動状態を出力する推測モデルを生成する機械学習部とを備える。
　また、本開示の一態様に係る推測モデル生成方法は、複数フレームからなり、空間中に漏洩したガスの存在範囲がガス領域として示されているガス分布動画を入力として受け付け、前記用ガス分布動画における遠近方向のガスの移動状態を入力として受け付け、前記ガス分布動画と、前記遠近方向のガスの移動状態との組み合わせを教師データとして機械学習し、ガス分布動画を入力として遠近方向のガスの移動状態を出力する推測モデルを生成する。
　また、本開示の一態様に係るプログラムは、コンピュータに推測モデル生成処理を行わせるプログラムであって、前記推測モデル生成処理は、複数フレームからなり、空間中に漏洩したガスの存在範囲がガス領域として示されているガス分布動画を入力として受け付け、前記用ガス分布動画における遠近方向のガスの移動状態を入力として受け付け、前記ガス分布動画と、前記遠近方向のガスの移動状態との組み合わせを教師データとして機械学習し、ガス分布動画を入力として遠近方向のガスの移動状態を出力する推測モデルを生成する。
　本開示の一態様に係る推測モデル生成装置、推測モデル生成方法、プログラムによれば、ガス分布動画のガス領域の特徴に基づいてガスの遠近方向の移動状態を推測する。したがって、教師データを適切に設計することにより、ガスが撮像位置に対して近づいているか遠ざかっているかを同定する推測モデルを生成できる。
　（１３）本開示の一態様に係るガス移動推測装置は、複数フレームからなり、空間中に漏洩したガスの存在範囲がガス領域として示されているガス分布動画を入力として受け付ける画像入力部と、教師用ガス分布動画と、前記教師用ガス分布動画における遠近方向のガスの移動状態との組み合わせを教師データとして機械学習し、推測モデルを生成する機械学習部と、前記推測モデルを用いて、前記画像取得部が受け付けたガス分布動画に対応する遠近方向のガスの移動状態を推測するガス移動推測部とを備える。
　また、本開示の一態様に係るガス移動推測方法は、複数フレームからなり、空間中に漏洩したガスの存在範囲がガス領域として示されているガス分布動画を入力として受け付け、教師用ガス分布動画と、前記教師用ガス分布動画における遠近方向のガスの移動状態との組み合わせを教師データとして機械学習して推測モデルを生成し、前記推測モデルを用いて、前記受け付けたガス分布動画に対応する遠近方向のガスの移動状態を推測する。
　また、本開示の一態様に係るプログラムは、コンピュータにガス移動推測処理を行わせるプログラムであって、前記ガス移動推測処理は、複数フレームからなり、空間中に漏洩したガスの存在範囲がガス領域として示されているガス分布動画を入力として受け付け、教師用ガス分布動画と、前記教師用ガス分布動画における遠近方向のガスの移動状態との組み合わせを教師データとして機械学習して推測モデルを生成し、前記推測モデルを用いて、前記受け付けたガス分布動画に対応する遠近方向のガスの移動状態を推測する。
　本開示の一態様に係る推測モデル生成装置、推測モデル生成方法、プログラムによれば、ガス分布動画のガス領域の特徴に基づいてガスの遠近方向の移動状態を推測する。したがって、教師データを適切に設計することにより、ガスが撮像位置に対して近づいているか遠ざかっているかを同定する推測モデルを生成した上で同定することができる。
　本開示に係るガス漏洩位置同定装置、ガス漏洩位置同定方法、および、プログラムは、１視点から撮像した画像からガスの移動状態を推定することができ、人が安全に現地を調査や作業するためのシステムとして有用である。
　１００、１０１、２００　ガス検知システム
　１０　画像生成部
　２０、４１、４２　ガス検知装置
　２０１　画像取得部
　２１１　ガス領域動画抽出部
　２１２　ガス領域動画取得部
　２１３　遠近方向速度取得部
　２１４、２２４　遠近方向速度推定部
　２１４１　機械学習部
　２１４２　学習モデル保持部
　２１５　判定結果出力部
　２７１　画面方向速度推定部
　２７５　速度合成部
　２１、２６、２７　ガス速度推定装置
　２４　表示部
　３０　学習データ作成装置

Claims (19)

  1. 　複数フレームからなり、空間中に漏洩したガスの存在範囲がガス領域として示されているガス分布動画を入力として受け付ける画像入力部と、
    　教師用ガス分布動画と、前記教師用ガス分布動画における遠近方向のガスの移動状態との組み合わせを教師データとして機械学習された推測モデルを用いて、前記画像取得部が受け付けたガス分布動画に対応する遠近方向のガスの移動状態を推測するガス移動推測部と
    　を備えるガス移動推測装置。
  2. 　前記ガス移動推測部は、教師データにおける遠近方向のガスの移動状態として、遠近方向のガスの移動速度を視野角方向の移動速度に対する相対値で示した相対遠近速度を用いる
    　請求項１に記載のガス移動推測装置。
  3. 　前記ガス移動推測部は、遠近方向のガスの移動状態として、前記画像入力部が受け付けたガス分布動画における遠近方向のガスの移動速度を出力する
    　請求項１または２に記載のガス移動推測装置。
  4. 　前記ガス移動推測部は、遠近方向のガスの移動状態として、前記画像入力部が受け付けたガス分布動画における遠近方向のガスの移動速度の確率分布を出力する
    　請求項１または２に記載のガス移動推測装置。
  5. 　前記画像入力部は、赤外光を検知する撮像手段を含み、前記ガス領域は、赤外光を吸収するガス、または、水蒸気の像である
    　請求項１から４のいずれか１項に記載のガス移動推測装置。
  6. 　前記画像入力部は、可視光を検知する撮像手段を含み、前記ガス領域は、可視光を吸収するガス、または、水蒸気の像である
    　請求項１から４のいずれか１項に記載のガス移動推測装置。
  7. 　前記画像入力部は、空間を撮像した動画から特定の周波数成分が抽出されたガス分布動画を入力として受け付ける
    　請求項１から６のいずれか１項に記載のガス移動推測装置。
  8. 　前記画像入力部が受け付けたガス分布動画に、前記遠近方向のガスの移動状態を重畳して表示する画像表示部をさらに備える
    　請求項１から７のいずれか１項に記載のガス移動推測装置。
  9. 　前記画像表示部は、前記遠近方向のガスの移動の有無、移動方向、移動速度の少なくとも１つを色彩で表示する
    　請求項８に記載のガス移動推測装置。
  10. 　前記画像表示部は、前記遠近方向のガスの移動の有無、移動方向、移動速度の少なくとも１つを線または矢印の長さで表示する
    　請求項８に記載のガス移動推測装置。
  11. 　前記画像入力部が受け付けたガス分布動画における視野角方向のガスの移動状態を推定し、視野角方向のガスの移動状態と、遠近方向のガスの移動状態とから、３次元情報としてガスの移動状態を推測する３次元流れ推定部をさらに備え、
    　前記画像表示部は、３次元情報としてガスの移動状態を表示する
    　請求項８から１０のいずれか１項に記載のガス移動推測装置。
  12. 　複数フレームからなり、空間中に漏洩したガスの存在範囲がガス領域として示されているガス分布動画を入力として受け付ける画像入力部と、
    　前記用ガス分布動画における遠近方向のガスの移動状態を入力として受け付ける速度入力部と、
    　前記ガス分布動画と、前記遠近方向のガスの移動状態との組み合わせを教師データとして機械学習し、ガス分布動画を入力として遠近方向のガスの移動状態を出力する推測モデルを生成する機械学習部と
    　を備える推測モデル生成装置。
  13. 　複数フレームからなり、空間中に漏洩したガスの存在範囲がガス領域として示されているガス分布動画を入力として受け付ける画像入力部と、
    　教師用ガス分布動画と、前記教師用ガス分布動画における遠近方向のガスの移動状態との組み合わせを教師データとして機械学習し、推測モデルを生成する機械学習部と、
    　前記推測モデルを用いて、前記画像取得部が受け付けたガス分布動画に対応する遠近方向のガスの移動状態を推測するガス移動推測部と
    　を備えるガス移動推測装置。
  14. 　複数フレームからなり、空間中に漏洩したガスの存在範囲がガス領域として示されているガス分布動画を入力として受け付け、
    　教師用ガス分布動画と、前記教師用ガス分布動画における遠近方向のガスの移動状態との組み合わせを教師データとして機械学習された推測モデルを用いて、前記受け付けたガス分布動画に対応する遠近方向のガスの移動状態を推測する
    　ガス移動推測方法。
  15. 　コンピュータにガス移動推測処理を行わせるプログラムであって、
    　前記ガス移動推測処理は、
    　複数フレームからなり、空間中に漏洩したガスの存在範囲がガス領域として示されているガス分布動画を入力として受け付け、
    　教師用ガス分布動画と、前記教師用ガス分布動画における遠近方向のガスの移動状態との組み合わせを教師データとして機械学習された推測モデルを用いて、前記受け付けたガス分布動画に対応する遠近方向のガスの移動状態を推測する
    　プログラム。
  16. 　複数フレームからなり、空間中に漏洩したガスの存在範囲がガス領域として示されているガス分布動画を入力として受け付け、
    　前記用ガス分布動画における遠近方向のガスの移動状態を入力として受け付け、
    　前記ガス分布動画と、前記遠近方向のガスの移動状態との組み合わせを教師データとして機械学習し、ガス分布動画を入力として遠近方向のガスの移動状態を出力する推測モデルを生成する
    　推測モデル生成方法。
  17. 　コンピュータに推測モデル生成処理を行わせるプログラムであって、
    　前記推測モデル生成処理は、
    　複数フレームからなり、空間中に漏洩したガスの存在範囲がガス領域として示されているガス分布動画を入力として受け付け、
    　前記用ガス分布動画における遠近方向のガスの移動状態を入力として受け付け、
    　前記ガス分布動画と、前記遠近方向のガスの移動状態との組み合わせを教師データとし
    て機械学習し、ガス分布動画を入力として遠近方向のガスの移動状態を出力する推測モデルを生成する
    　プログラム。
  18. 　複数フレームからなり、空間中に漏洩したガスの存在範囲がガス領域として示されているガス分布動画を入力として受け付け、
    　教師用ガス分布動画と、前記教師用ガス分布動画における遠近方向のガスの移動状態との組み合わせを教師データとして機械学習して推測モデルを生成し、
    　前記推測モデルを用いて、前記受け付けたガス分布動画に対応する遠近方向のガスの移動状態を推測する
    　ガス移動推測方法。
  19. 　コンピュータにガス移動推測処理を行わせるプログラムであって、
    　前記ガス移動推測処理は、
    　複数フレームからなり、空間中に漏洩したガスの存在範囲がガス領域として示されているガス分布動画を入力として受け付け、
    　教師用ガス分布動画と、前記教師用ガス分布動画における遠近方向のガスの移動状態との組み合わせを教師データとして機械学習して推測モデルを生成し、
    　前記推測モデルを用いて、前記受け付けたガス分布動画に対応する遠近方向のガスの移動状態を推測する
    　プログラム。
PCT/JP2021/019125 2020-06-05 2021-05-20 ガス移動推測装置、ガス移動推測方法、推測モデル生成装置、推測モデル生成方法、および、プログラム WO2021246185A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022528733A JPWO2021246185A1 (ja) 2020-06-05 2021-05-20
US18/008,175 US20230274443A1 (en) 2020-06-05 2021-05-20 Gas migration estimation device, gas migration estimation method, estimation model generation device, estimation model generation method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020098115 2020-06-05
JP2020-098115 2020-06-05

Publications (1)

Publication Number Publication Date
WO2021246185A1 true WO2021246185A1 (ja) 2021-12-09

Family

ID=78830410

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/019125 WO2021246185A1 (ja) 2020-06-05 2021-05-20 ガス移動推測装置、ガス移動推測方法、推測モデル生成装置、推測モデル生成方法、および、プログラム

Country Status (3)

Country Link
US (1) US20230274443A1 (ja)
JP (1) JPWO2021246185A1 (ja)
WO (1) WO2021246185A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004086428A (ja) * 2002-08-26 2004-03-18 Mitsubishi Electric Corp 三次元画像生成装置、三次元画像表示装置及び三次元画像表示方法
JP2018163515A (ja) * 2017-03-24 2018-10-18 株式会社日立製作所 予測システム、及び、予測方法
WO2018203480A1 (ja) * 2017-05-02 2018-11-08 コニカミノルタ株式会社 ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム
US20190096211A1 (en) * 2016-05-04 2019-03-28 Robert Bosch Gmbh Smoke detection device, method for detecting smoke from a fire, and computer program
JP2020063955A (ja) * 2018-10-16 2020-04-23 千代田化工建設株式会社 流体漏洩検知システム、流体漏洩検知装置、及び学習装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004086428A (ja) * 2002-08-26 2004-03-18 Mitsubishi Electric Corp 三次元画像生成装置、三次元画像表示装置及び三次元画像表示方法
US20190096211A1 (en) * 2016-05-04 2019-03-28 Robert Bosch Gmbh Smoke detection device, method for detecting smoke from a fire, and computer program
JP2018163515A (ja) * 2017-03-24 2018-10-18 株式会社日立製作所 予測システム、及び、予測方法
WO2018203480A1 (ja) * 2017-05-02 2018-11-08 コニカミノルタ株式会社 ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム
JP2020063955A (ja) * 2018-10-16 2020-04-23 千代田化工建設株式会社 流体漏洩検知システム、流体漏洩検知装置、及び学習装置

Also Published As

Publication number Publication date
JPWO2021246185A1 (ja) 2021-12-09
US20230274443A1 (en) 2023-08-31

Similar Documents

Publication Publication Date Title
KR102256181B1 (ko) 강구조물의 도막 상태 검사 및 평가 방법과 이를 위한 시스템
CN103852060B (zh) 一种基于单目视觉的可见光图像测距方法
WO2019138873A1 (ja) ガス検知用画像処理装置およびガス検知用画像処理方法
CN102982555B (zh) 基于自适应流形粒子滤波的制导红外小目标跟踪方法
JP4517449B2 (ja) 画像における相関演算方法
WO2010004466A1 (en) Three dimensional mesh modeling
RU2505800C2 (ru) Способ рентгеновской томографии и устройство для его осуществления
Berger et al. The capturing of turbulent gas flows using multiple kinects
Fujimura et al. Photometric stereo in participating media considering shape-dependent forward scatter
JP2007243509A (ja) 画像処理装置
CN110298271A (zh) 基于关键点检测网络和空间约束混合模型的海水区域检测方法
Al-Sabbag et al. Interactive defect quantification through extended reality
EP4156110A1 (en) Generating a material property map of a computer model of a material based on a set of micro-scale images
CN116645350A (zh) 一种基于视觉时空的管道跑冒滴漏检测方法及系统
WO2021246185A1 (ja) ガス移動推測装置、ガス移動推測方法、推測モデル生成装置、推測モデル生成方法、および、プログラム
US20220122638A1 (en) Apparatus and method for visualizing periodic motions in mechanical components
WO2021246130A1 (ja) ガス漏洩位置同定装置、ガス漏洩位置同定システム、ガス漏洩位置同定方法、ガス漏洩位置推測モデル生成装置、ガス漏洩位置推測モデル生成方法、および、プログラム
Rangel et al. On scene flow computation of gas structures with optical gas imaging cameras
Wu et al. HeightFormer: Explicit Height Modeling without Extra Data for Camera-only 3D Object Detection in Bird's Eye View
CN117014579A (zh) 基于树莓派3b+的水下偏振视觉探测系统及成像方法
US20180089819A1 (en) Computed tomography object inspection system
CN111489384B (zh) 基于互视角的遮挡评估方法及装置、设备、系统和介质
Qiao et al. Visibility enhancement for underwater robots based on an improved underwater light model
Li et al. Stereo vision-based measurement of wave evolution around square column in laboratory
WO2021246210A1 (ja) 機械学習用データ生成装置、機械学習用データ生成方法、プログラム及び学習用データセット

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21818426

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022528733

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21818426

Country of ref document: EP

Kind code of ref document: A1