WO2022070227A1 - 設備診断システム、設備診断方法、及び、設備診断プログラムが格納された記録媒体 - Google Patents

設備診断システム、設備診断方法、及び、設備診断プログラムが格納された記録媒体 Download PDF

Info

Publication number
WO2022070227A1
WO2022070227A1 PCT/JP2020/036754 JP2020036754W WO2022070227A1 WO 2022070227 A1 WO2022070227 A1 WO 2022070227A1 JP 2020036754 W JP2020036754 W JP 2020036754W WO 2022070227 A1 WO2022070227 A1 WO 2022070227A1
Authority
WO
WIPO (PCT)
Prior art keywords
equipment
image
wavelengths
infrared
brightness
Prior art date
Application number
PCT/JP2020/036754
Other languages
English (en)
French (fr)
Inventor
英士 櫟原
勉 遠藤
浩一郎 森田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2022553237A priority Critical patent/JP7494926B2/ja
Priority to PCT/JP2020/036754 priority patent/WO2022070227A1/ja
Publication of WO2022070227A1 publication Critical patent/WO2022070227A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00—Investigating fluid-tightness of structures
    • G01M3/38—Investigating fluid-tightness of structures by using light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Definitions

  • the present invention relates to a recording medium in which an equipment diagnosis system, an equipment diagnosis method, and an equipment diagnosis program are stored.
  • Patent Document 1 illuminates a portion to be detected for leakage with infrared light having a light emitting component in a band including the absorption spectrum of the liquid to be detected for leakage.
  • a leak detection method for detecting a leak by comparing an image taken in a leak-free state (normal state) with an actual image is disclosed. In this method, a leak is detected by comparing an image in a leak-free state (normal state) taken with the lighting turned off and an actual image, and the leak is determined from both detection results.
  • Patent Document 2 discloses an oil leak detection device including a light source that projects light having a wavelength whose attenuation with respect to water is larger than that with respect to oil to a region to be detected for oil leakage. This device determines the presence or absence of oil leakage based on the reflected light projected from the light source and reflected in the detection target area.
  • Patent Document 3 targets light having a first wavelength having a predetermined absorption rate by a specific object and light having a second wavelength whose absorption rate by the specific object is smaller than that of the first wavelength.
  • a spectroscopic device for irradiating is disclosed. This device receives the first scattered light in which the light of the first wavelength is transmitted or reflected through the target, and the second scattered light in which the light of the second wavelength is transmitted or reflected by the target. Then, this device generates information used for detecting a specific object at the target based on the difference between the received first scattered light and the second scattered light.
  • Patent Documents 1 to 3 For example, by using the techniques shown in Patent Documents 1 to 3 described above, the equipment was imaged without the need for a person to patrol and inspect each equipment, for example, to confirm the presence or absence of an oil leak. From the image, it is considered possible to determine the type of liquid adhering to the equipment to some extent.
  • Patent Document 1 it is necessary to see the fluorescent light, which is difficult to see in the daytime and the determination accuracy is not high.
  • Patent Document 2 uses only one wavelength and is a discrimination method based on a threshold value. However, since the luminance changes depending on the film thickness, it may not be detected due to the influence of the film thickness, and the determination accuracy is also not high.
  • a main object of the present invention is to provide an equipment diagnostic system or the like that can improve the accuracy of determining the type of liquid adhering to equipment.
  • control means for controlling the image pickup means so as to image the equipment and the absorption characteristics of the near infrared rays with respect to the plurality of wavelengths are mutually different in each of the plurality of wavelengths in the near infrared band. It is provided with a determination means for determining whether or not any of the different first and second liquids is attached to the equipment based on the captured image obtained by the imaging means.
  • the equipment diagnosis method controls the image pickup means so as to image the equipment at each of a plurality of wavelengths in the near infrared band by an information processing apparatus. Whether or not any of the first and second liquids having different near-infrared absorption characteristics with respect to the plurality of wavelengths adheres to the equipment is determined based on the captured image obtained by the imaging means.
  • the equipment diagnosis program includes a control process for controlling the image pickup means so as to image the equipment at each of a plurality of wavelengths in the near infrared band. Judgment based on the captured image obtained by the imaging means whether or not any of the first and second liquids having different near-infrared absorption characteristics with respect to the plurality of wavelengths adheres to the equipment. It is a program to make a computer execute processing.
  • the present invention can also be realized by a computer-readable, non-volatile recording medium in which the equipment diagnosis program (computer program) is stored.
  • an equipment diagnostic system or the like that can improve the accuracy of determining the type of liquid adhering to the equipment.
  • the near-infrared image 161 suitable for determining the adhesion of oil or water is imaged in the relationship between the wavelength of the near-infrared ray and the brightness of the oil-adhered portion in the near-infrared image image 161 and the image-taking environment by sunlight on the ground surface. It is a graph which shows the wavelength of near infrared rays.
  • the near-infrared image 161 suitable for determining the adhesion of oil or water is imaged in the relationship between the wavelength of the near-infrared ray and the brightness of the portion of the near-infrared image image 161 to which water adheres, and in the image-taking environment by sunlight on the ground surface.
  • the value of NDOI in the case where oil or water is attached to the equipment 40 and the state where nothing is attached in the image pickup environment by sunlight on the ground surface It is a figure which shows the relationship of. It is a block diagram which shows the structure of the equipment diagnosis system 50 which concerns on 2nd Embodiment of this invention. It is a block diagram which shows the structure of the information processing apparatus 900 which can execute the equipment diagnostic apparatus 10 which concerns on 1st Embodiment of this invention, or the equipment diagnostic apparatus 50 which concerns on 2nd Embodiment.
  • FIG. 1 is a block diagram showing a configuration of the equipment diagnosis system 1 according to the first embodiment of the present invention.
  • the equipment diagnosis system 1 collects information (captured images) representing the state of the equipment 40, and diagnoses whether or not oil or water is attached to the equipment 40 based on the collected captured images. It is a system.
  • the equipment 40 is, for example, a power equipment, a communication equipment, or the like that constitutes a social infrastructure. Although one equipment 40 is shown in FIG. 1 for convenience of explanation, the number of equipment 40 to be diagnosed by the equipment diagnosis system 1 may be plural.
  • the equipment diagnosis system 1 is broadly divided into an equipment diagnosis device 10, an image pickup device 20, and a management terminal device 30.
  • the image pickup device 20 is an example of an image pickup means.
  • the image pickup device 20 is communicably connected to the equipment diagnosis device 10 via a communication network such as the Internet.
  • the image pickup apparatus 20 includes a near-infrared camera 21 and n (n is an arbitrary integer of 2 or more) interference filters 22-1 to 22-n.
  • n is an arbitrary integer of 2 or more
  • the interference filters 22-1 to 22-n may be collectively referred to as an interference filter 22 or any of them may be referred to as an interference filter 22.
  • the near-infrared camera 21 is a camera that captures images by near-infrared rays.
  • Near infrared rays are electromagnetic waves having a wavelength of about 0.7-2.5 ⁇ m (micrometers) and have a wavelength close to that of red visible light.
  • Near-infrared rays have unique absorption and reflection characteristics for each of oil and water, as will be described later.
  • Interference filters 22-1 to 22-n are filters that transmit near infrared rays with wavelengths near a specific wavelength (center wavelength), and the center wavelengths are different from each other.
  • the image pickup apparatus 20 can image the equipment 40 at each of a plurality of wavelengths in the near-infrared band by switching the interference filter 22 installed in front of the lens of the near-infrared camera 21.
  • the equipment diagnostic device 10 is, for example, an information processing device such as a server, and specifically, a device such as the information processing device 900 exemplified in FIG. 12 described later.
  • the equipment diagnosis device 10 includes a control unit 11, a setting unit 12, a generation unit 13, a correction unit 14, a determination unit 15, and a storage unit 16.
  • the control unit 11, the setting unit 12, the generation unit 13, the correction unit 14, and the determination unit 15 are examples of the control means, the setting means, the generation means, the correction means, and the determination means in order.
  • the management terminal device 30 is an information processing device such as a personal computer, and is communicably connected to the equipment diagnosis device 10.
  • the management terminal device 30 is used as a user interface, for example, when a worker inputs information to the equipment diagnosis device 10 or when a worker confirms the content of information output from the equipment diagnosis device 10. It is a device to be used.
  • the storage unit 16 is a non-volatile storage device such as the RAM (Random Access Memory) 903 or the hard disk 904 illustrated in FIG. 12, for example.
  • the storage unit 16 stores a near-infrared image captured image 161, a black level image 162, a uniform surface image captured image 163, a shading correction image 164, characteristic information 165, and a learning model 166 for determination, which will be described later.
  • the control unit 11 controls the image pickup device 20 so as to image the equipment 40 while switching the interference filter 22 installed in front of the lens of the near-infrared camera 21. Therefore, the equipment diagnostic device 10 can acquire the near-infrared image captured image 161 in which the equipment 40 is imaged individually at a plurality of wavelengths in the near-infrared band at substantially the same timing from the image pickup device 20.
  • the equipment diagnostic apparatus 10 performs shading correction on the near-infrared image captured image 161 in order to improve the accuracy of analyzing the near-infrared image image 161.
  • Shading means that the farther a pixel is from a pixel in a certain part (for example, the central part), the lower the brightness of the image is taken (that is, the peripheral part is darker than the central part of the captured image). It is a phenomenon.
  • the equipment diagnostic apparatus 10 generates a shading correction image 164 as a preprocessing for performing shading correction on the near-infrared image captured image 161.
  • the control unit 11 switches the interference filter 22 installed in front of the lens of the near-infrared camera 21, and sets the image pickup device 20 so as to image a surface having uniform light reflection characteristics prepared by, for example, a worker or the like. Control.
  • a surface with uniform light reflection characteristics is, for example, a surface uniformly painted with the same color, and a uniform surface that expresses shading characteristics as it is by imaging a surface with uniform light reflection characteristics.
  • the captured image 163 is obtained.
  • the equipment diagnostic device 10 stores the uniform surface captured image 163 in the storage unit 16.
  • the equipment diagnostic apparatus 10 also performs a process of correcting an image based on a black level (hereinafter, may be referred to as a black level correction) when generating an image 164 for shading correction.
  • the black level is the minimum output value of a digital camera when an image is taken in a light-shielded environment.
  • the minimum output value of the digital camera may not be zero. This is because the lower limit of the sensor output of the digital camera and the lower limit of the input range of the AD (Analog Digital) converter of the digital camera do not match, and the offset is performed.
  • the equipment diagnostic apparatus 10 corrects the black level. You do not have to do.
  • the control unit 11 switches the interference filter 22 installed in front of the lens of the near-infrared camera 21 in order to correct the image based on the black level, and takes an image in a light-shielded environment prepared by, for example, a worker or the like.
  • the image pickup device 20 is controlled so as to do so.
  • the equipment diagnostic apparatus 10 stores the black level image 162 representing the black level obtained thereby in the storage unit 16.
  • the correction unit 14 subtracts the brightness of the black level image 162 from the brightness of the uniform surface captured image 163 for each wavelength (that is, the uniform surface captured image 163 is corrected to the black level) for shading correction.
  • the equipment diagnosis device 10 stores the generated shading correction image 164 in the storage unit 16.
  • the equipment diagnostic apparatus 10 may perform the operation of generating the shading correction image 164 described above once in advance for each interference filter 22. That is, the equipment diagnostic apparatus 10 does not have to generate the shading correction image 164 every time the shading correction is performed on the near-infrared image captured image 161 described later.
  • FIG. 2 is a diagram illustrating an embodiment of a near-infrared image captured image 161 before and after shading correction is performed by the correction unit 14 according to the present embodiment.
  • the near-infrared image 161 exemplified in FIG. 2 is an image in which the gravel on the ground where the equipment 40 is installed is imaged. That is, in the example shown in FIG. 2, the equipment diagnostic apparatus 10 determines whether or not oil or water adheres to the gravel on the ground on which the equipment 40 is installed, for example, by flowing oil or water from the equipment 40. do.
  • the near-infrared image 161 before shading correction is imaged darker in the peripheral portion than in the central portion of the image due to the shading described above.
  • the shading correction image 164 for example, the brightness of the pixel in the central portion is the highest, and the pixel farther from the pixel in the central portion is captured with the lower brightness.
  • the correction unit 14 performs the above-mentioned black level correction on the near-infrared image captured image 161 before performing the shading correction on the near-infrared image image 161. That is, the correction unit 14 subtracts the brightness of the black level image 162 from the brightness of the near-infrared image captured image 161 for each pixel.
  • the correction unit 14 performs shading correction on the near-infrared image image 161 that has undergone black level correction by using the shading correction image 164. More specifically, the correction unit 14 divides the brightness of each pixel of the shading correction image 164 by the brightness of the pixel having the highest brightness (for example, the pixel in the central portion) in the shading correction image 164, and shading for each pixel. Calculate the correction factor. That is, the coefficient of shading correction is 1 for the pixel having the highest luminance in the image for shading correction 164, and the value becomes smaller as the pixel has the lower luminance, which is a coefficient taking a value between 0 and 1.
  • the correction unit 14 performs shading correction by dividing the brightness of each pixel of the near-infrared image 161 by the shading correction coefficient calculated as described above. By this shading correction, the correction unit 14 increases the degree of increasing the brightness of the near-infrared image 161 as the brightness is lower (for example, in the example of FIG. 2, the pixel farther from the central pixel).
  • the equipment diagnostic device 10 stores the near-infrared image captured image 161 after shading correction illustrated in FIG. 2 in the storage unit 16.
  • the near-infrared captured image 161 in the following description indicates the near-infrared captured image 161 after shading correction.
  • the setting unit 12 sets the detection area (first area) and the reference area (second area) based on a predetermined reference.
  • the detection area is an area to be determined in the near-infrared image captured image 161 when determining whether or not oil or water is attached to the equipment 40.
  • the reference area is an area different from the detection area in the near-infrared captured image 161.
  • FIG. 3 is a diagram illustrating a reference area and a detection area set by the setting unit 12 according to the present embodiment.
  • the setting unit 12 sets the area inside the ellipse in the near-infrared image captured image 161 as the detection area, and sets the area inside the rectangle as the reference area.
  • the reference area and the detection area illustrated in FIG. 3 are examples, and the setting unit 12 may set a reference area and a detection area different from those in FIG.
  • the setting unit 12 may set the detection area based on the information specifying the detection area input by the worker via the management terminal device 30, for example.
  • the near-infrared camera 21 zooms in or out of the equipment 40 to take an image, or moves the place of the image pickup target in the equipment 40 by an input operation to the management terminal device 30 by the worker.
  • the near-infrared camera 21 includes the area where oil or water is suspected to adhere to the detection area displayed on the screen, and the oil or water is included in the detection area.
  • the equipment 40 is adjusted to image the equipment 40 so that the area where no adhesion is suspected is included in the reference area displayed on the screen.
  • the setting unit 12 sets a region where oil or water is suspected to adhere as a detection area as a result of performing a simple image analysis process on the near-infrared captured image 161 and sets the other region as a reference area. You may.
  • the generation unit 13 generates characteristic information 165 representing the transmission characteristics of the near infrared rays of the interference filter 22 and the spectral intensity characteristics of the near infrared rays.
  • the near-infrared transmission characteristics of the individual interference filters 22 are not uniform, for example, the transmittance of the near-infrared rays is usually different between the individual interference filters 22. Further, the intensity of the near-infrared ray used when the image pickup apparatus 20 takes an image differs depending on the wavelength of the near-infrared ray.
  • FIG. 4 is a graph showing the relationship between the wavelength of sunlight and the spectral intensity.
  • the source of the graph shown in FIG. 4 is shown in Non-Patent Document 1.
  • the spectral intensity of sunlight on the surface of the earth varies greatly depending on the wavelength. This is because there is a component of wavelength that is absorbed by the atmosphere before sunlight reaches the surface of the earth. Even in the case of artificial light, the spectral intensity differs for each wavelength depending on the characteristics of the light source.
  • the near-infrared image 161 with respect to a plurality of wavelengths captured while switching the plurality of interference filters 22 is an image captured by the near-infrared rays whose intensities are not uniform for each wavelength.
  • the equipment diagnostic apparatus 10 determines whether or not oil or water adheres to the equipment 40, the use of such near-infrared image captured images 161 for a plurality of wavelengths causes a decrease in determination accuracy. .. Therefore, the equipment diagnostic apparatus 10 corrects (normalizes) the near-infrared image captured image 161 so as to eliminate the difference in the intensity of the near-infrared ray among the plurality of wavelengths based on the characteristic information 165 generated by the generation unit 13. )There is a need to.
  • the generation unit 13 may generate characteristic information 165 representing either the near-infrared ray transmission characteristic of the interference filter 22 or the near-infrared ray spectral intensity characteristic.
  • the generation unit 13 calculates the first average value of the brightness of the pixels in the reference area for all of the near-infrared captured images 161 with respect to a plurality of wavelengths. The generation unit 13 also calculates a second average value of the brightness of the pixels in the reference area for each of the near-infrared captured images 161 for a plurality of wavelengths. Then, the generation unit 13 generates a normalization coefficient representing the ratio of the first average value and the second average value as the characteristic information 165 for each of the plurality of wavelengths. More specifically, the generation unit 13 calculates the value obtained by dividing the first average value by the second average value as the normalization coefficient.
  • the image pickup device 20 includes three interference filters 22-1 to 22-3, and the brightness of the pixels in the reference area in the three near-infrared captured images 161 imaged using the interference filters 22-1 to 22-3.
  • the ratio of the average values of is 1: 1.2: 0.8.
  • the generation unit 13 calculates the normalization coefficients for the three near-infrared captured images 161 imaged using the interference filters 22-1 to 22-3 as 1, 0.83 and 1.25, respectively. ..
  • the correction unit 14 corrects (normalizes) the brightness of the pixels by multiplying the brightness of the pixels of each near-infrared image 161 by the normalization coefficient calculated for each near-infrared image 161.
  • the correction unit 14 refers to the near-infrared captured image 161 for the interference filter 22-1. Therefore, the brightness of the pixel is multiplied by 1 (that is, it is not corrected). Then, the correction unit 14 corrects the near-infrared image 161 related to the interference filter 22-2 to reduce the pixel brightness by 0.83 times, and corrects the near-infrared image 161 related to the interference filter 22-3. Then, the correction is performed to increase the brightness of the pixel by 1.25 times.
  • the correction unit 14 stores the near-infrared image captured image 161 in which the brightness of the pixels is normalized as described above in the storage unit 16.
  • the equipment diagnostic apparatus 10 determines whether or not oil or water is attached to the equipment 40 by performing a process described later using the near-infrared image captured image 161 in which the brightness of the pixels is normalized.
  • the wavelength of near infrared rays used for imaging will be described.
  • FIG. 5 is a graph showing the relationship between the wavelength of the near infrared ray and the brightness of the portion to which oil is attached in the near infrared ray captured image 161. It can be said that the shape of the curve shown in FIG. 5 represents the absorption characteristics of near-infrared rays possessed by oil.
  • FIG. 6 is a graph showing the relationship between the wavelength of the near infrared ray and the brightness of the portion to which water adheres in the near infrared ray captured image 161. It can be said that the shape of the curve shown in FIG. 6 represents the absorption characteristics of near-infrared rays possessed by water.
  • the rate of decrease in brightness due to absorption of near infrared rays depends on the film thickness of oil or water, and the thicker the film thickness of oil or water, the lower the brightness.
  • 5 and 6 are also near-infrared captured images suitable for determining whether or not oil or water is attached to the equipment 40 in an artificial light imaging environment such as when the equipment 40 is indoors.
  • the wavelengths of the near-infrared rays that image 161 are indicated by circles.
  • the wavelength is 1200 nm (nanometers) and the brightness is the minimum (that is, the valley portion in the curve) near 1400 nm. ..
  • the wavelength of 1200 nm and 1400 nm is a characteristic wavelength in the absorption characteristics of near infrared rays of oil.
  • the curve representing the brightness draws a mountainous curve due to the characteristics of the oil.
  • the equipment diagnosis system 1 has a wavelength of 1200 nm, which is a characteristic wavelength of the above-mentioned oil near-infrared absorption characteristic, as a wavelength of the near-infrared ray for capturing the near-infrared image 161. 1400 nm is used. That is, in this case, the image pickup apparatus 20 includes two interference filters 22-1 and 22-2 having a center wavelength of 1200 nm and 1400 nm.
  • NDOI Normalized Difference Oil Index
  • NDIO is a value between -1 and 1, which represents the correlation (difference in brightness) of the brightness of the pixels of the near-infrared image 161 between the two wavelengths of the near-infrared image that captures the near-infrared image 161. It is an index to take. That is, the NDOI xy with respect to the two wavelengths Xnm and Ynm of the near infrared rays is expressed as in Equation 1.
  • I x and I y represent the luminance of the pixel of the near-infrared image 161 when the wavelength of the near-infrared ray is X nm and Y nm.
  • "-" and "+” are operators representing subtraction and addition in order.
  • NDOI 1400-1200 when oil is attached to the equipment 40, NDOI 1400-1200 has a value near 0.
  • the absolute value of the NDIO 1400-1200 when water is attached to the equipment 40, the absolute value of the NDIO 1400-1200 is a large negative value.
  • the determination unit 15 shown in FIG. 1 uses the NDOI 1400-1200 to formulate the NDOI 1400-1200 for each pixel included in the detection area of the near-infrared image captured image 161 in an imaging environment in which the equipment 40 is imaged by artificial light. Is calculated using. Then, when the NDOI 1400-1200 has a value near 0 with respect to the pixel, the determination unit 15 determines that oil has adhered to the equipment 40. Then, the determination unit 15 determines that water has adhered to the equipment 40 when the absolute value of the NDOI 1400-1200 has a large negative value with respect to the pixel.
  • the equipment diagnosis system 1 uses two wavelengths of near infrared rays, but the equipment diagnosis system 1 may use the third wavelength of near infrared rays in order to further improve the determination accuracy. good.
  • the equipment diagnostic system 1 uses 1300 nm as an example of this third wavelength.
  • the third wavelength is not limited to 1300 nm.
  • the equipment diagnostic system 1 may use any wavelength in the near-infrared band other than 1200 nm and 1400 nm as the third wavelength.
  • the equipment diagnostic system 1 closes to any wavelength that satisfies, for example, the NDOI for 1200 nm and the third wavelength, and the NDOI for the 1400 nm and the third wavelength, where the values are clearly different between oil and water. It may be used as the third wavelength of infrared rays.
  • the image pickup apparatus 20 includes an interference filter 22-3 having a center wavelength of 1300 nm.
  • NDOI 1300-1200 when oil is attached to the equipment 40, NDOI 1300-1200 has a positive value and NDOI 1400-1300 has a negative value.
  • the NDOI 1300-1200 when water is attached to the equipment 40, the NDOI 1300-1200 has a value near 0, and the NDOI 1400-1300 has a large absolute negative value.
  • the determination unit 15 shown in FIG. 1 has NDOI 1300-1200 and NDOI for each pixel included in the detection area of the near-infrared image captured image 161 in the image pickup environment in which the equipment 40 is imaged by artificial light. 1400-1300 is calculated using Equation 1. Then, the determination unit 15 determines that oil has adhered to the equipment 40 when NDOI 1300-1200 has a positive value and NDOI 1400-1300 has a negative value with respect to the pixel. Then, when the NDOI 1300-1200 has a value near 0 and the absolute value of the NDOI 1400-1300 has a large negative value with respect to the pixel, the determination unit 15 determines that water has adhered to the equipment 40.
  • the determination unit 15 has oil or water adhering to the equipment 40. It may be determined that there is.
  • the predetermined criterion is represented by, for example, a range of values of NDOI.
  • the determination unit 15 or, for example, when the ratio of the pixels included in the detection area of the near-infrared image captured image 161 that satisfy the predetermined determination criteria indicating the contents described above by the NDOI is equal to or greater than the predetermined threshold value. It may be determined that oil or water is attached to the equipment 40.
  • the determination unit 15 may use the criteria shown by the learning model 166 for determination in the above-mentioned determination.
  • the discriminant trained model 166 is a model constructed as a result of machine learning, which represents the relationship between NDOI and oil or water adhering to the equipment 40.
  • the determination unit 15 determines as teacher data the actual data showing the relationship between NDOI and oil or water adhering to the equipment 40 for various equipments 40 installed in various places having different imaging environments. Generate or update the trained model 166.
  • FIG. 7 is a graph showing the relationship between the wavelength of the near infrared ray and the brightness of the portion to which oil is attached in the near infrared ray captured image 161, as in FIG.
  • FIG. 8 is a graph showing the relationship between the wavelength of the near infrared ray and the brightness of the portion to which water or ice is attached in the near infrared ray captured image 161, similarly to FIG. 7 and 8 show near-infrared rays, which are suitable for determining whether or not oil or water is attached to the equipment 40 in an image pickup environment using sunlight on the ground, for example, when the equipment 40 is outdoors.
  • the wavelength of the near infrared ray that captures the captured image 161 is indicated by a circle.
  • the equipment diagnosis system 1 when it is determined whether or not oil or water is attached to the equipment 40 in an imaging environment using artificial light.
  • Near infrared rays with wavelengths of 1200 nm and 1400 nm are used.
  • sunlight on the ground sufficiently contains near-infrared rays having a wavelength of 1200 nm, but hardly contains near-infrared rays having a wavelength of 1400 nm. Therefore, the equipment diagnosis system 1 cannot use near infrared rays having a wavelength of 1400 nm in an imaging environment using sunlight on the ground.
  • near infrared rays having a wavelength of 1600 nm are used instead of near infrared rays having a wavelength of 1400 nm.
  • the wavelength of 1600 nm is a wavelength at which the intensity of near-infrared rays contained in sunlight on the ground satisfies a standard (for example, being equal to or higher than a threshold value). That is, near-infrared rays having a wavelength of 1600 nm are sufficiently contained as a component in sunlight on the ground.
  • the image pickup apparatus 20 includes two interference filters 22-1 and 22-2 having 1200 nm and 1600 nm as central wavelengths.
  • NDOI 1600-1200 when oil is attached to the equipment 40, NDOI 1600-1200 is a positive value.
  • NDOI 1600-1200 when water is attached to the equipment 40, NDOI 1600-1200 has a negative value.
  • the determination unit 15 shown in FIG. 1 determines the NDOI 1600-1200 for each pixel included in the detection area of the near-infrared image captured image 161 in an imaging environment in which the equipment 40 is imaged by sunlight on the ground. Calculated using Equation 1. Then, when the NDOI 1600-1200 has a positive value with respect to the pixel, the determination unit 15 determines that oil has adhered to the equipment 40. Then, when the NDOI 1600-1200 has a negative value with respect to the pixel, the determination unit 15 determines that water has adhered to the equipment 40.
  • the equipment diagnosis system 1 uses two wavelengths of near infrared rays, but the equipment diagnosis system 1 has an imaging environment in which the equipment 40 is imaged by artificial light in order to further improve the determination accuracy.
  • the third wavelength of near infrared rays may be used. According to the graphs shown in FIGS. 7 and 8, the equipment diagnosis system 1 is.
  • 1050 nm is used.
  • near-infrared rays having a wavelength of 1050 nm are sufficiently contained as a component in sunlight on the ground.
  • the third wavelength is not limited to 1050 nm.
  • the equipment diagnostic system may use any wavelength other than 1200 nm and 1600 nm, which is sufficiently contained in sunlight on the ground as a component thereof and is smaller than 1200 nm in the near infrared band, as the third wavelength.
  • the equipment diagnostic system 1 may use, for example, any wavelength that satisfies the distinct difference between oil and water for NDOI for 1200 nm and the third wavelength as the third wavelength of the near infrared.
  • the image pickup apparatus 20 includes an interference filter 22-3 having a center wavelength of 1050 nm.
  • NDOI 1200-1050 when oil is attached to the equipment 40, NDOI 1200-1050 has a negative value and NDOI 1600-1200 has a positive value.
  • NDOI 1200-1050 when water is attached to the equipment 40, NDOI 1200-1050 has a value near 0, and NDOI 1600-1200 has a negative value.
  • the determination unit 15 shown in FIG. 1 has NDOI 1200-1050 and NDOI 1200-1050 for each pixel included in the detection area of the near-infrared image captured image 161 in an imaging environment in which the equipment 40 is imaged by sunlight on the ground.
  • NDOI 1600-1200 is calculated using Equation 1. Then, when the NDOI 1200-1050 has a negative value and the NDOI 1600-1200 has a positive value with respect to the pixel, the determination unit 15 determines that oil has adhered to the equipment 40. Then, when the NDOI 1200-1050 has a value near 0 and the NDOI 1600-1200 has a negative value with respect to the pixel, the determination unit 15 determines that water has adhered to the equipment 40.
  • the determination unit 15 is, for example, when the average value of the NDOIs of the pixels included in the detection area of the near-infrared image captured image 161 satisfies a predetermined determination criterion. , It may be determined that oil or water is attached to the equipment 40.
  • the determination unit 15 or, for example, when the ratio of the pixels included in the detection area of the near-infrared image captured image 161 to which the pixels satisfying the predetermined determination criteria by NDOI is equal to or more than the predetermined threshold value, oil or the equipment 40 is used. It may be determined that water is attached.
  • the determination unit 15 may also use the criteria indicated by the determination learned model 166 in the above-mentioned determination.
  • the determination unit 15 displays the determination result regarding the adhesion of oil or water to the equipment 40 on the display screen of the management terminal device 30.
  • FIG. 9 is a flowchart showing the operation of the equipment diagnosis system 1 according to the present embodiment to generate the shading correction image 164.
  • the control unit 11 controls the image pickup device 20 so as to image a surface having uniform light reflection characteristics prepared by a worker or the like while switching the interference filter 22.
  • the control unit 11 acquires the uniform surface image pickup image 163 imaged by the image pickup apparatus 20, and stores the acquired uniform surface image pickup image 163 in the storage unit 16 (step S101).
  • the control unit 11 controls the image pickup device 20 so as to perform image pickup in a light-shielding environment prepared by a worker or the like while switching the interference filter 22.
  • the control unit 11 acquires the black level image 162 captured by the image pickup apparatus 20, and stores the acquired black level image 162 in the storage unit 16 (step S102).
  • the correction unit 14 generates a shading correction image 164 for each interference filter 22 by subtracting the brightness of the black level image 162 from the brightness of the uniform surface captured image 163 for each pixel.
  • the correction unit 14 stores the generated shading correction image 164 in the storage unit 16 (step S103), and the entire process is completed.
  • FIG. 10 is a flowchart showing an operation of the equipment diagnosis system 1 according to the present embodiment to determine whether or not oil or water is attached to the equipment 40.
  • the control unit 11 controls the image pickup device 20 so as to image the equipment 40 while switching the interference filter 22.
  • the control unit 11 acquires the near-infrared image captured image 161 imaged by the image pickup device 20, and stores the acquired near-infrared image image 161 in the storage unit 16 (step S201).
  • the correction unit 14 subtracts the brightness of the black level image 162 from the brightness of the near-infrared image captured image 161 for each pixel, and then shades the near-infrared image image 161 using the shading correction image 164.
  • the correction unit 14 stores the shading-corrected near-infrared image image 161 in the storage unit 16 (step S202).
  • the setting unit 12 sets the detection area and the reference area in the near-infrared image captured image 161 based on a predetermined reference (step S203).
  • the correction unit 14 calculates the average value of the brightness of the pixels in the reference area of the near-infrared image captured image 161 (step S204).
  • the correction unit 14 calculates the normalization coefficient for the near-infrared captured image 161 of each wavelength based on the average value of the brightness of the pixels in the reference area (step S205).
  • the correction unit 14 normalizes the brightness of the pixels of the near-infrared image captured image 161 of each wavelength by using the calculated normalization coefficient (step S206).
  • the determination unit 15 calculates the NDOI based on the brightness of the pixels in the detection area of the near-infrared image captured image 161 of each wavelength (step S207). The determination unit 15 determines the adhesion of oil or water in the equipment 40 based on the calculated NDIO and the learning model 166 for determination (step S208), and the entire process is completed.
  • the equipment diagnosis system 1 can improve the accuracy of determining the type of liquid adhering to the equipment.
  • the reason is that the equipment diagnostic system 1 captures the equipment 40 at each of a plurality of wavelengths in the near-infrared band, and either the first liquid or the second liquid having different near-infrared absorption characteristics for the plurality of wavelengths. This is because it is determined based on the captured image whether or not it is attached to the equipment 40.
  • the liquid adhering to the equipment can be seen from the image of the equipment without the need for a person to patrol and inspect each equipment to check for the occurrence of oil leaks. It is considered possible to determine the type of.
  • the judgment accuracy cannot be said to be sufficiently high based on the magnitude of the influence of the failure of the equipment constituting the social infrastructure on people's lives, and the problem is to further improve the judgment accuracy.
  • the equipment diagnosis system 1 includes a control unit 11 and a determination unit 15, and operates as described above with reference to, for example, FIGS. 1 to 10. That is, the control unit 11 controls the image pickup device 20 so as to image the equipment 40 at each of the plurality of wavelengths in the near infrared band. Then, the determination unit 15 determines whether or not any of the first and second liquids having different near-infrared absorption characteristics with respect to the plurality of wavelengths adheres to the equipment 40 by the image pickup device 20. Judgment is made based on the infrared captured image 161.
  • the equipment diagnosis system 1 utilizes the fact that the near-infrared absorption characteristics of oil (first liquid) and water (second liquid) are different from each other with respect to a plurality of wavelengths of near-infrared rays. Then, in the equipment diagnosis system 1, either oil or water is used based on the fact that the difference in absorption characteristics appears as a difference in brightness in the near-infrared image captured image 161 in which the equipment 40 is imaged with near-infrared rays having a plurality of wavelengths. It is determined whether or not it is attached to the equipment 40. Thereby, the equipment diagnosis system 1 according to the present embodiment can improve the accuracy of determining the type of the liquid adhering to the equipment 40 from the near-infrared image captured image 161.
  • the equipment diagnosis system 1 calculates the value of an index such as NDOI, which represents the difference in luminance between a plurality of wavelengths with respect to the pixels included in the near-infrared image captured image 161. Then, the equipment diagnosis system 1 determines whether or not oil or water is attached to the equipment 40 based on the calculated index value and the determination standard. As described above, the equipment diagnosis system 1 makes a determination based on the value of an index such as NDOI that clearly indicates the difference in the absorption characteristics of near infrared rays between oil and water, so that the determination accuracy can be improved. can.
  • the index used by the equipment diagnosis system 1 is not limited to NDOI, and the equipment diagnosis system 1 may use an index different from that of NDOI.
  • the equipment diagnosis system 1 generates a trained model 166 for determination showing the relationship between the value of the index and the fact that oil or water is attached to the equipment 40. Then, the equipment diagnosis system 1 determines whether or not oil or water is attached to the equipment 40 by using the learning model 166 for determination. That is, the equipment diagnosis system 1 can gradually improve the determination accuracy through machine learning related to the determination.
  • the equipment diagnosis system 1 includes, as the wavelength of the near infrared rays for imaging the equipment 40, the wavelength at which at least one of oil and water has the highest absorption rate of near infrared rays, or sunlight on the ground. Use a wavelength whose near-infrared intensity meets the criteria. As described above, since the equipment diagnosis system 1 uses near infrared rays having a wavelength suitable for determining whether or not oil or water is attached to the equipment 40, the determination accuracy can be surely improved.
  • the NDIO I 1400-1200 is a value near 0.
  • absorption of near infrared rays by the liquid does not occur, so that the NDOI 1400-1200 has a value near 0 as well. That is, when one NODI of NDOI 1400-1200 is used for the determination, it becomes difficult to distinguish between the fact that oil is attached to the equipment 40 and the fact that neither oil nor water is attached to the equipment 40.
  • the equipment diagnosis system 1 captures the equipment 40 with near-infrared rays having three wavelengths to obtain two NDIOs (for example, NDoi). Judgment is made based on the value of 1300-1200 , NDIO 1400-1300 ).
  • NDOI 1300-1200 is a positive value
  • NDOI 1400-1300 is a negative value.
  • both NDOI 1300-1200 and NDOI 1400-1300 have values near 0. Therefore, the equipment diagnosis system 1 can distinguish between the fact that oil is attached to the equipment 40 and the fact that neither oil nor water is attached to the equipment 40, so that the determination accuracy can be further improved.
  • the rate of decrease in brightness due to absorption of near infrared rays by oil or water depends on the film thickness of oil or water. Therefore, for example, when the film thickness of oil is thick and the film thickness of water is thin, the NDOI value is the same. As shown in FIG. 11, it becomes difficult to discriminate.
  • the equipment diagnosis system 1 according to the present embodiment avoids such a problem and further improves the determination accuracy by combining the two NDIOs as shown in FIGS. 5, 6 and 11. Can be done.
  • NDOI 1600-1200 becomes a positive value when oil adheres to the equipment 40, but becomes an absolute value 0 when the thickness of the adhered oil is thin. It will be a close value.
  • NDOI 1600-1200 also has a value near 0. That is, when one NODI of NDOI 1600-1200 is used for judgment, it is difficult to distinguish between the fact that thin oil is attached to the equipment 40 and the fact that neither oil nor water is attached to the equipment 40. become.
  • the equipment diagnosis system 1 captures the equipment 40 with near infrared rays having three wavelengths as described above, thereby performing two NDIOs ( For example, the determination is made based on the value of NDOI 1200-1050 , NDOI 1600-1200 ).
  • NDOI 1200-1050 When oil is attached to the equipment 40, NDOI 1200-1050 has a negative value having a larger absolute value than NDOI 1600-1200 .
  • both NDOI 1200-1050 and NDOI 1600-1200 have values near 0. Therefore, the equipment diagnosis system 1 can distinguish between the fact that thin oil is attached to the equipment 40 and the fact that neither oil nor water is attached to the equipment 40, so that the determination accuracy is further improved. be able to.
  • the rate of decrease in brightness due to absorption of near infrared rays by oil or water depends on the film thickness of oil or water. Therefore, for example, when the film thickness of oil is thin, nothing adheres to the equipment 40.
  • the NDOI values are equivalent to each other, and it is difficult to discriminate as shown in FIG.
  • the equipment diagnosis system 1 according to the present embodiment avoids such a problem and further improves the determination accuracy by combining the two NDIOs as shown in FIGS. 7, 8 and 12. Can be done.
  • the equipment 40 is imaged with near infrared rays having four or more wavelengths, so that oil or water is installed based on the values of three or more NDIOs. It may be determined whether or not it is attached to 40.
  • the equipment diagnosis system 1 further includes a generation unit 13 and a correction unit 14.
  • the generation unit 13 generates characteristic information 165 representing at least one of the near-infrared transmission characteristics and the near-infrared spectral intensity characteristics of the plurality of interference filters 22.
  • the correction unit 14 performs normalization, shaving correction, and black level correction based on the characteristic information 165 for the near-infrared image captured image 161. As a result, the equipment diagnosis system 1 can further improve the determination accuracy.
  • the equipment diagnosis system 1 further includes a setting unit 12.
  • the setting unit 12 sets the detection area (first area) where water or oil is presumed to be attached and the reference area (second area) where water or oil is presumed not to be attached. Set based on a predetermined standard.
  • the generation unit 13 generates the characteristic information 165 based on the brightness of the pixels included in the reference area.
  • the equipment diagnosis system 1 can further improve the determination accuracy.
  • the equipment diagnosis system 1 according to the present embodiment does not require, for example, the lighting means (light source) provided in the above-mentioned Patent Documents 1 to 3.
  • the equipment diagnosis system 1 can avoid the above-mentioned problems by not providing the lighting means.
  • the target for determining that the equipment diagnosis system 1 has adhered to the equipment 40 is not limited to oil and water.
  • the equipment diagnostic system may determine the types of liquids other than oil and water that have different near-infrared absorption characteristics depending on the wavelength of the near-infrared.
  • FIG. 13 is a block diagram showing a configuration of the equipment diagnosis system 50 according to the second embodiment of the present invention.
  • the equipment diagnosis system 50 includes a control unit 51 and a determination unit 52.
  • the control unit 51 and the determination unit 52 are, in order, examples of the control means and the determination means.
  • the control unit 51 controls the image pickup unit 60 so as to image the equipment 70 at each of a plurality of wavelengths in the near infrared band.
  • the image pickup unit 60 is an example of an image pickup means, and may be provided with a configuration such as a near-infrared camera 21 and an interference filter 22 as in the image pickup apparatus 20 according to the first embodiment. Then, the control unit 51 controls the image pickup unit 60, for example, in the same manner as the control unit 11 according to the first embodiment.
  • the determination unit 52 tells the image captured image 600 obtained by the image pickup unit 60 whether or not any of the first and second liquids having different near-infrared absorption characteristics for a plurality of wavelengths adheres to the equipment 70. Judgment based on.
  • the first and second liquids are, for example, oil and water, as in the first embodiment.
  • the determination unit 52 uses an index such as NDOI to determine whether or not any of the first and second liquids is attached to the equipment 70. May be determined.
  • the equipment diagnosis system 50 can improve the accuracy of determining the type of liquid adhering to the equipment.
  • the reason is that the equipment diagnostic system 50 captures the equipment 70 at each of the plurality of wavelengths in the near-infrared band, and either the first liquid or the second liquid having different near-infrared absorption characteristics for the plurality of wavelengths. This is because it is determined based on the captured image 600 whether or not it is attached to the equipment 70.
  • each part of the equipment diagnosis system 1 shown in FIG. 1 and the equipment diagnosis system 50 shown in FIG. 13 can be realized by a dedicated HW (HardWare) (electronic circuit). Further, in FIGS. 1 and 13, at least the following configuration can be regarded as a function (processing) unit (software module) of a software program. ⁇ Control units 11 and 51, ⁇ Setting unit 12, ⁇ Generation unit 13, ⁇ Correction unit 14, ⁇ Judgment units 15 and 52, -A memory control function in the storage unit 16.
  • FIG. 14 is a diagram schematically illustrating a configuration of an information processing device 900 (computer) capable of executing the equipment diagnosis device 10 according to the first embodiment of the present invention or the equipment diagnosis system 50 according to the second embodiment.
  • FIG. 14 is a configuration of a computer (information processing device) capable of realizing the equipment diagnosis device 10 shown in FIG. 1 and the equipment diagnosis system 50 shown in FIG. 13, and realizes each function in the above-described embodiment. Represents a possible hardware environment.
  • the information processing apparatus 900 shown in FIG. 14 includes the following components, but may not include some of the following components.
  • -CPU Central_Processing_Unit
  • -ROM Read_Only_Memory
  • RAM Random_Access_Memory
  • -Hard disk storage device
  • -Communication interface 905 with an external device ⁇ Bus 906 (communication line)
  • a reader / writer 908 that can read / write data stored in a recording medium 907 such as a CD-ROM (Compact_Disc_Read_Only_Memory), -Input / output interface 909 for monitors, speakers, keyboards, etc.
  • CD-ROM Compact_Disc_Read_Only_Memory
  • -Input / output interface 909 for monitors, speakers, keyboards, etc.
  • the information processing apparatus 900 including the above components is a general computer to which these components are connected via the bus 906.
  • the information processing apparatus 900 may include a plurality of CPUs 901 or may include a CPU 901 configured by a multi-core processor.
  • the information processing device 900 may include a GPU (Graphical_Processing_Unit) (not shown) in addition to the CPU 901.
  • the present invention described by taking the above-described embodiment as an example supplies the information processing apparatus 900 shown in FIG. 14 with a computer program capable of realizing the following functions.
  • the function is the above-mentioned configuration in the block configuration diagram (FIGS. 1 and 13) referred to in the description of the embodiment, or the function of the flowchart (FIGS. 9 and 10).
  • the present invention is then achieved by reading, interpreting, and executing the computer program in the CPU 901 of the hardware.
  • the computer program supplied in the apparatus may be stored in a readable / writable volatile memory (RAM 903) or a non-volatile storage device such as ROM 902 or a hard disk 904.
  • the procedure for example, there are a method of installing in the apparatus via various recording media 907 such as a CD-ROM, a method of downloading from the outside via a communication line such as the Internet, and the like.
  • the present invention can be regarded as being composed of a code constituting the computer program or a recording medium 907 in which the code is stored.
  • the determination means calculates the value of an index indicating the difference in luminance between the plurality of wavelengths with respect to the pixels included in the captured image, and based on the calculated value of the index and the determination criterion, the first. Whether or not the liquid of the above or the second liquid is attached to the equipment, The equipment diagnostic system described in Appendix 1.
  • the determination means calculates the value of the index obtained by dividing the difference in the luminance of the pixels at the first and second wavelengths included in the plurality of wavelengths by the sum of the luminances of the pixels.
  • the determination means generates a trained model showing the relationship between the value of the index and the fact that the first liquid or the second liquid is attached to the equipment, and the trained model is used to generate a trained model. Determining whether or not the first liquid or the second liquid is attached to the equipment.
  • the equipment diagnostic system according to Appendix 2 or Appendix 3.
  • At least one of the plurality of wavelengths satisfies the standard by the wavelength at which at least one of the first and second liquids has the highest absorption rate of near infrared rays, or the intensity of near infrared rays contained in sunlight on the ground.
  • Wavelength The equipment diagnosis system according to any one of Supplementary note 1 to Supplementary note 4.
  • the first liquid is oil and the second liquid is water.
  • the plurality of wavelengths When the imaging means images with near infrared rays contained in artificial light, it includes the vicinity of 1200 nanometers and the vicinity of 1400 nanometers.
  • the image pickup means takes an image by near infrared rays contained in sunlight on the ground surface, the image includes the vicinity of 1200 nanometers and the vicinity of 1600 nanometers.
  • the equipment diagnostic system according to Appendix 5.
  • the plurality of wavelengths When the imaging means images with near infrared rays contained in artificial light, it further includes a band having a wavelength excluding the vicinity of 1200 nanometers and the vicinity of 1400 nanometers. When the imaging means images with near-infrared rays included in sunlight on the ground surface, it further includes a band having a wavelength other than the vicinity of 1200 nanometers and the vicinity of 1600 nanometers.
  • the equipment diagnostic system according to Appendix 6.
  • the image pickup means includes a near-infrared camera and a plurality of interference filters having each of the plurality of wavelengths as a central wavelength.
  • the control means controls the image pickup means so as to image the equipment at each of the plurality of wavelengths at the same timing while switching the interference filter.
  • the equipment diagnosis system according to any one of Supplementary note 1 to Supplementary note 7.
  • the generation means is a normalization for each of the captured images, which represents the ratio of the average value of the brightness of the plurality of captured images captured by the plurality of interference filters to the average value of the brightness of each of the captured images.
  • the coefficient is calculated as the characteristic information, and
  • the correction means corrects the captured image by weighting the brightness of each captured image by the normalization coefficient.
  • the correction means performs shading correction in which the pixel having the highest brightness in the captured image is used as a reference, and the pixel whose brightness is lower than the reference increases the degree of increasing the brightness.
  • the equipment diagnostic system according to Appendix 9 or Appendix 10.
  • the correction means performs shading correction using a shading correction image in which a surface having uniform light reflection characteristics is captured.
  • the correction means subtracts the brightness of the image captured in the light-shielded environment from the brightness of the captured image and the shading correction image.
  • the equipment diagnostic system according to Appendix 12.
  • the image pickup means is further provided.
  • the equipment diagnosis system according to any one of Supplementary note 1 to Supplementary note 14.
  • Control processing that controls the imaging means to image the equipment at each of multiple wavelengths in the near-infrared band, Judgment based on the captured image obtained by the imaging means whether or not any of the first and second liquids having different absorption characteristics of near infrared rays with respect to the plurality of wavelengths adheres to the equipment.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

設備診断システム５０は、近赤外線帯域における複数の波長の個々において、設備７０を撮像するように撮像部６０を制御する制御部５１と、当該複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが設備７０に付着しているか否かを、撮像部６０によって得られた撮像画像６００に基づいて判定する判定部５２と、を備えることによって、設備に付着した液体の種別を判定する精度を向上させる。

Description

設備診断システム、設備診断方法、及び、設備診断プログラムが格納された記録媒体
　本発明は、設備診断システム、設備診断方法、及び、設備診断プログラムが格納された記録媒体に関する。
　電力設備等の社会インフラにおいて、例えば油漏れなどの障害が発生した場合、人々の生活に多大な影響を及ぼすおそれがある。したがって、このような障害が発生しないように、社会インフラの点検及び診断を着実に行うことが重要である。しかしながら、点検の対象となる膨大な数の設備の点検は、通常、人が巡回することによって行われていることから、このような設備の点検及び診断を、高い精度でかつ効率的に行うことを実現する技術に対する期待が高まってきている。
　このような技術に関連する技術として、特許文献１には、漏れ検出の対象となる箇所を、漏れ検出の対象となる液体の吸光スペクトルを含む帯域の発光成分をもつ赤外光で照明して撮影した漏れのない状態（正常時）の画像と実際の画像とを比較して漏れを検出する漏れ検出方法が開示されている。この方法では、照明を消して撮影した漏れのない状態（正常時）の画像と実際の画像とを比較して漏れを検出し、両方の検出結果から漏れの判定を行う。
　また、特許文献２には、水に対する減衰が油に対する減衰よりも大きな波長を有する光を油漏れの検出対象領域へ投光する光源を備える油漏れ検出装置が開示されている。この装置は、当該光源から投光され検出対象領域で反射された反射光に基づき、油漏れの有無を判定する。
　また、特許文献３には、特定の物体による所定の吸収率を持つ第１波長の光と、当該特定の物体による吸収率が 当該第１波長よりも小さい第２波長の光とを、ターゲットに照射する分光装置が開示されている。この装置は、第１波長の光がターゲットを透過又は反射した第１の散乱光、及び第２波長の光がターゲットを透過又は反射した第２の散乱光を、それぞれ受光する。そしてこの装置は、受光した第１の散乱光と第２の散乱光との差異に基づいて、 ターゲットにおける特定の物体の検出に利用される情報を生成する。
特開平１０－２３９２０２号公報 特開２０１３－１０１０２８号公報 国際公開第２０１５／００８４３５号
　例えば上述した特許文献１乃至３が示す技術等を用いることによって、例えば油漏れの発生の有無の確認のために、人が各設備を巡回して点検することをしなくとも、設備を撮像した画像から、設備に付着した液体の種別をある程度は判定することは可能であると考えられる。しかしながら、特許文献１では、蛍光した光を見る必要があり、日中では見ることが難しく判定精度が高くない。特許文献２は、用いる波長が１つのみであり、閾値による判別方法であるが、輝度は膜厚により変化するので膜厚の影響で検知できない可能性があり、同様に判定精度が高くない。特許文献３では、油の判定には３．６μｍ（マイクロメートル）以上の中赤外線を利用しており、水の判定には、例えば１．４５μｍの波長を利用している。したがって、３．６μｍの波長だけでは水と油を判定することが出来ないため判定精度が高くない。このように特許文献１乃至３における判定精度は、社会インフラを構成する設備の障害が人々の生活に与える影響の大きさをふまえて、十分に高いとは言えず、当該判定精度をさらに高めることが課題である。
　本発明の主たる目的は、設備に付着した液体の種別を判定する精度を向上させることができる設備診断システム等を提供することにある。
　本発明の一態様に係る設備診断システムは、近赤外線帯域における複数の波長の個々において、設備を撮像するように撮像手段を制御する制御手段と、前記複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが前記設備に付着しているか否かを、前記撮像手段によって得られた撮像画像に基づいて判定する判定手段と、を備える。
　上記目的を達成する他の見地において、本発明の一態様に係る設備診断方法は、情報処理装置によって、近赤外線帯域における複数の波長の個々において、設備を撮像するように撮像手段を制御し、前記複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが前記設備に付着しているか否かを、前記撮像手段によって得られた撮像画像に基づいて判定する。
　また、上記目的を達成する更なる見地において、本発明の一態様に係る設備診断プログラムは、近赤外線帯域における複数の波長の個々において、設備を撮像するように撮像手段を制御する制御処理と、前記複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが前記設備に付着しているか否かを、前記撮像手段によって得られた撮像画像に基づいて判定する判定処理と、をコンピュータに実行させるためのプログラムである。
　更に、本発明は、係る設備診断プログラム（コンピュータプログラム）が格納された、コンピュータ読み取り可能な、不揮発性の記録媒体によっても実現可能である。
　本発明によれば、設備に付着した液体の種別を判定する精度を向上させることができる設備診断システム等が得られる。
本発明の第１の実施形態に係る設備診断システム１の構成を示すブロック図である。 本発明の第１の実施形態に係る補正部１４によるシェーディング補正を行う前後の近赤外線撮像画像１６１の態様を例示する図である。 本発明の第１の実施形態に係る設定部１２が設定するリファレンスエリア及び検知エリアを例示する図である。 太陽光の波長とスペクトル強度との関係を表すグラフである。 近赤外線の波長と近赤外線撮像画像１６１における油が付着した部分の輝度との関係と、人工光による撮像環境において、油または水の付着の判定に好適な近赤外線撮像画像１６１を撮像する近赤外線の波長を示すグラフである。 近赤外線の波長と近赤外線撮像画像１６１における水が付着した部分の輝度との関係と、人工光による撮像環境において、油または水の付着の判定に好適な近赤外線撮像画像１６１を撮像する近赤外線の波長を示すグラフである。 近赤外線の波長と近赤外線撮像画像１６１における油が付着した部分の輝度との関係と、地表における太陽光による撮像環境において、油または水の付着の判定に好適な近赤外線撮像画像１６１を撮像する近赤外線の波長を示すグラフである。 近赤外線の波長と近赤外線撮像画像１６１における水が付着した部分の輝度との関係と、地表における太陽光による撮像環境において、油または水の付着の判定に好適な近赤外線撮像画像１６１を撮像する近赤外線の波長を示すグラフである。 本発明の第１の実施形態に係る設備診断システム１が、シェーディング補正用画像１６４を生成する動作を示すフローチャートである。 本発明の第１の実施形態に係る設備診断システム１が、設備４０に油または水が付着しているか否かを判定する動作を示すフローチャートである。 本発明の第１の実施形態に係る設備診断システム１が、人工光による撮像環境において用いる、設備４０に油または水が付着している場合と何も付着していない状態とにおけるＮＤＯIの値の関係を示す図である。 本発明の第１の実施形態に係る設備診断システム１が、地表における太陽光による撮像環境において、設備４０に油または水が付着している場合と何も付着していない状態とにおけるＮＤＯIの値の関係を示す図である。 本発明の第２の実施形態に係る設備診断システム５０の構成を示すブロック図である。 本発明の第１の実施形態に係る設備診断装置１０あるいは第２の実施形態に係る設備診断システム５０を実行可能な情報処理装置９００の構成を示すブロック図である。
　以下、本発明の実施の形態について図面を参照して詳細に説明する。
　＜第１の実施形態＞
　図１は、本発明の第１の実施の形態に係る設備診断システム１の構成を示すブロック図である。本実施形態に係る設備診断システム１は、設備４０の状態を表す情報（撮像画像）を収集し、収集した撮像画像に基づいて、設備４０に油または水が付着しているか否かを診断するシステムである。設備４０は、例えば、社会インフラを構成する、例えば電力設備あるいは通信設備等である。尚、図１には説明の便宜上１つの設備４０を示しているが、設備診断システム１が診断の対象とする設備４０の数は複数でもよい。
　設備診断システム１は、大別して、設備診断装置１０、撮像装置２０、及び、管理端末装置３０を含んでいる。撮像装置２０は撮像手段の一例である。
　撮像装置２０は、設備診断装置１０と、例えばインターネット等の通信ネットワークを介して通信可能に接続されている。撮像装置２０は、近赤外線カメラ２１、及び、ｎ個（ｎは２以上の任意の整数）の干渉フィルタ２２－１乃至２２－ｎを備えている。但し、本実施形態では以降の説明において、干渉フィルタ２２－１乃至２２－ｎをまとめて、あるいは任意のいずれかを、干渉フィルタ２２と称する場合がある。
　近赤外線カメラ２１は、近赤外線により撮像するカメラである。近赤外線は、その波長が０．７－２．５μｍ（マイクロメートル）程度の電磁波であり、赤色の可視光線に近い波長を持つ。近赤外線は、後述する通り、油と水の個々に関して、特有の吸収特性及び反射特性を有する。
　干渉フィルタ２２－１乃至２２－ｎは、ある特定の波長（中心波長）の付近の波長の近赤外線を透過させるフィルタであり、その中心波長は互いに異なることとする。撮像装置２０は、近赤外線カメラ２１のレンズの前に設置する干渉フィルタ２２を切り替えることによって、近赤外線帯域における複数の波長の個々において、設備４０を撮像することができる。
　設備診断装置１０は、例えばサーバ等の情報処理装置であり、具体的には、後述する図１２に例示する情報処理装置９００のような装置である。設備診断装置１０は、制御部１１、設定部１２、生成部１３、補正部１４、判定部１５、及び、記憶部１６を備える。制御部１１、設定部１２、生成部１３、補正部１４、及び、判定部１５は、順に、制御手段、設定手段、生成手段、補正手段、及び、判定手段の一例である。
　管理端末装置３０は、例えばパーソナルコンピュータ等の情報処理装置であり、設備診断装置１０と通信可能に接続されている。管理端末装置３０は、例えば、作業員が設備診断装置１０に対して情報を入力する場合、あるいは、作業員が設備診断装置１０から出力された情報の内容を確認する場合に、ユーザインタフェースとして使用される装置である。
　記憶部１６は、例えば、図１２に例示するＲＡＭ（Random Access Memory）９０３あるいはハードディスク９０４のような不揮発性の記憶デバイスである。記憶部１６は、後述する近赤外線撮像画像１６１、黒レベル画像１６２、一様面撮像画像１６３、シェーディング補正用画像１６４、特性情報１６５、及び、判定用学習済モデル１６６を記憶している。
　制御部１１は、近赤外線カメラ２１のレンズの前に設置する干渉フィルタ２２を切り替えながら設備４０を撮像するように撮像装置２０を制御する。したがって、設備診断装置１０は、ほぼ同等のタイミングで近赤外線帯域における複数の波長の個々において設備４０を撮像した近赤外線撮像画像１６１を、撮像装置２０から取得することができる。
　本実施形態に係る設備診断装置１０は、近赤外線撮像画像１６１を分析する精度を高めるために、近赤外線撮像画像１６１に対してシェーディング補正を行う。シェーディングとは、撮像画像において、ある部分（例えば中心部分）の画素から遠い画素ほど、その輝度が低く撮像される（即ち、例えば撮像画像の中心部分と比較して周辺部分が暗く撮像される）現象である。設備診断装置１０は、近赤外線撮像画像１６１に対するシュエーディング補正を行うための前処理として、シェーディング補正用画像１６４を生成する。
　まず、設備診断装置１０がシェーディング補正用画像１６４を生成する動作について説明する。
　制御部１１は、近赤外線カメラ２１のレンズの前に設置する干渉フィルタ２２を切り替えながら、例えば作業員等によって準備された光の反射特性が一様な面を撮像するように、撮像装置２０を制御する。光の反射特性が一様な面とは、例えば同じ色で一様に塗られた面であり、光の反射特性が一様な面を撮像することによって、シェーディングの特性をそのまま表す一様面撮像画像１６３が得られる。設備診断装置１０は、一様面撮像画像１６３を記憶部１６に格納する。
　設備診断装置１０は、また、シェーディング補正用画像１６４を生成する際に、黒レベルをふまえて画像を補正する（以降、黒レベル補正と称する場合がある）処理を行う。黒レベルとは、遮光環境において撮像したときの、デジタルカメラの出力値の最低値のことである。
　遮光環境においてデジタルカメラによる撮像を行ったとしても、デジタルカメラの出力値の最低値が０にならない場合がある。これはデジタルカメラのセンサ出力の下限値と、デジタルカメラのＡＤ（Analog Digital）コンバータの入力レンジの下限値とが一致しておらず、オフセットが行われていることに起因する。尚、近赤外線カメラ２１の出力値に関して、上述した黒レベルに関する特性が無視できる（即ち、遮光環境における近赤外線カメラ２１の出力値がほぼ０である）場合、設備診断装置１０は、黒レベル補正を行わなくてもよい。
　制御部１１は、黒レベルをふまえた画像の補正処理を行うために、近赤外線カメラ２１のレンズの前に設置する干渉フィルタ２２を切り替えながら、例えば作業員等によって準備された遮光環境における撮像を行うように、撮像装置２０を制御する。設備診断装置１０は、これにより得られた黒レベルを表す黒レベル画像１６２を記憶部１６に格納する。
　補正部１４は、各波長に関して、画素ごとに、一様面撮像画像１６３の輝度から黒レベル画像１６２の輝度を減算した（即ち、一様面撮像画像１６３を黒レベル補正した）シェーディング補正用画像１６４を生成する。設備診断装置１０は、生成したシェーディング補正用画像１６４を記憶部１６に格納する。
　尚、設備診断装置１０は、上述したシェーディング補正用画像１６４を生成する動作を、各干渉フィルタ２２に関して事前に１度行えばよい。即ち、設備診断装置１０は、後述する近赤外線撮像画像１６１に対するシェーディング補正を行うたびに、シェーディング補正用画像１６４を生成しなくてもよい。
　次に、設備診断装置１０が、生成したシェーディング補正用画像１６４を用いて、設備４０を撮像した近赤外線撮像画像１６１をシェーディング補正する動作について説明する。
　図２は、本実施形態に係る補正部１４によるシェーディング補正を行う前後の、近赤外線撮像画像１６１の態様を例示する図である。図２に例示する近赤外線撮像画像１６１は、設備４０が設置された地面の砂利が撮像された画像である。即ち、図２に示す例では、設備診断装置１０は、例えば設備４０から油あるいは水が流れ落ちることによって、設備４０が設置された地面の砂利に、油あるいは水が付着しているか否かを判定する。
　図２に示す例では、シェーディング補正前の近赤外線撮像画像１６１は、上述したシェーディングにより、画像の中心部分と比較して周辺部分が暗く撮像されている。また、シェーディング補正用画像１６４は、例えば、中心部分の画素の輝度が最も高く、中心部分の画素から遠い画素ほど、その輝度が低く撮像されている。
　補正部１４は、近赤外線撮像画像１６１に対するシェーディング補正を行う前に、近赤外線撮像画像１６１に対して、上述した黒レベル補正を行う。即ち、補正部１４は、画素ごとに、近赤外線撮像画像１６１の輝度から黒レベル画像１６２の輝度を減算する。
　補正部１４は、黒レベル補正を行った近赤外線撮像画像１６１に対して、シェーディング補正用画像１６４を使用して、シェーディング補正を行う。補正部１４は、より具体的には、シェーディング補正用画像１６４の各画素の輝度をシェーディング補正用画像１６４において輝度が最も高い画素（例えば中心部分の画素）の輝度で除算した、画素ごとのシェーディング補正の係数を算出する。即ち、シェーディング補正の係数は、シェーディング補正用画像１６４において輝度が最も高い画素に関しては１であり、輝度が低い画素ほどその値が小さくなる、０から１の間の値をとる係数である。
　補正部１４は、近赤外線撮像画像１６１の各画素の輝度を、上述の通りに算出したシェーディング補正の係数により除算することによってシェーディング補正を行う。補正部１４は、このシェーディング補正により、近赤外線撮像画像１６１において、輝度が低い画素ほど(例えば図２の例では、中心部分の画素から遠い画素ほど)、その輝度を高める度合いを大きくする。設備診断装置１０は、図２に例示するシェーディング補正後の近赤外線撮像画像１６１を記憶部１６に格納する。
　次に、設備診断装置１０が、シェーディング補正後の近赤外線撮像画像１６１に基づいて、設備４０に付着した液体の種別を判定する動作について説明する。尚、以降の説明における近赤外線撮像画像１６１は、シェーディング補正後の近赤外線撮像画像１６１を示すこととする。
　設定部１２は、所定の基準に基づいて、検知エリア（第１の領域）とリファレンスエリア（第２の領域）とを設定する。但し検知エリアは、近赤外線撮像画像１６１において、油あるいは水が設備４０に付着しているか否かを判定する際の判定対象となる領域である。リファレンスエリアは、近赤外線撮像画像１６１における検知エリアとは異なる領域である。
　図３は、本実施形態に係る設定部１２が設定するリファレンスエリア及び検知エリアを例示する図である。図３に例示する設定例１乃至設定例４において、設定部１２は、近赤外線撮像画像１６１における楕円形の内部の領域を検知エリアとして設定し、矩形の内部の領域をリファレンスエリアとして設定する。尚、図３に例示するリファレンスエリア及び検知エリアは一例であり、設定部１２は、図３とは異なるリファレンスエリア及び検知エリアを設定してもよい。
　設定部１２は、例えば、管理端末装置３０を介して作業員により入力された検知エリアを指定する情報に基づいて、検知エリアを設定してもよい。この際、例えば、作業員による管理端末装置３０に対する入力操作によって、近赤外線カメラ２１は、設備４０をズームインあるいはズームアウトして撮像する、あるいは、設備４０における撮像対象の場所を移動する。そして、作業員の目視確認に基づく当該入力操作によって、近赤外線カメラ２１は、油あるいは水の付着が疑われる領域が画面上に表示された検知エリアの中に含まれ、かつ、油あるいは水の付着が疑われない領域が画面上に表示されたリファレンスエリアの中に含まれるように設備４０を撮像するよう調整される。
　設定部１２は、あるいは、近赤外線撮像画像１６１に対する簡易的な画像解析処理を行った結果、油あるいは水の付着が疑われる領域を検知エリアとして設定し、それ以外の領域をリファレンスエリアとして設定してもよい。
　生成部１３は、干渉フィルタ２２の近赤外線の透過特性、及び、近赤外線のスペクトル強度特性を表す特性情報１６５を生成する。
　ここで、生成部１３が特性情報１６５を生成する背景について説明する。個々の干渉フィルタ２２の近赤外線の透過特性は一律ではなく、例えば、近赤外線の透過率は、通常、個々の干渉フィルタ２２の間で互いに異なる。また、撮像装置２０が撮像する際に用いる近赤外線の強度は、近赤外線の波長ごとに異なる。
　図４は、太陽光の波長とスペクトル強度との関係を表すグラフである。図４に示すグラフの出典を、非特許文献１に示す。図４に示す通り、例えば、地表における太陽光のスペクトル強度は、波長ごとに大きく異なる。これは、太陽光が地表に到達するまでに大気によって吸収される波長の成分があるからである。また人工光の場合でも、光源の特性により、スペクトル強度は波長ごとに異なる。
　即ち、複数の干渉フィルタ２２を切り替えながら撮像された、複数の波長に関する近赤外線撮像画像１６１は、波長ごとの強度が一様でない近赤外線により撮像された画像であると言える。設備診断装置１０が、油あるいは水が設備４０に付着しているか否かを判定する際に、このような複数の波長に関する近赤外線撮像画像１６１を用いることは、判定精度が低下する要因となる。従って、設備診断装置１０は、生成部１３によって生成された特性情報１６５に基づいて、複数の波長の間における近赤外線の強度の差分を解消するように、近赤外線撮像画像１６１を補正（正規化）する必要がある。
　尚、生成部１３は、干渉フィルタ２２の近赤外線の透過特性、及び、近赤外線のスペクトル強度特性のうちのいずれか一方を表す特性情報１６５を生成してもよい。
　生成部１３は、複数の波長に関する近赤外線撮像画像１６１の全てに関して、リファレンスエリア内の画素の輝度の第１の平均値を算出する。生成部１３は、また、複数の波長に関する近赤外線撮像画像１６１の個々に関して、リファレンスエリア内の画素の輝度の第２の平均値を算出する。そして生成部１３は、複数の波長の個々に関して、第１の平均値と第２の平均値との比率を表す正規化係数を、特性情報１６５として生成する。生成部１３は、より具体的には、当該第１の平均値を当該第２の平均値で除算した値を、当該正規化係数として算出する。
　例えば、撮像装置２０が３つの干渉フィルタ２２－１乃至２２－３を備え、干渉フィルタ２２－１乃至２２－３を用いて撮像された３つの近赤外線撮像画像１６１におけるリファレンスエリア内の画素の輝度の平均値の比が、１対１．２対０．８であるとする。この場合、生成部１３は、干渉フィルタ２２－１乃至２２－３を用いて撮像された３つの近赤外線撮像画像１６１に関する正規化係数を、順に、１、０．８３、１．２５と計算する。
　補正部１４は、個々の近赤外線撮像画像１６１の画素の輝度に、個々の近赤外線撮像画像１６１に関して算出された正規化係数を乗算することによって、画素の輝度を補正（正規化）する。上述した３つの近赤外線撮像画像１６１に関する正規化係数が、順に、１、０．８３、１．２５である例の場合、補正部１４は、干渉フィルタ２２－１に関する近赤外線撮像画像１６１に対しては、画素の輝度を１倍にする（即ち補正しない）。そして補正部１４は、干渉フィルタ２２－２に関する近赤外線撮像画像１６１に対しては、画素の輝度を０．８３倍に低くする補正を行い、干渉フィルタ２２－３に関する近赤外線撮像画像１６１に対しては、画素の輝度を１．２５倍に高くする補正を行う。
　補正部１４は、上述の通りに画素の輝度を正規化した近赤外線撮像画像１６１を、記憶部１６に格納する。設備診断装置１０は、画素の輝度を正規化した近赤外線撮像画像１６１を用いて、後述する処理を行うことによって、設備４０に油または水が付着しているか否かを判定する。
　次に図５乃至図８を参照して、本実施形態に係る設備診断装置１０が、設備４０に油または水が付着しているか否かを判定するのに好適な、近赤外線撮像画像１６１の撮像に用いる近赤外線の波長について説明する。
　図５は、近赤外線の波長と近赤外線撮像画像１６１における油が付着した部分の輝度との関係を示すグラフである。図５に示される曲線の形は、油が有する近赤外線の吸収特性を表していると言える。
　図６は、近赤外線の波長と近赤外線撮像画像１６１における水が付着した部分の輝度との関係を示すグラフである。図６に示される曲線の形は、水が有する近赤外線の吸収特性を表していると言える。
　近赤外線の吸収による輝度の低下率は、油あるいは水の膜厚に依存し、油あるいは水の膜厚が厚くなるほど、その輝度は低下する。
　図５及び図６は、また、例えば設備４０が屋内にあるような人工光による撮像環境において、設備４０に油または水が付着しているか否かを判定するのに好適な、近赤外線撮像画像１６１を撮像する近赤外線の波長を、円により示している。
　図５に例示する近赤外線の波長と輝度との関係を示す曲線において、波長が１２００ｎｍ（ナノメートル）、及び、１４００ｎｍの付近で、輝度が最小（即ち、曲線における谷の部分）となっている。これは、波長が１２００ｎｍ、及び、１４００ｎｍの付近の近赤外線の吸収率が最大となるという油の特性に起因する。即ち、１２００ｎｍ、１４００ｎｍという波長は、油の近赤外線の吸収特性において、特徴的な波長であると言える。また、波長が１２００ｎｍと１４００ｎｍ付近との間では、油の特性により、輝度を表す曲線は、山なりの曲線を描いている。
　図５及び図６に示す、近赤外線の波長と近赤外線撮像画像１６１における油または水が付着した部分の輝度との関係を示す曲線を比較すると、波長が１２００ｎｍから１４００ｎｍまでの帯域において、その特徴は大きく異なっている。
　図５及び図６によれば、設備診断システム１は、近赤外線撮像画像１６１を撮像する近赤外線の波長として、上述した油の近赤外線の吸収特性において特徴的な波長である、１２００ｎｍ、及び、１４００ｎｍを用いている。即ちこの場合、撮像装置２０は、１２００ｎｍ及び１４００ｎｍを中心波長とする２つの干渉フィルタ２２－１及び２２－２を備えている。
　本実施形態では、設備４０に油または水が付着しているか否かを判定するのにあたり、ＮＤＯＩ（Normalized Difference Oil Index：正規化油指標）という指標を新たに定義する。
　ＮＤＯＩは、近赤外線撮像画像１６１を撮像する近赤外線の２つの波長の間における、近赤外線撮像画像１６１の画素の輝度の相関関係（輝度の違い）を表す、－１から１の間の値をとる指標である。即ち、近赤外線の２つの波長Ｘｎｍ、Ｙｎｍに関するＮＤＯＩｘ－ｙは、式１の通りに表される。
Figure JPOXMLDOC01-appb-I000001
　但し、式１において、Ｉｘ、Ｉｙは、近赤外線の波長がＸｎｍ、Ｙｎｍにおける近赤外線撮像画像１６１の画素の輝度を表す。また、式１において、「－」、「＋」は、順に、減算、加算を表す演算子である。
　図５に示すグラフによれば、設備４０に油が付着している場合、ＮＤＯＩ１４００－１２００は、０付近の値となる。一方、図６に示すグラフによれば、設備４０に水が付着している場合、ＮＤＯＩ１４００－１２００は、絶対値が大きな負の値となる。
　以上のことから、図１に示す判定部１５は、人工光により設備４０を撮像する撮像環境において、近赤外線撮像画像１６１の検知エリアに含まれる個々の画素に関して、ＮＤＯＩ１４００－１２００を、式１を用いて算出する。そして、判定部１５は、当該画素に関して、ＮＤＯＩ１４００－１２００が０付近の値となる場合、設備４０に油が付着していると判定する。そして判定部１５は、当該画素に関して、ＮＤＯＩ１４００－１２００が絶対値が大きな負の値となる場合、設備４０に水が付着していると判定する。
　上述した例の場合、設備診断システム１は、近赤外線の２つの波長を用いているが、設備診断システム１は、その判定精度をより高めるために、近赤外線の３番目の波長を用いてもよい。図５及び図６に示す例では、設備診断システム１は、この３番目の波長の一例として１３００ｎｍを使用する。尚、３番目の波長は、１３００ｎｍに限定されない。設備診断システム１は、１２００ｎｍ、１４００ｎｍ以外の、近赤外線帯域における任意の波長を３番目の波長として使用してもよい。設備診断システム１は、例えば、１２００ｎｍと３番目の波長に関するＮＤＯＩ、及び、１４００ｎｍと３番目の波長に関するＮＤＯＩについて、油と水との間で明確に値が異なることを満たす任意の波長を、近赤外線の３番目の波長として用いればよい。尚、設備診断システム１が３番目の波長として１３００ｎｍを使用する場合、撮像装置２０は、中心波長が１３００ｎｍである干渉フィルタ２２－３を備えることとする。
　図５に示すグラフによれば、設備４０に油が付着している場合、ＮＤＯＩ１３００－１２００は、正の値となり、ＮＤＯＩ１４００－１３００は、負の値となる。一方、図６に示すグラフによれば、設備４０に水が付着している場合、ＮＤＯＩ１３００－１２００は、０付近の値となり、ＮＤＯＩ１４００－１３００は、絶対値が大きな負の値となる。
　以上のことから、図１に示す判定部１５は、人工光により設備４０を撮像する撮像環境において、近赤外線撮像画像１６１の検知エリアに含まれる個々の画素に関して、ＮＤＯＩ１３００－１２００、及び、ＮＤＯＩ１４００－１３００を、式１を用いて算出する。そして、判定部１５は、当該画素に関して、ＮＤＯＩ１３００－１２００が正の値となり、ＮＤＯＩ１４００－１３００が負の値となる場合、設備４０に油が付着していると判定する。そして判定部１５は、当該画素に関して、ＮＤＯＩ１３００－１２００が０付近の値となり、ＮＤＯＩ１４００－１３００が絶対値が大きな負の値となる場合、設備４０に水が付着していると判定する。
　判定部１５は、例えば、近赤外線撮像画像１６１の検知エリアに含まれる画素のＮＤＯＩの平均値が、上述した内容を表す所定の判定基準を満たす場合に、設備４０に油または水が付着していると判定してもよい。所定の判定基準は、例えば、ＮＤＯＩの値の範囲などによって表される。判定部１５は、あるいは例えば、近赤外線撮像画像１６１の検知エリアに含まれる画素のうち、ＮＤＯＩが上述した内容を表す所定の判定基準を満たす画素が占める割合が所定の閾値以上である場合に、設備４０に油または水が付着していると判定してもよい。
　判定部１５は、上述した判定において、判定用学習済モデル１６６が示す基準を用いてもよい。判定用学習済モデル１６６は、ＮＤＯＩと油または水が設備４０に付着していることとの関係を表す、機械学習の結果として構築されるモデルである。判定部１５は、撮像に関する環境が異なる様々な場所に設置された様々な設備４０に関する、ＮＤＯＩと油または水が設備４０に付着していることとの関係を表す実績データを教師データとして、判定用学習済モデル１６６を生成あるいは更新する。
　図７は、図５と同様に、近赤外線の波長と近赤外線撮像画像１６１における油が付着した部分の輝度との関係を示すグラフである。図８は、図６と同様に、近赤外線の波長と近赤外線撮像画像１６１における水あるいは氷が付着した部分の輝度との関係を示すグラフである。そして、図７及び図８は、例えば設備４０が屋外にあるような地上における太陽光による撮像環境において、設備４０に油または水が付着しているか否かを判定するのに好適な、近赤外線撮像画像１６１を撮像する近赤外線の波長を、円により示している。
　本実施形態に係る設備診断システム１では、図５及び図６を参照して上述した通り、人工光による撮像環境において、設備４０に油または水が付着しているか否かを判定する場合に、波長が１２００ｎｍ及び１４００ｎｍの近赤外線を使用する。しかしながら、図４に示す通り、地上における太陽光には、その成分として、波長が１２００ｎｍの近赤外線は十分に含まれるものの、波長が１４００ｎｍの近赤外線はほとんど含まれていない。したがって、設備診断システム１は、地上における太陽光による撮像環境においては、波長が１４００ｎｍの近赤外線を使用することができない。
　したがって、本実施形態に係る設備診断システム１では、図７及び図８に示す通り、波長が１４００ｎｍの近赤外線の代わりに、波長が１６００ｎｍの近赤外線を使用する。図４に示す通り、１６００ｎｍという波長は、地上における太陽光に含まれる近赤外線の強度が基準（例えば閾値以上であること）を満たす波長である。即ち、波長が１６００ｎｍの近赤外線は、地上における太陽光に、その成分として十分に含まれている。
　設備診断システム１が、波長が１２００ｎｍ及び１６００ｎｍの近赤外線を使用する場合、撮像装置２０は、１２００ｎｍ及び１６００ｎｍを中心波長とする２つの干渉フィルタ２２－１及び２２－２を備えている。
　図７に示すグラフによれば、設備４０に油が付着している場合、ＮＤＯＩ１６００－１２００は、正の値となる。一方、図８に示すグラフによれば、設備４０に水が付着している場合、ＮＤＯＩ１６００－１２００は、負の値となる。
　以上のことから、図１に示す判定部１５は、地上における太陽光により設備４０を撮像する撮像環境において、近赤外線撮像画像１６１の検知エリアに含まれる個々の画素に関して、ＮＤＯＩ１６００－１２００を、式１を用いて算出する。そして、判定部１５は、当該画素に関して、ＮＤＯＩ１６００－１２００が正の値となる場合、設備４０に油が付着していると判定する。そして判定部１５は、当該画素に関して、ＮＤＯＩ１６００－１２００が負の値となる場合、設備４０に水が付着していると判定する。
　上述した例の場合、設備診断システム１は、近赤外線の２つの波長を用いているが、設備診断システム１は、その判定精度をより高めるために、人工光により設備４０を撮像する撮像環境の場合と同様に、近赤外線の３番目の波長を用いてもよい。図７及び図８に示すグラフによれば、設備診断システム１は。この３番目の波長の一例として、１０５０ｎｍを用いる。図４に示す通り、波長が１０５０ｎｍの近赤外線は、地上における太陽光に、その成分として十分に含まれている。尚、３番目の波長は、１０５０ｎｍに限定されない。設備診断システムは、１２００ｎｍ、１６００ｎｍ以外の、地上における太陽光にその成分として十分に含まれ、近赤外線帯域における１２００ｎｍよりも小さい任意の波長を３番目の波長として使用してもよい。設備診断システム１は、例えば、１２００ｎｍと３番目の波長に関するＮＤＯＩについて、油と水との間で明確に値が異なることを満たす任意の波長を、近赤外線の３番目の波長として用いればよい。尚、設備診断システム１が３番目の波長として１０５０ｎｍを使用する場合、撮像装置２０は、中心波長が１０５０ｎｍである干渉フィルタ２２－３を備えることとする。
　図７に示すグラフによれば、設備４０に油が付着している場合、ＮＤＯＩ１２００－１０５０は、負の値となり、ＮＤＯＩ１６００－１２００は、正の値となる。一方、図８に示すグラフによれば、設備４０に水が付着している場合、ＮＤＯＩ１２００－１０５０は、０付近の値となり、ＮＤＯＩ１６００－１２００は、負の値となる。
　以上のことから、図１に示す判定部１５は、地上における太陽光により設備４０を撮像する撮像環境において、近赤外線撮像画像１６１の検知エリアに含まれる個々の画素に関して、ＮＤＯＩ１２００－１０５０、及び、ＮＤＯＩ１６００－１２００を、式１を用いて算出する。そして、判定部１５は、当該画素に関して、ＮＤＯＩ１２００－１０５０が負の値となり、ＮＤＯＩ１６００－１２００が正の値となる場合、設備４０に油が付着していると判定する。そして判定部１５は、当該画素に関して、ＮＤＯＩ１２００－１０５０が０付近の値となり、ＮＤＯＩ１６００－１２００が負の値となる場合、設備４０に水が付着していると判定する。
　判定部１５は、人工光により設備４０を撮像する撮像環境のときと同様に、例えば、近赤外線撮像画像１６１の検知エリアに含まれる画素のＮＤＯＩの平均値が、所定の判定基準を満たす場合に、設備４０に油または水が付着していると判定してもよい。判定部１５は、あるいは例えば、近赤外線撮像画像１６１の検知エリアに含まれる画素のうち、ＮＤＯＩが所定の判定基準を満たす画素が占める割合が所定の閾値以上である場合に、設備４０に油または水が付着していると判定してもよい。判定部１５は、また、上述した判定において、判定用学習済モデル１６６が示す基準を用いてもよい。
　判定部１５は、設備４０に油または水が付着していることに関する判定結果を、管理端末装置３０の表示画面に表示する。
　次に図９及び図１０のフローチャートを参照して、本実施形態に係る設備診断システム１の動作（処理）について詳細に説明する。
　図９は、本実施形態に係る設備診断システム１が、シェーディング補正用画像１６４を生成する動作を示すフローチャートである。
　制御部１１は、干渉フィルタ２２を切り替えながら、作業員等によって準備された光の反射特性が一様な面を撮像するように撮像装置２０を制御する。制御部１１は、撮像装置２０によって撮像された一様面撮像画像１６３を取得し、取得した一様面撮像画像１６３を記憶部１６に格納する（ステップＳ１０１）。
　制御部１１は、干渉フィルタ２２を切り替えながら、作業員等によって準備された遮光環境における撮像を行うように撮像装置２０を制御する。制御部１１は、撮像装置２０によって撮像された黒レベル画像１６２を取得し、取得した黒レベル画像１６２を記憶部１６に格納する（ステップＳ１０２）。
　補正部１４は、各干渉フィルタ２２に関して、画素ごとに、一様面撮像画像１６３の輝度から黒レベル画像１６２の輝度を減算したシェーディング補正用画像１６４を生成する。補正部１４は、生成したシェーディング補正用画像１６４を記憶部１６に格納し（ステップＳ１０３）、全体の処理は終了する。
　図１０は、本実施形態に係る設備診断システム１が、設備４０に油または水が付着しているか否かを判定する動作を示すフローチャートである。
　制御部１１は、干渉フィルタ２２を切り替えながら設備４０を撮像するように撮像装置２０を制御する。制御部１１は、撮像装置２０によって撮像された近赤外線撮像画像１６１を取得し、取得した近赤外線撮像画像１６１を記憶部１６に格納する（ステップＳ２０１）。
　補正部１４は、画素ごとに、近赤外線撮像画像１６１の輝度から黒レベル画像１６２の輝度を減算したのち、シェーディング補正用画像１６４を用いて、近赤外線撮像画像１６１をシェーディング補正する。補正部１４は、シェーディング補正された近赤外線撮像画像１６１を、記憶部１６に格納する（ステップＳ２０２）。
　設定部１２は、所定の基準に基づいて、近赤外線撮像画像１６１における検知エリア及びリファレンスエリアを設定する（ステップＳ２０３）。補正部１４は、近赤外線撮像画像１６１のリファレンスエリア内の画素の輝度の平均値を算出する（ステップＳ２０４）。
　補正部１４は、各波長の近赤外線撮像画像１６１に関して、リファレンスエリア内の画素の輝度の平均値に基づいて、正規化係数を算出する（ステップＳ２０５）。補正部１４は、算出した正規化係数を用いて、各波長の近赤外線撮像画像１６１の画素の輝度を正規化する（ステップＳ２０６）。
　判定部１５は、各波長の近赤外線撮像画像１６１の検知エリア内の画素の輝度に基づいて、ＮＤＯＩを算出する（ステップＳ２０７）。判定部１５は、算出したＮＤＯＩと判定用学習済モデル１６６とに基づいて、設備４０における油あるいは水の付着を判定し（ステップＳ２０８）、全体の処理は終了する。
　本実施形態に係る設備診断システム１は、設備に付着した液体の種別を判定する精度を向上させることができる。その理由は、設備診断システム１は、近赤外線帯域における複数の波長の個々において、設備４０を撮像し、複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが設備４０に付着しているか否かを、撮像画像に基づいて判定するからである。
　以下に、本実施形態に係る設備診断システム１によって実現される効果について、詳細に説明する。
　例えば既存の技術等を用いることによって、油漏れの発生の有無の確認のために、人が各設備を巡回して点検することをしなくとも、設備を撮像した画像から、設備に付着した液体の種別をある程度は判定することは可能であると考えられる。しかしながらその判定精度は、社会インフラを構成する設備の障害が人々の生活に与える影響の大きさをふまえて、十分に高いとは言えず、当該判定精度をさらに高めることが課題である。
　このような課題に対して、本実施形態に係る設備診断システム１は、制御部１１と判定部１５とを備え、例えば、図１乃至図１０を参照して上述した通り動作する。即ち、制御部１１は、近赤外線帯域における複数の波長の個々において、設備４０を撮像するように撮像装置２０を制御する。そして、判定部１５は、当該複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが設備４０に付着しているか否かを、撮像装置２０によって得られた近赤外線撮像画像１６１に基づいて判定する。
　即ち、本実施形態に係る設備診断システム１は、油（第１の液体）及び水（第２の液体）の近赤外線の吸収特性が、近赤外線の複数の波長に関して互いに異なることを利用する。そして、設備診断システム１は、設備４０を複数の波長の近赤外線で撮像した近赤外線撮像画像１６１において、当該吸収特性の違いが輝度の違いとして現れることに基づいて、油及び水のいずれかが設備４０に付着しているか否かを判定する。これにより、本実施形態に係る設備診断システム１は、設備４０に付着した液体の種別を近赤外線撮像画像１６１から判定する精度を向上させることができる。
　また、本実施形態に係る設備診断システム１は、近赤外線撮像画像１６１に含まれる画素に関して、複数の波長の間における輝度の違いを表す、例えばＮＤＯＩのような指標の値を算出する。そして設備診断システム１は、算出した指標の値と判定基準とに基づいて、油あるいは水が設備４０に付着しているか否かを判定する。このように、設備診断システム１は、ＮＤＯＩのような、油と水との間における近赤外線の吸収特性の違いを明確に表す指標の値に基づいて判定するので、判定精度を向上させることができる。尚、設備診断システム１が用いる指標はＮＤＯＩに限定されず、設備診断システム１は、ＮＤＯＩとは異なる指標を用いてもよい。
　また、本実施形態に係る設備診断システム１は、当該指標の値と油あるいは水が設備４０に付着していることとの関係を表す判定用学習済モデル１６６を生成する。そして設備診断システム１は、判定用学習済モデル１６６を用いて、油あるいは水が設備４０に付着しているか否かを判定する。即ち、設備診断システム１は、判定に関する機械学習を通して、判定精度を次第に向上させることができる。
　また、本実施形態に係る設備診断システム１は、設備４０を撮像する近赤外線の波長として、油あるいは水の少なくともいずれかの近赤外線の吸収率が最も高くなる波長、あるいは地上における太陽光に含まれる近赤外線の強度が基準を満たす波長を使用する。このように設備診断システム１は、油あるいは水が設備４０に付着しているか否かを判定するのに好適な波長の近赤外線を使用するので、確実に判定精度を向上させることができる。
　また、例えば、人工光による撮像環境において、設備４０に油が付着している場合、ＮＤＯＩ１４００－１２００は０付近の値となる。そして、設備４０に水も油も付着していない場合、液体による近赤外線の吸収が発生しないので、ＮＤＯＩ１４００－１２００は同様に０付近の値となる。即ち、ＮＤＯＩ１４００－１２００という１つのＮＯＤＩを判定に用いた場合、設備４０に油が付着していることと、設備４０に油も水も付着していないこととの区別が困難になる。
　これに対して、本実施形態に係る設備診断システム１は、図５、図６、図１１に示す通り、３つの波長の近赤外線で設備４０を撮像することにより、２つのＮＤＯＩ（例えば、ＮＤＯＩ１３００－１２００、ＮＤＯＩ１４００－１３００）の値に基づいて判定する。設備４０に油が付着している場合、ＮＤＯＩ１３００－１２００は正の値、ＮＤＯＩ１４００－１３００は負の値となる。一方、設備４０に油も水も付着していない場合、ＮＤＯＩ１３００－１２００、及び、ＮＤＯＩ１４００－１３００とも、０付近の値となる。したがって、設備診断システム１は、設備４０に油が付着していることと、設備４０に油も水も付着していないこととを区別して判定できるので、判定精度をさらに向上させることができる。
　また、油あるいは水による近赤外線の吸収による輝度の低下率は、油あるいは水の膜厚により依存するので、例えば、油の膜厚が厚く水の膜厚が薄い場合などではＮＤＯＩの値が同等な値となり、図１１に示す通り判別が困難となる。これに対して、本実施形態に係る設備診断システム１は、図５、図６、図１１に示す通り２つのＮＤＯＩを組み合わせることによって、このような問題を回避し、判定精度をさらに向上させることができる。
　また、例えば、地表における太陽光による撮像環境において、設備４０に油が付着している場合、ＮＤＯＩ１６００－１２００は正の値となるが、付着した油の厚さが薄い場合では絶対値０に近い値となる。そして、設備４０に水も油も付着していない場合、液体による近赤外線の吸収が発生しないので、ＮＤＯＩ１６００－１２００は同様に０付近の値となる。即ち、ＮＤＯＩ１６００－１２００という１つのＮＯＤＩを判定に用いた場合、設備４０に厚さが薄い油が付着していることと、設備４０に油も水も付着していないこととの区別が困難になる。
　これに対して、本実施形態に係る設備診断システム１は、図７、図８、図１２に示す通り、上述した通り３つの波長の近赤外線で設備４０を撮像することにより、２つのＮＤＯＩ（例えば、ＮＤＯＩ１２００－１０５０、ＮＤＯＩ１６００－１２００）の値に基づいて判定する。設備４０に油が付着している場合、ＮＤＯＩ１２００－１０５０は、ＮＤＯＩ１６００－１２００よりも絶対値が大きい負の値となる。一方、設備４０に油も水も付着していない場合、ＮＤＯＩ１２００－１０５０、及び、ＮＤＯＩ１６００－１２００とも、０付近の値となる。したがって、設備診断システム１は、設備４０に厚さが薄い油が付着していることと、設備４０に油も水も付着していないこととを区別して判定できるので、判定精度をさらに向上させることができる。
　また、油あるいは水による近赤外線の吸収による輝度の低下率は、油あるいは水の膜厚により依存するので、例えば、油の膜厚が薄い場合などでは、設備４０に何も付着していない場合との間において、ＮＤＯＩの値が同等な値となり、図１２に示す通り判別が困難となる。これに対して、本実施形態に係る設備診断システム１は、図７、図８、図１２に示す通り２つのＮＤＯＩを組み合わせることによって、このような問題を回避し、判定精度をさらに向上させることができる。
　また、設備診断システム１は、判定精度をさらに向上させるために、４つ以上の波長の近赤外線で設備４０を撮像することにより、３つ以上のＮＤＯＩの値に基づいて、油あるいは水が設備４０に付着しているか否かを判定してもよい。
　また、本実施形態に係る設備診断システム１は、生成部１３及び補正部１４をさらに備える。生成部１３は、複数の干渉フィルタ２２の近赤外線の透過特性、及び、近赤外線のスペクトル強度特性の少なくともいずれかを表す特性情報１６５を生成する。補正部１４は、近赤外線撮像画像１６１に対して、特性情報１６５に基づく正規化、シュエーディング補正、及び、黒レベル補正を行う。これにより、設備診断システム１は、判定精度をさらに向上させることができる。
　また、本実施形態に係る設備診断システム１は、設定部１２をさらに備える。設定部１２は、水あるいは油が付着していると推定される検知エリア（第１の領域）と、水あるいは油が付着していないと推定されるリファレンスエリア（第２の領域）とを、所定の基準に基づいて設定する。そして生成部１３は、リファレンスエリアに含まれる画素の輝度に基づいて特性情報１６５を生成する。これにより、設備診断システム１は、判定精度をさらに向上させることができる。
　また、本実施形態に係る設備診断システム１は、例えば上述した特許文献１乃至３が備える照明手段（光源）を必要としない。照明手段を備えた場合、装置が大型化するとともに、照明と撮像装置との間で同期をとる必要があることにより装置の機能が煩雑になるという問題がある。また、照明手段を備えた場合、照明が当たる場所でなければ使えないという問題もある。設備診断システム１は、照明手段を備えないことによって、上述した問題を回避することができる。
　なお、設備診断システム１が設備４０に付着したことを判定する対象は、油及び水に限定されない。設備診断システムは、近赤外線の波長による近赤外線の吸収特性が互いに異なる、油及び水以外の液体の種別を判定してもよい。
　＜第２の実施形態＞
　図１３は、本発明の第２の実施形態に係る設備診断システム５０の構成を示すブロック図である。設備診断システム５０は、制御部５１、及び、判定部５２を備えている。但し、制御部５１、及び、判定部５２は、順に、制御手段、及び、判定手段の一例である。
　制御部５１は、近赤外線帯域における複数の波長の個々において、設備７０を撮像するように撮像部６０を制御する。但し、撮像部６０は、撮像手段の一例であり、例えば、第１の実施形態に係る撮像装置２０と同様に、近赤外線カメラ２１及び干渉フィルタ２２のような構成を備えてもよい。そして、制御部５１は、例えば、第１の実施形態に係る制御部１１と同様に、撮像部６０を制御する。
　判定部５２は、複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが設備７０に付着しているか否かを、撮像部６０によって得られた撮像画像６００に基づいて判定する。第１及び第２の液体は、例えば、第１の実施形態と同様に、油及び水である。判定部５２は、例えば、第１の実施形態に係る判定部１５と同様に、ＮＤＯＩのような指標を用いることによって、第１及び第２の液体のいずれかが設備７０に付着しているか否かを、判定してもよい。
　本実施形態に係る設備診断システム５０は、設備に付着した液体の種別を判定する精度を向上させることができる。その理由は、設備診断システム５０は、近赤外線帯域における複数の波長の個々において、設備７０を撮像し、複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが設備７０に付着しているか否かを、撮像画像６００に基づいて判定するからである。
　＜ハードウェア構成例＞
　上述した各実施形態において、図１に示した設備診断システム１、及び、図１３に示した設備診断システム５０における各部は、専用のＨＷ（ＨａｒｄＷａｒｅ）（電子回路）によって実現することができる。また、図１及び図１３において、少なくとも、下記構成は、ソフトウェアプログラムの機能（処理）単位（ソフトウェアモジュール）と捉えることができる。
・制御部１１及び５１、
・設定部１２、
・生成部１３、
・補正部１４、
・判定部１５及び５２、
・記憶部１６における記憶制御機能。
　但し、これらの図面に示した各部の区分けは、説明の便宜上の構成であり、実装に際しては、様々な構成が想定され得る。この場合のハードウェア環境の一例を、図１４を参照して説明する。
　図１４は、本発明の第１の実施形態に係る設備診断装置１０あるいは第２の実施形態に係る設備診断システム５０を実行可能な情報処理装置９００（コンピュータ）の構成を例示的に説明する図である。即ち、図１４は、図１に示した設備診断装置１０及び図１３に示した設備診断システム５０を実現可能なコンピュータ（情報処理装置）の構成であって、上述した実施形態における各機能を実現可能なハードウェア環境を表す。
　図１４に示した情報処理装置９００は、構成要素として下記を備えているが、下記のうちの一部の構成要素を備えない場合もある。
・ＣＰＵ（Ｃｅｎｔｒａｌ＿Ｐｒｏｃｅｓｓｉｎｇ＿Ｕｎｉｔ）９０１、
・ＲＯＭ（Ｒｅａｄ＿Ｏｎｌｙ＿Ｍｅｍｏｒｙ）９０２、
・ＲＡＭ（Ｒａｎｄｏｍ＿Ａｃｃｅｓｓ＿Ｍｅｍｏｒｙ）９０３、
・ハードディスク（記憶装置）９０４、
・外部装置との通信インタフェース９０５、
・バス９０６（通信線）、
・ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ＿Ｄｉｓｃ＿Ｒｅａｄ＿Ｏｎｌｙ＿Ｍｅｍｏｒｙ）等の記録媒体９０７に格納されたデータを読み書き可能なリーダライタ９０８、
・モニターやスピーカ、キーボード等の入出力インタフェース９０９。
　即ち、上記構成要素を備える情報処理装置９００は、これらの構成がバス９０６を介して接続された一般的なコンピュータである。情報処理装置９００は、ＣＰＵ９０１を複数備える場合もあれば、マルチコアにより構成されたＣＰＵ９０１を備える場合もある。情報処理装置９００は、ＣＰＵ９０１に加えてＧＰＵ（Ｇｒａｐｈｉｃａｌ＿Ｐｒｏｃｅｓｓｉｎｇ＿Ｕｎｉｔ）（不図示）を備えてもよい。
　そして、上述した実施形態を例に説明した本発明は、図１４に示した情報処理装置９００に対して、次の機能を実現可能なコンピュータプログラムを供給する。その機能とは、その実施形態の説明において参照したブロック構成図（図１及び図１３）における上述した構成、或いはフローチャート（図９及び図１０）の機能である。本発明は、その後、そのコンピュータプログラムを、当該ハードウェアのＣＰＵ９０１に読み出して解釈し実行することによって達成される。また、当該装置内に供給されたコンピュータプログラムは、読み書き可能な揮発性のメモリ（ＲＡＭ９０３）、または、ＲＯＭ９０２やハードディスク９０４等の不揮発性の記憶デバイスに格納すれば良い。
　また、前記の場合において、当該ハードウェア内へのコンピュータプログラムの供給方法は、現在では一般的な手順を採用することができる。その手順としては、例えば、ＣＤ－ＲＯＭ等の各種記録媒体９０７を介して当該装置内にインストールする方法や、インターネット等の通信回線を介して外部よりダウンロードする方法等がある。そして、このような場合において、本発明は、係るコンピュータプログラムを構成するコード或いは、そのコードが格納された記録媒体９０７によって構成されると捉えることができる。
　以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
　尚、上述した各実施形態の一部又は全部は、以下の付記のようにも記載されうる。しかしながら、上述した各実施形態により例示的に説明した本発明は、以下には限られない。
　（付記１）
　近赤外線帯域における複数の波長の個々において、設備を撮像するように撮像手段を制御する制御手段と、
　前記複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが前記設備に付着しているか否かを、前記撮像手段によって得られた撮像画像に基づいて判定する判定手段と、
　を備える設備診断システム。
　（付記２）
　前記判定手段は、前記撮像画像に含まれる画素に関して、前記複数の波長の間における輝度の違いを表す指標の値を算出し、算出した前記指標の値と判定基準とに基づいて、前記第１の液体あるいは前記第２の液体が前記設備に付着しているか否かを判定する、
　付記１に記載の設備診断システム。
　（付記３）
　前記判定手段は、前記複数の波長に含まれる第１及び第２の波長における前記画素の輝度の差を前記画素の輝度の和で除算した前記指標の値を算出する、
　付記２に記載の設備診断システム。
　（付記４）
　前記判定手段は、前記指標の値と前記第１の液体あるいは前記第２の液体が前記設備に付着していることとの関係を表す学習済みモデルを生成し、前記学習済みモデルを用いて、前記第１の液体あるいは前記第２の液体が前記設備に付着しているか否かを判定する、
　付記２または付記３に記載の設備診断システム。
　（付記５）
　前記複数の波長の少なくともいずれかは、前記第１及び第２の液体の少なくともいずれかの近赤外線の吸収率が最も高くなる波長、あるいは地上における太陽光に含まれる近赤外線の強度が基準を満たす波長である、
　付記１乃至付記４のいずれか一項に記載の設備診断システム。
　（付記６）
　前記第１の液体は油であり、前記第２の液体は水であり、
　前記複数の波長は、
　　前記撮像手段が人工光に含まれる近赤外線により撮像する場合、１２００ナノメートルの近傍及び１４００ナノメートルの近傍を含み、
　　前記撮像手段が地表における太陽光に含まれる近赤外線により撮像する場合、１２００ナノメートルの近傍及び１６００ナノメートルの近傍を含む、
　付記５に記載の設備診断システム。
　（付記７）
　前記複数の波長は、
　　前記撮像手段が人工光に含まれる近赤外線により撮像する場合、１２００ナノメートルの近傍及び１４００ナノメートルの近傍を除く波長の帯域をさらに含み、
　　前記撮像手段が地表における太陽光に含まれる近赤外線により撮像する場合、１２００ナノメートルの近傍及び１６００ナノメートルの近傍を除く波長の帯域をさらに含む、
　付記６に記載の設備診断システム。
　（付記８）
　前記撮像手段は、近赤外線カメラと、前記複数の波長の個々を中心波長とする複数の干渉フィルタとを備え、
　前記制御手段は、前記干渉フィルタを切り替えながら、同等のタイミングで、前記複数の波長の個々において、前記設備を撮像するように前記撮像手段を制御する、
　付記１乃至付記７のいずれか一項に記載の設備診断システム。
　（付記９）
　前記複数の干渉フィルタの近赤外線の透過特性、及び、近赤外線のスペクトル強度特性の少なくともいずれかを表す特性情報を生成する生成手段と、
　前記特性情報に基づいて、前記撮像画像を補正する補正手段と、
　をさらに備える付記８に記載の設備診断システム。
　（付記１０）
　前記生成手段は、前記複数の干渉フィルタにより撮像された複数の前記撮像画像に関する輝度の平均値と、個々の前記撮像画像に関する輝度の平均値との比率を表す、個々の前記撮像画像に関する正規化係数を、前記特性情報として算出し、
　前記補正手段は、個々の前記撮像画像の輝度を前記正規化係数によって重み付けすることによって、前記撮像画像を補正する、
　付記９に記載の設備診断システム。
　（付記１１）
　前記補正手段は、前記撮像画像において輝度が一番高い画素を基準として、輝度が前記基準より低い画素ほど、輝度を高める度合いを大きくするシェーディング補正を行う、
　付記９または付記１０に記載の設備診断システム。
　（付記１２）
　前記補正手段は、光の反射特性が一様な面が撮像されたシェーディング補正用画像を用いて、シェーディング補正を行う、
　付記１１に記載の設備診断システム。
　（付記１３）
　前記補正手段は、遮光環境において撮像された画像の輝度を、前記撮像画像及び前記シェーディング補正用画像の輝度から減算する、
　付記１２に記載の設備診断システム。
　（付記１４）
　前記第１及び第２の液体のいずれかが前記設備に付着しているか否かを判定する際の分析対象となる、前記撮像画像における前記第１及び第２の液体の付着の判定対象とする第１の領域と、前記撮像画像における前記第１の領域とは異なる第２の領域を、所定の基準に基づいて設定する設定手段をさらに備え、
　前記生成手段は、前記第２の領域に含まれる画素の輝度に基づく前記特性情報を生成する、
　付記９乃至付記１３のいずれか一項に記載の設備診断システム。
　（付記１５）
　前記撮像手段をさらに備える、
　付記１乃至付記１４のいずれか一項に記載の設備診断システム。
　（付記１６）
　情報処理装置によって、
　　近赤外線帯域における複数の波長の個々において、設備を撮像するように撮像手段を制御し、
　　前記複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが前記設備に付着しているか否かを、前記撮像手段によって得られた撮像画像に基づいて判定する、
　設備診断方法。
　（付記１７）
　近赤外線帯域における複数の波長の個々において、設備を撮像するように撮像手段を制御する制御処理と、
　前記複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが前記設備に付着しているか否かを、前記撮像手段によって得られた撮像画像に基づいて判定する判定処理と、
　をコンピュータに実行させるための設備診断プログラムが格納された記録媒体。
　１　　設備診断システム
　１０　　設備診断装置
　１１　　制御部
　１２　　設定部
　１３　　生成部
　１４　　補正部
　１５　　判定部
　１６　　記憶部
　１６１　　近赤外線撮像画像
　１６２　　黒レベル画像
　１６３　　一様面撮像画像
　１６４　　シェーディング補正用画像
　１６５　　特性情報
　１６６　　判定用学習済モデル
　２０　　撮像装置
　２１　　近赤外線カメラ
　２２－１乃至２２－ｎ　　干渉フィルタ
　３０　　管理端末装置
　４０　　設備
　５０　　設備診断システム
　５１　　制御部
　５２　　判定部
　６０　　撮像部
　６００　　撮像画像
　７０　　設備
　９００　　情報処理装置
　９０１　　ＣＰＵ
　９０２　　ＲＯＭ
　９０３　　ＲＡＭ
　９０４　　ハードディスク（記憶装置）
　９０５　　通信インタフェース
　９０６　　バス
　９０７　　記録媒体
　９０８　　リーダライタ
　９０９　　入出力インタフェース

Claims (17)

  1. 　近赤外線帯域における複数の波長の個々において、設備を撮像するように撮像手段を制御する制御手段と、
    　前記複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが前記設備に付着しているか否かを、前記撮像手段によって得られた撮像画像に基づいて判定する判定手段と、
    　を備える設備診断システム。
  2. 　前記判定手段は、前記撮像画像に含まれる画素に関して、前記複数の波長の間における輝度の違いを表す指標の値を算出し、算出した前記指標の値と判定基準とに基づいて、前記第１の液体あるいは前記第２の液体が前記設備に付着しているか否かを判定する、
    　請求項１に記載の設備診断システム。
  3. 　前記判定手段は、前記複数の波長に含まれる第１及び第２の波長における前記画素の輝度の差を前記画素の輝度の和で除算した前記指標の値を算出する、
    　請求項２に記載の設備診断システム。
  4. 　前記判定手段は、前記指標の値と前記第１の液体あるいは前記第２の液体が前記設備に付着していることとの関係を表す学習済みモデルを生成し、前記学習済みモデルを用いて、前記第１の液体あるいは前記第２の液体が前記設備に付着しているか否かを判定する、
    　請求項２または請求項３に記載の設備診断システム。
  5. 　前記複数の波長の少なくともいずれかは、前記第１及び第２の液体の少なくともいずれかの近赤外線の吸収率が最も高くなる波長、あるいは地上における太陽光に含まれる近赤外線の強度が基準を満たす波長である、
    　請求項１乃至請求項４のいずれか一項に記載の設備診断システム。
  6. 　前記第１の液体は油であり、前記第２の液体は水であり、
    　前記複数の波長は、
    　　前記撮像手段が人工光に含まれる近赤外線により撮像する場合、１２００ナノメートルの近傍及び１４００ナノメートルの近傍を含み、
    　　前記撮像手段が地表における太陽光に含まれる近赤外線により撮像する場合、１２００ナノメートルの近傍及び１６００ナノメートルの近傍を含む、
    　請求項５に記載の設備診断システム。
  7. 　前記複数の波長は、
    　　前記撮像手段が人工光に含まれる近赤外線により撮像する場合、１２００ナノメートルの近傍及び１４００ナノメートルの近傍を除く波長の帯域をさらに含み、
    　　前記撮像手段が地表における太陽光に含まれる近赤外線により撮像する場合、１２００ナノメートルの近傍及び１６００ナノメートルの近傍を除く波長の帯域をさらに含む、
    　請求項６に記載の設備診断システム。
  8. 　前記撮像手段は、近赤外線カメラと、前記複数の波長の個々を中心波長とする複数の干渉フィルタとを備え、
    　前記制御手段は、前記干渉フィルタを切り替えながら、同等のタイミングで、前記複数の波長の個々において、前記設備を撮像するように前記撮像手段を制御する、
    　請求項１乃至請求項７のいずれか一項に記載の設備診断システム。
  9. 　前記複数の干渉フィルタの近赤外線の透過特性、及び、近赤外線のスペクトル強度特性の少なくともいずれかを表す特性情報を生成する生成手段と、
    　前記特性情報に基づいて、前記撮像画像を補正する補正手段と、
    　をさらに備える請求項８に記載の設備診断システム。
  10. 　前記生成手段は、前記複数の干渉フィルタにより撮像された複数の前記撮像画像に関する輝度の平均値と、個々の前記撮像画像に関する輝度の平均値との比率を表す、個々の前記撮像画像に関する正規化係数を、前記特性情報として算出し、
    　前記補正手段は、個々の前記撮像画像の輝度を前記正規化係数によって重み付けすることによって、前記撮像画像を補正する、
    　請求項９に記載の設備診断システム。
  11. 　前記補正手段は、前記撮像画像において輝度が一番高い画素を基準として、輝度が前記基準より低い画素ほど、輝度を高める度合いを大きくするシェーディング補正を行う、
    　請求項９または請求項１０に記載の設備診断システム。
  12. 　前記補正手段は、光の反射特性が一様な面が撮像されたシェーディング補正用画像を用いて、シェーディング補正を行う、
    　請求項１１に記載の設備診断システム。
  13. 　前記補正手段は、遮光環境において撮像された画像の輝度を、前記撮像画像及び前記シェーディング補正用画像の輝度から減算する、
    　請求項１２に記載の設備診断システム。
  14. 　前記第１及び第２の液体のいずれかが前記設備に付着しているか否かを判定する際の分析対象となる、前記撮像画像における前記第１及び第２の液体の付着の判定対象とする第１の領域と、前記撮像画像における前記第１の領域とは異なる第２の領域を、所定の基準に基づいて設定する設定手段をさらに備え、
    　前記生成手段は、前記第２の領域に含まれる画素の輝度に基づく前記特性情報を生成する、
    　請求項９乃至請求項１３のいずれか一項に記載の設備診断システム。
  15. 　前記撮像手段をさらに備える、
    　請求項１乃至請求項１４のいずれか一項に記載の設備診断システム。
  16. 　情報処理装置によって、
    　　近赤外線帯域における複数の波長の個々において、設備を撮像するように撮像手段を制御し、
    　　前記複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが前記設備に付着しているか否かを、前記撮像手段によって得られた撮像画像に基づいて判定する、
    　設備診断方法。
  17. 　近赤外線帯域における複数の波長の個々において、設備を撮像するように撮像手段を制御する制御処理と、
    　前記複数の波長に関する近赤外線の吸収特性が互いに異なる第１及び第２の液体のいずれかが前記設備に付着しているか否かを、前記撮像手段によって得られた撮像画像に基づいて判定する判定処理と、
    　をコンピュータに実行させるための設備診断プログラムが格納された記録媒体。
PCT/JP2020/036754 2020-09-29 2020-09-29 設備診断システム、設備診断方法、及び、設備診断プログラムが格納された記録媒体 WO2022070227A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022553237A JP7494926B2 (ja) 2020-09-29 2020-09-29 設備診断システム、設備診断方法、及び、設備診断プログラム
PCT/JP2020/036754 WO2022070227A1 (ja) 2020-09-29 2020-09-29 設備診断システム、設備診断方法、及び、設備診断プログラムが格納された記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/036754 WO2022070227A1 (ja) 2020-09-29 2020-09-29 設備診断システム、設備診断方法、及び、設備診断プログラムが格納された記録媒体

Publications (1)

Publication Number Publication Date
WO2022070227A1 true WO2022070227A1 (ja) 2022-04-07

Family

ID=80951438

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/036754 WO2022070227A1 (ja) 2020-09-29 2020-09-29 設備診断システム、設備診断方法、及び、設備診断プログラムが格納された記録媒体

Country Status (2)

Country Link
JP (1) JP7494926B2 (ja)
WO (1) WO2022070227A1 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6288932A (ja) * 1985-10-16 1987-04-23 Japan Sensor Corp:Kk 容器の液体漏れ検出装置
JPH08128916A (ja) * 1994-10-31 1996-05-21 Mitsubishi Electric Corp 油漏れ検出装置
JPH11110560A (ja) * 1997-10-03 1999-04-23 Mitsubishi Electric Corp 画像検査方法および画像検査装置
JP2000131238A (ja) * 1998-10-22 2000-05-12 Fuji Photo Film Co Ltd シェーディング補正情報の取得方法および画像情報読取装置
JP2001320723A (ja) * 2000-05-12 2001-11-16 Sanyo Electric Co Ltd 画像信号処理装置及び画像信号処理方法
JP2012134581A (ja) * 2010-12-20 2012-07-12 Sony Corp 画像処理装置、画像処理方法およびプログラム。
JP2013101028A (ja) * 2011-11-08 2013-05-23 Tohoku Electric Power Co Inc 油漏れ検出装置
JP2014086862A (ja) * 2012-10-23 2014-05-12 Olympus Corp 撮像装置及び画像生成方法
JP2017026316A (ja) * 2015-07-15 2017-02-02 株式会社日立製作所 漏油検出システム
JP2018521418A (ja) * 2015-07-07 2018-08-02 ヴィート エヌブイ スペクトル画像を変換するための方法およびシステム
WO2018170438A1 (en) * 2017-03-16 2018-09-20 MultiSensor Scientific, Inc. Scanning ir sensor for gas safety and emissions monitoring

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6288932A (ja) * 1985-10-16 1987-04-23 Japan Sensor Corp:Kk 容器の液体漏れ検出装置
JPH08128916A (ja) * 1994-10-31 1996-05-21 Mitsubishi Electric Corp 油漏れ検出装置
JPH11110560A (ja) * 1997-10-03 1999-04-23 Mitsubishi Electric Corp 画像検査方法および画像検査装置
JP2000131238A (ja) * 1998-10-22 2000-05-12 Fuji Photo Film Co Ltd シェーディング補正情報の取得方法および画像情報読取装置
JP2001320723A (ja) * 2000-05-12 2001-11-16 Sanyo Electric Co Ltd 画像信号処理装置及び画像信号処理方法
JP2012134581A (ja) * 2010-12-20 2012-07-12 Sony Corp 画像処理装置、画像処理方法およびプログラム。
JP2013101028A (ja) * 2011-11-08 2013-05-23 Tohoku Electric Power Co Inc 油漏れ検出装置
JP2014086862A (ja) * 2012-10-23 2014-05-12 Olympus Corp 撮像装置及び画像生成方法
JP2018521418A (ja) * 2015-07-07 2018-08-02 ヴィート エヌブイ スペクトル画像を変換するための方法およびシステム
JP2017026316A (ja) * 2015-07-15 2017-02-02 株式会社日立製作所 漏油検出システム
WO2018170438A1 (en) * 2017-03-16 2018-09-20 MultiSensor Scientific, Inc. Scanning ir sensor for gas safety and emissions monitoring

Also Published As

Publication number Publication date
JP7494926B2 (ja) 2024-06-04
JPWO2022070227A1 (ja) 2022-04-07

Similar Documents

Publication Publication Date Title
CN105758624A (zh) 一种眩光测试方法及系统
CN108801601A (zh) 菲涅尔透镜杂散光噪声的测试方法、设备及存储介质
CN110458827A (zh) 医学影像坏点的检测方法、装置、设备及介质
Singh et al. A comparative analysis of illumination estimation based Image Enhancement techniques
JP2004222231A (ja) 画像処理装置および画像処理プログラム
CN116543241B (zh) 泄露气体云团的检测方法、装置、存储介质和电子设备
WO2015146111A1 (ja) 検知装置、検知方法、及びプログラム記憶媒体
Deeba et al. A novel image dehazing framework for robust vision‐based intelligent systems
JP4416825B2 (ja) 画像検査処理装置、画像検査処理方法、プログラム、及び、記録媒体
CN116167932A (zh) 一种图像质量优化方法、装置、设备及存储介质
Varjo et al. Image based visibility estimation during day and night
WO2022070227A1 (ja) 設備診断システム、設備診断方法、及び、設備診断プログラムが格納された記録媒体
CN110827375B (zh) 一种基于微光图像的红外图像真彩着色方法及系统
CN114155179A (zh) 光源缺陷检测方法、装置、设备和存储介质
CN112069880A (zh) 活体检测方法、装置、电子设备和计算机可读介质
CN111126230A (zh) 一种烟雾浓度的量化评价方法及应用该方法的电子设备
CN116645305A (zh) 基于多注意力机制与Retinex的低光照图像增强方法
Lian et al. [Retracted] Film and Television Animation Sensing and Visual Image by Computer Digital Image Technology
US20110280488A1 (en) Method and system for image extraction and identification
An et al. A comprehensive survey on image dehazing for different atmospheric scattering models
CN111669575B (zh) 图像处理效果的测试方法、系统、电子设备、介质及终端
JP2004222233A (ja) 画像処理装置および画像処理プログラム
Grose et al. Convolutional neural network for improved event-based Shack-Hartmann wavefront reconstruction
CN112989933A (zh) 油烟浓度的识别方法、系统、电子设备和存储介质
Li et al. Machine vision-based network monitoring system for solar-blind ultraviolet signal

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20956157

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022553237

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20956157

Country of ref document: EP

Kind code of ref document: A1