WO2021117093A1 - 異常検知方法、異常検知装置及びプログラム - Google Patents

異常検知方法、異常検知装置及びプログラム Download PDF

Info

Publication number
WO2021117093A1
WO2021117093A1 PCT/JP2019/048111 JP2019048111W WO2021117093A1 WO 2021117093 A1 WO2021117093 A1 WO 2021117093A1 JP 2019048111 W JP2019048111 W JP 2019048111W WO 2021117093 A1 WO2021117093 A1 WO 2021117093A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
factor
learning
output
unit
Prior art date
Application number
PCT/JP2019/048111
Other languages
English (en)
French (fr)
Inventor
聡志 鈴木
基宏 高木
和也 早瀬
木全　英明
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2019/048111 priority Critical patent/WO2021117093A1/ja
Publication of WO2021117093A1 publication Critical patent/WO2021117093A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02S—GENERATION OF ELECTRIC POWER BY CONVERSION OF INFRARED RADIATION, VISIBLE LIGHT OR ULTRAVIOLET LIGHT, e.g. USING PHOTOVOLTAIC [PV] MODULES
    • H02S50/00—Monitoring or testing of PV systems, e.g. load balancing or fault identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Definitions

  • the present invention relates to an abnormality detection method, an abnormality detection device, and a program.
  • thermo image As one of the operational efficiency improvements performed by using aerial images using drones, there is a technology to detect the failure of the solar panel of the photovoltaic power generation equipment using the thermo image.
  • the power generation efficiency decreases.
  • the energy of solar power cannot be converted into electricity, so that there are many solar panels that become hot. Therefore, by identifying a high temperature point (hot spot) with a thermo image, it becomes possible to efficiently detect a failure.
  • Non-Patent Document 1 a technique for automatically detecting a failure from such a thermo image using machine learning technology or the like has been proposed (see, for example, Non-Patent Document 1).
  • this technology since there is a small amount of supervised data in drone anomaly detection, we propose an unsupervised anomaly detection method based on the characteristics of the solar panel.
  • Hot spot detection using thermo images is effective in detecting failures. However, it cannot be expected to be effective in preventing the failure of the solar panel. For example, if bird droppings, fallen leaves, etc. are constantly attached to the panel, or if cracks are present, hot spots may occur from the cracks. Although there is a possibility of becoming a hot spot in the future, it is difficult to detect a region that does not generate heat at this stage by a thermo image.
  • thermo image the part where there is a risk of failure in the future. Therefore, a method of detecting from a general visible light image can be considered. However, since there are many abnormalities that we want to detect, it is difficult to completely detect them with a single machine learning method.
  • FIG. 9 is a diagram showing a detection method based on the difference of the Auto-Encoder.
  • this detection method for example, an abnormal image is generated in a pseudo manner by cutting out an image of an abnormal portion from only a small number of abnormal images and pasting the image on the normal image. Then, the generated abnormal image is used as the input image A1, and the Deep Neural Network (DNN) model such as Auto-Encoder is trained so as to correct the abnormal image to the correct image A2 which is a normal image.
  • DNN Deep Neural Network
  • an object of the present invention is to provide an abnormality detection method, an abnormality detection device, and a program capable of detecting that there is a factor that may cause a failure of a solar panel.
  • One aspect of the present invention includes the first factor among the above factors based on the detection target image which is an image captured by the target solar panel for detecting the factor that may cause a failure, or the above factor.
  • the difference between the detection target image and the image of the solar panel that does not include the factor is output as an image of the factor, and it is determined in the determination step that the second factor is included.
  • a straight line satisfying a predetermined requirement is removed from the edge image of the detection target image and output as an image of the factor, and it is determined in the determination step that neither the first factor nor the second factor is included.
  • it is an abnormality detection method having an output step for outputting that the factor is not included.
  • One aspect of the present invention includes the first factor among the above factors based on the detection target image which is an image captured by the target solar panel for detecting the factor that may cause a failure, or the above factor.
  • a determination unit that determines whether the second factor is included, or whether the first factor and the second factor are not included, and the determination unit includes the first factor.
  • the difference between the detection target image and the image of the solar panel that does not include the factor is output as an image of the factor, and the determination unit determines that the second factor is included.
  • a straight line satisfying a predetermined requirement is removed from the edge image of the detection target image and output as an image of the factor, and the determination unit determines that neither the first factor nor the second factor is included. In this case, it is an abnormality detection device having an output unit that outputs that the factor is not included.
  • One aspect of the present invention is a program for causing a computer to execute the above-mentioned abnormality detection method.
  • the present embodiment relates to a technique for identifying a region in which regularity on a subject is disturbed as compared with the surroundings in an image of a subject having a certain regular pattern by using machine learning.
  • a subject is, for example, a solar panel.
  • the solar panel is inspected by using the image captured by the drone or the like by using the machine learning technique.
  • the present embodiment in the inspection of the solar panel, there is a place where there is an abnormality that may cause a failure in the solar panel in the future, although no failure or hot spotting has occurred at the image imaging stage. It becomes possible to detect.
  • the image of the detected part is output.
  • FIG. 1 is a functional block diagram showing the overall configuration of the abnormality detection device 1 according to the embodiment of the present invention.
  • the abnormality detection device 1 includes a pre-learning unit 2, an image acquisition unit 3, an abnormality determination unit 4, and an abnormality detection unit 5.
  • the abnormality detection device 1 uses various models learned by the pre-learning unit 2 in a process of estimating the possibility of failure in the future. Therefore, there is a difference in the time series in which the processing is executed between the pre-learning unit 2, the image acquisition unit 3, the abnormality determination unit 4, and the abnormality detection unit 5.
  • the pre-learning unit 2 includes a panel data storage unit 21, a cutout abnormality image storage unit 22, a white scratch model learning unit 23, a blue scratch model learning unit 24, and an abnormality determination learning unit 25.
  • the panel data storage unit 21 stores a learning solar panel image.
  • the learning solar panel image is data of a visible light image obtained by photographing the solar panel.
  • the learning solar panel image the data of the visible light image obtained by taking a normal solar panel is used.
  • the cutout abnormality image storage unit 22 stores the cutout abnormality image.
  • the cutout abnormal image is image data of an abnormal portion cut out from a small number of abnormal image data in advance.
  • the original abnormal image data from which the cut-out abnormal image is cut out is the data of the visible light image of the solar panel having the abnormality.
  • a label is given to the cutout abnormal image.
  • the label is information indicating the type of abnormality such as blue scratches and white scratches. Blue scratches indicate an abnormality in color that is close to the color of the solar panel, and white scratches indicate an abnormality in color that is far from the color of the solar panel. Therefore, the white scratches do not necessarily have to be all white scratches. Further, the blue scratches and the white scratches may include bird droppings, weeds and the like. It should be noted that the Auto-Encoder, which is generally used at present, cannot express an abnormality in a color close to and an abnormality in a color far from the background solar panel.
  • the white scratch model learning unit 23 acquires a learning solar panel image from the panel data storage unit 21, and uses the acquired learning solar panel image to learn an Auto-Encoder model for detecting white scratches. I do.
  • the white scratch model learning unit 23 outputs the learned Auto-Encoder model parameters as trained white scratch model parameters.
  • the blue scratch model learning unit 24 acquires a learning solar panel image from the panel data storage unit 21, and acquires a cutout abnormal image from the cutout abnormal image storage unit 22.
  • the blue scratch model learning unit 24 learns an Auto-Encoder model used for detecting blue scratches by using an image in which a blue scratch cutout abnormal image is attached to a learning solar panel image.
  • the blue scratch model learning unit 24 outputs the learned Auto-Encoder model parameters as trained blue scratch model parameters.
  • the abnormality determination learning unit 25 acquires a learning solar panel image from the panel data storage unit 21, and acquires a cutout abnormality image from the cutout abnormality image storage unit 22.
  • the abnormality determination learning unit 25 selects the cutout abnormal images of blue scratches and white scratches from the acquired cutout abnormal images.
  • the abnormality determination learning unit 25 randomly attaches the selected abnormal image of blue scratches or white scratches to the learning solar panel image, and generates an image for classification learning.
  • the abnormality determination learning unit 25 is a classification model that determines whether the state of scratches included in the cut-out abnormality image attached to the classification learning image is one of three, blue scratches, white scratches, and no scratches. Learn the vessel.
  • the abnormality determination learning unit 25 outputs the learned parameters of the classifier as learned abnormality determination model parameters.
  • the image acquisition unit 3 acquires an estimation image.
  • the estimation image is data of a visible light image captured by the target solar panel for which the presence or absence of a factor that may cause a failure in the future is estimated.
  • the factor is, for example, an abnormality such as a blue scratch or a white scratch.
  • the estimation image is taken by a drone or the like.
  • the image acquisition unit 3 may read, for example, the estimation image from the recording medium, or may receive or read the estimation image from another device connected via the network.
  • the abnormality determination unit 4 acquires an estimation image from the image acquisition unit 3, and acquires the learned abnormality determination model parameters from the abnormality determination learning unit 25.
  • the abnormality determination unit 4 uses a classifier to which the learned abnormality determination parameters are applied to determine which type of abnormality is included in the estimation image or whether or not the abnormality is included.
  • the abnormality determination unit 4 outputs the abnormality determination result to the abnormality detection unit 5.
  • the abnormality detection unit 5 performs an abnormality detection process on the estimation image according to the abnormality determination result output by the abnormality determination unit 4.
  • the abnormality determination unit 4 outputs the abnormality detection result obtained by the abnormality detection process. For example, the output may be output to another information processing unit (not shown) of the abnormality detection device 1, may be displayed on a display or the like, may be written to a recording medium, or may be written to another device connected via a network. May be sent.
  • the learning solar panel image it is assumed that the data of the visible light image obtained by photographing the normal solar panel is used as described above. However, the same effect can be obtained even if the learning solar panel image includes data of a visible light image obtained by photographing the solar panel containing some abnormalities. This means that there is no problem even if some abnormalities are included as long as they are finally recognized as normal solar panels, and a specific example of some abnormalities is the threshold value to be performed after that. Blue scratches or white scratches that are below the threshold value in the treatment.
  • the blue scratch model learning unit 24 learns the Auto-Encoder model used for detecting blue scratches by using an image in which a blue scratch cutout abnormal image is attached to a learning solar panel image. Is expected to be done. However, the same effect can be obtained even if the model learning unit 24 for blue scratches learns the Auto-Encoder model by further using an image in which an abnormal image of white scratches instead of blue scratches is attached to the learning solar panel image. Be done. Further, as described above, the model learning unit 23 for white scratches and the model learning unit 24 for blue scratches learn the model separately.
  • Auto-Encoder is used for a model that the model learning unit 23 for white scratches learns to detect white scratches and a model that the model learning unit 24 for blue scratches learns to detect blue scratches.
  • the model may be trained using one using Auto-Encoder and the other using other than Auto-Encoder.
  • VAE Very Autoencoder
  • VAE Variational Autoencoder
  • the cutout abnormal image stored in the cutout abnormal image storage unit 22 may not be labeled.
  • the user may input the information of the cutout abnormal image for instructing the blue scratch model learning unit 24 or the abnormality determination learning unit 25 to acquire the information and the label of the cutout abnormal image by an input unit (not shown).
  • the user may input a label to the cutout abnormality image acquired by the blue scratch model learning unit 24 or the abnormality determination learning unit 25 by an input unit (not shown).
  • the model learning unit 24 for blue scratches and the abnormality determination learning unit 25 perform threshold processing on the RGB pixel values of the cutout abnormal image, so that the cutout abnormal image is blue scratches or white scratches. You may determine if there is.
  • the abnormality detection device 1 may be mounted by using a plurality of information processing devices connected so as to be able to communicate via a network.
  • each functional unit included in the abnormality detection device 1 may be distributed and mounted in a plurality of information processing devices. Which of these plurality of information processing devices is used to realize each functional unit of the abnormality detection device 1 can be arbitrary.
  • the pre-learning unit 2, the image acquisition unit 3, the abnormality determination unit 4, and the abnormality detection unit 5 may be mounted on different information processing devices.
  • the panel data storage unit 21, the cutout abnormality image storage unit 22, the white scratch model learning unit 23, the blue scratch model learning unit 24, and the abnormality determination learning unit 25 are mounted on different information processing devices. May be good.
  • the same functional unit may be realized by a plurality of computer devices.
  • FIG. 2 is a flowchart showing the entire processing of the pre-learning unit 2.
  • the white scratch model learning unit 23 of the pre-learning unit 2 acquires a learning solar panel image from the panel data storage unit 21 (step S11).
  • the model learning unit 23 for white scratches learns a model for white scratches, which is a model for detecting white scratches given to the solar panel, by using the learning solar panel image acquired in step S11 (step). S12).
  • the blue scratch model learning unit 24 acquires a learning solar panel image from the panel data storage unit 21 and acquires a cutout abnormal image from the cutout abnormal image storage unit 22 (step S13).
  • the blue scratch model learning unit 24 learns a blue scratch model, which is a model for detecting the blue scratch given to the solar panel, by using these acquired images (step S14).
  • the abnormality determination learning unit 25 acquires a learning solar panel image from the panel data storage unit 21, and acquires a cutout abnormality image from the cutout abnormality image storage unit 22. Using these acquired images, the abnormality determination learning unit 25 uses the acquired images to determine whether the solar panel of the subject imaged in the image data contains blue scratches, white scratches, or is intact. A classification model for determining is learned (step S15).
  • FIG. 3 is a flowchart showing the processing of the white scratch model learning unit 23 in FIG.
  • the white scratch model learning unit 23 acquires a learning solar panel image from the panel data storage unit 21 (step S101).
  • the white scratch model learning unit 23 learns a white scratch model that converts a learning solar panel image into an edge image (step S102).
  • a pre-defined Auto-Encoder model is used as the model for white scratches.
  • the white scratch model learning unit 23 uses the correct answer data of the conversion result as an edge image generated from the learning solar panel image using, for example, a sobel filter.
  • the white scratch model learning unit 23 learns the Auto-Encoder model that inputs the learning solar panel image and outputs the edge image of the learning solar panel image.
  • the model architecture for example, U-Net can be used. In addition to U-Net, if an appropriate image conversion model is used, the same effect can be obtained by using another model as the model architecture.
  • the white scratch model learning unit 23 outputs weights, which are model parameters of the Auto-Encoder model for which learning has been completed, as white scratch model parameters (step S103).
  • FIG. 4 is a flowchart showing the processing of the blue scratch model learning unit 24 in FIG.
  • the blue scratch model learning unit 24 acquires a learning solar panel image from the panel data storage unit 21.
  • the blue scratch model learning unit 24 acquires a cutout abnormal image which is image data of an abnormal portion cut out from a small number of abnormal image data from the cutout abnormal image storage unit 22 (step S202).
  • the blue scratch model learning unit 24 inputs an image obtained by pasting the cutout abnormality image acquired in step S202 to the learning solar panel image into the blue scratch model, and performs learning so as to remove the abnormality (step S203).
  • a predefined Auto-Encoder model is used as the model for blue scratches.
  • the blue scratch model learning unit 24 inputs the image in which the cutout abnormal image is pasted to the learning solar panel image, and outputs the learning solar panel image before pasting the cutout abnormal image. -Learn the Encoder model.
  • the blue scratch model learning unit 24 outputs the weight, which is a model parameter of the Auto-Encoder model for which learning has been completed, as a blue scratch model parameter (step S204).
  • FIG. 5 is a flowchart showing the processing of the abnormality determination learning unit 25 in FIG.
  • the abnormality determination learning unit 25 acquires a learning solar panel image from the panel data storage unit 21 (step S301). Further, the abnormality determination learning unit 25 acquires a cutout abnormality image which is image data of an abnormality portion cut out from a small number of abnormality image data from the cutout abnormality image storage unit 22 (step S302). The abnormality determination learning unit 25 extracts only the cutout abnormal images of blue scratches and white scratches from the acquired cutout abnormal images (step S303).
  • the abnormality determination learning unit 25 randomly attaches a cut-out abnormality image to the learning solar panel image to use it as an input image for learning.
  • the abnormality determination learning unit 25 learns a classifier that solves a classification problem of three classes of blue scratches, white scratches, and no scratches on the input image for learning (step S304). That is, in the abnormality determination learning unit 25, the input image to which the blue scratch cutout abnormal image is given is given to the blue scratch, and the input image to which the white scratch cutout abnormal image is given is given to the white scratch, and the cutout abnormal image is given to the white scratch.
  • a classification model that serves as a classifier is trained so that no input image is classified without scratches.
  • the classification model is, for example, SVM (support vector machine). The same effect can be obtained by using a classification model other than SVM, which is not easily affected by the curse of dimensionality, as a classifier.
  • the abnormality determination learning unit 25 outputs the learned classification model parameters as abnormality determination model parameters (step S305).
  • FIG. 6 is a flowchart of the abnormality detection process of the abnormality detection device 1.
  • the image acquisition unit 3 acquires an estimation image (step S41).
  • the estimation image is a visible light image of a solar panel taken aerial using a drone or the like.
  • the abnormality determination unit 4 acquires the learned abnormality determination model parameters from the abnormality determination learning unit 25.
  • the abnormality detection unit 5 acquires the learned blue scratch model parameters from the blue scratch model learning unit 24, and acquires the learned white scratch model parameters from the white scratch model learning unit 23 (step S42).
  • the abnormality determination unit 4 determines whether the estimation image has blue scratches, white scratches, or no scratches by using the classification model to which the learned abnormality determination parameters are applied (step S43).
  • the abnormality detection unit 5 detects the abnormality using the model parameters according to the determination result (step S44).
  • FIG. 7 is a flowchart showing the processing of the abnormality detection unit 5 in FIG.
  • the abnormality detection unit 5 acquires an estimation image from the image acquisition unit 3 (step S401). Further, the abnormality detection unit 5 acquires the abnormality determination result from the abnormality determination unit 4 (step S402). The abnormality detection unit 5 determines whether the acquired abnormality determination result is a white scratch, a blue scratch, or no scratch (step S403). When the abnormality detection unit 5 determines that the abnormality determination result is no scratches (step S403: no scratches), the abnormality detection unit 5 outputs no scratches as a detection result (step S404).
  • the scratch-free detection result includes the determination result that there is no possibility that a failure will occur in the future.
  • the abnormality detection unit 5 determines that the abnormality determination result is a blue scratch (step S403: blue scratch)
  • the abnormality detection unit 5 acquires the learned blue scratch model parameter from the blue scratch model learning unit 24 (step S405).
  • the abnormality detection unit 5 inputs the estimation image into the Auto-Encoder model using the blue scratch model parameter and performs image conversion (step S406).
  • the abnormality detection unit 5 calculates the difference between the converted image obtained by the image conversion in step S406 and the estimation image acquired in step S401 to obtain a difference image.
  • the abnormality detection unit 5 performs threshold processing on the difference image. Specifically, the abnormality detection unit 5 calculates the value of a predetermined feature amount such as RGB for each pixel of the difference image, and generates an image in which the pixel whose feature amount value is equal to or larger than the threshold value is extracted.
  • the difference image subjected to the threshold processing is an image of blue scratches on the solar panel.
  • the abnormality detection unit 5 outputs the result of the threshold processing as the detection result (step S407). This detection result includes a determination result of whether or not a failure may occur in the future.
  • the abnormality detection unit 5 when the value of the feature amount is less than a predetermined number such as 0 pixels having a threshold value or more, the abnormality detection unit 5 outputs a determination result that there is no possibility of failure in the future, and the value of the feature amount.
  • the determination result that a failure may occur in the future is output.
  • the abnormality detection unit 5 determines that the abnormality determination result is a white scratch (step S403: white scratch).
  • the abnormality detection unit 5 acquires the learned white scratch model parameter from the white scratch model learning unit 23 (step S408).
  • the abnormality detection unit 5 inputs the estimation image into the Auto-Encoder model using the model parameters for white scratches, and performs image conversion (step S409).
  • the abnormality detection unit 5 removes a straight line based on the Hough transform on the edge image, which is a converted image obtained as a result of the process in step S409 (step S410). That is, the abnormality detection unit 5 removes the straight line obtained by performing the Hough transform on the converted image from the converted image.
  • any algorithm that can remove straight lines has the same effect.
  • the abnormality detection unit 5 performs threshold processing on the image obtained by removing the straight line from the edge image in step S410. Specifically, the abnormality detection unit 5 calculates a value of a predetermined feature amount such as RGB for each pixel of the image obtained by performing straight line removal, and extracts a pixel whose feature amount value is equal to or greater than a threshold value. To generate. The generated image is an image of white scratches on a solar panel. The abnormality detection unit 5 outputs the result of the threshold processing as the detection result (step S411). This detection result includes a determination result that a failure may occur in the future.
  • the abnormality detection unit 5 when the value of the feature amount is less than a predetermined number such as 0 pixels having a threshold value or more, the abnormality detection unit 5 outputs a determination result that there is no possibility of failure in the future, and the value of the feature amount.
  • the determination result that a failure may occur in the future is output.
  • this embodiment it is possible to detect abnormalities such as leaves, bird droppings, and cracks attached to the panel in an image of a subject having a regular pattern such as a solar panel. Further, due to this technical effect, according to the present embodiment, it is possible to detect an abnormality in a state where heat generation of the solar panel due to a failure does not occur. Furthermore, as a side effect, the range of applications of the drone business for the purpose of detecting abnormalities in solar panels will be expanded.
  • FIG. 8 is a device configuration diagram showing a hardware configuration example of the abnormality detection device 1.
  • the abnormality detection device 1 includes a processor 71, a storage unit 72, a communication interface 73, and a user interface 74.
  • the white scratch model learning unit 23 the blue scratch model learning unit 24, the abnormality determination learning unit 25, the image acquisition unit 3, the abnormality determination unit 4, and the abnormality
  • the function of the detection unit 5 is realized.
  • the storage unit 72 realizes the panel data storage unit 21 and the cutout abnormality image storage unit 22.
  • the storage unit 72 is for executing the processes of the white scratch model learning unit 23, the blue scratch model learning unit 24, the abnormality determination learning unit 25, the image acquisition unit 3, the abnormality determination unit 4, and the abnormality detection unit 5. Memorize programs etc.
  • the storage unit 72 further has a work area for the processor 71 to execute various programs and the like. All or part of the functions of the white scratch model learning unit 23, the blue scratch model learning unit 24, the abnormality determination learning unit 25, the image acquisition unit 3, the abnormality determination unit 4, and the abnormality detection unit 5 are ASICs (Applications). It may be realized by using hardware such as Specific Integrated Circuit), PLD (Programmable Logic Device), and FPGA (Field Programmable Gate Array).
  • the communication interface 73 is connected so as to be able to communicate with another device.
  • the user interface 74 is an input device such as a button, a keyboard, and a pointing device, and a display device such as a display.
  • an abnormality is made by estimating in advance an effective method for detecting a specific abnormal part. Enables detection. That is, in the present embodiment, the aerial image of the solar panel is roughly classified, and which abnormality detection model is used is determined. This makes it possible to detect abnormal parts that are difficult to detect with a single method.
  • the abnormality detection device includes a determination unit and an output unit.
  • the determination unit is the abnormality determination unit 4, and the output unit is the abnormality detection unit 5.
  • the determination unit Based on the detection target image, which is an image captured by the target solar panel that detects the factor that may cause a failure in the future, the determination unit includes the first factor among the factors, or the factor thereof. It is determined whether the second factor is included or neither the first factor nor the second factor is included. For example, the first factor is blue scratches and the second factor is white scratches. Further, the detection target image is, for example, an estimation image acquired by the image acquisition unit 3.
  • the output unit When it is determined that the first factor is included, the output unit outputs the difference between the detection target image and the image of the solar panel that does not include the factor as the factor image. Further, when it is determined that the second factor is included, the output unit removes a straight line satisfying a predetermined requirement from the edge image of the detection target image and outputs it as an image of the factor.
  • a straight line satisfying a predetermined requirement is, for example, a straight line obtained by Hough transform. Further, when it is determined that neither the first factor nor the second factor is included, the output unit outputs that the factor is not included.
  • the abnormality detection device may further include a pre-learning unit.
  • the pre-learning unit learns a first model in which an image obtained by pasting an image of a factor on a learning image, which is an image captured by a solar panel, is input, and the learning image is output. Further, the pre-learning unit learns a second model in which the learning image is input and the edge image of the learning image is output.
  • the output unit outputs the difference between the detection target image determined to include the first factor and the first output image output by inputting the detection target image into the first model as the factor image. Further, the output unit removes a straight line from the output second output image by inputting the detection target image determined to include the second factor into the second model, and outputs the image as the factor image.
  • the pre-learning unit attaches a learning image, which is an image captured by the solar panel, to an image that does not include either the first factor or the second factor, and attaches an image of the first factor to the learning image.
  • You may learn a classification model that classifies the attached image into an image containing the first factor and an image in which the image of the second factor is pasted into the training image into an image containing the second factor.
  • the determination unit includes the first factor, the second factor, or both the first factor and the second factor in the image to be detected using the learned classification model. Determine if there is none.
  • the output unit may determine whether or not a failure may occur in the future based on the result of performing the threshold processing on the image of the factor, and output the determination result.

Landscapes

  • Image Analysis (AREA)
  • Photovoltaic Devices (AREA)
  • Image Processing (AREA)

Abstract

異常検知装置は、故障が発生し得る要因を検知する対象の太陽光パネルが撮像された画像である検知対象画像に基づいて、第一の要因又は第二の要因が含まれるか、又は、それら要因のいずれも含まないかを判定する。異常検知装置は、第一の要因が含まれると判定した場合、検知対象画像と要因が含まれない太陽光パネルの画像との差分を要因の画像として出力し、第二の要因が含まれると判定した場合、検知対象画像のエッジ画像から所定の要件を満たす直線を除去して要因の画像として出力し、第一の要因又は第二の要因のいずれも含まないと判定した場合、要因が含まれないことを出力する。

Description

異常検知方法、異常検知装置及びプログラム
　本発明は、異常検知方法、異常検知装置及びプログラムに関する。
　近年、ドローンからの空撮画像を用いて各種業務の効率化を推進する技術が注目を集めている。空撮画像により撮像対象を俯瞰することが出来るため、地上からでは確認できない領域の目視が可能になる。また、ドローンを活用することで、従来よりも安価かつ簡易に空撮画像を撮像できる。これらのことから、技術の応用が広がっている。
　ドローンを活用した空撮画像を利用して行われる業務効率化の一つとして、太陽光発電設備が有する太陽光パネルの故障を、サーモ画像を用いて検知する技術がある。太陽光パネルは、故障が生じると発電効率が低下する。発電効率が低下すると、太陽光のエネルギーを電気に変換できないために、高温になる太陽光パネルが多く存在する。そこで、サーモ画像によって高温箇所（ホットスポット）を特定する事で、効率的に故障を検知することが可能になる。
　さらに、そのようなサーモ画像から、機械学習技術等を用いて故障を自動検知する技術が提案されている（例えば、非特許文献１参照)。この技術では、ドローンの異常検知においては教師付きデータが少数であることから、太陽光パネルの特性に基づいて教師無しの異常検知方法を提案している。
　サーモ画像を用いるホットスポット検知は、故障の検知に有効である。しかしながら、太陽光パネルの故障を未然に防ぐことについては有効性が期待できない。例えば、鳥の糞や落ち葉等がパネルに定常的に付着してしまった場合や、ひびなどが存在する場合は、そこからホットスポットが発生する恐れがある。このような将来的にホットスポット化する可能性があるが、現段階では発熱を起こしていない領域を、サーモ画像によって検出することは難しい。
宮澤　健人，鈴木　聡志，早瀬　和也，三反崎　暁経，清水　淳，「サーモ画像を用いた太陽光パネル故障の自動検知に関する一検討」，一般社団法人　映像情報メディア学会，冬季大会2017，2017年
　画像撮像段階では故障しておらず、かつ、ホットスポット化していないものの、将来的に故障が起こる危険性のある箇所については、サーモ画像からは判別できない。そのため、一般的な可視光画像から検知を行う方式が考えられる。しかし、検知したい異常は多数に及ぶため、単一の機械学習方式では完全な検知は難しい。
　単一の機械学習方式としてAuto-Encoderを実装した場合に、以下のような問題が生じた。図９は、Auto-Encoderの差分に基づく検知方法を示す図である。この検知方法では、例えば、少数しかない異常画像から異常箇所の画像を切り出して正常画像に貼付する事で、疑似的に異常画像を生成する。そして、生成した異常画像を入力画像Ａ１とし、この異常画像を正常画像である正解画像Ａ２に修正するように、Auto-EncoderのようなDeep Neural Network（ＤＮＮ）モデルの学習を行う。しかし、このような学習を行った場合でも、図１０の丸で囲った箇所のように、入力画像Ａ３に含まれる白色の傷などは、出力画像Ａ４においても消失させる事ができない。そのため、入力画像とAuto-Encoderからの出力画像との差分などに基づく故障検知を完全に行うことは困難な場合がある。
　上記事情に鑑み、本発明は、太陽光パネルの故障が発生し得る要因があることを検出することができる異常検知方法、異常検知装置及びプログラムを提供することを目的としている。
　本発明の一態様は、故障が発生し得る要因を検知する対象の太陽光パネルが撮像された画像である検知対象画像に基づいて、前記要因のうち第一の要因が含まれるか、前記要因のうち第二の要因が含まれるか、又は、前記第一の要因及び前記第二の要因のいずれも含まないかを判定する判定ステップと、前記判定ステップにおいて前記第一の要因が含まれると判定された場合、前記検知対象画像と前記要因が含まれない前記太陽光パネルの画像との差分を要因の画像として出力し、前記判定ステップにおいて前記第二の要因が含まれると判定された場合、前記検知対象画像のエッジ画像から所定の要件を満たす直線を除去して要因の画像として出力し、前記判定ステップにおいて前記第一の要因及び前記第二の要因のいずれも含まないと判定された場合、要因が含まれないことを出力する出力ステップと、を有する異常検知方法である。
　本発明の一態様は、故障が発生し得る要因を検知する対象の太陽光パネルが撮像された画像である検知対象画像に基づいて、前記要因のうち第一の要因が含まれるか、前記要因のうち第二の要因が含まれるか、又は、前記第一の要因及び前記第二の要因のいずれも含まないかを判定する判定部と、前記判定部において前記第一の要因が含まれると判定された場合、前記検知対象画像と前記要因が含まれない前記太陽光パネルの画像との差分を要因の画像として出力し、前記判定部において前記第二の要因が含まれると判定された場合、前記検知対象画像のエッジ画像から所定の要件を満たす直線を除去して要因の画像として出力し、前記判定部において前記第一の要因及び前記第二の要因のいずれも含まないと判定された場合、要因が含まれないことを出力する出力部と、を有する異常検知装置である。
　本発明の一態様は、コンピュータに、上述した異常検知方法を実行させるためのプログラムである。
　本発明により、太陽光パネルの故障が発生し得る要因があることを検出することが可能となる。
本発明の一実施形態による異常検知装置の全体構成を示す機能ブロック図である。 同実施形態による事前学習部の全体動作を示すフローチャートである。 同実施形態による白傷用モデル学習部の動作を示すフローチャートである。 同実施形態による青傷用モデル学習部の動作を示すフローチャートである。 同実施形態による異常判定学習部の動作を示すフローチャートである。 同実施形態による異常検知装置の異常検知処理を示すフローチャートである。 同実施形態による異常検知部の処理を示すフローチャートである。 同実施形態による異常検知装置のハードウェア構成を示す図である。 Auto-Encoderの差分に基づく異常検知方法の概要図である。 Auto-Encoderの入力画像及び出力画像の例を示す図である。
　以下、図面を参照しながら本発明の実施形態を詳細に説明する。本実施形態は、ある一定の規則的な模様を有する被写体を撮影した画像において、周囲と比較して被写体上の規則性が乱れる領域を、機械学習を利用して特定する技術に関する。このような被写体は、例えば、太陽光パネルである。本実施形態は、教師付きデータがほとんど存在しない場合でも、機械学習技術を用いることにより、ドローンなどにより撮像された画像を利用して太陽光パネルの点検を行う。本実施形態によれば、太陽光パネルの点検において、画像撮像段階では故障及びホットスポット化が発生していないものの、将来的に太陽光パネルに故障が発生し得る要因となる異常がある箇所を検知することが可能となる。また、その検知した箇所の画像を出力する。
　図１は、本発明の一実施形態による異常検知装置１の全体構成を示す機能ブロック図である。異常検知装置１は、事前学習部２と、画像取得部３と、異常判定部４と、異常検知部５とを有する。異常検知装置１は、事前学習部２が学習した各種モデルを、将来的に故障が発生する可能性の有無を推定する処理において利用する。そのため、事前学習部２と、画像取得部３、異常判定部４及び異常検知部５との間で、処理を実行する時系列に違いが生じる。
　まず、事前学習部２について説明する。事前学習部２は、パネルデータ格納部２１と、切り出し異常画像格納部２２と、白傷用モデル学習部２３と、青傷用モデル学習部２４と、異常判定学習部２５とを備える。
　パネルデータ格納部２１は、学習用太陽光パネル画像を記憶する。学習用太陽光パネル画像は、太陽光パネルを撮影した可視光画像のデータである。学習用太陽光パネル画像として、正常な太陽光パネルを撮影した可視光画像のデータを用いる。
　切り出し異常画像格納部２２は、切り出し異常画像を記憶する。切り出し異常画像は、事前に少数の異常画像データから切り出された異常箇所の画像データである。切り出し異常画像を切り出す元の異常画像データは、異常がある太陽光パネルの可視光画像のデータである。切り出し異常画像には、ラベルが付与される。ラベルは、青傷、白傷などの異常の種別を表す情報である。青傷は、太陽光パネルの色味から近い色味の異常を示し、白傷は、太陽光パネルの色味から遠い色味の異常を示す。そのため、白傷は、必ずしも白色一色の傷でなくてもよい。また、青傷及び白傷は、鳥の糞や雑草等を含んでもよい。なお、現在一般的に用いられるAuto-Encoderでは、背景である太陽光パネルと近しい色味の異常と遠い色味の異常を表現しきれない。
　白傷用モデル学習部２３は、パネルデータ格納部２１から学習用太陽光パネル画像を取得し、取得した学習用太陽光パネル画像を用いて、白傷を検知するためのAuto-Encoderモデルの学習を行う。白傷用モデル学習部２３は、学習されたAuto-Encoderモデルのパラメータを、学習済み白傷用モデルパラメータとして出力する。
　青傷用モデル学習部２４は、パネルデータ格納部２１から学習用太陽光パネル画像を取得し、切り出し異常画像格納部２２から、切り出し異常画像を取得する。青傷用モデル学習部２４は、青傷の切り出し異常画像を学習用太陽光パネル画像に貼付した画像を用いて、青傷を検知するために用いるAuto-Encoderモデルの学習を行う。青傷用モデル学習部２４は、学習されたAuto-Encoderモデルのパラメータを、学習済み青傷用モデルパラメータとして出力する。
　異常判定学習部２５は、パネルデータ格納部２１から学習用太陽光パネル画像を取得し、切り出し異常画像格納部２２から切り出し異常画像を取得する。異常判定学習部２５は、取得した切り出し異常画像から、青傷と白傷の切り出し異常画像を選択する。異常判定学習部２５は、選択した青傷又は白傷の切り出し異常画像をランダムに学習用太陽光パネル画像に貼付し、分類学習用画像を生成する。異常判定学習部２５は、分類学習用画像に貼付されている切り出し異常画像に含まれる傷の状態を青傷・白傷・傷なしの３つのうちいずれであるかを判定する分類モデルである分類器を学習する。異常判定学習部２５は、学習した分類器のパラメータを、学習済み異常判定モデルパラメータとして出力する。
　画像取得部３は、推定用画像を取得する。推定用画像は、将来的に故障が発生し得る危険性がある要因の有無を推定する対象の太陽光パネルが撮像された可視光画像のデータである。要因は、例えば、青傷や白傷などの異常である。推定用画像は、ドローンなどにより撮影される。画像取得部３は、例えば、推定用画像を記録媒体から読み出してもよく、ネットワークを介して接続される他の装置から受信又は読み出してもよい。
　異常判定部４は、画像取得部３から推定用画像を取得し、異常判定学習部２５から学習済み異常判定モデルパラメータを取得する。異常判定部４は、学習済み異常判定パラメータを適用した分類器を用いて、推定用画像にどの種類の異常が含まれているか、又は、異常が含まれていないかの異常判定を行う。異常判定部４は、異常判定結果を異常検知部５に出力する。異常検知部５は、推定用画像に、異常判定部４が出力した異常判定結果に応じた異常検知処理を行う。異常判定部４は、異常検知処理によって得られた異常検知結果を出力する。例えば、出力は、異常検知装置１の図示しない他の情報処理部への出力でもよく、ディスプレイ等への表示でもよく、記録媒体への書き込みでもよく、ネットワークを介して接続される他の装置への送信でもよい。
　なお、学習用太陽光パネル画像として、上記のように、正常な太陽光パネルを撮影した可視光画像のデータを用いることが想定される。しかし、学習用太陽光パネル画像に、多少の異常が含まれる太陽光パネルを撮影した可視光画像のデータが含まれていても、同様の効果が得られる。これは、正常な太陽光パネルと最終的に認識されるものであれば多少の異常が含まれていても問題ないというものであり、多少の異常の具体的な例は、その後に行われる閾値処理において閾値以下となる青傷又は白傷である。
　また、上記のように、青傷用モデル学習部２４は、青傷の切り出し異常画像を学習用太陽光パネル画像に貼付した画像を用いて、青傷の検知に用いられるAuto-Encoderモデルの学習を行うことが想定される。しかし、青傷用モデル学習部２４は、青傷ではなく白傷の異常画像を学習用太陽光パネル画像に貼付した画像をさらに用いてAuto-Encoderモデルを学習しても、同様の効果が得られる。また、上記のように、白傷用モデル学習部２３と青傷用モデル学習部２４とは別々にモデルを学習する。上記では、白傷用モデル学習部２３が白傷を検知するために学習するモデルと、青傷用モデル学習部２４が青傷を検知するために学習するモデルとに、Auto-Encoderを用いているが、一方がAuto-Encoderを用い、他方がAuto-Encoder以外を用いてモデルを学習してもよい。Auto-Encoder以外には、例えば、ＶＡＥ（Variational Autoencoder）等を用いることができる。
　また、切り出し異常画像格納部２２に記憶される切り出し異常画像にラベルが付与されていなくてもよい。この場合、青傷用モデル学習部２４又は異常判定学習部２５に取得を指示する切り出し異常画像の情報と、その切り出し異常画像のラベルとを、ユーザが図示しない入力部により入力してもよい。あるいは、青傷用モデル学習部２４又は異常判定学習部２５が取得した切り出し異常画像に、ユーザが図示しない入力部によりラベルを入力してもよい。また、あるいは、青傷用モデル学習部２４及び異常判定学習部２５は、切り出し異常画像のＲＧＢの画素値に対して閾値処理を行うことによって、切り出し異常画像が青傷であるか、白傷であるかを判定してもよい。
　異常検知装置１は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、異常検知装置１が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。異常検知装置１の各機能部を、これら複数の情報処理装置のいずれにより実現するかは任意とすることができる。例えば、事前学習部２と、画像取得部３、異常判定部４及び異常検知部５とがそれぞれ異なる情報処理装置に実装されてもよい。また、例えば、パネルデータ格納部２１及び切り出し異常画像格納部２２と、白傷用モデル学習部２３、青傷用モデル学習部２４及び異常判定学習部２５とがそれぞれ異なる情報処理装置に実装されてもよい。また、同一の機能部を複数のコンピュータ装置により実現してもよい。
　続いて、異常検知装置１の処理について説明する。
　まず、図２を用いて事前学習部２の全体の処理を説明する。図２は、事前学習部２の全体の処理を示すフローチャートである。事前学習部２の白傷用モデル学習部２３は、パネルデータ格納部２１から学習用太陽光パネル画像を取得する（ステップＳ１１）。白傷用モデル学習部２３は、ステップＳ１１において取得した学習用太陽光パネル画像を用いて、太陽光パネルに付与された白傷を検知するためのモデルである白傷用モデルを学習する(ステップＳ１２）。
　青傷用モデル学習部２４は、パネルデータ格納部２１から学習用太陽光パネル画像を取得し、切り出し異常画像格納部２２から切り出し異常画像を取得する（ステップＳ１３）。青傷用モデル学習部２４は、取得したこれらの画像を用いて、太陽光パネルに付与された青傷を検知するためのモデルである青傷用モデルを学習する（ステップＳ１４）。
　異常判定学習部２５は、パネルデータ格納部２１から学習用太陽光パネル画像を取得し、切り出し異常画像格納部２２から切り出し異常画像を取得する。異常判定学習部２５は、取得したこれらの画像を用いて、画像データに撮像されている被写体の太陽光パネルが、青傷を含んでいるか、白傷を含んでいるか、又は、無傷であるかを判定するための分類モデルを学習する（ステップＳ１５）。
　続いて、白傷用モデル学習部２３、青傷用モデル学習部２４、異常判定学習部２５、異常判定部４の処理をそれぞれ説明する。
　まず、図３を用いて白傷用モデル学習部２３の処理を説明する。図３は、図２における白傷用モデル学習部２３の処理を示すフローチャートである。始めに、白傷用モデル学習部２３は、パネルデータ格納部２１から学習用太陽光パネル画像を取得する（ステップＳ１０１）。白傷用モデル学習部２３は、学習用太陽光パネル画像からエッジ画像へ変換する白傷用モデルを学習する（ステップＳ１０２）。白傷用モデルとして、事前に定義されたAuto-Encoderモデルが用いられる。白傷用モデル学習部２３は、変換結果の正解データを、例えばソーベルフィルタなどを用いて学習用太陽光パネル画像から生成したエッジ画像とする。これにより、白傷用モデル学習部２３は、学習用太陽光パネル画像を入力とし、その学習用太陽光パネル画像のエッジ画像を出力とするAuto-Encoderモデルを学習する。モデルアーキテクチャとして、例えば、Ｕ－Ｎｅｔを用いることができる。なお、Ｕ－Ｎｅｔ以外にも、適切な画像変換モデルであれば他のモデルをモデルアーキテクチャとして用いても同様の効果を奏する。白傷用モデル学習部２３は、学習が完了したAuto-Encoderモデルのモデルパラメータである重みを、白傷用モデルパラメータとして出力する（ステップＳ１０３）。
　次に、図４を用いて、青傷用モデル学習部２４の処理を説明する。図４は、図２における青傷用モデル学習部２４の処理を示すフローチャートである。まず、青傷用モデル学習部２４は、パネルデータ格納部２１から学習用太陽光パネル画像を取得する。青傷用モデル学習部２４は、切り出し異常画像格納部２２から、少数の異常画像データから切り出された異常箇所の画像データである切り出し異常画像を取得する（ステップＳ２０２）。青傷用モデル学習部２４は、学習用太陽光パネル画像に、ステップＳ２０２において取得した切り出し異常画像を貼り付けた画像を青傷用モデルに入力し、異常を取り除くように学習を行う（ステップＳ２０３）。青傷用モデルとして、事前に定義されたAuto-Encoderモデルを用いる。これにより、青傷用モデル学習部２４は、学習用太陽光パネル画像に切り出し異常画像を貼り付けた画像を入力とし、切り出し異常画像を貼り付ける前の学習用太陽光パネル画像を出力とするAuto-Encoderモデルを学習する。青傷用モデル学習部２４は、学習が完了したAuto-Encoderモデルのモデルパラメータである重みを、青傷用モデルパラメータとして出力する（ステップＳ２０４）。
　続いて、図５を用いて、異常判定学習部２５の処理を説明する。図５は、図２における異常判定学習部２５の処理を示すフローチャートである。まず、異常判定学習部２５は、パネルデータ格納部２１から学習用太陽光パネル画像を取得する（ステップＳ３０１）。さらに、異常判定学習部２５は、切り出し異常画像格納部２２から、少数の異常画像データから切り出された異常箇所の画像データである切り出し異常画像を取得する（ステップＳ３０２）。異常判定学習部２５は、取得した切り出し異常画像から青傷と白傷の切り出し異常画像のみを抽出する（ステップＳ３０３）。異常判定学習部２５は、ステップＳ２０３と同様に、学習用太陽光パネル画像に切り出し異常画像をランダムに貼付して学習用の入力画像とする。異常判定学習部２５は、この学習用の入力画像について、傷の状態を青傷・白傷・傷なしの３クラスの分類問題を解く分類器を学習する（ステップＳ３０４）。すなわち、異常判定学習部２５は、青傷の切り出し異常画像が付与された入力画像は青傷に、白傷の切り出し異常画像が付与された入力画像は白傷に、切り出し異常画像が付与されていない入力画像は傷なしに分類されるように分類器となる分類モデルを学習する。分類モデルは、例えば、ＳＶＭ（support vector machine）である。なお、ＳＶＭ以外でも次元の呪いの影響を受けにくい分類モデルを分類器として用いることで、同様の効果を奏する。異常判定学習部２５は、学習した分類モデルのパラメータを、異常判定モデルパラメータとして出力する(ステップＳ３０５）。
　続いて、図６を用いて、異常検知装置１の画像取得部３、異常判定部４及び異常検知部５が実行する処理を説明する。図６は、異常検知装置１の異常検知処理のフローチャートである。まず、画像取得部３は、推定用画像を取得する（ステップＳ４１）。推定用画像は、ドローンなどを用いて空撮した太陽光パネルの可視光画像である。異常判定部４は、異常判定学習部２５から学習済み異常判定モデルパラメータを取得する。異常検知部５は、青傷用モデル学習部２４から学習済み青傷用モデルパラメータを取得し、白傷用モデル学習部２３から学習済み白傷用モデルパラメータを取得する（ステップＳ４２）。異常判定部４は、学習済み異常判定パラメータを適用した分類モデルを用いて、推定用画像が青傷、白傷、又は、傷なしのいずれの状態であるかを判定する（ステップＳ４３）。異常検知部５は、異常判定部４が判定した状態が青傷又は白傷の場合、判定結果に応じたモデルパラメータを用いて、異常検知を行う（ステップＳ４４）。
　続いて、図７を用いて、異常検知部５の処理について説明する。図７は、図６における異常検知部５の処理を示すフローチャートである。まず、異常検知部５は、画像取得部３から推定用画像を取得する（ステップＳ４０１）。さらに、異常検知部５は、異常判定部４から異常判定結果を取得する（ステップＳ４０２）。異常検知部５は、取得した異常判定結果が白傷、青傷、又は、傷なしのいずれであるかを判定する（ステップＳ４０３）。異常検知部５は、異常判定結果が傷なしであると判定した場合（ステップＳ４０３：傷なし）、傷なしを検知結果として出力する（ステップＳ４０４）。傷無しの検知結果は、将来的に故障が発生する可能性無しの判定結果を含む。
　異常検知部５は、異常判定結果が青傷であると判定した場合（ステップＳ４０３：青傷）、青傷用モデル学習部２４から学習済み青傷用モデルパラメータを取得する（ステップＳ４０５）。異常検知部５は、推定用画像を、青傷用モデルパラメータを用いたAuto-Encoderモデルに入力して画像変換を行う（ステップＳ４０６）。
　異常検知部５は、ステップＳ４０６の画像変換により得られた変換画像と、ステップＳ４０１において取得した推定用画像との差分を算出して差分画像を得る。異常検知部５は、差分画像に対して閾値処理を行う。具体的には、異常検知部５は、差分画像の各画素についてＲＧＢなどの所定の特徴量の値を算出し、特徴量の値が閾値以上の画素を抽出した画像を生成する。閾値処理が行われた差分画像は、太陽光パネルにおける青傷の画像である。異常検知部５は、閾値処理の結果を検知結果として出力する（ステップＳ４０７）。この検知結果は、将来的に故障が発生する可能性有無の判定結果を含む。すなわち、異常検知部５は、特徴量の値が閾値以上の画素が０であるなど所定数以下である場合、将来的に故障が発生する可能性無しの判定結果を出力し、特徴量の値が閾値以上の画素が所定数以上である場合、将来的に故障が発生する可能性有りの判定結果を出力する。
　異常検知部５は、異常判定結果が白傷であると判定した場合（ステップＳ４０３：白傷）、白傷用モデル学習部２３から学習済み白傷用モデルパラメータを取得する（ステップＳ４０８）。異常検知部５は、推定用画像を、白傷用モデルパラメータを用いたAuto-Encoderモデルに入力して、画像変換を行う（ステップＳ４０９）。異常検知部５は、ステップＳ４０９の処理の結果得られ変換画像であるエッジ画像に対してハフ変換に基づく直線除去を行う（ステップＳ４１０）。すなわち、異常検知部５は、変換画像にハフ変換を行うことにより得られた直線を、変換画像から除去する。なお、ハフ変換以外でも、直線を除去できるアルゴリズムであれば同様の効果を奏する。
　異常検知部５は、ステップＳ４１０においてエッジ画像から直線除去を行って得られた画像に対して閾値処理を行う。具体的には、異常検知部５は、直線除去を行って得られた画像の各画素についてＲＧＢなどの所定の特徴量の値を算出し、特徴量の値が閾値以上の画素を抽出した画像を生成する。生成された画像は、太陽光パネルにおける白傷の画像である。異常検知部５は、閾値処理の結果を検知結果として出力する（ステップＳ４１１）。この検知結果は、将来的に故障が発生する可能性有りの判定結果を含む。すなわち、異常検知部５は、特徴量の値が閾値以上の画素が０であるなど所定数以下である場合、将来的に故障が発生する可能性無しの判定結果を出力し、特徴量の値が閾値以上の画素が所定数以上である場合、将来的に故障が発生する可能性有りの判定結果を出力する。
　本実施形態によれば、例えば太陽光パネルのような規則的な模様を有する被写体が撮影された画像において、パネルに付着した葉や鳥の糞、ひび等の異常を検知できる。また、この技術的な効果により、本実施形態によれば、故障による太陽光パネルの発熱が生じていない状態で異常検知が可能になる。さらに、副次効果として、太陽光パネルの異常検知を目的としたドローンビジネスの応用範囲が広がる。
　異常検知装置１のハードウェア構成例を説明する。図８は、異常検知装置１のハードウェア構成例を示す装置構成図である。異常検知装置１は、プロセッサ７１、記憶部７２、通信インタフェース７３及びユーザインタフェース７４を備える。プロセッサ７１は、記憶部７２からプログラムを読み出して実行することにより、白傷用モデル学習部２３、青傷用モデル学習部２４、異常判定学習部２５、画像取得部３、異常判定部４及び異常検知部５の機能を実現する。記憶部７２は、パネルデータ格納部２１及び切り出し異常画像格納部２２を実現する。また、記憶部７２は、白傷用モデル学習部２３、青傷用モデル学習部２４、異常判定学習部２５、画像取得部３、異常判定部４及び異常検知部５の処理を実行するためのプログラムなどを記憶する。記憶部７２は、さらに、プロセッサ７１が各種プログラムを実行する際のワークエリアなどを有する。なお、白傷用モデル学習部２３、青傷用モデル学習部２４、異常判定学習部２５、画像取得部３、異常判定部４及び異常検知部５の全て又は一部の機能は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。通信インタフェース７３は、他装置と通信可能に接続するものである。ユーザインタフェース７４は、ボタン、キーボード、ポインティングデバイスなどの入力装置や、ディスプレイなどの表示装置である。
　本実施形態によれば、単純な機械学習手法のみでは完全な検知が難しい太陽光パネル等の異常箇所に対して、特定の異常箇所の検知に対して有効な手法を事前に推定することで異常検知を可能にする。すなわち、本実施形態では、太陽光パネルの空撮画像を大まかに分類し、どの異常検知モデルを用いるかを決定する。これによって、単一の手法では検知が困難な異常箇所を検知することを可能にする。
　上述した実施形態によれば、異常検知装置は、判定部と、出力部とを備える。例えば、判定部は異常判定部４であり、出力部は異常検知部５である。判定部は、将来的に故障が発生し得る要因を検知する対象の太陽光パネルが撮像された画像である検知対象画像に基づいて、その要因のうち第一の要因が含まれるか、その要因のうち第二の要因が含まれるか、又は、第一の要因及び第二の要因のいずれも含まないかを判定する。例えば、第一の要因は青傷であり、第二の要因は白傷である。また、検知対象画像は、例えば、画像取得部３が取得する推定用画像である。出力部は、第一の要因が含まれると判定された場合、検知対象画像と、要因が含まれない太陽光パネルの画像との差分を要因の画像として出力する。また、出力部は、第二の要因が含まれると判定された場合、検知対象画像のエッジ画像から所定の要件を満たす直線を除去して要因の画像として出力する。所定の要件を満たす直線は、例えば、ハフ変換により得られた直線である。また、出力部は、第一の要因及び第二の要因のいずれも含まないと判定された場合、要因が含まれないことを出力する。
　異常検知装置は、事前学習部をさらに備えてもよい。事前学習部は、太陽光パネルが撮像された画像である学習用画像に要因の画像を貼り付けた画像を入力とし、学習用画像を出力とする第一モデルを学習する。また、事前学習部は、学習用画像を入力とし、学習用画像のエッジ画像を出力とする第二モデルを学習する。出力部は、第一の要因が含まれると判定された検知対象画像と、第一モデルに検知対象画像を入力することにより出力された第一出力画像との差分を要因の画像として出力する。また、出力部は、第二の要因が含まれると判定された検知対象画像を第二モデルに入力することにより出力された第二出力画像から直線を除去して要因の画像として出力する。
　また、事前学習部は、太陽光パネルが撮像された画像である学習用画像を第一の要因及び第二の要因のいずれも含まない画像に、学習用画像に第一の要因の画像を貼り付けた画像を第一の要因を含む画像に、学習用画像に第二の要因の画像を貼りつけた画像を第二の要因を含む画像に分類する分類モデルを学習してもよい。判定部は、学習された分類モデルを用いて検知対象画像に第一の要因が含まれるか、第二の要因が含まれるか、又は、第一の要因及び前記第二の要因のいずれも含まないかを判定する。
　また、出力部は、要因の画像に閾値処理を行った結果に基づいて、将来的に故障が発生する可能性の有無を判定し、判定結果を出力してもよい。
　以上、本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
１…異常検知装置、　２…事前学習部、　３…画像取得部、　４…異常判定部、　５…異常検知部、　２１…パネルデータ格納部、　２２…異常画像格納部、　２３…白傷用モデル学習部、　２４…青傷用モデル学習部、　２５…異常判定学習部、　７１…プロセッサ、　７２…記憶部、　７３…通信インタフェース、　７４…ユーザインタフェース

Claims (7)

  1. 　故障が発生し得る要因を検知する対象の太陽光パネルが撮像された画像である検知対象画像に基づいて、前記要因のうち第一の要因が含まれるか、前記要因のうち第二の要因が含まれるか、又は、前記第一の要因及び前記第二の要因のいずれも含まないかを判定する判定ステップと、
    　前記判定ステップにおいて前記第一の要因が含まれると判定された場合、前記検知対象画像と前記要因が含まれない前記太陽光パネルの画像との差分を要因の画像として出力し、前記判定ステップにおいて前記第二の要因が含まれると判定された場合、前記検知対象画像のエッジ画像から所定の要件を満たす直線を除去して要因の画像として出力し、前記判定ステップにおいて前記第一の要因及び前記第二の要因のいずれも含まないと判定された場合、要因が含まれないことを出力する出力ステップと、
    　を有する異常検知方法。
  2. 　太陽光パネルが撮像された画像である学習用画像に前記要因の画像を貼り付けた画像を入力とし、前記学習用画像を出力とする第一モデルを学習する第一モデル学習ステップと、
    　前記学習用画像を入力とし、前記学習用画像のエッジ画像を出力とする第二モデルを学習する第二モデル学習ステップとをさらに有し、
    　前記出力ステップは、前記判定ステップにおいて前記第一の要因が含まれると判定された場合、前記検知対象画像と、前記第一モデルに前記検知対象画像を入力することにより出力された第一出力画像との差分を要因の画像として出力し、前記判定ステップにおいて前記第二の要因が含まれると判定された場合、前記第二モデルに前記検知対象画像を入力することにより出力された第二出力画像から前記直線を除去して要因の画像として出力する、
    　請求項１に記載の異常検知方法。
  3. 　太陽光パネルが撮像された画像である学習用画像を前記第一の要因及び前記第二の要因のいずれも含まない画像に、前記学習用画像に前記第一の要因の画像を貼り付けた画像を前記第一の要因を含む画像に、前記学習用画像に前記第二の要因の画像を貼りつけた画像を前記第二の要因を含む画像に分類する分類モデルを学習する判定学習ステップをさらに有し、
    　前記判定ステップにおいては、前記分類モデルを用いて前記検知対象画像に第一の要因が含まれるか、前記第二の要因が含まれるか、又は、前記第一の要因及び前記第二の要因のいずれも含まないかを判定する、
    　請求項１又は請求項２に記載の異常検知方法。
  4. 　前記出力ステップにおいては、前記要因の画像に閾値処理を行った結果に基づいて、将来的に故障が発生する可能性の有無を判定し、判定結果を出力する、
    　請求項１から請求項３のいずれか一項に記載の異常検知方法。
  5. 　前記検知対象画像は、可視光画像である、
    　請求項１から請求項４のいずれか一項に記載の異常検知方法。
  6. 　故障が発生し得る要因を検知する対象の太陽光パネルが撮像された画像である検知対象画像に基づいて、前記要因のうち第一の要因が含まれるか、前記要因のうち第二の要因が含まれるか、又は、前記第一の要因及び前記第二の要因のいずれも含まないかを判定する判定部と、
    　前記判定部において前記第一の要因が含まれると判定された場合、前記検知対象画像と前記要因が含まれない前記太陽光パネルの画像との差分を要因の画像として出力し、前記判定部において前記第二の要因が含まれると判定された場合、前記検知対象画像のエッジ画像から所定の要件を満たす直線を除去して要因の画像として出力し、前記判定部において前記第一の要因及び前記第二の要因のいずれも含まないと判定された場合、要因が含まれないことを出力する出力部と、
    　を有する異常検知装置。
  7. 　コンピュータに、
    　請求項１から請求項５のいずれか一項に記載の異常検知方法を実行させるためのプログラム。
PCT/JP2019/048111 2019-12-09 2019-12-09 異常検知方法、異常検知装置及びプログラム WO2021117093A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/048111 WO2021117093A1 (ja) 2019-12-09 2019-12-09 異常検知方法、異常検知装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/048111 WO2021117093A1 (ja) 2019-12-09 2019-12-09 異常検知方法、異常検知装置及びプログラム

Publications (1)

Publication Number Publication Date
WO2021117093A1 true WO2021117093A1 (ja) 2021-06-17

Family

ID=76328920

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/048111 WO2021117093A1 (ja) 2019-12-09 2019-12-09 異常検知方法、異常検知装置及びプログラム

Country Status (1)

Country Link
WO (1) WO2021117093A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163821A (ja) * 2004-12-07 2006-06-22 Casio Comput Co Ltd 撮影装置、画像処理装置、画像処理方法及びプログラム
JP2017054239A (ja) * 2015-09-08 2017-03-16 株式会社Ｓｃｒｅｅｎホールディングス 画像分類装置および画像分類方法
JP2017215239A (ja) * 2016-06-01 2017-12-07 ティー・エス・ビー株式会社 太陽電池検査システム
JP2019022251A (ja) * 2017-07-11 2019-02-07 米沢電気工事株式会社 太陽電池診断方法及び太陽電池診断システム
US20190089301A1 (en) * 2017-09-18 2019-03-21 X Development Llc System and method for solar cell defect detection
JP2019052954A (ja) * 2017-09-15 2019-04-04 エナジー・ソリューションズ株式会社 検査システム、検査方法、サーバ装置、及びプログラム
JP2019096151A (ja) * 2017-11-24 2019-06-20 日本電信電話株式会社 画像解析装置、画像解析方法及び画像解析プログラム
JP2019180120A (ja) * 2018-03-30 2019-10-17 株式会社スマートエナジーサービス 太陽電池モジュールのモニタリング方法、及び太陽電池モジュールモニタリングシステム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163821A (ja) * 2004-12-07 2006-06-22 Casio Comput Co Ltd 撮影装置、画像処理装置、画像処理方法及びプログラム
JP2017054239A (ja) * 2015-09-08 2017-03-16 株式会社Ｓｃｒｅｅｎホールディングス 画像分類装置および画像分類方法
JP2017215239A (ja) * 2016-06-01 2017-12-07 ティー・エス・ビー株式会社 太陽電池検査システム
JP2019022251A (ja) * 2017-07-11 2019-02-07 米沢電気工事株式会社 太陽電池診断方法及び太陽電池診断システム
JP2019052954A (ja) * 2017-09-15 2019-04-04 エナジー・ソリューションズ株式会社 検査システム、検査方法、サーバ装置、及びプログラム
US20190089301A1 (en) * 2017-09-18 2019-03-21 X Development Llc System and method for solar cell defect detection
JP2019096151A (ja) * 2017-11-24 2019-06-20 日本電信電話株式会社 画像解析装置、画像解析方法及び画像解析プログラム
JP2019180120A (ja) * 2018-03-30 2019-10-17 株式会社スマートエナジーサービス 太陽電池モジュールのモニタリング方法、及び太陽電池モジュールモニタリングシステム

Similar Documents

Publication Publication Date Title
Li et al. LAP-Net: Level-aware progressive network for image dehazing
JP6809250B2 (ja) 情報処理装置、情報処理方法およびプログラム
EP3655923B1 (en) Weakly supervised anomaly detection and segmentation in images
US20150262068A1 (en) Event detection apparatus and event detection method
CN104135926A (zh) 图像处理设备、图像处理系统、图像处理方法以及程序
JP2020535569A (ja) マシンビジョンシステム
EP4035070B1 (en) Method and server for facilitating improved training of a supervised machine learning process
US20200151457A1 (en) Attention and warping based domain adaptation for videos
JP7059883B2 (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
CN108734684B (zh) 动态照明场景的图像背景减除
CN113095438A (zh) 晶圆缺陷分类方法及其装置、系统、电子设备和存储介质
CN114648630A (zh) 用于在作物图像中检测马铃薯病毒的方法、介质和系统
JP2018041406A (ja) 水面境界検出装置、水面境界検出方法及びコンピュータプログラム
CN111401239B (zh) 一种视频分析方法、装置、系统、设备及存储介质
JPWO2019146097A1 (ja) 欠陥のある撮影データの検知装置及び検知システム
CN114724246A (zh) 危险行为识别方法及装置
WO2021117093A1 (ja) 異常検知方法、異常検知装置及びプログラム
JP6828333B2 (ja) 画像処理装置及び画像処理プログラム
JP7054603B2 (ja) 判定装置、判定方法、及び判定プログラム
JP5445062B2 (ja) 情報処理装置及び情報処理プログラム
US11562467B2 (en) Method and system for designing an optical filter
US20220180102A1 (en) Reducing false negatives and finding new classes in object detectors
CN116935179B (zh) 一种目标检测方法、装置、电子设备及存储介质
Chen et al. A Novel Algorithm for Pre-Processing of WT Blade Images by SS and Bilateral Filter with Machine Learning Frameworks
JP7269607B2 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19955885

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19955885

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP