WO2019053842A1 - 変状検出装置 - Google Patents

変状検出装置 Download PDF

Info

Publication number
WO2019053842A1
WO2019053842A1 PCT/JP2017/033277 JP2017033277W WO2019053842A1 WO 2019053842 A1 WO2019053842 A1 WO 2019053842A1 JP 2017033277 W JP2017033277 W JP 2017033277W WO 2019053842 A1 WO2019053842 A1 WO 2019053842A1
Authority
WO
WIPO (PCT)
Prior art keywords
deformation
learning model
image
unit
sample image
Prior art date
Application number
PCT/JP2017/033277
Other languages
English (en)
French (fr)
Inventor
夢雄 王
百代 日野
杉本　和夫
三嶋　英俊
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2019541566A priority Critical patent/JP6664557B2/ja
Priority to PCT/JP2017/033277 priority patent/WO2019053842A1/ja
Priority to CN201780094668.9A priority patent/CN111052177A/zh
Priority to US16/626,428 priority patent/US20200134384A1/en
Publication of WO2019053842A1 publication Critical patent/WO2019053842A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Definitions

  • the present invention relates to a deformation detection apparatus for acquiring a classification result of a deformation occurring in a deformation detection target.
  • image recognition technology by deep learning has been advanced, and image recognition technology may be used for inspection work of a deformation occurring in a deformation detection target such as a tunnel or a road surface.
  • a deformation detection apparatus using an image recognition technology for a deformation inspection operation collects a large amount of image data indicating a sample image of a wall of a tunnel in which a deformation occurs, and a large amount of image data is used as learning data. Use to build a deep learning model in advance.
  • the deformation detection device When the deformation detection device is given image data indicating an image of a wall surface of a tunnel that is a deformation detection object, the deformation detection device is generated in the deformation detection object using the image data and the constructed deep learning model The abnormal classification result is acquired (see, for example, Patent Document 1).
  • the conventional deformation detection apparatus constructs a deep learning model by extracting the characteristic of the deformation occurring on the wall of the tunnel and learning the characteristic.
  • the features being extracted are limited to the features of the deformed portion, and the surrounding features of the deformed portion are not extracted. For this reason, the features around the anomaly are not learned, and only the features of the anomaly part are learned. Therefore, there is a problem that when there is a portion where the deformed portion and the feature are similar in the image, the portion where the feature is similar may be erroneously detected as the deformed. For example, if the deformation is a crack on the concrete surface, the tangent portion of the concrete surface where the crack on the concrete surface and the feature are similar, or the linear graffiti on the concrete surface is erroneously detected as the deformation Sometimes.
  • the present invention has been made to solve the above-described problems, and even if a portion where the deformed portion and the feature are similar to each other exists in the image of the deformation detection target, the feature is similar.
  • An object of the present invention is to obtain a deformation detection device capable of avoiding a situation in which a portion being detected is erroneously detected as a deformation.
  • a deformation detection device uses a learning model of a convolutional neural network using image data indicating a sample image including a deformation as learning data of a convolutional neural network that outputs a classification result of the deformation.
  • the model output from the convolutional neural network is provided by providing the learning model construction unit for constructing the image and the image data indicating the image of the deformation detection target object to the convolutional neural network for which the learning model is constructed by the learning model construction unit.
  • a learning model construction unit is included in the sample image from the convolutional neural network using a kernel of a shape corresponding to the deformed shape included in the sample image.
  • the learning model construction unit uses the kernel of the shape corresponding to the deformed shape included in the sample image to generate the deformed feature included in the sample image from the convolutional neural network. Since the learning model of the convolutional neural network is adjusted by extracting and learning the extracted features, a portion where the deformed portion and the feature are similar is present in the image of the deformed object Even when this is the case, there is an effect that it is possible to avoid a situation in which a portion where features are similar is erroneously detected as a deformed state.
  • FIG. 17 is a hardware configuration diagram of a computer in which the deformation detection device is realized by software or firmware. It is a flowchart which shows the process sequence at the time of learning in case a deformation
  • FIG. 6 is an explanatory view showing an example of a first half of a CNN in which a learning model is constructed by the learning model construction unit 2.
  • FIG. 6 is an explanatory view showing an example of a second half of the CNN in which a learning model is constructed by the learning model construction unit 2.
  • FIG. 10 is an explanatory view showing a display example of a classification result of a deformed state by the display unit 5; It is a block diagram which shows the deformation
  • FIG. 10 is an explanatory view showing a classification result of which adjustment is accepted by the classification result correction unit 6;
  • FIG. 1 is a block diagram showing a deformation detection apparatus according to a first embodiment of the present invention.
  • FIG. 2 is a hardware configuration diagram showing a deformation detection apparatus according to Embodiment 1 of the present invention.
  • the sample image deformation unit 1 is realized, for example, by the sample image deformation circuit 21 shown in FIG.
  • the sample image deformation unit 1 outputs, from the data storage unit 4, image data representing a sample image including a deformation as learning data of a convolutional neural network (CNN: Convolution Neural Network) that outputs the classification result of the deformation. input.
  • CNN Convolution Neural Network
  • the sample image deformation unit 1 performs a process called “Data Augmentation”, for example, as a process of increasing image data indicating a sample image by deforming a sample image, and the image data indicating the input sample image and the post-deformation process Each of the image data indicating the sample image of is output to the data storage unit 4.
  • a process called “Data Augmentation” is a process in which a large number of sample images are obtained by performing, for example, affine transformation, rotational transformation, illumination adjustment, or contrast adjustment of the image data within a range that does not lose the deformed feature included in the image data. Processing for obtaining image data indicating.
  • the learning model construction unit 2 is realized by, for example, a learning model construction circuit 22 shown in FIG.
  • the learning model construction unit 2 uses the plurality of image data output from the sample image deformation unit 1 and stored in the data storage unit 4 as the learning data of the CNN to execute processing for constructing a CNN learning model. Do. Also, the learning model construction unit 2 extracts and extracts the deformed feature included in the sample image from the CNN, using the kernel of the shape corresponding to the deformed shape included in the sample image. By learning the feature, the process of adjusting the CNN learning model is performed. The learning model construction unit 2 outputs the constructed CNN learning model to the data storage unit 4.
  • the deformation detection unit 3 is realized by, for example, the deformation detection circuit 23 shown in FIG.
  • the deformation detection unit 3 outputs the image data indicating the image of the deformation detection target object to the CNN output from the learning model construction unit 2 and stored in the data storage unit 4 so that the deformation is output from the CNN. Carry out processing to acquire the classification result of the letter.
  • the deformation detection unit 3 outputs the acquired classification result of the deformation to the data storage unit 4.
  • the data storage unit 4 is realized by, for example, the data storage circuit 24 shown in FIG.
  • the data storage unit 4 acquires image data indicating a sample image, label information indicating the type of deformation included in the sample image, the learning model of CNN constructed by the learning model construction unit 2, and the deformation detection unit 3.
  • image data etc. indicating the sample image outputted from the sample image deformation unit 1 are stored.
  • the display unit 5 is realized by, for example, the display circuit 25 shown in FIG. The display unit 5 performs a process of displaying the classification result of the deformation, the image of the deformation detection target object, and the like stored by the data storage unit 4.
  • each of the sample image deformation unit 1, the learning model construction unit 2, the deformation detection unit 3, the data storage unit 4 and the display unit 5 which are constituent elements of the deformation detection apparatus is dedicated as shown in FIG. 2. It is assumed that the hardware will be realized. That is, what is realized by the sample image deformation circuit 21, the learning model construction circuit 22, the deformation detection circuit 23, the data storage circuit 24, and the display circuit 25 is assumed.
  • the data storage circuit 24 is, for example, non-volatile such as random access memory (RAM), read only memory (ROM), flash memory, erasable programmable read only memory (EPROM), electrically erasable programmable read only memory (EEPROM).
  • RAM random access memory
  • ROM read only memory
  • EPROM erasable programmable read only memory
  • EEPROM electrically erasable programmable read only memory
  • volatile semiconductor memory magnetic disk, flexible disk, optical disk, compact disk, mini disk, or DVD (Digital Versatile Disc) is applicable.
  • the sample image transformation circuit 21, the learning model construction circuit 22, the deformation detection circuit 23 and the display circuit 25 are, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated) Circuit), FPGA (Field-Programmable Gate Array), or a combination thereof.
  • the constituent elements of the deformation detection device are not limited to those realized by dedicated hardware, and the deformation detection device may be realized by software, firmware, or a combination of software and firmware.
  • the software or firmware is stored as a program in the memory of the computer.
  • a computer means hardware that executes a program, and for example, a central processing unit (CPU), a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a processor, or a digital signal processor (DSP). Do.
  • FIG. 3 is a hardware block diagram of a computer in which the deformation detecting apparatus is realized by software or firmware.
  • the data storage unit 4 is configured on the memory 31 of the computer, and the sample image deformation unit 1, the learning model construction unit 2, the deformation detection unit 3 and the display unit
  • a program for causing the computer to execute the processing procedure 5 may be stored in the memory 31, and the processor 32 of the computer may execute the program stored in the memory 31.
  • FIG. 4 is a flow chart showing a processing procedure at the time of learning when the deformation detection device is realized by software or firmware.
  • FIG. 5 is a flowchart showing a processing procedure at the time of deformation detection when the deformation detection device is realized by software or firmware.
  • FIG. 2 shows an example in which each of the components of the deformation detection device is realized by dedicated hardware
  • FIG. 3 shows an example in which the deformation detection device is realized by software or firmware.
  • some of the components of the deformation detection apparatus may be realized by dedicated hardware, and the remaining components may be realized by software, firmware or the like.
  • the deformation detected by the deformation detection device is a deformation occurring on a concrete surface which is a wall surface of a tunnel.
  • a concrete surface cracks may occur as irregular cracks due to age-related deterioration in a natural environment.
  • there may be discolored parts which are parts where the color has changed due to the influence of water leakage. Internal material of concrete may appear on the concrete surface as precipitates. Therefore, as a deformation which arises in a concrete surface, a crack of a concrete surface, discoloration of a concrete surface, a precipitate, etc. can be considered.
  • a deformation generated on a wall surface of a tunnel will be described, but the present invention is not limited thereto.
  • a deformation generated on a general construction such as a building or a road surface May be detected.
  • RGB data RGB-D data including depth information or LiDAR (Light Detection And Ranging) may be point cloud data.
  • the image data stored by the data storage unit 4 is data indicating a sample image of a concrete surface in which some kind of deformation has occurred.
  • Each of the image data which show is stored in the data storage unit 4.
  • label information indicating the type of deformation occurring on the concrete surface is stored in the data storage unit 4 together with the image data indicating the sample image.
  • Label information is information preset by a user who has identified a deformation occurring on a concrete surface.
  • image data of a square sample image having an image size of 400 ⁇ 400 is stored in the data storage unit 4.
  • the image size of 400 ⁇ 400 represents the number of pixels in the horizontal and vertical directions.
  • ⁇ indicates the number of pixels in the horizontal direction
  • ⁇ indicates the number of pixels in the vertical direction.
  • the image data indicating the sample image is RGB data
  • the R data having an image size of 400 ⁇ 400, the G data having an image size of 400 ⁇ 400, and the B data having an image size of 400 ⁇ 400 Are stored in the data storage unit 4.
  • the sample image deformation unit 1 acquires image data indicating a sample image stored by the data storage unit 4.
  • the sample image deformation unit 1 divides the image data indicating the acquired sample image in order to speed up the process of constructing the learning model in the learning model construction unit 2. For example, image data of a square sample image having an image size of 400 ⁇ 400 is divided into 64 to obtain image data of a sample divided image having an image size of 50 ⁇ 50. Since the sample image deformation unit 1 obtains the image data of the sample divided image, the learning model construction unit 2 can handle the image data of the sample divided image having a small image size. The learning model construction unit 2 can simultaneously process image data of 64 sample divided images in parallel. For this reason, in the learning model construction unit 2, the processing speed of the construction process of the learning model can be increased as compared with the case where image data indicating a sample image having a large image size is handled.
  • the sample image deformation unit 1 performs, for example, a process called "Data Augmentation” as a process of increasing image data indicating a sample divided image by deforming each sample divided image (step ST1 in FIG. 4).
  • the sample image deformation unit 1 outputs, to the data storage unit 4, each of the acquired image data indicating the sample divided images and the image data indicating the respective sample divided images to which the deformation is applied. It is known that deforming a sample image to increase image data is useful for enhancing the accuracy of building a learning model.
  • the learning model construction unit 2 acquires, as CNN learning data, image data indicating a plurality of sample images stored by the data storage unit 4.
  • the learning model construction unit 2 constructs a CNN learning model using the image data indicating the acquired plurality of sample images (step ST2 in FIG. 4).
  • the process itself of constructing a CNN learning model is a known technique, and thus the detailed description is omitted.
  • FIG. 6 is an explanatory diagram of an example of the CNN. As shown in FIG. 6, the CNN includes an input layer, a Conv layer, a Pooling layer, an all coupling layer, an output layer, and the like.
  • the input layer is a layer for inputting image data of the sample divided image.
  • the Conv layer is a layer that extracts features from the sample divided image using the kernel while moving the position of the kernel in the horizontal direction or the vertical direction of the sample divided image, and performs convolution of the extracted features.
  • the Pooling layer is a layer that compresses information of features that have been convoluted by the Conv layer.
  • the total connection layer is a layer that couples the features passed through the pooling layer to each node in the output layer.
  • the output layer indicates, for example, a node indicating a probability of being a crack, a node indicating a probability of being a color change, a node indicating a probability of being a precipitate, a probability not being a defect being included in the sample divided image It is a layer comprising nodes.
  • FIG. 7 is an explanatory drawing showing an example of the first half of a CNN in which a learning model is constructed by the learning model construction unit 2.
  • block names indicate layers included in CNN
  • output sizes indicate sizes of data output from the respective layers
  • block types indicate sizes of kernels that are filters and the like.
  • the first half of the CNN shown in FIG. 7 is a down-sampling CNN, and in order to detect a crack on a concrete surface as a deformation, a kernel having a size of 3 ⁇ 9 and a rectangular kernel corresponding to a linear deformation. An example using a 9 ⁇ 3 kernel is shown.
  • a rectangular kernel corresponding to a linear transformation is an elongated filter for obtaining a receptive field in a linear transformation surrounding area including a linear transformation area, and the size of the kernel is the size of the input image data and Calculated based on the CNN hierarchy.
  • the process of calculating the size of the kernel is a well-known technology, and thus the detailed description is omitted. As the CNN process progresses, the range of receptive fields expands as the CNN hierarchy changes.
  • ConvLayer1_1 is the first Conv layer disposed downstream of the input layer, and has an output size of 400 ⁇ 400 ⁇ 16.
  • ConvLayer1_2 is a second Conv layer disposed downstream of ConvLayer1_1, and has an output size of 400 ⁇ 400 ⁇ 16.
  • ConvLayer1_1 and ConvLayer1_2 use a 3 ⁇ 9 kernel and a 9 ⁇ 3 kernel.
  • Pooling shown in (4) is the first Pooling layer placed downstream of ConvLayer1_2, and uses a 2 ⁇ 2 kernel. In the Pooling layer, the output size is reduced to 200 ⁇ 200 ⁇ 16, since the convolution layer compresses the information of the features subjected to convolution.
  • ConvLayer2_1 is a third Conv layer disposed downstream of the first Pooling layer, and has an output size of 200 ⁇ 200 ⁇ 32.
  • ConvLayer2_2 is the fourth Conv layer arranged downstream of ConvLayer2_1, and has an output size of 200 ⁇ 200 ⁇ 32.
  • ConvLayer2_1 and ConvLayer2_2 use 3 ⁇ 9 kernels and 9 ⁇ 3 kernels.
  • Pooling shown in (7) is a second pooling layer placed downstream of ConvLayer2_2, and uses a 2 ⁇ 2 kernel. In the Pooling layer, the output size is reduced to 100 ⁇ 100 ⁇ 32, since the information of the features subjected to convolution by the Conv layer is compressed.
  • ConvLayer3_1 is the fifth Conv layer disposed downstream of the second Pooling layer, and has an output size of 100 ⁇ 100 ⁇ 64.
  • ConvLayer3_2 is a sixth Conv layer disposed downstream of ConvLayer3_1, and has an output size of 100 ⁇ 100 ⁇ 64.
  • ConvLayer3_1 and ConvLayer3_2 use 3 ⁇ 9 kernels and 9 ⁇ 3 kernels.
  • Pooling shown in (10) is the third pooling layer placed downstream of ConvLayer 3_2, and uses a 2 ⁇ 2 kernel. In the pooling layer, the output size is reduced to 50 ⁇ 50 ⁇ 64 because the convolution layer compresses the information of the features subjected to convolution.
  • ConvLayer4_1 is the seventh Conv layer disposed downstream of the third Pooling layer, and has an output size of 50 ⁇ 50 ⁇ 128.
  • ConvLayer4_2 is the eighth Conv layer disposed downstream of ConvLayer4_1, and has an output size of 50 ⁇ 50 ⁇ 128.
  • ConvLayer4_1 and ConvLayer4_2 use a 3 ⁇ 9 kernel and a 9 ⁇ 3 kernel.
  • Pooling shown in (13) is the fourth pooling layer placed downstream of ConvLayer 4_2, and uses a 1 ⁇ 1 kernel. In the Pooling layer, the output size is reduced to 25 ⁇ 25 ⁇ 128 because the information of features that are convoluted by the Conv layer is compressed.
  • the output of Pooling shown in (13) is input to the input of the second half of CNN shown in FIG.
  • FIG. 8 is an explanatory view showing an example of the second half of the CNN in which a learning model is constructed by the learning model construction unit 2.
  • the second half of the CNN shown in FIG. 8 is an upsampling CNN, which integrates the features extracted in the first half of the CNN shown in FIG.
  • the output size of each layer increases as the layer of CNN changes.
  • the arrows in the figure indicate the processing order, and Input is an input layer for inputting the output of Pooling shown in (13) in FIG.
  • UpSamplinng shown in (22) is a layer disposed after the input layer in order to stretch the output of the input layer, and the output size is increased to 50 ⁇ 50 ⁇ 128.
  • Deconv Layer 1 _ 1 is a layer disposed at a later stage of UpSamplinng shown in (22), and Deconv Layer 1 _ 2 is a layer disposed at a later stage of Deconv Layer 1 _ 1.
  • DeconvLayer1_1 and DeconvLayer1_2 are layers that perform deconvolution using a 3 ⁇ 3 kernel.
  • UpSamplinng shown in (25) is a layer disposed downstream of DeconvLayer1_2 in order to stretch the output of DeconvLayer1_2, and the output size is increased to 100 ⁇ 100 ⁇ 64.
  • Deconv Layer 2 _ 1 is a layer disposed at a later stage of UpSamplinng shown in (25), and Deconv Layer 2 _ 2 is a layer disposed at a later stage of Deconv Layer 2 _ 1.
  • DeconvLayer2_1 and DeconvLayer2_2 are layers that perform deconvolution using a 3 ⁇ 3 kernel.
  • UpSamplinng shown in (28) is a layer disposed downstream of DeconvLayer2_2 in order to stretch the output of DeconvLayer2_2, and the output size is increased to 200 ⁇ 200 ⁇ 32.
  • DeconvLayer3_1 is a layer disposed at a later stage of UpSamplinng shown in (28), and DeconvLayer3_2 is a layer disposed at a later stage of DeconvLayer3_1.
  • DeconvLayer3_1 and DeconvLayer3_2 are layers that perform deconvolution using a 3 ⁇ 3 kernel.
  • UpSamplinng shown in (31) is a layer disposed downstream of DeconvLayer3_2 in order to stretch the output of DeconvLayer3_2, and the output size is increased to 400 ⁇ 400 ⁇ 16.
  • DeconvLayer 4 _ 1 is a layer disposed after UpSamplinng shown in (31).
  • DeconvLayer4_1 is a layer that performs deconvolution using a 3 ⁇ 3 kernel.
  • ConvLayer is a layer disposed downstream of DeconvLayer 4_1.
  • ConvLayer is a layer that performs convolution using a 3 ⁇ 3 kernel.
  • Softmax is an output layer disposed downstream of ConvLayer, and outputs the probability of being a crack on the concrete surface and the probability of not being a crack on the concrete surface.
  • the learning model constructing unit 2 constructs a CNN learning model as shown in FIGS. 7 and 8 in order to detect a crack on a concrete surface as a deformation
  • the learning model construction unit 2 compares the probability of being a crack of the concrete surface outputted from the CNN shown in FIG. 8 with the threshold set in advance (step ST3 in FIG. 4). If the probability of being a crack of the concrete surface output from CNN shown in FIG. 8 is less than the threshold (in the case of NO in step ST 3 in FIG. 4), learning model construction unit 2 is output from CNN shown in FIG.
  • the learning model construction unit 2 uses, for example, Conv Layers 1-1, 1-2, Conv Layers 2-1, 2-2, Conv Layers 3-1, 3-2, and Conv Layers 4-1, 4-2 in CNN as shown in FIG. Adjust the learning model by changing the size of the kernel.
  • the learning model construction unit 2 refers to the label information stored by the data storage unit 4 and recognizes that the deformation occurring on the concrete surface is a crack on the concrete surface. Then, the learning model construction unit 2 calculates and calculates an error between 1.0 indicating that the probability of being a crack on the concrete surface is 100% and the probability of being a crack output from the CNN shown in FIG. From the calculated error, gradient information indicating the direction in which the kernel is to be changed is calculated. In addition, since the process itself which calculates gradient information from an error is a well-known technique, detailed description is abbreviate
  • the learning model construction unit 2 changes the size of the kernel in the direction indicated by the calculated gradient information. The amount of change of the kernel size may be a fixed ratio or may be calculated from an error.
  • the learning model construction unit 2 After adjusting the learning model, the learning model construction unit 2 returns to the process of step ST2 and reconstructs the CNN learning model using the adjusted learning model and the image data indicating the plurality of acquired sample images.
  • the learning model construction unit 2 compares the probability of being a crack in the concrete surface output from the CNN after reconstruction with a threshold set in advance (step ST3 in FIG. 4). If the probability of being a crack in the concrete surface output from the CNN after reconstruction is less than the threshold (in the case of NO in step ST3 of FIG. 4), the learning model construction unit 2 is output from the CNN after reconstruction
  • step ST3 in FIG. 4: YES If the probability that the crack of the concrete surface outputted from CNN is equal to or more than the threshold (step ST3 in FIG. 4: YES), the learning model construction unit 2 ends the adjustment of the learning model and learns the end of the adjustment.
  • the model is output to the data storage unit 4.
  • the data storage unit 4 stores the learning model output from the learning model construction unit 2 (step ST5 in FIG. 4).
  • the learning model construction unit 2 compares the probability of being deformed with a threshold and adjusts the learning model when the probability of being deformed is less than the threshold.
  • the present invention is not limited to this.
  • the learning model construction unit 2 compares the number of times of adjustment of the learning model with the number of times set in advance, and calculates an error if the number of times of adjustment of the learning model is less than the set number.
  • the size of the kernel may be changed by calculating gradient information from the calculated error.
  • the learning model construction unit 2 ends the adjustment of the learning model when the number of times of adjustment of the learning model reaches the set number.
  • the learning model construction unit 2 extracts a deformed feature using a rectangular kernel, It is not limited to this.
  • the learning model construction unit 2 uses a square kernel such as a 4 ⁇ 4 size or 8 ⁇ 8 size to Try to extract features.
  • the deformation detection unit 3 acquires imaging data of the digital camera as image data indicating an image of the deformation detection target (Step ST11 in FIG. 5).
  • the deformation detection unit 3 divides the image of the deformation detection target indicated by the acquired image data.
  • the divided image in the image of the deformation detection target is divided to have the same size as the sample divided image divided by the sample image deformation unit 1.
  • the deformation detection unit 3 acquires the learning model of CNN stored by the data storage unit 4 (step ST12 in FIG. 5).
  • the deformation detection unit 3 obtains the classification result of the deformation output from the CNN by giving the image data indicating each divided image to the acquired learning model of CNN (step ST13 in FIG. 5),
  • the classification result of the character is output to the data storage unit 4.
  • the data storage unit 4 stores the classification result of the deformation occurring on the concrete surface of each divided image output from the deformation detection unit 3 (step ST14 in FIG. 5).
  • the classification result of the deformation output from the CNN is, for example, the probability that the deformation occurring on the concrete surface of the divided image is a crack, the probability that it is a color change, the probability that it is a precipitate, or the probability that it is not a deformation Is shown.
  • the display unit 5 displays the image of the deformation detection target on the display.
  • the display unit 5 acquires the classification result of the deformation from the data storage unit 4 and generates on the concrete surface of the divided image for each divided image in the image of the deformation detection target as shown in FIG.
  • the classification result of the anomaly is displayed (step ST15 in FIG. 5).
  • FIG. 9 is an explanatory view showing a display example of the classification result of the deformed state by the display unit 5. In FIG. 9, the crack of a concrete surface and the precipitate of a concrete surface are illustrated as deformation.
  • the learning model construction unit 2 uses the kernel of the shape corresponding to the deformed shape included in the sample image to generate the sample from the convolutional neural network Since the feature of the deformation included in the image is extracted and the learning model of the convolutional neural network is constructed by learning the extracted feature, the portion where the feature and the deformed portion are similar There is an effect that it is possible to avoid a situation in which a portion where features are close to each other is erroneously detected as a deformation even when the image is present in the image of the deformation detection target.
  • the display part 5 has shown the example which displays the classification result of the deformation which has arisen on the concrete surface of each division image.
  • the classification result correction unit 6 that receives the correction of the classification result of the deformation displayed by the display unit 5 is provided.
  • FIG. 10 is a block diagram showing a deformation detection apparatus according to a second embodiment of the present invention.
  • FIG. 11 is a hardware configuration diagram showing a deformation detection apparatus according to a second embodiment of the present invention.
  • the classification result correction unit 6 is realized by, for example, the classification result correction circuit 26 shown in FIG.
  • the classification result correction unit 6 carries out a process of receiving the correction of the classification result of the deformation displayed by the display unit 5.
  • the sample image transformation circuit 21, the learning model construction circuit 22, the deformation detection circuit 23, the display circuit 25 and the classification result correction circuit 26 are, for example, a single circuit, a complex circuit, a programmed processor, a parallel program A processor, an ASIC, an FPGA, or a combination of these is relevant.
  • the constituent elements of the deformation detection device are not limited to those realized by dedicated hardware, and the deformation detection device may be realized by software, firmware, or a combination of software and firmware. Good.
  • the data storage unit 4 is configured on the memory 31 of the computer shown in FIG. 3, and the sample image deformation unit 1, the learning model construction unit 2, the deformation detection unit 3.
  • a program for causing the computer to execute the processing procedure of the display unit 5 and the classification result correction unit 6 may be stored in the memory 31 and the processor 32 of the computer may execute the program stored in the memory 31 .
  • FIG. 11 shows an example in which each component of the deformation detection device is realized by dedicated hardware
  • FIG. 3 shows an example in which the deformation detection device is realized by software or firmware.
  • some of the components of the deformation detection apparatus may be realized by dedicated hardware, and the remaining components may be realized by software, firmware or the like.
  • FIG. 12 is an explanatory view showing a display example of the user interface 6 a included in the classification result of the deformation by the display unit 5 and the classification result correction unit 6.
  • the upper right frame in FIG. 12 is the user interface 6a included in the classification result correction unit 6, and is a slide bar that receives the adjustment of the deformed crack, water leakage, and precipitate.
  • the user interface 6a illustrated in FIG. 12 is a graphical user interface, but the classification result correction unit 6 also includes a user interface such as a mouse or a keyboard.
  • cracks, discoloration and precipitates are shown as the legend of the deformation, but in the example of FIG. 12, there is no location of the discoloration, so the classification result shows that the distortion is discoloration. not exist.
  • the user determines that the classification result of the deformation of the sixth divided image from the left and the second divided image from the left (hereinafter referred to as a divided image of (6, 2)) is incorrect, and classification A divided image of (6, 2) is designated using a user interface such as a mouse provided in the result correction unit 6.
  • the classification result in the divided image of (6, 2) indicates that the deformation occurring on the concrete surface is a crack.
  • FIG. 13 is an explanatory view showing the classification result of which the adjustment is accepted by the classification result correction unit 6.
  • the user slides the symbol of ⁇ in the slide bar related to the crack leftward to lower the probability of being a crack, and slides the symbol of ⁇ in the slide bar related to the precipitate in the right direction , The probability of being a precipitate is raised.
  • the classification result correction unit 6 receives the adjustment of the classification result by the user, and outputs the corrected classification result to the data storage unit 4.
  • the data storage unit 4 stores the corrected classification result output from the classification result correction unit 6.
  • the learning model construction unit 2 can improve the accuracy of the CNN learning model by learning again using the corrected classification result stored by the data storage unit 4.
  • the process of learning again using the corrected classification result is a known technique, and thus the detailed description is omitted.
  • the classification result correction unit 6 that receives the correction of the classification result of the deformation displayed by the display unit 5 is provided, the above embodiment can be realized. More than 1 has the effect of improving the accuracy of the CNN learning model.
  • the present invention allows free combination of each embodiment, or modification of any component of each embodiment, or omission of any component in each embodiment. .
  • the present invention is suitable for a deformation detection device that acquires classification results of deformation occurring in a deformation detection object.
  • Reference Signs List 1 sample image deformation unit, 2 learning model construction unit, 3 deformation detection unit, 4 data storage unit, 5 display unit, 6 classification result correction unit, 6a user interface, 21 sample image deformation circuit, 22 learning model construction circuit, 23 Defect detection circuit, 24 data storage circuit, 25 display circuit, 26 classification result correction circuit, 31 memory, 32 processor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

学習モデル構築部（２）が、サンプル画像に含まれている変状の形状に対応する形状のカーネルを使用して、畳み込みニューラルネットワークからサンプル画像に含まれている変状の特徴を抽出し、抽出した特徴を学習することで、畳み込みニューラルネットワークの学習モデルを構築する。

Description

変状検出装置
　この発明は、変状検出対象物に生じている変状の分類結果を取得する変状検出装置に関するものである。
　近年、深層学習による画像の認識技術が進歩しており、トンネル又は路面などの変状検出対象物に生じている変状の点検作業に画像の認識技術が用いられることがある。
　例えば、変状の点検作業に画像の認識技術を用いる変状検出装置は、変状が生じているトンネルの壁面のサンプル画像を示す画像データを大量に収集し、大量の画像データを学習データとして使用して、事前に深層学習モデルを構築する。
　変状検出装置は、変状検出対象物であるトンネルの壁面の画像を示す画像データが与えられると、当該画像データと構築した深層学習モデルとを用いて、変状検出対象物に生じている変状の分類結果を取得する（例えば、特許文献１を参照）。
国際公開第２０１６／１８９７６４号
　従来の変状検出装置は、トンネルの壁面に生じている変状の特徴を抽出し、特徴を学習することで、深層学習モデルを構築している。しかし、抽出している特徴は、変状の部分の特徴に限られており、変状の周囲の特徴は抽出されない。このため、変状の周囲の特徴は学習されず、変状の部分の特徴だけが学習される。したがって、変状の部分と特徴が近似している部分が画像内に存在している場合、特徴が近似している部分を誤って変状と検出してしまうことがあるという課題があった。
　例えば、変状がコンクリート面のひびである場合、コンクリート面のひびと特徴が近似しているコンクリート面の接線部分、あるいは、コンクリート面における線状の落書きを、誤って変状と検出してしまうことがある。
　この発明は上記のような課題を解決するためになされたもので、変状の部分と特徴が近似している部分が変状検出対象物の画像内に存在している場合でも、特徴が近似している部分を誤って変状と検出してしまう状況を回避することができる変状検出装置を得ることを目的とする。
　この発明に係る変状検出装置は、変状の分類結果を出力する畳み込みニューラルネットワークの学習データとして、変状が含まれているサンプル画像を示す画像データを使用して、畳み込みニューラルネットワークの学習モデルを構築する学習モデル構築部と、変状検出対象物の画像を示す画像データを、学習モデル構築部により学習モデルが構築された畳み込みニューラルネットワークに与えることで、畳み込みニューラルネットワークから出力される変状の分類結果を取得する変状検出部とを備え、学習モデル構築部が、サンプル画像に含まれている変状の形状に対応する形状のカーネルを使用して、畳み込みニューラルネットワークからサンプル画像に含まれている変状の特徴を抽出し、抽出した特徴を学習することで、畳み込みニューラルネットワークの学習モデルを調整するようにしたものである。
　この発明によれば、学習モデル構築部が、サンプル画像に含まれている変状の形状に対応する形状のカーネルを使用して、畳み込みニューラルネットワークからサンプル画像に含まれている変状の特徴を抽出し、抽出した特徴を学習することで、畳み込みニューラルネットワークの学習モデルを調整するように構成したので、変状の部分と特徴が近似している部分が変状検出対象物の画像内に存在している場合でも、特徴が近似している部分を誤って変状と検出してしまう状況を回避することができる効果がある。
この発明の実施の形態１による変状検出装置を示す構成図である。 この発明の実施の形態１による変状検出装置を示すハードウェア構成図である。 変状検出装置がソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。 変状検出装置がソフトウェア又はファームウェアなどで実現される場合の学習時の処理手順を示すフローチャートである。 変状検出装置がソフトウェア又はファームウェアなどで実現される場合の変状検出時の処理手順を示すフローチャートである。 ＣＮＮの一例を示す説明図である。 学習モデル構築部２により学習モデルが構築されるＣＮＮの前半部分の一例を示す説明図である。 学習モデル構築部２により学習モデルが構築されるＣＮＮの後半部分の一例を示す説明図である。 表示部５による変状の分類結果の表示例を示す説明図である。 この発明の実施の形態２による変状検出装置を示す構成図である。 この発明の実施の形態２による変状検出装置を示すハードウェア構成図である。 表示部５による変状の分類結果及び分類結果修正部６が備えるユーザインタフェース６ａの表示例を示す説明図である。 分類結果修正部６により調整が受け付けられた分類結果を示す説明図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、この発明の実施の形態１による変状検出装置を示す構成図である。
　図２は、この発明の実施の形態１による変状検出装置を示すハードウェア構成図である。
　図１及び図２において、サンプル画像変形部１は、例えば、図２に示すサンプル画像変形回路２１で実現される。
　サンプル画像変形部１は、データ保存部４から、変状の分類結果を出力する畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）の学習データとして、変状が含まれているサンプル画像を示す画像データを入力する。
　サンプル画像変形部１は、サンプル画像を変形することで、サンプル画像を示す画像データを増やす処理として、例えば、「Ｄａｔａ　Ａｕｇｍｅｎｔａｔｉｏｎ」と呼ばれる処理を実施し、入力したサンプル画像を示す画像データ及び変形後のサンプル画像を示す画像データのそれぞれをデータ保存部４に出力する。
　「Ｄａｔａ　Ａｕｇｍｅｎｔａｔｉｏｎ」と呼ばれる処理は、画像データに含まれている変状の特徴を失わない範囲で、当該画像データを例えばアファイン変換、回転変換、照度調整又はコントラスト調整することで、多くのサンプル画像を示す画像データを得る処理である。
　学習モデル構築部２は、例えば、図２に示す学習モデル構築回路２２で実現される。
　学習モデル構築部２は、ＣＮＮの学習データとして、サンプル画像変形部１から出力されてデータ保存部４に保存されている複数の画像データを使用して、ＣＮＮの学習モデルを構築する処理を実施する。
　また、学習モデル構築部２は、サンプル画像に含まれている変状の形状に対応する形状のカーネルを使用して、ＣＮＮからサンプル画像に含まれている変状の特徴を抽出し、抽出した特徴を学習することで、ＣＮＮの学習モデルを調整する処理を実施する。
　学習モデル構築部２は、構築したＣＮＮの学習モデルをデータ保存部４に出力する。
　変状検出部３は、例えば、図２に示す変状検出回路２３で実現される。
　変状検出部３は、変状検出対象物の画像を示す画像データを、学習モデル構築部２から出力されてデータ保存部４に保存されているＣＮＮに与えることで、ＣＮＮから出力される変状の分類結果を取得する処理を実施する。
　変状検出部３は、取得した変状の分類結果をデータ保存部４に出力する。
　データ保存部４は、例えば、図２に示すデータ保存回路２４で実現される。
　データ保存部４は、サンプル画像を示す画像データ、サンプル画像に含まれている変状の種類を示すラベル情報、学習モデル構築部２により構築されたＣＮＮの学習モデル、変状検出部３により取得された変状の分類結果、サンプル画像変形部１から出力されたサンプル画像を示す画像データなどを保存する。
　表示部５は、例えば、図２に示す表示回路２５で実現される。
　表示部５は、データ保存部４により保存されている変状の分類結果及び変状検出対象物の画像などを表示する処理を実施する。
　図１では、変状検出装置の構成要素であるサンプル画像変形部１、学習モデル構築部２、変状検出部３、データ保存部４及び表示部５のそれぞれが、図２に示すような専用のハードウェアで実現されるものを想定している。即ち、サンプル画像変形回路２１、学習モデル構築回路２２、変状検出回路２３、データ保存回路２４及び表示回路２５で実現されるものを想定している。
　ここで、データ保存回路２４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒy）などの不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、あるいは、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）が該当する。
　また、サンプル画像変形回路２１、学習モデル構築回路２２、変状検出回路２３及び表示回路２５は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、または、これらを組み合わせたものが該当する。
　変状検出装置の構成要素は、専用のハードウェアで実現されるものに限るものではなく、変状検出装置がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
　ソフトウェア又はファームウェアはプログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、あるいは、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）が該当する。
　図３は、変状検出装置がソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。
　変状検出装置がソフトウェア又はファームウェアなどで実現される場合、データ保存部４をコンピュータのメモリ３１上に構成するとともに、サンプル画像変形部１、学習モデル構築部２、変状検出部３及び表示部５の処理手順をコンピュータに実行させるためのプログラムをメモリ３１に格納し、コンピュータのプロセッサ３２がメモリ３１に格納されているプログラムを実行するようにすればよい。
　図４は、変状検出装置がソフトウェア又はファームウェアなどで実現される場合の学習時の処理手順を示すフローチャートである。
　図５は、変状検出装置がソフトウェア又はファームウェアなどで実現される場合の変状検出時の処理手順を示すフローチャートである。
　また、図２では、変状検出装置の構成要素のそれぞれが専用のハードウェアで実現される例を示し、図３では、変状検出装置がソフトウェアやファームウェアなどで実現される例を示しているが、変状検出装置における一部の構成要素が専用のハードウェアで実現され、残りの構成要素がソフトウェアやファームウェアなどで実現されるものであってもよい。
　次に動作について説明する。
　この実施の形態１では、変状検出装置により検出される変状が、トンネルの壁面であるコンクリート面に生じる変状である例を説明する。
　コンクリート面には、自然環境下での経年劣化によって、不規則な亀裂として、ひびが生じることがある。また、コンクリート面には、漏水の影響で、色が変化した箇所である変色箇所が生じることがある。
　コンクリートの内部物質が析出物として、コンクリート面に現れることがある。
　したがって、コンクリート面に生じる変状として、コンクリート面のひび、コンクリート面の変色及び析出物などが考えられる。
　この実施の形態１では、トンネルの壁面に生じる変状を検出する例を説明するが、これに限るものではなく、例えば、ビルなどの一般的な建設物、あるいは、道路の路面に生じる変状を検出するものであってもよい。
　最初に、ＣＮＮの学習モデルを構築する際の処理内容を説明する。
　トンネルの壁面であるコンクリート面は、例えば、デジタルカメラにより撮影され、デジタルカメラの撮像データが、コンクリート面の画像を示す画像データとして、データ保存部４に保存される。
　この実施の形態１では、コンクリート面の画像を示す画像データが、ＲＧＢデータであるものを想定するが、これに限るものではなく、例えば、奥行き情報を含むＲＧＢ－Ｄデータ又はＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　Ａｎｄ　Ｒａｎｇｉｎｇ）点群データであってもよい。
　データ保存部４により保存される画像データは、何らかの変状が生じているコンクリート面のサンプル画像を示すデータである。
　この実施の形態１では、少なくとも、ひびが生じているコンクリート面のサンプル画像を示す画像データ、変色が生じているコンクリート面のサンプル画像を示す画像データ及び析出物が現れているコンクリート面のサンプル画像を示す画像データのそれぞれが、データ保存部４に保存される。
　また、コンクリート面に生じている変状の種類を示すラベル情報が、サンプル画像を示す画像データと一緒にデータ保存部４に保存される。ラベル情報は、コンクリート面に生じている変状を識別したユーザによって事前に設定される情報である。
　また、この実施の形態１では、説明の便宜上、画像サイズが４００×４００である正方形のサンプル画像の画像データがデータ保存部４に保存されるものとする。画像サイズとして示している４００×４００は、横方向及び縦方向の画素数を表している。以下、「〇〇×△△」という表記は、〇〇が横方向の画素数を表し、△△が縦方向の画素数を表しているものとする。
　具体的には、サンプル画像を示す画像データがＲＧＢデータである場合、画像サイズが４００×４００のＲデータと、画像サイズが４００×４００のＧデータと、画像サイズが４００×４００のＢデータとがデータ保存部４に保存される。
　サンプル画像変形部１は、データ保存部４により保存されているサンプル画像を示す画像データを取得する。
　サンプル画像変形部１は、学習モデル構築部２における学習モデルの構築処理の高速化を図るため、取得したサンプル画像を示す画像データを分割する。例えば、画像サイズが４００×４００である正方形のサンプル画像の画像データを６４分割して、画像サイズが５０×５０のサンプル分割画像の画像データを得る。
　サンプル画像変形部１がサンプル分割画像の画像データを得ることで、学習モデル構築部２では、画像サイズが小さいサンプル分割画像の画像データを扱うことができる。また、学習モデル構築部２では、６４個のサンプル分割画像の画像データを同時に並列処理することが可能になる。このため、学習モデル構築部２において、画像サイズが大きいサンプル画像を示す画像データを扱う場合よりも、学習モデルの構築処理の高速化を図ることができる。
　サンプル画像変形部１は、各々のサンプル分割画像を変形することで、サンプル分割画像を示す画像データを増やす処理として、例えば、「Ｄａｔａ　Ａｕｇｍｅｎｔａｔｉｏｎ」と呼ばれる処理を実施する（図４のステップＳＴ１）。
　サンプル画像変形部１は、取得した各々のサンプル分割画像を示す画像データ及び変形を加えた各々のサンプル分割画像を示す画像データのそれぞれをデータ保存部４に出力する。
　サンプル画像を変形して、画像データを増やすことは、学習モデルの構築精度を高める上で有用であることは知られている。
　学習モデル構築部２は、ＣＮＮの学習データとして、データ保存部４により保存されている複数のサンプル画像を示す画像データを取得する。
　学習モデル構築部２は、取得した複数のサンプル画像を示す画像データを使用して、ＣＮＮの学習モデルを構築する（図４のステップＳＴ２）。
　ＣＮＮの学習モデルを構築する処理自体は、公知の技術であるため、詳細な説明を省略する。
　ここで、ＣＮＮについて簡単に説明する。
　ＣＮＮは、変状の部分の特徴だけでなく、変状の周囲の特徴を抽出することができるようにするため、サンプル分割画像よりも小さいサイズのフィルタであるカーネルを利用して、サンプル分割画像に含まれている変状の特徴を抽出する層を含んでいるニューラルネットワークである。
　図６は、ＣＮＮの一例を示す説明図である。
　ＣＮＮは、図６に示すように、入力層、Ｃｏｎｖ層、Ｐｏｏｌｉｎｇ層、全結合層及び出力層などを備えている。
　入力層は、サンプル分割画像の画像データを入力する層である。
　Ｃｏｎｖ層は、カーネルの位置をサンプル分割画像の水平方向又は垂直方向に移動させながら、カーネルを利用して、サンプル分割画像から特徴をそれぞれ抽出し、それぞれ抽出した特徴の畳み込みを行う層である。
　Ｐｏｏｌｉｎｇ層は、Ｃｏｎｖ層により畳み込みが行われた特徴の情報を圧縮する層である。
　全結合層は、Ｐｏｏｌｉｎｇ層を通過してきた特徴を出力層における各々のノードに結合させる層である。
　出力層は、サンプル分割画像に含まれている変状が、例えば、ひびである確率を示すノード、変色である確率を示すノード、析出物である確率を示すノード、変状ではない確率を示すノードを備える層である。
　図７は、学習モデル構築部２により学習モデルが構築されるＣＮＮの前半部分の一例を示す説明図である。
　図７において、ブロック名は、ＣＮＮが備える層を示し、出力サイズは、各々の層から出力されるデータのサイズを示し、ブロックタイプは、フィルタであるカーネルのサイズなどを示している。
　図７に示すＣＮＮの前半部分は、ダウンサンプリング系のＣＮＮであり、コンクリート面のひびを変状として検出するために、線形変状に対応する長方形のカーネルとして、サイズが３×９のカーネルと、サイズが９×３のカーネルとを使用する例を示している。
　線形変状に対応する長方形のカーネルは、線形変状の領域を含む線形変状の周囲の領域に受容野を得るための細長いフィルタであり、カーネルのサイズは、入力される画像データのサイズ及びＣＮＮの階層に基づいて計算される。カーネルのサイズを計算する処理自体は、公知の技術であるため詳細な説明を省略する。
　ＣＮＮの処理が進行して、ＣＮＮの階層が変わるに従って受容野の範囲が広がる。
　図中の矢印は、処理順序を表しており、Ｉｎｐｕｔは、画像データを入力する入力層である。
　ＣｏｎｖＬａｙｅｒ１＿１は、入力層の後段に配置されている１番目のＣｏｎｖ層であり、出力サイズが４００×４００×１６である。
　ＣｏｎｖＬａｙｅｒ１＿２は、ＣｏｎｖＬａｙｅｒ１＿１の後段に配置されている２番目のＣｏｎｖ層であり、出力サイズが４００×４００×１６である。
　ＣｏｎｖＬａｙｅｒ１＿１及びＣｏｎｖＬａｙｅｒ１＿２は、サイズが３×９のカーネルとサイズが９×３のカーネルとを使用する。
　（４）に示すＰｏｏｌｉｎｇは、ＣｏｎｖＬａｙｅｒ１＿２の後段に配置されている１番目のＰｏｏｌｉｎｇ層であり、２×２のカーネルを使用する。Ｐｏｏｌｉｎｇ層では、Ｃｏｎｖ層により畳み込みが行われた特徴の情報を圧縮しているため、出力サイズが２００×２００×１６に低減されている。
　ＣｏｎｖＬａｙｅｒ２＿１は、１番目のＰｏｏｌｉｎｇ層の後段に配置されている３番目のＣｏｎｖ層であり、出力サイズが２００×２００×３２である。
　ＣｏｎｖＬａｙｅｒ２＿２は、ＣｏｎｖＬａｙｅｒ２＿１の後段に配置されている４番目のＣｏｎｖ層であり、出力サイズが２００×２００×３２である。
　ＣｏｎｖＬａｙｅｒ２＿１及びＣｏｎｖＬａｙｅｒ２＿２は、サイズが３×９のカーネルとサイズが９×３のカーネルとを使用する。
　（７）に示すＰｏｏｌｉｎｇは、ＣｏｎｖＬａｙｅｒ２＿２の後段に配置されている２番目のＰｏｏｌｉｎｇ層であり、２×２のカーネルを使用する。Ｐｏｏｌｉｎｇ層では、Ｃｏｎｖ層により畳み込みが行われた特徴の情報を圧縮しているため、出力サイズが１００×１００×３２に低減されている。
　ＣｏｎｖＬａｙｅｒ３＿１は、２番目のＰｏｏｌｉｎｇ層の後段に配置されている５番目のＣｏｎｖ層であり、出力サイズが１００×１００×６４である。
　ＣｏｎｖＬａｙｅｒ３＿２は、ＣｏｎｖＬａｙｅｒ３＿１の後段に配置されている６番目のＣｏｎｖ層であり、出力サイズが１００×１００×６４である。
　ＣｏｎｖＬａｙｅｒ３＿１及びＣｏｎｖＬａｙｅｒ３＿２は、サイズが３×９のカーネルとサイズが９×３のカーネルとを使用する。
　（１０）に示すＰｏｏｌｉｎｇは、ＣｏｎｖＬａｙｅｒ３＿２の後段に配置されている３番目のＰｏｏｌｉｎｇ層であり、２×２のカーネルを使用する。Ｐｏｏｌｉｎｇ層では、Ｃｏｎｖ層により畳み込みが行われた特徴の情報を圧縮しているため、出力サイズが５０×５０×６４に低減されている。
　ＣｏｎｖＬａｙｅｒ４＿１は、３番目のＰｏｏｌｉｎｇ層の後段に配置されている７番目のＣｏｎｖ層であり、出力サイズが５０×５０×１２８である。
　ＣｏｎｖＬａｙｅｒ４＿２は、ＣｏｎｖＬａｙｅｒ４＿１の後段に配置されている８番目のＣｏｎｖ層であり、出力サイズが５０×５０×１２８である。
　ＣｏｎｖＬａｙｅｒ４＿１及びＣｏｎｖＬａｙｅｒ４＿２は、サイズが３×９のカーネルとサイズが９×３のカーネルとを使用する。
　（１３）に示すＰｏｏｌｉｎｇは、ＣｏｎｖＬａｙｅｒ４＿２の後段に配置されている４番目のＰｏｏｌｉｎｇ層であり、１×１のカーネルを使用する。Ｐｏｏｌｉｎｇ層では、Ｃｏｎｖ層により畳み込みが行われた特徴の情報を圧縮しているため、出力サイズが２５×２５×１２８に低減されている。
　（１３）に示すＰｏｏｌｉｎｇの出力が、図８に示すＣＮＮの後半部分のＩｎｐｕｔに入力される。
　図８は、学習モデル構築部２により学習モデルが構築されるＣＮＮの後半部分の一例を示す説明図である。
　図８に示すＣＮＮの後半部分は、アップサンプリング系のＣＮＮであり、図７に示すＣＮＮの前半部分で抽出された特徴を統合するものである。図８では、ＣＮＮの階層が変わるに従って各層の出力サイズが大きくなっている。
　図中の矢印は、処理順序を表しており、Ｉｎｐｕｔは、図７における（１３）に示すＰｏｏｌｉｎｇの出力を入力する入力層である。
　（２２）に示すＵｐＳａｍｐｌｉｎｎｇは、入力層の出力を引き伸ばすために、入力層の後段に配置されている層であり、出力サイズが５０×５０×１２８に増加されている。
　ＤｅｃｏｎｖＬａｙｅｒ１＿１は、（２２）に示すＵｐＳａｍｐｌｉｎｎｇの後段に配置されている層であり、ＤｅｃｏｎｖＬａｙｅｒ１＿２は、ＤｅｃｏｎｖＬａｙｅｒ１＿１の後段に配置されている層である。
　ＤｅｃｏｎｖＬａｙｅｒ１＿１及びＤｅｃｏｎｖＬａｙｅｒ１＿２は、サイズが３×３のカーネルを使用して、逆畳み込みを行う層である。
　（２５）に示すＵｐＳａｍｐｌｉｎｎｇは、ＤｅｃｏｎｖＬａｙｅｒ１＿２の出力を引き伸ばすために、ＤｅｃｏｎｖＬａｙｅｒ１＿２の後段に配置されている層であり、出力サイズが１００×１００×６４に増加されている。
　ＤｅｃｏｎｖＬａｙｅｒ２＿１は、（２５）に示すＵｐＳａｍｐｌｉｎｎｇの後段に配置されている層であり、ＤｅｃｏｎｖＬａｙｅｒ２＿２は、ＤｅｃｏｎｖＬａｙｅｒ２＿１の後段に配置されている層である。
　ＤｅｃｏｎｖＬａｙｅｒ２＿１及びＤｅｃｏｎｖＬａｙｅｒ２＿２は、サイズが３×３のカーネルを使用して、逆畳み込みを行う層である。
　（２８）に示すＵｐＳａｍｐｌｉｎｎｇは、ＤｅｃｏｎｖＬａｙｅｒ２＿２の出力を引き伸ばすために、ＤｅｃｏｎｖＬａｙｅｒ２＿２の後段に配置されている層であり、出力サイズが２００×２００×３２に増加されている。
　ＤｅｃｏｎｖＬａｙｅｒ３＿１は、（２８）に示すＵｐＳａｍｐｌｉｎｎｇの後段に配置されている層であり、ＤｅｃｏｎｖＬａｙｅｒ３＿２は、ＤｅｃｏｎｖＬａｙｅｒ３＿１の後段に配置されている層である。
　ＤｅｃｏｎｖＬａｙｅｒ３＿１及びＤｅｃｏｎｖＬａｙｅｒ３＿２は、サイズが３×３のカーネルを使用して、逆畳み込みを行う層である。
　（３１）に示すＵｐＳａｍｐｌｉｎｎｇは、ＤｅｃｏｎｖＬａｙｅｒ３＿２の出力を引き伸ばすために、ＤｅｃｏｎｖＬａｙｅｒ３＿２の後段に配置されている層であり、出力サイズが４００×４００×１６に増加されている。
　ＤｅｃｏｎｖＬａｙｅｒ４＿１は、（３１）に示すＵｐＳａｍｐｌｉｎｎｇの後段に配置されている層である。
　ＤｅｃｏｎｖＬａｙｅｒ４＿１は、サイズが３×３のカーネルを使用して、逆畳み込みを行う層である。
　ＣｏｎｖＬａｙｅｒは、ＤｅｃｏｎｖＬａｙｅｒ４＿１の後段に配置されている層である。
　ＣｏｎｖＬａｙｅｒは、サイズが３×３のカーネルを使用して、畳み込みを行う層である。
　Ｓｏｆｔｍａｘは、ＣｏｎｖＬａｙｅｒの後段に配置されている出力層であり、コンクリート面のひびである確率と、コンクリート面のひびでない確率とを出力する。
　学習モデル構築部２は、例えば、コンクリート面のひびを変状として検出するために、図７及び図８に示すようなＣＮＮの学習モデルを構築すると、図８に示すＣＮＮから出力されるコンクリート面のひびである確率が１．０（＝１００％）に近づくように、学習モデルを調整する。
　具体的には、学習モデル構築部２は、図８に示すＣＮＮから出力されるコンクリート面のひびである確率と、事前に設定されている閾値とを比較する（図４のステップＳＴ３）。
　学習モデル構築部２は、図８に示すＣＮＮから出力されるコンクリート面のひびである確率が閾値未満であれば（図４のステップＳＴ３：ＮＯの場合）、図８に示すＣＮＮから出力されるコンクリート面のひびである確率が１．０（＝１００％）に近づくように、学習モデルを調整する（図４のステップＳＴ４）。
　学習モデル構築部２は、例えば、図７に示すようなＣＮＮにおけるＣｏｎｖＬａｙｅｒ１－１，１－２、ＣｏｎｖＬａｙｅｒ２－１，２－２、ＣｏｎｖＬａｙｅｒ３－１，３－２及びＣｏｎｖＬａｙｅｒ４－１，４－２が使用するカーネルのサイズを変更することで、学習モデルを調整する。
　カーネルのサイズの変更方法としては、次のような方法が考えられる。
　学習モデル構築部２は、データ保存部４により保存されているラベル情報を参照して、コンクリート面に生じている変状がコンクリート面のひびであることを認識する。
　そして、学習モデル構築部２は、コンクリート面のひびである確率が１００％であることを示す１．０と、図８に示すＣＮＮから出力されるひびである確率との誤差を算出し、算出した誤差から、カーネルを変更する方向を示す勾配情報を算出する。
　なお、誤差から勾配情報を算出する処理自体は、公知の技術であるため、詳細な説明を省略する。
　学習モデル構築部２は、算出した勾配情報が示す方向にカーネルのサイズを変更する。カーネルのサイズの変更量は、固定の比率でもよいし、誤差から算出するようにしてもよい。
　学習モデル構築部２は、学習モデルを調整すると、ステップＳＴ２の処理に戻り、調整後の学習モデル及び取得した複数のサンプル画像を示す画像データを使用して、ＣＮＮの学習モデルを再構築する。
　学習モデル構築部２は、再構築後のＣＮＮから出力されるコンクリート面のひびである確率と、事前に設定されている閾値とを比較する（図４のステップＳＴ３）。
　学習モデル構築部２は、再構築後のＣＮＮから出力されるコンクリート面のひびである確率が閾値未満であれば（図４のステップＳＴ３：ＮＯの場合）、再構築後のＣＮＮから出力されるコンクリート面のひびである確率が１．０（＝１００％）に近づくように、学習モデルを調整する（図４のステップＳＴ４）。
　以下、コンクリート面のひびである確率が、閾値以上になるまで、ステップＳＴ２～ＳＴ４の処理が繰り返し実施される。
　学習モデル構築部２は、ＣＮＮから出力されるコンクリート面のひびである確率が、閾値以上であれば（図４のステップＳＴ３：ＹＥＳの場合）、学習モデルの調整を終了し、調整終了の学習モデルをデータ保存部４に出力する。
　データ保存部４は、学習モデル構築部２から出力された学習モデルを保存する（図４のステップＳＴ５）。
　ここでは、学習モデル構築部２が、変状である確率と閾値を比較し、変状である確率が閾値未満であるとき、学習モデルを調整する例を示している。
　しかし、これに限るものではなく、例えば、学習モデル構築部２が、学習モデルの調整回数と事前に設定された回数を比較し、学習モデルの調整回数が設定回数未満であれば、誤差を算出し、算出した誤差から勾配情報を算出して、カーネルのサイズを変更するようにしてもよい。学習モデル構築部２は、学習モデルの調整回数が設定回数になれば、学習モデルの調整を終了する。
　また、ここでは、コンクリート面のひびなどの線形の変状を検出するために、学習モデル構築部２が、長方形のカーネルを使用して、変状の特徴を抽出する例を示しているが、これに限るものではない。
　コンクリート面の析出物又は変色などの面状の変状を検出する場合、学習モデル構築部２は、４×４のサイズ又は８×８のサイズなどの正方形のカーネルを使用して、変状の特徴を抽出するようにする。
　次に、変状検出時の処理内容を説明する。
　変状検出部３は、例えば、デジタルカメラが、トンネルの壁面であるコンクリート面を変状検出対象物として撮影すると、デジタルカメラの撮像データを、変状検出対象物の画像を示す画像データとして取得する（図５のステップＳＴ１１）。
　変状検出部３は、取得した画像データが示す変状検出対象物の画像を分割する。
　例えば、変状検出対象物の画像における分割画像は、サンプル画像変形部１により分割されたサンプル分割画像のサイズと同じになるように分割される。
　変状検出部３は、データ保存部４により保存されているＣＮＮの学習モデルを取得する（図５のステップＳＴ１２）。
　変状検出部３は、各々の分割画像を示す画像データを、取得したＣＮＮの学習モデルに与えることで、ＣＮＮから出力される変状の分類結果を取得し（図５のステップＳＴ１３）、変状の分類結果をデータ保存部４に出力する。
　データ保存部４は、変状検出部３から出力された各々の分割画像のコンクリート面に生じている変状の分類結果を保存する（図５のステップＳＴ１４）。
　ＣＮＮから出力される変状の分類結果は、例えば、分割画像のコンクリート面に生じている変状が、ひびである確率、変色である確率、析出物である確率、または、変状ではない確率を示している。
　表示部５は、変状検出対象物の画像をディスプレイに表示する。
　また、表示部５は、データ保存部４から変状の分類結果を取得し、図９に示すように、変状検出対象物の画像における分割画像毎に、当該分割画像のコンクリート面に生じている変状の分類結果を表示する（図５のステップＳＴ１５）。
　図９は、表示部５による変状の分類結果の表示例を示す説明図である。
　図９では、変状として、コンクリート面のひびと、コンクリート面の析出物とを例示している。
　以上で明らかなように、この実施の形態１によれば、学習モデル構築部２が、サンプル画像に含まれている変状の形状に対応する形状のカーネルを使用して、畳み込みニューラルネットワークからサンプル画像に含まれている変状の特徴を抽出し、抽出した特徴を学習することで、畳み込みニューラルネットワークの学習モデルを構築するように構成したので、変状の部分と特徴が近似している部分が変状検出対象物の画像内に存在している場合でも、特徴が近似している部分を誤って変状と検出してしまう状況を回避することができる効果を奏する。
実施の形態２．
　上記実施の形態１では、表示部５が、各々の分割画像のコンクリート面に生じている変状の分類結果を表示する例を示している。
　この実施の形態２では、表示部５により表示されている変状の分類結果の修正を受け付ける分類結果修正部６を備えている例を説明する。
　図１０は、この発明の実施の形態２による変状検出装置を示す構成図である。
　図１１は、この発明の実施の形態２による変状検出装置を示すハードウェア構成図である。
　図１０及び図１１において、図１及び図２と同一符号は同一または相当部分を示すので説明を省略する。
　分類結果修正部６は、例えば、図１１に示す分類結果修正回路２６で実現される。
　分類結果修正部６は、表示部５により表示されている変状の分類結果の修正を受け付ける処理を実施する。
　図１０では、変状検出装置の構成要素であるサンプル画像変形部１、学習モデル構築部２、変状検出部３、データ保存部４、表示部５及び分類結果修正部６のそれぞれが、図１１に示すような専用のハードウェアで実現されるものを想定している。即ち、サンプル画像変形回路２１、学習モデル構築回路２２、変状検出回路２３、データ保存回路２４、表示回路２５及び分類結果修正回路２６で実現されるものを想定している。
　ここで、サンプル画像変形回路２１、学習モデル構築回路２２、変状検出回路２３、表示回路２５及び分類結果修正回路２６は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、または、これらを組み合わせたものが該当する。
　変状検出装置の構成要素は、専用のハードウェアで実現されるものに限るものではなく、変状検出装置がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
　変状検出装置がソフトウェア又はファームウェアなどで実現される場合、データ保存部４を図３に示すコンピュータのメモリ３１上に構成するとともに、サンプル画像変形部１、学習モデル構築部２、変状検出部３、表示部５及び分類結果修正部６の処理手順をコンピュータに実行させるためのプログラムをメモリ３１に格納し、コンピュータのプロセッサ３２がメモリ３１に格納されているプログラムを実行するようにすればよい。
　また、図１１では、変状検出装置の構成要素のそれぞれが専用のハードウェアで実現される例を示し、図３では、変状検出装置がソフトウェアやファームウェアなどで実現される例を示しているが、変状検出装置における一部の構成要素が専用のハードウェアで実現され、残りの構成要素がソフトウェアやファームウェアなどで実現されるものであってもよい。
　次に動作について説明する。
　この実施の形態２では、上記実施の形態１と相違している部分のみを説明する。
　表示部５は、図１２に示すように、各々の分割画像のコンクリート面に生じている変状の分類結果を表示する。
　図１２は、表示部５による変状の分類結果及び分類結果修正部６が備えるユーザインタフェース６ａの表示例を示す説明図である。
　図１２における右上の枠は、分類結果修正部６が備えるユーザインタフェース６ａであり、変状であるひび、漏水及び析出物の調整を受け付けるスライドバーである。
　図１２に示すユーザインタフェース６ａは、グラフィカルユーザインタフェースであるが、分類結果修正部６は、マウス又はキーボードなどのユーザインタフェースも備えている。
　図１２では、変状の凡例として、ひび、変色及び析出物を表しているが、図１２の例では、変色の箇所が存在していないため、変状が変色であることを示す分類結果が存在しない。
　図１２の例では、６４個（＝８×８個）の分割画像を表示している。
　図１２の例では、ユーザが、左から６番目及び上から２番目の分割画像（以下、（６，２）の分割画像と称する）についての変状の分類結果が間違っている判断し、分類結果修正部６が備えるマウスなどのユーザインタフェースを使用して、（６，２）の分割画像を指定している。
　（６，２）の分割画像での分類結果は、コンクリート面に生じている変状が、ひびであることを示している。
　しかし、実際には、（６，２）の分割画像のコンクリート面に生じている変状が、ひびではなく、析出物であれば、ユーザが、ひびに係るスライドバーと、析出物に係るスライドバーとを用いて、（６，２）の分割画像での分類結果を調整する。
　図１３は、分類結果修正部６により調整が受け付けられた分類結果を示す説明図である。
　図１３の例では、ユーザが、ひびに係るスライドバーにおける△の記号を左方向にスライドさせて、ひびである確率を下げ、析出物に係るスライドバーにおける△の記号を右方向にスライドさせて、析出物である確率を上げている。
　分類結果修正部６は、ユーザによる分類結果の調整を受け付けて、修正後の分類結果をデータ保存部４に出力する。
　データ保存部４は、分類結果修正部６から出力された修正後の分類結果を保存する。
　学習モデル構築部２は、データ保存部４により保存されている修正後の分類結果を用いて、再度学習することで、ＣＮＮの学習モデルの精度を高めることができる。
　修正後の分類結果を用いて、再度学習する処理自体は、公知の技術であるため、詳細な説明を省略する。
　以上で明らかなように、この実施の形態２によれば、表示部５により表示されている変状の分類結果の修正を受け付ける分類結果修正部６を備えるように構成したので、上記実施の形態１よりも、ＣＮＮの学習モデルの精度を高めることができる効果を奏する。
　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　この発明は、変状検出対象物に生じている変状の分類結果を取得する変状検出装置に適している。
　１　サンプル画像変形部、２　学習モデル構築部、３　変状検出部、４　データ保存部、５　表示部、６　分類結果修正部、６ａ　ユーザインタフェース、２１　サンプル画像変形回路、２２　学習モデル構築回路、２３　変状検出回路、２４　データ保存回路、２５　表示回路、２６　分類結果修正回路、３１　メモリ、３２　プロセッサ。

Claims (5)

  1. 　変状の分類結果を出力する畳み込みニューラルネットワークの学習データとして、変状が含まれているサンプル画像を示す画像データを使用して、前記畳み込みニューラルネットワークの学習モデルを構築する学習モデル構築部と、
    　変状検出対象物の画像を示す画像データを、前記学習モデル構築部により学習モデルが構築された畳み込みニューラルネットワークに与えることで、前記畳み込みニューラルネットワークから出力される変状の分類結果を取得する変状検出部とを備え、
    　前記学習モデル構築部は、前記サンプル画像に含まれている変状の形状に対応する形状のカーネルを使用して、前記畳み込みニューラルネットワークから前記サンプル画像に含まれている変状の特徴を抽出し、前記抽出した特徴を学習することで、前記畳み込みニューラルネットワークの学習モデルを調整することを特徴とする変状検出装置。
  2. 　前記学習モデル構築部は、前記サンプル画像に含まれている変状が線形の変状であれば、長方形のカーネルを使用して変状の特徴を抽出し、前記サンプル画像に含まれている変状が面状の変状であれば、正方形のカーネルを使用して変状の特徴を抽出することを特徴とする請求項１記載の変状検出装置。
  3. 　前記サンプル画像を変形するサンプル画像変形部を備え、
    　前記学習モデル構築部は、前記サンプル画像を示す画像データ及び前記サンプル画像変形部により変形されたサンプル画像を示す画像データのそれぞれを前記学習データとして使用することを特徴とする請求項１記載の変状検出装置。
  4. 　前記変状検出部により取得された変状の分類結果と、前記変状検出対象物の画像とを表示する表示部を備えたことを特徴とする請求項１記載の変状検出装置。
  5. 　前記表示部により表示されている変状の分類結果の修正を受け付ける分類結果修正部を備えたことを特徴とする請求項４記載の変状検出装置。
PCT/JP2017/033277 2017-09-14 2017-09-14 変状検出装置 WO2019053842A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019541566A JP6664557B2 (ja) 2017-09-14 2017-09-14 変状検出装置
PCT/JP2017/033277 WO2019053842A1 (ja) 2017-09-14 2017-09-14 変状検出装置
CN201780094668.9A CN111052177A (zh) 2017-09-14 2017-09-14 异常检测装置
US16/626,428 US20200134384A1 (en) 2017-09-14 2017-09-14 Abnormality detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/033277 WO2019053842A1 (ja) 2017-09-14 2017-09-14 変状検出装置

Publications (1)

Publication Number Publication Date
WO2019053842A1 true WO2019053842A1 (ja) 2019-03-21

Family

ID=65722564

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/033277 WO2019053842A1 (ja) 2017-09-14 2017-09-14 変状検出装置

Country Status (4)

Country Link
US (1) US20200134384A1 (ja)
JP (1) JP6664557B2 (ja)
CN (1) CN111052177A (ja)
WO (1) WO2019053842A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6793896B1 (ja) * 2020-03-04 2020-12-02 三菱電機株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP7023425B1 (ja) * 2021-03-29 2022-02-21 三菱電機株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP2022533265A (ja) * 2019-05-23 2022-07-21 グーグル エルエルシー 完全アテンション型コンピュータビジョン

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018165753A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
EP3605435A1 (en) * 2017-03-29 2020-02-05 Nec Corporation Field management device, field management method and computer-readable recording medium
JP7446771B2 (ja) * 2019-10-30 2024-03-11 株式会社東芝 可視化データ生成装置、可視化データ生成システム、及び可視化データ生成方法
JP2022040531A (ja) * 2020-08-31 2022-03-11 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 異常判定モデル生成方法及び異常判定モデル生成装置並びに検査装置
CN113065606B (zh) * 2021-04-19 2023-11-17 北京石油化工学院 一种基于轻量级深度学习的异常点位检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005114588A (ja) * 2003-10-08 2005-04-28 Mitsubishi Heavy Ind Ltd 追尾装置
JP2014206935A (ja) * 2013-04-15 2014-10-30 オムロン株式会社 識別器更新装置、識別器更新プログラム、情報処理装置、および識別器更新方法
WO2016189764A1 (ja) * 2015-05-26 2016-12-01 三菱電機株式会社 検出装置および検出方法
JP2017062776A (ja) * 2015-09-04 2017-03-30 株式会社東芝 構造物に対する変化を検出するための方法、装置およびコンピュータ可読媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140056536A1 (en) * 2012-08-27 2014-02-27 Toshiba Medical Systems Corporation Method and system for substantially removing dot noise
CN106780466A (zh) * 2016-12-21 2017-05-31 广西师范大学 一种基于卷积神经网络的宫颈细胞图像识别方法
KR101772916B1 (ko) * 2016-12-30 2017-08-31 한양대학교 에리카산학협력단 촬영영상과 인공지능 알고리즘 기반의 균열검출 자동화 프로그램을 이용한 터널 라이닝 표면의 균열 검출 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005114588A (ja) * 2003-10-08 2005-04-28 Mitsubishi Heavy Ind Ltd 追尾装置
JP2014206935A (ja) * 2013-04-15 2014-10-30 オムロン株式会社 識別器更新装置、識別器更新プログラム、情報処理装置、および識別器更新方法
WO2016189764A1 (ja) * 2015-05-26 2016-12-01 三菱電機株式会社 検出装置および検出方法
JP2017062776A (ja) * 2015-09-04 2017-03-30 株式会社東芝 構造物に対する変化を検出するための方法、装置およびコンピュータ可読媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022533265A (ja) * 2019-05-23 2022-07-21 グーグル エルエルシー 完全アテンション型コンピュータビジョン
JP7357697B2 (ja) 2019-05-23 2023-10-06 グーグル エルエルシー 完全アテンション型コンピュータビジョン
JP6793896B1 (ja) * 2020-03-04 2020-12-02 三菱電機株式会社 画像処理装置、画像処理方法、および画像処理プログラム
WO2021176621A1 (ja) * 2020-03-04 2021-09-10 三菱電機株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP7023425B1 (ja) * 2021-03-29 2022-02-21 三菱電機株式会社 情報処理装置、情報処理方法、および情報処理プログラム
WO2022208620A1 (ja) * 2021-03-29 2022-10-06 三菱電機株式会社 情報処理装置、情報処理方法、および情報処理プログラム

Also Published As

Publication number Publication date
US20200134384A1 (en) 2020-04-30
JP6664557B2 (ja) 2020-03-13
JPWO2019053842A1 (ja) 2020-02-06
CN111052177A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
WO2019053842A1 (ja) 変状検出装置
CN111325739B (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
JP5503578B2 (ja) 物体検出装置及び物体検出方法
US10458927B2 (en) Image processing device, image processing method, and program
US8488878B2 (en) Sky detection system used in image extraction device and method using sky detection system
JP6693684B2 (ja) 異常検査装置および異常検査方法
JP2012032370A (ja) 欠陥検出方法、欠陥検出装置、学習方法、プログラム、及び記録媒体
KR20140109439A (ko) 잡음에 강한 영상 정합 방법 및 시스템
CN105979847A (zh) 内窥镜图像诊断辅助系统
WO2018098862A1 (zh) 用于虚拟现实设备的手势识别方法、装置及虚拟现实设备
US20230274538A1 (en) Adaptable Automated Interpretation of Rapid Diagnostic Tests Using Self-Supervised Learning and Few-Shot Learning
Gan et al. A photogrammetry-based image registration method for multi-camera systems–with applications in images of a tree crop
US6829382B2 (en) Structure-guided automatic alignment for image processing
CN104966283A (zh) 图像分层配准方法
JP5800549B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP2005283197A (ja) 画面のスジ欠陥検出方法及び装置
JP6897100B2 (ja) 判定装置、判定方法、および判定プログラム
JP4405407B2 (ja) 欠陥検査装置
CN109902695A (zh) 一种面向像对直线特征匹配的线特征矫正与提纯方法
CN113298755B (zh) 基于时序影像的生态环境变化斑块快速检测方法和装置
JP7343336B2 (ja) 検査支援装置および検査支援方法
JP4639338B2 (ja) 胸部ｘ線画像からのリブケイジ境界検出方法
CN114445309A (zh) 深度学习用缺陷图像生成方法以及用于深度学习用缺陷图像生成方法的系统
JP4680026B2 (ja) 画像間変化抽出支援システム及び方法
KR101491334B1 (ko) 영상에서 컬러차트 검출 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17925170

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019541566

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17925170

Country of ref document: EP

Kind code of ref document: A1