WO2020189043A1 - 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム - Google Patents

学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム Download PDF

Info

Publication number
WO2020189043A1
WO2020189043A1 PCT/JP2020/003346 JP2020003346W WO2020189043A1 WO 2020189043 A1 WO2020189043 A1 WO 2020189043A1 JP 2020003346 W JP2020003346 W JP 2020003346W WO 2020189043 A1 WO2020189043 A1 WO 2020189043A1
Authority
WO
WIPO (PCT)
Prior art keywords
inspection
image
inspection object
abnormality
absence
Prior art date
Application number
PCT/JP2020/003346
Other languages
English (en)
French (fr)
Inventor
幸寛 中川
Original Assignee
株式会社システムスクエア
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社システムスクエア filed Critical 株式会社システムスクエア
Publication of WO2020189043A1 publication Critical patent/WO2020189043A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/083—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption the radiation being X-rays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/18—Investigating the presence of flaws defects or foreign matter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a learning model generation method, a learning model, an inspection device, an abnormality detection method, and a computer program for detecting an abnormality of an inspected object such as food or parts.
  • An inspection device using the inspection wave of is used.
  • the inspection object is irradiated with the inspection wave, the inspection wave that has passed through the inspection object is detected, and the inspection image of the inspection object is acquired.
  • the inspection object When the inspection object has a foreign substance, there is a dark part exceeding the threshold value in the inspection image.
  • the presence or absence of foreign matter has been determined based on the area and shape of the dark portion.
  • the presence or absence of abnormalities in the shape of the inspection object was determined based on the area and peripheral length of the blobs (lumps) in the inspection image.
  • the area of the blob is calculated by counting the pixels constituting the blob, and the peripheral length of the blob is calculated based on the arrangement of the background pixels forming the periphery of the blob (for example, Patent Document 1 and the like).
  • the presence or absence of an abnormality is determined by comparing with the threshold value, but depending on the type of the inspection object and the foreign matter, the difference in pixel value between the normal part and the foreign matter may be small. There was a problem that the detection accuracy was not good. Similarly, when detecting an abnormality in the shape of the inspection object, the difference between the pixel values of the blob pixel and the background pixel is small, the edge is not clear, and it may not be detected accurately.
  • the present invention has been made in view of such circumstances, and provides a learning model generation method, a learning model, an inspection device, an abnormality detection method, and a computer program capable of accurately detecting an abnormality in an inspection object. With the goal.
  • a plurality of inspection objects are irradiated with electromagnetic waves, and an inspection image corresponding to one inspection object extracted from an image acquired according to the electromagnetic waves transmitted through each inspection object.
  • a learning model that outputs information on the presence or absence of abnormality of the inspection object is generated.
  • a plurality of inspection objects are irradiated with electromagnetic waves, and an inspection image corresponding to one inspection object extracted from an image acquired according to the electromagnetic waves transmitted through each inspection object is input.
  • the input layer, the output layer that outputs the abnormality presence / absence information indicating the presence / absence of abnormality of the inspection object, and the images obtained by irradiating a plurality of inspection objects with electromagnetic waves according to the electromagnetic waves transmitted through each inspection object are extracted. It is equipped with an inspection image corresponding to one inspection object and an intermediate layer in which parameters are learned based on information on the presence or absence of abnormalities in the inspection object, irradiates a plurality of inspection objects with electromagnetic waves, and responds to the electromagnetic waves transmitted through each inspection object.
  • the computer functions to output the abnormality presence / absence information of the inspection object from the output layer through the calculation by the intermediate layer.
  • the inspection device includes an irradiation unit that irradiates a plurality of inspection objects with electromagnetic waves, and an inspection image corresponding to one inspection object extracted from an image acquired according to the electromagnetic waves transmitted through each inspection object. Outputs abnormality presence / absence information indicating the presence / absence of abnormality of the inspection object when the inspection image corresponding to one inspection object extracted from the image acquired according to the electromagnetic wave transmitted through the inspection object is input.
  • the learning inspection unit that inputs the inspection image acquired by the acquisition unit to acquire the abnormality presence / absence information and the output unit that outputs the abnormality presence / absence information are provided in the learning model.
  • a plurality of inspection objects are irradiated with electromagnetic waves, and an inspection image corresponding to one inspection object extracted from the images acquired according to the electromagnetic waves transmitted through each inspection object is acquired. Then, when the inspection image corresponding to one inspection object extracted from the image acquired according to the electromagnetic wave transmitted through the inspection object is input, the learning model that outputs the abnormality presence / absence information indicating the presence / absence of the abnormality of the inspection object is used.
  • the computer is made to execute the process of inputting the acquired inspection image and outputting the abnormality presence / absence information.
  • the computer program irradiates a plurality of inspection objects with electromagnetic waves, and acquires an inspection image corresponding to one inspection object extracted from the images acquired according to the electromagnetic waves transmitted through each inspection object. , Acquired to the learning model that outputs the abnormality presence / absence information regarding the presence / absence of abnormality of the inspection object when the inspection image corresponding to one inspection object extracted from the image acquired according to the electromagnetic wave transmitted through the inspection object is input.
  • the computer is made to execute the process of inputting the inspection image and outputting the abnormality presence / absence information.
  • the normal portion and the abnormal portion can be discriminated with high accuracy. Therefore, it is possible to accurately detect the presence / absence information of abnormalities such as shape abnormality and presence / absence of foreign matter.
  • FIG. It is a perspective view which shows the structure of the abnormality detection system which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the structure of an abnormality detection system. It is explanatory drawing which shows the state which the blob is surrounded by the bounding box. It is explanatory drawing of the process of resizing. It is explanatory drawing which shows an example of the record layout of the inspection image DB. It is explanatory drawing about the generation processing of an abnormality detection model. It is a flowchart which shows an example of the processing procedure of the generation processing of the abnormality detection model by a control unit. It is a flowchart which shows an example of the processing procedure of the abnormality detection processing by a control unit.
  • FIG. It is explanatory drawing which shows an example of the display screen in the display part. It is a flowchart which shows an example of the processing procedure of the said re-learning process by the control part of a PC. It is explanatory drawing concerning the generation processing of the abnormality detection model which concerns on Embodiment 2.
  • FIG. It is explanatory drawing which shows an example of the display screen in the display part. It is a flowchart which shows an example of the processing procedure of the switching processing of the type of abnormality by a control unit. It is explanatory drawing which shows an example of the display screen which displays the button which shows the state of an inspection object. It is a block diagram which shows the structure of the abnormality detection system which concerns on Embodiment 3.
  • FIG. 1 It is a flowchart which shows an example of the processing procedure of the abnormality detection processing by a control unit. It is a perspective view which shows the structure of the abnormality detection system which concerns on Embodiment 4.
  • FIG. It is a block diagram which shows the structure of an abnormality detection system. It is explanatory drawing about an abnormality detection processing.
  • FIG. 1 is a perspective view showing the configuration of the abnormality detection system 10 according to the first embodiment
  • FIG. 2 is a block diagram showing the configuration of the abnormality detection system 10.
  • the abnormality detection system 10 includes an information processing device 1 as an inspection device and an X-ray inspection machine 2.
  • the inspection object 4 is placed on the transport belt 61 of the transport unit (conveyor) 6 of the X-ray inspection machine 2 in a dispersed state, and the image captured by using X-rays on the inspection object 4.
  • An abnormality detection system 10 that detects an abnormality based on the above will be described.
  • Examples of the inspection product 4 include foods such as seeds and soybeans.
  • the inspection object 4 is not limited to food, and may be any as long as the shape can be detected by an image such as a screw or a golf ball.
  • the inspection object 4 is not limited to the case where it is placed on the transport belt 61 in a dispersed state, and may be stored in a packaging material or may be placed on a tray.
  • the information processing device 1 and the X-ray inspection machine 2 may be integrated.
  • the X-ray inspection machine 2 includes a horizontally long rectangular parallelepiped lower housing 23 and an upper housing 21 provided on the lower housing 23 and smaller than the lower housing 23.
  • a transport unit 6 is provided in the lower housing 23.
  • the transport portion 6 is provided with an upstream roller 63 outside one end in the longitudinal direction of the lower housing 23, and a downstream roller 62 outside the other end.
  • Two lower rollers 64, 65 are provided between the upstream roller 63 and the downstream roller 62 below the upstream roller 63 and the downstream roller 62, and the conveyor belt 61 is attached to these rollers. It has been bridged.
  • a driving force from a transfer motor (not shown) is applied to either the upstream roller 63 or the downstream roller 62, and when the object to be inspected is inspected, the transfer belt 61 rotates clockwise at a constant speed V. Go around.
  • the X-ray irradiation unit (irradiation unit) 3 is housed in the upper housing 21.
  • the X-ray irradiation unit 3 has an X-ray tube 31.
  • a display 22 is provided on the front surface of the upper housing 21.
  • the display 22 is a display device such as an LCD (Liquid Crystal Display).
  • An X-ray detection unit 7 is provided below the transport belt 61 that moves between the upstream roller 63 and the downstream roller 62.
  • the X-ray detector 7 is called a TDI (Time Delay Integration) camera or TDI sensor, and includes a scintillator that emits fluorescence according to the intensity of X-rays and a large number of photodiodes that detect the fluorescence emitted by the scintillator. have.
  • TDI Time Delay Integration
  • one detection line 71 is configured by arranging photodiodes linearly in the X direction orthogonal to the Y direction, which is the moving direction of the object to be inspected, and a plurality of these detection lines are provided.
  • the plurality of detection lines 71 are arranged side by side in parallel in the Y direction, which is the moving direction of the object to be inspected.
  • each detection line 71 is shown as an independent line sensor element, but in reality, a plurality of photodiodes are regularly arranged in the X direction and the Y direction in the housing of one TDI camera.
  • One detection line 71 is composed of photodiodes arranged side by side and arranged in the X direction.
  • the information processing device 1 is an information processing device capable of transmitting and receiving various types of information processing and information, and is, for example, a personal computer, a server device, or the like.
  • the X-ray inspection machine 2 is communicatively connected to the information processing device 1 via a network N such as a LAN.
  • the network N may be the Internet.
  • a cloud computer connected so as to be communicable via a network N such as the Internet may execute the processing of the information processing device 1.
  • the information processing device 1 is a personal computer, and in the following description, it is read as PC1 for the sake of brevity.
  • the PC 1 acquires an image obtained by capturing an image of the inspection object 4, and performs a process of detecting the presence or absence of an abnormality in the inspection object 4 based on the image.
  • the PC 1 detects the presence or absence of an abnormality by using the abnormality detection model 152 described later, which has been learned so as to detect (identify) the abnormality of the inspection object 4 from the image by machine learning.
  • the anomaly detection model 152 is expected to be used as a program module that is a part of artificial intelligence software.
  • the PC 1 inputs an image (inspection image) based on an image obtained by capturing the inspection object 4 using the X-ray inspection machine 2 into the abnormality detection model 152, and acquires an identification result indicating the presence or absence of the abnormality of the inspection object 4 as an output. ..
  • the control unit 11 of the PC 1 operates so as to perform an operation on the inspection image input to the input layer and output the identification result in accordance with the command from the abnormality detection model 152.
  • the type of abnormality of the inspection object 4 is a shape abnormality
  • the PC1 inputs an inspection image to the abnormality detection model 152, outputs the normal probability and the abnormality probability by the softmax function, and sets the abnormality probability as an abnormal value. The case of acquiring as is described.
  • the PC 1 selects whether or not to discard the inspection object 4 according to the acquired abnormal value.
  • the PC 1 includes a control unit 11, a main storage unit 12, a communication unit 13, a display unit 14, and an auxiliary storage unit 15.
  • the control unit 11 has one or more CPUs (Central Processing Units), MPUs (Micro-Processing Units), GPUs (Graphics Processing Units), and other arithmetic processing units, and stores the program P stored in the auxiliary storage unit 15. By reading and executing, various information processing, control processing, and the like related to the PC1 are performed.
  • Each functional unit of FIG. 2 is executed by the control unit 11 operating based on the program P.
  • the control unit 11 has, as functional units, an image generation unit (generation unit) 111, an image processing unit (generation unit) 112, a target identification unit (extraction unit) 113, a cutting unit (surrounding unit) 114, an image processing unit 115, and learning. It has an inspection unit 116, a display unit (output unit) 117, a sorting unit (output unit) 118, and a re-learning unit 119.
  • the image generation unit 111 passes through the inspection object 4 and generates an X-ray image based on the X-rays detected by the X-ray detection unit 7.
  • the image processing unit 112 performs image processing on the X-ray image with a smoothing filter, a feature extraction filter, or the like to generate a processed image.
  • the target identification unit 113 performs blob analysis of the inspection object 4 based on the processed image, and identifies the blob.
  • the cutout unit 114 cuts out the blob so that it fits within a rectangle of a predetermined size, and generates a cutout image.
  • the image surrounding the blob is an image before image processing such as enhancement processing by a feature extraction filter is performed.
  • the image surrounding the blob may be an image after image processing.
  • the image processing unit 115 performs processing such as normalization on the cut-out image to generate an inspection image.
  • the learning inspection unit 116 inputs an inspection image into the abnormality detection model 152 and acquires an abnormality value.
  • the display unit 117 outputs an abnormal value to the display 22, and displays the presence or absence of an abnormality in the inspection image on the display 22.
  • the sorting unit 118 compares the abnormal value of the inspection object 4 with the threshold value, sorts whether to discard or not, stops the transport unit 6, and marks the inspection object 4. For example, when the abnormal value of the inspection object 4 is 0.5 or more, the sorting unit 118 considers it as an abnormal product and sorts it when it is discarded.
  • the outlier threshold is not limited to 0.5.
  • the re-learning unit 119 relearns the abnormality detection model 152 by using the teacher data in which the inspection image and the judgment of the quality of the judgment of the abnormality detection model 152 input from the operator are associated with each other.
  • the main storage unit 12 is a temporary storage area for SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), flash memory, etc., and temporarily stores data necessary for the control unit 11 to execute arithmetic processing.
  • the communication unit 13 is a communication module for performing processing related to communication, and transmits / receives information to / from the outside.
  • the auxiliary storage unit 15 is a large-capacity memory, a hard disk, or the like, and stores the program P and other data required for the control unit 11 to execute processing.
  • the auxiliary storage unit 15 stores the inspection image DB 151 and the abnormality detection model 152.
  • the inspection image DB 151 is a database that stores history information of inspection results of the inspection object 4 that is an abnormality detection target.
  • the program P stored in the auxiliary storage unit 15 may be provided by the recording medium 153 in which the program P is readablely recorded.
  • the recording medium 153 is, for example, a portable memory such as a USB (Universal Serial Bus) memory, an SD (Secure Digital) card, a micro SD card, and a compact flash (registered trademark).
  • the program P recorded on the recording medium 153 is read from the recording medium 153 using a reading device (not shown) and installed in the auxiliary storage unit 15. Further, when the information processing device 1 includes a communication unit capable of communicating with an external communication device, the program P stored in the auxiliary storage unit 15 may be provided by communication via the communication unit.
  • the auxiliary storage unit 15 may be an external storage device connected to the PC1. Further, the PC 1 may be a multi-computer composed of a plurality of computers, or may be a virtual machine virtually constructed by software.
  • FIG. 3 is an explanatory diagram showing a state in which the blob specified by the target identification unit 113 is cut out by the cutout unit 114, and the blob is surrounded by the bounding box 41 to generate a cutout image (inspection image) 40.
  • the target identification unit 113 of the control unit 11 detects blobs by pattern matching, edge detection, R-CNN (Regions with CNN features), or the like.
  • each inspection image 40 each inspection object 4 is surrounded by a bounding box 41 of the same size.
  • FIG. 4 is an explanatory diagram of the resizing process by the cutout portion 114. When the inspection object 4 protrudes from the bounding box 41, the cutting portion 114 of the control unit 11 is resized so that the inspection object 4 fits in the bounding box 41.
  • FIG. 5 is an explanatory diagram showing an example of the record layout of the inspection image DB 151.
  • the inspection image DB 151 includes an inspection image ID string, an inspection image string, a coordinate information string, an outlier string, and a pass / fail result column.
  • the inspection image ID column stores an inspection image ID for identifying each inspection image.
  • the inspection image string stores the inspection image of the corresponding ID.
  • the coordinate information sequence stores coordinate information indicating the placement position of the inspection object 4 in the X-ray irradiation region on the transport belt 61 in association with the inspection image ID.
  • the coordinate information is the X coordinate and the Y coordinate at the four corners of the bounding box 41 when the center in the X direction and the Y direction is the origin between the upstream roller 63 and the downstream roller 62 in FIG.
  • Outliers are the probabilities of anomalies, as described above.
  • the pass / fail result column stores the result (correct: OK, incorrect: NG) when the operator accepts the judgment of the control unit 11.
  • the pass / fail result column is provided for re-learning, which will be described later, and it is not necessary to acquire pass / fail results in all the tests.
  • FIG. 6 is an explanatory diagram relating to the generation process of the abnormality detection model 152.
  • FIG. 6 conceptually shows a process of performing machine learning to generate an abnormality detection model 152.
  • the PC 1 is a neural network that takes the inspection image 40 as an input and outputs information indicating the presence or absence of the abnormality of the inspection object 4 by learning the image feature amount of the abnormality in the inspection image of the inspection object 4.
  • the neural network is a CNN (Convolution Neural Network), which includes an input layer that accepts the input of the inspection image 40, an output layer that outputs the identification result of the presence or absence of an abnormality, and an intermediate layer that extracts the image feature amount of the inspection image 40.
  • CNN Convolution Neural Network
  • the input layer has a plurality of neurons that receive input of pixel values of each pixel included in the inspection image 40, and passes the input pixels to the intermediate layer.
  • the intermediate layer has a plurality of neurons for extracting the image features of the inspection image, and the extracted image features are passed to the output layer.
  • the number of layers of the intermediate layer is set to 3, but the number of layers is not limited to this.
  • the abnormality detection model 152 is CNN
  • the intermediate layer alternates between a convolution layer that convolves the pixel values of each pixel input from the input layer and a pooling layer that maps the pixel values convoluted by the convolution layer.
  • the feature amount of the image is finally extracted while compressing the pixel information of the inspection image 40.
  • the output layer has two neurons that output identification results that identify the abnormality of the inspection object 4, and identifies the presence or absence of the abnormality of the inspection object 4 based on the image feature amount output from the intermediate layer.
  • One neuron outputs the probability that the test object 4 is normal (without foreign matter), and the other neuron outputs the probability that the test object 4 is abnormal (with foreign matter).
  • the abnormality detection model 152 will be described as being a CNN, but the abnormality detection model 152 is not limited to the CNN, and is a neural network other than the CNN, an SVM (Support Vector Machine), a Bayesian network, and a regression tree. It may be a trained model constructed by another learning algorithm.
  • the PC 1 has teacher data (abnormality) in which a plurality of inspection images 40 and information indicating an abnormality of the inspection object 4 in each inspection image 40 (whether the inspection image 40 has a foreign substance or is normal without a foreign substance) are associated with each other. Learning is performed using data (data, normal data).
  • the teacher data is data in which the type of abnormality (abnormal shape) and rank (1: abnormal, 0: normal) are labeled with respect to the inspection image 40 of the inspection object 4.
  • the PC 1 may store a database of teacher data in the auxiliary storage unit 15, or may acquire teacher data from an external device.
  • the PC1 inputs the inspection image 40, which is the teacher data, to the input layer, performs arithmetic processing in the intermediate layer, and acquires an identification result indicating the presence or absence of an abnormality in the inspection object 4 from the output layer.
  • the identification result output from the output layer is a continuous probability (for example, a value in the range of "0" to "1") when the softmax function is used.
  • the identification result may be a value that discretely indicates the presence or absence of an abnormality (for example, a value of "0" or "1").
  • the PC1 compares the identification result output from the output layer with the information labeled for the inspection image 40 in the teacher data, that is, the correct answer value, and the intermediate layer so that the output value from the output layer approaches the correct answer value.
  • the parameters include, for example, the weight between neurons (coupling coefficient), the coefficient of the activation function used in each neuron, and the like.
  • the method of optimizing the parameters is not particularly limited, but for example, PC1 optimizes various parameters by using the backpropagation method.
  • the PC1 performs the above processing on each inspection image 40 included in the teacher data to generate an abnormality detection model 152.
  • the PC 1 acquires the inspection image 40 of the inspection object 4
  • the PC 1 detects the presence or absence of foreign matter in the inspection object 4 by using the abnormality detection model 152.
  • FIG. 7 is a flowchart showing an example of a processing procedure of the generation processing of the abnormality detection model 152 by the control unit 11.
  • the control unit 11 acquires teacher data in which the inspection images 40 of the plurality of inspection objects 4 and the information indicating the abnormality of the inspection objects 4 in each inspection image 40 are associated with each other (S11).
  • the control unit 11 uses the teacher data to generate an abnormality detection model 152 (learned model) that outputs the abnormality presence / absence information of the inspection object 4 when the inspection image 40 of the inspection object 4 is input (step S12). Specifically, the control unit 11 inputs the inspection image 40, which is the teacher data, into the input layer of the neural network, and acquires the identification result of identifying the presence or absence of the abnormality of the morphology in the inspection image 40 from the output layer. The control unit 11 compares the acquired identification result with the correct answer value of the teacher data (information labeled for the inspection image 40), and in the intermediate layer so that the identification result output from the output layer approaches the correct answer value. Optimize the parameters (weights, etc.) used in the arithmetic processing of. The control unit 11 stores the generated abnormality detection model 152 in the auxiliary storage unit 15 and ends a series of processes.
  • an abnormality detection model 152 (learned model) that outputs the abnormality presence / absence information of the inspection object 4 when the inspection image 40 of the
  • FIG. 8 is a flowchart showing an example of the processing procedure of the abnormality detection process by the control unit 11.
  • the control unit 11 of the PC 1 passes through the inspection object 4 and generates an X-ray image based on the X-rays detected by the X-ray detection unit 7 (S21).
  • the control unit 11 performs image processing on the X-ray image with a smoothing filter, a feature extraction filter, or the like to generate a processed image (S22).
  • the control unit 11 performs a blob analysis of the inspection object 4 based on the processed image and identifies the blob (S23).
  • the control unit 11 cuts out the blob so that it fits within a rectangle of a predetermined size, and generates a cut-out image (S24).
  • the control unit 11 performs processing such as normalization on the cut-out image to generate an inspection image (S25).
  • the control unit 11 inputs an inspection image into the abnormality detection model 152, outputs a normal probability and an abnormality probability, and acquires an abnormal value (S26).
  • the control unit 11 outputs an abnormal value to the display 22, and displays the inspection image 40 of each inspection object 4 on the display 22 (S27).
  • the control unit 11 displays the abnormal inspection object 4 whose abnormal value is equal to or higher than the threshold value in a state of being surrounded by the bounding box 42.
  • the control unit 11 selects whether to discard or not based on the abnormal value of the inspection object 4 and the inspection image ID (S28), and ends the process.
  • the normal portion and the abnormal portion can be accurately discriminated. it can. Therefore, it is possible to accurately detect the presence / absence information of abnormalities such as shape abnormality and presence / absence of foreign matter. It is not necessary for the operator to visually detect the abnormality, and the efficiency of the abnormality detection work can be improved.
  • FIG. 9 is an explanatory diagram showing an example of a display screen 5 on the display 22.
  • the display screen has a first screen 51 on the left side in FIG. 9 and a second screen 52 on the right side.
  • the control unit 11 On the first screen 51, the control unit 11 is surrounded by a blue bounding box 41 in association with the positions (coordinate information) of the plurality of inspection objects 4 dispersedly placed on the transport belt 61.
  • the inspection image 40 of is displayed.
  • the control unit 11 displays the inspection images 40 side by side in the order of the inspection image IDs on the second screen 52, and the abnormality inspection image 40 is surrounded by the red bounding box 42.
  • the operator can select any of the inspection images 40 on the second screen 52 by the selection button 56 consisting of ">" and " ⁇ " for sequentially moving in the row direction of the inspection image 40.
  • the inspection image 40 may be selected by a pointing device such as a mouse.
  • the control unit 11 displays the corresponding inspection image 40 in a state of being surrounded by a yellow bounding box on the first screen 51.
  • the second screen 52 also presses the OK button (operation button) 54 when the operator determines that the estimation result (judgment) of the abnormality detection model 152 is correct, and presses when the determination is incorrect. It has an NG button (operation button) 53 and an Other button 55 for inputting other instructions such as brightness adjustment.
  • the control unit 11 For the inspection image 40 selected by the selection button 56, the control unit 11 accepts the input of the quality of the judgment of the control unit 11 by the OK button 53 or the NG button 54 from the operator, and when a predetermined number or more of data is collected, the control unit 11 receives the input.
  • the abnormality detection model 152 can be re-learned using the inspection image 40 and the quality of the judgment input by the operator as teacher data.
  • FIG. 10 is a flowchart showing an example of the processing procedure of the above-mentioned re-learning process by the control unit 11 of the PC1.
  • the control unit 11 accepts the judgment of the quality of the judgment of the control unit 11 based on the pressing of the OK button 53 or the NG button 54 on the second screen 52 by the operator for the selected inspection image 40 (S31).
  • the control unit 11 determines that the quality determination is not accepted (S31: NO)
  • the determination process is repeated.
  • the control unit 11 determines that the quality determination has been accepted based on a predetermined number of inspection images 40 (S31: YES)
  • the teacher data corresponding to the quality of the judgment of is acquired (S32).
  • the control unit 11 uses the teacher data to generate an abnormality detection model 152 that outputs the abnormality presence / absence information of the inspection object 4 when the inspection image of the inspection object 4 is input (S33). With the above, it is relearned. As a result, the abnormality detection model 152 is updated as the abnormality detection process is continued, and more accurate abnormality detection can be performed.
  • FIG. 11 is an explanatory diagram relating to the generation process of the abnormality detection model 152.
  • the same parts as those in FIG. 6 are designated by the same reference numerals, and detailed description thereof will be omitted.
  • the PC 1 takes the inspection image 40 as an input by learning the image feature amount of the abnormality in the inspection image 40 of the inspection object 4, and indicates the abnormality of the shape of the inspection object 4 and the presence or absence of foreign matter. Generate a neural network that outputs information.
  • the neural network is a CNN, and has an input layer that accepts the input of the inspection image 40, an output layer that outputs the identification result of the presence or absence of an abnormality, and an intermediate layer that extracts the image feature amount of the inspection image 40.
  • the input layer has a plurality of neurons that receive input of pixel values of each pixel included in the inspection image 40, and passes the input pixels to the intermediate layer.
  • the intermediate layer has a plurality of neurons for extracting the image features of the inspection image, and the extracted image features are passed to the output layer.
  • the number of layers of the intermediate layer is set to 3, but the number of layers is not limited to this.
  • the abnormality detection model 152 is CNN
  • the intermediate layer alternates between a convolution layer that convolves the pixel values of each pixel input from the input layer and a pooling layer that maps the pixel values convoluted by the convolution layer.
  • the feature amount of the image is finally extracted while compressing the pixel information of the inspection image 40.
  • the output layer has three neurons that output identification results that identify abnormalities in the inspection object 4, and based on the amount of image features output from the intermediate layer, the presence or absence of abnormalities in the shape of the inspection object 4 and the presence or absence of foreign substances are determined. Identify.
  • the first neuron outputs the normal probability of the test object 4, the second neuron outputs the probability of the abnormal shape of the test object 4, and the third neuron outputs the probability that the test object 4 has a foreign substance. ..
  • the type of abnormality may be 3 or more.
  • the PC 1 provides teacher data in which a plurality of inspection images 40 and information indicating an abnormality of the inspection object 4 in each inspection image 40 (whether the shape is abnormal, has a foreign substance, or is normal) are associated with each other.
  • the teacher data is data in which the type of abnormality (abnormal shape) and rank (1: abnormal, 0: normal) are labeled with respect to the inspection image 40 of the inspection object 4.
  • the PC 1 inputs the inspection image 40, which is the teacher data, to the input layer, performs arithmetic processing in the intermediate layer, and acquires an identification result indicating the presence or absence of an abnormality in the inspection object 4 from the output layer.
  • the identification result output from the output layer is a continuous probability (for example, a value in the range of "0" to "1") when the softmax function is used.
  • the PC1 compares the identification result output from the output layer with the information labeled for the inspection image 40 in the teacher data, that is, the correct answer value, and the intermediate layer so that the output value from the output layer approaches the correct answer value.
  • the parameters include, for example, the weight between neurons (coupling coefficient), the coefficient of the activation function used in each neuron, and the like.
  • the method of optimizing the parameters is not particularly limited, but for example, PC1 optimizes various parameters by using the backpropagation method.
  • the PC1 performs the above processing on each inspection image 40 included in the teacher data to generate an abnormality detection model 152.
  • the PC 1 acquires the inspection image 40 of the inspection object 4
  • the PC 1 detects the presence or absence of the abnormality of the inspection object 4 by using the abnormality detection model 152.
  • the learning inspection unit 116 inputs the inspection image 40 into the abnormality detection model 152, outputs the above three probabilities, and acquires the probability of shape abnormality (outlier value A) and the probability of having a foreign substance (outlier value B). To do.
  • FIG. 12 is an explanatory diagram showing an example of a display screen 5 on the display 22 according to the second embodiment.
  • the second screen 52 has a Change button (second operation button) 57 instead of the Other button 55.
  • the Change button 57 When the operator presses the Change button 57, the type of abnormality is switched between "abnormal shape" and "presence or absence of foreign matter".
  • the inspection image 40 having the abnormal shape is surrounded by the red bounding box 42 on the first screen 51 and the second screen 52.
  • the type of abnormality is switched to "presence or absence of foreign matter"
  • the inspection image 40 having the foreign matter is surrounded by the green bounding box 42 on the first screen 51 and the second screen 52.
  • FIG. 13 is a flowchart showing an example of a processing procedure for switching processing of an abnormality type by the control unit 11.
  • the control unit 11 determines whether or not the switching of the type of abnormality has been accepted (S41). First, it is assumed that the type of abnormality is "abnormal shape", the inspection image 40 based on the abnormality of shape is displayed on the display 22, and the type of abnormality is switched to "presence or absence of foreign matter". When the control unit 11 determines that the switching of the abnormal type is not accepted (S41: NO), the determination process is repeated.
  • the control unit 11 determines that the switching of the abnormal type has been accepted (S41: YES)
  • the control unit 11 switches to and displays the inspection image 40 indicating the presence or absence of foreign matter on the display 22 (S42).
  • the control unit 11 displays the abnormal inspection object 4 in which the abnormal value B related to the presence or absence of foreign matter is equal to or higher than the threshold value, for example, 0.5 or higher, surrounded by the green bounding box 42. To do.
  • the control unit 11 selects the abnormal inspection object 4 based on the abnormal value B and the inspection image ID (S43).
  • the abnormality can be detected by switching to the required type of abnormality.
  • the type of abnormality is selected from "abnormal shape” or "presence or absence of foreign matter", for the inspection image 40 selected by the operator in the same manner as above, the OK button 53 on the second screen 52 by the operator or Based on the pressing of the NG button 54, it is possible to accept the input of good / bad judgment of the control unit 11.
  • buttons 58, 59, and 60 indicating "normal”, “abnormal shape”, and “foreign matter” are displayed on the first screen 51, respectively, as shown in FIG.
  • the operator selects a button corresponding to the actual content of the inspection image 40.
  • the PC 1 can relearn the abnormality detection model 152 by using the inspection image 40 and the quality of the judgment input by the operator as teacher data.
  • FIG. 15 is a block diagram showing the configuration of the abnormality detection system 20 according to the third embodiment.
  • the abnormality detection system 20 according to the third embodiment has the same configuration as the abnormality detection system 10 according to the first embodiment, except that the control unit 11 has an abnormality determination unit (second acquisition unit) 120 as a functional unit.
  • the abnormality determination unit 120 calculates an abnormal value of the shape of the inspection object 4 based on the inspection image 40 generated by the image processing unit 115.
  • the abnormality is detected by using the abnormality detection model 152 according to the abnormality value calculated by the abnormality determination unit 120.
  • FIG. 16 is a flowchart showing an example of the processing procedure of the abnormality detection process by the control unit 11.
  • the control unit 11 of the PC 1 passes through the inspection object 4 and generates an X-ray image based on the X-rays detected by the X-ray detection unit 7 (S51).
  • the control unit 11 performs image processing on the X-ray image by a smoothing filter, a feature extraction filter, or the like to generate a processed image (S52).
  • the control unit 11 performs a blob analysis of the inspection object 4 based on the processed image and identifies the blob (S53).
  • the control unit 11 cuts out the blob so that it fits within a rectangle of a predetermined size, and generates a cut-out image (S54).
  • the control unit 11 performs processing such as normalization on the cut-out image to generate an inspection image (S55).
  • the control unit 11 calculates the abnormal value for the shape of the inspection object 4 based on the pixel value and the like without using the abnormality detection model 152.
  • the pixel values of the pixels constituting the blob (lump) of the inspection image 40 are larger than the reference value, and the pixel values of the pixels constituting the background of the blob are smaller than the reference value.
  • the area of the blob is calculated by counting the pixels that make up the blob.
  • the perimeter of the blob is calculated based on the array of background pixels that form the perimeter of the blob.
  • the area and the peripheral length are compared with the threshold value, and the control unit 11 calculates the abnormal value of the shape, assuming that the case where the area is completely normal is 0 and the case where the area is completely abnormal is 1.
  • the control unit 11 determines whether or not the calculated outlier is 0 or 1 (S57). When the control unit 11 determines that the calculated outlier is 0 or 1 (S57: YES), the control unit 11 determines whether or not the outlier is 0 (S58). When the control unit 11 determines that the abnormal value is 0, that is, when it is determined that there is no abnormality (S58: YES), the learning test is skipped and the process ends. When the control unit 11 determines that the abnormal value is not 0 (S58: NO), that is, when the abnormal value is 1 and determines that the abnormal value is present, the learning test is skipped and the process proceeds to S60.
  • control unit 11 determines that the calculated abnormal value is not 0 or 1 (S57: NO)
  • the control unit 11 acquires the abnormal value of the inspection object 4 from the acquired inspection image 40 by using the abnormality detection model 152 (S59). ..
  • the control unit 11 selects the abnormal inspection object 4 based on the abnormal value and the inspection image ID (S60).
  • an abnormality is detected in the inspection image 40 after image processing based on a pixel value or the like, and when the obtained result is uncertain, the abnormality is further detected by using the abnormality detection model 152. Therefore, the abnormality can be detected more accurately.
  • the PC 1 may be configured so that the image processing unit 115 generates the inspection image 40 based on the plurality of image processing algorithms, and the abnormality detection model 152 may be generated corresponding to each image processing algorithm. Then, the abnormality determination unit 120 may detect an abnormality value based on the inspection image 40 that has been subjected to each processing, and the abnormality detection model 152 corresponding to the image processing algorithm may detect the abnormality.
  • the X-ray inspection machine 2 according to the fourth embodiment has the same configuration as the X-ray inspection machine 2 according to the second embodiment except that it has a structure for discarding the inspection object 4 determined to be an abnormal product.
  • FIG. 17 is a perspective view showing the configuration of the abnormality detection system 30 according to the fourth embodiment
  • FIG. 18 is a block diagram showing the configuration of the abnormality detection system 30.
  • the same parts as those in FIGS. 1 and 2 are designated by the same reference numerals, and detailed description thereof will be omitted.
  • a disposal unit 9 having a plurality of air valves 91 in the X direction is provided at the downstream end of the lower housing 23 so as to face the transport belt 61.
  • the air valves 91 are numbered in order from the end in the X direction.
  • the control unit 11 has an opening / closing unit 121 that opens / closes the air valve 91.
  • the sorting unit (second output unit) 118 sorts out abnormal products having an abnormal shape or foreign matter, and opens / closes the number of the air valve 91 corresponding to the mounting position of the inspection object 4 as the coordinate information of the inspection object 4. Output to unit 121.
  • the opening / closing unit 121 opens the air valve 91 having the corresponding number.
  • FIG. 19 is an explanatory diagram relating to the abnormality detection process according to the fourth embodiment.
  • FIG. 19 conceptually shows a case where the presence or absence of an abnormality in the shape of the inspection object 4 is detected from the inspection image.
  • the control unit 11 acquires an inspection image 40 based on the image of the inspection object 4 captured by the X-ray irradiation unit 3 and inputs it to the abnormality detection model 152. For example, the control unit 11 acquires the inspection image 40 and, as the coordinate information of the inspection object 4, the number of the air valve 91 corresponding to the mounting position of the inspection object 4.
  • the control unit 11 performs arithmetic processing for extracting the feature amount of the inspection image 40 in the intermediate layer of the abnormality detection model 152, inputs the extracted feature amount to the abnormality detection model 152, and determines the normal probability of the inspection object 4.
  • the probability of abnormal shape and the probability of presence / absence of foreign matter are output, and the abnormal value A and the abnormal value B are acquired.
  • the control unit 11 uses the abnormality detection model 152 to detect an abnormality that requires disposal of the inspection object 4.
  • the control unit 11 uses the inspection image 40 as teacher data for learning, and detects an abnormality using the abnormality detection model 152 that has learned the abnormality of the inspection object 4.
  • the PC 1 may construct a separate abnormality detection model 152 (neural network) for each type of abnormality, or may train a single abnormality detection model 152 to learn all the abnormalities.
  • the control unit 11 outputs the outlier A and the outlier B to the display 22.
  • the PC 1 may notify the operator or notify a predetermined mobile terminal possessed by the operator.
  • control unit 11 transmits, as the information to be notified, the number of the air valve 91 of the inspection object 4 that has detected the abnormality, in addition to the detection result indicating the type and degree of the abnormality of the detected inspection object 4.
  • the outlier A or the outlier B is compared with the threshold value, and the outlier A or the outlier B is equal to or greater than the threshold value, and the inspection object 4 determined to have an abnormality corresponds to the inspection object 4 as shown in the lower part of FIG.
  • Air is ejected from the air valve 91 and discharged from the transport belt 61.
  • the X coordinate and the Y coordinate of the transport belt 61 may be acquired and the abnormal inspection object 4 may be discarded.
  • the inspection object 4 to be discarded can be narrowed down as compared with the case where the number of the air valve 91 is acquired, and the product yield can be increased.
  • a plurality of inspection objects are irradiated with electromagnetic waves, and one inspection object extracted from an image acquired according to the electromagnetic waves transmitted through each inspection object.
  • Acquire the inspection image corresponding to the above acquire the teacher data including the inspection image and the abnormality presence / absence information regarding the presence / absence of the abnormality of the inspection object, and irradiate a plurality of inspection objects with electromagnetic waves based on the teacher data.
  • a learning model that outputs information on the presence or absence of abnormality of the inspection object is generated.
  • the normal portion and the abnormal portion can be discriminated with high accuracy. Therefore, it is possible to accurately detect the presence / absence information of abnormalities such as shape abnormality and presence / absence of foreign matter.
  • the electromagnetic wave is an X-ray
  • an inspection image corresponding to one inspection object extracted from the image acquired in response to the X-ray is generated
  • the bounding including the generated inspection image is generated.
  • the box may be displayed, and information on the presence or absence of abnormality of the inspection object included in the bounding box may be displayed.
  • the above-mentioned learning model generation method may acquire an inspection image including an inspection object and an abnormality presence / absence information of the inspection object, and relearn the learning model based on the inspection image and the abnormality presence / absence information.
  • the learning model is updated so that more accurate abnormality detection can be performed.
  • a plurality of inspection objects are irradiated with electromagnetic waves, and an inspection image corresponding to one inspection object extracted from an image acquired according to the electromagnetic waves transmitted through each inspection object is input.
  • the input layer, the output layer that outputs the abnormality presence / absence information indicating the presence / absence of abnormality of the inspection object, and the images obtained by irradiating a plurality of inspection objects with electromagnetic waves according to the electromagnetic waves transmitted through each inspection object are extracted. It is equipped with an inspection image corresponding to one inspection object and an intermediate layer in which parameters are learned based on information on the presence or absence of abnormalities in the inspection object, irradiates a plurality of inspection objects with electromagnetic waves, and responds to the electromagnetic waves transmitted through each inspection object.
  • the computer functions to output the abnormality presence / absence information of the inspection object from the output layer through the calculation by the intermediate layer.
  • the normal portion and the abnormal portion can be discriminated with high accuracy. Therefore, it is possible to accurately detect the presence / absence information of abnormalities such as shape abnormality and presence / absence of foreign matter.
  • the inspection device includes an irradiation unit that irradiates a plurality of inspection objects with electromagnetic waves, and an inspection image corresponding to one inspection object extracted from an image acquired according to the electromagnetic waves transmitted through each inspection object. Outputs abnormality presence / absence information indicating the presence / absence of abnormality of the inspection object when the inspection image corresponding to one inspection object extracted from the image acquired according to the electromagnetic wave transmitted through the inspection object is input.
  • the learning inspection unit that inputs the inspection image acquired by the acquisition unit to acquire the abnormality presence / absence information and the output unit that outputs the abnormality presence / absence information are provided in the learning model.
  • the normal portion and the abnormal portion can be discriminated with high accuracy. Therefore, it is possible to accurately detect the presence / absence information of abnormalities such as shape abnormality and presence / absence of foreign matter. It is not necessary for the operator to visually detect the abnormality, and the efficiency of the abnormality detection work can be improved.
  • the electromagnetic wave is X-rays
  • the acquisition unit includes a generation unit that generates an image based on the X-rays and an extraction unit that extracts a region corresponding to one inspection object from the generated image.
  • the area may be provided with a surrounding portion surrounding the area by the bounding box, and an inspection image surrounded by the bounding box may be acquired.
  • the above-mentioned inspection device includes a display, and the output unit displays a plurality of inspection images surrounded by a bounding box in association with the positions of a plurality of inspection objects, and an abnormality image including an abnormality inspection object is displayed.
  • Each image is displayed side by side with a first screen further surrounded by a second bounding box different from the bounding box, and the abnormal image is surrounded by the second bounding box, and each inspection by an operator.
  • the display unit may be displayed on the display side by side with a second screen having an operation button for receiving input of information on the presence or absence of abnormality of an object.
  • the above-mentioned inspection device may include a re-learning unit that relearns the learning model based on the inspection image and the abnormality presence / absence information received by the operation button.
  • the learning model is updated so that more accurate abnormality detection can be performed.
  • the second screen includes a second operation button that accepts an input of an abnormality type of the inspection object, and when the second operation button accepts the input, the display unit is said. Based on the type, the abnormal image may be surrounded by the second bounding box and displayed.
  • the above-mentioned inspection device includes a disposal unit that discards an inspection object whose abnormality presence / absence information acquired by the learning inspection unit is equal to or higher than a threshold value, and an inspection image of an inspection object whose abnormality presence / absence information acquired by the learning inspection unit is equal to or higher than a threshold value.
  • a second output unit that outputs the coordinate information corresponding to the above may be provided.
  • the above-mentioned inspection device has a plurality of valves arranged side by side in a direction intersecting the transport direction of the conveyor, and has a disposal unit that ejects gas from a valve corresponding to an abnormal inspection object to blow off the inspection object.
  • a second output unit that outputs valve information corresponding to an inspection object whose abnormality presence / absence information acquired by the learning inspection unit is equal to or greater than a threshold value, and an opening / closing unit that opens and closes a valve corresponding to the inspection object are provided. May be good.
  • the above-mentioned inspection device acquires information indicating the presence or absence of abnormality of the inspection object based on the inspection image obtained by applying the image processing algorithm to the image acquired in response to the electromagnetic wave.
  • the learning inspection unit may input the inspection image according to the information acquired by the second acquisition unit.
  • the abnormality is further detected using a learning model, so that the abnormality can be detected more accurately.
  • a plurality of inspection objects are irradiated with electromagnetic waves, and an inspection image corresponding to one inspection object extracted from the images acquired according to the electromagnetic waves transmitted through each inspection object is acquired. Then, when the inspection image corresponding to one inspection object extracted from the image acquired according to the electromagnetic wave transmitted through the inspection object is input, the learning model that outputs the abnormality presence / absence information indicating the presence / absence of the abnormality of the inspection object is used.
  • the computer is made to execute the process of inputting the acquired inspection image and outputting the abnormality presence / absence information.
  • the computer program irradiates a plurality of inspection objects with electromagnetic waves, and acquires an inspection image corresponding to one inspection object extracted from the images acquired according to the electromagnetic waves transmitted through each inspection object. , Acquired to the learning model that outputs the abnormality presence / absence information regarding the presence / absence of abnormality of the inspection object when the inspection image corresponding to one inspection object extracted from the image acquired according to the electromagnetic wave transmitted through the inspection object is input.
  • the computer is made to execute the process of inputting the inspection image and outputting the abnormality presence / absence information.
  • the inspection product is not limited to food, and may be a package, an industrial product, or the like.
  • the disposal unit is not limited to the case where the air valve 66 is formed.
  • the electromagnetic wave irradiating the inspection object 4 is not limited to X-rays, and may be terahertz waves, infrared rays, visible light, or the like.

Abstract

精度良く検査物の異常を検出することができる学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラムを提供する。　複数の検査物（４）に電磁波を照射し、各検査物（４）を透過した電磁波に応じて取得した画像から抽出された一の検査物（４）に対応する検査画像を取得し、前記検査画像と検査物（４）の異常の有無に関する異常有無情報とを含む教師データを取得し、前記教師データに基づいて、複数の検査物（４）に電磁波を照射し、各検査物（４）を透過した電磁波に応じて取得した画像から抽出された一の検査物（４）に対応する検査画像が入力された場合に、検査物（４）の異常有無情報を出力する学習モデル（１５２）を生成する。

Description

学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム
　本発明は、食品、部品等の検査物の異常を検出するための学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラムに関する。
　食肉、豆類等の食品の検査、包装材に内容物が収納された包装体の検査、ネジ、ゴルフボール、及び電子部品等の工業製品の検査に、Ｘ線、テラヘルツ波、赤外線及び可視光等の検査波を使用した検査装置が使用されている。この検査装置においては、検査物に検査波が照射され、検査物を通過した検査波が検知されて被検査物の検査画像が取得される。
　検査物が異物を有する場合、検査画像に閾値を超える濃い部分が存在する。従来、この濃い部分の面積及び形状等に基づいて、異物の有無の判定を行っていた。
　検査物の形状の異常の有無は、検査画像のブロブ（塊）の面積及び周囲長に基づいて行っていた。ブロブを構成する画素をカウントすることにより、ブロブの面積が算出され、ブロブの周囲を形成する背景画素の配列に基づき、ブロブの周囲長が算出される（例えば特許文献１等）。
特開２００５－３１０６９号公報
　従来の異常検出方法においては、閾値と比較することにより異常の有無を判定していたが、検査物及び異物の種類によっては、正常な部分と異物との画素値の差異が小さい場合があり、検出の精度が良くないという問題があった。
　検査物の形状の異常を検出する場合においても、同様に、ブロブの画素と背景画素との画素値の差異が小さく、エッジが明瞭でなく、正確に検出できない場合があった。
　本発明は斯かる事情に鑑みてなされたものであり、精度良く検査物の異常を検出することができる学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラムを提供することを目的とする。
　本発明の一態様に係る学習モデルの生成方法は、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を取得し、前記検査画像と前記検査物の異常の有無に関する異常有無情報とを含む教師データを取得し、前記教師データに基づいて、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像が入力された場合に、前記検査物の異常有無情報を出力する学習モデルを生成する。
　本発明の一態様に係る学習モデルは、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像が入力される入力層と、前記検査物の異常の有無を示す異常有無情報を出力する出力層と、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像及び検査物の異常有無情報に基づいてパラメータが学習された中間層とを備え、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像が入力された場合に、前記中間層による演算を経て前記検査物の異常有無情報を前記出力層から出力するようにコンピュータを機能させる。
　本発明の一態様に係る検査装置は、複数の検査物に電磁波を照射する照射部と、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を取得する取得部と、検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を入力した場合に検査物の異常の有無を示す異常有無情報を出力する学習モデルに、前記取得部により取得した検査画像を入力して、前記異常有無情報を取得する学習検査部と、前記異常有無情報を出力する出力部とを備える。
　本発明の一態様に係る異常検出方法は、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を取得し、検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を入力した場合に検査物の異常の有無を示す異常有無情報を出力する学習モデルに、取得した前記検査画像を入力して、異常有無情報を出力する処理をコンピュータに実行させる。
　本発明の一態様に係るコンピュータプログラムは、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を取得し、検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を入力した場合に検査物の異常の有無に関する異常有無情報を出力する学習モデルに、取得した前記検査画像を入力して、異常有無情報を出力する処理をコンピュータに実行させる。
　本発明によれば、検査物の検査画像において、正常部分と異常部分との画素値の差異が小さい場合においても、精度良く、正常部分と異常部分とを判別できる。
　従って、形状の異常、異物の有無等の異常有無情報を精度良く検出できる。
実施の形態１に係る異常検出システムの構成を示す斜視図である。 異常検出システムの構成を示すブロック図である。 ブロブをバウンディングボックスにより包囲した状態を示す説明図である。 リサイズの処理の説明図である。 検査画像ＤＢのレコードレイアウトの一例を示す説明図である。 異常検出モデルの生成処理に関する説明図である。 制御部による異常検出モデルの生成処理の処理手順の一例を示すフローチャートである。 制御部による異常検出処理の処理手順の一例を示すフローチャートである。 表示部における表示画面の一例を示す説明図である。 ＰＣの制御部による上述の再学習処理の処理手順の一例を示すフローチャートである。 実施の形態２に係る異常検出モデルの生成処理に関する説明図である。 表示部における表示画面の一例を示す説明図である。 制御部による異常の種類の切替処理の処理手順の一例を示すフローチャートである。 検査物の状態を示すボタンを表示する表示画面の一例を示す説明図である。 実施の形態３に係る異常検出システムの構成を示すブロック図である。 制御部による異常検出処理の処理手順の一例を示すフローチャートである。 実施の形態４に係る異常検出システムの構成を示す斜視図である。 異常検出システムの構成を示すブロック図である。 異常検出処理に関する説明図である。
　以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
　図１は実施の形態１に係る異常検出システム１０の構成を示す斜視図、図２は異常検出システム１０の構成を示すブロック図である。
　異常検出システム１０は、検査装置としての情報処理装置１と、Ｘ線検査機２とを備える。本実施の形態においては、Ｘ線検査機２の搬送部（コンベア）６の搬送ベルト６１上に分散した状態で検査物４を載置し、検査物４に対しＸ線を用いて撮像した画像に基づいて異常を検出する異常検出システム１０について説明する。検査物４の一例として、種子、大豆等の食品が挙げられる。なお、検査物４は、食品には限定されず、ネジ、ゴルフボール等、画像により形状を検知できるものであればよい。検査物４は搬送ベルト６１上に分散した状態で載置される場合に限定されず、包装材に収納されたものでもよく、トレイに載置されたものであってもよい。情報処理装置１とＸ線検査機２とは、一体化されていてもよい。
　Ｘ線検査機２は、横長の直方体状をなす下側筐体２３と、下側筐体２３上に設けられ、下側筐体２３より小さい上側筐体２１とを備える。
　下側筐体２３内に搬送部６が設けられている。搬送部６は、下側筐体２３の長手方向の一端部の外側に上流側ローラ６３が設けられ、他端部の外側に下流側ローラ６２が設けられている。上流側ローラ６３と下流側ローラ６２の間には、上流側ローラ６３及び下流側ローラ６２よりも下側に、２つの下段ローラ６４，６５が設けられており、これらのローラに搬送ベルト６１が架け渡されている。上流側ローラ６３と下流側ローラ６２のいずれか一方に、搬送モータ（不図示）からの駆動力が与えられ、被検査物を検査するときに、搬送ベルト６１が時計周りに一定の速度Ｖで周回する。
　上側筐体２１に、Ｘ線照射部（照射部）３が収納されている。Ｘ線照射部３はＸ線管３１を有する。上側筐体２１の正面には、ディスプレイ２２が設けられている。ディスプレイ２２は、例えばＬＣＤ（Liquid Crystal Display）等の表示装置である。
　上流側ローラ６３と下流側ローラ６２との間を移動する搬送ベルト６１の下側にＸ線検知部７が設けられている。Ｘ線検知部７は、ＴＤＩ（Time Delay Integration）カメラまたはＴＤＩセンサと呼ばれるものであり、Ｘ線の強度に応じて蛍光を発するシンチレータと、シンチレータで発せられた蛍光を検知する多数のフォトダイオードとを有している。
　ＴＤＩカメラでは、フォトダイオードが、被検査物の移動方向であるＹ方向と直交するＸ方向に直線的に並んで１つの検知ライン７１が構成され、この検知ラインが複数ライン設けられている。複数の検知ライン７１は被検査物の移動方向であるＹ方向へ向けて平行に並んで配置されている。図１においては、個々の検知ライン７１を独立したラインセンサ素子として図示しているが、実際には、１つのＴＤＩカメラの筐体内に、複数のフォトダイオードがＸ方向とＹ方向に規則的に並んで配置され、Ｘ方向に並ぶフォトダイオードで１ラインの検知ライン７１が構成されている。
　情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばパーソナルコンピュータ、サーバ装置等である。Ｘ線検査機２はＬＡＮ等のネットワークＮを介して情報処理装置１に通信接続されている。情報処理装置１がサーバ装置である場合、ネットワークＮはインターネットであってもよい。また、インターネット等のネットワークＮを介して通信可能に接続されたクラウドコンピュータが、情報処理装置１の処理を実行することにしてもよい。
　本実施の形態では情報処理装置１がパーソナルコンピュータであるものとし、以下の説明では簡潔のためＰＣ１と読み替える。
　ＰＣ１は、検査物４を撮像した画像を取得し、該画像に基づき検査物４の異常の有無を検出する処理を行う。本実施の形態でＰＣ１は、機械学習により画像内から検査物４の異常を検出（識別）するよう学習済みの後述する異常検出モデル１５２を用いて異常の有無の検出を行う。異常検出モデル１５２は、人工知能ソフトウェアの一部であるプログラムモジュールとしての利用が想定される。
　ＰＣ１は、Ｘ線検査機２を用いて検査物４を撮像した画像に基づく画像（検査画像）を異常検出モデル１５２に入力し、検査物４の異常の有無を示す識別結果を出力として取得する。ＰＣ１の制御部１１が、異常検出モデル１５２からの指令に従って、入力層に入力された検査画像に対し演算を行い、識別結果を出力するように動作する。
　以下、検査物４の異常の種類が形状の異常であり、ＰＣ１が異常検出モデル１５２に検査画像を入力し、ソフトマックス関数により正常の確率及び異常の確率を出力させ、異常の確率を異常値として取得する場合につき説明する。
　ＰＣ１は、取得した異常値に応じ、検査物４を廃棄するか否か等の選別を行う。
　ＰＣ１は、制御部１１、主記憶部１２、通信部１３、表示部１４、及び補助記憶部１５を備える。
　制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１５に記憶されたプログラムＰを読み出して実行することにより、ＰＣ１に係る種々の情報処理、制御処理等を行う。図２の各機能部は、制御部１１がプログラムＰに基づいて動作することにより実行される。
　制御部１１は、機能部として、画像生成部（生成部）１１１、画像処理部（生成部）１１２、対象特定部（抽出部）１１３、切り出し部（包囲部）１１４、画像処理部１１５、学習検査部１１６、表示部（出力部）１１７、選別部（出力部）１１８、及び再学習部１１９を有する。
　画像生成部１１１は、検査物４を透過し、Ｘ線検知部７により検知されたＸ線に基づき、Ｘ線画像を生成する。
　画像処理部１１２は、Ｘ線画像に対し平滑化フィルタ、特徴抽出フィルタ等により画像処理を行い、処理画像を生成する。
　対象特定部１１３は、処理画像に基づいて、検査物４のブロブ解析を行い、ブロブを特定する。
　切り出し部１１４は、ブロブが所定の大きさの矩形内に入るように切り出し、切り出し画像を生成する。ここで、ブロブを囲む画像は、特徴抽出フィルタによる強調処理等の画像処理を行う前の画像である。なお、ブロブを囲む画像は、画像処理を行った後の画像でもよい。
　画像処理部１１５は、切り出し画像に対し、正規化等の処理を行い、検査画像を生成する。
　学習検査部１１６は、異常検出モデル１５２に検査画像を入力し、異常値を取得する。
　表示部１１７は、異常値をディスプレイ２２へ出力し、検査画像の異常の有無をディスプレイ２２において表示する。
　選別部１１８は、検査物４の異常値を閾値と比較し、廃棄するか否かの選別を行ったり、搬送部６を停止させたり、検査物４をマーキングしたりする。選別部１１８は、例えば検査物４の異常値が０．５以上である場合、異常品とみなし、廃棄すると選別する。異常値の閾値は０．５である場合に限定されない。
　再学習部１１９は、検査画像と、作業者から入力された異常検出モデル１５２の判断の良否の判定とを対応付けた教師データを用いて、異常検出モデル１５２を再学習する。
　主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。
　補助記憶部１５は大容量メモリ、ハードディスク等であり、制御部１１が処理を実行するために必要なプログラムＰ、その他のデータを記憶している。また、補助記憶部１５は、検査画像ＤＢ１５１及び前記異常検出モデル１５２を記憶している。検査画像ＤＢ１５１は、異常検出対象である検査物４の検査結果の履歴情報を格納したデータベースである。
　補助記憶部１５に記憶されるプログラムＰは、プログラムＰを読み取り可能に記録した記録媒体１５３により提供されてもよい。記録媒体１５３は、例えば、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）カード、マイクロＳＤカード、コンパクトフラッシュ（登録商標）等の可搬型のメモリである。記録媒体１５３に記録されるプログラムＰは、図に示していない読取装置を用いて記録媒体１５３から読み取られ、補助記憶部１５にインストールされる。また、情報処理装置１が外部通信装置と通信可能な通信部を備える場合、補助記憶部１５に記憶されるプログラムＰは、通信部を介した通信により提供されてもよい。
　なお、補助記憶部１５はＰＣ１に接続された外部記憶装置であってもよい。また、ＰＣ１は複数のコンピュータからなるマルチコンピュータであってもよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。
　図３は、対象特定部１１３が特定したブロブを切り出し部１１４により切り出し、ブロブをバウンディングボックス４１により包囲して切り出し画像（検査画像）４０を生成した状態を示す説明図である。制御部１１の対象特定部１１３は、パターンマッチング、エッジ検出、又はＲ－ＣＮＮ（Regions with CNN features）等によりブロブの検出を行う。各検査画像４０は、各検査物４が同じ大きさのバウンディングボックス４１により包囲されている。
　図４は、切り出し部１１４によるリサイズの処理の説明図である。
　検査物４がバウンディングボックス４１からはみ出ている場合は、制御部１１の切り出し部１１４はリサイズを行い、検査物４がバウンディングボックス４１内に収まるようにする。
　図５は検査画像ＤＢ１５１のレコードレイアウトの一例を示す説明図である。検査画像ＤＢ１５１は、検査画像ＩＤ列、検査画像列、座標情報列、異常値列、及び良否結果列を含む。検査画像ＩＤ列は、各検査画像を識別するための検査画像ＩＤを記憶している。検査画像列は、対応するＩＤの検査画像を記憶している。座標情報列は、検査画像ＩＤと対応付けて、搬送ベルト６１上のＸ線照射領域における、検査物４の載置位置を示す座標情報を記憶している。座標情報は、図１の上流側ローラ６３及び下流側ローラ６２間における、Ｘ方向及びＹ方向の中心を原点としたときのバウンディングボックス４１の四隅におけるＸ座標、及びＹ座標である。異常値は上述したように、異常の確率である。良否結果列は、後述するようにして、作業者による制御部１１の判断の良否の判定を受け付けた場合の結果（正しい：ＯＫ、正しくない：ＮＧ）を記憶している。良否結果列は、後述する再学習を行うために設けてあり、全ての検査において良否結果を取得する必要はない。
　図６は、異常検出モデル１５２の生成処理に関する説明図である。図６では、機械学習を行って異常検出モデル１５２を生成する処理を概念的に示している。
　ＰＣ１は、異常検出モデル１５２として、検査物４の検査画像内における異常の画像特徴量を学習することで、検査画像４０を入力とし、検査物４の異常の有無を示す情報を出力とするニューラルネットワークを構築（生成）する。例えばニューラルネットワークはＣＮＮ（Convolution Neural Network）であり、検査画像４０の入力を受け付ける入力層と、異常の有無の識別結果を出力する出力層と、検査画像４０の画像特徴量を抽出する中間層とを有する。
　入力層は、検査画像４０に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素を中間層に受け渡す。中間層は、検査画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。図６において、中間層の層数は３とされているが、これに限定されない。例えば異常検出モデル１５２がＣＮＮである場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、検査画像４０の画素情報を圧縮しながら最終的に画像の特徴量を抽出する。図６において、コンボリューション層、及びプーリング層の記載は省略している。出力層は、検査物４の異常を識別した識別結果を出力する二つのニューロンを有し、中間層から出力された画像特徴量に基づいて検査物４の異常の有無を識別する。一方のニューロンは検査物４の正常（異物なし）の確率を出力し、他方のニューロンは検査物４の異常（異物あり）の確率を出力する。
　なお、本実施の形態では異常検出モデル１５２がＣＮＮであるものとして説明するが、異常検出モデル１５２はＣＮＮに限定されず、ＣＮＮ以外のニューラルネットワーク、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、回帰木など、他の学習アルゴリズムで構築された学習済みモデルであってよい。
　ＰＣ１は、複数の検査画像４０と、各検査画像４０における検査物４の異常を示す情報（異物を有するか、異物を有さず、正常であるか）とが対応付けられた教師データ（異常データ、正常データ）を用いて学習を行う。例えば図６に示すように、教師データは、検査物４の検査画像４０に対し、異常の種類（形状の異常）、ランク（１：異常、０：正常）がラベル付けされたデータである。ＰＣ１は補助記憶部１５に教師データのデータベースを記憶しておいてもよく、外部装置から教師データを取得してもよい。
　ＰＣ１は、教師データである検査画像４０を入力層に入力し、中間層での演算処理を経て、出力層から検査物４の異常の有無を示す識別結果を取得する。なお、出力層から出力される識別結果は、ソフトマックス関数を用いた場合、連続的な確率（例えば「０」から「１」までの範囲の値）である。識別結果は、異常の有無を離散的に示す値（例えば「０」又は「１」の値）であってもよい。
　ＰＣ１は、出力層から出力された識別結果を、教師データにおいて検査画像４０に対しラベル付けされた情報、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。該パラメータは、例えばニューロン間の重み（結合係数）、各ニューロンで用いられる活性化関数の係数などである。パラメータの最適化の方法は特に限定されないが、例えばＰＣ１は誤差逆伝播法を用いて各種パラメータの最適化を行う。
　ＰＣ１は、教師データに含まれる各検査画像４０について上記の処理を行い、異常検出モデル１５２を生成する。ＰＣ１は検査物４の検査画像４０を取得した場合、異常検出モデル１５２を用いて検査物４の異物の有無を検出する。
　図７は、制御部１１による異常検出モデル１５２の生成処理の処理手順の一例を示すフローチャートである。
　制御部１１は、複数の検査物４の検査画像４０と、各検査画像４０内における検査物４の前記異常を示す情報とを対応付けた教師データを取得する（Ｓ１１）。
　制御部１１は教師データを用いて、検査物４の検査画像４０を入力した場合に検査物４の異常有無情報を出力する異常検出モデル１５２（学習済みモデル）を生成する（ステップＳ１２）。具体的には、制御部１１は、教師データである検査画像４０をニューラルネットワークの入力層に入力し、検査画像４０内の形態の異常の有無を識別した識別結果を出力層から取得する。制御部１１は、取得した識別結果を教師データの正解値（検査画像４０に対してラベル付けられた情報）と比較し、出力層から出力される識別結果が正解値に近づくよう、中間層での演算処理に用いるパラメータ（重み等）を最適化する。制御部１１は、生成した異常検出モデル１５２を補助記憶部１５に格納し、一連の処理を終了する。
　図８は、制御部１１による異常検出処理の処理手順の一例を示すフローチャートである。
　ＰＣ１の制御部１１は、検査物４を透過し、Ｘ線検知部７により検知されたＸ線に基づき、Ｘ線画像を生成する（Ｓ２１）。
　制御部１１は、Ｘ線画像に対し平滑化フィルタ、特徴抽出フィルタ等により画像処理を行い、処理画像を生成する（Ｓ２２）。
　制御部１１は、処理画像に基づいて、検査物４のブロブ解析を行い、ブロブを特定する（Ｓ２３）。
　制御部１１は、ブロブが所定の大きさの矩形内に入るように切り出し、切り出し画像を生成する（Ｓ２４）。
　制御部１１は、切り出し画像に対し、正規化等の処理を行い、検査画像を生成する（Ｓ２５）。
　制御部１１は、異常検出モデル１５２に検査画像を入力し、正常の確率及び異常の確率を出力させ、異常値を取得する（Ｓ２６）。
　制御部１１は、異常値をディスプレイ２２へ出力し、各検査物４の検査画像４０をディスプレイ２２において表示する（Ｓ２７）。制御部１１は、ディスプレイ２２において、異常値が閾値以上である、異常の検査物４をバウンディングボックス４２により包囲した状態で表示する。
　制御部１１は、検査物４の異常値及び検査画像ＩＤに基づいて、廃棄するか否かの選別を行い（Ｓ２８）、処理を終了する。
　以上のように、本実施の形態によれば、検査物４の検査画像４０において、正常部分と異常部分との画素値の差異が小さい場合においても、精度良く、正常部分と異常部分とを判別できる。
　従って、形状の異常、異物の有無等の異常有無情報を精度良く検出できる。
　作業者が目視による異常の検出を行う必要がなくなり、異常検出作業の効率化を図ることができる。
　図９は、ディスプレイ２２における表示画面５の一例を示す説明図である。
　表示画面は、図９における左側の第１画面５１と、右側の第２画面５２とを有する。
　制御部１１は、第１画面５１において、搬送ベルト６１に分散して載置された複数の検査物４の位置（前記座標情報）に対応付けて、夫々青色のバウンディングボックス４１により包囲された複数の検査画像４０を表示する。制御部１１は、第２画面５２において、各検査画像４０を前記検査画像ＩＤ順に並べて表示し、異常の検査画像４０は赤色のバウンディングボックス４２により包囲する。作業者は、検査画像４０の行方向に順に移動するための「＞」及び「＜」からなる選択ボタン５６により第２画面５２のいずれかの検査画像４０を選択できる。検査画像４０はマウス等のポインティングデバイスにより選択してもよい。作業者が一の検査画像４０を選択した場合、制御部１１は、第１画面５１において、対応する検査画像４０を黄色のバウンディングボックスにより包囲した状態で表示する。
　第２画面５２は、他に、作業者により異常検出モデル１５２の推定結果（判断）が正しいと判定したときに押圧するＯＫボタン（操作ボタン）５４、判断は正しくないと判定したときに押圧するＮＧボタン（操作ボタン）５３、及び明度調整等の他の指示を入力するときのOtherボタン５５を有する。
　選択ボタン５６により選択された検査画像４０につき、作業者からＯＫボタン５３又はＮＧボタン５４による制御部１１の判断の良否の入力を受け付け、所定数以上のデータが集まった場合、制御部１１は、検査画像４０と、作業者から入力された判断の良否とを教師データとして、異常検出モデル１５２の再学習を行うことができる。
　図１０は、ＰＣ１の制御部１１による上述の再学習処理の処理手順の一例を示すフローチャートである。
　制御部１１は、選択された検査画像４０につき、作業者による第２画面５２のＯＫボタン５３又はＮＧボタン５４の押圧に基づき、制御部１１の判断の良否の判定を受け付ける（Ｓ３１）。制御部１１は良否の判定を受け付けていないと判定した場合（Ｓ３１：ＮＯ）、判定の処理を繰り返す。
　制御部１１は所定数の検査画像４０に基づき、良否の判定を受け付けたと判定した場合（Ｓ３１：ＹＥＳ）、異常を検出した検査物４の検査画像４０と、作業者から入力された制御部１１の判断の良否とを対応付けた教師データを取得する（Ｓ３２）。
　制御部１１は教師データを用いて、検査物４の検査画像を入力した場合に検査物４の異常有無情報を出力する異常検出モデル１５２を生成する（Ｓ３３）。
　以上により、再学習される。これにより、異常検出処理を継続するほど異常検出モデル１５２がアップデートされ、より正確な異常検出を行うことができるようになる
（実施の形態２）
　実施の形態２に係るＰＣ１は、異常検出モデル１５２が、検査物４の形状の異常に加えて、異物の有無を検出すること以外は、実施の形態１に係るＰＣと同様の処理を行う。
　図１１は、異常検出モデル１５２の生成処理に関する説明図である。図６と同一部分は同一符号を付して詳細な説明を省略する。
　ＰＣ１は、異常検出モデル１５２として、検査物４の検査画像４０内における異常の画像特徴量を学習することで、検査画像４０を入力とし、検査物４の形状の異常、及び異物の有無を示す情報を出力とするニューラルネットワークを生成する。ニューラルネットワークはＣＮＮであり、検査画像４０の入力を受け付ける入力層と、異常の有無の識別結果を出力する出力層と、検査画像４０の画像特徴量を抽出する中間層とを有する。
　入力層は、検査画像４０に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素を中間層に受け渡す。中間層は、検査画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。図１１において、中間層の層数は３とされているが、これに限定されない。例えば異常検出モデル１５２がＣＮＮである場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、検査画像４０の画素情報を圧縮しながら最終的に画像の特徴量を抽出する。図１１において、コンボリューション層、及びプーリング層の記載は省略している。出力層は、検査物４の異常を識別した識別結果を出力する三つのニューロンを有し、中間層から出力された画像特徴量に基づいて検査物４の形状の異常の有無、異物の有無を識別する。第１のニューロンは検査物４の正常の確率を出力し、第２のニューロンは検査物４の形状の異常の確率を出力し、第３のニューロンは検査物４が異物を有する確率を出力する。なお、異常の種類は３以上であってもよい。
　ＰＣ１は、複数の検査画像４０と、各検査画像４０における検査物４の異常を示す情報（形状が異常であるか、異物を有するか、正常であるか）とが対応付けられた教師データを用いて学習を行う。例えば図１１に示すように、教師データは、検査物４の検査画像４０に対し、異常の種類（形状の異常）、ランク（１：異常、０：正常）がラベル付けされたデータである。
　ＰＣ１は、教師データである検査画像４０を入力層に入力し、中間層での演算処理を経て、出力層から検査物４の異常の有無を示す識別結果を取得する。なお、出力層から出力される識別結果は、ソフトマックス関数を用いた場合、連続的な確率（例えば「０」から「１」までの範囲の値）である。
　ＰＣ１は、出力層から出力された識別結果を、教師データにおいて検査画像４０に対しラベル付けされた情報、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。該パラメータは、例えばニューロン間の重み（結合係数）、各ニューロンで用いられる活性化関数の係数などである。パラメータの最適化の方法は特に限定されないが、例えばＰＣ１は誤差逆伝播法を用いて各種パラメータの最適化を行う。
　ＰＣ１は、教師データに含まれる各検査画像４０について上記の処理を行い、異常検出モデル１５２を生成する。ＰＣ１は検査物４の検査画像４０を取得した場合、異常検出モデル１５２を用いて検査物４の異常の有無を検出する。
　学習検査部１１６は、検査画像４０を異常検出モデル１５２に入力し、上述の三つの確率を出力させ、形状の異常の確率（異常値Ａ）、及び異物を有する確率（異常値Ｂ）を取得する。
　図１２は、実施の形態２に係るディスプレイ２２における表示画面５の一例を示す説明図である。図９と同一部分は同一符号を付して詳細な説明を省略する。
　実施の形態２においては、第２画面５２に、Otherボタン５５の代わりに、Changeボタン（第２の操作ボタン）５７を有する。
　作業者がChangeボタン５７を押圧することにより、異常の種類が、「形状の異常」と「異物の有無」との間で切り替わる。異常の種類が「形状の異常」である場合、第１画面５１及び第２画面５２において、形状の異常を有する検査画像４０は赤のバウンディングボックス４２により包囲される。異常の種類が「異物の有無」に切り替わった場合、第１画面５１及び第２画面５２において、異物を有する検査画像４０は、緑のバウンディングボックス４２により包囲される。
　図１３は、制御部１１による異常の種類の切替処理の処理手順の一例を示すフローチャートである。
　制御部１１は、異常の種類の切り替えを受け付けたか否かを判定する（Ｓ４１）。始めに、異常の種類が「形状の異常」であり、形状の異常に基づく検査画像４０がディスプレイ２２に表示されており、異常の種類が「異物の有無」に切り替えられたとする。制御部１１は異常の種類の切り替えを受け付けていないと判定した場合（Ｓ４１：ＮＯ）、判定の処理を繰り返す。
　制御部１１は異常の種類の切り替えを受け付けたと判定した場合（Ｓ４１：ＹＥＳ）、ディスプレイ２２において、異物の有無を示す検査画像４０に切り替えて表示する（Ｓ４２）。制御部１１は、ディスプレイ２２の第２画面において、異物の有無に係る異常値Ｂが閾値以上、例えば０．５以上である、異常の検査物４を緑のバウンディングボックス４２により包囲した状態で表示する。
　制御部１１は、異常の検査物４を異常値Ｂ及び検査画像ＩＤに基づいて選別する（Ｓ４３）。
　以上のようにして、必要とする異常の種類に切り替えて、異常を検出できる。
　異常の種類が「形状の異常」又は「異物の有無」から選択されている場合に、上記と同様にして作業者が選択した検査画像４０につき、作業者による第２画面５２のＯＫボタン５３又はＮＧボタン５４の押圧に基づき、制御部１１の判断の良否の入力を受け付けることができる。
　ＮＧボタン５４が押圧された場合、図１４に示すように第１画面５１に、夫々「正常」、「形状の異常」、及び「異物あり」を示すボタン５８，５９、６０が表示される。作業者は検査画像４０の実際の内容に対応するボタンを選択する。
　ＰＣ１は、検査画像４０と、作業者から入力された判断の良否とを教師データとして、異常検出モデル１５２の再学習を行うことができる。
（実施の形態３）
　図１５は実施の形態３に係る異常検出システム２０の構成を示すブロック図である。
　実施の形態３に係る異常検出システム２０は、制御部１１が機能部として異常判定部（第２の取得部）１２０を有すること以外は、実施の形態１に係る異常検出システム１０と同様の構成を有する。異常判定部１２０は、画像処理部１１５により生成された検査画像４０に基づき、検査物４の形状の異常値を算出する。
　本実施の形態に係る異常検出システム２０においては、異常判定部１２０により算出した異常値に応じ、異常検出モデル１５２を用いて異常を検出する。
　図１６は、制御部１１による異常検出処理の処理手順の一例を示すフローチャートである。
　ＰＣ１の制御部１１は、検査物４を透過し、Ｘ線検知部７により検知されたＸ線に基づき、Ｘ線画像を生成する（Ｓ５１）。
　制御部１１は、Ｘ線画像に対し平滑化フィルタ、特徴抽出フィルタ等により画像処理を行い、処理画像を生成する（Ｓ５２）。
　制御部１１は、処理画像に基づいて、検査物４のブロブ解析を行い、ブロブを特定する（Ｓ５３）。
　制御部１１は、ブロブが所定の大きさの矩形内に入るように切り出し、切り出し画像を生成する（Ｓ５４）。
　制御部１１は、切り出し画像に対し、正規化等の処理を行い、検査画像を生成する（Ｓ５５）。
　制御部１１は、異常検出モデル１５２を用いずに、画素値等に基づき、検査物４の形状についての異常値を算出する。異常値は、１に近い程、異常であり、０に近い程、正常であるとする（Ｓ５６）。例えば、検査画像４０のブロブ（塊）を構成する画素の画素値は基準値より大きく、ブロブの背景を構成する画素の画素値は基準値より小さいとする。ブロブを構成する画素をカウントすることにより、ブロブの面積が算出される。ブロブの周囲を形成する背景画素の配列に基づき、ブロブの周囲長が算出される。面積及び周囲長を閾値と比較し、完全に正常である場合を０、完全に異常である場合を１として、制御部１１は形状の異常値を算出する。
　制御部１１は、算出した異常値が０又は１であるか否かを判定する（Ｓ５７）。
　制御部１１は、算出した異常値が０又は１であると判定した場合（Ｓ５７：ＹＥＳ）、異常値が０であるか否かを判定する（Ｓ５８）。制御部１１は異常値が０であると判定した場合、即ち異常なしと判断した場合（Ｓ５８：ＹＥＳ）、学習検査をスキップして処理を終了する。
　制御部１１は異常値が０でないと判定した場合（Ｓ５８：ＮＯ）、即ち異常値が１であり、異常を有すると判定した場合、学習検査をスキップしてＳ６０へ処理を進める。
　制御部１１は、算出した異常値が０又は１でないと判定した場合（Ｓ５７：ＮＯ）、異常検出モデル１５２を用いて、取得した検査画像４０から検査物４の異常値を取得する（Ｓ５９）。
　制御部１１は、異常の検査物４を異常値及び検査画像ＩＤに基づいて選別する（Ｓ６０）。
　本実施の形態においては、画像処理後の検査画像４０に対し画素値等に基づき、異常を検出し、得られた結果が不確実である場合、さらに異常検出モデル１５２を用いて異常を検出することで、より正確に異常を検出できる。
　ＰＣ１は、複数の画像処理アルゴリズムに基づいて、画像処理部１１５において検査画像４０を生成するように構成し、各画像処理アルゴリズムに対応して夫々異常検出モデル１５２を生成してもよい。そして、異常判定部１２０により夫々の処理を施された検査画像４０に基づく異常値を検出し、画像処理アルゴリズムに対応する異常検出モデル１５２により、異常を検出してもよい。
（実施の形態４）
　実施の形態４に係るＸ線検査機２は、異常品であると判断された検査物４を廃棄する構造を備えること以外は、実施の形態２に係るＸ線検査機２と同様の構成を有する。
　図１７は実施の形態４に係る異常検出システム３０の構成を示す斜視図、図１８は異常検出システム３０の構成を示すブロック図である。図１７及び図１８中、図１及び図２と同一部分は同一符号を付して詳細な説明を省略する。
　本実施の形態に係るＸ線検査機２においては、下側筐体２３の下流側端部に、搬送ベルト６１に向かうようにＸ方向に複数個のエアバルブ９１を有する廃棄部９が設けられている。エアバルブ９１には、Ｘ方向の端部から順に番号が付されている。
　制御部１１は、エアバルブ９１を開閉する開閉部１２１を有する。
　選別部（第２の出力部）１１８は、形状の異常、又は異物を有する異常品を選別し、検査物４の座標情報として、検査物４の載置位置に対応するエアバルブ９１の番号を開閉部１２１へ出力する。開閉部１２１は、対応する番号のエアバルブ９１を開く。これにより、異常品と選別された検査物４に対し、対応するエアバルブ９１から該検査物４に向けてエアが噴出され、検査物４が搬送部６から弾き飛ばされる。
　図１９は、実施の形態４に係る異常検出処理に関する説明図である。図１９では、検査画像から検査物４の形状の異常の有無を検出する場合を概念的に示している。
　制御部１１は、Ｘ線照射部３を用いて撮像された検査物４の画像に基づく検査画像４０を取得し、異常検出モデル１５２に入力する。例えば制御部１１は、検査画像４０を取得するとともに、検査物４の座標情報として、検査物４の載置位置に対応するエアバルブ９１の番号を取得する。
　制御部１１は、異常検出モデル１５２の中間層にて検査画像４０の特徴量を抽出する演算処理を行い、抽出した特徴量を異常検出モデル１５２に入力して、検査物４の正常の確率、形状の異常の確率、異物の有無の確率を出力させ、異常値Ａ、及び異常値Ｂを取得する。
　上記のように、制御部１１は異常検出モデル１５２を用いて、検査物４の廃棄が必要になる異常を検出する。制御部１１は、検査画像４０を教師データにして学習を行い、検査物４の異常を学習した異常検出モデル１５２を用いて異常検出を行う。なお、ＰＣ１は異常の種類毎に別々の異常検出モデル１５２（ニューラルネットワーク）を構築しておいてもよく、単一の異常検出モデル１５２に全ての異常を学習させておいてもよい。
　制御部１１は、異常値Ａ及び異常値Ｂをディスプレイ２２へ出力する。ＰＣ１は、検査画像４０から各種の異常を検出した場合、作業者に報知する、又は作業者が所持している所定の携帯端末に通知してもよい。
　例えば制御部１１は、通知する情報として、検出した検査物４の異常の種類、程度を示す検出結果のほかに、異常を検出した検査物４のエアバルブ９１の番号を併せて送信する。
　異常値Ａ又は異常値Ｂは閾値と比較され、異常値Ａ又は異常値Ｂが閾値以上であり、異常があると判断された検査物４は、図１９の下側に示すように、対応するエアバルブ９１からエアが噴出され、搬送ベルト６１から排出される。
　なお、座標情報としてエアバルブ９１の番号を取得する代わりに、搬送ベルト６１のＸ座標、Ｙ座標を取得して、異常の検査物４を廃棄することにしてもよい。例えば画素に応じたＸ座標、Ｙ座標を取得する場合、エアバルブ９１の番号を取得する場合と比較して、廃棄する検査物４を絞り込むことができ、製品の歩留まりを上げることができる。
　以上のように、本発明の一態様に係る学習モデルの生成方法は、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を取得し、前記検査画像と前記検査物の異常の有無に関する異常有無情報とを含む教師データを取得し、前記教師データに基づいて、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像が入力された場合に、前記検査物の異常有無情報を出力する学習モデルを生成する。
　上記学習モデルを用いることにより、検査物の検査画像において、正常部分と異常部分との画素値の差異が小さい場合においても、精度良く、正常部分と異常部分とを判別できる。
　従って、形状の異常、異物の有無等の異常有無情報を精度良く検出できる。
　上述の学習モデルの生成方法は、前記電磁波はＸ線であり、該Ｘ線に応じて取得した画像から抽出された一の検査物に対応する検査画像を生成し、生成した検査画像を含むバウンディングボックスを表示し、前記バウンディングボックスに含まれる検査物の異常有無情報を表示してもよい。
　上記構成によれば、画像の特徴量の抽出がし易くなり、検査画像及び異常有無情報を表示することで、作業者による検出結果の正誤の情報を取得し易くなる。
　上述の学習モデルの生成方法は、検査物を含む検査画像と前記検査物の異常有無情報とを取得し、前記検査画像及び前記異常有無情報に基づき、前記学習モデルを再学習してもよい。
　上記構成によれば、学習モデルがアップデートされ、より正確な異常検出を行うことができるようになる。
　本発明の一態様に係る学習モデルは、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像が入力される入力層と、前記検査物の異常の有無を示す異常有無情報を出力する出力層と、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像及び検査物の異常有無情報に基づいてパラメータが学習された中間層とを備え、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像が入力された場合に、前記中間層による演算を経て前記検査物の異常有無情報を前記出力層から出力するようにコンピュータを機能させる。
　上記学習モデルを用いることにより、検査物の検査画像において、正常部分と異常部分との画素値の差異が小さい場合においても、精度良く、正常部分と異常部分とを判別できる。
　従って、形状の異常、異物の有無等の異常有無情報を精度良く検出できる。
　本発明の一態様に係る検査装置は、複数の検査物に電磁波を照射する照射部と、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を取得する取得部と、検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を入力した場合に検査物の異常の有無を示す異常有無情報を出力する学習モデルに、前記取得部により取得した検査画像を入力して、前記異常有無情報を取得する学習検査部と、前記異常有無情報を出力する出力部とを備える。
　上記構成によれば、検査物の検査画像において、正常部分と異常部分との画素値の差異が小さい場合においても、精度良く、正常部分と異常部分とを判別できる。
　従って、形状の異常、異物の有無等の異常有無情報を精度良く検出できる。
　作業者が目視による異常の検出を行う必要がなくなり、異常検出作業の効率化を図ることができる。
　上述の検査装置は、前記電磁波はＸ線であり、前記取得部は、前記Ｘ線に基づく画像を生成する生成部と、生成した画像から一の検査物に対応する領域を抽出する抽出部と、前記領域をバウンディングボックスにより包囲する包囲部とを備え、前記バウンディングボックスにより包囲された検査画像を取得してもよい。
　上記構成によれば、画像の特徴量の抽出がし易くなる。
　上述の検査装置は、ディスプレイを備え、前記出力部は、複数の検査物の位置に対応付けて、夫々バウンディングボックスにより包囲された複数の検査画像を表示し、異常の検査物を含む異常画像は前記バウンディングボックスとは異なる第２のバウンディングボックスによりさらに包囲されている第１画面と、各画像が並べて表示され、前記異常画像は前記第２のバウンディングボックスにより包囲されており、作業者による各検査物の異常有無情報の入力を受け付ける操作ボタンを有する第２画面とを並べて、前記ディスプレイに表示する表示部であってもよい。
　上記構成によれば、検査画像及び異常有無情報を表示することで、作業者による検出結果の正誤の情報を取得することができる。
　上述の検査装置は、検査画像、及び前記操作ボタンが受け付けた前記異常有無情報に基づき、前記学習モデルを再学習する再学習部を備えてもよい。
　上記構成によれば、学習モデルがアップデートされ、より正確な異常検出を行うことができるようになる。
　上述の検査装置は、前記第２画面は、前記検査物の異常の種類の入力を受け付ける第２の操作ボタンを備え、前記第２の操作ボタンが前記入力を受け付けた場合、前記表示部は前記種類に基づいて、異常画像を前記第２のバウンディングボックスにより包囲して表示してもよい。
　上記構成によれば、異常の種類を切り替えて、異常の検出を行うことができる。
　上述の検査装置は、前記学習検査部が取得した異常有無情報が閾値以上である検査物を廃棄する廃棄部と、前記学習検査部が取得した異常有無情報が閾値以上である検査物の検査画像に対応する座標情報を出力する第２の出力部とを備えてもよい。
　上記構成によれば、異常がある検査物のみを良好に廃棄できる。
　上述の検査装置は、前記コンベアの搬送方向に交叉する方向に並設された複数のバルブを有し、異常の検査物に対応するバルブからガスを噴出して前記検査物を吹き落とす廃棄部と、前記学習検査部が取得した異常有無情報が閾値以上である検査物に対応するバルブの情報を出力する第２の出力部と、前記検査物に対応するバルブを開閉する開閉部とを備えてもよい。
　上記構成によれば、異常がある検査物のみを容易に廃棄できる。
　上述の検査装置は、前記電磁波に応じて取得した画像に対し、画像処理アルゴリズムを適用して画像処理を施した検査画像に基づいて、前記検査物の異常の有無を示す情報を取得する第２の取得部を備え、前記学習検査部は、前記第２の取得部が取得した前記情報に応じ、前記検査画像を入力してもよい。
　上記構成によれば、画像処理後の画像に対し画素値等に基づき、異常を検出した後、さらに学習モデルを用いて異常を検出するので、より正確に異常を検出できる。
　本発明の一態様に係る異常検出方法は、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を取得し、検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を入力した場合に検査物の異常の有無を示す異常有無情報を出力する学習モデルに、取得した前記検査画像を入力して、異常有無情報を出力する処理をコンピュータに実行させる。
　本発明の一態様に係るコンピュータプログラムは、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を取得し、検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を入力した場合に検査物の異常の有無に関する異常有無情報を出力する学習モデルに、取得した前記検査画像を入力して、異常有無情報を出力する処理をコンピュータに実行させる。
　今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　例えば、検査物は食品に限定されず、包装体、工業製品等であってもよい。
　また、廃棄部はエアバルブ６６からなる場合には限定されない。
　検査物４に照射する電磁波はＸ線に限定されず、テラヘルツ波、赤外線及び可視光等であってもよい。
　１　ＰＣ（情報処理装置）
　１１　制御部
　１２　主記憶部
　１３　通信部
　１４　表示部
　１５　補助記憶部
　Ｐ　プログラム
　１５１　検査画像ＤＢ
　１５２　異常検出モデル
　２　Ｘ線検査機
　２２　ディスプレイ
　３　Ｘ線照射部
　４　検査物
　４０　検査画像
　４１、４２　バウンディングボックス
　５　表示画面
　６　搬送部
　６１　搬送ベルト
　６６　エアバルブ
　７　Ｘ線検知部
　７１　検知ライン
 

Claims (14)

  1. 　複数の検査物に電磁波を照射し、
    　各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を取得し、
    　前記検査画像と前記検査物の異常の有無に関する異常有無情報とを含む教師データを取得し、
    　前記教師データに基づいて、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像が入力された場合に、前記検査物の異常有無情報を出力する学習モデルを生成する
    　学習モデルの生成方法。
  2. 　前記電磁波はＸ線であり、
    　該Ｘ線に応じて取得した画像から抽出された一の検査物に対応する検査画像を生成し、
    　生成した検査画像を含むバウンディングボックスを表示し、
    　前記バウンディングボックスに含まれる検査物の異常有無情報を表示する
    　請求項１に記載の学習モデルの生成方法。
  3. 　検査物を含む検査画像と前記検査物の異常有無情報とを取得し、
    　前記検査画像及び前記異常有無情報に基づき、前記学習モデルを再学習する
    　請求項１又は２に記載の学習モデルの生成方法。
  4. 　複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像が入力される入力層と、
    　前記検査物の異常の有無を示す異常有無情報を出力する出力層と、
    　複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像及び検査物の異常有無情報に基づいてパラメータが学習された中間層と
    　を備え、
    　複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像が入力された場合に、前記中間層による演算を経て前記検査物の異常有無情報を前記出力層から出力するように
    　コンピュータを機能させる学習モデル。
  5. 　複数の検査物に電磁波を照射する照射部と、
    　各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を取得する取得部と、
    　検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を入力した場合に検査物の異常の有無を示す異常有無情報を出力する学習モデルに、前記取得部により取得した検査画像を入力して、前記異常有無情報を取得する学習検査部と、
    　前記異常有無情報を出力する出力部と
    　を備える検査装置。
  6. 　前記電磁波はＸ線であり、
    　前記取得部は、
    　前記Ｘ線に基づく画像を生成する生成部と、
    　生成した画像から一の検査物に対応する領域を抽出する抽出部と、
    　前記領域をバウンディングボックスにより包囲する包囲部と
    　を備え、前記バウンディングボックスにより包囲された検査画像を取得する、請求項５に記載の検査装置。
  7. 　ディスプレイを備え、
    　前記出力部は、
    　複数の検査物の位置に対応付けて、夫々バウンディングボックスにより包囲された複数の検査画像を表示し、異常の検査物を含む異常画像は前記バウンディングボックスとは異なる第２のバウンディングボックスによりさらに包囲されている第１画面と、各画像が並べて表示され、前記異常画像は前記第２のバウンディングボックスにより包囲されており、作業者による各検査物の異常有無情報の入力を受け付ける操作ボタンを有する第２画面とを並べて、前記ディスプレイに表示する表示部である請求項６に記載の検査装置。
  8. 　検査画像、及び前記操作ボタンが受け付けた前記異常有無情報に基づき、前記学習モデルを再学習する再学習部を備える、請求項７に記載の検査装置。
  9. 　前記第２画面は、前記検査物の異常の種類の入力を受け付ける第２の操作ボタンを備え、
    　前記第２の操作ボタンが前記入力を受け付けた場合、前記表示部は前記種類に基づいて、異常画像を前記第２のバウンディングボックスにより包囲して表示する、請求項７又は８に記載の検査装置。
  10. 　前記学習検査部が取得した異常有無情報が閾値以上である検査物を廃棄する廃棄部と、
    　前記学習検査部が取得した異常有無情報が閾値以上である検査物の検査画像に対応する座標情報を出力する第２の出力部と
    　を備える、請求項５から９までのいずれか１項に記載の検査装置。
  11. 　検査物の搬送方向に交叉する方向に並設された複数のバルブを有し、異常の検査物に対応するバルブからガスを噴出して前記検査物を吹き落とす廃棄部と、
    　前記学習検査部が取得した異常有無情報が閾値以上である検査物に対応するバルブの情報を出力する第２の出力部と、
    　前記検査物に対応するバルブを開閉する開閉部と
    　を備える、請求項５から９までのいずれか１項に記載の検査装置。
  12. 　前記電磁波に応じて取得した画像に対し、画像処理アルゴリズムを適用して画像処理を施した検査画像に基づいて、前記検査物の異常の有無を示す情報を取得する第２の取得部を備え、
    　前記学習検査部は、前記第２の取得部が取得した前記情報に応じ、前記検査画像を入力する、請求項５から１１までのいずれか１項に記載の検査装置。
  13. 　複数の検査物に電磁波を照射し、
    　各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を取得し、
    　検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を入力した場合に検査物の異常の有無を示す異常有無情報を出力する学習モデルに、取得した前記検査画像を入力して、異常有無情報を出力する
    　処理をコンピュータに実行させる、異常検出方法。
  14. 　複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を取得し、
    　検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を入力した場合に検査物の異常の有無に関する異常有無情報を出力する学習モデルに、取得した前記検査画像を入力して、異常有無情報を出力する
    　処理をコンピュータに実行させる、コンピュータプログラム。
     
PCT/JP2020/003346 2019-03-19 2020-01-30 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム WO2020189043A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-051400 2019-03-19
JP2019051400A JP6742037B1 (ja) 2019-03-19 2019-03-19 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
WO2020189043A1 true WO2020189043A1 (ja) 2020-09-24

Family

ID=72047807

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/003346 WO2020189043A1 (ja) 2019-03-19 2020-01-30 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム

Country Status (2)

Country Link
JP (1) JP6742037B1 (ja)
WO (1) WO2020189043A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7034529B1 (ja) * 2021-08-13 2022-03-14 株式会社ハシマ 学習モデルの生成方法、学習モデル、検査装置、検査方法およびコンピュータプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001156135A (ja) * 1999-11-29 2001-06-08 Hitachi Ltd 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法
JP2012137387A (ja) * 2010-12-27 2012-07-19 Anritsu Sanki System Co Ltd Ｘ線検査装置
JP2014153906A (ja) * 2013-02-08 2014-08-25 Honda Motor Co Ltd 検査装置、検査方法及びプログラム
JP2016156647A (ja) * 2015-02-23 2016-09-01 株式会社 システムスクエア 電磁波を使用した検査装置
WO2016152485A1 (ja) * 2015-03-20 2016-09-29 株式会社イシダ 検査装置
WO2018071137A1 (en) * 2016-10-14 2018-04-19 Kla-Tencor Corporation Diagnostic systems and methods for deep learning models configured for semiconductor applications
JP2018112550A (ja) * 2017-01-12 2018-07-19 清華大学Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ 検査機器および銃器検出方法
WO2018150607A1 (ja) * 2017-02-20 2018-08-23 Ｓｅｒｅｎｄｉｐｉｔｙ株式会社 外観検査装置、照明装置、撮影照明装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6709283B2 (ja) * 2015-11-16 2020-06-10 オービタル インサイト インコーポレイテッド 低解像度リモートセンシング画像を用いた移動車両の検出及び分析
JPWO2019151393A1 (ja) * 2018-01-31 2020-12-03 株式会社ニチレイフーズ 食品検査システム、食品検査プログラム、食品検査方法および食品生産方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001156135A (ja) * 1999-11-29 2001-06-08 Hitachi Ltd 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法
JP2012137387A (ja) * 2010-12-27 2012-07-19 Anritsu Sanki System Co Ltd Ｘ線検査装置
JP2014153906A (ja) * 2013-02-08 2014-08-25 Honda Motor Co Ltd 検査装置、検査方法及びプログラム
JP2016156647A (ja) * 2015-02-23 2016-09-01 株式会社 システムスクエア 電磁波を使用した検査装置
WO2016152485A1 (ja) * 2015-03-20 2016-09-29 株式会社イシダ 検査装置
WO2018071137A1 (en) * 2016-10-14 2018-04-19 Kla-Tencor Corporation Diagnostic systems and methods for deep learning models configured for semiconductor applications
JP2018112550A (ja) * 2017-01-12 2018-07-19 清華大学Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ 検査機器および銃器検出方法
WO2018150607A1 (ja) * 2017-02-20 2018-08-23 Ｓｅｒｅｎｄｉｐｉｔｙ株式会社 外観検査装置、照明装置、撮影照明装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AYDIN, ILHAN: "A New Approach for Baggage Inspection by using Deep Convolutional Neural Networks", IEEE CONFERENCE PROCEEDINGS (2018 INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND DATA PROCESSING, 28 September 2018 (2018-09-28), pages 1 - 6, XP033507101, DOI: 10.1109/IDAP.2018.8620749 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7034529B1 (ja) * 2021-08-13 2022-03-14 株式会社ハシマ 学習モデルの生成方法、学習モデル、検査装置、検査方法およびコンピュータプログラム
WO2023017611A1 (ja) * 2021-08-13 2023-02-16 株式会社ハシマ 学習モデルの生成方法、学習モデル、検査装置、検査方法およびコンピュータプログラム

Also Published As

Publication number Publication date
JP6742037B1 (ja) 2020-08-19
JP2020153764A (ja) 2020-09-24

Similar Documents

Publication Publication Date Title
JP6749655B1 (ja) 検査装置、異常検出方法、コンピュータプログラム、学習モデルの生成方法、及び学習モデル
US11295173B2 (en) Image identification apparatus, image identification method, and recording medium
Medus et al. Hyperspectral image classification using CNN: Application to industrial food packaging
Asraf et al. A comparative study in kernel-based support vector machine of oil palm leaves nutrient disease
Hu et al. Deep learning for the identification of bruised apples by fusing 3D deep features for apple grading systems
JP2019526848A (ja) 畳み込みニューラルネットワーク画像認識技術による会計方法及び設備
WO2023084543A1 (en) System and method for leveraging neural network based hybrid feature extraction model for grain quality analysis
Liu et al. Rapid identification of chrysanthemum teas by computer vision and deep learning
TW202242390A (zh) 缺陷檢查裝置、缺陷檢查方法以及製造方法
WO2020189043A1 (ja) 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム
Jin et al. Classification of toxigenic and atoxigenic strains of Aspergillus flavus with hyperspectral imaging
Hobson et al. Characterisation and identification of rice grains through digital image analysis
Zhai et al. Machine learning for detection of walnuts with shriveled kernels by fusing weight and image information
Burkapalli et al. TRANSFER LEARNING: INCEPTION-V3 BASED CUSTOM CLASSIFICATION APPROACH FOR FOOD IMAGES.
Ünal et al. Detection of bruises on red apples using deep learning models
Benouis et al. Food tray sealing fault detection using hyperspectral imaging and PCANet
CN113228049B (zh) 用于将奶分类的奶分析仪
CN116704247A (zh) 一种基于透射偏振光图像的谷物不完善粒识别方法及系统
Platias et al. Snapshot multispectral and hyperspectral data processing for estimating food quality parameters
WO2023017611A1 (ja) 学習モデルの生成方法、学習モデル、検査装置、検査方法およびコンピュータプログラム
KR102242477B1 (ko) 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치 및 방법
JP7322560B2 (ja) プログラム、情報処理方法及び情報処理装置
WO2021119946A1 (en) Food inspection solution
Khazaei et al. Evaluation of statistical and neural network architectures for the classification of paddy kernels using morphological features
De Silva Object Orientation Detection and Correction Using Computer Vision

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20774434

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20774434

Country of ref document: EP

Kind code of ref document: A1