WO2021054376A1 - 学習処理装置及び検査装置 - Google Patents

学習処理装置及び検査装置 Download PDF

Info

Publication number
WO2021054376A1
WO2021054376A1 PCT/JP2020/035141 JP2020035141W WO2021054376A1 WO 2021054376 A1 WO2021054376 A1 WO 2021054376A1 JP 2020035141 W JP2020035141 W JP 2020035141W WO 2021054376 A1 WO2021054376 A1 WO 2021054376A1
Authority
WO
WIPO (PCT)
Prior art keywords
inspection
neural network
learning
network model
data
Prior art date
Application number
PCT/JP2020/035141
Other languages
English (en)
French (fr)
Inventor
謙 和田
Original Assignee
シンテゴンテクノロジー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シンテゴンテクノロジー株式会社 filed Critical シンテゴンテクノロジー株式会社
Priority to EP20864924.4A priority Critical patent/EP4016057A4/en
Priority to JP2021546938A priority patent/JP7212792B2/ja
Priority to CN202080065129.4A priority patent/CN114424242A/zh
Priority to US17/642,423 priority patent/US20220343640A1/en
Publication of WO2021054376A1 publication Critical patent/WO2021054376A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
    • G01N21/9018—Dirt detection in containers
    • G01N21/9027—Dirt detection in containers in containers after filling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Definitions

  • the present disclosure relates to a learning processing device for constructing a neural network model used for inspection and an inspection device having a learning processing function.
  • an inspection device that uses an image to inspect an inspection object.
  • an inspection device that inspects the presence or absence of cracks in a drug container and foreign substances in the container by using an image when manufacturing a drug in a container.
  • the software used for such an inspection uses, for example, rule-based image recognition processing, and has a function of managing a processing procedure for executing a predetermined inspection, parameters to be set, and the like as inspection processing conditions.
  • software is created and verified using test processing conditions during drug manufacturing to comply with the guidelines set by Good Manufacturing Practice (GMP) for manufacturers. It is necessary to be able to confirm whether the inspection processing conditions are the same and valid.
  • GMP Good Manufacturing Practice
  • Patent Document 1 a part of an inspection image obtained by capturing an image of an inspection object is cut out as an input image, and an inspection mark that affects the inspection result of the input image is input according to the cutout position of the input image in the inspection image.
  • An inspection device is disclosed in which an input image embedded in an image and an inspection mark is embedded is input to a neural network, and an inspection result of the input image is determined using the output of the neural network.
  • a neural network is trained based on a training image including an inspection object, a trained neural network that outputs features of the training image is constructed, and the trained neural network is described.
  • a discriminator for judging the quality of the inspection object based on the output feature amount of the learning image is generated by learning, and the judgment image including the inspection object is input to the trained neural network to determine the feature amount of the judgment image.
  • an image inspection device is disclosed in which the feature amount of the image for determination is input to the classifier to determine the quality of the inspection object.
  • the structure of the neural network model cannot be understood by the user. It is not easy to verify that the neural network model used is the same or that the neural network model is valid.
  • the learning processing device is a learning processing device for constructing a neural network model used for inspection of an inspection object based on image data obtained by imaging an inspection object and a neural network model. It is provided with a learning unit that constructs a neural network model by performing learning processing under predetermined learning conditions based on a list of image data including a plurality of learning images, and the learning unit is equipped with a learning unit that constructs a neural network model each time the neural network model is constructed.
  • a learning processing device that embeds model identification data unique to a network model is provided.
  • an inspection device that inspects an inspection object according to a data file of set inspection processing conditions, and is predetermined based on a list of image data including a plurality of learning images.
  • the learning unit that performs learning processing under the learning conditions of the above and builds a neural network model
  • the processing condition setting unit that generates the data file of the inspection processing condition to which the constructed neural network model is applied, and the data file of the inspection processing condition.
  • An inspection unit that determines an abnormality of the inspection object based on the image data obtained by capturing the image of the inspection object and the neural network model, and the learning unit provides unique model identification data each time the neural network model is constructed. Is added to build a neural network model, and the processing condition setting unit is characterized in that each time the applied neural network model is changed, unique condition identification data is added to generate inspection processing condition data. Inspection equipment is provided.
  • a neural network model created and verified and a neural network model used in the inspection stage are used in a learning processing device for constructing a neural network model used for inspection of an inspection object using a neural network model. It is possible to easily verify whether the neural network model to be used is the same.
  • the inspection device according to the present embodiment is used, for example, by being incorporated in a part of a work line of a drug inspection process in a container, and inspects an inspection object using a neural network.
  • the type of neural network is not particularly limited.
  • the inspection device inspects the container for damage such as cracks and cracks, and for foreign matter mixed in the container.
  • Containers are, for example, ampoules, vials, bottles, carples or syringes, but are not limited to these examples.
  • the inspection device is configured to include at least a processor and a storage device.
  • the processor includes, for example, an image processing device such as a GPU (Graphics Processing Unit) and an arithmetic processing device such as a CPU (Central Processing Unit).
  • the storage device may be, for example, one or more storage devices such as HDD (Hard Disk Drive), CD (Compact Disc), DVD (Digital Versatile Disc), SSD (Solid State Drive), USB (Universal Serial Bus) flash, and storage device. Contains a storage medium.
  • FIG. 1 is a schematic view showing a configuration example of the inspection device 1 according to the present embodiment.
  • the inspection device 1 includes an image processing unit 40, an inspection unit 10, a processing condition setting unit 20, a learning unit 30, and a storage unit 50.
  • a part or all of the image processing unit 40, the inspection unit 10, the processing condition setting unit 20, and the learning unit 30 are functions that can be realized by executing a program by the above processor.
  • a part or all of the image processing unit 40, the inspection unit 10, the processing condition setting unit 20, and the learning unit 30 may be composed of updatable firmware or the like, and is a program module executed by a command from the processor. And so on.
  • the storage unit 50 is a function realized by the above-mentioned storage device.
  • the learning unit 30 constituting the inspection device 1 is a component having a function as a learning processing device, and may be configured as an independent processing device having a part of the functions including the learning unit 30.
  • the inspection device 1 is connected to image pickup devices 5a and 5b for photographing a container containing a drug that is continuously conveyed.
  • the image pickup devices 5a and 5b for example, a wide-angle CCD (Charge Coupled Device) camera, a line sensor camera, or the like is used. Although two image pickup devices 5a and 5b are shown in FIG. 1, the number of image pickup devices may be one or three or more.
  • the inspection device 1 may include a lighting device that irradiates the inspection object with light, and a microscope that visually magnifies the inspection object.
  • the inspection device 1 may include an image display monitor, a speaker, and the like.
  • the image display monitor displays, for example, image information or text for the operator to confirm the inspection status.
  • the image display monitor may be a touch panel that accepts operation input by an operator.
  • the speaker is provided, for example, to give guidance on the inspection procedure or to give an alarm when a defect is detected in the drug-containing container.
  • the state of the container can be detected by taking a picture while rotating the container containing the drug that has reached the inspection station, or the state of the drug inside can be taken by taking a picture of the state of the drug in the rotating state to detect the inclusion of foreign matter.
  • each of a plurality of imaging devices inspects a container containing a drug.
  • the image processing unit 40 acquires the captured images taken by the imaging devices 5a and 5b.
  • the image processing unit 40 stores the acquired captured image in the storage unit 50.
  • the image processing unit 40 may perform appropriate image processing suitable for the inspection.
  • the image processing unit 40 may perform a process of cutting out a part of the captured image corresponding to the inspection target range.
  • the image processing unit 40 may perform processing such as compression, normalization, and expansion of captured image data.
  • the learning unit 30 performs neural network learning (deep learning: deep learning) using captured images. That is, a neural network model is constructed by learning images without abnormalities obtained under predetermined inspection conditions and images with various abnormalities.
  • the processing condition setting unit 20 generates a data file of inspection processing conditions for the inspection object.
  • the inspection processing condition data file is a data file that summarizes inspection processing procedures, inspection condition parameters, and the like.
  • the inspection is performed based on the data file of the predetermined inspection conditions, and the inspection conditions in each inspection are stored together with the image data taken for each imaging device, for example. Will be done.
  • an inspection condition data file corresponding to the constructed neural network model is generated from the inspection conditions of the image used for the learning.
  • the user executes the inspection according to the set inspection processing conditions.
  • the inspection unit 10 inspects the inspection target using the trained neural network model. For example, the inspection unit 10 inputs an image of the inspection target into the neural network model, and inspects the inspection target based on the output.
  • the neural network model used is formed by learning under the set inspection processing conditions.
  • the inspection unit 10 may be configured to be able to perform an inspection based on the conventional rule-based image recognition process in addition to the inspection using the neural network model.
  • the inspection device 1 according to the present embodiment described below is configured to be capable of performing inspections using conventional rule-based image recognition processing in addition to inspections using a neural network model.
  • FIG. 2 shows an example of the inspection procedure.
  • steps S11 to S19 after performing inspection processing by the inspection units vsn_PC1 to vsn_PC4 under the conditions set respectively, a determination using a neural network model is performed, and then in step S21, Determine defects in the inspection object.
  • steps S11 to S17 are inspection processes performed by rule-based image recognition processing and the like
  • step S19 is inspection processing using a neural network model.
  • the object to be inspected is a bottle-shaped container
  • steps S11 to S17 there are no large scratches on the shoulders or neck of the container, which are mainly prone to cracks, or foreign matter is mixed in the container.
  • a condition is set so that it can be optically determined whether or not the test is performed, and the inspection is performed, and the judgment is performed based on the image obtained as the inspection result.
  • the imaging devices 5a and 5b that image the container to be inspected are changed according to the setting of the data file of the inspection processing conditions, and the exposure amount, spectrum, exposure time, etc. of the light emitted from the lighting device are changed.
  • a predetermined inspection is performed while changing the temperature.
  • steps S11 to S17 based on the obtained image data, the appearance of the container based on the conventional rule or the presence or absence of an abnormality such as foreign matter mixed in the container is detected.
  • the inspection processing conditions and the images obtained in each inspection are stored in the storage unit 50 in association with the inspections in steps S11 to S17.
  • step S19 the appearance of the container or the presence or absence of defects in the container is determined using the neural network model. Also in step S19, images of a plurality of containers to be inspected are input to the neural network model according to the setting of the data file of the inspection processing conditions, and based on the output, the presence or absence of scratches in the container and the inside of the container are introduced. Inspected for foreign matter. That is, by inputting the container image obtained by one inspection into the neural network model prepared for the inspection, a judgment result about an abnormality (defect) such as a scratch which is an inspection result for the inspection can be obtained. .. Then, for each inspection, the data file of the inspection processing conditions used and the neural network model used are associated and stored.
  • step S21 the pass / fail of the inspection target is determined from the determination results of steps S11 to S19.
  • the container determined to be defective in either the determination result in steps S11 to S17 and the determination result in step S19 can be rejected, or the container determined to be defective in both can be rejected. ..
  • the contents of the processes performed in each of these steps S11 to S21 conventionally known techniques can be adopted, and therefore detailed description thereof will be omitted.
  • the model identification data of the neural network model and the inspection processing condition thereof are stored.
  • the model identification data of the neural network model is given when the neural network model is constructed by learning. That is, each time the data set used for learning the neural network is different, identification data that is difficult to rewrite is added.
  • the model identification data of the neural network model used for the inspection process is stored corresponding to the inspection. Therefore, after the inspection is completed, the model identification data of the neural network model used for each inspection is stored, and the neural network model used for the inspection processing can be verified.
  • a list of image data and setting parameters used when constructing the model are stored. Therefore, when the user discovers some problem in image recognition, the neural network model can be identified from the model identification data, thereby tracking the list of image data and setting parameters used when learning the neural network. Can be done. Therefore, the validity of the neural network model for the inspection performed can be verified.
  • FIG. 3 is a flowchart showing an operation example of the neural network learning process and the inspection process condition setting process.
  • the left column of FIG. 3 shows the operation related to the setting of the inspection processing condition (recipe: Rcp.), And the right column shows the operation related to the data set (Dtst.) Used for generating the neural network model.
  • the processing condition setting unit 20 of the inspection device 1 detects that the neural network model is applied to a specific inspection processing condition based on the input of the user (YES in step S31). That is, a neural network model is constructed by learning, and a data file of inspection processing conditions to be applied to the constructed neural network model is generated.
  • the learning unit 30 sets a data set for learning the neural network (step S33).
  • the data set for learning is a list of image data used for learning a neural network and a data group of setting parameters used for learning.
  • the setting parameters are, for example, parameters such as the depth for deep learning (deep learning) of the neural network, the learning rate, and the error function.
  • the list of image data may be randomly selected from the image data stored in the storage unit 50, or may be specified by the user. That is, image data about the results of inspections performed under specific inspection conditions are stored as examples of abnormalities and no abnormalities, and a neural network model is constructed based on these data sets.
  • the image data may be manually added as image data for learning.
  • the image data obtained by imaging the container is newly registered in the data set and the image is obtained. The data may be trained.
  • the learning unit 30 adds model identification data to the set data set (step S35).
  • the model identification data to be given is identification data that is difficult to rewrite and is given to the data set, and is given individually when even a part of the data set is different.
  • the learning unit 30 always assigns different model identification data so that they can be distinguished as different data sets.
  • the model identification data identifies the neural network model and the dataset used to build it.
  • the model identification data may be, for example, binary data. By using binary data, identification data that can be distinguished from other data sets can be easily incorporated into the data set as identification data that is difficult to rewrite.
  • the learning unit 30 learns the neural network and generates a neural network model (step S37). For example, the learning unit 30 learns the neural network while classifying the image data.
  • the classification may be performed according to, for example, a state in which the container is cracked, a state in which the container is chipped, a state in which foreign matter is mixed in the container, and the degree thereof.
  • the type of neural network and learning method that can be applied are not particularly limited, and an appropriate neural network or learning method is selected according to the content of the inspection.
  • the learning unit 30 adds model identification data to the generated neural network model (step S39).
  • the same identification data as the model identification data given to the data set is given to the neural network model. Even if the neural network model is generated without changing the data set, the hash values will be different, but as long as the data sets are the same, the same identification data (the present embodiment) will be given as the model identification data. Then binary data) is given. On the other hand, different model identification data is added to the neural network model as long as at least part of the dataset has been modified.
  • the processing condition setting unit 20 applies the generated neural network model to the inspection processing condition data file (step S41).
  • the generated neural network model is applied as the neural network model used for the inspection process using the neural network. That is, a data file of the inspection processing conditions corresponding to the constructed neural network model is generated from the inspection processing conditions corresponding to the data set used when the neural network model was constructed.
  • the inspection unit 10 may verify the effectiveness of the neural network model before applying it to the data file of the inspection processing conditions. As a result, the reliability of the inspection using the neural network model can be improved.
  • the processing condition setting unit 20 adds condition identification data to the generated inspection processing condition data file, saves the inspection processing condition data file (step S43), and ends the processing.
  • condition identification data different values are given to each of the data files of the inspection processing conditions in which the model identification data of the neural network model is different.
  • the condition identification data like the model identification data, is identification data that cannot be easily rewritten.
  • condition identification data for example, binary data is used.
  • step S45 determines whether or not the data set has been changed. Specifically, the learning unit 30 determines whether or not the image data for learning has been added and the setting parameters have been added or changed by the user. When the data set has not been changed (S45 / No), the learning unit 30 holds the stored neural network model and the data file of the inspection processing conditions, and ends the processing. On the other hand, when the data set is changed (S45 / Yes), the learning unit 30 returns to step S35 to generate a data file of a new neural network model and inspection processing conditions. At that time, the learning unit 30 newly adds the model identification data and the condition identification data to the data file of the neural network model and the inspection processing condition.
  • steps S31 to S45 Since the processes of steps S31 to S45 are repeated at any time, a new neural network model and a data file of inspection processing conditions are generated when there is a user input or when the data set is changed. ..
  • FIGS. 4 and 5 are diagrams for explaining the model identification data and the condition identification data before and after the change of the data set.
  • FIG. 4 shows a data file of model identification data and condition identification data before changing the data set
  • FIG. 5 shows a data file of model identification data and condition identification data after changing the data set.
  • the data files of FIGS. 4 and 5 are given "111" and "112" as project file numbers (Prj.), Respectively.
  • the first inspection unit vsn_PC1 was photographed by the first imaging camera mr1, the second imaging camera mr2, the third imaging camera mr3, and the fourth imaging camera cm4, respectively.
  • An inspection using a neural network model is performed using a list of image data.
  • the tenth inspection unit vsn_PC10 is at least one of the first image pickup camera mr1, the second image pickup camera mr2, the third image pickup camera mr3, and the fourth image pickup camera cm4, respectively.
  • the inspection by the conventional rule-based image recognition process is performed using the list of the image data taken by each camera.
  • a data file of inspection processing conditions is generated for each inspection performed.
  • the condition identification data (RUN) of the inspection processing condition data file is "010", "003", “021”, “004", "018", "013”. ... "066" is added to each data file.
  • MUN model identification data
  • the model identification data (MUN) of the generated neural network model is updated to "003" and "018", respectively.
  • the condition identification data (RUN) which is the identification data of the data file of the inspection processing condition to which the neural network model is applied, is updated to "012" and "022", respectively.
  • the learning unit 30 adds model identification data that is difficult to rewrite to the neural network every time a part of the data set for generating the neural network model is changed. Generate a network model. Further, the processing condition setting unit 20 adds condition identification data that is difficult to change to the inspection processing condition to which the neural network model having different model identification data is applied, and generates a data file of the inspection processing condition. Therefore, when the user feels a defect in the inspection result by image recognition using the neural network model, the user can track the list of image data used for generating the neural network model used, the setting parameters, and the generation time. it can.
  • condition identification data and the model identification data when the neural network model is used are stored for each camera of each inspection department. Therefore, the network model used for the determination and its inspection conditions can be easily verified. Further, when the network model is changed, the condition identification data is also changed, so that the data set corresponding to the network model can be reliably verified.
  • an inspection processing condition data file is generated corresponding to each inspection, and this is stored together with the condition identification data. In this case, even if the inspection processing conditions up to imaging are the same, condition identification data different from that when the neural network model is used is added.
  • condition identification data is added to the inspection processing condition data file at the time of inspection between the case where the neural network model is not used and the case where the neural network model is used, and the neural network model used is different.
  • another condition identification data is assigned to the corresponding inspection processing condition data file.
  • condition identification data is assigned to each inspection processing condition data file of each inspection, and in vsn_PC2, a determination using a neural network model is performed. If so, another condition identification data (RUN) corresponding to the model is given. ..
  • the neural network model used for the inspection is the model used for generating and verifying the neural network model based on the model identification data or the condition identification data. It is possible to verify the validity such as whether it is the same as or valid.
  • model identification data and the condition identification data to be given are identification data that is difficult to rewrite such as binary data, there is a low possibility that the neural network model or the data file of the inspection processing condition will be tampered with, and the neural network model. It is possible to increase the reliability of the validity of.
  • model identification data is assigned to each generated neural network model and condition identification data is assigned to each inspection processing condition data file, for example, when the container is changed or the same container is used. However, it becomes easy to select the neural network model to be used according to the inspection environment such as when the contents are changed.
  • the inspection unit 10, the processing condition setting unit 20, the learning unit 30, and the image processing unit 40 of the inspection device 1 are composed of one computer device, but the present disclosure is not limited to such an example.
  • Each of the inspection unit 10, the processing condition setting unit 20, the learning unit 30, and the image processing unit 40, or two or more of them may be composed of a plurality of computer devices capable of communicating with each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Biochemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Mathematical Physics (AREA)
  • Immunology (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

検査対象物を撮像した画像データとニューラルネットワークモデルとに基づく検査対象物の検査に用いられるニューラルネットワークモデルを構築する学習処理装置（３０）であって、学習処理装置（３０）は、複数の学習用画像を含む画像データのリストに基づいて所定の学習条件で学習処理を行ってニューラルネットワークモデルを構築する学習部（３０）を備え、学習部（３０）は、ニューラルネットワークモデルを構築するごとに、当該ニューラルネットワークモデルに固有のモデル識別データを埋め込む。

Description

学習処理装置及び検査装置
　本開示は、検査に用いるニューラルネットワークモデルを構築する学習処理装置及び学習処理機能を備えた検査装置に関する。
　従来、検査対象物を検査するために撮像画像を用いる検査装置が知られている。例えば、容器入りの薬剤を製造する際に、薬剤用容器のひびや容器内の異物の有無を、画像を用いて検査する検査装置が知られている。かかる検査に用いられるソフトウェアは、例えばルールベース画像認識処理を用いており、所定の検査を実行するための処理手順及び設定するパラメータ等を検査処理条件として管理する機能を有している。例えば、製薬業界においては、製造業者に対して適正製造規範（ＧＭＰ：Good Manufacturing Practice）で定められたガイドラインに適合するように、ソフトウェアは、作成、検証済みの検査処理条件が薬剤製造時に使用されている検査処理条件と同一であるか、及び、有効であるかを確認できることが必要とされる。
　一方、近年では、ニューラルネットワークを用いた検査装置も実用化されている。例えば、特許文献１には、検査対象物を撮像した検査画像の一部を入力画像として切り出し、入力画像の検査結果に影響を与える検査用マークを検査画像における入力画像の切り出し位置に応じて入力画像に埋め込み、検査用マークが埋め込まれた入力画像を、ニューラルネットワークに入力し、ニューラルネットワークの出力を用いて入力画像の検査結果を判定する検査装置が開示されている。
　また、特許文献２には、検査対象物を含む学習用画像に基づいてニューラルネットワークの学習を行い、学習用画像の特徴量を出力する学習済みのニューラルネットワークを構築し、学習済みのニューラルネットワークが出力した学習用画像の特徴量に基づいて検査対象物の良否を判定する識別器を学習により生成し、検査対象物を含む判定用画像を学習済みのニューラルネットワークに入力し判定用画像の特徴量を出力し、判定用画像の特徴量を識別器に入力して検査対象物の良否の判定を行う画像検査装置が開示されている。
特開２０１９－５０５８０２号公報 特開２０１９－８７１８１号公報
　上述したように、ルールベース画像認識処理による検査手法に代えてニューラルネットワークを用いる場合、ニューラルネットワークモデルの構造をユーザが理解することができないため、作成、検証済みのニューラルネットワークモデルと、検査段階で使用されるニューラルネットワークモデルとが同一であるか、あるいは、当該ニューラルネットワークモデルが有効であるかを検証することが容易ではない。
　本開示のある観点によれば、検査対象物を撮像した画像データとニューラルネットワークモデルとに基づく検査対象物の検査に用いられるニューラルネットワークモデルを構築する学習処理装置であって、学習処理装置は、複数の学習用画像を含む画像データのリストに基づいて所定の学習条件で学習処理を行ってニューラルネットワークモデルを構築する学習部を備え、学習部は、ニューラルネットワークモデルを構築するごとに、当該ニューラルネットワークモデルに固有のモデル識別データを埋め込む学習処理装置が提供される。
　また、本開示の別の観点によれば、設定された検査処理条件のデータファイルにしたがって検査対象物を検査する検査装置であって、複数の学習用画像を含む画像データのリストに基づいて所定の学習条件で学習処理を行いニューラルネットワークモデルを構築する学習部と、構築されたニューラルネットワークモデルを適用した検査処理条件のデータファイルを生成する処理条件設定部と、検査処理条件のデータファイルにしたがって、検査対象物を撮像した画像データとニューラルネットワークモデルとに基づいて検査対象物の異常を判定する検査部と、を備え、学習部は、ニューラルネットワークモデルを構築するごとに、固有のモデル識別データを付与してニューラルネットワークモデルを構築し、処理条件設定部は、適用するニューラルネットワークモデルが変更されるごとに、固有の条件識別データを付与して検査処理条件データを生成する、ことを特徴とする検査装置が提供される。
　以上説明したように本開示によれば、ニューラルネットワークモデルを用いて検査対象物の検査に用いられるニューラルネットワークモデルを構築する学習処理装置において、作成、検証済みのニューラルネットワークモデルと、検査段階で使用されるニューラルネットワークモデルとが同一であるかを容易に検証することができる。
本開示の実施の形態に係る検査装置の構成例を示すブロック図である。 検査処理手順の一例を示す説明図である。 ニューラルネットワークの学習処理及び検査処理条件の設定処理の動作例を示すフローチャートである。 データセット変更前のモデル識別データ及び条件識別データのデータファイルを示す説明図である。 データセット変更後のモデル識別データ及び条件識別データのデータファイルを示す説明図である。
　以下に添付図面を参照しながら本開示の実施の形態について説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
＜１．検査装置の全体構成＞
　まず、本実施形態に係る検査装置の全体構成の一例を説明する。本実施形態に係る検査装置は、例えば、容器入りの薬剤の検査工程の作業ラインの一部に組み込まれて使用され、ニューラルネットワークを用いて検査対象物を検査する。ニューラルネットワークの種類は特に限定されない。検査装置は、ひびや割れ等の容器の破損の有無や、容器内への異物の混入の有無を検査する。容器は、例えば、アンプル、バイアル、ビン、カープル又は注射器等であるが、これらの例に限定されない。
　検査装置は、少なくともプロセッサ及び記憶装置を備えて構成される。プロセッサは、例えば、ＧＰＵ（Graphics Processing Unit）等の画像処理装置と、ＣＰＵ（Central Processing Unit）等の演算処理装置とを含んでいる。記憶装置は、例えば、ＨＤＤ（Hard Disk Drive）やＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＳＳＤ（Solid State Drive）、ＵＳＢ（Universal Serial Bus）フラッシュ、ストレージ装置等の一つ又は複数の記憶媒体を含んでいる。
　図１は、本実施形態に係る検査装置１の構成例を示す模式図である。検査装置１は、画像処理部４０、検査部１０、処理条件設定部２０、学習部３０及び記憶部５０を備える。画像処理部４０、検査部１０、処理条件設定部２０及び学習部３０の一部又は全部は、上記のプロセッサによるプログラムの実行により実現できる機能である。画像処理部４０、検査部１０、処理条件設定部２０及び学習部３０の一部又は全部は、ファームウェア等の更新可能なもので構成されていてもよく、プロセッサからの指令によって実行されるプログラムモジュール等であってもよい。記憶部５０は、上記の記憶装置により実現される機能である。
　なお、検査装置１を構成する学習部３０は、学習処理装置としての機能を有する構成要素であり、当該学習部３０を含む一部の機能を有する独立した処理装置として構成されていてもよい。
　検査装置１には、連続して搬送される薬剤入り容器を撮影するための撮像装置５ａ，５ｂが接続されている。撮像装置５ａ，５ｂとしては、例えば、広角のＣＣＤ（Charge Coupled Device）カメラ又はラインセンサカメラ等が用いられる。図１には二つの撮像装置５ａ，５ｂが示されているが、撮像装置の数は一つであってもよく、三つ以上であってもよい。このほか、検査装置１は、検査対象物に光を照射する照明装置や、検査対象物を視覚的に拡大する顕微鏡を備えていてもよい。さらに、検査装置１は、画像表示モニタ、スピーカ等を備えていてもよい。画像表示モニタは、例えば、作業者が検査状況の確認等のための画像情報やテキストを表示する。画像表示モニタは、作業者による操作入力を受け付けるタッチパネルであってもよい。スピーカは、例えば、検査手順のガイダンスを発したり、薬剤入り容器に欠陥を検出したときにアラームを発したりするために備えられる。
　例えば、液体の薬剤を充填した薬剤入り容器を搬送しながら、異物混入などの検査を行うことが考えられる。この場合、検査ステーションに至った薬剤入り容器を回転させながら撮影することで、容器の状態を検出したり、回転させている状態での内部の薬剤の状態を撮影することで異物の混入を検出したりすることができる。例えば、複数の検査ステーションにおいて、それぞれ複数の撮像装置において薬剤入り容器の検査を行う。
　画像処理部４０は、撮像装置５ａ，５ｂにより撮影された撮像画像を取得する。画像処理部４０は、取得した撮像画像を記憶部５０に保存する。画像処理部４０は、撮像画像を記憶部５０に保存する際に、検査に適した適宜の画像処理を行ってもよい。例えば、画像処理部４０は、撮像画像のうちの検査対象範囲に対応する一部を切り出す処理を行ってもよい。また、画像処理部４０は、撮像画像のデータの圧縮や正規化、拡張等の処理を行ってもよい。
　学習部３０は、撮像画像を用いてニューラルネットワークの学習（深層学習：ディープラーニング）を行う。すなわち、所定の検査条件において得られた異常なしの画像や、各種異常ありの画像を学習することで、ニューラルネットワークモデルを構築する。
　処理条件設定部２０は、検査対象物の検査処理条件のデータファイルを生成する。検査処理条件のデータファイルとは、検査の処理手順や検査条件のパラメータ等をまとめたデータファイルである。従来のルールベース画像認識処理を用いた検査においては、予め定められた検査条件のデータファイルに基づいて検査が行われ、各検査における検査条件が、例えば撮像装置毎に撮影された画像データとともに記憶される。また、学習によってニューラルネットワークモデルを構築した場合には、その学習に用いた画像についての検査条件から、構築したニューラルネットワークモデルに対応する検査条件データファイルを生成する。
　ユーザは、設定された検査処理条件にしたがって検査を実行する。検査部１０は、学習済みのニューラルネットワークモデルを用いて検査対象物の検査を行う。例えば、検査部１０は、検査対象物を撮影した画像をニューラルネットワークモデルに入力し、その出力に基づいて検査対象物の検査を行う。使用されるニューラルネットワークモデルは、設定された検査処理条件での学習によって形成されたものである。
　なお、検査部１０は、ニューラルネットワークモデルを用いた検査と併せて、従来のルールベース画像認識処理に基づく検査を行うことができるように構成されていてもよい。以下に説明する本実施形態に係る検査装置１は、ニューラルネットワークモデルを用いた検査以外に、従来のルールベース画像認識処理を用いた検査を実行可能に構成されている。
＜２．検査処理の例＞
　次に、検査処理条件のデータファイルに含まれる検査手順に従った検査処理の一例を説明する。
　図２は、検査手順の一例を示す。図２に例示する検査手順では、ステップＳ１１～ステップＳ１９において、それぞれ設定された条件で検査部ｖｓｎ＿ＰＣ１～ｖｓｎ＿ＰＣ４により検査処理を行った後に、ニューラルネットワークモデルを用いた判定を行い、その後ステップＳ２１において、検査対象物の欠陥を判定する。このうち、ステップＳ１１～Ｓ１７は、ルールベース画像認識処理等によって行われる検査処理であり、ステップＳ１９が、ニューラルネットワークモデルを用いた検査処理である。
　検査対象物が、ボトル型の容器である場合、例えば、ステップＳ１１～ステップＳ１７では、容器の肩あるいは首等、主としてひびが生じやすい部分に大きなキズがないか、あるいは、容器内に異物が混入していないか、を光学的に判定可能に条件が設定されて検査が行われ、その検査結果として得らえた画像に基づいて判定が行われる。それぞれのステップＳ１１～ステップＳ１７では、検査処理条件のデータファイルの設定にしたがって検査対象の容器を撮像する撮像装置５ａ，５ｂを変えたり、照明装置から照射する光の露光量、スペクトル、露光時間等を変えたりしながら、所定の検査が行われる。そして、ステップＳ１１～ステップＳ１７では、得られた画像データに基づいて、従来のルールベースでの容器の外観あるいは容器内の異物混入などの異常の有無が検出される。
　また、ステップＳ１１～Ｓ１７の検査について、各検査処理条件および各検査で得られた画像は、各ステップＳ１１～Ｓ１７の検査に対応付けてそれぞれ記憶部５０に記憶される。
　ステップＳ１９では、ニューラルネットワークモデルを用いて、容器の外観あるいは容器内の欠陥の有無の判定が行われる。ステップＳ１９においても、検査処理条件のデータファイルの設定にしたがって、複数の検査対象の容器の画像をそれぞれニューラルネットワークモデルに入力し、その出力に基づいて、容器におけるキズの有無や、容器内への異物の混入の有無が検査される。すなわち、１つの検査によって得られた容器画像について、その検査について用意されたニューラルネットワークモデルに入力することで、当該検査についての検査結果であるキズなどの異常（欠陥）についての判定結果が得られる。そして、各検査について、使用された検査処理条件のデータファイルと、用いたニューラルネットワークモデルとを関連付けて記憶する。
　ステップＳ２１では、ステップＳ１１～ステップＳ１９の判定結果から、検査対象物の合否を判定する。例えば、ステップＳ１１～Ｓ１７における判定結果、およびステップＳ１９における判定結果のいずれかで欠陥有りと判定された容器を不合格にしたり、両方で欠陥有りと判定された容器を不合格にすることができる。なお、これらの各ステップＳ１１～ステップＳ２１で行われる処理の内容については、従来公知の技術を採用することができるため、詳しい説明は省略する。
　本実施形態に係る検査装置１では、ステップＳ１９のニューラルネットワークモデルを用いた検査処理について、その検査処理条件のデータファイルとともに記憶する際に、当該ニューラルネットワークモデルのモデル識別データと、その検査処理条件のデータファイルの条件識別データを記憶する。ニューラルネットワークモデルのモデル識別データは、学習によってニューラルネットワークモデルを構築した時に付与する。すなわち、ニューラルネットワークの学習に用いるデータセットが異なるごとに書換困難な識別データを付与する。そして、ステップＳ１９において、検査処理に用いたニューラルネットワークモデルのモデル識別データをその検査に対応して記憶する。従って、検査終了後において、行った検査ごとに用いたニューラルネットワークモデルのモデル識別データが記憶されており、検査処理に用いたニューラルネットワークモデルの検証を可能にしている。
　各ニューラルネットワークモデルについては、これを構築する際に用いた画像データのリストや設定パラメータなどが記憶されている。このため、ユーザが画像認識になんらかの不具合を発見したときに、モデル識別データからニューラルネットワークモデルを特定することができ、これによってニューラルネットワークの学習時に用いた画像データのリスト及び設定パラメータを追跡することができる。したがって、行われる検査に対するニューラルネットワークモデルの妥当性を検証することができる。
＜３．学習処理動作及び検査処理条件の設定処理動作＞
　次に、検査装置１により行われるニューラルネットワークの学習処理及び検査処理条件の設定処理の動作例を説明する。
　図３は、ニューラルネットワークの学習処理及び検査処理条件の設定処理の動作例を示すフローチャートである。図３の左列は、検査処理条件（レシピ：Rcp.）の設定に関する動作を示し、右列は、ニューラルネットワークモデルの生成に用いるデータセット（Dtst.）に関する動作を示す。
　まず、検査装置１の処理条件設定部２０が、ユーザの入力に基づいて、ニューラルネットワークモデルを特定の検査処理条件に適用することを検知する（ステップＳ３１でＹＥＳ）。すなわち、学習によりニューラルネットワークモデルを構築するとともに、構築したニューラルネットワークモデルに適用する検査処理条件のデータファイルを生成する。
　次いで、学習部３０は、ニューラルネットワークの学習用のデータセットを設定する（ステップＳ３３）。学習用のデータセットとは、ニューラルネットワークの学習に用いる画像データのリスト、及び、学習に用いる設定パラメータのデータ群である。設定パラメータは、例えば、ニューラルネットワークをディープラーニング（深層学習）する深度や学習率、誤差関数等のパラメータである。画像データのリストは、記憶部５０に保存された画像データからランダムに選択されてもよく、ユーザにより指定されてもよい。すなわち、特定の検査条件において行った検査の結果についての画像データが異常あり、異常なしの例として記憶されており、これらのデータセットに基づいて、ニューラルネットワークモデルが構築される。
　例えば、学習開始時に、保存されている画像データのうちの５０％をランダムに抽出して学習させてニューラルネットワークモデルを生成した後、残りの５０％を生成したニューラルネットワークモデルに入力して当該モデルを検証してもよい。かかる検証により誤りが生じた場合には、当該画像データについては、手動で学習用の画像データとして追加してもよい。あるいは、薬剤入り容器の生産に適用したニューラルネットワークモデルに対して、検出できなかった異物や容器の欠陥があった場合に、当該容器を撮像した画像データを新たにデータセットに登録し、当該画像データを学習させるようにしてもよい。
　次いで、学習部３０は、設定したデータセットに、モデル識別データを付与する（ステップＳ３５）。付与されるモデル識別データは、データセットに対して付与される書換困難な識別データであって、データセットの一部でも異なる場合に個別に付与される。学習部３０は、学習に用いる画像データのリストや設定パラメータの少なくとも一部を変更した場合、必ず別のモデル識別データを付与して、それぞれ異なるデータセットとして区別可能にする。このように、モデル識別データにより、ニューラルネットワークモデルとこれを構築するために用いられたデータセットが特定される。モデル識別データは、例えばバイナリデータであってもよい。バイナリデータを用いることによって、他のデータセットと識別可能な識別データを書換困難な識別データとして容易にデータセットに組み込むことができる。
　次いで、学習部３０は、ニューラルネットワークの学習を行い、ニューラルネットワークモデルを生成する（ステップＳ３７）。例えば、学習部３０は、画像データをクラス分けしつつニューラルネットワークの学習を行う。クラス分けは、例えば、容器にひびが生じた状態、容器が欠けた状態、容器内に異物が混入した状態、及びそれらの程度に応じて行われてもよい。適用可能なニューラルネットワークの種類や学習方法は、特に限定されるものではなく、検査の内容に応じて適切なニューラルネットワークあるいは学習方法が選択される。
　次いで、学習部３０は、生成したニューラルネットワークモデルに対して、モデル識別データを付与する（ステップＳ３９）。ここで説明する例では、ニューラルネットワークモデルに対して、データセットに対して付与されたモデル識別データと同一の識別データを付与する。仮に、データセットを変更せずにニューラルネットワークモデルを生成した場合であっても異なるハッシュ値となるが、データセットが同一である限り、付与されるモデル識別データとして同一の識別データ（本実施形態ではバイナリデータ）が付与される。一方、データセットの少なくとも一部が変更されている限り、異なるモデル識別データがニューラルネットワークモデルに付与される。
　次いで、処理条件設定部２０は、生成したニューラルネットワークモデルを検査処理条件のデータファイルに適用する（ステップＳ４１）。具体的に、ニューラルネットワークを用いた検査処理に用いるニューラルネットワークモデルとして、生成したニューラルネットワークモデルを適用する。すなわち、ニューラルネットワークモデルを構築した際に使用したデータセットに対応する検査処理条件から、構築したニューラルネットワークモデルに対応する検査処理条件のデータファイルを生成する。
　新たにニューラルネットワークモデルを生成した場合、検査処理条件のデータファイルに適用する前に、検査部１０において、当該ニューラルネットワークモデルの有効性を検証してもよい。これにより、当該ニューラルネットワークモデルを用いた検査の信頼性を高めることができる。
　次いで、処理条件設定部２０は、生成した検査処理条件のデータファイルに対して条件識別データを付与して、当該検査処理条件のデータファイルを保存し（ステップＳ４３）、処理を終了する。条件識別データは、ニューラルネットワークモデルのモデル識別データが異なる検査処理条件のデータファイルのそれぞれに対して異なる値が付与される。条件識別データは、モデル識別データと同様に、容易に書き換えることができない識別データである。条件識別データとして、例えば、バイナリデータが用いられる。
　ここで、ステップＳ３１の判定で、ＮＯの場合には、学習部３０は、データセットが変更されたか否かを判別する（ステップＳ４５）。具体的に、学習部３０は、ユーザにより学習用の画像データが追加されたり、設定パラメータが追加あるいは変更されたりしたか否かを判別する。学習部３０は、データセットが変更されていない場合（Ｓ４５／Ｎｏ）、保存されているニューラルネットワークモデル及び検査処理条件のデータファイルを保持し、処理を終了する。一方、学習部３０は、データセットが変更された場合（Ｓ４５／Ｙｅｓ）、ステップＳ３５に戻って、新たなニューラルネットワークモデル及び検査処理条件のデータファイルの生成を行う。その際、学習部３０は、ニューラルネットワークモデル及び検査処理条件のデータファイルに対して、新たにモデル識別データ及び条件識別データを付与する。
　なお、このステップＳ３１～Ｓ４５の処理は、随時繰り返されるため、ユーザの入力があった場合およびデータセットが変更された場合に、新たなニューラルネットワークモデル及び検査処理条件のデータファイルの生成が行われる。
　図４及び図５は、データセットの変更前後のモデル識別データ及び条件識別データを説明するための図である。図４は、データセット変更前のモデル識別データ及び条件識別データのデータファイルを示し、図５は、データセット変更後のモデル識別データ及び条件識別データのデータファイルを示す。図４及び図５のデータファイルには、プロジェクトファイル番号（Ｐｒｊ．）としてそれぞれ「１１１」，「１１２」が付されている。
　図４及び図５に示す例では、第１の検査部ｖｓｎ＿ＰＣ１が、第１の撮像カメラｃｍｒ１、第２の撮像カメラｃｍｒ２、第３の撮像カメラｃｍｒ３及び第４の撮像カメラｃｍ４によりそれぞれ撮影された画像データのリストを用いてニューラルネットワークモデルによる検査を行う。また、第２の検査部ｖｓｎ＿ＰＣ２以降、第１０の検査部ｖｓｎ＿ＰＣ１０が、それぞれ、第１の撮像カメラｃｍｒ１、第２の撮像カメラｃｍｒ２、第３の撮像カメラｃｍｒ３及び第４の撮像カメラｃｍ４の少なくとも一つによりそれぞれ撮影された画像データのリストを用いて従来のルールベース画像認識処理による検査を行う。
　それぞれの検査部ｖｓｎ＿ＰＣ１～ｖｓｎ＿ＰＣ１０のそれぞれによって、第１の撮像カメラｃｍｒ１、第２の撮像カメラｃｍｒ２、第３の撮像カメラｃｍｒ３及び第４の撮像カメラｃｍ４によりそれぞれ撮影された画像データのリストを用いて行われる検査ごとに、検査処理条件のデータファイルが生成される。例えば、図４においては、検査処理条件のデータファイルの条件識別データ（Ｒ．Ｕ．Ｎ．）として、「０１０」，「００３」，「０２１」，「００４」，「０１８」，「０１３」・・・「０６６」がそれぞれのデータファイルに付与されている。
　また、ニューラルネットワークモデルを用いた検査については、それぞれの検査処理条件に適用されたニューラルネットワークモデルに対して、モデル識別データとしてのモデル識別データ（Ｍ．Ｕ．Ｎ．）として、「００２」，「００１」，「０１７」，「００２」が付与されている。
　ここで、第１の撮像カメラｃｍｒ１及び第３の撮像カメラｃｍｒ３により撮像された画像データのリストを用いてニューラルネットワークモデルを生成する際のデータセットが変更されたとする。そうすると、図５に示すように、生成されるニューラルネットワークモデルのモデル識別データ（Ｍ．Ｕ．Ｎ．）が、それぞれ「００３」，「０１８」に更新される。また、当該ニューラルネットワークモデルを適用した検査処理条件のデータファイルの識別データである条件識別データ（Ｒ．Ｕ．Ｎ．）が、それぞれ「０１２」，「０２２」に更新される。
　このように、本実施形態に係る検査装置１において、学習部３０は、ニューラルネットワークモデルを生成するためのデータセットの一部が変更されるごとに、書換困難なモデル識別データを付与してニューラルネットワークモデルを生成する。また、処理条件設定部２０は、モデル識別データが異なるニューラルネットワークモデルを適用した検査処理条件に対して、変更が困難な条件識別データを付与して検査処理条件のデータファイルを生成する。したがって、ユーザは、ニューラルネットワークモデルを用いた画像認識による検査結果に不具合を感じたときに、使用したニューラルネットワークモデルの生成に用いられた画像データのリストや設定パラメータ、生成時期を追跡することができる。
　特に、各検査プロジェクトにおいて、各検査部のカメラごとに、条件識別データと、ニューラネットワークモデルを使用した場合にはそのモデル識別データが記憶される。従って、判定に使用したネットワークモデルにおよびその検査条件についての検証が容易に行える。また、ネットワークモデルが変更された場合には、条件識別データも変更されるため、ネットワークモデルに対応するデータセットについての検証も確実に行える。
　なお、ニューラルネットワークモデルを用いずにルールベースで検査を行う場合にも、各検査に対応して検査処理条件データファイルが生成され、これをその条件識別データととともに記憶する。この場合、撮像までの検査処理条件は同一でも、ニューラネットワークモデルを利用した場合とは、別の条件識別データが付与される。
　すなわち、検査の際の検査処理条件データファイルには、ニューラルネットワークモデルを用いない場合と、ニューラネットワークモデルを用いた場合とでは、別の条件識別データが付与され、また用いたニューラルネットワークモデルが異なれば、対応する検査処理条件データファイルについて別の条件識別データが付与される。
　例えば、図４，５における、vsn_PC2においては、各検査の検査処理条件データファイルについて、それぞれ条件識別データ（Ｒ．Ｕ．Ｎ．）が付与され、仮にvsn_PC2において、ニューラネットワークモデルを用いた判定を行えば、そのモデルに対応した別の条件識別データ（Ｒ．Ｕ．Ｎ．）が付与される。。
　これにより、ユーザは、ニューラルネットワークの内容を理解できない場合であっても、モデル識別データまたは条件識別データに基づいて、検査に用いたニューラルネットワークモデルが、ニューラルネットワークモデルの生成、検証に用いたモデルと同一であるか、あるいは、有効であるか等の妥当性を検証することができる。
　また、付与されるモデル識別データおよび条件識別データが、バイナリデータ等の書換困難な識別データであるため、ニューラルネットワークモデルあるいは検査処理条件のデータファイルの生成後に改ざんされるおそれが低く、ニューラルネットワークモデルの妥当性の信頼度を高めることができる。
　また、生成されたニューラルネットワークモデル毎にモデル識別データが付与され、検査処理条件のデータファイルごとに条件識別データが付与されるため、例えば、容器が変更された場合、あるいは、同じ容器であっても内容物が変更された場合等の検査環境に応じて使用するニューラルネットワークモデルを選択することが容易になる。
　以上、添付図面を参照しながら本開示の実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態に係る検査装置１の検査部１０、処理条件設定部２０、学習部３０及び画像処理部４０が１つのコンピュータ装置により構成されていたが、本開示はかかる例に限定されない。検査部１０、処理条件設定部２０、学習部３０及び画像処理部４０のそれぞれ、あるいは、二つ以上が、互いに通信可能な複数のコンピュータ装置により構成されていてもよい。
　１ 検査装置、１０ 検査部、２０ 処理条件設定部、３０ 学習部、４０ 画像処理部
 

Claims (6)

  1. 　検査対象物を撮像した画像データとニューラルネットワークモデルとに基づく前記検査対象物の検査に用いられるニューラルネットワークモデルを構築する学習処理装置（３０）であって、
    前記学習処理装置（３０）は、
    　複数の学習用画像を含む画像データのリストに基づいて所定の学習条件で学習処理を行ってニューラルネットワークモデルを構築する学習部（３０）を備え、
    　前記学習部（３０）は、前記ニューラルネットワークモデルを構築するごとに、当該ニューラルネットワークモデルに固有のモデル識別データを埋め込む、ことを特徴とする学習処理装置。
  2. 　前記学習部（３０）は、
    　前記画像データのリスト又は前記学習条件のうちの少なくとも一部が変更された場合に、前記画像データのリスト及び前記学習条件の組み合わせに対して固有のモデル識別データを付与し、当該画像データのリスト及び前記学習条件で構築されたニューラルネットワークモデルに対して前記固有のモデル識別データを埋め込む、ことを特徴とする請求項１に記載の学習処理装置。
  3. 　前記モデル識別データが、バイナリデータである、ことを特徴とする請求項１又は２に記載の学習処理装置。
  4. 　設定された検査処理条件のデータファイルにしたがって検査対象物を検査する検査装置（１）であって、
    　複数の学習用画像を含む画像データのリストに基づいて所定の学習条件で学習処理を行いニューラルネットワークモデルを構築する学習部（３０）と、
    　構築された前記ニューラルネットワークモデルを適用した前記検査処理条件のデータファイルを生成する処理条件設定部（２０）と、
    　前記検査処理条件のデータファイルにしたがって、前記検査対象物を撮像した画像データと前記ニューラルネットワークモデルとに基づいて前記検査対象物の異常を判定する検査部（１０）と、を備え、
    　前記学習部（３０）は、前記ニューラルネットワークモデルを構築するごとに、固有のモデル識別データを付与して前記ニューラルネットワークモデルを構築し、
    　前記処理条件設定部（２０）は、適用するニューラルネットワークモデルが変更されるごとに、固有の条件識別データを付与して前記検査処理条件データを生成する、ことを特徴とする検査装置。
  5. 　前記処理条件設定部（２０）は、
    　適用するニューラルネットワークモデルが変更されるごとに、固有の条件識別データを付与して前記検査処理条件データを生成する、ことを特徴とする請求項４に記載の検査装置。
  6. 　前記条件識別データが、バイナリデータである、ことを特徴とする請求項５に記載の検査装置。
     
PCT/JP2020/035141 2019-09-17 2020-09-16 学習処理装置及び検査装置 WO2021054376A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20864924.4A EP4016057A4 (en) 2019-09-17 2020-09-16 LEARNING APPARATUS AND TESTING APPARATUS
JP2021546938A JP7212792B2 (ja) 2019-09-17 2020-09-16 学習処理装置及び検査装置
CN202080065129.4A CN114424242A (zh) 2019-09-17 2020-09-16 学习处理装置及检查装置
US17/642,423 US20220343640A1 (en) 2019-09-17 2020-09-16 Learning process device and inspection device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-168127 2019-09-17
JP2019168127 2019-09-17

Publications (1)

Publication Number Publication Date
WO2021054376A1 true WO2021054376A1 (ja) 2021-03-25

Family

ID=74883108

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/035141 WO2021054376A1 (ja) 2019-09-17 2020-09-16 学習処理装置及び検査装置

Country Status (5)

Country Link
US (1) US20220343640A1 (ja)
EP (1) EP4016057A4 (ja)
JP (1) JP7212792B2 (ja)
CN (1) CN114424242A (ja)
WO (1) WO2021054376A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021112479A1 (de) 2021-05-12 2022-11-17 Espera-Werke Gmbh Verfahren zum Betrieb eines Etikettiersystems
WO2023176393A1 (ja) * 2022-03-14 2023-09-21 キヤノン株式会社 認識装置、認識処理方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018198053A (ja) * 2017-05-22 2018-12-13 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019505802A (ja) 2016-01-28 2019-02-28 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ． 試料容器と試料の特徴付けのための方法及び装置
JP2019061578A (ja) * 2017-09-27 2019-04-18 富士フイルム株式会社 学習支援装置、学習支援装置の作動方法、学習支援プログラム、学習支援システム、および端末装置
JP2019087181A (ja) 2017-11-10 2019-06-06 アズビル株式会社 画像検査装置および方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7676062B2 (en) * 2002-09-03 2010-03-09 Automotive Technologies International Inc. Image processing for vehicular applications applying image comparisons
EP1886257A1 (en) * 2005-05-11 2008-02-13 Optosecurity Inc. Method and system for screening luggage items, cargo containers or persons
WO2018136262A1 (en) * 2017-01-20 2018-07-26 Aquifi, Inc. Systems and methods for defect detection
US20190096135A1 (en) * 2017-09-26 2019-03-28 Aquifi, Inc. Systems and methods for visual inspection based on augmented reality
JP7002949B2 (ja) * 2018-01-22 2022-01-20 株式会社日立ハイテク 画像評価方法及び画像評価装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019505802A (ja) 2016-01-28 2019-02-28 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ． 試料容器と試料の特徴付けのための方法及び装置
JP2018198053A (ja) * 2017-05-22 2018-12-13 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019061578A (ja) * 2017-09-27 2019-04-18 富士フイルム株式会社 学習支援装置、学習支援装置の作動方法、学習支援プログラム、学習支援システム、および端末装置
JP2019087181A (ja) 2017-11-10 2019-06-06 アズビル株式会社 画像検査装置および方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021112479A1 (de) 2021-05-12 2022-11-17 Espera-Werke Gmbh Verfahren zum Betrieb eines Etikettiersystems
WO2023176393A1 (ja) * 2022-03-14 2023-09-21 キヤノン株式会社 認識装置、認識処理方法、及びプログラム

Also Published As

Publication number Publication date
EP4016057A4 (en) 2023-09-06
EP4016057A1 (en) 2022-06-22
JP7212792B2 (ja) 2023-01-25
US20220343640A1 (en) 2022-10-27
CN114424242A (zh) 2022-04-29
JPWO2021054376A1 (ja) 2021-03-25

Similar Documents

Publication Publication Date Title
CN109961421B (zh) 数据生成装置、数据生成方法以及数据生成记录介质
WO2021054376A1 (ja) 学習処理装置及び検査装置
CN111709948B (zh) 容器瑕疵检测方法和装置
TW202001699A (zh) 利用人工智慧的瑕疵檢測系統及其方法
JP7054436B2 (ja) 検出システム、情報処理装置、評価方法及びプログラム
KR20080003719A (ko) 결함 검사 장치 및 결함 검사 방법
JP2022045688A (ja) 欠陥管理装置、方法およびプログラム
US11574400B2 (en) System and method for automated visual inspection
JP2011128030A (ja) 欠陥検査装置、及び欠陥情報管理方法
CN101408521A (zh) 用于缺陷增强的方法
JP4664417B2 (ja) 表示パネル点灯検査装置、及び表示パネル点灯検査方法。
CN115953388A (zh) 芯片缺陷检测方法、装置、设备、存储介质和程序产品
KR102000938B1 (ko) 영역 지정에 따른 지능형 판정 기준의 자동 설정 방법 및 그에 의한 스마트 학습 방식의 엑스레이 검사 방법
KR101695531B1 (ko) 비전영상 기반 객체 검사 인증 시스템
KR100691433B1 (ko) 전자부품검사방법
JP2011095090A (ja) 塗布状態検査装置及び方法並びにプログラム
JP2000113188A (ja) ムラ欠陥検査装置及び方法並びにムラ欠陥検査プログラムを記録した記録媒体
KR101910069B1 (ko) 영상 분석 기반의 결함 검사 시스템 및 방법
JP7489436B2 (ja) 検査装置、および、検査方法
CN113205110B (zh) 一种面板缺陷分类模型的建立方法及面板缺陷分类方法
WO2023243253A1 (ja) ウェーハの判定方法、判定プログラム、判定装置、ウェーハの製造方法及びウェーハ
KR101315103B1 (ko) 광학 필름의 결함 판별 방법
JP2017156517A (ja) 表示装置の欠陥モード分類システム
KR101763314B1 (ko) 영상 처리 장치 및 영상 처리 방법
WO2022044150A1 (ja) 画像生成装置、画像生成方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20864924

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2021546938

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020864924

Country of ref document: EP

Effective date: 20220316