WO2020137228A1 - 画像判定装置、画像判定方法及び画像判定プログラム - Google Patents

画像判定装置、画像判定方法及び画像判定プログラム Download PDF

Info

Publication number
WO2020137228A1
WO2020137228A1 PCT/JP2019/044738 JP2019044738W WO2020137228A1 WO 2020137228 A1 WO2020137228 A1 WO 2020137228A1 JP 2019044738 W JP2019044738 W JP 2019044738W WO 2020137228 A1 WO2020137228 A1 WO 2020137228A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
output
image
feature
learning
Prior art date
Application number
PCT/JP2019/044738
Other languages
English (en)
French (fr)
Inventor
直樹 土屋
善久 井尻
丸山　裕
洋平 大川
剣之介 林
山元　左近
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to US17/270,450 priority Critical patent/US11922680B2/en
Priority to CN201980052353.7A priority patent/CN112534472B/zh
Priority to EP19904500.6A priority patent/EP3905193A4/en
Publication of WO2020137228A1 publication Critical patent/WO2020137228A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Definitions

  • the present invention relates to an image determination device, an image determination method, and an image determination program.
  • Patent Document 1 discloses an apparatus that determines the presence or absence of a defect in an inspection target based on the output result of a discriminator learned by using images of the inspection target captured under a plurality of imaging conditions as learning data. There is. Specifically, the apparatus described in Patent Document 1 uses the image of each of the at least two images based on the images captured under at least two different image capturing conditions for an object whose appearance is known to be good or bad.
  • a learning extraction unit that extracts a feature amount, and a selection unit that selects a feature amount for determining the quality of an object from the feature amounts that extend over the feature amounts extracted from the at least two images by the learning extraction unit.
  • a generation unit that generates a discriminator that determines the quality of the object based on the feature amount selected by the selection unit.
  • additional learning of the learning model may be performed using the newly acquired image or the image erroneously determined by the learning model. ..
  • any parameter of the learning model is updated by the additional learning, it becomes unclear what part of the learning model is changed by the additional learning, and the change of the learning model changes the judgment result. It may not be possible to explain.
  • the present invention provides an image determination device, an image determination method, and an image determination program that make it clear what kind of change in the learning model has changed the determination result even when performing additional learning of the learning model. To do.
  • An image determination apparatus includes one or more feature extractors and one or more feature extractors, each of which outputs feature data representing a particular feature of an image based on an image to be inspected. Based on the feature data output from the first determination device that outputs the first output data indicating the determination result regarding the image, and the determination result regarding the image based on the feature data output from one or more feature extractors Output when the first learning image is input to one or a plurality of feature extractors by using the second determiner that outputs the second output data that represents the first learning image and the learning data that includes the first learning image and the first label data A first learning unit that causes the first determiner to learn so as to output the first output data representing the first label data associated with the first learning image based on the first feature data And new learning data including the second label data is added, the second learning image is output based on the second feature data output when the second learning image is input to one or more feature extractors.
  • a second learning unit for learning the second determiner so as to output the second output data representing the second label data associated with, and the image output when the image is input to one or more feature extractors.
  • the first output data output by the first determiner based on the feature data and the first output data output by the second determiner based on the feature data output when the image is input to one or more feature extractors And an output unit that outputs output data representing a comprehensive determination result regarding the image based on the two output data.
  • the additional learning of the learning model is performed by newly generating and adding the second determiner by additional learning, and integrating the determinations by the first determiner and the second determiner. Also, it becomes clear what kind of change in the learning model has changed the judgment result.
  • the output unit may change the relative weighting of the first output data and the second output data according to the degree of similarity between the characteristic data and the second characteristic data.
  • the first learning image is used to learn the first learning image. It is possible to change which of the determination result by the determiner and the determination result by the second determiner learned by using the second learning image is emphasized.
  • the output unit may increase the relative weighting of the second output data as the distance between the feature data and the second feature data in the feature space decreases.
  • the input image is similar to the second learning image based on the distance between the feature data and the second feature data, and learning is performed using the second learning image as the distance is shorter.
  • the determination result by the determined second determiner can be emphasized.
  • the feature data may further include a discriminator that discriminates whether the feature data is similar to the first feature data or the second feature data, and the output unit may output the first output data and the first output data based on a discrimination result by the discriminator.
  • the relative weighting of the second output data may be changed.
  • whether the input image is similar to the first learning image or the second learning image and whether the feature data is similar to the first feature data or the second feature data is determined by the discriminator. Determined by distinguishing, and changing which of the determination result by the first determiner learned by using the first learning image and the determination result by the second determiner learned by using the second learning image, is changed be able to.
  • An image determination method is based on feature data output from one or a plurality of feature extractors that respectively output feature data representing specific features of an image based on an image to be inspected.
  • a first determiner that outputs first output data that represents a determination result regarding an image, and uses the learning data including the first learning image and the first label data to convert the first learning image into one or a plurality of feature extractors. Learning to output first output data representing first label data associated with the first learning image, based on the first feature data output when the second learning image and the second learning image are input.
  • a second determiner that outputs second output data representing a determination result regarding the image is provided.
  • the first output data and the image output by the first determiner based on the feature data output when the image is input to the one or more feature extractors.
  • the additional learning of the learning model is performed by newly generating and adding the second determiner by the additional learning and integrating the determinations by the first determiner and the second determiner. Also, it becomes clear what kind of change in the learning model has changed the judgment result.
  • An image determination program includes a calculation unit provided in the image determination device, which outputs one or a plurality of feature data items each of which outputs feature data representing a particular feature of the image based on the image to be inspected.
  • a first extractor that outputs first output data representing a determination result regarding an image based on the feature data output from the feature extractor, the one or more feature extractors, and the one or more feature extractors.
  • a second determiner that outputs second output data representing a determination result regarding the image, learning data including the first learning image and the first label data is used, and A first discriminator is trained to output first output data representing first label data associated with the first learning image based on the first feature data output when input to the feature extractor; Second learning data output when the second learning image is input to one or a plurality of feature extractors when new learning data including the first learning unit, the second learning image, and the second label data is added A second learning unit that causes the second determiner to learn so as to output the second output data that represents the second label data that is associated with the second learning image, and the image has one or more feature extractors.
  • the additional learning of the learning model is performed by newly generating and adding the second determiner by additional learning, and integrating the determinations by the first determiner and the second determiner. Also, it becomes clear what kind of change in the learning model has changed the judgment result.
  • an image determination device it is possible to provide an image determination device, an image determination method, and an image determination program that make it clear what kind of change in a learning model has changed a determination result even when performing additional learning of a learning model. can do.
  • FIG. 6 is a flowchart of image determination processing executed by the image determination device according to the present embodiment. It is a figure which shows the functional block of the image determination apparatus which concerns on the modification of this embodiment. It is a flow chart of the image judgment processing performed by the image judgment device concerning the modification of this embodiment.
  • the present embodiment an embodiment according to one aspect of the present invention (hereinafter also referred to as “the present embodiment”) will be described with reference to the drawings.
  • the embodiments described below are merely examples of the present invention in all respects. It goes without saying that various improvements and modifications can be made without departing from the scope of the present invention. That is, in implementing the present invention, a specific configuration according to the embodiment may be appropriately adopted. It should be noted that although the data that appears in this embodiment is described in natural language, more specifically, it is specified by a computer-recognizable pseudo language, command, parameter, machine language, or the like.
  • FIG. 1 is a diagram showing a configuration example of an image determination system 1 according to an embodiment of the present invention.
  • the image determination system 1 analyzes an input image generated by capturing an image of an inspection target with a learning model included in the image determination apparatus 100, and performs defect inspection and classification of the target.
  • the learning model may be learned in advance using the learning data so as to classify the presence/absence of a defect regarding the inspection target and the type of the inspection target. Further, the learning model may be additionally learned when new learning data is obtained.
  • the image determination system 1 updates the learning model so as to clarify what change in the learning model has changed the determination result.
  • the inspection target includes, for example, a work piece such as a part or a product in the manufacturing process.
  • the image determination system 1 performs image measurement processing on an input image obtained by capturing an image of a workpiece 4 that is an inspection target conveyed on a belt conveyor 2, thereby 4. Appearance inspection or appearance measurement of 4 is realized.
  • an example applied to inspection of the presence or absence of a defect on the surface of the work 4 will be described, but the invention is not limited to this, identification of the type of defect, dimension of the appearance shape of the defect. It can also be applied to measurement, identification of the type of work 4, and the like.
  • a camera 102 which is an imaging unit, is arranged above the belt conveyor 2, and the imaging field of view 6 of the camera 102 is configured to include a predetermined area of the belt conveyor 2.
  • the image data (hereinafter, also referred to as “input image”) generated by the image pickup by the camera 102 is transmitted to the image determination device 100. Imaging by the camera 102 is performed periodically or when an event occurs.
  • the image determination device 100 is connected to a PLC (programmable controller) 10, a database device 12 and the like via a higher level network 8.
  • the measurement result of the image determination device 100 may be transmitted to the PLC 10 and/or the database device 12.
  • any device may be connected to the host network 8.
  • the image determination device 100 may be connected to a display 104 for displaying a processing state, a measurement result, and the like, and a keyboard 106 and a mouse 108 as an input unit that receives a user operation.
  • the image determination device 100 includes a learning model generated by machine learning.
  • the learning model accepts an image as an input, outputs one or more feature extractors that output feature data representing a particular feature of the image, and the image data based on the feature data output from the one or more feature extractors.
  • a first determiner that outputs first output data that represents a determination result regarding the second, and a second output that outputs second output data that represents the determination result regarding the image based on the feature data output from one or a plurality of feature extractors And a judging device.
  • the one or more feature extractors are, for example, an edge extractor that extracts edges included in an image, a plane part extractor that extracts a plane area included in the image, and a background pattern extraction that extracts a background pattern of the image. And a binarized area extractor for extracting the binarized area included in the image.
  • Each of the one or more feature extractors may be a model that extracts a single feature that is easy for a person to understand, and may be a machine learning model or a rule-based model.
  • the first determiner and the second determiner receive one or a plurality of feature data as inputs, and output output data representing a determination result regarding an image.
  • the output data may be, for example, data representing the presence or absence of a defect to be inspected, the type of defect, the size of the external shape of the defect, the type of inspection target, and the like.
  • the first determiner and the second determiner may be configured by a neural network, for example.
  • the inspection conditions such as the type of work 4 flowing on the production line and the shooting conditions vary depending on the production line, and do not always match the conditions for learning. For this reason, if a pre-learned learning model is used in a production line, an incorrect determination result may be output. Therefore, additional learning of the learning model may be performed by collecting images that the learning model cannot correctly determine. At this time, if the learning model is updated without any restrictions, it will be unclear whether or not the decision is made by paying attention to the initially assumed features, and the additional learning will determine what part of the learning model. It may be unclear whether a change has been made, and it may not be possible to explain what kind of change in the learning model has changed the determination result. Therefore, when the learning model is introduced into the production line, it may be difficult to explain the reliability of the learning model, which may hinder the introduction.
  • the image determination apparatus 100 generates the first determiner by the pre-learning, generates the second determiner by the additional learning, and includes one or more included in the learning model.
  • the feature extractor is not changed, and it is clarified what part of the learning model is changed by the additional learning.
  • the additional learning the configuration of one or more feature extractors is fixed and the second determiner is learned.
  • the image determination device 100 integrates the outputs of the first determination device and the second determination device and outputs the comprehensive determination result.
  • the image determination device 100 integrates the outputs of the first determination device and the second determination device and outputs the comprehensive determination result.
  • the image determination apparatus 100 may add a new determination device each time new learning data is added. Then, the image determining apparatus 100 may integrate the outputs of the plurality of determiners and output the comprehensive determination result.
  • FIG. 2 is a diagram showing a hardware configuration of the image determination device 100 according to the present embodiment.
  • the image determination device 100 may be implemented by using a general-purpose computer configured according to a general-purpose computer architecture, for example.
  • the image determination apparatus 100 includes a processor 110, a main memory (main storage unit) 112, a camera interface 114, an input interface 116, a display interface 118, a communication interface 120, and a storage (auxiliary storage unit) 130. .. These components are typically communicatively coupled to each other via an internal bus 122.
  • the processor 110 expands the program stored in the storage 130 into the main memory 112 and executes the program to realize the functions and processes described in detail with reference to the figures below.
  • the main memory 112 is composed of a volatile memory and functions as a work memory necessary for the program execution by the processor 110.
  • the camera interface is an example of an acquisition unit.
  • the camera interface 114 is connected to the camera 102 and acquires an input image captured by the camera 102.
  • the camera interface 114 may instruct the camera 102 about image capturing timing and the like.
  • the input interface 116 is connected to an input unit operated by a user, such as the keyboard 106 and the mouse 108.
  • the input interface 116 acquires a command indicating an operation performed by the user on the input unit.
  • the display interface 118 is connected to the display 104 as a display unit.
  • the display interface 118 outputs various processing results generated by the execution of the program by the processor 110 to the display 104.
  • the communication interface 120 is in charge of processing for communicating with the PLC 10, the database device 12, and the like via the upper network 8.
  • the storage 130 stores programs for causing a computer to function as the image determination apparatus 100, such as an image processing program 132 for realizing the learning model 136 and an OS (operating system) 134.
  • the storage 130 may further store a learning model 136, an input image 138 acquired from the camera 102, and learning data 140 used for learning of the learning model 136.
  • the learning data 140 may be acquired from an external device such as the database device 12 via the host network 8 and may be temporarily stored in the storage 130.
  • the image processing program 132 stored in the storage 130 may be installed in the image determination device 100 via an optical recording medium such as a DVD (digital versatile disc) or a semiconductor recording medium such as a USB (universal serial bus) memory. Good. Alternatively, the image processing program 132 may be downloaded from a server device or the like on the network.
  • an optical recording medium such as a DVD (digital versatile disc) or a semiconductor recording medium such as a USB (universal serial bus) memory. Good.
  • the image processing program 132 may be downloaded from a server device or the like on the network.
  • the image processing program 132 does not include all the software modules for realizing the functions according to the present embodiment, and the necessary functions are provided by cooperating with the OS 134. You may
  • the image processing program 132 according to the present embodiment may be provided by being incorporated in a part of another program. Even in that case, the image processing program 132 itself does not include a module included in another program combined as described above, and the process is executed in cooperation with the other program. As described above, the image processing program 132 according to the present embodiment may be incorporated in another program.
  • FIG. 2 shows an example in which the image determination device 100 is realized by using a general-purpose computer, but the present invention is not limited to this, and all or part of the function thereof is a dedicated circuit (for example, ASIC (application specific integrated circuit)). Or FPGA (field-programmable gate array) or the like. Further, part of the processing may be assigned to an external device connected to the network.
  • ASIC application specific integrated circuit
  • FPGA field-programmable gate array
  • FIG. 3 is a diagram showing functional blocks of the image determination device 100 according to this embodiment.
  • the image determination device 100 includes a learning model 136 stored in the storage 130, a learning unit 152, and an output unit 154.
  • the learning model 136 includes one or more feature extractors 136a and a determiner 136b. Each of the one or more feature extractors 136a outputs feature data representing a particular feature of the image based on the image to be inspected. The determiner 136b outputs output data representing the determination result regarding the image based on the feature data output from one or more feature extractors 136a.
  • the determiner 136b includes a plurality of determiners learned with different learning data.
  • the determiner 136b includes a first determiner 136b-1 and a second determiner 136b-2.
  • the first determiner 136b-1 outputs the first output data indicating the determination result regarding the image based on the feature data output from the one or more feature extractors 136a.
  • the second determiner 136b-2 outputs the second output data indicating the determination result regarding the image based on the feature data output from the one or more feature extractors 136a.
  • the determiner 136b may include three or more determiners.
  • the learning unit 152 includes a first learning unit 152a and a second learning unit 152b.
  • the first learning unit 152a uses the learning data 140 including the first learning image and the first label data to output the first learning image when the first learning image is input to one or more feature extractors 136a.
  • the first determiner 136b-1 is trained to output the first output data representing the first label data associated with the first learning image.
  • the first learning image is an image of an inspection target that is captured in advance.
  • the first label data is data indicating the state of the inspection target, and may be data indicating the presence/absence of a defect related to the inspection target, the type of the defect, the external shape size of the defect, the type of the inspection target, and the like. ..
  • the learning process of the first determiner 136b-1 may be executed before the image determination device 100 is installed in the production line.
  • the second learning unit 152b is output when the new learning data including the second learning image and the second label data is added and the second learning image is input to one or a plurality of feature extractors 136a.
  • the second determiner 136b-2 is trained to output the second output data representing the second label data associated with the second learning image.
  • the second learning image may be an image to be inspected captured while the production line is operating, and may be an image in which the first determiner 136b-1 has made an incorrect determination.
  • the second label data is data representing the state of the inspection target, and may be, for example, data indicating the presence or absence of a defect related to the inspection target, the type of the defect, the external shape size of the defect, the type of the inspection target, and the like. ..
  • the learning process of the second determiner 136b-2 may be executed after the image determination device 100 is incorporated in the production line and the production line is operated.
  • the output unit 154 outputs the first output data and the image output by the first determiner 136b-1 based on the feature data output when the image to be inspected is input to the one or more feature extractors 136a.
  • Output data indicating a comprehensive determination result regarding an image based on the second output data output by the second determiner 136b-2 based on the feature data output when input to one or a plurality of feature extractors 136a Is output.
  • the output unit 154 comprehensively combines the first output data from the first determiner 136b-1 set from the beginning and the second output data from the second determiner 136b-2 added afterwards. Then, output data representing the comprehensive determination result regarding the image to be inspected is output.
  • the output unit 154 may change the relative weighting of the first output data and the second output data according to the degree of similarity between the characteristic data and the second characteristic data.
  • the feature data is data obtained by inputting a newly captured image of the inspection target to one or a plurality of feature extractors 136a
  • the second feature data is the second learning data included in the new learning data. It is data obtained by inputting the learning image to one or a plurality of feature extractors 136a.
  • the degree of similarity between the data representative of the plurality of second characteristic data and the characteristic data may be calculated, or each of the plurality of second characteristic data may be calculated.
  • You may synthesize
  • the output unit 154 may increase the relative weighting of the second output data as the distance between the characteristic data and the second characteristic data in the characteristic space is smaller.
  • the distance between the data representing the plurality of second feature data and the feature data may be calculated, or each of the plurality of second feature data and the feature data may be calculated. You may combine the distance with.
  • the determination result by the 2 determination unit 136b-2 can be emphasized.
  • FIG. 4 is a diagram showing a configuration example of the learning model 136 according to the present embodiment.
  • the learning model 136 of this example includes a feature extractor 136a and a determiner 136b, and the determiner 136b includes a first determiner 136b-1.
  • the feature extractor 136a receives the input data 136i (the image to be inspected) as an input and outputs the feature data representing the features of the image.
  • the feature extractor 136a extracts an edge included in the image, a plane area included in the image, a background pattern of the image, and a binarized area included in the image. Good.
  • the first determiner 136b-1 receives the feature data output from the feature extractor 136a as input, and outputs first output data representing a determination result regarding the input data 136i (image).
  • the output unit 154 receives the first output data as an input and outputs the output data 136o representing the comprehensive determination result regarding the input data 136i (image).
  • the output unit 154 may directly output the first output data received from the first determiner 136b-1 as the output data 136o. ..
  • FIG. 5 is a diagram showing an editing example of the learning model 136 according to the present embodiment.
  • the learning model 136 of this example includes a feature extractor 136a and a determiner 136b, and the determiner 136b includes a first determiner 136b-1 and a second determiner 136b-2.
  • the second determiner 136b-2 receives the feature data output from the feature extractor 136a as input, and outputs the second output data indicating the determination result regarding the input data 136i (image).
  • the output unit 154 receives the first output data and the second output data as inputs, and outputs the output data 136o representing the comprehensive determination result regarding the input data 136i (image).
  • the output unit 154 may increase the relative weighting of the second output data as the distance between the characteristic data and the second characteristic data in the characteristic space is smaller.
  • the characteristic data is represented by v
  • the second characteristic data output when the second learning image included in the new learning data is input to the characteristic extractor 136a is represented by v a
  • the first output data is represented.
  • sigma a is a parameter to reduce the relative weight of the feature data v and as the distance between the second feature data v a larger second output data y a in the feature space.
  • the feature data v is a vector.
  • the second feature data v a may also be a vector and the parameter ⁇ a may be a matrix so as to correspond to the feature data v.
  • ⁇ a diag( ⁇ a0 , ⁇ a1 , ⁇ a2 ,... ),
  • y′ y+ya a exp( ⁇
  • the output unit 154 outputs the second output data as output data when the distance between the feature data and the second feature data in the feature space is smaller than the threshold, and when the distance between the feature data and the second feature data is equal to or larger than the threshold.
  • the first output data may be output as output data.
  • the output unit 154 also outputs the second output data as output data when the distance between the feature data and the second feature data in the feature space is smaller than the first threshold, and the distance between the feature data and the second feature data is The first output data is output as output data when the second threshold value is greater than the first threshold value and is greater than or equal to the second threshold value.
  • a value obtained by linearly interpolating the data and the second output data according to the distance between the feature data may be output as the output data.
  • the distance between the feature data and the second feature data is represented by d
  • the first threshold is represented by d1
  • the second threshold is represented by d2
  • the first output data is represented by y
  • the output unit 154 uses the feature data of the learning data used for learning the determiners prepared in advance and the additional plurality of determiners for learning. Depending on the similarity with the feature data of each of the plurality of learning data used, by changing the relative weighting of the output data of the pre-determined determiner and the multiple output data of the added multiple determiner Good.
  • the characteristic data of the learning data used for learning the determiner prepared in advance is represented by v
  • the characteristic data of each of the plurality of learning data used for learning the added plurality of determiners Is denoted as v a , v b ,..., Y is output data of a previously prepared discriminator, and y a , y b ,... Is output data of a plurality of added discriminators.
  • the output data y', y' y + y a exp (-
  • 2 / 2 ⁇ b 2 )... may be calculated.
  • the output unit 154 learns the feature data of the learning data used for learning the previously prepared determiner and the added determiner for each of the plurality of output data of the added plurality of determiners.
  • the output data of the added discriminator may be output when the distance from the feature data of the learning data used is smaller than the threshold value, and the output data of the prepared discriminator may be output when the distance is equal to or larger than the threshold value ..
  • the characteristic data of the learning data used for learning the prepared discriminator and the learning data used for learning the added discriminator Of the added discriminator is represented by d i
  • the first threshold is represented by d1 i
  • the second threshold is represented by d2 i
  • the output data of the discriminator prepared in advance is represented by y.
  • the output unit 154 outputs the first output data of the first determiner.
  • the output data of another determiner may be selected accordingly, and the output data may be calculated by the weighted sum of the first output data and the output data of the selected determiner.
  • the determiner 136b includes a first determiner, a second determiner, and a third determiner, and the first determiner outputs binary first output data represented by 0 or 1.
  • the second determiner subclassifies the input image when the first output data is 0, and the third determiner subclassifies the input image when the first output data is 1.
  • the characteristic data of the learning data used for the learning of the first determiner is represented as v
  • the characteristic data of the learning data used for the learning of the second determiner is represented as v a
  • is used for the learning of the third determiner. represents the characteristic data of the learning data and v b
  • the first output data of the first decision unit represents a y
  • a second output data of the second slicer represents a y a
  • the third output data of the third determiner Let us denote it as y b .
  • ⁇ a is a parameter associated with the second determiner.
  • ⁇ b is a parameter associated with the third determiner. The output unit 154 when the first output data is 0,
  • the output unit 154 outputs the first output data or the third output data according to
  • a value that interpolates the output data may be output.
  • FIG. 6 is a flowchart of image determination processing executed by the image determination device 100 according to this embodiment.
  • the image determination apparatus 100 sets one or a plurality of feature extractors 136a that output feature data representing specific features of an image to be inspected (S10).
  • the image determination device 100 inputs the first learning image included in the learning data to one or a plurality of feature extractors 136a, and inputs the output first feature data to the first determination device 136b-1,
  • the first determiner 136b-1 is learned so that the first output data corresponding to the first label data included in the learning data is output (S11).
  • the image determining apparatus 100 inputs the second learning image included in the new learning data into one or a plurality of feature extractors 136a, and inputs the output second feature data into the second determiner 136b-2. Then, the second discriminator 136b-2 is learned so that the second output data corresponding to the second label data included in the new learning data is output, and the second characteristic data is stored (S12).
  • the image determining apparatus 100 uses only the second learning image included in the new learning data to determine the parameters of the feature extractor 136a and the first determiner 136b-1. After fixing, the second label data included in the new learning data is estimated from the total determination result obtained by combining the first output data of the first determiner 136b-1 and the second output data of the second determiner 136b-2.
  • the parameters of the second determiner 136b-2 may be adjusted so as to be able to do so.
  • the feature data output as a result of inputting the second learning image to the feature extractor 136a is the second feature data v corresponding to the second determiner 136b-2.
  • the parameter ⁇ a may be set by the user so that the additional learning reduces the influence on the original learning data.
  • the result of statistically processing the plurality of feature data output as a result of inputting the plurality of second learning images to the feature extractor 136a is used as the second determiner 136b-2.
  • the second characteristic data v a and the parameter ⁇ a corresponding to For example, the average value of each component of the feature data represented as a vector, which is output as a result of inputting the plurality of second learning images to the feature extractor 136a, is defined as v a, and the standard of each component of the feature data represented as a vector The deviation may be ⁇ a .
  • the image determination apparatus 100 inputs the newly captured image to one or a plurality of feature extractors 136a and calculates the feature data of the image (S14).
  • the image determination device 100 calculates the distance between the calculated characteristic data and the stored second characteristic data (S15).
  • the image determining apparatus 100 increases the weighting of the second output data of the second determiner 136b-2 as the calculated distance is smaller, so that the first output data of the first determiner 136b-1 and the second determiner 136b.
  • a comprehensive determination result based on the second output data of -2 is calculated (S16).
  • the processes from image capturing (S13) to output data calculation (S16) may be repeatedly performed. With the above, the image determination process ends.
  • FIG. 7 is a diagram showing functional blocks of an image determination device 100a according to a modification example of the present embodiment.
  • the image determination device 100a according to the modification is different from the image determination device 100 according to the present embodiment in that the learning model 136 includes the discriminator 136c, and other configurations are similar to the image determination device 100 according to the present embodiment. It has a similar configuration. The differences will be described below.
  • the discriminator 136c discriminates whether the characteristic data is similar to the first characteristic data or the second characteristic data.
  • the discriminator 136c calculates, for example, the distance between the feature data and the first feature data in the feature space and the distance between the feature data and the second feature data, and identifies the data having a short distance as the data similar to the feature data. Good.
  • the distance between the data representing the plurality of first feature data and the feature data may be calculated, or each of the plurality of first feature data may be calculated. May be combined with the feature data. The same applies to the plurality of second characteristic data.
  • the output unit 154 changes the relative weighting of the first output data of the first determiner 136b-1 and the second output data of the second determiner 136b-2, based on the identification result by the identifier 136c. Specifically, the output unit 154 increases the weighting of the data identified by the discriminator 136c as being similar to the feature data among the first feature data and the second feature data, and outputs the output data representing the comprehensive determination result. To do.
  • the discriminator determines whether the input image is similar to the first learning image or the second learning image, and whether the characteristic data is similar to the first characteristic data or the second characteristic data. And the determination result by the first determiner 136b-1 learned by using the first learning image and the determination result by the second determiner 136b-2 learned by using the second learning image. It can be emphasized or changed.
  • FIG. 8 is a flowchart of the image determination process executed by the image determination device 100a according to the modified example of this embodiment.
  • the image determination apparatus 100a sets one or a plurality of feature extractors 136a that output feature data representing specific features of an image to be inspected (S20).
  • the image determining apparatus 100a inputs the first learning image included in the learning data to one or a plurality of feature extractors 136a, inputs the output first feature data to the first determiner 136b-1, The first determiner 136b-1 is learned so that the first output data corresponding to the first label data included in the learning data is output, and the first characteristic data is stored (S21).
  • the image determination device 100a inputs the second learning image included in the new learning data to the one or more feature extractors 136a, and inputs the output second feature data to the second determiner 136b-2. Then, the second discriminator 136b-2 is learned so that the second output data corresponding to the second label data included in the new learning data is output, and the second characteristic data is stored (S22).
  • the image determination apparatus 100a inputs the newly captured image to one or a plurality of feature extractors 136a and calculates the feature data of the image (S24). The image determination device 100a identifies whether the calculated characteristic data is similar to the stored first characteristic data or second stored characteristic data (S25).
  • the image determining apparatus 100a determines the weighting of the first output data of the first determiner 136b-1 and the second output data of the second determiner 136b-2 based on the identification result, and determines the first output data and the second output. A comprehensive judgment result based on the data is calculated (S26). As a matter of course, the processes from the image capturing (S23) to the output data calculation (S26) may be repeatedly performed. With the above, the image determination process ends.
  • the output unit (154) changes the relative weighting of the first output data and the second output data according to the degree of similarity between the characteristic data and the second characteristic data.
  • the image determination device (100) according to attachment 1.
  • the output unit (154) increases the relative weighting of the second output data as the distance between the feature data and the second feature data in the feature space decreases.
  • the image determination device (100) according to attachment 2.
  • [Appendix 4] Further comprising a discriminator (136c) for discriminating whether the characteristic data is similar to the first characteristic data or the second characteristic data,
  • the output unit (154) changes the relative weighting of the first output data and the second output data based on the discrimination result by the discriminator.
  • the image determination device (100) according to attachment 2 or 3.
  • [Appendix 5] Based on the image to be inspected, represents a determination result regarding the image based on the feature data output from one or more feature extractors (136a) that respectively output feature data representing specific features of the image.
  • the first determiner (136b-1) that outputs the first output data uses the learning data including the first learning image and the first label data to output the first learning image to the one or more feature extractors ( 136a), based on the first feature data output when input to 136a), learning to output the first output data representing the first label data associated with the first learning image;
  • a determination result regarding the image is obtained based on the feature data output from the one or more feature extractors (136a).
  • the first output data output by the first determiner (136b-1) based on the feature data output when the image is input to the one or more feature extractors (136a), and the Based on the second output data output by the second determiner (136b-2) based on the feature data output when the image is input to the one or more feature extractors (136a) Outputting output data representing a comprehensive determination result regarding the image, Image determination method including.
  • the calculation unit provided in the image determination device (100) is One or more feature extractors (136a), each of which outputs feature data representing a particular feature of the image based on the image to be inspected, A first determiner (136b-1) that outputs first output data representing a determination result regarding the image based on the feature data output from the one or more feature extractors (136a); A second determiner (136b-2) that outputs second output data indicating a determination result regarding the image based on the feature data output from the one or more feature extractors (136a); Based on the first feature data output when the first study image is input to the one or more feature extractors (136a) using the study data including the first study image and the first label data, A first learning unit for learning the first determiner (136b-1) so as to output the first output data representing the first label data associated with the first learning image, The second feature output when the second learning image is input to the one or more feature extractors (136a) when new learning data including the second learning image and the second

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

学習モデルの追加学習を行う場合であっても、学習モデルのどのような変更によって判定結果が変化したのかが明確となる画像判定装置等を提供する。画像判定装置は、それぞれ、検査対象の画像に基づいて、画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器と、第１学習画像を１又は複数の特徴抽出器に入力した場合に出力される第１特徴データに基づいて、第１学習画像に関連付けられた第１ラベルデータを表す第１出力データを出力するように第１判定器を学習させる第１学習部と、第２学習画像を１又は複数の特徴抽出器に入力した場合に出力される第２特徴データに基づいて、第２学習画像に関連付けられた第２ラベルデータを表す第２出力データを出力するように第２判定器を学習させる第２学習部と、第１出力データ及び第２出力データに基づいて、画像に関する総合判定結果を表す出力データを出力する出力部と、を備える。

Description

画像判定装置、画像判定方法及び画像判定プログラム
　本発明は、画像判定装置、画像判定方法及び画像判定プログラムに関する。
　従来、ＦＡ（Factory Automation）分野では、画像処理を用いた自動制御が広く実用化されている。例えば、ワーク等の検査対象を撮像し、その撮像された画像から抽出された特徴量に基づいて、当該ワークについての良否を検査するような工程が実現される。
　例えば特許文献１には、複数の撮像条件で撮像した検査対象の画像を学習用データに用いて学習した識別器の出力結果に基づいて、検査対象の欠陥の有無を判定する装置について開示されている。具体的には、特許文献１に記載の装置は、外観の良否が既知の対象物に対して、少なくとも２つの異なる撮像条件で撮像された画像に基づく少なくとも２つの画像のそれぞれから、当該画像の特徴量を抽出する学習用抽出手段と、前記学習用抽出手段により前記少なくとも２つの画像から抽出された特徴量を跨る特徴量から、対象物の良否を判定するための特徴量を選択する選択手段と、前記選択手段により選択された前記特徴量に基づいて、対象物の良否を判定する識別器を生成する生成手段と、を有する。
特開２０１７－４９９７４号公報
　検査対象の画像について学習モデルによって欠陥の有無やワーク種類等の判定を行う場合、新たに取得した画像や学習モデルによって誤った判定がされた画像を用いて学習モデルの追加学習を行うことがある。しかしながら、追加学習によって学習モデルの任意のパラメータを更新すると、追加学習によって学習モデルのどのような部分に変更が加えられたのかが不明確となり、学習モデルのどのような変更によって判定結果が変化したのか説明できなくなることがある。
　そこで、本発明は、学習モデルの追加学習を行う場合であっても、学習モデルのどのような変更によって判定結果が変化したのかが明確となる画像判定装置、画像判定方法及び画像判定プログラムを提供する。
　本開示の一態様に係る画像判定装置は、それぞれ、検査対象の画像に基づいて、画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器と、１又は複数の特徴抽出器から出力された特徴データに基づいて、画像に関する判定結果を表す第１出力データを出力する第１判定器と、１又は複数の特徴抽出器から出力された特徴データに基づいて、画像に関する判定結果を表す第２出力データを出力する第２判定器と、第１学習画像及び第１ラベルデータを含む学習データを用いて、第１学習画像を１又は複数の特徴抽出器に入力した場合に出力される第１特徴データに基づいて、第１学習画像に関連付けられた第１ラベルデータを表す第１出力データを出力するように第１判定器を学習させる第１学習部と、第２学習画像及び第２ラベルデータを含む新たな学習データが追加された場合に、第２学習画像を１又は複数の特徴抽出器に入力した場合に出力される第２特徴データに基づいて、第２学習画像に関連付けられた第２ラベルデータを表す第２出力データを出力するように第２判定器を学習させる第２学習部と、画像が１又は複数の特徴抽出器に入力された場合に出力された特徴データに基づいて第１判定器により出力された第１出力データ及び画像が１又は複数の特徴抽出器に入力された場合に出力された特徴データに基づいて第２判定器により出力された第２出力データに基づいて、画像に関する総合判定結果を表す出力データを出力する出力部と、を備える。
　この態様によれば、追加学習によって新たに第２判定器を生成して追加し、第１判定器及び第２判定器による判定を総合することで、学習モデルの追加学習を行う場合であっても、学習モデルのどのような変更によって判定結果が変化したのかが明確となる。
　上記態様において、出力部は、特徴データと第２特徴データとの類似度に応じて第１出力データ及び第２出力データの相対的な重み付けを変化させてもよい。
　この態様によれば、入力された画像が第２学習画像に類似するものであるかを、特徴データと第２特徴データの類似度によって判定し、第１学習画像を用いて学習された第１判定器による判定結果と第２学習画像を用いて学習された第２判定器による判定結果のいずれを重視するか変化させることができる。
　上記態様において、出力部は、特徴空間における特徴データと第２特徴データとの距離が小さいほど第２出力データの相対的な重み付けを大きくしてもよい。
　この態様によれば、入力された画像が第２学習画像に類似するものであるかを、特徴データと第２特徴データの距離によって判定し、距離が近いほど、第２学習画像を用いて学習された第２判定器による判定結果を重視させることができる。
　上記態様において、特徴データが、第１特徴データ及び第２特徴データのいずれに類似するかを識別する識別器をさらに備え、出力部は、識別器による識別結果に基づいて、第１出力データ及び第２出力データの相対的な重み付けを変化させてもよい。
　この態様によれば、入力された画像が第１学習画像及び第２学習画像いずれに類似するものであるかを、特徴データが第１特徴データ及び第２特徴データいずれに類似するか識別器によって識別することで判定し、第１学習画像を用いて学習された第１判定器による判定結果と第２学習画像を用いて学習された第２判定器による判定結果のいずれを重視するか変化させることができる。
　本開示の他の態様に係る画像判定方法は、検査対象の画像に基づいて、画像の特定の特徴を表す特徴データをそれぞれ出力する１又は複数の特徴抽出器から出力された特徴データに基づいて、画像に関する判定結果を表す第１出力データを出力する第１判定器を、第１学習画像及び第１ラベルデータを含む学習データを用いて、第１学習画像を１又は複数の特徴抽出器に入力した場合に出力される第１特徴データに基づいて、第１学習画像に関連付けられた第１ラベルデータを表す第１出力データを出力するように学習させることと、第２学習画像及び第２ラベルデータを含む新たな学習データが追加された場合に、１又は複数の特徴抽出器から出力された特徴データに基づいて、画像に関する判定結果を表す第２出力データを出力する第２判定器を、第２学習画像を１又は複数の特徴抽出器に入力した場合に出力される第２特徴データに基づいて、第２学習画像に関連付けられた第２ラベルデータを表す第２出力データを出力するように学習させることと、画像が１又は複数の特徴抽出器に入力された場合に出力された特徴データに基づいて第１判定器により出力された第１出力データ及び画像が１又は複数の特徴抽出器に入力された場合に出力された特徴データに基づいて第２判定器により出力された第２出力データに基づいて、画像に関する総合判定結果を表す出力データを出力することと、を含む。
　この態様によれば、追加学習によって新たに第２判定器を生成して追加し、第１判定器及び第２判定器による判定を総合することで、学習モデルの追加学習を行う場合であっても、学習モデルのどのような変更によって判定結果が変化したのかが明確となる。
　本開示の他の態様に係る画像判定プログラムは、画像判定装置に備えられた演算部を、それぞれ、検査対象の画像に基づいて、画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器、１又は複数の特徴抽出器から出力された特徴データに基づいて、画像に関する判定結果を表す第１出力データを出力する第１判定器、１又は複数の特徴抽出器から出力された特徴データに基づいて、画像に関する判定結果を表す第２出力データを出力する第２判定器、第１学習画像及び第１ラベルデータを含む学習データを用いて、第１学習画像を１又は複数の特徴抽出器に入力した場合に出力される第１特徴データに基づいて、第１学習画像に関連付けられた第１ラベルデータを表す第１出力データを出力するように第１判定器を学習させる第１学習部、第２学習画像及び第２ラベルデータを含む新たな学習データが追加された場合に、第２学習画像を１又は複数の特徴抽出器に入力した場合に出力される第２特徴データに基づいて、第２学習画像に関連付けられた第２ラベルデータを表す第２出力データを出力するように第２判定器を学習させる第２学習部、及び画像が１又は複数の特徴抽出器に入力された場合に出力された特徴データに基づいて第１判定器により出力された第１出力データ及び画像が１又は複数の特徴抽出器に入力された場合に出力された特徴データに基づいて第２判定器により出力された第２出力データに基づいて、画像に関する総合判定結果を表す出力データを出力する出力部、として機能させる。
　この態様によれば、追加学習によって新たに第２判定器を生成して追加し、第１判定器及び第２判定器による判定を総合することで、学習モデルの追加学習を行う場合であっても、学習モデルのどのような変更によって判定結果が変化したのかが明確となる。
　本発明によれば、学習モデルの追加学習を行う場合であっても、学習モデルのどのような変更によって判定結果が変化したのかが明確となる画像判定装置、画像判定方法及び画像判定プログラムを提供することができる。
本発明の実施形態に係る画像判定システムの構成例を示す図である。 本実施形態に係る画像判定装置のハードウェア構成を示す図である。 本実施形態に係る画像判定装置の機能ブロックを示す図である。 本実施形態に係る学習モデルの構成例を示す図である。 本実施形態に係る学習モデルの編集例を示す図である。 本実施形態に係る画像判定装置により実行される画像判定処理のフローチャートである。 本実施形態の変形例に係る画像判定装置の機能ブロックを示す図である。 本実施形態の変形例に係る画像判定装置により実行される画像判定処理のフローチャートである。
　以下、本発明の一側面に係る実施の形態（以下「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。
　§１　適用例
　図１は、本発明の実施形態に係る画像判定システム１の構成例を示す図である。はじめに、本発明が適用される場面の一例について説明する。本実施形態に係る画像判定システム１は、検査対象を撮像することにより生成される入力画像を、画像判定装置１００が備える学習モデルによって解析し、欠陥検査や対象の分類を行う。学習モデルは、学習データを用いて、検査対象に関する欠陥の有無や検査対象の種類を分類するように事前に学習されていてよい。また、学習モデルは、新たな学習データが得られた場合に、追加学習されてよい。本実施形態に係る画像判定システム１は、学習モデルの追加学習を行う場合に、学習モデルのどのような変更によって判定結果が変化したのかが明確となるように学習モデルを更新する。なお、検査対象は、例えば、製造過程にある、部品、製品等のワーク（Work piece）等を含む。
　図１に示されるとおり、画像判定システム１は、例えば、ベルトコンベア２上を搬送される検査対象であるワーク４を撮像して得られる入力画像に対して画像計測処理を実行することで、ワーク４の外観検査又は外観計測を実現する。以下の説明においては、画像計測処理の典型例として、ワーク４表面における欠陥の有無の検査等に適用した例を説明するが、これに限らず、欠陥の種類の特定、欠陥の外観形状の寸法計測、ワーク４の種類の特定等にも応用が可能である。
　ベルトコンベア２の上部には撮像部であるカメラ１０２が配置されており、カメラ１０２の撮像視野６はベルトコンベア２の所定領域を含むように構成される。カメラ１０２の撮像により生成された画像データ（以下、「入力画像」ともいう。）は、画像判定装置１００へ送信される。カメラ１０２による撮像は、周期的又はイベント発生時に実行される。
　画像判定装置１００は、上位ネットワーク８を介して、ＰＬＣ（プログラマブルコントローラ）１０及びデータベース装置１２等と接続されている。画像判定装置１００における計測結果は、ＰＬＣ１０及び／又はデータベース装置１２へ送信されてもよい。なお、上位ネットワーク８には、ＰＬＣ１０及びデータベース装置１２に加えて、任意の装置が接続されるようにしてもよい。
　画像判定装置１００は、処理中の状態や計測結果等を表示するためのディスプレイ１０４と、ユーザ操作を受け付ける入力部としてのキーボード１０６及びマウス１０８とが接続されていてもよい。
　画像判定装置１００は機械学習によって生成された学習モデルを備えている。学習モデルは、画像を入力として受け付けて、画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器と、１又は複数の特徴抽出器から出力された特徴データに基づいて、画像に関する判定結果を表す第１出力データを出力する第１判定器と、１又は複数の特徴抽出器から出力された特徴データに基づいて、画像に関する判定結果を表す第２出力データを出力する第２判定器とを含む。ここで、１又は複数の特徴抽出器は、例えば、画像に含まれるエッジを抽出するエッジ抽出器、画像に含まれる平面領域を抽出する平面部抽出器、画像の背景模様を抽出する背景模様抽出器、画像に含まれる２値化領域を抽出する２値化領域抽出器等を含んでよい。１又は複数の特徴抽出器は、それぞれ人が理解しやすい単一の特徴を抽出するようなモデルであってよく、機械学習モデルであってもよいし、ルールベースモデルであってもよい。第１判定器及び第２判定器は、１又は複数の特徴データを入力として受け付けて、画像に関する判定結果を表す出力データを出力する。出力データは、例えば、検査対象の欠陥の有無、欠陥の種類、欠陥の外観形状の寸法、検査対象の種類等を表すデータであってよい。第１判定器及び第２判定器は、例えばニューラルネットワークで構成されてよい。
　生産ライン上を流れるワーク４の種類や撮影条件等の検査条件は生産ラインによって様々であり、学習時の条件と必ずしも一致するとは限らない。このため、事前学習した学習モデルを生産ラインに用いると、誤った判定結果を出力することがある。そこで、学習モデルが正しく判定することができなかった画像を集めて、学習モデルの追加学習を行うことがある。この際、何ら制約無しに学習モデルの更新を行うと、当初想定していた特徴に注目して判定が行われているのか否かが不明確となり、追加学習によって学習モデルのどのような部分に変更が加えられたのかが不明確となり、学習モデルのどのような変更によって判定結果が変化したのか説明できなくなることがある。そのため、生産ラインに学習モデルを導入する場合に、学習モデルの信頼性を説明することが困難となり、導入が妨げられる原因となることがある。
　本実施形態に係る画像判定装置１００は、このような事情に鑑み、第１判定器を事前学習によって生成して、第２判定器を追加学習によって生成して、学習モデルに含まれる１又は複数の特徴抽出器については変更を加えないこととして、追加学習によって学習モデルのどのような部分に変更が加えられたのかを明確としている。追加学習では、１又は複数の特徴抽出器の構成を固定して、第２判定器を学習する。そして、画像判定装置１００は、第１判定器及び第２判定器の出力を統合して、総合判定結果を出力する。このように、追加学習によって新たに第２判定器を生成して追加することで、学習モデルの追加学習を行う場合であっても、学習モデルのどのような変更によって判定結果が変化したのかが明確となる。これにより、生産ラインに学習モデルを導入する場合に、学習モデルの信頼性を説明することが容易となり、導入が妨げられないようにすることができる。なお、画像判定装置１００は、新たな学習データが追加される度に、新たな判定器を追加してよい。そして、画像判定装置１００は、複数の判定器の出力を統合して、総合判定結果を出力してよい。
　§２　構成例
［ハードウェア構成］
　図２は、本実施形態に係る画像判定装置１００のハードウェア構成を示す図である。画像判定装置１００は、一例として、汎用的なコンピュータアーキテクチャに従って構成される汎用コンピュータを用いて実現されてもよい。画像判定装置１００は、プロセッサ１１０と、メインメモリ（主記憶部）１１２と、カメラインターフェイス１１４と、入力インターフェイス１１６と、表示インターフェイス１１８と、通信インターフェイス１２０と、ストレージ（補助記憶部）１３０とを含む。これらのコンポーネントは、典型的には、内部バス１２２を介して互いに通信可能に接続されている。
　プロセッサ１１０は、ストレージ１３０に格納されているプログラムをメインメモリ１１２に展開して実行することで、次図以降を用いて詳述するような機能及び処理を実現する。メインメモリ１１２は、揮発性メモリにより構成され、プロセッサ１１０によるプログラム実行に必要なワークメモリとして機能する。
　カメラインターフェイスは取得部の一例である。カメラインターフェイス１１４は、カメラ１０２と接続されて、カメラ１０２にて撮像された入力画像を取得する。カメラインターフェイス１１４は、カメラ１０２に対して撮像タイミング等を指示するようにしてもよい。
　入力インターフェイス１１６は、キーボード１０６及びマウス１０８等のユーザによる操作が行われる入力部と接続される。入力インターフェイス１１６は、ユーザが入力部に対して行った操作等を示す指令を取得する。
　表示インターフェイス１１８は、表示部としてのディスプレイ１０４と接続されている。表示インターフェイス１１８は、プロセッサ１１０によるプログラムの実行によって生成される各種処理結果をディスプレイ１０４へ出力する。
　通信インターフェイス１２０は、上位ネットワーク８を介して、ＰＬＣ１０及びデータベース装置１２等と通信するための処理を担当する。
　ストレージ１３０は、学習モデル１３６を実現するための画像処理プログラム１３２及びＯＳ（operating system）１３４等、コンピュータを画像判定装置１００として機能させるためのプログラムを格納している。ストレージ１３０は、さらに、学習モデル１３６と、カメラ１０２から取得された入力画像１３８と、学習モデル１３６の学習に用いられる学習データ１４０とを格納していてもよい。なお、学習データ１４０は、データベース装置１２等の外部機器から上位ネットワーク８を介して取得されてよく、ストレージ１３０に一時的に格納されるものであってよい。
　ストレージ１３０に格納される画像処理プログラム１３２は、ＤＶＤ（digital versatile disc）等の光学記録媒体又はＵＳＢ（universal serial bus）メモリ等の半導体記録媒体等を介して、画像判定装置１００にインストールされてもよい。あるいは、画像処理プログラム１３２は、ネットワーク上のサーバ装置等からダウンロードするようにしてもよい。
　本実施の形態に係る画像処理プログラム１３２は、本実施の形態に係る機能を実現するためのすべてのソフトウェアモジュールを含んでおらず、ＯＳ１３４と協働することで、必要な機能が提供されるようにしてもよい。
　本実施の形態に係る画像処理プログラム１３２は、他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、画像処理プログラム１３２自体には、上記のような組合せられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。このように、本実施形態に係る画像処理プログラム１３２は、他のプログラムに組込まれた形態であってもよい。
　図２には、汎用コンピュータを用いて画像判定装置１００を実現する例を示したが、これに限られることなく、その全部又は一部の機能を専用回路（例えば、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field-programmable gate array）等）を用いて実現してもよい。さらに、一部の処理をネットワーク接続された外部装置に担当させてもよい。
［機能構成］
　図３は、本実施形態に係る画像判定装置１００の機能ブロックを示す図である。画像判定装置１００は、ストレージ１３０に格納された学習モデル１３６と、学習部１５２と、出力部１５４とを備える。
　学習モデル１３６は、１又は複数の特徴抽出器１３６ａ及び判定器１３６ｂを含む。１又は複数の特徴抽出器１３６ａは、それぞれ、検査対象の画像に基づいて、画像の特定の特徴を表す特徴データを出力する。判定器１３６ｂは、１又は複数の特徴抽出器１３６ａから出力された特徴データに基づいて、画像に関する判定結果を表す出力データを出力する。
　判定器１３６ｂは、異なる学習データで学習された複数の判定器を含む。本実施形態では、判定器１３６ｂは、第１判定器１３６ｂ－１及び第２判定器１３６ｂ－２を含む。第１判定器１３６ｂ－１は、１又は複数の特徴抽出器１３６ａから出力された特徴データに基づいて、画像に関する判定結果を表す第１出力データを出力する。第２判定器１３６ｂ－２は、１又は複数の特徴抽出器１３６ａから出力された特徴データに基づいて、画像に関する判定結果を表す第２出力データを出力する。なお、判定器１３６ｂは、３以上の判定器を含んでもよい。
　学習部１５２は、第１学習部１５２ａ及び第２学習部１５２ｂを含む。第１学習部１５２ａは、第１学習画像及び第１ラベルデータを含む学習データ１４０を用いて、第１学習画像を１又は複数の特徴抽出器１３６ａに入力した場合に出力される第１特徴データに基づいて、第１学習画像に関連付けられた第１ラベルデータを表す第１出力データを出力するように第１判定器１３６ｂ－１を学習させる。ここで、第１学習画像は、予め撮影された検査対象の画像である。また、第１ラベルデータは、検査対象の状態を表すデータであり、例えば、検査対象に関する欠陥の有無、欠陥の種類、欠陥の外観形状の寸法、検査対象の種類等を表すデータであってよい。第１判定器１３６ｂ－１の学習処理は、画像判定装置１００が生産ラインに組み込まれる前に実行されてよい。
　第２学習部１５２ｂは、第２学習画像及び第２ラベルデータを含む新たな学習データが追加された場合に、第２学習画像を１又は複数の特徴抽出器１３６ａに入力した場合に出力される第２特徴データに基づいて、第２学習画像に関連付けられた第２ラベルデータを表す第２出力データを出力するように第２判定器１３６ｂ－２を学習させる。ここで、第２学習画像は、生産ラインを稼働させている間に撮影された検査対象の画像であってよく、第１判定器１３６ｂ－１が判定を誤った画像であってよい。また、第２ラベルデータは、検査対象の状態を表すデータであり、例えば、検査対象に関する欠陥の有無、欠陥の種類、欠陥の外観形状の寸法、検査対象の種類等を表すデータであってよい。第２判定器１３６ｂ－２の学習処理は、画像判定装置１００が生産ラインに組み込まれ、生産ラインが稼働した後に実行されてよい。
　出力部１５４は、検査対象の画像が１又は複数の特徴抽出器１３６ａに入力された場合に出力された特徴データに基づいて第１判定器１３６ｂ－１により出力された第１出力データ及び画像が１又は複数の特徴抽出器１３６ａに入力された場合に出力された特徴データに基づいて第２判定器１３６ｂ－２により出力された第２出力データに基づいて、画像に関する総合判定結果を表す出力データを出力する。このように、出力部１５４は、当初より設定されていた第１判定器１３６ｂ－１による第１出力データと、事後的に追加された第２判定器１３６ｂ－２による第２出力データとを総合して、検査対象の画像に関する総合判定結果を表す出力データを出力する。
　出力部１５４は、特徴データと第２特徴データとの類似度に応じて第１出力データ及び第２出力データの相対的な重み付けを変化させてよい。ここで、特徴データは、新たに撮影された検査対象の画像を１又は複数の特徴抽出器１３６ａに入力して得られるデータであり、第２特徴データは、新たな学習データに含まれる第２学習画像を１又は複数の特徴抽出器１３６ａに入力して得られるデータである。第２学習画像は一般に複数あってよく、第２特徴データも複数あってよい。特徴データと第２特徴データとの類似度を算出する場合、複数の第２特徴データを代表するデータと、特徴データとの類似度を算出してもよいし、複数の第２特徴データそれぞれと特徴データとの類似度を総合してもよい。これにより、入力された画像が第２学習画像に類似するものであるかを、特徴データと第２特徴データの類似度によって判定し、第１学習画像を用いて学習された第１判定器１３６ｂ－１による判定結果と第２学習画像を用いて学習された第２判定器１３６ｂ－２による判定結果のいずれを重視するか変化させることができる。
　出力部１５４は、特徴空間における特徴データと第２特徴データとの距離が小さいほど第２出力データの相対的な重み付けを大きくしてよい。特徴データと第２特徴データとの距離を算出する場合、複数の第２特徴データを代表するデータと、特徴データとの距離を算出してもよいし、複数の第２特徴データそれぞれと特徴データとの距離を総合してもよい。これにより、入力された画像が第２学習画像に類似するものであるかを、特徴データと第２特徴データの距離によって判定し、距離が近いほど、第２学習画像を用いて学習された第２判定器１３６ｂ－２による判定結果を重視させることができる。
　§３　動作例
　図４は、本実施形態に係る学習モデル１３６の構成例を示す図である。本例の学習モデル１３６は、特徴抽出器１３６ａと、判定器１３６ｂとを含み、判定器１３６ｂは、第１判定器１３６ｂ－１を含む。
　特徴抽出器１３６ａは、入力データ１３６ｉ（検査対象の画像）を入力として受け付け、画像の特徴を表す特徴データを出力する。特徴抽出器１３６ａは、画像に含まれるエッジを抽出したり、画像に含まれる平面領域を抽出したり、画像の背景模様を抽出したり、画像に含まれる２値化領域を抽出したりしてよい。
　第１判定器１３６ｂ－１は、特徴抽出器１３６ａから出力された特徴データを入力とし、入力データ１３６ｉ（画像）に関する判定結果を表す第１出力データを出力する。
　出力部１５４は、第１出力データを入力として受け付け、入力データ１３６ｉ（画像）に関する総合判定結果を表す出力データ１３６ｏを出力する。なお、本例のように判定器１３６ｂが単一の判定器しか含まない場合、出力部１５４は、第１判定器１３６ｂ－１から受け付けた第１出力データをそのまま出力データ１３６ｏとして出力してよい。
　図５は、本実施形態に係る学習モデル１３６の編集例を示す図である。本例では、新たな学習データを用いて生成された第２判定器１３６ｂ－２が追加された例を示している。本例の学習モデル１３６は、特徴抽出器１３６ａと、判定器１３６ｂとを含み、判定器１３６ｂは、第１判定器１３６ｂ－１及び第２判定器１３６ｂ－２を含む。
　第２判定器１３６ｂ－２は、特徴抽出器１３６ａから出力された特徴データを入力とし、入力データ１３６ｉ（画像）に関する判定結果を表す第２出力データを出力する。
　出力部１５４は、第１出力データ及び第２出力データを入力として受け付け、入力データ１３６ｉ（画像）に関する総合判定結果を表す出力データ１３６ｏを出力する。出力部１５４は、特徴空間における特徴データと第２特徴データとの距離が小さいほど第２出力データの相対的な重み付けを大きくしてよい。具体的には、特徴データをｖと表し、新たな学習データに含まれる第２学習画像を特徴抽出器１３６ａに入力した場合に出力される第２特徴データをｖａと表し、第１出力データをｙと表し、第２出力データをｙａと表すとき、出力部１５４は、出力データｙ´を、ｙ´＝ｙ＋ｙａｅｘｐ（－｜｜ｖａ－ｖ｜｜２／２σａ ２）と算出してよい。ここで、｜｜ｖａ－ｖ｜｜２は、特徴空間における距離の２乗を表し、複数の第２特徴データを代表するデータと、特徴データとの距離の２乗であってもよいし、複数の第２特徴データそれぞれと特徴データとの距離の２乗を総合した値であってもよい。ここでσａは、特徴空間における特徴データｖと第２特徴データｖａとの距離が大きくなるほど第２出力データｙａの相対的な重みを小さくするパラメータである。特徴空間が多次元の場合は、特徴データｖはベクトルとなる。その場合、特徴データｖに対応するように、第２特徴データｖａもベクトルであってよく、パラメータσａは行列であってよい。例えば、特徴データｖの成分がｖ＝（ｖ０，ｖ１，ｖ２，…）であるとき、第２特徴データをｖａ＝（ｖａ０，ｖａ１，ｖａ２，…）とし、σａ＝ｄｉａｇ（σａ０，σａ１，σａ２，…）として、ｙ´＝ｙ＋ｙａｅｘｐ（－｜｜ｖａ０－ｖ０｜｜２／２σａ０ ２）ｅｘｐ（－｜｜ｖａ１－ｖ１｜｜２／２σａ１ ２）ｅｘｐ（－｜｜ｖａ２－ｖ２｜｜２／２σａ２ ２）…としてもよい。
　出力部１５４は、特徴空間における特徴データと第２特徴データとの距離が閾値より小さい場合に第２出力データを出力データとして出力し、特徴データと第２特徴データとの距離が閾値以上の場合に第１出力データを出力データとして出力してもよい。また、出力部１５４は、特徴空間における特徴データと第２特徴データとの距離が第１閾値より小さい場合に第２出力データを出力データとして出力し、特徴データと第２特徴データとの距離が第１閾値より大きい第２閾値以上の場合に第１出力データを出力データとして出力し、特徴データと第２特徴データとの距離が第１閾値以上かつ第２閾値未満の場合に、第１出力データと第２出力データを特徴データ間の距離に応じて線形補間した値を出力データとして出力してもよい。具体的には、特徴データと第２特徴データとの距離をｄと表し、第１閾値をｄ１と表し、第２閾値をｄ２と表し、第１出力データをｙと表し、第２出力データをｙａと表すとき、特徴データと第２特徴データとの距離ｄが第１閾値ｄ１以上かつ第２閾値ｄ２未満の場合に、出力部１５４は、出力データｙ´を、ｙ´＝ｙａ＋（ｄ－ｄ１）×（ｙ－ｙａ）／（ｄ２－ｄ１）と算出してよい。
　判定器１３６ｂが３以上の判定器を含む場合、出力部１５４は、事前に用意された判定器を学習するために用いた学習データの特徴データと、追加した複数の判定器を学習するために用いた複数の学習データそれぞれの特徴データとの類似度に応じて、事前に用意された判定器の出力データと、追加した複数の判定器の複数の出力データの相対的な重み付けを変化させてよい。具体的には、事前に用意された判定器を学習するために用いた学習データの特徴データをｖと表し、追加した複数の判定器を学習するために用いた複数の学習データそれぞれの特徴データをｖａ，ｖｂ，…と表し、事前に用意された判定器の出力データをｙと表し、追加した複数の判定器の複数の出力データをｙａ，ｙｂ，…と表すとき、出力部１５４は、出力データｙ´を、ｙ´＝ｙ＋ｙａｅｘｐ（－｜｜ｖａ－ｖ｜｜２／２σａ ２）＋ｙｂｅｘｐ（－｜｜ｖｂ－ｖ｜｜２／２σｂ ２）…と算出してよい。また、出力部１５４は、追加した複数の判定器の複数の出力データそれぞれについて、事前に用意された判定器を学習するために用いた学習データの特徴データと追加した判定器を学習するために用いた学習データの特徴データとの距離が閾値より小さい場合に追加した判定器の出力データを出力し、距離が閾値以上の場合に事前に用意された判定器の出力データを出力してもよい。さらに、追加した複数の判定器の複数の出力データそれぞれについて、事前に用意された判定器を学習するために用いた学習データの特徴データと、追加した判定器を学習するために用いた学習データの特徴データとの距離をｄｉと表し、第１閾値をｄ１ｉと表し、第２閾値をｄ２ｉと表し、事前に用意された判定器の出力データをｙと表し、追加した判定器の出力データをｙｉと表すとき、距離ｄｉが第１閾値ｄ１ｉ以上かつ第２閾値ｄ２ｉ未満の場合に、出力部１５４は、出力データｙ´を、ｙ´＝ｙｉ＋（ｄｉ－ｄ１ｉ）×（ｙ－ｙｉ）／（ｄ２ｉ－ｄ１ｉ）と算出してよい。
　また、判定器１３６ｂが３以上の判定器を含む場合であって、第１判定器による分類を他の判定器によって細分類する場合、出力部１５４は、第１判定器の第１出力データに応じて他の判定器の出力データを選択し、第１出力データと選択した判定器の出力データの重み付け和によって出力データを算出してもよい。具体的には、例えば、判定器１３６ｂが第１判定器、第２判定器及び第３判定器を含み、第１判定器が０又は１で表される２値の第１出力データを出力し、第２判定器は、第１出力データが０の場合に入力画像を細分類し、第３判定器は、第１出力データが１の場合に入力画像を細分類するものとする。そして、第１判定器の学習に用いた学習データの特徴データをｖと表し、第２判定器の学習に用いた学習データの特徴データをｖａと表し、第３判定器の学習に用いた学習データの特徴データをｖｂと表し、第１判定器の第１出力データをｙと表し、第２判定器の第２出力データをｙａと表し、第３判定器の第３出力データをｙｂと表すこととする。このとき、出力部１５４は、第１出力データｙが０であれば、出力データｙ´を、ｙ´＝ｙ＋ｙａｅｘｐ（－｜｜ｖａ－ｖ｜｜２／２σａ ２）と算出してよい。ここで、σａは、第２判定器に関連付けられたパラメータである。また、出力部１５４は、第１出力データｙが１であれば、出力データｙ´を、ｙ´＝ｙ＋ｙｂｅｘｐ（－｜｜ｖｂ－ｖ｜｜２／２σｂ ２）と算出してよい。ここで、σｂは、第３判定器に関連付けられたパラメータである。なお、出力部１５４は、第１出力データが０の場合に、｜｜ｖａ－ｖ｜｜に応じて第１出力データ又は第２出力データを出力したり、第１出力データ及び第２出力データを補間する値を出力したりしてもよい。同様に、出力部１５４は、第１出力データが１の場合に、｜｜ｖｂ－ｖ｜｜に応じて第１出力データ又は第３出力データを出力したり、第１出力データ及び第３出力データを補間する値を出力したりしてもよい。
　図６は、本実施形態に係る画像判定装置１００により実行される画像判定処理のフローチャートである。はじめに、画像判定装置１００は、検査対象の画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器１３６ａを設定する（Ｓ１０）。
　その後、画像判定装置１００は、学習データに含まれる第１学習画像を１又は複数の特徴抽出器１３６ａに入力し、出力される第１特徴データを第１判定器１３６ｂ－１に入力して、学習データに含まれる第１ラベルデータに対応する第１出力データが出力されるように、第１判定器１３６ｂ－１の学習を行う（Ｓ１１）。
　また、画像判定装置１００は、新たな学習データに含まれる第２学習画像を１又は複数の特徴抽出器１３６ａに入力し、出力される第２特徴データを第２判定器１３６ｂ－２に入力して、新たな学習データに含まれる第２ラベルデータに対応する第２出力データが出力されるように、第２判定器１３６ｂ－２の学習を行い、第２特徴データを記憶する（Ｓ１２）。
　画像判定装置１００は、第２判定器１３６ｂ－２を学習する場合は、新たな学習データに含まれる第２学習画像のみを用いて、特徴抽出器１３６ａ及び第１判定器１３６ｂ－１のパラメータを固定したうえで、第１判定器１３６ｂ－１の第１出力データ及び第２判定器１３６ｂ－２の第２出力データを合わせた総合判定結果から新たな学習データに含まれる第２ラベルデータが推定できるように、第２判定器１３６ｂ－２のパラメータを調整してよい。ここで、第２学習画像が１枚である場合は、第２学習画像を特徴抽出器１３６ａに入力した結果出力される特徴データを、第２判定器１３６ｂ－２に対応する第２特徴データｖａとし、パラメータσａは、追加学習により元の学習データに対する影響が少なくなるようユーザが決定してよい。また、第２学習画像が複数枚である場合は、複数の第２学習画像を特徴抽出器１３６ａに入力した結果出力される複数の特徴データを統計処理した結果を、第２判定器１３６ｂ－２に対応する第２特徴データｖａとパラメータσａとしてもよい。例えば、複数の第２学習画像を特徴抽出器１３６ａに入力した結果出力され、ベクトルとして表される特徴データの各成分の平均値をｖａとし、ベクトルとして表される特徴データの各成分の標準偏差をσａとしてもよい。
　その後、カメラ１０２によって検査対象の画像を撮影する（Ｓ１３）。そして、画像判定装置１００は、新たに撮影された画像を１又は複数の特徴抽出器１３６ａに入力し、画像の特徴データを算出する（Ｓ１４）。画像判定装置１００は、算出された特徴データと、記憶された第２特徴データの距離を算出する（Ｓ１５）。
　画像判定装置１００は、算出された距離が小さいほど第２判定器１３６ｂ－２の第２出力データの重み付けを大きくして、第１判定器１３６ｂ－１の第１出力データと第２判定器１３６ｂ－２の第２出力データによる総合判定結果を算出する（Ｓ１６）。当然ながら、画像の撮影（Ｓ１３）から出力データの算出（Ｓ１６）までの処理は繰り返し行われてよい。以上により、画像判定処理が終了する。
　§４　変形例
　図７は、本実施形態の変形例に係る画像判定装置１００ａの機能ブロックを示す図である。変形例に係る画像判定装置１００ａは、学習モデル１３６に識別器１３６ｃが含まれる点で、本実施形態に係る画像判定装置１００と相違し、その他の構成について本実施形態に係る画像判定装置１００と同様の構成を有する。以下では、相違点について説明する。
　識別器１３６ｃは、特徴データが、第１特徴データ及び第２特徴データのいずれに類似するかを識別する。識別器１３６ｃは、例えば、特徴空間における特徴データと第１特徴データの距離と、特徴データと第２特徴データの距離とを算出し、距離が近いデータを特徴データに類似するデータと識別してよい。ここで、特徴データと第１特徴データとの距離を算出する場合、複数の第１特徴データを代表するデータと、特徴データとの距離を算出してもよいし、複数の第１特徴データそれぞれと特徴データとの距離を総合してもよい。複数の第２特徴データについても同様である。
　出力部１５４は、識別器１３６ｃによる識別結果に基づいて、第１判定器１３６ｂ－１の第１出力データ及び第２判定器１３６ｂ－２の第２出力データの相対的な重み付けを変化させる。具体的には、出力部１５４は、第１特徴データ及び第２特徴データのうち識別器１３６ｃにより特徴データに類似すると識別されたデータの重み付けを大きくして、総合判定結果を表す出力データを出力する。
　このようにして、入力された画像が第１学習画像及び第２学習画像いずれに類似するものであるかを、特徴データが第１特徴データ及び第２特徴データいずれに類似するか識別器によって識別することで判定し、第１学習画像を用いて学習された第１判定器１３６ｂ－１による判定結果と第２学習画像を用いて学習された第２判定器１３６ｂ－２による判定結果のいずれを重視するか変化させることができる。
　図８は、本実施形態の変形例に係る画像判定装置１００ａにより実行される画像判定処理のフローチャートである。はじめに、画像判定装置１００ａは、検査対象の画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器１３６ａを設定する（Ｓ２０）。
　その後、画像判定装置１００ａは、学習データに含まれる第１学習画像を１又は複数の特徴抽出器１３６ａに入力し、出力される第１特徴データを第１判定器１３６ｂ－１に入力して、学習データに含まれる第１ラベルデータに対応する第１出力データが出力されるように、第１判定器１３６ｂ－１の学習を行い、第１特徴データを記憶する（Ｓ２１）。
　また、画像判定装置１００ａは、新たな学習データに含まれる第２学習画像を１又は複数の特徴抽出器１３６ａに入力し、出力される第２特徴データを第２判定器１３６ｂ－２に入力して、新たな学習データに含まれる第２ラベルデータに対応する第２出力データが出力されるように、第２判定器１３６ｂ－２の学習を行い、第２特徴データを記憶する（Ｓ２２）。
　その後、カメラ１０２によって検査対象の画像を撮影する（Ｓ２３）。そして、画像判定装置１００ａは、新たに撮影された画像を１又は複数の特徴抽出器１３６ａに入力し、画像の特徴データを算出する（Ｓ２４）。画像判定装置１００ａは、算出された特徴データが、記憶された第１特徴データ及び第２特徴データのいずれに類似するかを識別する（Ｓ２５）。
　画像判定装置１００ａは、識別結果に基づいて第１判定器１３６ｂ－１の第１出力データ及び第２判定器１３６ｂ－２の第２出力データの重み付けを定めて、第１出力データ及び第２出力データによる総合判定結果を算出する（Ｓ２６）。当然ながら、画像の撮影（Ｓ２３）から出力データの算出（Ｓ２６）までの処理は繰り返し行われてよい。以上により、画像判定処理が終了する。
　以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
　なお、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
　［付記１］
　それぞれ、検査対象の画像に基づいて、前記画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器（１３６ａ）と、
　前記１又は複数の特徴抽出器（１３６ａ）から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す第１出力データを出力する第１判定器（１３６ｂ－１）と、
　前記１又は複数の特徴抽出器（１３６ａ）から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す第２出力データを出力する第２判定器（１３６ｂ－２）と、
　第１学習画像及び第１ラベルデータを含む学習データを用いて、前記第１学習画像を前記１又は複数の特徴抽出器（１３６ａ）に入力した場合に出力される第１特徴データに基づいて、前記第１学習画像に関連付けられた前記第１ラベルデータを表す前記第１出力データを出力するように前記第１判定器（１３６ｂ－１）を学習させる第１学習部と、
　第２学習画像及び第２ラベルデータを含む新たな学習データが追加された場合に、前記第２学習画像を前記１又は複数の特徴抽出器（１３６ａ）に入力した場合に出力される第２特徴データに基づいて、前記第２学習画像に関連付けられた前記第２ラベルデータを表す第２出力データを出力するように前記第２判定器（１３６ｂ－２）を学習させる第２学習部と、
　前記画像が前記１又は複数の特徴抽出器（１３６ａ）に入力された場合に出力された前記特徴データに基づいて前記第１判定器（１３６ｂ－１）により出力された前記第１出力データ及び前記画像が前記１又は複数の特徴抽出器（１３６ａ）に入力された場合に出力された前記特徴データに基づいて前記第２判定器（１３６ｂ－２）により出力された前記第２出力データに基づいて、前記画像に関する総合判定結果を表す出力データを出力する出力部（１５４）と、
　を備える画像判定装置（１００）。
　［付記２］
　前記出力部（１５４）は、前記特徴データと前記第２特徴データとの類似度に応じて前記第１出力データ及び前記第２出力データの相対的な重み付けを変化させる、
　付記１に記載の画像判定装置（１００）。
　［付記３］
　前記出力部（１５４）は、特徴空間における前記特徴データと前記第２特徴データとの距離が小さいほど前記第２出力データの相対的な重み付けを大きくする、
　付記２に記載の画像判定装置（１００）。
　［付記４］
　前記特徴データが、前記第１特徴データ及び前記第２特徴データのいずれに類似するかを識別する識別器（１３６ｃ）をさらに備え、
　前記出力部（１５４）は、前記識別器による識別結果に基づいて、前記第１出力データ及び前記第２出力データの相対的な重み付けを変化させる、
　付記２又は３に記載の画像判定装置（１００）。
　［付記５］
　検査対象の画像に基づいて、前記画像の特定の特徴を表す特徴データをそれぞれ出力する１又は複数の特徴抽出器（１３６ａ）から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す第１出力データを出力する第１判定器（１３６ｂ－１）を、第１学習画像及び第１ラベルデータを含む学習データを用いて、前記第１学習画像を前記１又は複数の特徴抽出器（１３６ａ）に入力した場合に出力される第１特徴データに基づいて、前記第１学習画像に関連付けられた前記第１ラベルデータを表す前記第１出力データを出力するように学習させることと、
　第２学習画像及び第２ラベルデータを含む新たな学習データが追加された場合に、前記１又は複数の特徴抽出器（１３６ａ）から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す第２出力データを出力する第２判定器（１３６ｂ－２）を、前記第２学習画像を前記１又は複数の特徴抽出器（１３６ａ）に入力した場合に出力される第２特徴データに基づいて、前記第２学習画像に関連付けられた前記第２ラベルデータを表す第２出力データを出力するように学習させることと、
　前記画像が前記１又は複数の特徴抽出器（１３６ａ）に入力された場合に出力された前記特徴データに基づいて前記第１判定器（１３６ｂ－１）により出力された前記第１出力データ及び前記画像が前記１又は複数の特徴抽出器（１３６ａ）に入力された場合に出力された前記特徴データに基づいて前記第２判定器（１３６ｂ－２）により出力された前記第２出力データに基づいて、前記画像に関する総合判定結果を表す出力データを出力することと、
　を含む画像判定方法。
　［付記６］
　画像判定装置（１００）に備えられた演算部を、
　それぞれ、検査対象の画像に基づいて、前記画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器（１３６ａ）、
　前記１又は複数の特徴抽出器（１３６ａ）から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す第１出力データを出力する第１判定器（１３６ｂ－１）、
　前記１又は複数の特徴抽出器（１３６ａ）から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す第２出力データを出力する第２判定器（１３６ｂ－２）、
　第１学習画像及び第１ラベルデータを含む学習データを用いて、前記第１学習画像を前記１又は複数の特徴抽出器（１３６ａ）に入力した場合に出力される第１特徴データに基づいて、前記第１学習画像に関連付けられた前記第１ラベルデータを表す前記第１出力データを出力するように前記第１判定器（１３６ｂ－１）を学習させる第１学習部、
　第２学習画像及び第２ラベルデータを含む新たな学習データが追加された場合に、前記第２学習画像を前記１又は複数の特徴抽出器（１３６ａ）に入力した場合に出力される第２特徴データに基づいて、前記第２学習画像に関連付けられた前記第２ラベルデータを表す第２出力データを出力するように第２判定器（１３６ｂ－２）を学習させる第２学習部、及び
　前記画像が前記１又は複数の特徴抽出器（１３６ａ）に入力された場合に出力された前記特徴データに基づいて前記第１判定器（１３６ｂ－１）により出力された前記第１出力データ及び前記画像が前記１又は複数の特徴抽出器（１３６ａ）に入力された場合に出力された前記特徴データに基づいて前記第２判定器（１３６ｂ－２）により出力された前記第２出力データに基づいて、前記画像に関する総合判定結果を表す出力データを出力する出力部（１５４）、
　として機能させる画像判定プログラム。
　１…画像判定システム、２…ベルトコンベア、４…ワーク、６…撮像視野、８…上位ネットワーク、１０…ＰＬＣ、１２…データベース装置、１００…画像判定装置、１０２…カメラ、１０４…ディスプレイ、１０６…キーボード、１０８…マウス、１１０…プロセッサ、１１２…メインメモリ、１１４…カメラインターフェイス、１１６…入力インターフェイス、１１８…表示インターフェイス、１２０…通信インターフェイス、１２２…内部バス、１３０…ストレージ、１３２…画像処理プログラム、１３４…ＯＳ、１３６…学習モデル、１３６ａ…特徴抽出器、１３６ｂ…判定器、１３６ｂ－１…第１判定器、１３６ｂ－２…第２判定器、１３６ｃ…識別器、１３６ｉ…入力データ、１３６ｏ…出力データ、１３８…入力画像、１４０…学習データ、１５２…学習部、１５２ａ…第１学習部、１５２ｂ…第２学習部、１５４…出力部

Claims (6)

  1. 　それぞれ、検査対象の画像に基づいて、前記画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器と、
    　前記１又は複数の特徴抽出器から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す第１出力データを出力する第１判定器と、
    　前記１又は複数の特徴抽出器から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す第２出力データを出力する第２判定器と、
    　第１学習画像及び第１ラベルデータを含む学習データを用いて、前記第１学習画像を前記１又は複数の特徴抽出器に入力した場合に出力される第１特徴データに基づいて、前記第１学習画像に関連付けられた前記第１ラベルデータを表す前記第１出力データを出力するように前記第１判定器を学習させる第１学習部と、
    　第２学習画像及び第２ラベルデータを含む新たな学習データが追加された場合に、前記第２学習画像を前記１又は複数の特徴抽出器に入力した場合に出力される第２特徴データに基づいて、前記第２学習画像に関連付けられた前記第２ラベルデータを表す第２出力データを出力するように前記第２判定器を学習させる第２学習部と、
    　前記画像が前記１又は複数の特徴抽出器に入力された場合に出力された前記特徴データに基づいて前記第１判定器により出力された前記第１出力データ及び前記画像が前記１又は複数の特徴抽出器に入力された場合に出力された前記特徴データに基づいて前記第２判定器により出力された前記第２出力データに基づいて、前記画像に関する総合判定結果を表す出力データを出力する出力部と、
    　を備える画像判定装置。
  2. 　前記出力部は、前記特徴データと前記第２特徴データとの類似度に応じて前記第１出力データ及び前記第２出力データの相対的な重み付けを変化させる、
    　請求項１に記載の画像判定装置。
  3. 　前記出力部は、特徴空間における前記特徴データと前記第２特徴データとの距離が小さいほど前記第２出力データの相対的な重み付けを大きくする、
    　請求項２に記載の画像判定装置。
  4. 　前記特徴データが、前記第１特徴データ及び前記第２特徴データのいずれに類似するかを識別する識別器をさらに備え、
    　前記出力部は、前記識別器による識別結果に基づいて、前記第１出力データ及び前記第２出力データの相対的な重み付けを変化させる、
    　請求項２又は３に記載の画像判定装置。
  5. 　検査対象の画像に基づいて、前記画像の特定の特徴を表す特徴データをそれぞれ出力する１又は複数の特徴抽出器から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す第１出力データを出力する第１判定器を、第１学習画像及び第１ラベルデータを含む学習データを用いて、前記第１学習画像を前記１又は複数の特徴抽出器に入力した場合に出力される第１特徴データに基づいて、前記第１学習画像に関連付けられた前記第１ラベルデータを表す前記第１出力データを出力するように学習させることと、
    　第２学習画像及び第２ラベルデータを含む新たな学習データが追加された場合に、前記１又は複数の特徴抽出器から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す第２出力データを出力する第２判定器を、前記第２学習画像を前記１又は複数の特徴抽出器に入力した場合に出力される第２特徴データに基づいて、前記第２学習画像に関連付けられた前記第２ラベルデータを表す第２出力データを出力するように学習させることと、
    　前記画像が前記１又は複数の特徴抽出器に入力された場合に出力された前記特徴データに基づいて前記第１判定器により出力された前記第１出力データ及び前記画像が前記１又は複数の特徴抽出器に入力された場合に出力された前記特徴データに基づいて前記第２判定器により出力された前記第２出力データに基づいて、前記画像に関する総合判定結果を表す出力データを出力することと、
    　を含む画像判定方法。
  6. 　画像判定装置に備えられた演算部を、
    　それぞれ、検査対象の画像に基づいて、前記画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器、
    　前記１又は複数の特徴抽出器から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す第１出力データを出力する第１判定器、
    　前記１又は複数の特徴抽出器から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す第２出力データを出力する第２判定器、
    　第１学習画像及び第１ラベルデータを含む学習データを用いて、前記第１学習画像を前記１又は複数の特徴抽出器に入力した場合に出力される第１特徴データに基づいて、前記第１学習画像に関連付けられた前記第１ラベルデータを表す前記第１出力データを出力するように前記第１判定器を学習させる第１学習部、
    　第２学習画像及び第２ラベルデータを含む新たな学習データが追加された場合に、前記第２学習画像を前記１又は複数の特徴抽出器に入力した場合に出力される第２特徴データに基づいて、前記第２学習画像に関連付けられた前記第２ラベルデータを表す第２出力データを出力するように第２判定器を学習させる第２学習部、及び
    　前記画像が前記１又は複数の特徴抽出器に入力された場合に出力された前記特徴データに基づいて前記第１判定器により出力された前記第１出力データ及び前記画像が前記１又は複数の特徴抽出器に入力された場合に出力された前記特徴データに基づいて前記第２判定器により出力された前記第２出力データに基づいて、前記画像に関する総合判定結果を表す出力データを出力する出力部、
    　として機能させる画像判定プログラム。
PCT/JP2019/044738 2018-12-27 2019-11-14 画像判定装置、画像判定方法及び画像判定プログラム WO2020137228A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/270,450 US11922680B2 (en) 2018-12-27 2019-11-14 Image determination device, image determination method, and non-transitory computer readable medium storing program
CN201980052353.7A CN112534472B (zh) 2018-12-27 2019-11-14 图像判定装置、图像判定方法及其程序的记录介质
EP19904500.6A EP3905193A4 (en) 2018-12-27 2019-11-14 IMAGE DETERMINATION DEVICE, IMAGE DETERMINATION METHOD AND IMAGE DETERMINATION PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018245674A JP7075057B2 (ja) 2018-12-27 2018-12-27 画像判定装置、画像判定方法及び画像判定プログラム
JP2018-245674 2018-12-27

Publications (1)

Publication Number Publication Date
WO2020137228A1 true WO2020137228A1 (ja) 2020-07-02

Family

ID=71128985

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/044738 WO2020137228A1 (ja) 2018-12-27 2019-11-14 画像判定装置、画像判定方法及び画像判定プログラム

Country Status (5)

Country Link
US (1) US11922680B2 (ja)
EP (1) EP3905193A4 (ja)
JP (1) JP7075057B2 (ja)
CN (1) CN112534472B (ja)
WO (1) WO2020137228A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240153065A1 (en) * 2021-03-04 2024-05-09 Nec Corporation Learning device, learning method, inspection device, inspection method, and recording medium
TW202336685A (zh) 2022-03-10 2023-09-16 日商歐姆龍股份有限公司 檢查系統以及人工智慧模型資料的管理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0484282A (ja) * 1990-07-26 1992-03-17 Nec Corp 追記学習型パターン認識装置
JPH05181972A (ja) * 1991-12-27 1993-07-23 Nec Corp パタン分類方法及び装置
JP2017049974A (ja) 2015-09-04 2017-03-09 キヤノン株式会社 識別器生成装置、良否判定方法、およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005034211A (ja) 2003-07-16 2005-02-10 Fuji Photo Film Co Ltd 画像判別装置、方法およびプログラム
JP4536445B2 (ja) * 2004-07-26 2010-09-01 三菱電機株式会社 データ類別装置
JP2009301121A (ja) * 2008-06-10 2009-12-24 Nikon Systems Inc 印象判定処理方法、プログラム、及び、画像印象判定装置
US8831358B1 (en) 2011-11-21 2014-09-09 Google Inc. Evaluating image similarity
DE112015005599T5 (de) * 2015-01-20 2017-09-28 Olympus Corporation Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Programm

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0484282A (ja) * 1990-07-26 1992-03-17 Nec Corp 追記学習型パターン認識装置
JPH05181972A (ja) * 1991-12-27 1993-07-23 Nec Corp パタン分類方法及び装置
JP2017049974A (ja) 2015-09-04 2017-03-09 キヤノン株式会社 識別器生成装置、良否判定方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3905193A4

Also Published As

Publication number Publication date
JP2020107104A (ja) 2020-07-09
EP3905193A1 (en) 2021-11-03
US20210256302A1 (en) 2021-08-19
CN112534472B (zh) 2024-04-30
CN112534472A (zh) 2021-03-19
EP3905193A4 (en) 2022-08-31
JP7075057B2 (ja) 2022-05-25
US11922680B2 (en) 2024-03-05

Similar Documents

Publication Publication Date Title
KR20190063839A (ko) 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
WO2020137228A1 (ja) 画像判定装置、画像判定方法及び画像判定プログラム
CN114445746A (zh) 模型训练方法、铁路接触网异常检测方法及相关装置
KR20200056183A (ko) 이상 탐지 방법
KR102297232B1 (ko) 형태학적 영상처리를 활용한 이상 탐지 방법
CN114332084A (zh) 一种基于深度学习的pcb表面缺陷检测方法
WO2020137229A1 (ja) 画像判定装置、画像判定方法及び画像判定プログラム
CN115374517A (zh) 布线软件的测试方法、装置、电子设备及存储介质
JP7206892B2 (ja) 画像検査装置、画像検査のための学習方法および画像検査プログラム
JP2022024541A (ja) 画像生成装置、画像検査システム、画像生成方法、及びプログラム
JP2022029262A (ja) 画像処理装置、画像処理方法、画像処理プログラム、および学習装置
EP2573694A1 (en) Conversion method and system
JP7241533B2 (ja) 画像判定装置、画像判定方法及び画像判定プログラム
WO2020137123A1 (ja) 画像判定装置、学習方法及び画像判定プログラム
EP4394697A1 (en) Image processing device and image processing method
CN117935174B (zh) 真空袋膜生产线的智能化管理系统及方法
CN116883417B (zh) 基于机器视觉的工件质检方法及装置
KR102595182B1 (ko) 이미지 이상 탐지 방법
US20230316718A1 (en) Learning model generating method and inspection device
JP7301157B2 (ja) 機械学習装置の異常検出装置、人検出システム、および機械学習装置の異常検出方法
WO2023032549A1 (ja) 欠陥検査装置、欠陥検査方法および予測モデル生成方法
JP2023178454A (ja) 学習装置、学習方法及びプログラム
CN114596242A (zh) 缺陷检测方法、装置、电子设备及计算机可读存储介质
CN115471725A (zh) 用于异常检测的图像处理方法及设备和神经网络构建方法
CN111914866A (zh) 对抗图像检测模型的训练方法、装置和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19904500

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019904500

Country of ref document: EP

Effective date: 20210727