WO2020137123A1 - 画像判定装置、学習方法及び画像判定プログラム - Google Patents

画像判定装置、学習方法及び画像判定プログラム Download PDF

Info

Publication number
WO2020137123A1
WO2020137123A1 PCT/JP2019/041591 JP2019041591W WO2020137123A1 WO 2020137123 A1 WO2020137123 A1 WO 2020137123A1 JP 2019041591 W JP2019041591 W JP 2019041591W WO 2020137123 A1 WO2020137123 A1 WO 2020137123A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
learning
feature
data
output
Prior art date
Application number
PCT/JP2019/041591
Other languages
English (en)
French (fr)
Inventor
直樹 土屋
善久 井尻
丸山　裕
洋平 大川
剣之介 林
山元　左近
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to EP19903217.8A priority Critical patent/EP3905190A4/en
Priority to US17/270,051 priority patent/US11922319B2/en
Priority to CN201980052593.7A priority patent/CN112602113B/zh
Publication of WO2020137123A1 publication Critical patent/WO2020137123A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Definitions

  • the present invention relates to an image determination device, a learning method, and an image determination program.
  • Patent Document 1 discloses an apparatus that determines the presence or absence of a defect in an inspection target based on the output result of a discriminator learned by using images of the inspection target captured under a plurality of imaging conditions as learning data. There is. Specifically, the apparatus described in Patent Document 1 uses the image of each of the at least two images based on the images captured under at least two different image capturing conditions for an object whose appearance is known to be good or bad.
  • a learning extraction unit that extracts a feature amount, and a selection unit that selects a feature amount for determining the quality of an object from the feature amounts that extend over the feature amounts extracted from the at least two images by the learning extraction unit.
  • a generation unit that generates a discriminator that determines the quality of the object based on the feature amount selected by the selection unit.
  • the present invention provides an image determination device, a learning method, and an image determination program that make clear what characteristics of an image a determination result is obtained even when performing additional learning of a learning model. I will provide a.
  • An image determination apparatus includes one or more feature extractors and one or more feature extractors, each of which outputs feature data representing a particular feature of an image based on an image to be inspected.
  • a learning image is input to one or a plurality of feature extractors by using a determiner that outputs output data representing a determination result regarding an image based on the feature data output from the learning data and learning data including a learning image and label data.
  • a learning unit that causes the determiner to learn so as to output the output data representing the label data associated with the learning image, and the learning unit creates new learning data.
  • the discriminator is additionally trained so that is output.
  • the one or more feature extractors respectively extract the particular features of the image, even if the determiner is updated by the additional learning, any feature of the image is noted and the determination result is It will be clear if it was obtained. As a result, even when additional learning of the learning model is performed, it becomes clear what feature of the image is focused on to obtain the determination result.
  • the learning unit may perform additional learning of the determiner by performing at least one of updating the parameter of the determiner and updating the weight of the feature data input to the determiner. Good.
  • the judging device can be updated so that the judgment result can be obtained with higher accuracy by the additional learning.
  • the learning unit may update the parameters of some of the one or more feature extractors together with the additional learning of the determiner.
  • the determiner can be updated as obtained.
  • an editing unit that edits one or more feature extractors based on the input may be further provided.
  • the editing unit may add a new feature extractor that outputs feature data representing a particular feature of the image based on the input.
  • the editing unit may delete a part of one or more feature extractors based on the input.
  • the features of the image deleted from the input to the determiner can be clarified and additional learning of the learning model can be performed.
  • the editing unit may edit the parameters of one or more feature extractors based on the input.
  • a learning method is, based on an image to be inspected, based on the feature data output from one or a plurality of feature extractors that respectively output feature data representing specific features of the image, Based on the feature data output when the learning image is input to one or a plurality of feature extractors using the learning data including the learning image and the label data, the determiner that outputs the output data indicating the determination result regarding the image is used.
  • the learning unit uses the new learning data to set the inspection target image included in the new learning data to 1 or Based on the feature data output when input to a plurality of feature extractors, the determiner is additionally trained so that output data representing label data associated with an image is output by the determiner. Including.
  • the one or more feature extractors respectively extract the particular features of the image, even if the determiner is updated by the additional learning, any feature of the image is noted and the determination result is It will be clear if it was obtained. As a result, even when additional learning of the learning model is performed, it becomes clear what feature of the image is focused on to obtain the determination result.
  • An image determination program includes a calculation unit provided in the image determination device, which outputs one or a plurality of feature data items each of which outputs feature data representing a particular feature of the image based on the image to be inspected. Learning is performed using a feature extractor, a determiner that outputs output data representing a determination result regarding an image based on feature data output from one or a plurality of feature extractors, and learning data including a learning image and label data. Functions as a learning unit that causes the determiner to learn so as to output output data representing label data associated with the learning image based on the feature data output when the image is input to one or more feature extractors.
  • the learning unit uses the new learning data, and based on the feature data output when the image to be inspected included in the new learning data is input to the one or more feature extractors, the learning unit The discriminator is additionally trained so that output data representing label data associated with the image is output.
  • the one or more feature extractors respectively extract the particular features of the image, even if the determiner is updated by the additional learning, any feature of the image is noted and the determination result is It will be clear if it was obtained. As a result, even when additional learning of the learning model is performed, it becomes clear what feature of the image is focused on to obtain the determination result.
  • the present embodiment an embodiment according to one aspect of the present invention (hereinafter also referred to as “the present embodiment”) will be described with reference to the drawings.
  • the embodiments described below are merely examples of the present invention in all respects. It goes without saying that various improvements and modifications can be made without departing from the scope of the present invention. That is, in implementing the present invention, a specific configuration according to the embodiment may be appropriately adopted. It should be noted that although the data that appears in this embodiment is described in natural language, more specifically, it is specified by a computer-recognizable pseudo language, command, parameter, machine language, or the like.
  • FIG. 1 is a diagram showing a configuration example of an image determination system 1 according to an embodiment of the present invention.
  • the image determination system 1 analyzes an input image generated by capturing an image of an inspection target with a learning model included in the image determination apparatus 100, and performs defect inspection and classification of the target.
  • the learning model may be learned in advance using the learning data so as to classify the presence/absence of a defect regarding the inspection target and the type of the inspection target. Further, the learning model may be additionally learned when new learning data is obtained.
  • the image determination system 1 updates the learning model so as to clarify what feature of the input image the determination result was obtained. ..
  • the inspection target includes, for example, a work piece such as a part or a product in the manufacturing process.
  • the image determination system 1 performs image measurement processing on an input image obtained by capturing an image of a workpiece 4 that is an inspection target conveyed on a belt conveyor 2, thereby 4. Appearance inspection or appearance measurement of 4 is realized.
  • an example applied to inspection of the presence or absence of a defect on the surface of the work 4 will be described, but the invention is not limited to this, identification of the type of defect, dimension of the appearance shape of the defect. It can also be applied to measurement, identification of the type of work 4, and the like.
  • a camera 102 which is an imaging unit, is arranged above the belt conveyor 2, and the imaging field of view 6 of the camera 102 is configured to include a predetermined area of the belt conveyor 2.
  • the image data (hereinafter, also referred to as “input image”) generated by the image pickup by the camera 102 is transmitted to the image determination device 100. Imaging by the camera 102 is performed periodically or when an event occurs.
  • the image determination device 100 is connected to a PLC (programmable controller) 10, a database device 12 and the like via a higher level network 8.
  • the measurement result of the image determination device 100 may be transmitted to the PLC 10 and/or the database device 12.
  • any device may be connected to the host network 8.
  • the image determination device 100 may be connected to a display 104 for displaying a processing state, a measurement result, and the like, and a keyboard 106 and a mouse 108 as an input unit that receives a user operation.
  • the image determination device 100 includes a learning model generated by machine learning.
  • the learning model accepts an image as an input, outputs one or more feature extractors that output feature data representing a particular feature of the image, and the image data based on the feature data output from the one or more feature extractors. And a determiner that outputs output data representing a determination result regarding.
  • the one or more feature extractors are, for example, an edge extractor that extracts edges included in an image, a plane part extractor that extracts a plane area included in the image, and a background pattern extraction that extracts a background pattern of the image.
  • a binarized area extractor for extracting the binarized area included in the image.
  • Each of the one or more feature extractors may be a model that extracts a single feature that is easy for a person to understand, and may be a machine learning model or a rule-based model.
  • the determiner receives one or a plurality of feature data as an input and outputs output data representing a determination result regarding an image.
  • the output data may be, for example, data representing the presence or absence of a defect to be inspected, the type of defect, the size of the external shape of the defect, the type of inspection target, and the like.
  • the determiner may be composed of, for example, a neural network, and may be learned in advance using the learning data so as to output desired output data.
  • the inspection conditions such as the type of work 4 flowing on the production line and the shooting conditions vary depending on the production line, and do not always match the conditions for learning. For this reason, if a pre-learned learning model is used in a production line, an incorrect determination result may be output. Therefore, additional learning of the learning model may be performed by collecting images that the learning model cannot correctly determine. At this time, if the learning model is updated without any restrictions, it becomes unclear whether or not the initially assumed features are used for the determination, and what features of the image are used for the determination. It may not be possible to explain whether the results were obtained. Therefore, when the learning model is introduced into the production line, it may be difficult to explain the reliability of the learning model, which may hinder the introduction.
  • the image determination device 100 when performing additional learning, does not change one or a plurality of feature extractors included in the learning model and updates the determiner. As a result, it is clarified what kind of feature of the image is obtained to obtain the determination result. Each of the one or more feature extractors extracts a particular feature of the image. Therefore, even if the determiner is updated by additional learning, what feature of the image is focused on and the determination result is identified. be able to. This makes it easy to explain the reliability of the learning model when introducing the learning model into the production line, and prevents the introduction from being hindered.
  • FIG. 2 is a diagram showing a hardware configuration of the image determination device 100 according to the present embodiment.
  • the image determination device 100 may be implemented by using a general-purpose computer configured according to a general-purpose computer architecture, for example.
  • the image determination apparatus 100 includes a processor 110, a main memory (main storage unit) 112, a camera interface 114, an input interface 116, a display interface 118, a communication interface 120, and a storage (auxiliary storage unit) 130. .. These components are typically communicatively coupled to each other via an internal bus 122.
  • the processor 110 expands the program stored in the storage 130 into the main memory 112 and executes the program to realize the functions and processes described in detail with reference to the figures below.
  • the main memory 112 is composed of a volatile memory and functions as a work memory necessary for the program execution by the processor 110.
  • the camera interface is an example of an acquisition unit.
  • the camera interface 114 is connected to the camera 102 and acquires an input image captured by the camera 102.
  • the camera interface 114 may instruct the camera 102 about image capturing timing and the like.
  • the input interface 116 is connected to an input unit operated by a user, such as the keyboard 106 and the mouse 108.
  • the input interface 116 acquires a command indicating an operation performed by the user on the input unit.
  • the display interface 118 is connected to the display 104 as a display unit.
  • the display interface 118 outputs various processing results generated by the execution of the program by the processor 110 to the display 104.
  • the communication interface 120 is in charge of processing for communicating with the PLC 10, the database device 12, and the like via the upper network 8.
  • the storage 130 stores programs for causing a computer to function as the image determination apparatus 100, such as an image processing program 132 for realizing the learning model 136 and an OS (operating system) 134.
  • the storage 130 may further store a learning model 136, an input image 138 acquired from the camera 102, and learning data 140 used for learning of the learning model 136.
  • the learning data 140 may be acquired from an external device such as the database device 12 via the host network 8 and may be temporarily stored in the storage 130.
  • the image processing program 132 stored in the storage 130 may be installed in the image determination device 100 via an optical recording medium such as a DVD (digital versatile disc) or a semiconductor recording medium such as a USB (universal serial bus) memory. Good. Alternatively, the image processing program 132 may be downloaded from a server device or the like on the network.
  • an optical recording medium such as a DVD (digital versatile disc) or a semiconductor recording medium such as a USB (universal serial bus) memory. Good.
  • the image processing program 132 may be downloaded from a server device or the like on the network.
  • the image processing program 132 does not include all the software modules for realizing the functions according to the present embodiment, and the necessary functions are provided by cooperating with the OS 134. You may
  • the image processing program 132 according to the present embodiment may be provided by being incorporated in a part of another program. Even in that case, the image processing program 132 itself does not include a module included in another program combined as described above, and the process is executed in cooperation with the other program. As described above, the image processing program 132 according to the present embodiment may be incorporated in another program.
  • FIG. 2 shows an example in which the image determination device 100 is realized by using a general-purpose computer, but the present invention is not limited to this, and all or part of the function thereof is a dedicated circuit (for example, ASIC (application specific integrated circuit)). Or FPGA (field-programmable gate array) or the like. Further, part of the processing may be assigned to an external device connected to the network.
  • ASIC application specific integrated circuit
  • FPGA field-programmable gate array
  • FIG. 3 is a diagram showing functional blocks of the image determination device 100 according to this embodiment.
  • the image determination device 100 includes a learning model 136 stored in the storage 130, an editing unit 150, and a learning unit 152.
  • the learning model 136 includes one or more feature extractors 136a and a determiner 136b. Each of the one or more feature extractors 136a outputs feature data representing a particular feature of the image based on the image to be inspected. The determiner 136b outputs output data representing the determination result regarding the image based on the feature data output from one or more feature extractors 136a.
  • the learning unit 152 uses the learning data 140 including the learning image and the label data, and associates the learning image with the learning image based on the feature data output when the learning image is input to the one or more feature extractors 136a.
  • the determiner 136b is trained to output the output data representing the label data.
  • the learning image is an image of an inspection target that has been captured in advance.
  • the label data is data indicating the state of the inspection target, and may be data indicating the presence/absence of a defect regarding the inspection target, the type of the defect, the size of the external shape of the defect, the type of the inspection target, and the like.
  • the learning process of the learning model 136 may be executed before the image determination device 100 is installed in the production line.
  • the learning unit 152 uses the new learning data, and based on the feature data output when the image of the inspection target included in the new learning data is input to the one or more feature extractors 136a, the determiner 136b Thus, the determiner 136b is additionally trained so that the output data representing the label data associated with the image is output.
  • the additional learning may be performed for the determiner 136b and may not be performed for one or a plurality of feature extractors 136a. In this manner, the features extracted by the one or more feature extractors 136a can be fixed, and the determiner 136b can be updated so that image determination can be performed with higher accuracy.
  • the learning unit 152 may perform additional learning of the determiner 136b by performing at least one of updating the parameter of the determiner 136b and updating the weight of the feature data input to the determiner 136b.
  • the parameter of the determiner 136b may be the weight or bias of the node, for example, when the determiner 136b is formed of a neural network.
  • the learning unit 152 may update the parameters of the determiner 136b and the weights of the feature data input to the determiner 136b by a back propagation method. By such additional learning, the determiner can be updated so that the determination result can be obtained with higher accuracy.
  • the learning unit 152 may update the parameters of a part of the feature extractors of the one or more feature extractors 136a together with the additional learning of the determiner 136b. For example, when some of the one or more feature extractors 136a are configured by a neural network and the determiner 136b is configured by a neural network, the learning unit 152 uses the back propagation method to determine the determiner 136b. , The weight of the feature data input to the determiner 136b, and the parameters of some feature extractors of one or more feature extractors 136a may be updated. As described above, by additionally updating some of the one or more feature extractors 136a by additional learning, feature extraction is performed more accurately, and a more accurate determination result is obtained. The determiner 136b can be updated so that
  • the editing unit 150 edits one or a plurality of feature extractors 136a based on the input.
  • the features of the image to be extracted can be changed by editing the one or more feature extractors 136a.
  • the learning unit 152 adds a determiner 136b by using the feature data output from the edited one or a plurality of feature extractors 136a. You may learn. In this way, it is possible to flexibly change the characteristics of the image to be extracted and execute the image determination suitable for the usage environment.
  • the editing unit 150 may add a new feature extractor that outputs feature data representing a particular feature of the image based on the input.
  • the learning unit 152 may additionally learn the determiner 136b using the feature data output from the plurality of feature extractors 136a including the added feature extractor. In this way, it is possible to clarify the features of the image added to the input to the determiner 136b and perform additional learning of the learning model 136. Since the added feature extractor is clear, the cause becomes clear when the determination by the learning model 136 changes before and after the addition, and it is easy to return the learning model 136 to the original configuration after the fact. Becomes
  • the editing unit 150 may delete a part of the one or more feature extractors 136a based on the input.
  • the learning unit 152 may additionally learn the determiner 136b by using the feature data output from the updated one or more feature extractors 136a. In this way, the features of the image deleted from the input to the determiner 136b can be clarified and additional learning of the learning model 136 can be performed. Since the deleted feature extractor is clear, the cause becomes clear when the determination by the learning model 136 changes before and after the deletion, and it is easy to return the learning model 136 to the original configuration after the fact. Becomes
  • the editing unit 150 may edit the parameters of the one or more feature extractors 136a based on the input.
  • the learning unit 152 may additionally learn the determiner 136b using the edited feature data output from the one or more feature extractors 136a. .. In this way, additional learning of the learning model 136 can be performed by clarifying the changes regarding the features of the image input to the determiner 136b. Since the edited feature extractor is clear, the cause becomes clear when the determination by the learning model 136 changes before and after editing, and it is easy to return the learning model 136 to the original configuration after the fact. Becomes
  • FIG. 4 is a diagram showing a configuration example of the learning model 136 according to the present embodiment.
  • the learning model 136 of this example includes an edge extractor 136a-1, a plane part extractor 136a-2, a background pattern extractor 136a-3, and a determiner 136b.
  • Each of the edge extractor 136a-1, the plane portion extractor 136a-2, and the background pattern extractor 136a-3 receives input data 136i (an image to be inspected) as an input, and outputs feature data representing the feature of the image.
  • the edge extractor 136a-1 extracts the edges included in the image
  • the plane portion extractor 136a-2 extracts the plane area included in the image
  • the background pattern extractor 136a-3 extracts the image of the image. Extract the background pattern.
  • the determiner 136b applies a weight w1 to the feature data output from the edge extractor 136a-1, a weight w2 to the feature data output from the plane portion extractor 136a-2, and a background pattern extractor 136a-3.
  • the output feature data is multiplied by a weight w3 to be an input, and output data 136o representing a determination result regarding the input data 136i (image) is output.
  • FIG. 5 is a diagram showing an editing example of the learning model 136 according to the present embodiment.
  • an example in which the feature extractor is added by the editing unit 150 is shown.
  • a binarized region extractor 136a-4 is added to the three feature extractors shown in FIG.
  • the learning model 136 in this example includes an edge extractor 136a-1, a plane part extractor 136a-2, a background pattern extractor 136a-3, a binarized area extractor 136a-4, and a determiner 136b.
  • the binarized area extractor 136a-4 receives the input data 136i (the image to be inspected) as an input and outputs the characteristic data representing the characteristic of the image.
  • the binarized area extractor 136a-4 extracts the binarized area included in the image.
  • the determiner 136b applies a weight w1 to the feature data output from the edge extractor 136a-1, a weight w2 to the feature data output from the plane portion extractor 136a-2, and a background pattern extractor 136a-3.
  • the output feature data is multiplied by a weight w3, and the feature data output from the binarized region extractor 136a-4 is multiplied by a weight w4 to be an input, and output data 136o representing a determination result regarding the input data 136i (image) is obtained.
  • Output is a weight w1 to the feature data output from the edge extractor 136a-1, a weight w2 to the feature data output from the plane portion extractor 136a-2, and a background pattern extractor 136a-3.
  • the learning unit 152 uses the new learning data to determine the parameters of the determiner 136b and the weights w1 to w1 of the feature data input to the determiner 136b. You may update w4.
  • the additional learning of the determiner 136b is similarly performed in the case where the feature extractor is deleted or the parameters of the feature extractor are edited. You can
  • the binarized area extractor 136a-4 is added by the editing unit 150 in order to detect the black stains by additional learning.
  • the binarized area extractor 136a-4 is added by the editing unit 150 in order to detect the black stains by additional learning.
  • the rough position of the dirt is extracted by the conversion processing and the defect detection is performed in combination with one or a plurality of feature extractors 136a prepared in advance.
  • FIG. 6 is a flowchart of image determination processing executed by the image determination device 100 according to this embodiment.
  • the image determination apparatus 100 sets one or a plurality of feature extractors 136a that output feature data representing specific features of an image to be inspected (S10).
  • the image determining apparatus 100 inputs the learning image included in the learning data to the one or more feature extractors 136a, inputs the output feature data to the determiner 136b, and converts the feature data into label data included in the learning data.
  • the determiner 136b is learned so that the corresponding output data is output (S11). Thus, the pre-learning process is completed.
  • the image determination apparatus 100 After that, after the image determination device 100 is installed on the production line, the image of the inspection target is taken by the camera 102 (S12). Then, the image determination apparatus 100 inputs the newly captured image into one or a plurality of feature extractors 136a, inputs the output feature data into the determiner 136b, and uses the output data representing the determination result regarding the image. , The image is determined (S13). Of course, the image capturing (S12) and the determination process (S13) may be repeated. With the above, the image determination process ends.
  • FIG. 7 is a flowchart of the additional learning process of the learning model 136 executed by the image determination device 100 according to this embodiment.
  • the image determination device 100 determines whether to edit the feature extractor (S20). Whether to edit the feature extractor may be determined based on the input.
  • the image determination apparatus 100 determines whether to add the feature extractor (S21). When adding a feature extractor based on an input (S21:YES), the image determination apparatus 100 adds a new feature extractor (S22).
  • the image determination device 100 determines whether to delete the feature extractor (S23). When the feature extractor is deleted based on the input (S23: YES), the image determination apparatus 100 deletes the selected feature extractor (S24).
  • the image determination device 100 also determines whether to edit the parameters of the feature extractor (S25). When the parameter of the feature extractor is edited based on the input (S25: YES), the image determination device 100 edits the parameter of the selected feature extractor based on the input (S26).
  • the image determining apparatus 100 inputs the learning image included in the new learning data into the edited one or more feature extractors, inputs the output feature data into the determiner with a predetermined weighting, and determines the determiner.
  • the discriminator is additionally learned so that the label data included in the new learning data is reproduced by the output data of (S27).
  • the image determination apparatus 100 sets the parameters of some of the one or more feature extractors as the feature extractors. Update (S29).
  • the image determination apparatus 100 executes a process of updating a parameter of a determiner, a weight of feature data input to the determiner, and a parameter of some feature extractors of one or more feature extractors under a predetermined condition. You can repeat until you are satisfied. With the above, the additional learning process ends.
  • a learning unit (152) for learning the determiner (136b) so as to output the output data representing the label data The learning unit (152) is output when the image of the inspection target included in the new learning data is input to the one or more feature extractors (136a) using the new learning data. Based on the feature data, the determiner (136b) is additionally learned so that the output data representing the label data associated with the image is output by the determiner (136b). Image determination device (100).
  • the learning unit (152) executes at least one of updating a parameter of the determiner (136b) and updating a weight of the feature data input to the determiner (136b), Performing additional learning of the judging device (136b), The image determination device (100) according to attachment 1.
  • the learning unit (152) updates the parameters of some of the feature extractors (136a) of the one or more feature extractors (136a) together with the additional learning of the determiner (136b).
  • the image determination device (100) according to appendix 1 or 2.
  • Appendix 4 Further comprising an editing unit (150) for editing the one or more feature extractors (136a) based on an input, The image determination device (100) according to any one of appendices 1 to 3.
  • the editing unit (150) adds a new feature extractor (136a) that outputs feature data representing a specific feature of the image, based on the input.
  • the image determination device (100) according to attachment 4.
  • the editing unit (150) deletes a part of the one or more feature extractors (136a) based on the input, The image determination device (100) according to attachment 4 or 5.
  • the editing unit (150) edits the parameters of the one or more feature extractors (136a) based on the input.
  • the image determination device (100) according to any one of appendices 4 to 6.
  • [Appendix 8] Based on the image to be inspected, represents a determination result regarding the image based on the feature data output from one or more feature extractors (136a) that respectively output feature data representing specific features of the image.
  • the feature output when the determiner (136b) that outputs the output data uses the learning data including the learning image and the label data and inputs the learning image to the one or more feature extractors (136a) Learning based on the data to output the output data representing the label data associated with the learning image;
  • the learning unit (152) is output when the image of the inspection target included in the new learning data is input to the one or more feature extractors (136a) using the new learning data.
  • the determiner (136b) is additionally trained so that the output data representing the label data associated with the image is output by the determiner (136b), Learning methods including.
  • the calculation unit provided in the image determination device (100) is One or more feature extractors (136a), each of which outputs feature data representing a particular feature of the image based on the image to be inspected, Based on the feature data output from the one or more feature extractors (136a), a determiner (136b) that outputs output data representing a determination result regarding the image, and learning data including a learning image and label data Based on the feature data output when the learning image is input to the one or more feature extractors (136a), the output data representing the label data associated with the learning image And functioning as a learning unit (152) for learning the judging device (136b) so as to output, The learning unit (152) is output when the image of the inspection target included in the new learning data is input to the one or more feature extractors (136a) using the new learning data. Based on the feature data, the determiner (136b) is additionally learned so that the output data representing the label data associated with the image is output by the determiner (136b). Image judgment program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

学習モデルの追加学習を行う場合であっても、画像のどのような特徴に注目して判定結果が得られたのかが明確となる画像判定装置等を提供する。画像判定装置は、それぞれ、検査対象の画像に基づいて、画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器と、１又は複数の特徴抽出器から出力された特徴データに基づいて、画像に関する判定結果を表す出力データを出力する判定器と、学習画像及びラベルデータを含む学習データを用いて、学習画像を１又は複数の特徴抽出器に入力した場合に出力される特徴データに基づいて、学習画像に関連付けられたラベルデータを表す出力データを出力するように判定器を学習させる学習部と、を備え、学習部は、新たな学習データを用いて、判定器により画像に関連付けられたラベルデータを表す出力データが出力されるように、判定器を追加学習させる。

Description

画像判定装置、学習方法及び画像判定プログラム
　本発明は、画像判定装置、学習方法及び画像判定プログラムに関する。
　従来、ＦＡ（Factory Automation）分野では、画像処理を用いた自動制御が広く実用化されている。例えば、ワーク等の検査対象を撮像し、その撮像された画像から抽出された特徴量に基づいて、当該ワークについての良否を検査するような工程が実現される。
　例えば特許文献１には、複数の撮像条件で撮像した検査対象の画像を学習用データに用いて学習した識別器の出力結果に基づいて、検査対象の欠陥の有無を判定する装置について開示されている。具体的には、特許文献１に記載の装置は、外観の良否が既知の対象物に対して、少なくとも２つの異なる撮像条件で撮像された画像に基づく少なくとも２つの画像のそれぞれから、当該画像の特徴量を抽出する学習用抽出手段と、前記学習用抽出手段により前記少なくとも２つの画像から抽出された特徴量を跨る特徴量から、対象物の良否を判定するための特徴量を選択する選択手段と、前記選択手段により選択された前記特徴量に基づいて、対象物の良否を判定する識別器を生成する生成手段と、を有する。
特開２０１７－４９９７４号公報
　検査対象の画像について学習モデルによって欠陥の有無やワーク種類等の判定を行う場合、画像のどのような特徴に注目して判定結果が得られたのかを明確にする場合がある。しかしながら、新しく得られた学習データを用いて学習モデルの追加学習を行う場合、当初想定していた特徴に注目して判定が行われているのか否かが不明確となり、画像のどのような特徴に注目して判定結果が得られたのかが説明できなくなることがある。
　そこで、本発明は、学習モデルの追加学習を行う場合であっても、画像のどのような特徴に注目して判定結果が得られたのかが明確となる画像判定装置、学習方法及び画像判定プログラムを提供する。
　本開示の一態様に係る画像判定装置は、それぞれ、検査対象の画像に基づいて、画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器と、１又は複数の特徴抽出器から出力された特徴データに基づいて、画像に関する判定結果を表す出力データを出力する判定器と、学習画像及びラベルデータを含む学習データを用いて、学習画像を１又は複数の特徴抽出器に入力した場合に出力される特徴データに基づいて、学習画像に関連付けられたラベルデータを表す出力データを出力するように判定器を学習させる学習部と、を備え、学習部は、新たな学習データを用いて、新たな学習データに含まれる検査対象の画像を１又は複数の特徴抽出器に入力した場合に出力される特徴データに基づいて、判定器により画像に関連付けられたラベルデータを表す出力データが出力されるように、判定器を追加学習させる。
　この態様によれば、１又は複数の特徴抽出器は、それぞれ画像の特定の特徴を抽出するため、判定器を追加学習により更新したとしても、画像のどのような特徴に注目して判定結果が得られたのかが明確となる。これにより、学習モデルの追加学習を行う場合であっても、画像のどのような特徴に注目して判定結果が得られたのかが明確となる。
　上記態様において、学習部は、判定器のパラメータを更新すること及び判定器に入力される特徴データの重みを更新することの少なくともいずれかを実行することで、判定器の追加学習を行ってもよい。
　この態様によれば、追加学習によって、より精度良く判定結果が得られるように判定器を更新することができる。
　上記態様において、学習部は、判定器の追加学習とあわせて、１又は複数の特徴抽出器の一部の特徴抽出器のパラメータを更新してもよい。
　この態様によれば、追加学習によって、１又は複数の特徴抽出器の一部の特徴抽出器についてもあわせて更新することで、特徴抽出をより精度良く行い、かつ、より精度の良い判定結果が得られるように判定器を更新することができる。
　上記態様において、入力に基づいて、１又は複数の特徴抽出器の編集を行う編集部をさらに備えてもよい。
　この態様によれば、抽出する画像の特徴を柔軟に変更して、使用環境に適した画像判定を実行するようにすることができる。
　上記態様において、編集部は、入力に基づいて、画像の特定の特徴を表す特徴データを出力する新たな特徴抽出器を追加してもよい。
　この態様によれば、判定器への入力に追加された画像の特徴を明確にして学習モデルの追加学習を行うことができる。
　上記態様において、編集部は、入力に基づいて、１又は複数の特徴抽出器の一部を削除してもよい。
　この態様によれば、判定器への入力から削除された画像の特徴を明確にして学習モデルの追加学習を行うことができる。
　上記態様において、編集部は、入力に基づいて、１又は複数の特徴抽出器のパラメータを編集してもよい。
　この態様によれば、判定器に入力される画像の特徴に関する変更点を明確にして学習モデルの追加学習を行うことができる。
　本開示の他の態様に係る学習方法は、検査対象の画像に基づいて、画像の特定の特徴を表す特徴データをそれぞれ出力する１又は複数の特徴抽出器から出力された特徴データに基づいて、画像に関する判定結果を表す出力データを出力する判定器を、学習画像及びラベルデータを含む学習データを用いて、学習画像を１又は複数の特徴抽出器に入力した場合に出力される特徴データに基づいて、学習画像に関連付けられたラベルデータを表す出力データを出力するように学習させることと、学習部は、新たな学習データを用いて、新たな学習データに含まれる検査対象の画像を１又は複数の特徴抽出器に入力した場合に出力される特徴データに基づいて、判定器により画像に関連付けられたラベルデータを表す出力データが出力されるように、判定器を追加学習させることと、を含む。
　この態様によれば、１又は複数の特徴抽出器は、それぞれ画像の特定の特徴を抽出するため、判定器を追加学習により更新したとしても、画像のどのような特徴に注目して判定結果が得られたのかが明確となる。これにより、学習モデルの追加学習を行う場合であっても、画像のどのような特徴に注目して判定結果が得られたのかが明確となる。
　本開示の他の態様に係る画像判定プログラムは、画像判定装置に備えられた演算部を、それぞれ、検査対象の画像に基づいて、画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器、１又は複数の特徴抽出器から出力された特徴データに基づいて、画像に関する判定結果を表す出力データを出力する判定器、及び学習画像及びラベルデータを含む学習データを用いて、学習画像を１又は複数の特徴抽出器に入力した場合に出力される特徴データに基づいて、学習画像に関連付けられたラベルデータを表す出力データを出力するように判定器を学習させる学習部、として機能させ、学習部は、新たな学習データを用いて、新たな学習データに含まれる検査対象の画像を１又は複数の特徴抽出器に入力した場合に出力される特徴データに基づいて、判定器により画像に関連付けられたラベルデータを表す出力データが出力されるように、判定器を追加学習させる。
　この態様によれば、１又は複数の特徴抽出器は、それぞれ画像の特定の特徴を抽出するため、判定器を追加学習により更新したとしても、画像のどのような特徴に注目して判定結果が得られたのかが明確となる。これにより、学習モデルの追加学習を行う場合であっても、画像のどのような特徴に注目して判定結果が得られたのかが明確となる。
　本発明によれば、学習モデルの追加学習を行う場合であっても、画像のどのような特徴に注目して判定結果が得られたのかが明確となる画像判定装置、学習方法及び画像判定プログラムを提供することができる。
本発明の実施形態に係る画像判定システムの構成例を示す図である。 本実施形態に係る画像判定装置のハードウェア構成を示す図である。 本実施形態に係る画像判定装置の機能ブロックを示す図である。 本実施形態に係る学習モデルの構成例を示す図である。 本実施形態に係る学習モデルの編集例を示す図である。 本実施形態に係る画像判定装置により実行される画像判定処理のフローチャートである。 本実施形態に係る画像判定装置により実行される学習モデルの追加学習処理のフローチャートである。
　以下、本発明の一側面に係る実施の形態（以下「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。
　§１　適用例
　図１は、本発明の実施形態に係る画像判定システム１の構成例を示す図である。はじめに、本発明が適用される場面の一例について説明する。本実施形態に係る画像判定システム１は、検査対象を撮像することにより生成される入力画像を、画像判定装置１００が備える学習モデルによって解析し、欠陥検査や対象の分類を行う。学習モデルは、学習データを用いて、検査対象に関する欠陥の有無や検査対象の種類を分類するように事前に学習されていてよい。また、学習モデルは、新たな学習データが得られた場合に、追加学習されてよい。本実施形態に係る画像判定システム１は、学習モデルの追加学習を行う場合に、入力画像のどのような特徴に注目して判定結果が得られたのかが明確となるように学習モデルを更新する。なお、検査対象は、例えば、製造過程にある、部品、製品等のワーク（Work piece）等を含む。
　図１に示されるとおり、画像判定システム１は、例えば、ベルトコンベア２上を搬送される検査対象であるワーク４を撮像して得られる入力画像に対して画像計測処理を実行することで、ワーク４の外観検査又は外観計測を実現する。以下の説明においては、画像計測処理の典型例として、ワーク４表面における欠陥の有無の検査等に適用した例を説明するが、これに限らず、欠陥の種類の特定、欠陥の外観形状の寸法計測、ワーク４の種類の特定等にも応用が可能である。
　ベルトコンベア２の上部には撮像部であるカメラ１０２が配置されており、カメラ１０２の撮像視野６はベルトコンベア２の所定領域を含むように構成される。カメラ１０２の撮像により生成された画像データ（以下、「入力画像」ともいう。）は、画像判定装置１００へ送信される。カメラ１０２による撮像は、周期的又はイベント発生時に実行される。
　画像判定装置１００は、上位ネットワーク８を介して、ＰＬＣ（プログラマブルコントローラ）１０及びデータベース装置１２等と接続されている。画像判定装置１００における計測結果は、ＰＬＣ１０及び／又はデータベース装置１２へ送信されてもよい。なお、上位ネットワーク８には、ＰＬＣ１０及びデータベース装置１２に加えて、任意の装置が接続されるようにしてもよい。
　画像判定装置１００は、処理中の状態や計測結果等を表示するためのディスプレイ１０４と、ユーザ操作を受け付ける入力部としてのキーボード１０６及びマウス１０８とが接続されていてもよい。
　画像判定装置１００は機械学習によって生成された学習モデルを備えている。学習モデルは、画像を入力として受け付けて、画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器と、１又は複数の特徴抽出器から出力された特徴データに基づいて、画像に関する判定結果を表す出力データを出力する判定器とを含む。ここで、１又は複数の特徴抽出器は、例えば、画像に含まれるエッジを抽出するエッジ抽出器、画像に含まれる平面領域を抽出する平面部抽出器、画像の背景模様を抽出する背景模様抽出器、画像に含まれる２値化領域を抽出する２値化領域抽出器等を含んでよい。１又は複数の特徴抽出器は、それぞれ人が理解しやすい単一の特徴を抽出するようなモデルであってよく、機械学習モデルであってもよいし、ルールベースモデルであってもよい。判定器は、１又は複数の特徴データを入力として受け付けて、画像に関する判定結果を表す出力データを出力する。出力データは、例えば、検査対象の欠陥の有無、欠陥の種類、欠陥の外観形状の寸法、検査対象の種類等を表すデータであってよい。判定器は、例えばニューラルネットワークで構成されてよく、学習データを用いて、所望の出力データを出力するように事前に学習されていてよい。
　生産ライン上を流れるワーク４の種類や撮影条件等の検査条件は生産ラインによって様々であり、学習時の条件と必ずしも一致するとは限らない。このため、事前学習した学習モデルを生産ラインに用いると、誤った判定結果を出力することがある。そこで、学習モデルが正しく判定することができなかった画像を集めて、学習モデルの追加学習を行うことがある。この際、何ら制約無しに学習モデルの更新を行うと、当初想定していた特徴に注目して判定が行われているのか否かが不明確となり、画像のどのような特徴に注目して判定結果が得られたのかが説明できなくなることがある。そのため、生産ラインに学習モデルを導入する場合に、学習モデルの信頼性を説明することが困難となり、導入が妨げられる原因となることがある。
　本実施形態に係る画像判定装置１００は、このような事情に鑑み、追加学習を行う場合に、学習モデルに含まれる１又は複数の特徴抽出器については変更を加えず、判定器を更新することとして、画像のどのような特徴に注目して判定結果が得られたのかを明確としている。１又は複数の特徴抽出器は、それぞれ画像の特定の特徴を抽出するため、判定器を追加学習により更新したとしても、画像のどのような特徴に注目して判定結果が得られたのか特定することができる。これにより、生産ラインに学習モデルを導入する場合に、学習モデルの信頼性を説明することが容易となり、導入が妨げられないようにすることができる。
　§２　構成例
［ハードウェア構成］
　図２は、本実施形態に係る画像判定装置１００のハードウェア構成を示す図である。画像判定装置１００は、一例として、汎用的なコンピュータアーキテクチャに従って構成される汎用コンピュータを用いて実現されてもよい。画像判定装置１００は、プロセッサ１１０と、メインメモリ（主記憶部）１１２と、カメラインターフェイス１１４と、入力インターフェイス１１６と、表示インターフェイス１１８と、通信インターフェイス１２０と、ストレージ（補助記憶部）１３０とを含む。これらのコンポーネントは、典型的には、内部バス１２２を介して互いに通信可能に接続されている。
　プロセッサ１１０は、ストレージ１３０に格納されているプログラムをメインメモリ１１２に展開して実行することで、次図以降を用いて詳述するような機能及び処理を実現する。メインメモリ１１２は、揮発性メモリにより構成され、プロセッサ１１０によるプログラム実行に必要なワークメモリとして機能する。
　カメラインターフェイスは取得部の一例である。カメラインターフェイス１１４は、カメラ１０２と接続されて、カメラ１０２にて撮像された入力画像を取得する。カメラインターフェイス１１４は、カメラ１０２に対して撮像タイミング等を指示するようにしてもよい。
　入力インターフェイス１１６は、キーボード１０６及びマウス１０８等のユーザによる操作が行われる入力部と接続される。入力インターフェイス１１６は、ユーザが入力部に対して行った操作等を示す指令を取得する。
　表示インターフェイス１１８は、表示部としてのディスプレイ１０４と接続されている。表示インターフェイス１１８は、プロセッサ１１０によるプログラムの実行によって生成される各種処理結果をディスプレイ１０４へ出力する。
　通信インターフェイス１２０は、上位ネットワーク８を介して、ＰＬＣ１０及びデータベース装置１２等と通信するための処理を担当する。
　ストレージ１３０は、学習モデル１３６を実現するための画像処理プログラム１３２及びＯＳ（operating system）１３４等、コンピュータを画像判定装置１００として機能させるためのプログラムを格納している。ストレージ１３０は、さらに、学習モデル１３６と、カメラ１０２から取得された入力画像１３８と、学習モデル１３６の学習に用いられる学習データ１４０とを格納していてもよい。なお、学習データ１４０は、データベース装置１２等の外部機器から上位ネットワーク８を介して取得されてよく、ストレージ１３０に一時的に格納されるものであってよい。
　ストレージ１３０に格納される画像処理プログラム１３２は、ＤＶＤ（digital versatile disc）等の光学記録媒体又はＵＳＢ（universal serial bus）メモリ等の半導体記録媒体等を介して、画像判定装置１００にインストールされてもよい。あるいは、画像処理プログラム１３２は、ネットワーク上のサーバ装置等からダウンロードするようにしてもよい。
　本実施の形態に係る画像処理プログラム１３２は、本実施の形態に係る機能を実現するためのすべてのソフトウェアモジュールを含んでおらず、ＯＳ１３４と協働することで、必要な機能が提供されるようにしてもよい。
　本実施の形態に係る画像処理プログラム１３２は、他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、画像処理プログラム１３２自体には、上記のような組合せられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。このように、本実施形態に係る画像処理プログラム１３２は、他のプログラムに組込まれた形態であってもよい。
　図２には、汎用コンピュータを用いて画像判定装置１００を実現する例を示したが、これに限られることなく、その全部又は一部の機能を専用回路（例えば、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field-programmable gate array）等）を用いて実現してもよい。さらに、一部の処理をネットワーク接続された外部装置に担当させてもよい。
［機能構成］
　図３は、本実施形態に係る画像判定装置１００の機能ブロックを示す図である。画像判定装置１００は、ストレージ１３０に格納された学習モデル１３６と、編集部１５０と、学習部１５２とを備える。
　学習モデル１３６は、１又は複数の特徴抽出器１３６ａ及び判定器１３６ｂを含む。１又は複数の特徴抽出器１３６ａは、それぞれ、検査対象の画像に基づいて、画像の特定の特徴を表す特徴データを出力する。判定器１３６ｂは、１又は複数の特徴抽出器１３６ａから出力された特徴データに基づいて、画像に関する判定結果を表す出力データを出力する。
　学習部１５２は、学習画像及びラベルデータを含む学習データ１４０を用いて、学習画像を１又は複数の特徴抽出器１３６ａに入力した場合に出力される特徴データに基づいて、学習画像に関連付けられたラベルデータを表す出力データを出力するように判定器１３６ｂを学習させる。ここで、学習画像は、予め撮影された検査対象の画像である。また、ラベルデータは、検査対象の状態を表すデータであり、例えば、検査対象に関する欠陥の有無、欠陥の種類、欠陥の外観形状の寸法、検査対象の種類等を表すデータであってよい。学習モデル１３６の学習処理は、画像判定装置１００が生産ラインに組み込まれる前に実行されてよい。
　学習部１５２は、新たな学習データを用いて、新たな学習データに含まれる検査対象の画像を１又は複数の特徴抽出器１３６ａに入力した場合に出力される特徴データに基づいて、判定器１３６ｂにより画像に関連付けられたラベルデータを表す出力データが出力されるように、判定器１３６ｂを追加学習させる。ここで、追加学習は、判定器１３６ｂについて行い、１又は複数の特徴抽出器１３６ａについて行わなくてもよい。このようにして、１又は複数の特徴抽出器１３６ａにより抽出される特徴を固定としつつ、より精度良く画像判定を行うことができるように判定器１３６ｂを更新することができる。
　学習部１５２は、判定器１３６ｂのパラメータを更新すること及び判定器１３６ｂに入力される特徴データの重みを更新することの少なくともいずれかを実行することで、判定器１３６ｂの追加学習を行ってよい。ここで、判定器１３６ｂのパラメータは、例えば判定器１３６ｂがニューラルネットワークで構成される場合、ノードの重みやバイアスであってよい。また、判定器１３６ｂに入力される特徴データがＮ種類ある場合、特徴データの重みｗｉ（ｉ＝１～Ｎ）は、Σｉ＝１ Ｎｗｉ＝１を満たす正の実数であってよい。学習部１５２は、判定器１３６ｂがニューラルネットワークで構成される場合、バックプロパゲーションの方法で判定器１３６ｂのパラメータ及び判定器１３６ｂに入力される特徴データの重みを更新してよい。このような追加学習によって、より精度良く判定結果が得られるように判定器を更新することができる。
　学習部１５２は、判定器１３６ｂの追加学習とあわせて、１又は複数の特徴抽出器１３６ａの一部の特徴抽出器のパラメータを更新してもよい。例えば、１又は複数の特徴抽出器１３６ａの一部の特徴抽出器がニューラルネットワークにより構成され、判定器１３６ｂがニューラルネットワークで構成される場合、学習部１５２は、バックプロパゲーションの方法で判定器１３６ｂのパラメータ、判定器１３６ｂに入力される特徴データの重み及び１又は複数の特徴抽出器１３６ａの一部の特徴抽出器のパラメータを更新してよい。このように、追加学習によって、１又は複数の特徴抽出器１３６ａの一部の特徴抽出器についてもあわせて更新することで、特徴抽出をより精度良く行い、かつ、より精度の良い判定結果が得られるように判定器１３６ｂを更新することができる。
　編集部１５０は、入力に基づいて、１又は複数の特徴抽出器１３６ａの編集を行う。１又は複数の特徴抽出器１３６ａを編集することで、抽出する画像の特徴を変更することができる。編集部１５０によって１又は複数の特徴抽出器１３６ａの編集を行った場合、学習部１５２は、編集後の１又は複数の特徴抽出器１３６ａから出力される特徴データを用いて、判定器１３６ｂを追加学習してよい。このようにして、抽出する画像の特徴を柔軟に変更して、使用環境に適した画像判定を実行するようにすることができる。
　編集部１５０は、入力に基づいて、画像の特定の特徴を表す特徴データを出力する新たな特徴抽出器を追加してよい。新たな特徴抽出器を追加した場合、学習部１５２は、追加された特徴抽出器を含む複数の特徴抽出器１３６ａから出力される特徴データを用いて、判定器１３６ｂを追加学習してよい。このようにして、判定器１３６ｂへの入力に追加された画像の特徴を明確にして学習モデル１３６の追加学習を行うことができる。追加した特徴抽出器が明らかであることから、追加前後で学習モデル１３６による判定に変化が生じた場合にその原因が明らかとなるし、学習モデル１３６を事後的に元の構成に戻すことも容易となる。
　編集部１５０は、入力に基づいて、１又は複数の特徴抽出器１３６ａの一部を削除してよい。特徴抽出器を削除した場合、学習部１５２は、更新後の１又は複数の特徴抽出器１３６ａから出力される特徴データを用いて、判定器１３６ｂを追加学習してよい。このようにして、判定器１３６ｂへの入力から削除された画像の特徴を明確にして学習モデル１３６の追加学習を行うことができる。削除した特徴抽出器が明らかであることから、削除前後で学習モデル１３６による判定に変化が生じた場合にその原因が明らかとなるし、学習モデル１３６を事後的に元の構成に戻すことも容易となる。
　編集部１５０は、入力に基づいて、１又は複数の特徴抽出器１３６ａのパラメータを編集してよい。
１又は複数の特徴抽出器１３６ａのパラメータを編集した場合、学習部１５２は、編集後の１又は複数の特徴抽出器１３６ａから出力される特徴データを用いて、判定器１３６ｂを追加学習してよい。このようにして、判定器１３６ｂに入力される画像の特徴に関する変更点を明確にして学習モデル１３６の追加学習を行うことができる。編集した特徴抽出器が明らかであることから、編集前後で学習モデル１３６による判定に変化が生じた場合にその原因が明らかとなるし、学習モデル１３６を事後的に元の構成に戻すことも容易となる。
　§３　動作例
　図４は、本実施形態に係る学習モデル１３６の構成例を示す図である。本例の学習モデル１３６は、エッジ抽出器１３６ａ－１、平面部抽出器１３６ａ－２及び背景模様抽出器１３６ａ－３と、判定器１３６ｂとを含む。
　エッジ抽出器１３６ａ－１、平面部抽出器１３６ａ－２及び背景模様抽出器１３６ａ－３は、それぞれ入力データ１３６ｉ（検査対象の画像）を入力として受け付け、画像の特徴を表す特徴データを出力する。ここで、エッジ抽出器１３６ａ－１は、画像に含まれるエッジを抽出し、平面部抽出器１３６ａ－２は、画像に含まれる平面領域を抽出し、背景模様抽出器１３６ａ－３は、画像の背景模様を抽出する。
　判定器１３６ｂは、エッジ抽出器１３６ａ－１から出力された特徴データに重みｗ１をかけ、平面部抽出器１３６ａ－２から出力された特徴データに重みｗ２をかけ、背景模様抽出器１３６ａ－３から出力された特徴データに重みｗ３をかけて入力とし、入力データ１３６ｉ（画像）に関する判定結果を表す出力データ１３６ｏを出力する。
　図５は、本実施形態に係る学習モデル１３６の編集例を示す図である。本例では、編集部１５０により特徴抽出器の追加が行われた例を示している。具体的には、図４で示す３つの特徴抽出器に対して２値化領域抽出器１３６ａ－４の追加が行われた例を示している。本例の学習モデル１３６は、エッジ抽出器１３６ａ－１、平面部抽出器１３６ａ－２、背景模様抽出器１３６ａ－３及び２値化領域抽出器１３６ａ－４と、判定器１３６ｂとを含む。
　２値化領域抽出器１３６ａ－４は、入力データ１３６ｉ（検査対象の画像）を入力として受け付け、画像の特徴を表す特徴データを出力する。ここで、２値化領域抽出器１３６ａ－４は、画像に含まれる２値化領域を抽出する。
　判定器１３６ｂは、エッジ抽出器１３６ａ－１から出力された特徴データに重みｗ１をかけ、平面部抽出器１３６ａ－２から出力された特徴データに重みｗ２をかけ、背景模様抽出器１３６ａ－３から出力された特徴データに重みｗ３をかけ、２値化領域抽出器１３６ａ－４から出力された特徴データに重みｗ４をかけて入力とし、入力データ１３６ｉ（画像）に関する判定結果を表す出力データ１３６ｏを出力する。学習部１５２は、２値化領域抽出器１３６ａ－４の追加が行われた場合に、新たな学習データを用いて、判定器１３６ｂのパラメータ及び判定器１３６ｂに入力される特徴データの重みｗ１～ｗ４を更新してよい。
　なお、本例では特徴抽出器を追加する場合について説明したが、特徴抽出器を削除したり、特徴抽出器のパラメータを編集したりする場合についても、同様に判定器１３６ｂの追加学習が行われてよい。
　また、例えば、表面が白いワークに不規則な黒い汚れが付着し始めた際に、追加学習によって黒い汚れを検出するために、編集部１５０により２値化領域抽出器１３６ａ－４を追加することとしてよい。また、編集部１５０により２値化領域抽出器１３６ａ－４を追加する他の例として、事前に用意した１又は複数の特徴抽出器１３６ａに新たに２値化処理を追加する場合や、２値化処理で汚れのおおよその位置を抽出し、事前に用意した１又は複数の特徴抽出器１３６ａと合わせて欠陥検出を行う場合が挙げられる。
　図６は、本実施形態に係る画像判定装置１００により実行される画像判定処理のフローチャートである。はじめに、画像判定装置１００は、検査対象の画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器１３６ａを設定する（Ｓ１０）。
　その後、画像判定装置１００は、学習データに含まれる学習画像を１又は複数の特徴抽出器１３６ａに入力し、出力される特徴データを判定器１３６ｂに入力して、学習データに含まれるラベルデータに対応する出力データが出力されるように、判定器１３６ｂの学習を行う（Ｓ１１）。以上で、事前学習処理が終了する。
　その後、画像判定装置１００が生産ラインに設置された後、カメラ１０２によって検査対象の画像を撮影する（Ｓ１２）。そして、画像判定装置１００は、新たに撮影された画像を１又は複数の特徴抽出器１３６ａに入力し、出力された特徴データを判定器１３６ｂに入力して、画像に関する判定結果を表す出力データによって、画像を判定する（Ｓ１３）。当然ながら、画像の撮影（Ｓ１２）と、判定処理（Ｓ１３）とは繰り返し行われてよい。以上により、画像判定処理が終了する。
　図７は、本実施形態に係る画像判定装置１００により実行される学習モデル１３６の追加学習処理のフローチャートである。はじめに、画像判定装置１００は、特徴抽出器を編集するか否かを判定する（Ｓ２０）。特徴抽出器を編集するか否かは、入力に基づいて決定されてよい。
　特徴抽出器を編集する場合（Ｓ２０：ＹＥＳ）、画像判定装置１００は、特徴抽出器を追加するか否かを判定する（Ｓ２１）。入力に基づいて特徴抽出器を追加する場合（Ｓ２１：ＹＥＳ）、画像判定装置１００は、新たな特徴抽出器を追加する（Ｓ２２）。
　また、画像判定装置１００は、特徴抽出器を削除するか否かを判定する（Ｓ２３）。入力に基づいて特徴抽出器を削除する場合（Ｓ２３：ＹＥＳ）、画像判定装置１００は、選択された特徴抽出器を削除する（Ｓ２４）。
　また、画像判定装置１００は、特徴抽出器のパラメータを編集するか否かを判定する（Ｓ２５）。入力に基づいて特徴抽出器のパラメータを編集する場合（Ｓ２５：ＹＥＳ）、画像判定装置１００は、選択された特徴抽出器のパラメータを入力に基づいて編集する（Ｓ２６）。
　その後、画像判定装置１００は、新たな学習データに含まれる学習画像を編集後の１又は複数の特徴抽出器に入力し、出力された特徴データを所定の重み付けで判定器に入力し、判定器の出力データによって新たな学習データに含まれるラベルデータが再現されるように判定器を追加学習する（Ｓ２７）。
　ここで、１又は複数の特徴抽出器の一部の特徴抽出器も更新する場合（Ｓ２８：ＹＥＳ）、画像判定装置１００は、１又は複数の特徴抽出器の一部の特徴抽出器のパラメータを更新する（Ｓ２９）。
　なお、画像判定装置１００は、判定器のパラメータ、判定器に入力される特徴データの重み及び１又は複数の特徴抽出器の一部の特徴抽出器のパラメータを更新する処理を、所定の条件を満たすまで繰り返し行ってよい。以上により、追加学習処理が終了する。
　以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
　なお、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
　［付記１］
　それぞれ、検査対象の画像に基づいて、前記画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器（１３６ａ）と、
　前記１又は複数の特徴抽出器（１３６ａ）から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す出力データを出力する判定器（１３６ｂ）と、
　学習画像及びラベルデータを含む学習データを用いて、前記学習画像を前記１又は複数の特徴抽出器（１３６ａ）に入力した場合に出力される前記特徴データに基づいて、前記学習画像に関連付けられた前記ラベルデータを表す前記出力データを出力するように前記判定器（１３６ｂ）を学習させる学習部（１５２）と、を備え、
　前記学習部（１５２）は、新たな学習データを用いて、前記新たな学習データに含まれる前記検査対象の画像を前記１又は複数の特徴抽出器（１３６ａ）に入力した場合に出力される前記特徴データに基づいて、前記判定器（１３６ｂ）により前記画像に関連付けられたラベルデータを表す前記出力データが出力されるように、前記判定器（１３６ｂ）を追加学習させる、
　画像判定装置（１００）。
　［付記２］
　前記学習部（１５２）は、前記判定器（１３６ｂ）のパラメータを更新すること及び前記判定器（１３６ｂ）に入力される前記特徴データの重みを更新することの少なくともいずれかを実行することで、前記判定器（１３６ｂ）の追加学習を行う、
　付記１に記載の画像判定装置（１００）。
　［付記３］
　前記学習部（１５２）は、前記判定器（１３６ｂ）の追加学習とあわせて、前記１又は複数の特徴抽出器（１３６ａ）の一部の特徴抽出器（１３６ａ）のパラメータを更新する、
　付記１又は２に記載の画像判定装置（１００）。
　［付記４］
　入力に基づいて、前記１又は複数の特徴抽出器（１３６ａ）の編集を行う編集部（１５０）をさらに備える、
　付記１から３のいずれか一項に記載の画像判定装置（１００）。
　［付記５］
　前記編集部（１５０）は、前記入力に基づいて、前記画像の特定の特徴を表す特徴データを出力する新たな特徴抽出器（１３６ａ）を追加する、
　付記４に記載の画像判定装置（１００）。
　［付記６］
　前記編集部（１５０）は、前記入力に基づいて、前記１又は複数の特徴抽出器（１３６ａ）の一部を削除する、
　付記４又は５に記載の画像判定装置（１００）。
　［付記７］
　前記編集部（１５０）は、前記入力に基づいて、前記１又は複数の特徴抽出器（１３６ａ）のパラメータを編集する、
　付記４から６のいずれか一項に記載の画像判定装置（１００）。
　［付記８］
　検査対象の画像に基づいて、前記画像の特定の特徴を表す特徴データをそれぞれ出力する１又は複数の特徴抽出器（１３６ａ）から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す出力データを出力する判定器（１３６ｂ）を、学習画像及びラベルデータを含む学習データを用いて、前記学習画像を前記１又は複数の特徴抽出器（１３６ａ）に入力した場合に出力される前記特徴データに基づいて、前記学習画像に関連付けられた前記ラベルデータを表す前記出力データを出力するように学習させることと、
　前記学習部（１５２）は、新たな学習データを用いて、前記新たな学習データに含まれる前記検査対象の画像を前記１又は複数の特徴抽出器（１３６ａ）に入力した場合に出力される前記特徴データに基づいて、前記判定器（１３６ｂ）により前記画像に関連付けられたラベルデータを表す前記出力データが出力されるように、前記判定器（１３６ｂ）を追加学習させることと、
　を含む学習方法。
　［付記９］
　画像判定装置（１００）に備えられた演算部を、
　それぞれ、検査対象の画像に基づいて、前記画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器（１３６ａ）、
　前記１又は複数の特徴抽出器（１３６ａ）から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す出力データを出力する判定器（１３６ｂ）、及び
　学習画像及びラベルデータを含む学習データを用いて、前記学習画像を前記１又は複数の特徴抽出器（１３６ａ）に入力した場合に出力される前記特徴データに基づいて、前記学習画像に関連付けられた前記ラベルデータを表す前記出力データを出力するように前記判定器（１３６ｂ）を学習させる学習部（１５２）、として機能させ、
　前記学習部（１５２）は、新たな学習データを用いて、前記新たな学習データに含まれる前記検査対象の画像を前記１又は複数の特徴抽出器（１３６ａ）に入力した場合に出力される前記特徴データに基づいて、前記判定器（１３６ｂ）により前記画像に関連付けられたラベルデータを表す前記出力データが出力されるように、前記判定器（１３６ｂ）を追加学習させる、
　画像判定プログラム。
　１…画像判定システム、２…ベルトコンベア、４…ワーク、６…撮像視野、８…上位ネットワーク、１０…ＰＬＣ、１２…データベース装置、１００…画像判定装置、１０２…カメラ、１０４…ディスプレイ、１０６…キーボード、１０８…マウス、１１０…プロセッサ、１１２…メインメモリ、１１４…カメラインターフェイス、１１６…入力インターフェイス、１１８…表示インターフェイス、１２０…通信インターフェイス、１２２…内部バス、１３０…ストレージ、１３２…画像処理プログラム、１３４…ＯＳ、１３６…学習モデル、１３６ａ…特徴抽出器、１３６ａ－１…エッジ抽出器、１３６ａ－２…平面部抽出器、１３６ａ－３…背景模様抽出器、１３６ａ－４…２値化領域抽出器、１３６ｂ…判定器、１３６ｉ…入力データ、１３６ｏ…出力データ、１３８…入力画像、１４０…学習データ、１５０…編集部、１５２…学習部
 

Claims (9)

  1. 　それぞれ、検査対象の画像に基づいて、前記画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器と、
    　前記１又は複数の特徴抽出器から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す出力データを出力する判定器と、
    　学習画像及びラベルデータを含む学習データを用いて、前記学習画像を前記１又は複数の特徴抽出器に入力した場合に出力される前記特徴データに基づいて、前記学習画像に関連付けられた前記ラベルデータを表す前記出力データを出力するように前記判定器を学習させる学習部と、を備え、
    　前記学習部は、新たな学習データを用いて、前記新たな学習データに含まれる前記検査対象の画像を前記１又は複数の特徴抽出器に入力した場合に出力される前記特徴データに基づいて、前記判定器により前記画像に関連付けられたラベルデータを表す前記出力データが出力されるように、前記判定器を追加学習させる、
    　画像判定装置。
  2. 　前記学習部は、前記判定器のパラメータを更新すること及び前記判定器に入力される前記特徴データの重みを更新することの少なくともいずれかを実行することで、前記判定器の追加学習を行う、
    　請求項１に記載の画像判定装置。
  3. 　前記学習部は、前記判定器の追加学習とあわせて、前記１又は複数の特徴抽出器の一部の特徴抽出器のパラメータを更新する、
    　請求項１又は２に記載の画像判定装置。
  4. 　入力に基づいて、前記１又は複数の特徴抽出器の編集を行う編集部をさらに備える、
    　請求項１から３のいずれか一項に記載の画像判定装置。
  5. 　前記編集部は、前記入力に基づいて、前記画像の特定の特徴を表す特徴データを出力する新たな特徴抽出器を追加する、
    　請求項４に記載の画像判定装置。
  6. 　前記編集部は、前記入力に基づいて、前記１又は複数の特徴抽出器の一部を削除する、
    　請求項４又は５に記載の画像判定装置。
  7. 　前記編集部は、前記入力に基づいて、前記１又は複数の特徴抽出器のパラメータを編集する、
    　請求項４から６のいずれか一項に記載の画像判定装置。
  8. 　検査対象の画像に基づいて、前記画像の特定の特徴を表す特徴データをそれぞれ出力する１又は複数の特徴抽出器から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す出力データを出力する判定器を、学習画像及びラベルデータを含む学習データを用いて、前記学習画像を前記１又は複数の特徴抽出器に入力した場合に出力される前記特徴データに基づいて、前記学習画像に関連付けられた前記ラベルデータを表す前記出力データを出力するように学習させることと、
    　前記学習部は、新たな学習データを用いて、前記新たな学習データに含まれる前記検査対象の画像を前記１又は複数の特徴抽出器に入力した場合に出力される前記特徴データに基づいて、前記判定器により前記画像に関連付けられたラベルデータを表す前記出力データが出力されるように、前記判定器を追加学習させることと、
    　を含む学習方法。
  9. 　画像判定装置に備えられた演算部を、
    　それぞれ、検査対象の画像に基づいて、前記画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器、
    　前記１又は複数の特徴抽出器から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す出力データを出力する判定器、及び
    　学習画像及びラベルデータを含む学習データを用いて、前記学習画像を前記１又は複数の特徴抽出器に入力した場合に出力される前記特徴データに基づいて、前記学習画像に関連付けられた前記ラベルデータを表す前記出力データを出力するように前記判定器を学習させる学習部、として機能させ、
    　前記学習部は、新たな学習データを用いて、前記新たな学習データに含まれる前記検査対象の画像を前記１又は複数の特徴抽出器に入力した場合に出力される前記特徴データに基づいて、前記判定器により前記画像に関連付けられたラベルデータを表す前記出力データが出力されるように、前記判定器を追加学習させる、
    　画像判定プログラム。
     
PCT/JP2019/041591 2018-12-27 2019-10-24 画像判定装置、学習方法及び画像判定プログラム WO2020137123A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19903217.8A EP3905190A4 (en) 2018-12-27 2019-10-24 IMAGE DETERMINATION DEVICE, TRAINING METHOD AND IMAGE DETERMINATION PROGRAM
US17/270,051 US11922319B2 (en) 2018-12-27 2019-10-24 Image determination device, training method and non-transitory computer readable medium storing program
CN201980052593.7A CN112602113B (zh) 2018-12-27 2019-10-24 图像判定装置、学习方法及其程序的记录媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-245678 2018-12-27
JP2018245678A JP7130190B2 (ja) 2018-12-27 2018-12-27 画像判定装置、学習方法及び画像判定プログラム

Publications (1)

Publication Number Publication Date
WO2020137123A1 true WO2020137123A1 (ja) 2020-07-02

Family

ID=71128924

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/041591 WO2020137123A1 (ja) 2018-12-27 2019-10-24 画像判定装置、学習方法及び画像判定プログラム

Country Status (5)

Country Link
US (1) US11922319B2 (ja)
EP (1) EP3905190A4 (ja)
JP (1) JP7130190B2 (ja)
CN (1) CN112602113B (ja)
WO (1) WO2020137123A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014022837A (ja) * 2012-07-13 2014-02-03 Nippon Hoso Kyokai <Nhk> 学習装置、及びプログラム
JP2016057925A (ja) * 2014-09-10 2016-04-21 キヤノン株式会社 画像分類装置、画像分類システム、画像分類方法およびプログラム
JP2017049974A (ja) 2015-09-04 2017-03-09 キヤノン株式会社 識別器生成装置、良否判定方法、およびプログラム
JP2018005639A (ja) * 2016-07-04 2018-01-11 タカノ株式会社 画像分類装置、画像検査装置、及び、プログラム
JP2018005640A (ja) * 2016-07-04 2018-01-11 タカノ株式会社 分類器生成装置、画像検査装置、及び、プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020164070A1 (en) * 2001-03-14 2002-11-07 Kuhner Mark B. Automatic algorithm generation
JP5865707B2 (ja) 2012-01-06 2016-02-17 株式会社キーエンス 外観検査装置、外観検査方法及びコンピュータプログラム
US20170069075A1 (en) * 2015-09-04 2017-03-09 Canon Kabushiki Kaisha Classifier generation apparatus, defective/non-defective determination method, and program
JP6333871B2 (ja) 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
US10990896B2 (en) 2017-01-27 2021-04-27 Facebook, Inc. Systems and methods for incorporating long-term patterns in online fraud detection
JP6932987B2 (ja) 2017-05-11 2021-09-08 オムロン株式会社 画像処理装置、画像処理プログラム、画像処理システム
JP6729516B2 (ja) * 2017-07-27 2020-07-22 トヨタ自動車株式会社 識別装置
EP3620978A1 (de) * 2018-09-07 2020-03-11 Ibeo Automotive Systems GmbH Verfahren und vorrichtung zur klassifizierung von objekten

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014022837A (ja) * 2012-07-13 2014-02-03 Nippon Hoso Kyokai <Nhk> 学習装置、及びプログラム
JP2016057925A (ja) * 2014-09-10 2016-04-21 キヤノン株式会社 画像分類装置、画像分類システム、画像分類方法およびプログラム
JP2017049974A (ja) 2015-09-04 2017-03-09 キヤノン株式会社 識別器生成装置、良否判定方法、およびプログラム
JP2018005639A (ja) * 2016-07-04 2018-01-11 タカノ株式会社 画像分類装置、画像検査装置、及び、プログラム
JP2018005640A (ja) * 2016-07-04 2018-01-11 タカノ株式会社 分類器生成装置、画像検査装置、及び、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3905190A4

Also Published As

Publication number Publication date
US20210326648A1 (en) 2021-10-21
US11922319B2 (en) 2024-03-05
EP3905190A4 (en) 2022-09-14
CN112602113B (zh) 2024-05-24
EP3905190A1 (en) 2021-11-03
JP2020107105A (ja) 2020-07-09
JP7130190B2 (ja) 2022-09-05
CN112602113A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
JP6879431B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN108231623B (zh) 半导体元件的制造过程中进行自动缺陷筛选的系统
KR20190063839A (ko) 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
WO2020137222A1 (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
CN114445746A (zh) 模型训练方法、铁路接触网异常检测方法及相关装置
CN115546211B (zh) 一种焊点缺陷分类方法、终端及计算机存储介质
JP2004362400A (ja) 画像認識装置および画像認識方法、並びに、画像認識装置のティーチング装置およびティーチング方法
JP7075057B2 (ja) 画像判定装置、画像判定方法及び画像判定プログラム
CN117274245B (zh) 基于图像处理技术的aoi光学检测方法及系统
Gore et al. A novel methodology for health assessment in printed circuit boards
JP2023047003A (ja) 機械学習システム、学習データ収集方法及び学習データ収集プログラム
WO2020137123A1 (ja) 画像判定装置、学習方法及び画像判定プログラム
JP5075083B2 (ja) 教師データ作成支援方法、並びに、画像分類方法および画像分類装置
CN114596242A (zh) 缺陷检测方法、装置、电子设备及计算机可读存储介质
JP2021086381A (ja) 学習装置、学習方法およびプログラム
JP7075056B2 (ja) 画像判定装置、画像判定方法及び画像判定プログラム
JP7241533B2 (ja) 画像判定装置、画像判定方法及び画像判定プログラム
JP2022087930A (ja) 被検査画像の検査を実行する方法、情報処理装置、及び、コンピュータープログラム
JP4155497B2 (ja) 欠陥分類方法、プログラムおよび欠陥分類装置
CN115471725A (zh) 用于异常检测的图像处理方法及设备和神经网络构建方法
EP2573694A1 (en) Conversion method and system
TWI856660B (zh) 不適合檢測裝置及不適合檢測方法
KR101467256B1 (ko) 산업용 로봇을 위한 고속 영상 이진화 방법 및 장치
KR20040076812A (ko) 다변수 화상분석을 이용하여 제조 결함을 검출 및기록하는 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19903217

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019903217

Country of ref document: EP

Effective date: 20210727