WO2020137229A1 - 画像判定装置、画像判定方法及び画像判定プログラム - Google Patents

画像判定装置、画像判定方法及び画像判定プログラム Download PDF

Info

Publication number
WO2020137229A1
WO2020137229A1 PCT/JP2019/044743 JP2019044743W WO2020137229A1 WO 2020137229 A1 WO2020137229 A1 WO 2020137229A1 JP 2019044743 W JP2019044743 W JP 2019044743W WO 2020137229 A1 WO2020137229 A1 WO 2020137229A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
image
data
sub
learning data
Prior art date
Application number
PCT/JP2019/044743
Other languages
English (en)
French (fr)
Inventor
直樹 土屋
善久 井尻
丸山　裕
洋平 大川
剣之介 林
山元　左近
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to EP19904015.5A priority Critical patent/EP3905191A4/en
Priority to CN201980052723.7A priority patent/CN112567426B/zh
Priority to US17/270,429 priority patent/US11915143B2/en
Publication of WO2020137229A1 publication Critical patent/WO2020137229A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Definitions

  • the present invention relates to an image determination device, an image determination method, and an image determination program.
  • Patent Document 1 discloses an apparatus that determines the presence or absence of a defect in an inspection target based on the output result of a discriminator learned by using images of the inspection target captured under a plurality of imaging conditions as learning data. There is. Specifically, the apparatus described in Patent Document 1 uses the image of each of the at least two images based on the images captured under at least two different image capturing conditions for an object whose appearance is known to be good or bad.
  • a learning extraction unit that extracts a feature amount, and a selection unit that selects a feature amount for determining the quality of an object from the feature amounts that extend over the feature amounts extracted from the at least two images by the learning extraction unit.
  • a generation unit that generates a discriminator that determines the quality of the object based on the feature amount selected by the selection unit.
  • the correct determination result is output when the image is input to the learning model by using the learning data including the image and the correct determination result.
  • a learning model may be generated by supervised learning. However, when the number of pieces of learning data is increased and additional learning is performed, the determination accuracy of the learning model does not improve or only slightly improves, but the time and the amount of calculation required for the learning process may increase.
  • the present invention provides an image determination device, an image determination method, and an image determination program that can suppress an increase in the time required for learning processing and an increase in the amount of calculation even when performing additional learning of a learning model.
  • An image determining apparatus uses a learning model that outputs output data representing a determination result regarding an image based on an image to be inspected, and learning data including a learning image and label data, and a learning image.
  • a learning unit for learning the learning model so as to output the output data representing the label data associated with the learning image
  • a dividing unit for dividing the learning data into a plurality of sub-learning data
  • a measurement unit that measures the determination accuracy when the learning model is trained by the learning unit using each of the plurality of sub-learning data
  • a selection unit that selects at least one of the plurality of sub-learning data based on the determination accuracy.
  • the learning model can be additionally learned by using the sub-learning data having a smaller number of data than the learning data, and even when the additional learning of the learning model is performed, the time and the amount of calculation required for the learning process are increased. Can be suppressed.
  • the determination accuracy when the learning model is learned by the learning unit using the learning data and the determination accuracy when the learning model is learned by the learning unit using the sub-learning data selected by the selection unit
  • the dividing unit, the measuring unit, and the selecting unit may recursively repeat the respective processes.
  • the number of pieces of learning data can be reduced stepwise while suppressing or improving the deterioration of the determination accuracy, and the increase in the time and the amount of calculation required for the learning processing can be further suppressed. ..
  • the dividing unit may divide the learning data into a plurality of sub-learning data that do not overlap each other.
  • the number of data used for learning the learning model can be reduced.
  • the dividing unit may divide the learning data into a plurality of sub-learning data that may overlap.
  • the number of data used for learning the learning model can be reduced.
  • the dividing unit may divide the learning data into a plurality of sub-learning data by clustering the learning data according to a predetermined criterion and extracting one or a plurality of representative data from the plurality of clusters.
  • the number of data used for learning the learning model can be reduced.
  • An image determination method learns a learning model that outputs output data representing a determination result regarding an image based on an image to be inspected by using learning data including a learning image and label data.
  • learning is performed so as to output output data representing label data associated with the learning image
  • the learning data is divided into a plurality of sub-learning data, and a plurality of sub-learning is performed.
  • the method includes measuring the determination accuracy when the learning model is trained using each of the data, and selecting at least one of the plurality of sub-learning data based on the determination accuracy.
  • the learning model can be additionally learned by using the sub-learning data having a smaller number of data than the learning data, and even when the additional learning of the learning model is performed, the time and the amount of calculation required for the learning process are increased. Can be suppressed.
  • An image determination program includes a calculation unit included in the image determination device, Based on the image of the inspection object, a learning model that outputs output data representing the determination result regarding the image, When a learning image is input to the learning model by using the learning data including the learning image and the label data, a learning unit for learning the learning model so as to output the output data representing the label data associated with the learning image, the learning A division unit that divides the data into a plurality of sub-learning data, a measurement unit that measures the determination accuracy when a learning model is trained by the learning unit using each of the plurality of sub-learning data, and a plurality of It functions as a selection unit that selects at least one of the sub-learning data.
  • the learning model can be additionally learned by using the sub-learning data having a smaller number of data than the learning data. Can be suppressed.
  • an image determination device an image determination method, and an image determination program that can suppress an increase in the time and the amount of calculation required for the learning process even when performing additional learning of a learning model.
  • the present embodiment an embodiment according to one aspect of the present invention (hereinafter also referred to as “the present embodiment”) will be described with reference to the drawings.
  • the embodiments described below are merely examples of the present invention in all respects. It goes without saying that various improvements and modifications can be made without departing from the scope of the present invention. That is, in implementing the present invention, a specific configuration according to the embodiment may be appropriately adopted. It should be noted that although the data that appears in this embodiment is described in natural language, more specifically, it is specified by a computer-recognizable pseudo language, command, parameter, machine language, or the like.
  • FIG. 1 is a diagram showing a configuration example of an image determination system 1 according to an embodiment of the present invention.
  • the image determination system 1 analyzes an input image generated by capturing an image of an inspection target with a learning model included in the image determination apparatus 100, and performs defect inspection and classification of the target.
  • the learning model may be learned in advance using the learning data so as to classify the presence/absence of a defect regarding the inspection target and the type of the inspection target. Further, the learning model may be obtained by dividing the learning data into a plurality of sub-learning data, selecting one of them, and additionally learning using the selected sub-learning data.
  • the inspection target includes, for example, a work piece such as a part or a product in the manufacturing process.
  • the image determination system 1 performs image measurement processing on an input image obtained by capturing an image of a workpiece 4 that is an inspection target conveyed on a belt conveyor 2, thereby 4. Appearance inspection or appearance measurement of 4 is realized.
  • an example applied to inspection of the presence or absence of a defect on the surface of the work 4 will be described, but the invention is not limited to this, identification of the type of defect, dimension of the appearance shape of the defect. It can also be applied to measurement, identification of the type of work 4, and the like.
  • a camera 102 which is an imaging unit, is arranged above the belt conveyor 2, and the imaging field of view 6 of the camera 102 is configured to include a predetermined area of the belt conveyor 2.
  • the image data (hereinafter, also referred to as “input image”) generated by the image pickup by the camera 102 is transmitted to the image determination device 100. Imaging by the camera 102 is performed periodically or when an event occurs.
  • the image determination device 100 is connected to a PLC (programmable controller) 10, a database device 12 and the like via a higher level network 8.
  • the measurement result of the image determination device 100 may be transmitted to the PLC 10 and/or the database device 12.
  • any device may be connected to the host network 8.
  • the image determination device 100 may be connected to a display 104 for displaying a processing state, a measurement result, and the like, and a keyboard 106 and a mouse 108 as an input unit that receives a user operation.
  • the image determination device 100 includes a learning model generated by machine learning.
  • the learning model outputs output data indicating a determination result regarding the image based on the image of the inspection target.
  • the learning model is based on, for example, one or more feature extractors that receive an image as an input and output feature data representing a particular feature of the image, and feature data output from the one or more feature extractors.
  • a determiner that outputs output data representing a determination result regarding an image.
  • the one or more feature extractors are, for example, an edge extractor that extracts edges included in an image, a plane part extractor that extracts a plane area included in the image, and a background pattern extraction that extracts a background pattern of the image.
  • Each of the one or more feature extractors may be a model that extracts a single feature that is easy for a person to understand, and may be a machine learning model or a rule-based model.
  • the determiner receives one or a plurality of feature data as an input and outputs output data representing a determination result regarding an image.
  • the output data may be, for example, data representing the presence or absence of a defect to be inspected, the type of defect, the size of the external shape of the defect, the type of inspection target, and the like.
  • the determiner may be composed of, for example, a neural network, and may be learned in advance using the learning data so as to output desired output data.
  • the inspection conditions such as the type of work 4 flowing on the production line and the shooting conditions vary depending on the production line, and do not always match the conditions for learning. For this reason, if a pre-learned learning model is used in a production line, an incorrect determination result may be output. Therefore, additional learning of the learning model may be performed by adding an image that the learning model cannot correctly determine to the learning data. At this time, even if the number of learning data is increased, the determination accuracy of the learning model is not improved or only slightly improved, but the time and the amount of calculation required for the learning process may be increased.
  • the image determination device 100 divides the learning data into a plurality of sub-learning data, trains the learning model using each of the plurality of sub-learning data, and based on the determination accuracy. And select at least one of the plurality of sub-learning data. As a result, a set of the selected sub-learning data and the additional learning model learned by using the sub-learning data is obtained, and the image determining apparatus 100 determines the image by the additional learning model learned with a smaller number of data. I do. As described above, even when the additional learning of the learning model is performed, it is possible to suppress an increase in the time required for the learning process and the amount of calculation.
  • FIG. 2 is a diagram showing a hardware configuration of the image determination device 100 according to the present embodiment.
  • the image determination device 100 may be implemented by using a general-purpose computer configured according to a general-purpose computer architecture, for example.
  • the image determination apparatus 100 includes a processor 110, a main memory (main storage unit) 112, a camera interface 114, an input interface 116, a display interface 118, a communication interface 120, and a storage (auxiliary storage unit) 130. .. These components are typically communicatively coupled to each other via an internal bus 122.
  • the processor 110 expands the program stored in the storage 130 into the main memory 112 and executes the program to realize the functions and processes described in detail with reference to the figures below.
  • the main memory 112 is composed of a volatile memory and functions as a work memory necessary for the program execution by the processor 110.
  • the camera interface is an example of an acquisition unit.
  • the camera interface 114 is connected to the camera 102 and acquires an input image captured by the camera 102.
  • the camera interface 114 may instruct the camera 102 about image capturing timing and the like.
  • the input interface 116 is connected to an input unit operated by a user, such as the keyboard 106 and the mouse 108.
  • the input interface 116 acquires a command indicating an operation performed by the user on the input unit.
  • the display interface 118 is connected to the display 104 as a display unit.
  • the display interface 118 outputs various processing results generated by the execution of the program by the processor 110 to the display 104.
  • the communication interface 120 is in charge of processing for communicating with the PLC 10, the database device 12, and the like via the upper network 8.
  • the storage 130 stores programs for causing a computer to function as the image determination apparatus 100, such as an image processing program 132 for realizing the learning model 136 and an OS (operating system) 134.
  • the storage 130 may further store a learning model 136, an input image 138 acquired from the camera 102, and learning data 140 used for learning of the learning model 136.
  • the learning data 140 may be acquired from an external device such as the database device 12 via the host network 8 and may be temporarily stored in the storage 130.
  • the image processing program 132 stored in the storage 130 may be installed in the image determination device 100 via an optical recording medium such as a DVD (digital versatile disc) or a semiconductor recording medium such as a USB (universal serial bus) memory. Good. Alternatively, the image processing program 132 may be downloaded from a server device or the like on the network.
  • an optical recording medium such as a DVD (digital versatile disc) or a semiconductor recording medium such as a USB (universal serial bus) memory. Good.
  • the image processing program 132 may be downloaded from a server device or the like on the network.
  • the image processing program 132 does not include all the software modules for realizing the functions according to the present embodiment, and the necessary functions are provided by cooperating with the OS 134. You may
  • the image processing program 132 according to the present embodiment may be provided by being incorporated in a part of another program. Even in that case, the image processing program 132 itself does not include a module included in another program combined as described above, and the process is executed in cooperation with the other program. As described above, the image processing program 132 according to the present embodiment may be incorporated in another program.
  • FIG. 2 shows an example in which the image determination device 100 is realized by using a general-purpose computer, but the present invention is not limited to this, and all or part of the function thereof is a dedicated circuit (for example, ASIC (application specific integrated circuit)). Or FPGA (field-programmable gate array) or the like. Further, part of the processing may be assigned to an external device connected to the network.
  • ASIC application specific integrated circuit
  • FPGA field-programmable gate array
  • FIG. 3 is a diagram showing functional blocks of the image determination device 100 according to this embodiment.
  • the image determination device 100 includes a learning model 136 stored in the storage 130, a learning unit 150, a dividing unit 152, a measuring unit 154, and a selecting unit 156.
  • the learning model 136 outputs the output data indicating the determination result regarding the image based on the image of the inspection target.
  • the learning model 136 may have any configuration, but may be configured by, for example, a neural network.
  • the learning model 136 may be generated by supervised learning, and the supervised learning may use the learning data 140 stored in the storage 130.
  • the learning unit 150 uses the learning data 140 including the learning image and the label data so as to output the output data representing the label data associated with the learning image.
  • Learn 136 When the learning model 136 is composed of a neural network, the learning unit 150 may execute the learning process of the learning model 136 by the back propagation method.
  • the dividing unit 152 divides the learning data 140 into a plurality of sub-learning data 142.
  • the dividing unit 152 may divide the learning data 140 into a plurality of sub-learning data 142 that do not overlap each other.
  • the dividing unit 152 may generate a plurality of sub-learning data 142 by randomly dividing the learning data into N groups so as not to overlap each other. In this way, the number of data used for learning the learning model can be reduced.
  • the dividing unit 152 may divide the learning data 140 into a plurality of sub-learning data 142 that may overlap. For example, the dividing unit 152 generates the same number of sub-learning data 142 as the number of pieces of learning data by performing the same process on all the data, with the remaining data obtained by extracting one data from the learning data as sub-learning data. You can do it. In this case, the data number of the sub-learning data 142 is one less than the data number of the learning data 140. In this way, the number of data used for learning the learning model can be reduced.
  • the dividing unit 152 may divide the learning data 140 into a plurality of sub-learning data 142 by clustering the learning data 140 according to a predetermined standard and extracting one or a plurality of representative data from the plurality of clusters. For example, the dividing unit 152 clusters the learning data 140 on the basis of the characteristics of the learning image included in the learning data 140, and repeats the process of randomly extracting one data from each of the plurality of clusters. It may be divided into a plurality of sub-learning data 142. More specifically, the dividing unit 152 uses the pixel values of the image data 140 as vector data, creates K clusters by, for example, the K-means method, and repeats the process of extracting data from each cluster to perform learning. The data 140 may be divided into a plurality of sub-learning data 142. In this way, the number of data used for learning the learning model can be reduced.
  • the measuring unit 154 measures the determination accuracy when the learning model 136 is trained by the learning unit 150 using each of the plurality of sub-learning data 142.
  • the determination accuracy may be represented by a difference from the determination accuracy when the learning model 136 is learned using the learning data 140. Further, the determination accuracy may include a plurality of amounts calculated by a plurality of criteria such as accuracy, precision, F1 value, ROC (Receiver Operating Characteristic) curve, and AUC (AreaUnderCurve). .. Specifically, the determination result is true and the proportion of correct answers is TP, the determination result is true and the proportion of incorrect answers is FP, the determination result is false and the proportion of correct answers is TN, and the determination result is false and the proportion of incorrect answers is FN.
  • the accuracy is an amount defined by (TP+TN)/(TP+TN+FP+FN), the accuracy is an amount defined by TP/(TP+FP), and the F1 value is an amount defined by 2TP/(2TP+FP+FN).
  • the ROC curve is drawn when the false positive rate FP/(FP+TN) is taken on the horizontal axis and the true positive rate TP/(FP+TN) is taken on the vertical axis, and the judgment parameters (threshold value, etc.) are changed. It is a curve.
  • the ROC curve of the good model has a steep rise such that the false positive rate is low and the true positive rate is high, and the ROC curve of the model close to random judgment approaches a straight line with a slope of 45°.
  • AUC is defined as the integral of the ROC curve (area under the curve).
  • the selection unit 156 selects at least one of the plurality of sub-learning data 142 based on the determination accuracy.
  • the selecting unit 156 may select the sub-learning data 142 that has the best determination accuracy when the learning unit 136 has learned the learning model 136 using each of the plurality of sub-learning data 142.
  • the determination accuracy includes a plurality of amounts
  • the selection unit 156 may select the sub-learning data 142 having the best specific amount (for example, F1 value), or may select a plurality of amounts (for example, accuracy, precision, and F1 value). ) May be selected as the best sub-learning data 142.
  • the determination accuracy when the learning model 136 is learned by the learning unit 150 using the learning data 140, and the learning accuracy when the learning model 136 is learned by the learning unit 150 using the sub-learning data 142 selected by the selection unit 156 may recursively repeat the respective processes.
  • the determination accuracy when the learning model 136 is learned by the learning unit 150 using the learning data 140 is p1
  • the learning model 136 is selected by the learning unit 150 using the sub-learning data 142 selected by the selection unit 156.
  • the predetermined condition may be that p1 ⁇ p2 ⁇ Th is satisfied.
  • Th is a positive value that represents a permissible threshold value for the range of decrease in the determination accuracy of the learning model 136 due to the reduction of the learning data 140.
  • the allowable threshold may be 0 or a negative value.
  • the image determining apparatus 100 divides the learning data 140 into a plurality of sub-learning data 142 by the dividing unit 152, and determines the determination accuracy when the learning model 140 is learned by the measuring unit 154 using the plurality of sub-learning data 142.
  • the sub-learning data 142 that is measured and has a relatively high determination accuracy is selected by the selection unit 156.
  • the image determination apparatus 100 divides the sub-learning data 142 selected by the selection unit 156 when the determination accuracy is improved, is maintained, or is decreased, but the variation width is within the allowable threshold. 152 is divided into a plurality of sub-learning data, the measuring unit 154 measures the determination accuracy when the learning model 140 is trained using the plurality of sub-learning data, and the selection unit 156 has a relatively high determination accuracy. A series of processes of selecting sub-learning data is executed again. The image determination apparatus 100 may repeat such a series of processes until the determination accuracy drops below the allowable threshold.
  • the determination accuracy when the learning model 136 is learned by the learning unit 150 using each of the plurality of sub-learning data 142 and the determination accuracy when the learning model 136 is learned using the learning data 140 are the determination
  • the ratio may be compared, and the comparison may be performed by any method.
  • FIG. 4 is a diagram showing an example of division of the learning data 140 by the image determination device 100 according to the present embodiment.
  • the learning data 140 is divided into four sub-learning data 142a, second sub-learning data 142b, third sub-learning data 142c, and fourth sub-learning data 142d.
  • the image determination apparatus 100 divides the learning data 140 into the first sub-learning data 142a, the second sub-learning data 142b, the third sub-learning data 142c, and the fourth sub-learning data 142d, and uses the respective sub-learning data.
  • the learning model 136 is learned.
  • the image determination apparatus 100 learns the first additional learning model 136a generated by learning the learning model 136 using the first sub-learning data 142a and the learning model 136 using the second sub-learning data 142b.
  • the third additional learning model 136c generated by learning the learning model 136 by using the second additional learning model 136b generated by the above and the third sub learning data 142c, and the learning model 136 by using the fourth sub learning data 142d.
  • a fourth additional learning model 136d generated by learning.
  • the image determination apparatus 100 selects the second sub-learning data 142b for which the determination accuracy of the additional learning model is relatively high.
  • the image determination apparatus 100 compares the determination accuracy of the second additional learning model 136b with the determination accuracy of the learning model 136 before the additional learning, and when the predetermined criterion is satisfied, further divides the second sub-learning data 142b and The process may be repeated.
  • FIG. 5 is a flowchart of a first example of the image determination processing executed by the image determination device 100 according to this embodiment.
  • the image determining apparatus 100 sets one or more feature extractors that output feature data representing specific features of an image to be inspected (S10), and learns the determiner using learning data (S11). .. Learning of the determiner is referred to as learning of the learning model 136.
  • the image determination device 100 divides the learning data 140 into a plurality of sub-learning data 142 that do not overlap each other (S12). Then, the image determination apparatus 100 uses each of the plurality of sub-learning data 142 to learn the learning model 136 and measures the determination accuracy (S13).
  • the image determination apparatus 100 compares the determination accuracy of the learning model 136 when the learning data 140 is used with the determination accuracy of the learning model 136 when the sub-learning data 142 is used, and determines a plurality of sub-learning data 142. Any one of them is selected (S14).
  • a change from the determination accuracy of the learning model 136 when the learning data 140 is used to the determination accuracy of the learning model 136 when the selected sub-learning data 142 is used satisfies a predetermined condition. It is determined whether or not (S15).
  • the predetermined condition is that the determination accuracy of the learning model 136 when the selected sub-learning data 142 is used is higher than the determination accuracy of the learning model 136 when the learning data 140 is used by a threshold value or more. Alternatively, the determination accuracy may be decreased within a threshold value.
  • the image determination apparatus 100 uses the selected sub-learning data 142 as new learning data, divides the learning data (S12), and uses the sub-learning data.
  • the learning of the learning model, the determination accuracy measurement (S13), and the sub-learning data selection (S14) are executed again.
  • the image determination device 100 adopts the additional learning model learned by the last selected sub-learning data (S16). This is the end of the learning process.
  • the image of the inspection target is taken by the camera 102 (S17).
  • the image determination device 100 inputs the newly captured image to one or a plurality of feature extractors, inputs the output feature data to the determiner generated by the additional learning, and outputs the determination result regarding the image.
  • the image is determined based on the output data thus represented (S18).
  • the image capturing (S17) and the determination process (S18) may be repeatedly performed. With the above, the image determination process ends.
  • FIG. 6 is a flowchart of a second example of the image determination processing executed by the image determination device 100 according to this embodiment.
  • the image determination device 100 sets one or more feature extractors that output feature data representing specific features of an image to be inspected (S20), and learns the determiner using learning data (S21). .. Learning of the determiner is referred to as learning of the learning model 136.
  • the image determination device 100 divides the learning data 140 into a plurality of sub-learning data 142 that may overlap each other (S22). Then, the image determination apparatus 100 uses each of the plurality of sub-learning data 142 to learn the learning model 136 and measures the determination accuracy (S23).
  • the image determination apparatus 100 compares the determination accuracy of the learning model 136 when the learning data 140 is used with the determination accuracy of the learning model 136 when the sub-learning data 142 is used, and determines a plurality of sub-learning data 142. Any one of them is selected (S24).
  • a change from the determination accuracy of the learning model 136 when the learning data 140 is used to the determination accuracy of the learning model 136 when the selected sub-learning data 142 is used satisfies a predetermined condition. It is determined whether or not (S25).
  • the image determination device 100 uses the selected sub-learning data 142 as new learning data, divides the learning data (S22), and uses the sub-learning data. The learning of the learning model, the determination accuracy measurement (S23), and the sub-learning data selection (S24) are executed again.
  • the image determination device 100 adopts the additional learning model learned by the last selected sub-learning data (S26). This is the end of the learning process.
  • the image of the inspection target is taken by the camera 102 (S27).
  • the image determination device 100 inputs the newly captured image to one or a plurality of feature extractors, inputs the output feature data to the determiner generated by the additional learning, and outputs the determination result regarding the image.
  • the image is determined based on the output data represented (S28).
  • the image capturing (S27) and the determination process (S28) may be repeated. With the above, the image determination process ends.
  • FIG. 7 is a flowchart of a third example of the image determination processing executed by the image determination device 100 according to this embodiment.
  • the image determining apparatus 100 sets one or more feature extractors that output feature data representing specific features of an image to be inspected (S30), and learns the determiner using learning data (S31). .. Learning of the determiner is referred to as learning of the learning model 136.
  • the image determination device 100 divides the learning data 140 into a plurality of sub-learning data 142 by clustering the learning data 140 according to a predetermined criterion and extracting one or a plurality of representative data from the plurality of clusters ( S32). Then, the image determination apparatus 100 uses each of the plurality of sub-learning data 142 to learn the learning model 136 and measures the determination accuracy (S33).
  • the image determination apparatus 100 compares the determination accuracy of the learning model 136 when the learning data 140 is used with the determination accuracy of the learning model 136 when the sub-learning data 142 is used, and determines a plurality of sub-learning data 142. One of them is selected (S34).
  • a change from the determination accuracy of the learning model 136 when the learning data 140 is used to the determination accuracy of the learning model 136 when the selected sub-learning data 142 is used satisfies a predetermined condition. It is determined whether or not (S35).
  • the image determination device 100 uses the selected sub-learning data 142 as new learning data, divides the learning data (S32), and uses the sub-learning data. The learning of the learning model, the determination accuracy measurement (S33), and the sub-learning data selection (S34) are executed again.
  • the image determination apparatus 100 adopts the additional learning model learned by the last selected sub-learning data (S36). This is the end of the learning process.
  • the image of the inspection target is taken by the camera 102 (S37).
  • the image determination device 100 inputs the newly captured image to one or a plurality of feature extractors, inputs the output feature data to the determiner generated by the additional learning, and outputs the determination result regarding the image.
  • the image is determined based on the output data represented (S38).
  • the image capturing (S37) and the determination process (S38) may be repeated. With the above, the image determination process ends.
  • a learning model (136) that outputs output data representing a determination result regarding the image based on the image to be inspected;
  • the learning data including the learning image and the label data is used to output the output data representing the label data associated with the learning image when the learning image is input to the learning model (136).
  • a measurement unit (154) that measures the determination accuracy when the learning model (136) is learned by the learning unit (150) using each of the plurality of sub-learning data;
  • a selection unit (156) that selects at least one of the plurality of sub-learning data based on the determination accuracy;
  • An image determination device (100) including the.
  • [Appendix 2] The learning accuracy of the learning model (136) learned by the learning unit (150) using the learning data, and the learning unit () using the sub-learning data selected by the selection unit (156). 150), when the predetermined condition based on the comparison with the determination accuracy when the learning model (136) is trained is satisfied, the dividing unit (152), the measuring unit (154), and the selecting unit (156). Repeats each processing recursively, The image determination device (100) according to claim 1.
  • the dividing unit (152) divides the learning data into the plurality of sub-learning data that do not overlap with each other,
  • the division unit (152) divides the learning data into the plurality of sub-learning data which may overlap, The image determination device (100) according to claim 1 or 2.
  • the dividing unit (152) divides the learning data into the plurality of sub-learning data by clustering the learning data according to a predetermined criterion and extracting one or a plurality of representative data from a plurality of clusters.
  • the image determination device (100) according to claim 1 or 2.
  • a learning model (136) that outputs output data representing a determination result regarding the image based on an image to be inspected is obtained by using the learning data including the learning image and the label data.
  • learning to output the output data representing the label data associated with the learning image Dividing the learning data into a plurality of sub-learning data, Measuring the determination accuracy when the learning model (136) is trained using each of the plurality of sub-learning data; Selecting at least one of the plurality of sub-learning data based on the determination accuracy, Learning data management method including.
  • the calculation unit provided in the image determination device (100) is A learning model (136) that outputs output data representing a determination result regarding the image based on the image to be inspected, The learning data including the learning image and the label data is used to output the output data representing the label data associated with the learning image when the learning image is input to the learning model (136).
  • a learning unit (150) for learning the learning model (136) A division unit (152) for dividing the learning data into a plurality of sub-learning data, A measurement unit (154) that measures the determination accuracy when the learning model (136) is learned by the learning unit (150) using each of the plurality of sub-learning data, and A selection unit (156) for selecting at least one of the sub-learning data of Image judgment program to function as.
  • Sub learning data 142a... First sub learning data, 142b... Second sub learning data, 142c... Third sub learning data, 142d... Fourth sub learning data, 150... Learning section, 152... Dividing section, 154 ...Measurement section, 156...Selection section

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

学習モデルの追加学習を行う場合であっても、学習処理に要する時間や演算量の増加を抑制することができる画像判定装置等を提供する。画像判定装置は、検査対象の画像に基づいて、画像に関する判定結果を表す出力データを出力する学習モデルと、学習画像及びラベルデータを含む学習データを用いて、学習画像を学習モデルに入力した場合に、学習画像に関連付けられたラベルデータを表す出力データを出力するように学習モデルを学習させる学習部と、学習データを複数のサブ学習データに分割する分割部と、複数のサブ学習データそれぞれを用いて学習部により学習モデルを学習させた場合の判定精度を測定する測定部と、判定精度に基づいて、複数のサブ学習データの少なくともいずれかを選択する選択部と、を備える。

Description

画像判定装置、画像判定方法及び画像判定プログラム
　本発明は、画像判定装置、画像判定方法及び画像判定プログラムに関する。
　従来、ＦＡ（Factory Automation）分野では、画像処理を用いた自動制御が広く実用化されている。例えば、ワーク等の検査対象を撮像し、その撮像された画像から抽出された特徴量に基づいて、当該ワークについての良否を検査するような工程が実現される。
　例えば特許文献１には、複数の撮像条件で撮像した検査対象の画像を学習用データに用いて学習した識別器の出力結果に基づいて、検査対象の欠陥の有無を判定する装置について開示されている。具体的には、特許文献１に記載の装置は、外観の良否が既知の対象物に対して、少なくとも２つの異なる撮像条件で撮像された画像に基づく少なくとも２つの画像のそれぞれから、当該画像の特徴量を抽出する学習用抽出手段と、前記学習用抽出手段により前記少なくとも２つの画像から抽出された特徴量を跨る特徴量から、対象物の良否を判定するための特徴量を選択する選択手段と、前記選択手段により選択された前記特徴量に基づいて、対象物の良否を判定する識別器を生成する生成手段と、を有する。
特開２０１７－４９９７４号公報
　検査対象の画像について学習モデルによって欠陥の有無やワーク種類等の判定を行う場合、画像と正しい判定結果とを含む学習データを用いて、画像を学習モデルに入力した場合に、正しい判定結果を出力するように、教師有り学習によって学習モデルを生成することがある。しかしながら、学習データの数を増やして追加学習を行うと、学習モデルの判定精度が向上しないか又は僅かにしか向上しない一方、学習処理に要する時間や演算量が増大することがある。
　そこで、本発明は、学習モデルの追加学習を行う場合であっても、学習処理に要する時間や演算量の増加を抑制することができる画像判定装置、画像判定方法及び画像判定プログラムを提供する。
　本開示の一態様に係る画像判定装置は、検査対象の画像に基づいて、画像に関する判定結果を表す出力データを出力する学習モデルと、学習画像及びラベルデータを含む学習データを用いて、学習画像を学習モデルに入力した場合に、学習画像に関連付けられたラベルデータを表す出力データを出力するように学習モデルを学習させる学習部と、学習データを複数のサブ学習データに分割する分割部と、複数のサブ学習データそれぞれを用いて学習部により学習モデルを学習させた場合の判定精度を測定する測定部と、判定精度に基づいて、複数のサブ学習データの少なくともいずれかを選択する選択部と、を備える。
　この態様によれば、学習データより少ないデータ数のサブ学習データを用いて学習モデルを追加学習させることができ、学習モデルの追加学習を行う場合であっても、学習処理に要する時間や演算量の増加を抑制することができる。
　上記態様において、学習データを用いて学習部により学習モデルを学習させた場合の判定精度と、選択部により選択されたサブ学習データを用いて学習部により学習モデルを学習させた場合の判定精度との比較に基づく所定の条件を満たす場合に、分割部、測定部及び選択部は、それぞれの処理を再帰的に繰り返してもよい。
　この態様によれば、判定精度の低下を抑えたり、向上させたりしながら、学習データのデータ数を段階的に少なくして、学習処理に要する時間や演算量の増加をさらに抑制することができる。
　上記態様において、分割部は、学習データを、互いに重複しない複数のサブ学習データに分割してもよい。
　この態様によれば、学習モデルの学習に用いるデータ数を削減することができる。
　上記態様において、分割部は、学習データを、重複する場合がある複数のサブ学習データに分割してもよい。
　この態様によれば、学習モデルの学習に用いるデータ数を削減することができる。
　上記態様において、分割部は、学習データを所定の基準でクラスタリングし、複数のクラスタから１又は複数の代表データを抽出することで、学習データを複数のサブ学習データに分割してもよい。
　この態様によれば、学習モデルの学習に用いるデータ数を削減することができる。
　本開示の他の態様に係る画像判定方法は、検査対象の画像に基づいて、画像に関する判定結果を表す出力データを出力する学習モデルを、学習画像及びラベルデータを含む学習データを用いて、学習画像を学習モデルに入力した場合に、学習画像に関連付けられたラベルデータを表す出力データを出力するように学習させることと、学習データを複数のサブ学習データに分割することと、複数のサブ学習データそれぞれを用いて学習モデルを学習させた場合の判定精度を測定することと、判定精度に基づいて、複数のサブ学習データの少なくともいずれかを選択することと、を含む。
　この態様によれば、学習データより少ないデータ数のサブ学習データを用いて学習モデルを追加学習させることができ、学習モデルの追加学習を行う場合であっても、学習処理に要する時間や演算量の増加を抑制することができる。
　本開示の他の態様に係る画像判定プログラムは、画像判定装置に備えられた演算部を、
　検査対象の画像に基づいて、画像に関する判定結果を表す出力データを出力する学習モデル、
　学習画像及びラベルデータを含む学習データを用いて、学習画像を学習モデルに入力した場合に、学習画像に関連付けられたラベルデータを表す出力データを出力するように学習モデルを学習させる学習部、学習データを複数のサブ学習データに分割する分割部、複数のサブ学習データそれぞれを用いて学習部により学習モデルを学習させた場合の判定精度を測定する測定部、及び判定精度に基づいて、複数のサブ学習データの少なくともいずれかを選択する選択部、として機能させる。
　この態様によれば、学習データより少ないデータ数のサブ学習データを用いて学習モデルを追加学習させることができ、学習モデルの追加学習を行う場合であっても、学習処理に要する時間や演算量の増加を抑制することができる。
 
　本発明によれば、学習モデルの追加学習を行う場合であっても、学習処理に要する時間や演算量の増加を抑制することができる画像判定装置、画像判定方法及び画像判定プログラムを提供することができる。
本発明の実施形態に係る画像判定システムの構成例を示す図である。 本実施形態に係る画像判定装置のハードウェア構成を示す図である。 本実施形態に係る画像判定装置の機能ブロックを示す図である。 本実施形態に係る画像判定装置による学習データの分割例を示す図である。 本実施形態に係る画像判定装置により実行される画像判定処理の第１例のフローチャートである。 本実施形態に係る画像判定装置により実行される画像判定処理の第２例のフローチャートである。 本実施形態に係る画像判定装置により実行される画像判定処理の第３例のフローチャートである。
　以下、本発明の一側面に係る実施の形態（以下「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。
　§１　適用例
　図１は、本発明の実施形態に係る画像判定システム１の構成例を示す図である。はじめに、本発明が適用される場面の一例について説明する。本実施形態に係る画像判定システム１は、検査対象を撮像することにより生成される入力画像を、画像判定装置１００が備える学習モデルによって解析し、欠陥検査や対象の分類を行う。学習モデルは、学習データを用いて、検査対象に関する欠陥の有無や検査対象の種類を分類するように事前に学習されていてよい。また、学習モデルは、学習データを複数のサブ学習データに分割して、いずれかを選択し、選択したサブ学習データを用いて追加学習されてよい。なお、検査対象は、例えば、製造過程にある、部品、製品等のワーク（Work piece）等を含む。
　図１に示されるとおり、画像判定システム１は、例えば、ベルトコンベア２上を搬送される検査対象であるワーク４を撮像して得られる入力画像に対して画像計測処理を実行することで、ワーク４の外観検査又は外観計測を実現する。以下の説明においては、画像計測処理の典型例として、ワーク４表面における欠陥の有無の検査等に適用した例を説明するが、これに限らず、欠陥の種類の特定、欠陥の外観形状の寸法計測、ワーク４の種類の特定等にも応用が可能である。
　ベルトコンベア２の上部には撮像部であるカメラ１０２が配置されており、カメラ１０２の撮像視野６はベルトコンベア２の所定領域を含むように構成される。カメラ１０２の撮像により生成された画像データ（以下、「入力画像」ともいう。）は、画像判定装置１００へ送信される。カメラ１０２による撮像は、周期的又はイベント発生時に実行される。
　画像判定装置１００は、上位ネットワーク８を介して、ＰＬＣ（プログラマブルコントローラ）１０及びデータベース装置１２等と接続されている。画像判定装置１００における計測結果は、ＰＬＣ１０及び／又はデータベース装置１２へ送信されてもよい。なお、上位ネットワーク８には、ＰＬＣ１０及びデータベース装置１２に加えて、任意の装置が接続されるようにしてもよい。
　画像判定装置１００は、処理中の状態や計測結果等を表示するためのディスプレイ１０４と、ユーザ操作を受け付ける入力部としてのキーボード１０６及びマウス１０８とが接続されていてもよい。
　画像判定装置１００は機械学習によって生成された学習モデルを備えている。学習モデルは、検査対象の画像に基づいて、画像に関する判定結果を表す出力データを出力する。学習モデルは、例えば、画像を入力として受け付けて、画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器と、１又は複数の特徴抽出器から出力された特徴データに基づいて、画像に関する判定結果を表す出力データを出力する判定器とを含んでよい。ここで、１又は複数の特徴抽出器は、例えば、画像に含まれるエッジを抽出するエッジ抽出器、画像に含まれる平面領域を抽出する平面部抽出器、画像の背景模様を抽出する背景模様抽出器、画像に含まれる２値化領域を抽出する２値化領域抽出器等を含んでよい。１又は複数の特徴抽出器は、それぞれ人が理解しやすい単一の特徴を抽出するようなモデルであってよく、機械学習モデルであってもよいし、ルールベースモデルであってもよい。判定器は、１又は複数の特徴データを入力として受け付けて、画像に関する判定結果を表す出力データを出力する。出力データは、例えば、検査対象の欠陥の有無、欠陥の種類、欠陥の外観形状の寸法、検査対象の種類等を表すデータであってよい。判定器は、例えばニューラルネットワークで構成されてよく、学習データを用いて、所望の出力データを出力するように事前に学習されていてよい。
　生産ライン上を流れるワーク４の種類や撮影条件等の検査条件は生産ラインによって様々であり、学習時の条件と必ずしも一致するとは限らない。このため、事前学習した学習モデルを生産ラインに用いると、誤った判定結果を出力することがある。そこで、学習モデルが正しく判定することができなかった画像を学習データに追加して、学習モデルの追加学習を行うことがある。この際、学習データの数を増やしも、学習モデルの判定精度が向上しないか又は僅かにしか向上しない一方、学習処理に要する時間や演算量が増大することがある。
　本実施形態に係る画像判定装置１００は、このような事情に鑑み、学習データを複数のサブ学習データに分割し、複数のサブ学習データそれぞれを用いて学習モデルを学習させ、その判定精度に基づいて複数のサブ学習データの少なくともいずれかを選択する。結果として、選択されたサブ学習データと、そのサブ学習データを用いて学習された追加学習モデルとの組が得られ、画像判定装置１００は、より少ないデータ数で学習した追加学習モデルにより画像判定を行う。このように、学習モデルの追加学習を行う場合であっても、学習処理に要する時間や演算量の増加を抑制することができる。
　§２　構成例
［ハードウェア構成］
　図２は、本実施形態に係る画像判定装置１００のハードウェア構成を示す図である。画像判定装置１００は、一例として、汎用的なコンピュータアーキテクチャに従って構成される汎用コンピュータを用いて実現されてもよい。画像判定装置１００は、プロセッサ１１０と、メインメモリ（主記憶部）１１２と、カメラインターフェイス１１４と、入力インターフェイス１１６と、表示インターフェイス１１８と、通信インターフェイス１２０と、ストレージ（補助記憶部）１３０とを含む。これらのコンポーネントは、典型的には、内部バス１２２を介して互いに通信可能に接続されている。
　プロセッサ１１０は、ストレージ１３０に格納されているプログラムをメインメモリ１１２に展開して実行することで、次図以降を用いて詳述するような機能及び処理を実現する。メインメモリ１１２は、揮発性メモリにより構成され、プロセッサ１１０によるプログラム実行に必要なワークメモリとして機能する。
　カメラインターフェイスは取得部の一例である。カメラインターフェイス１１４は、カメラ１０２と接続されて、カメラ１０２にて撮像された入力画像を取得する。カメラインターフェイス１１４は、カメラ１０２に対して撮像タイミング等を指示するようにしてもよい。
　入力インターフェイス１１６は、キーボード１０６及びマウス１０８等のユーザによる操作が行われる入力部と接続される。入力インターフェイス１１６は、ユーザが入力部に対して行った操作等を示す指令を取得する。
　表示インターフェイス１１８は、表示部としてのディスプレイ１０４と接続されている。表示インターフェイス１１８は、プロセッサ１１０によるプログラムの実行によって生成される各種処理結果をディスプレイ１０４へ出力する。
　通信インターフェイス１２０は、上位ネットワーク８を介して、ＰＬＣ１０及びデータベース装置１２等と通信するための処理を担当する。
　ストレージ１３０は、学習モデル１３６を実現するための画像処理プログラム１３２及びＯＳ（operating system）１３４等、コンピュータを画像判定装置１００として機能させるためのプログラムを格納している。ストレージ１３０は、さらに、学習モデル１３６と、カメラ１０２から取得された入力画像１３８と、学習モデル１３６の学習に用いられる学習データ１４０とを格納していてもよい。なお、学習データ１４０は、データベース装置１２等の外部機器から上位ネットワーク８を介して取得されてよく、ストレージ１３０に一時的に格納されるものであってよい。
　ストレージ１３０に格納される画像処理プログラム１３２は、ＤＶＤ（digital versatile disc）等の光学記録媒体又はＵＳＢ（universal serial bus）メモリ等の半導体記録媒体等を介して、画像判定装置１００にインストールされてもよい。あるいは、画像処理プログラム１３２は、ネットワーク上のサーバ装置等からダウンロードするようにしてもよい。
　本実施の形態に係る画像処理プログラム１３２は、本実施の形態に係る機能を実現するためのすべてのソフトウェアモジュールを含んでおらず、ＯＳ１３４と協働することで、必要な機能が提供されるようにしてもよい。
　本実施の形態に係る画像処理プログラム１３２は、他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、画像処理プログラム１３２自体には、上記のような組合せられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。このように、本実施形態に係る画像処理プログラム１３２は、他のプログラムに組込まれた形態であってもよい。
　図２には、汎用コンピュータを用いて画像判定装置１００を実現する例を示したが、これに限られることなく、その全部又は一部の機能を専用回路（例えば、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field-programmable gate array）等）を用いて実現してもよい。さらに、一部の処理をネットワーク接続された外部装置に担当させてもよい。
［機能構成］
　図３は、本実施形態に係る画像判定装置１００の機能ブロックを示す図である。画像判定装置１００は、ストレージ１３０に格納された学習モデル１３６と、学習部１５０と、分割部１５２と、測定部１５４と、選択部１５６とを備える。
　学習モデル１３６は、検査対象の画像に基づいて、画像に関する判定結果を表す出力データを出力する。学習モデル１３６は、任意の構成であってよいが、例えばニューラルネットワークにより構成されてよい。学習モデル１３６は、教師有り学習によって生成されてよく、教師有り学習には、ストレージ１３０に格納された学習データ１４０を用いてよい。
　学習部１５０は、学習画像及びラベルデータを含む学習データ１４０を用いて、学習画像を学習モデル１３６に入力した場合に、学習画像に関連付けられたラベルデータを表す出力データを出力するように学習モデル１３６を学習させる。学習モデル１３６がニューラルネットワークで構成される場合、学習部１５０は、バックプロパゲーションの方法で学習モデル１３６の学習処理を実行してよい。
　分割部１５２は、学習データ１４０を複数のサブ学習データ１４２に分割する。分割部１５２は、学習データ１４０を、互いに重複しない複数のサブ学習データ１４２に分割してよい。例えば、分割部１５２は、学習データを、互いに重複しないようにランダムにＮ個のグループに分割することで、複数のサブ学習データ１４２を生成してよい。このようにして、学習モデルの学習に用いるデータ数を削減することができる。
　分割部１５２は、学習データ１４０を、重複する場合がある複数のサブ学習データ１４２に分割してもよい。例えば、分割部１５２は、学習データから１つのデータを抜き取った残りのデータをサブ学習データとして、全データについて同様の処理を行うことで学習データのデータ数と同じ数のサブ学習データ１４２を生成してよい。この場合、サブ学習データ１４２のデータ数は、学習データ１４０のデータ数より１つ少なくなる。このようにして、学習モデルの学習に用いるデータ数を削減することができる。
　分割部１５２は、学習データ１４０を所定の基準でクラスタリングし、複数のクラスタから１又は複数の代表データを抽出することで、学習データ１４０を複数のサブ学習データ１４２に分割してよい。例えば、分割部１５２は、学習データ１４０に含まれる学習画像の特徴を基準として学習データ１４０をクラスタリングし、複数のクラスタからランダムにそれぞれ１つのデータを抽出する処理を繰り返すことで、学習データ１４０を複数のサブ学習データ１４２に分割してよい。より具体的には、分割部１５２は、画像データ１４０の画素値をベクトルデータとし、例えばＫ－ｍｅａｎｓ法によりＫ個のクラスタをつくり、それぞれのクラスタからデータを抽出する処理を繰り返すことで、学習データ１４０を複数のサブ学習データ１４２に分割してよい。このようにして、学習モデルの学習に用いるデータ数を削減することができる。
　測定部１５４は、複数のサブ学習データ１４２それぞれを用いて学習部１５０により学習モデル１３６を学習させた場合の判定精度を測定する。判定精度は、学習データ１４０を用いて学習モデル１３６を学習させた場合の判定精度との差で表されてもよい。また、判定精度は、正確度（accuracy）、精度（precision）、Ｆ１値、ＲＯＣ（Receiver Operating Characteristic）曲線及びＡＵＣ（Area Under Curve）等の複数の基準で算出される複数の量を含んでもよい。具体的には、判定結果が真で正解の割合をＴＰ、判定結果が真で不正解の割合をＦＰ、判定結果が偽で正解の割合をＴＮ、判定結果が偽で不正解の割合をＦＮと表すとき、正確度は（ＴＰ＋ＴＮ）／（ＴＰ＋ＴＮ＋ＦＰ＋ＦＮ）で定義される量であり、精度はＴＰ／（ＴＰ＋ＦＰ）で定義される量であり、Ｆ１値は２ＴＰ／（２ＴＰ＋ＦＰ＋ＦＮ）で定義される量である。また、ＲＯＣ曲線は、横軸に偽陽性率ＦＰ／（ＦＰ＋ＴＮ）をとり、縦軸に真陽性率ＴＰ／（ＦＰ＋ＴＮ）をとって、判定のパラメータ（閾値等）を変化させた場合に描かれる曲線である。良いモデルのＲＯＣ曲線は、偽陽性率が低くかつ真陽性率が高くなるような急峻な立ち上がりを有し、ランダムな判定に近いモデルのＲＯＣ曲線は、４５°の傾きの直線に近づく。ＡＵＣは、ＲＯＣ曲線の積分（曲線下の面積）で定義される。
　選択部１５６は、判定精度に基づいて、複数のサブ学習データ１４２の少なくともいずれかを選択する。選択部１５６は、複数のサブ学習データ１４２それぞれを用いて学習部１５０により学習モデル１３６を学習させた場合の判定精度が最も良いサブ学習データ１４２を選択してよい。判定精度が複数の量を含む場合、選択部１５６は、特定の量（例えばＦ１値）が最も良いサブ学習データ１４２を選択してもよいし、複数の量（例えば正確度、精度及びＦ１値）の平均が最も良いサブ学習データ１４２を選択してもよい。
　学習データ１４０を用いて学習部１５０により学習モデル１３６を学習させた場合の判定精度と、選択部１５６により選択されたサブ学習データ１４２を用いて学習部１５０により学習モデル１３６を学習させた場合の判定精度との比較に基づく所定の条件を満たす場合に、分割部１５２、測定部１５４及び選択部１５６は、それぞれの処理を再帰的に繰り返してよい。例えば、学習データ１４０を用いて学習部１５０により学習モデル１３６を学習させた場合の判定精度がｐ１であり、選択部１５６により選択されたサブ学習データ１４２を用いて学習部１５０により学習モデル１３６を学習させた場合の判定精度がｐ２である場合、所定の条件は、ｐ１－ｐ２≦Ｔｈを満たすことであってよい。ここで、Ｔｈは、学習データ１４０の削減による学習モデル１３６の判定精度の低下幅の許容閾値を表す正の値である。また、サブ学習データ１４２を用いた学習により判定精度の向上を企図する場合には、許容閾値は０であったり、負の値であったりしてもよい。画像判定装置１００は、分割部１５２により学習データ１４０を複数のサブ学習データ１４２に分割して、測定部１５４により複数のサブ学習データ１４２を用いて学習モデル１４０を学習させた場合の判定精度を測定し、選択部１５６により判定精度が比較的良いサブ学習データ１４２を選択する。そして、画像判定装置１００は、判定精度が向上するか、維持されるか又は低下するとしても許容閾値以内の変化幅である場合には、選択部１５６により選択されたサブ学習データ１４２を分割部１５２によりを複数のサブ学習データに分割して、測定部１５４により複数のサブ学習データを用いて学習モデル１４０を学習させた場合の判定精度を測定し、選択部１５６により判定精度が比較的良いサブ学習データを選択する、という一連の処理を再び実行する。画像判定装置１００は、このような一連の処理を、判定精度が許容閾値を超えて低下するまで繰り返してよい。このようにして、判定精度の低下を抑えたり、向上させたりしながら、学習データ１４０のデータ数を段階的に少なくして、学習処理に要する時間や演算量の増加をさらに抑制することができる。なお、複数のサブ学習データ１４２それぞれを用いて学習部１５０により学習モデル１３６を学習させた場合の判定精度と、学習データ１４０を用いて学習モデル１３６を学習させた場合の判定精度とは、判定精度の差でなく、例えば比で比較されてもよく、任意の方法で比較されてよい。
　§３　動作例
　図４は、本実施形態に係る画像判定装置１００による学習データ１４０の分割例を示す図である。本例では、学習データ１４０を、第１サブ学習データ１４２ａ、第２サブ学習データ１４２ｂ、第３サブ学習データ１４２ｃ及び第４サブ学習データ１４２ｄの４つに分割する場合を示している。
　画像判定装置１００は、学習データ１４０を、第１サブ学習データ１４２ａ、第２サブ学習データ１４２ｂ、第３サブ学習データ１４２ｃ及び第４サブ学習データ１４２ｄに分割し、それぞれのサブ学習データを用いて学習モデル１３６を学習させる。本例では、画像判定装置１００は、第１サブ学習データ１４２ａを用いて学習モデル１３６を学習させて生成した第１追加学習モデル１３６ａと、第２サブ学習データ１４２ｂを用いて学習モデル１３６を学習させて生成した第２追加学習モデル１３６ｂと、第３サブ学習データ１４２ｃを用いて学習モデル１３６を学習させて生成した第３追加学習モデル１３６ｃと、第４サブ学習データ１４２ｄを用いて学習モデル１３６を学習させて生成した第４追加学習モデル１３６ｄと、を生成する。
　本例では、画像判定装置１００は、追加学習モデルの判定精度が比較的高くなる第２サブ学習データ１４２ｂを選択する。画像判定装置１００は、第２追加学習モデル１３６ｂと、追加学習前の学習モデル１３６の判定精度を比較して、所定の基準を満たす場合、第２サブ学習データ１４２ｂをさらに分割して、同様の処理を繰り返してもよい。
　図５は、本実施形態に係る画像判定装置１００により実行される画像判定処理の第１例のフローチャートである。はじめに、画像判定装置１００は、検査対象の画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器を設定し（Ｓ１０）、学習データを用いて判定器を学習する（Ｓ１１）。判定器の学習を学習モデル１３６の学習と称する。
　次に、画像判定装置１００は、学習データ１４０を互いに重複しない複数のサブ学習データ１４２に分割する（Ｓ１２）。そして、画像判定装置１００は、複数のサブ学習データ１４２それぞれを用いて、学習モデル１３６を学習させ、判定精度を測定する（Ｓ１３）。
　画像判定装置１００は、学習データ１４０を用いた場合の学習モデル１３６の判定精度と、サブ学習データ１４２を用いた場合の学習モデル１３６の判定精度との比較に基づいて、複数のサブ学習データ１４２のうちいずれかを選択する（Ｓ１４）。
　その後、画像判定装置１００は、学習データ１４０を用いた場合の学習モデル１３６の判定精度から、選択したサブ学習データ１４２を用いた場合の学習モデル１３６の判定精度への変化が所定の条件を満たすか否かを判定する（Ｓ１５）。ここで、所定の条件は、選択したサブ学習データ１４２を用いた場合の学習モデル１３６の判定精度が、学習データ１４０を用いた場合の学習モデル１３６の判定精度に比べて閾値以上上昇することであったり、判定精度の低下が閾値以内であることであったりしてよい。判定精度の変化が所定の条件を満たす場合（Ｓ１５：ＹＥＳ）、画像判定装置１００は、選択したサブ学習データ１４２を新たな学習データとして、学習データの分割（Ｓ１２）、サブ学習データを用いた学習モデルの学習と判定精度の測定（Ｓ１３）及びサブ学習データの選択（Ｓ１４）を再び実行する。
　一方、判定精度の変化が所定の条件を満たさない場合（Ｓ１５：ＮＯ）、画像判定装置１００は、最後に選択されたサブ学習データで学習された追加学習モデルを採用する（Ｓ１６）。以上で、学習処理が終了する。
　その後、カメラ１０２によって検査対象の画像を撮影する（Ｓ１７）。そして、画像判定装置１００は、新たに撮影された画像を１又は複数の特徴抽出器に入力し、出力された特徴データを追加学習により生成された判定器に入力して、画像に関する判定結果を表す出力データによって、画像を判定する（Ｓ１８）。当然ながら、画像の撮影（Ｓ１７）と、判定処理（Ｓ１８）とは繰り返し行われてよい。以上により、画像判定処理が終了する。
　図６は、本実施形態に係る画像判定装置１００により実行される画像判定処理の第２例のフローチャートである。はじめに、画像判定装置１００は、検査対象の画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器を設定し（Ｓ２０）、学習データを用いて判定器を学習する（Ｓ２１）。判定器の学習を学習モデル１３６の学習と称する。
　次に、画像判定装置１００は、学習データ１４０を互いに重複する場合がある複数のサブ学習データ１４２に分割する（Ｓ２２）。そして、画像判定装置１００は、複数のサブ学習データ１４２それぞれを用いて、学習モデル１３６を学習させ、判定精度を測定する（Ｓ２３）。
　画像判定装置１００は、学習データ１４０を用いた場合の学習モデル１３６の判定精度と、サブ学習データ１４２を用いた場合の学習モデル１３６の判定精度との比較に基づいて、複数のサブ学習データ１４２のうちいずれかを選択する（Ｓ２４）。
　その後、画像判定装置１００は、学習データ１４０を用いた場合の学習モデル１３６の判定精度から、選択したサブ学習データ１４２を用いた場合の学習モデル１３６の判定精度への変化が所定の条件を満たすか否かを判定する（Ｓ２５）。判定精度の変化が所定の条件を満たす場合（Ｓ２５：ＹＥＳ）、画像判定装置１００は、選択したサブ学習データ１４２を新たな学習データとして、学習データの分割（Ｓ２２）、サブ学習データを用いた学習モデルの学習と判定精度の測定（Ｓ２３）及びサブ学習データの選択（Ｓ２４）を再び実行する。
　一方、判定精度の変化が所定の条件を満たさない場合（Ｓ２５：ＮＯ）、画像判定装置１００は、最後に選択されたサブ学習データで学習された追加学習モデルを採用する（Ｓ２６）。以上で、学習処理が終了する。
　その後、カメラ１０２によって検査対象の画像を撮影する（Ｓ２７）。そして、画像判定装置１００は、新たに撮影された画像を１又は複数の特徴抽出器に入力し、出力された特徴データを追加学習により生成された判定器に入力して、画像に関する判定結果を表す出力データによって、画像を判定する（Ｓ２８）。当然ながら、画像の撮影（Ｓ２７）と、判定処理（Ｓ２８）とは繰り返し行われてよい。以上により、画像判定処理が終了する。
　図７は、本実施形態に係る画像判定装置１００により実行される画像判定処理の第３例のフローチャートである。はじめに、画像判定装置１００は、検査対象の画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器を設定し（Ｓ３０）、学習データを用いて判定器を学習する（Ｓ３１）。判定器の学習を学習モデル１３６の学習と称する。
　次に、画像判定装置１００は、学習データ１４０を所定の基準でクラスタリングし、複数のクラスタから１又は複数の代表データを抽出することで、学習データ１４０を複数のサブ学習データ１４２に分割する（Ｓ３２）。そして、画像判定装置１００は、複数のサブ学習データ１４２それぞれを用いて、学習モデル１３６を学習させ、判定精度を測定する（Ｓ３３）。
　画像判定装置１００は、学習データ１４０を用いた場合の学習モデル１３６の判定精度と、サブ学習データ１４２を用いた場合の学習モデル１３６の判定精度との比較に基づいて、複数のサブ学習データ１４２のうちいずれかを選択する（Ｓ３４）。
　その後、画像判定装置１００は、学習データ１４０を用いた場合の学習モデル１３６の判定精度から、選択したサブ学習データ１４２を用いた場合の学習モデル１３６の判定精度への変化が所定の条件を満たすか否かを判定する（Ｓ３５）。判定精度の変化が所定の条件を満たす場合（Ｓ３５：ＹＥＳ）、画像判定装置１００は、選択したサブ学習データ１４２を新たな学習データとして、学習データの分割（Ｓ３２）、サブ学習データを用いた学習モデルの学習と判定精度の測定（Ｓ３３）及びサブ学習データの選択（Ｓ３４）を再び実行する。
　一方、判定精度の変化が所定の条件を満たさない場合（Ｓ３５：ＮＯ）、画像判定装置１００は、最後に選択されたサブ学習データで学習された追加学習モデルを採用する（Ｓ３６）。以上で、学習処理が終了する。
　その後、カメラ１０２によって検査対象の画像を撮影する（Ｓ３７）。そして、画像判定装置１００は、新たに撮影された画像を１又は複数の特徴抽出器に入力し、出力された特徴データを追加学習により生成された判定器に入力して、画像に関する判定結果を表す出力データによって、画像を判定する（Ｓ３８）。当然ながら、画像の撮影（Ｓ３７）と、判定処理（Ｓ３８）とは繰り返し行われてよい。以上により、画像判定処理が終了する。
　以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
　なお、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
　［付記１］
　検査対象の画像に基づいて、前記画像に関する判定結果を表す出力データを出力する学習モデル（１３６）と、
　学習画像及びラベルデータを含む学習データを用いて、前記学習画像を前記学習モデル（１３６）に入力した場合に、前記学習画像に関連付けられた前記ラベルデータを表す前記出力データを出力するように前記学習モデル（１３６）を学習させる学習部（１５０）と、
　前記学習データを複数のサブ学習データに分割する分割部（１５２）と、
　前記複数のサブ学習データそれぞれを用いて前記学習部（１５０）により前記学習モデル（１３６）を学習させた場合の判定精度を測定する測定部（１５４）と、
　前記判定精度に基づいて、前記複数のサブ学習データの少なくともいずれかを選択する選択部（１５６）と、
　を備える画像判定装置（１００）。
　［付記２］
　前記学習データを用いて前記学習部（１５０）により前記学習モデル（１３６）を学習させた場合の判定精度と、前記選択部（１５６）により選択された前記サブ学習データを用いて前記学習部（１５０）により前記学習モデル（１３６）を学習させた場合の判定精度との比較に基づく所定の条件を満たす場合に、前記分割部（１５２）、前記測定部（１５４）及び前記選択部（１５６）は、それぞれの処理を再帰的に繰り返す、
　請求項１に記載の画像判定装置（１００）。
　［付記３］
　前記分割部（１５２）は、前記学習データを、互いに重複しない前記複数のサブ学習データに分割する、
　請求項１又は２に記載の画像判定装置（１００）。
　［付記４］
　前記分割部（１５２）は、前記学習データを、重複する場合がある前記複数のサブ学習データに分割する、
　請求項１又は２に記載の画像判定装置（１００）。
　［付記５］
　前記分割部（１５２）は、前記学習データを所定の基準でクラスタリングし、複数のクラスタから１又は複数の代表データを抽出することで、前記学習データを前記複数のサブ学習データに分割する、
　請求項１又は２に記載の画像判定装置（１００）。
　［付記６］
　検査対象の画像に基づいて、前記画像に関する判定結果を表す出力データを出力する学習モデル（１３６）を、学習画像及びラベルデータを含む学習データを用いて、前記学習画像を前記学習モデル（１３６）に入力した場合に、前記学習画像に関連付けられた前記ラベルデータを表す前記出力データを出力するように学習させることと、
　前記学習データを複数のサブ学習データに分割することと、
　前記複数のサブ学習データそれぞれを用いて前記学習モデル（１３６）を学習させた場合の判定精度を測定することと、
　前記判定精度に基づいて、前記複数のサブ学習データの少なくともいずれかを選択することと、
　を含む学習データ管理方法。
　［付記７］
　画像判定装置（１００）に備えられた演算部を、
　検査対象の画像に基づいて、前記画像に関する判定結果を表す出力データを出力する学習モデル（１３６）、
　学習画像及びラベルデータを含む学習データを用いて、前記学習画像を前記学習モデル（１３６）に入力した場合に、前記学習画像に関連付けられた前記ラベルデータを表す前記出力データを出力するように前記学習モデル（１３６）を学習させる学習部（１５０）、
　前記学習データを複数のサブ学習データに分割する分割部（１５２）、
　前記複数のサブ学習データそれぞれを用いて前記学習部（１５０）により前記学習モデル（１３６）を学習させた場合の判定精度を測定する測定部（１５４）、及び
　前記判定精度に基づいて、前記複数のサブ学習データの少なくともいずれかを選択する選択部（１５６）、
　として機能させる画像判定プログラム。
　１…画像判定システム、２…ベルトコンベア、４…ワーク、６…撮像視野、８…上位ネットワーク、１０…ＰＬＣ、１２…データベース装置、１００…画像判定装置、１０２…カメラ、１０４…ディスプレイ、１０６…キーボード、１０８…マウス、１１０…プロセッサ、１１２…メインメモリ、１１４…カメラインターフェイス、１１６…入力インターフェイス、１１８…表示インターフェイス、１２０…通信インターフェイス、１２２…内部バス、１３０…ストレージ、１３２…画像処理プログラム、１３４…ＯＳ、１３６…学習モデル、１３６ａ…第１追加学習モデル、１３６ｂ…第２追加学習モデル、１３６ｃ…第３追加学習モデル、１３６ｄ…第４追加学習モデル、１３８…入力画像、１４０…学習データ、１４２…サブ学習データ、１４２ａ…第１サブ学習データ、１４２ｂ…第２サブ学習データ、１４２ｃ…第３サブ学習データ、１４２ｄ…第４サブ学習データ、１５０…学習部、１５２…分割部、１５４…測定部、１５６…選択部

Claims (7)

  1. 　検査対象の画像に基づいて、前記画像に関する判定結果を表す出力データを出力する学習モデルと、
    　学習画像及びラベルデータを含む学習データを用いて、前記学習画像を前記学習モデルに入力した場合に、前記学習画像に関連付けられた前記ラベルデータを表す前記出力データを出力するように前記学習モデルを学習させる学習部と、
    　前記学習データを複数のサブ学習データに分割する分割部と、
    　前記複数のサブ学習データそれぞれを用いて前記学習部により前記学習モデルを学習させた場合の判定精度を測定する測定部と、
    　前記判定精度に基づいて、前記複数のサブ学習データの少なくともいずれかを選択する選択部と、
    　を備える画像判定装置。
  2. 　前記学習データを用いて前記学習部により前記学習モデルを学習させた場合の判定精度と、前記選択部により選択された前記サブ学習データを用いて前記学習部により前記学習モデルを学習させた場合の判定精度との比較に基づく所定の条件を満たす場合に、前記分割部、前記測定部及び前記選択部は、それぞれの処理を再帰的に繰り返す、
    　請求項１に記載の画像判定装置。
  3. 　前記分割部は、前記学習データを、互いに重複しない前記複数のサブ学習データに分割する、
    　請求項１又は２に記載の画像判定装置。
  4. 　前記分割部は、前記学習データを、重複する場合がある前記複数のサブ学習データに分割する、
    　請求項１又は２に記載の画像判定装置。
  5. 　前記分割部は、前記学習データを所定の基準でクラスタリングし、複数のクラスタから１又は複数の代表データを抽出することで、前記学習データを前記複数のサブ学習データに分割する、
    　請求項１又は２に記載の画像判定装置。
  6. 　検査対象の画像に基づいて、前記画像に関する判定結果を表す出力データを出力する学習モデルを、学習画像及びラベルデータを含む学習データを用いて、前記学習画像を前記学習モデルに入力した場合に、前記学習画像に関連付けられた前記ラベルデータを表す前記出力データを出力するように学習させることと、
    　前記学習データを複数のサブ学習データに分割することと、
    　前記複数のサブ学習データそれぞれを用いて前記学習モデルを学習させた場合の判定精度を測定することと、
    　前記判定精度に基づいて、前記複数のサブ学習データの少なくともいずれかを選択することと、
    　を含む学習データ管理方法。
  7. 　画像判定装置に備えられた演算部を、
    　検査対象の画像に基づいて、前記画像に関する判定結果を表す出力データを出力する学習モデル、
    　学習画像及びラベルデータを含む学習データを用いて、前記学習画像を前記学習モデルに入力した場合に、前記学習画像に関連付けられた前記ラベルデータを表す前記出力データを出力するように前記学習モデルを学習させる学習部、
    　前記学習データを複数のサブ学習データに分割する分割部、
    　前記複数のサブ学習データそれぞれを用いて前記学習部により前記学習モデルを学習させた場合の判定精度を測定する測定部、及び
    　前記判定精度に基づいて、前記複数のサブ学習データの少なくともいずれかを選択する選択部、
    　として機能させる画像判定プログラム。
PCT/JP2019/044743 2018-12-27 2019-11-14 画像判定装置、画像判定方法及び画像判定プログラム WO2020137229A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19904015.5A EP3905191A4 (en) 2018-12-27 2019-11-14 IMAGE DETERMINATION DEVICE, METHOD AND PROGRAM
CN201980052723.7A CN112567426B (zh) 2018-12-27 2019-11-14 图像判定装置、图像判定方法及其程序的记录媒体
US17/270,429 US11915143B2 (en) 2018-12-27 2019-11-14 Image determination device, image determination method, and non-transitory computer readable medium storing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018245670A JP7075056B2 (ja) 2018-12-27 2018-12-27 画像判定装置、画像判定方法及び画像判定プログラム
JP2018-245670 2018-12-27

Publications (1)

Publication Number Publication Date
WO2020137229A1 true WO2020137229A1 (ja) 2020-07-02

Family

ID=71126504

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/044743 WO2020137229A1 (ja) 2018-12-27 2019-11-14 画像判定装置、画像判定方法及び画像判定プログラム

Country Status (5)

Country Link
US (1) US11915143B2 (ja)
EP (1) EP3905191A4 (ja)
JP (1) JP7075056B2 (ja)
CN (1) CN112567426B (ja)
WO (1) WO2020137229A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11429813B1 (en) * 2019-11-27 2022-08-30 Amazon Technologies, Inc. Automated model selection for network-based image recognition service

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0934862A (ja) * 1995-07-19 1997-02-07 Hitachi Ltd パターン学習方法および装置
JP2010152751A (ja) * 2008-12-25 2010-07-08 Nec Corp 統計モデル学習装置、統計モデル学習方法、およびプログラム
JP2017049974A (ja) 2015-09-04 2017-03-09 キヤノン株式会社 識別器生成装置、良否判定方法、およびプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020164070A1 (en) * 2001-03-14 2002-11-07 Kuhner Mark B. Automatic algorithm generation
US8140450B2 (en) 2009-03-27 2012-03-20 Mitsubishi Electric Research Laboratories, Inc. Active learning method for multi-class classifiers
JP5660078B2 (ja) * 2012-05-31 2015-01-28 カシオ計算機株式会社 多クラス識別器、方法、およびプログラム
JP6061713B2 (ja) 2013-02-08 2017-01-18 本田技研工業株式会社 検査装置、検査方法及びプログラム
JP6188400B2 (ja) * 2013-04-26 2017-08-30 オリンパス株式会社 画像処理装置、プログラム及び画像処理方法
JP6008045B2 (ja) * 2013-06-28 2016-10-19 日本電気株式会社 教師データ生成装置、方法、プログラム、および群衆状態認識装置、方法、プログラム
JP6337973B2 (ja) * 2014-11-27 2018-06-06 日本電気株式会社 追学習装置、追学習方法、および、追学習プログラム
JP6632193B2 (ja) * 2015-01-16 2020-01-22 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP6472279B2 (ja) * 2015-03-09 2019-02-20 キヤノン株式会社 画像処理装置及び画像処理方法
US20170069075A1 (en) * 2015-09-04 2017-03-09 Canon Kabushiki Kaisha Classifier generation apparatus, defective/non-defective determination method, and program
US9704054B1 (en) * 2015-09-30 2017-07-11 Amazon Technologies, Inc. Cluster-trained machine learning for image processing
JP2017211259A (ja) * 2016-05-25 2017-11-30 株式会社シーイーシー 検査装置、検査方法、及びプログラム
JP6629678B2 (ja) * 2016-06-16 2020-01-15 株式会社日立製作所 機械学習装置
EP4300381A3 (en) * 2016-08-19 2024-03-20 Movidius Limited Systems and methods for distributed training of deep learning models

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0934862A (ja) * 1995-07-19 1997-02-07 Hitachi Ltd パターン学習方法および装置
JP2010152751A (ja) * 2008-12-25 2010-07-08 Nec Corp 統計モデル学習装置、統計モデル学習方法、およびプログラム
JP2017049974A (ja) 2015-09-04 2017-03-09 キヤノン株式会社 識別器生成装置、良否判定方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3905191A4

Also Published As

Publication number Publication date
US11915143B2 (en) 2024-02-27
CN112567426B (zh) 2024-06-07
JP2020107102A (ja) 2020-07-09
US20210312235A1 (en) 2021-10-07
EP3905191A1 (en) 2021-11-03
CN112567426A (zh) 2021-03-26
JP7075056B2 (ja) 2022-05-25
EP3905191A4 (en) 2022-08-31

Similar Documents

Publication Publication Date Title
CN108352339B (zh) 自适应自动缺陷分类
US10311559B2 (en) Information processing apparatus, information processing method, and storage medium
JP6113024B2 (ja) 分類器取得方法、欠陥分類方法、欠陥分類装置およびプログラム
US11631230B2 (en) Method, device, system and computer-program product for setting lighting condition and storage medium
CN112567229A (zh) 缺陷检查装置、缺陷检查方法及其程序
US20170330315A1 (en) Information processing apparatus, method for processing information, discriminator generating apparatus, method for generating discriminator, and program
JP2019087181A (ja) 画像検査装置および方法
CN112534243A (zh) 检查装置及方法
WO2020137229A1 (ja) 画像判定装置、画像判定方法及び画像判定プログラム
WO2020137228A1 (ja) 画像判定装置、画像判定方法及び画像判定プログラム
US20210042550A1 (en) Information processing device, information processing method, and computer-readable recording medium recording information processing program
WO2021090601A1 (ja) 分類装置および画像分類システム
JP5298552B2 (ja) 判別装置、判別方法及びプログラム
WO2016092783A1 (en) Information processing apparatus, method for processing information, discriminator generating apparatus, method for generating discriminator, and program
JP7206892B2 (ja) 画像検査装置、画像検査のための学習方法および画像検査プログラム
JP2022087930A (ja) 被検査画像の検査を実行する方法、情報処理装置、及び、コンピュータープログラム
JP7241533B2 (ja) 画像判定装置、画像判定方法及び画像判定プログラム
WO2023166776A1 (ja) 外観分析システム、外観分析方法、及びプログラム
JP2020052474A (ja) 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置
WO2020137123A1 (ja) 画像判定装置、学習方法及び画像判定プログラム
US20230315070A1 (en) Pseudo defective product data generator
Lee et al. A Novel Deep Learning-Based Anomaly Detection Pipeline Optimized for Dark Blemish Pattern of Image Sensor
CN116894956A (zh) 特征量选择方法以及装置
JP2023004825A (ja) 解析装置、解析方法およびプログラム
KR20220167443A (ko) 인공지능을 활용한 결함 검사 방법 및 인공지능을 활용한 결함 검사 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19904015

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019904015

Country of ref document: EP

Effective date: 20210727