WO2022254858A1 - 検査装置、検査方法、および検査プログラム - Google Patents

検査装置、検査方法、および検査プログラム Download PDF

Info

Publication number
WO2022254858A1
WO2022254858A1 PCT/JP2022/010215 JP2022010215W WO2022254858A1 WO 2022254858 A1 WO2022254858 A1 WO 2022254858A1 JP 2022010215 W JP2022010215 W JP 2022010215W WO 2022254858 A1 WO2022254858 A1 WO 2022254858A1
Authority
WO
WIPO (PCT)
Prior art keywords
attribute
unit
defect
inspection
content
Prior art date
Application number
PCT/JP2022/010215
Other languages
English (en)
French (fr)
Inventor
岳彦 指田
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Publication of WO2022254858A1 publication Critical patent/WO2022254858A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an inspection device, an inspection method, and an inspection program.
  • Patent Literature 1 discloses an image determination device that determines whether an object to be inspected is good or bad based on an image of the object to be inspected, a learning model, and a non-learning model.
  • defect type the type of defect
  • the inspection device has determined that the object to be inspected has a defect, it may actually have no defect (false defect). In the inspection of defects to be inspected, it is necessary to reduce false defects as much as possible while extracting all defects.
  • the inspection apparatus needs to allocate resources and processing time not only for improving the accuracy of determining the presence or absence of defects, but also for classifying defects. Must be done within limited resources and processing time.
  • An object of the present invention is to provide an inspection device, an inspection method, and an inspection program capable of improving accuracy.
  • an acquisition unit that acquires content related to an inspection object; and at least one common attribute common to a plurality of classifications having a plurality of mutually different attributes related to the inspection object is set in advance, and each of the attributes in the classification is set in advance.
  • a plurality of determination units for determining the likelihood that the attributes of the content acquired by the acquisition unit match each of the plurality of classifications; and aggregating determination results of the plurality of determination units for the common attribute.
  • an aggregating unit that determines whether or not the content has the common attribute based on the aggregation result.
  • the determining unit calculates statistical information representing the probability that the common attribute matches the attribute of the content, and the totalizing unit determines that the content has the common attribute based on the statistical information.
  • the inspection apparatus according to (1) or (2) above, which determines whether or not.
  • the determination unit calculates a likelihood that the common attribute and the attribute of the content match as the statistical information, and determines whether the content has an attribute representing non-defect based on the likelihood.
  • the inspection apparatus according to (4) above, which determines the
  • the aggregating unit aggregates the judgment results by the plurality of judging units, and judges whether or not the content has an attribute indicating non-defect based on a result of comparing the aggregated results with a predetermined threshold value.
  • the inspection apparatus according to (5) above.
  • the determining unit When the aggregating unit determines that the content has an attribute indicating non-defect, the determining unit, among the plurality of determining units, cannot determine that the content does not have an attribute indicating non-defect.
  • the totalizing unit When determining that the content has an attribute indicating a defect, the totalizing unit outputs a determination failure to the determining unit that has determined that the content does not have an attribute indicating a defect among the plurality of determining units.
  • the inspection apparatus according to (6) or (7) above.
  • the determination unit inputs the content acquired by the acquisition unit to a machine learning model pre-learned with learning content to determine the likelihood, above (1) to (10). Inspection device according to any one of.
  • a plurality of determination units concurrently determine a common attribute (for example, an attribute representing non-defect) common to a plurality of classifications of content such as an image related to an inspection target, and a totalization unit determines the determination result. are tabulated, and based on the tabulation result, it is determined whether or not the content has a common attribute. Therefore, it is possible to improve the accuracy of determining the presence/absence of defects in the inspection target while suppressing the addition of resources and processing time.
  • a common attribute for example, an attribute representing non-defect
  • FIG. 1 is a schematic block diagram illustrating the hardware configuration of an inspection apparatus according to a first embodiment
  • FIG. 2 is a functional block diagram illustrating main functions of a control unit shown in FIG. 1
  • FIG. 4 is a flow chart illustrating an outline of a processing procedure of an inspection method of the inspection apparatus according to the first embodiment
  • 3 is a functional block diagram illustrating main functions of the learning device
  • FIG. 10 is a flow chart illustrating an outline of a processing procedure of a learning method by a learning device
  • FIG. 7 is a functional block diagram illustrating main functions of a control section of an inspection apparatus according to a second embodiment
  • FIG. 11 is a functional block diagram illustrating main functions of a control section of an inspection apparatus according to a third embodiment
  • FIG. 1 is a schematic block diagram illustrating the hardware configuration of the inspection apparatus according to the first embodiment
  • FIG. 2 is a functional block diagram illustrating main functions of the control section shown in FIG.
  • the inspection apparatus 100 is an apparatus that acquires a photographed image of an inspection target as an input image and inspects defects in the inspection target based on the input image.
  • the inspection apparatus 100 determines defect/non-defect to be inspected and classifies the defect type.
  • the inspection target is not particularly limited, but includes, for example, parts used in industrial products.
  • the inspection apparatus 100 has a control section 110, a communication section 120, and an operation display section . These components are connected to each other via bus 101 .
  • the inspection device 100 can be, for example, a computer such as a personal computer or a server.
  • the control unit 110 has a CPU (Central Processing Unit) 111, a RAM (Random Access Memory) 112, a ROM (Read Only Memory) 113, and an auxiliary storage unit 114.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the CPU 111 executes programs such as an OS (Operating System) expanded in the RAM 112 and an inspection program, and controls the operation of the inspection apparatus 100 .
  • the inspection program is prestored in the ROM 113 or the auxiliary storage unit 114 .
  • the RAM 112 stores data temporarily generated by the processing of the CPU 111 and the like.
  • the ROM 113 also stores programs executed by the CPU 111, data, parameters, and the like used for executing the programs.
  • the auxiliary storage unit 114 has, for example, an HDD (Hard Disk Drive), an SSD (Solid State Drive), and the like.
  • the communication unit 120 is an interface circuit (for example, a LAN card, etc.) for communicating with an external device via a network.
  • an interface circuit for example, a LAN card, etc.
  • the operation display unit 130 has an input unit and an output unit.
  • the input unit includes, for example, a keyboard, a mouse, etc., and is used by the user to enter characters using the keyboard, the mouse, etc., and various instructions (inputs) such as various settings.
  • the output unit has a display, and displays the input image, the inspection result of the inspection target, and the like.
  • the output unit has a speaker, and can notify the user of the inspection result of the inspection target by voice.
  • the inspection target is illuminated with light by, for example, a lighting device and photographed by an imaging device such as a camera.
  • the imaging device transmits the captured image data of the inspection target to the inspection device 100 .
  • the inspection apparatus 100 acquires image data as an input image.
  • the image of the inspection object captured in advance by the imaging device is stored in a storage device outside the inspection device 100 .
  • the imaging device is installed in the inspection process, photographs the imaging range that includes the object to be inspected, and outputs image data that includes the object to be inspected.
  • the imaging device outputs, for example, black-and-white or color image data of the inspection object of predetermined pixels (eg, 128 pixels ⁇ 128 pixels).
  • the control unit 110 functions as an image acquisition unit 210, a first feature extraction unit 231, a defect determination unit 232, a second feature extraction unit 241, a detailed classification unit 242, and an aggregation unit 250. These functions are implemented by the CPU 111 executing an inspection program.
  • the first feature extraction section 231 and the defect determination section 232 configure the first determination section 230
  • the second feature extraction section 241 and the detailed classification section 242 configure the second determination section 240 .
  • the image acquisition unit 210 acquires an input image in cooperation with the communication unit 120.
  • the image acquisition unit 210 acquires an image (video) of an inspection target from, for example, an imaging device or a storage device external to the inspection apparatus 100 as an input image.
  • the summing unit 250 sums up the determination results of the plurality of determining units including the first determining unit 230 and the second determining unit 240, and final defect/non-defect is configured to output the determination result of
  • Classification A and classification B each include a plurality of mutually different attributes (classes).
  • the attribute representing non-defect is an attribute representing non-defect, and is a common attribute common to Classification A and Classification B.
  • FIG. In this embodiment, the defect type classification is independent of the defect/non-defect classification, and adding an attribute representing non-defect to the defect type classification does not affect the determination of the defect type classification. is assumed.
  • the plurality of attributes are features extracted from the plurality of learning images before the inspection of the inspection target is performed (at least before the determination by the first determination unit 230 and the second determination unit 240). It can be preset using a quantity.
  • the learning image is an image that is stored in the storage device outside the inspection apparatus 100 and that is preliminarily assigned a correct classification label by the user.
  • the image includes, for example, the same object (eg, part) as the object to be inspected.
  • a plurality of attributes may be preset by the user based on the history set in the past for the same object as the inspection target.
  • the first determination unit 230 determines the probability that each attribute of the input image matches the attribute of the input image in the category A including the attribute representing the defect of the input image and the attribute representing the non-defect.
  • a determination result is output based on the likelihood.
  • Likelihood can be represented by statistical information (for example, likelihood). ,Output.
  • other methods may be configured to generate and output feature amounts including information such as luminance, edges, and luminance gradients (HOG: Histograms of Oriented Gradients) of the input image. good.
  • the feature amount of the first feature extraction section 231 is transmitted to the defect determination section 232 .
  • the defect determination unit 232 determines whether the input image has two preset attributes (an attribute representing a defect and an attribute representing a non-defect). It has a discriminator for classifying (discriminating) which attribute it belongs to. A feature amount can be used singly or in combination.
  • the defect determination unit 232 classifies the attributes of the input image using a discriminator having a neural network (learned model) machine-learned by a learning device to be described later.
  • the defect determination unit 232 classifies the input image into the most probable attribute (for example, having the maximum likelihood), and the determination result as to which attribute the input image is classified and the likelihood of the determination result (for example, likelihood).
  • the second determination unit 240 determines that the classification B includes multiple attributes such as non-defect, convex defect, concave defect, flat defect, circular defect, line defect, uneven defect, large defect, medium defect, small defect, etc. of the input image, The likelihood that each attribute matches the attribute of the input image is determined, and the determination result is output based on the determined likelihood.
  • Likelihood is represented by statistical information (likelihood, for example).
  • the second feature extraction unit 241 extracts and outputs the feature amount of the input image using a neural network (learned model) machine-learned by a learning device.
  • the second feature extraction unit 241 may be configured to generate and output a feature amount including information such as brightness, edge, brightness gradient, etc. of the input image by other methods other than the neural network. good.
  • the feature amount of the second feature extraction section 241 is transmitted to the detailed classification section 242 .
  • the detailed classification unit 242 uses the feature amounts generated by the first feature extraction unit 231 and the second feature extraction unit 241 to determine which attribute the input image belongs to among a plurality of preset attributes. It has multiple discriminators for classification. A feature amount can be used singly or in combination.
  • the plurality of attributes includes at least an attribute representing non-defect.
  • the attribute representing non-defect is a common attribute common to the classification A of the first determination unit 230 . Attributes other than non-defects may include, for example, convex defects, concave defects, flat defects, circular defects, line defects, uneven defects, large defects, medium defects, and small defects.
  • the detailed classification unit 242 classifies the attributes of the input image using a plurality of classifiers having neural networks machine-learned by a learning device.
  • the detailed classification unit 242 for example, classifies the input image into the most probable attribute (for example, having the maximum likelihood), the determination result of which attribute the input image is classified, and the likelihood of the determination result (for example, , likelihood
  • Aggregation unit 250 aggregates the determination (classification) results of first determination unit 230 and second determination unit 240 with respect to the attribute (common attribute) representing non-defect, and determines that the input image is non-defect based on the aggregation result. Determines whether or not it has an attribute to represent.
  • FIG. 3 is a flow chart illustrating an overview of the processing procedure of the inspection method of the inspection apparatus 100 according to the first embodiment.
  • the processing of the flowchart shown in the figure is realized by the CPU 111 executing the inspection program.
  • an input image related to the inspection target is acquired (step S101).
  • the image acquisition unit 210 acquires, as an input image, for example, an image of an inspection object captured by an imaging device.
  • the input image can be an image of an inspection object that contains defects or an image of an inspection object that does not contain defects.
  • the first determination unit 230 and the second determination unit 240 determine the probability that the attributes of the categories A and B match the attributes of the input image in parallel for the categories A and B. (step S102).
  • the first determination section 230 and the second determination section 240 output the determination result and the likelihood of the determination result (for example, likelihood) for the classification A and the classification B, respectively.
  • step S103 it is determined whether or not the input image has an attribute representing non-defect. For example, when the determination result of at least one of the first determination unit 230 and the second determination unit 240 is an attribute representing non-defect, the totalizing unit 250 finally determines that the input image represents non-defect. attribute. Further, the summation unit 250 finally determines that the input image has no defects only when the determination results of both the first determination unit 230 and the second determination unit 240 are attributes representing non-defects, for example. It may be configured to By configuring in this way, overlooking of defects can be suppressed more effectively.
  • the determination results of the first determination unit 230 and the second determination unit 240 if the sum of the likelihoods of the determination results, which is an attribute representing non-defect, is equal to or greater than a predetermined threshold, finally It is also possible to determine that there is an attribute, and if it is less than a threshold value, it is determined that there is no attribute representing a non-defect.
  • the aggregation unit 250 saves the determination result in the RAM 112.
  • the control unit 110 displays on the display of the operation display unit 130 that the inspection object has a defect, and the determination result of the summation unit 250 indicates non-defect. If it is an attribute, it is displayed on the display that there is no defect in the inspection object. Further, when the output of the counting unit 250 is an attribute representing a defect, the control unit 110 can also display the likelihood of each attribute representing the defect type.
  • the operation display unit 130 also functions as a determination condition input unit, receives a predetermined threshold value as a determination condition, and outputs it to the aggregation unit 250 .
  • a determination condition input unit receives a predetermined threshold value as a determination condition, and outputs it to the aggregation unit 250 .
  • Classification A and classification B have a plurality of attributes different from each other regarding inspection objects, and common attributes representing non-defects are set in advance.
  • the totaling unit 250 totals the determination results of the classification A and the classification B with respect to the attribute representing the non-defect, and determines whether or not the input image has the attribute representing the non-defect based on the totaling result. .
  • FIG. 4 is a functional block diagram illustrating a schematic configuration of main functions of the learning device.
  • the learning device machine-learns the determination unit using the learning image (teacher data) to which the correct classification label is attached in advance, and generates a learned model (machine learning model).
  • a learned model machine learning model
  • deep learning is used in which a multi-layer neural network in the determination unit learns from teacher data.
  • various known methods can be applied to machine learning. For example, neural networks, random forests, decision trees, support vector machines (SVMs), logistic regression, k nearest neighbors, etc. can be applied.
  • SVMs support vector machines
  • logistic regression logistic regression
  • k nearest neighbors etc.
  • Machine learning by a learning device can be performed using a stand-alone high-performance computer using CPU and GPU (Graphics Processing Unit) processors, or using a cloud computer.
  • the hardware configuration of the learning device is the same as the hardware configuration of the inspection device 100 shown in FIG. 1, so detailed description thereof will be omitted.
  • the control unit of the learning device functions as an image acquisition unit 210, a first feature extraction unit 231, a defect determination unit 232, a second feature extraction unit 241, a detailed classification unit 242, and a learning unit 260.
  • the configurations of the image acquisition unit 210, the first feature extraction unit 231, the defect determination unit 232, the second feature extraction unit 241, and the detailed classification unit 242 are the same as those of the inspection apparatus 100, so detailed description thereof will be omitted.
  • the counting unit 250 of the inspection device 100 is not included in the learning device.
  • the learning unit 260 controls the image acquisition unit 210, the first feature extraction unit 231, the defect determination unit 232, the second feature extraction unit 241, and the detailed classification unit 242, and performs machine learning.
  • the learning unit 260 uses a plurality of learning images stored in the storage device to determine the first feature so that the determination results of the first determination unit 230 and the second determination unit 240 match the correct classification labels.
  • Each parameter of the multilayer neural network in the extraction unit 231 and the second feature extraction unit 241 is adjusted.
  • FIG. 5 is a flow chart illustrating an outline of a processing procedure of the learning method by the learning device.
  • the processing of the flowchart shown in the figure is realized by executing the learning program by the CPU of the learning device.
  • Machine learning by the learning device is performed, for example, by the following procedure.
  • the image acquisition unit 210 acquires a learning image from the storage device (step S201).
  • the first determination unit 230 and the second determination unit 240 determine the likelihood that the attributes of the classifications A and B match the attributes of the learning image acquired by the image acquisition unit 210.
  • Each of classification A and classification B is determined (step S202).
  • the learning unit 260 adjusts each parameter of the multilayer neural network (step S203).
  • the learning unit 260 compares the determination results of the first determination unit 230 and the second determination unit 240 with the correct classification label of the learning image, and based on the comparison result, the first feature extraction unit 231 and the second feature extraction unit 231
  • Each parameter of the multilayer neural network of the feature extraction unit 241 is adjusted. More specifically, the learning unit 260 adjusts each parameter so as to reduce the difference in the comparison results by performing processing based on back-propagation, for example.
  • the learning unit 260 determines whether or not learning has been completed for all learning images (step S204). When learning has been completed for all learning images (step S204: YES), the learning unit 260 stores the learned model constructed by the processes up to this point and terminates (END). On the other hand, if learning has not been completed for all learning images (step S204: NO), the process returns to step S201, and the process is repeated until learning is completed for all learning images.
  • the inspection apparatus 100 of the first embodiment described above has the following effects.
  • the first determination unit 230 and the second determination unit 240 concurrently classify attributes representing non-defects common to a plurality of classifications of the input image related to the inspection target, and the aggregation unit 250 aggregates the determination results. Based on the result, it is determined whether the input image has an attribute representing non-defect. Therefore, it is possible to improve the accuracy of determining the presence/absence of defects in the inspection target while suppressing the addition of resources and processing time (takt time).
  • FIG. 6 is a functional block diagram illustrating main functions of a control section of an inspection apparatus according to the second embodiment.
  • the inspection apparatus 100 has an image acquisition section 310 , first to fourth feature extraction sections 331 to 361 , first to fourth classification sections 332 to 362 , and an aggregation section 370 .
  • the image acquisition unit 310 has the same configuration as the image acquisition unit 210 in the first embodiment, so detailed description thereof will be omitted.
  • the summing unit 370 sums up the determination (classification) results of the plurality of determination units having the first determination unit 330 to the fourth determination unit 360, and the final defect/ It is configured to output a non-defect determination result.
  • the first to fourth classifications related to defects are set for the first determination unit 330 to the fourth determination unit 360, respectively.
  • the first classification is a classification including attributes representing defects and attributes representing non-defects, and corresponds to classification A in the first embodiment.
  • the second classification is a classification including attributes representing non-defect, convex defect, concave defect, and flat defect.
  • the third category is a category including attributes representing non-defects, circular defects, line defects, and mura defects.
  • the fourth category is a category including attributes representing non-defect, major defect, medium defect, and minor defect.
  • the first classification focuses on the presence or absence of defects on the surface of the inspection target
  • the second classification focuses on the unevenness of defects on the surface of the inspection target
  • the third classification is a planar view of the inspection target.
  • the third classification focuses on the size of the defect on the surface to be inspected.
  • Defects to be inspected can be classified in various ways depending on the classification focus.
  • a first classification including an attribute representing a defect and an attribute representing a non-defect and second to fourth classifications containing an attribute representing a non-defect and an attribute representing a defect type are set.
  • the classification method is not limited to such a case.
  • the reasons for finely classifying the defect types as shown in Table 2 in this embodiment are as follows. Even if the attributes are discretely divided, the defect types are continuous in the real space, so the attributes are not completely independent, and the defect type to which the defect to be inspected is not limited to one. .
  • a defect to be inspected may be both a convex defect and a circular defect, which cannot be handled by a single determination unit (discriminator).
  • a plurality of determination units ie, the first determination unit 330 to the fourth determination unit 360, are configured to simultaneously perform classification for the first classification to the fourth classification, respectively.
  • multitask classification processing of the first to fourth classifications is performed on the input image.
  • the feature amount extracted by each feature extraction unit of the first feature extraction unit 331 to the fourth feature extraction unit 361 changes according to the classification, and the first determination unit 330 to the fourth determination unit 360 Classification reflecting these feature amounts can be carried out respectively.
  • the aggregation unit 370 can ensemble only attributes representing non-defects, and the attributes representing non-defects in the input image can be ensembled. It can be reliably determined whether or not there is
  • the first determination unit 330 has the same configuration as the first determination unit 230 in the first embodiment, so detailed description will be omitted.
  • the second determination unit 340 determines the likelihood that each attribute matches the attribute of the input image in the classification including multiple attributes such as non-defect, convex defect, concave defect, and flat defect of the input image. Likelihood is represented by statistical information (likelihood, for example).
  • the third determination unit 350 determines the likelihood that each attribute matches the attribute of the input image in the classification including multiple attributes such as non-defect, circular defect, line defect, and uneven defect of the input image. Certainty is represented by statistical information.
  • the fourth determination unit 360 determines the likelihood that each attribute matches the attribute of the input image in the classification including multiple attributes such as non-defect, major defect, medium defect, and minor defect of the input image. Certainty is represented by statistical information.
  • Aggregating unit 370 aggregates the judgment results of first judging unit 330 to fourth judging unit 360 for the attribute (common attribute) representing non-defect, and based on the aggregate result, the input image has the attribute representing non-defective. Determine whether or not The summation unit 370 can output the final defect/non-defect determination result according to the number of determination results of the first determination unit 330 to the fourth determination unit 360 that are attributes representing non-defect, for example. For example, when the number of attributes indicating non-defect is equal to or greater than a predetermined number, the counting unit 370 finally determines that the input image has the attribute indicating non-defect.
  • the operation display unit 130 functions as a determination condition input unit, receives a predetermined number (threshold value), and outputs it to the counting unit 370 .
  • the totaling unit 370 determines that the input image has the attribute representing non-defect, among the first determination unit 330 to the fourth determination unit 360, it determines that the input image does not have the attribute representing non-defect. The determination part is output as undeterminable. Alternatively, if the totaling unit 370 determines that the input image has the attribute representing the defect, the determining unit, out of the first determining unit 330 to the fourth determining unit 360, that determines that the input image does not have the attribute representing the defect is output as undeterminable.
  • the counting unit 370 can determine whether or not the input image has an attribute representing non-defect based on the statistical information.
  • Statistical information can be, for example, maximum likelihood, minimum likelihood, average likelihood, and the like.
  • the counting unit 370 determines whether the input image has an attribute indicating that the input image is non-defective, based on the determination results of the first determination unit 330 to the fourth determination unit 360 in which the maximum likelihood is equal to or greater than a predetermined first threshold. can be determined whether or not to have
  • the counting unit 370 determines that the input image is non-defective based on the determination results of the first determination unit 330 to the fourth determination unit 360 in which the minimum likelihood is at least a predetermined second threshold value or more.
  • the counting unit 370 determines whether the input image has an attribute indicating that the input image is non-defective, based on the determination results of the first determination unit 330 to the fourth determination unit 360 in which the average likelihood is equal to or greater than a predetermined third threshold. can be determined whether or not to have
  • the inspection apparatus 100 of the second embodiment described above has the following effects in addition to the effects of the inspection apparatus 100 of the first embodiment.
  • Defect/non-defect classification is multifaceted based on a plurality of different feature amounts for the input image, so the defect/non-defect determination accuracy is improved. Further, since the plurality of judging units are configured to concurrently judge the defect/non-defect classification and the plurality of defect type classifications, the defect type classification can be performed in the same manner as in the prior art. There is no need to perform defect/non-defect classification before.
  • FIG. 7 is a functional block diagram illustrating major functions of the control unit 110 of the inspection apparatus 100 according to the third embodiment.
  • the inspection apparatus 100 has an image acquisition section 410 , second feature extraction sections 441 to 461 , second classification sections 442 to 462 , and an aggregation section 470 .
  • the image acquisition unit 410 has the same configuration as the image acquisition unit 210 in the first embodiment.
  • the second determination unit 440 to the fourth determination unit 460 have the same configuration as the second determination unit 340 to the fourth determination unit 360 in the second embodiment, respectively.
  • the totalization unit 470 totalizes the classification (judgment) results of a plurality of judgment units having the second judgment unit 440 to the fourth judgment unit 460, and the final defect/defect/ It is configured to output a non-defect determination result.
  • the inspection device 100 of the third embodiment has the following effects in addition to the effects of the inspection devices 100 of the first and second embodiments.
  • Attributes representing non-defects are incorporated into the classification of defect types, and the second determination unit 440 to the fourth determination unit 460 are configured to make determinations concurrently. Therefore, since only the attribute indicating non-defect is added to each of the defect type classifications, the resources and time required for the determination process are roughly the same as when only the defect type classification is performed.
  • the inspection apparatus, inspection method, and inspection program described above have described the main configurations in describing the features of the above-described embodiments, and are not limited to the configurations described above. can be done. Moreover, the configuration provided in a general inspection device or the like is not excluded.
  • steps may be omitted from the above-described flowchart, and other steps may be added. Also, part of each step may be executed simultaneously, or one step may be divided into a plurality of steps and executed.
  • the present invention is suitable for improving the performance of a device that performs more detailed classification according to the determination results after rough classification.
  • an inspection apparatus that classifies defects and non-defects of parts to be inspected and classifies defect types has been described as an example.
  • the present invention is not limited to defect inspection, and can be applied, for example, to classifying the attributes of people and objects in an input image.
  • an attribute representing a non-human may be set as a common attribute, and an input image may be classified into humans and non-humans, as well as the gender, age, presence or absence of glasses, etc. of the human. can.
  • a specific cancer is set as a common attribute, and the image has an attribute that represents the specific cancer. It can be configured to determine whether or not
  • the case of determining the image to be inspected has been described, but it may be configured to determine whether or not the common attribute is applied to content other than the image.
  • Examples of content include text, moving images, audio, graphics, and colors.
  • the first non-defective attribute and the second non-defective attribute are set so that the non-defective attribute can be switched according to the type of product to be inspected. good too.
  • the first feature extraction unit 231 and the defect determination unit 232 are configured to correspond
  • the second feature extraction unit 241 and the detailed classification unit 242 are configured to correspond
  • the second and Also in the third third embodiment a case has been described in which each feature extracting unit and each classifying unit are configured to correspond to each other.
  • the present invention is not limited to such cases, and each feature extractor may be configured to share some or all of its features with other feature extractors.
  • the first feature extraction unit 331 and the second feature extraction unit 341 are aggregated into one feature extraction unit, the output is branched to the first classification unit 332 and the second classification unit 342, and the third feature extraction unit 351 and the fourth feature extraction unit 361 may be integrated into another feature extraction unit, and the output thereof may be branched to the third classification unit 352 and the fourth classification unit 362 .
  • the first to fourth feature extraction units 331 to 361 may be integrated into one feature extraction unit and its output may be branched to the first classification unit 3321 to fourth classification unit 362 .
  • various types of features are prepared, and the judgment unit (classification unit) for each target task learns which feature to use for judgment, and some features are common. can be used.
  • the means and methods for performing various processes in the inspection device and learning device described above can be realized by either a dedicated hardware circuit or a programmed computer.
  • the program may be provided by a computer-readable recording medium such as a USB memory or a DVD (Digital Versatile Disc)-ROM, or may be provided online via a network such as the Internet.
  • the program recorded on the computer-readable recording medium is usually transferred to and stored in a storage unit such as a hard disk.
  • the program may be provided as independent application software, or may be incorporated as one function into the software of the device such as the inspection device or the learning device.
  • 100 inspection device 110 control unit, 111 CPUs, 112 RAM, 113 ROMs, 114 auxiliary storage unit, 120 communication unit, 130 operation display unit, 210 image acquisition unit; 231 first feature extraction unit, 232 defect determination unit, 241 second feature extraction unit, 242 detailed classifier, 250 counting unit; 260 Learning Department.

Abstract

【課題】リソースや処理時間の追加を抑制しつつ、検査対象の欠陥有無の判定精度を向上できる、検査装置、検査方法、および検査プログラムを提供する。 【解決手段】検査装置１００は、取得部２１０、判定部２３０，２４０、および集計部２５０を有する。取得部２１０は、検査対象に関するコンテンツを取得する。判定部２３０，２４０は、検査対象に関して、互いに異なる複数の属性を有する複数の分類に共通する少なくとも１つの共通属性が予め設定され、上記分類における各々の属性と、取得部２１０によって取得されたコンテンツの属性とが合致する確からしさを、上記複数の分類の各々について分類する。集計部２５０は、共通属性について、複数の判定部２３０，２４０の判定結果を集計し、集計結果に基づいて、コンテンツが共通属性を有するか否かを判定する。

Description

検査装置、検査方法、および検査プログラム
　本発明は、検査装置、検査方法、および検査プログラムに関する。
　製造ラインにおける検査対象の物体を撮影した画像を用いて、検査対象の物体の良／不良を判定する技術が知られている。例えば、下記特許文献１には、検査対象の物体を撮影した画像、学習モデル、および非学習モデルに基づいて、検査対象の物体の良／不良を判定する画像判定装置が開示されている。
　また、検査対象の物体を撮影した画像に基づいて検査対象の物体の欠陥の有無を判定し、欠陥を有する場合において欠陥の種類（以下、「欠陥種」という）を分類することにより、検査対象の物体の傷やへこみ等の外観の検査を行う検査装置が知られている。
　しかしながら、検査対象の物体が欠陥を有することが検査装置によって判定されたにもかかわらず、実際には欠陥を有しない場合（偽欠陥）が生じることがある。検査対象の欠陥の検査においては、欠陥を全て抽出しつつ、偽欠陥はできる限り低減することが必要とされるため、欠陥有無の判定精度の向上が求められる。
特開２０２０－５２０４４号公報
　しかし、検査装置は、検査対象の物体が欠陥を有している場合、どのような欠陥を有しているかについて詳細に分類することが求められる。したがって、検査装置は、欠陥有無の判定精度の向上のためのリソースや処理時間だけではなく、欠陥の分類処理にもリソースや処理時間を割く必要があるため、欠陥有無の判定精度の向上は、限られたリソースや処理時間の範囲内で行う必要がある。
　本発明は、このような問題を解決するためになされたものであり、リソースや処理時間の追加を抑制しつつ、検査対象の物体（以下、単に「検査対象」ともいう）の欠陥有無の判定精度を向上できる、検査装置、検査方法、および検査プログラムを提供することを目的とする。
　本発明の上記課題は、以下の手段によって解決される。
　（１）検査対象に関するコンテンツを取得する取得部と、前記検査対象に関して、互いに異なる複数の属性を有する複数の分類に共通する少なくとも１つの共通属性が予め設定され、前記分類における各々の前記属性と、前記取得部によって取得されたコンテンツの属性とが合致する確からしさを、前記複数の分類の各々について判定する複数の判定部と、前記共通属性について、前記複数の判定部の判定結果を集計し、集計結果に基づいて、前記コンテンツが前記共通属性を有するか否かを判定する集計部と、を有する、検査装置。
　（２）前記複数の属性は、前記複数の判定部による判定が行われる前に、複数のコンテンツから抽出された特徴を用いて設定される、上記（１）に記載の検査装置。
　（３）前記判定部は、前記共通属性と前記コンテンツの属性とが合致する確からしさを表す統計情報を算出し、前記集計部は、前記統計情報に基づいて、前記コンテンツが前記共通属性を有するか否かを判定する、上記（１）または（２）に記載の検査装置。
　（４）前記共通属性は、非欠陥を表す属性であり、前記複数の属性のうち前記共通属性を除く属性は、欠陥の種類を表す属性である、上記（３）に記載の検査装置。
　（５）前記判定部は、前記共通属性と前記コンテンツの属性とが合致する尤度を前記統計情報として算出し、前記尤度に基づいて、前記コンテンツが非欠陥を表す属性を有するか否かを判定する、上記（４）に記載の検査装置。
　（６）前記集計部は、前記複数の判定部による判定結果を集計し、集計結果を所定の閾値と比較した結果に基づいて、前記コンテンツが非欠陥を表す属性を有するか否かを判定する、上記（５）に記載の検査装置。
（７）前記所定の閾値を受け付ける判定条件入力部をさらに有する、上記（６）に記載の検査装置。
　（８）前記集計部は、前記コンテンツが非欠陥を表す属性を有すると判定した場合、前記複数の判定部のうち、前記コンテンツが非欠陥を表す属性を有しないと判定した判定部について判定不可として出力する、上記（６）または（７）に記載の検査装置。
　（９）前記集計部は、前記コンテンツが欠陥を表す属性を有すると判定した場合、前記複数の判定部のうち、前記コンテンツが欠陥を表す属性を有しないと判定した判定部について判定不可として出力する、上記（６）または（７）に記載の検査装置。
　（１０）前記コンテンツは、前記検査対象を撮影した画像である、上記（１）～（９）のいずれか１つに記載の検査装置。
　（１１）前記判定部は、前記取得部で取得された前記コンテンツを、学習用コンテンツで予め学習された機械学習モデルに入力して、前記確からしさを判定する、上記（１）～（１０）のいずれか１つに記載の検査装置。
　（１２）前記機械学習モデルは、多層ニューラルネットワークを用いたディープラーニングにより学習することにより生成される、上記（１１）に記載の検査装置。
　（１３）検査対象に関するコンテンツを取得するステップ（ａ）と、前記検査対象に関して、互いに異なる複数の属性を有する複数の分類に共通する少なくとも１つの共通属性が予め設定され、前記分類における各々の前記属性と、前記ステップ（ａ）において取得されたコンテンツの属性とが合致する確からしさを、前記複数の分類の各々について同時並行的に判定するステップ（ｂ）と、前記共通属性について、前記ステップ（ｂ）において判定された判定結果を集計し、集計結果に基づいて、前記コンテンツが前記共通属性を有するか否かを判定するステップ（ｃ）と、を有する、検査方法。
　（１４）前記複数の属性は、前記ステップ（ｂ）の前に、複数のコンテンツから抽出された特徴を用いて設定される、上記（１３）に記載の検査方法。
　（１５）上記（１３）または（１４）に記載の検査方法に含まれる処理をコンピューターに実行させるための検査プログラム。
　本発明によれば、検査対象に関する画像等のコンテンツに対する複数の分類に共通する共通属性（例えば、非欠陥を表す属性）について、複数の判定部が同時並行的に判定し、集計部が判定結果を集計し、集計結果に基づいて、コンテンツが共通属性を有するか否かを判定する。したがって、リソースや処理時間の追加を抑制しつつ、検査対象の欠陥有無の判定精度を向上できる。
第１の実施形態に係る検査装置のハードウェア構成を例示する概略ブロック図である。 図１に示す制御部の主要な機能を例示する機能ブロック図である。 第１の実施形態に係る検査装置の検査方法の処理手順の概要を例示するフローチャートである。 学習装置の主要な機能を例示する機能ブロック図である。 学習装置による学習方法の処理手順の概要を例示するフローチャートである。 第２の実施形態に係る検査装置の制御部の主要な機能を例示する機能ブロック図である。 第３の実施形態に係る検査装置の制御部の主要な機能を例示する機能ブロック図である。
　以下、図面を参照して、本発明の実施形態に係る検査装置、検査方法、および検査プログラムについて説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。
　（第１の実施形態）
　図１は、第１の実施形態に係る検査装置のハードウェア構成を例示する概略ブロック図であり、図２は、図１に示す制御部の主要な機能を例示する機能ブロック図である。
　以下、製造ライン上を搬送される検査対象の画像を撮影して検査装置１００により検査し、検査結果を表示する処理を例示して説明を行う。検査装置１００は、検査対象を撮影した画像を入力画像として取得し、入力画像に基づいて、検査対象の欠陥を検査する装置である。検査装置１００は、検査対象の欠陥／非欠陥を判定し、欠陥種を分類する。検査対象は、特に限定されるものではないが、例えば、工業製品に使用される部品等が挙げられる。
　図１に示すように、検査装置１００は、制御部１１０、通信部１２０、および操作表示部１３０を有する。これらの構成要素は、バス１０１を介して互いに接続される。検査装置１００は、例えば、パーソナルコンピューター、サーバー等のコンピューターでありうる。
　制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１１、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１１２、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１１３、および補助記憶部１１４を有する。
　ＣＰＵ１１１は、ＲＡＭ１１２に展開されたＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）、検査プログラム等のプログラムを実行し、検査装置１００の動作制御を行う。検査プログラムは、ＲＯＭ１１３、または補助記憶部１１４に予め保存されている。また、ＲＡＭ１１２は、ＣＰＵ１１１の処理によって一時的に生じたデータ等を格納する。また、ＲＯＭ１１３は、ＣＰＵ１１１によって実行されるプログラムや、プログラムの実行に使用されるデータ、パラメーター等を記憶する。補助記憶部１１４は、例えばＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等を有する。
　通信部１２０は、ネットワークを介して、外部の装置と通信するためのインターフェース回路（例えばＬＡＮカード等）である。
　操作表示部１３０は、入力部および出力部を有する。入力部は、例えば、キーボード、マウス等を備え、キーボード、マウス等による文字入力、各種設定等の各種指示（入力）をユーザーが行うために使用される。また、出力部は、ディスプレイを備え、入力画像、検査対象の検査結果等を表示する。また、出力部は、スピーカーを有し、検査対象の検査結果を音声でユーザーに通知することもできる。
　また、図示を省略しているが、検査対象は、例えば、照明装置により光が照射され、カメラ等の撮像装置によって撮影される。撮像装置は、撮影された検査対象の画像データを検査装置１００に送信する。検査装置１００は、画像データを入力画像として取得する。あるいは、撮像装置によって予め撮影された検査対象の画像は、検査装置１００の外部にある記憶装置に保存される。
　撮像装置は、例えば、検査対象が工業製品の部品である場合、検査工程に設置され、検査対象を包含する撮影範囲を撮影し、検査対象が含まれる画像データを出力する。撮像装置は、例えば、所定ピクセル（例えば、１２８ピクセル×１２８ピクセル）の検査対象の白黒またはカラーの画像データを出力する。
　図２に示すように、制御部１１０は、画像取得部２１０、第１特徴抽出部２３１、欠陥判定部２３２、第２特徴抽出部２４１、詳細分類部２４２、および集計部２５０として機能する。これらの機能は、ＣＰＵ１１１が検査プログラムを実行することにより実現される。第１特徴抽出部２３１、および欠陥判定部２３２は、第１判定部２３０を構成し、第２特徴抽出部２４１、および詳細分類部２４２は、第２判定部２４０を構成する。
　画像取得部２１０は、通信部１２０と協働することにより、入力画像を取得する。画像取得部２１０は、例えば、検査装置１００の外部の撮像装置、または記憶装置から検査対象の画像（映像）を入力画像として取得する。
　本実施形態の検査装置１００においては、第１判定部２３０、および第２判定部２４０を有する複数の判定部の判定結果を集計部２５０が集計し、入力画像について、最終的な欠陥／非欠陥の判定結果を出力するように構成されている。
　下記表１に示すように、第１判定部２３０に対して分類Ａが設定され、第２判定部２４０に対して分類Ｂが設定されている。分類Ａ、および分類Ｂは、各々互いに異なる複数の属性（クラス）を含んでいる。このうち、非欠陥を表す属性は、欠陥ではないことを表す属性であり、分類Ａ、および分類Ｂに共通する共通属性である。本実施形態では、欠陥種に関する分類は、欠陥／非欠陥の分類とは独立しており、欠陥種に関する分類に非欠陥を表す属性を加えても、欠陥種に関する分類の判定には影響しないことを想定している。
Figure JPOXMLDOC01-appb-T000001
　複数の属性は、例えば、検査対象の検査が実施される前（少なくとも、第１判定部２３０、および第２判定部２４０による判定が行われる前）に、複数の学習用画像から抽出された特徴量を用いて予め設定されうる。学習用画像は、検査装置１００の外部にある上記記憶装置に記憶され、ユーザーによって予め正解分類ラベルが付されている画像である。画像は、例えば、検査対象と同じ物体（例えば、部品）を含んでいる。あるいは、複数の属性は、検査対象と同じ物体について、過去に設定された履歴に基づいて、ユーザーによって予め設定されてもよい。
　第１判定部２３０は、入力画像の欠陥を表す属性、および非欠陥を表す属性を含む分類Ａにおいて、各々の属性と、入力画像の属性とが合致する確からしさを判定し、判定された確からしさに基づいて、判定結果を出力する。確からしさは、統計情報（例えば、尤度）によって表されうる
　第１特徴抽出部２３１は、後述する学習装置によって機械学習されたニューラルネットワーク（学習済みモデル）により、入力画像の特徴量を抽出し、出力する。また、ニューラルネットワークに限らず、他の方法、例えば、入力画像の輝度、エッジ、輝度勾配（ＨＯＧ：Ｈｉｓｔｏｇｒａｍｓ　ｏｆ　Ｏｒｉｅｎｔｅｄ　Ｇｒａｄｉｅｎｔｓ）等の情報を含む特徴量を生成し、出力するように構成してもよい。第１特徴抽出部２３１の特徴量は、欠陥判定部２３２に伝達される。
　欠陥判定部２３２は、第１特徴抽出部２３１によって生成された特徴量を使用して、入力画像が、予め設定された２つの属性（欠陥を表す属性、および非欠陥を表す属性）のうち、どちらの属性に属するかを分類（識別）するための識別器を有する。特徴量は、単独、または複数組み合わせて使用されうる。欠陥判定部２３２は、後述する学習装置によって機械学習されたニューラルネットワーク（学習済みモデル）を有する識別器を用いて、入力画像の属性を分類する。欠陥判定部２３２は、入力画像を、最も確からしい（例えば、最大尤度を有する）属性に分類し、入力画像が、どちらの属性に分類されたかの判定結果と、判定結果の確からしさ（例えば、尤度）を出力する。
　第２判定部２４０は、入力画像の非欠陥、凸欠陥、凹欠陥、Ｆｌａｔ欠陥、円形欠陥、線欠陥、ムラ欠陥、大欠陥、中欠陥、小欠陥等の複数の属性を含む分類Ｂにおいて、各々の属性と、入力画像の属性とが合致する確からしさを判定し、判定された確からしさに基づいて、判定結果を出力する。確からしさは、統計情報（例えば、尤度）によって表される。
　第２特徴抽出部２４１は、第１特徴抽出部２３１と同様に、学習装置によって機械学習されたニューラルネットワーク（学習済みモデル）により、入力画像の特徴量を抽出し、出力する。また、第２特徴抽出部２４１は、ニューラルネットワークに限らず、他の方法、例えば、入力画像の輝度、エッジ、輝度勾配等の情報を含む特徴量を生成し、出力するように構成してもよい。第２特徴抽出部２４１の特徴量は、詳細分類部２４２に伝達される。
　詳細分類部２４２は、第１特徴抽出部２３１、および第２特徴抽出部２４１によって生成された特徴量を使用して、予め設定された複数の属性のうち、入力画像がどの属性に属するかを分類する複数の識別器を有する。特徴量は、単独、または複数組み合わせて使用されうる。複数の属性は、少なくとも非欠陥を表す属性を含む。非欠陥を表す属性は、第１判定部２３０の分類Ａと共通する共通属性である。また、非欠陥以外の属性としては、例えば、凸欠陥、凹欠陥、Ｆｌａｔ欠陥、円形欠陥、線欠陥、ムラ欠陥、大欠陥、中欠陥、小欠陥等が含まれうる。詳細分類部２４２は、学習装置によって機械学習されたニューラルネットワークを有する複数の識別器を使用して、入力画像の属性を分類する。詳細分類部２４２は、例えば、入力画像を、最も確からしい（例えば、最大尤度を有する）属性に分類し、入力画像が、どの属性に分類されたかの判定結果と、判定結果の確からしさ（例えば、尤度）を出力する。
　集計部２５０は、非欠陥を表す属性（共通属性）について、第１判定部２３０、および第２判定部２４０の判定（分類）結果を集計し、集計結果に基づいて、入力画像が非欠陥を表す属性を有するか否かを判定する。
　（検査方法）
　図３は、第１の実施形態に係る検査装置１００の検査方法の処理手順の概要を例示するフローチャートである。同図に示すフローチャートの処理は、ＣＰＵ１１１が検査プログラムを実行することにより実現される。
　まず、検査対象に関する入力画像を取得する（ステップＳ１０１）。画像取得部２１０は、例えば、撮像装置から検査対象が撮影された画像を入力画像として取得する。入力画像は、欠陥を含む検査対象の画像、または欠陥を含まない検査対象の画像でありうる。
　次に、第１判定部２３０、および第２判定部２４０は、分類Ａ、および分類Ｂにおける各々の属性と、入力画像の属性とが合致する確からしさを、分類Ａ、および分類Ｂについて同時並行的に判定する（ステップＳ１０２）。第１判定部２３０、および第２判定部２４０は、各々分類Ａ、および分類Ｂにおいて、判定結果と、判定結果の確からしさ（例えば、尤度）とを出力する。
　次に、入力画像が非欠陥を表す属性を有するか否かを判定する（ステップＳ１０３）。集計部２５０は、例えば、第１判定部２３０、および第２判定部２４０のうち、少なくともいずれかの判定結果が非欠陥を表す属性である場合は、最終的に、入力画像が非欠陥を表す属性を有すると判定しうる。また、集計部２５０は、例えば、第１判定部２３０、および第２判定部２４０の両方の判定結果が非欠陥を表す属性である場合のみ、最終的に、入力画像が非欠陥を有すると判定するように構成してもよい。このように構成することにより、欠陥の見逃しをより効果的に抑制できる。
　あるいは、第１判定部２３０、および第２判定部２４０の判定結果について、非欠陥を表す属性である判定結果の尤度の合計が所定の閾値以上である場合、最終的に、非欠陥を表す属性を有すると判定し、閾値未満である場合、非欠陥を表す属性を有しないと判定するように構成することもできる。
　集計部２５０は、判定結果をＲＡＭ１１２に保存する。制御部１１０は、集計部２５０の判定結果が欠陥を表す属性である場合、検査対象には欠陥が有る旨を操作表示部１３０のディスプレイに表示し、集計部２５０の判定結果が非欠陥を表す属性である場合、検査対象には欠陥が無い旨をディスプレイに表示する。また、制御部１１０は、集計部２５０の出力が欠陥を表す属性である場合、欠陥種を表す各属性の尤度を表示することもできる。
　また、操作表示部１３０は、判定条件入力部として機能し、判定条件としての所定の閾値を受け付け、集計部２５０に出力する。判定条件を調整可能にすることにより、分類の精度が向上する。
　このように、図３に示すフローチャートの処理では、画像取得部２１０は、検査対象に関する入力画像を取得し、第１判定部２３０、および第２判定部２４０は、分類Ａ、および分類Ｂにおける各々の属性と、入力画像の属性とが合致する確からしさを、分類Ａ、および分類Ｂの各々について同時並行的に判定する。分類Ａ、および分類Ｂは、検査対象に関して、互いに異なる複数の属性を有し、共通する非欠陥を表す属性が予め設定されている。続いて、集計部２５０は、非欠陥を表す属性について、分類Ａ、および分類Ｂの判定結果を集計し、集計結果に基づいて、入力画像が非欠陥を表す属性を有するか否かを判定する。
　（学習装置）
　次に、図４を参照して、本実施形態における学習装置について説明する。図４は、学習装置の主要な機能の概略構成を例示する機能ブロック図である。
　学習装置は、予め正解分類ラベルが付されている学習用画像（教師データ）により、判定部を機械学習し、学習済みモデル（機械学習モデル）を生成する。本実施形態では、例えば、判定部における多層ニューラルネットワークを教師データにより学習するディープラーニングが用いられる。
　あるいは、機械学習には、公知の種々の手法が適用されうる。例えば、ニューラルネットワーク、ランダムフォレスト、決定木、サポートベクターマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）、ロジスティック回帰、ｋ近傍法等が適用されうる。
　学習装置による機械学習は、ＣＰＵ、およびＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）のプロセッサを用いたスタンドアロンの高性能のコンピューター、またはクラウドコンピューターを用いて行える。学習装置のハードウェア構成は、図１に示す検査装置１００のハードウェア構成と同様であるので、詳細な説明を省略する。
　図４に示すように、学習装置の制御部は、画像取得部２１０、第１特徴抽出部２３１、欠陥判定部２３２、第２特徴抽出部２４１、詳細分類部２４２、および学習部２６０として機能する。画像取得部２１０、第１特徴抽出部２３１、欠陥判定部２３２、第２特徴抽出部２４１、詳細分類部２４２の構成は、検査装置１００の各構成と同じであるので、詳細な説明を省略する。なお、検査装置１００の集計部２５０は、学習装置には含まれない。
　学習部２６０は、画像取得部２１０、第１特徴抽出部２３１、欠陥判定部２３２、第２特徴抽出部２４１、詳細分類部２４２を制御し、機械学習を行う。学習部２６０は、記憶装置に保存されている複数の学習用画像を用いて、第１判定部２３０および第２判定部２４０による判定結果と、正解分類ラベルとが一致するように、第１特徴抽出部２３１および第２特徴抽出部２４１における多層ニューラルネットワークの各パラメーターを調整する。
　（学習方法）
　図５は、学習装置による学習方法の処理手順の概要を例示するフローチャートである。同図に示すフローチャートの処理は、学習装置のＣＰＵが学習プログラムを実行することにより実現される。学習装置による機械学習は、例えば、以下の手順で行われる。まず、画像取得部２１０は、記憶装置から学習用画像を取得する（ステップＳ２０１）。
　次に、第１判定部２３０、および第２判定部２４０は、分類Ａ、および分類Ｂにおける各々の属性と、画像取得部２１０によって取得された学習用画像の属性とが合致する尤度を、分類Ａ、および分類Ｂの各々について判定する（ステップＳ２０２）。
　次に、学習部２６０は、多層ニューラルネットワークの各パラメーターを調整する（ステップＳ２０３）。学習部２６０は、第１判定部２３０、および第２判定部２４０による判定結果と、学習用画像の正解分類ラベルとを比較し、比較結果に基づいて、第１特徴抽出部２３１、および第２特徴抽出部２４１の多層ニューラルネットワークの各パラメーターを調整する。より具体的には、学習部２６０は、例えば、バックプロパゲーション（Ｂａｃｋ－ｐｒｏｐａｇａｔｉｏｎ、誤差逆伝搬法）に基づく処理を実行することにより、比較結果の差異が小さくなるように各パラメーターを調整する。
　次に、学習部２６０は、全ての学習用画像について学習が完了したか否かを判定する（ステップＳ２０４）。全ての学習用画像について学習が完了している場合（ステップＳ２０４：ＹＥＳ）、学習部２６０は、これまでの処理で構築された学習済みモデルを記憶して終了する（エンド）。一方、全ての学習用画像について学習が完了していない場合（ステップＳ２０４：ＮＯ）、ステップＳ２０１の処理に戻り、全ての学習用画像について学習が完了するまで処理を繰り返す。
　以上で説明した第１の実施形態の検査装置１００は、下記の効果を奏する。
　検査対象に関する入力画像に対する複数の分類に共通する非欠陥を表す属性について、第１判定部２３０、および第２判定部２４０が同時並行的に分類し、集計部２５０が判定結果を集計し、集計結果に基づいて、入力画像が非欠陥を表す属性を有するか否かを判定する。したがって、リソースや処理時間（タクトタイム）の追加を抑制しつつ、検査対象の欠陥有無の判定精度を向上できる。
　（第２の実施形態）
　第１の実施形態では、欠陥・非欠陥の分類と、非欠陥・欠陥種の分類とが設定される場合について説明した。第２の実施形態では、欠陥種の分類をさらに細かく分類する場合について説明する。以下では、説明の重複を避けるため、第１の実施形態と同じ構成については説明を省略する。
　図６は、第２の実施形態に係る検査装置の制御部の主要な機能を例示する機能ブロック図である。
　検査装置１００は、画像取得部３１０、第１特徴抽出部３３１～第４特徴抽出部３６１、第１分類部３３２～第４分類部３６２、および集計部３７０を有する。画像取得部３１０は、第１の実施形態における画像取得部２１０と同じ構成であるので、詳細な説明を省略する。
　本実施形態の検査装置１００においては、第１判定部３３０～第４判定部３６０を有する複数の判定部の判定（分類）結果を集計部３７０が集計し、入力画像について、最終的な欠陥／非欠陥の判定結果を出力するように構成されている。
　下記表２に示すように、第１判定部３３０～第４判定部３６０に対して、欠陥に関する第１分類～第４分類が各々設定され、第１分類～第４分類は、各々互いに異なる複数の属性（クラス）を含んでいる。このうち、非欠陥を表す属性は、第１分類～第４分類に共通する共通属性である。
Figure JPOXMLDOC01-appb-T000002
　第１分類は、欠陥を表す属性、および非欠陥を表す属性を含む分類であり、第１の実施形態における分類Ａに相当する。また、第２分類は、非欠陥、凸欠陥、凹欠陥、およびＦｌａｔ欠陥を表す属性を含む分類である。また、第３分類は、非欠陥、円形欠陥、線欠陥、およびムラ欠陥を表す属性を含む分類である。また、第４分類は、非欠陥、大欠陥、中欠陥、および小欠陥を表す属性を含む分類である。
　すなわち、第１分類は検査対象の表面における欠陥の有無に着目した分類であり、第２分類は検査対象の表面における欠陥の凸凹に着目した分類であり、第３分類は検査対象を平面視したときの欠陥の形状に着目した分類であり、第３分類は検査対象の表面における欠陥の大きさに着目した分類である。
　検査対象の欠陥は、分類の着目点により多様に分類されうる。表２に示す例では、欠陥を表す属性、および非欠陥を表す属性を含む第１分類と、非欠陥を表す属性、および欠陥種を表す属性を含む第２分類～第４分類が設定される場合について例示したが、分類方法は、このような場合に限定されない。
　本実施形態において、表２に示すように欠陥種を細かく分類した理由は以下のとおりである。属性を離散的に分けたとしても、欠陥種は実空間上では連続的であるため、属性間は完全に独立ではなく、検査対象の欠陥が該当する欠陥種は、１つだけとは限らない。例えば、検査対象の欠陥が、凸欠陥であり、かつ円形欠陥に該当する場合もあり、この場合は単一の判定部（識別器）では扱えない。
　そこで、本実施形態では、第１判定部３３０～第４判定部３６０の複数の判定部が、各々第１分類～第４分類について、同時並行的に分類を実施するように構成されている。これにより、入力画像について、第１分類～第４分類のマルチタスク的な分類処理が実施される。また、第１特徴抽出部３３１～第４特徴抽出部３６１の各特徴抽出部によって抽出される特徴量は、分類に応じて変化すると考えられ、第１判定部３３０～第４判定部３６０は、これらの特徴量を反映させた分類を各々実施できる。
　また、第１分類～第４分類の各々に非欠陥を表す属性を組み入れることにより、集計部３７０において、非欠陥を表す属性のみアンサンブル（Ｅｎｓｅｍｂｌｅ）することができ、入力画像が非欠陥を表す属性を有するか否かを確実に判定できる。
　第１判定部３３０は、第１の実施形態における第１判定部２３０と同じ構成であるので、詳細な説明を省略する。
　第２判定部３４０は、入力画像の非欠陥、凸欠陥、凹欠陥、Ｆｌａｔ欠陥等の複数の属性を含む分類において、各々の属性と、入力画像の属性とが合致する確からしさを判定する。確からしさは、統計情報（例えば、尤度）によって表される。
　第３判定部３５０は、入力画像の非欠陥、円形欠陥、線欠陥、ムラ欠陥等の複数の属性を含む分類において、各々の属性と、入力画像の属性とが合致する確からしさを判定する。確からしさは、統計情報によって表される。
　第４判定部３６０は、入力画像の非欠陥、大欠陥、中欠陥、小欠陥等の複数の属性を含む分類において、各々の属性と、入力画像の属性とが合致する確からしさを判定する。確からしさは、統計情報によって表される。
　集計部３７０は、非欠陥を表す属性（共通属性）について、第１判定部３３０～第４判定部３６０の判定結果を集計し、集計結果に基づいて、入力画像が非欠陥を表す属性を有するか否かを判定する。集計部３７０は、例えば、第１判定部３３０～第４判定部３６０の判定結果が非欠陥を表す属性である個数に応じて、欠陥／非欠陥の最終的な判定結果を出力しうる。集計部３７０は、例えば、判定結果が非欠陥を表す属性である個数が所定個数以上の場合、最終的に、入力画像が非欠陥を表す属性を有すると判定する。操作表示部１３０は、判定条件入力部として機能し、所定の個数（閾値）を受け付け、集計部３７０に出力する。
　また、集計部３７０は、入力画像が非欠陥を表す属性を有すると判定した場合、第１判定部３３０～第４判定部３６０のうち、入力画像が非欠陥を表す属性を有しないと判定した判定部について判定不可として出力する。あるいは、集計部３７０は、入力画像が欠陥を表す属性を有すると判定した場合、第１判定部３３０～第４判定部３６０のうち、入力画像が欠陥を表す属性を有しないと判定した判定部について判定不可として出力する。
　このように、第１判定部３３０～第４判定部３６０の間において、欠陥／非欠陥の属性について異なる判定結果が出力された場合、多数決を採り、個数が多い方の判定結果を採用し、個数が少ない方の判定結果を判定不可とすることで、ユーザーが判定結果を解釈しやすくなる。
　また、集計部３７０は、統計情報に基づいて、入力画像が非欠陥を表す属性を有するか否かを判定することもできる。統計情報は、例えば、最大尤度、最小尤度、平均尤度等でありうる。例えば、集計部３７０は、第１判定部３３０～第４判定部３６０の判定結果のうち、最大尤度が所定の第１の閾値以上の判定結果に基づいて、入力画像が非欠陥を表す属性を有するか否かを判定しうる。また、集計部３７０は、第１判定部３３０～第４判定部３６０の判定結果のうち、最小尤度が少なくとも所定の第２の閾値以上の判定結果に基づいて、入力画像が非欠陥を表す属性を有するか否かを判定しうる。また、集計部３７０は、第１判定部３３０～第４判定部３６０の判定結果のうち、平均尤度が所定の第３の閾値以上の判定結果に基づいて、入力画像が非欠陥を表す属性を有するか否かを判定しうる。
　以上で説明した第２の実施形態の検査装置１００は、第１の実施形態の検査装置１００の効果に加えて下記の効果を奏する。
　入力画像に関して互いに異なる複数の特徴量に基づいて、欠陥・非欠陥の分類を多面的に判定するので、欠陥・非欠陥の判定精度が向上する。また、複数の判定部が、欠陥・非欠陥の分類と、欠陥種に関する複数の分類とを、同時並行的に判定するように構成されているので、従来技術のように、欠陥種の分類の前に、欠陥・非欠陥の分類を実施する必要がない。
　（第３の実施形態）
　第２の実施形態では、欠陥・非欠陥の分類と、非欠陥・欠陥種に関する複数の分類とが設定される場合について説明した。第３の実施形態では、欠陥・非欠陥の分類を設定せずに、非欠陥・欠陥種に関する複数の分類のみが設定される場合について説明する。以下では、説明の重複を避けるため、第１の実施形態、または第２の実施形態と同じ構成については説明を省略する。
　図７は、第３の実施形態に係る検査装置１００の制御部１１０の主要な機能を例示する機能ブロック図である。
　検査装置１００は、画像取得部４１０、第２特徴抽出部４４１～第４特徴抽出部４６１、第２分類部４４２～第４分類部４６２、および集計部４７０を有する。画像取得部４１０は、第１の実施形態における画像取得部２１０と同じ構成である。また、第２判定部４４０～第４判定部４６０は、第２の実施形態における第２判定部３４０～第４判定部３６０と各々同じ構成である。
　本実施形態の検査装置１００においては、第２判定部４４０～第４判定部４６０を有する複数の判定部の分類（判定）結果を集計部４７０が集計し、入力画像について、最終的な欠陥／非欠陥の判定結果を出力するように構成されている。
　第３の実施形態の検査装置１００は、第１および第２の実施形態の検査装置１００の効果に加えて下記の効果を奏する。
　欠陥種の分類に非欠陥を表す属性が各々組み入れられ、第２判定部４４０～第４判定部４６０により同時並行的に判定が実施されるように構成されている。したがって、欠陥種の分類の各々に非欠陥を表す属性が加えられただけであるので、判定処理に必要なリソースや時間は、欠陥種の分類だけを実施する場合と概ね同じである。
　上述した検査装置、検査方法、および検査プログラムは、上述の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上述の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な検査装置等が備える構成を排除するものではない。
　例えば、上述したフローチャートは、一部のステップを省略してもよく、他のステップが追加されてもよい。また各ステップの一部は同時に実行されてもよく、一つのステップが複数のステップに分割されて実行されてもよい。
　また、本発明は、おおまかに分類した後に、判定結果に応じて、さらに詳細に分類する装置の性能向上に好適である。例えば、上述の第１～第３の実施形態では、検査対象としての部品の欠陥・非欠陥を分類するとともに、欠陥種を分類する検査装置を例示して説明したが、本発明は、部品の欠陥検査に限定されず、例えば、入力画像の人や物体の属性を分類する場合にも適用できる。例えば、人検出において、非人間を表す属性を共通属性として設定し、入力画像について、人間・非人間を分類するとともに、人間の性別、年代、眼鏡の有無等を分類するように構成することもできる。
　また、検出された生体の属性を判定することもできる。例えば、がんタイプの正確な診断を可能にするＨＳＴＴ（Ｈｉｇｈ　Ｓｅｎｓｉｔｉｖｅ　Ｔｉｓｓｕｅ　Ｔｅｓｔｉｎｇ）技術によって診断された画像について、特定のがんを共通属性として設定し、画像が特定のがんを表す属性を有するか否かを判定するように構成できる。
　また、上述の第１～第３の実施形態では、検査対象の画像について判定する場合について説明したが、画像以外のコンテンツについて共通属性をするか否かを判定するように構成してもよい。コンテンツとしては、例えば、テキスト、動画、音声、図形、色彩等が挙げられる。
　また、上述の第１～第３の実施形態では、共通属性が１つの場合について主に説明したが、共通属性が複数個設定されるように設定してもよい。例えば、検査対象である製品の種類に応じて、非欠陥を表す属性が切り替えられるよう、第１の非欠陥を表す属性、および第２の非欠陥を表す属性が設定されるように構成してもよい。
　また、上述の第１の実施形態において、第１特徴抽出部２３１と欠陥判定部２３２とが対応し、第２特徴抽出部２４１と詳細分類部２４２とが対応するように構成され、第２および第３の第３の実施形態においても、各々の特徴抽出部と分類部とが対応するように構成される場合について説明した。しかし、本発明は、このような場合に限定されず、各々の特徴抽出部はその特徴の一部または全てを他の特徴抽出部と共有するように構成されてもよい。例えば、第１特徴抽出部３３１と第２特徴抽出部３４１とを１つの特徴抽出部に集約し、その出力を第１分類部３３２および第２分類部３４２に分岐させ、第３特徴抽出部３５１と第４特徴抽出部３６１とを別の特徴抽出部に集約し、その出力を第３分類部３５２および第４分類部３６２に分岐させるように構成してもよい。また、第１特徴抽出部３３１～第４特徴抽出部３６１を１つの特徴抽出部に集約し、その出力を第１分類部３３２１～第４分類部３６２に分岐させるように構成してもよい。すなわち、ニューラルネットワークにおいて、様々な種類の特徴を用意しておいて、その中のどの特徴を判定に用いるかを対象タスクごとの判定部（分類部）が学習したり、一部の特徴は共通のものを用いたりできる。
　また、上述した検査装置、および学習装置における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）－ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、一機能としてその検査装置、学習装置等の装置のソフトウェアに組み込まれてもよい。
　本出願は、２０２１年６月３日に出願された日本国特許出願番号２０２１－０９３４１９号に基づいており、その開示内容は、参照により全体として組み入れられている。
１００　検査装置、
１１０　制御部、
１１１　ＣＰＵ、
１１２　ＲＡＭ、
１１３　ＲＯＭ、
１１４　補助記憶部、
１２０　通信部、
１３０　操作表示部、
２１０　画像取得部、
２３１　第１特徴抽出部、
２３２　欠陥判定部、
２４１　第２特徴抽出部、
２４２　詳細分類部、
２５０　集計部、
２６０　学習部。

Claims (15)

  1. 　検査対象に関するコンテンツを取得する取得部と、
    　前記検査対象に関して、互いに異なる複数の属性を有する複数の分類に共通する少なくとも１つの共通属性が予め設定され、前記分類における各々の前記属性と、前記取得部によって取得されたコンテンツの属性とが合致する確からしさを、前記複数の分類の各々について判定する複数の判定部と、
    　前記共通属性について、前記複数の判定部の判定結果を集計し、集計結果に基づいて、前記コンテンツが前記共通属性を有するか否かを判定する集計部と、を有する、検査装置。
  2. 　前記複数の属性は、前記複数の判定部による判定が行われる前に、複数のコンテンツから抽出された特徴を用いて設定される、請求項１に記載の検査装置。
  3. 　前記判定部は、前記共通属性と前記コンテンツの属性とが合致する確からしさを表す統計情報を算出し、
    　前記集計部は、前記統計情報に基づいて、前記コンテンツが前記共通属性を有するか否かを判定する、請求項１または２に記載の検査装置。
  4. 　前記共通属性は、非欠陥を表す属性であり、前記複数の属性のうち前記共通属性を除く属性は、欠陥の種類を表す属性である、請求項３に記載の検査装置。
  5. 　前記判定部は、前記共通属性と前記コンテンツの属性とが合致する尤度を前記統計情報として算出し、前記尤度に基づいて、前記コンテンツが非欠陥を表す属性を有するか否かを判定する、請求項４に記載の検査装置。
  6. 　前記集計部は、前記複数の判定部による判定結果を集計し、集計結果を所定の閾値と比較した結果に基づいて、前記コンテンツが非欠陥を表す属性を有するか否かを判定する、請求項５に記載の検査装置。
  7. 　前記所定の閾値を受け付ける判定条件入力部をさらに有する、請求項６に記載の検査装置。
  8. 　前記集計部は、前記コンテンツが非欠陥を表す属性を有すると判定した場合、前記複数の判定部のうち、前記コンテンツが非欠陥を表す属性を有しないと判定した判定部について判定不可として出力する、請求項６または７に記載の検査装置。
  9. 　前記集計部は、前記コンテンツが欠陥を表す属性を有すると判定した場合、前記複数の判定部のうち、前記コンテンツが欠陥を表す属性を有しないと判定した判定部について判定不可として出力する、請求項６または７に記載の検査装置。
  10. 　前記コンテンツは、前記検査対象を撮影した画像である、請求項１～９のいずれか１項に記載の検査装置。
  11. 　前記判定部は、前記取得部で取得された前記コンテンツを、学習用コンテンツで予め学習された機械学習モデルに入力して、前記確からしさを判定する、請求項１～１０のいずれか１項に記載の検査装置。
  12. 　前記機械学習モデルは、多層ニューラルネットワークを用いたディープラーニングにより学習することにより生成される、請求項１１に記載の検査装置。
  13. 　検査対象に関するコンテンツを取得するステップ（ａ）と、
    　前記検査対象に関して、互いに異なる複数の属性を有する複数の分類に共通する少なくとも１つの共通属性が予め設定され、前記分類における各々の前記属性と、前記ステップ（ａ）において取得されたコンテンツの属性とが合致する確からしさを、前記複数の分類の各々について同時並行的に判定するステップ（ｂ）と、
    　前記共通属性について、前記ステップ（ｂ）において分類された判定結果を集計し、集計結果に基づいて、前記コンテンツが前記共通属性を有するか否かを判定するステップ（ｃ）と、を有する、検査方法。
  14. 　前記複数の属性は、前記ステップ（ｂ）の前に、複数のコンテンツから抽出された特徴を用いて設定される、請求項１３に記載の検査方法。
  15. 　請求項１３または１４に記載の検査方法に含まれる処理をコンピューターに実行させるための検査プログラム。
PCT/JP2022/010215 2021-06-03 2022-03-09 検査装置、検査方法、および検査プログラム WO2022254858A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021093419 2021-06-03
JP2021-093419 2021-06-03

Publications (1)

Publication Number Publication Date
WO2022254858A1 true WO2022254858A1 (ja) 2022-12-08

Family

ID=84324230

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/010215 WO2022254858A1 (ja) 2021-06-03 2022-03-09 検査装置、検査方法、および検査プログラム

Country Status (1)

Country Link
WO (1) WO2022254858A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012091093A1 (ja) * 2010-12-28 2012-07-05 参天製薬株式会社 緑内障診断チップと変形プロテオミクスクラスター解析による緑内障統合的判定方法
JP2014115920A (ja) * 2012-12-12 2014-06-26 Casio Comput Co Ltd 多クラス識別器、方法、及びプログラム
US20150254832A1 (en) * 2014-03-06 2015-09-10 Kla-Tencor Corporation Composite Defect Classifier
JP2015191334A (ja) * 2014-03-27 2015-11-02 キヤノン株式会社 情報処理装置、情報処理方法
JP2019124591A (ja) * 2018-01-17 2019-07-25 東京エレクトロン株式会社 基板の欠陥検査装置、基板の欠陥検査方法及び記憶媒体
JP2021033564A (ja) * 2019-08-22 2021-03-01 株式会社Ｙｅ Ｄｉｇｉｔａｌ 画像分類方法、画像分類装置および画像分類プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012091093A1 (ja) * 2010-12-28 2012-07-05 参天製薬株式会社 緑内障診断チップと変形プロテオミクスクラスター解析による緑内障統合的判定方法
JP2014115920A (ja) * 2012-12-12 2014-06-26 Casio Comput Co Ltd 多クラス識別器、方法、及びプログラム
US20150254832A1 (en) * 2014-03-06 2015-09-10 Kla-Tencor Corporation Composite Defect Classifier
JP2015191334A (ja) * 2014-03-27 2015-11-02 キヤノン株式会社 情報処理装置、情報処理方法
JP2019124591A (ja) * 2018-01-17 2019-07-25 東京エレクトロン株式会社 基板の欠陥検査装置、基板の欠陥検査方法及び記憶媒体
JP2021033564A (ja) * 2019-08-22 2021-03-01 株式会社Ｙｅ Ｄｉｇｉｔａｌ 画像分類方法、画像分類装置および画像分類プログラム

Similar Documents

Publication Publication Date Title
EP3379491B1 (en) Surface defect detection
CN110060237B (zh) 一种故障检测方法、装置、设备及系统
Li et al. Fabric defect detection based on saliency histogram features
WO2019206209A1 (zh) 基于机器学习的眼底图像检测方法、装置及系统
US20160098636A1 (en) Data processing apparatus, data processing method, and recording medium that stores computer program
US8873840B2 (en) Reducing false detection rate using local pattern based post-filter
CN115082683A (zh) 一种基于图像处理的注塑缺陷检测方法
JP2018005640A (ja) 分類器生成装置、画像検査装置、及び、プログラム
JP2018005639A (ja) 画像分類装置、画像検査装置、及び、プログラム
WO2020248513A1 (zh) 用于综合性能试验的ocr识别方法
CN111815564B (zh) 一种检测丝锭的方法、装置及丝锭分拣系统
US20230169554A1 (en) System and method for automated electronic catalogue management and electronic image quality assessment
JP2015041164A (ja) 画像処理装置、画像処理方法およびプログラム
TW202040511A (zh) 資料處理方法、瑕疵的檢測方法、計算設備及儲存媒體
US20220253641A1 (en) Method and apparatus for clustering images
TW202242390A (zh) 缺陷檢查裝置、缺陷檢查方法以及製造方法
KR20230164119A (ko) 적응형 관심 영역 분할을 이용한 자동화된 시각적 검사를 위한 시스템, 방법 및 컴퓨터 장치
JP6643856B2 (ja) 分類方法、検査方法、検査装置、およびプログラム
CN111191670A (zh) 基于神经网络的分类装置及分类方法
WO2022254858A1 (ja) 検査装置、検査方法、および検査プログラム
JP7240199B2 (ja) パラメータ決定方法、パラメータ決定装置、及びプログラム
JP2017527905A (ja) 色に基づく異物検出システム
CN117173154A (zh) 玻璃瓶的在线图像检测系统及其方法
Wang et al. Detection of capsule foreign matter defect based on BP neural network
JP7414629B2 (ja) 学習用データ処理装置、学習装置、学習用データ処理方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22815615

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE