WO2024095721A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2024095721A1
WO2024095721A1 PCT/JP2023/036825 JP2023036825W WO2024095721A1 WO 2024095721 A1 WO2024095721 A1 WO 2024095721A1 JP 2023036825 W JP2023036825 W JP 2023036825W WO 2024095721 A1 WO2024095721 A1 WO 2024095721A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
performance
inspection
learning
original image
Prior art date
Application number
PCT/JP2023/036825
Other languages
English (en)
French (fr)
Inventor
拓人 一川
俊策 利弘
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2024095721A1 publication Critical patent/WO2024095721A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning

Definitions

  • This disclosure relates to an image processing device and an image processing method.
  • Patent Document 1 discloses a system that includes a trained model acquisition unit that acquires multiple trained models, an image acquisition unit that acquires an image of an analysis target, and performs a calculation based on the multiple trained models on the acquired image to calculate one piece of information related to a diagnosis.
  • the trained model is generated by machine learning, and inputs information based on an image showing the diagnostic target, and outputs information indicating a diagnostic result for the diagnostic target.
  • the present disclosure provides an image processing device and an image processing method that can easily predict the performance of a machine-learned learning model.
  • the image processing device includes an acquisition unit, an extraction unit, a prediction unit, and an output unit.
  • the acquisition unit acquires an original image in which a first object is captured.
  • the extraction unit extracts features of the original image.
  • the prediction unit predicts the inspection performance of the first object captured in the original image by the learning model when machine learning is performed using a learning image in which the first object is captured, based on correspondence information indicating the relationship between the features of the inspection image and the inspection performance of the second object captured in the inspection image by a learning model when machine learning is performed using a learning image in which the first object is captured, and based on the features of the original image.
  • the output unit outputs performance information indicating the result predicted by the prediction unit.
  • An image processing method obtains an original image showing a first object. Features of the original image are extracted. Based on correspondence information indicating the relationship between the inspection performance of the second object shown in an inspection image by a learning model when machine learning is performed using a learning image showing a second object of a different type from the first object and the features of the inspection image, and the features of the original image, the inspection performance of the first object shown in the original image by the learning model when machine learning is performed using a learning image showing the first object is predicted. Then, performance information indicating the predicted result is output.
  • the present disclosure provides an image processing device and an image processing method that can predict the performance of a machine-learned learning model.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to an embodiment.
  • FIG. 2 is a diagram for explaining a process in which the image processing device according to the embodiment generates a divided image.
  • FIG. 3 is a diagram for explaining the feature extraction process executed by the image processing device according to the embodiment.
  • FIG. 4 is a diagram showing a performance table according to the embodiment.
  • FIG. 5 is a diagram showing a prediction result according to the embodiment.
  • FIG. 6 is a flowchart showing a processing procedure of the image processing device according to the embodiment.
  • each figure is a schematic diagram and is not necessarily a precise illustration.
  • the same reference numerals are used for configurations that are essentially the same as in other figures, and duplicate explanations are omitted or simplified.
  • FIG. 1 is a block diagram showing the configuration of an image processing device 100 according to an embodiment.
  • FIG. 2 is a diagram for explaining the process by which the image processing device 100 according to an embodiment generates a divided image.
  • the image processing device 100 is a device for predicting the performance of a learning model for determining whether or not an inspection object (workpiece) shown in an image (original image) generated by an imaging device 200 such as a camera captures the object to be inspected (workpiece) contains a defect, based on the image.
  • the performance of a learning model is determined by machine learning the learning model using, for example, various images of the object to be inspected and information (annotation information) indicating whether each image is defective or normal.
  • the image processing device 100 therefore predicts the performance of a learning model when trained on a small number of original images (e.g., one to a few) and annotation information indicating the location of defects in the original images.
  • performance refers to, for example, the accuracy rate at which defects can be correctly extracted when an original image is input into a machine-learned learning model, or the accuracy rate at which it can correctly determine that there are no defects.
  • the image processing device 100 is, for example, a computer such as a personal computer or a tablet terminal.
  • the image processing device 100 is realized by a communication interface for communicating with the imaging device 200, the display device 210, and the input device 220, a non-volatile memory in which programs are stored, a volatile memory which is a temporary storage area for executing the programs, an input/output port for sending and receiving signals, a processor for executing the programs, and the like.
  • the communication interface may be realized by a connector to which a communication line is connected to enable wired communication, or may be realized by an antenna and wireless communication circuitry to enable wireless communication.
  • the image processing device 100 includes an acquisition unit 110, a division unit 120, an extraction unit 130, a prediction unit 140, an output unit 150, a reception unit 160, and a memory unit 170.
  • the acquisition unit 110 is a processing unit that acquires an original image showing an object to be inspected. Specifically, the acquisition unit 110 acquires an original image showing a first object.
  • the first object is an example of an inspection object, and is an inspection object for which the inspection performance is predicted by the learning model.
  • the acquisition unit 110 acquires, for example, from the imaging device 200, an original image showing the first object, as shown in FIG. 2(a).
  • the object to be inspected is, for example, an electronic component such as an IC (Integrated Circuit).
  • the object to be inspected can be any object such as a circuit board, not just an electronic component.
  • the acquisition unit 110 may also acquire the original image from a server device or the like via a communication interface provided in the image processing device 100.
  • the division unit 120 is a processing unit that generates multiple divided images by dividing the original image based on the characteristics of the first object depicted in the original image.
  • the division unit 120 divides an original image showing a first object shown in FIG. 2(a), for example, based on the characteristics of the first object. By dividing the original image, the division unit 120 generates, for example, a divided image including only the surface portion of the first object shown in FIG. 2(b), a divided image including only the line (straight) portion of the first object shown in FIG. 2(c), and a divided image including only the point (e.g., corner) portion of the first object shown in FIG. 2(d).
  • the surface portion is, for example, an image including only the first object out of the first object shown in the original image and a background such as a stage on which the first object is placed, and does not include the boundary between the first object and the background.
  • the presence or absence of defects such as scratches and dirt on the surface, the quality of the pattern on the surface, the presence or absence of hairlines, the presence or absence of pattern lines, etc. are inspected.
  • edges of lines and dots are inspected for defects such as chips and distortions, the presence or absence of burrs, whether they are straight or curved, the sharpness of corners (such as whether they are sharp or rounded), and how the masking overlaps (whether it extends beyond the edge or is within a specified range, etc.).
  • the content of the inspection may differ depending on the position of the object to be inspected, that is, the characteristics of the object to be inspected (more specifically, the characteristics of the object to be inspected for each position).
  • the division unit 120 divides the original image according to the content of the inspection, that is, according to the characteristics of the object to be inspected, for example, as described above.
  • the division unit 120 when a hole or the like is provided in the first object shown in Fig. 2(a), the division unit 120 generates a divided image including the hole as shown in Fig. 2(e). For example, the division unit 120 further divides the divided image shown in Fig. 2(e) to generate a divided image including only the surface portion of the first object as shown in Fig. 2(f) and a divided image including only the line (straight line) portion of the first object as shown in Fig. 2(g).
  • the division unit 120 may further divide the divided image.
  • the number of divided images generated by the division unit 120 is not particularly limited.
  • the characteristics of the object to be inspected may be set arbitrarily.
  • the characteristics of the object to be inspected may include printed parts on which characters or the like are printed, such as surface parts, line parts, and dot parts.
  • the presence or absence of defects such as distortion, smearing, and misalignment of characters is inspected.
  • the shape (more specifically, the outer shape) of the divided images generated by the dividing unit 120 may be arbitrary.
  • the dividing unit 120 divides the original image so that each of the multiple divided images has a rectangular shape.
  • the sizes of the multiple divided images may be the same or different.
  • the features of the object to be inspected may be obtained, for example, from the user via the input device 220, by acquiring information indicating the features.
  • the user uses the input device 220 to specify feature areas, such as flat parts and edges, used to divide the original image.
  • the division unit 120 may identify features in the original image using a machine-learned learning model (feature identification model) for identifying the features of the object to be inspected.
  • the division unit 120 divides the original image into a predetermined size, measures features such as the luminance of the divided images, and classifies the divided images by feature.
  • the feature identification model is, for example, an inference model trained by machine learning using the original image and teacher data (so-called annotation information) indicating the features contained in the original image as learning data.
  • the feature identification model is, for example, a machine learning model using a neural network such as deep learning (for example, a convolutional neural network (CNN)), but may be another machine learning model.
  • CNN convolutional neural network
  • the feature identification model is pre-stored in the storage unit 170, for example.
  • the image processing device 100 does not need to divide the original image. In this case, the image processing device 100 does not need to include the division unit 120.
  • the extraction unit 130 is a processing unit that extracts features of an original image. Specifically, the extraction unit 130 extracts features of each of a plurality of divided images that are generated by dividing the original image. In other words, the extraction unit 130 extracts features that are based on (contained in) the original image.
  • Feature quantities are numerical values of specified measurement items.
  • specified measurement items include defect area, average defect brightness, standard deviation of defect brightness, average good product brightness, standard deviation of good product brightness, frequency of good product patterns, brightness variation range, brightness standard deviation variation range, defect brightness variation, defect size range, number of images to be trained into the learning model, number of images to be inspected, ratio of good and bad images (ratio of images containing defects to images without defects), image size, etc.
  • visible parameters such as brightness and size are used as the specified measurement items.
  • the extraction unit 130 measures the feature quantities of these specified measurement items, for example, by performing image analysis on each of the multiple divided images.
  • the types and number of the specified measurement items may be determined arbitrarily.
  • An instruction to specify the specified measurement items may be received from the user, or the items may be determined in advance.
  • FIG. 3 is a diagram for explaining the feature extraction process executed by the image processing device 100 according to the embodiment. Specifically, FIG. 3 is a diagram showing an image (e.g., a divided image) showing a part of the surface of the original image. In the example shown in FIG. 3, the divided image includes a non-defective part 400 and a defective part 410.
  • an image e.g., a divided image
  • the divided image includes a non-defective part 400 and a defective part 410.
  • the non-defective part 400 is a part that is (should be) determined to be a non-defective part through inspection.
  • the defective portion 410 is a portion that is (should be) determined to be defective through inspection.
  • the extraction unit 130 extracts (measures) from the divided image, for example, the feature amount of a predetermined measurement item in the good part 400 and the feature amount of a predetermined measurement item in the defective part 410.
  • the positions of the good part 400 and the defective part 410 are specified by the user.
  • the user may specify an estimated value of a measurement item such as the brightness of the defective portion 410.
  • the receiving unit 160 receives the estimated value of the measurement item from the user via the input device 220.
  • the user may specify estimated values for both the measurement items of the non-defective part 400 and the defective part 410.
  • the prediction unit 140 is a processing unit that predicts the inspection performance of a first object shown in an original image by a learning model when machine learning is performed using a learning image showing the first object, based on a performance table (data table) and the features of the original image.
  • the performance table shows the relationship between the inspection performance of a second object shown in an inspection image by a learning model when machine learning is performed using a learning image showing a second object of a different type from the first object, and the features of the inspection image.
  • performance table is just one example of compatible information.
  • the second object is an example of an inspection object, and is an inspection object for which a learning model has already been machine-learned. Therefore, the prediction unit 140 predicts the inspection performance when the learning model is made to machine-learn an inspection object for which machine learning has not been performed, based on the inspection performance of the inspection object using the learning model for which machine learning has already been performed.
  • FIG. 4 shows a performance table for the embodiment.
  • the performance table includes features such as defect luminance difference (e.g., luminance difference between non-defective part 400 and defective part 410) and background luminance standard deviation, and the inspection performance when the features are detected (in this example, accuracy rate).
  • Ave is the average accuracy rate. Specifically, Ave is the average accuracy rate of the inspection using the learning model for each of the multiple divided images of the original image of each of the multiple second objects.
  • Max is the maximum accuracy rate. Specifically, Max is the average of the highest accuracy rate among the average accuracy rates for each second object in the inspection using the learning model for each of the multiple divided images of the original image of each of the multiple second objects.
  • the prediction unit 140 selects a feature that has the closest similarity (e.g., numerical value) to the feature extracted by the extraction unit 130 from the features included in the performance table, and estimates the accuracy rate corresponding to the selected feature as the inspection performance of the first object shown in the original image. For example, when the feature extracted by the extraction unit 130 is a defect luminance difference of 95 and a background luminance standard deviation of 45, the prediction unit 140 predicts that the inspection performance of the first object shown in the original image by the learning model when machine learning is performed using a learning image showing the first object can be appropriately inspected with an average accuracy rate of 96.4%.
  • the closest similarity e.g., numerical value
  • the performance table is stored in advance, for example, in the storage unit 170.
  • the performance table only needs to include the correct answer (performance) for each feature, and the feature corresponding to the accuracy rate may be a combination of two features as shown in Figure 4, or a single feature, or a combination of three or more features.
  • the prediction unit 140 predicts the inspection performance of the first object reflected in each of the plurality of segmented images, based on a learning model obtained by machine learning using a learning image in which the first object is reflected.
  • a performance table for each feature of the first object is pre-stored in the storage unit 170.
  • the output unit 150 is a processing unit that outputs performance information 310 (see FIG. 5 described later) that indicates the results predicted by the prediction unit 140.
  • the output unit 150 causes the display device 210 to display the performance information 310, for example, by outputting an image indicating the prediction results including the performance information 310 to the display device 210.
  • FIG. 5 is a diagram showing a prediction result according to an embodiment. Specifically, FIG. 5 is a diagram showing a display image 300 showing the prediction result including performance information 310 output to the display device 210 by the output unit 150 and displayed on the display device 210.
  • the prediction result includes performance information 310 and advice information 320.
  • the performance information 310 is information indicating the performance of the inspection of the first object shown in the original image by the learning model when machine learning is performed using the learning image showing the first object.
  • the performance information 310 is the prediction result by the prediction unit 140, which is displayed on the display device 210 as "Predicted results: accuracy rate 82%, oversight rate 6%, overdetection rate 12%.”
  • the "correct answer rate" is the probability that a defect, if present, can be correctly found, and that if there is no defect, it can be correctly determined that there is no defect.
  • the correct answer rate is the correct answer rate when all images are judged by the learning model, and is calculated, for example, by the total number of correct answers divided by the total number of images.
  • “Oversight” is the probability that a defect is not found even though it exists.
  • oversight is the ratio of NG images (images that contain the defective part 410) that are erroneously judged as OK images (images that do not contain the defective part 410), and is calculated as the number of NG images judged as OK images / the total number of NG images.
  • overdetection is the probability of erroneously determining that there is a defect when there is none.
  • overdetection (overdetection rate) is the ratio of OK images that are erroneously determined to be NG images, and is calculated as the number of OK images determined to be NG images / total number of OK images.
  • the performance information 310 may also include a graph showing the performance with respect to the feature quantities according to the performance table.
  • the graph is, for example, a graph of the performance table as shown in FIG. 4.
  • the output unit 150 outputs the performance information 310 showing a graph of the feature quantities of the original image and the inspection performance of the first object predicted by the prediction unit 140.
  • the rectangular portion in the graph shown in FIG. 5 is the portion showing the feature quantities extracted in the original image.
  • the portion with the dark dot hatching in the graph has a low accuracy rate
  • the portion with the light dot hatching has a high accuracy rate. This makes it possible to present the predicted results of the inspection performance of the first object together with the extracted feature quantities to the user in an easy-to-understand manner.
  • the advice information 320 is information that indicates advice for improving the performance of the inspection of the first object by the learning model when machine learning is performed using a learning image that shows the first object.
  • the output unit 150 determines and outputs a method that is thought to be able to improve the accuracy rate based on the extracted feature amount and the performance table.
  • the output unit 150 further outputs advice information 320 indicating advice for improving the performance of the inspection of the first object by the learning model when machine learning is performed using a learning image that shows the first object.
  • the advice information 320 includes "increase the resolution”, “increase the lens magnification”, “enlarge the image size", and "add contrast enhancement".
  • the prediction result does not have to include advice information 320.
  • the feature extracted by the extraction unit 130 and the feature included in the performance information 310 may be the same or different.
  • the performance information 310 may include a graph in which one or more measurement items that are highly correlated with pass/fail among the multiple measurement items of the feature extracted by the extraction unit 130 are used as axes.
  • the reception unit 160 is a processing unit that receives user operations.
  • the reception unit 160 receives user operations, for example, via the input device 220.
  • the reception unit 160 receives, for example, input of position information indicating the position of the defect 410 included in the original image.
  • the user looks at the original image or the divided image displayed on the display device 210, and inputs the position of the defect 410 included in the original image or the divided image using the input device 220.
  • the reception unit 160 receives, for example, the input as position information.
  • the reception unit 160 receives input of information indicating a predetermined process to be performed on the original image when the prediction unit 140 makes a prediction again from the user.
  • the user operates the input device 220 to select the squares located to the left of "Enlarge image size” and "Add contrast enhancement” in the image shown in FIG. 5.
  • the user operates the input device 220 to select a button section displayed on the image such as "Re-prediction” (not shown).
  • the prediction unit 140 makes a prediction again when "Enlarge image size” and "Add contrast enhancement” are performed as predetermined processes on the original image.
  • the output unit 150 outputs, for example, the prediction result of the performance predicted again to the display device 210.
  • the prediction unit 140 further predicts the performance of the inspection of the first object when the original image is input when a predetermined process is performed on the learning model when machine learning is performed using a learning image showing the first object.
  • the predetermined process may be determined arbitrarily.
  • the prediction unit 140 may or may not actually execute the predetermined process on the original image.
  • the user checks the advice information 320 displayed on the display device 210 as shown in FIG. 5 and selects "enlarge image size” and "add contrast enhancement" by operating the input device 220.
  • the reception unit 160 receives the selection.
  • the prediction unit 140 predicts the inspection performance of the learning model for the first object when the original image (more specifically, the divided image) is input into a learning model that is machine-learned using a learning image that shows the first object, when the predetermined process (in this example, "enlarge image” and "add contrast enhancement") corresponding to the selection received by the reception unit 160 is executed on the original image (more specifically, the divided image), and the original image is input into the learning model.
  • the predetermined process may be one or more.
  • the predetermined process may be specified by the user as described above, or may be automatically executed based on the prediction result, for example.
  • the acquisition unit 110, division unit 120, extraction unit 130, prediction unit 140, output unit 150, and reception unit 160 are realized, for example, by one or more processors.
  • the memory unit 170 is a storage device that stores programs executed by the processing units such as the acquisition unit 110, division unit 120, extraction unit 130, prediction unit 140, output unit 150, and reception unit 160 to perform each process, information required for the process, and inspection images.
  • the memory unit 170 is realized, for example, by a HDD (Hard Disk Drive) or a semiconductor memory.
  • the imaging device 200 is a camera that generates an original image by capturing an image of an object to be inspected.
  • the imaging device 200 is realized, for example, by a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • CMOS Complementary Metal Oxide Semiconductor
  • the display device 210 displays an image based on the control of the image processing device 100 (more specifically, the output unit 150).
  • the display device 210 displays, for example, a display image 300 including performance information 310 and advice information 320.
  • the display device 210 may display an original image or a divided image.
  • the display device 210 is realized by, for example, a display device such as a liquid crystal panel or an organic EL (Electro Luminescence) panel.
  • the display device 210 may be, for example, a display or a projection device that projects onto a screen.
  • the input device 220 is a user interface that accepts user operations.
  • the input device 220 is realized by a mouse, a keyboard, a touch panel, a hardware button, or the like.
  • FIG. 6 is a flowchart showing the processing steps of the image processing device 100 according to the embodiment.
  • the acquisition unit 110 acquires an original image showing the first object (S110).
  • the extraction unit 130 extracts the feature amounts of the original image (S120). For example, the extraction unit 130 performs image analysis to measure the brightness and the like of the original image, thereby extracting the feature amounts of the original image. Also, for example, if the feature amounts of the original image are specified by the user, the extraction unit 130 extracts the feature amounts of the original image by acquiring the feature amounts of the original image accepted by the acceptance unit 160.
  • the prediction unit 140 predicts the inspection performance of the learning model when machine learning is performed using a learning image showing a second object of a different type from the first object based on the correspondence information indicating the relationship between the inspection performance of the second object shown in the inspection image and the feature amounts of the inspection image, and based on the feature amounts of the original image, the prediction unit 140 predicts the inspection performance of the learning model when machine learning is performed using a learning image showing the first object based on the feature amounts of the original image (S130).
  • the correspondence information is, for example, the performance table described above.
  • the correspondence information may be any information that indicates the correspondence between the performance of the test and the feature amount, and may be a table or any other information, such as a graph or a formula.
  • the output unit 150 outputs performance information 310 indicating the predicted results (S140).
  • the division unit 120 may generate multiple divided images by dividing the original image.
  • the extraction unit 130 extracts the feature amount of each of the multiple divided images.
  • the prediction unit 140 predicts the inspection performance of the first object shown in the divided image by the learning model when machine learning is performed using the learning image showing the first object, based on the correspondence information and the feature amount of the divided image for each of the multiple divided images.
  • the output unit 150 may output the prediction result of the inspection performance of the first object for each divided image, or may output the prediction result of the inspection performance for each feature of the first object by calculating, for example, the average of the prediction results of the inspection performance for each feature of the first object, or may output the prediction result of the inspection performance of the first object in the original image by calculating, for example, the average of the prediction results for all divided images.
  • Technique 1 is an image processing device 100 including an acquisition unit 110, an extraction unit 130, a prediction unit 140, and an output unit 150.
  • the acquisition unit 110 acquires an original image in which a first object is captured.
  • the extraction unit 130 extracts features of the original image.
  • the prediction unit 140 predicts the inspection performance of a first object captured in an original image by a learning model when machine learning is performed using a learning image in which the first object is captured, based on the correspondence information and the features of the original image.
  • the correspondence information is information indicating the relationship between the inspection performance of a second object captured in an inspection image by a learning model when machine learning is performed using a learning image in which a second object of a different type from the first object is captured, and the features of the inspection image.
  • the output unit 150 outputs performance information 310 indicating the result predicted by the prediction unit 140.
  • the image processing device 100 predicts the performance of the inspection of the first object using the learning model when machine-learned using a learning image that shows the first object, using correspondence information indicating the relationship between the inspection performance of the second object shown in the inspection image using the learning model when machine-learned using a learning image that shows the first object, and the feature amounts of the inspection image. This makes it possible to predict the performance of the inspection of the first object using the learning model when machine-learned using a learning image that shows the first object, without having to prepare a large number of learning images that show the first object.
  • Technology 2 is the image processing device 100 described in Technology 1, in which the performance information 310 includes a graph showing the performance with respect to the feature amount corresponding to the correspondence information, and the output unit 150 outputs the performance information 310 showing a graph of the feature amount of the original image and the inspection performance of the first object predicted by the prediction unit 140.
  • the image processing device 100 has the function of displaying the predicted results by graphically displaying the range of performance used in the prediction, and showing the predicted results (prediction area) for the current input (such as the original image and the specification of the measurement items) within the graph, thereby clearly displaying a guideline for pursuing the target performance.
  • Technology 3 is the image processing device 100 described in Technology 1 or 2, in which the output unit 150 further outputs advice information 320 indicating advice for improving the performance of the inspection of the first object by the learning model when machine learning is performed using a learning image that shows the first object.
  • the image processing device 100 has a function of displaying advice for improving the inspection performance.
  • the content of the advice included in the advice information 320 may be determined arbitrarily and is not particularly limited.
  • the advice information 320 is determined based on the extracted feature amount and the inspection performance. For example, in an example in which a performance table such as that shown in FIG. 4 is used, when the defect luminance difference is 95 and the background luminance standard deviation is 45, the output unit 150 outputs the advice information 320 so that the accuracy rates of both Ave and Max are increased.
  • the advice information 320 including information indicating a process for increasing the defect luminance difference or decreasing the background luminance standard deviation (for example, a process for increasing the contrast ratio between the non-defective part 400 and the defective part 410, or a process for decreasing the background luminance) is output.
  • Technology 4 is the image processing device 100 according to any one of techniques 1 to 3, in which the prediction unit 140 further predicts the inspection performance of the first object when an original image is input, when a predetermined process is performed on a learning model obtained by machine learning using a learning image showing the first object.
  • the image processing device 100 has the function of implementing improvement measures and redoing performance predictions.
  • the image processing device 100 receives a selection from the user regarding image processing content from the content presented to the user as advice information 320, for example, it re-predicts the performance of the learning model when the image processing content is applied to the original image. This makes it possible to easily show the user whether the performance of the learning model will be improved by applying a specified process to the original image.
  • Technology 5 is the image processing device 100 according to any one of Technologies 1 to 4, further comprising a segmentation unit 120 that generates a plurality of segmented images by segmenting the original image for each feature of the first object, and a prediction unit 140 that predicts the inspection performance of the first object shown in each of the plurality of segmented images, based on a learning model obtained by machine learning using a learning image showing the first object.
  • the image processing device 100 has, for example, a function to divide an area of an inspection image at least in one or more places. Furthermore, for example, the image processing device 100 has a function to measure features of a divided image (divided image) and a function to accept estimated values for items that cannot be measured. The image processing device 100 has, for example, a function to predict and display the inspection performance (such as accuracy rate) of an image using an arbitrary algorithm (for example, machine learning) based on this information.
  • an arbitrary algorithm for example, machine learning
  • the first object shown in the original image has, for example, parts that are represented by lines and parts that are represented by surfaces.
  • each divided image contains one of the simple elements of these features. This improves the performance of inspection using a learning model.
  • Technique 6 is an image processing method that acquires an original image showing a first object (S110), extracts features of the original image (S120), predicts the inspection performance of the first object shown in the original image by a learning model when machine learning is performed using a learning image showing the first object based on the correspondence information and the features of the original image (S130), and outputs performance information 310 indicating the predicted result (S140).
  • the correspondence information is information indicating the relationship between the inspection performance of a second object shown in the inspection image by a learning model when machine learning is performed using a learning image showing a second object of a different type from the first object, and the features of the inspection image.
  • the components described in the attached drawings and detailed description may include not only components essential for solving the problem, but also components that are not essential for solving the problem in order to illustrate the above technology. Therefore, just because these non-essential components are described in the attached drawings or detailed description, it should not be immediately determined that these non-essential components are essential.
  • the image processing device 100 does not need to include the reception unit 160 and the division unit 120.
  • the image processing device 100 may further include a learning unit (processing unit) for performing machine learning on the discrimination model.
  • the storage unit 170 may store the above-mentioned teacher data.
  • the image processing device 100 may perform image processing such as brightness correction before dividing the original image.
  • the image processing device 100 is realized as a single device, but it may be realized by multiple devices.
  • the components of the image processing device described in the above embodiment may be distributed in any way among the multiple devices.
  • the image processing device may be realized as a client-server system.
  • the client device is a mobile terminal that acquires images, accepts user operations, and displays images
  • the server device is an information terminal that performs information processing such as generating divided images based on an original image.
  • processing performed by a specific processing unit may be executed by another processing unit.
  • the order of multiple processes may be changed, and multiple processes may be executed in parallel.
  • each component may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU (Central Processing Unit) or a processor reading and executing a software program recorded on a recording medium such as a hard disk or semiconductor memory.
  • a program execution unit such as a CPU (Central Processing Unit) or a processor reading and executing a software program recorded on a recording medium such as a hard disk or semiconductor memory.
  • each component may be realized by hardware.
  • Each component may be a circuit (or an integrated circuit). These circuits may form a single circuit as a whole, or each may be a separate circuit. Furthermore, each of these circuits may be a general-purpose circuit, or a dedicated circuit.
  • the general or specific aspects of the present disclosure may be realized in a system, an apparatus, a method, an integrated circuit, a computer program, or a non-transitory recording medium such as a computer-readable CD-ROM.
  • the present disclosure may be realized in any combination of a system, an apparatus, a method, an integrated circuit, a computer program, and a recording medium.
  • the present disclosure may be realized as an image processing method executed by a computer such as an image processing device.
  • the present disclosure may also be realized as a program for causing a computer to execute the image processing method, or as a computer-readable non-transitory recording medium on which such a program is recorded.
  • this disclosure also includes forms obtained by applying various modifications to each embodiment that a person skilled in the art may conceive, or forms realized by arbitrarily combining the components and functions of each embodiment within the scope of the spirit of this disclosure.
  • This disclosure is useful as an image processing device that can determine the performance of a learning model from an original image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

機械学習させた学習モデルがどのような性能になるかを簡単に予測できる画像処理装置などを提供する。画像処理装置（１００）は、取得部（１１０）と、抽出部（１３０）と、予測部（１４０）と、出力部（１５０）と、を備える。取得部（１１０）は、第１対象物が映る原画像を取得する。抽出部（１３０）は、原画像の特徴量を抽出する。予測部（１４０）は、対応情報、および、原画像の特徴量に基づいて、第１対象物が映る学習用画像を用いて機械学習させた場合の学習モデルによる、原画像に映る第１対象物の検査の性能を予測する。対応情報は、第１対象物とは種類の異なる第２対象物が映る学習用画像を用いて機械学習させた場合の学習モデルによる、検査画像に映る第２対象物の検査の性能と、検査画像の特徴量との関係を示す情報である。出力部（１５０）は、予測部（１４０）によって予測された結果を示す性能情報を出力する。

Description

画像処理装置および画像処理方法
　本開示は、画像処理装置および画像処理方法に関する。
　従来、機械学習済みの学習モデル（学習済みモデル）を用いて画像に映る解析対象を診断するシステムがある。
　特許文献１には、複数の学習済みモデルを取得する学習済みモデル取得部と、解析対象の画像を取得する画像取得部と、取得された画像に対して、複数の学習済みモデルに基づく演算を行って、診断に係る一つの情報を算出するシステムが開示されている。なお、学習済みモデルは、機械学習によって生成され、診断対象が映った画像に基づく情報を入力して当該診断対象に対する診断結果を示す情報を出力する。
国際公開第２０１９／２３５３３５号
　従来、機械学習が行われた学習モデルの性能は、基本的に未知数であり、十分な数のデータを学習モデルに学習させてから初めて判明する。つまり、従来、１枚のサンプル画像では、学習モデルの性能をユーザが判断できない。
　一方、十分な数のデータを学習モデルに機械学習させる前に、少ないデータによる学習モデルの性能評価が望まれている。
　本開示は、機械学習させた学習モデルがどのような性能になるかを簡単に予測できる画像処理装置および画像処理方法を提供する。
　本開示の一態様に係る画像処理装置は、取得部と、抽出部と、予測部と、出力部と、を備える。前記取得部は、第１対象物が映る原画像を取得する。前記抽出部は、前記原画像の特徴量を抽出する。前記予測部は、前記第１対象物とは種類の異なる第２対象物が映る学習用画像を用いて機械学習させた場合の学習モデルによる、検査画像に映る前記第２対象物の検査の性能と、前記検査画像の特徴量と、の関係を示す対応情報、および、前記原画像の特徴量に基づいて、前記第１対象物が映る学習用画像を用いて機械学習させた場合の前記学習モデルによる、前記原画像に映る前記第１対象物の検査の性能を予測する。前記出力部は、前記予測部によって予測された結果を示す性能情報を出力する。
　本開示の一態様に係る画像処理方法は、第１対象物が映る原画像を取得する。前記原画像の特徴量を抽出する。前記第１対象物とは種類の異なる第２対象物が映る学習用画像を用いて機械学習させた場合の学習モデルによる、検査画像に映る前記第２対象物の検査の性能と、前記検査画像の特徴量と、の関係を示す対応情報、および、前記原画像の特徴量に基づいて、前記第１対象物が映る学習用画像を用いて機械学習させた場合の前記学習モデルによる、前記原画像に映る前記第１対象物の検査の性能を予測する。そして、予測された結果を示す性能情報を出力する。
　本開示によれば、機械学習させた学習モデルがどのような性能になるかを予測できる画像処理装置および画像処理方法を提供できる。
図１は、実施の形態に係る画像処理装置の構成を示すブロック図である。 図２は、実施の形態に係る画像処理装置が分割画像を生成する処理を説明するための図である。 図３は、実施の形態に係る画像処理装置が実行する特徴量の抽出処理を説明するための図である。 図４は、実施の形態に係る性能表を示す図である。 図５は、実施の形態に係る予測結果を示す図である。 図６は、実施の形態に係る画像処理装置の処理手順を示すフローチャートである。
　以下、本開示の実施の形態について、図面を参照しながら説明する。なお、以下に説明する実施の形態は、本開示の一具体例を示すものである。したがって、以下の実施の形態で示される、数値、形状、材料、構成要素、構成要素の配置位置および接続形態などは、一例であって本開示を限定する主旨ではない。よって、以下の実施の形態における構成要素のうち独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　なお、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に他の図と同一の構成に対しては同一の符号を付しており、重複する説明は省略または簡略化する。
　（実施の形態）
　［構成］
　まず、実施の形態に係る画像処理装置１００の構成について説明する。
　図１は、実施の形態に係る画像処理装置１００の構成を示すブロック図である。図２は、実施の形態に係る画像処理装置１００が分割画像を生成する処理を説明するための図である。
　画像処理装置１００は、カメラなどの撮像装置２００が検査対象物（ワーク）を撮像することにより生成された画像（原画像）に基づいて、当該画像に映る検査対象物に欠陥が含まれているか否かを判定するための学習モデルの性能を予測するための装置である。
　従来、学習モデルの性能は、例えば、検査対象物が映る様々な画像と、それぞれの画像に対して欠陥または正常であることを示す情報（アノテーション情報）とによって学習モデルを機械学習させることで判明する。
　しかしながら、検査対象物または欠陥の種別によっては、機械学習させても精度よく欠陥が抽出されない場合もある。学習モデルに機械学習させるには、上記の通り多くの画像と画像に対応するアノテーション情報とをユーザが準備する必要があり、多大な労力を要する。
　そこで、画像処理装置１００は、少ない枚数の原画像（例えば、１枚～数枚程度）と当該原画像に対する欠陥の位置などを示すアノテーション情報とを用いて、学習モデルに機械学習させた場合の性能を予測する。
　なお、ここでいう性能とは、例えば、機械学習させた学習モデルに原画像を入力した際の欠陥を正しく抽出できる、または、欠陥がないことを正しく判定できる正解率である。
　画像処理装置１００は、例えば、パーソナルコンピュータまたはタブレット端末などのコンピュータである。具体的に例えば、画像処理装置１００は、撮像装置２００、表示装置２１０および入力装置２２０と通信するための通信インターフェース、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、信号の送受信をするための入出力ポート、プログラムを実行するプロセッサなどで実現される。当該通信インターフェースは、有線通信可能なように通信線が接続されるコネクタなどにより実現されてもよいし、無線通信可能なようにアンテナおよび無線通信回路などにより実現されてもよい。
　画像処理装置１００は、取得部１１０と、分割部１２０と、抽出部１３０と、予測部１４０と、出力部１５０と、受付部１６０と、記憶部１７０と、を備える。
　取得部１１０は、検査対象物が映る原画像を取得する処理部である。具体的には、取得部１１０は、第１対象物が映る原画像を取得する。
　第１対象物は、検査対象物の一例であって、学習モデルによる検査の性能が予測される検査対象物である。取得部１１０は、例えば、撮像装置２００から、図２の（ａ）に示すような第１対象物が映る原画像を取得する。
　検査対象物は、例えば、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）などの電子部品である。
　なお、検査対象物は、電子部品ではなく基板などの任意の対象物でよい。
　また、取得部１１０は、画像処理装置１００が備える通信インターフェースを介してサーバ装置などから原画像を取得してもよい。
　分割部１２０は、原画像を、当該原画像に映る第１対象物の特徴に基づいて分割することで複数の分割画像を生成する処理部である。
　分割部１２０は、例えば、図２の（ａ）に示す第１対象物が映る原画像を、第１対象物の特徴に基づいて分割する。分割部１２０は、原画像を分割することで、例えば、図２の（ｂ）に示す第１対象物の表面部のみを含む分割画像と、図２の（ｃ）に示す第１対象物の線（直線）部のみを含む分割画像と、図２の（ｄ）に示す第１対象物の点（例えば、角）部のみを含む分割画像とを生成する。表面部は、例えば、原画像に映る第１対象物と当該第１対象物が載置されるステージなどの背景とのうちの第１対象物のみが含まれる画像であって、第１対象物と背景との境界を含まない画像である。
　例えば、表面部の検査（例えば、第１対象物において平らで表面の輝度値が比較的平坦な部分の検査）では、表面の傷および汚れなどの欠陥の有無、表面に設けられた模様の良し悪し、ヘアラインの有無、模様線の有無などが検査される。
　また、例えば、線部および点部などの端部の検査（例えば、第１対象物と背景との境界部の検査）では、第１対象物の端部の欠けおよび歪みなどの欠陥の有無、バリの有無、直線であるか曲線であるか、角の先鋭度（尖っているか丸まっているかなど）、マスキングの重なり方（はみ出しているか所定の範囲内かなど）などが検査される。
　これらのように、検査対象物の位置、つまり、検査対象物の特徴（より具体的には、検査対象物の位置ごとの特徴）によって、検査の内容が異なる場合がある。分割部１２０は、例えば、これらのように、検査の内容ごとに、つまり、検査対象物の特徴ごとに原画像を分割する。
　また、例えば、分割部１２０は、図２の（ａ）に示す第１対象物のように孔などが設けられているような場合に、図２の（ｅ）に示すように当該孔を含む分割画像を生成する。また、例えば、分割部１２０は、図２の（ｅ）に示す分割画像をさらに分割することで、図２の（ｆ）に示す第１対象物の表面部のみを含む分割画像と、図２の（ｇ）に示す第１対象物の線（直線）部のみを含む分割画像と、を生成する。
　このように、分割部１２０は、分割画像をさらに分割してもよい。
　なお、分割部１２０が生成する分割画像の数は、特に限定されない。
　また、検査対象物の特徴は、任意に設定されてもよい。例えば、検査対象物の特徴には、表面部、線部および点部などのように、検査対象物における文字などが印字されている印字部が含まれていてもよい。例えば、印字部の検査（例えば、文字の形状に特徴を有する部分の検査）では、文字のゆがみ、カスレ、および、位置ずれなどの欠陥の有無が検査される。
　また、分割部１２０が生成する分割画像の形状（より具体的には、外形）は、任意でよい。分割部１２０は、例えば、複数の分割画像がそれぞれ矩形状になるように原画像を分割する。
　また、複数の分割画像のサイズは、互いに同じでもよいし、互いに異なっていてもよい。
　また、検査対象物の特徴は、例えば、入力装置２２０を介してユーザから当該特徴を示す情報が取得されてもよい。例えば、ユーザは、入力装置２２０を用いて、原画像の分割に用いられる平面部および端部など特徴の領域を指定する。また、例えば、分割部１２０は、検査対象物の特徴を識別するための機械学習された学習モデル（特徴識別モデル）を用いて、原画像における特徴を特定してもよい。例えば、分割部１２０は、所定のサイズに原画像を分割し、分割画像の輝度などの特徴を測定し、分割画像を特徴毎に分類する。特徴識別モデルは、例えば、原画像と、原画像に含まれる特徴を示す教師データ（いわゆるアノテーション情報）とを学習データとして機械学習された推論モデルである。特徴識別モデルは、例えば、ディープラーニング（Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ）（深層学習）などのニューラルネットワーク（例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ））を用いた機械学習モデルであるが、他の機械学習モデルであってもよい。
　特徴識別モデルは、例えば、記憶部１７０に予め記憶されている。
　なお、画像処理装置１００は、原画像を分割しなくてもよい。この場合、画像処理装置１００は、分割部１２０を備えなくてもよい。
　抽出部１３０は、原画像の特徴量を抽出する処理部である。具体的には、抽出部１３０は、原画像を分割することで生成される複数の分割画像のそれぞれの特徴量を抽出する。つまり、抽出部１３０は、原画像に基づく（含まれる）特徴量を抽出する。
　特徴量は、所定の測定項目の数値である。所定の測定項目としては、欠陥面積、欠陥平均輝度、欠陥輝度標準偏差、良品平均輝度、良品輝度標準偏差、良品模様の周波数、輝度ばらつき範囲、輝度標準偏差ばらつき範囲、欠陥輝度ばらつき、欠陥サイズ範囲、学習モデルに学習させる画像の枚数、検査する画像の枚数、および、良否の画像の比率（欠陥を含まない画像と欠陥を含む画像との枚数の比率）、画像サイズなどが例示される。例えば、所定の測定項目には、輝度およびサイズなどの目視できるパラメータが採用される。
　抽出部１３０は、例えば、複数の分割画像のそれぞれを画像解析することで、これらの所定の測定項目の特徴量を測定する。
　なお、所定の測定項目の種類および数は、任意に定められてよい。所定の測定項目を指定する指示がユーザから受け付けられてもよいし、予め定められていてもよい。
　図３は、実施の形態に係る画像処理装置１００が実行する特徴量の抽出処理を説明するための図である。具体的には、図３は、原画像における表面部の一部を示す画像（例えば、分割画像）を示す図である。図３に示す例では、分割画像には、良品部４００と、欠陥部４１０とが含まれる。
　良品部４００は、検査により良品と判定される（判定されるべき）箇所である。
　欠陥部４１０は、検査により欠陥と判定される（判定されるべき）箇所である。
　抽出部１３０は、例えば、分割画像から、良品部４００における所定の測定項目の特徴量と、欠陥部４１０における所定の測定項目の特徴量とを抽出（測定）する。良品部４００および欠陥部４１０は、例えば、ユーザから位置が指定される。
　なお、原画像に欠陥部４１０が存在しないような場合には、欠陥部４１０の輝度などの測定項目の推定値がユーザによって指定されてもよい。例えば、受付部１６０は、入力装置２２０を介して、ユーザから測定項目の推定値を受け付ける。
　また、例えば原画像の状態が悪く、原画像から測定項目が測定できないような場合には、良品部４００および欠陥部４１０のいずれの測定項目についても推定値がユーザによって指定されてもよい。
　予測部１４０は、性能表（データテーブル）、および、原画像の特徴量に基づいて、第１対象物が映る学習用画像を用いて機械学習させた場合の学習モデルによる、原画像に映る第１対象物の検査の性能を予測する処理部である。性能表は、第１対象物とは種類の異なる第２対象物が映る学習用画像を用いて機械学習させた場合の学習モデルによる、検査画像に映る第２対象物の検査の性能と、検査画像の特徴量と、の関係を示す。
　なお、性能表は、対応情報の一例である。
　第２対象物は、検査対象物の一例であって、既に学習モデルが機械学習済みの検査対象物である。したがって、予測部１４０は、既に機械学習が行われた学習モデルによる検査対象物の検査の性能に基づいて、機械学習が行われていない検査対象物について学習モデルに機械学習させた際の検査の性能を予測する。
　図４は、実施の形態に係る性能表を示す図である。
　図４に示すように、性能表には、例えば、欠陥輝度差（例えば、良品部４００と欠陥部４１０との輝度差）および背景輝度標準偏差などの特徴量と、当該特徴量が検出された場合の検査の性能（本例では、正解率）とが含まれる。Ａｖｅは、正解率の平均値である。具体的には、Ａｖｅは、複数の第２対象物のそれぞれの原画像のそれぞれの複数の分割画像についての学習モデルによる検査の正解率の平均値である。Ｍａｘは、正解率の最大値である。具体的には、Ｍａｘは、複数の第２対象物のそれぞれの原画像のそれぞれの複数の分割画像についての学習モデルによる検査の、第２対象物ごとの正解率の平均値のうち、最も高い正解率の平均値である。
　例えば、予測部１４０は、抽出部１３０によって抽出された特徴量と類似度（例えば、数値）が最も近い特徴量を性能表に含まれる特徴量から選択し、選択した特徴量に対応する正解率を、原画像に映る第１対象物の検査の性能と推定する。例えば、予測部１４０は、抽出部１３０によって抽出された特徴量が、欠陥輝度差９５であり、背景輝度標準偏差が４５である場合、第１対象物が映る学習用画像を用いて機械学習させた場合の学習モデルによる、原画像に映る第１対象物の検査の性能を、平均９６．４％の正解率で適切に検査できると予測する。
　性能表は、例えば、記憶部１７０に予め記憶される。
　なお、性能表は、特徴量に対する正解（性能）が含まれていればよく、正解率に対応する特徴量は、図４に示すように２つの特徴量の組み合わせであってもよいし、１つの特徴量であってもよいし、３つ以上の特徴量の組み合わせであってもよい。
　また、分割部１２０が原画像を分割することで複数の分割画像を生成した場合、例えば、予測部１４０は、第１対象物が映る学習用画像を用いて機械学習させた場合の学習モデルによる、複数の分割画像のそれぞれについて、当該分割画像に映る第１対象物の検査の性能を予測する。
　この場合、例えば、第１対象物の特徴ごとの性能表が記憶部１７０に予め記憶される。
　出力部１５０は、予測部１４０によって予測された結果を示す性能情報３１０（後述する図５参照）を出力する処理部である。出力部１５０は、例えば、表示装置２１０に性能情報３１０を含む予測結果を示す画像を出力することで、表示装置２１０に性能情報３１０を表示させる。
　図５は、実施の形態に係る予測結果を示す図である。具体的には、図５は、出力部１５０によって表示装置２１０に出力され、表示装置２１０に表示された性能情報３１０を含む予測結果を示す表示画像３００を示す図である。
　図５に示すように、例えば、予測結果には、性能情報３１０と、助言情報３２０とが含まれる。
　性能情報３１０は、第１対象物が映る学習用画像を用いて機械学習させた場合の学習モデルによる、原画像に映る第１対象物の検査の性能を示す情報である。性能情報３１０は、例えば、予測部１４０による予測結果が、「予測される結果　正解率８２％　見逃し６％　過検出１２％」のように表示装置２１０に表示される。
　なお、「正解率」とは、欠陥がある場合には当該欠陥を正しく見つけられ、欠陥がなければ欠陥がないと正しく判定できる確率である。つまり、正解率は、全ての画像を学習モデルに判定させたときの正解率であって、例えば、全正解数／全画像数で算出される。
　また、「見逃し」とは、欠陥があるにも関わらず見つけられない確率である。つまり、見逃し（見逃し率）は、ＮＧ画像（欠陥部４１０を含む画像）をＯＫ画像（欠陥部４１０を含まない画像）と誤判定した比であって、ＮＧ画像をＯＫ画像と判定した枚数／全ＮＧ画像数で算出される。
　また、「過検出」とは、欠陥がないにも関わらず欠陥があると誤判定する確率である。つまり、過検出（過検出率）は、ＯＫ画像をＮＧ画像と誤判定した比であって、ＯＫ画像をＮＧ画像と判定した枚数／全ＯＫ画像数で算出される。
　なお、図４に示す例には、「正解率」のみが性能表に含まれているが、特徴量に対する「見逃し」および「過検出」が含まれていてもよい。
　また、性能情報３１０は、性能表に応じた特徴量に対する性能を示すグラフを含んでもよい。当該グラフは、例えば、図４に示すような性能表をグラフ化したものである。この場合、例えば、出力部１５０は、原画像の特徴量と、予測部１４０によって予測された第１対象物の検査の性能とをグラフに示す性能情報３１０を出力する。例えば、図５に示すグラフ中の矩形部分が、原画像において抽出された特徴量を示す部分である。また、例えば、図５に示す例では、グラフにおけるドットハッチングが濃い部分は正解率が低く、ドットハッチングが薄い部分は正解率が高い。これによれば、第１対象物の検査の性能の予測結果を抽出された特徴量とともにユーザに分かりやすく提示できる。
　また、助言情報３２０は、第１対象物が映る学習用画像を用いて機械学習させた場合の学習モデルによる第１対象物の検査の性能を向上させるための助言を示す情報である。
　図５に示す例では、例えば、欠陥輝度差を上げる、または、背景輝度標準偏差を上げることにより、正解率を向上できることが分かる。そこで、例えば、出力部１５０は、抽出された特徴量および性能表に基づいて、正解率を向上できると考えられる方法を決定して出力する。このように、例えば、出力部１５０は、さらに、第１対象物が映る学習用画像を用いて機械学習させた場合の学習モデルによる第１対象物の検査の性能を向上させるための助言を示す助言情報３２０を出力する。図５に「検出率（正解率）を高めるには」として示すように、例えば、助言情報３２０には、「解像度を高める」、「レンズ倍率を高める」、「画像サイズを拡大する」、および、「コントラスト強調を加える」が含まれる。
　なお、予測結果には、助言情報３２０が含まれなくてもよい。
　また、抽出部１３０によって抽出された特徴量と性能情報３１０に含まれる特徴量とは、同じでもよいし、異なってもよい。例えば、性能情報３１０には、抽出部１３０に抽出された特徴量の複数の測定項目のうち、良否と相関の高い１以上の測定項目が軸として用いられたグラフが含まれてもよい。
　受付部１６０は、ユーザの操作を受け付ける処理部である。受付部１６０は、例えば、入力装置２２０を介してユーザの操作を受け付ける。受付部１６０は、例えば、原画像に含まれる欠陥部４１０の位置を示す位置情報の入力を受け付ける。ユーザは、例えば、表示装置２１０に表示された原画像または分割画像を見て、当該原画像または当該分割画像に含まれる欠陥部４１０の位置を、入力装置２２０を用いて入力する。受付部１６０は、例えば、当該入力を位置情報として受け付ける。
　また、例えば、受付部１６０は、予測部１４０に再度予測させる際に、原画像に行う所定の処理を示す情報の入力をユーザから受け付ける。例えば、ユーザは、入力装置２２０を操作することで、図５に示す画像の「画像サイズを拡大する」、および、「コントラスト強調を加える」の左側に位置する四角を選択する。また、例えば、ユーザは、入力装置２２０を操作することにより図示しない「再予測」などの画像に表示されたボタン部を選択する。この場合、例えば、予測部１４０は、原画像に所定の処理として「画像サイズを拡大する」、および、「コントラスト強調を加える」を行った場合の予測を再度行う。出力部１５０は、例えば、再度予測された性能の予測結果を表示装置２１０に出力する。このように、例えば、予測部１４０は、さらに、第１対象物が映る学習用画像を用いて機械学習させた場合の学習モデルに所定の処理が実行された場合の原画像を入力としたときの第１対象物の検査の性能を予測する。
　なお、所定の処理は、任意に定められてよい。また、予測部１４０は、原画像に対して所定の処理を実際に実行してもよいし、しなくてもよい。例えば、ユーザは、図５のように表示装置２１０に表示される助言情報３２０を確認して、「画像サイズを拡大する」、および、「コントラスト強調を加える」を、入力装置２２０を操作することで選択する。受付部１６０は、当該選択を受け付ける。予測部１４０は、受付部１６０が受け付けた当該選択に対応する所定の処理（この例では「画像を拡大する」、および、「コントラスト強調を加える）が原画像（より具体的には分割画像）に実行された場合の当該原画像を、第１対象物が映る学習用画像を用いて機械学習させた場合の学習モデルに入力したときの、当該学習モデルの第１対象物の検査の性能を予測する。このように、所定の処理は、１つでもよいし、複数でもよい。また、所定の処理は、上記のようにユーザによって指定されてもよいし、例えば予測結果に基づいて自動で実行されてもよい。
　取得部１１０と、分割部１２０と、抽出部１３０と、予測部１４０と、出力部１５０と、受付部１６０とは、例えば、１以上のプロセッサによって実現される。
　記憶部１７０は、取得部１１０、分割部１２０、抽出部１３０、予測部１４０、出力部１５０、および、受付部１６０などの処理部が各処理を行うために実行するプログラム、当該処理に必要な情報、ならびに、検査画像などが記憶される記憶装置である。記憶部１７０は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、または、半導体メモリなどによって実現される。
　撮像装置２００は、検査対象物を撮像することで原画像を生成するカメラである。撮像装置２００は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどによって実現される。
　表示装置２１０は、画像処理装置１００（より具体的には、出力部１５０）の制御に基づいて画像を表示する。表示装置２１０は、例えば、性能情報３１０および助言情報３２０を含む表示画像３００を表示する。表示装置２１０は、原画像または分割画像などを表示してもよい。表示装置２１０は、例えば、液晶パネルまたは有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルなどの表示デバイスによって実現される。表示装置２１０は、例えば、ディスプレイであってもよく、スクリーンに投影する投影装置であってもよい。
　入力装置２２０は、ユーザの操作を受け付けるユーザインターフェースである。入力装置２２０は、マウス、キーボード、タッチパネルまたはハードウェアボタンなどによって実現される。
　［処理手順］
　続いて、実施の形態に係る画像処理装置１００の処理手順について説明する。
　図６は、実施の形態に係る画像処理装置１００の処理手順を示すフローチャートである。
　まず、取得部１１０は、第１対象物が映る原画像を取得する（Ｓ１１０）。
　次に、抽出部１３０は、原画像の特徴量を抽出する（Ｓ１２０）。例えば、抽出部１３０は、画像解析を行うことにより、原画像の輝度などの測定を行うことで、原画像の特徴量を抽出する。また、例えば、原画像の特徴量がユーザからの指定によるものであれば、抽出部１３０は、受付部１６０が受け付けた原画像の特徴量を取得することで、原画像の特徴量を抽出する。
　次に、予測部１４０は、第１対象物とは種類の異なる第２対象物が映る学習用画像を用いて機械学習させた場合の学習モデルによる、検査画像に映る第２対象物の検査の性能と、検査画像の特徴量との関係を示す対応情報、および、原画像の特徴量に基づいて、第１対象物が映る学習用画像を用いて機械学習させた場合の学習モデルによる、原画像に映る第１対象物の検査の性能を予測する（Ｓ１３０）。
　なお、対応情報は、例えば、上記の性能表である。対応情報は、検査の性能と特徴量との対応関係を示す情報であればよく、表であってもよいし、例えばグラフまたは数式など任意の情報でよい。
　次に、出力部１５０は、予測された結果を示す性能情報３１０を出力する（Ｓ１４０）。
　なお、ステップＳ１１０の次に、分割部１２０が、原画像を分割することで複数の分割画像を生成してもよい。この場合、ステップＳ１２０では、例えば、抽出部１３０は、複数の分割画像のそれぞれの特徴量を抽出する。また、例えば、ステップＳ１３０では、予測部１４０は、複数の分割画像のそれぞれについて、対応情報、および、分割画像の特徴量に基づいて、第１対象物が映る学習用画像を用いて機械学習させた場合の学習モデルによる、分割画像に映る第１対象物の検査の性能を予測する。この場合には、出力部１５０は、分割画像ごとに第１対象物の検査の性能の予測結果を出力してもよいし、例えば第１対象物の特徴ごとに検査の性能の予測結果の平均などを算出することにより第１対象物の特徴ごとの検査の性能の予測結果を出力してもよいし、例えば全ての分割画像における予測結果の平均などを算出することにより原画像における第１対象物の検査の性能の予測結果を出力してもよい。
　［効果など］
　以下、本明細書の開示内容から得られる技術を例示し、例示される技術から得られる効果等について説明する。
　技術１は、取得部１１０と、抽出部１３０と、予測部１４０と、出力部１５０と、を備える、画像処理装置１００である。取得部１１０は、第１対象物が映る原画像を取得する。抽出部１３０は、原画像の特徴量を抽出する。予測部１４０は、対応情報、および、原画像の特徴量に基づいて、第１対象物が映る学習用画像を用いて機械学習させた場合の学習モデルによる、原画像に映る第１対象物の検査の性能を予測する。対応情報は、第１対象物とは種類の異なる第２対象物が映る学習用画像を用いて機械学習させた場合の学習モデルによる、検査画像に映る第２対象物の検査の性能と、検査画像の特徴量と、の関係を示す情報である。出力部１５０は、予測部１４０によって予測された結果を示す性能情報３１０を出力する。
　第１対象物と第２対象物とが異なる種類の物体であっても、例えば、原画像から抽出される特徴量が類似していれば、機械学習させた学習モデルによる、第１対象物の検査と第２対象物の検査との性能は、類似することが考えられる。そこで、画像処理装置１００は、第２対象物が映る学習用画像を用いて機械学習させた場合の学習モデルによる、検査画像に映る第２対象物の検査の性能と、検査画像の特徴量と、の関係を示す対応情報を用いて、第１対象物が映る学習用画像を用いて機械学習させた場合の学習モデルによる第１対象物の検査の性能を予測する。これによれば、第１対象物が映る学習用画像を大量に準備しなくても、第１対象物が映る学習用画像を用いて機械学習させた場合の学習モデルによる第１対象物の検査の性能を予測できる。
　技術２は、性能情報３１０は、対応情報に応じた特徴量に対する性能を示すグラフを含み、出力部１５０は、原画像の特徴量と、予測部１４０によって予測された第１対象物の検査の性能とをグラフに示す性能情報３１０を出力する、技術１に記載の画像処理装置１００である。
　このように、例えば、画像処理装置１００は、予測結果の表示において、予測に用いられた性能の範囲をグラフ表示して、グラフ内に今回の入力（原画像および測定項目の指定など）に対する予測結果（予測領域）を示して、目標性能を追い込むための目安を分かりやすく表示する機能を有する。
　これによれば、どのような特徴量が抽出されれば学習モデルの性能が向上されるかをユーザに分かりやすく提示できる。
　技術３は、出力部１５０は、さらに、第１対象物が映る学習用画像を用いて機械学習させた場合の学習モデルによる第１対象物の検査の性能を向上させるための助言を示す助言情報３２０を出力する、技術１または２に記載の画像処理装置１００である。
　このように、画像処理装置１００は、検査の能力を改善するための助言を表示する機能を有する。助言情報３２０に含まれる助言の内容は、任意に定められてよく、特に限定されない。例えば、助言情報３２０は、抽出された特徴量および検査の性能に基づいて決定される。例えば、図４に示すような性能表が用いられる例では、欠陥輝度差が９５で背景輝度標準偏差が４５であるような場合には、出力部１５０は、ＡｖｅおよびＭａｘの両方の正解率が上がるように助言情報３２０を出力する。つまり、欠陥輝度差を上げる、または、背景輝度標準偏差を下げるような処理（例えば、良品部４００と欠陥部４１０とのコントラスト比を上げる処理、または、背景輝度を下げる処理）を示す情報を含む助言情報３２０を出力する。
　これによれば、どのような特徴量が抽出されれば学習モデルの性能が向上されるかをユーザに分かりやすく提示できる。
　技術４は、予測部１４０は、さらに、第１対象物が映る学習用画像を用いて機械学習させた場合の学習モデルに所定の処理が実行された場合の原画像を入力としたときの第１対象物の検査の性能を予測する、技術１～３のいずれかに記載の画像処理装置１００である。
　このように、例えば、画像処理装置１００は、改善策を施してもう一度性能の予測をやり直す機能を有する。
　原画像の状態によっては、原画像のサイズを大きくする、またはコントラスト比を大きくするなどの画像処理を原画像に施すことで、学習モデルによる検査の性能を向上させることができる場合がある。そこで、画像処理装置１００は、例えば、助言情報３２０としてユーザに提示した内容の中から画像処理に関する内容についてユーザから選択を受け付けた場合に、当該画像処理に関する内容の処理を原画像に施した場合の学習モデルの性能を再度予測する。これによれば、原画像に所定の処理を施すことにより学習モデルの性能が向上されるかをユーザに簡単に提示できる。
　技術５は、さらに、原画像を第１対象物の特徴ごとに分割することで複数の分割画像を生成する分割部１２０を備え、予測部１４０は、第１対象物が映る学習用画像を用いて機械学習させた場合の学習モデルによる、複数の分割画像のそれぞれについて、当該分割画像に映る第１対象物の検査の性能を予測する、技術１～４のいずれかに記載の画像処理装置１００である。
　このように、画像処理装置１００は、例えば、検査画像の領域に対して少なくとも１箇所以上分割する機能を有する。また、例えば、画像処理装置１００は、分割した画像（分割画像）に対して特徴量を計測する機能、および、測定不能な項目については見込み値を受け付ける機能を有する。画像処理装置１００は、例えば、これら情報に基づいて、任意のアルゴリズム（例えば、機械学習）による画像の検査性能（正解率など）を予測して表示する機能を有する。
　原画像に映る第１対象物には、例えば、線で表現される箇所および面で表現される箇所がある。線および面などのこれらの特徴ごとに画像分割することで、それぞれの分割画像にはこれらの特徴の単純な要素のいずれかが含まれる。これによれば、学習モデルによる検査の性能が向上される。そこで、例えば、それぞれの特徴ごとの対応情報が予め作成されることで、検査の性能が高い学習モデルによる第１対象物の検査の性能を予測できる。
　技術６は、第１対象物が映る原画像を取得し（Ｓ１１０）、原画像の特徴量を抽出し（Ｓ１２０）、対応情報、および、原画像の特徴量に基づいて、第１対象物が映る学習用画像を用いて機械学習させた場合の学習モデルによる、原画像に映る第１対象物の検査の性能を予測し（Ｓ１３０）、予測された結果を示す性能情報３１０を出力する（Ｓ１４０）、画像処理方法である。対応情報は、第１対象物とは種類の異なる第２対象物が映る学習用画像を用いて機械学習させた場合の学習モデルによる、検査画像に映る第２対象物の検査の性能と、検査画像の特徴量と、の関係を示す情報である。
　これによれば、画像処理装置１００と同様の効果を奏する。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　（他の実施の形態など）
　以上、実施の形態について説明したが、本開示は、上記実施の形態に限定されるものではない。
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　例えば、画像処理装置１００は、受付部１６０および分割部１２０を備えなくてもよい。
　また、例えば、画像処理装置１００は、識別モデルを機械学習させるための学習部（処理部）をさらに備えてもよい。この場合、記憶部１７０には、上記した教師データが記憶されていてもよい。
　また、例えば、画像処理装置１００は、原画像を分割する前に輝度補正などの画像処理を施してもよい。
　また、上記実施の形態では、画像処理装置１００は、単一の装置として実現されたが、複数の装置によって実現されてもよい。画像処理装置が複数の装置によって実現される場合、上記実施の形態で説明された画像処理装置が備える構成要素は、複数の装置にどのように振り分けられてもよい。例えば、画像処理装置は、クライアントサーバシステムとして実現されてもよい。この場合、クライアント装置は、画像の取得、ユーザの操作の受け付け、および、画像の表示などを行う携帯端末であり、サーバ装置は、原画像に基づいて分割画像を生成する情報処理などを行う情報端末である。
　また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
　また、上記実施の形態において、各構成要素（各処理部）は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）またはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、各構成要素は、ハードウェアによって実現されてもよい。各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
　また、本開示の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　例えば、本開示は、画像処理装置などのコンピュータによって実行される画像処理方法として実現されてもよい。また、本開示は、画像処理方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。
　その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素および機能を任意に組み合わせることで実現される形態も本開示に含まれる。
　本開示は、原画像から学習モデルの性能を判定できる画像処理装置として有用である。
　１００　画像処理装置
　１１０　取得部
　１２０　分割部
　１３０　抽出部
　１４０　予測部
　１５０　出力部
　１６０　受付部
　１７０　記憶部
　２００　撮像装置
　２１０　表示装置
　２２０　入力装置
　３００　表示画像
　３１０　性能情報
　３２０　助言情報
　４００　良品部
　４１０　欠陥部

Claims (6)

  1. 　第１対象物が映る原画像を取得する取得部と、
    　前記原画像の特徴量を抽出する抽出部と、
    　前記第１対象物とは種類の異なる第２対象物が映る学習用画像を用いて機械学習させた場合の学習モデルによる、検査画像に映る前記第２対象物の検査の性能と、前記検査画像の特徴量と、の関係を示す対応情報、および、前記原画像の特徴量に基づいて、前記第１対象物が映る学習用画像を用いて機械学習させた場合の前記学習モデルによる、前記原画像に映る前記第１対象物の検査の性能を予測する予測部と、
    　前記予測部によって予測された結果を示す性能情報を出力する出力部と、を備える、
    　画像処理装置。
  2. 　前記性能情報は、前記対応情報に応じた特徴量に対する性能を示すグラフを含み、
    　前記出力部は、前記原画像の特徴量と、前記予測部によって予測された前記第１対象物の検査の性能とを前記グラフに示す前記性能情報を出力する、
    　請求項１に記載の画像処理装置。
  3. 　前記出力部は、さらに、前記第１対象物が映る学習用画像を用いて機械学習させた場合の前記学習モデルによる前記第１対象物の検査の性能を向上させるための助言を示す助言情報を出力する、
    　請求項１に記載の画像処理装置。
  4. 　前記予測部は、さらに、前記第１対象物が映る学習用画像を用いて機械学習させた場合の前記学習モデルに所定の処理が実行された場合の前記原画像を入力としたときの前記第１対象物の検査の性能を予測する、
    　請求項１に記載の画像処理装置。
  5. 　さらに、前記原画像を前記第１対象物の特徴ごとに分割することで複数の分割画像を生成する分割部を備え、
    　前記予測部は、前記第１対象物が映る学習用画像を用いて機械学習させた場合の前記学習モデルによる、前記複数の分割画像のそれぞれについて、当該分割画像に映る前記第１対象物の検査の性能を予測する、
    　請求項１～４のいずれか１項に記載の画像処理装置。
  6. 　第１対象物が映る原画像を取得し、
    　前記原画像の特徴量を抽出し、
    　前記第１対象物とは種類の異なる第２対象物が映る学習用画像を用いて機械学習させた場合の学習モデルによる、検査画像に映る前記第２対象物の検査の性能と、前記検査画像の特徴量と、の関係を示す対応情報、および、前記原画像の特徴量に基づいて、前記第１対象物が映る学習用画像を用いて機械学習させた場合の前記学習モデルによる、前記原画像に映る前記第１対象物の検査の性能を予測し、
    　予測された結果を示す性能情報を出力する、
    　画像処理方法。
PCT/JP2023/036825 2022-11-01 2023-10-11 画像処理装置および画像処理方法 WO2024095721A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-175491 2022-11-01
JP2022175491 2022-11-01

Publications (1)

Publication Number Publication Date
WO2024095721A1 true WO2024095721A1 (ja) 2024-05-10

Family

ID=90930233

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/036825 WO2024095721A1 (ja) 2022-11-01 2023-10-11 画像処理装置および画像処理方法

Country Status (1)

Country Link
WO (1) WO2024095721A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019087012A (ja) * 2017-11-07 2019-06-06 キヤノン株式会社 情報処理装置、情報処理方法、コンピュータプログラム、及び記憶媒体
WO2020065908A1 (ja) * 2018-09-28 2020-04-02 日本電気株式会社 パターン認識装置、パターン認識方法およびパターン認識プログラム
US20220101063A1 (en) * 2020-09-29 2022-03-31 Samsung Electronics Co., Ltd. Method and apparatus for analyzing neural network performance

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019087012A (ja) * 2017-11-07 2019-06-06 キヤノン株式会社 情報処理装置、情報処理方法、コンピュータプログラム、及び記憶媒体
WO2020065908A1 (ja) * 2018-09-28 2020-04-02 日本電気株式会社 パターン認識装置、パターン認識方法およびパターン認識プログラム
US20220101063A1 (en) * 2020-09-29 2022-03-31 Samsung Electronics Co., Ltd. Method and apparatus for analyzing neural network performance

Similar Documents

Publication Publication Date Title
KR102058427B1 (ko) 검사 장치 및 방법
JP2018005640A (ja) 分類器生成装置、画像検査装置、及び、プログラム
TW202105549A (zh) 對樣本的缺陷檢測的方法及其系統
JP2018005639A (ja) 画像分類装置、画像検査装置、及び、プログラム
JP6317725B2 (ja) 取得された画像内のクラッタを決定するためのシステム及び方法
JP2013224833A (ja) 外観検査装置、外観検査方法及びコンピュータプログラム
CN112559341A (zh) 一种画面测试方法、装置、设备及存储介质
CN114266764A (zh) 一种印刷标签的字符完整性检测方法及其装置
US10783403B2 (en) Automated design testing through deep learning
CN113176275B (zh) 一种用于显示面板复检的方法、装置及系统
JP2002230562A (ja) 画像処理方法およびその装置
WO2024095721A1 (ja) 画像処理装置および画像処理方法
CN116993654A (zh) 摄像头模组缺陷检测方法、装置、设备、存储介质及产品
WO2024116675A1 (ja) 画像処理装置および画像処理方法
CN112543950B (zh) 图像处理装置、图像处理方法及计算机可读取的记录介质
WO2024062854A1 (ja) 画像処理装置および画像処理方法
WO2024090054A1 (ja) 画像処理方法、プログラム、および、画像処理装置
JP2000121495A (ja) 画面検査方法
JP2020204835A (ja) 情報処理装置、システム、情報処理方法及びプログラム
CN110658197A (zh) 人工检测瑕疵图案的效能评估方法与系统
US20240161271A1 (en) Information processing apparatus, control program, and control method
WO2023100474A1 (ja) システム、画像処理方法およびプログラム
JP7300155B2 (ja) 固形製剤外観検査における教示装置、及び固形製剤外観検査における教示方法
TW202414334A (zh) 圖像處理裝置及圖像處理方法
JP2023180433A (ja) 画像処理装置および画像処理方法