WO2024090054A1 - 画像処理方法、プログラム、および、画像処理装置 - Google Patents

画像処理方法、プログラム、および、画像処理装置 Download PDF

Info

Publication number
WO2024090054A1
WO2024090054A1 PCT/JP2023/032840 JP2023032840W WO2024090054A1 WO 2024090054 A1 WO2024090054 A1 WO 2024090054A1 JP 2023032840 W JP2023032840 W JP 2023032840W WO 2024090054 A1 WO2024090054 A1 WO 2024090054A1
Authority
WO
WIPO (PCT)
Prior art keywords
small images
image
learning
images
image processing
Prior art date
Application number
PCT/JP2023/032840
Other languages
English (en)
French (fr)
Inventor
勇斗 北川
太一 佐藤
久治 村田
正宏 石井
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2024090054A1 publication Critical patent/WO2024090054A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features

Definitions

  • This disclosure relates to an image processing method, a program, and an image processing device.
  • Patent Document 1 discloses a program that extracts multiple training images from an input image in order to train a classifier, classifies the training images into one or more sets, and displays the training images. The final training image is determined by the user selecting one of the displayed training images.
  • Machine learning for learning models such as classifiers requires many images for machine learning. If the composition of the machine learning images contains many images with high similarity, problems can arise, such as increased learning time and the data distribution differing from the distribution it should have, degrading the discrimination ability of the classifier. Therefore, it is desirable to easily select images that can be effectively used for machine learning, with fewer images for machine learning, and that can improve the performance of the learning model.
  • This disclosure provides an image processing method that makes it easier to select images that are effective for machine learning.
  • An image processing method is an image processing method executed by a computer, and includes an acquisition step of acquiring an original image showing an object, a selection step of selecting two or more small images that are effective for machine learning from among a plurality of small images generated by dividing the original image, based on a learning contribution degree indicating the degree of effectiveness in machine learning of each of the plurality of small images, and an output step of outputting the two or more small images in a display mode according to their respective learning contribution degrees.
  • a program according to one aspect of the present disclosure is a program for causing a computer to execute an image processing method according to one aspect of the present disclosure.
  • An image processing device includes an acquisition unit that acquires an original image showing an object, a selection unit that selects two or more small images that are effective for machine learning from among a plurality of small images generated by dividing the original image, based on a learning contribution level indicating the degree of effectiveness of each of the plurality of small images in machine learning, and an output unit that outputs the two or more small images in a display mode according to their respective learning contribution levels.
  • This disclosure provides an image processing method that makes it easier to select images that are effective for machine learning.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to an embodiment.
  • FIG. 2 is a diagram for explaining a process in which the image processing device according to the embodiment determines the display mode of two or more small images.
  • FIG. 3 is a diagram for explaining normal and abnormal regions in an original image according to the embodiment.
  • FIG. 4 is a diagram for explaining a first example of an image output by the image processing device according to the embodiment.
  • FIG. 5 is a diagram for explaining a second example of an image output by the image processing device according to the embodiment.
  • FIG. 6 is a diagram for explaining a third example of an image output by the image processing device according to the embodiment.
  • FIG. 7 is a flowchart showing a processing procedure of the image processing device according to the embodiment.
  • each figure is a schematic diagram and is not necessarily a precise illustration.
  • the same reference numerals are used for substantially the same configuration, and duplicate explanations are omitted or simplified.
  • FIG. 1 is a block diagram showing the configuration of an image processing device 100 according to an embodiment.
  • the image processing device 100 is a device that displays an image (small image) based on an image (original image) generated by an imaging device such as a camera capturing an image of an object (workpiece).
  • the image processing device 100 is an automatic learning image selection device that selects small images (hereinafter also referred to as learning images) from a plurality of small images generated by dividing an original image, for use in machine learning (AI (Artificial Intelligence) learning) in a learning model that determines whether or not an object shown in the original image contains a defect.
  • AI Artificial Intelligence
  • a learning model is trained using various learning images obtained by photographing an object and information (annotation information) indicating whether each learning image is defective or normal.
  • training images that can effectively train the learning model, that is, images that can improve the performance of the learning model with a small number of images.
  • training images that cannot effectively train the learning model.
  • candidates for selecting small images of normal areas that do not contain defects but there is an issue in that it is unclear which candidate to select to be effective for machine learning.
  • the image processing device 100 therefore outputs learning images that can effectively train the learning model in a manner that is easy for the user to understand.
  • performance refers to, for example, the accuracy rate at which defects can be correctly extracted when an original image is input into a machine-learned learning model, or the accuracy rate at which it can correctly determine that there are no defects.
  • the image processing device 100 is, for example, a computer such as a personal computer or a tablet terminal.
  • the image processing device 100 is realized by a communication interface for communicating with the display device 200 and the input device 210, a non-volatile memory in which a program is stored, a volatile memory which is a temporary storage area for executing the program, an input/output port for sending and receiving signals, a processor for executing the program, and the like.
  • the communication interface may be realized by a connector to which a communication line is connected to enable wired communication, or may be realized by an antenna and wireless communication circuitry to enable wireless communication.
  • the image processing device 100 includes an information processing unit 110 and a memory unit 120.
  • the information processing unit 110 is a processing unit that performs various processes executed by the image processing device 100. For example, the information processing unit 110 outputs a plurality of small images obtained by performing image processing on the acquired original image to the display device 200, thereby displaying the multiple small images on the displayed image.
  • FIG. 2 is a diagram for explaining the process in which the image processing device 100 according to the embodiment determines the display mode of two or more small images.
  • the display mode is changed so that the outer edge of small images with a learning contribution degree equal to or greater than a predetermined degree is a thick line, a dashed line, or a dashed line.
  • ⁇ refers to, for example, a predetermined degree of contribution to learning or more.
  • the predetermined degree of contribution to learning may be determined arbitrarily.
  • the learning contribution of each of the multiple small images is determined, for example, based on the similarity between the multiple small images.
  • the similarity is calculated, for example, from the average value of the differences, such as the luminance difference or color difference, between each pixel at the same position in the two small images. For example, the similarity is calculated so that the larger the average value is, the lower the similarity is.
  • the learning contribution is determined from the calculated similarity.
  • the learning contribution is set, for example, so that the lower the similarity is, the higher the learning contribution is.
  • the information processing unit 110 is realized by one or more processors.
  • the information processing unit 110 includes an acquisition unit 111, a selection unit 112, an output unit 113, a reception unit 114, and a storage unit 120.
  • the acquisition unit 111 is a processing unit that acquires an original image in which an object is shown. Specifically, the acquisition unit 111 acquires an original image in which a first object is shown.
  • the target object is an object to be inspected by the learning model.
  • the acquisition unit 111 acquires an original image showing the target object, such as that shown in FIG. 2(a), from an imaging device that captures the target object, for example.
  • the object is, for example, an industrial product.
  • the object is an electronic component such as an IC (Integrated Circuit).
  • the target object does not have to be an electronic component; it can be any object, such as a circuit board.
  • the imaging device is a camera that generates an original image by capturing an image of an object.
  • the imaging device is realized, for example, by a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • CMOS Complementary Metal Oxide Semiconductor
  • the acquisition unit 111 may also acquire the original image from a server device or the like via a communication interface provided in the image processing device 100.
  • the selection unit 112 is a processing unit that selects two or more small images that are effective for machine learning from among multiple small images generated by dividing the original image, based on the learning contribution degree that indicates the degree of effectiveness of each of the multiple small images in machine learning.
  • the selection unit 112 generates a plurality of small images by dividing the original image.
  • the way in which the original image is divided may be determined arbitrarily.
  • the number of the plurality of small images may be determined arbitrarily.
  • the plurality of small images may be rectangular, or may have any shape such as a triangle or a circle.
  • the sizes and shapes of the plurality of small images may be the same or different.
  • the selection unit 112 selects any one image from the multiple small images.
  • the image selected here may be determined arbitrarily. In the example shown in FIG. 2(c), first, the small image located at the top left corner of the multiple small images shown in FIG. 2(c) is selected from the multiple small images.
  • the selection unit 112 calculates the similarity between the selected small image and the multiple unselected small images. Furthermore, the selection unit 112 selects the image with the lowest similarity from the multiple unselected small images.
  • the selection unit 112 selects two or more small images that are effective for machine learning by repeating the process of selecting such small images and calculating the similarity (also called the selection process) a predetermined number of times. In other words, the selection unit 112 selects two or more small images by repeatedly executing the process of selecting one small image from among a plurality of small images excluding all of the small images already selected, based on the similarity between the plurality of small images excluding all of the small images already selected and all of the small images already selected.
  • the selection unit 112 selects two or more small images that are effective for machine learning from among a plurality of small images, based on the learning contribution (more specifically, the similarity) that indicates the degree of effectiveness of each of the plurality of small images in machine learning.
  • the predetermined number of times may be determined arbitrarily. For example, the predetermined number of times is determined based on a threshold. For example, the selection unit 112 selects two or more small images based on the similarity between multiple small images and the threshold of the similarity. For example, if the threshold is 0.2, the selection unit 112 repeats the selection process until there are no small images with a calculated similarity of 0.2 or less.
  • the predetermined number of times may be determined arbitrarily by, for example, the user.
  • the reception unit 114 may receive information indicating the predetermined number of times or information indicating a threshold value from the user via the input device 210.
  • the larger the threshold the more small images there are that are two or more. In other words, the larger the threshold, the more small images the selection unit 112 selects.
  • the threshold may be one or more.
  • the threshold includes a first threshold and a second threshold that is greater than the first threshold, and the selection unit 112 selects two or more small images from the multiple small images, including a first image with a similarity less than the first threshold and a second image with a similarity equal to or greater than the first threshold and less than the second threshold.
  • each of the two or more small images selected by the selection unit 112 is an image of a normal area that does not contain any defects of the object in the original image.
  • FIG. 3 is a diagram for explaining normal and abnormal regions in an original image according to an embodiment of the present invention. Specifically, FIG. 3 is a diagram showing multiple small images obtained by dividing the original image.
  • a normal area is an area in the original image that is free of defects such as scratches, chips, stains, or dust.
  • the small images included in the "normal area” are all of the multiple small images other than the four small images surrounded by thick lines.
  • an abnormal area is an area in the original image that has such defects.
  • the small images included in the "abnormal area” are all of the multiple small images other than the four small images surrounded by thick lines.
  • the selection unit 112 When selecting two or more small images, for example, the selection unit 112 does not select small images from abnormal areas that contain defects, but selects two or more small images from small images in normal areas that do not contain defects.
  • the original image acquired by the acquisition unit 111 is displayed on the display unit 200 by being output to the display unit 200 by the output unit 113.
  • the user operates the input device 210 to input the position of the defect in the original image.
  • the reception unit 114 receives the input.
  • the selection unit 112 selects two or more small images from among the small images of normal areas that do not contain defects based on the input received by the reception unit 114. At this time, for example, the selection unit 112 may add information indicating that the small images are normal (e.g., that there is no defect) or that they are abnormal (e.g., that there is a defect), that is, annotation information, to the multiple small images based on the input, and store them in the storage unit 120.
  • the output unit 113 is a processing unit that outputs the two or more small images selected by the selection unit 112 in a display mode corresponding to the respective degrees of contribution to learning. Specifically, the output unit 113 changes the display mode of the two or more small images selected by the selection unit 112 to a display mode corresponding to the respective degrees of contribution to learning, and outputs image information including the two or more small images with the changed display mode to the display device 200, thereby causing the display device 200 to display the two or more small images with the changed display mode.
  • outputting two or more small images means that an image containing two or more small images is output.
  • Multiple small images generated by dividing an original image containing two or more small images may be output, or the display mode of the parts of the original image corresponding to the two or more small images may be changed and output.
  • the display format may be determined arbitrarily.
  • the output unit 113 outputs a plurality of small images with different decorations around or inside each of the two or more small images based on the learning contribution of each of the two or more small images.
  • adding decoration includes, for example, adding a border around each of the two or more small images.
  • the output unit 113 determines at least one of the display modes of the border thickness, border color, and border shape based on the learning contribution of each of the two or more small images.
  • the border shape is the line type, and is a line shape such as a solid line, a dotted line, a dashed line, and a dashed dot line.
  • the output unit 113 adds a border to two or more small images so that the border is thicker for those with a higher learning contribution and thinner for those with a lower learning contribution.
  • FIG. 4 is a diagram for explaining a first example of an image output by the image processing device 100 according to the embodiment. Specifically, it is a diagram showing an example of image information output to the output unit 113 and displayed on the display device 200.
  • the display device 200 displays an original image in which the parts of the original image corresponding to small images with a predetermined learning contribution level or higher are surrounded by any of a solid line, a dashed line, and a dashed line.
  • the selection unit 112 selects, from among the multiple small images, a first image with a similarity level less than a first threshold, a second image with a similarity level equal to or greater than the first threshold and less than a second threshold, and a third image with a similarity level equal to or greater than the second threshold and less than a third threshold.
  • the output unit 113 changes the display mode of two or more small images so that the part of the original image corresponding to the first image (the "small image with the highest learning contribution level” shown in FIG. 4) is surrounded by a solid line, the part corresponding to the second image (the "small image with the second highest learning contribution level after the solid line rectangle” shown in FIG. 4) is surrounded by a dashed line, and the part corresponding to the third image (the "small image with the second highest learning contribution level after the dashed line rectangle" shown in FIG. 4) is surrounded by a dashed line.
  • the output unit 113 outputs the first image and the second image in different display modes.
  • the output unit 113 outputs an original image in which the first image and the second image are displayed in different display modes.
  • the output unit 113 outputs information indicating that the first image is a small image having a higher learning contribution than the second image.
  • the information is, for example, information indicating an explanation of the learning contribution (i.e., similarity) of two or more small images, such as the "small image with the highest learning contribution" shown in FIG. 4.
  • the output unit 113 outputs information about two or more small images in order of decreasing contribution to learning.
  • the output unit 113 outputs image information such that descriptions about two or more small images (e.g., "small image with the highest contribution to learning") are arranged in order of decreasing contribution to learning, starting from the top of the image displayed on the display device 200.
  • outputting information about two or more small images in order of the degree of learning contribution may include, for example, displaying the solid lines, dashed lines, and dashed dotted lines surrounding the two or more images shown in FIG. 4 in this order, sequentially changing over time.
  • information about two or more small images may include information for explaining the two or more small images, and the display mode of the two or more small images, such as a frame line.
  • "in order of highest contribution" may refer to a spatial order, such as from the top, or may refer to a temporal order.
  • decorating two or more small images includes, for example, at least one of correcting the hue, saturation, and brightness of each of the two or more small images.
  • the output unit 113 performs corrections on the two or more small images to make them closer to expanding colors such as warm colors, to increase the saturation, or to increase the brightness, thereby making the images more eye-catching.
  • the output unit 113 may change the display mode by adding a frame around each of the two or more small images and correcting the images, such as correcting the hue.
  • a small image among the multiple small images that is not selected by the selection unit 112 i.e., a small image other than the two or more small images
  • a small image among the multiple small images that is not selected by the selection unit 112 may be corrected, such as by lowering the brightness to make it less visible.
  • the reception unit 114 is a processing unit that receives user operations.
  • the reception unit 114 receives user operations, for example, via the input device 210.
  • the reception unit 114 receives input of position information indicating the position of an abnormal area (or a defect) contained in an original image. For example, the user looks at the original image or a small image displayed on the display device 200, and inputs the position of the abnormal area contained in the original image or the small image, or the small image containing a defect, using the input device 210.
  • the reception unit 114 receives the input, for example, as position information.
  • the reception unit 114 may receive a first instruction indicating the first threshold value or the second threshold value, and the output unit 113 may determine and output the display mode of two or more small images based on the first instruction received by the reception unit 114. In other words, the display mode of two or more images in the image information displayed on the display device 200 may be changed based on the first instruction.
  • FIG. 5 is a diagram for explaining a second example of an image output by the image processing device 100 according to the embodiment.
  • FIG. 6 is a diagram for explaining a third example of an image output by the image processing device 100 according to the embodiment.
  • the selection unit 112 selects, from among a plurality of small images, a first image having a similarity less than a first threshold, a second image having a similarity equal to or greater than the first threshold and less than a second threshold, and a third image having a similarity equal to or greater than the second threshold and less than a third threshold.
  • the first threshold is 0.2
  • the second threshold is 0.4
  • the third threshold is 0.6.
  • the output unit 113 first outputs image information in which a border has been added to the small image corresponding to the first image.
  • the output unit 113 outputs image information in which the small images corresponding to the first image and the second image are bordered.
  • the user selects a small image to be used for machine learning from among two or more small images. For example, if the user selects a threshold of 0.2, the first image is determined as the learning image to be used for machine learning. Also, for example, if the user selects a threshold of 0.4, the first image and the second image are determined as the learning images to be used for machine learning.
  • the receiving unit 114 receives a first instruction
  • the output unit 113 determines a learning image from among two or more small images based on the first instruction, and stores information indicating that the image is a learning image in the storage unit 120. For example, when the receiving unit 114 receives an instruction to perform machine learning, the output unit 113 selects a learning image based on the information, and inputs the selected learning image into the learning model, thereby performing machine learning in the learning model.
  • the image to be used for learning may be selected arbitrarily from among multiple small images.
  • the reception unit 114 receives a second instruction indicating which small images, starting from the small image with the highest learning contribution, among two or more small images ranked based on the degree of learning contribution, are to be used for machine learning.
  • the learning images may be determined.
  • the selection unit 112 may repeatedly execute the above selection process for all small images to calculate the similarity for all small images and calculate the learning contribution based on the calculated similarity. Note that when calculating the learning contribution for all small images, the selection unit 112 may select two or more small images for which the display mode is to be changed after calculating the learning contribution for all small images.
  • the reception unit 114 may receive a third instruction indicating the thickness of the border, and determine, among the two or more small images, a small image decorated with a border line thicker than the border indicated by the third instruction as the image to be used for machine learning.
  • the acquisition unit 111, the selection unit 112, the output unit 113, and the reception unit 114 may be realized, for example, by a common processor, or may each be realized by an independent processor.
  • the storage unit 120 is a storage device that stores programs executed by the processing units, such as the acquisition unit 111, the selection unit 112, the output unit 113, and the reception unit 114, to perform each process, information required for the process, and inspection images.
  • the storage unit 120 is realized, for example, by a HDD (Hard Disk Drive) and/or a semiconductor memory.
  • the display device 200 is a display that displays an image based on the control of the image processing device 100 (more specifically, the output unit 113).
  • the display device 200 displays, for example, a plurality of small images (i.e., original images) including two or more small images.
  • the display device 200 is realized by, for example, a display device such as a liquid crystal panel or an organic EL (Electro Luminescence) panel.
  • the input device 210 is a user interface that accepts user operations.
  • the input device 210 is realized by a mouse, a keyboard, a touch panel, and/or hardware buttons, etc.
  • the display device 200 and the input device 210 may be integrated into one device such as a touch panel display.
  • FIG. 7 is a flowchart showing the processing steps of the image processing device 100 according to the embodiment.
  • the acquisition unit 111 acquires an original image showing an object (S10).
  • the acquisition unit 111 acquires the original image from a camera (not shown) via a communication interface or the like provided in the image processing device 100.
  • the original image may be stored in, for example, the storage unit 120.
  • the acquisition unit 111 acquires the original image from, for example, the storage unit 120.
  • the selection unit 112 selects two or more small images that are effective for machine learning from among the multiple small images generated by dividing the original image, based on the learning contribution degree indicating the degree of effectiveness of each of the multiple small images in machine learning (S20). Specifically, the selection unit 112 generates multiple small images by dividing the original image acquired by the acquisition unit 111. Next, the selection unit 112 selects any one image from the multiple small images. In the above example, for example, the small image located at the top left corner shown in (c) of FIG. 2 is first selected from the multiple small images. Next, the selection unit 112 calculates the similarity between the selected small image and multiple small images that have not been selected.
  • the selection unit 112 calculates the similarity between all small images that have already been selected and small images that have not yet been selected.
  • the selection unit 112 selects two or more small images that are effective for machine learning by repeating such processing a predetermined number of times.
  • the predetermined number of times may be determined arbitrarily. For example, in the above example, the predetermined number of times is determined based on a threshold value.
  • the similarity between each small image may be calculated from the average value of the similarity between each small image.
  • the output unit 113 outputs the two or more small images selected by the selection unit 112 in a display mode corresponding to the degree of contribution to learning of each of the two or more small images (S30). Specifically, the output unit 113 causes the display device 200 to display the two or more small images selected by the selection unit 112 in a display mode corresponding to the degree of contribution to learning of each of the two or more small images.
  • the output unit 113 may output two or more small images selected by the selection unit 112 to the learning model, thereby causing the learning model to perform machine learning.
  • Technology 1 is an image processing method executed by a computer, and includes an acquisition step (S10) of acquiring an original image showing an object, a selection step (S20) of selecting two or more small images that are effective for machine learning from among a plurality of small images generated by dividing the original image, based on the learning contribution degree of each of the plurality of small images that indicates the degree of effectiveness in machine learning, and an output step (S30) of outputting the two or more small images in a display mode according to their respective learning contribution degrees.
  • Machine learning that uses images as input requires many images as learning data.
  • multiple images with similar image features such as the same shape and arrangement of objects in the images, are less effective for machine learning than multiple images with dissimilar image features. Therefore, by using multiple images with dissimilar image features for machine learning, machine learning can be performed effectively, for example, so that appropriate output can be obtained even with a small number of images for machine learning. Therefore, in an image processing method according to one aspect of the present disclosure, from multiple small images generated by dividing an original image, two or more small images that are effective for machine learning are output in a display mode corresponding to each learning contribution level based on the learning contribution level indicating the degree of effectiveness of each of the multiple small images in machine learning. According to this, since the small images can be displayed in a mode corresponding to the learning contribution level, it is easy for the user to select images that are effective for machine learning.
  • Technology 2 is an image processing method described in Technology 1, in which the learning contribution of each of the multiple small images is determined based on the similarity between the multiple small images, and in the selection step, two or more small images are selected based on the similarity between the multiple small images and a threshold value for the similarity.
  • the image processing method is a method for automatically selecting learning images using similarity, and selects small images that are effective for learning based on the similarity between small images.
  • small images that are not similar to each other, i.e., have low similarity can be automatically selected from among multiple candidates (i.e., multiple small images), so that two or more small images that are effective for machine learning can be appropriately selected.
  • the discrimination performance of the learning model can be improved with a smaller number of small images.
  • Technique 3 is the image processing method described in technique 2, in which each of the two or more small images is an image of a normal area that does not contain any defects of the object in the original image.
  • the image processing method according to one aspect of the present disclosure is particularly effective for images of normal regions.
  • Technique 4 is an image processing method described in Technique 2 or 3, in which the larger the threshold value, the greater the number of small images (two or more).
  • the threshold increases, the number of small images (two or more) displayed on the display device 200 increases.
  • the threshold can be set high to easily change the display mode of images that are effective for machine learning to one that is easy for the user to understand.
  • Technology 5 is an image processing method according to any one of techniques 2 to 4, in which, in the selection step, two or more small images are selected by repeatedly executing a process of selecting one small image from among a plurality of small images excluding all of the small images already selected, based on the similarity between the plurality of small images excluding all of the small images already selected and all of the small images selected.
  • the similarity between selected and unselected small images is calculated, and the small image that will be most effective for the next learning step is selected.
  • Technology 6 is an image processing method according to any one of techniques 2 to 5, in which the thresholds include a first threshold and a second threshold greater than the first threshold, and in the selection step, two or more small images including a first image having a similarity less than the first threshold and a second image having a similarity equal to or greater than the first threshold and less than the second threshold are selected from the plurality of small images, and in the output step, the first image and the second image are output in different display modes.
  • Technology 7 is an image processing method according to Technology 6, which further includes a receiving step of receiving a first instruction indicating a first threshold value or a second threshold value, and in an output step, a display mode of two or more small images is determined and output based on the first instruction received in the receiving step.
  • the output step first, as shown in FIG. 4, a combination of a threshold and a frame line corresponding to the threshold is output (displayed).
  • a selection of a threshold desired by the user is received from the user.
  • the output step second output step
  • the display mode of the small image for example, a frame line
  • the image shown in FIG. 5 is output in the second output step.
  • the small image selected in this way and below the threshold is used for machine learning of the learning model.
  • an objective evaluation image similarity value is used, which may differ from the similarity when viewed by a human.
  • the image to be used for machine learning is ultimately selected based on the threshold selected by the user, thereby filling in the gap between the judgments of a computer and a human.
  • Technology 8 is an image processing method according to any one of techniques 2 to 7, in which the thresholds include a first threshold and a second threshold greater than the first threshold, and in the selection step, two or more small images including a first image having a similarity less than the first threshold and a second image having a similarity equal to or greater than the first threshold and less than the second threshold are selected from the plurality of small images, and in the output step, information indicating that the first image is a small image having a higher contribution to learning than the second image is output.
  • the display device 200 displays a small image selected when the similarity threshold is small as a small image with a high degree of contribution to learning.
  • images selected based on a relatively small threshold value indicate images that are dissimilar to one another, and so users can easily select small images with the same features as images to be used in machine learning, that is, images with a high degree of contribution to learning.
  • the smaller the threshold value is the more dissimilar the small images selected are, and the more likely it is that multiple small images that have the same label (e.g., a predetermined feature such as brightness) and various different features for that label will be selected by the user as images for learning.
  • Technology 9 is an image processing method according to any one of techniques 1 to 8, further including a receiving step of receiving a second instruction indicating which small images, starting from the small image with the highest learning contribution, among two or more small images ranked based on the degree of learning contribution, are to be used for machine learning.
  • Technology 10 is an image processing method according to any one of techniques 1 to 9, in which, in the output step, a plurality of small images are output, each of which has different decorations around or inside the two or more small images based on the learning contribution of each of the two or more small images.
  • Technology 11 is an image processing method according to Technology 10, in which the decorating step includes adding a border around each of the two or more small images, and in the output step, at least one display mode of the border thickness, the border color, and the border shape is determined based on the learning contribution of each of the two or more small images.
  • Technology 12 is the image processing method described in Technology 10 or 11, in which the decoration includes at least one of correcting the hue, saturation, and brightness of each of the two or more small images.
  • Technology 13 is the image processing method described in Technology 11, in which, in the output step, two or more small images are bordered with a thicker border for images with a higher learning contribution and a thinner border for images with a lower learning contribution, and the image processing method further includes a receiving step of receiving a third instruction indicating the thickness of the border, and determining, as an image to be used for machine learning, a small image among the two or more small images that is decorated with a border line thicker than that indicated by the third instruction.
  • Technology 14 is an image processing method according to any one of techniques 1 to 13, in which the object is an industrial product.
  • Machine learning using images is used for various applications, such as inspecting industrial products such as parts of electrical equipment and identifying people. Unlike people, for example, identical industrial products are mechanically produced, so even images of the same industrial product that show different objects often have high similarity. In addition, unnecessary processing is rarely performed to facilitate manufacturing, and there may be many parts with high similarity even within a single image. For this reason, the image processing method according to one aspect of the present disclosure is particularly effective when dealing with images that tend to contain highly similar images, such as industrial products.
  • Technology 15 is an image processing method according to any one of techniques 1 to 14, in which, in the output step, information about two or more small images is output in order of the degree of contribution to learning.
  • Technology 16 is a program for causing a computer to execute the image processing method described in any one of Technologies 1 to 15.
  • Technology 17 is an image processing device 100 that includes an acquisition unit 111 that acquires an original image showing an object, a selection unit 112 that selects two or more small images that are effective for machine learning from among a plurality of small images generated by dividing the original image, based on the learning contribution degree that indicates the degree of effectiveness of each of the plurality of small images in machine learning, and an output unit 113 that outputs the two or more small images in a display mode according to their respective learning contribution degrees.
  • the image processing device 100 is realized as a single device, but it may be realized by multiple devices.
  • the components of the image processing device described in the above embodiment may be distributed in any manner among the multiple devices.
  • processing performed by a specific processing unit may be executed by another processing unit.
  • the order of multiple processes may be changed, and multiple processes may be executed in parallel.
  • each component may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU (Central Processing Unit) or a processor reading and executing a software program recorded on a recording medium such as a hard disk or semiconductor memory.
  • a program execution unit such as a CPU (Central Processing Unit) or a processor reading and executing a software program recorded on a recording medium such as a hard disk or semiconductor memory.
  • each component may be realized by hardware.
  • Each component may be a circuit (or an integrated circuit). These circuits may form a single circuit as a whole, or each may be a separate circuit. Furthermore, each of these circuits may be a general-purpose circuit, or a dedicated circuit.
  • the general or specific aspects of the present disclosure may be realized in a system, an apparatus, a method, an integrated circuit, a computer program, or a non-transitory recording medium such as a computer-readable CD-ROM.
  • the present disclosure may be realized in any combination of a system, an apparatus, a method, an integrated circuit, a computer program, and a recording medium.
  • the present disclosure may be realized as an image processing method executed by a computer such as an image processing device.
  • the present disclosure may also be realized as a program for causing a computer to execute the image processing method, or as a computer-readable non-transitory recording medium on which such a program is recorded.
  • this disclosure also includes forms obtained by applying various modifications to each embodiment that a person skilled in the art may conceive, or forms realized by arbitrarily combining the components and functions of each embodiment within the scope of the spirit of this disclosure.
  • the present disclosure is useful as an image processing device that presents images to a user.
  • REFERENCE SIGNS LIST 100 Image processing device 110 Information processing unit 111 Acquisition unit 112 Selection unit 113 Output unit 114 Reception unit 120 Storage unit 200 Display device 210 Input device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本開示の一態様に係る画像処理方法は、コンピュータにより実行される画像処理方法であって、対象物が映る原画像を取得する取得ステップ（Ｓ１０）と、原画像を分割することで生成される複数の小画像の中から、複数の小画像のそれぞれの、機械学習における効果の程度を示す学習寄与度に基づいて、機械学習に効果のある２以上の小画像を選択する選択ステップ（Ｓ２０）と、２以上の小画像をそれぞれの学習寄与度に応じた表示態様で出力する出力ステップ（Ｓ３０）と、を含む。

Description

画像処理方法、プログラム、および、画像処理装置
　本開示は、画像処理方法、プログラム、および、画像処理装置に関する。
　従来、学習モデルを用いて画像に映る解析対象を診断するシステムがある。学習モデルに機械学習させる際には、機械学習させるための学習データとして画像が必要になる。
　特許文献１には、入力した画像から識別器を学習させるための複数の学習画像を切出し、学習画像を１つ以上の集合に分類して学習画像を表示するプログラムが開示されている。ユーザが表示された学習画像を選択することで、最終的な学習画像が決定される。
２０１１－１４５７９１号公報
　識別器などの学習モデルの機械学習には、多くの機械学習用の画像が必要となる。機械学習用画像の構成に類似度の高い画像が多く存在すると、学習時間が大きくなる、データ分布が本来持つべき分布とは異なり、識別器の弁別性が劣化する場合があるなどの問題が発生する。そこで、機械学習用の画像が少なく、かつ、学習モデルの性能を向上できるような、効果的に機械学習させることができる画像が簡単に選択できることが望まれている。
　本開示は、機械学習に効果的な画像を選択しやすくできる画像処理方法などを提供する。
　本開示の一態様に係る画像処理方法は、コンピュータにより実行される画像処理方法であって、対象物が映る原画像を取得する取得ステップと、前記原画像を分割することで生成される複数の小画像の中から、前記複数の小画像のそれぞれの、機械学習における効果の程度を示す学習寄与度に基づいて、機械学習に効果のある２以上の小画像を選択する選択ステップと、前記２以上の小画像をそれぞれの学習寄与度に応じた表示態様で出力する出力ステップと、を含む。
　本開示の一態様に係るプログラムは、本開示の一態様に係る画像処理方法をコンピュータに実行させるためのプログラムである。
　本開示の一態様に係る画像処理装置は、対象物が映る原画像を取得する取得部と、前記原画像を分割することで生成される複数の小画像の中から、前記複数の小画像のそれぞれの、機械学習における効果の程度を示す学習寄与度に基づいて、機械学習に効果のある２以上の小画像を選択する選択部と、前記２以上の小画像をそれぞれの学習寄与度に応じた表示態様で出力する出力部と、を備える。
　本開示によれば、機械学習に効果的な画像を選択しやすくできる画像処理方法などを提供できる。
図１は、実施の形態に係る画像処理装置の構成を示すブロック図である。 図２は、実施の形態に係る画像処理装置が２以上の小画像の表示態様を決定する処理を説明するための図である。 図３は、実施の形態に係る原画像における正常領域および異常領域を説明するための図である。 図４は、実施の形態に係る画像処理装置が出力する画像の第１例を説明するための図である。 図５は、実施の形態に係る画像処理装置が出力する画像の第２例を説明するための図である。 図６は、実施の形態に係る画像処理装置が出力する画像の第３例を説明するための図である。 図７は、実施の形態に係る画像処理装置の処理手順を示すフローチャートである。
　以下、本開示の実施の形態について、図面を参照しながら説明する。なお、以下に説明する実施の形態は、本開示の一具体例を示すものである。したがって、以下の実施の形態で示される、数値、形状、材料、構成要素、構成要素の配置位置および接続形態などは、一例であって本開示を限定する主旨ではない。よって、以下の実施の形態における構成要素のうち独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　なお、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略または簡略化する。
　（実施の形態）
　［構成］
　まず、実施の形態に係る画像処理装置１００の構成について説明する。
　図１は、実施の形態に係る画像処理装置１００の構成を示すブロック図である。
　画像処理装置１００は、カメラなどの撮像装置が対象物（ワーク）を撮像することにより生成された画像（原画像）に基づく画像（小画像）を表示させる装置である。具体的には、画像処理装置１００は、原画像を分割することで生成される複数の小画像の中から、原画像に映る対象物に欠陥が含まれているか否かを判定するための学習モデルに機械学習（ＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）学習）させるための小画像（以下、学習用画像ともいう）を選択するための学習用画像自動選択装置である。
　機械学習では、例えば、対象物を撮像することで得られる様々な学習用画像と、それぞれの学習用画像に対して欠陥があるまたは正常であることを示す情報（アノテーション情報）とによって学習モデルを機械学習させる。
　ここで、学習用画像には、学習モデルを効果的に機械学習させることができる、つまり、少ない枚数で学習モデルの性能を向上させることができる画像がある。一方、学習用画像によっては、学習モデルを効果的に機械学習させることができない画像もある。特に、欠陥を含まない正常領域の小画像の選択には多数の候補が存在するが、どの候補を選択すれば機械学習に効果があるかどうかが不明瞭であるという課題がある。
　そこで、画像処理装置１００は、学習モデルを効果的に学習させることができる学習用画像をユーザにとって分かりやすいように出力する。
　なお、ここでいう性能とは、例えば、機械学習させた学習モデルに原画像を入力した際の欠陥を正しく抽出できる、または、欠陥がないことを正しく判定できる正解率である。
　画像処理装置１００は、例えば、パーソナルコンピュータまたはタブレット端末などのコンピュータである。具体的に例えば、画像処理装置１００は、表示装置２００および入力装置２１０と通信するための通信インターフェース、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、信号の送受信をするための入出力ポート、プログラムを実行するプロセッサなどで実現される。当該通信インターフェースは、有線通信可能なように通信線が接続されるコネクタなどにより実現されてもよいし、無線通信可能なようにアンテナおよび無線通信回路などにより実現されてもよい。
　画像処理装置１００は、情報処理部１１０と、記憶部１２０と、を備える。
　情報処理部１１０は、画像処理装置１００が実行する各種処理を行う処理部である。例えば、情報処理部１１０は、取得した原画像に対して画像処理を行うことで得られる複数の小画像を表示装置２００に出力することで、表示画像に複数の小画像を表示させる。
　図２は、実施の形態に係る画像処理装置１００が２以上の小画像の表示態様を決定する処理を説明するための図である。
　例えば、情報処理部１１０は、図２の（ａ）に示すような対象物の映る原画像を取得し、取得した原画像を分割することで図２の（ｂ）に示すような複数の小画像を生成する。図２の（ｂ）に示す例では、情報処理部１１０は、原画像から１４×９＝１２６枚の小画像を生成している。さらに、情報処理部１１０は、図２の（ｃ）に示すように、複数の小画像のそれぞれの、機械学習における効果の程度を示す学習寄与度に基づいて選択される、機械学習に効果のある２以上の小画像を、２以上の小画像の学習寄与度に応じた表示態様で出力する。図２の（ｃ）に示す例では、所定の学習寄与度未満の小画像とは異なり、所定の学習寄与度以上の小画像の外縁が、太線、破線、または、一点鎖線となるように、表示態様が変更されている。
　なお、機械学習に効果のある、とは、例えば、所定の学習寄与度以上であることを示す。所定の学習寄与度は、任意に定められてよい。
　複数の小画像のそれぞれの学習寄与度は、例えば、複数の小画像同士の類似度に基づいて決定される。類似度は、例えば、２つの小画像の同じ位置の各ピクセルの輝度差または色差などの差分の平均値から算出される。例えば、平均値が大きいほど、類似度が低くなるように算出される。算出された類似度から学習寄与度が決定される。学習寄与度は、例えば、類似度が低いほど、学習寄与度が高くなるように設定される。
　例えば、情報処理部１１０は、１以上のプロセッサにより実現される。
　情報処理部１１０は、取得部１１１と、選択部１１２と、出力部１１３と、受付部１１４と、記憶部１２０と、を備える。
　取得部１１１は、対象物が映る原画像を取得する処理部である。具体的には、取得部１１１は、第１対象物が映る原画像を取得する。
　対象物は、学習モデルによって検査される物体である。取得部１１１は、例えば、対象物を撮影する撮像装置から、図２の（ａ）に示すような対象物が映る原画像を取得する。
　対象物は、例えば、工業製品である。本実施の形態では、対象物は、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）などの電子部品である。
　なお、対象物は、電子部品ではなく基板などの任意の物体でよい。
　撮像装置は、対象物を撮像することで原画像を生成するカメラである。撮像装置は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどによって実現される。
　なお、取得部１１１は、画像処理装置１００が備える通信インターフェースを介してサーバ装置などから原画像を取得してもよい。
　選択部１１２は、原画像を分割することで生成される複数の小画像の中から、複数の小画像のそれぞれの、機械学習における効果の程度を示す学習寄与度に基づいて、機械学習に効果のある２以上の小画像を選択する処理部である。
　まず、選択部１１２は、原画像を分割することで複数の小画像を生成する。原画像の分割のされ方は、任意に定められてよい。例えば、複数の小画像の数は、任意に定められてよい。また、複数の小画像は、矩形であってもよいし、三角形または円形などの任意の形状であってよい。また、複数の小画像同士のサイズおよび形状は、同じであってもよいし、異なっていてもよい。
　次に、選択部１１２は、複数の小画像の中から任意の１枚の画像を選択する。ここで選択される画像は、任意に定められてよい。図２の（ｃ）に示す例では、複数の小画像の中から、まず、複数の小画像のうち、図２の（ｃ）に示す最も左上に位置する小画像が選択される。
　次に、選択部１１２は、選択した小画像と、選択していない複数の小画像との類似度を算出する。さらに、選択部１１２は、選択していない複数の小画像の中で、最も類似度が低い画像を選択する。
　選択部１１２は、このような小画像の選択及び類似度の算出の処理（選択処理ともいう）を所定の回数繰り返すことにより、機械学習に効果のある２以上の小画像を選択する。つまり、選択部１１２は、既に選択したすべての小画像を除く複数の小画像の中から、当該既に選択したすべての小画像を除く複数の小画像と、当該既に選択したすべての小画像との類似度に基づいて１つの小画像を選択する処理を繰り返し実行することで２以上の小画像を選択する。以上のような処理によって、例えば、選択部１１２は、複数の小画像の中から、複数の小画像のそれぞれの、機械学習における効果の程度を示す学習寄与度（より具体的には、類似度）に基づいて、機械学習に効果のある２以上の小画像を選択する。
　なお、所定の回数は、任意に定められてよい。例えば、所定の回数は、閾値に基づいて決定される。例えば、選択部１１２は、複数の小画像同士の類似度と、当該類似度の閾値とに基づいて、２以上の小画像を選択する。例えば、閾値が０．２である場合、選択部１１２は、算出される類似度が０．２以下の小画像がなくなるまで、選択処理を繰り返し行う。
　所定の回数は、例えばユーザにより任意に決定されてもよい。例えば、受付部１１４は、所定の回数を示す情報または閾値を示す情報を、入力装置２１０を介してユーザから受け付けてもよい。
　例えば、閾値が大きいほど、２以上の小画像の数が多くなる。言い換えると、選択部１１２は、閾値が大きいほど、多くの小画像を選択する。
　なお、閾値は、１つでもよいし、複数であってもよい。例えば、閾値は、第１閾値と、第１閾値より値が大きい第２閾値とを含み、選択部１１２は、複数の小画像の中から、第１閾値未満の類似度の第１画像と、第１閾値以上第２閾値未満の類似度の第２画像とを含む２以上の小画像を選択する。
　また、例えば、選択部１１２が選択する２以上の小画像は、それぞれ、原画像における対象物の欠陥が含まれていない正常領域の画像である。
　図３は、実施の形態に係る原画像における正常領域および異常領域を説明するための図である。具体的には、図３は、原画像を分割した複数の小画像を示す図である。
　正常領域とは、原画像における、傷、欠け、汚れ、または、ごみの付着などの欠陥がない領域である。図３に示す例では、「正常領域」に含まれる小画像は、複数の小画像のうち、太線で囲まれた４つの小画像以外の小画像である。一方、異常領域とは、原画像におけるこのような欠陥がある領域である。図３に示す例では、「異常領域」に含まれる小画像は、複数の小画像のうち、太線で囲まれた４つの小画像である。
　選択部１１２は、例えば、２以上の小画像を選択する際には、欠陥の含まれている異常領域の小画像は選択せず、欠陥の含まれていない正常領域の小画像の中から２以上の小画像を選択する。
　例えば、取得部１１１が取得した原画像は、出力部１１３によって表示装置２００に出力されることで表示装置２００に表示される。ユーザは、入力装置２１０を操作することで、原画像のおける欠陥の位置を入力する。受付部１１４は、当該入力を受け付ける。選択部１１２は、受付部１１４が受け付けた当該入力に基づいて、欠陥の含まれていない正常領域の小画像の中から２以上の小画像を選択する。このとき、例えば、選択部１１２は、当該入力に基づいて、複数の小画像に対して、正常であること（例えば、欠陥ではないこと）を示す情報または異常であること（例えば、欠陥があること）を示す情報、つまり、アノテーション情報を付して記憶部１２０に記憶させてもよい。
　出力部１１３は、選択部１１２が選択した２以上の小画像をそれぞれの学習寄与度に応じた表示態様で出力する処理部である。具体的には、出力部１１３は、選択部１１２が選択した２以上の小画像をそれぞれの学習寄与度に応じた表示態様に変更し、表示態様を変更した２以上の小画像を含む画像情報を表示装置２００に出力することで、表示装置２００に表示態様を変更した２以上の小画像を表示させる。
　なお、２以上の小画像を出力する、とは、２以上の小画像を含む画像が出力されればよく、２以上の小画像を含む、原画像が分割されることで生成された複数の小画像が出力されてもよいし、原画像における２以上の小画像に対応する箇所の表示態様が変更されて出力されてもよい。
　また、表示態様は、任意に定められてよい。例えば、出力部１１３は、２以上の小画像のそれぞれの周囲または内部に、２以上の小画像のそれぞれの学習寄与度に基づいて異なる装飾を付けた複数の小画像を出力する。
　ここで、装飾を付けることは、例えば、２以上の小画像のそれぞれの周囲に枠線を付けることを含む。例えば、出力部１１３は、２以上の小画像のそれぞれの学習寄与度に基づいて、枠線の太さ、枠線の色、および、枠線の形態の少なくとも１つの表示態様を決定する。枠線の形態とは、線種であって、実線、点線、破線、および、一点鎖線などの線の形態である。例えば、出力部１１３は、２以上の小画像に、学習寄与度が高いものほど太く、かつ、学習寄与度が低いものほど細くなるように枠線を付ける。
　図４は、実施の形態に係る画像処理装置１００が出力する画像の第１例を説明するための図である。具体的には、出力部１１３に出力され、表示装置２００に表示される画像情報の一例を示す図である。
　図４に示すように、例えば、表示装置２００には、原画像における、所定の学習寄与度以上の小画像に対応する箇所が、実線、破線、および、一点鎖線のいずれかによって囲まれた原画像が表示される。例えば、選択部１１２が、複数の小画像の中から、第１閾値未満の類似度の第１画像と、第１閾値以上第２閾値未満の類似度の第２画像と、第２閾値以上第３閾値未満の類似度の第３画像と、を選択したとする。この場合、例えば、出力部１１３は、原画像における、第１画像（図４に示す「最も学習寄与度が高い小画像」）に対応する箇所を実線で囲み、第２画像（図４に示す「実線四角の次に学習寄与度が高い小画像」）に対応する箇所を破線で囲み、第３画像（図４に示す「破線矩形の次に学習寄与度が高い小画像」）に対応する箇所を一点鎖線で囲むように、２以上の小画像の表示態様を変更する。このように、例えば、出力部１１３は、第１画像と第２画像とを異なる表示態様で出力する。本例では、出力部１１３は、第１画像と第２画像とが異なる表示態様で示された原画像を出力している。例えば、出力部１１３は、第１画像が第２画像よりも学習寄与度が高い小画像であることを示す情報を出力する。当該情報は、例えば、図４に示す「最も学習寄与度が高い小画像」のように、２以上の小画像の学習寄与度（つまり、類似度）に関する説明を示す情報である。
　また、例えば、出力部１１３は、２以上の小画像に関する情報を学習寄与度の高い順に出力する。図４に示す例では、出力部１１３は、２以上の小画像に関する説明（例えば、「最も学習寄与度が高い小画像」）が、表示装置２００に表示される画像の上から学習寄与度の高い順に並ぶように、画像情報を出力する。
　なお、２以上の小画像に関する情報を学習寄与度の高い順に出力するとは、例えば、図４に示す２以上の画像を囲む実線、破線、および、一点鎖線が、この順に時間的に順次変更されて表示されることを含んでもよい。例えば、実線、破線、および、一点鎖線のうち、実線のみが表示され、所定の時間後には破線のみが表示され、さらに所定の時間後には一点鎖線のみが表示され、これらの表示が繰り返し変更されてもよい。このように、２以上の小画像に関する情報には、２以上の小画像を説明するための情報、および、枠線などの２以上の小画像の表示態様などが含まれてもよい。また、高い順に、とは、上から、などのように空間的な順序であってもよいし、時間的な順序であってもよい。
　また、２以上の小画像に装飾を付けることは、例えば、２以上の小画像のそれぞれの、色相の補正、彩度の補正、および、明度の補正を行うことの少なくとも１つを含む。例えば、出力部１１３は、２以上の小画像に対して、暖色系などの膨張色に近づけるような補正をしたり、彩度を上げる補正をしたり、明度を上げる補正をすることで、ユーザの目を引くような補正を行う。もちろん、出力部１１３は、２以上の小画像のそれぞれの周囲に枠線を付け、かつ、色相の補正などの画像の補正を行うことにより、表示態様を変更してもよい。また、例えば、複数の小画像の中の選択部１１２によって選択されていない小画像（つまり、２以上の小画像以外の小画像）に対して、色相の補正などの表示態様の変更が行われてもよい。例えば、複数の小画像の中の選択部１１２によって選択されていない小画像に対して、明度を下げるなどして見えにくくするなどの補正がされてもよい。
　受付部１１４は、ユーザの操作を受け付ける処理部である。受付部１１４は、例えば、入力装置２１０を介してユーザの操作を受け付ける。受付部１１４は、例えば、原画像に含まれる異常領域（あるいは、欠陥）の位置を示す位置情報の入力を受け付ける。ユーザは、例えば、表示装置２００に表示された原画像または小画像を見て、当該原画像または当該小画像に含まれる異常領域の位置、または、欠陥が含まれる小画像を、入力装置２１０を用いて入力する。受付部１１４は、例えば、当該入力を位置情報として受け付ける。
　なお、受付部１１４は、第１閾値または第２閾値を示す第１指示を受け付け、出力部１１３は、受付部１１４で受け付けた第１指示に基づいて、２以上の小画像の表示態様を決定して出力してもよい。つまり、第１指示に基づいて、表示装置２００に表示される画像情報における２以上の画像の表示態様が変更されてもよい。
　図５は、実施の形態に係る画像処理装置１００が出力する画像の第２例を説明するための図である。図６は、実施の形態に係る画像処理装置１００が出力する画像の第３例を説明するための図である。図５および図６に示す例では、図４に示す第１例と同様に、選択部１１２が、複数の小画像の中から、第１閾値未満の類似度の第１画像と、第１閾値以上第２閾値未満の類似度の第２画像と、第２閾値以上第３閾値未満の類似度の第３画像と、を選択したとする。また、本例では、第１閾値は、閾値＝０．２であり、第２閾値は、閾値＝０．４であり、第３閾値は、閾値＝０．６である。
　第２例では、出力部１１３は、まず、第１画像に対応する小画像に枠線を付けた画像情報を出力する。これにより、図５に示すように、表示装置２００には、閾値＝０．２の条件で選択部１１２に選択された小画像である第１画像に対応する箇所に枠線が付された原画像が表示される。
　次に、例えば、受付部１１４が、第１指示として閾値＝０．４の選択を受け付けたとする。この場合、出力部１１３は、第１画像および第２画像に対応する小画像に枠線を付けた画像情報を出力する。これにより、図６に示すように、表示装置２００には、閾値＝０．２の条件で選択部１１２に選択された小画像である第１画像に対応する箇所に実線の枠線が付され、かつ、閾値＝０．２の条件で選択部１１２に選択されず閾値＝０．４の条件で選択部１１２に選択された小画像である第２画像に対応する箇所に破線の枠線が付された原画像が表示される。
　例えば、ユーザは、このように閾値を選択することで、２以上の小画像のうち、機械学習に用いる小画像を選択する。例えば、ユーザが閾値＝０．２を選択した場合、第１画像が機械学習に用いられる学習用画像として決定される。また、例えば、ユーザが閾値＝０．４を選択した場合、第１画像および第２画像が機械学習に用いられる学習用画像として決定される。例えば、出力部１１３は、第１指示を受付部１１４が受け付けた場合、第１指示に基づいて２以上の小画像の中から学習用画像を決定して、学習用画像であることを示す情報を記憶部１２０に記憶させる。例えば、出力部１１３は、受付部１１４が機械学習させる指示を受け付けた場合、当該情報に基づいて学習用画像を選択し、選択した学習用画像を学習モデルに入力することで、学習モデルに機械学習させる。
　なお、複数の小画像の中からの学習用画像の決定は、任意になされてよい。
　例えば、受付部１１４は、学習寄与度の高さに基づき順番が付けられた２以上の小画像のうち、学習寄与度が最も高い小画像から何番目までの小画像を機械学習に用いるかを示す第２指示を受け付ける。これにより、学習用画像が決定されてもよい。選択部１１２は、例えば、上記の選択処理を全ての小画像について繰り返し実行することで、全ての小画像に対して類似度を算出し、算出した類似度に基づいて学習寄与度を算出してもよい。なお、全ての小画像に対して学習寄与度を算出する際には、選択部１１２は、全ての小画像の学習寄与度を算出した後に、表示態様を変更する２以上の小画像を選択してもよい。
　また、例えば、出力部１１３が、２以上の小画像に、学習寄与度が高いものほど太く、かつ、学習寄与度が低いものほど細くなるように枠線を付ける場合には、受付部１１４が、枠線の太さを示す第３指示を受け付けることで、２以上の小画像のうち、第３指示が示す枠線よりも太い線で装飾された小画像を機械学習に用いる画像に決定されてもよい。
　なお、取得部１１１と、選択部１１２と、出力部１１３と、受付部１１４とは、例えば、共通のプロセッサによって実現されてもよいし、それぞれ独立したプロセッサにより実現されてもよい。
　記憶部１２０は、取得部１１１、選択部１１２、出力部１１３、および、受付部１１４などの処理部が各処理を行うために実行するプログラム、当該処理に必要な情報、ならびに、検査画像などが記憶される記憶装置である。記憶部１２０は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、および／または、半導体メモリなどによって実現される。
　表示装置２００は、画像処理装置１００（より具体的には、出力部１１３）の制御に基づいて画像を表示するディスプレイである。表示装置２００は、例えば、２以上の小画像を含む複数の小画像（つまり、原画像）を表示する。表示装置２００は、例えば、液晶パネルまたは有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルなどの表示デバイスによって実現される。
　入力装置２１０は、ユーザの操作を受け付けるユーザインターフェースである。入力装置２１０は、マウス、キーボード、タッチパネルおよび／またはハードウェアボタンなどによって実現される。
　なお、表示装置２００および入力装置２１０は、タッチパネルディスプレイなどにより一体で実現されてもよい。
　［処理手順］
　続いて、実施の形態に係る画像処理装置１００の処理手順について説明する。
　図７は、実施の形態に係る画像処理装置１００の処理手順を示すフローチャートである。
　まず、取得部１１１は、対象物が映る原画像を取得する（Ｓ１０）。例えば、取得部１１１は、図示しないカメラから、画像処理装置１００が備える通信インターフェースなどを介して原画像を取得する。
　なお、原画像は、例えば、記憶部１２０に記憶されていてもよい。この場合、取得部１１１は、例えば、記憶部１２０から原画像を取得する。
　次に、選択部１１２は、原画像を分割することで生成される複数の小画像の中から、複数の小画像のそれぞれの、機械学習における効果の程度を示す学習寄与度に基づいて、機械学習に効果のある２以上の小画像を選択する（Ｓ２０）。具体的には、選択部１１２は、取得部１１１が取得した原画像を分割することで複数の小画像を生成する。次に、選択部１１２は、複数の小画像の中から任意の１枚の画像を選択する。上記の例では、例えば、複数の小画像の中から、まず、図２の（ｃ）に示す最も左上に位置する小画像が選択される。次に、選択部１１２は、選択した小画像と、選択していない複数の小画像との類似度を算出する。選択部１１２は、既に選択したすべての小画像と、未だ選択していない小画像との類似度を算出する。選択部１１２は、このような処理を所定の回数繰り返すことにより、機械学習に効果のある２以上の小画像を選択する。所定の回数は、任意に定められてよい。例えば、上記の例では、所定の回数は、閾値に基づいて決定される。
　なお、各小画像の類似度は、各小画像との類似度の平均値などから算出されてもよい。
　次に、出力部１１３は、選択部１１２が選択した２以上の小画像をそれぞれの学習寄与度に応じた表示態様で出力する（Ｓ３０）。具体的には、出力部１１３は、選択部１１２が選択した２以上の小画像を、当該２以上の小画像のそれぞれの学習寄与度に応じた表示態様となるように、表示装置２００に表示させる。
　なお、出力部１１３は、選択部１１２が選択した２以上の小画像を学習モデルに出力することで、学習モデルに機械学習を行わせてもよい。
　［効果など］
　以下、本明細書の開示内容から得られる技術を例示し、例示される技術から得られる効果等について説明する。
　技術１は、コンピュータにより実行される画像処理方法であって、対象物が映る原画像を取得する取得ステップ（Ｓ１０）と、原画像を分割することで生成される複数の小画像の中から、複数の小画像のそれぞれの、機械学習における効果の程度を示す学習寄与度に基づいて、機械学習に効果のある２以上の小画像を選択する選択ステップ（Ｓ２０）と、２以上の小画像をそれぞれの学習寄与度に応じた表示態様で出力する出力ステップ（Ｓ３０）と、を含む、画像処理方法である。
　画像を入力とする機械学習には、学習データとして多くの画像が必要になる。ここで、例えば、画像に映る対象物の形状および配置などが同一であるような、画像の特徴が互いに類似する複数の画像は、画像の特徴が互いに類似しない複数の画像に比べて、機械学習への効果が低い。そのため、画像の特徴が互いに類似しない複数の画像が機械学習に用いられることで、効果的に、例えば、機械学習用の画像が少なくても適切な出力が行えるように機械学習が実行され得る。そこで、本開示の一態様に係る画像処理方法では、原画像を分割することで生成される複数の小画像の中から、複数の小画像のそれぞれの、機械学習における効果の程度を示す学習寄与度に基づいて、機械学習に効果のある２以上の小画像をそれぞれの学習寄与度に応じた表示態様で出力する。これによれば、小画像を学習寄与度に応じた表示態様とできるため、ユーザが、機械学習に効果的な画像を選択しやすくできる。
　技術２は、複数の小画像のそれぞれの学習寄与度は、複数の小画像同士の類似度に基づいて決定され、選択ステップでは、複数の小画像同士の類似度と、当該類似度の閾値とに基づいて、２以上の小画像を選択する、技術１に記載の画像処理方法である。
　このように、本開示の一態様に係る画像処理方法は、類似度を用いた学習画像自動選択方法であって、小画像同士の類似度に基づいて学習に効果のある小画像を選択する。
　これによれば、複数の候補（つまり、複数の小画像）の中から互いに類似しない、つまり、類似度の低い小画像が自動で選択できるため、機械学習に効果のある２以上の小画像を適切に選択できる。このように選択された２以上の小画像が機械学習に用いられることで、より少ない数の小画像で学習モデルの弁別性能が向上され得る。
　技術３は、２以上の小画像は、それぞれ、原画像における対象物の欠陥が含まれていない正常領域の画像である、技術２に記載の画像処理方法である。
　正常領域の画像は、大量に存在し、どの正常領域の画像が機械学習に効果があるかどうかが不明瞭であり、どの画像が機械学習に効果的であるかを決定するには、試行錯誤が必要である。一方、異常領域の画像は、正常領域の画像に比べて、局所的かつ画像の特徴量が明確であるため、どの画像が機械学習に効果的であるかを決定するために、試行錯誤をそこまで必要としない。そのため、本開示の一態様に係る画像処理方法は、正常領域の画像に対して特に効果的である。
　技術４は、閾値が大きいほど、２以上の小画像の数が多くなる、技術２または３に記載の画像処理方法である。
　つまり、閾値が大きくなると、表示装置２００に表示される２以上の小画像の数が増える。
　上記の通り、画像同士の類似度は低いほど機械学習に効果の高い、つまり、学習寄与度の高い画像であると考えられる。そのため、閾値が大きく設定されるほど、選択される２以上の小画像の数は多くなる。そのため、例えば、ユーザに、多くの画像から機械学習に用いられる画像を選択したいというような要望がある場合には、閾値を高く設定することで、機械学習に効果のある画像を簡単にユーザに分かりやすい表示態様が変更できる。
　技術５は、選択ステップでは、既に選択したすべての小画像を除く複数の小画像の中から、当該既に選択したすべての小画像を除く複数の小画像と、当該に選択したすべての小画像との類似度に基づいて１つの小画像を選択する処理を繰り返し実行することで２以上の小画像を選択する、技術２～４のいずれか１つに記載の画像処理方法である。
　つまり、選択済み小画像と未選択済み小画像間で類似度を計算し、次の学習に効果のある小画像を選択する。
　これによれば、選択された画像に対する類似性が低い画像が繰り返し選択されるため、複数の小画像の互いの類似性を全て算出しなくても、互いに類似性の低い画像が簡単に選択され得る。
　技術６は、閾値は、第１閾値と、第１閾値より値が大きい第２閾値とを含み、選択ステップでは、複数の小画像の中から、第１閾値未満の類似度の第１画像と、第１閾値以上第２閾値未満の類似度の第２画像とを含む２以上の小画像を選択し、出力ステップでは、第１画像と第２画像とを異なる表示態様で出力する、技術２～５のいずれか１つに記載の画像処理方法である。
　これによれば、閾値ごとに応じて類似度が近い画像同士を簡単に分類できる。
　技術７は、さらに、第１閾値または第２閾値を示す第１指示を受け付ける受付ステップを含み、出力ステップでは、受付ステップで受け付けた第１指示に基づいて、２以上の小画像の表示態様を決定して出力する、技術６に記載の画像処理方法である。
　例えば、出力ステップ（第１出力ステップ）では、まず、図４に示すように、閾値と当該閾値に応じた枠線との組み合わせが出力（表示）される。次に、受付ステップにおいて、ユーザから、ユーザが所望する閾値の選択を受け付ける。次に、出力ステップ（第２出力ステップ）では、受付ステップで受け付けた選択（閾値）に基づいて、小画像の表示態様（例えば、枠線）を変更する。例えば、第１出力ステップで図４に示す画像を出力し、受付ステップで、閾値＝０．４の選択を受け付けた場合、第２出力ステップでは、図５に示す画像を出力する。これによれば、例えばユーザが確認したい学習寄与度の小画像を簡単に出力させることができる。例えば、このように選択された閾値未満の小画像が、学習モデルの機械学習に用いられる。コンピュータによる閾値からの機械学習に用いられる画像の選択では、客観評価画像類似度値が用いられ、人間が見た場合の類似度とは異なる場合がある。このように、例えば最終的にはユーザにより選択された閾値に基づいて機械学習に用いられる画像が選択されることで、このようなコンピュータと人間との判断の差異を埋めることができる。
　技術８は、閾値は、第１閾値と、第１閾値より値が大きい第２閾値とを含み、選択ステップでは、複数の小画像の中から、第１閾値未満の類似度の第１画像と、第１閾値以上第２閾値未満の類似度の第２画像とを含む２以上の小画像を選択し、出力ステップでは、第１画像が第２画像よりも学習寄与度が高い小画像であることを示す情報を出力する、技術２～７のいずれか１つに記載の画像処理方法である。
　つまり、表示装置２００には、類似度の閾値が小さい場合に選択された小画像が、学習寄与度が高い小画像として表示される。
　これによれば、比較的小さい閾値に基づいて選択された画像は、互いに類似しない画像を示しているため、同一の特徴量を有する小画像を機械学習に用いられる画像、つまり、学習寄与度の高い画像としてユーザが簡単に選択できる。言い換えると、閾値がより小さい場合に選択された小画像ほど、互いに類似しない小画像であり、同一のラベル（例えば、輝度などの所定の特徴）を有し、かつ、当該ラベルに対する、互いに異なる様々な特徴量を有する複数の小画像が学習用画像としてユーザによって選択されやすくなる。
　技術９は、さらに、学習寄与度の高さに基づき順番が付けられた２以上の小画像のうち、学習寄与度が最も高い小画像から何番目までの小画像を機械学習に用いるかを示す第２指示を受け付ける受付ステップを含む、技術１～８のいずれか１つに記載の画像処理方法である。
　これによれば、機械学習に用いられる画像をユーザが簡単に選択できる。
　技術１０は、出力ステップでは、２以上の小画像のそれぞれの周囲または内部に、２以上の小画像のそれぞれの学習寄与度に基づいて異なる装飾を付けた複数の小画像を出力する、技術１～９のいずれか１つに記載の画像処理方法である。
　これによれば、装飾によってユーザに各小画像の学習寄与度を簡単に通知できる。
　技術１１は、装飾を付けることは、２以上の小画像のそれぞれの周囲に枠線を付けることを含み、出力ステップでは、２以上の小画像のそれぞれの学習寄与度に基づいて、枠線の太さ、枠線の色、および、枠線の形態の少なくとも１つの表示態様を決定する、技術１０に記載の画像処理方法である。
　技術１２は、装飾を付けることは、２以上の小画像のそれぞれの、色相の補正、彩度の補正、および、明度の補正を行うことの少なくとも１つを含む、技術１０または１１に記載の画像処理方法である。
　これらによれば、ユーザが装飾によってユーザに各小画像の学習寄与度を表示された各小画像を見ただけで簡単に知ることができる。
　技術１３は、出力ステップでは、２以上の小画像に、学習寄与度が高いものほど太く、かつ、学習寄与度が低いものほど細くなるように枠線を付け、画像処理方法は、さらに、枠線の太さを示す第３指示を受け付けることで、２以上の小画像のうち、第３指示が示す枠線よりも太い線で装飾された小画像を機械学習に用いる画像に決定する受付ステップを含む、技術１１に記載の画像処理方法である。
　これによれば、ユーザが装飾によってユーザに各小画像の学習寄与度を表示された各小画像を見ただけで簡単に知ることができ、かつ、機械学習に用いられる小画像を簡単に選択することができる。
　技術１４は、対象物は、工業製品である、技術１～１３のいずれか１つに記載の画像処理方法である。
　画像が用いられる機械学習は、例えば、電気機器の部品などの工業製品の検査、および、人の識別などの様々な用途に用いられる。工業製品は、例えば同じものが機械的に生産されるため、人などとは異なり、同じ工業製品であれば異なる対象物が映る画像であっても、類似性が高い画像が多い。また、製造を容易にするために、不要な加工が施されることが少なく、１つの画像内でも類似性が高い箇所が多く存在することがある。そのため、本開示の一態様に係る画像処理方法は、工業製品のような類似性が高い画像が含まれやすい画像が取り扱われる場合に特に効果的である。
　技術１５は、出力ステップでは、２以上の小画像に関する情報を学習寄与度の高い順に出力する、技術１～１４のいずれか１つに記載の画像処理方法である。
　これによれば、ユーザが、機械学習に効果的な画像を選択しやすくできる。
　技術１６は、技術１～１５のいずれか１項に記載の画像処理方法をコンピュータに実行させるための、プログラムである。
　これによれば、本開示の一態様に係る画像処理方法と同様の効果を奏する。
　技術１７は、対象物が映る原画像を取得する取得部１１１と、原画像を分割することで生成される複数の小画像の中から、複数の小画像のそれぞれの、機械学習における効果の程度を示す学習寄与度に基づいて、機械学習に効果のある２以上の小画像を選択する選択部１１２と、２以上の小画像をそれぞれの学習寄与度に応じた表示態様で出力する出力部１１３と、を備える、画像処理装置１００である。
　これによれば、本開示の一態様に係る画像処理方法と同様の効果を奏する。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　（他の実施の形態など）
　以上、実施の形態について説明したが、本開示は、上記実施の形態に限定されるものではない。
　また、上記実施の形態では、画像処理装置１００は、単一の装置として実現されたが、複数の装置によって実現されてもよい。画像処理装置が複数の装置によって実現される場合、上記実施の形態で説明された画像処理装置が備える構成要素は、複数の装置にどのように振り分けられてもよい。
　また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
　また、上記実施の形態において、各構成要素（各処理部）は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）またはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、各構成要素は、ハードウェアによって実現されてもよい。各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
　また、本開示の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　例えば、本開示は、画像処理装置などのコンピュータによって実行される画像処理方法として実現されてもよい。また、本開示は、画像処理方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。
　その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素および機能を任意に組み合わせることで実現される形態も本開示に含まれる。
　本開示は、画像をユーザに提示する画像処理装置として有用である。
　１００　画像処理装置
　１１０　情報処理部
　１１１　取得部
　１１２　選択部
　１１３　出力部
　１１４　受付部
　１２０　記憶部
　２００　表示装置
　２１０　入力装置

Claims (17)

  1. 　コンピュータにより実行される画像処理方法であって、
    　対象物が映る原画像を取得する取得ステップと、
    　前記原画像を分割することで生成される複数の小画像の中から、前記複数の小画像のそれぞれの、機械学習における効果の程度を示す学習寄与度に基づいて、機械学習に効果のある２以上の小画像を選択する選択ステップと、
    　前記２以上の小画像をそれぞれの学習寄与度に応じた表示態様で出力する出力ステップと、を含む、
    　画像処理方法。
  2. 　前記複数の小画像のそれぞれの学習寄与度は、前記複数の小画像同士の類似度に基づいて決定され、
    　前記選択ステップでは、前記複数の小画像同士の類似度と、当該類似度の閾値とに基づいて、前記２以上の小画像を選択する、
    　請求項１に記載の画像処理方法。
  3. 　前記２以上の小画像は、それぞれ、前記原画像における前記対象物の欠陥が含まれていない正常領域の画像である、
    　請求項２に記載の画像処理方法。
  4. 　前記閾値が大きいほど、前記２以上の小画像の数が多くなる、
    　請求項２に記載の画像処理方法。
  5. 　前記選択ステップでは、既に選択したすべての小画像を除く前記複数の小画像の中から、前記既に選択したすべての小画像を除く前記複数の小画像と、前記既に選択したすべての小画像との類似度に基づいて１つの小画像を選択する処理を繰り返し実行することで前記２以上の小画像を選択する、
    　請求項２に記載の画像処理方法。
  6. 　前記閾値は、第１閾値と、前記第１閾値より値が大きい第２閾値とを含み、
    　前記選択ステップでは、前記複数の小画像の中から、前記第１閾値未満の類似度の第１画像と、前記第１閾値以上前記第２閾値未満の類似度の第２画像とを含む前記２以上の小画像を選択し、
    　前記出力ステップでは、前記第１画像と前記第２画像とを異なる表示態様で出力する、
    　請求項２に記載の画像処理方法。
  7. 　さらに、前記第１閾値または前記第２閾値を示す第１指示を受け付ける受付ステップを含み、
    　前記出力ステップでは、前記受付ステップで受け付けた前記第１指示に基づいて、前記２以上の小画像の表示態様を決定して出力する、
    　請求項６に記載の画像処理方法。
  8. 　前記閾値は、第１閾値と、前記第１閾値より値が大きい第２閾値とを含み、
    　前記選択ステップでは、前記複数の小画像の中から、前記第１閾値未満の類似度の第１画像と、前記第１閾値以上前記第２閾値未満の類似度の第２画像とを含む前記２以上の小画像を選択し、
    　前記出力ステップでは、前記第１画像が前記第２画像よりも学習寄与度が高い小画像であることを示す情報を出力する、
    　請求項２に記載の画像処理方法。
  9. 　さらに、学習寄与度の高さに基づき順番が付けられた前記２以上の小画像のうち、学習寄与度が最も高い小画像から何番目までの小画像を機械学習に用いるかを示す第２指示を受け付ける受付ステップを含む、
    　請求項１に記載の画像処理方法。
  10. 　前記出力ステップでは、前記２以上の小画像のそれぞれの周囲または内部に、前記２以上の小画像のそれぞれの学習寄与度に基づいて異なる装飾を付けた前記複数の小画像を出力する、
    　請求項１に記載の画像処理方法。
  11. 　前記装飾を付けることは、前記２以上の小画像のそれぞれの周囲に枠線を付けることを含み、
    　前記出力ステップでは、前記２以上の小画像のそれぞれの学習寄与度に基づいて、前記枠線の太さ、前記枠線の色、および、前記枠線の形態の少なくとも１つの表示態様を決定する、
    　請求項１０に記載の画像処理方法。
  12. 　前記装飾を付けることは、前記２以上の小画像のそれぞれの、色相の補正、彩度の補正、および、明度の補正を行うことの少なくとも１つを含む、
    　請求項１０に記載の画像処理方法。
  13. 　前記出力ステップでは、前記２以上の小画像に、学習寄与度が高いものほど太く、かつ、学習寄与度が低いものほど細くなるように前記枠線を付け、
    　前記画像処理方法は、さらに、前記枠線の太さを示す第３指示を受け付けることで、前記２以上の小画像のうち、前記第３指示が示す前記枠線よりも太い線で装飾された小画像を機械学習に用いる画像に決定する受付ステップを含む、
    　請求項１１に記載の画像処理方法。
  14. 　前記対象物は、工業製品である、
    　請求項１に記載の画像処理方法。
  15. 　前記出力ステップでは、前記２以上の小画像に関する情報を学習寄与度の高い順に出力する、
    　請求項１に記載の画像処理方法。
  16. 　請求項１～１５のいずれか１項に記載の画像処理方法をコンピュータに実行させるための、
    　プログラム。
  17. 　対象物が映る原画像を取得する取得部と、
    　前記原画像を分割することで生成される複数の小画像の中から、前記複数の小画像のそれぞれの、機械学習における効果の程度を示す学習寄与度に基づいて、機械学習に効果のある２以上の小画像を選択する選択部と、
    　前記２以上の小画像をそれぞれの学習寄与度に応じた表示態様で出力する出力部と、を備える、
    　画像処理装置。
PCT/JP2023/032840 2022-10-28 2023-09-08 画像処理方法、プログラム、および、画像処理装置 WO2024090054A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022173631 2022-10-28
JP2022-173631 2022-10-28

Publications (1)

Publication Number Publication Date
WO2024090054A1 true WO2024090054A1 (ja) 2024-05-02

Family

ID=90830408

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/032840 WO2024090054A1 (ja) 2022-10-28 2023-09-08 画像処理方法、プログラム、および、画像処理装置

Country Status (1)

Country Link
WO (1) WO2024090054A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021060692A (ja) * 2019-10-03 2021-04-15 株式会社東芝 推論結果評価システム、推論結果評価装置及びその方法
JP2022099572A (ja) * 2020-12-23 2022-07-05 名古屋電機工業株式会社 情報処理装置、情報処理方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021060692A (ja) * 2019-10-03 2021-04-15 株式会社東芝 推論結果評価システム、推論結果評価装置及びその方法
JP2022099572A (ja) * 2020-12-23 2022-07-05 名古屋電機工業株式会社 情報処理装置、情報処理方法およびプログラム

Similar Documents

Publication Publication Date Title
CN108734696B (zh) 用于白点Mura检测的系统及方法
JP6792842B2 (ja) 外観検査装置、変換データ生成装置、及びプログラム
US11017259B2 (en) Defect inspection method, defect inspection device and defect inspection system
US11386549B2 (en) Abnormality inspection device and abnormality inspection method
US20170069075A1 (en) Classifier generation apparatus, defective/non-defective determination method, and program
JP2018005640A (ja) 分類器生成装置、画像検査装置、及び、プログラム
JP2018005639A (ja) 画像分類装置、画像検査装置、及び、プログラム
CN112534243B (zh) 检查装置与方法及计算机能读取的非临时性的记录介质
JP2013224833A (ja) 外観検査装置、外観検査方法及びコンピュータプログラム
JP7492240B2 (ja) 分析装置及び分析方法
CN113012096A (zh) 显示屏子像素定位及亮度提取方法、设备以及存储介质
CN117871545A (zh) 一种电路板元器件缺陷检测方法、装置、终端及存储介质
CN108416759A (zh) 显示故障的检测方法、装置及设备、可读介质
US11408831B2 (en) Information processing apparatus, information processing method, and recording medium
WO2024090054A1 (ja) 画像処理方法、プログラム、および、画像処理装置
AU2013350323A1 (en) Method for detection of faults on circuit boards
JP2005283197A (ja) 画面のスジ欠陥検出方法及び装置
US20220157050A1 (en) Image recognition device, image recognition system, image recognition method, and non-transitry computer-readable recording medium
JP2011186595A (ja) 情報生成装置、物体検出装置、情報生成方法、物体検出方法、およびプログラム
CN114359177A (zh) 待检测面板的图像显示方法、装置、电子设备及存储介质
WO2024095721A1 (ja) 画像処理装置および画像処理方法
JP2006145228A (ja) ムラ欠陥検出方法及び装置
WO2024062854A1 (ja) 画像処理装置および画像処理方法
JP7533263B2 (ja) 画像検査装置、画像検査方法、及び学習済みモデル生成装置
WO2024116675A1 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23882267

Country of ref document: EP

Kind code of ref document: A1