WO2024014102A1 - 欠陥分析装置、欠陥分析方法及びプログラム - Google Patents

欠陥分析装置、欠陥分析方法及びプログラム Download PDF

Info

Publication number
WO2024014102A1
WO2024014102A1 PCT/JP2023/017967 JP2023017967W WO2024014102A1 WO 2024014102 A1 WO2024014102 A1 WO 2024014102A1 JP 2023017967 W JP2023017967 W JP 2023017967W WO 2024014102 A1 WO2024014102 A1 WO 2024014102A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
defect
classification
defect analysis
unit
Prior art date
Application number
PCT/JP2023/017967
Other languages
English (en)
French (fr)
Inventor
悠 岡野
慎太郎 高田
巧 赤塚
哲也 横山
真平 竹本
好成 奥野
Original Assignee
株式会社レゾナック
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社レゾナック filed Critical 株式会社レゾナック
Publication of WO2024014102A1 publication Critical patent/WO2024014102A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks

Definitions

  • the present disclosure relates to a defect analysis device, a defect analysis method, and a program.
  • Patent Document 1 discloses a user interface that discriminates between users based on a distance metric learned from a user's face image, thereby allowing a user to interact in accordance with the user's preferences.
  • the present disclosure aims to analyze the classification of defects based on images of defects.
  • the present disclosure includes the configuration shown below.
  • Input images are image features that are learned based on learning data in which information indicating the classification of the defect is added to a defect image taken of a defect occurring on the surface of an object, and that similar images become closer together.
  • a model storage unit configured to store a feature extraction model extracted from the a representative point determining unit configured to determine a representative point for each of the classifications based on the image feature amount extracted from the defect image using the feature extraction model;
  • a relationship visualization unit configured to output information representing the relationship between the classifications based on the distance between the representative points;
  • an image input unit configured to accept input of a verification image taken of the surface of the object
  • a feature extraction unit configured to generate the image feature extracted from the verification image using the feature extraction model as a verification feature
  • a classification estimation unit configured to estimate the classification of the verification image based on the distance between the verification feature amount and the representative point
  • a defect analysis device further comprising:
  • a classification aggregation unit configured to determine an integrated classification that includes a plurality of the classifications in which the distance between the representative points is short; a model learning unit configured to retrain the feature extraction model based on the learning data to which information representing the integrated classification is added;
  • a defect analysis device further comprising:
  • the defect analysis device may be a heat map in which the distance between the representative points is color-coded according to length, a scatter diagram in which the representative points are arranged based on a multidimensional scaling method, or a scatter diagram in which the representative points are arranged based on hierarchical clustering. It is a dendrogram layered with Defect analysis equipment.
  • the classification estimating unit is configured to estimate the classification of the verification image by comparing a distance between the verification feature amount and the representative point with a threshold. Defect analysis equipment.
  • the classification estimating unit is configured to estimate that the verification image falls under a plurality of the classifications when there are a plurality of the classifications in which the distance is equal to or less than the threshold. Defect analysis equipment.
  • the classification estimating unit is configured to estimate that the verification image falls under a new classification different from the classification if there is no classification for which the distance is less than or equal to the threshold; Defect analysis equipment.
  • the defect analysis device is Extracts image features from the input image that are learned based on learning data in which information indicating the classification of the defect is added to a defect image taken of a defect that occurs on the surface of an object, and that makes the distance between similar images smaller.
  • a procedure for storing the feature extraction model in a model storage unit a step of determining a representative point for each of the classifications based on the image feature amount extracted from the defect image using the feature extraction model; a step of outputting information representing the classification relationship based on the distance between the representative points; Defect analysis method to perform.
  • the classification of defects can be analyzed based on images of defects.
  • FIG. 1 is a block diagram showing an example of the overall configuration of a defect analysis system.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of a computer.
  • FIG. 3 is a block diagram showing an example of the functional configuration of the defect analysis system.
  • FIG. 4 is a flowchart illustrating an example of the procedure of the relationship visualization process.
  • FIG. 5 is a diagram showing an example of a defect image.
  • FIG. 6 is a diagram showing an example of a heat map in the relationship visualization process.
  • FIG. 7 is a diagram showing an example of a scatter diagram in the relationship visualization process.
  • FIG. 8 is a diagram showing an example of a dendrogram in the relationship visualization process.
  • FIG. 9 is a flowchart illustrating an example of the procedure of image classification processing.
  • FIG. 9 is a flowchart illustrating an example of the procedure of image classification processing.
  • FIG. 10 is a diagram showing an example of similar images.
  • FIG. 11 is a diagram showing an example of a heat map in image classification processing.
  • FIG. 12 is a diagram showing an example of a scatter diagram in image classification processing.
  • FIG. 13 is a diagram showing an example of a dendrogram in image classification processing.
  • FIG. 14 is a flowchart illustrating an example of the procedure of model relearning processing.
  • Defects may occur on the surface of an object due to various causes.
  • images of the defect are analyzed. For example, if a defect occurs during the manufacturing process of a product, there is a possibility that the defect is hidden in the manufacturing process. Therefore, when a defect is discovered in a product during the inspection process, the defect in the product is photographed and used as a clue for identifying the defect in the manufacturing process.
  • An embodiment of the present disclosure is a defect analysis system that classifies images of defects occurring on the surface of an object (hereinafter also referred to as "defect images") and analyzes the relationship between the defect classifications.
  • An example of an object in this embodiment is an article having a mirror surface, such as an optical product.
  • Another example of the object in this embodiment is a single crystal substrate such as a semiconductor wafer.
  • the object in this embodiment is not limited to these, and may be, for example, an article subjected to mirror finishing, such as an aluminum substrate for a photosensitive drum used in a photosensitive drum of a laser printer.
  • the defect in this embodiment is a linear or planar scratch that occurs on the surface of the object, or dirt or foreign matter that adheres to the surface of the object.
  • the defect analysis system in this embodiment uses learning data collected in advance to learn a feature extraction model that extracts image features from an input image.
  • the learning data is data in which information indicating the classification of defects (hereinafter also referred to as a "defect label”) is added to a defect image used for model learning (hereinafter also referred to as a "learning image").
  • the feature extraction model in this embodiment is learned using a metric learning method.
  • metric learning images are placed at one point in a high-dimensional embedding space so that similar images are close to each other.
  • the defect analysis system in this embodiment extracts the image feature amount of the learning image using the learned feature extraction model, and determines representative points for each defect classification indicated by the defect label.
  • the defect analysis system outputs information representing the relationship between the classifications based on the distance between representative points of each classification.
  • An example of information representing the relationship between classifications is a heat map, a scatter diagram, a dendrogram, or the like that represents the relationship between classifications.
  • the information representing the classification relationship is not limited to these, and various forms of expression that are easy for the user of the defect analysis system to understand can be used.
  • the defect analysis system in this embodiment uses a learned feature extraction model to extract image features of defect images for which the defect classification has not been specified (hereinafter also referred to as “verification images”), and extracts image features for each defect image.
  • the classification of the defect photographed in the verification image is estimated based on the distance to the representative point of the classification.
  • images similar to the verification image hereinafter also referred to as “similar images” are extracted from the learning images that have been assigned defect labels that represent the same classification as the estimated classification, and are output together with the estimation results. good.
  • the defect analysis system in this embodiment creates a new classification (hereinafter also referred to as “new classification”) when it is determined that the verification image does not fall under any classification. Further, when there are multiple classifications in which the distance between representative points is short, the defect analysis system aggregates those classifications into a new classification (hereinafter also referred to as “integrated classification"). Then, the defect analysis system retrains the feature extraction model using the learning data to which the new classification or integrated classification has been assigned.
  • FIG. 1 is a block diagram showing an example of the overall configuration of a defect analysis system according to this embodiment.
  • the defect analysis system 1 in this embodiment includes a defect analysis device 10, an image acquisition device 20, and a user terminal 30.
  • the defect analysis device 10, the image acquisition device 20, and the user terminal 30 are connected to enable data communication via a communication network N1 such as a LAN (Local Area Network) or the Internet.
  • a communication network N1 such as a LAN (Local Area Network) or the Internet.
  • the defect analysis device 10 is an information processing device such as a personal computer, a workstation, or a server that analyzes a defect image taken of a defect occurring on the surface of an object in response to a request from the user terminal 30.
  • the defect analysis device 10 receives a defect image to be analyzed from the user terminal 30.
  • the defect analysis device 10 analyzes the received defect image and transmits the analysis result to the user terminal 30.
  • the image acquisition device 20 is an optical device that acquires a defect image by photographing a defect occurring on the surface of an object.
  • the image acquisition device 20 may be a digital camera that takes still images, or a video camera that takes moving images. Further, the image acquisition device 20 may be an information processing device such as a personal computer connected to various cameras, or may be a surface inspection device equipped with various cameras.
  • the user terminal 30 is an information processing terminal such as a personal computer, a tablet terminal, or a smartphone operated by a user.
  • the user terminal 30 acquires a defect image to be analyzed from the image acquisition device 20 in response to a user's operation, and transmits it to the defect analysis device 10.
  • the user terminal 30 also receives the analysis results from the defect analysis device 10 and outputs them to the user.
  • the defect analysis device 10 may be realized by a plurality of computers, or may be realized as a cloud computing service. Further, for example, the defect analysis system 1 may be realized by a stand-alone information processing device that has the functions that the defect analysis device 10, the image acquisition device 20, and the user terminal 30 should each have.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the computer 500 in this embodiment.
  • the computer 500 includes a CPU (Central Processing Unit) 501, a ROM (Read Only Memory) 502, a RAM (Random Access Memory) 503, an HDD (Hard Disk Drive) 504, an input device 505, It has a display device 506, a communication I/F (Interface) 507, and an external I/F 508.
  • CPU501, ROM502, and RAM503 form what is called a computer.
  • Each piece of hardware in the computer 500 is interconnected via a bus line 509. Note that the input device 505 and the display device 506 may be connected to an external I/F 508 for use.
  • the CPU 501 is an arithmetic unit that realizes control and functions of the entire computer 500 by reading programs and data from a storage device such as the ROM 502 or the HDD 504 onto the RAM 503 and executing processing.
  • the ROM 502 is an example of a nonvolatile semiconductor memory (storage device) that can retain programs and data even when the power is turned off.
  • the ROM 502 functions as a main storage device that stores various programs, data, etc. necessary for the CPU 501 to execute various programs installed on the HDD 504 .
  • the ROM 502 stores data such as boot programs such as the BIOS (Basic Input/Output System) and EFI (Extensible Firmware Interface) that are executed when the computer 500 is started, OS (Operating System) settings, and network settings. is stored.
  • BIOS Basic Input/Output System
  • EFI Extensible Firmware Interface
  • the RAM 503 is an example of a volatile semiconductor memory (storage device) whose programs and data are erased when the power is turned off.
  • the RAM 503 is, for example, DRAM (Dynamic Random Access Memory) or SRAM (Static Random Access Memory).
  • the RAM 503 provides a work area where various programs installed on the HDD 504 are expanded when the CPU 501 executes them.
  • the HDD 504 is an example of a nonvolatile storage device that stores programs and data.
  • the programs and data stored in the HDD 504 include an OS, which is basic software that controls the entire computer 500, and applications that provide various functions on the OS.
  • the computer 500 may use a storage device (for example, SSD: Solid State Drive) that uses flash memory as a storage medium.
  • SSD Solid State Drive
  • the input device 505 is a touch panel used by the user to input various signals, operation keys or buttons, a keyboard or mouse, a microphone for inputting sound data such as voice, or the like.
  • the display device 506 is composed of a display such as a liquid crystal or organic EL (Electro-Luminescence) that displays a screen, a speaker that outputs sound data such as audio, and the like.
  • a display such as a liquid crystal or organic EL (Electro-Luminescence) that displays a screen
  • a speaker that outputs sound data such as audio, and the like.
  • the communication I/F 507 is an interface that connects to a communication network and allows the computer 500 to perform data communication.
  • the external I/F 508 is an interface with an external device.
  • the external device includes a drive device 510 and the like.
  • the drive device 510 is a device for setting the recording medium 511.
  • the recording medium 511 here includes a medium that records information optically, electrically, or magnetically, such as a CD-ROM, a flexible disk, and a magneto-optical disk. Further, the recording medium 511 may include a semiconductor memory or the like that electrically records information, such as a ROM or a flash memory. Thereby, the computer 500 can read and/or write to the recording medium 511 via the external I/F 508.
  • the various programs installed on the HDD 504 are, for example, when the distributed recording medium 511 is set in the drive device 510 connected to the external I/F 508, and the various programs recorded on the recording medium 511 are read by the drive device 510. It is installed by Alternatively, various programs to be installed on the HDD 504 may be installed by being downloaded from a network different from the communication network via the communication I/F 507.
  • FIG. 3 is a block diagram showing an example of the functional configuration of the defect analysis system 1 in this embodiment.
  • the defect analysis device 10 in this embodiment includes an image input unit 101, a learning data storage unit 102, a model learning unit 103, a model storage unit 104, a feature extraction unit 105, a representative point determination unit 106, a relationship visualization unit 107, a classification estimation unit 108, a similar image extraction unit 109, and a classification aggregation unit 110.
  • the image input unit 101, model learning unit 103, feature extraction unit 105, representative point determination unit 106, relationship visualization unit 107, classification estimation unit 108, similar image extraction unit 109, and classification aggregation unit 110 are shown in FIG. This is realized by the process of causing the CPU 501 to execute a program loaded onto the RAM 503 from the HDD 504.
  • the learning data storage unit 102 and the model storage unit 104 are realized by the HDD 504 shown in FIG.
  • the image input unit 101 receives a defect image from the user terminal 30.
  • the defect images received by the image input unit 101 include a learning image to which a defect label has been attached, and a verification image to which no defect label has been attached.
  • the learning image received by the image input unit 101 is stored in the learning data storage unit 102 as learning data.
  • the learning data is data in which a defect label is added to a learning image.
  • the amount of training data may be sufficient as long as it is sufficient for learning the feature extraction model.
  • the amount sufficient for learning a feature extraction model varies depending on the type of model, but is, for example, about 100 images for each classification.
  • the model learning unit 103 uses the learning data stored in the learning data storage unit 102 to learn a feature extraction model.
  • the feature extraction model is a machine learning model that extracts image feature amounts that reduce the distance between similar images from an input image.
  • the model learning unit 103 may learn a feature extraction model by applying a method such as transfer learning or fine tuning to a pre-trained image classification model.
  • An example of a feature extraction model is an image classification model using deep learning such as Alex-Net or Res-Net.
  • the image feature amount is, for example, a 256-dimensional feature vector.
  • the feature extraction model learned by the model learning unit 103 is stored in the model storage unit 104.
  • the feature amount extraction unit 105 extracts image feature amounts from the learning image or the verification image using the feature extraction model stored in the model storage unit 104.
  • learning features the image features extracted from the learning images
  • verification feature amount the image feature amount extracted from the verification image
  • the representative point determining unit 106 determines a representative point for each defect classification based on the learning feature extracted by the feature extracting unit 105.
  • a representative point for classification is a coordinate that represents a set of learning features corresponding to learning images given the same defect label when they are arranged in the embedding space.
  • An example of a representative point is the average of feature vectors.
  • Another example of a representative point is the center of gravity of a set of feature vectors.
  • the representative point is not limited to these, and may be determined in any way as long as it represents the set of learning feature amounts for each classification.
  • the relationship visualization unit 107 generates information representing the relationship between the categories based on the distance between the representative points of each category, and transmits it to the user terminal 30.
  • An example of distance is cosine similarity.
  • Other examples of distances are Euclidean distance or Maharabinos distance. The distance is not limited to these distance measures, and any distance measure depending on the feature vector can be used.
  • a heat map is, for example, a matrix in which distances between representative points are color-coded according to length.
  • a scatter diagram is a graph in which representative points of each classification are arranged on a two-dimensional plane based on, for example, Multi-Dimensional Scaling (MDS).
  • MDS Multi-Dimensional Scaling
  • a dendrogram is, for example, a tree diagram in which representative points of each classification are hierarchically arranged in a tree structure based on hierarchical clustering.
  • the classification estimation unit 108 estimates the classification of the defect photographed in the verification image based on the distance between the verification feature extracted by the feature extraction unit 105 and the representative point of each classification.
  • the classification estimation unit 108 estimates the classification of the defect photographed in the verification image by comparing the distance between the verification feature amount and the representative point with a predetermined threshold.
  • the classification estimation unit 108 may add a defect label representing the estimated classification to the verification image and store it in the learning data storage unit 102. As a result, the verification image in which the defect classification has been estimated is added as new learning data.
  • the similar image extraction unit 109 extracts similar images similar to the verification image from the learning images stored in the learning data storage unit 102 based on the distance between each learning feature and the verification feature.
  • the classification aggregation unit 110 determines an integrated classification that includes those classifications.
  • the classification aggregation unit 110 updates, in the learning data stored in the learning data storage unit 102, defect labels representing multiple classifications included in the integrated classification to defect labels representing the integrated classification. do.
  • the image acquisition device 20 in this embodiment includes a photographing section 201 and an image storage section 202.
  • the photographing unit 201 is realized by a camera connected to the external I/F 508 shown in FIG.
  • the image storage unit 202 is realized by the HDD 504 shown in FIG.
  • the photographing unit 201 photographs a defect occurring on the surface of an object and generates a defect image.
  • the photographing unit 201 may photograph a still image, or may photograph a moving image and extract an image in which the defect is reflected.
  • the image storage unit 202 stores defect images photographed by the photographing unit 201.
  • the user terminal 30 in this embodiment includes an image acquisition section 301, a classification assignment section 302, an image transmission section 303, and a result display section 304.
  • the image acquisition unit 301, the classification assignment unit 302, and the image transmission unit 303 are realized by processing that is executed by the CPU 501 from a program loaded from the HDD 504 onto the RAM 503 shown in FIG.
  • the result display unit 304 is realized by the display device 506 shown in FIG.
  • the image acquisition unit 301 acquires a defect image from the image acquisition device 20 in response to a user's request.
  • the classification section 302 generates a learning image by assigning a defect label to a defective image in response to a user's operation.
  • the user may select only defect images that allow the user to identify the defect classification as the defect images to which a defect label is assigned.
  • the image transmitting unit 303 transmits a learning image or a verification image to the defect analysis device 10 in response to a user's operation.
  • the result display unit 304 receives information representing the classification relationship from the defect analysis device 10 and outputs it to the display device 506 or the like.
  • the defect analysis method in this embodiment includes relationship visualization processing (see FIG. 4), image classification processing (see FIG. 9), and model relearning processing (see FIG. 14).
  • FIG. 4 is a flowchart illustrating an example of the procedure of the relationship visualization process in this embodiment.
  • the relationship visualization process is a process of learning a feature extraction model using a learning image and visualizing the relationship between defect classifications based on the image feature amount extracted from the learning image.
  • step S1 the photographing unit 201 included in the image acquisition device 20 photographs a defect occurring on the surface of an object and generates a defect image.
  • the imaging unit 201 stores the generated defect image in the image storage unit 202.
  • a plurality of defect images are accumulated in the image storage unit 202.
  • step S2 the image acquisition unit 301 included in the user terminal 30 transmits a learning image acquisition request to the image acquisition device 20 in response to the user's operation.
  • the image acquisition device 20 transmits the plurality of defect images accumulated in the image storage unit 202 to the user terminal 30 in response to the learning image acquisition request.
  • the image acquisition unit 301 sends the plurality of defect images received from the image acquisition device 20 to the classification assignment unit 302.
  • step S3 the classification section 302 included in the user terminal 30 receives a plurality of defect images from the image acquisition section 301.
  • the classification assignment unit 302 generates a plurality of learning images by assigning defect labels to the plurality of defective images in accordance with the user's operation. Subsequently, the classification assigning unit 302 sends the generated learning image to the image transmitting unit 303.
  • the classification of defects can be set arbitrarily by the user.
  • a defect label is data indicating a code value assigned to a defect classification.
  • the types of defect classifications are not limited, and the user may set as many classifications as he or she deems necessary for analysis.
  • the classifications in this embodiment are: 0: Scratches, 1: Magic marks, 2: Vertical lines, 3: Surface stains, 4: Blurred, 5: Mottled, 6: Short fibers, 7: Long fibers, 8: Sagging, 9: Thin horizontal line, 10: thick horizontal line, 11: elliptical point, 12: thick black dot, 13: small mist, 14: small black dot.
  • the numerical value before ":” is the code value assigned to the classification
  • the character string after ":" is the name of the classification.
  • Any code value may be assigned to a classification as long as it does not overlap with other classifications.
  • the name of the classification any name that is easy for the user to understand may be determined.
  • FIG. 5 is a diagram showing an example of a defect image. As shown in FIG. 5, there can be a wide variety of defects that occur on the surface of an object.
  • a defect image 0: Scratch, 3: Surface stain, 2: Vertical line, 8: Sagging, 6: Short fiber, 7: Long fiber, 9: Thin horizontal line, 10: Thick horizontal line, 11 Images corresponding to: elliptical point, 12: thick black point, 13: small mist, and 14: small black point are listed.
  • an image with clear defect characteristics is taken as an example, but intermediate defects may occur that are difficult to determine which classification they fall under.
  • intermediate defects may occur that are difficult to determine which classification they fall under.
  • it may be difficult to decide whether to use a 9: thin horizontal line or a 10: thick horizontal line.
  • it may be difficult to determine whether it is a 7: long fiber or a 9: thin horizontal line.
  • defect images to which the user has not assigned a defect label may be used as verification images in image classification processing.
  • step S4 the image transmitter 303 included in the user terminal 30 receives a plurality of learning images from the classification assigner 302.
  • the image transmitting unit 303 transmits a plurality of learning images to the defect analysis device 10 according to the user's operation.
  • step S5 the image input unit 101 included in the defect analysis device 10 receives a plurality of learning images from the user terminal 30.
  • the image input unit 101 stores the received learning images in the learning data storage unit 102 as learning data.
  • step S6 the model learning unit 103 included in the defect analysis device 10 reads learning data from the learning data storage unit 102.
  • the model learning unit 103 uses the read learning data to learn a feature extraction model.
  • the model learning unit 103 stores the trained feature extraction model in the model storage unit 104.
  • step S7 the feature extraction unit 105 included in the defect analysis device 10 reads the feature extraction model stored in the model storage unit 104.
  • the feature extracting unit 105 reads learning images from the learning data storage unit 102 for each defect classification indicated by the defect label.
  • the feature amount extraction unit 105 generates learning feature amounts by inputting the learning images to the feature extraction model for each defect classification.
  • the feature extraction unit 105 sends the generated learning feature to the representative point determination unit 106 for each defect classification.
  • step S8 the representative point determination unit 106 included in the defect analysis device 10 receives the learning feature amount for each defect classification from the feature amount extraction unit 105. Next, the representative point determining unit 106 arranges the learning feature amount in the embedding space. Next, the representative point determining unit 106 determines a representative point for each defect classification based on the embedding space in which the learning feature values are arranged. The representative point determining unit 106 sends information representing the determined representative point to the relationship visualization unit 107.
  • step S9 the relationship visualization unit 107 included in the defect analysis device 10 receives information representing representative points from the representative point determination unit 106. Next, the relationship visualization unit 107 calculates the distance between the representative points of each classification. Subsequently, the relationship visualization unit 107 generates information representing the classification relationship based on the distance between the representative points. The relationship visualization unit 107 transmits information representing the relationship between the classifications to the user terminal 30.
  • the relationship visualization unit 107 can represent the classification relationships in various ways.
  • a first example of information representing the relationship between classifications is a heat map representing the relationship between classifications.
  • a second example of information representing the relationship between classifications is a scatter diagram representing the relationship between classifications.
  • a third example of information expressing the relationship between classifications is a dendrogram expressing the relationship between classifications.
  • FIG. 6 is a diagram showing an example of a heat map in the relationship visualization process. As shown in FIG. 6, the heat map in the relationship visualization process is a matrix in which distances between representative points are color-coded according to length.
  • the distance between representative points is expressed as cosine similarity, and the distance is color-coded for each combination of classifications.
  • the colors are divided so that the closer the distance, the darker the color. A user can understand the similarity relationship between categories by observing the color shading in the heat map.
  • FIG. 7 is a diagram showing an example of a scatter diagram in the relationship visualization process.
  • the scatter diagram in the relationship visualization process is a graph in which representative points of each classification are arranged on a two-dimensional plane based on a multidimensional scaling method. A user can grasp the similarity relationship between classifications by observing the distance between representative points in the scatter diagram.
  • FIG. 8 is a diagram showing an example of a dendrogram in the relationship visualization process.
  • the dendrogram in the relationship visualization process is a tree diagram in which representative points of each classification are hierarchically arranged in a tree structure based on hierarchical clustering. A user can grasp the similarity relationships between classes by observing the lengths of paths and the heights of branches that connect classes in the dendrogram.
  • step S10 the result display unit 304 included in the user terminal 30 receives information representing the classification relationship from the defect analysis device 10.
  • the result display unit 304 displays information representing the classification relationship on the display device 506.
  • FIG. 9 is a flowchart illustrating an example of the procedure of image classification processing in this embodiment.
  • the image classification process is a process of estimating the classification of defects photographed in the verification image using a learned feature extraction model and visualizing the relationship between the verification image and the defect classification.
  • step S11 the photographing unit 201 included in the image acquisition device 20 photographs a defect occurring on the surface of the object and generates a defect image.
  • the imaging unit 201 stores the generated defect image in the image storage unit 202.
  • a plurality of defect images are accumulated in the image storage unit 202.
  • step S12 the image acquisition unit 301 included in the user terminal 30 transmits a verification image acquisition request to the image acquisition device 20 in response to the user's operation.
  • the image acquisition device 20 transmits the defect image stored in the image storage unit 202 to the user terminal 30 in response to the verification image acquisition request.
  • the image acquisition unit 301 sends the defect image received from the image acquisition device 20 to the image transmission unit 303.
  • step S13 the image transmission unit 303 included in the user terminal 30 receives the defect image from the image acquisition unit 301.
  • the image transmitting unit 303 transmits a verification image selected from the defect images to the defect analysis device 10 in response to a user's operation.
  • step S14 the image input unit 101 included in the defect analysis device 10 receives the verification image from the user terminal 30.
  • the image input unit 101 sends the received verification image to the feature extraction unit 105.
  • step S15 the feature extraction unit 105 included in the defect analysis device 10 receives the verification image from the image input unit 101.
  • the feature extraction unit 105 reads out the feature extraction model stored in the model storage unit 104.
  • the feature amount extraction unit 105 generates a verification feature amount by inputting the verification image into the feature extraction model.
  • the feature extraction unit 105 sends the generated verification feature to the classification estimation unit 108.
  • step S16 the classification estimation unit 108 included in the defect analysis device 10 receives the verification feature amount from the feature extraction unit 105.
  • the classification estimation unit 108 obtains the representative point of each classification from the representative point determination unit 106.
  • the classification estimation unit 108 arranges the verification feature amount and the representative point of each classification in the embedding space.
  • the classification estimation unit 108 calculates the distance between the verification feature amount and the representative point of each classification. Then, the classification estimation unit 108 estimates the classification of the defect photographed in the verification image based on the distance between the verification feature amount and the representative point of each classification.
  • the classification estimation unit 108 estimates the classification of the defect photographed in the verification image by comparing the distance between the verification feature amount and the representative point of each classification with a predetermined threshold.
  • the threshold value used for estimation may be set to an arbitrary value by a user's operation.
  • the classification estimation unit 108 determines that the verification image falls under that classification.
  • the classification estimation unit 108 determines that the verification image falls under the plurality of classifications.
  • the classification estimating unit 108 determines that the verification image corresponds to a new classification when there is no representative point whose distance to the verification feature is equal to or less than the threshold value.
  • the classification estimation unit 108 sends the verification feature amount and the estimation result representing the estimated classification to the similar image extraction unit 109.
  • the classification estimation unit 108 may add a defect label representing the estimated classification to the verification image and add it to the learning data stored in the learning data storage unit 102.
  • step S17 the similar image extraction unit 109 included in the defect analysis device 10 receives the verification feature amount and the estimation result from the classification estimation unit 108.
  • the similar image extraction unit 109 reads out the learning images that have been given a defect label representing the same classification as the estimation result from the learning data storage unit 102 .
  • the similar image extraction unit 109 calculates the distance between the learning feature and the verification feature corresponding to the read learning image.
  • the similar image extraction unit 109 extracts similar images from the learning images based on the distance between each learning feature and the verification feature.
  • the similar image extraction unit 109 may extract all learning images whose distance to the verification feature is less than or equal to a predetermined threshold, or may extract a predetermined number of learning images in descending order of distance to the verification feature. Good too.
  • the similar image extraction unit 109 sends the verification feature amount, the estimation result, and the similar image to the relationship visualization unit 107.
  • FIG. 10 is a diagram showing an example of similar images.
  • the example in FIG. 10 is the result of extracting three similar images having short distances to the verification image in order of shortest distance.
  • a thin horizontal line extending horizontally from near the center is photographed in the verification image.
  • Similar images 1 to 3 have horizontal lines of the same thickness as the verification image, indicating that they are similar to the verification image.
  • information representing the distance from the verification image may be added to the similar image.
  • step S18 the relationship visualization unit 107 included in the defect analysis device 10 receives the verification feature amount, the estimation result, and the similar image from the similar image extraction unit 109.
  • the relationship visualization unit 107 generates information representing the relationship between the verification image and the classification based on the distance between the verification feature amount and the representative point of each classification.
  • the relationship visualization unit 107 transmits information representing the relationship between the verification image and the classification to the user terminal 30.
  • the relationship visualization unit 107 can represent the relationship between the verification image and the classification in the same manner as the method of representing the relationship between the classifications in the relationship visualization process. That is, the relationship visualization unit 107 can express the relationship between the verification image and the classification using a heat map, a scatter diagram, or a dendrogram.
  • FIG. 11 is a diagram showing an example of a heat map in image classification processing.
  • the heat map in the image classification process is a matrix in which the verification image is "15: input image” and the distance to the representative point of each classification is color-coded according to the length.
  • FIG. 12 is a diagram showing an example of a scatter diagram in image classification processing.
  • the scatter diagram in the image classification process uses the verification image as "15: input image” and the verification features and the representative of each classification on a two-dimensional plane based on the multidimensional scaling method. This is a graph with points arranged. The user can grasp the similarity relationship between the verification image and each classification by observing the distance between the input image and the representative point of each classification in the scatter diagram.
  • FIG. 13 is a diagram showing an example of a dendrogram in image classification processing.
  • the dendrogram in the image classification process uses the verification image as "15: input image”, and based on hierarchical clustering, the input image and representative points of each classification are hierarchically arranged in a tree structure. This is a tree diagram. The user can grasp the similarity relationship between the verification image and each classification by observing the length of the path connecting the input image and each classification in the dendrogram and the height of the branch.
  • step S19 the result display unit 304 included in the user terminal 30 receives information representing the relationship between the verification image and the classification from the defect analysis device 10.
  • the result display unit 304 displays information representing the relationship between the verification image and the classification on the display device 506.
  • FIG. 14 is a flowchart illustrating an example of the procedure of model relearning processing in this embodiment.
  • the model relearning process is a process of reorganizing the defect classification based on the analysis results and relearning the feature extraction model using learning data to which the reorganized classification has been assigned.
  • step S21 when it is determined in the image classification process that the verification image corresponds to a new classification, the classification estimation unit 108 included in the defect analysis device 10 assigns a defect label representing the new classification to the verification image, and stores the learning data. The information is added to the learning data stored in the section 102.
  • the classification aggregation unit 110 included in the defect analysis device 10 acquires representative points of each classification from the representative point determination unit 106.
  • the classification aggregation unit 110 arranges representative points of each classification in the embedding space.
  • the classification aggregation unit 110 determines whether there are multiple classifications in which the distance between the representative points is equal to or less than a predetermined threshold, based on the embedding space in which the representative points of each classification are arranged.
  • the classification aggregation unit 110 determines an integrated classification that includes those classifications. For the integrated classification, one of a plurality of classifications may be selected, or a new classification may be generated.
  • the threshold used by the classification aggregation unit 110 for determination may be the same value as the threshold used for estimation by the classification estimation unit 108, or may be a different value.
  • the threshold value used for determination may be set to an arbitrary value by the user's operation, similar to the threshold value used for estimation.
  • step S23 the classification aggregation unit 110 included in the defect analysis device 10 reads learning data to which defect labels representing multiple classifications included in the integrated classification are added from the learning data storage unit 102.
  • the classification aggregation unit 110 updates the defect label given to the read learning data to a defect label representing the integrated classification.
  • the classification aggregation unit 110 stores the learning data to which the defect label representing the integrated classification is assigned in the learning data storage unit 102.
  • step S24 the model learning unit 103 included in the defect analysis device 10 reads learning data from the learning data storage unit 102.
  • the model learning unit 103 reads out the feature extraction model stored in the model storage unit 104.
  • the model learning unit 103 retrains the feature extraction model using the read learning data.
  • the model learning unit 103 then stores the retrained feature extraction model in the model storage unit 104.
  • the defect analysis system in this embodiment learns a feature extraction model based on learning data in which a defect classification is assigned to a defect image.
  • the feature extraction model is trained to extract from the input image image features that reduce the distance between similar images.
  • the defect analysis system outputs information representing the relationship between defect classifications based on the distance between representative points determined from the image feature amount of the defect image. Therefore, according to the defect analysis system of this embodiment, it is possible to analyze the classification of defects based on images of defects.
  • the defect analysis system in this embodiment can visualize the relationship between defect classifications in various forms of expression, such as a heat map, a scatter diagram, or a dendrogram that visualizes the distance between representative points. Therefore, according to the defect analysis system of this embodiment, it is possible to output analysis results that are highly convincing to the user.
  • the defect analysis system in this embodiment classifies the defects photographed in the verification image based on the distance between the image feature amount of the verification image in which the defect classification is not specified and the representative point of each classification. presume. At this time, images similar to the verification image may be extracted from the defect images included in the estimated classification and output together with the estimation results. Therefore, according to the defect analysis system of this embodiment, a highly convincing estimation result can be obtained for an intermediate defect that is similar to any of a plurality of classifications or a new defect that is different from any predetermined classification. It can be output.
  • the defect analysis system in this embodiment uses learning data that has been assigned a new classification in which the verification image does not fall under any classification, or an integrated classification that includes multiple classifications with short distances between representative points. Retrain the feature extraction model. Using the retrained feature extraction model, it is possible to analyze the reorganized defect classification relationship based on the analysis results. Therefore, according to the defect analysis system of this embodiment, it is possible to obtain a defect classification suitable for the user's usage environment, and it is possible to output analysis results that are more convincing to the user.
  • processing circuit refers to a processor programmed to execute each function by software, such as a processor implemented by an electronic circuit, or a processor designed to execute each function explained above. This includes equipment such as ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), FPGAs (Field Programmable Gate Arrays), and conventional circuit modules.
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • FPGAs Field Programmable Gate Arrays
  • Defect analysis system 10 Defect analysis device 101 Image input unit 102 Learning data storage unit 103 Model learning unit 104 Model storage unit 105 Feature extraction unit 106 Representative point determination unit 107 Relationship visualization unit 108 Classification estimation unit 109 Similar image extraction unit 110 Classification Aggregation unit 20 Image acquisition device 201 Photography unit 202 Image storage unit 30 User terminal 301 Image acquisition unit 302 Classification unit 303 Image transmission unit 304 Result display unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

欠陥を撮影した画像に基づいて欠陥の分類を分析する。欠陥分析装置は、物体の表面に生じた傷を撮影した欠陥画像に傷の分類を表す情報が付与された学習データに基づいて学習した、類似する画像同士の距離が近くなる画像特徴量を入力画像から抽出する特徴抽出モデルを記憶するモデル記憶部と、特徴抽出モデルを用いて欠陥画像から抽出された画像特徴量に基づいて分類ごとの代表点を決定する代表点決定部と、代表点同士の距離に基づいて分類の関係を表す情報を出力する関係可視化部と、を備える。

Description

欠陥分析装置、欠陥分析方法及びプログラム
　本開示は、欠陥分析装置、欠陥分析方法及びプログラムに関する。
　深層学習を用いて学習した画像間の距離尺度に基づいて画像を分類する技術が用いられている。例えば、特許文献１には、ユーザの顔画像から学習した距離メトリックに基づいてユーザを弁別することで、ユーザの嗜好に沿った対話を行うユーザーインターフェースが開示されている。
国際公開２０１２／８８６２７号
　しかしながら、従来の画像分類技術では、物体の表面に生じた欠陥を分類することは困難であるという課題がある。例えば、人間の顔を構成するパーツは概ね共通しているため、顔画像の分類精度を向上することは比較的容易である。一方、物体の表面に生じる欠陥は多種多様であり、人間により判断が行われる場合であっても分類することが困難な場合が多い。また、欠陥が分類された分類結果のみが示された場合、分類間の類否関係を把握することは困難であった。
　本開示は、上記のような技術的課題に鑑みて、欠陥を撮影した画像に基づいて欠陥の分類を分析することを目的とする。
　本開示は、以下に示す構成を備える。
　［１］　物体の表面に生じた欠陥を撮影した欠陥画像に前記欠陥の分類を表す情報が付与された学習データに基づいて学習した、類似する画像同士の距離が近くなる画像特徴量を入力画像から抽出する特徴抽出モデルを記憶するように構成されているモデル記憶部と、
　前記特徴抽出モデルを用いて前記欠陥画像から抽出された前記画像特徴量に基づいて前記分類ごとの代表点を決定するように構成されている代表点決定部と、
　前記代表点同士の距離に基づいて前記分類の関係を表す情報を出力するように構成されている関係可視化部と、
　を備える欠陥分析装置。
　［２］　上記［１］に記載の欠陥分析装置であって、
　物体の表面を撮影した検証画像の入力を受け付けるように構成されている画像入力部と、
　前記特徴抽出モデルを用いて前記検証画像から抽出された前記画像特徴量を検証特徴量として生成するように構成されている特徴量抽出部と、
　前記検証特徴量と前記代表点との距離に基づいて前記検証画像の前記分類を推定するように構成されている分類推定部と、
　をさらに備える欠陥分析装置。
　［３］　上記［２］に記載の欠陥分析装置であって、
　前記画像特徴量間の距離に基づいて前記検証画像に類似する前記欠陥画像を前記学習データから抽出するように構成されている類似画像抽出部をさらに備える、
　欠陥分析装置。
　［４］　上記［１］から［３］のいずれかに記載の欠陥分析装置であって、
　前記代表点同士の距離が短い複数の前記分類を包含する統合分類を決定するように構成されている分類集約部と、
　前記統合分類を表す情報が付与された前記学習データに基づいて、前記特徴抽出モデルを再学習するように構成されているモデル学習部と、
　をさらに備える欠陥分析装置。
　［５］　上記［１］から［４］のいずれかに記載の欠陥分析装置であって、
　前記関係を表す情報は、前記代表点同士の距離を長さに応じて色分けしたヒートマップ、多次元尺度構成法に基づいて前記代表点を配置した散布図、又は階層クラスタリングに基づいて前記代表点を階層化したデンドログラムである、
　欠陥分析装置。
　［６］　上記［２］に記載の欠陥分析装置であって、
　前記分類推定部は、前記検証特徴量と前記代表点との距離を閾値と比較することで前記検証画像の前記分類を推定するように構成されている、
　欠陥分析装置。
　［７］　上記［６］に記載の欠陥分析装置であって、
　前記分類推定部は、前記距離が前記閾値以下である前記分類が複数ある場合、前記検証画像が複数の前記分類に該当すると推定するように構成されている、
　欠陥分析装置。
　［８］　上記［６］に記載の欠陥分析装置であって、
　前記分類推定部は、前記距離が前記閾値以下である前記分類がない場合、前記検証画像が前記分類とは異なる新規分類に該当すると推定するように構成されている、
　欠陥分析装置。
　［９］　欠陥分析装置が、
　物体の表面に生じた欠陥を撮影した欠陥画像に前記欠陥の分類を表す情報が付与された学習データに基づいて学習した、類似する画像同士の距離が近くなる画像特徴量を入力画像から抽出する特徴抽出モデルをモデル記憶部に記憶する手順と、
　前記特徴抽出モデルを用いて前記欠陥画像から抽出された前記画像特徴量に基づいて前記分類ごとの代表点を決定する手順と、
　前記代表点同士の距離に基づいて前記分類の関係を表す情報を出力する手順と、
　を実行する欠陥分析方法。
　［１０］　コンピュータに、
　物体の表面に生じた欠陥を撮影した欠陥画像に前記欠陥の分類を表す情報が付与された学習データに基づいて学習した、類似する画像同士の距離が近くなる画像特徴量を入力画像から抽出する特徴抽出モデルをモデル記憶部に記憶する手順と、
　前記特徴抽出モデルを用いて前記欠陥画像から抽出された前記画像特徴量に基づいて前記分類ごとの代表点を決定する手順と、
　前記代表点同士の距離に基づいて前記分類の関係を表す情報を出力する手順と、
　を実行させるためのプログラム。
　本開示の一態様によれば、欠陥を撮影した画像に基づいて欠陥の分類を分析することができる。
図１は、欠陥分析システムの全体構成の一例を示すブロック図である。 図２は、コンピュータのハードウェア構成の一例を示すブロック図である。 図３は、欠陥分析システムの機能構成の一例を示すブロック図である。 図４は、関係可視化処理の手順の一例を示すフローチャートである。 図５は、欠陥画像の一例を示す図である。 図６は、関係可視化処理におけるヒートマップの一例を示す図である。 図７は、関係可視化処理における散布図の一例を示す図である。 図８は、関係可視化処理におけるデンドログラムの一例を示す図である。 図９は、画像分類処理の手順の一例を示すフローチャートである。 図１０は、類似画像の一例を示す図である。 図１１は、画像分類処理におけるヒートマップの一例を示す図である。 図１２は、画像分類処理における散布図の一例を示す図である。 図１３は、画像分類処理におけるデンドログラムの一例を示す図である。 図１４は、モデル再学習処理の手順の一例を示すフローチャートである。
　以下、本発明の各実施形態について添付の図面を参照しながら説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
　［実施形態］
　物体の表面には、様々な原因により欠陥が生じることがある。欠陥が生じた原因を特定するために、欠陥を撮影した画像を分析することが行われている。例えば、製品の製造工程で欠陥が生じた場合、製造工程の中に不具合が潜在している可能性がある。そのため、検査工程で製品に欠陥が発見されると、当該製品の欠陥を撮影し、製造工程の不具合を特定するための手がかりとすることが行われている。
　従来の画像分類技術は、各画像に一意のクラスを割り当てることで、各画像を分類する。しかしながら、物体の表面に生じる欠陥は多種多様であり、人間であっても分類することが困難な場合が多い。従来の画像分類技術では、例えば、複数のクラスのいずれにも似ている中間的な欠陥や、予め定めたいずれのクラスとも異なる新しい欠陥に対しては、分類の精度が低いことがある。一方で、欠陥の微妙な差異が、欠陥が生じた原因を特定するための重要な情報となる場合もある。したがって、欠陥の分類の関係を分析することで、物体の取り扱いに関する有益な情報を得られる可能性がある。
　本開示の一実施形態は、物体の表面に生じた欠陥を撮影した画像（以下、「欠陥画像」とも呼ぶ）を分類し、欠陥の分類の関係を分析する欠陥分析システムである。本実施形態における物体の一例は、光学製品等の鏡面を有する物品である。本実施形態における物体の他の例は、半導体ウェーハ等の単結晶基板である。本実施形態における物体はこれらに限定されず、例えば、レーザプリンタの感光ドラムに用いられる感光ドラム用アルミ基体等の鏡面加工される物品でもよい。
　本実施形態における欠陥は、物体の表面に生じた線状又は面状の傷、若しくは物体の表面に付着した汚れ又は異物等である。
　本実施形態における欠陥分析システムは、予め収集した学習データを用いて、入力画像から画像特徴量を抽出する特徴抽出モデルを学習する。学習データは、モデル学習に用いる欠陥画像（以下、「学習画像」とも呼ぶ）に、欠陥の分類を表す情報（以下、「欠陥ラベル」とも呼ぶ）が付与されたデータである。
　本実施形態における特徴抽出モデルは、メトリックラーニングの手法を用いて学習される。メトリックラーニングでは、類似する画像同士の距離が近くなるように、画像を高次元の埋め込み空間上の一点に配置する。
　本実施形態における欠陥分析システムは、学習済みの特徴抽出モデルを用いて、学習画像の画像特徴量を抽出し、欠陥ラベルが示す欠陥の分類ごとに代表点を決定する。欠陥分析システムは、各分類の代表点同士の距離に基づいて、分類の関係を表す情報を出力する。分類の関係を表す情報の一例は、分類の関係を表現したヒートマップ、散布図又はデンドログラム等である。分類の関係を表す情報はこれらに限定されず、欠陥分析システムのユーザにとって理解しやすい様々な表現形態を用いることができる。
　また、本実施形態における欠陥分析システムは、学習済みの特徴抽出モデルを用いて、欠陥の分類が特定されていない欠陥画像（以下、「検証画像」とも呼ぶ）の画像特徴量を抽出し、各分類の代表点との距離に基づいて、当該検証画像に撮影されている欠陥の分類を推定する。このとき、推定された分類と同一の分類を表す欠陥ラベルが付与された学習画像から、検証画像と類似する画像（以下、「類似画像」とも呼ぶ）を抽出し、推定結果と共に出力してもよい。
　さらに、本実施形態における欠陥分析システムは、検証画像がいずれの分類にも該当しないと判定されたとき、新たな分類（以下、「新規分類」とも呼ぶ）を作成する。また、欠陥分析システムは、代表点同士の距離が短い複数の分類があるとき、それらの分類を新たな分類（以下、「統合分類」とも呼ぶ）に集約する。そして、欠陥分析システムは、新規分類又は統合分類が付与された学習データを用いて特徴抽出モデルを再学習する。
　＜欠陥分析システムの全体構成＞
　まず、本実施形態における欠陥分析システムの全体構成を、図１を参照しながら説明する。図１は、本実施形態における欠陥分析システムの全体構成の一例を示すブロック図である。
　図１に示されているように、本実施形態における欠陥分析システム１は、欠陥分析装置１０、画像取得装置２０及びユーザ端末３０を含む。欠陥分析装置１０、画像取得装置２０及びユーザ端末３０は、ＬＡＮ（Local Area Network）又はインターネット等の通信ネットワークＮ１を介してデータ通信可能に接続されている。
　欠陥分析装置１０は、ユーザ端末３０からの要求に応じて、物体の表面に生じた欠陥を撮影した欠陥画像を分析するパーソナルコンピュータ、ワークステーション、サーバ等の情報処理装置である。欠陥分析装置１０は、ユーザ端末３０から分析対象とする欠陥画像を受信する。欠陥分析装置１０は、受信した欠陥画像を分析し、分析結果をユーザ端末３０に送信する。
　画像取得装置２０は、物体の表面に生じた欠陥を撮影することで、欠陥画像を取得する光学機器である。画像取得装置２０は、静止画を撮影するデジタルカメラでもよいし、動画を撮影するビデオカメラでもよい。また、画像取得装置２０は、各種のカメラと接続されたパーソナルコンピュータ等の情報処理装置でもよいし、各種のカメラを搭載した表面検査装置でもよい。
　ユーザ端末３０は、ユーザが操作するパーソナルコンピュータ、タブレット端末、スマートフォン等の情報処理端末である。ユーザ端末３０は、ユーザの操作に応じて、分析対象とする欠陥画像を画像取得装置２０から取得し、欠陥分析装置１０に送信する。また、ユーザ端末３０は、欠陥分析装置１０から分析結果を受信し、ユーザに対して出力する。
　なお、図１に示した欠陥分析システム１の全体構成は一例であって、用途や目的に応じて様々なシステム構成例があり得る。例えば、欠陥分析装置１０は、複数台のコンピュータにより実現してもよいし、クラウドコンピューティングのサービスとして実現してもよい。また、例えば、欠陥分析システム１は、欠陥分析装置１０、画像取得装置２０及びユーザ端末３０がそれぞれ備えるべき機能を兼ね備えたスタンドアローンの情報処理装置により実現してもよい。
　＜欠陥分析システムのハードウェア構成＞
　次に、本実施形態における欠陥分析システム１のハードウェア構成を、図２を参照しながら説明する。
　≪コンピュータのハードウェア構成≫
　本実施形態における欠陥分析装置１０、画像取得装置２０及びユーザ端末３０は、例えばコンピュータにより実現される。図２は、本実施形態におけるコンピュータ５００のハードウェア構成の一例を示すブロック図である。
　図２に示されているように、コンピュータ５００は、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３、ＨＤＤ（Hard Disk Drive）５０４、入力装置５０５、表示装置５０６、通信Ｉ／Ｆ（Interface）５０７及び外部Ｉ／Ｆ５０８を有する。ＣＰＵ５０１、ＲＯＭ５０２及びＲＡＭ５０３は、いわゆるコンピュータを形成する。コンピュータ５００の各ハードウェアは、バスライン５０９を介して相互に接続されている。なお、入力装置５０５及び表示装置５０６は外部Ｉ／Ｆ５０８に接続して利用する形態であってもよい。
　ＣＰＵ５０１は、ＲＯＭ５０２又はＨＤＤ５０４等の記憶装置からプログラムやデータをＲＡＭ５０３上に読み出し、処理を実行することで、コンピュータ５００全体の制御や機能を実現する演算装置である。
　ＲＯＭ５０２は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）の一例である。ＲＯＭ５０２は、ＨＤＤ５０４にインストールされている各種プログラムをＣＰＵ５０１が実行するために必要な各種プログラム、データ等を格納する主記憶装置として機能する。具体的には、ＲＯＭ５０２には、コンピュータ５００の起動時に実行されるＢＩＯＳ（Basic Input/Output System）、ＥＦＩ（Extensible Firmware Interface）等のブートプログラムや、ＯＳ（Operating System）設定、ネットワーク設定等のデータが格納されている。
　ＲＡＭ５０３は、電源を切るとプログラムやデータが消去される揮発性の半導体メモリ（記憶装置）の一例である。ＲＡＭ５０３は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等である。ＲＡＭ５０３は、ＨＤＤ５０４にインストールされている各種プログラムがＣＰＵ５０１によって実行される際に展開される作業領域を提供する。
　ＨＤＤ５０４は、プログラムやデータを格納している不揮発性の記憶装置の一例である。ＨＤＤ５０４に格納されるプログラムやデータには、コンピュータ５００全体を制御する基本ソフトウェアであるＯＳ、及びＯＳ上において各種機能を提供するアプリケーション等がある。なお、コンピュータ５００はＨＤＤ５０４に替えて、記憶媒体としてフラッシュメモリを用いる記憶装置（例えばＳＳＤ：Solid State Drive等）を利用するものであってもよい。
　入力装置５０５は、ユーザが各種信号を入力するために用いるタッチパネル、操作キーやボタン、キーボードやマウス、音声等の音データを入力するマイクロホン等である。
　表示装置５０６は、画面を表示する液晶や有機ＥＬ（Electro-Luminescence）等のディスプレイ、音声等の音データを出力するスピーカ等で構成されている。
　通信Ｉ／Ｆ５０７は、通信ネットワークに接続し、コンピュータ５００がデータ通信を行うためのインタフェースである。
　外部Ｉ／Ｆ５０８は、外部装置とのインタフェースである。外部装置には、ドライブ装置５１０等がある。
　ドライブ装置５１０は、記録媒体５１１をセットするためのデバイスである。ここでいう記録媒体５１１には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体５１１には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。これにより、コンピュータ５００は外部Ｉ／Ｆ５０８を介して記録媒体５１１の読み取り及び／又は書き込みを行うことができる。
　なお、ＨＤＤ５０４にインストールされる各種プログラムは、例えば、配布された記録媒体５１１が外部Ｉ／Ｆ５０８に接続されたドライブ装置５１０にセットされ、記録媒体５１１に記録された各種プログラムがドライブ装置５１０により読み出されることでインストールされる。あるいは、ＨＤＤ５０４にインストールされる各種プログラムは、通信Ｉ／Ｆ５０７を介して、通信ネットワークとは異なる他のネットワークよりダウンロードされることでインストールされてもよい。
　＜欠陥分析システムの機能構成＞
　続いて、本実施形態における欠陥分析システムの機能構成を、図３を参照しながら説明する。図３は本実施形態における欠陥分析システム１の機能構成の一例を示すブロック図である。
　≪欠陥分析装置の機能構成≫
　図３に示されているように、本実施形態における欠陥分析装置１０は、画像入力部１０１、学習データ記憶部１０２、モデル学習部１０３、モデル記憶部１０４、特徴量抽出部１０５、代表点決定部１０６、関係可視化部１０７、分類推定部１０８、類似画像抽出部１０９及び分類集約部１１０を備える。
　画像入力部１０１、モデル学習部１０３、特徴量抽出部１０５、代表点決定部１０６、関係可視化部１０７、分類推定部１０８、類似画像抽出部１０９及び分類集約部１１０は、図２に示されているＨＤＤ５０４からＲＡＭ５０３上に展開されたプログラムがＣＰＵ５０１に実行させる処理によって実現される。学習データ記憶部１０２及びモデル記憶部１０４は、図２に示されているＨＤＤ５０４によって実現される。
　画像入力部１０１は、欠陥画像をユーザ端末３０から受信する。画像入力部１０１が受信する欠陥画像は、欠陥ラベルが付与されている学習画像、及び欠陥ラベルが付与されていない検証画像を含む。
　学習データ記憶部１０２には、画像入力部１０１により受信された学習画像が学習データとして記憶される。学習データは、学習画像に欠陥ラベルが付与されたデータである。学習データの数は、特徴抽出モデルを学習するために十分な量があればよい。特徴抽出モデルを学習するために十分な量はモデルの種類により異なるが、例えば、各分類について１００枚程度である。
　モデル学習部１０３は、学習データ記憶部１０２に記憶されている学習データを用いて、特徴抽出モデルを学習する。特徴抽出モデルは、類似する画像同士の距離が近くなる画像特徴量を入力画像から抽出する機械学習モデルである。モデル学習部１０３は、事前学習済みの画像分類モデルに対して転移学習又はファインチューニング等の手法を適用することで、特徴抽出モデルを学習してもよい。特徴抽出モデルの一例は、Alex-Net, Res-Net等の深層学習を用いた画像分類モデルである。画像特徴量は、例えば、２５６次元の特徴ベクトルである。
　モデル記憶部１０４には、モデル学習部１０３により学習された特徴抽出モデルが記憶される。
　特徴量抽出部１０５は、モデル記憶部１０４に記憶されている特徴抽出モデルを用いて、学習画像又は検証画像から画像特徴量を抽出する。以下、学習画像から抽出された画像特徴量を「学習特徴量」と呼ぶ。また、検証画像から抽出された画像特徴量を「検証特徴量」と呼ぶ。
　代表点決定部１０６は、特徴量抽出部１０５により抽出された学習特徴量に基づいて、欠陥の分類ごとの代表点を決定する。分類の代表点は、同じ欠陥ラベルが付与された学習画像に対応する学習特徴量を埋め込み空間に配置したときに、それらの集合を代表する座標である。代表点の一例は、特徴ベクトルの平均である。代表点の他の例は、特徴ベクトルの集合の重心である。代表点はこれらに限定されず、分類ごとの学習特徴量の集合を代表する点であればどのように決定してもよい。
　関係可視化部１０７は、各分類の代表点同士の距離に基づいて、分類の関係を表す情報を生成し、ユーザ端末３０に送信する。距離の一例は、コサイン類似度である。距離の他の例は、ユークリッド距離又はマハラビノス距離である。距離は、これらの距離尺度に限定されず、特徴ベクトルに応じた任意の距離尺度を用いることができる。
　ヒートマップは、例えば、代表点同士の距離を長さに応じて色分けしたマトリックスである。散布図は、例えば、多次元尺度構成法（MDS; Multi-Dimensional Scaling）に基づいて、二次元平面に各分類の代表点を配置したグラフである。デンドログラムは、例えば、階層クラスタリングに基づいて、各分類の代表点をツリー構造で階層化した樹形図である。
　分類推定部１０８は、特徴量抽出部１０５により抽出された検証特徴量と各分類の代表点との距離に基づいて、検証画像に撮影されている欠陥の分類を推定する。分類推定部１０８は、検証特徴量と代表点との距離を予め定めた閾値と比較することで、検証画像に撮影されている欠陥の分類を推定する。
　分類推定部１０８は、推定された分類を表す欠陥ラベルを検証画像に付与し、学習データ記憶部１０２に記憶してもよい。これにより、欠陥の分類を推定された検証画像が、新たな学習データとして追加される。
　類似画像抽出部１０９は、各学習特徴量と検証特徴量との距離に基づいて、検証画像に類似する類似画像を学習データ記憶部１０２に記憶されている学習画像から抽出する。
　分類集約部１１０は、代表点同士の距離が予め定めた閾値以下である複数の分類がある場合、それらの分類を包含する統合分類を決定する。分類集約部１１０は、統合分類を決定したとき、学習データ記憶部１０２に記憶されている学習データにおいて、統合分類に包含された複数の分類を表す欠陥ラベルを、統合分類を表す欠陥ラベルに更新する。
　≪画像取得装置の機能構成≫
　図３に示されているように、本実施形態における画像取得装置２０は、撮影部２０１及び画像記憶部２０２を備える。
　撮影部２０１は、図２に示されている外部Ｉ／Ｆ５０８に接続されたカメラによって実現される。画像記憶部２０２は、図２に示されているＨＤＤ５０４によって実現される。
　撮影部２０１は、物体の表面に生じた欠陥を撮影し、欠陥画像を生成する。撮影部２０１は、静止画を撮影してもよいし、動画を撮影して欠陥が映り込んでいる画像を抽出してもよい。
　画像記憶部２０２には、撮影部２０１により撮影された欠陥画像が記憶される。
　≪ユーザ端末３０の機能構成≫
　図３に示されているように、本実施形態におけるユーザ端末３０は、画像取得部３０１、分類付与部３０２、画像送信部３０３及び結果表示部３０４を備える。
　画像取得部３０１、分類付与部３０２及び画像送信部３０３は、図２に示されているＨＤＤ５０４からＲＡＭ５０３上に展開されたプログラムがＣＰＵ５０１に実行させる処理によって実現される。結果表示部３０４は、図２に示されている表示装置５０６によって実現される。
　画像取得部３０１は、ユーザの要求に応じて、画像取得装置２０から欠陥画像を取得する。
　分類付与部３０２は、ユーザの操作に応じて、欠陥画像に欠陥ラベルを付与することで、学習画像を生成する。欠陥ラベルを付与する欠陥画像は、ユーザが欠陥の分類を特定できる欠陥画像のみを選択すればよい。
　画像送信部３０３は、ユーザの操作に応じて、学習画像又は検証画像を欠陥分析装置１０に送信する。
　結果表示部３０４は、欠陥分析装置１０から分類の関係を表す情報を受信し、表示装置５０６等に出力する。
　＜欠陥分析システムの処理手順＞
　次に、本実施形態における欠陥分析システム１が実行する欠陥分析方法の処理手順を、図４から図１４を参照しながら説明する。本実施形態における欠陥分析方法は、関係可視化処理（図４参照）、画像分類処理（図９参照）、及びモデル再学習処理（図１４参照）を含む。
　≪関係可視化処理≫
　図４は、本実施形態における関係可視化処理の手順の一例を示すフローチャートである。関係可視化処理は、学習画像を用いて特徴抽出モデルを学習し、学習画像から抽出した画像特徴量に基づいて、欠陥の分類の関係を可視化する処理である。
　ステップＳ１において、画像取得装置２０が備える撮影部２０１は、物体の表面に生じた欠陥を撮影し、欠陥画像を生成する。次に、撮影部２０１は、生成した欠陥画像を画像記憶部２０２に記憶する。画像記憶部２０２には、複数の欠陥画像が蓄積される。
　ステップＳ２において、ユーザ端末３０が備える画像取得部３０１は、ユーザの操作に応じて、画像取得装置２０に学習画像の取得要求を送信する。画像取得装置２０は、学習画像の取得要求に応じて、画像記憶部２０２に蓄積された複数の欠陥画像をユーザ端末３０に送信する。画像取得部３０１は、画像取得装置２０から受信した複数の欠陥画像を分類付与部３０２に送る。
　ステップＳ３において、ユーザ端末３０が備える分類付与部３０２は、画像取得部３０１から複数の欠陥画像を受け取る。次に、分類付与部３０２は、ユーザの操作に応じて、複数の欠陥画像に欠陥ラベルを付与することで、複数の学習画像を生成する。続いて、分類付与部３０２は、生成した学習画像を画像送信部３０３に送る。
　欠陥の分類は、ユーザが任意に設定すればよい。欠陥ラベルは、欠陥の分類に割り当てられたコード値を示すデータである。欠陥の分類の種類は限定されず、ユーザが分析に必要と考える数の分類を設定すればよい。
　本実施形態における分類は、０：擦り傷、１：マジック痕、２：縦線、３：面汚れ、４：ぼんやり、５：まだら、６：短い繊維、７：長い繊維、８：タレ、９：細い横線、１０：太い横線、１１：楕円点、１２：太い黒点、１３：小さいもや、１４：小さい黒点とする。なお、「：」の前の数値は分類に割り当てられたコード値であり、「：」の後の文字列は分類の名称である。
　分類のコード値は、他の分類と重複しなければどのような値を割り当ててもよい。分類の名称はユーザが理解しやすい名称を任意に定めればよい。
　図５は、欠陥画像の一例を示す図である。図５に示されているように、物体の表面に生じる欠陥には、多種多様な欠陥があり得る。図５には、欠陥画像の一例として、０：擦り傷、３：面汚れ、２：縦線、８：タレ、６：短い繊維、７：長い繊維、９：細い横線、１０：太い横線、１１：楕円点、１２：太い黒点、１３：小さいもや、及び１４：小さい黒点に該当する画像を挙げている。
　図５の例では、欠陥の特徴が明白な画像を例として挙げているが、いずれの分類に該当するか判断が難しい中間的な欠陥が生じることもある。例えば、横に長い線状の傷があるとき、９：細い横線とすべきか１０：太い横線とすべきかを決定することは困難な場合がある。また、線状の黒い欠陥があるとき、７：長い繊維なのか９：細い横線なのかを判断することが困難な場合がある。さらに、１枚の画像の中に種類が異なる複数の欠陥が撮影されている場合もある。
　ユーザは、取得した欠陥画像のうち、特定の分類に該当することが明白である欠陥画像のみを選択して、欠陥ラベルを付与すればよい。ユーザが欠陥ラベルを付与しなかった欠陥画像は、画像分類処理において検証画像として用いてもよい。
　図４に戻って説明する。ステップＳ４において、ユーザ端末３０が備える画像送信部３０３は、分類付与部３０２から複数の学習画像を受け取る。次に、画像送信部３０３は、ユーザの操作に応じて、複数の学習画像を欠陥分析装置１０に送信する。
　ステップＳ５において、欠陥分析装置１０が備える画像入力部１０１は、ユーザ端末３０から複数の学習画像を受信する。次に、画像入力部１０１は、受信した複数の学習画像を学習データとして学習データ記憶部１０２に記憶する。
　ステップＳ６において、欠陥分析装置１０が備えるモデル学習部１０３は、学習データ記憶部１０２から学習データを読み出す。次に、モデル学習部１０３は、読み出した学習データを用いて、特徴抽出モデルを学習する。続いて、モデル学習部１０３は、学習済みの特徴抽出モデルをモデル記憶部１０４に記憶する。
　ステップＳ７において、欠陥分析装置１０が備える特徴量抽出部１０５は、モデル記憶部１０４に記憶されている特徴抽出モデルを読み出す。次に、特徴量抽出部１０５は、学習データ記憶部１０２から欠陥ラベルが示す欠陥の分類ごとに学習画像を読み出す。
　続いて、特徴量抽出部１０５は、欠陥の分類ごとに学習画像を特徴抽出モデルに入力することで、学習特徴量を生成する。特徴量抽出部１０５は、生成した学習特徴量を欠陥の分類ごとに代表点決定部１０６に送る。
　ステップＳ８において、欠陥分析装置１０が備える代表点決定部１０６は、特徴量抽出部１０５から欠陥の分類ごとに学習特徴量を受け取る。次に、代表点決定部１０６は、学習特徴量を埋め込み空間に配置する。続いて、代表点決定部１０６は、学習特徴量が配置された埋め込み空間に基づいて、欠陥の分類ごとの代表点を決定する。代表点決定部１０６は、決定した代表点を表す情報を関係可視化部１０７に送る。
　ステップＳ９において、欠陥分析装置１０が備える関係可視化部１０７は、代表点決定部１０６から代表点を表す情報を受け取る。次に、関係可視化部１０７は、各分類の代表点同士の距離を計算する。続いて、関係可視化部１０７は、代表点同士の距離に基づいて、分類の関係を表す情報を生成する。関係可視化部１０７は、分類の関係を表す情報をユーザ端末３０に送信する。
　関係可視化部１０７は、様々な方法で分類の関係を表すことができる。分類の関係を表す情報の第１の例は、分類の関係を表現したヒートマップである。分類の関係を表す情報の第２の例は、分類の関係を表現した散布図である。分類の関係を表す情報の第３の例は、分類の関係を表現したデンドログラムである。
　（ヒートマップ）
　図６は、関係可視化処理におけるヒートマップの一例を示す図である。図６に示されているように、関係可視化処理におけるヒートマップは、代表点同士の距離を長さに応じて色分けしたマトリックスである。
　図６の例では、代表点間の距離をコサイン類似度とし、分類の組み合わせごとに距離を色分けしている。距離が０に近いほど、欠陥の分類同士が似ていることを表しており、距離が２に近いほど、欠陥の分類同士が似ていないことを表している。図６では、距離が近いほど色が濃くなるように色分けしている。ユーザは、ヒートマップにおける色の濃淡を観察することで、分類間の類否関係を把握することができる。
　（散布図）
　図７は、関係可視化処理における散布図の一例を示す図である。図７に示されているように、関係可視化処理における散布図は、多次元尺度構成法に基づいて、二次元平面に各分類の代表点を配置したグラフである。ユーザは、散布図における代表点同士の距離を観察することで、分類間の類否関係を把握することができる。
　（デンドログラム）
　図８は、関係可視化処理におけるデンドログラムの一例を示す図である。図８に示されているように、関係可視化処理におけるデンドログラムは、階層クラスタリングに基づいて、各分類の代表点をツリー構造で階層化した樹形図である。ユーザは、デンドログラムにおける分類同士を繋ぐ経路の長さや分岐の高さを観察することで、分類間の類否関係を把握することができる。
　図４に戻って説明する。ステップＳ１０において、ユーザ端末３０が備える結果表示部３０４は、欠陥分析装置１０から分類の関係を表す情報を受信する。次に、結果表示部３０４は、分類の関係を表す情報を表示装置５０６に表示する。
　≪画像分類処理≫
　図９は、本実施形態における画像分類処理の手順の一例を示すフローチャートである。画像分類処理は、学習済みの特徴抽出モデルを用いて検証画像に撮影されている欠陥の分類を推定し、検証画像と欠陥の分類との関係を可視化する処理である。
　ステップＳ１１において、画像取得装置２０が備える撮影部２０１は、物体の表面に生じた欠陥を撮影し、欠陥画像を生成する。次に、撮影部２０１は、生成した欠陥画像を画像記憶部２０２に記憶する。画像記憶部２０２には、複数の欠陥画像が蓄積される。
　ステップＳ１２において、ユーザ端末３０が備える画像取得部３０１は、ユーザの操作に応じて、画像取得装置２０に検証画像の取得要求を送信する。画像取得装置２０は、検証画像の取得要求に応じて、画像記憶部２０２に記憶されている欠陥画像をユーザ端末３０に送信する。画像取得部３０１は、画像取得装置２０から受信した欠陥画像を画像送信部３０３に送る。
　ステップＳ１３において、ユーザ端末３０が備える画像送信部３０３は、画像取得部３０１から欠陥画像を受け取る。次に、画像送信部３０３は、ユーザの操作に応じて、欠陥画像から選択された検証画像を欠陥分析装置１０に送信する。
　ステップＳ１４において、欠陥分析装置１０が備える画像入力部１０１は、ユーザ端末３０から検証画像を受信する。次に、画像入力部１０１は、受信した検証画像を特徴量抽出部１０５に送る。
　ステップＳ１５において、欠陥分析装置１０が備える特徴量抽出部１０５は、画像入力部１０１から検証画像を受け取る。次に、特徴量抽出部１０５は、モデル記憶部１０４に記憶されている特徴抽出モデルを読み出す。続いて、特徴量抽出部１０５は、検証画像を特徴抽出モデルに入力することで、検証特徴量を生成する。特徴量抽出部１０５は、生成した検証特徴量を分類推定部１０８に送る。
　ステップＳ１６において、欠陥分析装置１０が備える分類推定部１０８は、特徴量抽出部１０５から検証特徴量を受け取る。次に、分類推定部１０８は、代表点決定部１０６から各分類の代表点を取得する。続いて、分類推定部１０８は、検証特徴量及び各分類の代表点を埋め込み空間に配置する。次に、分類推定部１０８は、検証特徴量と各分類の代表点との距離を計算する。そして、分類推定部１０８は、検証特徴量と各分類の代表点との距離に基づいて、検証画像に撮影されている欠陥の分類を推定する。
　分類推定部１０８は、検証特徴量と各分類の代表点との距離を予め定めた閾値と比較することで、検証画像に撮影されている欠陥の分類を推定する。なお、推定に用いる閾値は、ユーザの操作により任意の値に設定されてもよい。
　分類推定部１０８は、検証特徴量との距離が閾値以下である代表点が１つであるとき、検証画像はその分類に該当すると判定する。分類推定部１０８は、検証特徴量との距離が閾値以下である代表点が複数あるとき、検証画像はそれら複数の分類に該当すると判定する。分類推定部１０８は、検証特徴量との距離が閾値以下である代表点がないとき、検証画像は新規分類に該当すると判定する。
　分類推定部１０８は、検証特徴量及び推定された分類を表す推定結果を類似画像抽出部１０９に送る。分類推定部１０８は、推定された分類を表す欠陥ラベルを検証画像に付与し、学習データ記憶部１０２に記憶されている学習データに追加してもよい。
　ステップＳ１７において、欠陥分析装置１０が備える類似画像抽出部１０９は、分類推定部１０８から検証特徴量及び推定結果を受け取る。次に、類似画像抽出部１０９は、学習データ記憶部１０２から推定結果と同一の分類を表す欠陥ラベルを付与されている学習画像を読み出す。続いて、類似画像抽出部１０９は、読み出した学習画像に対応する学習特徴量と検証特徴量との距離を計算する。
　類似画像抽出部１０９は、各学習特徴量と検証特徴量との距離に基づいて、学習画像から類似画像を抽出する。類似画像抽出部１０９は、検証特徴量との距離が予め定めた閾値以下である学習画像をすべて抽出してもよいし、検証特徴量との距離が短い順に所定数の学習画像を抽出してもよい。類似画像抽出部１０９は、検証特徴量、推定結果及び類似画像を関係可視化部１０７に送る。
　図１０は、類似画像の一例を示す図である。図１０の例は、検証画像との距離が短い３個の類似画像を距離が短い順に抽出した結果である。図１０の例では、検証画像には中心付近から水平方向に伸びる細い横線が撮影されている。類似画像１～３には検証画像と同程度の太さの横線が撮影されており、検証画像と類似していることがわかる。図１０に示されているように、類似画像には、検証画像との距離を表す情報を付与してもよい。
　図９に戻って説明する。ステップＳ１８において、欠陥分析装置１０が備える関係可視化部１０７は、類似画像抽出部１０９から検証特徴量、推定結果及び類似画像を受け取る。次に、関係可視化部１０７は、検証特徴量と各分類の代表点との距離に基づいて、検証画像と分類との関係を表す情報を生成する。関係可視化部１０７は、検証画像と分類との関係を表す情報をユーザ端末３０に送信する。
　関係可視化部１０７は、関係可視化処理における分類の関係を表す方法と同様にして、検証画像と分類との関係を表すことができる。すなわち、関係可視化部１０７は、ヒートマップ、散布図又はデンドログラムで検証画像と分類との関係を表すことができる。
　（ヒートマップ）
　図１１は、画像分類処理におけるヒートマップの一例を示す図である。図１１に示されているように、画像分類処理におけるヒートマップは、検証画像を「１５：入力画像」とし、各分類の代表点との距離を長さに応じて色分けしたマトリックスである。ユーザは、ヒートマップにおける色の濃淡を観察することで、検証画像と各分類との類否関係を把握することができる。
　（散布図）
　図１２は、画像分類処理における散布図の一例を示す図である。図１２に示されているように、画像分類処理における散布図は、検証画像を「１５：入力画像」とし、多次元尺度構成法に基づいて、二次元平面に検証特徴量と各分類の代表点を配置したグラフである。ユーザは、散布図における入力画像と各分類の代表点との距離を観察することで、検証画像と各分類との類否関係を把握することができる。
　（デンドログラム）
　図１３は、画像分類処理におけるデンドログラムの一例を示す図である。図１３に示されているように、画像分類処理におけるデンドログラムは、検証画像を「１５：入力画像」とし、階層クラスタリングに基づいて、入力画像と各分類の代表点とをツリー構造で階層化した樹形図である。ユーザは、デンドログラムにおける入力画像と各分類とを繋ぐ経路の長さや分岐の高さを観察することで、検証画像と各分類との類否関係を把握することができる。
　図９に戻って説明する。ステップＳ１９において、ユーザ端末３０が備える結果表示部３０４は、欠陥分析装置１０から検証画像と分類との関係を表す情報を受信する。次に、結果表示部３０４は、検証画像と分類との関係を表す情報を表示装置５０６に表示する。
　≪モデル再学習処理≫
　図１４は、本実施形態におけるモデル再学習処理の手順の一例を示すフローチャートである。モデル再学習処理は、分析結果に基づいて欠陥の分類を再編成し、再編成後の分類が付与された学習データを用いて特徴抽出モデルを再学習する処理である。
　ステップＳ２１において、欠陥分析装置１０が備える分類推定部１０８は、画像分類処理において検証画像が新規分類に該当すると判定されたとき、当該検証画像に新規分類を表す欠陥ラベルを付与し、学習データ記憶部１０２に記憶されている学習データに追加する。
　ステップＳ２２において、欠陥分析装置１０が備える分類集約部１１０は、代表点決定部１０６から各分類の代表点を取得する。次に、分類集約部１１０は、各分類の代表点を埋め込み空間に配置する。続いて、分類集約部１１０は、各分類の代表点が配置された埋め込み空間に基づいて、代表点同士の距離が予め定めた閾値以下である複数の分類があるか否かを判定する。分類集約部１１０は、代表点同士の距離が閾値以下である複数の分類がある場合、それらの分類を包含する統合分類を決定する。統合分類は、複数の分類のうちの１つの分類を選択してもよいし、新たな分類を生成してもよい。
　なお、分類集約部１１０が判定に用いる閾値は、分類推定部１０８が推定に用いた閾値と同じ値でもよいし、異なる値でもよい。判定に用いる閾値は、推定に用いた閾値と同様に、ユーザの操作により任意の値に設定されてもよい。
　ステップＳ２３において、欠陥分析装置１０が備える分類集約部１１０は、学習データ記憶部１０２から、統合分類に包含された複数の分類を表す欠陥ラベルが付与された学習データを読み出す。次に、分類集約部１１０は、読み出した学習データに付与されている欠陥ラベルを、統合分類を表す欠陥ラベルに更新する。続いて、分類集約部１１０は、統合分類を表す欠陥ラベルを付与された学習データを学習データ記憶部１０２に記憶する。
　ステップＳ２４において、欠陥分析装置１０が備えるモデル学習部１０３は、学習データ記憶部１０２から学習データを読み出す。次に、モデル学習部１０３は、モデル記憶部１０４に記憶されている特徴抽出モデルを読み出す。続いて、モデル学習部１０３は、読み出した学習データを用いて、特徴抽出モデルを再学習する。そして、モデル学習部１０３は、再学習済みの特徴抽出モデルをモデル記憶部１０４に記憶する。
　＜実施形態の効果＞
　本実施形態における欠陥分析システムは、欠陥画像に欠陥の分類が付与された学習データに基づいて、特徴抽出モデルを学習する。特徴抽出モデルは、類似する画像同士の距離が近くなる画像特徴量を入力画像から抽出するように学習される。欠陥分析システムは、欠陥画像の画像特徴量から決定した代表点同士の距離に基づいて、欠陥の分類の関係を表す情報を出力する。したがって、本実施形態における欠陥分析システムによれば、欠陥を撮影した画像に基づいて欠陥の分類を分析することができる。
　特に、本実施形態における欠陥分析システムは、代表点同士の距離を可視化したヒートマップ、散布図又はデンドログラム等、様々な表現形態で欠陥の分類の関係を可視化することができる。したがって、本実施形態における欠陥分析システムによれば、ユーザにとって納得感が高い分析結果を出力することができる。
　また、本実施形態における欠陥分析システムは、欠陥の分類が特定されていない検証画像の画像特徴量と各分類の代表点との距離に基づいて、当該検証画像に撮影されている欠陥の分類を推定する。このとき、推定された分類に含まれる欠陥画像から検証画像と類似する画像を抽出し、推定結果と共に出力してもよい。したがって、本実施形態における欠陥分析システムによれば、複数の分類のいずれにも似ている中間的な欠陥、又は予め定めたいずれの分類とも異なる新しい欠陥に対して、納得感の高い推定結果を出力することができる。
　さらに、本実施形態における欠陥分析システムは、検証画像がいずれの分類にも該当しない新規分類、又は代表点同士の距離が短い複数の分類を包含する統合分類が付与された学習データを用いて、特徴抽出モデルを再学習する。再学習された特徴抽出モデルを用いると、分析結果に基づいて再編成された欠陥の分類の関係を分析することができる。したがって、本実施形態における欠陥分析システムによれば、ユーザの利用環境にとって適した欠陥の分類を獲得することができ、ユーザにとってより納得感が高い分析結果を出力することができる。
　［補足］
　上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）や従来の回路モジュール等の機器を含むものとする。
　以上、本発明の実施の形態について詳述したが、本発明はこれらの実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。
　本願は、日本国特許庁に２０２２年７月１２日に出願された日本国特許出願２０２２－１１１６６２号の優先権を主張するものであり、その全内容を参照することにより本願に援用する。
１　欠陥分析システム
１０　欠陥分析装置
１０１　画像入力部
１０２　学習データ記憶部
１０３　モデル学習部
１０４　モデル記憶部
１０５　特徴量抽出部
１０６　代表点決定部
１０７　関係可視化部
１０８　分類推定部
１０９　類似画像抽出部
１１０　分類集約部
２０　画像取得装置
２０１　撮影部
２０２　画像記憶部
３０　ユーザ端末
３０１　画像取得部
３０２　分類付与部
３０３　画像送信部
３０４　結果表示部

Claims (10)

  1. 　物体の表面に生じた欠陥を撮影した欠陥画像に前記欠陥の分類を表す情報が付与された学習データに基づいて学習した、類似する画像同士の距離が近くなる画像特徴量を入力画像から抽出する特徴抽出モデルを記憶するように構成されているモデル記憶部と、
    　前記特徴抽出モデルを用いて前記欠陥画像から抽出された前記画像特徴量に基づいて前記分類ごとの代表点を決定するように構成されている代表点決定部と、
    　前記代表点同士の距離に基づいて前記分類の関係を表す情報を出力するように構成されている関係可視化部と、
    　を備える欠陥分析装置。
  2. 　請求項１に記載の欠陥分析装置であって、
    　物体の表面を撮影した検証画像の入力を受け付けるように構成されている画像入力部と、
    　前記特徴抽出モデルを用いて前記検証画像から抽出された前記画像特徴量を検証特徴量として生成するように構成されている特徴量抽出部と、
    　前記検証特徴量と前記代表点との距離に基づいて前記検証画像の前記分類を推定するように構成されている分類推定部と、
    　をさらに備える欠陥分析装置。
  3. 　請求項２に記載の欠陥分析装置であって、
    　前記画像特徴量間の距離に基づいて前記検証画像に類似する前記欠陥画像を前記学習データから抽出するように構成されている類似画像抽出部をさらに備える、
    　欠陥分析装置。
  4. 　請求項１から３のいずれかに記載の欠陥分析装置であって、
    　前記代表点同士の距離が短い複数の前記分類を包含する統合分類を決定するように構成されている分類集約部と、
    　前記統合分類を表す情報が付与された前記学習データに基づいて、前記特徴抽出モデルを再学習するように構成されているモデル学習部と、
    　をさらに備える欠陥分析装置。
  5. 　請求項１から４のいずれかに記載の欠陥分析装置であって、
    　前記関係を表す情報は、前記代表点同士の距離を長さに応じて色分けしたヒートマップ、多次元尺度構成法に基づいて前記代表点を配置した散布図、又は階層クラスタリングに基づいて前記代表点を階層化したデンドログラムである、
    　欠陥分析装置。
  6. 　請求項２に記載の欠陥分析装置であって、
    　前記分類推定部は、前記検証特徴量と前記代表点との距離を閾値と比較することで前記検証画像の前記分類を推定するように構成されている、
    　欠陥分析装置。
  7. 　請求項６に記載の欠陥分析装置であって、
    　前記分類推定部は、前記距離が前記閾値以下である前記分類が複数ある場合、前記検証画像が複数の前記分類に該当すると推定するように構成されている、
    　欠陥分析装置。
  8. 　請求項６に記載の欠陥分析装置であって、
    　前記分類推定部は、前記距離が前記閾値以下である前記分類がない場合、前記検証画像が前記分類とは異なる新規分類に該当すると推定するように構成されている、
    　欠陥分析装置。
  9. 　欠陥分析装置が、
    　物体の表面に生じた欠陥を撮影した欠陥画像に前記欠陥の分類を表す情報が付与された学習データに基づいて学習した、類似する画像同士の距離が近くなる画像特徴量を入力画像から抽出する特徴抽出モデルをモデル記憶部に記憶する手順と、
    　前記特徴抽出モデルを用いて前記欠陥画像から抽出された前記画像特徴量に基づいて前記分類ごとの代表点を決定する手順と、
    　前記代表点同士の距離に基づいて前記分類の関係を表す情報を出力する手順と、
    　を実行する欠陥分析方法。
  10. 　コンピュータに、
    　物体の表面に生じた欠陥を撮影した欠陥画像に前記欠陥の分類を表す情報が付与された学習データに基づいて学習した、類似する画像同士の距離が近くなる画像特徴量を入力画像から抽出する特徴抽出モデルをモデル記憶部に記憶する手順と、
    　前記特徴抽出モデルを用いて前記欠陥画像から抽出された前記画像特徴量に基づいて前記分類ごとの代表点を決定する手順と、
    　前記代表点同士の距離に基づいて前記分類の関係を表す情報を出力する手順と、
    　を実行させるためのプログラム。
PCT/JP2023/017967 2022-07-12 2023-05-12 欠陥分析装置、欠陥分析方法及びプログラム WO2024014102A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-111662 2022-07-12
JP2022111662 2022-07-12

Publications (1)

Publication Number Publication Date
WO2024014102A1 true WO2024014102A1 (ja) 2024-01-18

Family

ID=89536382

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/017967 WO2024014102A1 (ja) 2022-07-12 2023-05-12 欠陥分析装置、欠陥分析方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2024014102A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000057349A (ja) * 1998-08-10 2000-02-25 Hitachi Ltd 欠陥の分類方法およびその装置並びに教示用データ作成方法
JP2009068946A (ja) * 2007-09-12 2009-04-02 Omron Corp 欠陥分類装置および方法並びにプログラム
WO2020004101A1 (ja) * 2018-06-27 2020-01-02 株式会社Ｃｙｂｏ 表示制御装置、表示制御方法及び表示制御プログラム
WO2021199706A1 (ja) * 2020-03-31 2021-10-07 東レ株式会社 データ分類装置、データ分類方法およびデータ分類プログラム
WO2022130762A1 (ja) * 2020-12-15 2022-06-23 Ａｇｃ株式会社 欠陥検査装置、欠陥検査方法および製造方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000057349A (ja) * 1998-08-10 2000-02-25 Hitachi Ltd 欠陥の分類方法およびその装置並びに教示用データ作成方法
JP2009068946A (ja) * 2007-09-12 2009-04-02 Omron Corp 欠陥分類装置および方法並びにプログラム
WO2020004101A1 (ja) * 2018-06-27 2020-01-02 株式会社Ｃｙｂｏ 表示制御装置、表示制御方法及び表示制御プログラム
WO2021199706A1 (ja) * 2020-03-31 2021-10-07 東レ株式会社 データ分類装置、データ分類方法およびデータ分類プログラム
WO2022130762A1 (ja) * 2020-12-15 2022-06-23 Ａｇｃ株式会社 欠陥検査装置、欠陥検査方法および製造方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OSHIRO YOSHITOMO, ENDO SATOSHI: "Improving accuracy of Fine-grained Classification using Contrastive Learning", PROCEEDINGS OF 20TH FORUM ON INFORMATION TECHNOLOGY (FIT2021), PART 3, 12 August 2021 (2021-08-12), pages 7 - 10, XP093128496 *

Similar Documents

Publication Publication Date Title
EP3499418B1 (en) Information processing apparatus, identification system, setting method, and program
TWI689871B (zh) 梯度提升決策樹（ｇｂｄｔ）模型的特徵解釋方法和裝置
JP7054436B2 (ja) 検出システム、情報処理装置、評価方法及びプログラム
US11164306B2 (en) Visualization of inspection results
US11599983B2 (en) System and method for automated electronic catalogue management and electronic image quality assessment
CN112052868A (zh) 模型训练方法、图像相似度度量方法、终端及存储介质
CN111429482A (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN111159279B (zh) 一种模型可视化方法、设备及存储介质
JP2022079947A (ja) プルーニング管理装置、プルーニング管理システム及びプルーニング管理方法
CN114418980A (zh) 印刷线路板缺陷识别的深度学习方法、系统、设备及介质
CN111382791A (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
JP7059889B2 (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
JP2006292615A (ja) 外観検査装置、外観検査方法、コンピュータを外観検査装置として機能させるためのプログラムおよび記録媒体
CN117703023A (zh) 一种岩板/瓷砖的无缝铺贴方法
WO2024014102A1 (ja) 欠陥分析装置、欠陥分析方法及びプログラム
CN109558505A (zh) 视觉搜索方法、装置、计算机设备及存储介质
CN114187465A (zh) 分类模型的训练方法、装置、电子设备及存储介质
CN116977271A (zh) 缺陷检测方法、模型训练方法、装置及电子设备
CN117132564A (zh) 基于YOLOv3的蓝宝石衬底表面缺陷检测方法及系统
JP2021119442A (ja) 異常検知方法、異常検知装置、異常検知プログラムおよび学習方法
CN110969602A (zh) 一种图像清晰程度检测方法及装置
CN116051959A (zh) 一种目标检测方法、装置
KR20200124887A (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
CN116958624A (zh) 指定材质的识别方法、装置、设备、介质及程序产品
CN117408967B (zh) 基于3d视觉识别的板材缺陷检测方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23839280

Country of ref document: EP

Kind code of ref document: A1