WO2013099487A1 - Ｇｕｉ、分類装置、分類方法、プログラム及び分類プログラムを記憶した記憶媒体 - Google Patents

Ｇｕｉ、分類装置、分類方法、プログラム及び分類プログラムを記憶した記憶媒体 Download PDF

Info

Publication number
WO2013099487A1
WO2013099487A1 PCT/JP2012/080416 JP2012080416W WO2013099487A1 WO 2013099487 A1 WO2013099487 A1 WO 2013099487A1 JP 2012080416 W JP2012080416 W JP 2012080416W WO 2013099487 A1 WO2013099487 A1 WO 2013099487A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
folder
class
gui
displayed
Prior art date
Application number
PCT/JP2012/080416
Other languages
English (en)
French (fr)
Inventor
陽平 嶺川
高木　裕治
原田　実
大博 平井
亮 中垣
Original Assignee
株式会社日立ハイテクノロジーズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立ハイテクノロジーズ filed Critical 株式会社日立ハイテクノロジーズ
Priority to KR1020147017756A priority Critical patent/KR101888227B1/ko
Priority to CN201280064315.1A priority patent/CN104024838B/zh
Priority to US14/360,636 priority patent/US10203851B2/en
Publication of WO2013099487A1 publication Critical patent/WO2013099487A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • H01J37/261—Details
    • H01J37/265—Controlling the tube; circuit arrangements adapted to a particular application not otherwise provided, e.g. bright-field-dark-field illumination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/26—Electron or ion microscopes
    • H01J2237/28—Scanning microscopes
    • H01J2237/2813—Scanning microscopes characterised by the application
    • H01J2237/2817—Pattern inspection

Definitions

  • the present invention relates to a storage medium storing a GUI, a classification device, a classification method, and a program for an image captured on a semiconductor wafer.
  • defect analysis is performed using a defect inspection apparatus and a defect observation apparatus.
  • the defect inspection apparatus is an apparatus that observes a wafer using optical means or an electron beam and outputs the position coordinates of the detected defect. Since it is important for defect inspection equipment to process a wide area at high speed, the amount of image data is reduced by increasing the pixel size of the acquired image as much as possible (that is, lowering the resolution). Although the existence of a defect can be confirmed from the detected low-resolution image, it is difficult to determine the type of the defect (defect type) in detail.
  • the defect observation apparatus is an apparatus that uses the output information of the defect inspection apparatus, images defect coordinates of a wafer with high resolution, and outputs an image.
  • the semiconductor manufacturing process has been miniaturized, and accordingly the defect size has reached the order of several tens of nanometers. In order to observe the defects in detail, a resolution of the order of several nanometers is required. Therefore, in recent years, a defect observation apparatus (review SEM) using a scanning electron microscope (SEM: Scanning Electron Microscope) has been widely used.
  • the review SEM has an ADR (Automatic Defect Review) function that automatically collects high-resolution images (defect images) of defects on the wafer using the defect coordinates output by the defect inspection apparatus.
  • ADR Automatic Defect Review
  • the captured SEM image is classified based on the type of the captured defect.
  • the user confirms the image and assigns a class (user class) that the user wants to classify for each image.
  • the above class assignment work is often performed manually by the user and is called manual classification.
  • the manual classification of the defect image is referred to as manual defect classification (MDC: Manual Defect Classification).
  • MDC Manual Defect Classification
  • the image may be classified based on the defect pattern on the image and the circuit pattern around the defect for the purpose of specifying a circuit pattern in which a defect is likely to occur.
  • the review SEM is equipped with an ADC (Automatic Defect Classification) function that automatically identifies and classifies defect types from defect images.
  • ADC Automatic Defect Classification
  • Patent Document 1 Japanese Patent Laid-Open No. Hei 8-21803 discloses a method of quantifying the appearance feature amount of a defective part by image processing and classifying it using a neural network. Automatic classification is performed according to the classification recipe.
  • the classification recipe includes various parameters such as image processing parameters, information on defect types to be classified (classification class), defect images (teaching images) belonging to each classification class, and the like.
  • the teaching image is necessary for giving the classification criteria of each class to the automatic classification, and is basically given by the MDC. Since classification results by MDC greatly affect the performance of ADC, manual classification is still important.
  • Patent Document 2 (Special Table 2008-516259) and Patent Document 3 (US Pat. No. 6,999,614) disclose classification methods using image feature amounts obtained by image processing. A method is disclosed in which none classification is performed and classes are assigned to classification results collectively.
  • the manual classification described in the background art is that the user visually checks the appearance characteristics of the defective part in the captured SEM image and the circuit pattern of the defective part or the surrounding area, and classifies it into a plurality of predefined defect classes. It is work to do. This task requires a large user load and time because the user needs to select an image of each class from among a large number of images in which a plurality of images of different classes are mixed, and assign a class. It was.
  • an object of the present invention is to provide a GUI, a classification device, a classification method, a program, and a storage medium storing the program with a low user burden.
  • An unassigned pane area that hierarchically displays a folder that is a set of images to which class information has not been assigned, and an image pane that displays images to which no class information has been assigned displayed in the unassigned pane area.
  • a class pane area that displays an area and an image to which class information is assigned.
  • An image imaging unit that irradiates the surface of the inspection object with an electron beam, detects electrons generated from the surface of the inspection object, and converts the detected electrons into an image; and the image imaging unit
  • An image feature calculation unit that processes the converted image and calculates a feature amount of the image, and a hierarchical structure that generates a hierarchical structure of a folder including the image using the feature amount of the image calculated by the image feature calculation unit
  • a processing unit including a generation unit and a class information addition unit that provides class information to an image of the folder when class information is input from the outside to the hierarchical folder generated by the hierarchical generation unit
  • a classification device comprising the GUI according to claim 1.
  • the present invention it is possible to provide a GUI, a classification device, a classification method, a program, and a storage medium storing the program with a low user burden.
  • the classification method concerning Embodiment 1 of this invention it is a flowchart in the case of creating a hierarchical structure from a lower layer.
  • the classification method concerning Embodiment 1 of this invention it is a flowchart in the case of creating a hierarchical structure from an upper layer.
  • the classification method concerning Embodiment 1 of the present invention it is a processing flow figure which gives class information to one or more pictures specified by an image pane.
  • FIG. 1 is a configuration diagram showing the configuration of the classification device according to Embodiment 1 of the present invention.
  • This classification apparatus is configured such that the image capturing apparatus 102 is connected via the communication means 103.
  • the image capturing device 102 is a device that acquires an image of a corresponding part. Details of the image pickup apparatus 102 will be described later with reference to FIG.
  • the classification device 101 outputs information for adding class information to the image obtained by the image capturing device 102 to the input / output unit 104, and adds class information to the image based on the information input to the user 104. It has a function to do.
  • the input / output unit 104 includes a keyboard, a mouse, a display device, etc. for presenting data to the operator and receiving input from the operator.
  • the classification apparatus 101 includes an overall control unit 105 that controls the operation of the apparatus, a storage unit 106 that stores an image input from the image capturing apparatus 102, assigned class information, and the like, creates information to be presented to the user, A processing unit 107 that assigns class information to each image based on an input, an input / output I / F unit 108 for data transfer via the input / output unit 104 or the communication unit 103, a memory 109 that stores a program, and the like 106, a processing unit 107, a memory 109, an overall control unit 105, and a bus 116 that performs data communication of the input / output I / F 108.
  • the storage unit 106 stores an image storage unit 110 that stores an image captured from the image capturing apparatus 101, and a class information storage unit that stores class information added to each image stored in the image storage unit 110 by the apparatus 101. 111, a hierarchical structure storage unit 112 that stores information on the hierarchical structure displayed on the input / output unit 104 is included.
  • the processing unit 107 calculates an image feature stored in the image storage unit 110 as a quantitative value (feature value) as a quantitative value (feature amount), and a hierarchical structure from the feature amount calculated by the image feature calculation unit 113.
  • a hierarchical structure generation unit 114 that generates hierarchical structure information stored in the storage unit 112 and a class information addition unit 115 that adds class information to an image based on a user input input to the input / output unit 104 are included. Details of the hierarchical structure will be described later with reference to FIGS. The processing procedure and method of the processing unit 107 will be described later.
  • a recording medium (not shown) can be connected to the input / output unit 104 of the classification apparatus 101, and a program executed by the classification apparatus 101 can be read from the recording medium and loaded into the classification apparatus 101. Yes.
  • the image data output from the image capturing apparatus 102 is sent to the image storage unit 110 via the input / output I / F 108 and the overall control unit 105 and stored so as to be readable in the image storage unit 110.
  • the manual classification facilitating program is read from the memory 109 or the storage medium by the overall control unit 105.
  • the overall control unit 105 controls the processing unit 107 in accordance with the program, and the information such as an image stored in the storage unit 106 and intermediate data stored in the memory 109 are input / output unit 104 via the input / output I / F 108. 8 is displayed, and the input / output unit 104 receives an input from the user.
  • the user input input to the input / output unit 104 is sent to the overall control unit 105 via the input / output I / F 108.
  • the overall control unit 105 assigns class information to the image by processing information such as an image stored in the storage unit 106 or intermediate data stored in the memory in the processing unit 107 according to the program.
  • Data transmission / reception in the classification apparatus 101 is performed via the bus 116.
  • FIG. 2 is a configuration diagram showing the configuration of the image capturing device of the classification device according to the first embodiment of the present invention.
  • the image capturing apparatus 101 is configured such that an SEM column 201, an SEM control unit 208, an input / output I / F 209, a storage unit 211, and an accompanying information creation unit 214 are connected via a communication unit 215.
  • An input / output unit 210 is connected to the input / output I / F 209 to input / output data to / from an operator.
  • the SEM column 201 has a plurality of detections for detecting secondary electrons and backscattered electrons generated as a result of irradiating the sample wafer 207 with the primary electron beam from the electron source 202, the stage 206 mounted on the sample wafer 207, and the sample wafer 207.
  • Devices 203, 204, 205 are provided.
  • a deflector (not shown) for scanning the observation region of the sample wafer 207 with the primary electron beam
  • an image generation unit (not shown) for digitally converting the intensity of detected electrons to generate a digital image. Etc.).
  • An image in which secondary electrons are detected by the detector 203 is referred to as an SE image
  • an image in which backscattered electrons are detected by the detectors 204 and 205 is referred to as an L image and an R image.
  • the storage unit 211 is used for a process of reducing the influence of shot noise by acquiring a plurality of images at the same location and creating an average image thereof, which are SEM imaging conditions, such as acceleration voltage, probe current, and frame addition number The number of images), the field-of-view size, and the like, and an image memory 213 that stores acquired image data.
  • SEM imaging conditions such as acceleration voltage, probe current, and frame addition number The number of images), the field-of-view size, and the like
  • an image memory 213 that stores acquired image data.
  • the accompanying information generation unit 214 is used for generating information accompanying each image data, for example, imaging conditions such as an acceleration voltage at the time of imaging, a probe current, and a frame addition number, ID information for specifying an imaging device, and image generation. It has a function of creating information such as the types and properties of the detectors 203 to 205, the wafer ID and process, and the date and time when the image was captured.
  • the wafer ID and process information may be input by the user from the input / output unit 210, or may be read from the surface of the wafer or from a box (not shown) in which the wafer is stored. .
  • the generated accompanying information is transferred together with the image data when the image data is transferred via the input / output I / F 209.
  • the SEM control unit 208 is a part that controls all processes performed by the image capturing apparatus 102 such as image acquisition.
  • the stage 206 is moved to bring a predetermined observation site on the sample wafer 207 into the imaging field of view, the primary electron beam is irradiated onto the sample wafer 207, and a detector for electrons generated from the sample is detected.
  • Detection at 203 to 205 imaging of the detected electrons, storage in the image memory 213, creation of accompanying information for the captured image by the accompanying information creation unit 214, and the like are performed.
  • Various instructions from an operator, designation of imaging conditions, and the like are performed through an input / output unit 210 including a keyboard, a mouse, a display, and the like.
  • FIG. 3 is an explanatory diagram of the hierarchical structure of the classification device according to the first embodiment of the invention.
  • FIG. 3 is a display example of the hierarchical structure displayed on the GUI.
  • Reference numeral 301 denotes a set of images (hereinafter referred to as folders), and these folders are arranged (connected) hierarchically.
  • the uppermost folder is called a root folder.
  • Reference numeral 302 denotes information such as a folder name and the number of images included in the folder (hereinafter referred to as a label).
  • the images included in each folder are images having similar features (that is, features having similar values).
  • the folder of label A and the folder of label B are connected to the lower layer of the folder of label ALL, which is the root folder, and the folder of label AA and label AB is connected to the lower layer of label A. It is a structure.
  • the folders of label AA and label AB are in the same layer.
  • the folders of label A and label B are also in the same layer.
  • the depth of the lower folder in the folder A is the same, but the depth of the hierarchy may be different in the same folder.
  • FIG. 4 is an explanatory diagram of the distribution of feature amounts in each class of images on the feature amount space of the images included in the folder shown in FIG.
  • the feature amount space is expressed in two dimensions for explanation, but the feature amount space is not limited to the two-dimensional feature amount space.
  • the upper folder includes the feature amount space of the lower folder.
  • the folder of label A includes the feature amount space of the lower layer label AA and label AB. That is, the upper folder includes images of the lower folder.
  • class names (classes 1 to 3) are shown in the upper right part of the image 401.
  • Class A and class 2 images are mixed in the folder of label A.
  • the folder of label B contains only single class 3 images.
  • the hierarchical structure is a structure in which, as the hierarchy becomes deeper, the ratio of an image of a specific class in one or more images included in the folder 301 increases in the folder 301.
  • the ratio of an image of a specific class refers to the ratio of the class of an image assigned to the specific class by unsupervised classification.
  • the feature amount calculated by the image feature calculation unit 113 may be changed in accordance with a determination criterion (classification purpose) of a class to be classified. For example, if you want to assign the type of defect in the image as a class, the feature that is used as a criterion for human defect determination, such as the brightness value, defect size, circularity, and unevenness at the defect site May be calculated as a quantitative value. Further, when it is desired to assign a class based on the circuit pattern in the image, a value obtained by quantifying the density, shape, three-dimensional structure, etc. of the circuit pattern may be used.
  • design data may be used as information such as the density, shape, and three-dimensional structure of the circuit pattern.
  • local feature quantities such as SURF (Speeded Up Robust Features) used in general object recognition may be used.
  • the user determines the purpose of classification (determination criteria of the class to be classified) by using the GUI, it may be automatically determined which feature to use based on a predetermined condition. The user may select the feature itself.
  • a method of using the feature amount used in the ADC classification process is also conceivable.
  • a feature quantity different from the ADC may be used.
  • ADC feature values are automatically pre-classified with high accuracy, and therefore, it is often assumed that the feature amount calculation parameter is strictly adjusted before the feature amount calculation.
  • strict feature amount calculation parameter adjustment is not required in advance.
  • the feature amount to be used may be specified by a method such as allowing the user to specify it on the GUI or by defining it in a text file or the like.
  • Hierarchical structure information is information necessary for displaying a hierarchical structure, such as image information contained in a folder and folder connection relationships (information on the upper layer, lower layer, and the same layer).
  • a method of creating the hierarchical structure from the lowest layer using a technique such as hierarchical clustering, which is a kind of unsupervised classification technique, can be considered.
  • FIG. 5 is a flowchart for creating a hierarchical structure from the lower layer in the classification method according to Embodiment 1 of the present invention.
  • the image feature calculation unit 113 calculates a feature amount for each image captured by the image capturing apparatus 102 in FIG.
  • the feature amount calculation may be performed using a part of the image, or may be performed using all of the image.
  • the lowest layer folders are generated for the number of images, and the lowest layer folder is assigned to each image.
  • the method of assigning one folder at the lowest level to one image has been described, but a plurality of images having similar features are collected as a set by unsupervised classification (for example, the k-means method).
  • a plurality of images of each set may be collectively assigned to one folder in the lowest layer.
  • images are grouped together as a set of a plurality of images by unsupervised classification in advance, the number of folders allocated to each image can be reduced, and the size of the memory may be small.
  • S503 is a processing loop, and the processing of S504 to S506 is repeatedly executed until the determination condition of S506 is satisfied.
  • the distance between folder features is calculated for all combinations of the uppermost folder.
  • the distance may be calculated as the Euclidean distance of the feature amount.
  • the uppermost folder is the uppermost folder among the folders connected in S505 (that is, the folder connected to the lower layer is not subject to distance calculation).
  • an unconnected folder for which the processing of S505 has not been executed is treated as the uppermost folder and is subject to distance calculation.
  • the folder feature value is a feature value representing a folder calculated from the feature values of the images in the folder. For example, the feature value of an image included in a folder or the feature value of an image closest to the average value of feature values may be used as the folder feature value.
  • the fact that the folder feature amounts are close means that the images included in the folder are similar.
  • a new folder is generated in the upper layer of the combination of folders having the closest folder feature distance, and these folders are connected.
  • the two folders in the combination of the closest folders are connected to the lower layer of the generated new folder as the same layer.
  • the two folders that are the closest to each other are made the same layer, but the number of new folders to be created is not limited to one, and a new folder is created using a plurality of predetermined folder sets as the same layer. It is also good to do. For example, when the number of folders to be generated is 3, new folders are generated for three folder groups from the closest folder feature amount.
  • the number of new folders to be generated may be set by the user, or a threshold value of the folder feature amount distance may be set in advance, and a new folder may be generated for all folder sets whose distance is shorter than the threshold value. good.
  • S506 is a hierarchical structure generation end determination process, and if it is determined to end, the process exits from loop 1 of S503.
  • the end may be determined based on whether or not the number of uppermost folders is equal to or less than a predetermined number. The specified number may be set in advance by the user.
  • a root folder is generated, and the uppermost folder is connected to the lower layer of the root folder as the same layer folder.
  • an upper folder it may be determined whether or not an upper folder is to be generated from the distribution of the feature amount. For example, the evaluation values before and after the generation of the upper layer folder are compared, and when the value is improved, the upper layer folder is generated. When the value is not improved, the upper layer folder is not generated. What is necessary is just to use the average value of the dispersion
  • the termination determination may be terminated when the number of folders for distance calculation is 1 or less than the predetermined number in S504.
  • the user may check the number of generated folders and the number of images in each folder by using a GUI or the like, and may determine whether or not to generate a further upper folder.
  • the feature amount is calculated for each image in S501, the feature amount in each folder is calculated in S504, and the distance between the folder feature amounts is described as an example.
  • the calculation of the feature amount and the calculation of the folder feature amount in each image is not essential, and this flow can be executed if the distance of the folder feature amount is obtained in S504.
  • the image feature calculation unit 113 calculates a normalized cross-correlation (NCC) or the like for the representative images in two folders that are the target of calculating the distance of the folder feature value, and the distance is calculated from the value. May be calculated. In this case, the distance may be closer as the absolute value of NCC is larger.
  • the feature amount of the representative image of each folder may be used as the folder feature amount.
  • the representative image a plausible image or an average image may be selected from a plurality of images classified in each folder.
  • FIG. 6 and FIG. 12 show an example of a flowchart for creating a hierarchical structure from the upper layer.
  • FIG. 6 is a flowchart for creating a hierarchical structure from the upper layer in the classification method according to Embodiment 1 of the present invention
  • FIG. 12 is a hierarchical structure from the upper layer in the classification method according to Embodiment 1 of the present invention. It is a flowchart of the restart process part in the case of producing.
  • the image feature calculation unit 113 calculates a feature amount for each image.
  • a root folder is generated and a target image is assigned to the root folder.
  • S603 is a restart process for creating a lower layer folder, and details are shown in FIG. Hereinafter, the processing of S604 to S607 in FIG. 12 will be described.
  • unsupervised classification is performed on images in a folder (upper folder) that is a target for generating a lower folder.
  • Classification may be performed by a technique such as k-means.
  • k-means the number of classifications needs to be specified in advance, but may be specified by setting in advance by the user, or the number of classifications may be automatically determined from the distribution of feature amounts. Further, as a method that does not require setting of the number of classifications, a method such as x-means may be used.
  • S606 is a loop that executes the processing of S607 and S603 for the number of classifications of S604, and executes the processing for each folder corresponding to each classification.
  • a folder corresponding to each classification for executing processing is called a target folder.
  • S607 is processing for determining whether or not to generate a lower layer folder of the target folder.
  • a determination method if the number of images included in the target folder is less than a predetermined number, or if the similarity of the images included in the target folder (distance between images) is less than a threshold, a lower folder is not generated.
  • the user confirms an image included in the target folder using a GUI or the like and determines whether or not to generate a lower layer folder. If it is determined in S607 that a lower layer folder is to be generated, the process of S603 (that is, the process of FIG. 12) is executed for the target folder. That is, the process is repeated until it is determined that no lower folder is generated for all folders.
  • FIG. 8 shows an example of the GUI of the classification device according to the first embodiment of the present invention.
  • three panes an unassigned pane 801, an image pane 802, and a class pane 803 are displayed in the GUI screen.
  • each pane will be described.
  • the hierarchical structure described in FIGS. 3 and 4 is displayed.
  • the hierarchical structure is a structure in which, as the hierarchy becomes deeper, the ratio of an image of a specific class in one or more images included in the folder 301 increases in the folder 301. is there.
  • the folder 301 may display images (for example, representative images) included in each folder. Further, the folder 301 may be added to an arbitrary hierarchy or deleted according to a user instruction.
  • the image pane 802 displays a list of images 401 included in the folder selected by the user on the unassigned pane.
  • Information 804 such as an image ID and a feature amount may be displayed together with the image.
  • Folder selection may be performed by an input such as the user clicking the folder 301 in the unassigned pane with the mouse.
  • Reference numeral 807 denotes a frame for enabling the user to determine the folder selected.
  • the folder selected by the user may be determined by changing the background color of the folder or changing the icon of the folder, without being limited to displaying the frame. Although only one folder is selected here, a plurality of folders may be selected, and an image may be displayed for each of the selected plurality of folders in the image pane 802.
  • the user can compare the images of multiple folders and decide whether to generate a further lower folder, or move the images of folder A to folder B, for example. You may be able to make changes.
  • images that are divided as separate folders such as the folder A and the folder B may be collected into one folder.
  • the representative image of each folder can be displayed, and based on this, it may be determined whether to create a new folder or delete an existing folder.
  • the class pane 803 displays a class label 805 on which assigned class information (class name, class ID, number of images to which class information is assigned, etc.) and a representative image 806 to which each class information is assigned. Is done.
  • the representative image is an image representative of an image to which class information is assigned. For example, a representative image of class 1 is a feature closest to the average feature amount in an image to which class information of class 1 is assigned. The amount of images may be used.
  • the image pane 802 displays the image to which the class information corresponding to the representative image 806 is given by an operation such as clicking on the representative image 806 in the class pane 803. May be displayed in a list.
  • the image displayed in the class pane 803 may be changed to another image of the class.
  • 808 is a button for ending the assignment of class information.
  • Reference numeral 809 denotes a button for rearranging the images displayed in the image pane 802.
  • An image displayed on the image pane may be selected, and the images on the image pane 802 may be rearranged in an order similar to the selected image.
  • the distance between the selected images and the images on the image pane 802 may be calculated, and the distances may be rearranged in ascending order.
  • multiple images may be selected. In this case, the average feature amount of the selected image or the distance between the feature amount of the representative image and the feature amount with respect to each image on the image pane 802 is calculated, and the images are rearranged in order of decreasing distance. That's fine.
  • no image may be selected, and images may be displayed in order from an image close to the average value of the feature values of the images in the folder.
  • the representative image 806 of the class to which class information has been assigned on the class pane 806 may be selected, and the images in the image pane 802 may be rearranged in an order similar to the class-assigned class image.
  • the images may be rearranged not in the similar order but in the non-similar order.
  • the folder 301 on the unassigned pane may be selected and the selected images in the folder may be rearranged in an order not similar to the images in the folder.
  • the images may be rearranged in order from the image farthest from the average value of the feature values of the images in the folder.
  • images (out-of-order images) with different classes mixed in a folder can be displayed together in a close region. Thereby, the user may decide whether to generate a further lower folder.
  • a similar image that is, an image of the same class
  • an out-of-range image that is, an image of a different class
  • a function for facilitating batch selection of outlier images is provided to the user.
  • the 810 is a combo box in which the type of image displayed in the image pane 802 or the class pane 803 can be selected.
  • SE image, L image, R image, etc. can be selected.
  • a mixed image such as an SE image, an L image, and an R image can be selected, and the mixed image may be displayed on the image pane 802, the class pane 803, or the like.
  • the 811 is a check box for displaying a representative image in the image pane 802.
  • representative images of lower-layer folders of the selected folder 807 are displayed in a list in the image pane 802.
  • the representative image is displayed, the user may be shown that the representative image is displayed by changing the background color of the image.
  • the representative image of the folder may be an image having a feature amount closest to the average feature amount of the images included in the folder.
  • representative images of a specific layer in the hierarchical structure may be displayed in a list in the image pane 802. For example, when the second layer is displayed in the example of FIG. 8, representative images such as folder labels A, B, and C may be displayed.
  • the representative images of the folders below the folder labels A, B, and C are displayed in a list.
  • the layer to be displayed may be specified using a combo box (not shown) or a slide bar (not shown).
  • the depths of image layers to be displayed at a time may be different from each other, and can be arbitrarily selected by a user or the like.
  • FIG. 812 is a scroll bar in each pane. Images and hierarchical structures that cannot be displayed in the screen of each pane may be displayed using the scroll bar 812 or the like.
  • the feature set is changed according to the purpose of classification.
  • a feature amount for the purpose of defect classification is selected.
  • a check box (not shown) that can set which feature amount is used is prepared for each feature amount, and a combination of the checked feature amounts can be used as a feature amount set by allowing the user to select a check box. good. You may enable it to select the distance calculation method of S504.
  • the combination of feature amounts may be automatically selected by the user selecting the purpose of classification.
  • the folder display button 814 is a folder display button for switching display / non-display of a folder below the target folder 301.
  • the folder display button 814 is arranged near the folder corresponding to each folder 301.
  • a folder connected to the lower layer of the corresponding folder is displayed in the unassigned pane 801.
  • the folder connected to the lower layer of the corresponding folder has already been displayed in the unassigned pane 801
  • the folder connected to the lower layer of the corresponding folder is hidden.
  • the lower folder is also hidden. Whether the lower folder is being displayed may be displayed by changing the icon of the folder display button 814. In the example of FIG.
  • the folders below the folder of label B and label C where the icon is + are not displayed, but the folders below the folder of label A where the icon is ⁇ are displayed. ing.
  • the folder 301 is selected by clicking or the like, the same operation as when the folder display button is pressed may be performed. That is, when the folder 301 is selected, a folder connected to the lower layer of the folder is displayed in the unassigned pane 801. If a folder connected to the lower layer of the folder has already been displayed in the unassigned pane 801, the folder connected to the lower layer of the folder may be hidden.
  • the user selects an arbitrary folder and confirms an image included in the folder in the image pane 802. If the selected folder is not a folder including only a single class (that is, if images of different classes are mixed), the lower folder is confirmed and a folder including only a single class is designated.
  • the initial state only the root folder and the second layer folder (label A, B, and C folders in the example of FIG. 8) are displayed, and the folder below the folder in which the confirmation of the image included in the folder has been completed. Is displayed. Thereby, it is possible to provide a means for displaying the folder in which the user confirms the image in the folder or the folder below it.
  • FIG. 9 shows an example of the GUI of the classification device according to Embodiment 1 of the present invention.
  • 901 is a text box that accepts an input of a class name by the user
  • 902 is a text box that accepts an input of a class ID.
  • the class names and class IDs 901 and 902 may be selected by the user by reading out the class information stored in the class information storage unit 111. Further, class information defined in a text file or the like may be read and displayed as an option.
  • 903 is a button for receiving the class information input in 901 and 902, and 904 is a button for canceling the input.
  • FIG. 9 shows an example of a GUI in which 901 and 902 are arranged on independent windows. However, 901 and 902 may be arranged on a part of the window in FIG.
  • the input work may be performed on the class pane or the unassigned pane screen.
  • FIG. 7 is a processing flowchart for assigning class information to each image in the classification method according to Embodiment 1 of the present invention.
  • a method of assigning class information to each image stored in the image storage unit 110 and storing it in the class information storage unit 111 in the classification device according to the present invention will be described with reference to FIG.
  • FIG. 7 shows a processing flow for assigning class information to each image stored in the image storage unit 110 in the classification apparatus according to the present invention. The process of FIG. 7 is executed on the GUI described with reference to FIGS.
  • a hierarchical structure is generated for an image to which class information has not been assigned, using the method described in the flow of FIGS.
  • the hierarchical structure is displayed in the unassigned pane 801 in the GUI of FIG.
  • S702 is a loop in which the processes of S703 to S708 are repeated until it is determined in S708 that the class information addition is completed.
  • S703 is processing for accepting a folder designation by the user from the folders in the hierarchical structure displayed in S701.
  • the user is allowed to confirm the images included in the folder and specify a folder including only a single class.
  • a folder including only a single class as described above, when the user confirms the image of the folder and the folder does not include only a single class (that is, when images of different classes are mixed), Lets you check the underlying folder and specify a folder that contains only a single class.
  • the user may designate a folder by moving the folder 301 of the unassigned pane 801 to the class pane. The movement may be executed by dragging and dropping.
  • the representative image in the image pane 802 is moved to the class pane, so that a folder corresponding to the moved representative image is displayed. It may be moved to the class pane. In this case, a corresponding folder is designated.
  • a folder including only a single class is specified.
  • a folder including images of a plurality of classes may be specified depending on the user's judgment.
  • the class information is information for identifying a class such as a class name and a class ID.
  • the GUI of FIG. 9 is displayed, and the class information may be accepted.
  • S705 it is determined whether or not the class that has received the input in S704 has been added in the new class addition process in S706, and if it has not been added, S706 is executed. If it has been added, the process of S706 is skipped.
  • the class received in S704 is added to the class pane 803 as a new class, and the class information is stored in the class information storage unit 111.
  • the representative image and the class label of the added assigned class may be additionally displayed in the class pane 803. This makes it possible to provide a means for confirming the assigned class information and the corresponding image.
  • the representative image may be calculated again by combining the original image and the added image, and the image displayed on the class pane may be changed as necessary.
  • the class information received in S704 is assigned to each image in the designated folder that received the input in S703.
  • the class information assigned to each image is stored in the class information storage unit 111.
  • class information corresponding to image IDs may be stored as a list.
  • the designated folder and the folders below the designated folder may be deleted from the hierarchical structure, or the folder may be colored to indicate that class information has been assigned.
  • the folder 301 in the unassigned pane 801 is moved to the class information assigned class in the class pane 803 in S703 (for example, if the folder is dropped on the representative image 806 or the class label 805 by drag and drop).
  • the processing of S704 to S706 may be skipped, and the destination class information may be added to the image in the moved folder.
  • S708 it is a process for determining whether or not to give class information to the image. If it is determined that the class information assignment is to be terminated, the process exits from the loop 1 in S702 and the process is terminated. If it is determined that the class information is not to be terminated, the loop 1 in S702 is repeated. As an example of the determination method, a method of accepting an end input by the user when the end button 808 is pressed, or a method of determining end when class information is given to all images can be considered.
  • an arbitrary key on the keyboard is assigned to a class to which class information has been assigned and moved to a class on the corresponding class pane by the input key (that is, input of information to be given a class has been accepted). Also good.
  • the assigned keyboard information may be stored in the class information storage unit 111 as part of the class information. For example, it is assumed that class information of class 1 and class 2 has already been added to the image (that is, representative images of class 1 and class 2 are displayed in the class pane 803). 2 is assigned the keyboard F2.
  • steps S704 to S706 are skipped, and class 1 class information is given to the selected folder images.
  • the class 2 class information is also given by pressing the F2 button in the same manner.
  • the key assignment may be previously defined in a text file or the like, or may be input together when the user inputs class information.
  • keys may be automatically assigned in order when a new class is added in S706. The key assignment eliminates the need for drag-and-drop work, and the time required for the processing of S703 to S707 can be shortened.
  • class ID or class name is input from the keyboard after selecting a folder in the unassigned pane (that is, input of information to be given a class is accepted). For example, if the ID of class 1 is “001”, the folder containing only class 1 by the user is selected, and then “001” is input with the keyboard, so that S704 to S706 are skipped and selected. Class 1 class information is assigned to the image of the selected folder. Similar to the key assignment, the drag-and-drop operation is not required, and the time required for the processing of S703 to S707 can be shortened.
  • a folder or class including an image having a feature amount close to the feature amount of the image in the selected folder may be presented to the user.
  • the average feature amount of the images in the folder may be compared with the average feature amount of each class image displayed in the class pane 803, and the background color of the class having the closest feature amount may be changed.
  • class information is given to images in a folder by the processing of S703 to S707 by moving the folder 301 to the class pane 803.
  • Class information may be given to one or more images specified in the image pane 802 by replacing S703 to S707 with the flow shown in FIG.
  • FIG. 11 is a processing flowchart for assigning class information to one or more images specified in the image pane in the classification method according to Embodiment 1 of the present invention.
  • S1101 to S1105 correspond to S703 to S707, respectively.
  • S1101 is a process of accepting designation of one or more images from the image 401 displayed in the image pane 802 by the user.
  • the designation of one or more images by the user may be performed by moving the image 401 of the image pane 802 to the class pane.
  • the movement may be executed by dragging and dropping.
  • S1102 an input of class information to be given to one or more designated images is accepted.
  • the GUI of FIG. 9 is displayed, and it is only necessary to accept input of class information.
  • S1103 it is determined whether or not the class received in S1102 has been added by the new class addition process in S706 or S1104. If it has not been added, S1104 is executed. If it has been added, the process of S1104 is skipped.
  • the class received in S1102 is added to the class pane 803 as a new class, and the class information is stored in the class information storage unit 111.
  • the class information received in S1102 is assigned to each of the one or more images received in S1101.
  • the class information assigned to each image is stored in the class information storage unit 111.
  • one or more images to which class information is assigned in S1105 are displayed to the user that class information has been assigned. For example, one or more designated images may be deleted from the hierarchical structure, or the background color of the images may be changed and the fact that class information has been assigned may be displayed on the class pane. If one or more images 401 of the image pane 802 are moved to the class information-added class in the class pane 803 in S1101 (for example, one or more images are dragged and dropped to the representative image 806 or the class label 805). If the data is dropped, the processing of S1102 to S1104 may be skipped, and the class information of the movement destination may be added to one or more moved images.
  • a correction instruction such as moving these images to another folder is received before the processing of S703, and the target folder is simply set.
  • the correction may be performed by dragging and dropping the image of the image pane 802 to be moved to the destination folder.
  • the moved image is deleted from the source folder and added to the destination folder.
  • a plurality of images may be moved to another folder by selecting and moving a plurality of images. When selecting an image to be moved, selection is facilitated by using a button for rearranging the images in the image pane 802 of 809.
  • the image in the dragged folder or the image being dragged may be displayed in another window or pane. It is also possible to display the image in the folder being dragged, information such as the ID of the image, the image being dragged, etc. in a translucent manner. Thus, the user is provided with a means for confirming the image in the folder being dragged and the image being dragged. Further, when a folder or image is being dragged, an image included in the folder 301 may be automatically displayed in the image pane 802, another window, another pane, or the like by moving the mouse cursor over the folder 301. .
  • an image to which the class information corresponding to the representative image 806 is assigned is automatically displayed in the image pane 802, another window, another pane, or the like. You may do it. This provides the user with a means for the user to confirm the class-assigned image corresponding to the drop-destination folder or representative image.
  • the hierarchical structure may be regenerated with the folder selected by the user using the method of FIG. 5 or 6 as the root folder. good.
  • a hierarchical structure may be generated only for images included in the selected folder.
  • the regeneration of the hierarchical structure may be automatically executed when an image included in the folder is changed, or may be performed by a user instruction.
  • the GUI having the functions described above can be realized by a program executed by a computer, and this program is recorded in a storage medium such as a memory or an external storage medium and is executed by being read from the storage medium.
  • the image captured by the image capturing device 102 shown in FIG. 1 is stored in the image storage unit 110 in the classification device 101 via the communication unit 103.
  • the image stored in the image storage unit 110 is processed by a computer program for executing the hierarchical structure generation procedure described with reference to FIGS. 5 and 6 using the image feature calculation unit 113 and the hierarchical structure generation unit 114.
  • the hierarchical structure is stored in the hierarchical structure storage unit 112.
  • the overall control unit 105 displays the GUI described in FIG. 8 on the display of the input / output unit 114 via the input / output I / F 108.
  • the hierarchical structure stored in the hierarchical structure storage unit 112 is displayed on the GUI displayed on the display of the input / output unit 114 via the input / output I / F 108.
  • the overall control unit 105 receives the folder designation from the GUI via the input / output I / F 108 and stores it in the reception memory 109. Thereafter, the class information input GUI shown in FIG. 9 is displayed on the display of the input / output unit 114 via the input / output I / F 108.
  • the overall control unit 105 accepts input of class information from the GUI via the input / output I / F 108 and stores it in the memory 109.
  • the designated folder and class information stored in the memory 109 are transmitted to the class information adding unit 115, and the class information and image information in the designated folder are transferred to the class information storage unit 111.
  • the class information stored in the class information storage unit 111 and the image information in the designated folder are displayed on the GUI via the input / output I / F 108.
  • the program is input to an external storage medium (not shown) connected to the classification device 101 or the input / output unit 104, or to the communication means 103 or the bus 116 connected to the classification device 101 or the input / output unit 104.
  • the program is stored in the memory 116 or a non-volatile memory (not shown) in the memory 116, and the program stored in the non-volatile memory (not shown) in the memory 116 is read to the memory 116 after the next time. Execute.
  • the user can accept the folder designation input, and the class information can be collectively given to the images in the designated folder, thereby facilitating user class assignment work.
  • the GUI, the apparatus, the program, and the storage medium storing the program that can be performed in a short time have been described.
  • a GUI and a device for facilitating the assignment of class information to an image using the same device and processing flow as in the first embodiment will be described.
  • the difference from the first embodiment is that a GUI has a grant pane that displays a hierarchical structure for classes that have been given a class.
  • the GUI will be described below.
  • the input of the automatic image classification apparatus according to the present embodiment may be other than an SEM image. It may be an image captured using an expression means or an ion microscope.
  • FIG. 10 shows an example of the GUI of the classification device according to the second embodiment of the present invention.
  • Reference numeral 1001 denotes an assignment pane that displays a hierarchical structure for classes to which class information has been assigned.
  • Reference numeral 1002 denotes a class folder corresponding to each class to which class information has been assigned displayed in the class pane 803. Similar to the folder 301, the class folder 1002 means a set of images, and is a set of images to which corresponding class information is assigned. When a new class is added in S706 and class information is added to the image in the designated folder in S707, a class folder corresponding to the new class is generated and displayed on the assignment pane 1001.
  • Reference numeral 1003 denotes a class folder label that displays the class information of the corresponding class folder 1002 and the number of images to which the class information is assigned.
  • the class name can be changed as in FIG.
  • the designated folder when class information is assigned to an image in the designated folder, the designated folder may be connected to a lower layer of the class folder corresponding to the assigned class information. Further, it may be connected to the lower layer of the class folder while maintaining the hierarchical structure of the lower layer of the designated folder.
  • the image included in the folder or class folder may be displayed in the image pane 802 by clicking the folder 301 or the class folder 1002 on the assignment pane 1001. This provides the user with a means for confirming the images included in the folder and the images to which the class information is added.
  • the hierarchical structure is regenerated using the folder or class folder selected by the user using the method of FIGS. 5 and 6 as the root folder. May be.
  • a hierarchical structure may be generated only for images included in the selected folder or class folder.
  • the regeneration of the hierarchical structure may be automatically executed when an image included in the folder or the class folder is changed, or may be performed by a user instruction.
  • the GUI having the functions described above can be realized by a program executed by a computer, and this program is recorded in a storage medium such as a memory or an external storage medium and is executed by being read from the storage medium.
  • the program is input to an external storage medium (not shown) connected to the classification device 101 or the input / output unit 104, or to the communication means 103 or the bus 116 connected to the classification device 101 or the input / output unit 104.
  • the program is stored in the memory 116 or a non-volatile memory (not shown) in the memory 116, and the program stored in the non-volatile memory (not shown) in the memory 116 is read to the memory 116 after the next time. Execute.
  • the present invention made by the present inventor has been specifically described based on the embodiment.
  • the present invention is not limited to the embodiment, and various modifications can be made without departing from the scope of the invention. Needless to say.
  • the GUI and the apparatus capable of facilitating the addition of the class information to the image captured by the review SEM have been described.
  • other defects that need to provide the class information to the image are described.
  • the present invention can also be applied to an image obtained from an observation apparatus / inspection apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

　クラス情報が付与されていない画像の集合であるフォルダを階層的に表示する未付与ペイン領域と、前記未付与ペイン領域に表示されたクラス情報が付与されていない画像を表示する画像ペイン領域と、クラス情報が付与されている画像を表示するクラスペイン領域を備え、該クラス情報が付与されていない画像に対して外部からクラス情報が入力されると、該入力されたクラス情報が表示されるＧＵＩである。

Description

ＧＵＩ、分類装置、分類方法、プログラム及び分類プログラムを記憶した記憶媒体
　本発明は、半導体ウェーハ上を撮像した画像に対するＧＵＩ、分類装置、分類方法及びプログラムを記憶した記憶媒体に関するものである。
　半導体の製造プロセスにおいて、歩留まりを向上させるため、半導体ウェーハ上の欠陥の発生原因を早急に究明することが重要となっている。現状、半導体製造現場においては、欠陥検査装置と欠陥観察装置を用いて欠陥の解析を行っている。
　欠陥検査装置とは光学的な手段もしくは電子線を用いてウェーハを観測し、検出された欠陥の位置座標を出力する装置である。欠陥検査装置は広範囲を高速に処理することが重要であるため、可能な限り取得する画像の画素サイズを大きく（つまり低解像度化）することによる画像データ量の削減を行っており、多くの場合、検出した低解像度の画像からは欠陥の存在は確認できても、その欠陥の種類（欠陥種）を詳細に判別することは困難である。
　そこで、欠陥観察装置が用いられる。欠陥観察装置とは、欠陥検査装置の出力情報を用い、ウェーハの欠陥座標を高解像度に撮像し、画像を出力する装置である。半導体製造プロセスは微細化が進み、それに伴い欠陥サイズも数十ｎｍのオーダに達していることもあり、欠陥を詳細に観察するためには数ｎｍオーダの分解能が必要である。そのため、近年では走査型電子顕微鏡（ＳＥＭ：Ｓｃａｎｎｉｎｇ　Ｅｌｅｃｔｒｏｎ　Ｍｉｃｒｏｓｃｏｐｅ）を用いた欠陥観察装置（レビューＳＥＭ）が広く用いられている。レビューＳＥＭは、欠陥検査装置が出力した欠陥座標を用いて、ウェーハ上の欠陥の高解像度画像（欠陥画像）を自動収集するＡＤＲ（Ａｕｔｏｍａｔｉｃ　Ｄｅｆｅｃｔ　Ｒｅｖｉｅｗ）機能を有する。
　撮像されたＳＥＭ画像は、撮像された欠陥の種類などに基づいて分類される。分類作業では、ユーザが画像を確認し、画像ごとにユーザの分類したいクラス(ユーザクラス)を付与する。以上のクラス付与作業はユーザの手動で行うことが多く、手動分類と呼ぶ。欠陥画像の手動分類を、手動欠陥分類（ＭＤＣ：Ｍａｎｕａｌ　Ｄｅｆｅｃｔ　Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）と呼ぶ。なお、ＳＥＭ画像の分類では、欠陥が発生しやすい回路パターンを特定することを目的として、画像上の欠陥部及び欠陥部周辺の回路パターンに基づいて画像を分類する場合もある。
　近年、レビューＳＥＭのＡＤＲのスループットが向上していることから、収集された多量の欠陥画像より、欠陥種を判別する作業を自動化する機能も提案されている。レビューＳＥＭには、欠陥画像から欠陥種を自動的に判別し、分類するＡＤＣ（Ａｕｔｏｍａｔｉｃ　Ｄｅｆｅｃｔ　Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）機能を搭載している。
　自動分類の一方法として、画像処理により欠陥部位の外観特徴量を定量化し、ニューラルネットワークを用いて分類する方法が特許文献１（特開平８－２１８０３号）に開示されている。自動分類は分類レシピに応じて分類が行われる。分類レシピには、画像処理パラメータなどの各種パラメータや、分類すべき欠陥種の情報（分類クラス）、各分類クラスに属する欠陥画像（教示画像）などが含まれる。教示画像は自動分類に各クラスの分類基準を与えるために必要であり、基本的にはＭＤＣによって与えられる。ＭＤＣによる分類結果はＡＤＣの性能にも大きく影響することから、依然として手動分類は重要な位置づけにある。
　また、画像分類においては、画像処理により得られる画像特徴量を用いた分類手法として、特許文献２（特表２００８－５１６２５９号）および特許文献３（ＵＳ６，９９９，６１４）には、画像に教師なし分類を行い、分類結果に対して一括でクラス付与を行う手法が開示されている。
特開平８－２１８０３号 特表２００８－５１６２５９号 ＵＳ６，９９９，６１４
　背景技術で述べた手動分類は、撮像したＳＥＭ画像における欠陥部位の外観的な特徴や、欠陥部位あるいは周辺の回路パターンをユーザが目視にて確認し、事前に定義された複数の欠陥クラスに分類する作業である。この作業は、複数の異なるクラスの画像が混在する多数の画像の中から、ユーザが各クラスの画像を選択し、クラスを付与する必要があるため、ユーザ負荷が大きく、時間を要することが課題となっていた。
　また、特許文献１に開示した技術によると、前述の通り依然として手動分類は重要な位置づけにあり、特許文献２および３に開示した技術によると、
　分類性能の不足などにより、正しい結果が得られないことが多い。このため、ユーザによる結果確認と手動による分類結果内の画像をクラス毎に分離する作業（修正作業）が必要となる。しかしながら、この修正作業はユーザ負荷が大きいといった課題があった。
　そこで、本発明の目的は、ユーザ負担の少ないＧＵＩ、分類装置、分類方法、プログラム及びプログラムを記憶した記憶媒体を提供することにある。
  本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
　本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次の通りである。
（１）クラス情報が付与されていない画像の集合であるフォルダを階層的に表示する未付与ペイン領域と、前記未付与ペイン領域に表示されたクラス情報が付与されていない画像を表示する画像ペイン領域と、クラス情報が付与されている画像を表示するクラスペイン領域を備え、該クラス情報が付与されていない画像に対して外部からクラス情報が入力されると、該入力されたクラス情報が表示されるＧＵＩである。
（２）被検査対象物の表面に電子線を照射し、該被検査対象物の表面から発生した電子を検出し、検出した電子を画像に変換する画像撮像部と、前記画像撮像部にて変換した画像を処理して該画像の特徴量を算出する画像特徴算出部と、前記画像特徴算出部により算出した該画像の特徴量を用いて該画像を含むフォルダの階層構造を生成する階層構造生成部と、前記階層構造生成部で生成された階層構造のフォルダに対して外部からクラス情報が入力された場合に該フォルダの画像に対してクラス情報を付与するクラス情報付与部を備える処理部と、請求項１乃至１５のいずれかに記載のＧＵＩを備える分類装置である。
　本発明によれば、ユーザ負担の少ないＧＵＩ、分類装置、分類方法、プログラム及びプログラムを記憶した記憶媒体を提供することができる。
本発明の実施の形態１に係る分類装置の構成を示す構成図である。 本発明の実施の形態１に係る分類装置の画像撮像装置の構成を示す構成図である。 本発明の実施の形態１に係る分類装置の階層構造を説明するための説明図である。 特徴空間上の各クラスの画像における特徴量の分布の説明図である。 本発明の実施の形態１に係る分類方法において、下層から階層構造を作成する場合のフロー図である。 本発明の実施の形態１に係る分類方法において、上層から階層構造を作成する場合のフロー図である。 本発明の実施の形態１に係る分類方法において、各画像にクラス情報を付与する処理フロー図である。 本発明の実施の形態１に係る分類装置のＧＵＩの一例である。 本発明の実施の形態１に係る分類装置のＧＵＩの一例である。 本発明の実施の形態２に係る分類装置のＧＵＩの一例である。 本発明の実施の形態１に係る分類方法において、画像ペインで指定された一枚以上の画像にクラス情報を付与する処理フロー図である。 本発明の実施の形態１に係る分類方法において、上層から階層構造を作成する場合の再起処理部のフロー図である。
　以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。本実施例ではＳＥＭを備えた画像撮像装置で撮像した欠陥画像を分類する場合を対象に説明するが、本発明に関わる欠陥分類システムの入力はＳＥＭ画像以外でも良く、光学式の手段やイオン顕微鏡などを用いて撮像した欠陥画像でも良い。
　図１は、本発明の実施の形態１に係る分類装置の構成を示す構成図である。本分類装置は、画像撮像装置１０２が通信手段１０３を介して接続される構成となっている。
　画像撮像装置１０２は、該当部位の画像を取得する装置である。画像撮像装置１０２の詳細は、図２を用いて後ほど説明する。分類装置１０１は、画像撮像装置１０２で得られた画像に対してクラス情報付与するための情報を、入出力部１０４に出力し、ユーザが１０４に入力した情報に基づいて画像にクラス情報を付与する機能を持つ。入出力部１０４は、操作者に対するデータの提示及び操作者からの入力を受け付ける為のキーボード・マウス・ディスプレイ装置などから構成される。
　この分類装置１０１の詳細を以下に説明する。
　分類装置１０１は、装置の動作を制御する全体制御部１０５、画像撮像装置１０２から入力された画像や付与されたクラス情報などを記憶する記憶部１０６、ユーザに提示する情報を作成したり、ユーザ入力に基づいて各画像にクラス情報を付与する処理部１０７、入出力部１０４や通信手段１０３を介したデータ転送のための入出力Ｉ／Ｆ部１０８、プログラムなどを記憶するメモリ１０９、記憶部１０６や処理部１０７やメモリ１０９や全体制御部１０５や入出力Ｉ／Ｆ１０８のデータ通信を行うバス１１６からなる。
　記憶部１０６には、画像撮像装置１０１から撮像された画像を記憶する画像記憶部１１０、本装置１０１によって画像記憶部１１０に記憶された画像毎に付加されたクラス情報を保存するクラス情報記憶部１１１、入出力部１０４に表示する階層構造の情報を記憶する階層構造記憶部１１２が含まれる。また、処理部１０７は、画像記憶部１１０に記憶されている画像の特徴を定量値（特徴量）として算出する画像特徴算出部１１３、画像特徴算出部１１３で算出された特徴量から、階層構造記憶部１１２に保存する階層構造の情報を生成する階層構造生成部１１４、入出力部１０４に入力されたユーザ入力に基づいて画像にクラス情報を付与するクラス情報付与部１１５が含まれる。なお、階層構造の詳細ついては、図３、４を用いて後述する。処理部１０７の処理の手順や方法については後述する。
　分類装置１０１の入出力部１０４へは記録媒体（図示せず）が接続可能となっており、分類装置１０１で実行されるプログラムをこの記録媒体から読み出し、分類装置１０１にロードできる構成となっている。
　画像撮像装置１０２より出力された画像データは、入出力Ｉ／Ｆ１０８及び全体制御部１０５を介して画像記憶部１１０に送られ、画像記憶部１１０内で読み出し可能なように記憶される。手動分類容易化プログラムは全体制御部１０５により、メモリ１０９あるいは前記記憶媒体から読み出される。全体制御部１０５はプログラムに従い処理部１０７を制御し、記憶部１０６に記憶されている画像などの情報や、メモリ１０９に記憶されている中間データを入出力Ｉ／Ｆ１０８を介して入出力部１０４に図８で示すＧＵＩを表示し、入出力部１０４にてユーザからの入力を受け付ける。また、入出力部１０４に入力されたユーザ入力は、入出力Ｉ／Ｆ１０８を介して全体制御部１０５に送られる。全体制御部１０５はプログラムに従い処理部１０７にて記憶部１０６に記憶されている画像などの情報や、メモリに記憶されている中間データを処理することで画像にクラス情報を付与する。分類装置１０１内のデータの送受信はバス１１６を介して行われる。
　図２は、本発明の実施の形態１に係る分類装置の画像撮像装置の構成を示す構成図である。画像撮像装置１０１は、ＳＥＭカラム２０１、ＳＥＭ制御部２０８、入出力Ｉ／Ｆ２０９、記憶部２１１、付随情報作成部２１４が通信手段２１５を介して接続される構成となっている。入出力Ｉ／Ｆ２０９には、入出力部２１０が接続され、操作者に対するデータの入出力が行われる。
　ＳＥＭカラム２０１は、電子源２０２、試料ウェーハ２０７と載せるステージ２０６、電子源２０２から試料ウェーハ２０７に対して1次電子ビームを照射した結果発生する２次電子や後方散乱電子を検出する複数の検出器２０３、２０４、２０５を備える。なお、この他、1次電子ビームを試料ウェーハ２０７の観察領域に走査するための偏向器（図示せず）や、検出電子の強度をデジタル変換してデジタル画像を生成する画像生成部（図示せず）等も含まれる。なお、検出器２０３によって２次電子を検出した画像をＳＥ像、検出器２０４及び２０５によって後方散乱電子を検出した画像をＬ像、Ｒ像と呼ぶ。
　記憶部２１１は、ＳＥＭ撮像条件である、加速電圧やプローブ電流、フレーム加算数（同一箇所の画像を複数枚取得し、それらの平均画像を作成することでショットノイズの影響を低減する処理に用いる画像の数）、視野サイズなどを記憶する撮像レシピ記憶部２１２と取得画像データを保存する画像メモリ２１３を含む。
　付随情報生成部２１４は、各画像データに対し付随する情報、例えば、撮像時の加速電圧、プローブ電流、フレーム加算数などの撮像条件、撮像装置を特定するＩＤ情報、画像生成のために用いた検出器２０３～２０５の種類や性質、ウェーハのＩＤおよび工程、画像を撮像した日付や時間などの情報を作成する機能を持つ。ウェーハのＩＤや工程の情報は入出力部２１０などからユーザによって入力されても良いし、ウェーハの表面などから読み込んだり、ウェーハが格納されている箱（図示せず）などから読み出してきても良い。作成された付随情報は、入出力Ｉ／Ｆ２０９を介して画像データが転送される際に、その画像データとあわせて転送される。
　ＳＥＭ制御部２０８は、画像取得などの、この画像撮像装置１０２にて行う全ての処理を制御する部位である。ＳＥＭ制御部２０８からの指示により、試料ウェーハ２０７上の所定の観察部位を撮像視野に入れるためのステージ２０６の移動、試料ウェーハ２０７への1次電子ビームの照射、試料から発生した電子の検出器２０３～２０５での検出、検出した電子の画像化及び画像メモリ２１３への保存、付随情報作成部２１４での撮像画像に対する付随情報の作成等が行われる。操作者からの各種の指示や撮像条件の指定などは、キーボード、マウスやディスプレイなどから構成される入出力部２１０を通して行われる。
　以下、図３、４を用いて、入出力部１０４にてユーザに表示する階層構造について説明する。
　図３は発明の実施の形態１に係る分類装置の階層構造の説明図である。
　図３はＧＵＩに表示される階層構造の表示例である。３０１は画像の集合（以下、フォルダ）を示し、これらフォルダが階層的に配置（接続）されている。なお、最上層のフォルダはルートフォルダと呼ぶ。３０２はフォルダ名及びフォルダに含まれる画像数などの情報（以下、ラベル）を示している。各フォルダに含まれる画像は、特徴が類似する（即ち、特徴量が似た値となる）画像とする。図３の例では、ルートフォルダであるラベルＡＬＬのフォルダの下層にラベルＡのフォルダとラベルＢのフォルダが接続され、ラベルＡの下層にラベルＡ－ＡとラベルＡ－Ｂのフォルダが接続される構造である。ここで、ラベルＡ－ＡとラベルＡ－Ｂのフォルダは同じ層であるとする。なお、ラベルＡとラベルＢのフォルダも同様に同じ層のフォルダである。図３ではフォルダＡ内の下位フォルダの階層の深さは同じであるが、階層の深さは同一フォルダ内で異なっていても良い。
　図４は図３で示したフォルダに含まれる画像の特徴量空間上の各クラスの画像における特徴量の分布の説明図である。ここでは、説明のため特徴量空間を２次元で表現しているが、２次元の特徴量空間に限定するものではない。図４で示す様に、上層のフォルダは下層のフォルダの特徴量空間を含むとする。例えば、ラベルＡのフォルダは、下層のラベルＡ－ＡとラベルＡ－Ｂのフォルダの特徴量空間を含む。即ち、上層のフォルダには、下層フォルダの画像が含まれる。
　図４のラベルＡ及びＢのフォルダに含まれる画像４０１の特徴空間上における分布の一例も合わせて示す。なお、説明のため、画像４０１の右上部にクラス名（クラス１～３）を示している。ラベルＡのフォルダにはクラス１とクラス２の画像が混在している。しかし、下層のラベルＡ－Ａ及びＡ－Ｂのフォルダにはそれぞれクラス１、クラス２の単一クラスの画像のみが含まれる。ラベルＢのフォルダには、クラス３の単一クラスの画像のみが含まれる。
　以上で述べたとおり、階層構造は、階層が深くなる程、フォルダ３０１内にそのフォルダに含まれる１枚以上の画像に占める特定のクラスの画像の割合が高くなる構造となる。ここで、特定のクラスの画像の割合とは、教師なし分類により特定のクラスに割り当てられた画像のクラスの割合を指す。
　なお、画像特徴算出部１１３で算出する特徴量は、分類したいクラスの判定基準（分類の目的）に合わせて変更するのも良い。例えば、画像中の欠陥の種類をクラスとして付与したい場合には、欠陥部位における輝度値や欠陥の大きさ、円形度、凹凸の程度など、人間が欠陥を判定する上で判断の基準とする特徴を定量値として算出したものとすればよい。また、画像中の回路パターンに基づいてクラスを付与したい場合には、回路パターンの密度や、形状、立体構造などを定量化した値を用いても良い。回路パターンに基づいてクラスを付与する場合、回路パターンの密度や、形状、立体構造などの情報として設計データを用いても良い。他には、一般物体認識で用いられるＳＵＲＦ（Ｓｐｅｅｄｅｄ　Ｕｐ　Ｒｏｂｕｓｔ　Ｆｅａｔｕｒｅｓ）などの局所特徴量を用いるのも良い。
　また、分類の目的（分類したいクラスの判定基準）をユーザがＧＵＩにより決定すると、予め定めた条件に基づきどの特徴を用いるかは自動的に決定されるようになっていても良く、また、用いる特徴自体をユーザが選択するようになっていても良い。
　ＡＤＣの分類レシピ作成時のＭＤＣを目的とする場合、ＡＤＣの分類処理で使用する特徴量を利用する方法も考えられる。
  また、ＡＤＣと異なる特徴量を利用しても良い。一般にＡＤＣの特徴量は、高精度な自動分類を行うため、特徴量算出前に特徴量算出パラメータの厳密な調整を行うことが前提となっている場合が多い。上述の局所特徴量などを用いることで、事前に厳密な特徴量算出パラメータ調整を必要としなくなる。
  また、以上で述べた特徴量を組み合わせて用いても良い。
  使用する特徴量はＧＵＩ上などでユーザに指定させる、テキストファイルなどに定義しておくなどの方法で指定すれば良い。
　上述の階層構造は、画像撮像装置１０２により撮像された画像を用いて図１に記載の階層構造生成部１１４にて生成され、階層構造の情報が階層構造記憶部１１２に記憶される。階層構造の情報とは、フォルダに含まれる画像の情報やフォルダの接続関係（上層、下層、同じ層などの情報）など、階層構造を表示するために必要な情報のことである。
　以下、階層構造生成部１１４の処理について説明する。階層構造は、教師なし分類手法の一種である階層的クラスタリングなどの手法を用いて最下層から作成する方法が考えられる。
　図５は本発明の実施の形態１に係る分類方法において、下層から階層構造を作成する場合のフロー図である。
　Ｓ５０１では、画像特徴算出部１１３にて、図１の画像撮像装置１０２で撮像された各画像について特徴量を算出する。ここでは画像の一部を用いて特徴量算出を行っても良いし、全部を用いて行っても良い。
　Ｓ５０２では、最下層のフォルダを画像数分生成し、各画像に最下層のフォルダを割り当てる。なお、ここでは画像一枚に対して最下層のフォルダを一つ割り当てる方法を説明したが、画像同士を教師なし分類(例えばｋ－ｍｅａｎｓ手法など)によって特徴の近い複数画像を集合としてまとめておき、各集合の複数画像を最下層のフォルダ一つにまとめて割り当てても良い。ここで、予め画像同士を教師なし分類により複数画像の集合としてまとめておいた場合は、各画像に割り当てるフォルダ数が少なくて済むため、メモリの大きさが少なくてよい。また、後述のＳ５０４にて行うフォルダ特徴量の距離の計算量が少なくてすむ。
　Ｓ５０３は処理のループであり、Ｓ５０４～Ｓ５０６の処理が、Ｓ５０６の判定条件が満たされるまで繰返し実行される。
　Ｓ５０４では、最上層のフォルダの全ての組合せについてフォルダ特徴量の距離を計算する。距離は特徴量のユークリッド距離などとして計算すれば良い。なお、以下では、フォルダの組合せを二つのフォルダの組合せとして説明するが、三つ以上のフォルダの組合せについても同様に処理することが可能である。ここで、最上層のフォルダとは、Ｓ５０５で接続したフォルダの中で最上層のフォルダのことである（即ち、下層に接続されたフォルダは距離計算の対象外とする）。なお、Ｓ５０５の処理が実行されていない未接続のフォルダは最上層のフォルダとして扱い、距離計算の対象とする。また、フォルダ特徴量とはフォルダ内にある画像の特徴量から算出したフォルダを代表する特徴量である。例えば、フォルダに含まれる画像における特徴量の平均値や、特徴量の平均値に一番近い画像の特徴量をフォルダ特徴量とすれば良い。フォルダ特徴量の距離が近いということは、フォルダに含まれる画像が類似することを意味する。
　Ｓ５０５では、フォルダ特徴量の距離が最も近いフォルダの組合せの上層に新しいフォルダを生成し、それらのフォルダを接続する。この際、距離が最も近いフォルダの組合せにおける二つのフォルダを同じ層として、生成した新しいフォルダの下層に接続する。ここでは、距離が最も近い二つのフォルダを同じ層とすることとしたが、生成する新たしいフォルダの個数は一つに限らず、予め定めた複数組のフォルダ組を同じ層として新しいフォルダを生成することとしても良い。例えば生成するフォルダ数を３とした場合、フォルダ特徴量の距離が近い方から３つのフォルダ組について新しいフォルダを生成する。生成する新たなフォルダの個数はユーザが設定することとしても良いし、予めフォルダ特徴量の距離の閾値を定めておいて閾値よりも距離の短いフォルダ組については全て新しいフォルダを生成することとしても良い。
　Ｓ５０６では、階層構造生成の終了判定処理であり、終了と判定された場合、Ｓ５０３のループ１から抜ける。終了判定の方法としては、最上層のフォルダの数が既定数以下かどうかなどから終了を判定すれば良い。なお、規定数はあらかじめユーザによって設定されていても良い。
　Ｓ５０７では、ルートフォルダを生成し、ルートフォルダの下層に最上層のフォルダを互いに同じ層のフォルダとして接続する。
　また、Ｓ５０５において、特徴量の分布から、更に上層フォルダを生成するか否かの判定を行っても良い。例えば、上層フォルダ生成前と生成後の評価値を比較し、値が改善する場合に上層フォルダを生成し、改善しない場合には上層フォルダを生成しないなどの方法で行えば良い。フォルダに含まれる特徴量の分散の平均値やベイズ情報量基準などを評価値とすれば良い。また、評価値の増分が予め定めた閾値以上の場合に上層フォルダを生成することとしても良い。ここで、上層フォルダを生成しないと判断された場合、上層のフォルダは生成せず、フォルダ特徴量が最も近いフォルダの組合せにおける二つのフォルダを直接ルートフォルダに接続する。その場合、それらのフォルダはＳ５０４において距離計算の対象外とする。また、Ｓ５０６の終了判定では、Ｓ５０４において距離計算の対象とするフォルダの数が１、あるいは既定数以下になった場合に終了する様にすれば良い。また、生成されたフォルダの個数や各フォルダの画像数をユーザがＧＵＩなどにより確認し、更なる上位フォルダを生成するか決定することができるようにしてもよい。
　なお、上記の説明ではＳ５０１にて、画像それぞれに対して特徴量を算出し、Ｓ５０４にて各フォルダにおける特徴量を算出し、フォルダ特徴量の距離を算出する方法を一例として述べた。しかし、各画像における特徴量算出及びフォルダ特徴量の算出は必須ではなく、Ｓ５０４にてフォルダ特徴量の距離が得られば本フローは実行可能である。例えば、画像特徴算出部１１３にて、フォルダ特徴量の距離の計算対象である二つのフォルダにおける代表画像に対して正規化相互相関（ＮＣＣ：Ｎｏｒｍａｌｉｚｅｄ　Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ）などを計算し、その値から距離を計算しても良い。この場合、距離はＮＣＣの絶対値が大きいほど近いとすれば良い。 また、画像それぞれに対して特徴量を算出してフォルダ特徴量を算出しなくても、各フォルダの代表画像の特徴量をフォルダ特徴量として用いても良い。ここで、代表画像は、各フォルダに分類されている複数画像のうち、尤もらしい画像や平均的な画像を選択すればよい。
　また、教師なし分類手法の一種であるｋ－ｍｅａｎｓなどの手法を用いてルートフォルダから順に階層構造を生成する方法も考えられる。図６及び図１２に、上層から階層構造を作成する場合のフロー図の一例を示す。図６は、本発明の実施の形態１に係る分類方法において、上層から階層構造を作成する場合のフロー図、図１２は、本発明の実施の形態１に係る分類方法において、上層から階層構造を作成する場合の再起処理部のフロー図である。
　Ｓ６０１では、Ｓ５０１と同様、画像特徴算出部１１３にて各画像について特徴量を算出する。
　Ｓ６０２では、ルートフォルダを生成し、対象とする画像をルートフォルダに割り当てる。
　Ｓ６０３は下層のフォルダ作成を行う再起処理であり、詳細は図１２に示す。以下、図１２のＳ６０４～Ｓ６０７の処理について説明する。
　Ｓ６０４では、下層フォルダ生成を行う対象とするフォルダ（上層フォルダ）内の画像に対して教師なし分類を行う。分類は、ｋ－ｍｅａｎｓなどの手法によって行えばよい。ｋ－ｍｅａｎｓでは分類数をあらかじめ指定する必要があるが、ユーザによって予め設定するなどによって指定しても良いし、特徴量の分布などから分類数を自動決定しても良い。また、分類数の設定が必要ない手法としてｘ－ｍｅａｎｓなどの手法を用いても良い。
　Ｓ６０５では、Ｓ６０４の分類数分のフォルダを生成し、各分類に対応させ、各画像を分類の対応するフォルダに割り当てる。
　Ｓ６０６は、Ｓ６０７及びＳ６０３の処理をＳ６０４の分類数分実行するループであり、各分類に対応するフォルダそれぞれについて処理を実行する。処理を実行する各分類に対応するフォルダを対象フォルダと呼ぶ。
　Ｓ６０７は、対象フォルダの下層フォルダを生成するか否かを判断する処理である。判断方法として、対象フォルダに含まれる画像数が既定数以下であったり、対象フォルダに含まれる画像の類似度（画像間の距離）が閾値以下であったら下層フォルダを生成しないなどの方法や、対象フォルダに含まれる画像をユーザがＧＵＩ等で確認し、下層フォルダを生成するか否かを判断する方法が考えられる。Ｓ６０７にて下層フォルダを生成すると判定した場合はＳ６０３の処理（即ち、図１２の処理）を対象フォルダに対して実行する。つまり、全てのフォルダについてこれ以上下層フォルダを生成しないという判断がなされるまで繰り返す。
　以上で述べた方法によって、フォルダの階層構造を生成し、ユーザに表示することが可能となる。一般に、教師なし分類ではクラスの基準が存在しないため、分類結果に異なるクラスの画像が混在する場合が多い。特許文献２及び３で述べられている手法では、教師なし分類の分類結果に対して一括でクラスを付与するものであり、分類結果内の画像をクラス毎に分離する作業（修正作業）が必要である。対して本発明の階層構造では、フォルダに異なるクラスの画像が混在していた場合、ユーザに下層のフォルダに含まれる画像を確認させ、単一クラスの画像のみを含むフォルダを探索・指定させることが可能である。単一クラスの画像のみを含むフォルダにクラス情報を一括付与することにより、正確なクラス情報付与を行うことが可能である。また、単一クラスの画像のみを含むフォルダを探索する作業によって修正作業が完了するため、修正作業を短時間、かつ容易に実現可能である。
　図８は本発明の実施の形態１に係る分類装置のＧＵＩの一例である。図８の例では、未付与ペイン８０１、画像ペイン８０２、クラスペイン８０３の三つのペインがＧＵＩ画面内に表示されている。以下、各ペインについて説明する。
　未付与ペイン８０１には、図３及び図４で説明した階層構造が表示されている。階層構造は、図３及び４を用いて説明したように、階層が深くなる程、フォルダ３０１内にそのフォルダに含まれる１枚以上の画像に占める特定のクラスの画像の割合が高くなる構造である。なお、フォルダ３０１には各フォルダに含まれる画像（例えば代表画像など）を表示しても良い。また、ユーザ指示によって、フォルダ３０１を任意の階層に追加しても良いし、削除しても良い。
　画像ペイン８０２には、ユーザが未付与ペイン上で選択したフォルダに含まれる画像４０１の一覧を表示する。画像と一緒に画像のＩＤや特徴量などの情報８０４を一緒に表示しても良い。フォルダ選択は、ユーザがマウスで未付与ペインのフォルダ３０１をクリックするなどの入力によって行われれば良い。８０７はユーザが選択したフォルダを判別できるようにするための枠である。枠を表示することに限定せず、フォルダの背景色を変更する、フォルダのアイコンを変更するなどによってユーザが選択したフォルダを判別できるようにしても良い。ここでは、一のフォルダのみ選択しているが、複数フォルダを選択し、画像ペイン８０２には選択した複数フォルダごとに画像が表示されるようになっていても良い。複数フォルダの画像を一度に表示することで、ユーザが複数フォルダの画像を見比べて、更なる下位フォルダを生成するかを決定したり、例えばフォルダＡの画像をフォルダＢに移動するなど、フォルダの変更を行うことができるようになっていても良い。また、フォルダＡとフォルダＢのように別フォルダとして分けられていた画像を一つのフォルダに纏めることができるようになっていても良い。また、各フォルダの代表画像を表示できるようにして、これに基づき新規フォルダの作成や既にあるフォルダの削除を行うかどうかを決定してもよい。
　クラスペイン８０３には、付与済みのクラス情報（クラス名、クラスＩＤ、クラス情報が付与された画像数など）が表示されたクラスラベル８０５と各クラス情報が付与された代表的な画像８０６が表示される。代表的な画像とは、クラス情報が付与された画像を代表する画像であり、例えば、クラス１の代表画像は、クラス１のクラス情報が付与された画像における特徴量の平均に一番近い特徴量の画像とすれば良い。クラス情報が付与された画像を確認する手段をユーザに提供するため、クラスペイン８０３の代表画像８０６をクリックするなどの操作によって、代表画像８０６に対応するクラス情報が付与された画像を画像ペイン８０２に一覧で表示しても良い。
　また、ユーザが希望した場合には、クラスペイン８０３に表示されている画像を該クラスの別の画像に変更することができてもよい。
　８０８はクラス情報付与を終了するボタンである。
　８０９は、画像ペイン８０２に表示されている画像を並び替えるボタンである。画像ペイン上に表示された画像を選択しておき、その選択された画像に類似する順に画像ペイン８０２上の画像を並び替えても良い。類似する画像順に並び替えるには、選択された画像と画像ペイン８０２上の画像それぞれに対する特徴量の距離を計算し、距離が近い順に並び替えればよい。
  また、選択は複数画像でも良く、その場合は選択された画像の平均特徴量や、代表画像の特徴量と画像ペイン８０２上の画像それぞれに対する特徴量の距離を計算し、距離が近い順に並び替えればよい。
  また、いずれの画像も選択せず、該フォルダ内の画像の特徴量の平均値に近い画像から順に表示するようにしてもよい。
　また、クラスペイン８０６上のクラス情報付与済みクラスの代表画像８０６などを選択しておき、クラス付与済みクラスの画像と類似する順に、画像ペイン８０２の画像を並び替えても良い。なお、類似する順ではなく、類似しない順に並び替えても良い。
  また、未付与ペイン上のフォルダ３０１を選択しておき、選択されたフォルダ内画像を、フォルダ内画像に類似しない順に並び替えても良い。例えば、フォルダ内の画像の特徴量の平均値に最も遠い画像から順に並び替えればよい。これによって、フォルダ内に混在するクラスが異なる画像（はずれ画像）をまとめて近い領域に表示することができる。これにより、ユーザが更なる下位フォルダを生成するかどうか決めてもよい。
　以上、画像を並び替えるボタン８０９によって、類似した画像（即ち、同一クラスの画像）、あるいは、はずれ画像（即ち、異なるクラスの画像）がまとまって近くに表示されるため、同一クラスの画像、あるいははずれ画像の一括選択を容易化する機能をユーザに提供する。
　８１０は、画像ペイン８０２やクラスペイン８０３に表示する画像の種類が選択可能なコンボボックスである。ＳＥ像、Ｌ像、Ｒ像などを選択可能とする。なお、ＳＥ像、Ｌ像、Ｒ像などの混合画像も選択可能とし、混合画像を画像ペイン８０２やクラスペイン８０３などに表示しても良い。
　８１１は画像ペイン８０２に代表画像を表示するためのチェックボックスである。チェックボックスにチェックが入っている場合、選択中のフォルダ８０７の下層フォルダの代表画像が画像ペイン８０２に一覧で表示される。代表画像を表示している場合は、画像の背景色を変更するなどして、代表画像を表示していることをユーザに提示しても良い。フォルダの代表画像は、フォルダに含まれる画像の平均特徴量に一番近い特徴量の画像などとすれば良い。また、階層構造の特定の層の代表画像を一覧で画像ペイン８０２に表示しても良い。例えば、図８の例にて第２層を表示する場合は、フォルダラベルＡ、Ｂ、Ｃなどの代表画像を表示すれば良い。第３層の場合は、フォルダラベルＡ、Ｂ、Ｃの下層のフォルダの代表画像を一覧で表示する。表示する層指定はコンボボックス（図示せず）や、スライドバー（図示せず）などで行えばよい。ここで、一度に表示する画像の層の深さは互いに異なっていてもよく、ユーザ等により任意に選択できる。
　８１２は各ペインにおけるスクロールバーである。各ペインの画面内に表示しきれない画像や階層構造は、スクロールバー８１２などを使って表示すれば良い。
　８１３は階層構造を生成したり、ソートボタン８０９によって画像を並び替えるのに使用する、一つ以上の特徴量から成る特徴量の組合せ（特徴量セット）を選択するコンボボックスである。特徴量セットは分類の目的に応じて変更される。図８の例では、欠陥分類を目的とした特徴量が選択されている。また、どの特徴量を使用するかを設定可能なチェックボックス（図示せず）を特徴量毎に用意し、ユーザに選択させることで、チェックされた特徴量の組合せを特徴量セットとして用いても良い。Ｓ５０４の距離計算の手法を選択できるようにしてよい。ここで、選択できるのは特徴量の組み合わせだけでなく、分類の目的をユーザが選択することで適当な特徴量の組合せが自動的に選択されるようになっていてもよい。
　８１４は対象とするフォルダ３０１の下層のフォルダについて表示・非表示を切り替えるフォルダ表示ボタンである。フォルダ表示ボタン８１４はフォルダ３０１毎に対応するフォルダの近くに配置される。ボタンが押されることで、対応するフォルダの下層に接続するフォルダが未付与ペイン８０１に表示される。対応するフォルダの下層に接続するフォルダが未付与ペイン８０１に表示済みの場合には、対応するフォルダの下層に接続するフォルダを非表示にする。下層に表示されたフォルダよりも更に下層のフォルダが表示されている場合、更に下層のフォルダも非表示にする。下層のフォルダが表示中か否かをフォルダ表示ボタン８１４のアイコンを変更して表示しても良い。図８の例では、アイコンが＋表示なっているラベルＢ及びラベルＣのフォルダの下層のフォルダは表示されていないが、アイコンが－表示になっているラベルＡのフォルダの下層のフォルダは表示されている。フォルダ３０１がクリックされるなどによって選択された際、フォルダ表示ボタンが押された場合と同様の動作をしても良い。即ち、フォルダ３０１が選択されることで、フォルダの下層に接続するフォルダが未付与ペイン８０１に表示される。また、フォルダの下層に接続するフォルダが未付与ペイン８０１に既に表示されていた場合には、フォルダの下層に接続するフォルダを非表示にするなどしても良い。
　ユーザが単一クラスの画像のみを含むフォルダを探索する作業では、ユーザは任意のフォルダを選択し、画像ペイン８０２にてフォルダに含まれる画像を確認する。選択したフォルダが単一クラスのみを含むフォルダではない場合（即ち異なるクラスの画像が混在している場合）、下層のフォルダを確認し単一クラスのみを含むフォルダを指定する。初期状態で、ルートフォルダと第２層のフォルダ（図８の例では、ラベルＡ、Ｂ、Ｃのフォルダ）のみを表示しておき、フォルダに含まれる画像の確認が完了したフォルダの下層のフォルダを表示させる。これにより、ユーザがフォルダ内の画像を確認したフォルダあるいはその下層フォルダまでを表示する手段を提供可能である。
　また、未付与ペイン８０１に表示された階層構造のうち、不必要なフォルダを非表示にすることで、階層構造表示に必要な領域を最小化することができる。
　以上で述べた様に、下層フォルダの表示・非表示を任意のタイミングで切り替えることを可能とする機能を提供することで、ユーザの使い勝手を向上させることが可能である。
　図９は本発明の実施の形態１に係る分類装置のＧＵＩの一例である。
　９０１は、ユーザによるクラス名の入力を受け付けるテキストボックス、９０２はクラスＩＤの入力を受け付けるテキストボックスである。９０１及び９０２のクラス名やクラスＩＤはクラス情報記憶部１１１に記憶されているクラス情報を読み出し、ユーザが選択できるようにしても良い。また、テキストファイルなどで定義されているクラス情報を読み出し、選択肢として表示しても良い。
　９０３は、９０１及び９０２に入力されたクラス情報を受け付けるボタンであり、９０４は入力をキャンセルするボタンである。
　なお、図９では、独立したウィンドウ上に９０１や９０２が配置されているＧＵＩ例を示したが、９０１や９０２は図８のウィンドウ上の一部に配置されていても良いし、クラス名の入力作業がクラスペインや未付与ペイン画面上で行えるようになっていても良い。
　図７は本発明の実施の形態１に係る分類方法において、各画像にクラス情報を付与する処理フロー図である。以下、図７を用いて、本発明にかかる分類装置において、画像記憶部１１０に記憶された各画像に対してクラス情報を付与し、クラス情報記憶部１１１に記憶する方法を説明する。
　図７に本発明にかかる分類装置において、画像記憶部１１０に記憶された各画像に対してクラス情報を付与する処理フローを示す。図７の処理は図８及び９を用いて説明したＧＵＩ上で実行される。
　Ｓ７０１では、図５や図６のフローで説明した手法を用いて、クラス情報未付与の画像に対して階層構造を生成し、入出力部１０４に表示する。階層構造は、図８のＧＵＩにおける未付与ペイン８０１に表示される。
　Ｓ７０２は、Ｓ７０３～Ｓ７０８の処理を、Ｓ７０８にて、クラス情報付与終了と判定されるまで繰り返すループである。
　Ｓ７０３では、Ｓ７０１で表示した階層構造の中のフォルダから、ユーザによるフォルダ指定を受け付ける処理である。この際、ユーザに、フォルダの中に含まれる画像を確認させ、単一クラスのみを含むフォルダを指定させる。単一クラスのみを含むフォルダを指定させるには、前述のとおり、ユーザにフォルダの画像を確認させ、単一クラスのみを含むフォルダではない場合（即ち異なるクラスの画像が混在している場合）には、下層のフォルダを確認させて単一クラスのみを含むフォルダを指定させる。ユーザによるフォルダの指定は、未付与ペイン８０１のフォルダ３０１がクラスペインに移動されることによって行われれば良い。移動はドラッグアンドドロップされることなどに実行されれば良い。また、代表画像表示チェックボックス８１１によって画像ペイン８０２にフォルダの代表画像が表示されている場合、画像ペイン８０２の代表画像がクラスペインに移動されることによって、移動された代表画像に対応するフォルダがクラスペインに移動されたとしても良い。この場合、対応するフォルダが指定される。ここでは、単一クラスのみを含むフォルダを指定することを前提として説明したが、ユーザの判断次第で複数クラスの画像を含むフォルダを指定することができるようになっていても良い。
　Ｓ７０４では、指定フォルダ内の画像に付与するクラス情報の入力を受け付ける。クラス情報とは、クラス名やクラスＩＤなどクラスを識別するための情報である。Ｓ７０３にて入力を受け付けたフォルダがクラスペインに移動された際、図９のＧＵＩが表示され、クラス情報の入力を受け付ければ良い。
　Ｓ７０５では、Ｓ７０４で入力を受け付けたクラスはＳ７０６の新クラス追加処理で追加済みかどうかを判定し、追加済みでなければＳ７０６を実行する。追加済みならば、Ｓ７０６の処理をスキップする。
　Ｓ７０６では、Ｓ７０４で入力を受け付けたクラスを新クラスとしてクラスペイン８０３に追加し、クラス情報をクラス情報記憶部１１１に記憶する。クラスペインに新クラスを追加するには、追加した付与済みクラスの代表画像及びクラスラベルを、クラスペイン８０３に追加表示すれば良い。これにより、付与済みクラス情報や対応する画像を確認する手段を提供可能となる。ここで、クラスが追加済みの場合、元々ある画像と追加した画像とを合わせて再度代表画像を算出し、必要に応じてクラスペインに表示する画像を変更することができても良い。
　Ｓ７０７では、Ｓ７０３で入力を受け付けた指定フォルダ内の画像それぞれに対してＳ７０４で入力を受け付けたクラス情報を付与する。各画像に付与されたクラス情報は、クラス情報記憶部１１１に記憶される。例えば、画像のＩＤと対応するクラス情報をリストとして記憶すればよい。なお、Ｓ７０７にてクラス情報を付与した画像が含まれる指定フォルダ及び、その指定フォルダの下層のフォルダはクラス情報付与済みであることをユーザに表示する。例えば、指定フォルダ及び、その指定フォルダの下層のフォルダを階層構造から削除してもよいし、フォルダに色をつけてクラス情報付与済みであることを表示しても良い。なお、Ｓ７０３にて未付与ペイン８０１のフォルダ３０１がクラスペイン８０３のクラス情報付与済みクラスに移動された場合（例えば、フォルダがドラッグアンドドロップによって代表画像８０６やクラスラベル８０５にドロップされた場合）、Ｓ７０４～Ｓ７０６の処理をスキップし、移動先のクラス情報を移動されたフォルダ内の画像に付与しても良い。
　Ｓ７０８では、画像に対するクラス情報付与の終了判定を行う処理である。クラス情報付与を終了すると判定した場合はＳ７０２のループ１を抜けて処理を終了し、終了しないと判定した場合はＳ７０２のループ１の繰返しを継続する。判定方法の例として、ユーザによる終了入力を８０８の終了ボタンが押されることによって受け付ける方法や、全画像に対してクラス情報が付与された場合に終了と判定するなどの方法が考えられる。
　Ｓ７０３において、キーボードの任意のキーをそれぞれクラス情報付与済みのクラスに割り当てておき、入力されたキーによって対応するクラスペイン上のクラスに移動した（即ち、クラス付与する情報の入力を受け付けた）としても良い。割り当てられたキーボードの情報は、クラス情報の一部としてクラス情報記憶部１１１に記憶しておけば良い。例えば、クラス１、クラス２のクラス情報が画像に付与済みな場合を想定し（即ち、クラスペイン８０３にクラス１とクラス２の代表画像が表示されている）、クラス１にキーボードのＦ１、クラス２にキーボードのＦ２を割り当てたとする。ユーザによって、クラス１の画像のみを含むフォルダが選択され、Ｆ１が押されることによって、Ｓ７０４～Ｓ７０６をスキップし、選択されたフォルダの画像にクラス１のクラス情報を付与する。クラス２のクラス情報付与についても同様にＦ２ボタンが押されることによって行われる。キーの割り当ては予めテキストファイル等に定義されていても良いし、ユーザがクラス情報を入力する際に一緒に入力しても良い。また、Ｓ７０６にて新クラスが追加された際に自動的に順番にキーが割り当てられても良い。キーの割り当てによって、ドラッグアンドドロップの作業が不要となり、Ｓ７０３～Ｓ７０７の処理に要する時間が短縮可能となる。
　また、未付与ペインのフォルダ選択後にクラスＩＤやクラス名をキーボードから入力した場合に対応するクラスペイン上のクラスに移動した（即ち、クラス付与する情報の入力を受け付けた）としても良い。例えば、クラス１のＩＤが「００１」である場合、ユーザによるクラス１のみ含まれるフォルダが選択された後、キーボードにて「００１」が入力されることによって、Ｓ７０４～Ｓ７０６をスキップし、選択されたフォルダの画像にクラス１のクラス情報を付与する。キーの割り当てと同様、ドラッグアンドドロップの作業が不要となり、Ｓ７０３～Ｓ７０７の処理に要する時間が短縮可能となる。
　また、ユーザが未付与ペイン８０１のフォルダを選択した際、選択したフォルダ内の画像の特徴量に近い特徴量を有する画像を含むフォルダやクラスをユーザに提示しても良い。例えば、フォルダ内の画像の特徴量の平均とクラスペイン８０３に表示された各クラスの画像の特徴量の平均を比較し、特徴量が一番近いクラスの背景色を変更するなどすれば良い。
　上記では、フォルダ３０１がクラスペイン８０３に移動されることで、Ｓ７０３～Ｓ７０７の処理によってフォルダ内の画像にクラス情報が付与される例を示した。Ｓ７０３～Ｓ７０７を図１１で示すフローに置き換えることで、画像ペイン８０２で指定された一枚以上の画像にクラス情報を付与しても良い。
　図１１は本発明の実施の形態１に係る分類方法において、画像ペインで指定された一枚以上の画像にクラス情報を付与する処理フロー図である。Ｓ１１０１～Ｓ１１０５はそれぞれＳ７０３～Ｓ７０７に対応する。
　Ｓ１１０１では、画像ペイン８０２に表示されている画像４０１の中から、ユーザによる一枚以上の画像の指定を受け付ける処理である。ユーザによる一枚以上の画像の指定は、画像ペイン８０２の画像４０１がクラスペインに移動されることによって行われれば良い。移動はドラッグアンドドロップされることなどに実行されれば良い。
　Ｓ１１０２では、指定した一枚以上の画像に付与するクラス情報の入力を受け付ける。Ｓ１１０１にて入力を受け付けた一枚以上の画像がクラスペインに移動された際、図９のＧＵＩが表示され、クラス情報の入力を受け付ければ良い。
　Ｓ１１０３では、Ｓ１１０２で入力を受け付けたクラスがＳ７０６あるいはＳ１１０４の新クラス追加処理で追加済みかどうかを判定し、追加済みでなければＳ１１０４を実行する。追加済みならば、Ｓ１１０４の処理をスキップする。
　Ｓ１１０４では、Ｓ１１０２で入力を受け付けたクラスを新クラスとしてクラスペイン８０３に追加し、クラス情報をクラス情報記憶部１１１に記憶する。
　Ｓ１１０５では、Ｓ１１０１で入力を受け付けた一枚以上の画像それぞれに対してＳ１１０２で入力を受け付けたクラス情報を付与する。各画像に付与されたクラス情報は、クラス情報記憶部１１１に記憶される。なお、Ｓ１１０５にてクラス情報を付与した一枚以上の画像はクラス情報付与済みであることをユーザに表示する。例えば、指定された一枚以上の画像を階層構造から削除してもよいし、画像の背景色を変更しクラス情報付与済みであることをクラスペインに表示しても良い。なお、Ｓ１１０１にて画像ペイン８０２の一枚以上の画像４０１がクラスペイン８０３のクラス情報付与済みクラスに移動された場合（例えば、一枚以上の画像がドラッグアンドドロップによって代表画像８０６やクラスラベル８０５にドロップされた場合）、Ｓ１１０２～Ｓ１１０４の処理をスキップし、移動先のクラス情報を移動された一枚以上の画像に付与しても良い。
　Ｓ７０３にて、フォルダの中に少数の異なるクラスの画像が混在している場合、Ｓ７０３の処理の前に、それらの画像を他のフォルダに移動させるなどの修正指示を受け付け、対象のフォルダを単一クラスの画像のみ含むフォルダに修正しても良い。修正は、移動対象とする画像ペイン８０２の画像が移動先のフォルダにドラッグアンドドロップされるなどによって行われれば良い。移動された画像は、移動元のフォルダから削除され、移動先のフォルダに追加される。複数の画像が選択され、移動されることで、複数画像が別のフォルダに移動されても良い。移動対象とする画像を選択する際、８０９の画像ペイン８０２の画像を並び替えるボタンを利用することで、選択が容易になる。例えば、ユーザが多数のクラス１の画像と少数のクラス２の画像が混在したフォルダに対して修正を行う場合、一枚以上のクラス１の画像を選択し、８０９によって類似しない順に並び替えることによって、クラス１に類似しない画像（即ち、クラス２の画像）が順に並ぶことになる。並んだクラス２の画像は、近くにまとまって表示されるため、マウスによる範囲確定などによって一括で選択されれば良い。
　Ｓ７０３にて、フォルダや画像がドラッグされている際、ドラッグ中のフォルダ内の画像やドラッグ中の画像を別のウィンドウやペインなどに表示しても良い。また、ドラッグ中のフォルダ内の画像や画像におけるＩＤなどの情報、ドラッグ中の画像などを半透明にして表示するのも良い。以上によってドラッグ中のフォルダ内の画像やドラッグ中の画像を確認する手段をユーザに提供する。また、フォルダや画像がドラッグされている際、フォルダ３０１上にマウスカーソルを移動させることによって、フォルダ３０１に含まれる画像を画像ペイン８０２や別のウィンドウ、別のペインなどに自動表示しても良い。また、同様にマウスカーソルをクラスペイン８０３の代表画像８０６上に移動させた際、代表画像８０６に対応するクラス情報が付与された画像を画像ペイン８０２や別のウィンドウ、別のペインなどに自動表示しても良い。これにより、ユーザがドロップ先のフォルダや代表画像に対応するクラス付与済み画像を確認する手段をユーザに提供する。
　また、画像が異なるフォルダに移動されるなどによってフォルダ内の画像が変化した際、図５や図６の手法を用いてユーザによって選択されたフォルダをルートフォルダとして、階層構造を再生成しても良い。この場合、選択されたフォルダに含まれる画像のみを対象として階層構造を生成すれば良い。階層構造の再生成は、フォルダに含まれる画像が変化した場合に自動で実行されても良いし、ユーザ指示によって行われても良い。
　以上述べた機能を有するＧＵＩはコンピュータで実行されるプログラムにより実現可能であり、また、このプログラムはメモリ、外部記憶媒体などの記憶媒体に記録され、憶媒体から読み出されることで、実行される。
　図７を用いて述べた、クラス情報付与の処理手順を、図１で示した分類装置１０１上で実施する方法について以下に述べる。
　図１に示した画像撮像装置１０２によって撮像された画像を通信手段１０３を介して分類装置１０１内の画像記憶部１１０に記憶する。画像意記憶部１１０に記憶された画像は画像特徴算出部１１３及び階層構造生成部１１４を用いて、図５及び図６を用いて説明した階層構造生成手順を実行するコンピュータ用のプログラムにより処理され、階層構造は階層構造記憶部１１２に記憶される。全体制御部１０５は、入出力Ｉ／Ｆ１０８を介して図８で説明したＧＵＩを入出力部１１４のディスプレイ上に表示する。階層構造記憶部１１２に記憶された階層構造は、入出力Ｉ／Ｆ１０８を介して入出力部１１４のディスプレイ上に表示されたＧＵＩ上に表示される。全体制御部１０５は、ＧＵＩからのフォルダ指定を入出力Ｉ／Ｆ１０８を介して受け付けメモリ１０９に記憶する。その後、入出力Ｉ／Ｆ１０８を介して入出力部１１４のディスプレイ上に図９で示したクラス情報入力ＧＵＩを表示する。全体制御部１０５は、ＧＵＩからクラス情報の入力を入出力Ｉ／Ｆ１０８を介して受け付け、メモリ１０９に記憶する。メモリ１０９に記憶された指定フォルダとクラス情報をクラス情報付与部１１５に送信し、クラス情報と指定フォルダ内の画像の情報をクラス情報記憶部１１１に転送する。クラス情報記憶部１１１に記憶されたクラス情報と指定フォルダ内の画像の情報は、入出力Ｉ／Ｆ１０８を介してＧＵＩ上に表示される。
　プログラムは分類装置１０１あるいは入出力部１０４に接続されている外部記憶媒体（図示せず）、または分類装置１０１あるいは入出力部１０４に接続されている通信手段１０３やバス１１６になどを介して入力され、メモリ１１６、あるいはメモリ１１６内の不揮発性メモリ（図示せず）に記憶され、次回以降はプログラムをメモリ１１６内の不揮発性メモリ（図示せず）に記憶されているプログラムをメモリ１１６に読み出し実行する。
　以上、本実施例では、階層構造をユーザに提示することによって、ユーザによるフォルダの指定入力を受け付け、指定フォルダ内の画像に対して一括でクラス情報付与を行うことで、ユーザクラス付与作業を容易かつ短時間で行うことを可能とするＧＵＩ、装置、プログラム及びプログラムを記憶した記憶媒体について述べた。
　本発明にかかる実施例２として、実施例１と同じ装置及び処理フローにより、画像に対してクラス情報の付与を容易化するＧＵＩ及び装置を述べる。実施例１との違いは、ＧＵＩにクラス付与済みのクラスに対して階層構造を表示する付与ペインを有することであり、以下、ＧＵＩについて説明する。本実施例では実施例１と同様にＳＥＭを備えた観察装置で撮像した画像を分類する場合を対象に説明するが、本実施例にかかる画像自動分類装置の入力はＳＥＭ画像以外でも良く、光学式の手段やイオン顕微鏡などを用いて撮像した画像でも良い。
　図１０は本発明の実施の形態２に係る分類装置のＧＵＩの一例である。
　１００１は、クラス情報付与済みのクラスについて階層構造を表示する付与ペインである。
　１００２は、クラスペイン８０３に表示された各クラス情報付与済みのクラスに対応するクラスフォルダである。クラスフォルダ１００２は、フォルダ３０１と同様、画像の集合を意味し、対応するクラス情報が付与された画像の集合である。Ｓ７０６によって新クラスが追加され、Ｓ７０７によって指定フォルダ内の画像にクラス情報が付与された際、新クラスに対応するクラスフォルダが生成され、付与ペイン１００１上に表示される。
　１００３は、対応するクラスフォルダ１００２のクラス情報や、クラス情報が付与された画像の枚数を表示するクラスフォルダラベルである。このクラスフォルダラベルについて、図９と同様にクラス名を変えることができる。
　Ｓ７０３にて、未付与ペイン８０１上のフォルダ３０１や、画像ペイン８０２上の画像４０１が付与ペイン１００１にドラッグアンドドロップなどによって移動された際に、移動されたフォルダの指定を受け付けても良い。また、移動先が付与ペイン１００１上のクラスフォルダ１００２の場合、Ｓ７０４～Ｓ７０６の処理をスキップし、移動先のクラスフォルダに対応するクラス情報を、移動されたフォルダに付与しても良い。
　また、Ｓ７０７にて、指定フォルダ内の画像にクラス情報を付与した際、指定フォルダを、付与したクラス情報に対応するクラスフォルダの下層に接続しても良い。また、指定フォルダの下の層の階層構造を維持したままクラスフォルダの下層に接続しても良い。
　付与ペイン１００１上のフォルダ３０１やクラスフォルダ１００２をクリックするなどによって、画像ペイン８０２にフォルダやクラスフォルダに含まれる画像を表示しても良い。これにより、フォルダに含まれる画像や、クラス情報が付与された画像を確認する手段をユーザに提供する。
　付与ペイン１００１上のフォルダ３０１やクラスフォルダ１００２に含まれる画像が変化した際、図５や図６の手法を用いてユーザによって選択されたフォルダあるいはクラスフォルダをルートフォルダとして、階層構造を再生成しても良い。この場合、選択されたフォルダあるいはクラスフォルダに含まれる画像のみを対象として階層構造を生成すれば良い。階層構造の再生成は、フォルダやクラスフォルダに含まれる画像が変化した場合に自動で実行されても良いし、ユーザ指示によって行われても良い。クラスフォルダに対して階層構造を再生成し、ユーザに提示することにより、ユーザのクラス情報付与間違い画像の検出作業を容易化する。
　以上述べた機能を有するＧＵＩはコンピュータで実行されるプログラムにより実現可能であり、また、このプログラムはメモリ、外部記憶媒体などの記憶媒体に記録され、憶媒体から読み出されることで、実行される。
　プログラムは分類装置１０１あるいは入出力部１０４に接続されている外部記憶媒体（図示せず）、または分類装置１０１あるいは入出力部１０４に接続されている通信手段１０３やバス１１６になどを介して入力され、メモリ１１６、あるいはメモリ１１６内の不揮発性メモリ（図示せず）に記憶され、次回以降はプログラムをメモリ１１６内の不揮発性メモリ（図示せず）に記憶されているプログラムをメモリ１１６に読み出し実行する。
　以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。ここで述べた実施形態は、レビューＳＥＭで撮像した画像に対してクラス情報付与の容易化を可能とするＧＵＩ及び装置を述べたが、画像に対してクラス情報を付与する必要のある他の欠陥観察装置・検査装置から得られた画像に対しても、本発明を適用可能である。
　３０１…フォルダ、４０１…画像、８０１…未付与ペイン、８０２…画像ペイン、８０３…クラスペイン、８０４…画像情報、８０５…クラスラベル、８０６…クラスの代表画像、８０７…選択フォルダの枠、８０８…終了ボタン、８０９…並び替えボタン、８１０…表示画像種指定コンボボックス、８１１…代表画像表示チェックボックス、８１２…スクロールバー、８１３…特徴量セット指定コンボボックス、８１４…フォルダ表示ボタン

Claims (21)

  1. 　クラス情報が付与されていない画像の集合であるフォルダを階層的に表示する未付与ペイン領域と、前記未付与ペイン領域に表示されたクラス情報が付与されていない画像を表示する画像ペイン領域と、クラス情報が付与されている画像を表示するクラスペイン領域を備え、
    　該クラス情報が付与されていない画像に対して外部からクラス情報が入力されると、該入力されたクラス情報が表示されるＧＵＩ。
  2. 　請求項１記載のＧＵＩであって、
    　クラス情報が付与されている画像の集合であるフォルダを階層的に表示する付与ペイン領域を有することを特徴とするＧＵＩ。
  3. 　請求項１記載のＧＵＩであって、
    　前記未付与ペイン領域に表示された該階層的なフォルダのうち一のフォルダに分けられている画像が所定のクラスである割合は、該一のフォルダよりも上位のフォルダに分けられている画像が該所定のクラスである割合よりも高いことを特徴とするＧＵＩ。
  4. 　請求項１記載のＧＵＩであって、
    　前記クラスペイン領域に表示されている画像に対応するフォルダが選択されると、該選択されたフォルダに含まれる画像を前記画像ペイン領域に表示することを特徴とするＧＵＩ。
  5. 　請求項１記載のＧＵＩであって、
    　前記未付与ペイン領域に表示されたフォルダを前記クラスペイン領域に移動する際に該移動するフォルダのクラス情報を入力する入力画面が表示されることを特徴とするＧＵＩ。
  6. 　請求項５に記載のＧＵＩであって、
    　該移動するフォルダのクラス情報が前記クラスペイン領域に表示されていない場合は、該移動するフォルダのクラス情報を表示することを特徴とするＧＵＩ。
  7. 　請求項１記載のＧＵＩであって、
    　前記未付与ペイン領域のフォルダが前記クラスペイン領域に移動する際に、該移動するフォルダに対応するクラス情報が入力されることを特徴とするＧＵＩ。
  8. 　請求項１記載のＧＵＩであって、
    　該クラス情報はクラスＩＤの情報を含むことを特徴とするＧＵＩ。
  9. 　請求項１記載のＧＵＩであって、
    　該クラス情報は割り当てられた入力手段の情報を含むことを特徴とするＧＵＩ。
  10. 　請求項１記載のＧＵＩであって、
    　前記画像ペイン領域は、前記画像ペイン領域に表示された画像を該画像の特徴量に基づいて並び替えるためのソート機能を有することを特徴とするＧＵＩ。
  11. 　請求項１記載のＧＵＩであって、
    　前記未付与ペイン領域に表示されたフォルダを選択すると、該選択したフォルダに接続されている下層のフォルダの代表画像を前記画像ペイン領域に表示することを特徴とするＧＵＩ。
  12. 　請求項１記載のＧＵＩであって、
    　前記未付与ペイン領域に表示された所定の層が選択されると、該選択された層に存在するフォルダの代表画像が表示されることを特徴とするＧＵＩ。
  13. 　請求項１２に記載のＧＵＩであって、
    　前記未付与ペイン領域に表示されたフォルダを選択する際は、スライドバーまたはコンボボックスによって指定されることを特徴とするＧＵＩ。
  14. 　請求項１記載のＧＵＩであって、
    　前記画像ペイン領域に表示された画像が前記クラスペイン領域に移動すると、該移動した画像に対応する前記画像ペイン領域のフォルダが削除されることを特徴とするＧＵＩ。
  15. 　請求項１記載のＧＵＩであって、
    　前記未付与ペイン領域に表示された階層構造のフォルダに対応する画像は、外部から入力された特徴量の種類に基づいて該階層構造のフォルダに振り分けられたことを特徴とするＧＵＩ。
  16. 　請求項４に記載のＧＵＩであって、
    　前記クラスペイン領域に表示されている画像に対応するフォルダが選択されると、該選択されたフォルダの下層のフォルダを表示することを特徴とするＧＵＩ。
  17. 　請求項１記載のＧＵＩであって、
    　該フォルダの階層は、ＡＤＣとは異なる特徴量を用いて生成されることを特徴とするＧＵＩ。
  18. 　被検査対象物の表面に電子線を照射し、該被検査対象物の表面から発生した電子を検出し、検出した電子を画像に変換する画像撮像部と、
    　前記画像撮像部にて変換した画像を処理して該画像の特徴量を算出する画像特徴算出部と、前記画像特徴算出部により算出した該画像の特徴量を用いて該画像を含むフォルダの階層構造を生成する階層構造生成部と、前記階層構造生成部で生成された階層構造のフォルダに対して外部からクラス情報が入力された場合に該フォルダの画像に対してクラス情報を付与するクラス情報付与部を備える処理部と、
    　請求項１記載のＧＵＩを備える分類装置。
  19. 　被検査対象物の表面に電子線を照射し、該被検査対象物の表面から発生した電子を検出し、検出した電子を画像に変換する画像撮像ステップと、
    　前記画像撮像ステップにて変換した画像を処理して該画像の特徴量を算出する画像特徴算出ステップと、前記画像特徴算出ステップにより算出した該画像の特徴量を用いて該画像を含むフォルダの階層構造を生成する階層構造生成ステップと、前記階層構造生成ステップで生成された階層構造のフォルダに対して外部からクラス情報が入力された場合に該フォルダの画像に対してクラス情報を付与するクラス情報付与ステップを備える処理ステップと、
    　ＧＵＩに請求項１記載のＧＵＩの画面を表示する表示ステップを備える分類方法。
  20. 　請求項１記載のＧＵＩを表示するプログラム。
  21. 　請求項２０記載のプログラムを記憶した記憶媒体。
PCT/JP2012/080416 2011-12-28 2012-11-26 Ｇｕｉ、分類装置、分類方法、プログラム及び分類プログラムを記憶した記憶媒体 WO2013099487A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020147017756A KR101888227B1 (ko) 2011-12-28 2012-11-26 Ｇｕｉ, 분류 장치, 분류 방법 및 기록 매체
CN201280064315.1A CN104024838B (zh) 2011-12-28 2012-11-26 Gui、分类装置、分类方法、程序以及存储分类程序的存储介质
US14/360,636 US10203851B2 (en) 2011-12-28 2012-11-26 Defect classification apparatus and defect classification method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-287369 2011-12-28
JP2011287369A JP5719760B2 (ja) 2011-12-28 2011-12-28 欠陥分類装置

Publications (1)

Publication Number Publication Date
WO2013099487A1 true WO2013099487A1 (ja) 2013-07-04

Family

ID=48696986

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/080416 WO2013099487A1 (ja) 2011-12-28 2012-11-26 Ｇｕｉ、分類装置、分類方法、プログラム及び分類プログラムを記憶した記憶媒体

Country Status (5)

Country Link
US (1) US10203851B2 (ja)
JP (1) JP5719760B2 (ja)
KR (1) KR101888227B1 (ja)
CN (1) CN104024838B (ja)
WO (1) WO2013099487A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9189135B2 (en) * 2011-01-04 2015-11-17 International Business Machines Corporation Three-dimensional GUI object stores in automation test tools
US9535794B2 (en) * 2013-07-26 2017-01-03 Globalfoundries Inc. Monitoring hierarchical container-based software systems
US9482622B2 (en) * 2014-05-16 2016-11-01 Massachusetts Institute Of Technology Methods and apparatus for surface classification
KR101728358B1 (ko) * 2014-08-25 2017-04-19 엘지전자 주식회사 이동 단말기 및 그 제어 방법
JP5945575B2 (ja) * 2014-09-19 2016-07-05 アンリツ株式会社 パラメータ設定装置、パラメータ設定方法及び移動端末試験装置
CN104598534B (zh) 2014-12-30 2018-04-06 小米科技有限责任公司 图片折叠方法及装置
KR102179989B1 (ko) * 2016-04-13 2020-11-17 케이엘에이 코포레이션 전기적 설계 의도에 기초한 결함 분류 시스템 및 방법
KR101744194B1 (ko) 2016-08-19 2017-06-09 인하대학교 산학협력단 반도체 fab 제조공정에서 유클리드 거리를 활용한 웨이퍼 자동 불량 검사 분류 예측 장치 및 방법
US10162741B2 (en) * 2017-01-24 2018-12-25 International Business Machines Corporation Automatically correcting GUI automation using machine learning
CN109540931B (zh) * 2017-09-20 2023-05-23 世高株式会社 X射线检查装置
JP6967496B2 (ja) * 2018-09-28 2021-11-17 富士フイルム株式会社 画像処理装置，画像処理方法および画像処理プログラム
CN109344272B (zh) * 2018-10-15 2020-10-30 广东电网有限责任公司 图像处理方法及装置
JP7390851B2 (ja) * 2019-10-18 2023-12-04 株式会社日立ハイテク 欠陥分類装置、欠陥分類プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001156135A (ja) * 1999-11-29 2001-06-08 Hitachi Ltd 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法
JP2002014054A (ja) * 2000-06-28 2002-01-18 Hitachi Ltd 検査装置および検査方法
JP2004077165A (ja) * 2002-08-12 2004-03-11 Hitachi Ltd 欠陥分類方法及びその装置
JP2006189462A (ja) * 2006-03-17 2006-07-20 Hitachi Ltd 検査方法及びその装置
JP2009123851A (ja) * 2007-11-14 2009-06-04 Hitachi High-Technologies Corp 欠陥観察分類方法及びその装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3476913B2 (ja) 1994-07-08 2003-12-10 オリンパス株式会社 欠陥種別判定装置及びプロセス管理システム
US6784925B1 (en) * 1998-03-24 2004-08-31 Canon Kabushiki Kaisha System to manage digital camera images
JP3812185B2 (ja) 1998-12-01 2006-08-23 株式会社日立製作所 欠陥分類方法およびその装置
US6999614B1 (en) 1999-11-29 2006-02-14 Kla-Tencor Corporation Power assisted automatic supervised classifier creation tool for semiconductor defects
JP2004118573A (ja) * 2002-09-26 2004-04-15 Fuji Photo Film Co Ltd 画像整理装置およびプログラム
US7823077B2 (en) * 2003-03-24 2010-10-26 Microsoft Corporation System and method for user modification of metadata in a shell browser
US8473532B1 (en) * 2003-08-12 2013-06-25 Louisiana Tech University Research Foundation Method and apparatus for automatic organization for computer files
US20050166156A1 (en) * 2004-01-23 2005-07-28 Microsoft Corporation System and method for automatically grouping items
EP1802984A1 (en) 2004-10-11 2007-07-04 Koninklijke Philips Electronics N.V. Non-linear frequency and phase measurement scheme
WO2006044426A2 (en) 2004-10-12 2006-04-27 Kla-Tencor Technologies Corp. Computer-implemented methods and systems for classifying defects on a specimen
US7783115B2 (en) * 2004-12-14 2010-08-24 Fujifilm Corporation Apparatus and method for setting degrees of importance, apparatus and method for representative image selection, apparatus and method for printing-recommended image selection, and programs therefor
US20060184892A1 (en) * 2005-02-17 2006-08-17 Morris Robert P Method and system providing for the compact navigation of a tree structure
US20100257127A1 (en) * 2007-08-27 2010-10-07 Stephen Patrick Owens Modular, folder based approach for semi-automated document classification
JP4453738B2 (ja) * 2007-10-18 2010-04-21 ソニー株式会社 ファイル転送方法、装置、およびプログラム
JP5156452B2 (ja) * 2008-03-27 2013-03-06 東京エレクトロン株式会社 欠陥分類方法、プログラム、コンピュータ記憶媒体及び欠陥分類装置
JP2010039620A (ja) * 2008-08-01 2010-02-18 Hitachi Information Systems Ltd 作業管理システム
JP4804558B2 (ja) * 2009-04-28 2011-11-02 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
JP2010009608A (ja) * 2009-07-13 2010-01-14 Sony Corp 画像管理装置、画像管理方法および画像管理プログラム
US20110040980A1 (en) * 2009-08-12 2011-02-17 Apple Inc. File Management Safe Deposit Box

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001156135A (ja) * 1999-11-29 2001-06-08 Hitachi Ltd 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法
JP2002014054A (ja) * 2000-06-28 2002-01-18 Hitachi Ltd 検査装置および検査方法
JP2004077165A (ja) * 2002-08-12 2004-03-11 Hitachi Ltd 欠陥分類方法及びその装置
JP2006189462A (ja) * 2006-03-17 2006-07-20 Hitachi Ltd 検査方法及びその装置
JP2009123851A (ja) * 2007-11-14 2009-06-04 Hitachi High-Technologies Corp 欠陥観察分類方法及びその装置

Also Published As

Publication number Publication date
KR101888227B1 (ko) 2018-08-13
JP2013137203A (ja) 2013-07-11
US10203851B2 (en) 2019-02-12
JP5719760B2 (ja) 2015-05-20
KR20140097484A (ko) 2014-08-06
US20140331173A1 (en) 2014-11-06
CN104024838B (zh) 2016-04-13
CN104024838A (zh) 2014-09-03

Similar Documents

Publication Publication Date Title
JP5719760B2 (ja) 欠陥分類装置
CN109791693B (zh) 用于提供可视化全切片图像分析的数字病理学系统及相关工作流程
JP5403838B2 (ja) 顔を相関させることによるデジタル画像の編成
JP6348504B2 (ja) 生体試料の分割画面表示及びその記録を取り込むためのシステム及び方法
US9646376B2 (en) System and method for reviewing and analyzing cytological specimens
JP5452392B2 (ja) 欠陥観察方法及び欠陥観察装置
US7756320B2 (en) Defect classification using a logical equation for high stage classification
KR102195029B1 (ko) 결함 분류 장치 및 결함 분류 방법
US7583832B2 (en) Method and its apparatus for classifying defects
US20130294680A1 (en) Image classification method and image classification apparatus
TWI512787B (zh) A defect analysis support means, a program executed by the defect analysis support means, and a defect analysis system
JP6078234B2 (ja) 荷電粒子線装置
KR20150095646A (ko) 바이오마커 발현의 선택 및 디스플레이
JP2007225531A (ja) 欠陥観察方法及びその装置
EP1586897A1 (en) Image analysis supporting method, image analysis supporting program, and image analysis supporting device
TW202220077A (zh) 構造推定系統、構造推定程式
DE102013217354A1 (de) Kantenmessungs-videowerkzeug und schnittstelle mit automatischen parametersatzalternativen
JP2020129439A (ja) 情報処理システムおよび情報処理方法
WO2016092614A1 (ja) 欠陥検査装置、表示装置、及び欠陥分類装置
WO2017203572A1 (ja) 欠陥画像分類装置および欠陥画像分類方法
JP4709168B2 (ja) レポート検索方法，レポート検索システム、およびレビュー装置
US20150170355A1 (en) Wafer appearance inspection system and method of sensitivity threshold setting
JP2010283079A (ja) 表面観察装置および表面観察方法
JP2003156460A (ja) データ管理方法及びデータ管理システム
JP2017003305A (ja) 欠陥画像分類装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12861372

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20147017756

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12861372

Country of ref document: EP

Kind code of ref document: A1