WO2021038815A1 - 計測システム、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する方法、およびコンピュータに、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する処理を実行させるためのプログラムを格納する記憶媒体 - Google Patents

計測システム、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する方法、およびコンピュータに、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する処理を実行させるためのプログラムを格納する記憶媒体 Download PDF

Info

Publication number
WO2021038815A1
WO2021038815A1 PCT/JP2019/034050 JP2019034050W WO2021038815A1 WO 2021038815 A1 WO2021038815 A1 WO 2021038815A1 JP 2019034050 W JP2019034050 W JP 2019034050W WO 2021038815 A1 WO2021038815 A1 WO 2021038815A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
region
teacher data
learning model
measurement
Prior art date
Application number
PCT/JP2019/034050
Other languages
English (en)
French (fr)
Inventor
竜 弓場
計 酒井
山口　聡
Original Assignee
株式会社日立ハイテク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立ハイテク filed Critical 株式会社日立ハイテク
Priority to CN201980099234.7A priority Critical patent/CN114270484A/zh
Priority to PCT/JP2019/034050 priority patent/WO2021038815A1/ja
Priority to KR1020227004040A priority patent/KR20220029748A/ko
Priority to US17/634,805 priority patent/US20220277434A1/en
Priority to JP2021541913A priority patent/JP7341241B2/ja
Priority to TW109122244A priority patent/TWI766303B/zh
Publication of WO2021038815A1 publication Critical patent/WO2021038815A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B15/00—Measuring arrangements characterised by the use of electromagnetic waves or particle radiation, e.g. by the use of microwaves, X-rays, gamma rays or electrons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G01N21/9505—Wafer internal defects, e.g. microcracks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03F—PHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
    • G03F7/00—Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
    • G03F7/70—Microphotolithographic exposure; Apparatus therefor
    • G03F7/70483—Information management; Active and passive control; Testing; Wafer monitoring, e.g. pattern monitoring
    • G03F7/70605—Workpiece metrology
    • G03F7/70616—Monitoring the printed patterns
    • G03F7/70633—Overlay, i.e. relative alignment between patterns printed by separate exposures in different layers, or in the same layer in multiple exposures or stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/56—Measuring geometric parameters of semiconductor structures, e.g. profile, critical dimensions or trench depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Definitions

  • the present disclosure discloses a measurement system, a method of generating a learning model used when performing image measurement of a semiconductor including a predetermined structure, and a computer generating a learning model used when performing image measurement of a semiconductor including a predetermined structure. It relates to a storage medium for storing a program for executing a process to be performed.
  • the patterns manufactured by the semiconductor process in recent years have been miniaturized, and there is a demand for superimposing patterns over a plurality of layers of an exposure apparatus, that is, improving the accuracy of overlay.
  • Patent Document 1 discloses a technique of extracting a plurality of luminance regions separated by luminance boundaries on an input image by image processing and performing overlay measurement from the positional relationship of the center of gravity of the luminance regions. .. Further, in Patent Document 2, the design image such as a CAD image or the predicted image of the input image estimated from the design image is referred to, the input image is divided into areas for each pixel, and the positional relationship of the center of gravity of the area-divided area is divided. Discloses a technique for performing overlay measurement.
  • Patent Document 3 describes a machine learning model that infers the overlay amount (the amount of displacement of the position of the structure of the semiconductor that is the object of overlay measurement) from the image using a sample of the image of the overlay measurement target collected in advance.
  • a technique for measuring the overlay amount from an input image by referring to a machine learning model after learning is disclosed.
  • Patent Document 1 it is necessary to manually adjust the parameters during image processing according to the input image, and since know-how is also required to adjust the parameters, the worker who measures the overlay becomes an expert. There is the issue of being limited. Further, the technique disclosed in Patent Document 2 has a problem that it cannot be operated when it cannot be obtained due to reasons such as the design image not being disclosed.
  • Patent Document 3 has a problem that it is difficult to analyze the cause when an unexpected overlay amount is measured from the input image because the process of measuring the overlay amount from the input image cannot be visually confirmed.
  • This disclosure has been made in view of such circumstances, and proposes a technique that enables execution of measurement processing without involving parameter adjustment of image processing that requires know-how and reference to design drawings that may be difficult to obtain. To do.
  • the embodiment of the present disclosure is a method of generating a learning model used when performing image measurement of a semiconductor including a predetermined structure, in which at least one processor is a sample of the semiconductor. Based on the generation of teacher data by assigning a label containing at least one measurement target structure to the region-divided image obtained from the image and the network structure in which at least one processor is composed of multiple layers.
  • a method that includes generating a training model using a region-divided image of a sample image and teacher data, and the training model includes parameters for inferring teacher data from the sample image.
  • FIG. It is a figure which shows an example of the functional structure from teacher creation to overlay measurement by Example 1.
  • FIG. It is a figure which shows the example of the sample image. It is a figure which shows the example of the area division image. It is a figure which shows the configuration example of the user interface for creating a teacher data 14 from a sample image 13 provided by a teacher creation unit 1. It is a figure which shows the example of the deep neural network structure 179 in the learning model 11. It is a figure for supplementary explanation about the geometrical relationship between a neural network structure 179 and an image. It is a figure which shows the image 50 which is an example of the input image 12. It is a figure which shows the example of the output of the grouping unit 4.
  • FIG. It is a flowchart for demonstrating the detail of the grouping process executed by grouping part 4. It is a figure (table) which shows the example of the label of the 1st and 2nd measurement target of overlay measurement. It is a flowchart for demonstrating the detail of the overlay measurement process executed by the overlay measurement unit 5. It is a figure which shows the configuration example of the template data 85. It is a figure (table) which shows the other example of the label of the 1st and 2nd measurement target of overlay measurement. It is a figure which shows the functional configuration example from teacher creation to overlay measurement by Example 2. FIG. It is a figure which shows the example of the set of sample images 30a and 30b, and the area division image (teacher data to which a label is assigned) 40a and 40b.
  • FIG. It is a figure which shows the functional configuration example from teacher creation to overlay measurement by Example 3.
  • FIG. It is a figure which shows the structural example of the sample image 213. It is a figure which shows the structural example of the teacher data 214. It is a flowchart for demonstrating the teacher creation process by a teacher creation part 201. It is a figure for demonstrating the example of the correction by the statistic of step S204. It is a figure explaining another example of the correction by the statistical processing of step S204.
  • the present embodiment and each embodiment relate to a measurement system that measures an image in a semiconductor having a predetermined structure (for example, a multilayer structure). More specifically, when the semiconductor has a multilayer structure, the amount of displacement between layers is measured. Overlay measurement is related to the measurement system.
  • the technique according to the present disclosure is not limited to overlay measurement, and can be widely applied to image measurement in general.
  • the embodiment of the present disclosure may be implemented by software running on a general-purpose computer, or may be implemented by dedicated hardware or a combination of software and hardware.
  • each information of the present disclosure will be described in a "table” format, but these information do not necessarily have to be represented by a data structure by a table, and a data structure such as a list, a DB, a queue, and others. It may be expressed by. Therefore, “table”, “list”, “DB”, “queue”, etc. may be simply referred to as "information" to indicate that they do not depend on the data structure.
  • Embodiment The present embodiment (and Examples 1 to 6) relates to, for example, a measurement system that measures an image of a semiconductor including a predetermined structure (for example, a multilayer structure).
  • the measurement system refers to a learning model generated based on the teacher data generated from the sample image of the semiconductor and the sample image, and obtains a region-divided image from the input image (measurement target) of the semiconductor having a predetermined structure. It is generated and image measurement is performed using the region-divided image.
  • the teacher data is an image in which a label including the structure of the semiconductor in the sample image is assigned to each pixel of the image
  • the training model includes parameters for inferring the teacher data from the sample image.
  • FIG. 31 is a diagram showing a schematic configuration example of the measurement system 310 according to the present embodiment (common to each embodiment).
  • the measurement system 310 includes, for example, an overlay measurement system that executes overlay measurement, a dimension measurement system that measures dimensions such as contour extraction and hole shape in a semiconductor image, a defect pattern detection system that detects defect patterns, and inference of design drawings. It corresponds to a pattern matching system that searches for a collation position between and an actual design drawing.
  • the measurement system 310 includes, for example, a main computer 191 including a main processor 190, an input / output device 192 that inputs instructions and data to the main computer 191 and outputs a calculation result, and an electronic microscope or an electronic microscope that supplies an image to be measured.
  • a server computer 193 (hereinafter referred to as an electronic microscope or the like) for accumulating images of an electronic microscope, a first sub-computer 191a including a first subprocessor 190a, and a second sub-computer 191b including a second subprocessor 190b are provided.
  • Each component is connected by a network (eg, LAN).
  • a network eg, LAN
  • two first and second sub-computers 191a and 191b are provided, but all the operations may be executed in the main computer, or a sub for assisting the main computer 191.
  • One or more computers may be provided.
  • the main computer 191 executes the teacher creation process and the learning model creation process (processes corresponding to the teacher creation unit and the learning unit in each figure) in FIGS. 1, 14, 16, 22, 26, and 30, which will be described later. Further, the inference processing and the measurement processing (processing corresponding to the area division unit, the grouping unit, and the measurement unit (overlay measurement unit) in each figure) are performed by the main computer 191 or the first sub-computer 191a and the second sub-computer 191b. It may be processed in a distributed manner.
  • the first sub-computer 191a and the second sub-computer 191b can be configured so that only the inference processing and the measurement processing are executed, and the teacher creation processing and the learning model creation processing are not executed. Further, when a plurality of sub-computers are installed (for example, the first sub-computer 191a and the second sub-computer 191b), the inference processing and the measurement processing may be distributed among the sub-computers.
  • the electron microscope or the like 193 acquires (images) a semiconductor pattern image formed on the wafer, and provides it to the main computer 191 and the sub computers 191a and 191b.
  • the electron microscope or the like 193 is a server computer
  • the server computer stores the semiconductor pattern image captured by the electron microscope in a storage device (for example, a hard disk drive (HDD)) and responds to an instruction from the main computer 191.
  • An image corresponding to the instruction is provided to the main computer 191 and the like.
  • a storage device for example, a hard disk drive (HDD)
  • Example 6 it is clarified that the technique of the present disclosure can be applied to all measurement processes.
  • FIG. 1 is a diagram showing an example of a functional configuration from teacher creation to overlay measurement according to the first embodiment.
  • the functions of the teacher creation unit 1 and the learning unit 2 are realized by the main processor 190 of the main computer 191 reading each corresponding processing program from a storage unit (not shown). Further, the functions of the area division unit 3, the grouping unit 4, and the overlay measurement unit 5 are supported by the main processor 190 of the main computer 191 or the programs corresponding to the subprocessors 190a and 190b of the sub computers 191a and 191b from storage units (not shown). It is realized by reading.
  • the sample image 13 is a sample of an image to be measured by overlay measurement collected in advance.
  • the teacher data 14 is prepared for each of the sample images 13 as a region-divided image in which a label including a structure in a semiconductor to be measured for overlay measurement is assigned to each pixel in the image.
  • the teacher creation unit 1 creates the teacher data 14 from the sample image 13 and also provides a user interface for creating the teacher data 14.
  • the learning model 11 is a parameter such as a coefficient in a machine learning model for obtaining a region image division from an image (for example, a sample image).
  • the learning unit 2 calculates a learning model 11 that infers a region-divided image as close as possible to the teacher data 14 when the sample image 13 is input.
  • the input image 12 is an image to be measured at the time of overlay measurement.
  • the region division unit 3 infers the region division image from the input image 12 with reference to the learning model 11.
  • the grouping unit 4 groups the measurement targets of overlay measurement in the region-divided image in units of small regions.
  • the overlay measurement unit 5 performs overlay measurement from the position of a small area grouped by the grouping unit 4.
  • the above functions of the teacher creation unit 1, the learning unit 2, the area division unit 3, the grouping unit 4, and the overlay measurement unit 5 can be realized by signal processing on an arbitrary computer.
  • the sample image 13 is an image captured before the overlay measurement is performed, and is an image of a semiconductor sample to be measured or a sample whose appearance is close to that of the semiconductor sample to be measured.
  • the sample image 13 can be collected by an electron microscope that operates overlay measurement or an electron microscope whose image quality is close to that of the electron microscope.
  • FIG. 2 is a diagram showing an example of a sample image.
  • Image 30 in FIG. 2 shows, for example, a part of a sample image.
  • the image 30 includes the structure in the semiconductor to be measured by the overlay.
  • the sample image is composed of one or more images similar to the image 30.
  • the teacher data 14 is composed of region-divided images obtained from each of the images 30 in the sample image 13.
  • FIG. 3 is a diagram showing an example of a region-divided image.
  • the region-divided image 40 is assigned a label 41, a label 42, and a label 43 indicating the first measurement target, the second measurement target, and the background in each pixel in the image 30.
  • the first and second measurement targets corresponding to the labels 41 and 42 are overlay measurement targets and correspond to, for example, structures in vias, trenches and other semiconductors. How to determine the structure in the semiconductor is determined in advance according to the operation of overlay measurement.
  • additional labels may be assigned to the region division image 40. For example, in FIG. 3, in the region divided image 40, a label 49 corresponding to an invalid region excluded by the learning unit 2 is assigned.
  • FIG. 4 is a diagram showing a configuration example of a user interface for creating teacher data 14 from the sample image 13 provided by the teacher creation unit 1.
  • the user interface includes, for example, a main screen 90, an input screen 91, an input selection area 92, and an input pen 93.
  • the operator selects any item from the radio buttons of the input selection 92 and operates the input pen 93 on the image 30 (for example, fills the area to be labeled).
  • the label is assigned to the area operated by the input pen.
  • labels 41, 42, and 43 are selected in order according to the selection of the items of the first measurement target, the second measurement target, and the background radio button.
  • a predetermined color or gradation (gradation) is assigned to the portion input by the input pen 93 according to the label selected in the input selection 92.
  • the input selection 92 may include an item such as an invalid area 49 from which an additional label can be selected.
  • the user interface in the input selection 92 is an example, and the character string attached to the radio button may be changed, or a user interface other than the radio button may be provided.
  • the selection area 94 shows an example in which labels 41, 42, and 43 are assigned to a part of the image 30. Then, the area division image 40 is created by allocating the same label to the entire area of the image 30.
  • the worker can easily create the teacher data 14 from the sample image 13 without the need for parameter adjustment and reference to the design drawing that require know-how. it can.
  • FIG. 5 is a diagram showing an example of a deep neural network structure 179 in the learning model 11.
  • the deep neural network structure 179 can be composed of, for example, an input layer 170, an output layer 171 and a plurality of intermediate layers 172, 173, and 174.
  • the image 30 is stored in the input layer 170.
  • Data in the layers are aggregated from the input layer 170 to the intermediate layer 172, and from the intermediate layer 172 to the intermediate layer 173 by a convolution operation by a predetermined coefficient filter or image reduction.
  • the data in the layers is expanded from the intermediate layer 173 to the intermediate layer 174 and from the intermediate layer 174 to the output layer 171 by a convolution operation by a predetermined coefficient filter or an image enlargement.
  • Such a network structure is generally called a convolutional neural network.
  • the data in the output layer (final layer) 171 indicates the likelihood of each label in the region divided image 40.
  • the area-divided image 40 can be obtained by assigning the label having the maximum likelihood to each pixel.
  • the learning model 11 corresponds to the coefficient of the filter in the intermediate layer.
  • the deep neural network structure 179 is an example of the network structure in the learning model 11, and the number of intermediate layers such as 172 is not limited to three shown in FIG. Further, it is possible to take an additional structure such as a bypass structure connecting the intermediate layers 172 and 174, or to add an additional operation in addition to the filter operation. When additional parameters are added with the addition of additional structures and additional operations to the network structure in the learning model 11, additional parameters are also added to the learning model 11.
  • FIG. 6 is a diagram for supplementarily explaining the geometrical relationship between the neural network structure 179 and the image.
  • attention is paid to the pixel 175 in the image 30 and the pixel 177 having the same coordinates as the pixel 175 in the region-divided image 40.
  • a predetermined range of pixels 175 called a receptive field 176 (the receptive field is an image range involved in determining the label, and its size is determined according to the neural network structure 179).
  • the neighborhood area of is involved.
  • the data of the intermediate layers 172, 173, and 174 can be obtained by the convolution calculation, the image enlargement, and the image reduction, and the label of the pixel 177 is determined in the output layer 171.
  • the label of each pixel in the region-divided image 40 can be obtained more efficiently by parallel computing from each pixel in the image 30.
  • the learning unit 2 refers to the sample image 13 and the teacher data 14, and calculates the parameters of the learning model 11 for inferring the region-divided image 40 when the image 30 is given. Specifically, the learning unit 2 infers the region division image 40 from the image 30 in the sample image 13, for example, and the region division image 40 corresponding to the inferred region division image 40 and the image 30 in the teacher data 14. Are compared, and the learning model 11 in which the difference between the two region-divided images 40 is optimal and the minimum is calculated. For example, the difference between the two region divided images 40 is defined as the number of pixels having different labels among all the pixels, and the partial differential coefficient of each element in the learning model 11 (neural network structure 179) with respect to the number of pixels is obtained.
  • each element in the learning model 11 is updated by adding the partial differential coefficient multiplied by a negative predetermined coefficient (updated little by little so that the number of pixels decreases), respectively, in the sample image 13.
  • a method of sequentially performing the image 30 is not limited to this method.
  • the method is not limited to this method.
  • the corresponding region-divided image 40 in the teacher data 14 includes the label 49 (invalid region), that portion is excluded from the total number of pixels having different labels.
  • the learning unit 2 when the learning model 11 is generated, the learning unit 2 performs a compositing process such as adding random noise to the image 30 in the sample image 13, performing enlargement / reduction, and geometric transformation such as horizontal inversion and vertical inversion. You may add the composite image performed. By adding the composite image, the learning unit 2 can obtain the learning model 11 from a larger number of images 30.
  • a compositing process such as adding random noise to the image 30 in the sample image 13, performing enlargement / reduction, and geometric transformation such as horizontal inversion and vertical inversion. You may add the composite image performed.
  • the learning unit 2 can obtain the learning model 11 from a larger number of images 30.
  • the input image 12 is an image taken at the time of overlay measurement.
  • FIG. 7 is a diagram showing an image 50 which is an example of the input image 12.
  • the region 59 in the image 50 of FIG. 7 is a region having the same size as the image 30 in the sample image 13, and includes a structure in the semiconductor to be overlay-measured. Outside the region 59 of the image 50, the structure in the semiconductor to be overlay measured is periodically reflected as in the region 59.
  • the region division unit 3 infers the region division image 60 in FIG. 7 from the input image 12 with reference to the learning model 11.
  • the area 69 in the area-divided image 60 is an area having the same range as the area 59.
  • inference means inputting data into the network structure of the learning model 11 and performing calculations such as convolution operations of each layer of the network structure (input layer 170, output layer 171 and intermediate layers 172, 173, and 174). , Means to get the calculation result.
  • Each pixel of the region 69 in the region-divided image 60 is assigned one of the labels 41, 42, and 43 in the same manner as the region-divided image 40.
  • the learning model 11 is provided with a characteristic of inferring the region divided image 40 according to the image 30 in the process in which the learning unit 2 obtains the learning model 11. .. Therefore, an accurate label can be assigned to the area 69.
  • the scale (reference) of "similarity" is that the internal images are similar in the unit of the receptive field 176 (small area in the image 30).
  • the structure in the semiconductor to be measured is periodic. Therefore, even if the image in the sample image 13 has a smaller size than the region-divided image 60, the image 30 satisfying the same conditions as the region-divided image 60 exists in the sample image 13 and is accurate. You can expect the label to be assigned.
  • the grouping unit 4 groups the overlay measurement targets in the region-divided image 60 in small-region units by executing the process shown in the flowchart of FIG. 9. The details of the grouping process will be described later.
  • the overlay measurement unit 5 performs overlay measurement from the grouped image 70 by executing the process shown in the flowchart of FIG. The details of the overlay measurement process will be described later.
  • FIG. 9 is a flowchart for explaining the details of the grouping process executed by the grouping unit 4.
  • the grouping process groups the related small areas according to the label given to the predetermined area of the area division image 60 according to the measurement target items specified by Table 80 of FIG.
  • the grouping unit 4 processes the steps S2 and S3 for each item of the measurement target specified in Table 80 in FIG. 10 (first measurement target and second measurement target). Is repeated.
  • step S2 the grouping unit 4 obtains a binary image in which the pixel of the target label in the area division image 60 is 1 and the other pixels are 0.
  • the target labels are label 41 for the first measurement target and labels 41 and 42 for the second measurement target.
  • the reason why a plurality of labels are specified for the second measurement target is that the structure corresponding to the label 41 is on the front side of the structure corresponding to the label 42 in the image 50, so that the labels are specified in the region divided image 60. This is because a part of 42 is shielded by the label 41.
  • step S3 the grouping unit 4 groups from the binary image obtained in step S2 in units of small areas.
  • a method of grouping in units of small areas a method called labeling can be applied in which pixels of value 1 in a binary image are grouped in units of a connected area.
  • labeling a method of labeling in which pixels of value 1 in a binary image are grouped in units of a connected area.
  • other methods that can be grouped in small area units can be applied.
  • FIG. 8 is a diagram showing an example of the output of the grouping unit 4.
  • image 70 shows an example of the grouped image obtained by the grouping process (FIG. 9).
  • the small regions 71a, 71b, 71c, and 71d are small regions corresponding to the first measurement target in Table 80.
  • the small regions 72a, 72b, 72c, and 72d are small regions corresponding to the second measurement target in Table 80.
  • the area 79 in the grouped image 70 is the same area as the area 59 (see FIG. 7). For example, in the case of a semiconductor pattern, a small region similar to the region 59 appears repeatedly outside the region 59 in the region divided image 60 (see FIG. 7).
  • FIG. 11 is a flowchart for explaining the details of the overlay measurement process executed by the overlay measurement unit 5.
  • FIG. 12 is a diagram showing a configuration example of template data 85.
  • the template data 85 is composed of the X coordinate and the Y coordinate of each element from the first to the Nth element.
  • the template data 85 is obtained from the X and Y coordinates of the centers of gravity of the small regions 71a, 71b, 71c, and 71d in the grouped image 70, which is a typical example.
  • the template data 85 may be obtained from a semiconductor design drawing or the like.
  • the center of gravity of all points in the template is aligned with the center of gravity of the small area 71a or the like of the first measurement target, but the method is not limited to this method.
  • Step S12 The overlay measurement unit 5 selects a small area 71a or the like corresponding to each element in the aligned template data 85.
  • the criterion for selection can be that the center of gravity is closest to the element of the template data 85 in the small area 71a or the like, but the selection is not limited to this.
  • Steps 13 to S18 The overlay measurement unit 5 repeatedly executes the processes of steps S14 to S17 for each small area selected in step S12.
  • steps S14 to S17 for each small area selected in step S12.
  • Position 1 is the representative position of the first measurement target.
  • Position 1 is composed of two elements, X1 at the X coordinate and Y1 at the Y coordinate.
  • the position 1 is calculated from the X coordinate and the Y coordinate of the position of the center of gravity of the small area 71a or the like.
  • Step S15 The overlay measurement unit 5 selects the small area 71a and the one that measures the overlay amount from the second measurement target small areas.
  • the criterion of selecting the one with the closest position of the center of gravity can be applied to this selection criterion. In the case of FIG. 8, for example, the small area 72a is selected.
  • Step S16 The overlay measurement unit 5 obtains the position 2 which is the representative position of the second measurement target small area (for example, the small area 72a) selected in step S15 by the same procedure as in step S14.
  • Position 2 is composed of two elements, X2 at the X coordinate and Y2 at the Y coordinate.
  • Step S17 The overlay measuring unit 5 calculates Dx and Dy, which are displacement amounts of the X coordinate and the Y coordinate, from the positions 2 and 1 by the following equations 1 and 2.
  • Dx X2-X1 ...
  • Dy Y2-Y1 ... (Equation 2)
  • Step S19 The overlay measurement unit 5 calculates the statistics of the displacement amounts of Dx and Dy obtained based on the equations 1 and 2. Arithmetic mean can be applied when calculating the statistic, but it is not limited to this and may be geometric mean or median. The overlay measurement unit 5 uses the statistic of the displacement amount obtained in step 19 as the overlay amount of the image 50.
  • a process is provided in which the learning unit 2 obtains the learning model 11 by using the teacher data 14 created from the sample image 13 in the teacher creating unit 1 in advance. Then, the area division unit 3 uses the area division image 60 obtained from the input image 12 with reference to the learning model 11, so that the overlay amount can be measured by the grouping unit 4 and the overlay measurement unit 5.
  • the learning unit 2 obtains the learning model 11 by using the teacher data 14 created from the sample image 13 in the teacher creating unit 1 in advance.
  • the area division unit 3 uses the area division image 60 obtained from the input image 12 with reference to the learning model 11, so that the overlay amount can be measured by the grouping unit 4 and the overlay measurement unit 5.
  • the intermediate processing data such as the area divided image 60 and the grouped image 70 can be visualized, it is possible to grasp the factor by displaying the intermediate processing data on the screen when an unexpected overlay amount is measured unlike Patent Document 3.
  • the region division unit 3 divides the input image 12 into regions with reference to the learning model 11, the above-mentioned first and second problems are solved.
  • the region-divided image is data that can be visualized, it is easy for the operator to confirm it. Therefore, the third problem is also solved.
  • the learning model 11 infers the region division image 40 in units of the receptive field 176.
  • the input image 12 image 60: see FIG. 7 generally reflects the structure in the semiconductor periodically. Therefore, the size of the image 30 in the sample image 13 to which the teacher data 14 is allocated by using the user interface of the main screen 90 in the teacher creation unit 1 can be smaller than the size of the image 60 in the input image 12. As a result, the man-hours required when the worker allocates the teacher data 14 can be reduced.
  • the components can be changed.
  • the learning model 11 in addition to the above-mentioned neural network structure, any machine learning model that infers the region-divided image 40 from the image 30 in units of the receptive field 176 can be applied.
  • a linear discriminator that determines the label of pixel 177 from all the pixels of the receptive field 176 of the image 30 may be used.
  • the coordinates of X2 and Y2 at position 2 may be obtained from small areas of different labels.
  • the overlay measuring unit 5 sets the coordinates X2 as the small area of the label 41 and the label 42, and the coordinates Y2 as the label 44 (the area divided image 40 of FIG. 3). It is obtained from a small area of a label (label assigned to a predetermined structure in a semiconductor) (not shown in the example). Since the vertical contour (contrast) of the structure in the semiconductor corresponding to the label 42 is unclear, accurate Y2 may not be obtained from the small area combined with the label 41 and the label 42.
  • the accurate coordinates Y2 can be obtained by adding the label 44 (for example, the label 42b of FIG. 15 of the second embodiment) assigned to the structure in which the contrast (horizontal stripes) in the vertical direction is clear in FIG. That is, when the vertical contrast of the structure in the semiconductor corresponding to the label 42 is unclear, the coordinates Y2 can be accurately obtained by changing the overlay measurement target to the newly assigned label 44. Become.
  • the teacher creation unit 1 adds the label 44 to the target of label allocation as compared with the case where the table 80 is referred to in step S16. Then, the region dividing unit 3 adds the label 44 to the inference target, and the grouping unit 4 adds the label 44 to the grouping target. Similarly, in step S14, the coordinates of X1 and Y1 at position 1 may be obtained from small regions of different labels.
  • step S11 is generally used as overlay measurement, but it may be excluded. In that case, in step S12, all of the small areas 71a and the like in the grouped image 70 are selected. Alternatively, in step S12, additional selection may be made such that the area is as small as noise in the small area 71a or the like.
  • FIG. 14 is a diagram showing a functional configuration example from teacher creation to overlay measurement according to the second embodiment.
  • the sample image 113 is, for example, a set of images obtained by photographing the same portion of the semiconductor wafer a plurality of times under different imaging conditions.
  • the imaging conditions include, but are not limited to, the acceleration voltage of the electron microscope, the imaging of the backscattered electron image and the secondary electron image, and the composition ratio when obtaining a composite image of both.
  • FIG. 15 is a diagram showing an example of a set of sample images 30a and 30b and region-divided images (teacher data to which labels are assigned) 40a and 40b.
  • the image 30a has a horizontally long structure in the region 31a, but the upper and lower contours (contrast in the vertical direction) are unclear.
  • the image 30b includes an image of the region 31b at the same location as the region 31a. In the image 30b, the upper and lower contours (contrast in the vertical direction) have a clear structure.
  • the teacher creation unit 1 allocates a label to a set of images in the sample image 113, creates teacher data 114, and provides a user interface for that purpose.
  • the teacher data 40a and 40b in FIG. 15 is an example of the teacher data 114, and is a set of region-divided images in which labels 41a, 42a, and 43a and labels 42b and 42c are assigned to the images 30a and 30b, respectively. is there.
  • the learning unit 102 calculates the learning model 111 from the sample image 113, the teacher data 114, the image sets 30a and 30b, and the area division image sets 40a and 40b.
  • the learning model 111 includes a neural network structure for inferring the region-divided image 40a from the image 30a and a neural network structure for inferring the region-divided image 40b from the image 30b.
  • These neural network structures may be two completely independent neural network structures, or may be a neural network structure that shares a part (common) of the intermediate layer 173 and the like.
  • the input image 112 is a set of images taken under the same or similar shooting conditions as the sample image 113.
  • the region division unit 103 outputs a set of region division images having the same configuration as the pair 40a and 40b of the region division images from the input image 112.
  • the grouping unit 104 executes an operation for obtaining a small area to which the labels 41a, the labels 41a and 42a, and the three types of labels 42b are allocated from the set of the area division images output by the area division unit 103.
  • the overlay measurement unit 105 obtains the position 1 in step S14 shown in FIG. 11 from the label 41, obtains the X coordinate (X2) of the position 2 in step S16 from the labels 41a and 42a, and obtains the Y coordinate (Y2) from the label 42b.
  • the overlay amount is measured as required.
  • Example 3 discloses a technique in which a worker reduces the amount of work of label allocation work of teacher data by narrowing down the target of label allocation to a part of a sample image.
  • FIG. 16 is a diagram showing a functional configuration example from teacher creation to overlay measurement according to the third embodiment. First, the outline of the functional configuration example according to the third embodiment will be described.
  • the teacher creation unit 201 assigned a label to the image group 231 which is a subset in the sample image 213 (that is, a label was assigned to each image 30 in the image group 231), and the intermediate learning model from the region-divided image group 241.
  • the term "intermediate learning model” is used in a learning model for generating a region-divided image group 241 from an image group 231 (a subset of the sample image 213), and a region-divided image is used from the input image 12. This is because it is not the final learning model for generating.
  • the teacher creation unit 201 subsequently infers the region-divided image group 243 from the remaining sample images 233 with reference to the intermediate learning model, and further executes a process of correcting the region-divided image group 243, or for correction.
  • FIG. 17 is a diagram showing a configuration example of the sample image 213.
  • FIG. 18 is a diagram showing a configuration example of teacher data 214.
  • FIG. 19 is a flowchart for explaining the teacher creation process by the teacher creation unit 201.
  • Step S201 As shown in FIG. 17, the sample image 213 is previously divided into a subset of the image group 231 and the image group 233.
  • step S201 the teacher creation unit 201 provides the operator with a user interface (main screen 90: see FIG. 4) for creating the region-divided image group 241 shown in FIG. 18, and responds to the input of the operator. , Assign labels to image group 231.
  • Step 202 The teacher creation unit 201 obtains an intermediate learning model (a learning model for generating the region divided image group 241 from the image portion 231) from the image group 231 and the region divided image group 241 according to the same procedure as the learning unit 2.
  • an intermediate learning model a learning model for generating the region divided image group 241 from the image portion 231
  • Step S203 Similar to the region division unit 3, the teacher creation unit 201 infers the region division image group 243 from the image group 233 with reference to the intermediate learning model obtained in step S202 (to be exact, the image in the image group 233).
  • the region-divided image group 243 is obtained by inferring the region-divided image 40 from each of the 30).
  • Step S204 In most cases, the region-divided image group 243 contains an erroneous label because it is difficult for the image group 231 which is a subset of the sample image to completely cover the properties of all the images included in the image group 233. .. Therefore, the teacher creation unit 201 executes correction by statistical processing on the label in the region-divided image group 243. As a correction by statistical processing, for example, a correction for taking the mode value of the label in the subset in the region-divided image group 243 in which the same imaged portion in the semiconductor chip is repeatedly photographed can be performed.
  • the images 32a, 32b to 32 m (m is an arbitrary number) in the image group 232 of the subset in the image group 233 shown in FIG. 17 are images obtained by repeatedly photographing the same portion in the semiconductor wafer.
  • all the region-divided images 42a, 42b to 42m in the region-divided image group 242 inferred from the image group 232 are assigned the mode label by the correction that takes the mode.
  • the correction that takes the mode it is possible to correct that the label of the region-divided image 40 changes due to the image quality of the image 30 and the superimposed noise when the same portion is repeatedly photographed.
  • the alignment may be performed in advance.
  • the alignment can be performed by finding the amount of displacement between the images 32b to 32m with respect to the image 32a and moving the images 32b to 32m in parallel by the amount of displacement of the image. You may align it.
  • the amount of displacement between the images is obtained under the condition that the sum of the differences in brightness of each pixel of the images 32b and 32a is minimized when the image 32b is translated according to the amount of displacement. Can be done.
  • the displacement amount is also obtained under the condition that the number of pixels whose labels do not match between the area division images 42b and 42a is minimized when the area division image 42b is translated according to the displacement amount.
  • the target for which the amount of displacement between images is obtained may be other than the first image 32a.
  • Step 205 The teacher creation unit 201 provides a user interface for the operator to confirm whether the label assigned in the region-divided image group 233 is accurate.
  • the user interface displays each region-divided image 40 constituting the region-divided image group 243.
  • the images 30 in the image group 233 are displayed side by side in the user interface of step S205, or the region-divided image 40 is displayed on the image 30. It is also possible to additionally display a blended image in which is transparent.
  • the user interface provided in step S205 may be provided with a function of correcting the label of the region-divided image 40 in the region-divided image group 243.
  • the function of correcting the label displays the area divided image 40 or the blended image in the area divided image group 243 on the input screen 91 (see FIG. 4), and is being displayed by operating the input pen 93 on the input screen 91. It allows the label to be modified.
  • Step S206 The teacher creation unit 201 combines the area-divided image group 241 and the area-divided image group 243 and outputs the teacher data 214.
  • the target of the work of allocating the label using the user interface (main screen 90) provided by the teacher creation unit 201 is the image group 231 which is a subset. It is possible to acquire teacher data 214 by narrowing down and assigning labels to all the images 30 in the sample image 213.
  • the inference result of the learning model 11 becomes more accurate as the population parameter in the sample image 13 increases.
  • the above trade-off can be eliminated by reducing the amount of label allocation work.
  • the reproducibility of the overlay measurement is an index of the degree of variation in the overlay amount shown in the above equations 1 and 2 when the same portion of the semiconductor wafer is repeatedly photographed. Generally, 3 ⁇ , which is three times the standard deviation ⁇ , is used as an index.
  • the effect of improving the reproducibility of the overlay measurement is that when the correction by the statistical processing in step S204 is performed, the labels of the region-divided image group 242 and the like are the same for the image group 232 and the like in which the same portion is repeatedly photographed.
  • the region-divided image group 241 created by using the user interface provided in step S201 may also be corrected by the statistical processing of step S204.
  • step S204 or step S205 may be deleted. This is because step S204 alone has the effect of correcting the label of the region-divided image group 243, and step S205 alone has the effect of confirming and correcting the label of the region-divided image group 243.
  • a statistic other than the mode may be applied, or additional processing may be performed other than taking the mode.
  • additional processing may be performed other than taking the mode.
  • the labels of the pixels may vary widely, and the label of the invalid area 49 may be assigned.
  • a plurality of similar partial regions in the image group 232 may be extracted.
  • the partial region is a partial region in the image 30 such as the region 94 in FIG.
  • a plurality of similar partial regions are subregions having the same dimensions from a single image such as 32a in the image group 232 or a plurality of images such as a plurality of images 32a to 32 m on the condition that the similarity is high. Is extracted from a plurality of.
  • the similarity is determined by the correlation value of the brightness of the pixels of the two images 30 in the partial region, or the ratio of the pixels in the two region-divided images 40 in the partial region whose labels match. Can be judged by. Since the semiconductor image targeted for overlay measurement is a repeating pattern, it is easy to find a plurality of similar partial regions.
  • the correction by the statistical processing in step S204 can be a correction in units of small areas for the label in the area divided image group 243.
  • the correction by the statistic will be described with reference to FIG.
  • FIG. 20 is a diagram for explaining an example of correction by the statistic in step S204.
  • FIG. 20 shows an example of the grouped image 270 before correction obtained by the grouping unit 4 from any of the area divided images 40 in the area divided image group 243, and an example of the grouped image 270'after correction. There is.
  • the small area 71h is translated into the small area 71h'by the correction by the statistic.
  • the amount of translation of the small area 71h is such that the displacement amount of the center of gravity of the small areas 71h and 72h (the amount of displacement obtained by the method of step S17) is the center of gravity of the other small areas 71i and 72i, 71j and 72j, 71k and 72k. It can be set so as to be consistent with the average value of the displacement amount of.
  • all small areas such as the small area 71h may be uniformly translated so that the displacement amount statistic obtained in step S19 becomes the target value.
  • the average when the statistic of the displacement amount obtained in step S19 is obtained from each element in the subset.
  • the value can be used as the target value.
  • the semiconductor wafer obtained by photographing each of the images in the sample image 213 is manufactured by giving an artificial overlay amount (manufactured by shifting a predetermined layer in a multilayer semiconductor by an artificial overlay amount).
  • the subset may be obtained from the images in the sample image 213 having the same grouping and artificial overlay amount as the image 270.
  • the artificial overlay amount may be referred to as a design value of the overlay amount.
  • FIG. 21 is a diagram illustrating another example of correction by statistical processing in step S204. Based on FIG. 21, a reference (reference for determining the movement amount) when generating the corrected grouped image 270'from the uncorrected grouped image 270 can be described.
  • a straight line connecting the ideal values of the V-axis 296 with respect to the U-axis 295 is 297 (a straight line having an inclination of 1 and an intercept 0 straight line, a straight line passing through the center of gravity of points 292a, 293b, and 293c with an inclination of 1 or an inclination of 1 as a predetermined value. An inclined straight line, etc.).
  • the point 294a showing the X component of the overlay amount of the region divided image 270 can be set as the X component of the target value by lowering the point 292a on the straight line 297. That is, the vector 293a can be a translation Xb.
  • step S204 When the correction by the statistical processing in step S204 is performed in small area units, some of the above-mentioned corrections may be combined. Further, in the correction in units of small areas, in addition to translation, geometric deformation such as a small area 71h in which the center of gravity changes may be performed. For example, as a geometrical deformation, the right half of the small region 71h may be scraped. As a result, the center of gravity of the small area 71h is moved to the left side.
  • the teacher creation unit 201 includes grouped images 270 and 270'before and after the correction, and images 30 and region-divided images 40 corresponding to the grouped images 270 and 270'before and after the correction so that the correction by the statistical processing in step S204 can be confirmed on the main screen 90 or the like. May be displayed.
  • the intermediate learning model shown in step S202 may be obtained in several stages.
  • the label is obtained from the inference result referring to the image group 231 and the region-divided image group 241 to the first intermediate learning model, the image group 231 and the region-divided image group 241, and the image group 232 and the first intermediate learning model.
  • a second intermediate learning model is obtained from the region-divided image group 242. Then, labels may be assigned to all the region-divided images 40 in the teacher data 214 by inferring other than the image group 232 in the image group 233 with reference to the second intermediate learning model.
  • Example 4 will be described with reference to FIGS. 22 to 25.
  • FIG. 22 is a diagram showing an example of functional configuration from teacher creation to overlay measurement in Example 4.
  • the teacher creation unit 301 has a small area 71a or the like in the area division image 40 from each pixel in the area division image 40 created on the main screen 90 (see FIG. 4) (see FIG. 8). It has a function to create a position information image that holds the amount of displacement to the representative position of. Then, the teacher creation unit 301 creates teacher data 314 by adding the position information image to the teacher data 14. From the image 30 in the sample image 13, the learning unit 302 calculates the area division image 40 in the teacher data 314 and the learning model 311 in which the position information image can be inferred as accurately as possible.
  • the area division unit 303 infers the area division image 60 and the position information image from the input image 12 with reference to the learning model 311.
  • the grouping unit 304 generates and outputs the grouping image 70 from the area division image 60 in the same procedure as the grouping unit 4.
  • the overlay measurement unit 305 performs overlay measurement by using the position information of the position information image included in the small area 71a or the like in the grouping image output by the grouping unit 304.
  • the teacher creation unit 301 creates the teacher data 14 from the sample image 13 in response to the operation of the main screen 90 by the operator, and then displays the position information image 340 described below in the area division image 40 in the teacher data. Is added to output teacher data 314.
  • the position information image 340 will be described with reference to FIG. 23.
  • FIG. 23 is a diagram showing an example of the position information image 340.
  • the image 370 is a grouping image obtained by the grouping unit 4 from the region division image 40 in the sample image 13.
  • the grouped image 370 is obtained from the label of the first measurement target included in Table 80 (see FIG. 10).
  • the position information image 340 is an image in which position information is added to each pixel in the small areas 371m, 371n, 371o, and 371p corresponding to the small areas 71m, 71n, 71o, and 71p in the grouped image 370.
  • the range of the small area 371m is the same range as the small area 71m, or a range in the vicinity of the small area 71m obtained by performing expansion processing from the small area 71m or obtaining an circumscribed rectangle of the small area 71m.
  • the range of other small areas such as 371n is also the same as or close to the small area 71n and the like. Assuming that the coordinates of a certain pixel 342m in the small area 371m are (Xp, Yp) and the X coordinate of the representative position 341m is (Xc, Yc), the displacement amount (Rx, Yc) obtained for the pixel 342m according to the following equations 3 and 4 Ry) is allocated.
  • This displacement amount (Rx, Ry) corresponds to the displacement amount from the pixel 342 m to the representative position 341 m.
  • the representative position 341m is the coordinate of the center of gravity of the small area 371m.
  • a displacement amount up to the representative position 341m is assigned to each pixel in the small area 371m as in the pixel 342m.
  • Rx Xc-Xp ... (Equation 3)
  • Ry Xc-Yp ... (Equation 4)
  • the displacement amount from each pixel to the representative positions 341n, 341o, 341p of each small area is assigned to each pixel in the small area 371n, 371o, 371p in the position information image 340.
  • the attributes of the invalid region excluded by the learning unit 302 in the calculation for obtaining the learning model 311 are assigned to the regions other than the small regions 371m, 371n, 371o, and 371p.
  • the teacher creation unit 301 also gives the same position information image as the position information image 340 to the label of the second measurement target in Table 80.
  • the learning unit 302 calculates a learning model 311 capable of inferring the region division image 40 and the position information image 340 in the teacher data 314 from the image 30 in the sample image 13 as accurately as possible.
  • Independent neural network structures 179 can be assigned to each of the learning model that infers the region-divided image 40 from the image 30 and the learning model that infers the position information image 340 from the image 30.
  • the two learning models may share all or part of the layers of the neural network structure 179. For example, when the image 30 is input to the input layer 170, the region division image 40 is output from a part of the output layer 171 and the position information is output from a part other than the part of the output layer 171 or other layers such as the intermediate layer 174.
  • the image 340 may be output.
  • the learning unit 302 includes the region division image 40 and the position information image 340 inferred from the image 30 in the sample image 13, and the corresponding region division image 40 and the position information image 340 in the teacher data 314.
  • the parameters in the training model 311 are optimized so that the difference when compared is small.
  • the parameters in the learning model 311 are initialized with random numbers.
  • the error (error 1) of the two region-divided images 40 is the number of pixels whose labels do not match
  • the error (error 2) of the two position information images 340 is the sum of the absolute values of the difference in the amount of displacement in each pixel.
  • each parameter in the learning model 311 is sequentially added with the partial differential coefficient for the error 1 and the error 2 multiplied by a negative predetermined coefficient. Optimization is possible by repeating such processing with respect to the image 30 in the sample image 13. However, it is not limited to such a method.
  • FIG. 24 is a diagram showing an example of the position information image 360.
  • the region division unit 303 infers the region division image 60 and the position information image 360 shown in FIG. 24 from the input image 12 (that is, the image 50) with reference to the learning model 311.
  • the area 369 in FIG. 24 is the same area as the area 59 in the position information image 360.
  • the pixel 342a in the small region 371a includes information on the inferred value (Rix, Riy) of the displacement amount up to the representative position 341a of the small region 371a.
  • the small regions 71a, 71b, 71c, and 71d obtained by the grouping unit 4 for the label of the first measurement target in Table 80 whereas the small regions 371a, 371b, 371c, and 371d are small regions, respectively. It is a small area having the same range as 71a and the like.
  • the positions of the representative positions 341b, 341c, and 341d can be inferred from the pixels in the small regions 371b, 371c, and 371d by the equations 5 and 6 (the inferred value can be calculated).
  • the position information image 360 the same position information as that of the pixel 342a is stored in the portion outside the area 369.
  • the area division unit 303 also outputs a position information image similar to the position information image 360 from the label of the second measurement target in Table 80.
  • the overlay measurement unit 305 executes the overlay measurement process according to the flowchart shown in FIG. In FIG. 25, since steps S314 and S316 are the same as the flowchart (FIG. 11) executed by the overlay measurement unit 5 during the overlay measurement process, the description thereof will be omitted. Hereinafter, a case where the loop from step S13 to step S18 targets the small region 371a will be described.
  • step S314 the overlay measurement unit 305 obtains the inferred value of the representative position 341a from each pixel (pixel 342a, etc.) in the small area 371a in the position information image 360 using the above equations 5 and 6.
  • the overlay measurement unit 305 obtains the inferred value of the representative position 341a from each pixel, calculates the statistic thereof, and sets the statistic as the position 1.
  • the statistic can be calculated as the median value, but other statistic such as arithmetic mean may be used.
  • step S316 the overlay measurement unit 305 is similarly the same as in step S314 from the position information image for the small area obtained for the label of the second measurement target for the second measurement target shown in Table 80.
  • the position 2 (statistic of the inferred value of the representative position) is obtained.
  • the overlay amount can be measured by using the position information image 360. Random noise may be superimposed on the input image 12, the contrast may be reduced, and the image quality may be deteriorated. In such a case, the label in the region divided image 60 becomes inaccurate, and the range of the small region 71a or the like in the grouped image 70 becomes inaccurate. However, if the technique disclosed in Example 4 is used, this becomes inaccurate. Even in such a case, accurate overlay measurement can be performed. For example, if the right half of the small area 71a is missing, the center of gravity of the small area 71a shifts to the left from the original position, and as a result, the accurate position 1 cannot be obtained in step S14.
  • step S314 the representative position 341a can be calculated from the equations 5 and 6 from any pixel of the small region 371a in the position information image 370. Therefore, even if the right half of the small area 71a (that is, the small area 371a) is missing, the accurate position 1 can be calculated in step S314.
  • the teacher creation unit 301 may correct the region-divided image 40 in the teacher data 14 by the statistical processing of step S204.
  • the center of gravity of the small region 71a or the like in the region divided image 40 can be corrected so as to improve the reproducibility or sensitivity characteristics of the overlay measurement in the overlay measurement unit 5. Therefore, the reproducibility or sensitivity characteristics of the overlay measurement are also improved for each pixel (342 m, etc.) in the position information image 370 in the teacher data 314, which is determined according to the center of gravity of the small region (71a, etc.) in the region divided image 40. Can be corrected to do so.
  • the grouping unit 304 may refer to the position information image 360 when obtaining the grouping image 70 from the area division image 60.
  • two small regions for example, the small regions 71m and 71n
  • the representative positions obtained by the formulas 5 and 6 are separated in one small area (separated into the representative positions of 371m and 371 corresponding to 71m and 71n in the position information image 360).
  • one small area may be divided with reference to the separation of the representative positions. Dividing the small area in this way is useful, for example, when the small area in the grouped image 70 becomes inaccurate due to the fact that the image quality of the input image 12 is less clear than that of the sample image 30. ..
  • Example 5 In the fifth embodiment, a region-divided image (corresponding to teacher data) is generated from a limited amount of sample images, and a small region in the region-divided image is moved in parallel to change the layout of the region-divided image and the sample image (corresponding to the teacher data).
  • a technique for accumulating teacher data and sample images by synthesizing a region-divided image and a sample image) will be disclosed.
  • FIG. 26 is a diagram showing a functional configuration example from teacher creation to overlay measurement according to the fifth embodiment.
  • the teacher creation unit 401 creates teacher data 14 from the sample image 13 and provides a user interface for that purpose. Further, the teacher creation unit 401 generates and outputs the teacher data 414 in which the layout of the area division image 40 in the teacher data 14 is changed. Further, the teacher creation unit 401 has a function of inferring the image 30 from the area division image 40 (hereinafter, this function is referred to as an image inference function of the teacher creation unit 401), and corresponds to the area division image 40 in the teacher data 414. A sample image 413 is output by inferring each of the created images 30.
  • the learning unit 2 in the fifth embodiment calculates the learning model 11 by the same procedure as in the first embodiment, regarding the teacher data 14 and the teacher data 414 and the sample image 13 and the sample image 413 as the same quality data.
  • FIG. 27 is a diagram showing an example of an image 430 inferred from the region divided image 440.
  • image 440 shows an example of a region-divided image created by an operator using the user interface of teacher creation unit 1 included in teacher creation unit 401, and is composed of labels 41, 42, and 43. ..
  • the small area 71q shows an example of a small area of the label 41 in the area divided image obtained by the grouping unit 4.
  • the image 430 shows an image inferred from the region divided image 440 by the teacher creation unit 401 using the image inference function.
  • the image inference function of the teacher creating unit 401 is similar to (a) learning unit 2 in advance that a set of an arbitrary image 30 and a region divided image 40, such as the sample image 13 and the teacher data 14. A sample is collected, and (b) the image 30 inferred from the one region division image 40, and the image included in the combination of the arbitrary image 30 and the region division image 40 and one region division.
  • This can be achieved by performing learning to find parameters in a structure similar to the neural network 179 that minimizes the error with the image corresponding to the image 40.
  • the error between the image corresponding to the region-divided image 40 and the inferred image 30 can be obtained by aggregating the absolute sum of the brightness differences of each pixel, but is not limited to this method.
  • the image inference function of the teacher creation unit 401 uses, for example, a machine learning algorithm excellent in generating an image from random numbers or symbols called a hostile generation network, and has a neural network structure 179. It can also be realized by defining parameters in a similar network structure.
  • the inference of 176 units of the receptive field may be performed as in the network structure 179. That is, for each of the pixels of the region-divided image 40, the brightness of the pixels having the same coordinates as the pixels in the image 30 is determined from the range of the receptive field 176 around the pixels in the region-divided image 40.
  • FIG. 28 is a diagram showing an example in which the layout of the small area 71q is changed from the area divided image 440.
  • the region-divided image 440r is a layout in which the small region 71q in the region-divided image 440 is translated into the small region 71r. Comparing the image 430r inferred from the region-divided image 440r with the image 430 corresponding to the region-divided image 440 by the effect of the inference of 176 units of the receptive field, the image in the small region 431q corresponding to the small region 71q is a small region. It can be seen that it has moved to a small area 431r within 71r.
  • the image 430r becomes an image in which the overlay amount is changed by a uniform amount from the image 430.
  • the teacher data 414 can be added to the teacher data 14 by changing the layout. Further, by changing the layout and using the image inference function of the teacher creation unit 401, the sample image 413 can be added to the sample image 13. For example, even when the sample image 13 is composed of the image 30 having a uniform overlay amount, the region-divided image 40 and the image 30 having various overlay amounts can be added to the teacher data 14 and the sample image 13 by changing the layout. it can. Therefore, the operator does not need to prepare many sample images having various layouts in advance, and can save the trouble for overlay measurement.
  • FIG. 29 is a diagram showing an example when shielding occurs when the layout of the small area 71q is changed from the area divided image 440 (an example when it is determined that the labels 43, 41, and 42 are on the front side in this order). is there. As shown in FIG. 29, the range overlapping the label 43 that occurs when the small region 71q in the region divided image is translated to the small region 71s is deleted.
  • Example 6 describes an example in which the teacher creation process, the learning model creation process, and the area division process in the first to fifth embodiments are applied to measurement processes other than overlay measurement.
  • FIG. 30 is a diagram showing a functional configuration example from the teacher creation to the image measurement inspection according to the sixth embodiment.
  • the teacher creation unit 501 corresponds to any of the teacher creation units 1, 101, 201, 301, and 401 according to the first to fifth embodiments.
  • the teacher data 514, the learning unit 502, the learning model 511, and the area dividing unit 503 correspond to the teacher data, the learning unit, the learning model, and the area dividing unit in any one of Examples 1 to 5 in this order.
  • the image measurement inspection unit 505 uses the region division image 60 inferred from the input image 12 by the region division unit 503 to inspect and measure an image not limited to overlay measurement.
  • image inspection and measurement in the image measurement inspection unit 505 for example, contour line extraction in a semiconductor image, dimension measurement such as hole shape, detection of defect patterns such as short circuit defects, and inference of design drawings from images are sought for design drawings. Inference and pattern matching to find the matching position of the actual design drawing can be mentioned.
  • the present invention is not limited to these, and can be applied to any application for performing image measurement using the region division image 60 inferred by the region division unit 503.
  • the image measurement inspection unit 505 may supplementarily refer to the input image 12 and other data not shown in FIG. 30 for the purpose of correcting the region divided image 60 and the like.
  • the sample image 13 and the input image 12 may be obtained by taking an image other than the semiconductor.
  • the image inference function in the teacher creation unit 501 is used in the area division image 40.
  • the sample image 413 and the teacher data 414 the teacher data 14 and the teacher data 414 are combined to form the teacher data 514) can be added to the sample image 13 and the teacher data 14.
  • Example 6 it was shown that the techniques disclosed in Examples 1 to 5 can be applied not only to overlay measurement but also to a whole system for performing image measurement and image inspection using region-divided images.
  • Each embodiment can also be realized by a software program code.
  • a storage medium in which the program code is recorded is provided to the system or device, and the computer (or CPU or MPU) of the system or device reads out the program code stored in the storage medium.
  • the program code itself read from the storage medium realizes the function of the above-described embodiment, and the program code itself and the storage medium storing the program code itself constitute the present disclosure.
  • Storage media for supplying such program codes include, for example, flexible disks, CD-ROMs, DVD-ROMs, hard disks, optical disks, magneto-optical disks, CD-Rs, magnetic tapes, non-volatile memory cards, and ROMs. Etc. are used.
  • the OS operating system
  • the processing enables the functions of the above-described embodiment to be realized. You may. Further, after the program code read from the storage medium is written in the memory on the computer, the CPU of the computer or the like performs a part or all of the actual processing based on the instruction of the program code, and the processing is performed. May realize the functions of the above-described embodiment.
  • the program code of the software that realizes the function of the embodiment via the network, it is distributed as a storage means such as a hard disk or a memory of the system or a device or a storage medium such as a CD-RW or a CD-R.
  • the computer (or CPU or MPU) of the system or device may read and execute the program code stored in the storage means or the storage medium at the time of use.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

ノウハウを要する画像処理のパラメータ調整や入手困難な場合のある設計図の参照を伴うことなく計測処理の実行を可能にする技術を提案する。本開示に係る計測システムは、半導体のサンプル画像から生成された教師データとサンプル画像とに基づいて生成された学習モデルを参照して、所定の構造を有する半導体の入力画像（計測対象）から領域分割画像を生成し、当該領域分割画像を用いて画像計測を行う。ここで、教師データは、サンプル画像における半導体の構造を含むラベルが画像の各画素に割り振られた画像であり、学習モデルは、サンプル画像から教師データを推論するためのパラメータを含んでいる（合図１参照）。

Description

計測システム、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する方法、およびコンピュータに、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する処理を実行させるためのプログラムを格納する記憶媒体
　本開示は、計測システム、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する方法、およびコンピュータに、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する処理を実行させるためのプログラムを格納する記憶媒体に関する。
従来の技術
　近年の半導体プロセスによって製造されるパターンは微細化が進み、露光装置の複数層間にわたるパターンの重ね合わせ、すなわちオーバレイの精度向上が求められている。また、オーバレイを高精度に計測して露光装置ヘフィードバックすることの重要性は今後ますます高くなると見込まれる。
　オーバレイ計測に関し、例えば、特許文献１には、画像処理によって入力画像上の輝度境界によって区切られた輝度領域を複数抽出し、輝度領域の重心の位置関係からオーバレイ計測をする技術が開示されている。また、特許文献２には、ＣＡＤ画像等の設計画像もしくは設計画像から推測した入力画像の予測画像を参照して、入力画像を画素単位で領域分割し、領域分割された領域の重心の位置関係からオーバレイ計測をする技術が開示されている。さらに、特許文献３には、事前に収集されたオーバレイ計測対象の画像のサンプルを用いて画像からオーバレイ量（オーバレイ計測の対象である半導体の構造の位置のずれ量）を推論する機械学習モデルを学習しておき、機械学習モデルを参照して入力画像からオーバレイ量を計測する技術が開示されている。
ＷＯ２０１７／１３０３６５号公報 特表２０１８－５２２２３８号公報 特表２０１０－５３８４７４号公報
　しかしながら、特許文献１に開示の技術には、入力画像に応じて画像処理中のパラメータを人手で調整する必要があり、さらにパラメータの調整にノウハウも必要なため、オーバレイ計測する作業者がエキスパートに限定されるという課題がある。
　また、特許文献２に開示の技術には、設計画像が開示されない等の理由で入手できない場合に運用できないという課題がある。
　さらに、特許文献３に開示の技術には、入力画像からオーバレイ量を計測する過程が目視確認できないため、入力画像から予期されないオーバレイ量が計測された場合に要因解析が困難という課題がある。
　本開示はこのような状況に鑑みてなされたものであり、ノウハウを要する画像処理のパラメータ調整や入手困難な場合のある設計図の参照を伴うことなく計測処理の実行を可能にする技術を提案する。
　以上述べた課題を達成するために、本開示の実施形態は、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する方法であって、少なくとも１つのプロセッサが、半導体のサンプル画像から得られる領域分割画像に対して少なくとも１つの計測対象の構造を含むラベルを割り振ることにより教師データを生成することと、少なくとも１つのプロセッサが、複数の層から構成されるネットワーク構造に基づいて、サンプル画像の領域分割画像と教師データを用いて、学習モデルを生成することと、を含み、学習モデルは、サンプル画像から教師データを推論するためのパラメータを含む、方法について提案する。
　本開示に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本開示の態様は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される請求の範囲の様態により達成され、実現される。
　本明細書の記述は典型的な例示に過ぎず、本開示の請求の範囲又は適用例をいかなる意味においても限定するものではない。
　本開示によれば、ノウハウを要する画像処理のパラメータ調整や入手困難な場合のある設計図の参照を伴うことなく、計測処理を実行することが可能となる。
実施例１による教師作成からオーバレイ計測までの機能構成の一例を示す図である。 サンプル画像の例を示す図である。 領域分割画像の例を示す図である。 教師作成部１によって提供される、サンプル画像１３から教師データ１４を作成するためのユーザインタフェースの構成例を示す図である。 学習モデル１１におけるディープニューラルネットワーク構造１７９の例を示す図である。 ニューラルネットワーク構造１７９と画像との幾何的な関係について補足説明するための図である。 入力画像１２の一例である画像５０を示す図である。 グループ化部４の出力の例を示す図である。 グループ化部４が実行するグループ化処理の詳細を説明するためのフローチャートである。 オーバレイ計測の第１および第２の計測対象のラベルの例を示す図（表）である。 オーバレイ計測部５が実行するオーバレイ計測処理の詳細を説明するためのフローチャートである。 テンプレートデータ８５の構成例を示す図である。 オーバレイ計測の第１と第２の計測対象のラベルの他の例を示す図（表）である。 実施例２による教師作成からオーバレイ計測までの機能構成例を示す図である。 サンプル画像の組３０ａおよび３０ｂと、領域分割画像（ラベルが割り振られた教師データ）４０ａおよび４０ｂの例を示す図である。 実施例３による教師作成からオーバレイ計測までの機能構成例を示す図である。 サンプル画像２１３の構成例を示す図である。 教師データ２１４の構成例を示す図である。 教師作成部２０１による教師作成処理を説明するためのフローチャートである。 ステップＳ２０４の統計量による補正の例を説明するための図である。 ステップＳ２０４の統計処理による補正の他の例を説明する図である。 実施例４の教師作成からオーバレイ計測までの機能構成例を示す図である。 位置情報画像３４０の例を示す図である。 位置情報画像３６０の例を示す図である。 オーバレイ計測部３０５によるオーバレイ計測処理を説明するためのフローチャートである。 実施例５による教師作成からオーバレイ計測までの機能構成例を示す図である。 領域分割画像４４０から推論された画像４３０の例を示す図である。 領域分割画像４４０中から小領域７１ｑをレイアウト変更した場合の例を示す図である。 領域分割画像４４０中から小領域７１ｑをレイアウト変更した時に遮蔽が生じたときの例（ラベル４３、４１、および４２の順に手前側にあると定めたときの例）を示す図である。 実施例６による教師作成から画像計測検査までの機能構成例を示す図である。 本実施形態（各実施例共通）による計測システム３１０の概略構成例を示す図である。
　本実施形態および各実施例は、所定の構造（例えば、多層構造）を有する半導体における画像計測を行う計測システムに関し、より具体的には、半導体が多層構造の場合、層間のずれ量を計測するオーバレイ計測を計測システムに関する。ただし、本開示による技術は、オーバレイ計測に限定して適用されるものではなく、広く画像計測一般に適用することができるものである。
　以下、添付図面を参照して本開示の実施形態および実施例について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本開示の原理に則った具体的な実施形態と実施例を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。
　本実施形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。
　更に、本開示の実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装しても良いし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装しても良い。
　なお、以後の説明では「テーブル」形式によって本開示の各情報について説明するが、これら情報は必ずしもテーブルによるデータ構造で表現されていなくても良く、リスト、ＤＢ、キュー等のデータ構造やそれ以外で表現されていても良い。そのため、データ構造に依存しないことを示すために「テーブル」、「リスト」、「ＤＢ」、「キュー」等について単に「情報」と呼ぶことがある。
　また、各情報の内容を説明する際に、「番号」、「識別情報」、「識別子」、「名」、「名前」、「ＩＤ」という表現を用いることが可能であり、これらについてはお互いに置換が可能である。
（１）実施形態
　本実施形態（および実施例１から６）は、例えば、所定の構造（例えば、多層構造）を含む半導体の画像計測を行う計測システムに関する。当該計測システムは、半導体のサンプル画像から生成された教師データとサンプル画像とに基づいて生成された学習モデルを参照して、所定の構造を有する半導体の入力画像（計測対象）から領域分割画像を生成し、当該領域分割画像を用いて画像計測を行う。ここで、教師データは、サンプル画像における半導体の構造を含むラベルが画像の各画素に割り振られた画像であり、学習モデルは、サンプル画像から教師データを推論するためのパラメータを含んでいる。この学習モデルを用いることにより、サンプル画像から教師データへの推論が入力画像に対して適用されるので、入力画像の設計データを用いることなく計測処理を実行することが可能となる。
　図３１は、本実施形態（各実施例共通）による計測システム３１０の概略構成例を示す図である。計測システム３１０は、例えば、オーバレイ計測を実行するオーバレイ計測システム、半導体画像中の輪郭抽出やホール形状等の寸法を計測する寸法計測システム、欠陥パターンなどを検出する欠陥パターン検出システム、設計図の推論と実際の設計図との照合位置を探索するパターンマッチングシステムなどに相当する。
　計測システム３１０は、例えば、メインプロセッサ１９０を含むメイン計算機１９１と、メイン計算機１９１に指示やデータを入力するとともに、演算結果を出力する入出力装置１９２と、測定対象の画像を供給する電子顕微鏡あるいは電子顕微鏡の画像を蓄積するサーバ計算機１９３（以下、電子顕微鏡等という）と、第１サブプロセッサ１９０ａを含む第１サブ計算機１９１ａと、第２サブプロセッサ１９０ｂを含む第２サブ計算機１９１ｂと、を備え、それぞれの構成要素がネットワーク（例えば、ＬＡＮなど）によって接続されている。なお、図３１において、第１および第２サブ計算機１９１ａおよび１９１ｂが２つ設けられているが、全ての演算をメイン計算機の中で実行してもよいし、メイン計算機１９１を補助するためのサブ計算機を１以上設けてもよい。
　メイン計算機１９１は、後述の、図１、１４、１６、２２、２６、および３０における教師作成処理および学習モデル作成処理（各図における教師作成部および学習部に対応する処理）を実行する。また、推論処理および計測処理（各図における領域分割部、グループ化部、および計測部（オーバレイ計測部）に対応する処理）は、メイン計算機１９１あるいは第１サブ計算機１９１ａおよび第２サブ計算機１９１ｂで分散して処理してもよい。なお、第１サブ計算機１９１ａおよび第２サブ計算機１９１ｂでは、推論処理および計測処理のみ実行し、教師作成処理および学習モデル作成処理は実行しないように構成することができる。また、サブ計算機が複数設置されている場合（例えば、第１サブ計算機１９１ａおよび第２サブ計算機１９１ｂ）には、各サブ計算機間で推論処理および計測処理を分散させてもよい。
　電子顕微鏡等１９３は、例えば、ウエハ上に形成された半導体パターン画像を取得（撮像）し、メイン計算機１９１やサブ計算機１９１ａおよび１９１ｂに提供する。電子顕微鏡等１９３がサーバ計算機である場合、サーバ計算機は、電子顕微鏡によって撮像された半導体パターン画像を記憶デバイス（例えば、ハードディスクドライブ（ＨＤＤ））に格納し、メイン計算機１９１の指示に応答して、指示に対応する画像をメイン計算機１９１などに提供する。
　以下、計測システム３１０において実行される処理の各実施例について詳細に説明する。なお、実施例１から５までは、計測例としてオーバレイ計測を挙げている。実施例６においては、本開示の技術が全ての計測処理に適用できることが明示されている。
（２）実施例１
　図１は、実施例１による教師作成からオーバレイ計測までの機能構成の一例を示す図である。教師作成部１、および学習部２の機能は、メイン計算機１９１のメインプロセッサ１９０が図示しない記憶部から対応する各処理プログラムを読み込むことによって実現される。また、領域分割部３、グループ化部４、およびオーバレイ計測部５の機能は、メイン計算機１９１のメインプロセッサ１９０あるいはサブ計算機１９１ａや１９１ｂのサブプロセッサ１９０ａや１９０ｂが図示しない記憶部から対応する各プログラムを読み込むことによって実現される。
　＜機能構成の概要＞
　まず、図１に示される教師作成からオーバレイ計測までの機能構成の概要について説明する。サンプル画像１３は、事前に収集されたオーバレイ計測の対象とする画像のサンプルである。教師データ１４は、オーバレイ計測の計測対象となる半導体中の構造を含むラベルを画像中の各画素に割り振った領域分割画像を、サンプル画像１３のそれぞれについて用意したものである。
　教師作成部１は、サンプル画像１３から教師データ１４を作成するとともに、教師データ１４を作成するためのユーザインタフェースも提供する。学習モデル１１は、画像（例えば、サンプル画像）から領域画像分割を求める機械学習モデル中の係数等のパラメータである。学習部２は、サンプル画像１３が入力されたときに教師データ１４にできるだけ近い領域分割画像を推論する学習モデル１１を計算する。
　入力画像１２は、オーバレイ計測時において、計測の対象となる画像である。領域分割部３は、学習モデル１１を参照して、入力画像１２から領域分割画像を推論する。グループ化部４は、領域分割画像中のオーバレイ計測の計測対象を小領域の単位でグループ化を行う。オーバレイ計測部５は、グループ化部４がグループ化した小領域の位置からオーバレイ計測を行う。
　以上の教師作成部１、学習部２、領域分割部３、グループ化部４、およびオーバレイ計測部５の各機能は、任意の計算機上における信号処理によって実現できる。
　＜各機能構成の詳細＞
　以下、実施例１の各機能構成の詳細について述べる。サンプル画像１３は、オーバレイ計測を運用するよりも前に撮像された画像であって、計測対象となる半導体の試料もしくは計測対象となる半導体の試料に画像の見え方が近い試料の画像である。サンプル画像１３は、オーバレイ計測を運用する電子顕微鏡もしくはこの電子顕微鏡と撮影画像の画質が近い電子顕微鏡によって収集することができる。
（i）図２は、サンプル画像の例を示す図である。図２における画像３０は、例えば、サンプル画像の一部を示している。画像３０の中にはオーバレイの計測対象の半導体中の構造が含まれている。サンプル画像は、画像３０と同様の画像１枚以上から構成される。
（ii）教師データ１４は、サンプル画像１３中の各々の画像３０から求めた領域分割画像から構成される。図３は、領域分割画像の例を示す図である。図３において、領域分割画像４０には、画像３０中の各画素において、第１の計測対象、第２の計測対象、および背景を示すラベル４１、ラベル４２、およびラベル４３が割り振られている。ラベル４１および４２に対応する第１の計測対象および第２の計測対象は、オーバレイの計測対象であって、例えば、ビアやトレンチおよびその他の半導体中の構造に相当する。半導体中の構造をどの様に定めるかは、オーバレイ計測の運用に応じて事前に決められる。なお、領域分割画像４０にはラベル４１、４２、および４３以外にも付加的なラベルが割り振られるようにしてもよい。例えば、図３中において領域分割画像４０中には、学習部２が除外する無効領域に応じたラベル４９が割り振られている。
（iii）図４は、教師作成部１によって提供される、サンプル画像１３から教師データ１４を作成するためのユーザインタフェースの構成例を示す図である。図４において、当該ユーザインタフェースは、例えば、主画面９０と、入力画面９１と、入力選択領域９２と、入力ペン９３と、を含む。入力画面９１では、作業者が入力選択９２のラジオボタンの中から何れかの項目を選択した状態で、画像３０上において入力ペン９３を操作（例えば、ラベル指定する領域を塗りつぶす）することにより、ラベルが入力ペンで操作された領域に割り振られる。入力選択９２は、第１の計測対象、第２の計測対象、背景のラジオボタンの項目の選択に応じて、順にラベル４１、４２、および４３が選択される。入力ペン９３により入力された箇所には、入力選択９２で選択されたラベルに応じて、所定の色もしくは諧調（階調）が割り振られる。
　入力選択９２は、無効領域４９の様な付加的なラベルを選択できるような項目を含んでいてもよい。なお、入力選択９２におけるユーザインタフェースは一例であって、ラジオボタンに添えられた文字列を変えることや、ラジオボタン以外のユーザインタフェースを設けてもよい。選択用の領域９４は、画像３０中の一部にラベル４１、４２、および４３が割り振られた例を示している。そして、画像３０の全領域に同様のラベルが割り振られることで領域分割画像４０が作成される。
　以上述べた教師作成部１を用いることで、ノウハウを必要とするパラメータ調整や設計図の参照を必要とすることなく、作業者はサンプル画像１３から教師データ１４を平易な作業で作成することができる。
（iv）図５は、学習モデル１１におけるディープニューラルネットワーク構造１７９の例を示す図である。ディープニューラルネットワーク構造１７９は、例えば、入力層１７０と、出力層１７１と、複数の中間層１７２、１７３、および１７４と、によって構成することができる。
　入力層１７０には、画像３０が格納される。入力層１７０から中間層１７２、ならびに中間層１７２から中間層１７３へは、所定係数フィルタによる畳み込み演算や画像縮小によって層内のデータが集約される。一方、中間層１７３から中間層１７４、および中間層１７４から出力層１７１には、所定係数フィルタによる畳み込み演算や画像拡大によって層内のデータが展開される。この様なネットワーク構造は一般に畳み込みニューラルネットワークと呼ばれる。出力層（最終層）１７１内のデータは、領域分割画像４０中のラベル毎の尤度を示す。尤度が最大となるラベルが各画素に割り振られることで領域分割画像４０を求めることができる。学習モデル１１は、中間層におけるフィルタの係数に相当する。なお、ディープニューラルネットワーク構造１７９は、学習モデル１１におけるネットワーク構造の一例であり、１７２等の中間層の数は図５に示す３つに限らない。また、中間層１７２と１７４を結ぶようなバイパス構造の様な付加的な構造を取ることやフィルタ演算に加えた付加的な演算を加えることができる。学習モデル１１におけるネットワーク構造に対する付加的な構造や付加的な演算の追加に伴って付加的なパラメータが追加される場合には、学習モデル１１には付加的なパラメータも追加されることになる。
（v）図６は、ニューラルネットワーク構造１７９と画像との幾何的な関係について補足説明するための図である。図６では、画像３０中の画素１７５および領域分割画像４０において画素１７５と同一座標の画素１７７に着目する。この時、入力層１７０中において、受容野１７６（受容野とは、ラベルの決定に関与する画像範囲であって、その大きさはニューラルネットワーク構造１７９に応じて定まる）と呼ばれる画素１７５の所定範囲の近傍領域が関与する。そして、入力層１７０中の受容野１７６のデータからは、畳み込み演算や画像拡大と画像縮小により中間層１７２、１７３、および１７４のデータが求まり、出力層１７１中において画素１７７のラベルが定まる。なお、実際には画像３０中の各画素から領域分割画像４０中の各画素のラベルが並列演算的により効率的に求まる。
　学習部２は、サンプル画像１３と教師データ１４を参照して、画像３０が与えられたときに領域分割画像４０を推論するための学習モデル１１のパラメータを計算する。具体的には、学習部２は、例えば、サンプル画像１３中の画像３０から領域分割画像４０を推論し、推論された領域分割画像４０と教師データ１４中の画像３０対応した領域分割画像４０とを比較し、両者の領域分割画像４０の差が最適かつ最小な学習モデル１１を算出する。例えば、両領域分割画像４０の差を両者の全画素の中でラベルが異なる画素の数とし、画素の数に対する学習モデル１１（ニューラルネットワーク構造１７９）中の各要素の偏微分係数を求める。そして、学習モデル１１中の各要素に偏微分係数に負の所定係数を乗算したものを加算して更新する（画素の数が減る様に少しずつ更新する）ことをサンプル画像１３中の各々の画像３０で逐次的に行う方法がある。ただし、この方法には限らない。ここで、教師データ１４中の対応した領域分割画像４０にラベル４９（無効領域）が含まれていた場合は、その部分をラベルが異なる画素の数の集計から除外する。
　さらに、学習部２は、学習モデル１１を生成する際に、サンプル画像１３中の画像３０にランダムノイズを加えたり、拡大や縮小ならびに左右反転や上下反転等の幾何変換を施す等の合成処理を行った合成画像を加えたりしてもよい。合成画像を加えることで、学習部２はより豊富な数の画像３０から学習モデル１１を求めることができる。
（vi）入力画像１２は、オーバレイ計測時に撮影された画像である。図７は、入力画像１２の一例である画像５０を示す図である。図７の画像５０における領域５９は、サンプル画像１３中の画像３０と同程度の寸法の領域であり、オーバレイ計測対象となる半導体中の構造を含んでいる。画像５０の領域５９の外には、領域５９と同様にオーバレイ計測対象となる半導体中の構造が周期的に映っている。
　領域分割部３は、学習モデル１１を参照して、入力画像１２から図７中の領域分割画像６０を推論する。領域分割画像６０中の領域６９は、領域５９と同じ範囲の領域である。ここで推論とは、学習モデル１１のネットワーク構造にデータを入力して、ネットワーク構造の各層（入力層１７０、出力層１７１、および中間層１７２、１７３、および１７４）の畳み込み演算等の計算を行い、計算結果を取得することを意味する。領域分割画像６０中の領域６９の各画素には、領域分割画像４０と同様にラベル４１、４２、および４３のいずれかが割り振られる。領域５９の画像がサンプル画像１３中の画像３０いずれかと類似している場合、学習部２が学習モデル１１を求める過程において画像３０に応じた領域分割画像４０を推論する特質が学習モデル１１に備わる。このため、領域６９には正確なラベルが割り振ることができる。領域分割画像６０中の領域６９以外の残りの領域も同様である。ここで、「類似」の尺度（基準）は、受容野１７６（画像３０中の小領域）の単位において、内部の画像が類似していることとする。特に、オーバレイ計測においては、計測対象となる半導体中の構造が周期的である。このために、サンプル画像１３中の画像が領域分割画像６０より寸法が小さなものであっても、領域分割画像６０と類似の条件を満たす画像３０がサンプル画像１３の中に存在して、正確なラベルが割り振られることを期待することができる。
（vii）グループ化部４は、図９のフローチャートで示される処理を実行することによって領域分割画像６０中におけるオーバレイの計測対象を小領域単位でグループ化する。グループ化処理の詳細については後述する。
（viii）オーバレイ計測部５は、図１１のフローチャートで示される処理を実行するによって、グループ化画像７０からオーバレイ計測を行う。オーバレイ計測処理の詳細については後述する。
　＜グループ化処理の詳細＞
　図９は、グループ化部４が実行するグループ化処理の詳細を説明するためのフローチャートである。グループ化処理は、図１０の表８０によって指定される計測対象の項目に従って、領域分割画像６０の所定の領域に付与されたラベルに応じて関連する小領域ごとにグループ化する
　グループ化部４は、ステップＳ１からステップＳ４において、図１０中の表８０に指定された計測対象の項目毎に（第１の計測対象と第２の計測対象）、ステップＳ２およびステップＳ３の処理を繰り返し実行する。
　ステップＳ２において、グループ化部４は、領域分割画像６０中の対象ラベルの画素を１、それ以外を０とした２値画像を求める。図１０によると、対象ラベルは、第１の計測対象に対してラベル４１、第２の計測対象に対してラベル４１とラベル４２となる。第２の計測対象に対して複数のラベルが指定されるのは、画像５０中においてラベル４１に応じた構造がラベル４２に応じた構造よりも手前側にあるために、領域分割画像６０においてラベル４２の一部がラベル４１に遮蔽されているためである。
　ステップＳ３において、グループ化部４は、ステップＳ２で得た２値画像から、小領域の単位でグループ化する。小領域単位のグループ化の手法として、２値画像中の値１の画素が成す連結領域の単位でグループ化するラベリングと呼ばれる手法を適用することができる。ただし、ラベリングに限らず小領域単位のグループ化が可能な他の手法を適用できる。
　以上のようにしてグループ化処理が実行される。ここで、図８は、グループ化部４の出力の例を示す図である。図８において、画像７０は、グループ化処理（図９）によって求めたグループ化画像の例を示している。小領域７１ａ、７１ｂ、７１ｃ、および７１ｄは、表８０中の第１の計測対象に対応する小領域である。また、小領域７２ａ、７２ｂ、７２ｃ、および７２ｄは、表８０中の第２の計測対象に対応する小領域である。グループ化画像７０中の領域７９は、領域５９（図７参照）と同じ範囲の領域である。例えば、半導体パターンの場合、領域分割画像６０（図７参照）における領域５９の外には、領域５９と同様の小領域が繰り返し出現する。つまり、半導体パターンの場合、類似パターンが繰り返し現れてくるので、教師データを画像中の全画素に対して作成しなくてもよい。例えば、小領域である受容野１７６（図６参照）の教師データが得られれば、受容野１７６よりも大きな領域の画像全体を推論することが可能な学習モデルを構築することができ、作業者（オペレータ）の手間を省くことができる。
　＜オーバレイ計測処理の詳細＞
　図１１は、オーバレイ計測部５が実行するオーバレイ計測処理の詳細を説明するためのフローチャートである。
（i）ステップＳ１１
　オーバレイ計測部５は、第１の計測対象に対してテンプレートの位置合わせをする。ここで、テンプレートとは、第１の計測対象の各要素のＸ座標とＹ座標であり、オーバレイ計測の運用より事前に用意されたデータである。図１２は、テンプレートデータ８５の構成例を示す図である。図１２において、テンプレートデータ８５は、第１から第Ｎまでの各要素のＸ座標およびＹ座標から構成される。テンプレートデータ８５は、代表例となるグループ化画像７０における小領域７１ａ、７１ｂ、７１ｃ、および７１ｄ等の重心のＸ座標およびＹ座標から求められる。あるいは、テンプレートデータ８５は、半導体の設計図等から求めてもよい。
　位置合わせの基準としては、テンプレート中の全点の重心と、第１の計測対象の小領域７１ａ等の重心が合うように合わせることを挙げることができるが、この手法に限らない。
（ii）ステップＳ１２
　オーバレイ計測部５は、位置合わせしたテンプレートデータ８５における要素それぞれに対応した小領域７１ａ等を選択する。選択の基準は、小領域７１ａ等の中で重心が最もテンプレートデータ８５の要素に近いこととすることができるが、これに限らない。
（iii）ステップ１３からＳ１８
　オーバレイ計測部５は、ステップＳ１２で選択された小領域毎にステップＳ１４からＳ１７の処理を繰り返し実行する。以下の説明では小領域７１ａを対象とした場合を例として述べる。
（iii-1）ステップＳ１４
　オーバレイ計測部５は、第１の計測対象の代表位置である位置１を計算する。位置１は、Ｘ座標のＸ１とＹ座標のＹ１という２つの要素から構成される。位置１は、小領域７１ａ等の重心位置のＸ座標とＹ座標から計算する。
（iii-2）ステップＳ１５
　オーバレイ計測部５は、第２の計測対象の小領域の中で、小領域７１ａとオーバレイ量を計測するものを選択する。この選択の基準には重心の位置が最も近いものを選択するという基準を適用することができる。図８の場合、例えば、小領域７２ａが選択される。
（iii-3）ステップＳ１６
　オーバレイ計測部５は、ステップＳ１４と同様の手順で、ステップＳ１５で選択した第２の計測対象の小領域（例えば、小領域７２ａ）の代表位置である位置２を求める。位置２は、Ｘ座標のＸ２とＹ座標のＹ２という２つの要素から構成される。
（iii-4）ステップＳ１７
　オーバレイ計測部５は、位置２と位置１から、下記式１および式２でＸ座標およびＹ座標の変位量であるＤｘおよびＤｙを計算する。
　　　Ｄｘ ＝ Ｘ２－Ｘ１　・・・　（式１）
　　　Ｄｙ ＝ Ｙ２－Ｙ１　・・・　（式２）
（iv）ステップＳ１９
　オーバレイ計測部５は、式１および式２に基づいて求めたＤｘおよびＤｙの変位量の統計量を計算する。当該統計量を算出する際には相加平均を適用することができるが、これに限らず相乗平均や中央値であってもよい。オーバレイ計測部５はステップ１９で求めた変位量の統計量を画像５０のオーバレイ量とする。
　＜実施例１による技術的効果＞
　実施例１によれば、事前に教師作成部１においてサンプル画像１３から作成した教師データ１４を用いて学習部２が学習モデル１１を求める過程を設けておく。そして、領域分割部３が学習モデル１１を参照して入力画像１２から求めた領域分割画像６０を使うことで、グループ化部４とオーバレイ計測部５によってオーバレイ量を計測することができる。これにより特許文献１とは異なり、ノウハウを要するパラメータの調整を要することなく、また特許文献２とは異なり、入力画像１２の設計データを必要とすることなく、領域分割画像６０を推論することで正確なオーバレイ計測が可能となる。また、領域分割画像６０やグループ化画像７０という中間処理データを可視化できるために、特許文献３と異なり予期しないオーバレイ量が計測した場合に中間処理データを画面表示することで要因の把握が可能となる。つまり、領域分割部３では学習モデル１１を参照して入力画像１２を領域分割するため、上述の第１および第２の課題が解決される。また、領域分割画像は可視化できるデータであるために作業者が確認することが容易である。このため、第３の課題も解決される。
　また、実施例１によれば、学習モデル１１が受容野１７６の単位で領域分割画像４０を推論する。また、オーバレイ計測処理では、一般に入力画像１２（画像６０：図７参照）が周期的な半導体中の構造を映している。このため、教師作成部１において主画面９０のユーザインタフェースを用いて教師データ１４を割り振るサンプル画像１３における画像３０の寸法が、入力画像１２中の画像６０よりも小さな寸法で済む。これにより、作業者が教師データ１４を割り振るときの工数を低減することができる。
　＜実施例１の変形例＞
　以上述べた実施例１では構成要素を変更することができる。例えば、学習モデル１１は、上述のニューラルネットワーク構造以外にも、受容野１７６の単位で画像３０から領域分割画像４０を推論する任意の機械学習モデルを適用できる。例えば、画像３０の受容野１７６の全画素から画素１７７のラベルを定める線形判別器でもよい。
　ステップＳ１６では位置２のＸ２とＹ２の座標を、異なるラベルの小領域から求めても良い。例えば、図１３に示される表８１を参照した場合、ステップＳ１６において、オーバレイ計測部５は、座標Ｘ２をラベル４１およびラベル４２の小領域、座標Ｙ２をラベル４４（図３の領域分割画像４０の例中に図示しない半導体中の所定の構造に割り振ったラベル）の小領域から求める。ラベル４２に対応する半導体中の構造の縦方向の輪郭（コントラスト）が不鮮明なためにラベル４１およびラベル４２とあわせた小領域からは正確なＹ２が求められない場合がある。このような場合、図３において縦方向におけるコントラスト（横縞）が鮮明な構造に割り振ったラベル４４（例えば、実施例２の図１５のラベル４２ｂ）を追加することで正確な座標Ｙ２が求められる。つまり、ラベル４２に対応する半導体中の構造の縦方向のコントラストが不鮮明な場合には、オーバレイ計測対象を新たに割り振ったラベル４４に変更することにより、正確に座標Ｙ２を求めることができるようになる。
　また、ステップＳ１６において表８１を参照する場合、ステップＳ１６において表８０を参照する場合と比べて、教師作成部１は、ラベル４４をラベルの割り振りの対象に加える。そして、領域分割部３はラベル４４を推論の対象に加え、グループ化部４はラベル４４をグループ化の対象に加える。同様に、ステップＳ１４では、位置１のＸ１とＹ１の座標を異なるラベルの小領域から求めてもよい。
　ステップＳ１１の処理は、オーバレイ計測として一般的であるが、除外してもよい。その場合、ステップＳ１２ではグループ化画像７０中の小領域７１ａ等の全てが選択される。あるいは、ステップＳ１２では小領域７１ａ等の中で面積がノイズ程度に小さい等の付加的な取捨選択を行ってもよい。
（３）実施例２
　＜機能構成例＞
　図１４は、実施例２による教師作成からオーバレイ計測までの機能構成例を示す図である。図１４において、サンプル画像１１３は、例えば、撮影条件を変えて半導体ウエハにおける同一箇所を複数回撮影した画像の組である。ここで、撮影条件とは、電子顕微鏡の加速電圧や、反射電子像や二次電子像を撮像することや両者の合成画像を求める際の合成比率等であるが、これに限らない。
　図１５は、サンプル画像の組３０ａおよび３０ｂと、領域分割画像（ラベルが割り振られた教師データ）４０ａおよび４０ｂの例を示す図である。画像３０ａは、領域３１ａ内に横長な構造があるが、その上下の輪郭（縦方向のコントラスト）は不鮮明である。一方で、画像３０ｂは、領域３１ａと同一箇所の領域３１ｂの画像を含む。画像３０ｂにおいて、上下の輪郭（縦方向のコントラスト）は鮮明な構造となっている。
　オーバレイ計測処理では、多層の半導体を撮影対象とし、電子顕微鏡から見て多層中の各層にピントが合う深度は異なっていて層毎に最も鮮明な撮影条件が異なる。このため、撮影条件を変えて複数回撮影することにより画像中の全ての構造から鮮明な像を取得できる場合が存在する。教師作成部１は、サンプル画像１１３における画像の組にラベルを割り振り、教師データ１１４を作成すると共に、そのためのユーザインタフェースを提供する。図１５における教師データ４０ａおよび４０ｂは、教師データ１１４の一例であり、画像３０ａおよび画像３０ｂ中に、それぞれラベル４１ａ、４２ａ、および４３ａと、ラベル４２ｂ、および４２ｃを割り振った領域分割画像の組である。
　学習部１０２は、サンプル画像１１３と、教師データ１１４と、画像の組３０ａおよび３０ｂと、領域分割画像の組４０ａおよび４０ｂから、学習モデル１１１を算出する。学習モデル１１１は、画像３０ａから領域分割画像４０ａするニューラルネットワーク構造と、画像３０ｂから領域分割画像４０ｂを推論するニューラルネットワーク構造と、を含む。これらのニューラルネットワーク構造は、全く独立した２つのニューラルネットワーク構造としてもよいし、もしくは中間層１７３等の一部を共有した（共通にした）ニューラルネットワーク構造としてもよい。
　入力画像１１２は、サンプル画像１１３と同じか、もしくは近い撮影条件で撮影された画像の組である。領域分割部１０３は、入力画像１１２から領域分割画像の組４０ａおよび４０ｂと構成を同じくした領域分割画像の組を出力する。グループ化部１０４は、領域分割部１０３が出力した領域分割画像の組からラベル４１ａと、ラベル４１ａおよび４２ａと、ラベル４２ｂの３種類のラベルがそれぞれ割り振られた小領域を求める演算を実行する。
　オーバレイ計測部１０５は、図１１に示されるステップＳ１４における位置１をラベル４１から求め、ステップＳ１６における位置２のＸ座標（Ｘ２）をラベル４１ａおよび４２ａから求め、Ｙ座標（Ｙ２）をラベル４２ｂから求めるようにして、オーバレイ量を計測する。
　＜実施例２による技術的効果＞
　実施例２では、以上述べた構成により、単一の撮影条件では正確なオーバレイ計測が困難な場合においても、同一箇所を複数の撮影条件で画像の組を使う。これにより、領域分割部１０３が推論するラベルが正確となり、オーバレイ計測部１０５は正確なオーバレイ計測が可能になる。さらに、教師作成部１０１がサンプル画像１１３中の鮮明な部分にラベルを割り振るため、教師作成部１０１は、正確にラベルを小領域に割り振って教師データ１１４を作成することができる。
（４）実施例３
　実施例３は、ラベル割り振りの対象をサンプル画像の一部に絞ることにより、作業者が教師データのラベル割り振り作業の作業量を低減する技術について開示する。
　＜機能構成の概要＞
　図１６は、実施例３による教師作成からオーバレイ計測までの機能構成例を示す図である。まず実施例３による機能構成例の概要について説明する。
　教師作成部２０１は、サンプル画像２１３中の部分集合である画像群２３１にラベルを割り振った（すなわち、画像群２３１中の各々の画像３０にラベルを割り振った）領域分割画像群２４１から中間学習モデルを学習する。ここで、中間学習モデルという文言を用いているのは、画像群２３１（サンプル画像２１３の部分集合）から領域分割画像群２４１を生成するための学習モデルであって、入力画像１２から領域分割画像を生成するための最終の学習モデルではないからである。
　教師作成部２０１は、続いて、中間学習モデルを参照して残りのサンプル画像２３３から領域分割画像群２４３を推論し、更に領域分割画像群２４３を補正する処理を実行する、あるいは補正のためのユーザインタフェースを提供する。学習部２、領域分割部３、グループ化部４、およびオーバレイ計測部５の各機能と、学習モデル１１および入力画像１２のデータは、実施例１と共通であるので、説明は省略する。
　＜教師作成処理の詳細＞
　図１７から図１９を参照して、教師作成処理の詳細について説明する。図１７は、サンプル画像２１３の構成例を示す図である。図１８は、教師データ２１４の構成例を示す図である。図１９は、教師作成部２０１による教師作成処理を説明するためのフローチャートである。
（i）ステップＳ２０１
　図１７に示されるように、サンプル画像２１３は、事前に画像群２３１と画像群２３３の部分集合に分割される。
　ステップＳ２０１において、教師作成部２０１は、図１８に示す領域分割画像群２４１を作成するためのユーザインタフェース（主画面９０：図４参照）を作業者に提供し、作業者の入力に応答して、画像群２３１にラベルを割り振る。
（ii）ステップ２０２
　教師作成部２０１は、学習部２と同じ手順に従い、画像群２３１と領域分割画像群２４１から中間学習モデル（画像分２３１から領域分割画像群２４１を生成するための学習モデル）を求める。
（iii）ステップＳ２０３
　教師作成部２０１は、領域分割部３と同様に、ステップＳ２０２で求めた中間学習モデルを参照して、画像群２３３から領域分割画像群２４３中を推論する（正確には画像群２３３中の画像３０それぞれから領域分割画像４０を推論することで領域分割画像群２４３を求める）。
（iv）ステップＳ２０４
　サンプル画像の部分集合である画像群２３１が画像群２３３に含まれる全ての画像の性質を完全に網羅することは困難なため、ほとんどの場合において領域分割画像群２４３には誤ったラベルが含まれる。そこで、教師作成部２０１は、領域分割画像群２４３におけるラベルに対して統計処理による補正を実行する。統計処理による補正として、例えば、半導体チップ内における同一撮影箇所を繰返し撮影した領域分割画像群２４３中の部分集合内においてラベルの最頻値をとる補正を行うことができる。
　ここで、図１７に示す画像群２３３内の部分集合の画像群２３２中の画像３２ａ、３２ｂから３２ｍ（ｍは任意の数字）は、半導体ウエハ内の同一箇所を繰返し撮影した画像である。このとき、ステップＳ２０４において、画像群２３２から推論された領域分割画像群２４２内の領域分割画像４２ａ、４２ｂから４２ｍには全て、最頻値を取る補正により最頻値のラベルが割り振れる。また、領域分割画像４２ａ、４２ｂから４２ｍ内の同一座標の画素４３ａ、４３ｂから４３ｍに着目したとき、補正前において各画素の中で最も出現頻度が高いラベルが、最頻値を取る補正により補正後に割り振られる。最頻値をとる補正によって、同一箇所を繰返し撮影したときの画像３０の画質や重畳されるノイズにより、領域分割画像４０のラベルが変化してしまうことを補正することができる。
　なお、画像２３２中の画像３２ａ、３２ｂから３２ｍの撮影箇所が多少位置ずれする場合には事前に位置合わせを行うようにしてもよい。当該位置合わせは、画像３２ａに対する３２ｂから３２ｍの各画像との間で画像間の変位量を求め、画像３２ｂから３２ｍを画像の変位量分だけ平行移動することでできるが、これ以外の手法で位置合わせしても良い。画像間の変位量は、画像３２ｂと画像３２ａの場合、変位量に応じて画像３２ｂを平行移動したときに、画像３２ｂと３２ａの各画素の明度の差分の和が最小となる条件で求めることができる。変位量は、他にも、変位量に応じて領域分割画像４２ｂを平行移動したときに、領域分割画像４２ｂと４２ａの間でラベルが一致しない画素の数が最小となる条件で求められる。画像間の変位量の求める対象は先頭の画像３２ａ以外でもよい。
（v）ステップ２０５
　教師作成部２０１は、領域分割画像群２３３中に割り振られたラベルが正確なものであるかを作業者が確認するためのユーザインタフェースを提供する。当該ユーザインタフェースは、領域分割画像群２４３中を構成する各々の領域分割画像４０を表示する。この際に、領域分割画像４０に割り振られたラベルの適否を判断しやすいように、ステップＳ２０５のユーザインタフェースには画像群２３３中の画像３０を並べて表示したり、画像３０上に領域分割画像４０を透過させたブレンド画像を付加的に表示したりするようにしても良い。ステップＳ２０５で提供されるユーザインタフェースには、領域分割画像群２４３中の領域分割画像４０のラベルを修正する機能を設けてもよい。当該ラベルを修正する機能は、入力画面９１（図４参照）中に領域分割画像群２４３中の領域分割画像４０もしくはブレンド画像の表示を行い、入力画面９１における入力ペン９３の操作により表示中のラベルを修正できるようにするものである。
（vi）ステップＳ２０６
　教師作成部２０１は、領域分割画像群２４１と領域分割画像群２４３を合わせて教師データ２１４として出力する。
　＜実施例３による技術的効果＞
　実施例３によれば、サンプル画像２１３（すなわち画像群２３３）において、教師作成部２０１が提供するユーザインタフェース（主画面９０）を用いてラベルを割り振る作業の対象を部分集合である画像群２３１に絞って、かつサンプル画像２１３内の全ての画像３０にラベルを割り振って教師データ２１４を取得することが可能となる。実施例１においては、学習モデル１１はサンプル画像１３中の母数が多いほど推論結果がより正確となる。その一方で、作業者が教師データ１４のラベルを割り振る作業の作業量が多くなってしまうというトレードオフがあった。しかし、実施例３によれば、ラベル割り振りの作業量を低減することで上記トレードオフが解消できるようになる。特に、オーバレイ計測では通例、半導体画像中において繰返し現れる構造をオーバレイ計測の対象とする。従って、画像分２３１の母数を大きく絞っても、ステップＳ２０４における統計処理による補正やステップＳ２０５におけるユーザインタフェースによる補正が困難な程度までステップＳ２０３の推論結果の精度が低くなることは少ないと予期できる。よって、実施例３によれば、作業量の低減に有効と考えられる。
　また、ステップＳ２０４における統計処理における補正を実行すると、オーバレイ計測の再現性を改善することが可能となる。ここで、オーバレイ計測の再現性とは、半導体ウエハ中の同一箇所を繰り返し撮影したときにおける上記式１および式２に示すオーバレイ量のばらつきの程度の指標である。一般的に、指標として標準偏差σの３倍である３σが用いられる。オーバレイ計測の再現性を改善する効果は、ステップＳ２０４における統計処理による補正を行うと、同一箇所を繰返し撮影した画像群２３２等に対する領域分割画像群２４２等のラベルが同一になるためである。その結果、半導体ウエハ中において画像群２３１と同一個所の複数の画像が入力画像１２となったときには、複数の画像から領域分割部３が推論する領域分割画像６０のラベルは近づく。このため、オーバレイ計測部５がＳ１９で求めるオーバレイ量は均一に近づき、オーバレイ計測の再現性は改善する（小さくなる）。なお、この効果があることから、ステップＳ２０１で提供されるユーザインタフェースを用いて作成された領域分割画像群２４１にも、ステップＳ２０４の統計処理による補正を施してもよい。
　＜実施例３の変形例＞
（i）図１９で示すフローチャートにおいて、ステップＳ２０４もしくはステップＳ２０５の一方を削除してもよい。これはステップＳ２０４だけでも領域分割画像群２４３のラベルを補正する効果があり、ステップＳ２０５だけでも領域分割画像群２４３のラベルを確認および補正する効果があるためである。
（ii）ステップＳ２０４の統計処理による補正では、最頻値以外の統計量を適用してもよく、また最頻値を取る以外に付加的な処理を行ってもよい。例えば、３２ａ、３２ｂから３２ｍの様な同一座標の画素のラベルで、最頻値の頻度が低い場合には、画素のラベルのばらつきが大きいとして、無効領域４９のラベルを割り振ってもよい。
　ステップＳ２０４の統計処理による補正では、半導体ウエハ中の同一箇所を繰返し撮影した画像群２３２中の画像を用いる代わりに、画像群２３２中において類似した複数の部分領域を抽出してもよい。ここで部分領域とは、図４における領域９４の様な画像３０中の部分領域である。また、類似した複数の部分領域とは、画像群２３２中における３２ａ等の一枚の画像もしくは複数の画像３２ａから３２ｍ等の複数の画像から、類似度が高いことを条件に同一寸法の部分領域を複数抽出したものである。さらに、ここで類似度は、部分領域における２枚の画像３０の画素の明度の相関値によって判断したり、部分領域における２枚の領域分割画像４０内の画素中でラベルが一致する画素の比率で判断したりすることができる。オーバレイ計測の対象とする半導体画像は繰り返しパターンであるため、類似した複数の部分領域は見つけやすい。
（iii）ステップＳ２０４の統計処理による補正は、領域分割画像群２４３中のラベルに小領域単位の補正とすることができる。ここで、図２０を用いて、統計量による補正について説明する。図２０は、ステップＳ２０４の統計量による補正の例を説明するための図である。図２０は、領域分割画像群２４３中のいずれかの領域分割画像４０からグループ化部４で求めた補正前のグループ化画像２７０の例と、補正後のグループ化画像２７０’の例を示している。
　図２０において、当該統計量による補正によって、小領域７１ｈが小領域７１ｈ’に平行移動している。小領域７１ｈの平行移動の量は、小領域７１ｈと７２ｈの重心の変位量（ステップＳ１７の方法で求めた変位量）が、他の小領域７１iと７２i、７１ｊと７２ｊ、７１ｋと７２ｋの重心の変位量の平均値と揃うように様に定めることができる。小領域単位の補正は、他にも、ステップＳ１９で求めた変位量の統計量が目標値となるように小領域７１ｈ等の全ての小領域を一律に平行移動してもよい。例えば、領域分割画像群２４３内においてグループ化画像２７０と半導体ウエハ中の撮影箇所が同じの部分集合において、部分集合中の各要素からステップＳ１９で求めた変位量の統計量を求めた時の平均値を目標値として使うことができる。もしくは、サンプル画像２１３中の画像のそれぞれを撮影した半導体ウエハが人為的なオーバレイ量を与えて製造（多層の半導体における所定の層の間を人為的なオーバレイ量だけずらして製造）したものであって、かつ人為的なオーバレイ量がわかっている場合には、サンプル画像２１３中の画像中においてグループ化と人為的なオーバレイ量が画像２７０と同じものから部分集合を求めてもよい。本明細書においては、人為的なオーバレイ量をオーバレイ量の設計値と呼ぶことがある。
（iv）さらに、画像群２３３のオーバレイ量の設計値が予め分かっている場合には、オーバレイ量の感度特性が良くなるように目標値を定めてもよい。図２１は、ステップＳ２０４の統計処理による補正の他の例を説明する図である。図２１に基づいて、補正前のグループ化画像２７０から補正後のグループ化画像２７０’を生成するときの基準（移動量を定めるための基準）を説明することができる。
　図２１において、例えば、オーバレイ量の設計値のＸ成分をＵ軸２９５、オーバレイ量のＸ成分（上記式１のＤｘ）をＶ軸２９６としたグラフ２９０を考える。このとき、Ｕ軸２９５に対するＶ軸２９６の理想値を結んだ直線を２９７（傾き１かつ切片０直線や、傾きを１として点２９２ａ、２９３ｂ、２９３ｃの重心を通る直線、もしくは傾き１を所定の傾きにした直線等）とする。そして、領域分割画像２７０のオーバレイ量のＸ成分を示す点２９２ａを直線２９７に降ろした点２９４ａを目標値のＸ成分とすることができる。つまり、ベクトル２９３ａを平行移動のＸｂとすることができる。さらに、図２１において、点２９２ｂおよび点２９２ｃをベクトル２９３ｂおよび２９３ｃにより点２９４ｂおよび点２９４ｃに移動するように、領域分割画像群２４３中の２７０以外の領域分割画像全てについてのステップＳ１９のオーバレイ量のＸ成分の目標値を定める。このようにすれば、平行移動の後は領域分割画像群２４３中におけるオーバレイ量のＸ成分は全て直線２９７上に乗る。これは、領域分割画像群２４３においてオーバレイ計測の感度特性が最良となる条件にあたる。すなわち、点２９４ａ、２９４ｂ、および２９４ｃ等から回帰直線を求めたときの回帰直線の傾きが直線２９７に近い、あるいは回帰直線の回帰残差（ベクトル２９２ａ、２９２ｂ、および２９２ｃ等の平均的な２乗距離にあたる）が最小となる。オーバレイ量のＹ成分（上記式２に示すＤｙ）についても、グラフ２９０と同様のグラフからオーバレイ計測の感度特性が最良となる目標値を求めることができる。
　例えば、複数の画像グループＡ、ＢおよびＣがあった場合、理想的には直線２９７上に全ての値がプロットされることが望まれる。しかし、実際にはそのような理想の状態を得ることは難しい。そこで、変位量があるときには、画像グループ単位で変位量を補正すれば、少なくとも教師データは直線２９７上にプロットされるようになる（学習モデルの範囲では直線２９７上に正しくプロットされるようにすることができる）。この教師データの変位量を学習モデルの癖および教師データの癖として認識することができるので、各画像における変位量のばらつきを抑えることができる。つまり、統計処理による補正を実行することにより、オーバレイ計測の感度特性を改善することができる。
（v）ステップＳ２０４の統計処理による補正を小領域単位で行うときには、以上述べた幾つかの補正を組み合わせて行ってもよい。また、小領域単位の補正では、平行移動以外にも小領域７１ｈ等の重心が変化する幾何的な変形を行ってもよい。例えば、幾何的な変形として、小領域７１ｈの右半分を削ることが挙げられる。これにより小領域７１ｈの重心を左側に移動させる。
（vi）教師作成部２０１は、主画面９０等においてステップＳ２０４の統計処理による補正が確認できるように、補正前後のグループ化画像２７０および２７０’や、これに応じた画像３０や領域分割画像４０を表示する様にしてもよい。
（vii）教師作成部２０１では、ステップＳ２０２に示す中間学習モデルを何段階かに分けて求めてもよい。例えば、画像群２３１と領域分割画像群２４１から第１の中間学習モデル、画像群２３１と領域分割画像群２４１に加えて画像群２３２と第１の中間学習モデルを参照した推論結果からラベルを求めた領域分割画像群２４２から第２の中間学習モデルを求める。そして、第２の中間学習モデルを参照して画像群２３３中の画像群２３２以外を推論することで教師データ２１４中の領域分割画像４０全てにラベルが割り振られるようにしてもよい。
（５）実施例４
　図２２から図２５を用いて実施例４について説明する。図２２は、実施例４の教師作成からオーバレイ計測までの機能構成例を示す図である。
　＜機能構成の概要＞
　まず機能構成の概要について説明する。教師作成部３０１は、教師作成部１の機能に加え、主画面９０（図４参照）で作成された領域分割画像４０における各画素から領域分割画像４０内の小領域７１ａ等（図８参照）の代表位置までの変位量を保持した位置情報画像を作成する機能を備える。そして、教師作成部３０１は、教師データ１４に位置情報画像を加えた教師データ３１４を作成する。学習部３０２は、サンプル画像１３中の画像３０から、教師データ３１４中の領域分割画像４０ならびに位置情報画像ができるだけ正確に推論できる学習モデル３１１を計算する。
　領域分割部３０３は、学習モデル３１１を参照して、入力画像１２から領域分割画像６０および位置情報画像を推論する。グループ化部３０４は、グループ化部４と同様の手順で領域分割画像６０からグループ化画像７０を生成して出力する。オーバレイ計測部３０５は、グループ化部３０４が出力したグループ化画像内の小領域７１ａ等に含まれる位置情報画像の位置情報を利用してオーバレイ計測を行う。
　＜機能構成の詳細＞
　以下、概要以外に特記のないグループ化部３０４を除き、実施例４における各機能構成の詳細について述べる。
（i）教師作成部３０１は、作業者による主画面９０の操作に応答して、サンプル画像１３から教師データ１４を作成した後、教師データ中の領域分割画像４０に以下に述べる位置情報画像３４０を加えて教師データ３１４を出力する。図２３を参照して、位置情報画像３４０について説明する。
　図２３は、位置情報画像３４０の例を示す図である。図２３において、画像３７０は、サンプル画像１３中の領域分割画像４０からグループ化部４によって求めたグループ化画像である。グループ化画像３７０は、表８０（図１０参照）に含まれる第１の計測対象のラベルから求められる。位置情報画像３４０は、グループ化画像３７０中における小領域７１ｍ、７１ｎ、７１ｏ、および７１ｐに対応する小領域３７１ｍ、３７１ｎ、３７１ｏ、３７１ｐ内の各画素に位置情報を付与した画像である。小領域３７１ｍの範囲は、小領域７１ｍと同一の範囲、もしくは小領域７１ｍから膨張処理をしたり、小領域７１ｍの外接矩形を求める等をした小領域７１ｍの近傍の範囲である。他の小領域の範囲３７１ｎ等のも、小領域７１ｎ等と同一もしくは近傍の範囲である。小領域３７１ｍ内のある画素３４２ｍの座標を（Ｘｐ，Ｙｐ）、代表位置３４１ｍのＸ座標を（Ｘｃ，Ｙｃ）とすると、画素３４２ｍには下記式３および式４に従って求めた変位量（Ｒｘ，Ｒｙ）が割り振られる。この変位量（Ｒｘ，Ｒｙ）は、画素３４２ｍから代表位置３４１ｍまでの変位量にあたる。ここで代表位置３４１ｍは小領域３７１ｍの重心の座標とする。小領域３７１ｍ内の各々の画素には、画素３４２ｍと同様に代表位置３４１ｍまでの変位量が割り振られる。
　　　Ｒｘ ＝ Ｘｃ－Ｘｐ　・・・　（式３）
　　　Ｒｙ ＝ Ｘｃ－Ｙｐ　・・・　（式４）
　位置情報画像３４０における小領域３７１ｎ、３７１ｏ、３７１ｐ内の各々の画素には、同様に、各々の画素から各小領域の代表位置３４１ｎ、３４１ｏ、３４１ｐまでの変位量が割り振られる。位置情報画像３４０において、小領域３７１ｍ、３７１ｎ、３７１ｏ、３７１ｐ以外の領域には、学習部３０２が学習モデル３１１を求める計算で除外する無効領域の属性が割り振られる。
　なお、教師作成部３０１は、表８０中の第２の計測対象のラベルに対しても、位置情報画像３４０と同様の位置情報画像を付与する。
（ii）学習部３０２は、サンプル画像１３における画像３０から、教師データ３１４中の領域分割画像４０および位置情報画像３４０をできるだけ正確に推論できる学習モデル３１１を計算する。画像３０から領域分割画像４０を推論する学習モデルと、画像３０から位置情報画像３４０を推論する学習モデルのそれぞれに対して、独立するニューラルネットワーク構造１７９を割り当てることができる。あるいは、２つの学習モデルで、ニューラルネットワーク構造１７９の全てもしくは一部の層を共有させてもよい。例えば、入力層１７０に画像３０を入力したときに、出力層１７１の一部から領域分割画像４０を出力し、出力層１７１のその一部以外の箇所もしくは中間層１７４等のその他層から位置情報画像３４０を出力するようにしてもよい。
　学習部３０２は、学習部２と同様に、サンプル画像１３中の画像３０から推論した領域分割画像４０および位置情報画像３４０と、教師データ３１４中の対応する領域分割画像４０および位置情報画像３４０とを比較したときの差が小さくなるように、学習モデル３１１中のパラメータを最適化する。例えば、学習モデル３１１中のパラメータが乱数で初期化される。その後、２つの領域分割画像４０の誤差（誤差１）をラベルが一致しない画素の数、２つの位置情報画像３４０の誤差（誤差２）を各画素における変位量の差の絶対値の総和とされる。さらに、学習モデル３１１中の各々のパラメータに、誤差１と誤差２に対する偏微分係数に負の所定係数を乗算したものが順次加算される。このような処理をサンプル画像１３中の画像３０に対し反復することで最適化が可能である。ただし、このような方法に限られるわけではない。
（iii）図２４は、位置情報画像３６０の例を示す図である。領域分割部３０３は、学習モデル３１１を参照して、入力画像１２（すなわち画像５０）から領域分割画像６０および図２４に示す位置情報画像３６０の推論を行う。推論が正確である場合、図２４における領域３６９は、位置情報画像３６０中における領域５９と同じ範囲の領域となる。領域３６９において小領域３７１ａ内の画素３４２ａには、小領域３７１ａの代表位置３４１ａまでの変位量の推論値（Ｒiｘ、Ｒｉｙ）の情報が含まれる。画素３４２ａの座標を（Ｘｉｐ，Ｙｉｐ）とすると、代表位置３４１ａの位置の推論値（Ｘｉｃ，Ｙｉｃ）は下記（式５）および（式６）によって求めることができる。
　　　Ｘｉｃ ＝ Ｒｉｘ ＋Ｘｉｐ　・・・　（式５）
　　　Ｙｉｃ ＝ Ｒｉｙ ＋Ｙｉｐ　・・・　（式６）
　ここで、グループ化部４が表８０における第１の計測対象のラベルについて求めた小領域７１ａ、７１ｂ、７１ｃ、および７１ｄに対して、小領域３７１ａ、３７１ｂ、３７１ｃ、および３７１ｄはそれぞれ、小領域７１ａ等と範囲を同じくする小領域となる。小領域３７１ｂ、３７１ｃ、および３７１ｄにおける各画素からも同様に代表位置３４１ｂ、３４１ｃ、および３４１ｄの位置が、式５および式６によって推論することができる（推論値が計算できる）。位置情報画像３６０において領域３６９外の部分にも画素３４２ａと同様の位置情報が格納されている。
　なお、領域分割部３０３は、表８０中の第２の計測対象のラベルからも、位置情報画像３６０と同様の位置情報画像を出力する。
（iv）オーバレイ計測部３０５は、図２５に示すフローチャートに従ってオーバレイ計測処理を実行する。
　図２５において、ステップＳ３１４およびステップＳ３１６以外は、オーバレイ計測部５がオーバレイ計測処理時に実行するフローチャート（図１１）と共通であるので、説明は省略する。以下、ステップＳ１３からステップＳ１８のループが、小領域３７１ａを対象とする場合について述べる。
　ステップＳ３１４において、オーバレイ計測部３０５は、位置情報画像３６０における小領域３７１ａ中の各々の画素（画素３４２ａ等）から上記式５と式６を用いて代表位置３４１ａの推論値を求める。次に、オーバレイ計測部３０５は、各々の画素から代表位置３４１ａの推論値を求めてそれらの統計量を計算し、当該統計量を位置１とする。統計量は中央値として算出することができるが、その他相加平均等の統計量であってもよい。
　ステップＳ３１６において、オーバレイ計測部３０５は、表８０に示される第２の計測対象に対しても同様に、第２の計測対象のラベルについて求めた小領域に対する位置情報画像から、ステップＳ３１４と同様の処理を行うことにより、位置２（代表位置の推論値の統計量）を求める。
　＜実施例４の技術的効果＞
　実施例４によれば、位置情報画像３６０を使ってオーバレイ量を計測できる。入力画像１２にランダムノイズが重畳されたり、コントラストが低下したりする等して画質低下する場合がる。このような場合には、領域分割画像６０中のラベルが不正確となり、グループ化画像７０中の小領域７１ａ等の範囲が不正確になるが、実施例４に開示の技術を用いれば、このような場合でも正確なオーバレイ計測が実行できるようになる。例えば、小領域７１ａの右半分が欠けてしまった場合、小領域７１ａの重心が本来の位置から左側にずれてしまい、この結果ステップＳ１４では正確な位置１を求めることはできない。これに対して、ステップＳ３１４では位置情報画像３７０中の小領域３７１ａのどの画素からも代表位置３４１ａが式５および式６から算出することができる。このため、小領域７１ａ（すなわち小領域３７１ａ）の右半分が欠けた場合でもステップＳ３１４において正確な位置１を計算することができる。
　＜実施例４の変形例＞
（i）教師作成部３０１は、教師データ１４中の領域分割画像４０に対してステップＳ２０４の統計処理による補正を行ってもよい。これにより、領域分割画像４０中の小領域７１ａ等の重心はオーバレイ計測部５におけるオーバレイ計測の再現性あるいは感度特性が改善するように補正することができる。このため、領域分割画像４０中の小領域（７１ａ等）の重心等に応じて定まる教師データ３１４中の位置情報画像３７０中の各画素（３４２ｍ等）もオーバレイ計測の再現性あるいは感度特性が改善するように補正することができる。
（ii）グループ化部３０４は、領域分割画像６０からグループ化画像７０を求める際に、位置情報画像３６０を参照してもよい。例えば、グループ化画像７０中において２つの小領域（例えば、小領域７１ｍおよび７１ｎ）が本来の範囲よりも膨れてしまうことで連結され１つの小領域を形成する場合がある。この場合、位置情報画像３６０において１つの小領域内で式５および式６によって求めた代表位置が分離（位置情報画像３６０中で７１ｍと７１ｎ中に対応した３７１ｍと３７１の代表位置に分離）することがある。そこで、代表位置が分離してしまう場合には、１つの小領域を代表位置の分離を参照して分割してもよい。このように小領域を分割することは、例えば、入力画像１２の画質がサンプル画像３０よりも不鮮明であることが影響してグループ化画像７０中の小領域が不正確になる場合に有用である。
（６）実施例５
　実施例５は、限られた量のサンプル画像から領域分割画像（教師データに対応）を生成し、領域分割画像内の小領域を平行移動して領域分割画像およびサンプル画像のレイアウト変更を行う（領域分割画像とサンプル画像を合成する）ことにより、教師データとサンプル画像を積み増す技術について開示する。
　＜機能構成の概要＞
　図２６は、実施例５による教師作成からオーバレイ計測までの機能構成例を示す図である。教師作成部４０１は、教師作成部１と同様に、サンプル画像１３から教師データ１４を作成するとともに、そのためのユーザインタフェースを提供する。また、教師作成部４０１は、教師データ１４中における領域分割画像４０のレイアウトを変更させた教師データ４１４を生成して出力する。さらに、教師作成部４０１は、領域分割画像４０から画像３０を推論する機能を備え（以下、この機能を教師作成部４０１の画像推論機能と呼ぶ）、教師データ４１４中の領域分割画像４０から対応した画像３０の各々を推論することにより、サンプル画像４１３を出力する。なお、学習部２、領域分割部３、グループ化部４、およびオーバレイ計測部５の各機能は実施例１と同じであるので、説明は省略する。つまり、実施例５における学習部２は、教師データ１４と教師データ４１４ならびにサンプル画像１３とサンプル画像４１３を同質のデータをみなして、実施例１と同じ手順で学習モデル１１を計算する。
　＜機能構成の詳細＞
　以下、図２７から図２９を参照しながら、教師作成部４０１が教師データ４１４およびサンプル画像４１３を出力する際の処理について詳細に説明する。
（i）図２７は、領域分割画像４４０から推論された画像４３０の例を示す図である。図２７において、画像４４０は、教師作成部４０１が備える教師作成部１のユーザインタフェースを用いて作業者によって作成された領域分割画像の例を示し、ラベル４１、４２、および４３から構成されている。また、小領域７１ｑは、グループ化部４によって求められた領域分割画像内のラベル４１の小領域の一例を示している。さらに、画像４３０は、教師作成部４０１が画像推論機能を用いて、領域分割画像４４０から推論した画像を示している。ここで、教師作成部４０１の画像推論機能は、（a）学習部２と同様に、事前に、サンプル画像１３と教師データ１４のように、任意の画像３０と領域分割画像４０との組のサンプルを収集しておくこと、および（b）一の領域分割画像４０から推論された画像３０と、上記任意の画像３０と領域分割画像４０との組に含まれる画像であって一の領域分割画像４０に対応する画像との誤差が最小となるニューラルネットワーク１７９に類似する構造におけるパラメータを求める学習を実行することにより、実現することができる。ここで、領域分割画像４０に対応する画像と推論された画像３０との誤差は、各画素の明度差分の絶対和を集計することにより求めることができるが、この方法に限られるものではない。また、教師作成部４０１の画像推論機能は、上述の方法以外にも、例えば、敵対的生成ネットワークと呼ばれる乱数もしくは記号から画像を生成することに優れた機械学習アルゴリズムを用い、ニューラルネットワーク構造１７９と類似するネットワーク構造中のパラメータを定めることによっても実現することができる。
　なお、ニューラルネットワーク構造１７９に類似するネットワーク構造では、ネットワーク構造１７９と同様に、受容野１７６単位の推論を行うようにしてもよい。すなわち、領域分割画像４０の画素の各々に対して、領域分割画像４０における画素の周囲の受容野１７６の範囲から、画像３０中において画素と同じ座標の画素の明度が定められる。
（ii）図２８は、領域分割画像４４０中から小領域７１ｑをレイアウト変更した場合の例を示す図である。図２８において、領域分割画像４４０ｒは、領域分割画像４４０中の小領域７１ｑを小領域７１ｒに平行移動するレイアウトの変更を行ったものである。受容野１７６単位の推論の効果により、領域分割画像４４０ｒから推論された画像４３０ｒを、領域分割画像４４０に対応する画像４３０と比較すると、小領域７１ｑに応じた小領域４３１ｑ内の画像が小領域７１ｒ内の小領域４３１ｒに移動していることが分かる。小領域４３１ｑおよび小領域４３１ｒ内に着目すると、小領域７１ｑから小領域７１ｒに平行移動させた分だけ、オーバレイ量が変化した画像に相当する。従って、領域分割画像４４０ｒにおいて、小領域７１ｒ等の全てを均一な量だけ平行移動させれば、画像４３０ｒは画像４３０から均一な量だけオーバレイ量を変化させた画像になる。
　＜実施例５の技術的効果＞
　実施例５によれば、レイアウトの変更により、教師データ１４に教師データ４１４を積み増すことができる。また、レイアウトの変更と教師作成部４０１の画像推論機能を使うことにより、サンプル画像１３にサンプル画像４１３を積み増すことができる。例えば、サンプル画像１３がオーバレイ量の均一な画像３０から構成された場合でも、レイアウトの変更により、様々なオーバレイ量の領域分割画像４０および画像３０を教師データ１４とサンプル画像１３に積み増すことができる。よって、作業者は、事前に様々なレイアウトを備える多くのサンプル画像を用意する必要が無くなり、オーバレイ計測のための手間を省くことが可能となる。
　＜実施例５の変形例＞
（i）レイアウトの変更には、上述の平行移動以外にも、拡大や縮小などのオーバレイ量の変化を伴う任意の幾何的な変形も適用することができる。
（ii）事前に、領域分割画像４４０中のラベル４１、４２、および４３の奥行き情報を定めて置くようにしてもよい。これにより、教師作成部４０１は、ラベル間の遮蔽を考慮した画像を推論することができる。図２９は、領域分割画像４４０中から小領域７１ｑをレイアウト変更した時に遮蔽が生じたときの例（ラベル４３、４１、および４２の順に手前側にあると定めたときの例）を示す図である。図２９に示されるように、領域分割画像中の小領域７１ｑを小領域７１ｓまで平行移動させたときに生じる、ラベル４３と重なる範囲は削除される。その結果、領域分割画像４４０ｓから推論された画像４３０ｓにおいて、小領域７１ｓに対応する小領域４３１ｓに関しては遮蔽が考慮された画像が推論される。これにより、ラベル間の遮蔽によってより現実に近い領域分割画像４３０を合成することが可能になる。
（iii）以上説明した実施例１から実施例５は、それぞれ単独で実施する以外に、各実施例の一部もしくは全てを組み合わせて実施してもよい。
（７）実施例６
　実施例６は、実施例１から５における教師作成処理、学習モデル作成処理、領域分割処理をオーバレイ計測以外の計測処理に適用した場合の実施例について説明する。
　図３０は、実施例６による教師作成から画像計測検査までの機能構成例を示す図である。図３０において、教師作成部５０１は、実施例１から５による教師作成部１、１０１、２０１、３０１、および４０１のいずれかに対応する。同様に、教師データ５１４、学習部５０２、学習モデル５１１、領域分割部５０３は順に、実施例１から５の何れかにおける教師データ、学習部、学習モデル、領域分割部に対応する。
　画像計測検査部５０５は、入力画像１２から領域分割部５０３が推論した領域分割画像６０を用いて、オーバレイ計測に限らない画像の検査や計測を行う。画像計測検査部５０５における画像の検査や計測として、例えば、半導体画像中の輪郭線抽出やホール形状等の寸法計測、短絡欠陥などの欠陥パターンの検出、画像から設計図の推論を求めて設計図の推論と実際の設計図の照合位置を探すパターンマッチング等が挙げられる。ただし、これらに限られるものではなく、領域分割部５０３が推論した領域分割画像６０を用いて画像計測を行う任意の用途に適用することができる。また、画像計測検査部５０５においては、領域分割画像６０の補正などのために、入力画像１２や図３０中に示さないその他のデータを補助的に参照してもよい。また、実施例６ではサンプル画像１３および入力画像１２を半導体以外の画像を撮影したものとしてもよい。
（i）教師作成部５０１、学習部５０２、および領域分割部５０３の各機能が実施例１のそれらの機能を備える場合
　例えば、学習モデル５１１が受容野１７６単位で推論するために、入力画像１２内に周期的なパターンが映る場合であれば、教師作成部５０１において教師データ１４のラベルを割り振る時のサンプル画像１３中の画像３０の寸法は、入力画像１２中の画像６０よりも小さな寸法で済む。これにより、作業者が教師データ１４のラベルを割り振る工数を低減することが可能となる。
（ii）教師作成部５０１、学習部５０２、および領域分割部５０３の各機能が実施例２のそれらの機能を備える場合
　例えば、撮影条件を変えた複数の画像組を用いることで、画像３０ａおよび３０ｂ等の中で対象となる構造が鮮明に映る画像を用いて教師データ１１４を正確に作成することや、領域分割部５０３の推論を正確に行うことができる。
（iii）教師作成部５０１、学習部５０２、および領域分割部５０３の各機能が実施例３のそれらの機能を備える場合
　例えば、サンプル画像２１３中で主画面９０を用いて教師データを割り振る対象を画像群２３１に絞ることにより、作業者の工数を減らすことができる。また、実施例３の図１９のステップＳ２０２およびＳ２０３を実行することにより、サンプル画像１３（サンプル画像２１３に対応）の残りの全数に対して教師データ５１４（教師データ２１４に対応）を取得することができる。さらに、ステップＳ２０４やＳ２０５を実行することにより、教師データ５１４（教師データ２１４に対応）を補正することもできる。
（iv）教師作成部５０１、学習部５０２、および領域分割部５０３の各機能が実施例４のそれらの機能を備える場合
　入力画像１２から求めた領域分割画像６０と共に位置情報画像３６０を使った画像計測が可能となる。
（v）教師作成部５０１、学習部５０２、および領域分割部５０３の各機能が実施例５のそれらの機能を備える場合
　例えば、教師作成部５０１における画像推論機能を用いて、領域分割画像４０中のレイアウトを変更することにより、サンプル画像１３および教師データ１４にサンプル画像４１３および教師データ４１４（教師データ１４と教師データ４１４とを合わせて教師データ５１４とする）を積み増せる。
　＜実施例６の技術的効果＞
　実施例６によれば、実施例１から５で開示の技術をオーバレイ計測だけでなく、領域分割画像を用いて画像計測や画像検査を行うシステム全般に適用できることが示された。
（８）その他の実施例
　各実施例は、ソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本開示を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
　また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。
　さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。
１、１０１、２０１、３０１、４０１、５０１　教師作成部
２、１０２、３０２、５０２　学習部
３、１０３、３０３、５０３　領域分割部
４、１０４、３０４　グループ化部
５、１０５、３０５　オーバレイ計測部
１１、１１１、３１１、５１１　学習モデル
１２、１１２　入力画像
１３、１１３、２１３、４１３　サンプル画像
１４、１１４、２１４、３１４、４１４、５１４　教師データ
１９０　メインプロセッサ
１９０ａ　第１サブプロセッサ
１９０ｂ　第２サブプロセッサ
１９１　メイン計算機
１９１ａ　第１サブ計算機
１９１ｂ　第２サブ計算機
１９２　入出力装置
１９３　電子顕微鏡等
５０５　画像計測検査部

Claims (19)

  1. 　所定の構造を含む半導体の画像計測を行う計測システムであって、
    　前記画像計測に関係する各種処理を実行する少なくとも１つのプロセッサと、
    　前記画像計測の結果を出力する出力デバイスと、を備え、
    　前記少なくとも１つのプロセッサは、
    　　半導体のサンプル画像から教師データを生成する処理と、
    　　前記サンプル画像と前記教師データに基づいて学習モデルを生成する処理と、
    　　前記学習モデルに基づいて、前記半導体に関連する入力画像から領域分割画像を生成する処理と、
    　　前記領域分割画像を用いて画像計測を行う計測処理と、
    　　前記計測処理の結果を前記出力デバイスに出力する処理と、を実行し、
    　前記教師データは、前記サンプル画像における前記半導体の構造を含むラベルが画像の各画素に割り振られた画像であり、
    　前記学習モデルは、前記サンプル画像あるいは前記入力画像から前記教師データあるいは前記領域分割画像を推論するためのパラメータを含む、計測システム。
  2. 　請求項１において、
    　前記学習モデルは、前記各画素に割り振られた前記ラベルを決定する際に、前記入力画像における前記各画素の近傍領域を参照する機械学習モデルである、計測システム。
  3. 　請求項１において、
    　前記学習モデルは、畳み込みニューラルネットワークである、計測システム。
  4. 　請求項１において、
    　前記少なくとも１つのプロセッサは、前記学習モデルを生成する処理において、前記入力画像よりも小さいサイズの前記サンプル画像および前記教師データから前記学習モデルの前記パラメータを生成する、計測システム。
  5. 　請求項１において、
    　前記少なくとも１つのプロセッサは、さらに、前記ラベルに対応して前記領域分割画像をさらに画像サイズが小さい小領域に分けて、当該小領域の種別毎にグループ化する処理を実行し、
    　前記少なくとも１つのプロセッサは、前記計測処理として、前記グループ化された前記小領域ごとの重心からオーバレイ計測を実行する、計測システム。
  6. 　請求項１において、
    　前記サンプル画像は、異なる撮像条件で前記半導体における同一箇所を複数回撮像して得られる画像の組を含み、
    　前記少なくとも１つのプロセッサは、前記サンプル画像から前記撮像条件に対応して前記教師データを生成し、前記撮像条件に対応して生成された前記教師データと前記サンプル画像に基づいて前記学習モデルを生成する、計測システム。
  7. 　請求項６において、
    　前記異なる撮像条件で撮像することは、加速電圧を変えて撮像すること、異なる種類の電子像を撮像すること、または異なる種類の電子像の合成画像を生成する際の合成比率を変えること、のうち少なくとも１つを含む、計測システム。
  8. 　請求項１において、
    　前記少なくとも１つのプロセッサは、前記サンプル画像を２つ以上のサンプル画像群に分割し、第１サンプル画像群に含まれる画像に前記ラベルを割り振ることにより第１教師データを生成し、前記第１サンプル画像群の画像と前記第１教師データに基づいて中間学習モデルを生成し、当該中間学習モデルに基づいて前記第１サンプル画像群以外の画像群に含まれる画像を推論することによって生成した教師データを前記第１教師データに追加して第２教師データを生成し、前記サンプル画像と前記第２教師データとに基づいて、前記入力画像に適用するための前記学習モデルを生成する、計測システム。
  9. 　請求項８において、
    　前記少なくとも１つのプロセッサは、前記第１サンプル画像群以外の画像群に含まれる画像を推論することによって生成した教師データに対して統計処理による補正を実行する、計測システム。
  10. 　請求項９において、
    　前記少なくとも１つのプロセッサは、前記半導体の同一箇所を繰り返し撮像して得られる複数の画像に対して前記統計処理による補正を行う、計測システム。
  11. 　請求項９において、
    　前記少なくとも１つのプロセッサは、前記サンプル画像において類似度が高い部分領域を抽出して当該抽出した部分領域に対して前記統計処理による補正を行う、計測システム。
  12. 　請求項９において、
    　前記統計処理による補正は、前記第２教師データにおける、前記ラベルが割り振られた小領域の単位で平行移動あるいは幾何学的変形を施すことである、計測システム。
  13. 　請求項５において、
    　前記教師データは、各画素から前記ラベルが割り振られた小領域の代表位置までの変位量を示す位置情報画像を含み、
    　前記少なくとも１つのプロセッサは、前記位置情報画像を含む前記学習モデルに基づいて、前記入力画像の前記領域分割画像および前記位置情報画像を生成し、前記グループ化された小領域における前記位置情報画像を用いて前記オーバレイ計測を実行する、計測システム。
  14. 　請求項１３において、
    　前記位置情報画像は、統計処理による補正が施された前記教師データを用いて求められた前記変位量を示す、計測システム。
  15. 　請求項１において、
    　前記少なくとも１つのプロセッサは、さらに、前記教師データのレイアウトを変更して変更教師データを生成し、当該変更教師データをレイアウト変更前の前記教師データに追加して更新教師データとする処理と、前記変更教師データから推論した画像を前記サンプル画像に追加して更新サンプル画像とする処理と、を実行し、
    　前記少なくとも１つのプロセッサは、前記更新教師データと前記更新サンプル画像とに基づいて、前記学習モデルと生成する、計測システム。
  16. 　請求項１５において、
    　前記少なくとも１つのプロセッサは、前記教師データに含まれるラベル間の遮蔽を考慮して、前記教師データのレイアウトを変更する、計測システム。
  17. 　請求項１において、
    　前記計測処理は、前記半導体の、オーバレイ計測処理、寸法計測処理、欠陥パターン検出処理、あるいはパターンマッチング処理である、計測システム。
  18. 　所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する方法であって、
    　少なくとも１つのプロセッサが、半導体のサンプル画像から得られる領域分割画像に対して少なくとも１つの計測対象の構造を含むラベルを割り振ることにより教師データを生成することと、
    　前記少なくとも１つのプロセッサが、複数の層から構成されるネットワーク構造に基づいて、前記サンプル画像の前記領域分割画像と前記教師データを用いて、前記学習モデルを生成することと、を含み、
    　前記学習モデルは、前記サンプル画像あるいは前記入力画像から前記教師データあるいは前記領域分割画像を推論するためのパラメータを含む、方法。
  19. 　コンピュータに、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する処理を実行させるためのプログラムを格納する記憶媒体であって、
    　前記プログラムは、前記コンピュータに、
    　半導体のサンプル画像から得られる領域分割画像に対して少なくとも１つの計測対象の構造を含むラベルを割り振ることにより教師データを生成する処理と、
    　前記少なくとも１つのプロセッサが、複数の層から構成されるネットワーク構造に基づいて、前記サンプル画像の前記領域分割画像と前記教師データを用いて、前記学習モデルを生成する処理と、を実行させ、
    　前記学習モデルは、前記サンプル画像あるいは前記入力画像から前記教師データあるいは前記領域分割画像を推論するためのパラメータを含む、記憶媒体。
PCT/JP2019/034050 2019-08-30 2019-08-30 計測システム、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する方法、およびコンピュータに、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する処理を実行させるためのプログラムを格納する記憶媒体 WO2021038815A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201980099234.7A CN114270484A (zh) 2019-08-30 2019-08-30 测量系统、生成在进行包含预定结构的半导体的图像测量时使用的学习模型的方法、以及存储用于使计算机执行生成在进行包含预定结构的半导体的图像测量时使用的学习模型的处理的程序的存储介质
PCT/JP2019/034050 WO2021038815A1 (ja) 2019-08-30 2019-08-30 計測システム、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する方法、およびコンピュータに、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する処理を実行させるためのプログラムを格納する記憶媒体
KR1020227004040A KR20220029748A (ko) 2019-08-30 2019-08-30 계측 시스템, 소정의 구조를 포함하는 반도체의 화상 계측을 행할 때 사용하는 학습 모델을 생성하는 방법, 및 컴퓨터에, 소정의 구조를 포함하는 반도체의 화상 계측을 행할 때 사용하는 학습 모델을 생성하는 처리를 실행시키기 위한 프로그램을 저장하는 기억 매체
US17/634,805 US20220277434A1 (en) 2019-08-30 2019-08-30 Measurement System, Method for Generating Learning Model to Be Used When Performing Image Measurement of Semiconductor Including Predetermined Structure, and Recording Medium for Storing Program for Causing Computer to Execute Processing for Generating Learning Model to Be Used When Performing Image Measurement of Semiconductor Including Predetermined Structure
JP2021541913A JP7341241B2 (ja) 2019-08-30 2019-08-30 計測システム、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する方法、およびコンピュータに、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する処理を実行させるためのプログラムを格納する記憶媒体
TW109122244A TWI766303B (zh) 2019-08-30 2020-07-01 計測系統、產生在進行包含有特定之構造的半導體之畫像計測時所使用的學習模型之方法、以及儲存有用以使電腦實行產生在進行包含有特定之構造的半導體之畫像計測時所使用的學習模型之處理之程式的記錄媒體

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/034050 WO2021038815A1 (ja) 2019-08-30 2019-08-30 計測システム、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する方法、およびコンピュータに、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する処理を実行させるためのプログラムを格納する記憶媒体

Publications (1)

Publication Number Publication Date
WO2021038815A1 true WO2021038815A1 (ja) 2021-03-04

Family

ID=74683410

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/034050 WO2021038815A1 (ja) 2019-08-30 2019-08-30 計測システム、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する方法、およびコンピュータに、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する処理を実行させるためのプログラムを格納する記憶媒体

Country Status (6)

Country Link
US (1) US20220277434A1 (ja)
JP (1) JP7341241B2 (ja)
KR (1) KR20220029748A (ja)
CN (1) CN114270484A (ja)
TW (1) TWI766303B (ja)
WO (1) WO2021038815A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023238384A1 (ja) * 2022-06-10 2023-12-14 株式会社日立ハイテク 試料観察装置および方法
JP7490094B2 (ja) 2020-06-24 2024-05-24 ケーエルエー コーポレイション 機械学習を用いた半導体オーバーレイ測定

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785575B (zh) * 2021-01-25 2022-11-18 清华大学 一种图像处理的方法、装置和存储介质
US20230350394A1 (en) * 2022-04-27 2023-11-02 Applied Materials, Inc. Run-to-run control at a manufacturing system using machine learning

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018506168A (ja) * 2014-12-03 2018-03-01 ケーエルエー−テンカー コーポレイション サンプリング及びフィーチャ選択を伴わない自動欠陥分類
JP2019110120A (ja) * 2017-12-18 2019-07-04 エフ イー アイ カンパニＦｅｉ Ｃｏｍｐａｎｙ 顕微鏡画像の再構成およびセグメント化のための遠隔深層学習のための方法、装置、およびシステム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7873585B2 (en) 2007-08-31 2011-01-18 Kla-Tencor Technologies Corporation Apparatus and methods for predicting a semiconductor parameter across an area of a wafer
US9530199B1 (en) 2015-07-13 2016-12-27 Applied Materials Israel Ltd Technique for measuring overlay between layers of a multilayer structure
KR102137454B1 (ko) 2016-01-29 2020-07-24 주식회사 히타치하이테크 오버레이 오차 계측 장치, 및 컴퓨터 프로그램
WO2019084411A1 (en) * 2017-10-27 2019-05-02 Butterfly Network, Inc. QUALITY INDICATORS FOR COLLECTION AND AUTOMATED MEASUREMENT ON ULTRASONIC IMAGES

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018506168A (ja) * 2014-12-03 2018-03-01 ケーエルエー−テンカー コーポレイション サンプリング及びフィーチャ選択を伴わない自動欠陥分類
JP2019110120A (ja) * 2017-12-18 2019-07-04 エフ イー アイ カンパニＦｅｉ Ｃｏｍｐａｎｙ 顕微鏡画像の再構成およびセグメント化のための遠隔深層学習のための方法、装置、およびシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7490094B2 (ja) 2020-06-24 2024-05-24 ケーエルエー コーポレイション 機械学習を用いた半導体オーバーレイ測定
WO2023238384A1 (ja) * 2022-06-10 2023-12-14 株式会社日立ハイテク 試料観察装置および方法

Also Published As

Publication number Publication date
US20220277434A1 (en) 2022-09-01
JPWO2021038815A1 (ja) 2021-03-04
JP7341241B2 (ja) 2023-09-08
CN114270484A (zh) 2022-04-01
KR20220029748A (ko) 2022-03-08
TWI766303B (zh) 2022-06-01
TW202109339A (zh) 2021-03-01

Similar Documents

Publication Publication Date Title
WO2021038815A1 (ja) 計測システム、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する方法、およびコンピュータに、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する処理を実行させるためのプログラムを格納する記憶媒体
JP7265592B2 (ja) 多層構造体の層間のオーバレイを測定する技法
US20070116357A1 (en) Method for point-of-interest attraction in digital images
EP1791087B1 (en) Method for point-of-interest attraction in digital images
US7102649B2 (en) Image filling method, apparatus and computer readable medium for reducing filling process in processing animation
US20180253861A1 (en) Information processing apparatus, method and non-transitory computer-readable storage medium
US9626761B2 (en) Sampling method and image processing apparatus of CS-RANSAC for estimating homography
CN100577103C (zh) 使用两个图像的图像处理设备和方法
JP6824845B2 (ja) 画像処理システム、装置、方法およびプログラム
US20180064409A1 (en) Simultaneously displaying medical images
CN110555860A (zh) 医学图像中肋骨区域标注的方法、电子设备和存储介质
CN114399485A (zh) 基于残差网络结构的子宫肌瘤目标图像获取方法
WO2018088055A1 (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
JP2003087549A (ja) 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
CN112330787A (zh) 图像标注方法、装置、存储介质和电子设备
JP2005270635A (ja) 画像処理方法及び処理装置
Kawaguchi et al. Image registration methods for contralateral subtraction of chest radiographs
CA2471168C (en) Image filling method, apparatus and computer readable medium for reducing filling process in producing animation
US20230005136A1 (en) Determining a location at which a given feature is represented in medical imaging data
JP2005149165A (ja) 画像合成方法、プログラム、記録媒体、画像合成装置およびシステム
JP2023142112A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19943792

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2021541913

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 20227004040

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19943792

Country of ref document: EP

Kind code of ref document: A1