WO2024116996A1 - 学習モデルの生成方法、情報処理方法、コンピュータプログラム及び情報処理装置 - Google Patents

学習モデルの生成方法、情報処理方法、コンピュータプログラム及び情報処理装置 Download PDF

Info

Publication number
WO2024116996A1
WO2024116996A1 PCT/JP2023/041984 JP2023041984W WO2024116996A1 WO 2024116996 A1 WO2024116996 A1 WO 2024116996A1 JP 2023041984 W JP2023041984 W JP 2023041984W WO 2024116996 A1 WO2024116996 A1 WO 2024116996A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
learning model
learning
information processing
Prior art date
Application number
PCT/JP2023/041984
Other languages
English (en)
French (fr)
Inventor
佑紀 佐藤
Original Assignee
東京エレクトロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 東京エレクトロン株式会社 filed Critical 東京エレクトロン株式会社
Publication of WO2024116996A1 publication Critical patent/WO2024116996A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
    • G01N23/2251—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present disclosure relates to a method for generating a learning model, an information processing method, a computer program, and an information processing device.
  • Patent Document 1 proposes a pattern inspection and measurement device that inspects or measures a target pattern using edge positions extracted from image data obtained by capturing an image of the target pattern using edge extraction parameters. This pattern inspection and measurement device generates edge extraction parameters using a reference pattern that represents a shape that serves as the reference for inspection or measurement, and image data.
  • This disclosure provides a method for generating a learning model that is expected to accurately remove noise from images of a circuit board, an information processing method, a computer program, and an information processing device.
  • a method for generating a learning model involves an information processing device acquiring multiple images of a target circuit board taken in chronological order, generating learning data in which two images selected from the acquired multiple images are associated with one image as an input and the other image as an output, and generating a learning model by machine learning using the learning data that accepts an image of the target circuit board as an input and outputs an image with noise removed from the image.
  • This disclosure is expected to enable accurate noise removal from images of substrates.
  • FIG. 1 is a schematic diagram for explaining an overview of an information processing system according to an embodiment of the present invention
  • 1 is a block diagram showing an example of a configuration of an information processing device according to an embodiment of the present invention
  • FIG. 2 is a schematic diagram showing an example of a configuration of a learning model according to the present embodiment
  • 5 is a flowchart showing an example of a procedure of an imaging process for collecting data performed by the substrate inspection apparatus according to the present embodiment.
  • 1 is a flowchart showing an example of a predetermined procedure for data collection and learning model generation performed by the information processing device according to the present embodiment.
  • 11A and 11B are schematic diagrams for explaining an example of a positional deviation correction process performed by a learning data generating unit; FIG.
  • 11 is a schematic diagram for explaining an example of an image pair generation process. 11 is a flowchart showing an example of a procedure of measurement and inspection processing performed by the information processing device according to the present embodiment. 1 is a schematic diagram showing an example of noise removal by the information processing system according to the present embodiment. FIG.
  • ⁇ System Overview> 1 is a schematic diagram for explaining an overview of an information processing system according to the present embodiment.
  • the information processing system according to the present embodiment is configured to include an information processing device 1 and a substrate inspection device 3.
  • the substrate inspection device 3 according to the present embodiment is equipped with an imaging function such as a SEM (Scanning Electron Microscope) or a TEM (Transmission Electron Microscope) for imaging a wafer (substrate) to be inspected.
  • the substrate inspection device 3 is a device that images a wafer to obtain an image for inspection of the wafer to be processed by a substrate processing device or other device that performs processing such as etching on the semiconductor wafer.
  • the information processing device 1 is a device that performs processing related to controlling and monitoring the operation of the substrate inspection device 3.
  • the information processing device 1 according to this embodiment performs processing to collect SEM images of wafers taken by the substrate inspection device 3, and generate a learning model 5 by performing machine learning using the collected multiple SEM images.
  • the learning model 5 is a learning model that accepts an SEM image taken by the substrate inspection device 3 as an input, and outputs an SEM image with noise removed from this input image.
  • the information processing device 1 also uses the generated learning model 5 to perform processes such as length measurement and defect inspection for the formations on the wafer. That is, the information processing device 1 acquires an SEM image of the wafer taken by the substrate inspection device 3, and inputs the acquired SEM image to the learning model 5. The information processing device 1 acquires an SEM image with noise removed output from the learning model 5, and performs processes such as length measurement and inspection based on the acquired SEM image. This allows the information processing device 1 to perform processes such as length measurement and inspection using the SEM image of the wafer with noise removed, so that it is expected that the accuracy of processes such as length measurement and inspection can be improved compared to the case where an SEM image without noise removal is used. Note that processes such as length measurement and defect inspection of the wafer using the learning model 5 may be performed by the substrate inspection device 3 instead of the information processing device 1.
  • FIG. 2 is a block diagram showing an example of the configuration of an information processing device 1 according to this embodiment.
  • the information processing device 1 according to this embodiment can be realized by installing a predetermined application program, etc., in a general-purpose information processing device such as a personal computer or a server computer.
  • the information processing device 1 is configured with a processing unit 11, a storage unit 12, a communication unit 13, a display unit 14, an operation unit 15, etc. Note that, in this embodiment, the processing is described as being performed by a single information processing device 1, but the processing of the information processing device 1 may be distributed among multiple devices.
  • the processing unit 11 is configured using an arithmetic processing device such as a CPU (Central Processing Unit), an MPU (Micro-Processing Unit), a GPU (Graphics Processing Unit) or a quantum processor, a ROM (Read Only Memory), and a RAM (Random Access Memory).
  • the processing unit 11 reads and executes a program 12a stored in the memory unit 12 to perform various processes, such as a process of collecting SEM images of a wafer taken by the substrate inspection device 3 and generating a learning model 5, and a process of removing noise from the SEM image using the generated learning model 5.
  • the storage unit 12 is configured using a large-capacity storage device such as a hard disk.
  • the storage unit 12 stores various programs executed by the processing unit 11 and various data necessary for the processing of the processing unit 11.
  • the storage unit 12 stores the program 12a executed by the processing unit 11.
  • the storage unit 12 also includes a learning data storage unit 12b that stores learning data used in machine learning to generate the learning model 5, and a model information storage unit 12c that stores information related to the generated learning model 5.
  • the program (computer program, program product) 12a is provided in a form recorded on a recording medium 99 such as a memory card or an optical disk, and the information processing device 1 reads the program 12a from the recording medium 99 and stores it in the memory unit 12.
  • the program 12a may be written to the memory unit 12, for example, during the manufacturing stage of the information processing device 1.
  • the program 12a may be distributed by a remote server device or the like and acquired by the information processing device 1 via communication.
  • the program 12a may be read from the recording medium 99 by a writing device and written to the memory unit 12 of the information processing device 1.
  • the program 12a may be provided in a form distributed via a network, or may be provided in a form recorded on the recording medium 99.
  • the learning data storage unit 12b stores learning data generated based on SEM images of wafers acquired and collected from the substrate inspection device 3.
  • the learning model 5 is configured to receive an SEM image as an input and output an SEM image from which noise has been removed.
  • the learning data used for machine learning of this learning model 5 is data in which two SEM images, an SEM image corresponding to the input to the learning model 5 and an SEM image corresponding to the output of the learning model 5, are associated with each other.
  • the information processing device 1 performs multiple photographing of one inspection object using the substrate inspection device 3.
  • the information processing device 1 selects two SEM images from the multiple SEM images obtained by photographing, generates data in which one of the two SEM images is associated as an input and the other as an output, and stores this data in the learning data storage unit 12b.
  • the information processing device 1 collects SEM images taken of various objects under various conditions, generates a large amount of learning data based on the multiple SEM images taken under various conditions, and stores and accumulates the generated learning data in the learning data storage unit 12b.
  • the wafer to be inspected by the substrate inspection device 3 has irregularities formed on its surface that correspond to, for example, circuit elements or wiring that constitute a semiconductor circuit.
  • the SEM images collected by the information processing device 1 for learning data preferably include various patterns of the shapes of the irregularities formed on the wafer.
  • the images collected by the information processing device 1 may include, for example, images of the internal shape or cross-sectional shape of the wafer.
  • the information processing device 1 it is preferable for the information processing device 1 to include various patterns of boundary information of multiple films that make up the wafer formation.
  • an SEM image is an image of the surface of a wafer captured by scanning an electron beam
  • the SEM images obtained by capturing images with the substrate inspection device 3 may include images obtained by accumulating (averaging) the results of multiple captures (electron beam scans).
  • the SEM images collected by the information processing device 1 for use as learning data include images with various accumulated numbers. It is also preferable that the collected SEM images include images captured at various scanning speeds or images captured at various resolutions.
  • the information processing device 1 according to this embodiment is expected to generate a learning model 5 that accurately removes noise from SEM images by collecting SEM images captured under various conditions and generating learning data.
  • the model information storage unit 12c stores information about the learning model 5 generated by the information processing device 1 through machine learning.
  • the learning model 5 in this embodiment may be a learning model having a configuration such as a DNN (Deep Neural Network), a CNN (Convolutional Neural Network), an FCN (Fully Convolution Network), or a U-Net.
  • the information about the learning model 5 stored in the model information storage unit 12c may include, for example, configuration information indicating the configuration of the learning model, and information such as the values of parameters inside the learning model.
  • the communication unit 13 is connected to the substrate inspection device 3 via a cable such as a communication line or a signal line, and transmits and receives data to and from the substrate inspection device 3 via this cable.
  • the communication unit 13 receives data of the SEM image of the wafer transmitted from the substrate inspection device 3, and provides the received data to the processing unit 11.
  • the display unit 14 is configured using a liquid crystal display or the like, and displays various images and characters based on the processing of the processing unit 11.
  • the display unit 14 displays, for example, an SEM image of a wafer acquired from the substrate inspection device 3, as well as the results of measurement and inspection based on the SEM image.
  • the operation unit 15 accepts user operations and notifies the processing unit 11 of the accepted operations.
  • the operation unit 15 accepts user operations through an input device such as a mechanical button or a touch panel provided on the surface of the display unit 14.
  • the operation unit 15 may also be an input device such as a mouse and a keyboard, and these input devices may be configured to be removable from the information processing device 1.
  • the storage unit 12 may be an external storage device connected to the information processing device 1.
  • the information processing device 1 may be a multi-computer including multiple computers, or may be a virtual machine virtually constructed by software.
  • the information processing device 1 is not limited to the above configuration, and may not include, for example, the display unit 14 and the operation unit 15.
  • the processing unit 11 reads out and executes the program 12a stored in the memory unit 12, whereby the information acquisition unit 11a, learning data generation unit 11b, model generation unit 11c, noise removal unit 11d, and length measurement/inspection processing unit 11e are realized in the processing unit 11 as software functional units.
  • the information acquisition unit 11a performs a process of acquiring an SEM image of the wafer to be inspected, captured by the substrate inspection device 3, by communicating with the substrate inspection device 3 via the communication unit 13.
  • the information acquisition unit 11a also acquires, together with the SEM image, information about the shooting conditions when the SEM image was captured, such as the number of integrations, scanning speed, and resolution, from the substrate inspection device 3.
  • the information acquisition unit 11a associates the SEM image acquired from the substrate inspection device 3 with information about the shooting conditions and stores them in the memory unit 12.
  • the information acquisition unit 11a when acquiring SEM images to generate learning data to be used for machine learning of the learning model 5, acquires multiple SEM images obtained by photographing the same inspection object multiple times in chronological order from the substrate inspection device 3. The information acquisition unit 11a associates these multiple SEM images with conditions related to the shooting conditions and stores them in the memory unit 12. Note that when photographing the same inspection object multiple times, the shooting conditions are the same. When photographing an inspection object different from this inspection object, the shooting conditions may be changed. It is preferable that the SEM images collected by the information acquisition unit 11a to generate learning data include those photographed under various shooting conditions.
  • the information acquisition unit 11a when acquiring an SEM image to perform length measurement or inspection on a wafer to be inspected, the information acquisition unit 11a only needs to acquire one SEM image obtained by photographing the object to be inspected at least once. However, in this case, the information acquisition unit 11a may acquire multiple SEM images obtained by photographing multiple times. In this case, the information acquisition unit 11a may or may not acquire information regarding the photographing conditions along with the SEM image.
  • the learning data generation unit 11b performs processing to generate learning data (teacher data) for machine learning to generate a learning model 5 based on the multiple SEM images acquired by the information acquisition unit 11a.
  • the information acquisition unit 11a acquires multiple SEM images obtained by photographing the same inspection object multiple times in time series.
  • the learning data generation unit 11b appropriately extracts two SEM images from the multiple SEM images.
  • the learning data generation unit 11b generates data in which one of the two extracted SEM images is used as an input image (source image) to the learning model 5 and the other SEM image is used as an output image (target image, correct value) of the learning model 5.
  • the learning data generation unit 11b stores the generated data in the learning data storage unit 12b as learning data.
  • the learning data generating unit 11b may also perform processing to correct misalignment in the photographing position of the inspection object for multiple SEM images obtained by photographing the same inspection object multiple times in chronological order.
  • the learning data generating unit 11b can, for example, identify the position in multiple SEM images where the inspection object is captured, cut out an image area of a predetermined size in which the inspection object is captured from each SEM image, and use the image obtained by cutting out the area as the corrected SEM image.
  • the learning data generating unit 11b generates learning data based on the corrected images.
  • the model generation unit 11c performs a process of generating a learning model 5 by performing a machine learning process using the learning data stored in the learning data storage unit 12b.
  • the learning model 5 is a learning model that accepts an input of an SEM image, generates an SEM image with noise removed from the input SEM image, and outputs the SEM image.
  • the machine learning performed by the model generation unit 11c to generate the learning model 5 is machine learning that employs the Noise2Noise method.
  • a learning model that converts an image with noise into an image with noise removed can be generated by having the learning model learn to convert an image with noise into an image with noise removed. Since the Noise2Noise machine learning is an existing technology, a detailed description is omitted in this embodiment.
  • the SEM image acquired from the substrate inspection device 3 is an image containing noise
  • the multiple SEM images acquired by capturing images multiple times in a time series are all images containing noise.
  • the learning data generation unit 11b generates learning data by extracting and matching two images from these multiple SEM images, so that both SEM images included in the learning data are images containing noise.
  • the model generation unit 11c performs so-called supervised machine learning by using one SEM image included in the learning data as an input image to the learning model 5 and the other SEM image as a correct value for the output image of the learning model 5, thereby determining the internal parameters of the learning model 5 and generating the learning model 5.
  • the model generation unit 11c stores information related to the generated learning model 5 in the model information storage unit 12c.
  • the noise removal unit 11d uses the learning model 5 that has been generated in advance by machine learning to perform a process of removing noise from the SEM image acquired from the substrate inspection device 3.
  • the noise removal unit 11d reproduces the learning model 5 that has been machine-learned based on the information stored in the model information storage unit 12c.
  • the noise removal unit 11d inputs the SEM image of the wafer to be inspected acquired by the information acquisition unit 11a from the substrate inspection device 3 to the learning model 5, and removes noise from the SEM image by acquiring the SEM image output by the learning model 5.
  • the measurement and inspection processing unit 11e performs processing such as measurement and inspection on the wafer to be inspected that is shown in the SEM image based on the SEM image from which noise has been removed by the noise removal unit 11d.
  • the measurement and inspection processing unit 11e recognizes the uneven pattern of the surface or cross section of the wafer shown in the SEM image, for example, by performing image processing such as edge detection on the SEM image.
  • the measurement and inspection processing unit 11e can perform measurement by measuring the distance between two specified corners included in the uneven pattern, for example.
  • the measurement and inspection processing unit 11e can also inspect the presence or absence of defects in the wafer to be inspected by checking, for example, whether the uneven pattern matches a specified pattern, or whether the measurement result is within a specified range.
  • the measurement and inspection processing unit 11e displays the measurement result or inspection result on the display unit 14.
  • the length measurement/inspection processing unit 11e may perform length measurement by any method, and may perform inspection by any method.
  • the information processing device 1 may be configured to perform only one of length measurement and inspection based on SEM images, and not the other. Furthermore, the information processing device 1 may perform processing up to removing noise from the SEM images, and processing such as length measurement and inspection based on the SEM images from which noise has been removed may be performed by another device.
  • FIG. 3 is a schematic diagram showing an example of the configuration of the learning model 5 according to the present embodiment.
  • the learning model 5 according to the present embodiment is configured as, for example, a DNN or a CNN, and receives an SEM image of a predetermined size as an input, and outputs an SEM image of the predetermined size.
  • the SEM image output by the learning model 5 is an SEM image obtained by removing noise from the input SEM image.
  • the information processing device 1 can perform processes such as length measurement and inspection of the wafer processed by the substrate inspection device 3 with high accuracy based on the SEM image captured by the substrate inspection device 3. Before performing the processes such as length measurement and inspection, the information processing device 1 collects SEM images captured by the substrate inspection device 3, and performs a process of generating the learning model 5 by machine learning using the collected SEM images.
  • FIG. 4 is a flow chart showing an example of the procedure of the photographing process for data collection performed by the substrate inspection device 3 according to this embodiment.
  • the substrate inspection device 3 performs the photographing process of the wafer for data collection, for example, in response to control from the information processing device 1.
  • the substrate inspection device 3 determines the position of the portion of the wafer to be photographed (step S1).
  • the substrate inspection device 3 photographs an SEM image by scanning the target portion of the wafer for which the photographing position has been determined with an electron beam (step S2).
  • the substrate inspection device 3 determines whether or not a predetermined number of SEM images have been photographed, for example, as specified by the information processing device 1 (step S3). If the predetermined number of photographs have not been taken (S3: NO), the substrate inspection device 3 returns to the process at step S2 and repeatedly photographs the same portion of the wafer.
  • the substrate inspection device 3 transmits the predetermined number of captured SEM images to the information processing device 1 (step S4). At this time, the substrate inspection device 3 may transmit information such as the photographing conditions to the information processing device 1 along with the multiple SEM images.
  • the substrate inspection device 3 determines whether or not photographing of all locations that require photographing of the wafer to be inspected has been completed (step S5). If photographing of all required locations has not been completed (S5: NO), the substrate inspection device 3 returns to step S1, positions another location on the wafer, and captures SEM images. When photographing of all required locations has been completed (S5: YES), the substrate inspection device 3 terminates processing.
  • the number of times that the board inspection device 3 photographs one location does not have to be constant; for example, a different number of photographs may be taken for each photographing location.
  • the number of photographs taken at each location may be determined by the board inspection device 3 or by the user.
  • the board inspection device 3 may, for example, randomly determine the number of photographs, or may evaluate the amount of noise or clarity of the first photographed image and determine the number of photographs based on this evaluation result, or may determine the number of photographs by other methods.
  • the board inspection device 3 may also accept input of the number of photographs taken from the user for each photographing location, or may determine the number of photographs based on a setting of the number of photographs made in advance by the user.
  • FIG. 5 is a flowchart showing an example of a predetermined procedure for data collection and learning model generation performed by the information processing device 1 according to this embodiment.
  • the information acquisition unit 11a of the processing unit 11 of the information processing device 1 according to this embodiment communicates with the substrate inspection device 3 via the communication unit 13, thereby acquiring multiple SEM images of the same location on the wafer captured multiple times by the substrate inspection device 3 (step S21).
  • the learning data generating unit 11b of the processing unit 11 performs a positional deviation correction process for the multiple SEM images acquired in step S21 to correct the deviation in the position at which the target area is photographed between the images (steps S22 to S25).
  • FIG. 6 is a schematic diagram for explaining an example of the positional misalignment correction process performed by the learning data generation unit 11b.
  • multiple SEM images first to third images taken of the same location on the wafer are arranged vertically.
  • the results of processing on each SEM image are arranged horizontally from left to right in chronological order, in the order of pre-correction image ⁇ calculation of the amount of misalignment ⁇ determination of the cutout size ⁇ post-correction image.
  • Each image shown in FIG. 6 is an SEM image of a portion of the wafer to be inspected, for example a portion where four annular formations are arranged vertically and horizontally.
  • the substrate inspection device 3 focuses an electron beam onto the wafer to be inspected and scans the wafer with the electron beam to obtain an SEM image. Therefore, even if the wafer is fixed and the same location is continuously photographed, an error in the scanning position of the electron beam may cause a shift in the position of the object to be inspected in the captured image.
  • the information processing device 1 corrects the positional shifts of multiple SEM images in advance and generates learning data based on the corrected SEM images, which is expected to improve the accuracy of noise removal in the learning model 5 generated by machine learning using this learning data.
  • the learning data generating unit 11b uses, for example, the first SEM image as a base image, and calculates the amount of deviation of the position of the object to be inspected shown in the image for this base image and each image from the second image onwards. At this time, the learning data generating unit 11b moves, for example, the second image up, down, left and right relative to the reference image, and searches for a position where the object to be inspected shown in both images matches. In the example shown in FIG. 6, the second image is moved a few pixels to the upper left, so that the object to be inspected shown in the reference image and the second image match.
  • the learning data generating unit 11b calculates the amount (number of pixels) by which the second image is moved from its original position at this time as the amount of deviation from the reference image.
  • the amount of deviation of the second image is a few pixels to the right and a few pixels below, and in this figure, this amount of deviation is shown as a black area to the right and below the second image.
  • the learning data generation unit 11b similarly calculates the amount of deviation from the reference image for the third and subsequent images.
  • the amount of deviation for the third image is a few pixels to the top and a few pixels to the left.
  • the learning data generation unit 11b calculates the amount of deviation from the reference image in each of the four directions, up, down, left, and right, from the second image to the last image (step S22). After that, the learning data generation unit 11b calculates the maximum amount of deviation for each direction based on the multiple amounts of deviation calculated for each of the four directions, up, down, left, and right (step S23).
  • the learning data generating unit 11b determines the size of the image area to be cut out from each of the multiple images based on the maximum amount of shift calculated in the four directions, up, down, left, and right.
  • the learning data generating unit 11b determines the cutout size to be a size obtained by reducing the size of the original image by the maximum amount of shift calculated in each direction, up, down, left, and right (step S24).
  • the cutout size for each image is displayed by superimposing a rectangular frame.
  • the learning data generation unit 11b cuts out an image area of the determined cutout size from the first image (reference image). For the second and subsequent images, the learning data generation unit 11b cuts out an image area of the determined cutout size from the image after alignment with the reference image (the image in "Calculate the amount of misalignment" in Figure 6). As a result, the learning data generation unit 11b cuts out image areas of the determined cutout size from each of the multiple images (step S25), and the multiple cut-out images become corrected images.
  • the method of correcting misalignment shown in Figure 6 is one example and is not limited to this, and the information processing device 1 may correct misalignment using any method.
  • FIG. 7 is a schematic diagram for explaining an example of the image pair generation process.
  • N SEM images are arranged horizontally from the first to the Nth, and the same images are arranged in two rows, one above the other.
  • the Nth image is omitted and shown as a dashed frame
  • the first image is omitted and shown as a dashed frame.
  • Each image shown in FIG. 7 is an SEM image of a portion of the wafer to be inspected, for example, a portion where multiple linear formations extending vertically are arranged horizontally.
  • the learning data generating unit 11b generates (N-1) sets of image pairs by pairing the first image and the second image, the second image and the third image, ..., pairing the (N-1)th image and the Nth image. That is, the learning data generating unit 11b generates (N-1) sets of image pairs by pairing an image at a certain point in time and an image at the next point in time from N SEM images obtained by photographing the same location in chronological order.
  • the learning data generating unit 11b stores data in which one of the two images of the generated image pairs is associated as an input image to the learning model 5 and the other as an output image of the learning model 5 in the learning data storage unit 12b as learning data (step S27).
  • the learning data generation unit 11b determines whether the collection of learning data is complete depending on whether sufficient learning data for generating the learning model 5 has been accumulated (step S28). If the collection of learning data is not complete (S28: NO), the learning data generation unit 11b returns the process to step S21, acquires multiple SEM images taken by the substrate inspection device 3 of a different location on the same wafer or a different wafer, and repeats the above process. Note that in this embodiment, the number of multiple SEM images taken by the substrate inspection device 3 of the same location may be different for each shooting location. Therefore, the number of SEM images acquired by the learning data generation unit 11b in step S21 may be different for each loop of steps S21 to S28.
  • the model generation unit 11c of the processing unit 11 reads out a plurality of pieces of learning data stored in the learning data storage unit 12b (step S29).
  • the model generation unit 11c uses the learning data read out in step S29 to perform so-called supervised machine learning (step S30) by using one of the pair of SEM images included in the learning data as an input image to the learning model 5 and the other as an output image (correct value) of the learning model 5, thereby generating the learning model 5.
  • the model generation unit 11c stores information about the learning model 5 generated by the machine learning in step S30 in the model information storage unit 12c (step S31), and ends the process.
  • ⁇ Use of learning model> 8 is a flow chart showing an example of the procedure of measurement and inspection processing performed by the information processing device 1 according to this embodiment.
  • various processes are performed on a wafer in a substrate processing device, and the wafer is photographed by the substrate inspection device 3 during or after these processes.
  • the information acquisition unit 11a of the processing unit 11 of the information processing device 1 acquires an SEM image of the wafer photographed by the substrate inspection device 3 by communicating with the substrate inspection device 3 via the communication unit 13 (step S41).
  • the noise removal unit 11d of the processing unit 11 reads out the information stored in the model information storage unit 12c to construct the learning model 5, and inputs the SEM image acquired in step S41 to the learning model 5 (step S42).
  • the noise removal unit 11d acquires the SEM image (the SEM image from which noise has been removed) output by the learning model 5 in response to the input of the SEM image in step S42 (step S43).
  • FIG. 9 is a schematic diagram showing an example of noise removal by the information processing system according to this embodiment.
  • Nine SEM images are arranged in a 3 ⁇ 3 matrix in FIG. 9.
  • the top three SEM images are SEM images acquired by the information processing device 1 from the substrate inspection device 3.
  • the SEM image taken once shown on the left side of the top row is an SEM image obtained by the substrate inspection device 3 performing one electron beam scan.
  • the average SEM image taken four times shown in the center of the top row is an SEM image obtained by calculating the average value of four SEM images taken by the substrate inspection device performing four electron beam scans.
  • the average SEM image taken 16 times shown on the right side of the top row is an SEM image obtained by calculating the average value of 16 SEM images taken by the substrate inspection device performing 16 electron beam scans.
  • the three SEM images in the middle of FIG. 9 are SEM images obtained by performing image processing using a noise removal filter on the top three SEM images.
  • the noise removal filter used is based on BM3D (Block Matching and 3D collaborative filtering), but as noise removal using BM3D is an existing technology, a detailed explanation will be omitted.
  • the three SEM images in the lower row of Figure 9 are SEM images in which noise has been removed from the three SEM images in the upper row using learning model 5 according to this embodiment.
  • noise removal is performed using a filter on the SEM image taken once as shown in Figure 9, noise cannot be completely removed, and an SEM image in which the inspection object is unclear is obtained.
  • noise removal is performed using learning model 5 according to this embodiment on an SEM image taken once, noise is largely removed, and an SEM image in which the inspection object is clearly depicted is obtained.
  • noise removal is performed using learning model 5
  • noise removal is achieved to the same extent as when an SEM image taken on an average of 16 shots is used.
  • noise removal is performed using a filter, noise removal is possible to the same extent as when learning model 5 is used on an SEM image taken on an average of 16 shots, but it takes a long time to take 16 shots.
  • the measurement and inspection processing unit 11e of the processing unit 11 After removing noise from the SEM image in steps S42 and S43, the measurement and inspection processing unit 11e of the processing unit 11 performs measurement processing on the formation on the wafer captured in the SEM image (step S44). In the measurement processing, the measurement and inspection processing unit 11e performs edge detection on the SEM image, for example, to grasp the shape of the unevenness of the formation, and calculates the distance between predetermined points of the unevenness (for example, corners). The measurement and inspection processing unit 11e calculates the actual distance based on the calculated distance on the SEM image and the magnification of the image. In the case of the SEM image shown in Figure 9, the measurement and inspection processing unit 11e can measure distances such as the diameter or circumference of a ring or cylindrical structure, for example.
  • the measurement and inspection processing unit 11e judges whether or not there is an abnormality in the formation on the wafer based on a comparison between the measurement result of step S44 and a predetermined threshold value (step S45). If it is judged that there is an abnormality (S45: YES), the measurement and inspection processing unit 11e notifies the abnormality by displaying a warning message on the display unit 14, for example (step S46), and ends the process. If it is judged that there is no abnormality (S45: NO), the measurement and inspection processing unit 11e ends the process without notifying the abnormality.
  • the information processing device 1 acquires a plurality of SEM images of the wafer to be inspected, which are obtained by the substrate inspection device 3 photographing the wafer multiple times in a time series.
  • the information processing device 1 generates learning data in which one SEM image is used as an input and the other SEM image is used as an output, out of two images selected from the acquired plurality of SEM images.
  • the information processing device 1 performs machine learning processing using the generated learning data, thereby generating a learning model 5 that receives an SEM image of the wafer to be inspected as an input and outputs an SEM image in which the noise of the image has been removed. This allows the information processing system to remove noise from the SEM image using the generated learning model 5, and is expected to improve the accuracy of wafer length measurement or inspection using the SEM image.
  • SEM images are used as the images acquired from the substrate inspection device 3, but this is not limited to SEM images, and TEM images or various other types of images may be used.
  • the multiple SEM images acquired by the information processing device 1 from the substrate inspection device 3 may include images of different conditions. Images of different conditions may include, for example, images of different patterns of uneven shapes formed on the substrate to be inspected, images of different integrated numbers, images of different scanning speeds, or images of different resolutions.
  • the two SEM images associated as input and output in the learning data are SEM images of the same conditions.
  • the learning model 5 learn images of various conditions, and it is expected that the accuracy of noise removal by the learning model 5 will be improved.
  • the above conditions are merely examples and are not limited to these, and the multiple images may include SEM images of various other conditions. For example, when the images handled by the information processing system are color images, images of different conditions such as the number of colors, resolution, or number of gradations for each color such as RGB or CMY may be included.
  • the information processing device 1 based on multiple SEM images captured in chronological order by the substrate inspection device 3, the information processing device 1 generates learning data in which one image included in the multiple SEM images is used as an input and the image following this one image is used as an output. For example, the information processing device 1 can generate learning data for two chronologically consecutive images by using the earlier image as an input and matching the next image as an output. The information processing device 1 can generate multiple pieces of learning data by extracting multiple sets of two consecutive images from the multiple SEM images. This allows the information processing device 1 to easily generate learning data by matching multiple SEM images in chronological order.
  • the information processing device 1 may generate learning data by, for example, randomly extracting two images from multiple SEM images with the same conditions and appropriately associating them with input and output. Learning data may be generated by using a chronologically later SEM image as input to the learning model 5 and an earlier SEM image as the output (correct value).
  • the information processing device 1 performs a process of correcting the position of the inspection target shown in each SEM image for multiple SEM images acquired from the substrate inspection device 3, and generates learning data based on the corrected image. For example, the information processing device 1 selects one reference image from the multiple SEM images, and calculates the amount of positional deviation from the reference image for each image other than the reference image. The information processing device 1 determines a cutout size based on the maximum value of the calculated amount of deviation, cuts out an image of this size from each image, and can use the cutout image as the corrected image. By generating learning data by correcting the positional deviation in advance, it is expected that the accuracy of noise removal by the learning model 5 generated by machine learning using this learning data can be improved.
  • the information processing device 1 acquires an SEM image of the wafer to be inspected from the substrate inspection device 3, inputs the acquired SEM image to the trained learning model 5, and acquires the SEM image output by the learning model 5. This allows the information processing device 1 to acquire an SEM image from which noise has been removed by the learning model 5. Based on the acquired SEM image, the information processing device 1 performs length measurement or inspection of the inspection object captured in this SEM image. This allows the information processing device 1 to perform processing such as length measurement and inspection based on the SEM image from which noise has been removed, which is expected to improve the accuracy of length measurement and inspection.
  • the information processing device 1 performs both the process of generating the learning model 5 and the process of using the generated learning model 5, but this is not limited to this. Both processes may be performed by different devices, or three or more devices may share the processes appropriately.
  • the generated learning model 5 may be used by the substrate inspection device 3, and the substrate inspection device may perform the process of removing noise from the SEM image.
  • the substrate processed by the substrate processing device and inspected by the substrate inspection device 3 is a semiconductor wafer, the substrate is not limited to a semiconductor wafer, and may be various substrates such as a glass substrate.
  • the photographing by the substrate inspection device 3 is not limited to an SEM or TEM, and may be performed by a CCD (Charge Coupled Device), for example.
  • the SEM images in Figures 6, 7, and 9 are merely examples, and the images handled by the information processing device 1 are not limited to the images shown as examples, and may be any image.
  • learning data is generated by combining two SEM images containing noise based on multiple SEM images obtained by photographing the same location multiple times.
  • EUV Extreme Ultraviolet Lithography
  • TEM photography it may be difficult to photograph the same location multiple times.
  • the information processing device 1 according to the modified example generates learning data based on multiple noisy images (images containing noise) obtained by photographing different locations.
  • the information processing device 1 obtains, from among a plurality of noisy images obtained by photographing, for example, a noisy image A obtained by photographing a portion A of a board and a noisy image B obtained by photographing a portion B.
  • the information processing device 1 performs image processing using an appropriate noise removal filter on each of the noisy images A and B to obtain clean images (images from which noise has been removed) A and B in which the noise of the noisy images A and B has been removed.
  • the information processing device 1 performs deconvolution processing using one pair of the noisy image B and the clean image B to extract the noise component B contained in the noisy image B.
  • the information processing device 1 can obtain a noisy image A' by performing processing to convolve the extracted noise component B with the other clean image A.
  • the original noisy image A and the noisy image A' obtained by the above processing are images taken of the same location A on the board, but contain different noises.
  • the information processing device 1 can use the combination of these two noisy images A and A' as learning data for machine learning of Noise2Noise. Furthermore, when performing machine learning other than Noise2Noise, for example, the combination of the clean image A and the noisy image A' may be used as learning data.
  • clean image A is generated by removing noise from noisy image A
  • noise component B extracted from noisy image B is superimposed on clean image A
  • an image with low noise that can be treated as a clean image may be obtained at the shooting stage, and this image may be treated as clean image A and noise component B may be superimposed on it to generate noisy image A'.
  • the two images A and B may not be images of the same board, but may be images of different boards.
  • noisy image A' may be generated by superimposing noise component B extracted from noisy image B photographed from a second board on clean image A (or clean image A with low noise at the shooting stage) obtained by removing noise from noisy image A photographed from a first board.
  • the information processing device 1 includes a noise removal unit that removes noise from a noisy image to generate a clean image, a noise component extraction unit that extracts noise components by deconvolution of the noisy image and the clean image, and a noise superimposition unit that convolves and superimposes the extracted noise components on another clean image.
  • the information processing device 1 acquires two noisy images captured at different locations, acquires two clean images using the noise removal unit, extracts noise components based on one of the noisy image and the clean image, and superimposes the noise components on the other clean image to acquire another noisy image.
  • the information processing device 1 can combine the acquired noisy image with the original noisy image to use it as learning data and perform machine learning of Noise2Noise. Alternatively, the information processing device 1 may combine the acquired noisy image with the clean image to use it as learning data.
  • the method for generating learning data by the information processing device 1 according to the modified example can be applied to SEM images, TEM images, or various other images that contain noise.
  • Information processing device (computer) 3 Substrate inspection device 5: Learning model 11: Processing section 11a: Information acquisition section 11b: Learning data generation section 11c: Model generation section 11d: Noise removal section 11e: Length measurement and inspection processing section 12: Storage section 12a: Program (computer program) 12b Learning data storage unit 12c Model information storage unit 13 Communication unit 14 Display unit 15 Operation unit

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

基板を撮影した画像から精度よくノイズを除去することが期待できる学習モデルの生成方法、情報処理方法、コンピュータプログラム及び情報処理装置を提供する。　本実施の形態に係る学習モデルの生成方法は、情報処理装置が、時系列的に撮影された対象基板の複数の画像を取得し、取得した複数の画像から選択した２つの画像のうち、一方の画像を入力とし、他方の画像を出力として対応付けた学習用データを生成し、対象基板を撮影した画像を入力として受け付けて当該画像のノイズを除去した画像を出力する学習モデルを、前記学習用データを用いた機械学習により生成する。前記複数の画像には、異なる条件の画像を含み、前記学習用データにおいて入力及び出力として対応付けられる前記２つの画像は、同じ条件の画像であることが好ましい。

Description

学習モデルの生成方法、情報処理方法、コンピュータプログラム及び情報処理装置
　本開示は、学習モデルの生成方法、情報処理方法、コンピュータプログラム及び情報処理装置に関する。
　特許文献１においては、対象パターンを撮像して得られた画像データからエッジ抽出パラメータを用いて抽出したエッジの位置を用いて対象パターンの検査又は計測を行うパターン検査・計測装置が提案されている。このパターン検査・計測装置は、検査又は計測の基準となる形状を表す基準パターンと画像データとを用いてエッジ抽出パラメータを生成する。
特開２０１４－８１２２０号公報
　本開示は、基板を撮影した画像から精度よくノイズを除去することが期待できる学習モデルの生成方法、情報処理方法、コンピュータプログラム及び情報処理装置を提供する。
　一実施形態に係る学習モデルの生成方法は、情報処理装置が、時系列的に撮影された対象基板の複数の画像を取得し、取得した複数の画像から選択した２つの画像のうち、一方の画像を入力とし、他方の画像を出力として対応付けた学習用データを生成し、対象基板を撮影した画像を入力として受け付けて当該画像のノイズを除去した画像を出力する学習モデルを、前記学習用データを用いた機械学習により生成する。
　本開示によれば、基板を撮影した画像から精度よくノイズを除去することが期待できる。
本実施の形態に係る情報処理システムの概要を説明する為の模式図である。 本実施の形態に係る情報処理装置の一構成例を示すブロック図である。 本実施の形態に係る学習モデルの一構成例を示す模式図である。 本実施の形態に係る基板検査装置が行うデータ収集のための撮影処理の手順の一例を示すフローチャートである。 本実施の形態に係る情報処理装置が行うデータ収集及び学習モデル生成の所定の手順の一例を示すフローチャートである。 学習用データ生成部が行う位置ズレ補正の処理の一例を説明するための模式図である。 画像ペアの生成処理の一例を説明するための模式図である。 本実施の形態に係る情報処理装置が行う測長及び検査の処理の手順の一例を示すフローチャートである。 本実施の形態に係る情報処理システムによるノイズ除去の一例を示す模式図である。
　本開示の実施形態に係る情報処理システムの具体例を、以下に図面を参照しつつ説明する。なお、本開示はこれらの例示に限定されるものではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
＜システム概要＞
　図１は、本実施の形態に係る情報処理システムの概要を説明する為の模式図である。本実施の形態に係る情報処理システムは、情報処理装置１及び基板検査装置３を備えて構成されている。本実施の形態に係る基板検査装置３は、検査対象となるウェハ（基板）を撮影するＳＥＭ（Scanning Electron Microscope、走査電子顕微鏡）又はＴＥＭ（Transmission Electron Microscope、透過電子顕微鏡）等の撮影機能を備えている。基板検査装置３は、例えば半導体のウェハに対してエッチング等の処理を施す基板処理装置等の装置により処理が行われるウェハの検査等のために、このウェハを撮影して撮影画像を取得する装置である。
　情報処理装置１は、基板検査装置３の動作の制御及び監視等に係る処理を行う装置である。本実施の形態に係る情報処理装置１は、基板検査装置３が撮影したウェハのＳＥＭ画像を収集し、収集した複数のＳＥＭ画像を用いた機械学習を行うことにより学習モデル５を生成する処理を行う。学習モデル５は、基板検査装置３が撮影したＳＥＭ画像を入力として受け付け、この入力画像からノイズを除去したＳＥＭ画像を出力する学習モデルである。
　また情報処理装置１は、生成した学習モデル５を利用して、ウェハ上の形成物に関する測長及び欠陥検査等の処理を行う。即ち情報処理装置１は、基板検査装置３が撮影したウェハのＳＥＭ画像を取得し、取得したＳＥＭ画像を学習モデル５へ入力する。情報処理装置１は、学習モデル５が出力するノイズを除去したＳＥＭ画像を取得し、取得したＳＥＭ画像を基に測長及び検査等の処理を行う。これにより情報処理装置１は、ノイズが除去されたウェハのＳＥＭ画像を用いて測長及び検査等の処理を行うことができるため、ノイズ除去を行っていないＳＥＭ画像を用いる場合と比較して、測長及び検査等の処理の精度を向上することが期待できる。なお学習モデル５を利用したウェハの測長及び欠陥検査等の処理は、情報処理装置１ではなく、基板検査装置３にて行われてもよい。
　図２は、本実施の形態に係る情報処理装置１の一構成例を示すブロック図である。本実施の形態に係る情報処理装置１は、例えばパーソナルコンピュータ又はサーバコンピュータ等の汎用的な情報処理装置に所定のアプリケーションプログラム等をインストールすることにより実現され得る。情報処理装置１は、処理部１１、記憶部１２、通信部１３、表示部１４及び操作部１５等を備えて構成されている。なお本実施の形態においては、１つの情報処理装置１にて処理が行われるものとして説明を行うが、情報処理装置１の処理を複数の装置が分散して行ってもよい。
　処理部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）又は量子プロセッサ等の演算処理装置、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を用いて構成されている。処理部１１は、記憶部１２に記憶されたプログラム１２ａを読み出して実行することにより、基板検査装置３が撮影したウェハのＳＥＭ画像を収集して学習モデル５を生成する処理、及び、生成した学習モデル５を利用してＳＥＭ画像のノイズを除去する処理等の種々の処理を行う。
　記憶部１２は、例えばハードディスク等の大容量の記憶装置を用いて構成されている。記憶部１２は、処理部１１が実行する各種のプログラム、及び、処理部１１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部１２は、処理部１１が実行するプログラム１２ａを記憶する。また記憶部１２には、学習モデル５を生成する機械学習に用いる学習用データを記憶する学習用データ記憶部１２ｂと、生成した学習モデル５に関する情報を記憶するモデル情報記憶部１２ｃとが設けられている。
　本実施の形態においてプログラム（コンピュータプログラム、プログラム製品）１２ａは、メモリカード又は光ディスク等の記録媒体９９に記録された態様で提供され、情報処理装置１は記録媒体９９からプログラム１２ａを読み出して記憶部１２に記憶する。ただし、プログラム１２ａは、例えば情報処理装置１の製造段階において記憶部１２に書き込まれてもよい。また例えばプログラム１２ａは、遠隔のサーバ装置等が配信するものを情報処理装置１が通信にて取得してもよい。例えばプログラム１２ａは、記録媒体９９に記録されたものを書込装置が読み出して情報処理装置１の記憶部１２に書き込んでもよい。プログラム１２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９９に記録された態様で提供されてもよい。
　学習用データ記憶部１２ｂは、基板検査装置３から取得して収集したウェハのＳＥＭ画像に基づいて生成された学習用データを記憶する。詳細は後述するが、本実施の形態に係る学習モデル５は、ＳＥＭ画像を入力として受け付け、このＳＥＭ画像からノイズを除去したＳＥＭ画像を出力する構成である。この学習モデル５の機械学習に用いられる学習用データは、学習モデル５への入力に対応するＳＥＭ画像と、学習モデル５の出力に対応するＳＥＭ画像との２つのＳＥＭ画像を対応付けたデータである。本実施の形態において情報処理装置１は、１つの検査対象に対して基板検査装置３による複数回の撮影を行う。情報処理装置１は、撮影により得られた複数のＳＥＭ画像から２つのＳＥＭ画像を選択し、２つのＳＥＭ画像の一方を入力とし、他方を出力として対応付けたデータを学習用データとして生成し、学習用データ記憶部１２ｂに記憶する。
　なお本実施の形態において情報処理装置１は、様々な対象及び様々な条件で撮影されたＳＥＭ画像を収集し、様々な条件で撮影された複数のＳＥＭ画像を基に多数の学習用データを生成し、生成した学習用データを学習用データ記憶部１２ｂに記憶して蓄積する。基板検査装置３の検査対象となるウェハには、例えば半導体回路を構成する回路素子又は配線等に相当する凹凸が表面に形成されている。本実施の形態において情報処理装置１が学習用データのために収集するＳＥＭ画像には、ウェハに形成された凹凸の形状について様々なパターンのものを含むことが好ましい。
　また学習用データとしてウェハの撮影したＴＥＭ画像等が用いられる場合、情報処理装置１が収集する画像には、例えばウェハの内部形状又は断面形状等の画像が含まれてよい。この場合に情報処理装置１は、ウェハの形成物を構成する複数の膜の境界情報等について様々なパターンのものを含むことが好ましい。本実施の形態において情報処理装置１は、ウェハの形成物の構造について様々なパターンを含む画像を収集して学習用データを生成することが好ましい。
　またＳＥＭ画像は電子線を走査することでウェハの表面を撮影した画像であり、基板検査装置３の撮影により得られるＳＥＭ画像には、複数回の撮影（電子線の走査）の結果を積算（平均）して得られる画像が含まれ得る。本実施の形態において情報処理装置１が学習用データのために収集するＳＭＥ画像には、様々な積算数のものを含むことが好ましい。また収集するＳＥＭ画像には、様々な走査速度で撮影された画像、又は、様々な解像度で撮影された画像等を含むことが好ましい。本実施の形態に係る情報処理装置１は、様々な条件で撮影されたＳＥＭ画像を収集して学習用データを生成することで、ＳＥＭ画像からのノイズ除去を精度よく行う学習モデル５を生成することが期待できる。
　モデル情報記憶部１２ｃは、情報処理装置１が機械学習により生成した学習モデル５に関する情報を記憶する。本実施の形態に係る学習モデル５は、例えばＤＮＮ（Deep Neural Network）、ＣＮＮ（Convolutional Neural Network）、ＦＣＮ（Fully Convolution Network）又はＵ－Ｎｅｔ等の構成の学習モデルが採用され得る。モデル情報記憶部１２ｃが記憶する学習モデル５に関する情報には、例えば学習モデルがどのような構成であるかを示す構成情報、及び、学習モデルの内部のパラメータの値等の情報が含まれ得る。
　通信部１３は、通信線又は信号線等のケーブルを介して基板検査装置３に接続され、このケーブルを介して基板検査装置３との間でデータの送受信を行う。本実施の形態において通信部１３は、基板検査装置３から送信されるウェハのＳＥＭ画像のデータを受信し、受信したデータを処理部１１へ与える。
　表示部１４は、液晶ディスプレイ等を用いて構成されており、処理部１１の処理に基づいて種々の画像及び文字等を表示する。本実施の形態において表示部１４は、例えば基板検査装置３から取得したウェハのＳＥＭ画像の表示、並びに、ＳＥＭ画像に基づく測長及び検査等の結果の表示等を行う。
　操作部１５は、ユーザの操作を受け付け、受け付けた操作を処理部１１へ通知する。例えば操作部１５は、機械式のボタン又は表示部１４の表面に設けられたタッチパネル等の入力デバイスによりユーザの操作を受け付ける。また例えば操作部１５は、マウス及びキーボード等の入力デバイスであってよく、これらの入力デバイスは情報処理装置１に対して取り外すことが可能な構成であってもよい。
　なお記憶部１２は、情報処理装置１に接続された外部記憶装置であってよい。また情報処理装置１は、複数のコンピュータを含んで構成されるマルチコンピュータであってよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。また情報処理装置１は、上記の構成に限定されず、例えば表示部１４及び操作部１５等を備えていなくてもよい。
　また本実施の形態に係る情報処理装置１には、記憶部１２に記憶されたプログラム１２ａを処理部１１が読み出して実行することにより、情報取得部１１ａ、学習用データ生成部１１ｂ、モデル生成部１１ｃ、ノイズ除去部１１ｄ及び測長・検査処理部１１ｅ等が、ソフトウェア的な機能部として処理部１１に実現される。
　情報取得部１１ａは、通信部１３にて基板検査装置３との間で通信を行うことにより、基板検査装置３が撮影した検査対象のウェハのＳＥＭ画像を取得する処理を行う。また情報取得部１１ａは、ＳＥＭ画像と共に、このＳＥＭ画像を撮影した際の撮影条件、例えば積算数、走査速度及び解像度等の条件に関する情報を基板検査装置３から取得する。情報取得部１１ａは、基板検査装置３から取得したＳＥＭ画像と撮影条件に関する情報とを対応付けて記憶部１２に記憶する。
　また本実施の形態において、学習モデル５の機械学習に使用する学習用データを生成するためにＳＥＭ画像を取得する場合、情報取得部１１ａは、同一の検査対象物を時系列的に複数回撮影して得られた複数のＳＥＭ画像を基板検査装置３から取得する。情報取得部１１ａは、これら複数のＳＥＭ画像と撮影条件に関する条件とを対応付けて記憶部１２に記憶する。なお、同一の検査対象物を複数回撮影する場合、撮影条件は同じであるものとする。この検査対象物とは異なる検査対象物を撮影する場合には、撮影条件は変更され得る。情報取得部１１ａが学習用データを生成するために収集するＳＥＭ画像は、様々な撮影条件で撮影されたものが含まれることが好ましい。
　また本実施の形態において、検査対象のウェハについて測長又は検査等を行うためにＳＥＭ画像を取得する場合、情報取得部１１ａは、検査対象物について少なくとも１回の撮影を行って得られた１つのＳＥＭ画像を取得すればよい。ただしこの場合に情報取得部１１ａは、複数回の撮影により得られた複数枚のＳＥＭ画像を取得してもよい。またこの場合に情報取得部１１ａは、ＳＥＭ画像と共に撮影条件に関する情報を取得してもよく、取得しなくてもよい。
　学習用データ生成部１１ｂは、情報取得部１１ａが取得した複数のＳＥＭ画像を基に、学習モデル５を生成する機械学習を行うための学習用データ（教師データ）を生成する処理を行う。上述のように本実施の形態において情報取得部１１ａは、同一の検査対象物について時系列的に複数回撮影して得られた複数のＳＥＭ画像を取得する。学習用データ生成部１１ｂは、この複数のＳＥＭ画像の中から、適宜に２つのＳＥＭ画像を抽出する。学習用データ生成部１１ｂは、抽出した２つのＳＥＭ画像のうち、一方のＳＥＭ画像を学習モデル５への入力画像（ソース画像）とし、他方のＳＥＭ画像を学習モデル５の出力画像（ターゲット画像、正解値）として対応付けたデータを生成する。学習用データ生成部１１ｂは、生成したデータを学習用データとして学習用データ記憶部１２ｂに記憶する。
　また学習用データ生成部１１ｂは、同一の検査対象物について時系列的に複数回撮影して得られた複数のＳＥＭ画像について、検査対象物の撮影位置のズレを補正する処理を行ってよい。学習用データ生成部１１ｂは、例えば複数のＳＥＭ画像について検査対象物が写されている位置を特定し、各ＳＥＭ画像から検査対象物が写された所定サイズの画像領域を切り抜き、切り抜いて得られた画像を補正後のＳＥＭ画像とすることができる。学習用データ生成部１１ｂは、補正後の画像を基に学習用データの生成を行う。
　モデル生成部１１ｃは、学習用データ記憶部１２ｂに記憶された学習用データを用いた機械学習の処理を行うことにより、学習モデル５を生成する処理を行う。本実施の形態において学習モデル５は、ＳＥＭ画像の入力を受け付けて、入力されたＳＥＭ画像からノイズを除去したＳＥＭ画像を生成して出力する学習モデルである。本実施の形態においてモデル生成部１１ｃが学習モデル５を生成するために行う機械学習は、Noise2Noiseの手法を採用した機械学習である。Noise2Noiseの機械学習では、ノイズを含む画像からノイズを含む画像への変換を学習モデルに学習させることにより、ノイズを含む画像からノイズを除去した画像へ変換する学習モデルを生成することができる。Noise2Noiseの機械学習は、既存の技術であるため、本実施の形態において詳細な説明を省略する。
　本実施の形態において基板検査装置３から取得されるＳＥＭ画像はノイズを含む画像であり、時系列的に複数回撮影して得られた複数のＳＥＭ画像は全てノイズを含む画像である。上述のように学習用データ生成部１１ｂは、これら複数のＳＥＭ画像から２つの画像を抽出して対応付けることで学習用データを生成するため、学習用データに含まれる２つのＳＥＭ画像は共にノイズを含む画像である。モデル生成部１１ｃは、学習用データに含まれる一方のＳＥＭ画像を学習モデル５への入力画像とし、他方のＳＥＭ画像を学習モデル５の出力画像の正解値として、いわゆる教師ありの機械学習を行うことで、学習モデル５の内部パラメータを決定し、学習モデル５を生成することができる。モデル生成部１１ｃは、生成した学習モデル５に関する情報をモデル情報記憶部１２ｃに記憶する。
　ノイズ除去部１１ｄは、予め機械学習により生成された学習モデル５を利用して、基板検査装置３から取得したＳＥＭ画像のノイズを除去する処理を行う。ノイズ除去部１１ｄは、モデル情報記憶部１２ｃに記憶された情報に基づいて機械学習済の学習モデル５を再現する。ノイズ除去部１１ｄは、情報取得部１１ａが基板検査装置３から取得した検査対象のウェハのＳＥＭ画像を学習モデル５へ入力し、学習モデル５が出力するＳＥＭ画像を取得することにより、ＳＥＭ画像のノイズを除去する。
　測長・検査処理部１１ｅは、ノイズ除去部１１ｄがノイズを除去したＳＥＭ画像に基づいて、このＳＥＭ画像に写された検査対象のウェハに対する測長及び検査等の処理を行う。測長・検査処理部１１ｅは、例えばＳＥＭ画像に対するエッジ検出等の画像処理を行うことにより、このＳＥＭ画像に写されたウェハの表面又は断面等の凹凸形状のパターンを認識する。測長・検査処理部１１ｅは、例えば凹凸形状のパターンに含まれる所定の２つの角部分の間の距離を測定することで、測長を行うことができる。また測長・検査処理部１１ｅは、例えば凹凸形状のパターンが所定のパターンに一致するか否か、又は、測長結果が所定範囲内であるか否か等を調べることにより、検査対象のウェハについて欠陥の有無を検査することができる。測長・検査処理部１１ｅは、測長結果又は検査結果等を表示部１４に表示する。
　なお測長・検査処理部１１ｅが行うこれらの処理は一例であって、これに限るものではない。測長・検査処理部１１ｅは、どのような方法で測長を行ってもよく、どのような方法で検査を行ってもよい。情報処理装置１は、ＳＥＭ画像に基づく測長及び検査のいずれか一方のみ行い、他方を行わない構成であってもよい。また情報処理装置１は、ＳＥＭ画像からノイズを除去する処理までを行い、ノイズを除去されたＳＥＭ画像に基づく測長及び検査等の処理は別の装置により行われてもよい。
＜学習モデルの生成＞
　図３は、本実施の形態に係る学習モデル５の一構成例を示す模式図である。本実施の形態に係る学習モデル５は、例えばＤＮＮ又はＣＮＮ等の構成をなし、所定サイズのＳＥＭ画像を入力として受け付けて、所定サイズのＳＥＭ画像を出力する。学習モデル５が出力するＳＥＭ画像は、入力されたＳＥＭ画像からノイズを除去したＳＥＭ画像である。学習モデル５を利用することで、情報処理装置１は、基板検査装置３にて処理されるウェハに対する測長及び検査等の処理を、基板検査装置３が撮影したＳＥＭ画像に基づいて精度よく行うことができる。情報処理装置１は、この測長及び検査等の処理を行う前に、基板検査装置３により撮影されるＳＥＭ画像を収集し、収集したＳＥＭ画像を用いた機械学習により学習モデル５を生成する処理を行う。
　図４は、本実施の形態に係る基板検査装置３が行うデータ収集のための撮影処理の手順の一例を示すフローチャートである。本実施の形態に係る基板検査装置３は、例えば情報処理装置１からの制御に応じて、データ収集のためのウェハの撮影処理を行う。基板検査装置３は、撮影の対象となるウェハに対して、撮影対象となる箇所の位置決めを行う（ステップＳ１）。基板検査装置３は、撮影位置を決定したウェハの対象箇所に対して、電子線を走査することでＳＥＭ画像の撮影を行う（ステップＳ２）。基板検査装置３は、例えば情報処理装置１により指定された所定数のＳＥＭ画像の撮影を行ったか否かを判定する（ステップＳ３）。所定数の撮影を行っていない場合（Ｓ３：ＮＯ）、基板検査装置３は、ステップＳ２へ処理を戻し、ウェハの同じ個所に対して繰り返し撮影を行う。
　所定数の撮影を行った場合（Ｓ３：ＹＥＳ）、基板検査装置３は、撮影した所定数のＳＥＭ画像を情報処理装置１へ送信する（ステップＳ４）。このときに基板検査装置３は、撮影の条件などの情報を複数のＳＥＭ画像と共に情報処理装置１へ送信してよい。基板検査装置３は、検査対象のウェハについて撮影が必要な全ての箇所の撮影を終了したか否かを判定する（ステップＳ５）。必要な全ての箇所について撮影を終了していない場合（Ｓ５：ＮＯ）、基板検査装置３は、ステップＳ１へ処理を戻し、ウェハの別の箇所に対して位置決めを行って、ＳＥＭ画像の撮影を行う。必要な全ての箇所について撮影を終了した場合（Ｓ５：ＹＥＳ）、基板検査装置３は、処理を終了する。
　なお基板検査装置３が一つの箇所を撮影する回数（ステップＳ３にて判定する所定数）は、一定でなくてよく、例えば撮影箇所毎に異なる回数の撮影が行われてよい。この場合に各箇所における撮影回数は、基板検査装置３により決定されてもよく、ユーザにより決定されてもよい。基板検査装置３は、例えば撮影回数をランダムに決定してよく、また例えば１枚目の撮影画像についてノイズの量又は鮮明度等を評価し、この評価結果に応じて撮影回数を決定してもよく、これら以外の方法で撮影回数を決定してもよい。また基板検査装置３は、例えば撮影箇所毎にユーザに対して撮影回数の入力を受け付けてもよく、また例えばユーザが予め行った撮影回数の設定に基づいて撮影回数を決定してもよい。
　図５は、本実施の形態に係る情報処理装置１が行うデータ収集及び学習モデル生成の所定の手順の一例を示すフローチャートである。本実施の形態に係る情報処理装置１の処理部１１の情報取得部１１ａは、通信部１３にて基板検査装置３との通信を行うことにより、基板検査装置３がウェハの同一箇所を複数回撮影した複数のＳＥＭ画像を取得する（ステップＳ２１）。
　次いで処理部１１の学習用データ生成部１１ｂは、ステップＳ２１にて取得した複数のＳＥＭ画像について、画像間で対象箇所が撮影されている位置のズレを補正する位置ズレ補正の処理を行う（ステップＳ２２～Ｓ２５）。
　図６は、学習用データ生成部１１ｂが行う位置ズレ補正の処理の一例を説明するための模式図である。図６には、ウェハの同一箇所を撮影した複数のＳＥＭ画像（１枚目画像～３枚目画像）が縦方向に並べて示されている。また図６には横方向に各ＳＥＭ画像に対する処理の結果が左から右へ時系列に、補正前画像→ズレ量を算出→切り抜きサイズを決定→補正後画像の順で並べて示されている。図６に例示する各画像は、検査対象のウェハの一部分、例えば４つの円環状の形成物が縦横に並べて配置された部分を撮影したＳＥＭ画像である。
　基板検査装置３は、検査対象のウェハに対して電子線を収束して照射し、この電子線をウェハ上で走査することでＳＥＭ画像を得る。このため、ウェハを不動に固定して同じ箇所を連続的に撮影した場合であっても、電子線の走査位置の誤差により、撮影画像に写された検査対象物の位置にズレが生じ得る。本実施の形態に係る情報処理装置１は、複数のＳＥＭ画像の位置ズレを予め補正し、補正後のＳＥＭ画像を基に学習用データを生成することで、この学習用データを用いた機械学習により生成される学習モデル５のノイズ除去の精度を向上することが期待できる。
　学習用データ生成部１１ｂは、例えば１枚目のＳＥＭ画像を基本画像とし、この基本画像と２枚目以降の各画像とについて、画像に写された検査対象物の位置のズレ量を算出する。このときに学習用データ生成部１１ｂは、例えば基準画像に対して２枚目の画像を上下左右方向へ移動させ、両画像に写された検査対象物が一致する位置を探索する。図６に示す例では、２枚目画像を左上方向へ数画素分だけ移動させることで、基準画像及び２枚目画像にそれぞれ写された検査対象物が一致している。学習用データ生成部１１ｂは、このときの移動で２枚目画像が当初の位置から移動された量（画素数）を、基準画像に対するズレ量として算出する。図６に示す例において２枚目画像のズレ量は、右側に数画素、且つ、下側に数画素であり、本図ではこのズレ量を２枚目画像の右側及び下側に黒塗りの領域として示している。
　学習用データ生成部１１ｂは、３枚目以降の画像についても同様に基準画像に対するズレ量を算出する。図６に示す例において３枚目画像のズレ量は、上側に数画素、且つ、左側に数画素である。学習用データ生成部１１ｂは、２枚目の画像から最後の画像まで基準画像に対するズレ量を上下左右の四方向についてそれぞれ算出する（ステップＳ２２）。その後、学習用データ生成部１１ｂは、上下左右の四方向についてそれぞれ算出した複数のズレ量を基に、各方向についてズレ量の最大値を算出する（ステップＳ２３）。
　次いで学習用データ生成部１１ｂは、算出した上下左右の四方向に関するズレ量の最大値に基づいて、複数の各画像から切り抜く画像領域のサイズを決定する。学習用データ生成部１１ｂは、元の画像のサイズから、上下左右の各方向について算出したズレ量の最大値だけサイズを縮めたサイズを切り抜きサイズとする（ステップＳ２４）。図６に示す例では、各画像に対する切り抜きサイズを四角枠で重ねて表示している。
　次いで学習用データ生成部１１ｂは、１枚目画像（基準画像）から決定した切り抜きサイズの画像領域を切り抜く。また学習用データ生成部１１ｂは、２枚目以降の画像については基準画像に対する位置合わせを行った後の画像（図６の「ズレ量を算出」の画像）から決定した切り抜きサイズの画像領域を切り抜く。これにより学習用データ生成部１１ｂは、決定した切り抜きサイズの画像領域を複数の画像からそれぞれ切り抜き（ステップＳ２５）、切り抜いた複数の画像を補正後の画像とする。なお、図６に示したズレの補正方法は、一例であってこれに限るものではなく、情報処理装置１はどのような方法でズレの補正を行ってもよい。
　次いで学習用データ生成部１１ｂは、位置ズレを補正した複数のＳＥＭ画像を基に、複数組の画像ペアを生成する（ステップＳ２６）。図７は、画像ペアの生成処理の一例を説明するための模式図である。図７に示す例では、Ｎ枚のＳＥＭ画像を１枚目からＮ枚目まで順に横方向へ並べ、更に同じものを上下の二段に並べて示してある。ただし、図７上段ではＮ枚目の画像を破線枠として省略し、図７下段では１枚目の画像を破線枠として省略して示してある。また図７に示す各画像は、検査対象のウェハの一部分、例えば上下方向に延びる直線状の複数の形成物が左右方向に並べて配置された部分を撮影したＳＥＭ画像である。
　学習用データ生成部１１ｂは、１枚目の画像及び２枚目の画像をペアとし、２枚目の画像及び３枚目の画像をペアとし、…、（Ｎ－１）枚目の画像及びＮ枚目の画像をペアとすることで、（Ｎ－１）組の画像ペアを生成する。即ち、学習用データ生成部１１ｂは、同一箇所を時系列的に撮影して得られたＮ枚のＳＥＭ画像から、ある時点の画像と、その次の時点の画像との２つの画像をペアとすることで、（Ｎ－１）組の画像ペアを生成する。学習用データ生成部１１ｂは、生成した画像ペアの２枚の画像の一方を学習モデル５への入力画像とし、他方を学習モデル５の出力画像として対応付けたデータを、学習用データとして学習用データ記憶部１２ｂに記憶する（ステップＳ２７）。
　学習用データ生成部１１ｂは、学習モデル５を生成するための学習用データが十分に蓄積されたか否かに応じて、学習用データの収集が完了したか否かを判定する（ステップＳ２８）。学習用データの収集が完了していない場合（Ｓ２８：ＮＯ）、学習用データ生成部１１ｂは、ステップＳ２１へ処理を戻し、同じウェハの別の箇所又は別のウェハについて基板検査装置３が撮影した複数のＳＥＭ画像を取得して、上述の処理を繰り返し行う。なお本実施の形態において基板検査装置３が同一箇所について撮影された複数のＳＥＭ画像の枚数は、撮影箇所毎に異なる枚数であってよい。このため学習用データ生成部１１ｂがステップＳ２１にて取得するＳＥＭ画像の枚数は、ステップＳ２１～Ｓ２８のループ毎に異なる枚数であってよい。
　学習用データの収集が完了した場合（Ｓ２８：ＹＥＳ）、処理部１１のモデル生成部１１ｃは、学習用データ記憶部１２ｂに記憶された複数の学習用データを読み出す（ステップＳ２９）。モデル生成部１１ｃは、ステップＳ２９にて読み出した学習用データを用い、学習用データに含まれる２つのＳＥＭ画像のペアの一方を学習モデル５への入力画像とし、他方を学習モデル５の出力画像（の正解値）として、いわゆる教師ありの機械学習を行うことで（ステップＳ３０）、学習モデル５を生成する。モデル生成部１１ｃは、ステップＳ３０の機械学習により生成された学習モデル５に関する情報をモデル情報記憶部１２ｃに記憶して（ステップＳ３１）、処理を終了する。
＜学習モデルの利用＞
　図８は、本実施の形態に係る情報処理装置１が行う測長及び検査の処理の手順の一例を示すフローチャートである。本実施の形態に係る情報処理システムでは、例えば基板処理装置においてウェハに対する様々な処理が行われ、これらの処理の過程で又は処理の終了後に基板検査装置３にてウェハの撮影が行われる。情報処理装置１の処理部１１の情報取得部１１ａは、通信部１３にて基板検査装置３との通信を行うことにより、基板検査装置３が撮影したウェハのＳＥＭ画像を取得する（ステップＳ４１）。
　処理部１１のノイズ除去部１１ｄは、モデル情報記憶部１２ｃに記憶された情報を読み出して学習モデル５を構成し、ステップＳ４１にて取得したＳＥＭ画像を学習モデル５へ入力する（ステップＳ４２）。ノイズ除去部１１ｄは、ステップＳ４２のＳＥＭ画像の入力に応じて学習モデル５が出力するＳＥＭ画像（ノイズが除去されたＳＥＭ画像）を取得する（ステップＳ４３）。
　図９は、本実施の形態に係る情報処理システムによるノイズ除去の一例を示す模式図である。図９には３×３のマトリクス状に９枚のＳＥＭ画像が並べて示されている。上段の３枚のＳＥＭ画像は、基板検査装置３から情報処理装置１が取得するＳＥＭ画像である。上段左側に示す１回撮影のＳＥＭ画像は、基板検査装置３が１回の電子線の走査を行って得られたＳＥＭ画像である。上段中央に示す４回撮影平均のＳＥＭ画像は、基板検査装置が４回の電子線の走査を行って得た４つのＳＥＭ画像の平均値を算出することで得られるＳＥＭ画像である。上段右側に示す１６回撮影平均のＳＥＭ画像は、基板検査装置が１６回の電子線の走査を行って得た１６枚のＳＥＭ画像の平均値を算出することで得られるＳＥＭ画像である。また、図９の中段の３つのＳＥＭ画像は、上段の３つのＳＥＭ画像に対してノイズ除去のフィルタを用いた画像処理をそれぞれ施したＳＥＭ画像である。なおノイズ除去フィルタには、ＢＭ３Ｄ（Block Matching and 3D collaborative filtering）の方式のものを採用しているが、ＢＭ３Ｄによるノイズ除去は既存の技術であるため、詳細な説明は省略する。図９の下段の３つＳＥＭ画像は、上段の３つのＳＥＭ画像に対して本実施の形態に係る学習モデル５を用いてノイズ除去をそれぞれ行ったＳＥＭ画像である。
　図９に示した１回撮影のＳＥＭ画像を基にフィルタによるノイズ除去を行った場合、ノイズが除去しきれず、検査対象物が不鮮明なＳＥＭ画像が得られている。これに対して、１回撮影のＳＥＭ画像を基に本実施の形態に係る学習モデル５を用いたノイズ除去を行った場合、ノイズは大幅に除去され、検査対象物が鮮明に写されたＳＥＭ画像が得られている。学習モデル５を用いたノイズ除去では、１回撮影のＳＥＭ画像を元にした場合であっても、１６回撮影平均のＳＥＭ画像を元にした場合と同程度のノイズ除去が実現されている。フィルタによるノイズ除去でも、１６回撮影平均のＳＥＭ画像を元にした場合には、学習モデル５を用いた場合と同程度のノイズ除去が可能ではあるものの、１６回の撮影に多大な時間を要する。
　ステップＳ４２及びＳ４３にてＳＥＭ画像のノイズを除去した後、処理部１１の測長・検査処理部１１ｅは、ＳＥＭ画像に写されたウェハ上の形成物に対する測長処理を行う（ステップＳ４４）。測長処理において測長・検査処理部１１ｅは、例えばＳＥＭ画像に対するエッジ検出を行って形成物の凹凸の形状を把握し、凹凸の所定箇所（例えば角部分など）の間の距離を算出する。測長・検査処理部１１ｅは、算出したＳＥＭ画像上の距離と、撮影の倍率とに基づいて、実際の距離を算出する。図９に示したＳＥＭ画像の場合、測長・検査処理部１１ｅは、例えば円環又は円筒状の構造物について直径又は円周等の距離を測定することができる。
　測長・検査処理部１１ｅは、ステップＳ４４の測長の結果と、予め定められた閾値との比較に基づき、ウェハ上の形成物に対する異常の有無を判定する（ステップＳ４５）。異常が有ると判定した場合（Ｓ４５：ＹＥＳ）、測長・検査処理部１１ｅは、例えば表示部１４に警告メッセージを表示して異常を通知し（ステップＳ４６）、処理を終了する。異常がないと判定した場合（Ｓ４５：ＮＯ）、測長・検査処理部１１ｅは、異常の通知を行うことなく、処理を終了する。
＜まとめ＞
　以上の構成の本実施の形態に係る情報処理システムでは、基板検査装置３が時系列的に複数回撮影して得られた検査対象のウェハに関する複数のＳＥＭ画像を情報処理装置１が取得する。情報処理装置１は、取得した複数のＳＥＭ画像から選択した２つの画像のうち、一方のＳＥＭ画像を入力とし、他方のＳＥＭ画像を出力として対応付けた学習用データを生成する。情報処理装置１は、生成した学習用データを用いた機械学習の処理を行うことにより、検査対象のウェハを撮影したＳＥＭ画像を入力として受け付けた当該画像のノイズを除去したＳＥＭ画像を出力する学習モデル５を生成する。これにより情報処理システムは、生成した学習モデル５を用いてＳＥＭ画像のノイズを除去することができ、ＳＥＭ画像を用いたウェハの測長又は検査等の精度を向上することが期待できる。
　なお本実施の形態においては、基板検査装置３から取得する画像としてＳＥＭ画像を扱っているが、これに限るものではなく、ＴＥＭ画像又はこれら以外の種々の画像が採用されてよい。
　また本実施の形態に係る情報処理システムでは、情報処理装置１が基板検査装置３から取得する複数のＳＥＭ画像には、異なる条件の画像が含まれてよい。条件が異なる画像には、例えば検査対象の基板に形成された凹凸の形状のパターンが異なるもの、積算数が異なるもの、走査速度が異なるもの、又は、解像度が異なるもの等が含まれ得る。ただし、学習用データにおいて入出力として対応付ける２つのＳＥＭ画像は、同じ条件のＳＥＭ画像である。これらの条件が異なる複数のＳＥＭ画像を用いて機械学習を行うことにより、学習モデル５に様々な条件の画像を学習させることができ、学習モデル５によるノイズ除去の精度を向上することが期待できる。なお上記の条件は一例であってこれに限るものではなく、複数の画像にはこれら以外の様々な条件のＳＥＭ画像が含まれ得る。例えば情報処理システムが扱う画像がカラーのものである場合、ＲＧＢ又はＣＭＹ等の各色に関する色数、分解能又は階調数等の条件について、異なる条件の画像を含めてよい。
　また本実施の形態に係る情報処理システムでは、基板検査装置３が時系列的に撮影した複数のＳＥＭ画像を基に、情報処理装置１は、この複数のＳＥＭ画像に含まれる一の画像を入力とし、この一の画像より後の画像を出力として対応付けた学習用データを生成する。情報処理装置１は、例えば時系列的に連続する２つの画像について、先の画像を入力とし、次の画像を出力として対応付けて学習用データを生成することができる。情報処理装置１は、複数のＳＥＭ画像から連続する２つの画像を複数組抽出することで学習用データを複数生成することができる。これにより情報処理装置１は、複数のＳＥＭ画像を時系列順に対応付けていくことで容易に学習用データを生成することができる。
　なお複数のＳＥＭ画像を基に学習用データを生成する方法は、上記の方法に限らない。情報処理装置１は、例えば条件が同じ複数のＳＥＭ画像からランダムに２つの画像を抽出して適宜に入力及び出力に対応付けることで学習用データを生成してもよい。時系列的に後のＳＥＭ画像を学習モデル５の入力とし、時系列的に先のＳＥＭ画像を出力（正解値）として学習用データを生成してもよい。
　また本実施の形態に係る情報処理システムでは、基板検査装置３から取得した複数のＳＥＭ画像に対して、情報処理装置１は、各ＳＥＭ画像に写された検査対象の位置を補正する処理を行い、補正後の画像を基に学習用データを生成する。例えば情報処理装置１は、複数のＳＥＭ画像から１つの基準画像を選択し、基準画像以外の各画像について基準画像に対する位置のズレ量を算出する。情報処理装置１は、算出したズレ量の最大値に基づいて切り抜きサイズを決定し、各画像からこのサイズの画像を切り抜き、切り抜いた画像を補正後の画像とすることができる。位置のズレを予め補正して学習用データを生成することによって、この学習用データを用いた機械学習により生成される学習モデル５によるノイズ除去の精度を向上することが期待できる。
　また本実施の形態に係る情報処理システムでは、基板検査装置３から検査対象のウェハを撮影したＳＥＭ画像を情報処理装置１が取得し、取得したＳＥＭ画像を学習済の学習モデル５へ入力し、学習モデル５が出力するＳＥＭ画像を取得する。これにより情報処理装置１は、学習モデル５によりノイズを除去されたＳＥＭ画像を取得することができる。情報処理装置１は、取得したＳＥＭ画像を基に、このＳＥＭ画像に写された検査対象の測長又は検査等を行う。これにより情報処理装置１は、ノイズを除去されたＳＥＭ画像を基に測長及び検査等の処理を行うことができ、測長及び検査等の精度を向上することが期待できる。
　なお本実施の形態においては、学習モデル５を生成する処理と、生成された学習モデル５を利用する処理との両方を情報処理装置１が行っているが、これに限るものではない。両処理をそれぞれ別の装置が行ってもよく、３つ以上の装置が適宜に処理を分担して行ってもよい。また生成された学習モデル５を基板検査装置３が利用し、基板検査装置がＳＥＭ画像のノイズを除去する処理を行ってもよい。また基板処理装置が処理し、基板検査装置３が検査する基板として半導体のウェハを例に説明を行ったが、基板は半導体のウェハに限らず、例えばガラス基板などの種々の基板であってよい。また基板検査装置３による撮影はＳＥＭ又はＴＥＭに限らず、例えばＣＣＤ（Charge coupled Device）等による撮影が行われてもよい。また図６，図７及び図９のＳＥＭ画像は単なる例示であり、情報処理装置１が扱う画像は例示した画像に限定されるものではなく、どのような画像であってもよい。
＜学習用データの生成に関する変形例＞
　上述の実施の形態においては、同一箇所を複数回撮影して得られる複数のＳＥＭ画像を基に、ノイズを含む２つのＳＥＭ画像を組み合わせることで学習用データを生成している。ＥＵＶ（Extreme Ultraviolet Lithography）露光又はＴＥＭ等の撮影では、同一箇所を複数回撮影することが難しい場合がある。変形例に係る情報処理装置１は、異なる箇所を撮影して得られる複数のノイジー画像（ノイズを含む画像）を基に、学習用データを生成する。
　変形例に係る情報処理装置１は、撮影により得られた複数のノイジー画像の中から、例えば基板の箇所Ａを撮影して得られたノイジー画像Ａと箇所Ｂを撮影して得られたノイジー画像Ｂとを取得する。情報処理装置１は、ノイジー画像Ａ，Ｂに対して適宜のノイズ除去フィルタを用いた画像処理をそれぞれ行うことで、ノイジー画像Ａ，Ｂのノイズを除去したクリーン画像（ノイズが除去された画像）Ａ，Ｂを得る。情報処理装置１は、一方のノイジー画像Ｂ及びクリーン画像Ｂの組を用いて逆畳み込みの処理を行い、ノイジー画像Ｂに含まれるノイズ成分Ｂを抽出する。情報処理装置１は、もう一方のクリーン画像Ａに対して抽出したノイズ成分Ｂを畳み込む処理を行うことで、ノイジー画像Ａ´を得ることができる。
　元のノイジー画像Ａと、上記の処理により得られたノイジー画像Ａ´とは、基板の同一箇所Ａを撮影した画像であるが、異なるノイズが含まれる画像である。情報処理装置１は、この２つのノイジー画像Ａ，Ａ´を組み合わせたものを学習用データとし、Noise2Noiseの機械学習に用いることができる。またNoise2Noiseではない機械学習を行う場合には、例えばクリーン画像Ａ及びノイジー画像Ａ´を組み合わせたものを学習用データとして用いてもよい。
　なお上記の例では、ノイジー画像Ａからノイズを除去してクリーン画像Ａを生成し、このクリーン画像Ａにノイジー画像Ｂから抽出したノイズ成分Ｂを重畳しているが、これに限るものではない。例えば撮影の段階でノイズが少なくクリーン画像として扱うことが可能な画像を取得し、この画像を上記のクリーン画像Ａとしてノイズ成分Ｂを重畳し、ノイジー画像Ａ´を生成してもよい。また２つの画像Ａ，Ｂは、同じ基板を撮影した画像ではなく、それぞれ異なる基板を撮影した画像であってよい。例えば、第１の基板を撮影したノイジー画像Ａからノイズを除去したクリーン画像Ａ（又は撮影段階でノイズが少ないクリーン画像Ａ）に対して、第２の基板を撮影したノイジー画像Ｂから抽出したノイズ成分Ｂを重畳してノイジー画像Ａ´を生成してもよい。
　以上の構成の変形例に係る情報処理装置１は、ノイジー画像からノイズを除去してクリーン画像を生成するノイズ除去部と、このノイジー画像及びクリーン画像を逆畳み込みによりノイズ成分を抽出するノイズ成分抽出部と、抽出したノイズ成分を他のクリーン画像に畳み込んで重畳するノイズ重畳部とを備える。情報処理装置１は、異なる箇所を撮影した２つのノイジー画像を取得し、ノイズ除去部により２つのクリーン画像を取得し、一方のノイジー画像及びクリーン画像を基にノイズ成分を抽出し、ノイズ成分を他方のクリーン画像に重畳して別のノイジー画像を取得する。情報処理装置１は、得られたノイジー画像と元のノイジー画像とを組み合わせて学習用データとし、Noise2Noiseの機械学習を行うことができる。又は、情報処理装置１は、得られたノイジー画像とクリーン画像とを組み合わせて学習用データとして用いてもよい。
　なお変形例に係る情報処理装置１による学習用データの生成手法は、ＳＥＭ画像、ＴＥＭ画像又はその他のノイズを含む種々の画像に対して適用され得る。
　今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本開示の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　各実施形態に記載した事項は相互に組み合わせることが可能である。また、請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも１つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載してもよい。
　１　情報処理装置（コンピュータ）
　３　基板検査装置
　５　学習モデル
　１１　処理部
　１１ａ　情報取得部
　１１ｂ　学習用データ生成部
　１１ｃ　モデル生成部
　１１ｄ　ノイズ除去部
　１１ｅ　測長・検査処理部
　１２　記憶部
　１２ａ　プログラム（コンピュータプログラム）
　１２ｂ　学習用データ記憶部
　１２ｃ　モデル情報記憶部
　１３　通信部
　１４　表示部
　１５　操作部
 

Claims (17)

  1. 　情報処理装置が、
    　時系列的に撮影された対象基板の複数の画像を取得し、
    　取得した複数の画像から選択した２つの画像のうち、一方の画像を入力とし、他方の画像を出力として対応付けた学習用データを生成し、
    　対象基板を撮影した画像を入力として受け付けて当該画像のノイズを除去した画像を出力する学習モデルを、前記学習用データを用いた機械学習により生成する、
    　学習モデルの生成方法。
  2. 　前記複数の画像には、異なる条件の画像を含み、
    　前記学習用データにおいて入力及び出力として対応付けられる前記２つの画像は、同じ条件の画像である、
    　請求項１に記載の学習モデルの生成方法。
  3. 　前記条件には、前記対象基板に形成された形成物の構造のパターンを含む、
    　請求項２に記載の学習モデルの生成方法。
  4. 　取得する各画像は、複数回の撮影結果を積算して得られる画像であり、
    　前記条件には、各画像の積算数を含む、
    　請求項２に記載の学習モデルの生成方法。
  5. 　取得する画像は、走査電子顕微鏡が前記対象基板を撮影した画像であり、
    　前記条件には、前記走査電子顕微鏡による走査速度を含む、
    　請求項２に記載の学習モデルの生成方法。
  6. 　前記条件には、撮影により得られる画像の解像度を含む、
    　請求項２に記載の学習モデルの生成方法。
  7. 　前記複数の画像に含まれる一の画像を入力とし、時系列的な撮影順で前記一の画像の後の画像を出力として対応付けた学習用データを生成する、
    　請求項１に記載の学習モデルの生成方法。
  8. 　前記複数の画像から時系列的に連続する２つの画像を複数組抽出して前記学習用データを複数生成する、
    　請求項７に記載の学習モデルの生成方法。
  9. 　取得した前記複数の画像に対して、各画像に写された前記対象基板の位置を補正し、
    　補正後の複数の画像に基づいて前記学習用データを生成する、
    　請求項１に記載の学習モデルの生成方法。
  10. 　前記複数の画像から１つの基準画像を選択し、
    　前記基準画像以外の各画像について、前記基準画像に対する位置のズレ量を算出し、
    　算出したズレ量の最大値に基づいて切り抜きサイズを決定し、
    　各画像から前記サイズの画像を切り抜き、
    　切り抜いた画像を補正後の画像とする、
    　請求項９に記載の学習モデルの生成方法。
  11. 　前記学習用データは、それぞれノイズを含み且つ写された前記対象基板の位置を揃える補正がなされた２つの画像を入力及び出力に対応付けたデータである、
    　請求項９に記載の学習モデルの生成方法。
  12. 　情報処理装置が、
    　対象基板を撮影した画像を取得し、
    　対象基板を撮影した画像を入力として受け付けて当該画像のノイズを除去した画像を出力するよう機械学習がなされた学習モデルへ、取得した画像を入力して、前記学習モデルが出力するノイズを除去した画像を取得し、
    　取得した画像を出力し、
    　前記学習モデルは、時系列的に撮影された対象基板の複数の画像から選択された２つの画像のうち、一方の画像を入力とし、他方の画像を出力として対応付けた学習用データを用いた機械学習により生成される、
    　情報処理方法。
  13. 　ノイズを除去した画像を基に、前記対象基板に係る測長又は検査を行う、
    　請求項１２に記載の情報処理方法。
  14. 　コンピュータに、
    　時系列的に撮影された対象基板の複数の画像を取得し、
    　取得した複数の画像から選択した２つの画像のうち、一方の画像を入力とし、他方の画像を出力として対応付けた学習用データを生成し、
    　対象基板を撮影した画像を入力として受け付けて当該画像のノイズを除去した画像を出力する学習モデルを、前記学習用データを用いた機械学習により生成する
    　処理を実行させる、コンピュータプログラム。
  15. 　コンピュータに、
    　対象基板を撮影した画像を取得し、
    　対象基板を撮影した画像を入力として受け付けて当該画像のノイズを除去した画像を出力するよう機械学習がなされた学習モデルへ、取得した画像を入力して、前記学習モデルが出力するノイズを除去した画像を取得し、
    　取得した画像を出力する
    　処理を実行させ、
    　前記学習モデルは、時系列的に撮影された対象基板の複数の画像から選択された２つの画像のうち、一方の画像を入力とし、他方の画像を出力として対応付けた学習用データを用いた機械学習により生成される、
    　コンピュータプログラム。
  16. 　処理部を備え、
    　前記処理部が、
    　時系列的に撮影された対象基板の複数の画像を取得し、
    　取得した複数の画像から選択した２つの画像のうち、一方の画像を入力とし、他方の画像を出力として対応付けた学習用データを生成し、
    　対象基板を撮影した画像を入力として受け付けて当該画像のノイズを除去した画像を出力する学習モデルを、前記学習用データを用いた機械学習により生成する、
    　情報処理装置。
  17. 　処理部を備え、
    　前記処理部が、対象基板を撮影した画像を取得し、対象基板を撮影した画像を入力として受け付けて当該画像のノイズを除去した画像を出力するよう機械学習がなされた学習モデルへ、取得した画像を入力して、前記学習モデルが出力するノイズを除去した画像を取得し、取得した画像を出力し、
    　前記学習モデルは、時系列的に撮影された対象基板の複数の画像から選択された２つの画像のうち、一方の画像を入力とし、他方の画像を出力として対応付けた学習用データを用いた機械学習により生成される、
    　情報処理装置。
     
PCT/JP2023/041984 2022-11-30 2023-11-22 学習モデルの生成方法、情報処理方法、コンピュータプログラム及び情報処理装置 WO2024116996A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-191965 2022-11-30
JP2022191965 2022-11-30

Publications (1)

Publication Number Publication Date
WO2024116996A1 true WO2024116996A1 (ja) 2024-06-06

Family

ID=91323899

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/041984 WO2024116996A1 (ja) 2022-11-30 2023-11-22 学習モデルの生成方法、情報処理方法、コンピュータプログラム及び情報処理装置

Country Status (2)

Country Link
TW (1) TW202429335A (ja)
WO (1) WO2024116996A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019129169A (ja) * 2018-01-22 2019-08-01 株式会社日立ハイテクノロジーズ 画像評価方法及び画像評価装置
JP2021026926A (ja) * 2019-08-07 2021-02-22 株式会社日立ハイテク 画像生成方法、非一時的コンピューター可読媒体、及びシステム
JP2022029155A (ja) * 2020-08-04 2022-02-17 デンカ株式会社 評価システム、評価方法、および評価プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019129169A (ja) * 2018-01-22 2019-08-01 株式会社日立ハイテクノロジーズ 画像評価方法及び画像評価装置
JP2021026926A (ja) * 2019-08-07 2021-02-22 株式会社日立ハイテク 画像生成方法、非一時的コンピューター可読媒体、及びシステム
JP2022029155A (ja) * 2020-08-04 2022-02-17 デンカ株式会社 評価システム、評価方法、および評価プログラム

Also Published As

Publication number Publication date
TW202429335A (zh) 2024-07-16

Similar Documents

Publication Publication Date Title
JP4533689B2 (ja) パターン検査方法
JP6307367B2 (ja) マスク検査装置、マスク評価方法及びマスク評価システム
JP4229767B2 (ja) 画像欠陥検査方法、画像欠陥検査装置及び外観検査装置
US20150055754A1 (en) X-ray inspection method and x-ray inspection device
JP2007102153A (ja) 画像補正装置、パターン検査装置、画像補正方法、及びレチクル
KR20220031114A (ko) 결함 검사 방법, 결함 검사 장치
JP2006276454A (ja) 画像補正方法、およびこれを用いたパターン欠陥検査方法
EP0997101A1 (en) Fundus measuring apparatus and recording medium with fundus measurement program recorded thereon
JP4419980B2 (ja) 歪補正方法及び歪補正装置
JP5178781B2 (ja) センサ出力データの補正装置及びセンサ出力データの補正方法
JP4233556B2 (ja) 画像補正装置、パターン検査装置、画像補正方法、及び、パターン検査方法
JP2006145269A (ja) 欠陥レビュー装置及び欠陥レビュー方法
KR20080002665A (ko) 표시 패널의 촬상 방법 및 표시 패널의 촬상 장치
TWI655496B (zh) 參照圖像確認方法、光罩檢測方法及光罩檢測裝置
WO2024116996A1 (ja) 学習モデルの生成方法、情報処理方法、コンピュータプログラム及び情報処理装置
JP2006155579A (ja) 画像処理方法および画像処理装置
JP4629086B2 (ja) 画像欠陥検査方法および画像欠陥検査装置
JP4206393B2 (ja) パターン検査方法
JP4074624B2 (ja) パターン検査方法
JP5190619B2 (ja) 被検査物の検査方法及びその検査装置
JP2004220371A (ja) 画像処理方法および画像処理装置ならびに画像処理プログラムおよび画像処理プログラムを記録した記録媒体
JP3279099B2 (ja) マーク認識装置およびマーク認識方法
KR20200126921A (ko) 스켈러톤 웨이퍼 검사 방법
KR101793091B1 (ko) 불량화소의 검출방법 및 검출장치
JP4235756B2 (ja) 位置ずれ検出方法及び位置ずれ検出装置並びに画像処理方法及び画像処理装置とそれを用いた検査装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23897644

Country of ref document: EP

Kind code of ref document: A1