WO2023002677A1 - 傾斜推定システム、傾斜推定方法、傾斜推定プログラム、半導体検査システム及び生体観察システム - Google Patents

傾斜推定システム、傾斜推定方法、傾斜推定プログラム、半導体検査システム及び生体観察システム Download PDF

Info

Publication number
WO2023002677A1
WO2023002677A1 PCT/JP2022/010674 JP2022010674W WO2023002677A1 WO 2023002677 A1 WO2023002677 A1 WO 2023002677A1 JP 2022010674 W JP2022010674 W JP 2022010674W WO 2023002677 A1 WO2023002677 A1 WO 2023002677A1
Authority
WO
WIPO (PCT)
Prior art keywords
estimation
image
tilt
focus
focus position
Prior art date
Application number
PCT/JP2022/010674
Other languages
English (en)
French (fr)
Inventor
朱里 伊藤
智親 竹嶋
Original Assignee
浜松ホトニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浜松ホトニクス株式会社 filed Critical 浜松ホトニクス株式会社
Priority to US18/570,913 priority Critical patent/US20240282000A1/en
Priority to KR1020237041659A priority patent/KR20240035945A/ko
Priority to EP22845617.4A priority patent/EP4336255A1/en
Priority to JP2022564614A priority patent/JP7229439B1/ja
Priority to CN202280050910.3A priority patent/CN117677818A/zh
Publication of WO2023002677A1 publication Critical patent/WO2023002677A1/ja
Priority to JP2023020763A priority patent/JP2023057119A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0016—Technical microscopes, e.g. for inspection or measuring in industrial production processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Definitions

  • the present invention relates to an inclination estimation system, an inclination estimation method, an inclination estimation program, a semiconductor inspection system, and a living body observation system for estimating the inclination of an object captured in an image.
  • Patent Literature 1 discloses estimating the tilt of a semiconductor device when imaging the semiconductor device for inspection of the semiconductor device. The estimated tilt is used to adjust the attitude of the semiconductor device.
  • the inclination of the object to be imaged is estimated by an optical system including a dedicated lens (for example, a relay lens system), a scanner, and the like.
  • Patent Document 1 When estimating the tilt of an imaging object using a special optical system as shown in Patent Document 1, a configuration (for example, a lens turret) and space for providing the special optical system within the apparatus are required. Moreover, the cost for preparing a special optical system is required. In addition, the method disclosed in Patent Document 1 requires processes such as turret switching, laser scanning, and alignment, and it takes a long time to estimate the tilt.
  • An embodiment of the present invention has been made in view of the above, and includes an inclination estimation system, an inclination estimation method, and an inclination estimation program capable of estimating the inclination of an object to be imaged with a simple configuration and in a short time.
  • An object of the present invention is to provide a semiconductor inspection system and a living body observation system related to them.
  • a tilt estimation system is a tilt estimation system for estimating a tilt of an object captured in an image, and obtains an image of the object captured. Then, using an estimation target image acquisition means for acquiring an estimation target image, which is a plurality of partial images, from the image, and a feature amount output model for inputting information based on the image and outputting the feature amount of the image, estimation outputting a feature amount of each of the plurality of estimation target images from each of the plurality of estimation target images acquired by the target image acquiring means, and obtaining a focal position corresponding to each of the plurality of estimation target images from the output feature amount; and an inclination estimation means for estimating the inclination of an object captured in the image from the in-focus position corresponding to each of the plurality of estimation object images estimated by the focus position estimation means.
  • the feature output model is generated by machine learning from a plurality of learning images associated with focus position information related to the focus position at the time of imaging, and is associated with two different learning images.
  • the feature amounts of the two learning images are compared according to the focal position information, and machine learning is performed based on the comparison result.
  • the tilt estimation system from each estimation target image that is a plurality of partial images of an image, a focal position at the time of focus corresponding to each of the plurality of estimation target images is estimated, is estimated. Therefore, if an image of the object to be imaged is obtained, the inclination of the object to be imaged can be estimated in a short period of time.
  • the feature amount output model used for estimating the focal position can output a feature amount suitable for estimating the focal position, and by using this, it is possible to appropriately estimate the inclination of the object to be imaged. Therefore, according to the tilt estimation system according to the embodiment of the present invention, the tilt of the object to be imaged can be estimated with a simple configuration and in a short period of time.
  • the focal position estimating means inputs the feature quantity output from the feature quantity output model, and estimates a plurality of estimation targets using the focal position estimating model for estimating the in-focus focal position corresponding to the image related to the feature quantity. It is assumed that the focus position at the time of focus corresponding to each image is estimated, and the focus position estimation model is generated by machine learning from the focus position information related to the focus position at the time of focus corresponding to each learning image. good too. According to this configuration, the focal position can be reliably and appropriately estimated by using the focal position estimation model. As a result, the tilt of the object to be imaged can be reliably and appropriately estimated.
  • the tilt estimation system may further include control means for controlling the tilt of the object to be imaged based on the tilt of the object to be imaged estimated by the tilt estimation means. According to this configuration, it is possible to image the object to be imaged at an appropriate inclination.
  • a semiconductor inspection system and a biological observation system can be configured to include the tilt estimation system described above. That is, a semiconductor inspection system according to an embodiment of the present invention includes the above tilt estimation system, a mounting section on which a semiconductor device is mounted as an object to be imaged according to the tilt estimation system, and an inspection section for testing the semiconductor device. And prepare. Further, a biological observation system according to an embodiment of the present invention includes the tilt estimation system described above, a mounting section on which a biological sample is mounted as an object to be imaged according to the tilt estimation system, and an observation section for observing the biological sample. And prepare.
  • one embodiment of the present invention can be described as an invention of a tilt estimation system as described above, and can also be described as an invention of a tilt estimation method and a tilt estimation program as follows.
  • a tilt estimation method is a tilt estimation method for estimating the tilt of an object captured in an image, in which an image of the object captured is acquired, and a plurality of An estimation target image acquisition step for acquiring an estimation target image that is a partial image of the target image acquired in the estimation target image acquisition step using a feature amount output model for inputting information based on the image and outputting the feature amount of the image a focus position estimation step of outputting a feature amount of each of the plurality of estimation target images from each of the plurality of estimation target images obtained, and estimating a focused position corresponding to each of the plurality of estimation target images from the output feature amount; and a tilt estimation step of estimating the tilt of the object captured in the image from the in-focus focus position corresponding to each of the plurality of estimation target images estimated in the focus position estimation step, and outputting a feature amount
  • the model is generated by machine learning from a plurality of learning images associated with focal position information related to the focal position at the time of imaging, and the model is
  • a plurality of estimation targets are estimated using a focus position estimation model for inputting a feature quantity output from a feature quantity output model and estimating a focus position at the time of focus corresponding to an image related to the feature quantity. It is assumed that the focus position at the time of focus corresponding to each image is estimated, and the focus position estimation model is generated by machine learning from the focus position information related to the focus position at the time of focus corresponding to each learning image. good too.
  • the tilt estimation method may further include a control step of controlling the tilt of the imaging target during imaging based on the tilt of the imaging target estimated in the tilt estimation step.
  • a tilt estimation program is a tilt estimation program that causes a computer to operate as a tilt estimation system for estimating the tilt of an object to be imaged in an image.
  • an estimation target image acquiring means for acquiring an image in which is captured, and acquiring an estimation target image, which is a plurality of partial images, from the image; and a feature amount output for inputting information based on the image and outputting the feature amount of the image Using the model, outputting the feature amount of each of the plurality of estimation target images from each of the plurality of estimation target images acquired by the estimation target image acquisition means, and corresponding to each of the plurality of estimation target images from the output feature amount Focus position estimating means for estimating the focus position at the time of focus, and from the focus position at the time of focus corresponding to each of the plurality of estimation target images estimated by the focus position estimating means, the inclination of the imaging object captured in the image is calculated.
  • the feature output model is generated by machine learning from a plurality of learning images associated with focus position information related to the focus position at the time of imaging, and two different learning The feature amounts of the two learning images are compared according to the focal position information associated with the training images, and machine learning is performed based on the comparison results.
  • the focal position estimating means inputs the feature quantity output from the feature quantity output model, and estimates a plurality of estimation targets using the focal position estimating model for estimating the in-focus focal position corresponding to the image related to the feature quantity. It is assumed that the focus position at the time of focus corresponding to each image is estimated, and the focus position estimation model is generated by machine learning from the focus position information related to the focus position at the time of focus corresponding to each learning image. good too.
  • the tilt estimation program may cause the computer to function also as control means for controlling the tilt of the imaging target during imaging based on the tilt of the imaging target estimated by the tilt estimating means.
  • the tilt of the object it is possible to estimate the tilt of the object to be imaged with a simple configuration and in a short period of time.
  • FIG. 4 is a diagram for explaining generation of a feature output model by machine learning
  • FIG. 10 is a diagram showing an existing learned model used for generating a feature output model
  • FIG. 4 is a diagram showing examples of a defocused image and a focused image
  • FIG. 4 is a diagram showing an example of an estimation target image for an image
  • FIG. 4 is a diagram for explaining estimation of the tilt of an imaging object
  • FIG. 4 is a flowchart showing a feature output model generation method, which is a process executed by the feature output model generation system according to the embodiment of the present invention
  • 4 is a flow chart showing a tilt estimation method, which is a process executed by the tilt estimation system according to the embodiment of the present invention
  • 1 is a diagram showing a configuration of a feature output model generation program according to an embodiment of the present invention together with a recording medium
  • FIG. FIG. 4 is a diagram showing the configuration of a tilt estimation program according to the embodiment of the present invention together with a recording medium
  • FIG. 1 shows a computer 10 that is a tilt estimation system according to this embodiment.
  • the computer 10 is a device (system) that performs information processing on images. Specifically, the computer 10 performs information processing on images captured by at least one of the inspection device 40 and the observation device 50 . Note that the computer 10 may perform information processing on images captured by devices other than the inspection device 40 and the observation device 50 . That is, the computer 10 may be applied to an imaging device other than the inspection device 40 and the observation device 50 .
  • the inspection apparatus 40 is an apparatus that captures an image of a semiconductor device and inspects the semiconductor device based on the captured image. For example, the inspection apparatus 40 performs failure analysis of semiconductor devices.
  • a semiconductor device to be inspected is, for example, a wafer on which ⁇ LEDs (Light Emitting Diodes) are spread. Failure analysis is performed, for example, by emission analysis, heat generation analysis, analysis using pattern images, or analysis using laser (OBIRCH, OBIC, DALS, etc.).
  • Inspection device 40 may be a conventional inspection device. All of the configurations described below may be included in the conventional inspection apparatus.
  • FIG. 2 shows, for example, a partial configuration of an inspection device 40 that performs luminescence analysis.
  • the inspection device 40 includes a camera 41, a mounting section 42, a light source 43, an optical system 44, an objective lens 45, and a stage .
  • the camera 41 is an imaging device that captures an image of a semiconductor device that is an imaging target. Camera 41 is, for example, an InGaAs camera.
  • the mounting section 42 is configured to mount a semiconductor device, which is an object to be imaged.
  • the standard sample 60 placed on the placement unit 42 corresponds to an image corresponding to a focal position, which will be described later, rather than an object to be inspected.
  • the standard sample 60 is a sample with an artificial pattern (for example, a radial striped pattern as shown in FIG. 2).
  • the placement section 42 is configured to be able to control the inclination (orientation) of the placed imaging target with respect to the imaging direction.
  • the placement section 42 is configured such that the placement surface on which the object to be imaged is placed can be tilted with respect to the imaging direction. In this manner, the placement section 42 can perform tilt correction of the object to be imaged.
  • the mounting section 42 a conventional one capable of controlling the inclination of the object to be imaged can be used.
  • the inclination of the object to be imaged during imaging is controlled by the computer 10 as will be described later.
  • the light source 43 is a device that outputs irradiation light that irradiates the object to be imaged.
  • the light source 43 may output irradiation light of a specific wavelength (for example, a standard wavelength of 1100 nm and wavelengths different from the standard wavelength of 900 nm and 1300 nm). Also, the wavelength of the irradiation light may be switched, such as by preparing a plurality of light sources 43 .
  • the optical system 44 is an optical system for irradiating a semiconductor device, which is an object to be imaged, with the irradiation light output from the light source 43 .
  • the objective lens 45 is an objective lens used for imaging by the camera 41, and is, for example, a solid immersion lens (SIL).
  • SIL solid immersion lens
  • the stage 46 is a member for adjusting the focal position when the camera 41 takes an image.
  • the stage 46 may be one that can move not only in the imaging direction (focus position direction, Z-axis direction) but also in any three-dimensional direction (that is, an XYZ stage).
  • the focus position of the inspection device 40 during imaging is controlled by the computer 10 as will be described later.
  • the inspection apparatus 40 includes an inspection unit that inspects a semiconductor device using an image obtained by the above configuration.
  • an InSb camera may be used as an imaging device (camera 41) without illumination (light source 43).
  • an incoherent light source or a coherent light source is used as the illumination (light source 43)
  • a two-dimensional detector, or an optical scanning device and a photodiode are used as the imaging device.
  • an incoherent light source or a coherent light source may be used as illumination (light source 43)
  • an electrical characteristic acquisition device of a semiconductor device may be used as an imaging device.
  • the observation device 50 is a device that captures an image of a biological sample placed on a slide glass and observes the captured image of the biological sample.
  • the viewing device 50 may be a conventional viewing device.
  • viewing device 50 is the conventional virtual slide scanner described above.
  • the observation device 50 includes an imaging device that captures an image of a biological sample that is an imaging target, a mounting section that mounts the biological sample that is an imaging target, and an observation section that observes the biological sample based on the captured image. ing.
  • the focus position of the observation device 50 during imaging is controlled by the computer 10 as will be described later.
  • the mounting section of the observation device 50 is also configured to be able to control the inclination (orientation) of the mounted imaging target with respect to the imaging direction in the same manner as the mounting section 42 of the inspection device 40 described above.
  • the state in which the object to be imaged is properly tilted means, for example, a state in which the surface of the object to be imaged is perpendicular to the imaging direction, that is, the object to be imaged is not tilted with respect to the imaging direction. state. This is for appropriately inspecting or observing an object to be imaged.
  • the back surface of a semiconductor device which is the target of failure analysis, is polished during processing.
  • the surface of the semiconductor device which is a sample, is warped and distorted due to distortion during polishing and stress caused by the process. If the semiconductor device is tilted, for example, contact with the solid immersion lens will cause a problem. Note that the tilt of the object to be imaged may be caused by a cause other than the above.
  • FIG. 3 shows examples of captured images corresponding to focal positions. This image is obtained by imaging the standard sample 60 shown in FIG.
  • FIG. 3(a) is an image captured at the focal position during focusing.
  • FIG. 3B is an image when the focal position is 100 ⁇ m away from the in-focus focal position.
  • FIG. 3(c) is an image when the focal position is further away than in the case of FIG. 3(b).
  • FIG. 3(d) is an image when the focal position is 500 ⁇ m away from the in-focus focal position further than in the case of FIG. 3(c). That is, FIG. 3A is an example of a focused image, and FIGS. 3B to 3D are examples of defocused images.
  • the computer 10 performs information processing so that the imaging by the inspection device 40 and the observation device 50 is performed with the object to be imaged tilted appropriately.
  • the computer 10 may perform information processing so that imaging by the inspection device 40 and the observation device 50 is performed in a state in which the object to be imaged is in focus.
  • the computer 10 uses a feature output model generation system 20 that generates a learned model by machine learning, and the learned model generated by the feature output model generation system 20 to enable the above imaging. and a tilt estimation system 30 that processes information for
  • the feature amount output model generation system 20 is a system (apparatus) that inputs information based on an image and generates a feature amount output model that outputs the feature amount of the image, as will be described later in detail.
  • the tilt estimation system 30 is a system (apparatus) for estimating the tilt of an object captured in an image, as will be described later in detail.
  • the inspection device 40 and the observation device 50 are shown as devices that perform imaging, but devices other than the above may be used as long as they are devices (systems) that perform imaging of an object to be imaged.
  • the computer 10 is, for example, a conventional computer including hardware such as a CPU (Central Processing Unit), memory, and communication modules.
  • the computer 10 may be a computer system including multiple computers.
  • the computer 10 may be configured by cloud computing. Each function of the computer 10, which will be described later, is exhibited by the operation of these constituent elements by a program or the like.
  • the computer 10, the inspection device 40, and the observation device 50 are connected to each other so that information can be transmitted and received.
  • the feature output model generation system 20 includes a learning image acquisition unit 21 , a feature output model generation unit 22 , and a focus position estimation model generation unit 23 .
  • the learned models generated by the feature output model generation system 20 are two, a feature output model and a focus position estimation model.
  • a feature value output model is a model that inputs information based on an image and outputs the feature value of the image.
  • Images used for input to the feature quantity output model are partial images of the images captured by the inspection device 40 and the observation device 50 .
  • the feature amount output from the feature amount output model is information indicating the feature of the input image.
  • the feature reflects the focal position when the image was captured. That is, the feature output model is an optical model related to optical features.
  • the feature amount is, for example, a vector with a preset number of dimensions (eg, 1024 dimensions). The feature amount is used as an input to the focus position estimation model as described later.
  • the feature value output model is configured including, for example, a neural network.
  • a neural network may be multi-layered. That is, the feature output model may be generated by deep learning.
  • the neural network may be a convolutional neural network (CNN).
  • the feature value output model has neurons for inputting image-based information to the input layer.
  • the information input to the feature output model is the pixel value of each pixel of the image.
  • the input layer is provided with as many neurons as there are pixels in the image, and each neuron receives the pixel value of the corresponding pixel.
  • an image related to information input to the feature output model is an image of a preset size (for example, an image of 224 ⁇ 224 pixels).
  • the information input to the feature output model may be other than the pixel value of each pixel as long as it is based on the image.
  • the information may be a feature amount for input to a feature amount output model, which is obtained by performing preprocessing such as conventional image processing on an image in order to reduce the influence of the imaging environment. By performing such preprocessing, it is possible to improve the efficiency of machine learning and the accuracy of the generated feature value output model.
  • the feature value output model is provided with neurons for outputting feature values in the output layer. For example, as many neurons as the number of dimensions of the vector of feature quantities are provided.
  • the focus position estimation model is a model that inputs the feature quantity output from the feature quantity output model and estimates the focus position at the time of focusing corresponding to the image related to the feature quantity.
  • the focus position estimation model uses information indicating the difference between the focus position when the image related to the input feature amount was captured and the focus position at the time of focusing as the estimation result of the focus position at the time of focus. Output.
  • the difference is, for example, a value obtained by subtracting the focal length corresponding to the focal position when the image related to the feature amount was captured from the focal length corresponding to the focal position at the time of focusing.
  • the output value is a value indicating the focal position when an image is captured in a coordinate system in which the position of the focal position at the time of focusing is 0.
  • the focal position at the time of focusing is a focal position for capturing an image by focusing on the imaging object appearing in the image related to the input feature amount.
  • a focused image can be captured by changing the focus position by the above difference from the focus position when the defocused image related to the input feature amount was captured.
  • the above difference candidates may be set in advance, and the focus position estimation model may output a value indicating the degree to which the candidates are appropriate. For example, if the candidates for the difference are +50 ⁇ m, 0 ⁇ m, ⁇ 50 ⁇ m, ⁇ 100 ⁇ m, . For example, the candidate with the highest value is set as the above difference. Alternatively, the focal position estimation model may output the difference value itself.
  • the focal position estimation model may output information indicating the in-focus focal position itself (for example, the focal length corresponding to the in-focus focal position).
  • candidates for the in-focus focus position itself may be set in advance, and the focus position estimation model may output a value indicating the degree to which the candidates are appropriate.
  • the focus position estimation model may output the value itself of the focus position at the time of focusing.
  • the focus position estimation model is configured including, for example, a neural network.
  • a neural network may be multi-layered. That is, the focal position estimation model may be generated by deep learning.
  • the neural network may be a convolutional neural network (CNN).
  • the focus position estimation model is provided with neurons for inputting feature values into the input layer.
  • the input layer is provided with neurons corresponding to the neurons provided in the output layer of the feature output model. That is, the input layer is provided with as many neurons as the output layer of the feature output model.
  • the focus position estimation model is provided with a neuron for outputting the estimation result of the focus position at the time of focusing as described above. For example, neurons for the number of candidates (when outputting a value for each candidate) or one neuron (when outputting the above difference or the focus position itself when in focus) are provided.
  • the feature quantity output model and the focal position estimation model may be configured by something other than a neural network.
  • the feature output model and focus position estimation model are expected to be used as program modules that are part of artificial intelligence software.
  • the feature quantity output model and the focal position estimation model are used, for example, in a computer having a CPU and memory, and the CPU of the computer operates according to instructions from the model stored in the memory.
  • the CPU of the computer operates to input information to the model, perform calculations according to the model, and output results from the model according to the instructions.
  • the CPU of the computer inputs information to the input layer of the neural network according to the command, performs calculations based on parameters such as weighting coefficients that have been learned in the neural network, and outputs from the output layer of the neural network It works to output the result.
  • the learning image acquisition unit 21 is a learning image acquisition unit that acquires a plurality of learning images associated with focus position information related to the focus position at the time of imaging.
  • the learning image acquisition unit 21 acquires an image obtained by detecting radiation from the imaging target, an image obtained by detecting light from the imaging target when the imaging target is irradiated with light, or an image obtained by detecting light from the imaging target when the imaging target is irradiated with light. You may acquire the image which detected the electrical characteristic of the imaging target object as a learning image.
  • the learning image acquisition unit 21 may acquire, as the learning image, an image obtained when the object to be imaged is irradiated with light of a specific wavelength.
  • the learning image acquisition unit 21 acquires focus position information related to a focus position at the time of focusing corresponding to each learning image to be acquired.
  • the learning image acquisition unit 21 acquires images captured by the inspection device 40 or the observation device 50 .
  • This image shows an object to be imaged for use as a learning image.
  • the imaging object for learning images may be, for example, the standard sample 60 shown in FIG.
  • the object to be imaged for the learning image may be another object (for example, an object imaged by the inspection device 40 or the observation device 50).
  • the learning image acquisition unit 21 cuts out a partial image from the acquired image 70 and uses it as a learning image 71 .
  • the learning image 71 is an image used for machine learning to generate the two trained models described above. Therefore, the learning image acquiring unit 21 acquires a plurality of learning images 71 in a number sufficient to appropriately generate a trained model.
  • the plurality of learning images 71 are made to include the defocused image. Also, there may be a plurality of defocused images, and the focal positions thereof may be various positions. That is, the focal lengths corresponding to those focal positions may be various distances. A focus image may be included in the plurality of learning images 71 .
  • FIG. 4 shows an example in which there are three acquired images 70 . The vertical direction of the portion showing the image 70 in FIG. 4 is the imaging direction (focus position direction, Z-axis direction).
  • the learning image 71 corresponds to an image used for input to the feature output model.
  • the feature value output model inputs information based on a partial image of the image having the same size as the learning image 71 rather than the entire image captured by the inspection device 40 or the observation device 50 . Therefore, the learning image acquisition unit 21 cuts out from the acquired image 70 a learning image 71, which is a partial image of a preset size and used for inputting the feature output model.
  • a position in the image 70 where the learning image 71 is cut out is a portion in which the object to be imaged is shown.
  • the learning images 71 may include learning images 71 in which the imaging target is not shown.
  • the position where the learning image 71 is cut out from the image 70 may be set in advance. Alternatively, the position where the image 70 is estimated to be captured by image recognition may be used as the position where the learning image 71 is cut out.
  • the learning image acquisition unit 21 may cut out a plurality of learning images 71 from one image 70.
  • the positions of the learning images 71 may overlap.
  • imaging is performed and an image that is the basis of the learning image 71 is generated.
  • the imaging position (XY) other than the imaging direction (Z-axis direction) is fixed, and multiple consecutive imagings with different focal positions are performed.
  • the learning image acquisition unit 21 may acquire the image 70 from a device other than the inspection device 40 or the observation device 50.
  • the learning images 71 are images obtained by detecting radiation from the imaging object (images used for light emission/heat generation analysis), and light from the imaging object when the imaging object is irradiated with light. It may be a detected image (image used for pattern analysis) or an image obtained by detecting the electrical characteristics of the imaging object when the imaging object is irradiated with light (image used for laser analysis). Further, the learning image 71 may be an image obtained when an object to be imaged is irradiated with light of a specific wavelength (for example, light of a specific wavelength used for inspection). These are the image types normally used by the inspection device 40 or the observation device 50 .
  • a set of feature quantity output model and focal position estimation model to be generated corresponds to a specific image type.
  • the wavelength of light used in light emission analysis varies depending on the driving voltage and design rules of the inspection device 40. Further, in an actual optical system, defocus occurs for each wavelength due to adjustment and the characteristics of optical elements. Moreover, the detection sensitivity may be maximized at a position different from the focal position for observing the pattern image (image).
  • a feature amount output model for each wavelength may be generated using an image for each specific wavelength as described above. For example, an image for each wavelength (900 nm, 1300 nm) different from the standard wavelength (1100 nm) and the standard wavelength may be used to generate a feature output model for each wavelength.
  • a set of feature quantity output model and focal position estimation model to be generated corresponds to a specific model of inspection device 40 or observation device 50 . That is, the feature quantity output model and the focal position estimation model reflect the features of the inspection device 40 or the observation device 50 .
  • the focus position estimation model may be common to a plurality of image types or models.
  • Each learning image 71 is associated with focal position information relating to the focal position when the learning image 71 was captured.
  • the focal position information is, for example, information indicating the above focal position.
  • the focal position information is information relating to the focal position, and may be any information other than the above as long as it can be used to generate the above-described trained model.
  • the focal position information is obtained, for example, as information when an image is captured by the inspection device 40 or the observation device 50 .
  • the learning image acquisition unit 21 receives and acquires an image associated with focal position information from the inspection device 40 or the observation device 50 .
  • the learning image acquisition unit 21 acquires focus position information related to the focus position at the time of focusing corresponding to each learning image to be acquired.
  • the in-focus position information is, for example, information indicating the focal position at the time of focusing.
  • the in-focus position information is information related to the focal position at the time of focusing, and may be any information other than the above as long as it can be used to generate the learned model described above.
  • the in-focus position information is obtained by a conventional method of measuring the focal position during focusing.
  • the learning image acquisition unit 21 acquires the focus position information by accepting a user's input operation of the focus position information obtained by the measurement to the computer 10 .
  • the learning image acquisition unit 21 outputs the acquired information to the feature output model generation unit 22 and the focus position estimation model generation unit 23 .
  • the feature output model generation unit 22 is a feature output model generation unit that generates a feature output model by machine learning from the learning image 71 acquired by the learning image acquisition unit 21 .
  • the feature amount output model generation unit 22 compares the feature amounts of the two learning images 71 according to the focus position information associated with the two different learning images 71, and performs machine learning based on the comparison result. I do.
  • the feature output model generation unit 22 reduces the difference between the feature amounts of the two learning images 71 and
  • machine learning may be performed so that the difference between the feature amounts of the two learning images 71 increases.
  • the feature quantity output model generation unit 22 generates a feature quantity output model as follows.
  • the feature output model generation unit 22 receives the learning image 71 and the focus position information related to the learning image 71 from the learning image acquisition unit 21 .
  • the feature amount output model generation unit 22 uses two learning images 71 selected from the plurality of input learning images 71 as one set to perform machine learning for generating a feature amount output model.
  • a set used for machine learning includes both a set of learning images 71 related to the same focus position and a set of learning images 71 related to different focus positions.
  • the set of learning images 71 related to the same focal position may be the learning images 71 clipped from the same image 70 as shown in FIG. 4, for example.
  • Selection of the set of learning images 71 may be performed by a preset method that satisfies the above conditions. Also, the set of learning images 71 may be selected from images 70 having the same imaging position (XY) other than the imaging direction (Z-axis direction).
  • the feature output model generation unit 22 performs machine learning using information based on the selected set of learning images 71 as input to the feature output model. As shown in FIG. 4, when one set of learning images 71 is input to the feature amount output model 80, a feature amount is obtained for each of the learning images 71 as an output. In FIG. 4, the value of each element of the vector, which is the feature amount, is shown in a bar graph. At this time, the feature amount output model 80 to which one learning image 71 is input is set as a learning target, and the feature amount output model 80 to which the other learning image 71 is input is set as a comparison target. However, these feature quantity output models 80 are the same during learning.
  • the feature quantity output model generation unit 22 refers to the focus position information, compares the two output feature quantities, and performs machine learning based on the comparison result. If the focal positions of the two learning images 71 indicated by the focal position information are the same focal position (that is, they are on the same plane), the feature amount output model generation unit 22 Machine learning is performed so that the difference in the feature amount becomes small. When the focus positions of the two learning images indicated by the focus position information are different from each other (that is, the Z positions are different), the feature quantity output model generation unit 22 calculates the feature quantity of the two learning images 71. Machine learning is performed so that the difference between Note that when the two learning images 71 are cut out from the same image, the focal positions of the two learning images 71 are the same focal position. Further, even when the focal positions of the two learning images 71 are close enough to be regarded as the same, the focal positions of the two learning images 71 may be regarded as the same focal position.
  • the feature amounts of partial images cut out from images on the same focal plane are made to have a large correlation regardless of the cutout position.
  • the correlation between the feature amounts of partial images cut out from images on different focal planes is reduced.
  • the feature quantity output model generation unit 22 performs machine learning using the following loss_xy as a loss function.
  • i (0 to n) is a suffix (subscript) indicating an element of the vector of feature amounts.
  • the number of channels (number of dimensions) of the feature amount vector is n+1.
  • F t0 to F tn are the values of the elements of the feature amount vector output from the feature amount output model 80 to be learned.
  • F c0 to F cn are the values of the elements of the vector of feature quantities output from the feature quantity output model 80 to be compared.
  • SD i is the standard deviation for element i of each feature.
  • the feature quantity output model generation unit 22 performs machine learning using the following loss_z as a loss function. That is, the loss function in this case is the reciprocal of the loss function when the focus positions of the two learning images 71 are the same as each other.
  • the machine learning itself based on the loss function that is, the updating of the parameters of the feature output model may be performed in the same manner as before. It should be noted that the loss function does not necessarily have to be the one described above, as long as it conforms to the criteria described above.
  • the feature output model generation unit 22 repeatedly selects a set of learning images 71 and performs machine learning to generate a feature output model. For example, the feature quantity output model generation unit 22 repeats the above operations until the generation of the feature quantity output model converges based on a preset condition, or a preset specified number of times, in the same manner as in the conventional art, and outputs the feature quantity. Generate a model.
  • the feature output model generation unit 22 may generate the feature output model using an existing learned model generated by machine learning.
  • the existing learned model a model for inputting information based on an image is used, like the feature output model according to the present embodiment.
  • an existing learned model having the same input as the feature output model according to this embodiment may be used.
  • An existing trained model is, for example, a model for performing image recognition, specifically ResNet, VGG, Mobile Net, and the like. A part of the existing trained model is used to generate the feature output model. As shown in FIG. 5, the layer on the output side of the existing trained model 81 is deleted, and the part up to the intermediate layer of the existing trained model 81 is used to generate the feature quantity output model.
  • the existing trained model 81 used to generate the feature output model may include all of the intermediate layers, or may include only part of the intermediate layers.
  • the feature output model generation unit 22 inputs the above part of the existing learned model and uses it as a feature output model at the start of machine learning. That is, the feature quantity output model generation unit 22 performs fine tuning using the above part of the existing trained model as the initial parameters of the feature quantity output model. Also, a new output layer added to the output side of the above-mentioned part of the learned model may be used as the feature value output model at the start of machine learning. In addition, when adding a new output layer, a new intermediate layer is added between the above part of the output side of the learned model and the new output layer, and the feature value output at the start of machine learning It can be used as a model.
  • the feature quantity output model generation unit 22 may generate a feature quantity output model without using an existing trained model. For example, as in conventional machine learning, a model using random values as initial parameters may be used as the feature output model at the start of machine learning.
  • an existing trained model to generate a feature value output model has the following advantages. Learning time can be greatly shortened. It is possible to generate a feature amount output model with high accuracy even with a small number of learning images 71, that is, a feature amount output model capable of outputting a more appropriate feature amount.
  • the existing trained models described above already acquire the ability to separate low-abstract features. Therefore, it is only necessary to perform learning focusing on features with a high degree of abstraction using the new learning image 71 .
  • the feature output model generation unit 22 outputs the generated feature output model to the focus position estimation model generation unit 23 and the tilt estimation system 30 .
  • the generated feature value output model may be used for purposes other than those in this embodiment.
  • the feature output model generation unit 22 transmits or outputs the feature output model to another device or module that uses the feature output model.
  • the feature output model generation unit 22 may store the generated feature output model in the computer 10 or other device so that it can be used by other devices or modules that use the feature output model.
  • the focus position estimation model generation unit 23 is focus position estimation model generation means for generating a focus position estimation model by machine learning from the focus position information acquired by the learning image acquisition unit 21 .
  • the focal position estimation model receives the feature amount output from the feature amount output model generated by the feature amount output model generation unit 22 as described above, and calculates the focus at the time of focusing corresponding to the image related to the feature amount. It estimates the position.
  • the focus position estimation model generation unit 23 generates a focus position estimation model as follows.
  • the focus position estimation model generation unit 23 inputs the learning image 71 and the focus position information related to the learning image 71 from the learning image acquisition unit 21 .
  • the focus position estimation model generator 23 receives the feature output model from the feature output model generator 22 .
  • the focus position estimation model generation unit 23 inputs information based on the learning image 71 to the feature amount output model, and acquires the feature amount of the learning image 71 output from the feature amount output model.
  • the focus position estimation model generation unit 23 uses the acquired feature amount as an input to the focus position estimation model, and uses information based on the focus position information of the learning image 71 related to the input feature amount as an output of the focus position estimation model. do the learning.
  • Information based on the focus position information is information corresponding to the output of the focus position estimation model.
  • the information based on the focus position information is, for example, the value of the candidate corresponding to the focus position information is set to 1, and the focus position information is a value (one-hot vector) for each candidate, with the value of a candidate that does not correspond to 0 being set to 0. If the focus position estimation model outputs the above-mentioned difference or the value of the focus position itself, the information based on the focus position information is the focus position information itself or the value calculated from the focus position information. be.
  • the focus position estimation model generation unit 23 generates information based on focus position information corresponding to the output of the focus position estimation model before performing machine learning.
  • the machine learning itself that is, updating the parameters of the focus position estimation model, should be performed in the same way as before.
  • the focal position estimation model generation unit 23 repeats the machine learning process until the generation of the focal position estimation model converges based on the preset conditions, or the preset number of times, in the same manner as in the conventional art, to obtain the focal position. Generate an inference model.
  • the focus position estimation model generation unit 23 outputs the generated focus position estimation model to the tilt estimation system 30 .
  • the generated focal position estimation model may be used for purposes other than those in this embodiment.
  • the focus position estimation model generator 23 transmits or outputs the focus position estimation model to another device or module that uses the focus position estimation model.
  • the focus position estimation model generator 23 may store the generated focus position estimation model in the computer 10 or other device so that it can be used by other devices or modules that use the focus position estimation model.
  • the functions of the feature output model generation system 20 have been described above.
  • the tilt estimation system 30 includes an estimation target image acquisition section 31 , a focus position estimation section 32 , a tilt estimation section 33 and a control section 34 .
  • the tilt estimation system 30 estimates the tilt of the object captured in the image captured by the inspection device 40 or the observation device 50 . Therefore, the tilt estimation system 30 estimates the focal position when the imaging object is imaged by the inspection device 40 or the observation device 50 .
  • the inspection device 40 or the observation device 50 picks up an image of the imaging target (imaging for inclination estimation).
  • the focal position does not necessarily have to be the focal point on the object to be imaged, that is, the focal position at the time of focusing. Therefore, the image obtained by this imaging may be a defocused image.
  • this image may be a defocused image as shown in FIG. 6(a).
  • FIG. 6 is an image of a semiconductor device.
  • the defocused image shown in FIG. 6A is an image obtained when the focal position at the time of imaging is +5 nm from the focal position at the time of focusing.
  • the tilt estimation system 30 estimates focal positions at multiple positions in the image when in focus.
  • the tilt estimation system 30 estimates the tilt of the object captured in the image from the estimated focal positions at the multiple positions of the image.
  • an image in which the object to be imaged is in focus that is, a focused image can be obtained.
  • a focused image as shown in FIG. 6B is obtained.
  • the focused image shown in FIG. 6(b) corresponds to the defocused image shown in FIG. 6(a).
  • the estimation target image acquisition unit 31 is an estimation target image acquisition unit that acquires an image of an imaging target and acquires an estimation target image, which is a plurality of partial images, from the image.
  • the estimation target image is an image used for estimating the focal position at the time of focusing in the tilt estimation system 30 .
  • the estimation target image is an image used for input to the feature value output model. That is, the estimation target image corresponds to the learning image 71 described above.
  • the estimation target image acquisition unit 31 acquires an image captured by the inspection device 40 or the observation device 50 .
  • the imaging by the inspection device 40 or the observation device 50 at this time is the above-described imaging for tilt estimation.
  • the estimation target image acquiring unit 31 cuts out a plurality of partial images from the acquired image and uses them as estimation target images.
  • the estimation target image acquisition unit 31 cuts out from the acquired image an estimation target image, which is a partial image of a preset size used for inputting the feature value output model.
  • the position in the image where the estimation target image is cut out is the part where the imaging target is shown.
  • a position in the image where the estimation target image is cut out may be set in advance.
  • the estimation target image 91 When the estimation target image 91 is cut out as described above, the estimation target image 91 may be cut out from the entire image 90 if the imaging target is shown in the entire image 90, or the imaging target image may be is captured, the estimation target image 91 may be cut out from part of it. Further, the position where the image is estimated to be captured by performing image recognition on the image may be set as the position where the estimation target image is cut out.
  • the tilt estimation system 30 is configured such that the position in the image where the estimation target image is cut out is also used for functions described later.
  • the type of the estimation target image is the same type as the learning image described above.
  • the estimated target image is an image obtained by detecting radiation from the imaging target, an image obtained by detecting light from the imaging target when the imaging target is irradiated with light, or an image obtained by detecting light from the imaging target when the imaging target is irradiated with light. It may be an image obtained by detecting the electrical characteristics of the object to be imaged.
  • the estimation target image may be an image obtained by irradiating the object to be imaged with light of a specific wavelength (for example, light of a specific wavelength used for inspection).
  • the estimation target image acquisition unit 31 outputs the acquired multiple estimation target images to the focus position estimation unit 32 .
  • the focus position estimation unit 32 uses the feature amount output model to output the feature amount of each of the plurality of estimation target images from each of the plurality of estimation target images acquired by the estimation target image acquisition unit 31, and calculates the output feature Focus position estimating means for estimating a focus position at the time of focusing corresponding to each of a plurality of estimation target images from the quantity.
  • the focal position estimation unit 32 may use the focal position estimation model to estimate the in-focus focal position corresponding to the estimation target image from the feature quantity output from the feature quantity output model.
  • the focus position estimation unit 32 receives and stores the feature output model and the focus position estimation model generated by the feature output model generation system 20, and uses them for estimation.
  • the focus position estimation unit 32 receives a plurality of estimation target images from the estimation target image acquisition unit 31 .
  • the focal position estimation unit 32 inputs information based on the estimation target image to the feature amount output model, and acquires the feature amount of the estimation target image, which is the output from the feature amount output model.
  • the focal position estimating unit 32 inputs the acquired feature amount to the focal position estimating model, and converts the information indicating the in-focus focal position corresponding to the estimation target image, which is output from the focal position estimating model, to the focal position. Get it as an estimation result.
  • the focus position estimating unit 32 acquires information indicating the focus position at the time of focusing corresponding to each of the estimation target images for each of the plurality of estimation target images.
  • the focal position estimating section 32 outputs to the tilt estimating section 33 information indicating the in-focus focal positions corresponding to the plurality of acquired estimation target images.
  • the tilt estimating unit 33 is a tilt estimating unit that estimates the tilt of the object captured in the image from the in-focus focal positions corresponding to each of the plurality of estimation target images estimated by the focus position estimating unit 32 .
  • the tilt estimator 33 estimates, for example, the tilt of the imaging object with respect to the imaging direction in the inspection device 40 or the observation device 50 .
  • the tilt estimator 33 estimates the tilt of the imaging object as follows.
  • the tilt estimating unit 33 receives from the focal position estimating unit 32 information indicating the in-focus focal position corresponding to each of the plurality of estimation target images.
  • the position in the imaging direction corresponding to the focal position at the time of focusing corresponding to the estimation target image is assumed to be the position of the imaging target. Since the estimation target image is cut out from a plurality of positions in the image, it is possible to obtain the position of the imaging target in the imaging direction at each position of the estimation target image in the image.
  • the tilt of the object to be imaged is estimated from the positions of the plurality of objects to be imaged.
  • the tilt estimator 33 estimates the tilt of the imaging object for each coordinate axis on a plane perpendicular to the imaging direction.
  • the tilt estimator 33 estimates the tilt of the imaging object for each of the X-axis and the Y-axis, which are two coordinate axes parallel to each side of the estimation target image 91 of the image 90 shown in FIG.
  • the tilt estimating unit 33 calculates the tilt angle ⁇ 1 , and the tilt angle ⁇ 2 of the imaging object on the Y-axis with respect to the plane (hatched plane in the figure) perpendicular to the imaging direction (Z-axis direction), as shown in FIG . 8B.
  • FIG. 8 shows information indicating the focused position estimated from each estimation target image 91 (specifically, the difference between the focused position when the image was captured and the focused position). (values such as +2, 0, -2, +3, 0 and -3).
  • FIG. 8A shows an example in which the object to be imaged is tilted in the X-axis direction, specifically, the right side is lowered.
  • FIG. 8B shows an example in which the object to be imaged is tilted in the Y-axis direction, specifically, the front side is lowered.
  • the tilt estimator 33 calculates the angles ⁇ 1 and ⁇ 2 using the following equations.
  • x is the length in the X - axis direction used for calculating the angle ⁇ 1 according to the position of the estimation target image in the image.
  • z1 is the amount of deviation of the focal position at the time of focusing in the imaging direction (Z - axis direction) corresponding to x.
  • y is the length in the Y - axis direction used for calculating the angle ⁇ 2 according to the position of the estimation target image in the image.
  • z2 is the amount of deviation of the focal position at the time of focusing in the imaging direction (Z - axis direction) corresponding to y.
  • x and y are determined based on the position of the estimation target image as shown in FIG.
  • y is the Y-axis direction of two predetermined positions of the estimation target images P a and P c (for example, the central coordinate P center of the estimation target image) separated from each other in the Y-axis direction used for estimating the inclination; difference.
  • z 1 and z 2 are calculated from the focal positions corresponding to the respective estimation target images.
  • the estimation target image used for tilting the imaging target may be other than the above.
  • the estimation target image used for the tilt of the object to be imaged may be estimated as follows. An image of an object to be imaged is divided into a plurality of regions each containing a plurality of estimation target images. For example, divide the image into 3 ⁇ 3 rectangular regions. outliers from the in -focus focus positions (Za1 , Za2 , Za3 , . Remove. Take the median value (Z median ) of the in-focus focal positions after removing the outliers. The median value (Z median ) and the estimation target image (P median ) corresponding to the median value (Z median ) are used as the in-focus focus position and the estimation target image representing the area (P a ) to estimate the tilt. .
  • the tilt estimating unit 33 estimates the tilt of the object captured in the image from the in-focus focal positions corresponding to each of the plurality of estimation target images estimated by the focus position estimating unit 32, other than the above You may estimate a slope by the method of The tilt estimator 33 may also estimate angles other than the above-described angles ⁇ 1 and ⁇ 2 as the tilt of the object to be imaged.
  • the tilt estimator 33 outputs information indicating the estimated tilt of the object to be imaged to the controller 34 .
  • the tilt estimating unit 33 may also output to the control unit 34 information indicating the focal position at the time of focusing corresponding to the estimation target image used for estimating the tilt of the object to be imaged.
  • the control unit 34 is control means for controlling the tilt of the object to be imaged based on the tilt of the object to be imaged estimated by the tilt estimation unit 33 . Based on the focal position estimated by the focal position estimating section 32, the control section 34 may control the focal position during imaging of the imaging target.
  • the control unit 34 receives information indicating the tilt of the imaging object from the tilt estimating unit 33 . Further, the control unit 34 may input information indicating the focus position at the time of focusing corresponding to the estimation target image from the tilt estimation unit 33 .
  • the control unit 34 controls the inspection device 40 or the observation device 50 so that the inclination of the imaging object indicated by the input information is eliminated during imaging. Specifically, the control unit 34 controls the inspection device 40 or the observation device 50 so as to tilt the object to be imaged opposite to the tilt of the object to be imaged indicated by the input information.
  • the inspection device 40 or the observation device 50 that has received the control adjusts the inclination of the object to be imaged during imaging by, for example, operating the placement section.
  • the control unit 34 controls tilt correction in the inspection device 40 or the observation device 50 .
  • the image picked up by the inspection device 40 or the observation device 50 is an image in which the object to be picked up is properly tilted.
  • control unit 34 controls the inspection device 40 or the observation device 50 so that the focal position during imaging becomes the in-focus focal position indicated by the input information.
  • control unit 34 performs control so that the focus position at the time of focusing corresponds to a preset estimation target image among the plurality of estimation target images.
  • the inspection device 40 or the observation device 50 that has received the control operates, for example, the stage 46 to adjust the focal position during imaging.
  • the image captured by the inspection device 40 or the observation device 50 becomes a focused image.
  • the control unit 34 controls autofocus in the inspection device 40 or the observation device 50 .
  • the above is the configuration of the tilt estimation system 30 .
  • FIG. 9 First, using the flowchart of FIG. 9, the process executed when generating the feature output model and the focal position estimation model, that is, the process executed by the feature output model generation system 20 according to the present embodiment. A feature output model generation method will be described.
  • the learning image acquisition unit 21 acquires a plurality of learning images associated with focus position information related to the focus position at the time of imaging (S01, learning image acquisition step). Further, the learning image acquisition unit 21 acquires focus position information related to the focus position at the time of focusing corresponding to each learning image. Subsequently, the feature output model generation unit 22 generates a feature output model from the learning image by machine learning (S02, feature output model generation step). At this time, the feature amounts of the two learning images 71 are compared according to the focal position information associated with the two different learning images, and machine learning is performed based on the comparison results. Subsequently, the focus position estimation model generation unit 23 generates a focus position estimation model from the focus position information by machine learning (S03, focus position estimation model generation step).
  • the generated feature quantity output model and focal position estimation model are output from the feature quantity output model generation system 20 to the tilt estimation system 30 .
  • the feature quantity output model and the focus position estimation model are stored and used in the following processes.
  • the above is the feature output model generation method, which is the process executed by the feature output model generation system 20 according to the present embodiment.
  • the estimation target image acquisition unit 31 acquires an image of the imaging target, and acquires an estimation target image, which is a plurality of partial images, from the image (S11, estimation target image acquisition step ).
  • the estimation target image is based on an image obtained by imaging for inclination estimation by the inspection device 40 or the observation device 50 .
  • the feature quantity output model is used by the focus position estimation unit 32 to output the feature quantity of each of the plurality of estimation target images from each of the plurality of estimation target images.
  • the focal position estimation unit 32 uses the focal position estimation model to estimate the in-focus focal position corresponding to each of the plurality of estimation target images from the feature amount of each of the plurality of estimation target images (S12, focus position estimation step).
  • the tilt estimating unit 33 estimates the tilt of the object captured in the image from the in-focus focal position corresponding to each of the plurality of estimation target images (S13, tilt estimating step).
  • the controller 34 controls the tilt of the object to be imaged by the inspection device 40 or the observation device 50 at the time of new imaging based on the estimated tilt of the object to be imaged (S14, control step).
  • the image picked up by the inspection device 40 or the observation device 50 is an image in which the object to be picked up is properly tilted.
  • the control unit 34 may control the focal position at the time of imaging of the object to be imaged by the inspection device 40 or the observation device 50 based on the estimated focal position. As a result, the image captured by the inspection device 40 or the observation device 50 becomes a focused image.
  • the above is the tilt estimation method, which is the processing executed by the tilt estimation system 30 according to the present embodiment.
  • a feature quantity output model that outputs the feature quantity of an image is generated by machine learning.
  • the feature amounts of the two learning images are compared in accordance with the focal position information associated with the two different learning images, and machine learning is performed based on the comparison results.
  • the machine learning for feature amount output model generation when two different learning images are related to the same focal position, the difference between the feature amounts of the two learning images is is smaller and two different learning images are associated with different focal positions, the difference between the feature amounts of the two learning images may be increased. According to this configuration, it is possible to reliably and appropriately generate a feature output model.
  • the machine learning does not necessarily have to be performed as described above, and may be performed based on the result of comparing the feature amounts of the two learning images.
  • the learning image and the estimation target image are images obtained by detecting radiation from the imaging target, images obtained by detecting light from the imaging target when the imaging target is irradiated with light, or It may be an image obtained by detecting the electrical characteristics of the object to be imaged when the object is irradiated with light. Furthermore, the learning image and the estimation target image may be images obtained when the imaging target is irradiated with light of a specific wavelength. According to these configurations, it is possible to generate an appropriate feature amount output model according to the type of image to be used, and to use the feature amount output model. However, the learning image and the estimation target image are not limited to those described above, and may be any image corresponding to the focal position.
  • the feature output model generation system 20 may further include a focus position estimation model generation unit 23 that generates a focus position estimation model.
  • a focus position estimation model generation unit 23 that generates a focus position estimation model.
  • the feature output model generation system 20 does not have to include the focal position estimation model generation unit 23 . That is, the feature output model generation system 20 may be configured to generate only feature output models. Also, the generated feature amount output model may be used for purposes other than estimating the focal position at the time of focusing.
  • the in-focus focus position corresponding to each of the plurality of estimation target images is estimated from each of the estimation target images, and the tilt of the imaging target is estimated. Presumed. Therefore, if an image of the object to be imaged is obtained, the inclination of the object to be imaged can be estimated in a short period of time.
  • a configuration for example, a lens turret
  • a space for providing a special optical system in the apparatus which were required when estimating the tilt of the imaging object using a special optical system, are not required. Also, the cost of preparing a special optical system is unnecessary.
  • processes such as turret switching, laser scanning, and alignment are not required. Compared to that case, the estimation time of the inclination of the object to be imaged can be significantly shortened.
  • the feature quantity output model used for estimating the focus position can output a feature quantity suitable for estimating the focus position, and by using this, it is possible to appropriately estimate the tilt of the imaging object. Therefore, according to the tilt estimation system of the present invention, the tilt of the object to be imaged can be estimated with a simple configuration and in a short period of time.
  • the above-described feature quantity output model is used for estimating the focal position during focusing. Therefore, according to the present embodiment, it is possible to estimate the focus position at the time of focusing based on the image in a short preparation time. Further, according to the tilt estimation system 30 according to the present embodiment, it is possible to estimate the focal position at the time of focusing by imaging for tilt estimation once. Therefore, it is possible to estimate the focus position at the time of focusing more quickly than in the case of searching for the focus position at the time of focusing by performing imaging a plurality of times while changing the focus position. As a result, it is possible to quickly estimate the inclination of the object to be imaged.
  • the focus position estimation model described above may be used to estimate the focus position during focusing. With this configuration, it is possible to reliably and appropriately estimate the focal position at the time of focusing. As a result, the tilt of the object to be imaged can be reliably and appropriately estimated. However, it is not necessary to use the focus position estimation model described above for estimating the focus position at the time of focusing, and the estimation may be performed from the feature quantity output from the feature quantity output model.
  • the tilt estimation system 30 controls the tilt of the object to be imaged by the inspection device 40 or the observation device 50 based on the estimated tilt of the object to be imaged. It may be further provided. According to this configuration, the inspection device 40 or the observation device 50 can capture an image of the imaging target at an appropriate tilt. .
  • the tilt estimation system 30 does not have to include the controller 34 . That is, the tilt estimation system 30 may be any system that estimates the tilt of the object to be imaged.
  • the semiconductor inspection system according to this embodiment may be a system including the tilt estimation system 30 and the inspection device 40 .
  • the biological observation system according to this embodiment may be a system including the tilt estimation system 30 and the observation device 50 .
  • the computer 10 includes the feature quantity output model generation system 20 and the gradient estimation system 30.
  • the feature quantity output model generation system 20 and the gradient estimation system 30 are independent. Each may be implemented.
  • the feature output model generation program 200 is inserted into a computer and accessed, or stored in a program storage area 211 formed in a computer-readable recording medium 210 provided in the computer.
  • the recording medium 210 may be a non-temporary recording medium.
  • the feature output model generation program 200 comprises a learning image acquisition module 201 , a feature output model generation module 202 , and a focus position estimation model generation module 203 .
  • a function realized by executing the learning image acquisition module 201, the feature output model generation module 202, and the focus position estimation model generation module 203 is the learning image acquisition of the feature output model generation system 20 described above.
  • the functions are the same as those of the unit 21, the feature output model generation unit 22, and the focus position estimation model generation unit 23, respectively.
  • the inclination estimation program 300 is stored in a program storage area 311 formed in a computer-readable recording medium 310 that is inserted into and accessed by a computer or that the computer has.
  • the recording medium 310 may be a non-temporary recording medium. Note that the recording medium 310 may be the same as the recording medium 210 .
  • the tilt estimation program 300 comprises an estimation target image acquisition module 301 , a focus position estimation module 302 , a tilt estimation module 303 and a control module 304 .
  • Functions realized by executing the focus position estimation module 302, the tilt estimation module 303, and the control module 304 are the estimation target image acquisition unit 31, the focus position estimation unit 32, and the tilt estimation system 30 described above.
  • the functions are the same as those of the tilt estimating section 33 and the control section 34, respectively.
  • Part or all of the feature output model generation program 200 and the gradient estimation program 300 are transmitted via a transmission medium such as a communication line, and received and recorded (including installation) by another device. may be configured. Also, each module of the feature output model generation program 200 and the gradient estimation program 300 may be installed in one of a plurality of computers instead of one computer. In that case, the above-described series of processes are performed by the computer system comprising the plurality of computers.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

撮像対象物の傾斜の推定を簡易な構成かつ短時間で行う。　傾斜推定システム３０は、画像に写った撮像対象物の傾斜を推定するシステムであって、画像から複数の部分画像である推定対象画像を取得する推定対象画像取得部３１と、特徴量出力モデルを用いて推定対象画像から特徴量を出力して、複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定する焦点位置推定部３２と、それらの合焦時の焦点位置から撮像対象物の傾斜を推定する傾斜推定部３３とを備え、特徴量出力モデルは、撮像時の焦点位置に係る焦点位置情報が対応付けられた複数の学習用画像から、機械学習によって生成され、互いに異なる２つの学習用画像に対応付けられた焦点位置情報に応じて当該２つの学習用画像の特徴量が比較されて、比較結果に基づいて機械学習が行われる。

Description

傾斜推定システム、傾斜推定方法、傾斜推定プログラム、半導体検査システム及び生体観察システム
　本発明は、画像に写った撮像対象物の傾斜を推定する傾斜推定システム、傾斜推定方法及び傾斜推定プログラム、並びに半導体検査システム及び生体観察システムに関する。
　従来、撮像対象物の撮像を行う際に撮像対象物の傾斜、例えば、撮像方向に対する傾斜を推定することが提案されている。例えば、特許文献１には、半導体デバイスの検査を行うために半導体デバイスを撮像する際、半導体デバイスの傾斜を推定することが示されている。推定された傾斜は、半導体デバイスの姿勢を調整するために用いられる。特許文献１では、専用のレンズ（例えば、リレーレンズ系）及びスキャナ等を含むの光学系によって撮像対象物の傾斜を推定している。
国際公開第２０１７／１５４８９５号
　特許文献１に示されたように特別な光学系によって撮像対象物の傾斜を推定する場合、装置内に特別な光学系を設けるための構成（例えば、レンズターレット）及び空間が必要となる。また、特別な光学系を用意するためのコストが必要となる。また、特許文献１に示された方法では、ターレットの切替、レーザスキャン及び位置合わせ等の処理が必要となり、傾斜の推定に長時間を要していた。
　本発明の一実施形態は、上記に鑑みてなされたものであり、撮像対象物の傾斜の推定を簡易な構成かつ短時間で行うことができる傾斜推定システム、傾斜推定方法及び傾斜推定プログラム、並びにそれらに関連する半導体検査システム及び生体観察システムを提供することを目的とする。
　上記の目的を達成するために、本発明の一実施形態に係る傾斜推定システムは、画像に写った撮像対象物の傾斜を推定する傾斜推定システムであって、撮像対象物が写った画像を取得して、当該画像から複数の部分画像である推定対象画像を取得する推定対象画像取得手段と、画像に基づく情報を入力して当該画像の特徴量を出力する特徴量出力モデルを用いて、推定対象画像取得手段によって取得された複数の推定対象画像それぞれから複数の推定対象画像それぞれの特徴量を出力して、出力された特徴量から複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定する焦点位置推定手段と、焦点位置推定手段によって推定された複数の推定対象画像それぞれに対応する合焦時の焦点位置から、画像に写った撮像対象物の傾斜を推定する傾斜推定手段と、を備え、特徴量出力モデルは、撮像時の焦点位置に係る焦点位置情報が対応付けられた複数の学習用画像から、機械学習によって生成され、互いに異なる２つの学習用画像に対応付けられた焦点位置情報に応じて当該２つの学習用画像の特徴量が比較されて、比較結果に基づいて機械学習が行われる。
　本発明の一実施形態に係る傾斜推定システムでは、画像の複数の部分画像である推定対象画像それぞれから、複数の推定対象画像それぞれに対応する合焦時の焦点位置が推定されて、撮像対象物の傾斜が推定される。従って、撮像対象物が写った画像が得られれば、撮像対象物の傾斜を短時間で推定することができる。また、焦点位置の推定に用いられる特徴量出力モデルは、焦点位置の推定に適切な特徴量を出力することができ、これを用いることで適切に撮像対象物の傾斜を推定することができる。従って、本発明の一実施形態に係る傾斜推定システムによれば、撮像対象物の傾斜の推定を簡易な構成かつ短時間で行うことができる。
　焦点位置推定手段は、特徴量出力モデルから出力される特徴量を入力して、当該特徴量に係る画像に対応する合焦時の焦点位置を推定する焦点位置推定モデルを用いて複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定し、焦点位置推定モデルは、学習用画像それぞれに対応する合焦時の焦点位置に係る合焦位置情報から、機械学習によって生成されることとしてもよい。この構成によれば、焦点位置推定モデルを用いることで、確実かつ適切に焦点位置を推定することができる。その結果、確実かつ適切に撮像対象物の傾斜を推定することができる。
　傾斜推定システムでは、傾斜推定手段によって推定された撮像対象物の傾斜に基づいて、撮像対象物の撮像時の傾斜を制御する制御手段を更に備えることとしてもよい。この構成によれば、適切な傾斜での撮像対象物の撮像を行うことができる。
　本発明の一実施形態に係る半導体検査システム及び生体観察システムは、上述した傾斜推定システムを備える構成することができる。即ち、本発明の一実施形態に係る半導体検査システムは、上記の傾斜推定システムと、傾斜推定システムに係る撮像対象物として半導体デバイスが載置される載置部と、半導体デバイスを検査する検査部と、を備える。また、本発明の一実施形態に係る生体観察システムは、上記の傾斜推定システムと、傾斜推定システムに係る撮像対象物として生体サンプルが載置される載置部と、生体サンプルを観察する観察部と、を備える。
　ところで、本発明の一実施形態は、上記のように傾斜推定システムの発明として記述できる他に、以下のように傾斜推定方法及び傾斜推定プログラムの発明としても記述することができる。
　即ち、本発明の一実施形態に係る傾斜推定方法は、画像に写った撮像対象物の傾斜を推定する傾斜推定方法であって、撮像対象物が写った画像を取得して、当該画像から複数の部分画像である推定対象画像を取得する推定対象画像取得ステップと、画像に基づく情報を入力して当該画像の特徴量を出力する特徴量出力モデルを用いて、推定対象画像取得ステップにおいて取得された複数の推定対象画像それぞれから複数の推定対象画像それぞれの特徴量を出力して、出力された特徴量から複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定する焦点位置推定ステップと、焦点位置推定ステップにおいて推定された複数の推定対象画像それぞれに対応する合焦時の焦点位置から、画像に写った撮像対象物の傾斜を推定する傾斜推定ステップと、を含み、特徴量出力モデルは、撮像時の焦点位置に係る焦点位置情報が対応付けられた複数の学習用画像から、機械学習によって生成され、互いに異なる２つの学習用画像に対応付けられた焦点位置情報に応じて当該２つの学習用画像の特徴量が比較されて、比較結果に基づいて機械学習が行われる。
　焦点位置推定ステップにおいて、特徴量出力モデルから出力される特徴量を入力して、当該特徴量に係る画像に対応する合焦時の焦点位置を推定する焦点位置推定モデルを用いて複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定し、焦点位置推定モデルは、学習用画像それぞれに対応する合焦時の焦点位置に係る合焦位置情報から、機械学習によって生成されることとしてもよい。
　傾斜推定方法は、傾斜推定ステップにおいて推定された撮像対象物の傾斜に基づいて、撮像対象物の撮像時の傾斜を制御する制御ステップを更に含むこととしてもよい。
　また、本発明の一実施形態に係る傾斜推定プログラムは、コンピュータを、画像に写った撮像対象物の傾斜を推定する傾斜推定システムとして動作させる傾斜推定プログラムであって、当該コンピュータを、撮像対象物が写った画像を取得して、当該画像から複数の部分画像である推定対象画像を取得する推定対象画像取得手段と、画像に基づく情報を入力して当該画像の特徴量を出力する特徴量出力モデルを用いて、推定対象画像取得手段によって取得された複数の推定対象画像それぞれから複数の推定対象画像それぞれの特徴量を出力して、出力された特徴量から複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定する焦点位置推定手段と、焦点位置推定手段によって推定された複数の推定対象画像それぞれに対応する合焦時の焦点位置から、画像に写った撮像対象物の傾斜を推定する傾斜推定手段と、として機能させ、特徴量出力モデルは、撮像時の焦点位置に係る焦点位置情報が対応付けられた複数の学習用画像から、機械学習によって生成され、互いに異なる２つの学習用画像に対応付けられた焦点位置情報に応じて当該２つの学習用画像の特徴量が比較されて、比較結果に基づいて機械学習が行われる。
　焦点位置推定手段は、特徴量出力モデルから出力される特徴量を入力して、当該特徴量に係る画像に対応する合焦時の焦点位置を推定する焦点位置推定モデルを用いて複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定し、焦点位置推定モデルは、学習用画像それぞれに対応する合焦時の焦点位置に係る合焦位置情報から、機械学習によって生成されることとしてもよい。
　傾斜推定プログラムは、コンピュータを、傾斜推定手段によって推定された撮像対象物の傾斜に基づいて、撮像対象物の撮像時の傾斜を制御する制御手段としても機能させることとしてもよい。
　本発明の一実施形態によれば、撮像対象物の傾斜の推定を簡易な構成かつ短時間で行うことができる。
本発明の実施形態に係る特徴量出力モデル生成システム及び傾斜推定システムの構成を示す図である。 検査装置の一部の構成の例を示す図である。 焦点位置毎の撮像される画像の例である。 機械学習による特徴量出力モデルの生成を説明するための図である。 特徴量出力モデルの生成の生成に用いられる既存の学習済モデルを示す図である。 デフォーカス画像及びフォーカス画像の例を示す図である。 画像に対する推定対象画像の例を示す図である。 撮像対象物の傾斜の推定を説明するための図である。 本発明の実施形態に係る特徴量出力モデル生成システムで実行される処理である特徴量出力モデル生成方法を示すフローチャートである。 本発明の実施形態に係る傾斜推定システムで実行される処理である傾斜推定方法を示すフローチャートである。 本発明の実施形態に係る特徴量出力モデル生成プログラムの構成を、記録媒体と共に示す図である。 本発明の実施形態に係る傾斜推定プログラムの構成を、記録媒体と共に示す図である。
　以下、図面と共に本発明に係る傾斜推定システム、傾斜推定方法、傾斜推定プログラム、半導体検査システム及び生体観察システムの実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
　図１に本実施形態に係る傾斜推定システムであるコンピュータ１０を示す。コンピュータ１０は、画像に対する情報処理を行う装置（システム）である。具体的には、コンピュータ１０は、検査装置４０及び観察装置５０の少なくとも何れかによって撮像される画像に対する情報処理を行う。なお、コンピュータ１０は、検査装置４０及び観察装置５０以外の装置によって撮像された画像に対する情報処理を行ってもよい。即ち、コンピュータ１０は、検査装置４０及び観察装置５０以外の撮像を行う装置に対して適用されてもよい。
　検査装置４０は、半導体デバイスを撮像して、撮像した画像に基づいて半導体デバイスを検査する装置である。例えば、検査装置４０は、半導体デバイスの故障解析を行う。検査対象の半導体デバイスは、例えば、μＬＥＤ（Light　Emitting　Diode）が敷き詰められたウエハである。故障解析は、例えば、発光解析、発熱解析、パターン画像を用いた解析又はレーザによる解析（ＯＢＩＲＣＨ、ＯＢＩＣ又はＤＡＬＳ等）によって行われる。検査装置４０は、従来の検査装置であってもよい。以下に説明する構成も全て従来の検査装置が備えるものでよい。
　図２に、例えば、発光解析を行う検査装置４０の一部の構成を示す。図２に示すように検査装置４０は、カメラ４１と、載置部４２と、光源４３と、光学系４４と、対物レンズ４５と、ステージ４６とを備えている。カメラ４１は、撮像対象物である半導体デバイスを撮像する撮像装置である。カメラ４１は、例えば、ＩｎＧａＡｓカメラである。載置部４２は、撮像対象物である半導体デバイスを載置するための構成である。図２において、載置部４２に載置されている標準サンプル６０は、検査対象物ではなく、後述する焦点位置に応じた画像に対応するものである。標準サンプル６０は、人工的な模様（例えば、図２に示すように放射状の縞模様）が施されたサンプルである。
　載置部４２は、載置されている撮像対象物の撮像方向に対する傾斜（姿勢）を制御可能に構成されている。例えば、載置部４２は、撮像対象物を載置する載置面の撮像方向に対する傾斜が可変であるように構成されている。このように載置部４２は、撮像対象物のチルト補正を行うことができる。載置部４２としては、撮像対象物の傾斜を制御可能な従来のものを用いることができる。撮像対象物の撮像時の傾斜は、後述するようにコンピュータ１０によって制御される。
　光源４３は、撮像対象物に照射される照射光を出力する装置である。光源４３は、特定の波長（例えば、標準波長である１１００ｎｍ、並びに標準波長とは異なる波長である９００ｎｍ及び１３００ｎｍ）の照射光を出力するものであってもよい。また、複数の光源４３を用意しておく等、照射光の波長を切り替えられるようになっていてもよい。光学系４４は、光源４３から出力された照射光を、撮像対象物である半導体デバイスに照射するための光学系である。対物レンズ４５は、カメラ４１による撮像に用いられる対物レンズであり、例えば、固浸レンズ（ＳＩＬ）である。ステージ４６は、カメラ４１による撮像時の焦点位置を調整するための部材である。ステージ４６は、撮像方向（焦点位置方向、Ｚ軸方向）だけでなく三次元の何れの方向に移動できるもの（即ち、ＸＹＺステージ）であってもよい。検査装置４０における撮像時の焦点位置は、後述するようにコンピュータ１０によって制御される。検査装置４０は、上述した構成によって得られた画像を用いて、半導体デバイスの検査部を行う検査部を備えている。
　なお、検査装置４０の構成は、上述したものである必要はなく、解析方法によっては、異なるものが用いられてもよい。例えば、発熱解析では、照明（光源４３）を不要として、撮像装置（カメラ４１）としてＩｎＳｂカメラを用いてもよい。また、パターン画像を用いた解析を行う場合には、照明（光源４３）として、インコヒーレント光源又はコヒーレント光源を用い、撮像装置として、二次元検出器、若しくは光走査を行う装置及びフォトダイオードを用いてもよい。レーザ解析を行う場合には、照明（光源４３）として、インコヒーレント光源又はコヒーレント光源を用い、撮像装置として、半導体デバイスの電気特性取得装置を用いてもよい。
　観察装置５０は、スライドガラスに載せられた生体サンプルを撮像して、撮像した生体サンプルの画像を観察する装置である。観察装置５０は、従来の観察装置であってもよい。例えば、観察装置５０は、上述した従来のバーチャルスライドスキャナである。観察装置５０は、撮像対象物である生体サンプルを撮像する撮像装置と、撮像対象物である生体サンプルを載置する載置部と、撮像された画像によって生体サンプルを観察する観察部とを備えている。観察装置５０における撮像時の焦点位置は、後述するようにコンピュータ１０によって制御される。観察装置５０の載置部も、上述した検査装置４０の載置部４２と同様に載置されている撮像対象物の撮像方向に対する傾斜（姿勢）を制御可能に構成されている。
　検査装置４０及び観察装置５０による撮像は、撮像対象物の傾斜が適切な状態で行われる必要がある。撮像対象物の傾斜が適切な状態とは、例えば、撮像対象物の撮像対象となる面が撮像方向に対して垂直となっている状態、即ち、撮像対象物が撮像方向に対して傾いていない状態である。撮像対象物の検査又は観察を適切に行うためである。例えば、故障解析の対象である半導体デバイスは、プロセスの処理で裏面を研磨される。研磨時の歪み及びプロセス起因の応力によってサンプルである半導体デバイスの表面には、反り及び歪みが発生している。半導体デバイスが傾いていると、例えば、固浸レンズの接触で問題があるため、撮像時における傾斜を補正すること、即ち、チルト補正が必要となる。なお、撮像対象物の傾斜は、上記以外の原因で生じるものであってもよい。
　検査装置４０及び観察装置５０による撮像は、撮像対象物に焦点があった状態で行われる必要がある。撮像対象物の検査又は観察を適切に行うためである。図３に、焦点位置に応じた撮像された画像の例を示す。この画像は、図２に示す標準サンプル６０を撮像したものである。図３（ａ）は、合焦時の焦点位置で撮像した画像である。図３（ｂ）は、焦点位置が、合焦時の焦点位置から１００μｍ離れた場合の画像である。図３（ｃ）は、焦点位置が、図３（ｂ）の場合よりも更に離れた場合の画像である。図３（ｄ）は、焦点位置が、図３（ｃ）の場合よりも更に離れて合焦時の焦点位置から５００μｍ離れた場合の画像である。即ち、図３（ａ）は、フォーカス画像の例であり、図３（ｂ）～（ｄ）はデフォーカス画像の例である。
　コンピュータ１０は、検査装置４０及び観察装置５０による撮像が、撮像対象物の傾斜が適切な状態で行われるようにするための情報処理を行う。コンピュータ１０は、検査装置４０及び観察装置５０による撮像が、撮像対象物に焦点があった状態で行われるようにするための情報処理を行ってもよい。コンピュータ１０は、機能的な構成として、機械学習によって学習済モデルを生成する特徴量出力モデル生成システム２０と、特徴量出力モデル生成システム２０によって生成された学習済モデルを用いて上記の撮像を可能にするための情報処理を行う傾斜推定システム３０とを含む。特徴量出力モデル生成システム２０は、詳細には後述するように、画像に基づく情報を入力して当該画像の特徴量を出力する特徴量出力モデルを生成するシステム（装置）である。傾斜推定システム３０は、詳細には後述するように、画像に写った撮像対象物の傾斜を推定するシステム（装置）である。なお、本実施形態では、撮像を行う装置として、検査装置４０及び観察装置５０を示すが、撮像対象物の撮像を行う装置（システム）であれば上記以外のものが用いられてもよい。
　コンピュータ１０は、例えば、ＣＰＵ（Central　Processing　Unit）、メモリ、通信モジュール等のハードウェアを含む従来のコンピュータである。また、コンピュータ１０は、複数のコンピュータを含むコンピュータシステムであってもよい。また、コンピュータ１０は、クラウドコンピューティングで構成されていてもよい。コンピュータ１０の後述する各機能は、これらの構成要素がプログラム等により動作することによって発揮される。コンピュータ１０と検査装置４０及び観察装置５０とは、情報の送受信が可能なように互いに接続されている。
　引き続いて、本実施形態に係るコンピュータ１０に含まれる特徴量出力モデル生成システム２０と傾斜推定システム３０との機能を説明する。図１に示すように特徴量出力モデル生成システム２０は、学習用画像取得部２１と、特徴量出力モデル生成部２２と、焦点位置推定モデル生成部２３とを備えて構成される。
　特徴量出力モデル生成システム２０の各機能を説明する前に特徴量出力モデル生成システム２０によって生成される学習済モデルを説明する。特徴量出力モデル生成システム２０によって生成される学習済モデルは、特徴量出力モデル及び焦点位置推定モデルの２つである。
　特徴量出力モデルは、画像に基づく情報を入力して当該画像の特徴量を出力するモデルである。特徴量出力モデルへの入力に用いられる画像は、検査装置４０及び観察装置５０によって撮像された画像の部分画像である。特徴量出力モデルからの出力である特徴量は、入力に係る画像の特徴を示す情報である。本実施形態では、当該特徴は、画像が撮像された際の焦点位置を反映したものである。即ち、特徴量出力モデルは、光学的な特徴に係る光学モデルである。当該特徴量は、例えば、予め設定された次元数（例えば、１０２４次元）のベクトルである。当該特徴量は、後述するように焦点位置推定モデルへの入力に用いられる。
　特徴量出力モデルは、例えば、ニューラルネットワークを含んで構成される。ニューラルネットワークは、多層のものであってもよい。即ち、特徴量出力モデルは、深層学習（ディープラーニング）によって生成されてもよい。また、ニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional　Neural　Network）であってもよい。
　特徴量出力モデルには、入力層に画像に基づく情報を入力するためのニューロンが設けられる。例えば、特徴量出力モデルに入力される情報は、画像の各画素の画素値である。この場合、入力層には、画像の画素の数のニューロンが設けられ、それぞれのニューロンには対応する画素の画素値が入力される。後述するように特徴量出力モデルに入力される情報に係る画像は、予め設定されたサイズの画像（例えば、２２４×２２４画素の画像）とされる。
　なお、特徴量出力モデルに入力される情報は、画像に基づくものであれば各画素の画素値以外であってもよい。例えば、当該情報は、撮像環境による影響を軽減するために画像に対して従来の画像処理等の前処理を行って得られる、特徴量出力モデルへの入力用の特徴量としてもよい。このような前処理を行うことで、機械学習の効率及び生成される特徴量出力モデルの精度の向上等を図ることができる。
　特徴量出力モデルには、出力層に特徴量を出力するためのニューロンが設けられる。例えば、特徴量のベクトルの次元数のニューロンが設けられる。
　焦点位置推定モデルは、特徴量出力モデルから出力される特徴量を入力して、当該特徴量に係る画像に対応する合焦時の焦点位置を推定するモデルである。焦点位置推定モデルは、例えば、入力される特徴量に係る画像が撮像された際の焦点位置と、合焦時の焦点位置との差分を示す情報を、合焦時の焦点位置の推定結果として出力する。差分は、例えば、合焦時の焦点位置に対応する焦点距離から、特徴量に係る画像が撮像された際の焦点位置に対応する焦点距離を引いた値である。即ち、この場合、合焦時の焦点位置の位置を０とした座標系における画像が撮像された際の焦点位置を示す値が出力値となる。合焦時の焦点位置とは、入力される特徴量に係る画像に写った撮像対象物に焦点をあわせて撮像するための焦点位置である。入力される特徴量に係るデフォーカス画像を撮像した際の焦点位置から、上記の差分だけ焦点位置を変更して撮像することでフォーカス画像を撮像することができる。
　この場合、上記の差分の候補を予め設定しておき、焦点位置推定モデルは、それらの候補について候補が妥当である度合いを示す値を出力してもよい。例えば、差分の候補を＋５０μｍ、０μｍ、－５０μｍ、－１００μｍ、…として、焦点位置推定モデルは、それぞれの候補に対して妥当である度合いを示す値を出力する。例えば、当該値が最も高い候補を上記の差分とする。あるいは、焦点位置推定モデルは、上記の差分の値自体を出力するものであってもよい。
　あるいは、焦点位置推定モデルは、合焦時の焦点位置自体を示す情報（例えば、合焦時の焦点位置に対応する焦点距離）を出力してもよい。この場合、合焦時の焦点位置自体の候補を予め設定しておき、焦点位置推定モデルは、それらの候補について候補が妥当である度合いを示す値を出力してもよい。あるいは、焦点位置推定モデルは、上記の合焦時の焦点位置の値自体を出力するものであってもよい。
　焦点位置推定モデルは、例えば、ニューラルネットワークを含んで構成される。ニューラルネットワークは、多層のものであってもよい。即ち、焦点位置推定モデルは、深層学習（ディープラーニング）によって生成されてもよい。また、ニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）であってもよい。
　焦点位置推定モデルには、入力層に特徴量を入力するためのニューロンが設けられる。例えば、入力層には、特徴量出力モデルの出力層に設けられたニューロンに対応するニューロンが設けられる。即ち、入力層には、特徴量出力モデルの出力層に設けられた数のニューロンが設けられる。焦点位置推定モデルには、上述した合焦時の焦点位置の推定結果を出力するためのニューロンが設けられる。例えば、候補の数のニューロン（候補毎の値を出力する場合）又は１つのニューロン（上記の差分又は合焦時の焦点位置自体を出力する場合）が設けられる。
　なお、特徴量出力モデル及び焦点位置推定モデルは、ニューラルネットワーク以外によって構成されていてもよい。
　特徴量出力モデル及び焦点位置推定モデルは、人工知能ソフトウェアの一部であるプログラムモジュールとしての利用が想定される。特徴量出力モデル及び焦点位置推定モデルは、例えば、ＣＰＵ及びメモリを備えるコンピュータにて用いられ、コンピュータのＣＰＵが、メモリに記憶されたモデルからの指令に従って動作する。例えば、コンピュータのＣＰＵが、当該指令に従って、モデルに対して情報を入力して、モデルに応じた演算を行って、モデルから結果を出力するように動作する。具体的には、コンピュータのＣＰＵが、当該指令に従って、ニューラルネットワークの入力層に情報を入力して、ニューラルネットワークにおける学習済の重み付け係数等のパラメータに基づく演算を行って、ニューラルネットワークの出力層から結果を出力するように動作する。
　学習用画像取得部２１は、撮像時の焦点位置に係る焦点位置情報が対応付けられた複数の学習用画像を取得する学習用画像取得手段である。学習用画像取得部２１は、撮像対象物からの放射を検出した画像、撮像対象物に光を照射した際の撮像対象物からの光を検出した画像、又は撮像対象物に光を照射した際の撮像対象物の電気特性を検出した画像を、学習用画像として取得してもよい。学習用画像取得部２１は、特定の波長の光を撮像対象物に照射した際の画像を、学習用画像として取得してもよい。学習用画像取得部２１は、取得する学習用画像それぞれに対応する合焦時の焦点位置に係る合焦位置情報を取得する。
　例えば、学習用画像取得部２１は、検査装置４０又は観察装置５０によって撮像された画像を取得する。この画像は、学習用画像用の撮像対象物が写っているものである。学習用画像用の撮像対象物は、例えば、図２に示す標準サンプル６０であってもよい。あるいは、学習用画像用の撮像対象物は、その他のもの（例えば、検査装置４０又は観察装置５０によって撮像するもの）であってもよい。例えば、図４に示すように、学習用画像取得部２１は、取得した画像７０から部分画像を切り出して学習用画像７１とする。学習用画像７１は、上述した２つの学習済モデルを生成するための機械学習に用いられる画像である。そのため、学習用画像取得部２１は、適切に学習済モデルを生成できる程度の数の複数の学習用画像７１を取得する。
　本実施形態は、デフォーカス画像から合焦時の焦点位置を推定するものであるため、複数の学習用画像７１には、デフォーカス画像が含まれるようにする。また、当該デフォーカス画像は、複数であり、それらに係る焦点位置は、様々な位置であってもよい。即ち、それらに係る焦点位置に対応する焦点距離は、様々な距離であってもよい。また、複数の学習用画像７１には、フォーカス画像が含まれていてもよい。図４では、取得した画像７０が３つである例を示している。図４の画像７０を示した部分の縦方向は、撮像方向（焦点位置方向、Ｚ軸方向）である。
　学習用画像７１は、特徴量出力モデルへの入力に用いられる画像に対応する。この場合、特徴量出力モデルは、検査装置４０又は観察装置５０によって撮像された画像全体ではなく、当該画像の、学習用画像７１と同じサイズである部分画像に基づく情報を入力する。従って、学習用画像取得部２１は、特徴量出力モデルの入力に用いられる、予め設定されたサイズの部分画像である学習用画像７１を取得した画像７０から切り出す。画像７０における、学習用画像７１が切り出される位置は、撮像対象物が写っている部分である。但し、学習用画像７１には、撮像対象物が写っていない学習用画像７１が含まれていてもよい。画像７０における学習用画像７１が切り出される位置は、予め設定されていてもよい。また、画像７０に対して画像認識を行って撮像対象物が写っていると推定される位置を学習用画像７１が切り出される位置としてもよい。
　図４に示すように、学習用画像取得部２１は、１つの画像７０から複数の学習用画像７１を切り出してもよい。画像７０から複数の学習用画像７１を切り出す場合、学習用画像７１の位置が重複していてもよい。
　検査装置４０又は観察装置５０では、撮像が行われて学習用画像７１の元となる画像が生成される。その際、例えば、検査装置４０又は観察装置５０では、撮像方向（Ｚ軸方向）以外の撮像時の位置（ＸＹ）を固定して、焦点位置が異なる複数回の連続した撮像が行われる。その際、図４に示すように、一定の間隔（ステップ）（ΔＺ）で焦点位置が異なるようにされる。検査装置４０又は観察装置５０における学習用画像７１のための撮像は、上記以外の方法で行われてもよい。
　また、学習用画像取得部２１は、検査装置４０又は観察装置５０以外から画像７０を取得してもよい。
　また、上記の通り、学習用画像７１は、撮像対象物からの放射を検出した画像（発光・発熱解析に用いられる画像）、撮像対象物に光を照射した際の撮像対象物からの光を検出した画像（パターン解析に用いられる画像）、又は撮像対象物に光を照射した際の撮像対象物の電気特性を検出した画像（レーザ解析に用いられる画像）であってもよい。また、学習用画像７１は、特定の波長の光（例えば、検査に用いる特定の波長の光）を撮像対象物に照射した際の画像であってもよい。これらは、検査装置４０又は観察装置５０で通常用いられる画像の種別である。但し、１組の特徴量出力モデル及び焦点位置推定モデルを生成する場合には、何れかの種別の画像のみを学習用画像７１としてもよい。この場合、生成される１組の特徴量出力モデル及び焦点位置推定モデルは、特定の画像の種別に対応したものとなる。
　発光解析で用いられる光の波長は、検査装置４０の駆動電圧及び設計ルールによって異なる。また、実際の光学系では、調整及び光学素子の特性に起因した波長毎の焦点ずれが生じる。また、パターン像（画像）を観察する焦点位置と異なる位置で検出感度が最大になる場合がある。これらを考慮して、上記のように特定の波長毎の画像を用いて、波長毎の特徴量出力モデルを生成してもよい。例えば、標準波長（１１００ｎｍ）及び標準波長とは異なる波長（９００ｎｍ、１３００ｎｍ）毎の画像を用いて、波長毎の特徴量出力モデルを生成してもよい。
　また、１組の特徴量出力モデル及び焦点位置推定モデルを生成する場合には、検査装置４０又は観察装置５０の何れかの機種（種別）によって撮像された画像（部分画像も含む）のみを学習用画像７１としてもよい。この場合、生成される１組の特徴量出力モデル及び焦点位置推定モデルは、特定の機種の検査装置４０又は観察装置５０に対応したものとなる。即ち、特徴量出力モデル及び焦点位置推定モデルは、検査装置４０又は観察装置５０の特徴を反映したものとなる。このように学習用画像を、特定の種別の画像又は特定の機種の検査装置４０又は観察装置５０に対応するものにすることで、より精度の高い学習済モデルとすることができる。あるいは、焦点位置推定モデルについては、複数の画像の種別又は機種で共通したものとしてもよい。
　各学習用画像７１には、学習用画像７１の撮像時の焦点位置に係る焦点位置情報が対応付けられている。焦点位置情報は、例えば、上記の焦点位置を示す情報である。但し、焦点位置情報は、焦点位置に係る情報であり、上述した学習済モデルの生成に用いることができるものであれば上記以外のものであってもよい。焦点位置情報は、例えば、検査装置４０又は観察装置５０における画像の撮像時の情報として得られる。例えば、学習用画像取得部２１は、焦点位置情報が対応付けられた画像を検査装置４０又は観察装置５０から受信して取得する。
　また、学習用画像取得部２１は、取得する学習用画像それぞれに対応する合焦時の焦点位置に係る合焦位置情報を取得する。合焦位置情報は、例えば、合焦時の焦点位置を示す情報である。但し、合焦位置情報は、合焦時の焦点位置に係る情報であり、上述した学習済モデルの生成に用いることができるものであれば上記以外のものであってもよい。合焦位置情報は、従来の合焦時の焦点位置を測定する方法等で得られる。例えば、学習用画像取得部２１は、測定によって得られた合焦位置情報のユーザによるコンピュータ１０に対する入力操作を受け付けることで合焦位置情報を取得する。
　学習用画像取得部２１は、取得した各情報を特徴量出力モデル生成部２２及び焦点位置推定モデル生成部２３に出力する。
　特徴量出力モデル生成部２２は、学習用画像取得部２１によって取得された学習用画像７１から、機械学習によって特徴量出力モデルを生成する特徴量出力モデル生成手段である。特徴量出力モデル生成部２２は、互いに異なる２つの学習用画像７１に対応付けられた焦点位置情報に応じて当該２つの学習用画像７１の特徴量を比較して、比較結果に基づいて機械学習を行う。特徴量出力モデル生成部２２は、互いに異なる２つの学習用画像が互いに同一の焦点位置に係るものである場合、当該２つの学習用画像７１の特徴量の差分が小さくなるように、かつ、互いに異なる２つの学習用画像７１が互いに異なる焦点位置に係るものである場合、当該２つの学習用画像７１の特徴量の差分が大きくなるように機械学習を行ってもよい。
　特徴量出力モデル生成部２２は、以下のように特徴量出力モデルを生成する。特徴量出力モデル生成部２２は、学習用画像取得部２１から学習用画像７１、及び当該学習用画像７１に係る焦点位置情報を入力する。特徴量出力モデル生成部２２は、入力した複数の学習用画像７１から選択した２つの学習用画像７１を１つのセットとして用いて、特徴量出力モデル生成のための機械学習を行う。機械学習に用いられるセットには、互いに同一の焦点位置に係る学習用画像７１のセットと、互いに異なる焦点位置に係る学習用画像７１のセットとの両方が含まれるようにする。例えば、同一の焦点位置に係る学習用画像７１のセットは、例えば図４に示すように同一の画像７０から切り出された学習用画像７１であってもよい。学習用画像７１のセットの選択は、上記の条件を満たすように予め設定された方法で行われればよい。また、学習用画像７１のセットは、撮像方向（Ｚ軸方向）以外の撮像時の位置（ＸＹ）が同一の画像７０から選択されてもよい。
　特徴量出力モデル生成部２２は、選択したセットの学習用画像７１に基づく情報を、特徴量出力モデルへの入力として機械学習を行う。図４に示すように１つのセットの学習用画像７１それぞれを特徴量出力モデル８０に入力すると、学習用画像７１それぞれについて特徴量が出力として得られる。図４では、特徴量であるベクトルの各要素の値を棒グラフで示している。この際、一方の学習用画像７１を入力する特徴量出力モデル８０を学習対象として、もう一方の学習用画像７１を入力する特徴量出力モデル８０を比較対象とする。但し、これらの特徴量出力モデル８０は、学習途中の同一のものである。
　特徴量出力モデル生成部２２は、焦点位置情報を参照して、出力される２つの特徴量を比較して比較結果に基づいて機械学習を行う。特徴量出力モデル生成部２２は、焦点位置情報によって示される２つの学習用画像７１の焦点位置が互いに同一の焦点位置である（即ち、同一平面である）場合、当該２つの学習用画像７１の特徴量の差分が小さくなるように機械学習を行う。特徴量出力モデル生成部２２は、焦点位置情報によって示される２つの学習用画像の焦点位置が互いに異なる焦点位置である（即ち、Ｚ位置が異なる）場合、当該２つの学習用画像７１の特徴量の差分が大きくなるように機械学習を行う。なお、同一の画像から切り出された２つの学習用画像７１である場合、２つの学習用画像７１の焦点位置は互いに同一の焦点位置となる。また、２つの学習用画像７１の焦点位置が互いに同一であるとみなせる程近接している場合も、２つの学習用画像７１の焦点位置は互いに同一の焦点位置であるとみなしてもよい。
　即ち、同一の焦点面にある画像から切り出された部分画像同士の特徴量は、切り出し位置によらず相関が大きくなるようにされる。一方で、異なる焦点面にある画像から切り出された部分画像同士の特徴量は、相関が小さくなるようにされる。このように機械学習されることで、特徴量出力モデルから出力される特徴量は、焦点位置に応じた特徴を反映したものとなる。
　具体的には、２つの学習用画像７１の焦点位置が互いに同一の焦点位置である場合、特徴量出力モデル生成部２２は、以下のｌｏｓｓ＿ｘｙを損失関数として機械学習を行う。
Figure JPOXMLDOC01-appb-M000001
 ここで、ｉ（０～ｎ）は、特徴量のベクトルの要素を示すサフィックス（添え字）である。特徴量のベクトルのチャンネル数（次元数）は、ｎ＋１である。Ｆｔ０～Ｆｔｎは、学習対象の特徴量出力モデル８０から出力される特徴量のベクトルの各要素の値である。Ｆｃ０～Ｆｃｎは、比較対象の特徴量出力モデル８０から出力される特徴量のベクトルの各要素の値である。ＳＤｉは、各特徴量の要素ｉについての標準偏差である。上記のように差分を標準偏差で割ってｅｒｒｏｒｉを算出することで、チャンネル毎の差分のばらつきを揃えている。損出は、各チャンネルの誤差の平均（の正の平方根）である。
　２つの学習用画像７１の焦点位置が互いに異なる焦点位置である場合、特徴量出力モデル生成部２２は、以下のｌｏｓｓ＿ｚを損失関数として機械学習を行う。
Figure JPOXMLDOC01-appb-M000002
 即ち、この場合の損出関数は、２つの学習用画像７１の焦点位置が互いに同一の焦点位置である場合の損失関数の逆数である。損失関数に基づく機械学習自体、即ち、特徴量出力モデルのパラメータの更新は、従来と同様に行われればよい。なお、損出関数は、必ずしも上記である必要はなく、上述した基準に沿ったものであればよい。
　特徴量出力モデル生成部２２は、学習用画像７１のセットの選択と機械学習とを繰り返し行って特徴量出力モデルを生成する。例えば、特徴量出力モデル生成部２２は、従来と同様に特徴量出力モデルの生成が予め設定した条件に基づいて収束するまで、あるいは予め設定された規定回数、上記の繰り返しを行って特徴量出力モデルを生成する。
　特徴量出力モデル生成部２２は、機械学習で生成された既存の学習済モデルを利用して特徴量出力モデルを生成してもよい。既存の学習済モデルとしては、本実施形態に係る特徴量出力モデルと同様に、画像に基づく情報を入力するモデルが用いられる。即ち、本実施形態に係る特徴量出力モデルと入力が共通である既存の学習済モデルを利用してもよい。既存の学習済モデルは、例えば、画像認識を行うためのモデルであり、具体的には、ＲｅｓＮｅｔ、ＶＧＧ、Ｍｏｂｉｌｅ　Ｎｅｔ等である。特徴量出力モデルの生成には、既存の学習済モデルの一部が用いられる。図５に示すように、既存の学習済モデル８１の出力側の層を削除して、既存の学習済モデル８１の中間層までの部分を特徴量出力モデルの生成に用いる。特徴量出力モデルの生成に用いられる既存の学習済モデル８１には、中間層の全てが含まれていてもよいし、中間層の一部のみが含まれていてもよい。
　特徴量出力モデル生成部２２は、既存の学習済モデルの上記の一部を入力して、機械学習の開始時点での特徴量出力モデルとする。即ち、特徴量出力モデル生成部２２は、既存の学習済モデルの上記の一部を、特徴量出力モデルの初期パラメータとして用いてファインチューニングを行う。また、学習済モデルの上記の一部の出力側に、新たな出力層を加えたものを機械学習の開始時点での特徴量出力モデルとしてもよい。また、新たな出力層を加える場合、学習済モデルの上記の一部の出力側と新たな出力層との間に、新たな中間層を加えたものを機械学習の開始時点での特徴量出力モデルとしてもよい。
　なお、特徴量出力モデル生成部２２は、既存の学習済モデルを利用せずに特徴量出力モデルを生成してもよい。例えば、従来の機械学習と同様にランダムの値を初期パラメータとしたモデルを機械学習の開始時点での特徴量出力モデルとしてもよい。
　既存の学習済モデルを特徴量出力モデルの生成に用いることで、以下の利点がある。学習時間を大幅に短縮することができる。少ない学習用画像７１でも精度の高い特徴量出力モデル、即ち、より適切な特徴量を出力することができる特徴量出力モデルを生成することができる。上述した既存の学習済モデルは、既に抽象度の低い特徴を分離する能力を獲得している。従って、新たな学習用画像７１を用いた抽象度の高い特徴を中心とした学習するだけよいためである。
　特徴量出力モデル生成部２２は、生成した特徴量出力モデルを焦点位置推定モデル生成部２３及び傾斜推定システム３０に出力する。なお、生成した特徴量出力モデルは、本実施形態での用途以外に用いられてもよい。その場合、例えば、特徴量出力モデル生成部２２は、特徴量出力モデルを用いる他の装置又はモジュールに特徴量出力モデルを送信又は出力する。あるいは、特徴量出力モデル生成部２２は、コンピュータ１０又はその他の装置に生成した特徴量出力モデルを記憶させて、特徴量出力モデルを用いる他の装置又はモジュールに利用できるようにしてもよい。
　焦点位置推定モデル生成部２３は、学習用画像取得部２１によって取得された合焦位置情報から、機械学習によって、焦点位置推定モデルを生成する焦点位置推定モデル生成手段である。焦点位置推定モデルは、上述したように特徴量出力モデル生成部２２によって生成される特徴量出力モデルから出力される特徴量を入力して、当該特徴量に係る画像に対応する合焦時の焦点位置を推定するものである。
　焦点位置推定モデル生成部２３は、以下のように焦点位置推定モデルを生成する。焦点位置推定モデル生成部２３は、学習用画像取得部２１から学習用画像７１、及び当該学習用画像７１に係る合焦位置情報を入力する。焦点位置推定モデル生成部２３は、特徴量出力モデル生成部２２から特徴量出力モデルを入力する。
　焦点位置推定モデル生成部２３は、学習用画像７１に基づく情報を特徴量出力モデルに入力して、特徴量出力モデルからの出力である当該学習用画像７１の特徴量を取得する。焦点位置推定モデル生成部２３は、取得した特徴量を焦点位置推定モデルへの入力として、入力した特徴量に係る学習用画像７１の合焦位置情報に基づく情報を焦点位置推定モデルの出力として機械学習を行う。合焦位置情報に基づく情報は、焦点位置推定モデルの出力に対応する情報とされる。焦点位置推定モデルが、上述した候補毎の値を出力するものであった場合、合焦位置情報に基づく情報は、例えば、合焦位置情報に該当する候補の値を１として、合焦位置情報に該当しない候補の値を０とした候補毎の値（ワンホットベクトル）である。焦点位置推定モデルが、上述した差分又は焦点位置自体の値を出力するものであった場合、合焦位置情報に基づく情報は、合焦位置情報自体又は合焦位置情報から算出される当該値である。焦点位置推定モデル生成部２３は、機械学習を行う前に焦点位置推定モデルの出力に相当する合焦位置情報に基づく情報を生成する。
　機械学習自体、即ち、焦点位置推定モデルのパラメータの更新は、従来と同様に行われればよい。焦点位置推定モデル生成部２３は、従来と同様に焦点位置推定モデルの生成が予め設定した条件に基づいて収束するまで、あるいは予め設定された規定回数、機械学習の処理の繰り返しを行って焦点位置推定モデルを生成する。
　焦点位置推定モデル生成部２３は、生成した焦点位置推定モデルを傾斜推定システム３０に出力する。なお、生成した焦点位置推定モデルは、本実施形態での用途以外に用いられてもよい。その場合、例えば、焦点位置推定モデル生成部２３は、焦点位置推定モデルを用いる他の装置又はモジュールに焦点位置推定モデルを送信又は出力する。あるいは、焦点位置推定モデル生成部２３は、コンピュータ１０又はその他の装置に生成した焦点位置推定モデルを記憶させて、焦点位置推定モデルを用いる他の装置又はモジュールに利用できるようにしてもよい。以上が、特徴量出力モデル生成システム２０の機能である。
　引き続いて、本実施形態に係る傾斜推定システム３０の機能を説明する。図１に示すように傾斜推定システム３０は、推定対象画像取得部３１と、焦点位置推定部３２と、傾斜推定部３３と、制御部３４とを備えて構成される。
　傾斜推定システム３０は、検査装置４０又は観察装置５０において撮像された画像に写った撮像対象物の傾斜を推定する。そのために、傾斜推定システム３０は、検査装置４０又は観察装置５０において撮像対象物の撮像が行われる際に合焦時の焦点位置を推定する。この推定は、まず、検査装置４０又は観察装置５０において撮像対象物の撮像（傾斜推定用の撮像）が行われる。この撮像では、焦点位置は、必ずしも撮像対象物に焦点があったもの、即ち、合焦時の焦点位置である必要はない。従って、この撮像で得られる画像はデフォーカス画像であってもよい。例えばこの画像は、図６（ａ）に示すようなデフォーカス画像であってもよい。図６は、半導体デバイスの画像である。図６（ａ）に示すデフォーカス画像は、撮像時の焦点位置が合焦時の焦点位置から＋５ｎｍである場合の画像である。
　傾斜推定システム３０は、この画像から、画像の複数の位置における合焦時の焦点位置を推定する。傾斜推定システム３０は、推定された、画像の複数の位置における合焦時の焦点位置から、画像に写った撮像対象物の傾斜を推定する。また、推定された合焦時の焦点位置を用いて、検査装置４０又は観察装置５０において撮像が行われることで、撮像対象物に焦点があった画像、即ち、フォーカス画像を得ることができる。例えば図６（ｂ）に示すようなフォーカス画像が得られる。図６（ｂ）に示すフォーカス画像は、図６（ａ）のデフォーカス画像に対応するものである。
　推定対象画像取得部３１は、撮像対象物が写った画像を取得して、当該画像から複数の部分画像である推定対象画像を取得する推定対象画像取得手段である。推定対象画像は、傾斜推定システム３０において合焦時の焦点位置の推定に用いられる画像である。また、推定対象画像は、特徴量出力モデルへの入力に用いられる画像である。即ち、推定対象画像は、上述した学習用画像７１に対応する。
　推定対象画像取得部３１は、検査装置４０又は観察装置５０によって撮像された画像を取得する。この際の検査装置４０又は観察装置５０による撮像は、上記の傾斜推定用の撮像である。例えば、推定対象画像取得部３１は、取得した画像から複数の部分画像を切り出して推定対象画像とする。
　推定対象画像取得部３１は、特徴量出力モデルの入力に用いられる、予め設定されたサイズの部分画像である推定対象画像を取得した画像から切り出す。画像における、推定対象画像が切り出される位置は、撮像対象物が写っている部分である。画像における推定対象画像が切り出される位置は、予め設定されていてもよい。例えば、図７に示すように、推定対象画像取得部３１は、画像９０を、予め設定されたサイズに区切った複数の部分画像を推定対象画像９１としてもよい。図７に示す例では、３×３の９つの推定対象画像９１が、画像から切り出されて取得される。上記のように推定対象画像９１が切り出される場合、画像９０全体に撮像対象物が写っていれば、画像９０全体から推定対象画像９１が切り出されればよいし、画像９０の一部に撮像対象物が写っていれば、その一部から推定対象画像９１が切り出されればよい。また、画像に対して画像認識を行って撮像対象物が写っていると推定される位置を推定対象画像が切り出される位置としてもよい。傾斜推定システム３０は、画像における推定対象画像が切り出された位置が、後述の機能でも用いられるように構成されている。
　また、推定対象画像の種別は、上述した学習用画像と同様の種別である。例えば、推定対象画像は、撮像対象物からの放射を検出した画像、撮像対象物に光を照射した際の撮像対象物からの光を検出した画像、又は撮像対象物に光を照射した際の撮像対象物の電気特性を検出した画像であってよい。また、推定対象画像は、特定の波長の光（例えば、検査に用いる特定の波長の光）を撮像対象物に照射した際の画像であってもよい。
　推定対象画像取得部３１は、取得した複数の推定対象画像を焦点位置推定部３２に出力する。
　焦点位置推定部３２は、特徴量出力モデルを用いて、推定対象画像取得部３１によって取得された複数の推定対象画像それぞれから複数の推定対象画像それぞれの特徴量を出力して、出力された特徴量から複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定する焦点位置推定手段である。焦点位置推定部３２は、焦点位置推定モデルを用いて、特徴量出力モデルから出力される特徴量から推定対象画像に対応する合焦時の焦点位置を推定してもよい。
　焦点位置推定部３２は、特徴量出力モデル生成システム２０によって生成された特徴量出力モデル及び焦点位置推定モデルを入力して記憶しておき、推定に利用する。焦点位置推定部３２は、推定対象画像取得部３１から複数の推定対象画像を入力する。
　焦点位置推定部３２は、推定対象画像に基づく情報を特徴量出力モデルへ入力し、特徴量出力モデルからの出力である推定対象画像の特徴量を取得する。焦点位置推定部３２は、取得した特徴量を焦点位置推定モデルへ入力し、焦点位置推定モデルからの出力である、推定対象画像に対応する合焦時の焦点位置を示す情報を当該焦点位置の推定結果として取得する。焦点位置推定部３２は、複数の推定対象画像毎に、推定対象画像に対応する合焦時の焦点位置を示す情報を取得する。焦点位置推定部３２は、取得した複数の推定対象画像に対応する合焦時の焦点位置を示す情報を傾斜推定部３３に出力する。
　傾斜推定部３３は、焦点位置推定部３２によって推定された複数の推定対象画像それぞれに対応する合焦時の焦点位置から、画像に写った撮像対象物の傾斜を推定する傾斜推定手段である。傾斜推定部３３は、例えば、検査装置４０又は観察装置５０における撮像方向に対する撮像対象物の傾斜を推定する。傾斜推定部３３は、以下のように撮像対象物の傾斜を推定する。
　傾斜推定部３３は、焦点位置推定部３２から、複数の推定対象画像それぞれに対応する合焦時の焦点位置を示す情報を入力する。本実施形態では、推定対象画像に対応する合焦時の焦点位置に対応する撮像方向における位置が、撮像対象物の位置であるものとされる。推定対象画像は、画像における複数の位置から切り出されているため、画像における推定対象画像の各位置での撮像方向における撮像対象物の位置を得ることができる。それら複数の撮像対象物の位置から、撮像対象物の傾きを推定する。
　例えば、傾斜推定部３３は、撮像方向と垂直な面における座標軸毎の撮像対象物の傾きを推定する。傾斜推定部３３は、図７に示すような画像９０の推定対象画像９１の各辺と平行な２つの座標軸であるＸ軸及びＹ軸毎に撮像対象物の傾きを推定する。例えば、傾斜推定部３３は、図８（ａ）に示すような、撮像方向（Ｚ軸方向）と垂直な面（図中のハッチングした面）に対するＸ軸における撮像対象物の傾斜の角度θ１、及び図８（ｂ）に示すような、撮像方向（Ｚ軸方向）と垂直な面（図中のハッチングした面）に対するＹ軸における撮像対象物の傾斜の角度θ２を推定する。
　図８には、各推定対象画像９１から推定された合焦時の焦点位置を示す情報（具体的には、画像が撮像された際の焦点位置と、合焦時の焦点位置との差分）を示す（＋２、０、－２、＋３、０及び－３等の値である）。図８（ａ）は、撮像対象物が、Ｘ軸方向に傾斜している場合、具体的には、右側が下がっている場合の例を示している。図８（ｂ）は、撮像対象物が、Ｙ軸方向に傾斜している場合、具体的には、手前側が下がっている場合の例を示している。
　傾斜推定部３３は、角度θ１及び角度θ２を以下の式によって算出する。
Figure JPOXMLDOC01-appb-M000003
 ここで、ｘは、画像における推定対象画像の位置に応じた角度θ１の算出に用いるＸ軸方向の長さである。ｚ１は、ｘに対応する撮像方向（Ｚ軸方向）の合焦時の焦点位置のずれの大きさである。ｙは、画像における推定対象画像の位置に応じた角度θ２の算出に用いるＹ軸方向の長さである。ｚ２は、ｙに対応する撮像方向（Ｚ軸方向）の合焦時の焦点位置のずれの大きさである。
　ｘ及びｙは、図７に示すように推定対象画像の位置に基づいて定まる。例えば、ｘは、傾斜の推定に用いられるＸ軸方向に互いに離れた、予め設定された２つの推定対象画像Ｐａ，Ｐｂの位置（例えば、推定対象画像の中心座標Ｐｃｅｎｔｅｒ）のＸ軸方向の差である。即ち、ｘ＝｜Ｐｂ－Ｐａ｜（Ｘ軸成分のみ）である。ｙは、傾斜の推定に用いられるＹ軸方向に互いに離れた、予め設定された２つの推定対象画像Ｐａ，Ｐｃの位置（例えば、推定対象画像の中心座標Ｐｃｅｎｔｅｒ）のＹ軸方向の差である。即ち、ｙ＝｜Ｐｃ－Ｐａ｜（Ｘ軸成分のみ）である。なお、画像における推定対象画像の位置が、予め設定されている場合には、上記のｘ及びｙは、一定値となるため、予め傾斜推定部３３に記憶されていてもよい。
　ｚ１及びｚ２は、図８に示すように推定対象画像それぞれに対応する合焦時の焦点位置によって算出される。例えば、ｚ１は、上記の２つの推定対象画像Ｐａ，Ｐｂに対応する合焦時の焦点位置Ｚａ，Ｚｂの差である。即ち、ｚ１＝｜Ｚｂ－Ｚａ｜である。ｚ１は、上記の２つの推定対象画像Ｐａ，Ｐｃに対応する合焦時の焦点位置Ｚａ，Ｚｃの差である。即ち、ｚ２＝｜Ｚｃ－Ｚａ｜である。
　撮像対象物の傾斜に用いる推定対象画像は、上記以外であってもよい。例えば、撮像対象物の傾斜に用いる推定対象画像は、以下のようにされて、傾斜が推定されてもよい。撮像対象物が写った画像を、それぞれが複数の推定対象画像を含むように複数の領域に分割する。例えば、画像を３×３の矩形の領域に分割する。領域（Ｐａ）毎の複数の推定対象画像（Ｐａ１，Ｐａ２，Ｐａ３，…）それぞれに対応する合焦時の焦点位置（Ｚａ１，Ｚａ２，Ｚａ３，…）から外れ値を除去する。外れ値を除去した後の合焦時の焦点位置のうちの中央値（Ｚｍｅｄｉａｎ）を取る。当該中央値（Ｚｍｅｄｉａｎ）及び当該中央値（Ｚｍｅｄｉａｎ）に対応する推定対象画像（Ｐａｍｅｄｉａｎ）を、領域（Ｐａ）を代表する合焦時の焦点位置及び推定対象画像として傾斜を推定する。
　傾斜推定部３３は、焦点位置推定部３２によって推定された複数の推定対象画像それぞれに対応する合焦時の焦点位置から、画像に写った撮像対象物の傾斜を推定するのであれば、上記以外の方法で傾斜を推定してもよい。また、傾斜推定部３３は、上述した角度θ１及び角度θ２以外を撮像対象物の傾斜として推定してもよい。傾斜推定部３３は、推定した撮像対象物の傾斜を示す情報を制御部３４に出力する。また、傾斜推定部３３は、撮像対象物の傾斜の推定に用いた推定対象画像に対応する合焦時の焦点位置を示す情報も制御部３４に出力してもよい。
　制御部３４は、傾斜推定部３３によって推定された撮像対象物の傾斜に基づいて、撮像対象物の撮像時の傾斜を制御する制御手段である。制御部３４は、焦点位置推定部３２によって推定された焦点位置に基づいて、撮像対象物の撮像時の焦点位置を制御してもよい。
　制御部３４は、傾斜推定部３３から、撮像対象物の傾斜を示す情報を入力する。また、制御部３４は、傾斜推定部３３から、推定対象画像に対応する合焦時の焦点位置を示す情報を入力してもよい。制御部３４は、検査装置４０又は観察装置５０に対して、入力した情報によって示される撮像対象物の傾斜が撮像の際に解消されるように制御する。具体的には、制御部３４は、入力した情報によって示される撮像対象物の傾斜と逆に撮像対象物を傾斜させるように検査装置４０又は観察装置５０を制御する。制御を受けた検査装置４０又は観察装置５０は、例えば、載置部を動作させて撮像の際の撮像対象物の傾斜を調整する。このように制御部３４は、検査装置４０又は観察装置５０におけるチルト補正の制御を行う。これによって、検査装置４０又は観察装置５０によって撮像される画像は、撮像対象物の傾斜が適切な状態での画像となる。
　また、制御部３４は、検査装置４０又は観察装置５０に対して、撮像の際の焦点位置が、入力した情報によって示される合焦時の焦点位置となるように制御する。例えば、制御部３４は、複数の推定対象画像のうち、予め設定された推定対象画像に対応する合焦時の焦点位置となるように制御する。制御を受けた検査装置４０又は観察装置５０は、例えば、ステージ４６を動作させて撮像の際の焦点位置を調整する。これによって、検査装置４０又は観察装置５０によって撮像される画像はフォーカス画像となる。このように制御部３４は、検査装置４０又は観察装置５０におけるオートフォーカスの制御を行う。以上が、傾斜推定システム３０の構成である。
　引き続いて、図９及び図１０のフローチャートを用いて、本実施形態に係るコンピュータ１０で実行される処理（コンピュータ１０が行う動作方法）を説明する。まず、図９のフローチャートを用いて、特徴量出力モデル及び焦点位置推定モデルを生成する際に実行される処理、即ち、本実施形態に係る特徴量出力モデル生成システム２０で実行される処理である特徴量出力モデル生成方法を説明する。
　本処理では、まず、学習用画像取得部２１によって、撮像時の焦点位置に係る焦点位置情報が対応付けられた複数の学習用画像が取得される（Ｓ０１、学習用画像取得ステップ）。また、学習用画像取得部２１によって、学習用画像それぞれに対応する合焦時の焦点位置に係る合焦位置情報が取得される。続いて、特徴量出力モデル生成部２２によって、学習用画像から機械学習によって特徴量出力モデルが生成される（Ｓ０２、特徴量出力モデル生成ステップ）。この際、互いに異なる２つの学習用画像に対応付けられた焦点位置情報に応じて当該２つの学習用画像７１の特徴量が比較されて、比較結果に基づいて機械学習が行われる。続いて、焦点位置推定モデル生成部２３によって、合焦位置情報から、機械学習によって、焦点位置推定モデルが生成される（Ｓ０３、焦点位置推定モデル生成ステップ）。
　生成された特徴量出力モデル及び焦点位置推定モデルは、特徴量出力モデル生成システム２０から傾斜推定システム３０に出力される。傾斜推定システム３０では、特徴量出力モデル及び焦点位置推定モデルが記憶されて、以下の処理で用いられる。以上が、本実施形態に係る特徴量出力モデル生成システム２０で実行される処理である特徴量出力モデル生成方法である。
　続いて、図１０のフローチャートを用いて、推定対象画像に対応する合焦時の焦点位置を推定する際に実行される処理、即ち、本実施形態に係る傾斜推定システム３０で実行される処理である傾斜推定方法を説明する。
　本処理では、まず、推定対象画像取得部３１によって、撮像対象物が写った画像が取得されて、当該画像から複数の部分画像である推定対象画像が取得される（Ｓ１１、推定対象画像取得ステップ）。推定対象画像は、検査装置４０又は観察装置５０の傾斜推定用の撮像によって得られた画像に基づくものである。続いて、焦点位置推定部３２によって、特徴量出力モデルが用いられて、複数の推定対象画像それぞれから複数の推定対象画像それぞれの特徴量が出力される。続いて、焦点位置推定部３２によって、焦点位置推定モデルが用いられて、複数の推定対象画像それぞれの特徴量から推定対象画像それぞれに対応する合焦時の焦点位置が推定される（Ｓ１２、焦点位置推定ステップ）。
　続いて、傾斜推定部３３によって、複数の推定対象画像それぞれに対応する合焦時の焦点位置から、画像に写った撮像対象物の傾斜が推定される（Ｓ１３、傾斜推定ステップ）。続いて、制御部３４によって、推定された上記の撮像対象物の傾斜に基づいて、検査装置４０又は観察装置５０による撮像対象物の新たな撮像時の傾斜が制御される（Ｓ１４、制御ステップ）。これによって、検査装置４０又は観察装置５０によって撮像される画像は、撮像対象物の傾斜が適切な状態での画像となる。また、この際、制御部３４によって、推定された上記の焦点位置に基づいて、検査装置４０又は観察装置５０による撮像対象物の撮像時の焦点位置が制御されてもよい。これによって、検査装置４０又は観察装置５０によって撮像される画像はフォーカス画像となる。以上が、本実施形態に係る傾斜推定システム３０で実行される処理である傾斜推定方法である。
　本実施形態では、機械学習によって、画像の特徴量を出力する特徴量出力モデルが生成される。この際、互いに異なる２つの学習用画像に対応付けられた焦点位置情報に応じて当該２つの学習用画像の特徴量が比較されて、機械学習は比較結果に基づいて行われる。当該生成によれば、例えば、画像に基づく情報を入力する既存の学習済モデルを利用することで、短時間で特徴量出力モデルを生成することができる。即ち、本実施形態によれば、焦点位置の推定等の画像に基づく推定に用いる学習済モデルである特徴量出力モデルを短時間の学習で生成可能とすることができる。
　但し、上述したように特徴量出力モデルの生成には、必ずしも既存の学習済モデルが利用される必要はない。その場合でも、焦点位置に応じた適切な特徴量を出力することができる特徴量出力モデルを生成することができる。
　また、上述したように、特徴量出力モデル生成のための機械学習は、互いに異なる２つの学習用画像が互いに同一の焦点位置に係るものである場合、当該２つの学習用画像の特徴量の差分が小さくなるように、かつ、互いに異なる２つの学習用画像が互いに異なる焦点位置に係るものである場合、当該２つの学習用画像の特徴量の差分が大きくなるように行われてもよい。この構成によれば、確実かつ適切に特徴量出力モデルを生成することができる。但し、機械学習は、必ずしも上記のように行われる必要はなく、２つの学習用画像の特徴量の比較結果に基づいて行われればよい。
　また、上述したように、学習用画像及び推定対象画像は、撮像対象物からの放射を検出した画像、撮像対象物に光を照射した際の撮像対象物からの光を検出した画像、又は撮像対象物に光を照射した際の撮像対象物の電気特性を検出した画像であってもよい。更には、学習用画像及び推定対象画像は、特定の波長の光を撮像対象物に照射した際の画像であってもよい。これらの構成によれば、用いられる画像に種類に応じた適切な特徴量出力モデルの生成、及び特徴量出力モデルの利用を行うことができる。但し、学習用画像及び推定対象画像は、上記のものに限られず、焦点位置に応じた画像であればよい。
　また、本実施形態のように、特徴量出力モデル生成システム２０は、焦点位置推定モデルを生成する焦点位置推定モデル生成部２３を更に備えていてもよい。この構成によれば、画像から合焦時の焦点位置を推定する焦点位置推定モデルを生成することができる。即ち、この構成によれば、特徴量出力モデルとあわせて、画像に基づく焦点位置の推定に用いる学習済モデルを短時間の学習で生成可能とすることができる。
　但し、特徴量出力モデル生成システム２０は、焦点位置推定モデル生成部２３を備えていなくてもよい。即ち、特徴量出力モデル生成システム２０は、特徴量出力モデルのみを生成する構成であってもよい。また、生成される特徴量出力モデルは、合焦時の焦点位置の推定以外の用途に用いられてもよい。
　本発明に係る傾斜推定システム３０では、画像の複数の部分画像である推定対象画像それぞれから、複数の推定対象画像それぞれに対応する合焦時の焦点位置が推定されて、撮像対象物の傾斜が推定される。従って、撮像対象物が写った画像が得られれば、撮像対象物の傾斜を短時間で推定することができる。特別な光学系によって撮像対象物の傾斜を推定する場合に必要であった、装置内に特別な光学系を設けるための構成（例えば、レンズターレット）及び空間が不要となる。また、特別な光学系を用意するコストも不要となる。また、ターレットの切替、レーザスキャン及び位置合わせ等の処理も不要となる。その場合と比べて撮像対象物の傾斜の推定時間を大幅に短縮することができる。
　また、焦点位置の推定に用いられる特徴量出力モデルは、焦点位置の推定に適切な特徴量を出力することができ、これを用いることで適切に撮像対象物の傾斜を推定することができる。従って、本発明に係る傾斜推定システムによれば、撮像対象物の傾斜の推定を簡易な構成かつ短時間で行うことができる。
　本実施形態に係る傾斜推定システム３０では、合焦時の焦点位置の推定に上述した特徴量出力モデルが利用される。従って、本実施形態によれば、画像に基づく合焦時の焦点位置の推定を短時間の準備時間で行うことができる。また、本実施形態に係る傾斜推定システム３０によれば、１回の傾斜推定用の撮像によって合焦時の焦点位置を推定することができる。そのため、焦点位置を変えながら複数回の撮像を行って合焦時の焦点位置を探索する場合と比べて、迅速に合焦時の焦点位置を推定することができる。その結果、迅速に撮像対象物の傾斜を推定することができる。
　また、合焦時の焦点位置の推定には、上述した焦点位置推定モデルが用いられてもよい。この構成によれば、確実かつ適切に合焦時の焦点位置を推定することができる。その結果、確実かつ適切に撮像対象物の傾斜を推定することができる。但し、合焦時の焦点位置の推定には、上述した焦点位置推定モデルが用いられる必要はなく、特徴量出力モデルから出力される特徴量から推定が行われればよい。
　また、本実施形態のように、傾斜推定システム３０は、推定された撮像対象物の傾斜に基づいて、検査装置４０又は観察装置５０における撮像対象物の撮像時の傾斜を制御する制御部３４を更に備えていてもよい。この構成によれば、検査装置４０又は観察装置５０において適切な傾斜での撮像対象物の撮像を行うことができる。。但し、傾斜推定システム３０は、制御部３４を備えていなくてもよい。即ち、傾斜推定システム３０は、撮像対象物の傾斜を推定するものであればよい。
　また、本実施形態に係る傾斜推定システム３０と、上述した検査装置４０又は観察装置５０とを含めて一連のシステムとして構成することができる。即ち、本実施形態に係る半導体検査システムは、傾斜推定システム３０と、検査装置４０とを含むシステムとしてもよい。また、本実施形態に係る生体観察システムは、傾斜推定システム３０と、観察装置５０とを含むシステムとしてもよい。
　なお、本実施形態では、コンピュータ１０は、特徴量出力モデル生成システム２０と、傾斜推定システム３０とを含むこととしたが、特徴量出力モデル生成システム２０と、傾斜推定システム３０とが独立してそれぞれ実施されてもよい。
　引き続いて、上述した一連の特徴量出力モデル生成システム２０及び傾斜推定システム３０による処理を実行させるための特徴量出力モデル生成プログラム及び傾斜推定プログラムを説明する。図１１に示すように、特徴量出力モデル生成プログラム２００は、コンピュータに挿入されてアクセスされる、あるいはコンピュータが備える、コンピュータ読み取り可能な記録媒体２１０に形成されたプログラム格納領域２１１内に格納される。記録媒体２１０は、非一時的な記録媒体であってもよい。
　特徴量出力モデル生成プログラム２００は、学習用画像取得モジュール２０１と、特徴量出力モデル生成モジュール２０２と、焦点位置推定モデル生成モジュール２０３とを備えて構成される。学習用画像取得モジュール２０１と、特徴量出力モデル生成モジュール２０２と、焦点位置推定モデル生成モジュール２０３とを実行させることにより実現される機能は、上述した特徴量出力モデル生成システム２０の学習用画像取得部２１と、特徴量出力モデル生成部２２と、焦点位置推定モデル生成部２３との機能とそれぞれ同様である。
　図１２に示すように、傾斜推定プログラム３００は、コンピュータに挿入されてアクセスされる、あるいはコンピュータが備える、コンピュータ読み取り可能な記録媒体３１０に形成されたプログラム格納領域３１１内に格納される。記録媒体３１０は、非一時的な記録媒体であってもよい。なお、記録媒体３１０は、記録媒体２１０と同一であってもよい。
　傾斜推定プログラム３００は、推定対象画像取得モジュール３０１と、焦点位置推定モジュール３０２と、傾斜推定モジュール３０３と、制御モジュール３０４とを備えて構成される。焦点位置推定モジュール３０２と、傾斜推定モジュール３０３と、制御モジュール３０４とを実行させることにより実現される機能は、上述した傾斜推定システム３０の推定対象画像取得部３１と、焦点位置推定部３２と、傾斜推定部３３と、制御部３４との機能とそれぞれ同様である。
　なお、特徴量出力モデル生成プログラム２００及び傾斜推定プログラム３００は、その一部又は全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。また、特徴量出力モデル生成プログラム２００及び傾斜推定プログラム３００の各モジュールは、１つのコンピュータでなく、複数のコンピュータのいずれかにインストールされてもよい。その場合、当該複数のコンピュータによるコンピュータシステムよって上述した一連の処理が行われる。
　１０…コンピュータ、２０…特徴量出力モデル生成システム、２１…学習用画像取得部、２２…特徴量出力モデル生成部、２３…焦点位置推定モデル生成部、３０…傾斜推定システム、３１…推定対象画像取得部、３２…焦点位置推定部、３３…傾斜推定部、３４…制御部、４０…検査装置、４１…カメラ、４２…載置部、４３…光源、４４…光学系、４５…対物レンズ、４６…ステージ、５０…観察装置、２００…特徴量出力モデル生成プログラム、２０１…学習用画像取得モジュール、２０２…特徴量出力モデル生成モジュール、２０３…焦点位置推定モデル生成モジュール、２１０…記録媒体、２１１…プログラム格納領域、３００…傾斜推定プログラム、３０１…推定対象画像取得モジュール、３０２…焦点位置推定モジュール、３０３…傾斜推定モジュール、３０４…制御モジュール、３１０…記録媒体、３１１…プログラム格納領域。

Claims (11)

  1. 　画像に写った撮像対象物の傾斜を推定する傾斜推定システムであって、
    　撮像対象物が写った画像を取得して、当該画像から複数の部分画像である推定対象画像を取得する推定対象画像取得手段と、
    　画像に基づく情報を入力して当該画像の特徴量を出力する特徴量出力モデルを用いて、前記推定対象画像取得手段によって取得された複数の推定対象画像それぞれから複数の推定対象画像それぞれの特徴量を出力して、出力された特徴量から複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定する焦点位置推定手段と、
    　前記焦点位置推定手段によって推定された複数の推定対象画像それぞれに対応する合焦時の焦点位置から、前記画像に写った撮像対象物の傾斜を推定する傾斜推定手段と、を備え、
    　前記特徴量出力モデルは、撮像時の焦点位置に係る焦点位置情報が対応付けられた複数の学習用画像から、機械学習によって生成され、互いに異なる２つの学習用画像に対応付けられた焦点位置情報に応じて当該２つの学習用画像の特徴量が比較されて、比較結果に基づいて機械学習が行われる傾斜推定システム。
  2. 　前記焦点位置推定手段は、前記特徴量出力モデルから出力される特徴量を入力して、当該特徴量に係る画像に対応する合焦時の焦点位置を推定する焦点位置推定モデルを用いて複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定し、
    　前記焦点位置推定モデルは、前記学習用画像それぞれに対応する合焦時の焦点位置に係る合焦位置情報から、機械学習によって生成される請求項１に記載の傾斜推定システム。
  3. 　前記傾斜推定手段によって推定された撮像対象物の傾斜に基づいて、撮像対象物の撮像時の傾斜を制御する制御手段を更に備える請求項１又は２に記載の傾斜推定システム。
  4. 　請求項１～３の何れか一項に記載の傾斜推定システムと、
    　前記傾斜推定システムに係る撮像対象物として半導体デバイスが載置される載置部と、
    　前記半導体デバイスを検査する検査部と、
    を備える半導体検査システム。
  5. 　請求項１～３の何れか一項に記載の傾斜推定システムと、
    　前記傾斜推定システムに係る撮像対象物として生体サンプルが載置される載置部と、
    　前記生体サンプルを観察する観察部と、
    を備える生体観察システム。
  6. 　画像に写った撮像対象物の傾斜を推定する傾斜推定方法であって、
    　撮像対象物が写った画像を取得して、当該画像から複数の部分画像である推定対象画像を取得する推定対象画像取得ステップと、
    　画像に基づく情報を入力して当該画像の特徴量を出力する特徴量出力モデルを用いて、前記推定対象画像取得ステップにおいて取得された複数の推定対象画像それぞれから複数の推定対象画像それぞれの特徴量を出力して、出力された特徴量から複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定する焦点位置推定ステップと、
    　前記焦点位置推定ステップにおいて推定された複数の推定対象画像それぞれに対応する合焦時の焦点位置から、前記画像に写った撮像対象物の傾斜を推定する傾斜推定ステップと、を含み、
    　前記特徴量出力モデルは、撮像時の焦点位置に係る焦点位置情報が対応付けられた複数の学習用画像から、機械学習によって生成され、互いに異なる２つの学習用画像に対応付けられた焦点位置情報に応じて当該２つの学習用画像の特徴量が比較されて、比較結果に基づいて機械学習が行われる傾斜推定方法。
  7. 　前記焦点位置推定ステップにおいて、前記特徴量出力モデルから出力される特徴量を入力して、当該特徴量に係る画像に対応する合焦時の焦点位置を推定する焦点位置推定モデルを用いて複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定し、
    　前記焦点位置推定モデルは、前記学習用画像それぞれに対応する合焦時の焦点位置に係る合焦位置情報から、機械学習によって生成される請求項６に記載の傾斜推定方法。
  8. 　前記傾斜推定ステップにおいて推定された撮像対象物の傾斜に基づいて、撮像対象物の撮像時の傾斜を制御する制御ステップを更に含む請求項６又は７に記載の傾斜推定方法。
  9. 　コンピュータを、画像に写った撮像対象物の傾斜を推定する傾斜推定システムとして動作させる傾斜推定プログラムであって、
    　当該コンピュータを、
    　撮像対象物が写った画像を取得して、当該画像から複数の部分画像である推定対象画像を取得する推定対象画像取得手段と、
    　画像に基づく情報を入力して当該画像の特徴量を出力する特徴量出力モデルを用いて、前記推定対象画像取得手段によって取得された複数の推定対象画像それぞれから複数の推定対象画像それぞれの特徴量を出力して、出力された特徴量から複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定する焦点位置推定手段と、
    　前記焦点位置推定手段によって推定された複数の推定対象画像それぞれに対応する合焦時の焦点位置から、前記画像に写った撮像対象物の傾斜を推定する傾斜推定手段と、として機能させ、
    　前記特徴量出力モデルは、撮像時の焦点位置に係る焦点位置情報が対応付けられた複数の学習用画像から、機械学習によって生成され、互いに異なる２つの学習用画像に対応付けられた焦点位置情報に応じて当該２つの学習用画像の特徴量が比較されて、比較結果に基づいて機械学習が行われる傾斜推定プログラム。
  10. 　前記焦点位置推定手段は、前記特徴量出力モデルから出力される特徴量を入力して、当該特徴量に係る画像に対応する合焦時の焦点位置を推定する焦点位置推定モデルを用いて複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定し、
    　前記焦点位置推定モデルは、前記学習用画像それぞれに対応する合焦時の焦点位置に係る合焦位置情報から、機械学習によって生成される請求項９に記載の傾斜推定プログラム。
  11. 　前記コンピュータを、
    　前記傾斜推定手段によって推定された撮像対象物の傾斜に基づいて、撮像対象物の撮像時の傾斜を制御する制御手段としても機能させる請求項９又は１０に記載の傾斜推定プログラム。
PCT/JP2022/010674 2021-07-19 2022-03-10 傾斜推定システム、傾斜推定方法、傾斜推定プログラム、半導体検査システム及び生体観察システム WO2023002677A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US18/570,913 US20240282000A1 (en) 2021-07-19 2022-03-10 Incline estimation system, incline estimation method, incline estimation program, semiconductor inspection system, and organism observation system
KR1020237041659A KR20240035945A (ko) 2021-07-19 2022-03-10 경사 추정 시스템, 경사 추정 방법, 경사 추정 프로그램, 반도체 검사 시스템 및 생체 관찰 시스템
EP22845617.4A EP4336255A1 (en) 2021-07-19 2022-03-10 Incline estimation system, incline estimation method, incline estimation program, semiconductor inspection system, and organism observation system
JP2022564614A JP7229439B1 (ja) 2021-07-19 2022-03-10 傾斜推定システム、傾斜推定方法、傾斜推定プログラム、半導体検査システム及び生体観察システム
CN202280050910.3A CN117677818A (zh) 2021-07-19 2022-03-10 倾斜推定系统、倾斜推定方法、倾斜推定程序、半导体检查系统及生物体观察系统
JP2023020763A JP2023057119A (ja) 2021-07-19 2023-02-14 傾斜推定システム、傾斜推定方法、傾斜推定プログラム、半導体検査システム及び生体観察システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021118847 2021-07-19
JP2021-118847 2021-07-19

Publications (1)

Publication Number Publication Date
WO2023002677A1 true WO2023002677A1 (ja) 2023-01-26

Family

ID=84979881

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/010674 WO2023002677A1 (ja) 2021-07-19 2022-03-10 傾斜推定システム、傾斜推定方法、傾斜推定プログラム、半導体検査システム及び生体観察システム

Country Status (7)

Country Link
US (1) US20240282000A1 (ja)
EP (1) EP4336255A1 (ja)
JP (2) JP7229439B1 (ja)
KR (1) KR20240035945A (ja)
CN (1) CN117677818A (ja)
TW (1) TW202305659A (ja)
WO (1) WO2023002677A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7426575B1 (ja) 2023-07-13 2024-02-02 ダイトロン株式会社 外観検査装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11328408A (ja) * 1998-05-12 1999-11-30 Advantest Corp データ処理装置および方法、情報記憶媒体
JP2012068188A (ja) * 2010-09-27 2012-04-05 Seiko Epson Corp 調整方法
WO2017154895A1 (ja) 2016-03-09 2017-09-14 浜松ホトニクス株式会社 測定装置、観察装置および測定方法
JP2021021637A (ja) * 2019-07-29 2021-02-18 コベルコ建機株式会社 建設機械の位置特定システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11328408A (ja) * 1998-05-12 1999-11-30 Advantest Corp データ処理装置および方法、情報記憶媒体
JP2012068188A (ja) * 2010-09-27 2012-04-05 Seiko Epson Corp 調整方法
WO2017154895A1 (ja) 2016-03-09 2017-09-14 浜松ホトニクス株式会社 測定装置、観察装置および測定方法
JP2021021637A (ja) * 2019-07-29 2021-02-18 コベルコ建機株式会社 建設機械の位置特定システム

Also Published As

Publication number Publication date
TW202305659A (zh) 2023-02-01
EP4336255A1 (en) 2024-03-13
JP7229439B1 (ja) 2023-02-27
CN117677818A (zh) 2024-03-08
JP2023057119A (ja) 2023-04-20
KR20240035945A (ko) 2024-03-19
JPWO2023002677A1 (ja) 2023-01-26
US20240282000A1 (en) 2024-08-22

Similar Documents

Publication Publication Date Title
CN110270769B (zh) 非破坏检测方法
JP2012515434A (ja) ウェーハを検査するためのシステム及び方法
JP7229439B1 (ja) 傾斜推定システム、傾斜推定方法、傾斜推定プログラム、半導体検査システム及び生体観察システム
EP3499178B1 (en) Image processing system, image processing program, and image processing method
JP7205013B1 (ja) 特徴量出力モデル生成システム、特徴量出力モデル生成方法、特徴量出力モデル生成プログラム及び特徴量出力モデル
US10475198B2 (en) Microscope system and specimen observation method
CN110121629B (zh) 借助角度选择的照射确定样本对象的布置
JP7291303B1 (ja) 焦点位置推定システム、焦点位置推定方法、焦点位置推定プログラム、半導体検査システム及び生体観察システム
WO2023002678A1 (ja) 特徴量出力モデル生成システム、特徴量出力モデル生成方法、特徴量出力モデル生成プログラム及び特徴量出力モデル
JP2011133360A (ja) 距離計測装置、距離計測方法、及びプログラム
KR102303073B1 (ko) 다면 비전 검사 알고리즘 및 이를 이용한 시스템
KR102191743B1 (ko) 거리 측정 장치
EP3499408B1 (en) Image processing system and image processing program
CN108663370B (zh) 端面检查装置及其聚焦图像数据获取方法
US20240257490A1 (en) Focal position estimation method, focal position estimation system, model generation method, model generation system, focal position estimation model, and non-transitory computer-readable storage medium
US6449388B1 (en) Method for aligning an object with an image capture apparatus and a coupling eyepiece
JPH1184223A (ja) 自動位置検出方法及び自動位置検出装置
JP4874863B2 (ja) Ｔｅｍのデフォーカス量測定方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2022564614

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22845617

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022845617

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022845617

Country of ref document: EP

Effective date: 20231206

WWE Wipo information: entry into national phase

Ref document number: 18570913

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280050910.3

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE