WO2018180562A1 - 画像処理システム及び画像処理を行うためのコンピュータープログラム - Google Patents

画像処理システム及び画像処理を行うためのコンピュータープログラム Download PDF

Info

Publication number
WO2018180562A1
WO2018180562A1 PCT/JP2018/010307 JP2018010307W WO2018180562A1 WO 2018180562 A1 WO2018180562 A1 WO 2018180562A1 JP 2018010307 W JP2018010307 W JP 2018010307W WO 2018180562 A1 WO2018180562 A1 WO 2018180562A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
identified
identification
data
difference
Prior art date
Application number
PCT/JP2018/010307
Other languages
English (en)
French (fr)
Inventor
篠田　伸一
康隆 豊田
崎村　茂寿
昌義 石川
新藤　博之
仁志 菅原
Original Assignee
株式会社日立ハイテクノロジーズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立ハイテクノロジーズ filed Critical 株式会社日立ハイテクノロジーズ
Priority to US16/493,432 priority Critical patent/US11176405B2/en
Priority to KR1020217027367A priority patent/KR102435492B1/ko
Priority to CN201880014768.0A priority patent/CN110352431B/zh
Priority to KR1020197022591A priority patent/KR102336431B1/ko
Priority to CN202310270799.5A priority patent/CN116152507A/zh
Publication of WO2018180562A1 publication Critical patent/WO2018180562A1/ja
Priority to US17/503,438 priority patent/US11836906B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Definitions

  • the present disclosure relates to an image processing system that causes an image classifier that performs image identification based on image information to perform machine learning, and a computer program, and more particularly, to an image classifier that identifies an image to be verified using a verification image.
  • the present invention relates to an image processing system to be learned and a computer program.
  • Non-patent Document 1 a deep learning device called a CNN (Convolutional Neural Network) has been developed and attracts attention.
  • the CNN is a kind of machine learning device, and is a mechanism for determining what a target is by automatically extracting and learning image features from the system. Since the system automatically extracts feature values that have been considered important so far, it will be important to determine what kind of learning data to prepare in the future.
  • Patent Documents 1 and 2 introduce a technique that makes it possible to discriminate robustly against noise by adding noise to learning data and learning.
  • Machine learning discrimination performance is improved by using a large amount of learning data. It may take several weeks to several months to prepare a large amount of learning data and to learn using the large amount of learning data.
  • Machine learning is also introduced to classifiers (image processing devices) that identify images output by a scanning electron microscope (SEM) used for semiconductor inspection and measurement according to the purpose of inspection and measurement.
  • SEM scanning electron microscope
  • disturbance due to SEM-specific charging
  • true value a correct discrimination result corresponding to an image
  • learning time for learning is also required according to the scale of the learning data
  • learning using a large amount of learning data may hinder production line operation and is difficult. Therefore, by identifying the disturbance that causes failure using the images that actually fail in identification and the images that succeed in identification below, the number of learning data is reduced by creating learning data focused on the disturbance, and the learning time
  • an image processing system including an arithmetic processing device for identifying an image using a collation image, the display device displaying the image, and selecting a part of the image
  • An input device ; a memory that stores collation image data for identifying the image; and a machine learning engine that machine-learns the collation image data required for image identification of the arithmetic processing unit.
  • a search is performed for an image that has been successfully identified by the arithmetic processing device stored in the memory using an image that has failed to be identified by the arithmetic processing device, and the input device is used to obtain an image that has been successfully identified by the search.
  • Processing system for generating corrected collation image data by adding information obtained based on a partial image of the image that has been identified and selected by Proposed.
  • a computer-readable storage medium storing computer instructions executed by a processor, wherein the computer instructions identify an image to be verified using a verification image
  • the computer instructions identify an image to be verified using a verification image
  • search for collated image data that has been successfully identified using the collation image data Executed by a processor that generates corrected matching image data by adding information obtained based on partial selection of the matching image that failed to be identified to the matching image data that was successfully identified by the search
  • the figure which shows the Example of an image generation apparatus The figure which shows the Example of the GUI screen of an image generation apparatus. The figure which shows the Example of an image generation apparatus. The figure which shows the Example of a disturbance specific part. The figure which shows the Example of a contrast difference detection part. The figure which shows the Example of a luminance value difference detection part. The figure which shows the Example of a noise difference detection part. The figure which shows the Example of a contrast difference determination part. The figure which shows the Example of disturbance image generation. The figure which shows the Example of a contrast difference addition part. The figure which shows the Example of a luminance value difference addition part. The figure which shows the Example of a noise difference addition part. The figure which shows the Example of disturbance image generation.
  • the figure which shows the Example of an identification part and an image generation apparatus The figure which shows the Example of a disturbance specific part.
  • An image processing system for updating a collation image of a discriminator for identifying a collated image using a collation image using machine learning, or a computer program for causing an arithmetic processing unit to execute the update Similar image processing for searching for an image that succeeded in identification (hereinafter referred to as a successful image) similar to an image that failed to be identified using a container (hereinafter referred to as a failed image), and successful search performed by the failed image and the similar image search unit Disturbance specifying process for obtaining difference information calculated by comparison based on image information of an image, and an image processing system for performing a disturbance image generating process for creating an image based on the difference information calculated by the disturbance specifying process, and a computer program explain.
  • An image generation apparatus exemplified in the embodiments described below includes an image generation method and an image generation method for reducing the amount of learning data and shortening the learning time in additional learning in semiconductor inspection utilizing machine learning It relates to the device.
  • image data for learning is generated using image data that has failed to be identified and an image that has been successfully identified is shown.
  • an apparatus and a measurement inspection system having a function of generating learning data in additional learning in semiconductor inspection utilizing machine learning will be described with reference to the drawings.
  • a charged particle beam apparatus is illustrated as an apparatus for forming an image, and an example using an SEM is described as one aspect thereof.
  • a focused ion beam (FIB) apparatus that scans a beam to form an image may be employed as the charged particle beam apparatus.
  • FIB focused ion beam
  • the 21 is a schematic explanatory diagram of a measurement / inspection system in which a plurality of measurement or inspection devices are connected to a network.
  • the system mainly includes a CD-SEM 2401 for measuring pattern dimensions of a semiconductor wafer, a photomask, etc., and irradiating a sample with an electron beam to acquire an image and compare the image with a pre-registered reference image.
  • the defect inspection apparatus 2402 for extracting defects based on the above is connected to the network.
  • the network also includes a condition setting device 2403 for setting the measurement position and measurement conditions on the design data of the semiconductor device, and the pattern quality based on the design data of the semiconductor device and the manufacturing conditions of the semiconductor manufacturing device.
  • a simulator 2404 for simulation and a storage medium 2405 for storing design data in which layout data and manufacturing conditions of semiconductor devices are registered are connected.
  • the condition setting device 2403 is provided with a display device for displaying a GUI (Graphical User Interface) image as described later, and an input device for inputting necessary information.
  • the design data is expressed in, for example, the GDS format or the OASIS format, and is stored in a predetermined format.
  • the design data can be of any type as long as the software that displays the design data can display the format and can handle the data as graphic data.
  • the storage medium 2405 may be built in the measuring device, the control device of the inspection device, the condition setting device 2403, and the simulator 2404.
  • the CD-SEM 2401 and the defect inspection device 2402 are provided with respective control devices, and necessary control is performed for each device. In these control devices, the functions of the simulator, measurement conditions, etc. are set. You may make it mount a function.
  • SEM an electron beam emitted from an electron source is focused by a plurality of lenses, and the focused electron beam is scanned one-dimensionally or two-dimensionally on a sample by a scanning deflector. Secondary electrons (SE) or backscattered electrons (BSE) emitted from the sample by scanning the electron beam are detected by a detector, and synchronized with the scanning deflector scanning, in a frame memory. Or the like.
  • the image signals stored in the frame memory are integrated by an arithmetic device mounted in the control device. Further, scanning by the scanning deflector is possible for any size, position, and direction.
  • the above control and the like are performed by the control devices of each SEM, and images and signals obtained as a result of scanning with the electron beam are sent to the condition setting device 2403 via the communication line network.
  • the control device that controls the SEM and the condition setting device 2403 are described as separate units. However, the present invention is not limited to this, and the condition setting device 2403 controls and measures the device. Processing may be performed in a lump, or SEM control and measurement processing may be performed together in each control device.
  • the condition setting device 2403 or the control device stores a program for executing a measurement process, and measurement or calculation is performed according to the program.
  • the condition setting device 2403 has a function of creating a program (recipe) for controlling the operation of the SEM based on semiconductor design data, and functions as a recipe setting unit. Specifically, positions for performing processing necessary for SEM such as desired measurement points, autofocus, autostigma, and addressing points on design data, pattern outline data, or design data that has been simulated And a program for automatically controlling the sample stage, deflector, etc. of the SEM is created based on the setting.
  • FIG. 22 is a schematic configuration diagram of a scanning electron microscope.
  • An electron beam 2503 extracted from an electron source 2501 by an extraction electrode 2502 and accelerated by an acceleration electrode (not shown) is focused by a condenser lens 2504 which is a form of a focusing lens, and then is scanned on a sample 2509 by a scanning deflector 2505.
  • a condenser lens 2504 which is a form of a focusing lens
  • the electron beam 2503 is decelerated by a negative voltage applied to an electrode built in the sample stage 2508 and is focused by the lens action of the objective lens 2506 and irradiated onto the sample 2509.
  • secondary electrons and electrons 2510 such as backscattered electrons are emitted from the irradiated portion.
  • the emitted electrons 2510 are accelerated in the direction of the electron source by the acceleration action based on the negative voltage applied to the sample, collide with the conversion electrode 2512, and generate secondary electrons 2511.
  • the secondary electrons 2511 emitted from the conversion electrode 2512 are captured by the detector 2513, and the output I of the detector 2513 changes depending on the amount of captured secondary electrons.
  • the brightness of a display device changes.
  • an image of the scanning region is formed by synchronizing the deflection signal to the scanning deflector 2505 and the output I of the detector 2513.
  • the scanning electron microscope illustrated in FIG. 22 includes a deflector (not shown) that moves the scanning region of the electron beam.
  • FIG. 22 an example is described in which electrons emitted from the sample are converted once by the conversion electrode and detected.
  • the present invention is not limited to such a configuration. It is possible to adopt a configuration in which the detection surface of the electron multiplier tube or the detector is arranged on the orbit.
  • the control device 2514 controls each component of the scanning electron microscope, and forms a pattern on the sample based on a function of forming an image based on detected electrons and an intensity distribution of detected electrons called a line profile. It has a function to measure the pattern width.
  • the image generation apparatus includes a dedicated processor or a general-purpose processor. In the case of a general-purpose processor, the image generation apparatus is controlled by a program that generates learning image data described later. The image generation device functions as a machine learning engine.
  • FIG. 1 is a diagram illustrating an example of an image generation apparatus that creates learning image data.
  • learning image data 4 is created using image 2 that has failed to be identified (hereinafter referred to as an unsuccessful identification image) data 2 and image 3 that has been successfully identified (hereinafter referred to as identification successful image) data 3.
  • the similar image search unit 11 uses the identification failure image data 2 to search for image data in the identification success image data 3 similar to the identification failure image.
  • the disturbance specifying unit 12 compares the unsuccessful identification image data 2 with the successful identification image data searched by the similar image search unit 11, and there is no disturbance greatly different due to disturbance such as a decrease in contrast due to charging, uneven brightness, and noise. Find out. A disturbance having a large difference is identified by comparing contrast, luminance change, and noise between the identification failure image and the identification success image. Then, the disturbance image generation unit 13 adds the disturbance difference specified by the disturbance specifying unit 12 to the identification success image data, generates an image, and stores it as learning image data 4. Since the image has been successfully identified, the true value is created at the time of identification, and no true value creation work occurs.
  • the disturbance generated in the identification failure image is reflected in the identification success image, and is learned using the CNN as learning image data, so that the identification failure image can be identified after learning.
  • learning will also include a disturbance that does not actually occur, so redundant learning data is included.
  • a disturbance actually generated is specified by comparing with a successful image, and learning image data focused on the disturbance is created. Therefore, the learning data can be reduced in quantity, and the learning time can be shortened.
  • the identification failure image data is created by designating an image that is determined to be unsuccessful by visually confirming the identification result image.
  • the GUI screen is displayed on a display device of the condition setting device 2403, and necessary information is input by an input device such as a pointing device or a keyboard.
  • the identification result is displayed for each closed figure pattern.
  • the identification target is a rectangular pattern with rounded corners, and if the contour line can be extracted / identified, the matching score with the collation image becomes high, and the image becomes a successful identification.
  • An unsuccessful identification image is a region extracted at a location where no contour line appears, such as a thick rectangle a, or a region such as b, where a contour line does not appear, a and b like c Therefore, the matching score with the collation image is lowered and the identification fails.
  • the discriminator to be described later performs machine learning based on an image that has failed to be identified. For example, a discriminating image that has a certain score, although the score is insufficient to discriminate it from a successful image. It is desirable to program to register as For example, a score Ths for success in matching> a range of scores Thf1 to Thf2 to be captured as failure images> a score Thof that should be clearly failed is set as a discrimination score.
  • the to-be-matched image that has a Thf2 score may be identified as image data for machine learning and stored in a predetermined storage medium.
  • the user displays only the image area that has failed to be identified as a rectangle, and designates it, so that all other areas not designated by the rectangle can be set as successful image areas (identification success images).
  • a rectangular frame of a, b, and c is displayed on the displayed identification result as an image area (identification failure image) that has failed to be identified, and can be set while visually checking.
  • the process of performing true value extraction / identification of contour lines using machine learning takes into account the white band direction and gives the true value of the contour line while checking the peak position, which is very time consuming. It takes.
  • the similar image search unit 11 searches for identification success image data similar to the identification failure image data. It is conceivable to search for an image having a high degree of similarity by a matching process using the normalized correlation of images. Further, as shown in FIG. 3, by using the design data 5 corresponding to the identification failure image and obtaining the design data corresponding to the similar identification success image, the identification success image similar to the identification failure image data is obtained. Searching for data is also conceivable. In addition, as shown in FIG. 2, since there are often a plurality of identification objects in one sheet, it is conceivable to search for a successful identification image similar to the unsuccessful identification image from one image of the identification result image. . FIG.
  • FIG. 23 is a diagram illustrating an example of learning image data including a success image and a partial failure image selected on the GUI screen.
  • the learning image data is stored in the memory in association with the designated image data of the success image data and the failure image.
  • a synthesized image obtained by synthesizing the success image and the failed partial image may be stored, and collation processing using the synthesized image (corrected collation image) may be performed, or image identification may be performed.
  • the collation image may be generated by synthesizing the success image and the failed partial image.
  • FIG. 4 is a diagram illustrating an example of the disturbance specifying unit 12. The contrast is calculated from each of the identification failure image 2 and the identification success image 3, and the difference is obtained by the contrast difference detection 121.
  • the contrast difference determination unit 124 determines whether or not the contrast is largely different between the identification failure image 2 and the identification success image 3.
  • the luminance value difference detection unit 122 obtains the difference between the luminance values of the identification failure image 2 and the identification success image 3.
  • the luminance value difference determination unit 125 determines whether or not the luminance values are largely different between the identification failure image 2 and the identification success image 3.
  • the noise difference detection unit 123 obtains a difference in noise amount between the identification failure image 2 and the identification success image 3.
  • the noise difference determination unit 126 determines whether or not the noise is largely different between the identification failure image 2 and the identification success image 3.
  • FIG. 5 is a diagram for explaining an example of the contrast difference detection 121.
  • the smoothing unit 1211 smoothes the image of the identification failure image 2 using a smoothing filter or the like, and removes a noise component having a steep luminance value of the image. Thereafter, the maximum value detection unit 1213 and the minimum value detection unit 1214 obtain the maximum value Lmax and the minimum value Lmin of the luminance value of the image.
  • the contrast calculation unit calculates (Lmax ⁇ Lmin) / (Lmax + Lmin) using the maximum value Lmax and the minimum value Lmin. Similarly, the contrast calculation unit 1218 calculates the contrast for the successful identification image 3, and the contrast difference calculation unit 1219 obtains the difference between the contrasts.
  • the method of obtaining the contrast is not limited to this example, and the difference between the maximum value and the minimum value in the identification failure image 2 and the identification success image 3 may be used as the contrast. In any case, the contrast is obtained using the difference between the maximum value and the minimum value.
  • FIG. 6 is a diagram for explaining an example of the luminance value difference detection 122.
  • the smoothing units 1221 and 1222 sufficiently smooth the discrimination failure image 2 and the discrimination success image 3 by using a smoothing filter or the like to obtain a gradual change in luminance of the image. Thereafter, the luminance value difference calculation unit 1223 calculates the difference between the luminance values of the respective images.
  • FIG. 7 is a diagram for explaining an example of the noise difference detection 123.
  • the smoothing units 1231 and 1232 smooth the identification failure image 2 and the identification success image 3 using a smoothing filter or the like to remove noise components, and the noise calculation units 1233 and 1234 perform the identification failure image 2 and the identification success image.
  • the difference between the image 3 and the image that has passed through the smoothing units 1231 and 1232 and the luminance value is obtained, and the variation in the difference value is calculated as noise.
  • the noise difference calculation unit 1235 calculates the difference value of the noise obtained in each case.
  • FIG. 8 is a diagram illustrating an example of the contrast difference determination unit 124.
  • a threshold value 1251 for determining whether or not the contrast difference is large is set in advance, and the comparison determination unit 1252 compares the contrast difference value output from the contrast difference detection 121 with the threshold value.
  • the threshold value is greater than 1251, a value of “1” is output, and otherwise, “0” is output.
  • the luminance value difference determination unit 125 and the noise difference determination unit 126 have thresholds for determination in advance, and are compared with the thresholds. When the value is larger than the threshold value, a difference value between luminance values and a difference value between noises are output. Otherwise, “0” is output. In that case, it is conceivable to reset each subsequent image generation calculation and output a signal that does not permit storage to the learning image data 4. If all the differences in contrast, brightness value, and noise are not large, the user is notified of this.
  • FIG. 9 is a diagram illustrating an example of the disturbance image generation unit 13. If the disturbance specifying unit 12 determines that the contrast difference is large, an image obtained by adding the contrast difference to the identification success image 3 by the contrast difference adding unit 131 is generated. If the disturbance specifying unit 12 determines that the difference in luminance value is large, an image obtained by adding the difference in luminance value to the identification success image 3 by the luminance difference adding unit 132 is generated. If the disturbance specifying unit 12 determines that the noise difference is large, an image obtained by adding the noise difference to the identification success image 3 by the noise adding unit 133 is generated. FIG.
  • the maximum value-minimum value of the identification failure image 2 is obtained by the subtractor 1312
  • the maximum value-minimum value of the identification success image 3 is obtained by the subtractor 1313
  • the divider 1314 maximum value-minimum value of the identification failure image 2).
  • / Maximum value-minimum value of identification success image 3
  • the image obtained by subtracting the minimum value obtained from the successful identification image by the subtractor 1311 is obtained by the divider 1314 (maximum value of the identification failure image 2 ⁇ minimum value) / (maximum value of the identification success image 3 ⁇ Multiplier 1315 multiplies the minimum value).
  • the luminance value difference adding unit 132 adds the luminance value difference obtained by the disturbance specifying unit 12 to the identification success image 3 by the adder 1321 to generate an image. For example, luminance unevenness such that the background becomes black due to charging generated in the failed image can be added to the successful image.
  • FIG. 12 is a diagram for explaining an example of the noise difference adding unit 133.
  • the noise difference adding unit 133 adds the noise created by the noise adjustment 1331 based on the noise 123a of the identification failure image 2 and the noise 123b of the identification success image 3 obtained by the disturbance specifying unit 12 to the identification success image by the adder 1332. Generate an image.
  • noise is added so as to take into account the noise already included in the successful identification image 3. For example, when the noise 123a of the identification failure image 3 is generated in a normal distribution, only noise that has a value larger than the value of the noise 123b of the identification success image 3 is added. Similarly, when the noise 123a of the identification failure image 3 is generated in a normal distribution, the noise 123b of the identification success image 3 is generated in a normal distribution, and the difference between the absolute values is added as noise. When the noise of the identification success image 3 is larger than the noise of the identification failure image 2, the noise to be added may be 0.
  • FIG. 14 is a diagram illustrating an example of an image generation apparatus including an identification unit.
  • the learning unit 9 already learned identifies the image of the image data for identification 10 and stores the identification result in the identification result image data 7.
  • the identification unit 9 is an arithmetic processing device that executes image processing for identifying an image using a collation image stored in advance in a memory. More specifically, the similarity between the collated image and the collated image is determined, and the search target image is retrieved according to the score. For example, an image having a score equal to or higher than a predetermined value is identified as a search target image. An image identified as a search target image is stored as a successful identification image as a predetermined storage medium, while an image with a score less than a predetermined value is stored as a failed identification image in a predetermined storage medium for subsequent machine learning. The As described with reference to FIG.
  • the image data of the identification result image data 7 is displayed on the GUI by the failure area image instruction unit 8 as shown in FIG.
  • the image area instructed by the failure area image instruction unit 8 to indicate the identification failure image area in the identification result image displayed on the GUI by the user is stored in the identification failure image data 2.
  • the image generation unit 1 generates learning image data using the identification failure image data and the identification success image data.
  • the similar image / design data search unit 14 of the image generation apparatus 1 searches for a success image similar to the identification failure image data 2.
  • a design success image that is highly similar to the discrimination failure image is searched using design data or image data. Then, the successful identification image data and the unsuccessful identification image data searched are compared by the disturbance specifying unit 12 to specify disturbances (contrast, luminance change, noise) having a large difference. Then, an image in which the disturbance specified by the disturbance image generation unit 13 is reflected in the successful identification image 3 is generated and stored in the learning image data 4.
  • the discriminator 9 performs learning using the image data stored in the learning image data 4.
  • the disturbance specifying unit 12 needs to have a function of detecting a disturbance of luminance inversion as shown in FIG.
  • the luminance inversion detection unit 127 detects luminance inversion using the images of the identification failure image 2 and the identification success image 3, and the luminance inversion determination unit 128 determines whether or not luminance inversion has occurred.
  • the image correlation calculation unit 1271 calculates the image correlation between the identification failure image 2 and the identification success image 3. If there is a reversal of luminance, the negative correlation becomes large.
  • the luminance reversal determination unit 128 can determine that reversal has occurred when the negative correlation is larger than the threshold as compared with a preset threshold.
  • the luminance reversal determination unit 128 determines that the luminance reversal has occurred, the luminance for the identification success image is determined. Generate an image with inverted values.
  • FIG. 18 shows an example of an embodiment of image generation processing. In the image generation process S10, first, an image that fails to be identified is selected in the identification failure image selection process S11. As described with reference to FIG.
  • an identification failure image an image region in which identification has failed from the identification result image.
  • an identification success image similar to the identification failure image selected in the identification failure image selection process S11 is searched from the image data that has been successfully identified.
  • disturbances such as contrast, luminance change, noise, and the like are compared from the identification failure image and the identification success image, and disturbances that differ greatly between the identification failure image and the identification success image are specified.
  • the disturbance addition process S14 an image in which the disturbance specified in the disturbance specifying process S13 is reflected in the identification success image is generated.
  • FIG. 19 shows an example of the disturbance identification process.
  • the disturbance identification unit processing S20 first, contrast is calculated from the identification failure image and the identification success image in contrast difference detection / determination processing S21, the difference is obtained, and the difference between the difference value and the specific threshold value is determined. When the difference value is larger than the specific threshold value, it is determined that the contrast disturbance is greatly different between the identification failure image and the identification success image.
  • the luminance value difference detection / determination process S22 the difference between the image of the identification failure image and the image of the identification success image (luminance value) is obtained, and the difference between the difference value and the specific threshold is determined. When the difference value is larger than the specific threshold value, it is determined that the disturbance of luminance unevenness is greatly different between the identification failure image and the identification success image.
  • the noise difference detection / determination process S23 the difference between the noise levels of the identification failure image and the identification success image is obtained, and the difference between the difference value and the specific threshold is determined.
  • the order is the contrast difference detection / determination process S21, the luminance value difference detection / determination process S22, and the noise difference detection / determination process S23, but they may be in any order.
  • FIG. 20 shows an example of the disturbance addition process. In the disturbance addition process S30, a contrast difference addition process S31, a luminance value difference addition process S32, and a noise difference addition process S23 are performed.
  • contrast difference detection / determination process S21 when it is determined in contrast difference detection / determination process S21 that the disturbance of contrast is greatly different between the identification failure image and the identification success image, the contrast of the identification success image is matched with the contrast of the identification failure image. Include. Specifically, the contents are the same as those described with reference to FIGS.
  • the luminance value difference addition processing S32 when it is determined in the luminance value difference detection / determination processing S22 that the disturbance of luminance unevenness is greatly different between the identification failure image and the identification success image, the identification failure image and the identification success image are each strongly smoothed. To obtain a difference image between the identification failure image and the identification success image, and an image obtained by adding the difference image to the identification success image is created.
  • the noise difference addition process S33 when it is determined in the noise difference detection / determination process S23 that the noise disturbance is greatly different between the identification failure image and the identification success image, an image obtained by adding noise occurring in the identification failure image to the identification success image Create This is the same as described with reference to FIG. 7 and FIG.
  • the order is the contrast difference addition process S31, the luminance value difference addition process S32, and the noise difference addition process S33, but they may be in any order.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、識別器を用いた画像識別に用いられる照合画像を学習する画像処理システムのデータ量の抑制と識別器の識別性能向上の両立を目的とする。上記目的を達成するために、照合画像を用いて画像を識別する識別器（９）を備えた画像処理システムであって、画像識別に要する照合画像データを機械学習する機械学習エンジン（１）を備え、当該機械学習エンジンは、識別に失敗した画像（２）を用いて、識別に成功した画像（３）の探索を行い、当該探索によって得られた識別に成功した画像に、前記入力装置によって選択された前記識別に失敗した画像の部分画像に基づいて得られる情報を付加して補正照合画像データ（１３）を生成する画像処理システムを提案する。

Description

画像処理システム及び画像処理を行うためのコンピュータープログラム
本開示は、画像情報に基づいて画像の識別を行う画像識別器に機械学習させる画像処理システム、及びコンピュータープログラムに係り、特に、照合画像を用いて、被照合画像を識別する画像識別器に機械学習させる画像処理システム、及びコンピュータープログラムに関する。
　従来、画像から特徴量を抽出し、事前にデータベース等に登録されている情報と比較照合することで対象物を判別する画像解析技術が用いられている。対象物を判別する機械学習のアルゴリズムとしてニューラルネットワークやサポートベクターマシンが知られている。いずれの方法もどのような特徴量を選ぶかによって識別精度が大きく変動するため、特徴量の選択方法が重要となっていた。
近年では、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ；畳み込みニューラルネットワーク）と呼ばれる深層学習器が開発され、注目されている（非特許文献１）。ＣＮＮは機械学習器の一種であり、画像の特徴をシステムが自動抽出して学習し、対象が何であるかを判定する仕組みである。今まで重要とされた特徴量の選択もシステムが自動抽出するため、今後は、如何なる学習データを揃えるかが重要になると思われる。特許文献１や特許文献２では学習データにノイズを加えて学習させることでノイズにロバストな判別を可能にする技術が紹介されている。
特開平５－５４１９５号公報 特開平１０－６３７８９号公報
Ａｌｅｘ　Ｋｒｉｚｈｅｖｓｋｙ,Ｉｌｙａ　Ｓｕｔｓｋｅｖｅｒ，　ａｎｄ　Ｇｅｏｆｆｒｅｙ　Ｅ　Ｈｉｎｔｏｎ， "Ｉｍａｇｅ　Ｎｅｔ　Ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｗｉｔｈ　Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ"，　Ａｄｖａｎｃｅｓ　ＩｎＮｅｕｒａｌ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ　Ｓｙｓｔｅｍｓ， Ｖｏｌ．２５，ｐｐ．１１０６－１１１４，２０１２．
機械学習では大量の学習データを用いて識別性能を向上させている。大量の学習データの準備する時間とその大量の学習データを用いて学習させるのに数週間～数カ月と時間がかかる場合もある。半導体検査や測定に用いられる走査電子顕微鏡（Ｓｃａｎｎｉｎｇ　Ｅｌｅｃｔｒｏｎ　Ｍｉｃｒｏｓｃｏｐｅ：ＳＥＭ）が出力する画像を、検査や測定の目的に応じて識別する識別器（画像処理装置）にも機械学習を導入し、識別能力を向上させることが考えられるが、予め、学習データを用いて機械学習を行っていても、実際に半導体検査を行うに当たり、ＳＥＭ特有の帯電によるコントラスト低下や輝度むら、ノイズ等（以下、外乱）を伴う新種の画像に対応するための追加学習が必要になる。
学習データの準備には画像に対応した正しい判別の結果（以下、真値）を作成する必要があり、大量の学習データに対応する真値の作成作業は人手と時間が掛かる。また、学習するための学習時間も学習データの規模に応じて必要になるため、大量の学習データを用いた学習は生産ライン運用の妨げになる恐れがあり困難と考える。
そこで以下に実際に識別で失敗する画像と識別に成功する画像を用いて失敗の要因となる外乱を特定し、その外乱に絞った学習データを作成することで学習データの数を抑え、学習時間の短期間化することを目的とする画像処理システム及びコンピュータープログラムを提案する。
　上記目的を達成するための一態様として、照合画像を用いて画像を識別する演算処理装置を備えた画像処理システムであって、前記画像を表示する表示装置と、　前記画像の一部を選択する入力装置と、前記画像を識別するための照合画像データを記憶するメモリと、前記演算処理装置の画像識別に要する前記照合画像データを機械学習する機械学習エンジンを備え、当該機械学習エンジンは、前記演算処理装置による識別に失敗した画像を用いて、前記メモリに記憶された前記演算処理装置による識別に成功した画像の探索を行い、当該探索によって得られた識別に成功した画像に、前記入力装置によって選択された前記識別に失敗した画像の部分画像に基づいて得られる情報を付加して補正照合画像データを生成する画像処理システムを提案する。
　また、上記目的を達成するための他の態様として、プロセッサによって実行されるコンピューター命令を記憶したコンピューター読み取り可能な記憶媒体であって、前記コンピューター命令は、照合画像を用いて被照合画像を識別する識別器の学習データを生成するために、前記照合画像データを用いた識別に失敗した被照合画像データを用いて、前記照合画像データを用いた識別に成功した被照合画像データの探索を行い、当該探索によって得られた識別に成功した被照合画像データに、前記識別に失敗した被照合画像の部分的な選択に基づいて得られる情報を付加して、補正照合画像データを生成するプロセッサによって実行されるコンピューター命令を記憶したコンピューター読み取り可能な記憶媒体を提案する。
　上記構成によれば、学習データ量の抑制と、識別器の識別性能向上の両立を実現することが可能となる。
画像生成装置の実施例を示す図。 画像生成装置のＧＵＩ画面の実施例を示す図。 画像生成装置の実施例を示す図。 外乱特定部の実施例を示す図。 コントラスト差分検出部の実施例を示す図。 輝度値差分検出部の実施例を示す図。 ノイズ差分検出部の実施例を示す図。 コントラスト差分判定部の実施例を示す図。 外乱画像生成の実施例を示す図。 コントラスト差分加算部の実施例を示す図。 輝度値差分加算部の実施例を示す図。 ノイズ差分加算部の実施例を示す図。 外乱画像生成の実施例を示す図。 識別部及び画像生成装置の実施例を示す図。 外乱特定部の実施例を示す図。 輝度反転検出部の実施例を示す図。 輝度反転加算部の実施例を示す図。 画像生成処理の実施例を示す図。 外乱特定処理の実施例を示す図。 外乱加算処理の実施例を示す図。 半導体計測システムの一例を説明する図。 走査電子顕微鏡の概略説明図。 学習用画像データの一例を示す図。
以下に、照合画像を用いて被照合画像を識別する識別器の照合画像を、機械学習を用いて更新する画像処理システム、或いは演算処理装置に上記更新を実行させるコンピュータープログラムであって、上記識別器を用いた識別に失敗した画像（以下、失敗画像）に類似の識別に成功した画像（以下、成功画像）を探索する類似画像処理と、前記失敗画像と前記類似画像探索部で探索した成功画像の画像情報に基づく比較により算出した差分情報を得る外乱特定処理と、前記外乱特定処理で算出した差分情報に基づいて、画像を作成する外乱画像生成処理を行う画像処理システム、及びコンピュータープログラムについて説明する。
上記構成によれば、学習データの真値作成作業の手間を省くことができ、学習データの少量化を行い、学習時間の短期間化を行うことが可能になる。
以下に説明する実施例にて例示する画像生成装置は、機械学習を活用した半導体検査での追加学習における学習データの少量化及び学習時間の短期間化を図るための画像生成方法、及び画像生成装置に関するものである。また、その具体的な一例として、識別に失敗した画像データと識別に成功した画像とを用いて学習用の画像データを生成する例を示す。
以下に、機械学習を活用した半導体検査での追加学習における学習データを生成する機能を備えた装置、測定検査システムについて、図面を用いて説明する。より具体的には、測定装置の一種である測長用走査電子顕微鏡（Ｃｒｉｔｉｃａｌ　Ｄｉｍｅｎｓｉｏｎ－Ｓｃａｎｎｉｎｇ　Ｅｌｅｃｔｒｏｎ　Ｍｉｃｒｏｓｃｏｐｅ：ＣＤ－ＳＥＭ）を含む装置、システムについて説明する。
なお、以下の説明では、画像を形成する装置として荷電粒子線装置を例示すると共に、その一態様として、ＳＥＭを用いた例を説明するが、これに限られることはなく、例えば試料上にイオンビームを走査して画像を形成する集束イオンビーム（Ｆｏｃｕｓｅｄ　Ｉｏｎ　Ｂｅａｍ：ＦＩＢ）装置を荷電粒子線装置として採用するようにしても良い。但し、微細化が進むパターンを高精度に測定するためには、極めて高い倍率が要求されるため、一般的に分解能の面でＦＩＢ装置に勝るＳＥＭを用いることが望ましい。
図２１は、複数の測定、或いは検査装置がネットワークに接続された測定、検査システムの概略説明図である。当該システムには、主に半導体ウエハやフォトマスク等のパターン寸法を測定するＣＤ－ＳＥＭ２４０１、試料に電子ビームを照射することによって、画像を取得し当該画像と予め登録されている参照画像との比較に基づいて欠陥を抽出する欠陥検査装置２４０２がネットワークに接続された構成となっている。また、ネットワークには、半導体デバイスの設計データ上で、測定位置や測定条件等を設定する条件設定装置２４０３、半導体デバイスの設計データと、半導体製造装置の製造条件等に基づいて、パターンの出来栄えをシミュレーションするシミュレーター２４０４、及び半導体デバイスのレイアウトデータや製造条件が登録された設計データが記憶される記憶媒体２４０５が接続されている。条件設定装置２４０３には後述するようなＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）画像を表示する表示装置や、必要な情報を入力する入力装置が設けられている。
設計データは例えばＧＤＳフォーマットやＯＡＳＩＳフォーマットなどで表現されており、所定の形式にて記憶されている。なお、設計データは、設計データを表示するソフトウェアがそのフォーマット形式を表示でき、図形データとして取り扱うことができれば、その種類は問わない。また、記憶媒体２４０５は測定装置、検査装置の制御装置、或いは条件設定装置２４０３、シミュレーター２４０４内蔵するようにしても良い。　なお、ＣＤ－ＳＥＭ２４０１、及び欠陥検査装置２４０２、には、それぞれの制御装置が備えられ、各装置に必要な制御が行われるが、これらの制御装置に、上記シミュレーターの機能や測定条件等の設定機能を搭載するようにしても良い。
ＳＥＭでは、電子源より放出される電子ビームが複数段のレンズにて集束されると共に、集束された電子ビームは走査偏向器によって、試料上を一次元的、或いは二次元的に走査される。
電子ビームの走査によって試料より放出される二次電子（Ｓｅｃｏｎｄａｒｙ Ｅｌｅｃｔｒｏｎ：ＳＥ）或いは後方散乱電子（Ｂａｃｋｓｃａｔｔｅｒｅｄ　Ｅｌｅｃｔｒｏｎ：ＢＳＥ）は、検出器により検出され、前記走査偏向器の走査に同期して、フレームメモリ等の記憶媒体に記憶される。このフレームメモリに記憶されている画像信号は、制御装置内に搭載された演算装置によって積算される。また、走査偏向器による走査は任意の大きさ、位置、及び方向について可能である。
以上のような制御等は、各ＳＥＭの制御装置にて行われ、電子ビームの走査の結果、得られた画像や信号は、通信回線ネットワークを介して条件設定装置２４０３に送られる。なお、本例では、ＳＥＭを制御する制御装置と、条件設定装置２４０３を別体のものとして、説明しているが、これに限られることはなく、条件設定装置２４０３にて装置の制御と測定処理を一括して行うようにしても良いし、各制御装置にて、ＳＥＭの制御と測定処理を併せて行うようにしても良い。
また、上記条件設定装置２４０３或いは制御装置には、測定処理を実行するためのプログラムが記憶されており、当該プログラムに従って測定、或いは演算が行われる。
また、条件設定装置２４０３は、ＳＥＭの動作を制御するプログラム（レシピ）を、半導体の設計データに基づいて作成する機能が備えられており、レシピ設定部として機能する。具体的には、設計データ、パターンの輪郭線データ、或いはシミュレーションが施された設計データ上で所望の測定点、オートフォーカス、オートスティグマ、アドレッシング点等のＳＥＭにとって必要な処理を行うための位置等を設定し、当該設定に基づいて、ＳＥＭの試料ステージや偏向器等を自動制御するためのプログラムを作成する。また、後述するテンプレートの作成のために、設計データからテンプレートとなる領域の情報を抽出し、当該抽出情報に基づいてテンプレートを作成するプロセッサ、或いは汎用のプロセッサにをテンプレートを作成させるプログラムが内蔵、或いは記憶されている。
図２２は、走査電子顕微鏡の概略構成図である。電子源２５０１から引出電極２５０２によって引き出され、図示しない加速電極によって加速された電子ビーム２５０３は、集束レンズの一形態であるコンデンサレンズ２５０４によって、絞られた後に、走査偏向器２５０５により、試料２５０９上を一次元的、或いは二次元的に走査される。電子ビーム２５０３は試料台２５０８に内蔵された電極に印加された負電圧により減速されると共に、対物レンズ２５０６のレンズ作用によって集束されて試料２５０９上に照射される。
電子ビーム２５０３が試料２５０９に照射されると、当該照射個所から二次電子、及び後方散乱電子のような電子２５１０が放出される。放出された電子２５１０は、試料に印加される負電圧に基づく加速作用によって、電子源方向に加速され、変換電極２５１２に衝突し、二次電子２５１１を生じさせる。変換電極２５１２から放出された二次電子２５１１は、検出器２５１３によって捕捉され、捕捉された二次電子量によって、検出器２５１３の出力Ｉが変化する。この出力Ｉに応じて図示しない表示装置の輝度が変化する。例えば二次元像を形成する場合には、走査偏向器２５０５への偏向信号と、検出器２５１３の出力Ｉとの同期をとることで、走査領域の画像を形成する。また、図２２に例示する走査電子顕微鏡には、電子ビームの走査領域を移動する偏向器（図示せず）が備えられている。
なお、図２２の例では試料から放出された電子を変換電極にて一端変換して検出する例について説明しているが、無論このような構成に限られることはなく、例えば加速された電子の軌道上に、電子倍像管や検出器の検出面を配置するような構成とすることも可能である。制御装置２５１４は、走査電子顕微鏡の各構成を制御すると共に、検出された電子に基づいて画像を形成する機能や、ラインプロファイルと呼ばれる検出電子の強度分布に基づいて、試料上に形成されたパターンのパターン幅を測定する機能を備えている。
次に、機械学習を用いた輪郭線抽出の学習用画像データを作成する画像生成装置９の一態様を説明する。画像生成装置は、専用のプロセッサ或いは汎用のプロセッサを備え、汎用のプロセッサの場合、後述する学習画像データを生成するプログラムによって制御される。画像生成装置は、機械学習エンジンとして機能する。機械学習は、制御装置２５１４内に内蔵、或いは画像処理を内蔵された演算装置にて実行することも可能であるし、ネットワークを経由して、外部の演算装置（例えば条件設定装置２４０３）に、機械学習を実行させることも可能である。
図１は学習用画像データを作成する画像生成装置の一例を説明する図である。画像生成装置１では、識別に失敗した画像（以下、識別失敗画像）データ２と識別に成功した画像（以下、識別成功画像）データ３を用いて学習用画像データ４を作成する。まず、類似画像探索部１１で識別失敗画像データ２を用いて、識別失敗画像に類似の識別成功画像データ３内の画像データを探索する。
そして、外乱特定部１２では識別失敗画像データ２と類似画像探索部１１で探索した識別成功画像データとを比較して帯電によるコントラスト低下や輝度むら、ノイズ等の外乱で大きく異なっている外乱が無いかを調べる。識別失敗画像と識別成功画像とでコントラスト、輝度変化、ノイズについて比較して差分の大きい外乱を特定する。
そして、外乱画像生成部１３では、外乱特定部１２で特定した外乱の差分を識別成功画像データに加えて画像を生成し、学習用画像データ４として格納する。識別に成功した画像なので、真値は識別時に作成されており、真値作成作業は発生しない。また、識別失敗画像に生じた外乱は識別成功画像に反映し、それを学習用画像データとしてＣＮＮを用いて学習することで、学習後には識別失敗画像の識別も可能になる。識別失敗画像に真値をつけて、想定する外乱を加えて学習用画像データを作成する場合、実際には起きない外乱も加えて学習することになるため、冗長な学習データが含まれることになる。本実施例では実際に生じている外乱を成功画像と比較することで特定し、その外乱に絞った学習用画像データを作成する。そのため、学習データの少量化を行うことができ、学習時間の短期間化を行うことが可能になる。
識別失敗画像データは人が識別結果の画像を目視で確認して失敗していると判断した画像を指定して作成することが考えられる。
図２に学習を用いた輪郭線抽出における識別結果画像を目視確認する際のＧＵＩの一例を示す。ＧＵＩ画面は例えば条件設定装置２４０３の表示装置に表示され、ポインティングデバイスやキーボード等の入力装置によって、必要な情報が入力される。図２では、閉図形パターンごとに識別結果が表示されている。
この例では識別対象は四隅の角が丸い矩形のパターンで、その輪郭線が抽出／識別できていれば、照合画像との間のマッチングスコアが高くなり、識別成功の画像となる。識別失敗の画像は太枠の矩形ａのような輪郭線が出ない場所で抽出された領域、または、ｂのような輪郭線が出る場所で抽出されない領域、ｃのようなaとｂが近接して発生している領域を含んでいるため、照合画像との間のマッチングスコアが低下し、識別に失敗する。
後述する識別器は、識別に失敗した画像に基づいて、機械学習を実行すべく、例えば成功画像と識別するにはスコアが不足しているものの、ある程度のスコアが出ているものを識別失敗画像として登録するようにプログラムしておくことが望ましい。例えばマッチングを成功とするスコアＴｈｓ＞失敗画像として取り込むスコアの範囲Ｔｈｆ１～Ｔｈｆ２＞明らかに失敗とすべきスコアＴｈｏｆのように識別のためのスコアを設定しておき、類似度判定の際、Ｔｈｆ１～Ｔｈｆ２のスコアとなった被照合画像を、機械学習のための画像データとして識別し、所定の記憶媒体に記憶させるようにすると良い。
ユーザーは識別失敗の画像領域のみを矩形で表示して指示することで、それ以外の矩形で指示されない領域は全て成功画像領域（識別成功画像）とすることができる。表示された識別結果に、識別に失敗している画像領域（識別失敗画像）としてａ，ｂ，ｃの矩形の枠を重ねて表示し、目視で確認しながら設定することができる。
機械学習を用いた輪郭線の抽出/識別の真値付けを行う作業は、ホワイトバンドの方向も考慮し、ピーク位置を確認しながら輪郭線の真値を与えていくことになり、非常に時間が掛かる。そのため、出来る限り真値付けを行う作業は不要にしたいと考える。
類似画像検索部１１では識別失敗画像データに類似の識別成功画像データを検索する。画像の正規化相関を用いたマッチング処理で類似度の高い画像を検索することが考えられる。
また、図３に示すように識別失敗画像に対応する設計データ５を用いて、その設計データを類似の識別成功画像に対応する設計データを求めることで、識別失敗画像データに類似の識別成功画像データを検索することも考えられる。
また、図２で示したように識別対象は１枚の中に複数あることが多いため、識別結果画像の１枚の画像内から識別失敗画像に類似の識別成功画像を検索することも考えられる。
図２３は、成功画像と、ＧＵＩ画面上で選択された部分的な失敗画像を含む学習画像データの一例を示す図である。学習画像データは、成功画像データと失敗画像の指定された個所の画像データが関連付けてメモリに記憶されている。記憶されたデータには、成功画像と失敗部分画像を合成した合成画像を記憶させておき、当該合成画像（補正照合画像）を用いた照合処理を行うようにしても良いし、画像識別を行う際に、成功画像と失敗部分画像を合成して照合画像を生成するようにしても良い。
図４は外乱特定部１２の一例を説明する図である。識別失敗画像２と識別成功画像３からそれぞれコントラストを算出し、その差分をコントラスト差分検出１２１で求める。そして、識別失敗画像２と識別成功画像３でコントラストが大きく異なるか否かをコントラスト差分判定部１２４で判定する。輝度値差分検出部１２２では識別失敗画像２と識別成功画像３のそれぞれの輝度値の差分を求める。そして、識別失敗画像２と識別成功画像３で輝度値が大きく異なるか否かを輝度値差分判定部１２５で判定する。ノイズ差分検出部１２３では識別失敗画像２と識別成功画像３のそれぞれのノイズ量の差分を求める。そして、識別失敗画像２と識別成功画像３でノイズが大きく異なるか否かをノイズ差分判定部１２６で判定する。
図５はコントラスト差分検出１２１の一例を説明する図である。識別失敗画像２に対して平滑化部１２１１で平滑化フィルタ等を用いて画像の平滑化を行い、画像の輝度値の急峻なノイズ成分は除去する。その後で最大値検出部１２１３及び最小値検出部１２１４で画像の輝度値の最大値Ｌｍａｘと最小値Ｌｍｉｎを求める。コントラスト算出部では最大値Ｌｍａｘと最小値Ｌｍｉｎを用いて（Ｌｍａｘ－Ｌｍｉｎ）／（Ｌｍａｘ＋Ｌｍｉｎ）を算出する。同様に識別成功画像３に対してもコントラスト算出部１２１８でコントラストを算出し、それぞれのコントラストの差分をコントラスト差分算出部１２１９で求める。コントラストの求め方は、この例に限らず、識別失敗画像２と識別成功画像３でそれぞれ最大値と最小値の差をコントラストとしてもよい。いずれにしても最大値と最小値の差を用いてコントラストを求める。
図６は輝度値差分検出１２２の一例を説明する図である。識別失敗画像２及び識別成功画像３に対して平滑化部１２２１、１２２２で平滑化フィルタ等を用いて平滑化を十分に行い画像の緩やかな輝度変化を求める。その後でそれぞれの画像の輝度値の差分を輝度値差分算出部１２２３で算出する。
図７はノイズ差分検出１２３の一例を説明する図である。識別失敗画像２及び識別成功画像３に対して平滑化部１２３１、１２３２で平滑化フィルタ等を用いて平滑化を行いノイズ成分は除去し、ノイズ算出部１２３３、１２３４で識別失敗画像２及び識別成功画像３とそれぞれ平滑化部１２３１、１２３２を経た画像と輝度値の差分を求め、その差分値のバラツキをノイズとして算出する。それぞれで求めたノイズの差分値をノイズ差分算出部１２３５で算出する。
図８はコントラスト差分判定部１２４の一例を説明する図である。予めコントラストの差分が大きいか否かを判定するための閾値１２５１が設定されており、コントラスト差分検出１２１の出力するコントラスト差分の値と閾値を比較判定部１２５２で比較する。閾値１２５１より大きい場合は“１”の値を出力し、それ以外の場合は“０”を出力する。
また、輝度値差分判定部１２５とノイズ差分判定部１２６もコントラスト差分判定部１２４と同様に、それぞれ予め判定するための閾値が設定されており、その閾値と比較して判定する。閾値よりも大きい場合は、輝度値の差分の値、ノイズの差分の値を出力する。それ以外はそれぞれ“０”を出力する。その場合、以降のそれぞれ画像生成の演算をリセットし、学習用画像データ４に対して格納許可しない信号を出力することが考えられる。
また、コントラスト、輝度値、ノイズの全ての差分が大きくない場合は、その旨をユーザーに通知する。そして、その場合は識別失敗画像に対して真値付け作業を行って識別失敗画像を学習用画像データにする。
図９は外乱画像生成部１３の一例を説明する図である。外乱特定部１２でコントラストの差分が大きいと判断された場合には、識別成功画像３に対して、コントラストの差分をコントラスト差分加算部１３１で加算した画像を生成する。また、外乱特定部１２で輝度値の差分が大きいと判断された場合には、識別成功画像３に対して、輝度値の差分を輝度差分加算部１３２で加算した画像を生成する。また、外乱特定部12でノイズの差分が大きいと判断された場合には、識別成功画像３に対して、ノイズの差分をノイズ加算部１３３で加算した画像を生成する。
図１０はコントラスト差分加算部１３１の一例を説明する図である。識別失敗画像２の最大値－最小値を減算機１３１２で求め、識別成功画像３の最大値－最小値を減算機１３１３で求め、除算機１３１４で（識別失敗画像２の最大値－最小値）／（識別成功画像３の最大値－最小値）を求める。そして、識別成功画像から求めた最小値を減算機１３１１で減算した画像に対して、除算機１３１４で求めた（識別失敗画像２の最大値－最小値）／（識別成功画像３の最大値－最小値）の値を乗算機１３１５で掛ける。その後で、識別失敗画像２の最小値を加算機で加えることで実現できる。
輝度値差分加算部１３２は図１１のように識別成功画像３に外乱特定部１２で求めた輝度値の差分を加算機１３２１で加算して画像を生成する。例えば失敗画像に発生した帯電によって背景が黒くなるような輝度ムラを成功画像に加算することができる。
図１２はノイズ差分加算部１３３の一例を説明する図である。ノイズ差分加算部１３３は外乱特定部１２で求めた識別失敗画像２のノイズ１２３ａと識別成功画像３のノイズ１２３ｂを基にノイズ調整１３３１で作成したノイズを加算機１３３２で識別成功画像に加算して画像を生成する。ノイズ調整１３３１では識別成功画像３に既に載っているノイズ分は考慮するようにノイズを加える。例えば、識別失敗画像３のノイズ１２３ａを正規分布で発生させた際に識別成功画像３のノイズ１２３ｂの値よりも大きい値になるノイズのみを加える。また、識別失敗画像３のノイズ１２３ａを正規分布で発生させた際に同様に識別成功画像３のノイズ１２３ｂを正規分布で発生させて、その絶対値の差分をノイズとして加える。識別失敗画像２のノイズより識別成功画像３のノイズが大きい場合は、加算するノイズは０とすることが考えられる。以上はコントラスト差分加算部１３１、輝度差分加算機１３２、ノイズ差分加算部１３３のそれぞれ分けて画像作成するが、図１３に示すようにそれぞれ合わせた画像を作成することも考えられる。最初に失敗画像に対してコントラスト差分加算部１３１でコントラストの差分を加算し、その次に輝度値差分加算部１３２で輝度値の差分を加算し。最後にノイズ差分加算部１３３でノイズの差分を加算する。ここの処理の順番は入れ替わってもよい。これにより、コントラスト及び輝度値、ノイズを加えた画像生成が作成できる。
図１４は識別部も含めた画像生成装置の一例を説明する図である。既に学習された識別部９は識別用画像データ１０の画像を識別し、識別結果を識別結果画像データ7に格納する。
識別部９は、予めメモリに記憶された照合画像を用いて画像を識別する画像処理を実行する演算処理装置である。より具体的には、被照合画像と照合画像との類似度を判定し、そのスコアに応じて、探索対象の画像を検索する。例えばスコアが所定値以上の画像は探索対象画像として識別される。探索対象画像として識別された画像は識別成功画像として所定の記憶媒体として記憶される一方、スコアが所定値未満の画像は識別失敗画像として、後の機械学習のために所定の記憶媒体に記憶される。
図２で説明したように識別対象は四隅の丸い矩形のパターンで識別できると四隅の丸い矩形の輪郭線が抽出できるものとする。
識別結果画像データ７の画像データは失敗領域画像指示部８でＧＵＩ上に図２で示したように表示される。失敗領域画像指示部８でユーザーがＧＵＩ上に表示した識別結果画像の中に識別失敗画像領域を指示すると指示した画像領域は識別失敗画像データ２へ格納される。また、指示されなかった画像領域は、例えば図２で示す四隅の丸い矩形の輪郭線が抽出できた画像領域は識別成功画像データ３に格納される。画像生成部１では、識別失敗画像データと識別成功画像データを用いて学習用の画像データを生成する。画像生成装置１の類似画像/設計データ検索部１４では、識別失敗画像データ２と類似の成功画像を検索する。設計データ又は画像データを用いて識別失敗画像と類似が高い識別成功画像を探索する。そして、探索した識別成功画像データと識別失敗画像データを外乱特定部１２で比較し、差分の大きな外乱（コントラスト、輝度変化、ノイズ）を特定する。そして外乱画像生成部１３で特定した外乱を識別成功画像３に反映した画像を生成し、学習用画像データ４に格納する。識別器９では、この学習用画像データ４に格納された画像データを用いて学習する。識別に失敗した画像に生じた外乱を加えた成功画像を用いて学習することで、識別に失敗した画像に生じた外乱にロバストな識別が可能となる。
以上はＳＥＭ画像を用いる場合の外乱であるが、例えばＯＭ像を用いる場合にはプロセスによって輝度の反転などの外乱が起こる。その場合には外乱特定部１２の中に図１５に示すような輝度反転の外乱を検出する機能が必要になる。この輝度反転検出部１２７では識別失敗画像２と識別成功画像３の画像を用いて輝度反転を検出し、輝度反転判定部１２８で輝度の反転が起きているか否かを判定する。
輝度反転検出部１２７では図１６に示すように識別失敗画像２と識別成功画像３の画像相関を画像相関算出部１２７１で算出する。輝度の反転があれば負の相関が大きくなる。輝度反転判定部１２８では予め設定した閾値と比較して負の相関が閾値より大きい場合に反転が起きていると判定することができる。また、説明した外乱画像生成部１３に図１７に示す輝度反転部１３４を設けて、輝度反転判定部１２８で輝度反転が起きていると判定している場合には、識別成功画像に対して輝度値を反転した画像を生成する。
図１８に画像生成処理の実施例の一例を示す。画像生成処理Ｓ１０では、初めに識別失敗画像選択処理Ｓ１１で識別に失敗する画像を選択する。図２を用いて説明したようにユーザーが識別結果画像から識別に失敗している画像領域（以下、識別失敗画像）を選択する処理を行う。続いて類似画像検索処理Ｓ１２では、識別に成功している画像データの中から識別失敗画像選択処理Ｓ１１で選択した識別失敗画像と類似の識別成功画像を探す。そして、外乱特定処理Ｓ１３で識別失敗画像と識別成功画像からコントラスト、輝度変化、ノイズ等の外乱を比較し、識別失敗画像と識別成功画像とで大きく異なる外乱を特定する。そして外乱加算処理Ｓ１４では、外乱特定処理Ｓ１３で特定した外乱を識別成功画像に反映した画像を生成する。図１９に外乱特定処理の実施例の一例を示す。外乱特定部処理Ｓ２０では、まず、コントラスト差分検出／判定処理Ｓ２１で識別失敗画像と識別成功画像からそれぞれコントラストを算出し、その差分を求めて、差分値と特定閾値との大小判定を行う。差分値が特定閾値より大きい場合に識別失敗画像と識別成功画像でコントラストの外乱が大きく異なると判断する。
輝度値差分検出/判定処理Ｓ22では識別失敗画像と識別成功画像の画像（輝度値）の差分を求めて、差分値と特定閾値との大小判定を行う。差分値が特定閾値より大きい場合に識別失敗画像と識別成功画像で輝度むらの外乱が大きく異なると判断する。
ノイズ差分検出/判定処理Ｓ２３では識別失敗画像と識別成功画像のノイズの大きさの差分を求めて、差分値と特定閾値との大小判定を行う。差分値が特定閾値より大きい場合に識別失敗画像と識別成功画像でノイズの外乱が大きく異なると判断する。
ここではコントラスト差分検出／判定処理Ｓ２１、輝度値差分検出／判定処理Ｓ２２、ノイズ差分検出／判定処理Ｓ２３の順番であるが、順不同で構わない。
図２０に外乱加算処理の実施例の一例を示す。外乱加算処理Ｓ３０では、コントラスト差分加算処理Ｓ３１と輝度値差分加算処理Ｓ３２とノイズ差分加算処理Ｓ２３を行う。コントラスト差分検出／判定処理Ｓ２１では、コントラスト差分検出／判定処理Ｓ２１で識別失敗画像と識別成功画像でコントラストの外乱が大きく異なると判断された場合、識別成功画像のコントラストを識別失敗画像のコントラストに合わせ込む。具体的には図５及び図９、１０を用いて説明した内容と同じである。
輝度値差分加算処理Ｓ３２では、輝度値差分検出／判定処理Ｓ２２で識別失敗画像と識別成功画像で輝度むらの外乱が大きく異なると判断された場合、識別失敗画像と識別成功画像をそれぞれ強い平滑化を行って識別失敗画像－識別成功画像の差分画像を求め、それを識別成功画像に加えた画像を作成する。図６及び図１１を用いて説明した内容と同じである。
ノイズ差分加算処理Ｓ３３ではノイズ差分検出／判定処理Ｓ２３で識別失敗画像と識別成功画像でノイズの外乱が大きく異なると判断された場合、識別失敗画像に起きているノイズを識別成功画像に加えた画像を作成する。図７及び図1２を用いて説明した内容と同じである。
ここではコントラスト差分加算処理Ｓ３１、輝度値差分加算処理Ｓ３２、ノイズ差分加算処理Ｓ３３の順番であるが、順不同で構わない。
１・・・画像生成装置、２・・・識別失敗画像データ、３・・・識別成功画像データ 、４・・・学習用画像データ 、５・・・設計データ　、６・・・設計データ　、７・・・識別結果画像データ、８・・・失敗領域画像指示部 、９・・・識別部 、１０・・・識別用画像データ 、１１・・・類似画像検索部 、１２・・・外乱特定部 、１３・・・外乱画像生成部 、１２１・・・コントラスト差分検出部 、１２２・・・輝度差分検出部、１２３・・・ノイズ差分検出部、１２４・・・コントラスト差分判定部 、１２５・・・輝度差分判定部、１２６・・・ノイズ差分判定部、１２７・・・輝度反転検出部 、１２８・・・輝度反転判定部 、１３１・・・コントラスト差分加算部、１３２・・・輝度差分加算部、１３３・・・ノイズ差分加算部、１３４・・・輝度反転部、１２１a・・・識別失敗画像の最大値、１２１b・・・識別失敗画像の最小値、１２１c・・・識別成功画像の最大値、１２１d・・・識別成功画像の最小値、１２３a・・・識別失敗画像のノイズ、１２３b・・・識別成功画像のノイズ

Claims (11)

  1. 　照合画像を用いて画像を識別する演算処理装置を備えた画像処理システムにおいて、
    　前記画像を表示する表示装置と、
    　前記画像の一部を選択する入力装置と、
    　前記画像を識別するための照合画像データを記憶するメモリと、
    　前記演算処理装置の画像識別に要する前記照合画像データを機械学習する機械学習エンジンを備え、
    　当該機械学習エンジンは、前記演算処理装置による識別に失敗した画像を用いて、前記メモリに記憶された前記演算処理装置による識別に成功した画像の探索を行い、当該探索によって得られた識別に成功した画像に、前記入力装置によって選択された前記識別に失敗した画像の部分画像に基づいて得られる情報を付加して補正照合画像データを生成することを特徴とする画像処理システム。
  2. 　請求項１において、
    　前記演算処理装置は、前記入力装置によって選択された部分画像と、前記識別に成功した画像の当該部分画像に対応する対応画像との差分を求め、前記機械学習エンジンは、当該差分情報を用いて、前記補正照合画像データを生成することを特徴とする画像処理システム。
  3. 請求項１において、
    前記演算処理装置は、前記識別に失敗した画像に対応する設計データを用いて、前記識別に成功した画像の探索を実行することを特徴とする画像処理システム。
  4. 請求項１において、
    　前記演算処理装置は、前記識別に失敗した画像の部分画像と前記識別に成功した画像のコントラスト、輝度値、及びノイズの差分演算を行い、当該差分演算結果に基づいて、前記補正照合画像データを生成する付加情報とすることを特徴とする画像処理システム。
  5. 請求項１において、
    　前記表示装置は、前記入力装置によって選択された前記識別に失敗した画像の部分画像と、探索によって得られた識別に成功した画像とを重ねて表示することを特徴とする画像処理システム。
  6. 請求項１において、
    前記入力装置は、前記識別に失敗した画像から画素単位で複数個所の前記部分画像を指定することを特徴とする画像処理システム。
  7. 請求項１において、
    前記演算処理装置による識別に成功した画像の探索の結果、複数の識別に成功した画像が得られた場合、前記機械学習エンジンは、前記入力装置の入力によって選択された識別に成功した画像を用いて、前記補正照合画像を生成することを特徴とする画像処理システム。
  8. 請求項１において、
    前記演算処理装置は、前記識別に成功した画像の探索の結果、画像が見つからない場合、その旨を前記表示装置に表示することを特徴とする画像処理システム。
  9. 請求項１において、
    前記機械検学習エンンジは、前記探索の結果、画像が見つからない場合、前記識別に失敗した画像を表示すると共に、前記入力装置による前記補正照合画像データを生成するための情報の入力を可能とすることを特徴とする画像処理システム。
  10. 　プロセッサによって実行されるコンピューター命令を記憶したコンピューター読み取り可能な記憶媒体であって、前記コンピューター命令は、照合画像を用いて被照合画像を識別する識別器の学習データを生成するために、前記照合画像データを用いた識別に失敗した被照合画像データを用いて、前記照合画像データを用いた識別に成功した被照合画像データの探索を行い、当該探索によって得られた識別に成功した被照合画像データに、前記識別に失敗した被照合画像の部分的な選択に基づいて得られる情報を付加して、補正照合画像データを生成するものであることを特徴とするプロセッサによって実行されるコンピューター命令を記憶したコンピューター読み取り可能な記憶媒体。
  11. 　請求項１０において、
    　前記コンピューター命令は、前記識別に失敗した被照合画像の中から選択された部分画像と、前記識別に成功した被照合画像の当該部分画像に対応する対応画像との差分を求め、前記機械学習エンジンは、当該差分情報を用いて、前記補正照合画像データを生成させることを特徴とするプロセッサによって実行されるコンピューター命令を記憶したコンピューター読み取り可能な記憶媒体。
PCT/JP2018/010307 2017-03-27 2018-03-15 画像処理システム及び画像処理を行うためのコンピュータープログラム WO2018180562A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US16/493,432 US11176405B2 (en) 2017-03-27 2018-03-15 Image processing system and computer program for performing image processing
KR1020217027367A KR102435492B1 (ko) 2017-03-27 2018-03-15 화상 처리 시스템, 및 화상 처리를 행하기 위한 컴퓨터 프로그램
CN201880014768.0A CN110352431B (zh) 2017-03-27 2018-03-15 图像处理系统、计算机可读存储介质以及系统
KR1020197022591A KR102336431B1 (ko) 2017-03-27 2018-03-15 화상 처리 시스템, 및 화상 처리를 행하기 위한 컴퓨터 프로그램
CN202310270799.5A CN116152507A (zh) 2017-03-27 2018-03-15 图像处理系统及图像处理方法
US17/503,438 US11836906B2 (en) 2017-03-27 2021-10-18 Image processing system and computer program for performing image processing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017060351A JP6731370B2 (ja) 2017-03-27 2017-03-27 画像処理システム及び画像処理を行うためのコンピュータープログラム
JP2017-060351 2017-03-27

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/493,432 A-371-Of-International US11176405B2 (en) 2017-03-27 2018-03-15 Image processing system and computer program for performing image processing
US17/503,438 Continuation US11836906B2 (en) 2017-03-27 2021-10-18 Image processing system and computer program for performing image processing

Publications (1)

Publication Number Publication Date
WO2018180562A1 true WO2018180562A1 (ja) 2018-10-04

Family

ID=63675752

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/010307 WO2018180562A1 (ja) 2017-03-27 2018-03-15 画像処理システム及び画像処理を行うためのコンピュータープログラム

Country Status (6)

Country Link
US (2) US11176405B2 (ja)
JP (1) JP6731370B2 (ja)
KR (2) KR102435492B1 (ja)
CN (2) CN110352431B (ja)
TW (2) TW201835815A (ja)
WO (1) WO2018180562A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020091002A1 (ja) * 2018-10-31 2020-05-07 住友建機株式会社 ショベル、ショベル支援システム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2599562B (en) * 2019-05-18 2023-10-18 Looplearn Pty Ltd Localised, loop-based self-learning for recognising individuals at locations
JP2021117548A (ja) * 2020-01-22 2021-08-10 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP7288870B2 (ja) * 2020-02-05 2023-06-08 株式会社日立製作所 画像を生成するシステム
CN115176327A (zh) * 2020-03-30 2022-10-11 株式会社日立高新技术 诊断系统
CN111832433B (zh) * 2020-06-24 2023-12-29 奇点微(上海)光电科技有限公司 一种由图像提取物体特性的装置及其工作方法
JP7351812B2 (ja) * 2020-07-27 2023-09-27 株式会社日立製作所 荷電粒子線装置および帯電評価方法
CN113505700A (zh) * 2021-07-12 2021-10-15 北京字跳网络技术有限公司 一种图像处理方法、装置、设备及存储介质
WO2024111303A1 (ja) * 2022-11-22 2024-05-30 パナソニックＩｐマネジメント株式会社 学習システム、学習方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007052575A (ja) * 2005-08-17 2007-03-01 Konica Minolta Holdings Inc メタデータ付与装置およびメタデータ付与方法
JP2011214903A (ja) * 2010-03-31 2011-10-27 Denso It Laboratory Inc 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0554195A (ja) 1991-08-29 1993-03-05 Matsushita Electric Ind Co Ltd 文字認識装置
JPH0650738A (ja) 1992-07-31 1994-02-25 Toyota Motor Corp 画像輪郭線検出装置
JPH06333008A (ja) 1993-05-19 1994-12-02 Fujitsu General Ltd 画像輪郭指定用入力装置
JP3434976B2 (ja) * 1996-06-28 2003-08-11 三菱電機株式会社 画像処理装置
JP3449392B2 (ja) 1996-08-27 2003-09-22 日本電信電話株式会社 識別関数学習方法
JP2001148012A (ja) * 1999-11-19 2001-05-29 Minolta Co Ltd 対応点探索方法および装置
JP2005149455A (ja) * 2003-10-21 2005-06-09 Sharp Corp 画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体
JP5010207B2 (ja) * 2006-08-14 2012-08-29 株式会社日立ハイテクノロジーズ パターン検査装置及び半導体検査システム
US20110106734A1 (en) 2009-04-24 2011-05-05 Terrance Boult System and appartus for failure prediction and fusion in classification and recognition
KR101034117B1 (ko) * 2009-11-13 2011-05-13 성균관대학교산학협력단 영상에서 관심 영역 지정 및 윤곽선 영상을 이용한 객체 인식 방법 및 장치
JPWO2012121167A1 (ja) * 2011-03-04 2014-07-17 日本電気株式会社 個体識別システム、個体識別方法及びそれらに用いられる装置、プログラム
JP2013084074A (ja) * 2011-10-07 2013-05-09 Sony Corp 情報処理装置、情報処理サーバ、情報処理方法、情報抽出方法及びプログラム
WO2013099367A1 (ja) * 2011-12-27 2013-07-04 Ｎｅｃソフト株式会社 画像認識装置、画像認識方法、補正器、プログラムおよび記録媒体
US9053595B2 (en) * 2012-02-02 2015-06-09 Jared Grove Coin identification system and method using image processing
JP5808371B2 (ja) * 2013-08-28 2015-11-10 ヤフー株式会社 画像認識装置、画像認識方法及び画像認識プログラム
JP2015176272A (ja) * 2014-03-14 2015-10-05 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US9518934B2 (en) 2014-11-04 2016-12-13 Kla-Tencor Corp. Wafer defect discovery
JP2016099668A (ja) 2014-11-18 2016-05-30 キヤノン株式会社 学習方法、学習装置、画像認識方法、画像認識装置及びプログラム
CN105844202A (zh) * 2015-01-12 2016-08-10 芋头科技（杭州）有限公司 一种影像识别系统及方法
JP6904249B2 (ja) 2015-03-19 2021-07-14 日本電気株式会社 オブジェクト検出装置、オブジェクト検出方法およびプログラム
US10477095B2 (en) * 2015-05-14 2019-11-12 Sri International Selecting optimal image from mobile device captures
US10659766B2 (en) * 2015-10-30 2020-05-19 Canon Kabushiki Kaisha Confidence generation apparatus, confidence generation method, and imaging apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007052575A (ja) * 2005-08-17 2007-03-01 Konica Minolta Holdings Inc メタデータ付与装置およびメタデータ付与方法
JP2011214903A (ja) * 2010-03-31 2011-10-27 Denso It Laboratory Inc 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020091002A1 (ja) * 2018-10-31 2020-05-07 住友建機株式会社 ショベル、ショベル支援システム
JP7472034B2 (ja) 2018-10-31 2024-04-22 住友建機株式会社 ショベル、ショベル支援システム

Also Published As

Publication number Publication date
CN110352431B (zh) 2023-07-18
US11176405B2 (en) 2021-11-16
KR20210111335A (ko) 2021-09-10
TW201945982A (zh) 2019-12-01
CN116152507A (zh) 2023-05-23
US20220036116A1 (en) 2022-02-03
KR102336431B1 (ko) 2021-12-08
TWI697849B (zh) 2020-07-01
CN110352431A (zh) 2019-10-18
KR102435492B1 (ko) 2022-08-24
JP6731370B2 (ja) 2020-07-29
JP2018163524A (ja) 2018-10-18
US11836906B2 (en) 2023-12-05
KR20190103283A (ko) 2019-09-04
US20200134355A1 (en) 2020-04-30
TW201835815A (zh) 2018-10-01

Similar Documents

Publication Publication Date Title
WO2018180562A1 (ja) 画像処理システム及び画像処理を行うためのコンピュータープログラム
JP7144244B2 (ja) パターン検査システム
JP5639797B2 (ja) パターンマッチング方法，画像処理装置、及びコンピュータプログラム
JP5568277B2 (ja) パターンマッチング方法、及びパターンマッチング装置
JP5948138B2 (ja) 欠陥解析支援装置、欠陥解析支援装置で実行されるプログラム、および欠陥解析システム
JP6043735B2 (ja) 画像評価装置及びパターン形状評価装置
JP4982544B2 (ja) 合成画像形成方法及び画像形成装置
KR102680501B1 (ko) 화상 평가 장치 및 방법
JP2011165479A (ja) パターン検査方法、パターン検査プログラム、電子デバイス検査システム
US20220012404A1 (en) Image matching method and arithmetic system for performing image matching process
JP7438311B2 (ja) 画像処理システムおよび画像処理方法
JP6207893B2 (ja) 試料観察装置用のテンプレート作成装置
WO2021166142A1 (ja) パターンマッチング装置、パターン測定システムおよび非一時的コンピュータ可読媒体
JP5396496B2 (ja) 合成画像形成方法及び画像形成装置
JP2010182423A (ja) 荷電粒子ビームの焦点評価方法及び荷電粒子線装置
JP2020123034A (ja) 画像マッチング支援方法、画像マッチング支援装置、および画像マッチング支援方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18774438

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20197022591

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18774438

Country of ref document: EP

Kind code of ref document: A1