WO2022107417A1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
WO2022107417A1
WO2022107417A1 PCT/JP2021/032538 JP2021032538W WO2022107417A1 WO 2022107417 A1 WO2022107417 A1 WO 2022107417A1 JP 2021032538 W JP2021032538 W JP 2021032538W WO 2022107417 A1 WO2022107417 A1 WO 2022107417A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pass filter
low
unit
image processing
Prior art date
Application number
PCT/JP2021/032538
Other languages
English (en)
French (fr)
Inventor
くみこ 小西
明男 米山
泰之 沖野
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to US18/035,990 priority Critical patent/US20240046417A1/en
Publication of WO2022107417A1 publication Critical patent/WO2022107417A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03G—ELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G15/00—Apparatus for electrographic processes using a charge pattern
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03G—ELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G21/00—Arrangements not provided for by groups G03G13/00 - G03G19/00, e.g. cleaning, elimination of residual charge
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Definitions

  • the present invention relates to an image processing device, an image processing method, and an image processing program that removes directional noise.
  • the image obtained by line scanning the object to be measured frequently generates noise with directionality in the main scan or sub scan direction.
  • noise In order to detect, for example, the density distribution of defects from the minute shades of brightness in this image, it is necessary to remove directional noise.
  • Patent Document 1 describes a method for removing noise with directionality.
  • the average value of a predetermined region is calculated for the pixel of interest in the pixel information in the direction of noise generation through the pixel of interest, and the value obtained by subtracting the average value from the pixel value of interest is used as the value of the pixel of interest.
  • subtracting the mean value causes a difference from the true value.
  • an image containing noise having directionality in the first direction does not affect the information of minute shades of brightness of the image.
  • the subject is to remove noise.
  • the image processing apparatus of the present invention includes a high-pass filter unit that filters an image containing noise having directionality in the first direction with a high-pass filter in the first direction.
  • a low-pass filter unit that filters the image in a second direction perpendicular to the first direction with a low-pass filter, an image processed by the high-pass filter unit, and an image processed by the low-pass filter unit. It is characterized by including an addition unit for adding.
  • the image processing method of the present invention includes a step of calculating an image containing noise having directionality in the first direction and filtering the image individually in the first direction with a high-pass filter, and the first step.
  • the step of calculating the image filtered by the low-pass filter in the second direction perpendicular to the direction of 1 and the step of adding the image filtered by the high-pass filter and the image filtered by the low-pass filter are executed. It is characterized by doing.
  • the image processing program of the present invention comprises a procedure in which a computer filters an image containing noise having directionality in the first direction with a high-pass filter in the first direction, and the image is described.
  • the purpose is to execute a procedure of filtering with a low-pass filter in a second direction perpendicular to the first direction, and a procedure of adding an image filtered by the high-pass filter and an image filtered by the low-pass filter. be.
  • Other means will be described in the embodiment for carrying out the invention.
  • the present invention it is possible to remove noise from an image containing noise having directionality in the first direction without affecting the information of minute shades of brightness of the image.
  • FIG. 1 is a configuration diagram of an image processing device 1 according to the present embodiment.
  • the image processing device 1 is a computer including a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, and a RAM (Random Access Memory) 13.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 11 is a central processing unit and executes a program stored in the ROM 12 or the storage unit 18.
  • the ROM 12 is a non-volatile memory and realizes the basic input / output of this computer.
  • the RAM 13 is a volatile memory and is used as a variable storage area when the CPU 11 executes a program.
  • the image processing device 1 further includes a display unit 14, a communication unit 15, an operation unit 16, a medium reading unit 17, and a storage unit 18.
  • the display unit 14 is, for example, a liquid crystal display, and displays characters, figures, images, and the like.
  • the communication unit 15 is, for example, a NIC (Network Interface Card), and transmits / receives information to / from an external device.
  • the operation unit 16 is, for example, a keyboard or a mouse, and is used when an operator operates the image processing device 1.
  • the medium reading unit 17 is for reading an external recording medium 19 or the like, and is, for example, an optical drive or the like. For example, an image processing program 181 and an installer thereof are stored in the external recording medium 19.
  • the storage unit 18 is a large-capacity storage device such as a hard disk drive or SSD (Solid State Drive).
  • the image processing program 181 is stored in the storage unit 18. By executing the image processing program 181 by the CPU 11, each part of FIG. 2 to be described later is embodied, and a predetermined image processing is executed.
  • FIG. 2 is a logical block diagram of the image processing device 1.
  • the image processing device 1 includes a high-pass filter unit 21, a low-pass filter unit 22, an addition unit 23, and a filter setting unit 24, 24-2, 24-3 as logic blocks. By the operation of each of these parts, noise can be removed from the scanned image of the wafer 9 shown in FIG.
  • the high-pass filter unit 21 filters the input image in the horizontal direction (first direction) with the high-pass filter.
  • the processing of the high-pass filter unit 21 is defined by the following equation (1).
  • the low-pass filter unit 22 filters the input image in the vertical direction (second direction) with a low-pass filter.
  • the processing of the low-pass filter unit 22 is defined by the following equation (2).
  • the sum of the transmittance of the high-pass filter unit 21 at each spatial frequency and the transmittance of the low-pass filter unit 22 at each spatial frequency is 1.
  • the filter setting unit 24 sets the cutoff frequency (CutOff Frequency) or the cutoff cycle in the high-pass filter unit 21 and the low-pass filter unit 22.
  • the filter setting unit 24 changes the cutoff frequency or the cutoff period of the low-pass filter unit 22 and the high-pass filter unit 21 according to the noise cycle of the image having a lateral directionality.
  • the filter setting unit 24-2 sets the cutoff order in the high-pass filter unit 21 and the low-pass filter unit 22.
  • the filter setting unit 24-2 changes the cutoff order of the low-pass filter unit 22 and the high-pass filter unit 21 according to the degree of noise in the image having a lateral directionality.
  • the filter setting unit 24-3 sets the strength of the filter in the high-pass filter unit 21 and the low-pass filter unit 22.
  • the filter setting unit 24-2 changes the strength of the filters of the low-pass filter unit 22 and the high-pass filter unit 21 according to the degree of noise in the image having a lateral directionality.
  • the addition unit 23 adds an image with a high-pass filter applied in the horizontal direction and an image with a low-pass filter applied in the vertical direction. This makes it possible to remove the noise of an image containing noise having directional noise in the lateral direction without affecting the minute shading information of the luminance of the image.
  • the image processing device 1 further includes a pixel information calculation unit 25, a normalization processing unit 26, an image scale calculation unit 27, an analysis area extraction unit 28, a high-precision analysis unit 29, a multiple regression analysis model creation unit 30, and a defect density prediction unit 31.
  • a multiple regression analysis model database 32 is further provided.
  • the pixel information calculation unit 25 extracts pixel information from the image area. Pixel information includes the height, mean, median, standard deviation, etc. of the luminance histogram.
  • the normalization processing unit 26 normalizes the brightness included in the image of the wafer that is the subject of the image in order to compare different wafers.
  • the image scale calculation unit 27 calculates the scale of the image.
  • the analysis area extraction unit 28 can specify the position and size of the wafer imaged in the image.
  • the analysis area extraction unit 28 identifies the position and size of the wafer photographed in the image from the image of the wafer, and further extracts the analysis area.
  • the high-precision analysis unit 29 analyzes the extracted analysis region with high accuracy and calculates the defect density.
  • the multiple regression analysis model creation unit 30 uses the pixel information of each region (including the height, mean, median, standard deviation, etc. of the brightness histogram) as an explanatory variable, and the defect density obtained by high-precision analysis of each region.
  • a model for multiple regression analysis with the above as the objective variable is created and stored in the multiple regression analysis model database 32.
  • the defect density prediction unit 31 predicts the distribution of the defect density, which is the objective variable, based on the model of the multiple regression analysis model database 32 and the pixel information which is the explanatory variable thereof.
  • the image processing apparatus evaluates the defect density in the surface of the SiC wafer by the X-ray topography method (XRT).
  • FIG. 3 is a diagram showing an image of the in-plane of the wafer 9 taken by X-ray with coarse accuracy.
  • the wafer 9 has a disk shape and a diameter L [Pixel].
  • the nine rectangles shown in the image of the wafer 9 indicate the region 91 to be analyzed with high accuracy.
  • FIG. 4 is a conceptual diagram of a region 91 of the wafer 9 and a defect 92 included in the region 91.
  • the defect density cannot be extracted by the procedure of quickly looking at the in-plane of the wafer 9 with coarse accuracy.
  • the numerical information of the defect density for the limited area can be extracted.
  • the inventors cut out a region to be analyzed with high accuracy from an image with coarse accuracy on the surface of the wafer 9, acquire the pixel information (average of pixels, median value, histogram shape, etc.), and pixel information of the analysis region.
  • FIG. 5 is a diagram showing a defect evaluation method when the inside of the wafer surface is quickly viewed with a coarse accuracy by an X-ray imaging apparatus.
  • the X-ray imaging apparatus (not shown) irradiates the surface of the wafer 9 with X-rays by the X-ray light source 41, and scans the surface of the wafer 9 in the right direction (main scanning direction) of the figure by an actuator (not shown).
  • the X-ray irradiation region 43 that the X-ray light source 41 irradiates the surface of the wafer 9 has a rectangular shape.
  • the X-ray irradiation region 43 may be square.
  • the wafer 9 is line-scanned by detecting the X-ray irradiation region 43 with the two-dimensional detector 42.
  • the area obtained by one line scan is the area separated by the broken line in the figure.
  • the X-ray imaging apparatus moves the X-ray light source 41 to the back side (sub-scanning direction) of the figure (step), and then performs a line scan to the left of the figure. And repeat this.
  • an image obtained by scanning the wafer 9 in a line shape and combining them is obtained as data.
  • FIG. 6 is a two-dimensional graph showing the brightness of pixels along the horizontal direction (first direction) in the image.
  • FIG. 7 is a two-dimensional graph showing the brightness of pixels along the vertical direction (second direction) in the image.
  • the vertical axis of the graphs of FIGS. 6 and 7 linearly indicates the brightness of the pixels.
  • the horizontal axis of the graphs of FIGS. 6 and 7 indicates the position of the wafer.
  • This horizontal stripe noise is generated by multiple causes such as the illuminance distribution of X-rays, the intensity distribution of diffracted X-rays, and the sensitivity distribution of the light receiving side CCD (Charge-coupled device) of the detector 42.
  • CCD Charge-coupled device
  • This horizontal stripe noise is caused by the difference in offsets superimposed in the horizontal direction.
  • the first method is to FFT (Fast Fourier Transform) transform the vertical brightness distribution of the image to obtain spatial frequency characteristics, filter it with a bandpass filter obtained from the period of horizontal stripe noise, and perform inverse FFT transform.
  • FFT Fast Fourier Transform
  • This is a method of reconstructing an image.
  • the original bandpass filter cannot be applied when the period of horizontal stripe noise changes. That is, depending on the measurement conditions, it is necessary to design a bandpass filter each time, which is not practical.
  • new artifacts occur when the brightness at both ends is discontinuous.
  • the second method is to FFT transform the lateral brightness distribution of the image to obtain spatial frequency characteristics, filter it with a high-pass filter excluding the low frequency region that is the offset component, and perform inverse FFT transform to reconstruct the image. How to do it.
  • the same high-pass filter can be used even if the period of the horizontal stripe noise changes slightly.
  • the present invention removes horizontal stripe noise by the second method.
  • FIG. 8 is a graph showing the spatial frequency characteristics of the pixel brightness in the horizontal direction.
  • the vertical axis of the graph shows the signal strength logarithmically.
  • the horizontal axis of the graph shows the spatial frequency.
  • the spatial frequency means the number of periodic structures (number of waves) included in the diameter L [Pixel] of the wafer.
  • FIG. 8 shows the relationship between the power spectrum and the spatial frequency by FFT transforming the luminance distribution of the pixels along the lateral direction (first direction) in the image. From this, it can be seen that the signal strength is considerably higher in the low frequency component up to the spatial frequency 20 as compared with the actual data range. This portion is an offset superimposed in the horizontal direction, which causes horizontal stripe noise.
  • the image processing device 1 multiplies the high-pass filter in the first direction (horizontal) to remove noise which is a low frequency component. This makes it possible to remove horizontal stripe noise.
  • the high-pass filter preferably has a cutoff frequency of 5 to 20. This means that it is preferable that the cutoff period is 1/5 to 1/20 of the diameter L [Pixel] of the wafer, that is, L / 5 to L / 20 [Pixel].
  • FIG. 9 is a graph showing the spatial frequency characteristics of the lateral pixel luminance after filtering.
  • the vertical axis of the graph shows the signal strength after filtering in a logarithmic manner.
  • the horizontal axis of the graph shows the spatial frequency. It can be seen that the low frequency component is suppressed by performing an FFT transform on the luminance distribution of the pixels along the lateral direction (first direction) of the image of the wafer 9 and filtering it with a high-pass filter. As the cutoff frequency of the high-pass filter is increased, the frequency component up to a higher frequency can be suppressed.
  • FIG. 10 is a graph showing the pixel luminance along the transverse direction of the image obtained by FFT transforming the luminance distribution of the pixels along the lateral direction (first direction) and performing the inverse FFT transform after the high-pass filter processing.
  • the vertical axis of the graph shows the pixel brightness.
  • the solid line in the center of the graph is the brightness of the original pixel.
  • Each line near 0 indicates the pixel luminance after being processed by the high-pass filter of each cutoff frequency.
  • the alternate long and short dash line is the pixel luminance after processing with a high-pass filter having a cutoff frequency of spatial frequency 1.
  • the solid line below the one-point chain line is the spatial frequency 3
  • the broken line below the solid line is the spatial frequency 5
  • the thick solid line is the pixel brightness after processing with the high-pass filter of the cutoff frequency of the spatial frequency 20.
  • the luminance distribution of the pixels along the horizontal direction (first direction) in the image is FFT transformed.
  • filtering processing is performed with a horizontal high-pass filter.
  • the signal strength of the low-frequency component is reduced, so that the brightness is reduced as a whole.
  • the filtering process of the high-pass filter in the horizontal direction By the filtering process of the high-pass filter in the horizontal direction, the brightness becomes smaller as a whole as shown in FIG. 10, and the value deviates from the value held by the original image. Since the luminance of the original image shown in FIG. 3 represents the defect density, the shift of the luminance from the original image causes a deviation from the true value of the defect density. To compensate for this, a vertical low-pass filter filtering process and an addition process are required.
  • FIG. 11 is a graph showing the pixel luminance along the vertical direction of the image obtained by FFT transforming the pixel luminance distribution along the horizontal direction (first direction) and performing the inverse FFT transform after the high-pass filter processing.
  • the vertical axis of the graph shows the pixel brightness.
  • the solid line in the center of the graph is the brightness of the original pixel.
  • Each line near 0 indicates the pixel luminance after being processed by the high-pass filter of each cutoff frequency.
  • the alternate long and short dash line is the pixel luminance after processing with a high-pass filter having a cutoff frequency of spatial frequency 1.
  • the solid line below the one-point chain line is the spatial frequency 3
  • the broken line below the solid line is the spatial frequency 5
  • the thick solid line is the pixel brightness after processing with the high-pass filter of the cutoff frequency of the spatial frequency 20.
  • the signal strength in the low frequency region can be reduced, and the horizontal stripe noise becomes smaller as shown in the luminance distribution in FIG.
  • the high-pass filter in the horizontal direction the luminance becomes smaller as a whole as shown in the luminance distributions of FIGS. 10 and 11 at the same time as the horizontal stripe noise is removed. Since the brightness of the original image of the X-ray topography image of the SiC wafer represents the defect density, the shift of the overall brightness causes a deviation from the true value of the defect density. Therefore, it is necessary to correct this decrease in brightness.
  • the decrease in brightness was caused by multiplying the lateral spatial frequency characteristics by a high-pass filter to reduce the signal strength in the low frequency range. In order to correct this, it is necessary to increase the signal strength in the reduced low frequency region to the same level as before the reduction. Therefore, the inventors considered to correct the luminance shift from the spatial frequency characteristic in the vertical direction, which is not the cause of the horizontal stripe noise.
  • the signal strength in the high frequency region can be reduced while maintaining the signal strength in the low frequency region. Therefore, by combining the high-pass filter in the horizontal direction and the low-pass filter in the vertical direction, it is possible to suppress the luminance shift while removing the horizontal stripe noise.
  • the inventors applied a high-pass filter in the horizontal direction, separately applied a low-pass filter in the vertical direction, and then added them together. After applying the high-pass filter in the horizontal direction, horizontal stripe noise can be removed, but the overall brightness is reduced. After applying the low-pass filter in the vertical direction, the signal strength in the low frequency region is maintained, so that there is no shift in luminance from before the filter is applied. By adding up the luminance after applying the high-pass filter in the horizontal direction and after applying the low-pass filter in the vertical direction, the luminance becomes equal to the luminance of the original image, and the luminance shift can be corrected. At this time, the total value of the filter characteristics (transmittance) of the high-pass filter and the low-pass filter at each spatial frequency needs to be 1.
  • the inventors confirmed that the horizontal stripes disappeared with a high-pass filter having a spatial frequency of 5 to 20 as a cutoff frequency. Even if the spatial frequency is 20 or more, the horizontal stripes disappear, but signals other than the horizontal stripe noise are also filtered. Therefore, a high-pass filter having a cutoff frequency of 5 to 20 spatial frequencies is desirable. This means that it is preferable that the cutoff period is 1/5 to 1/20 of the diameter L [Pixel] of the wafer.
  • FIG. 12 is a graph showing the dependence of the filter characteristics of the high-pass filter on the cutoff frequency.
  • the vertical axis of the graph shows the transmittance of the high-pass filter.
  • the horizontal axis of the graph shows the spatial frequency.
  • the image processing apparatus 1 fixes the cutoff order (Cut Off Degree) to 2, and changes the cutoff frequency to suppress the desired low frequency component. Can be set.
  • FIG. 13 is a graph showing the dependence of the filter characteristics on the cutoff order.
  • the vertical axis of the graph shows the transmittance of the high-pass filter.
  • the horizontal axis of the graph shows the spatial frequency.
  • the image processing apparatus 1 can set the filter characteristics so as to suppress the desired low frequency component by fixing the cutoff frequency to the spatial frequency 10 and changing the cutoff order. ..
  • the cutoff order is preferably about 2 to 10.
  • FIG. 14 is a flowchart showing the noise removal process.
  • the CPU 11 of the image processing device 1 starts the noise removal processing. If the filter condition is determined (S16) in advance, the process proceeds from step S10 to step S11 and step S15, but either the process of steps S11 to S14 or the process of steps S15 to S19 is executed first. It may be executed in parallel.
  • the high-pass filter unit 21 performs a one-dimensional FFT transform in the horizontal direction (S15) to obtain a spectrum.
  • the filter setting unit 24 specifies a range of spatial frequencies in which the low frequency component of this spectrum exceeds a predetermined value, and sets this as a cutoff frequency in the high-pass filter unit 21 and the low-pass filter unit 22 (S16). If the period of the horizontal stripe noise is known in advance, it is not necessary for the filter setting unit 24 to perform the process of step S16.
  • the high-pass filter unit 21 performs one-dimensional inverse FFT conversion in the horizontal direction (S18) to reconstruct the image (S19).
  • the low-pass filter unit 22 performs a one-dimensional FFT transform in the vertical direction (S11), applies a low-pass filter (S12), performs a one-dimensional inverse FFT transform in the vertical direction (S13), and reconstructs the image (S13). S14).
  • the processing order of the processing steps S12 to S14 of the low-pass filter unit 22 and the processing steps S15, S17 to S19 of the high-pass filter unit 21 does not matter, whichever may be executed first, and both are executed in parallel. You may.
  • the addition unit 23 adds the image processed by the low-pass filter unit 22 and the image processed by the high-pass filter unit 21 (S20). As a result, when the noise-removed image is generated (S21), the process of FIG. 14 is terminated.
  • the horizontal stripe noise of the image of the wafer 9 is a low frequency component having directionality in the first direction (horizontal). Therefore, the image processing device 1 applies a high-pass filter in the first direction (horizontal) to remove noise which is a low frequency component. With only the high-pass filter, the overall brightness of the image after applying the filter and performing the inverse FFT conversion deviates from the true value, so a low-pass filter is applied in the second direction (vertical) perpendicular to the first direction. Correct the brightness shift. At this time, the total value of the transmittances (filter characteristics) of the high-pass filter and the low-pass filter is 1. This makes it possible to remove noise from a coarsely captured image of the wafer 9.
  • the image processing device 1 cuts out each region to be analyzed with high accuracy from the image from which noise has been removed. Then, the image processing apparatus 1 calculates pixel information (total brightness, average, median, histogram, etc.) for these regions, and creates a multiple regression analysis model from the defect density obtained by high-precision analysis. do. By using this multiple regression analysis model, the defect density distribution of the entire wafer can be predicted from the image of the wafer from which noise has been removed.
  • FIG. 15 is a diagram showing an example of each region cut out from the image after noise removal and the defect density thereof.
  • the image processing device 1 cuts out a region from an image obtained by taking a rough image and removing noise, and calculates the defect density of each region by high-precision analysis.
  • the numerical values shown in the upper right of each region indicate the defect density obtained by the high-precision analysis. [0] to [11] shown in the upper left of each area are area identification numbers.
  • FIG. 16 is a diagram showing a histogram of the brightness of each region (image shown in FIG. 15) cut out from the image after noise removal.
  • the luminance histogram is calculated as the pixel information, but the present invention is not limited to this, and the total luminance, average, median value, etc. of the pixels may be calculated.
  • the image processing apparatus 1 was obtained by high-precision analysis of each region using the pixel information of each region (including the height, average value, median value, standard deviation, etc. of the brightness histogram) as an explanatory variable. Create a multiple regression analysis model with the defect density as the objective variable. In the single regression analysis, one objective variable is predicted by one explanatory variable, whereas in the multiple regression analysis, one objective variable is predicted by a plurality of explanatory variables.
  • 17A and 17B are flowcharts for estimating the defect density from the noise-removed image.
  • the noise-removed image is generated in the image processing device 1 (S30)
  • the defect density estimation process starts.
  • the normalization processing unit 26 normalizes the brightness possessed by the noise-removed image (S31). By normalizing the brightness in the image, the normalization processing unit 26 can compare images related to different wafers. Then, when the image scale calculation unit 27 detects the outer circumference of the wafer (S32), it detects the length of the wafer (S33) and calculates the image scale (S34). By using this, in step S35, the analysis area extraction unit 28 can specify the position and size of the wafer imaged in the image.
  • the analysis area extraction unit 28 extracts each high-precision analysis area from the normalized image (S36), the process proceeds to FIG. 17B and determines whether or not a model for multiple regression analysis has been created (S37). If the model for multiple regression analysis has not been created (No), the analysis area extraction unit 28 proceeds to step S38. If the analysis area extraction unit 28 has created the model for the multiple regression analysis (Yes), the analysis area extraction unit 28 proceeds to step S42.
  • step S38 the analysis area extraction unit 28 hollows out a high-precision analysis area (S38).
  • the pixel information calculation unit 25 calculates pixel information such as a pixel average, a median value, and a histogram shape in this region (S39).
  • the high-precision analysis unit 29 analyzes this region with high accuracy to obtain the defect density (S40).
  • the multiple regression analysis model creation unit 30 creates a multiple regression analysis model that predicts the defect density from the pixel average, median, histogram shape, etc. (S41), and stores it in the multiple regression analysis model database 32. End the process related to model creation.
  • step S42 the analysis area extraction unit 28 hollows out the analysis area (device position).
  • the pixel information calculation unit 25 calculates pixel information such as a pixel average, a median value, and a histogram shape in this region (S43).
  • the defect density prediction unit 31 inputs pixel information such as the pixel average, median, and histogram shape of each region into the model of multiple regression analysis, predicts the defect density of each region (S44), and predicts the defect density distribution. Is output to the display unit 14 or the like (S45), and the defect density distribution prediction process is terminated.
  • the present invention is not limited to the above-described embodiment, and includes various modifications.
  • the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations. It is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. Further, it is also possible to add / delete / replace a part of the configuration of each embodiment with another configuration.
  • Each of the above configurations, functions, processing units, processing means, etc. may be partially or wholly realized by hardware such as an integrated circuit.
  • Each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function.
  • Information such as programs, tables, and files that realize each function can be placed in a recording device such as a memory, hard disk, SSD (Solid State Drive), or a recording medium such as a flash memory card or DVD (Digital Versatile Disk). can.
  • control lines and information lines indicate what is considered necessary for explanation, and do not necessarily indicate all the control lines and information lines in the product. In practice, it may be considered that almost all configurations are interconnected. As a modification of the present invention, for example, there are the following (a) to (c).
  • the present invention is not limited to defect analysis of SiC wafers.
  • the present invention is applicable to any directional noise generated when a line-scanned image is imaged. For example, it may be applied to noise removal for an image in which horizontal stripes are generated by an SEM (Scanning Electron Microscope) or an AFM (Atomic Force Microscope).
  • noise removal of an image having noise in the horizontal direction has been described, but it may be applied to an image having noise in the vertical direction.
  • the present invention is not limited to the directional noise generated when a line-scanned image is formed, and may be applied to the removal of directional noise due to any cause.
  • Image processing device 11
  • CPU 12 ROM 13 RAM 14
  • Display unit 15 Communication unit 16
  • Operation unit 18 Storage unit 181
  • Image processing program 21
  • High-pass filter unit 22 Low-pass filter unit 23
  • Addition unit 24, 24-2, 24-3 Filter setting unit 25
  • Pixel information calculation unit 26
  • Normalization processing unit 27
  • Image scale calculation unit 28
  • Analysis area extraction unit 29
  • High-precision analysis unit 30
  • Multiple regression analysis model creation unit 31
  • Defect density prediction unit 32
  • Multiple regression analysis model database 41
  • X-ray light source 42
  • Detector 43 X-ray irradiation area 9
  • Area 92 Defects

Abstract

第１の方向に方向性を持ったノイズを含む画像から、その画像の輝度の微小な濃淡情報に影響を与えることなく、そのノイズを除去することを課題とする。画像処理装置（１）は、横方向に方向性を持つノイズを含んだ画像に対して、横方向にハイパスフィルタでフィルタリング処理するハイパスフィルタ部（２１）と、この画像に対して、縦方向にローパスフィルタでフィルタリング処理するローパスフィルタ部（２２）と、ハイパスフィルタ部（２１）が処理した画像とローパスフィルタ部（２２）が処理した画像とを加算する加算部（２３）とを備える。

Description

画像処理装置、画像処理方法および画像処理プログラム
　本発明は、方向性を持つノイズを除去する画像処理装置、画像処理方法および画像処理プログラムに関する。
　被測定物をラインスキャンすることで得られた画像には、頻繁に主走査或いは副走査方向に方向性を持ったノイズが発生する。この画像内の輝度の微小な濃淡から、例えば欠陥の密度分布などを検出するためには、方向性を持つノイズを除去する必要がある。
特開２００３－２８０４５５号公報
　特許文献１には、方向性を持ったノイズの除去方法が記載されている。この特許文献１には、画素情報の注目画素について、注目画素を通りノイズの発生方向に所定領域の平均値を算出し、注目画素値より平均値を減算した値を注目画素の値とすることが記載されている。しかし、この方法では、平均値を減算することで、真の値からの差異が生じる。また、装置固有の情報（ノイズピッチなど）を活用していないため、うまく動作しない場合もある。よって、この方法では、方向性を持ったノイズの中から輝度の微小な濃淡を検出することはできない。
　そこで、本発明は、画像処理装置、画像処理方法およびプログラムにおいて、第１の方向に方向性を持ったノイズを含む画像から、その画像が有する輝度の微小な濃淡の情報に影響を与えることなく、ノイズを除去することを課題とする。
　前記した課題を解決するため、本発明の画像処理装置は、第１の方向に方向性を持つノイズを含んだ画像に対して、前記第１の方向にハイパスフィルタでフィルタリング処理するハイパスフィルタ部と、前記画像に対して、前記第１の方向と垂直な第２の方向にローパスフィルタでフィルタリング処理するローパスフィルタ部と、前記ハイパスフィルタ部が処理した画像と前記ローパスフィルタ部が処理した画像とを加算する加算部と、を備えることを特徴とする。
　本発明の画像処理方法は、第１の方向に方向性を持つノイズを含んだ画像に対して、それぞれ個別に前記第１の方向にハイパスフィルタでフィルタリング処理した画像を算出するステップと、前記第１の方向と垂直な第２の方向にローパスフィルタでフィルタリング処理した画像を算出するステップと、前記ハイパスフィルタでフィルタリング処理した画像と前記ローパスフィルタでフィルタリング処理した画像とを加算するステップと、を実行することを特徴とする。
　本発明の画像処理プログラムは、コンピュータに、第１の方向に方向性を持つノイズを含んだ画像に対して、前記第１の方向にハイパスフィルタでフィルタリング処理する手順、前記画像に対して、前記第１の方向と垂直な第２の方向にローパスフィルタでフィルタリング処理する手順、前記ハイパスフィルタでフィルタリング処理した画像と前記ローパスフィルタでフィルタリング処理した画像とを加算する手順、を実行させるためのものである。
　その他の手段については、発明を実施するための形態のなかで説明する。
　本発明によれば、第１の方向に方向性を持ったノイズを含む画像から、その画像が有する輝度の微小な濃淡の情報に影響を与えることなく、ノイズを除去することが可能となる。
本実施形態における画像処理装置の構成図である。 画像処理装置の論理ブロック図である。 横方向のノイズを含んだウエハ画像を示す図である。 ウエハ画像の領域に含まれる欠陥の概念図である。 Ｘ線撮影装置の動作を示す図である。 ウエハ画像の横方法に沿ったピクセルの輝度を示すグラフである。 ウエハ画像の縦方法に沿ったピクセルの輝度を示すグラフである。 ウエハ画像の横方向のピクセル輝度の空間周波数特性を示す図である。 フィルタ処理後の横方向のピクセル輝度の空間周波数特性を示す図である。 各カットオフ周波数のハイパスフィルタ処理後に逆ＦＦＴ変換した画像の横方向に沿ったピクセル輝度を示すグラフである。 各カットオフ周波数のハイパスフィルタ処理後に逆ＦＦＴ変換した画像の縦方向に沿ったピクセル輝度を示すグラフである。 フィルタ特性のカットオフ周波数への依存性を示すグラフである。 フィルタ特性のカットオフ次数への依存性を示すグラフである。 ノイズ除去処理を示すフローチャートである。 ノイズ除去後の画像から切り取った各領域とその欠陥密度の例を示す図である。 ノイズ除去後の画像から切り取った各領域におけるピクセル輝度のヒストグラムを示す図である。 ノイズ除去画像から欠陥密度を推定するフローチャートである。 ノイズ除去画像から欠陥密度を推定するフローチャートである。
　以降、本発明を実施するための形態を、各図を参照して詳細に説明する。
　図１は、本実施形態における画像処理装置１の構成図である。
　画像処理装置１は、ＣＰＵ（Central Processing Unit）１１とＲＯＭ（Read Only Memory）１２とＲＡＭ（Random Access Memory）１３とを備えるコンピュータである。
　ＣＰＵ１１は、中央処理装置であり、ＲＯＭ１２や記憶部１８などに格納されたプログラムを実行する。ＲＯＭ１２は不揮発性メモリであり、このコンピュータの基礎的な入出力を実現する。ＲＡＭ１３は揮発性メモリであり、ＣＰＵ１１がプログラムを実行する際の変数格納領域として使用される。
　画像処理装置１は更に、表示部１４と、通信部１５と、操作部１６と、媒体読取部１７と、記憶部１８を備える。
　表示部１４は、例えば液晶ディスプレイであり、文字や図形や画像などを表示する。
　通信部１５は、例えばＮＩＣ（Network Interface Card）であり、外部装置との間で情報を送受信する。
　操作部１６は、例えばキーボードやマウスであり、操作者がこの画像処理装置１を操作する際に用いられる。
　媒体読取部１７は、外部の記録媒体１９などを読み取るためのものであり、例えば光学ドライブなどである。外部の記録媒体１９には、例えば画像処理プログラム１８１やそのインストーラなどが格納されている。
　記憶部１８は、例えばハードディスクドライブやＳＳＤ（Solid State Drive）などの大容量記憶装置である。記憶部１８には、画像処理プログラム１８１が格納されている。ＣＰＵ１１が、この画像処理プログラム１８１を実行することにより、後記する図２の各部が具現化されて、所定の画像処理が実行される。
　図２は、画像処理装置１の論理ブロック図である。
　画像処理装置１は、論理ブロックとして、ハイパスフィルタ部２１、ローパスフィルタ部２２、加算部２３、フィルタ設定部２４，２４－２，２４－３を備える。これら各部の動作により、図３に示すウエハ９をスキャンした画像からノイズを除去することができる。
　ハイパスフィルタ部２１は、入力された画像の横方向（第１の方向）にハイパスフィルタでフィルタリング処理する。ハイパスフィルタ部２１の処理は、以下の式（１）で定義される。
Figure JPOXMLDOC01-appb-M000001
  
　ローパスフィルタ部２２は、入力された画像の縦方向（第２の方向）にローパスフィルタでフィルタリング処理する。ローパスフィルタ部２２の処理は、以下の式（２）で定義される。
Figure JPOXMLDOC01-appb-M000002
  
　これらハイパスフィルタ部２１の各空間周波数における透過率と、ローパスフィルタ部２２の各空間周波数における透過率の和は、１である。
　フィルタ設定部２４は、ハイパスフィルタ部２１およびローパスフィルタ部２２に、カットオフ周波数（Cut Off Frequency）またはカットオフ周期を設定する。フィルタ設定部２４は、横方向に方向性を持つ画像のノイズの周期に応じて、ローパスフィルタ部２２とハイパスフィルタ部２１のカットオフ周波数またはカットオフ周期を変化させる。
　フィルタ設定部２４－２は、ハイパスフィルタ部２１およびローパスフィルタ部２２に、カットオフ次数を設定する。フィルタ設定部２４－２は、横方向に方向性を持つ画像のノイズの程度に応じて、ローパスフィルタ部２２とハイパスフィルタ部２１のカットオフ次数を変化させる。
　フィルタ設定部２４－３は、ハイパスフィルタ部２１およびローパスフィルタ部２２に、フィルタの強さを設定する。フィルタ設定部２４－２は、横方向に方向性を持つ画像のノイズの程度に応じて、ローパスフィルタ部２２とハイパスフィルタ部２１のフィルタの強さを変化させる。
　加算部２３は、横方向にハイパスフィルタを掛けた画像と縦方向にローパスフィルタを掛けた画像とを加算する。これにより、横方向に方向性を持ったノイズを含む画像を、その画像が有する輝度の微小な濃淡情報に影響を与えることなく、そのノイズを除去することが可能となる。
　画像処理装置１は更に、画素情報算出部２５、正規化処理部２６、画像スケール算出部２７、解析領域抽出部２８、高精度解析部２９、重回帰分析モデル作成部３０、欠陥密度予測部３１、重回帰分析モデルデータベース３２を更に備える。
　画素情報算出部２５は、画像の領域から画素情報を抽出する。画素情報には、輝度ヒストグラムの高さ、平均値、中央値、標準偏差などが含まれる。
　正規化処理部２６は、異なるウエハを比較するために、画像の被写体であるウエハの画像内に含まれる輝度を正規化する。
　画像スケール算出部２７は、画像のスケールを算出する。画像スケールを用いることで、解析領域抽出部２８は、画像中に撮影されているウエハの位置とサイズを特定することができる。
　解析領域抽出部２８は、ウエハの画像から画像中に撮影されているウエハの位置とサイズを特定し、更に解析領域を抽出する。
　高精度解析部２９は、抽出した解析領域を高精度に解析して、欠陥密度を算出する。
　重回帰分析モデル作成部３０は、各領域の画素情報（輝度ヒストグラムの高さ、平均値、中央値、標準偏差などを含む）を説明変数として、各領域の高精度解析で得られた欠陥密度を目的変数とする重回帰分析のモデルを作り、重回帰分析モデルデータベース３２に格納する。
　欠陥密度予測部３１は、重回帰分析モデルデータベース３２のモデルと、その説明変数である画素情報に基づき、目的変数である欠陥密度の分布を予測する。
《ＳｉＣウエハの欠陥密度分布》
　ＳｉＣウエハ面内の欠陥密度はその上に作成するデバイスの製造歩留に影響を与える重要な指標であるため、ウエハ面内の欠陥密度分布を把握する必要がある。現状、画像処理装置は、Ｘ線トポグラフィ法（ＸＲＴ）によりＳｉＣウエハ面内の欠陥密度を評価している。
　欠陥密度が解析可能なレベルの高精度画像を取得するためには、膨大な時間が必要となり、現実的ではない。よって、ウエハ面内を粗い精度でさっと見たのち、領域を限定して高精度に解析する方法が望ましい。
　図３は、ウエハ９の面内を粗い精度でＸ線撮影した画像を示す図である。
　ウエハ９は円盤状であり、直径Ｌ［Pixel］である。ウエハ９の画像に示す９つの矩形は、高精度に解析する領域９１を示している。
　図４は、ウエハ９の領域９１と、この領域９１に含まれる欠陥９２の概念図である。
　ウエハ９の面内を粗い精度でさっと見る手順では、欠陥密度を抽出できない。これに対して、ウエハ９の面の領域を限定して高精度に解析する手順は、限定された領域についての欠陥密度の数値情報を抽出できる。
　そこで発明者らは、ウエハ９の面の粗い精度の画像から、高精度に解析する領域をくり抜き、その画素情報（画素の平均、中央値、ヒストグラム形状など）を取得し、解析領域の画素情報を説明変数とし、高精度の解析で得られた欠陥密度を目的関数とする重回帰分析のモデルを作成することを提案している。そして発明者らは、この重回帰分析のモデルを使い、ウエハ９の面の粗い精度の画像内の画素情報に基づき、欠陥密度分布を算出することを提案する。これにより、短時間の評価でもウエハ９の面内の欠陥密度の分布が把握できる。
　図５は、Ｘ線撮影装置でウエハ面内を粗い精度でさっと見る場合の欠陥評価方法を示す図である。
　不図示のＸ線撮影装置は、Ｘ線光源４１によりウエハ９の面にＸ線を照射しつつ、不図示のアクチュエータによって図の右方向（主走査方向）に走査している。Ｘ線光源４１がウエハ９の面に照射するＸ線照射領域４３は、長方形の形状である。なお、Ｘ線照射領域４３は、正方形であってもよい。このＸ線照射領域４３を二次元の検出器４２で検出することで、ウエハ９をラインスキャンする。一度のラインスキャンによって得られる領域は、図の破線で区切られた領域である。
　Ｘ線撮影装置は、Ｘ線照射領域４３がスキャン領域の一端に到達すると、Ｘ線光源４１を図の奥側（副走査方向）に移動させたのち（ステップ）、図の左方向にラインスキャンし、これを繰り返す。これにより、ウエハ９をライン状にスキャンして結合した画像がデータとして得られる。
　しかし、Ｘ線撮影装置がラインスキャン画像を結合した全体の画像には、主走査方向に横縞状のノイズがはいる。最終的には、この画像内の輝度の微小な濃淡情報から、欠陥密度の分布を抽出したいが、横縞状のノイズを除去しないと正確な値が取得できない。
　そこで、ウエハ９の画像から、画像内の輝度の微小な濃淡情報に影響を与えずに、方向性を持つノイズを効果的に除去する方法を、以下の図６から図１４によって説明する。そして、画像内の輝度の微小な濃淡情報から、欠陥密度の分布を予測する方法を、以下の図１５から図１７Ａと図１７Ｂまでを用いて説明する。
《方向性を持つノイズの除去方法》
　図６は、画像内の横方向（第１の方向）に沿ったピクセルの輝度を２次元化したグラフである。図７は、画像内の縦方向（第２の方向）に沿ったピクセルの輝度を２次元化したグラフである。図６と図７のグラフの縦軸は、ピクセルの輝度を線形に示している。図６と図７のグラフの横軸は、ウエハの位置を示している。
　図７に示すように、画像処理装置１が、画像内の縦方向（第二の方向）に沿ったピクセルの輝度を２次元化すると、横縞ノイズが現れる。図７において横縞ノイズは、Line Artifactとして矢印で示した位置に発生している。
　これは、ラインスキャンとステップを繰り返した後に、それで得られた観察像を結合した画像に発生する。この横縞ノイズは、Ｘ線の照度分布や、回折Ｘ線の強度分布や、検出器４２の受光側ＣＣＤ（Charge-coupled device）の感度分布などの複合的な原因によって発生する。この横縞ノイズがあると、画像処理装置１が、面内の微小なコントラスト濃淡から欠陥密度の分布として数値情報として抽出することは極めて困難である。
　この横縞ノイズは、横方向に重畳されるオフセットの違いが原因である。横縞ノイズを除去する方法には、以下の２つがある。
　第１の方法は、画像の縦方向の輝度分布をＦＦＴ（Fast Fourier Transform）変換して空間周波数特性を得て、横縞ノイズの周期から求めたバンドパスフィルタでフィルタリング処理し、逆ＦＦＴ変換して画像を再構築する方法である。第１の方法では、横縞ノイズの周期が変わった場合には、元のバンドパスフィルタが適用できない。つまり測定条件によって、その都度、バンドパスフィルタの設計を要し、実用的ではない。さらに、フーリエ変換における周期性の問題から、両端の輝度が不連続の場合には新たなアーチファクトが発生してしまう。
　第２の方法は、画像の横方向の輝度分布をＦＦＴ変換して空間周波数特性を得て、オフセット成分となる低周波数領域を除くハイパスフィルタでフィルタリング処理し、逆ＦＦＴ変換して画像を再構築する方法である。第２の方法では、横縞ノイズの周期が多少変化しても、同じハイパスフィルタが使用可能である。本発明は、第２の方法により、横縞ノイズを除去する。
　図８は、横方向のピクセル輝度の空間周波数特性を示すグラフである。グラフの縦軸は、信号強度を対数で示している。グラフの横軸は、空間周波数を示している。なお、ここで空間周波数とは、ウエハの直径Ｌ［Pixel]に含まれる周期的な構造物の数（波の数）のことをいう。
　図８は、画像内の横方向（第１の方向）に沿ったピクセルの輝度分布をＦＦＴ変換し、パワースペクトラムと空間周波数の関係で表したものである。これから、実際のデータ範囲と比較して、空間周波数２０までの低周波成分において、信号強度がかなり大きくなっていることが分かる。この部分が横方向に重畳されるオフセットであり、これが横縞ノイズの原因となっている。
　よって、画像処理装置１は、第１の方向（横）にハイパスフィルタを乗算し、低周波成分であるノイズを除去する。これにより、横縞ノイズを取り除くことができる。ハイパスフィルタは、カットオフ周波数５～２０であることが好ましい。これはつまり、カットオフ周期をウエハの直径Ｌ［Pixel］の１／５から１／２０、すなわちＬ／５～Ｌ／２０［Pixel］とすることが好ましいということである。
　図９は、フィルタ処理後の横方向のピクセル輝度の空間周波数特性を示すグラフである。グラフの縦軸は、フィルタ処理後の信号強度を対数で示している。グラフの横軸は、空間周波数を示している。
　ウエハ９の画像を横方向（第１の方向）に沿ってピクセルの輝度分布をＦＦＴ変換し、ハイパスフィルタでフィルタリング処理することで、低周波成分が抑制されることが判る。ハイパスフィルタのカットオフ周波数を高くするにつれて、より高い周波数までの周波数成分を抑制することができる。
　図１０は、横方向（第１の方向）に沿ってピクセルの輝度分布をＦＦＴ変換し、ハイパスフィルタ処理後に逆ＦＦＴ変換した画像の横方向に沿ったピクセル輝度を示すグラフである。グラフの縦軸は、ピクセル輝度を示している。グラフ中央の実線は、元のピクセルの輝度である。０近傍の各線は、各カットオフ周波数のハイパスフィルタで処理した後のピクセル輝度を示している。一点鎖線は、空間周波数１のカットオフ周波数のハイパスフィルタで処理した後のピクセル輝度である。一点鎖線の下の実線は空間周波数３、実線の下の破線は空間周波数５、その次に太実線は空間周波数２０のカットオフ周波数のハイパスフィルタで処理した後のピクセル輝度である。
　画像内の横方向（第１の方向）に沿ったピクセルの輝度分布をＦＦＴ変換する。その後、低周波成分であるノイズを除去するために、横方向のハイパスフィルタでフィルタリング処理する。ハイパスフィルタで処理することで低周波成分の信号強度が小さくなるため、輝度が全体的に小さくなっている。
　横方向へのハイパスフィルタのフィルタリング処理により、図１０で示すように輝度が全体的に小さくなり、元画像が保持する値からずれる。図３に示す元画像が持つ輝度は欠陥密度を表しているので、元画像からの輝度のシフトは欠陥密度の真値からのずれを生じさせる。これを補填するため、縦方向へのローパスフィルタのフィルタリング処理と、加算処理とが必要となる。
　図１１は、横方向（第１の方向）に沿ってピクセルの輝度分布をＦＦＴ変換し、ハイパスフィルタ処理後に逆ＦＦＴ変換した画像の縦方向に沿ったピクセル輝度を示すグラフである。グラフの縦軸は、ピクセル輝度を示している。グラフ中央の実線は、元のピクセルの輝度である。０近傍の各線は、各カットオフ周波数のハイパスフィルタで処理した後のピクセル輝度を示している。一点鎖線は、空間周波数１のカットオフ周波数のハイパスフィルタで処理した後のピクセル輝度である。一点鎖線の下の実線は空間周波数３、実線の下の破線は空間周波数５、その次に太実線は空間周波数２０のカットオフ周波数のハイパスフィルタで処理した後のピクセル輝度である。
　横方向にハイパスフィルタを掛けることで、低周波数領域の信号強度が低減でき、図１１の輝度分布に示すように横縞ノイズが小さくなる。しかし、横方向へのハイパスフィルタを掛けることで、横縞ノイズ除去と同時に、図１０と図１１の輝度分布に示すように全体的に輝度が小さくなる。ＳｉＣウエハのＸ線トポグラフィ像の元画像が持つ輝度は欠陥密度を表しているので、全体的な輝度のシフトは欠陥密度の真値からのずれを生じさせる。そのため、この輝度の減少を補正する必要がある。
　輝度の減少は、横方向の空間周波数特性にハイパスフィルタを乗算し、低周波数領域の信号強度を低減することで起こった。これを補正するためには、低減した低周波数領域の信号強度を低減前と同じレベルまで増加させる必要がある。そこで、発明者らは、横縞ノイズの原因でない、縦方向の空間周波数特性から輝度シフトを補正することを考えた。
　縦方向の空間周波特性にローパスフィルタを乗算することで、低周波数領域の信号強度は保持しつつ、高周波数領域の信号強度を低減できる。よって、横方向へのハイパスフィルタと縦方向へのローパスフィルタを組み合わせることで、横縞ノイズを除去しつつ、輝度シフトを抑制できる。
　そこで、発明者らは、横方向にハイパスフィルタを適用し、これとは別に縦方向にローパスフィルタを適用した後、それらを合算した。
　横方向へのハイパスフィルタ適用後は、横縞ノイズが除去できるが、全体的な輝度が小さくなる。縦方向へのローパスフィルタ適用後は、低周波数領域の信号強度は保持されるため、フィルタ適用前からの輝度のシフトはない。横方向へのハイパスフィルタ適用後と、縦方向へのローパスフィルタ適用後の輝度を合算することで、元画像の輝度と同等になり、輝度シフトが補正できる。
　この際、各空間周波数におけるハイパスフィルタとローパスフィルタのフィルタ特性（透過率）の合算値は、１である必要がある。
　ここで発明者らは、空間周波数５～２０をカットオフ周波数とするハイパスフィルタで横縞が消えていることを確認した。空間周波数２０以上でも横縞は消えるが、横縞ノイズ以外の信号もフィルタ処理してしまう。よって、カットオフ周波数が空間周波数５～２０のハイパスフィルタが望ましい。これはつまり、カットオフ周期をウエハの直径Ｌ［Pixel］の１／５から１／２０とすることが好ましいということである。
　図１２は、ハイパスフィルタのフィルタ特性のカットオフ周波数への依存性を示すグラフである。
　グラフの縦軸は、ハイパスフィルタの透過率を示している。グラフの横軸は、空間周波数を示している。このグラフで示したように、画像処理装置１は、カットオフ次数（Cut Off Degree）を２に固定して、カットオフ周波数を変化させることで、所望の低周波成分を抑制するようにフィルタ特性を設定できる。
　図１３は、フィルタ特性のカットオフ次数への依存性を示すグラフである。
　グラフの縦軸は、ハイパスフィルタの透過率を示している。グラフの横軸は、空間周波数を示している。このグラフで示したように、画像処理装置１は、カットオフ周波数を空間周波数１０に固定して、カットオフ次数を変化させることでも、所望の低周波成分を抑制するようにフィルタ特性を設定できる。なお、カットオフ次数は２から１０程度が望ましい。
　図１４は、ノイズ除去処理を示すフローチャートである。
　画像処理装置１のＣＰＵ１１は、オリジナル画像が入力されると（Ｓ１０）、ノイズ除去処理を開始する。なお、予めフィルタ条件の決定（Ｓ１６）がなされていれば、ステップＳ１０からステップＳ１１とステップＳ１５に進むが、ステップＳ１１～Ｓ１４の処理と、ステップＳ１５～Ｓ１９の処理の何れを先に実行してもよく、並行に実行してもよい。
　ハイパスフィルタ部２１は、水平方向に一次元のＦＦＴ変換を行い（Ｓ１５）、スペクトラムを得る。フィルタ設定部２４は、このスペクトラムの低周波成分が所定値を超えている空間周波数の範囲を特定し、これをカットオフ周波数として、ハイパスフィルタ部２１とローパスフィルタ部２２に設定する（Ｓ１６）。なお、予め横縞ノイズの周期が判っていたならば、フィルタ設定部２４が、ステップＳ１６の処理を行う必要はない。
　その後、ハイパスフィルタ部２１は、ＦＦＴ変換した結果にハイパスフィルタを掛けると（Ｓ１７）、水平方向に一次元の逆ＦＦＴ変換を行い（Ｓ１８）、画像を再構成する（Ｓ１９）。ローパスフィルタ部２２は、垂直方向に一次元のＦＦＴ変換を行い（Ｓ１１）、ローパスフィルタを掛けると（Ｓ１２）、垂直方向に一次元の逆ＦＦＴ変換を行い（Ｓ１３）、画像を再構成する（Ｓ１４）。
　これらローパスフィルタ部２２の処理のステップＳ１２～Ｓ１４と、ハイパスフィルタ部２１の処理のステップＳ１５，Ｓ１７～Ｓ１９の処理の順序は不問であり、どちらが先に実行されてもよく、両方を並行に実行してもよい。
　そして、加算部２３は、ローパスフィルタ部２２が処理した画像と、ハイパスフィルタ部２１が処理した画像とを加算する（Ｓ２０）。これにより、ノイズ除去画像が生成されると（Ｓ２１）、図１４の処理を終了する。
　ウエハ９の画像の横縞ノイズは、第１の方向（横）に方向性を持つ低周波数成分である。そのため、画像処理装置１は、第１の方向（横）にハイパスフィルタを掛けてし、低周波成分であるノイズを除去する。ハイパスフィルタのみでは、フィルタを適用して逆ＦＦＴ変換した後の画像の全体的な輝度が真値からずれるため、第１の方向と垂直な第２の方向（縦）にローパスフィルタを掛けて、輝度シフトを補正する。この際、ハイパスフィルタとローパスフィルタの透過率（フィルタ特性）の合算値は１である。
　これにより、ウエハ９を粗く撮った画像からノイズを除去することができる。
《重回帰分析のモデルの作成》
　画像処理装置１は、ノイズを除去した画像から、高精度で解析したい各領域を切り取る。そして画像処理装置１は、これらの領域について、画素情報（輝度の合計、平均、中央値、ヒストグラムなど）を算出して、高精度解析で得られた欠陥密度とから、重回帰分析モデルを作成する。この重回帰分析モデルを用いることで、ノイズを除去したウエハの画像から、ウエハ全体の欠陥密度分布が予測できる。
　図１５は、ノイズ除去後の画像から切り取った各領域とその欠陥密度の例を示す図である。
　画像処理装置１は、粗く撮ってノイズを除去した画像から領域を切り取り、高精度解析により各領域の欠陥密度を算出する。各領域の右上に示した数値は、高精度解析で得られた欠陥密度を示している。各領域の左上に示す［０］～［１１］は、領域の識別番号である。
　図１６は、ノイズ除去後の画像から切り取った各領域（図１５に示す画像）の輝度のヒストグラムを示す図である。
　ここでは、画素情報として輝度のヒストグラムを算出しているが、これに限られず、画素の輝度の合計、平均、中央値などを算出してもよい。
　このようにして、画像処理装置１は、各領域の画素情報（輝度ヒストグラムの高さ、平均値、中央値、標準偏差などを含む）を説明変数として、各領域の高精度解析で得られた欠陥密度を目的変数とする重回帰分析モデルを作る。なお、単回帰分析は1つの目的変数を1つの説明変数で予測するのに対し、重回帰分析は1つの目的変数を複数の説明変数で予測するものである。
　重回帰モデルから得られた予測値と正解値の相関係数を調査したところ、０．９４の値が得られた。即ち、重回帰分析のモデルを用いることで、短時間かつ高い精度で、ウエハ全体の欠陥密度分布が予測できる。
　図１７Ａと図１７Ｂは、ノイズ除去画像から欠陥密度を推定するフローチャートである。
　画像処理装置１にノイズ除去画像が生成されると（Ｓ３０）、欠陥密度の推定処理が開始する。
　最初、正規化処理部２６は、ノイズ除去画像が保有する輝度を正規化する（Ｓ３１）。正規化処理部２６が、像内の輝度を正規化することで、異なるウエハに係る画像を比較可能である。そして、画像スケール算出部２７は、ウエハの外周を検出すると（Ｓ３２）、このウエハの長さを検出し（Ｓ３３）、画像スケールを算出する（Ｓ３４）。これを用いることで、ステップＳ３５にて、解析領域抽出部２８は、画像中に撮影されているウエハの位置とサイズを特定することができる。
　解析領域抽出部２８は、正規化画像から、各高精度解析領域を抽出すると（Ｓ３６）、図１７Ｂに進み、重回帰分析のモデルを作成済みが否かを判定する（Ｓ３７）。解析領域抽出部２８は、重回帰分析のモデルが未作成ならば（Ｎｏ）、ステップＳ３８に進む。解析領域抽出部２８は、重回帰分析のモデルを作成済ならば（Ｙｅｓ）、ステップＳ４２に進む。
　ステップＳ３８において、解析領域抽出部２８は、高精度解析領域をくり抜く（Ｓ３８）。次に画素情報算出部２５は、この領域の画素平均・中央値・ヒストグラム形状などの画素情報を算出する（Ｓ３９）。そして、高精度解析部２９は、この領域を高精度で解析して、欠陥密度を得る（Ｓ４０）。重回帰分析モデル作成部３０は、画素平均・中央値・ヒストグラム形状などから欠陥密度を予測する重回帰分析のモデルを作成し（Ｓ４１）、重回帰分析モデルデータベース３２に格納すると、重回帰分析のモデルの作成に係る処理を終了する。
　ステップＳ４２において、解析領域抽出部２８は、解析領域（デバイス位置）をくり抜く。次に画素情報算出部２５は、この領域の画素平均・中央値・ヒストグラム形状などの画素情報を算出する（Ｓ４３）。欠陥密度予測部３１は、各領域の画素平均・中央値・ヒストグラム形状などの画素情報を重回帰分析のモデルに入力して、各領域の欠陥密度を予測し（Ｓ４４）、予測した欠陥密度分布を表示部１４などに出力すると（Ｓ４５）、欠陥密度分布の予測処理を終了する。
（変形例）
　本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
　上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路などのハードウェアで実現してもよい。上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈して実行することにより、ソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、フラッシュメモリカード、ＤＶＤ（Digital Versatile Disk）などの記録媒体に置くことができる。
　各実施形態に於いて、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には、殆ど全ての構成が相互に接続されていると考えてもよい。
　本発明の変形例として、例えば、次の（ａ）～（ｃ）のようなものがある。
（ａ）　本発明は、ＳｉＣウエハの欠陥分析に限られない。本発明は、ラインスキャンした画像を結像した際に発生する方向性を持つノイズに対してはどれに対しても適用可能である。例えば、ＳＥＭ（Scanning Electron Microscope：走査型電子顕微鏡）やＡＦＭ（Atomic Force Microscope：原子間力顕微鏡）で横縞が発生した画像に対するノイズ除去に適用してもよい。
（ｂ）　上記実施形態では、横方向にノイズを有する画像のノイズ除去について説明したが、縦方向にノイズを有する画像に適用してもよい。
（ｃ）　本発明は、ラインスキャンした画像を結像した際に発生する方向性を持つノイズに限られず、任意の原因によって方向性を持つノイズの除去に適用してもよい。
１　画像処理装置
１１　ＣＰＵ
１２　ＲＯＭ
１３　ＲＡＭ
１４　表示部
１５　通信部
１６　操作部
１８　記憶部
１８１　画像処理プログラム
２１　ハイパスフィルタ部
２２　ローパスフィルタ部
２３　加算部
２４、２４－２、２４－３　フィルタ設定部
２５　画素情報算出部
２６　正規化処理部
２７　画像スケール算出部
２８　解析領域抽出部
２９　高精度解析部
３０　重回帰分析モデル作成部
３１　欠陥密度予測部
３２　重回帰分析モデルデータベース
４１　Ｘ線光源
４２　検出器
４３　Ｘ線照射領域
９　ウエハ
９１　領域
９２　欠陥

Claims (9)

  1. 　第１の方向に方向性を持つノイズを含んだ画像に対して、前記第１の方向にハイパスフィルタでフィルタリング処理するハイパスフィルタ部と、
    　前記画像に対して、前記第１の方向と垂直な第２の方向にローパスフィルタでフィルタリング処理するローパスフィルタ部と、
    　前記ハイパスフィルタ部が処理した画像と前記ローパスフィルタ部が処理した画像とを加算する加算部と、
    　を備えることを特徴とする画像処理装置。
  2. 　前記ハイパスフィルタ部の各空間周波数における透過率と、前記ローパスフィルタ部の各空間周波数における透過率の和は、１である、
    　ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記第１の方向に方向性を持つ前記画像のノイズの周期に応じて、前記ローパスフィルタ部と前記ハイパスフィルタ部のカットオフ周期を変化させるフィルタ設定部、
    　を備えることを特徴とする請求項１に記載の画像処理装置。
  4. 　前記ローパスフィルタ部と前記ハイパスフィルタ部のカットオフ周期は、前記画像の第一の方向の長さＬの１／５から１／２０である、
    　ことを特徴とする請求項３に記載の画像処理装置。
  5. 　前記加算部が加算したノイズ除去後の画像の画素情報をもとに、画像内の欠陥密度の分布を予測する欠陥密度予測部、
    　を更に備えることを特徴とする請求項１に記載の画像処理装置。
  6. 　前記画素情報とは、任意領域内の輝度ヒストグラムの高さ、平均値、中央値、標準偏差のうち何れかを含む、
    　ことを特徴とする請求項５に記載の画像処理装置。
  7. 　第１の方向に方向性を持つノイズを含んだ画像に対して、それぞれ個別に前記第１の方向にハイパスフィルタでフィルタリング処理した画像を算出するステップと、
    　前記第１の方向と垂直な第２の方向にローパスフィルタでフィルタリング処理した画像を算出するステップと、
    　前記ハイパスフィルタでフィルタリング処理した画像と前記ローパスフィルタでフィルタリング処理した画像とを加算するステップと、
    　を実行することを特徴とする画像処理方法。
  8. 　前記第１の方向に方向性を持つノイズを含んだ画像に対して、前記第１の方向にハイパスフィルタでフィルタリング処理した画像を算出するステップと前記第２の方向にローパスフィルタでフィルタリング処理した画像を算出するステップの実行順番はどちらでもよい、
    　ことを特徴とする請求項７に記載の画像処理方法。
  9. 　コンピュータに、
    　第１の方向に方向性を持つノイズを含んだ画像に対して、前記第１の方向にハイパスフィルタでフィルタリング処理する手順、
    　前記画像に対して、前記第１の方向と垂直な第２の方向にローパスフィルタでフィルタリング処理する手順、
    　前記ハイパスフィルタでフィルタリング処理した画像と前記ローパスフィルタでフィルタリング処理した画像とを加算する手順、
    　を実行させるための画像処理プログラム。
PCT/JP2021/032538 2020-11-20 2021-09-03 画像処理装置、画像処理方法および画像処理プログラム WO2022107417A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/035,990 US20240046417A1 (en) 2020-11-20 2021-09-03 Image processing device, image processing method, and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-193844 2020-11-20
JP2020193844A JP2022082348A (ja) 2020-11-20 2020-11-20 画像処理装置、画像処理方法および画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2022107417A1 true WO2022107417A1 (ja) 2022-05-27

Family

ID=81708757

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/032538 WO2022107417A1 (ja) 2020-11-20 2021-09-03 画像処理装置、画像処理方法および画像処理プログラム

Country Status (3)

Country Link
US (1) US20240046417A1 (ja)
JP (1) JP2022082348A (ja)
WO (1) WO2022107417A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003204955A (ja) * 2001-09-11 2003-07-22 Toshiba Corp Ｘ線平面検出器、ｘ線画像診断装置、及びｘ線画像補正方法
WO2014208434A1 (ja) * 2013-06-25 2014-12-31 アキュートロジック株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2015057727A (ja) * 2014-11-10 2015-03-26 キヤノン株式会社 情報処理装置、ライン状ノイズ低減処理方法、及びプログラム
JP2016105254A (ja) * 2014-12-01 2016-06-09 キヤノン株式会社 画像処理装置および画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003204955A (ja) * 2001-09-11 2003-07-22 Toshiba Corp Ｘ線平面検出器、ｘ線画像診断装置、及びｘ線画像補正方法
WO2014208434A1 (ja) * 2013-06-25 2014-12-31 アキュートロジック株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2015057727A (ja) * 2014-11-10 2015-03-26 キヤノン株式会社 情報処理装置、ライン状ノイズ低減処理方法、及びプログラム
JP2016105254A (ja) * 2014-12-01 2016-06-09 キヤノン株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
JP2022082348A (ja) 2022-06-01
US20240046417A1 (en) 2024-02-08

Similar Documents

Publication Publication Date Title
Ferzli et al. No-reference objective wavelet based noise immune image sharpness metric
Marone et al. Fast reconstruction algorithm dealing with tomography artifacts
Tomaževič et al. Comparative evaluation of retrospective shading correction methods
Hosseini et al. Focus quality assessment of high-throughput whole slide imaging in digital pathology
US8004586B2 (en) Method and apparatus for reducing noise of image sensor
EP1958158B1 (en) Method for detecting streaks in digital images
JPH10509817A (ja) 信号復元方法および装置
Yeganeh et al. Objective quality assessment of interpolated natural images
JP2001057677A (ja) 画像処理方法および装置並びに記録媒体
CN109377457B (zh) 药丸包衣图像处理方法、装置、计算机设备和存储介质
WO2022252442A1 (zh) 一种针对皮革纤维mct断层扫描图像的智能去噪方法及应用
CN115825410B (zh) 基于路面构造预估轮胎路面作用噪声水平的方法
JP5705711B2 (ja) ひび割れ検出方法
EP1411469A2 (en) Quantifying the sharpness of a digital image
Tsomko et al. Linear Gaussian blur evolution for detection of blurry images
WO2022107417A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
TWI733184B (zh) 圖案形狀評價裝置、圖案形狀評價系統及圖案形狀評價方法
KR100779312B1 (ko) 결함 검출 장치, 이미지 센서 디바이스, 이미지 센서 모듈,화상 처리 장치, 디지털 화상 품질 테스터, 및 결함 검출방법
CN111415365B (zh) 图像检测方法及装置
Roels et al. Noise analysis and removal in 3D electron microscopy
KR101907792B1 (ko) 화질 평가 장치 및 방법과 이에 관한 기록매체
Burns Estimation error in image quality measurements
Paul et al. MR image enhancement using an extended neighborhood filter
Yeap et al. Adaptive tuning piecewise cubic Hermite interpolation with Wiener filter in wavelet domain for scanning electron microscope images
KR100689890B1 (ko) 플랫패널용 광관련판요소의 결함검출방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21894292

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18035990

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21894292

Country of ref document: EP

Kind code of ref document: A1