WO2016098495A1 - 画像分類装置および画像分類方法 - Google Patents

画像分類装置および画像分類方法 Download PDF

Info

Publication number
WO2016098495A1
WO2016098495A1 PCT/JP2015/081768 JP2015081768W WO2016098495A1 WO 2016098495 A1 WO2016098495 A1 WO 2016098495A1 JP 2015081768 W JP2015081768 W JP 2015081768W WO 2016098495 A1 WO2016098495 A1 WO 2016098495A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
defect
feature
conversion function
image classification
Prior art date
Application number
PCT/JP2015/081768
Other languages
English (en)
French (fr)
Inventor
松村　明
Original Assignee
株式会社Ｓｃｒｅｅｎホールディングス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｓｃｒｅｅｎホールディングス filed Critical 株式会社Ｓｃｒｅｅｎホールディングス
Publication of WO2016098495A1 publication Critical patent/WO2016098495A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a technique for classifying images.
  • appearance inspection is performed using an optical microscope, a scanning electron microscope, or the like in order to inspect defects such as foreign matters, scratches, and etching defects.
  • the cause of the defect is specified by performing detailed analysis on the defect detected in such an inspection process, and countermeasures against the defect are taken.
  • the present invention is directed to an image classification device that classifies images, and aims to easily improve classification accuracy.
  • An image classification apparatus includes a feature amount conversion unit that acquires a plurality of converted feature amounts by performing nonlinear conversion on a plurality of feature amounts acquired from an image using a predetermined conversion function.
  • a classifying unit that classifies the image into one of a plurality of classes by parametric discrimination or non-parametric discrimination using the plurality of converted feature quantities, and the conversion function performs the nonlinear conversion Narrowly monotonically increases or narrowly monotonously decreases in the range of feature values used.
  • the classification accuracy can be easily improved.
  • the numerical range is finite, and the slope of the conversion function approaches 0 near the upper limit and the lower limit in the vicinity of the upper limit and the lower limit in the numerical range.
  • the slope of the conversion function in the numerical range is maximum or minimum at the center of the numerical range.
  • the conversion function includes an arctangent function or an inverse hyperbolic sine function.
  • the present invention is also directed to an image classification method for classifying images.
  • the image classification method according to the present invention includes: a) acquiring a plurality of converted feature quantities by performing nonlinear transformation on a plurality of feature quantities obtained from an image using a predetermined conversion function; b) classifying the image into one of a plurality of classes by parametric discrimination or non-parametric discrimination using the plurality of transformed feature quantities, and the transformation function includes the nonlinear transformation Narrowly monotonically increases or narrowly monotonously decreases in the range of feature values used.
  • FIG. 1 is a diagram showing a schematic configuration of an image classification device 1 according to an embodiment of the present invention.
  • a defect image indicating a pattern defect on a semiconductor substrate 9 (hereinafter simply referred to as “substrate 9”) is acquired, and the defect image is classified.
  • the image classification device 1 includes an imaging device 2 that captures an inspection target area on the substrate 9, an inspection / classification device 4 that automatically classifies defects, and a host computer 5.
  • the inspection / classification device 4 performs defect inspection based on the multi-gradation image data from the imaging device 2, and when a defect is detected, a defect class to which the defect should belong (defect type, such as “category”) (Also called).
  • the host computer 5 controls the overall operation of the image classification apparatus 1 and generates a classifier 422 used for defect classification in the inspection / classification apparatus 4.
  • the imaging device 2 is incorporated in the production line of the substrate 9, and the image classification device 1 is a so-called inline system.
  • the image classification device 1 can also be regarded as a device in which a function of automatic defect classification is added to a defect inspection device.
  • the imaging apparatus 2 includes an imaging unit 21, a stage 22 that holds the substrate 9, and a stage drive unit 23 that moves the stage 22 relative to the imaging unit 21.
  • the imaging unit 21 captures an inspection target area on the substrate 9 and acquires image data.
  • the imaging unit 21 includes an illumination unit 211 that emits illumination light, an optical system 212, and an imaging device 213.
  • the optical system 212 guides illumination light to the substrate 9, and the light from the substrate 9 enters the optical system 212.
  • the imaging device 213 converts the image of the substrate 9 formed by the optical system 212 into an electrical signal.
  • the stage drive unit 23 includes a ball screw, a guide rail, a motor, and the like.
  • the host computer 5 controls the stage driving unit 23 and the imaging unit 21 so that the inspection target area on the substrate 9 is imaged.
  • the inspection / classification apparatus 4 includes a defect detection unit 41 and a classification control unit 42 that classifies defect images.
  • the defect detection unit 41 detects defects while processing the image data of the inspection target area.
  • the defect detection unit 41 has a dedicated electric circuit for processing image data of the inspection target area at high speed, and performs defect inspection of the inspection target area by comparing the captured image with a reference image having no defect or by image processing.
  • the classification control unit 42 includes a CPU that performs various arithmetic processes, a memory that stores various types of information, and the like, and includes a feature amount calculation unit 420, a feature amount conversion unit 421, and a classifier 422 that is a classification unit.
  • the classifier 422 performs defect classification, that is, defect image classification, using linear discriminant analysis.
  • FIG. 2 is a diagram showing a flow of defect image classification by the image classification apparatus 1.
  • the defect detection unit 41 of the inspection / classification device 4 acquires image data (step S1).
  • the defect detection unit 41 performs defect inspection of the inspection target region and a defect is detected
  • data of a defect image that is an image of the defective portion is generated and prepared (step S2).
  • the defect image data is transmitted to the classification control unit 42.
  • the feature amount calculation unit 420 of the classification control unit 42 calculates a feature amount vector that is an array of a plurality of types of feature amounts of the defect image (step S3).
  • the geometric feature amount for example, the area of the defect, the perimeter
  • the statistical feature amount for example, the gradation value of the defect and the background
  • the feature amount may be calculated from an image indicating a difference between a defect image and a reference image not including a defect.
  • the feature amount conversion unit 421 converts each type of feature amount included in the feature amount vector according to a predetermined conversion function, and acquires a plurality of converted feature amounts (converted feature amount vectors) (step S4).
  • the plurality of converted feature quantities are input to the classifier 422 and the classification result is output. That is, the defect image is classified into one of a plurality of defect classes using the classifier 422 (step S5).
  • the image classification device 1 each time a defect is detected by the defect detection unit 41, the feature amount vector is calculated and converted in real time, and a large number of defect images are automatically classified at high speed.
  • FIG. 3 is a diagram showing the configuration of the host computer 5.
  • the host computer 5 has a general computer system configuration including a CPU 51 that performs various arithmetic processes, a ROM 52 that stores basic programs, and a RAM 53 that stores various information.
  • the host computer 5 includes a fixed disk 54 for storing information, a display 55 for displaying various information such as images, a keyboard 56a and a mouse 56b (hereinafter collectively referred to as “input unit 56”) for receiving input from the user.
  • a reading device 57 that reads information from a computer-readable recording medium 8 such as an optical disk, a magnetic disk, or a magneto-optical disk, and a communication unit 58 that transmits and receives signals to and from other components of the image classification device 1 are further provided. Including.
  • the host computer 5 reads the program 80 from the recording medium 8 via the reader 57 in advance and stores it in the fixed disk 54. Then, the CPU 51 executes arithmetic processing according to the program 80 while using the RAM 53 and the fixed disk 54.
  • FIG. 4 is a block diagram showing a functional configuration for constructing a classifier realized by the CPU 51, the ROM 52, the RAM 53, the fixed disk 54, and the like of the host computer 5.
  • FIG. 4 also shows a part of the inspection / classification apparatus 4.
  • the host computer 5 includes a classification control unit 61 including a feature amount conversion unit 611 and a classifier 612, and a learning unit 62 that learns and constructs the classifier 612.
  • the classifier 612 that is a classification unit is a functional configuration that is realized by storing information necessary for performing classification in a predetermined storage area. The same applies to the classifier 422 of the inspection / classification apparatus 4.
  • the host computer 5 further includes an image storage unit 64 and an information storage unit 65.
  • the image storage unit 64 stores defect image data 801 that is data of each defect image and a feature quantity vector 802.
  • the defect image data 801 corresponding to each defect image and the feature quantity vector 802 are associated with each other.
  • the feature quantity vector 802 is an array of a plurality of types of feature quantities obtained from each defect image.
  • a geometric feature amount or a statistical feature amount is used as the feature amount included in the feature amount vector 802.
  • the type of feature amount is referred to as “feature type”.
  • the defect image data 801 and the feature vector 802 for a plurality of defect images are stored in the image storage unit 64 (the same applies to a teaching defect class 811 described later in the information storage unit 65).
  • the information storage unit 65 stores a teaching defect class 811 associated with each defect image.
  • the teaching defect class 811 is a defect class assigned to each defect image by the user. That is, the teaching defect class 811 is information indicating a result of teaching work described later that associates a defect type and the like with each defect image.
  • the classifier 612 When the classifier 612 is constructed in the host computer 5, the classifier 612 is transferred to the classifier 422 of the inspection / classification device 4.
  • the function of the host computer 5 can be included in the inspection / classification apparatus 4.
  • FIG. 5 is a diagram showing the flow of construction of the classifier by the host computer 5.
  • Construction of a classifier means that a classifier is generated by assigning a value to a parameter of a linear discriminant function included in the classifier.
  • a large number of defect image data detected by the inspection / classification device 4 is input to the host computer 5 and stored as defect image data 801 in the image storage unit 64.
  • the inspection / classification apparatus 4 obtains the feature vector of the defect image, the feature vector is also input to the host computer 5 together with the defect image data and stored in the image storage unit 64.
  • the stored feature quantity vector 802 may be generated again by the host computer 5 based on the defect image data 801.
  • the defect class is taught by the user.
  • a plurality of defect images are displayed on the display 55 of the host computer 5 (see FIG. 6).
  • the plurality of defect images in this processing example indicate pattern defects due to the resist on the substrate.
  • one defect class among a plurality of (N) defect classes is associated with each of the plurality of defect images.
  • the associated defect class is stored in the information storage unit 65 as a teaching defect class 811.
  • the defect class of the defect image is indicated by indicating “Teach: Foreign object” or the like under each defect image.
  • the defect image indicated as “teaching: reflection” in FIG. 6 is not used as a teacher image described later.
  • a plurality of teacher images are prepared using a defect image taught to belong to one of the plurality of defect classes (that is, a defect image for which the teaching defect class 811 is determined) as a teacher image. (Step S11). Since each defect image is associated with the feature amount vector 802, the feature amount vector 802 and the teaching defect class are substantially associated with each other. As described above, the feature quantity vector 802 is an array of feature quantities in a plurality of feature types.
  • FIG. 7 is a diagram showing a histogram of feature amounts of a plurality of teacher images relating to one feature type
  • FIG. 8 is a diagram showing a histogram of feature amounts of a plurality of teacher images relating to another feature type.
  • the shape of the histogram is not symmetrical about the center of the histogram as shown in FIG.
  • There is also a feature type that is, the appearance frequency is biased.
  • the distribution of feature amounts in a plurality of teacher images varies for each feature type.
  • the feature amount conversion unit 611 converts the feature amount of each feature type included in the feature amount vector 802 of each teacher image, and acquires the converted feature amount (step S12). Specifically, for each feature type, a minimum value and a maximum value of a plurality of feature amounts in a plurality of teacher images are acquired. Subsequently, by dividing each of the plurality of feature amounts by the larger one of the absolute value of the minimum value and the absolute value of the maximum value, a new value of the feature amount (hereinafter referred to as “normalized feature amount”). .) Is obtained.
  • the normalized feature amount is not less than ⁇ 1 and not more than +1. It should be noted that the feature amount normalization may be performed by other methods, for example, normalization may be performed by linear transformation such that the average is 0 and the variance is 1.
  • the normalized feature quantity of the feature type of number i is set to x i
  • the converted feature quantity ⁇ i of the feature type is converted by the conversion function shown in Formula 1. Desired.
  • FIG. 9 is a graph of the conversion function of Equation 1.
  • the horizontal axis in FIG. 9 indicates the normalized feature value x i
  • the vertical axis indicates the converted feature value ⁇ i .
  • Equation 1 represents an arc tangent function, and ⁇ i increases monotonously in a narrow sense as x i increases.
  • narrow monotonic increase means that the function f (x) satisfies f (a) ⁇ f (b) for two arbitrary real numbers a and b (where a ⁇ b).
  • the monotonic decrease in the sense means that f (a)> f (b) is satisfied.
  • the slope of the conversion function of the number 1 becomes a maximum when x i is 0, x i is gradually decreased with distance from 0.
  • the feature value conversion according to Equation 1 is a non-linear conversion.
  • the normalized feature value x i is included in a finite normalization range that is greater than or equal to ⁇ 1 and less than or equal to +1, and the normalization range uses the numerical value range (hereinafter referred to as “usage range”). .) It becomes A1.
  • the gradient of the conversion function of Formula 1 in the usage range A1 is maximum at the center of the usage range A1.
  • the slope of the transformation function of Equation 1 approaches zero.
  • a classifier 612 is generated using the converted feature value vectors of the plurality of teacher images.
  • a well-known linear discriminant is used as the learning algorithm of the classifier 612, for example, Fisher's linear discriminant analysis is used.
  • Fisher's linear discriminant analysis a linear discriminant function is obtained so as to reduce the covariance within a class and increase the covariance between classes.
  • a support vector machine using a linear kernel function (which can be regarded as a linear discrimination method) may be used as a learning algorithm of the classifier 612. These methods are parametric discrimination in which the classifier 612 is generated by obtaining a coefficient of a predetermined discriminant function.
  • the constructed classifier 612 is transferred to the classifier 422 of the inspection / classification apparatus 4. Further, the conversion function in the feature amount conversion unit 611 is also transferred to the feature amount conversion unit 421 of the inspection / classification device 4. Then, the defect image detected by the defect detection unit 41 is classified using the classifier 422 and the feature amount conversion unit 421.
  • FIG. 10 is a diagram showing a performance evaluation result of the constructed classifier 612.
  • the classifier 612 obtained as a learning result classifies all the teacher images used for learning to check the correct answer rate, so that the performance evaluation is performed by so-called all-learning all-all classification (All-for-all),
  • FIG. 10 shows a confusion matrix (confusion matrix) that summarizes the classification results.
  • the defect class in the classification result by the classifier 612 is referred to as “classification defect class”.
  • FIG. 10 three teaching defect classes are described in the row heading as “foreign matter”, “defective black”, and “bubble”, and three classified defect classes are arranged as “foreign matter”, “defective black”, and “bubble”. It is written in the heading.
  • the number of teacher images determined to belong to the classification defect class “B” is indicated at the intersection of the row “A” and the column “B”. It is.
  • the row labeled “Correct” indicates the number of teacher images (total number of correct answers) in which the classification defect class and the teaching defect class match among the teacher images classified into each classification defect class.
  • the row marked “Sum” indicates the number (total number) of teacher images classified into each classified defect class
  • the row marked “Purity” in the heading occupies the number of “Sum” in each classified defect class.
  • the ratio of the number of “Correct” is shown (the same applies to the columns labeled “Correct”, “Sum” and “Accuracy”).
  • the intersection position between the “Purity” row and the “Accuracy” column is the ratio of the number of teacher images in which the teaching defect class and the classification defect class match out of the total number of classified teacher images (total (Correct answer rate).
  • 1578 teacher images are “foreign matter” teaching defect classes
  • 2849 teacher images are “bad black”.
  • the teaching defect class and 688 teacher images are taught in the teaching defect class of “bubble”, respectively.
  • 1578 teacher images taught as “foreign matter” 1,537 are correctly classified as “foreign matter”. 41 were mistakenly classified as “defective black” and 0 were classified as “bubble”.
  • the correct answer rate (accuracy of classification) in the teacher image taught as “foreign matter” is 97.4%.
  • FIG. 11 is a diagram showing the performance evaluation result of the classifier of the comparative example.
  • the classifier of the comparative example is the same as the classifier 612 using a feature vector of a plurality of teacher images, that is, a feature vector that has not been subjected to nonlinear transformation (including feature normalization) in step S12. It is generated by a learning algorithm (linear discrimination).
  • the total correct answer rate by the classifier 612 is 91.5%
  • the total correct answer rate by the classifier of the comparative example is 89.9%.
  • the total correct answer rate is the same as that of the classifier of the comparative example also in the classifiers of other comparative examples generated using normalized feature values (non-linear transformation is not performed).
  • the classifier 612 generated using the converted feature amount improves the classification performance as compared with the classifier of the comparative example.
  • Dimensional curse is a phenomenon in which the generalization ability (that is, the ability to correctly classify unknown images) does not improve even if the number of feature types used is increased. This phenomenon is often explained by the spherical concentration phenomenon, but simply, the distance between the data becomes equal to each other as the dimension increases. The boundary between them (boundary hyperplane, i.e. discriminant function) does not function as expected.
  • the spherical concentration phenomenon is assumed to be a multidimensional hypersphere centered on a position indicated by a feature vector of a certain defect image (hereinafter simply referred to as “position of the defect image”) in a multidimensional feature amount space. In this case, the position of most defect images included in the supersphere is a phenomenon that exists on the (substantially) surface of the supersphere.
  • the spherical concentration phenomenon becomes more prominent as the dimension number of the feature amount increases.
  • the position of the (most part) defect image in the n-dimensional feature amount space can be expressed using the radius r and the deflection angle ⁇ i equal to the radius of the hypersphere. Therefore, the feature quantities of all feature types should be represented by the declination angle ⁇ i , and the n feature quantities actually calculated from the defect image are obtained as a result of conversion by some function. Can be considered.
  • n feature amounts calculated from the defect image should be converted into n deviation angles ⁇ i .
  • the converted feature value ⁇ i is obtained from the feature value (here, the normalized feature value) x i of each feature type by using Equation 1.
  • the linear function in this feature quantity space is the same in the feature quantity space before conversion. Behave as non-linear.
  • the conversion according to Equation 1 for a plurality of feature quantities is a nonlinear conversion.
  • the defect image is classified into one of a plurality of classes by linear discrimination by the classifier 422 using the converted feature amount obtained by the non-linear conversion.
  • the classification accuracy can be easily improved by performing the nonlinear transformation of the feature amount and the classification based on the linear discrimination even when the influence of the curse of the dimension is large.
  • the normalization range of the feature amount is ⁇ 1 or more and +1 or less (hereinafter referred to as [ ⁇ 1, +1]), and the normalization range is the usage range A1 of Equation 1. Focusing only on the usage range A1, in the transformation function of Equation 1, when xi is 0, the slope is maximum at 1, and when xi is -1 and +1, the slope is 1/2. Minimal.
  • the performance evaluation results of the classifier when the normalization range of the feature quantity is [ ⁇ 2, +2], [ ⁇ 5, +5], [ ⁇ 10, +10] are shown in FIGS. 12A, 12B, and 12C. become that way. As is clear from FIG. 10 and FIGS.
  • the total correct answer rate decreases as the normalization range of the feature amount is increased. This is presumed to be due to the fact that the gradient of the conversion function becomes small in the vicinity of the boundary of the normalization range, and the difference in the size of the converted feature quantity is less likely to occur.
  • the slope is 1/5 when x i is ⁇ 2 and +2, the slope is 1/26 when x i is ⁇ 5 and +5, and x i is ⁇ 10. And when it is +10, the slope is 1/101.
  • FIG. 13 is a graph of the conversion function of Equation 2.
  • Equation 2 as in Equation 1, ⁇ i increases monotonically in the narrow sense as x i increases.
  • the slope of the conversion function of the number 2 is maximized when x i is 0, x i is gradually decreased with distance from 0. Therefore, the feature value conversion according to Equation 2 is also a nonlinear conversion.
  • FIGS. 14A to 14D use the formula 2 while setting the normalization ranges of the feature values to [ ⁇ 1, +1], [ ⁇ 2, +2], [ ⁇ 5, +5], [ ⁇ 10, +10], respectively. It is a figure which shows the performance evaluation result of the produced
  • the image classification device 1 can be variously changed.
  • a classification unit that uses a plurality of converted feature amounts to classify an image into one of a plurality of classes by linear discrimination is used, but by other parametric discrimination or non-parametric discrimination.
  • a classification unit that classifies images may be used.
  • the other parametric discrimination include the SVM method
  • examples of the nonparametric discrimination include a k-neighbor method and a kernel density estimation method.
  • the conversion function may be one that decreases monotonously in a narrow sense in the numerical value range (use range) of the feature amount used for nonlinear conversion.
  • the conversion function obtained by multiplying the right side of Equations 1 and 2 by ⁇ 1 is exemplified. Is done.
  • the gradient of the conversion function in the usage range is minimized at the center of the usage range.
  • the range of use in the conversion function is not necessarily centered on 0. However, when a finite use range is set, it is preferable that the slope of the conversion function approaches 0 as the upper limit and the lower limit are approached, at least in the vicinity of the upper limit and the lower limit within the use range.
  • the transformation function includes an arctangent function or an inverse hyperbolic sine function, so that it is possible to perform a preferable nonlinear transformation.
  • Various conversion functions can be used as long as they are monotonically decreasing in a narrow sense.
  • the defect image may indicate a defect in a pattern of a substrate other than the semiconductor substrate or a defect such as a foreign substance.
  • the substrate include thin film devices such as hard disk substrates, glass substrates used for thin displays such as plasma displays and liquid crystal displays, photomask substrates, film substrates, and printed wiring boards.
  • the image classification device 1 may be used for the purpose of classifying a cell image obtained by imaging cells in a predetermined liquid such as blood or a culture solution. As described above, the image classification device 1 can be used to classify images showing various objects. Furthermore, in the image classification device 1, in addition to images captured with visible light, images captured with laser light, electron beams, X-rays, or the like may be classified. The image to be classified in the image classification device 1 is acquired using radiation in a broad sense.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

　画像分類装置（１）の特徴量変換部（４２１）では、画像から取得される複数の特徴量に対して、所定の変換関数を用いて非線形変換を行うことにより、複数の変換済み特徴量が取得される。分類器（４２２）では、複数の変換済み特徴量を用いて、パラメトリック判別またはノンパラメトリック判別により、当該画像が複数のクラスのうちの一のクラスに分類される。上記変換関数は、非線形変換に利用される特徴量の数値範囲において狭義単調増加または狭義単調減少する。好ましくは、上記数値範囲が有限であり、数値範囲内における上限および下限の近傍において、当該上限および下限に近づくに従って変換関数の傾きが０に近づく。画像分類装置（１）では、次元の呪いの影響が大きい場合であっても分類精度を容易に向上させることができる。

Description

画像分類装置および画像分類方法
　本発明は、画像を分類する技術に関する。
　半導体基板、ガラス基板、プリント配線基板等の製造では、異物や傷、エッチング不良等の欠陥を検査するために光学顕微鏡や走査電子顕微鏡等を用いて外観検査が行われる。また、このような検査工程において検出された欠陥に対して、詳細な解析を行うことによりその欠陥の発生原因を特定し、欠陥に対する対策が施される。
　近年では、基板上のパターンの複雑化および微細化に伴い、検出される欠陥の種類および数量が増加する傾向にあり、検査工程で検出された欠陥の画像を自動的に分類する自動分類も用いられる。自動分類により欠陥の解析を迅速かつ効率的に行うことが実現される。自動分類では、判別関数を利用した分類器が多く用いられる。特開２００３－３１７０８３号公報では、遺伝的アルゴリズムを利用して判別関数を生成する手法が開示されている。
　ところで、画像の分類では、使用する特徴量の種類を増やして汎化能力を向上させる、すなわち、分類精度を向上させることが考えられるが、実際には、単に特徴量の種類を増やしても、いわゆる次元の呪いの影響を受けるため、分類精度を向上させることが困難となる。
　本発明は、画像を分類する画像分類装置に向けられており、分類精度を容易に向上させることを目的としている。
　本発明に係る画像分類装置は、画像から取得される複数の特徴量に対して、所定の変換関数を用いて非線形変換を行うことにより、複数の変換済み特徴量を取得する特徴量変換部と、前記複数の変換済み特徴量を用いて、パラメトリック判別またはノンパラメトリック判別により、前記画像を複数のクラスのうちの一のクラスに分類する分類部とを備え、前記変換関数が、前記非線形変換に利用される特徴量の数値範囲において狭義単調増加または狭義単調減少する。
　本発明によれば、分類精度を容易に向上させることができる。
　本発明の一の好ましい形態では、前記数値範囲が有限であり、前記数値範囲内における上限および下限の近傍において、前記上限および前記下限に近づくに従って前記変換関数の傾きが０に近づく。
　この場合に、前記数値範囲における前記変換関数の傾きが前記数値範囲の中央にて最大または最小となることが好ましい。
　本発明の一の局面では、前記変換関数が、逆正接関数または逆双曲線正弦関数を含む。
　本発明は、画像を分類する画像分類方法にも向けられている。本発明に係る画像分類方法は、ａ）画像から取得される複数の特徴量に対して、所定の変換関数を用いて非線形変換を行うことにより、複数の変換済み特徴量を取得する工程と、ｂ）前記複数の変換済み特徴量を用いて、パラメトリック判別またはノンパラメトリック判別により、前記画像を複数のクラスのうちの一のクラスに分類する工程とを備え、前記変換関数が、前記非線形変換に利用される特徴量の数値範囲において狭義単調増加または狭義単調減少する。
　上述の目的および他の目的、特徴、態様および利点は、添付した図面を参照して以下に行うこの発明の詳細な説明により明らかにされる。
画像分類装置の構成を示す図である。 欠陥画像の分類の流れを示す図である。 ホストコンピュータの構成を示す図である。 ホストコンピュータが実現する機能構成を示すブロック図である。 分類器の構築の流れを示す図である。 複数の欠陥画像を示す図である。 特徴量のヒストグラムを示す図である。 特徴量のヒストグラムを示す図である。 変換関数のグラフである。 分類器の性能評価結果を示す図である。 比較例の分類器の性能評価結果を示す図である。 分類器の性能評価結果を示す図である。 分類器の性能評価結果を示す図である。 分類器の性能評価結果を示す図である。 変換関数のグラフである。 分類器の性能評価結果を示す図である。 分類器の性能評価結果を示す図である。 分類器の性能評価結果を示す図である。 分類器の性能評価結果を示す図である。
　図１は本発明の一の実施の形態に係る画像分類装置１の概略構成を示す図である。画像分類装置１では、半導体基板９（以下、単に「基板９」という。）上のパターンの欠陥を示す欠陥画像が取得され、当該欠陥画像の分類が行われる。画像分類装置１は基板９上の検査対象領域を撮像する撮像装置２、欠陥を自動分類する検査・分類装置４、並びに、ホストコンピュータ５を有する。検査・分類装置４は、撮像装置２からの多階調の画像データに基づいて欠陥検査を行い、欠陥が検出された場合に欠陥が属すべき欠陥クラス（欠陥の種別であり、「カテゴリ」等とも呼ばれる。）へと欠陥（の画像）を分類する。ホストコンピュータ５は、画像分類装置１の全体動作を制御するとともに検査・分類装置４における欠陥の分類に利用される分類器４２２を生成する。また、撮像装置２は基板９の製造ラインに組み込まれ、画像分類装置１はいわゆるインライン型のシステムとなっている。画像分類装置１は、欠陥検査装置に自動欠陥分類の機能を付加した装置と捉えることもできる。
　撮像装置２は、撮像部２１、基板９を保持するステージ２２、および、撮像部２１に対してステージ２２を相対的に移動するステージ駆動部２３を有する。撮像部２１は、基板９上の検査対象領域を撮像して画像データを取得する。撮像部２１は、照明光を出射する照明部２１１、光学系２１２、および、撮像デバイス２１３を有する。光学系２１２は基板９に照明光を導き、基板９からの光は光学系２１２に入射する。撮像デバイス２１３は、光学系２１２により結像された基板９の像を電気信号に変換する。ステージ駆動部２３はボールねじ、ガイドレール、モータ等により構成される。ホストコンピュータ５がステージ駆動部２３および撮像部２１を制御することにより、基板９上の検査対象領域が撮像される。
　検査・分類装置４は、欠陥検出部４１、および、欠陥画像を分類する分類制御部４２を有する。欠陥検出部４１は、検査対象領域の画像データを処理しつつ欠陥を検出する。欠陥検出部４１は検査対象領域の画像データを高速に処理する専用の電気的回路を有し、撮像された画像と欠陥が存在しない参照画像との比較や画像処理により検査対象領域の欠陥検査を行う。分類制御部４２は各種演算処理を行うＣＰＵや各種情報を記憶するメモリ等により構成され、特徴量算出部４２０、特徴量変換部４２１、および、分類部である分類器４２２を含む。分類器４２２は、線形判別分析を利用して欠陥の分類、すなわち、欠陥画像の分類を実行する。
　図２は、画像分類装置１による欠陥画像の分類の流れを示す図である。まず、図１に示す撮像装置２が基板９を撮像することにより、検査・分類装置４の欠陥検出部４１が画像のデータを取得する（ステップＳ１）。次に、欠陥検出部４１が検査対象領域の欠陥検査を行い、欠陥が検出されると、欠陥部分の画像である欠陥画像のデータが生成されて準備される（ステップＳ２）。欠陥画像のデータは分類制御部４２へと送信される。分類制御部４２の特徴量算出部４２０は、欠陥画像の複数種類の特徴量の配列である特徴量ベクトルを算出する（ステップＳ３）。ここで、欠陥画像から取得される特徴量としては、欠陥画像が示す幾何学的特徴量（例えば、欠陥の面積や周囲長等）や統計的特徴量（例えば、欠陥と背景の階調値の差や高次局所自己相関等）が利用される。欠陥画像と、欠陥を含まない参照画像との差を示す画像から特徴量が算出されてもよい。
　特徴量変換部４２１は、特徴量ベクトルに含まれる各種類の特徴量を所定の変換関数に従って変換し、複数の変換済み特徴量（変換済み特徴量ベクトル）を取得する（ステップＳ４）。複数の変換済み特徴量は分類器４２２に入力されて分類結果が出力される。すなわち、分類器４２２を用いて欠陥画像が複数の欠陥クラスのいずれかに分類される（ステップＳ５）。画像分類装置１では、欠陥検出部４１にて欠陥が検出される毎に特徴量ベクトルの算出および変換がリアルタイムにて行われ、多数の欠陥画像の自動分類が高速に行われる。
　次に、ホストコンピュータ５による分類器の構築および変換関数について説明する。図３はホストコンピュータ５の構成を示す図である。ホストコンピュータ５は各種演算処理を行うＣＰＵ５１、基本プログラムを記憶するＲＯＭ５２、および、各種情報を記憶するＲＡＭ５３を含む一般的なコンピュータシステムの構成となっている。ホストコンピュータ５は、情報記憶を行う固定ディスク５４、画像等の各種情報の表示を行うディスプレイ５５、ユーザからの入力を受け付けるキーボード５６ａおよびマウス５６ｂ（以下、「入力部５６」と総称する。）、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体８から情報の読み取りを行う読取装置５７、並びに、画像分類装置１の他の構成との間で信号を送受信する通信部５８をさらに含む。
　ホストコンピュータ５には、事前に読取装置５７を介して記録媒体８からプログラム８０が読み出され、固定ディスク５４に記憶される。そして、ＣＰＵ５１によりＲＡＭ５３および固定ディスク５４を利用しつつプログラム８０に従って演算処理が実行される。
　図４はホストコンピュータ５のＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、固定ディスク５４等により実現される、分類器を構築するための機能構成を示すブロック図である。図４には、検査・分類装置４の一部も示している。ホストコンピュータ５は、特徴量変換部６１１および分類器６１２を含む分類制御部６１と、分類器６１２を学習させて構築する学習部６２とを備える。分類部である分類器６１２は、正確には、予め定められた記憶領域に分類を行うために必要な情報を格納することにより実現される機能構成である。検査・分類装置４の分類器４２２も同様である。
　ホストコンピュータ５は、画像記憶部６４、および、情報記憶部６５をさらに備える。画像記憶部６４は、各欠陥画像のデータである欠陥画像データ８０１と、特徴量ベクトル８０２とを記憶する。各欠陥画像に対応する欠陥画像データ８０１と特徴量ベクトル８０２とは関連付けられる。特徴量ベクトル８０２は、既述のように、各欠陥画像から得られる複数種類の特徴量の配列である。特徴量ベクトル８０２に含まれる特徴量としては、既述のように幾何学的特徴量や統計的特徴量が利用される。以下の説明では、特徴量の種類を「特徴種別」という。
　実際には、複数の欠陥画像に対する欠陥画像データ８０１および特徴量ベクトル８０２が画像記憶部６４に記憶される（情報記憶部６５における後述の教示欠陥クラス８１１において同様）。情報記憶部６５は、各欠陥画像に関連付けられた教示欠陥クラス８１１を記憶する。教示欠陥クラス８１１は、ユーザにより各欠陥画像に付与された欠陥クラスである。すなわち、教示欠陥クラス８１１は、欠陥の種類等を各欠陥画像に関連付ける後述の教示作業の結果を示す情報である。
　ホストコンピュータ５にて分類器６１２が構築されると、分類器６１２は検査・分類装置４の分類器４２２へと転送される。もちろん、ホストコンピュータ５の機能は、検査・分類装置４に含めることも可能である。
　図５は、ホストコンピュータ５による分類器の構築の流れを示す図である。分類器の構築とは、分類器が含む線形判別関数のパラメータに値を付与すること等により分類器を生成することを意味する。
　分類器の構築の際には、事前準備として、検査・分類装置４にて検出された多数の欠陥画像のデータがホストコンピュータ５に入力され、画像記憶部６４に欠陥画像データ８０１として記憶される。また、検査・分類装置４では、欠陥画像の特徴量ベクトルが求められるため、欠陥画像データと共に特徴量ベクトルもホストコンピュータ５に入力され、画像記憶部６４に記憶される。なお、記憶される特徴量ベクトル８０２は、欠陥画像データ８０１に基づいてホストコンピュータ５により再度生成されてもよい。
　続いて、ユーザにより、欠陥クラスの教示が行われる。欠陥クラスの教示では、例えば、複数の欠陥画像が、ホストコンピュータ５のディスプレイ５５に表示される（図６参照）。本処理例における複数の欠陥画像は、基板上のレジストによるパターンの欠陥を示す。続いて、入力部５６がユーザからの教示入力を受け付けることにより、複数の欠陥画像のそれぞれに対して、複数の（Ｎ個の）欠陥クラスのうちの一の欠陥クラスが関連付けられる。関連付けられた欠陥クラスは、教示欠陥クラス８１１として情報記憶部６５に記憶される。図６では、各欠陥画像の下に「教示：異物」等と示すことにより、欠陥画像の欠陥クラスが示されている。なお、本処理例では、図６中にて「教示：反射」と示す欠陥画像は、後述の教師画像としては用いられない。
　以上の処理により、複数の欠陥クラスのうちの一の欠陥クラスに属すると教示された欠陥画像（すなわち、教示欠陥クラス８１１が決定された欠陥画像）を教師画像として、複数の教師画像が準備される（ステップＳ１１）。各欠陥画像は特徴量ベクトル８０２に関連付けられているため、実質的には、特徴量ベクトル８０２と教示欠陥クラスとが関連付けられる。既述のように、特徴量ベクトル８０２は、複数の特徴種別における特徴量の配列である。
　図７は、一の特徴種別に関する複数の教師画像の特徴量のヒストグラムを示す図であり、図８は、他の一の特徴種別に関する複数の教師画像の特徴量のヒストグラムを示す図である。図７に示すように、ヒストグラムの形状が、およそ０を中心として左右対称となる特徴種別以外に、図８に示すように、ヒストグラムの形状が、０を中心とせず、かつ、左右非対称となる（すなわち、出現頻度に偏りがある）特徴種別も存在する。このように、複数の教師画像における特徴量の分布は、特徴種別毎に様々である。
　特徴量変換部６１１では、各教師画像の特徴量ベクトル８０２に含まれる各特徴種別の特徴量が変換されて、変換済み特徴量が取得される（ステップＳ１２）。具体的には、各特徴種別に関して、複数の教師画像における複数の特徴量の最小値および最大値が取得される。続いて、最小値の絶対値および最大値の絶対値のうち大きい方の値により当該複数の特徴量のそれぞれを割ることにより、特徴量の新たな値（以下、「正規化済み特徴量」という。）が得られる。正規化済み特徴量は、－１以上かつ＋１以下である。なお、特徴量の正規化は他の手法により行われてもよく、例えば、平均が０になり、分散が１になるような線形変換により正規化が行われてもよい。
　複数の特徴種別の正規化済み特徴量が取得されると、番号ｉの特徴種別の正規化済み特徴量をｘｉとして、当該特徴種別の変換済み特徴量θｉが数１に示す変換関数により求められる。
　　（数１）
　θｉ＝ｔａｎ－１ｘｉ
　図９は、数１の変換関数のグラフである。図９の横軸は正規化済み特徴量ｘｉを示し、縦軸は変換済み特徴量θｉを示す。数１は逆正接関数を示し、ｘｉの増加に従ってθｉが狭義単調増加する。ここで、狭義単調増加は、２つの任意の実数ａ，ｂ（ただし、ａ＜ｂ）に対して、関数ｆ（ｘ）がｆ（ａ）＜ｆ（ｂ）を満たすことを意味し、後述の狭義単調減少は、ｆ（ａ）＞ｆ（ｂ）を満たすことを意味する。また、数１の変換関数の傾きは、ｘｉが０の時に最大となり、ｘｉが０から離れるに従って漸次減少する。したがって、数１による特徴量の変換は、非線形変換となる。既述のように、正規化済み特徴量ｘｉは－１以上かつ＋１以下の有限の正規化範囲に含まれ、当該正規化範囲が数１を利用する数値範囲（以下、「利用範囲」という。）Ａ１となる。利用範囲Ａ１における数１の変換関数の傾きは、当該利用範囲Ａ１の中央にて最大となる。また、当該利用範囲Ａ１の上限および下限に近づくに従って数１の変換関数の傾きは０に近づく。
　各教師画像に対して、複数の特徴種別の変換済み特徴量の集合である変換済み特徴量ベクトルが取得されると、複数の教師画像の変換済み特徴量ベクトルを用いて分類器６１２が生成される（ステップＳ１３）。本処理例では、分類器６１２の学習アルゴリズムとして、周知の線形判別が利用され、例えば、フィッシャーの線形判別分析が利用される。フィッシャーの線形判別分析では、クラス内の共分散を小さくするとともにクラス間の共分散を大きくするように線形判別関数が求められる。また、分類器６１２の学習アルゴリズムとして、線形のカーネル関数を利用したサポートベクターマシン（線形判別の一手法と捉えることができる。）が利用されてもよい。これらの手法は、所定の判別関数の係数を求めることにより分類器６１２が生成されるパラメトリック判別である。
　既述のように、構築された分類器６１２は検査・分類装置４の分類器４２２へと転送される。また、特徴量変換部６１１における変換関数も検査・分類装置４の特徴量変換部４２１へと転送される。そして、分類器４２２および特徴量変換部４２１を利用して、欠陥検出部４１にて検出される欠陥画像の分類が行われる。
　図１０は、構築された分類器６１２の性能評価結果を示す図である。ここでは、学習結果として得られた分類器６１２に、学習に使用した全ての教師画像を分類させることにより正答率を調べる、いわゆる全数学習全数分類（All-for-all）により性能評価を行い、性能評価結果として、分類結果をまとめたコンフュージョンマトリクス（混同行列）を図１０に示している。以下、分類器６１２による分類結果における欠陥クラスを「分類欠陥クラス」という。
　図１０では、３個の教示欠陥クラスを「異物」、「不良黒」、「気泡」として行見出しに記し、３個の分類欠陥クラスを「異物」、「不良黒」、「気泡」として列見出しに記している。教示欠陥クラス「Ａ」に属する複数の教師画像のうち、分類欠陥クラス「Ｂ」に属すると判定された教師画像の個数は、「Ａ」の行と「Ｂ」の列との交差位置に示される。なお、見出しに「Ｃｏｒｒｅｃｔ」と記す行は、各分類欠陥クラスに分類された教師画像のうち、当該分類欠陥クラスと教示欠陥クラスとが一致する教師画像の個数（総正答数）を示し、見出しに「Ｓｕｍ」と記す行は、各分類欠陥クラスに分類された教師画像の個数（総数）を示し、見出しに「Ｐｕｒｉｔｙ」と記す行は、各分類欠陥クラスの「Ｓｕｍ」の個数に占める「Ｃｏｒｒｅｃｔ」の個数の比率を示す（見出しに「Ｃｏｒｒｅｃｔ」、「Ｓｕｍ」、「Ａｃｃｕｒａｃｙ」と記す列において同様）。また、「Ｐｕｒｉｔｙ」の行と「Ａｃｃｕｒａｃｙ」の列との交差位置は、分類が行われた教師画像の総数のうち、教示欠陥クラスと分類欠陥クラスとが一致した教師画像の個数の比率（総正答率）を示す。
　図１０に示すように、分類器６１２の学習および性能評価では、５１１５個の教師画像が使用され、１５７８個の教師画像が「異物」の教示欠陥クラス、２８４９個の教師画像が「不良黒」の教示欠陥クラス、６８８個の教師画像が「気泡」の教示欠陥クラスにそれぞれ教示されている。「異物」と教示した１５７８個の教師画像のうち、正しく「異物」と分類されたものは１５３７個である。誤って「不良黒」と分類されたものが４１個、「気泡」と分類されたものが０個である。「異物」と教示した教師画像における分類の正答率（分類の正確さ）は９７．４％である。また、「異物」と分類された１７５１個の教師画像のうち、「異物」と教示したものは１５３７個であり、「不良黒」と教示したものは２１４個であり、「気泡」と教示したものは０個である。「異物」と分類された教師画像における分類の正答率（分類の信頼性）は８７．８％である。分類器６１２による総正答率は９１．５％である。
　図１１は、比較例の分類器の性能評価結果を示す図である。比較例の分類器は、複数の教師画像の特徴量ベクトル、すなわち、ステップＳ１２における非線形変換（特徴量の正規化を含む。）が行われていない特徴量ベクトルを用いて、分類器６１２と同じ学習アルゴリズム（線形判別）にて生成される。既述のように、分類器６１２による総正答率が９１．５％であるのに対し、比較例の分類器による総正答率は８９．９％である。なお、正規化済み特徴量（非線形変換は行われない。）を用いて生成した他の比較例の分類器においても、総正答率は、上記比較例の分類器と同様である。このように、変換済み特徴量を用いて生成される分類器６１２では、比較例の分類器に比べて、分類性能が向上する。
　次に、次元の呪いについて述べる。次元の呪いは、使用する特徴種別の数を増やしても汎化能力（すなわち、未知の画像を正しく分類する能力）が向上しない現象のことである。この現象は、球面集中現象により説明されることが多いが、簡単には、次元の増加に伴ってデータ間の距離が互いに等しくなっていくことに起因し、高次元特徴量空間内では、クラス間の境界（境界超平面、すなわち判別関数）も期待したほど機能しなくなる。なお、球面集中現象とは、多次元の特徴量空間において、ある欠陥画像の特徴量ベクトルが示す位置（以下、単に「欠陥画像の位置」という。）を中心とする多次元超球を想定した場合に、当該超球に含まれる大部分の欠陥画像の位置が当該超球の（ほぼ）表面に存在する現象である。
　現実に算出される特徴量で張られる特徴量空間では、特徴量の次元数が増えるに従って球面集中現象が顕著になる。一方、球面集中現象では、ｎ次元の特徴量空間における（大部分の）欠陥画像の位置を、超球の半径に等しい動径ｒと偏角θｉを用いて表すことができる。したがって、あらゆる特徴種別の特徴量は偏角θｉで表されるべきものであり、実際に欠陥画像から算出されるｎ個の特徴量は、これらが何らかの関数により変換された結果として得られるものと考えることができる。換言すると、画像の分類において、欠陥画像から算出されるｎ個の特徴量は、ｎ個の偏角θｉに変換すべきものであると考えられる。このように、球面集中現象を前提とした判別モデルを採用することにより、次元の呪いを緩和することが可能となる。
　そこで、上記処理例では、数１を利用して、各特徴種別の特徴量（ここでは、正規化済み特徴量）ｘｉから変換済み特徴量θｉが求められる。ここで、偏角（θ１，θ２，・・・，θｎ）だけでｎ次元の新たな特徴量空間を張ると、この特徴量空間内における線形関数は、変換前の特徴量空間では非線形なものとして振る舞う。言い換えると、複数の特徴量に対する数１による変換は、非線形変換となる。そして、非線形変換により得られた変換済み特徴量を用いて、分類器４２２による線形判別により、欠陥画像が複数のクラスのうちの一のクラスに分類される。このように、特徴量の非線形変換、および、線形判別による分類を行うことにより、次元の呪いの影響が大きい場合であっても分類精度を容易に向上させることができる。
　上記処理例では、特徴量の正規化範囲が－１以上かつ＋１以下（以下、［－１，＋１］と表記する。）であり、当該正規化範囲が数１の利用範囲Ａ１となる。当該利用範囲Ａ１のみに着目すると、数１の変換関数では、ｘｉが０である場合に傾きが１にて最大となり、ｘｉが－１および＋１である場合に傾きが１／２にて最小となる。ここで、特徴量の正規化範囲を［－２，＋２］、［－５，＋５］、［－１０，＋１０］とした場合における分類器の性能評価結果は、図１２Ａ、図１２Ｂおよび図１２Ｃのようになる。図１０、並びに、図１２Ａないし図１２Ｃから明らかなように、特徴量の正規化範囲を広くするに従って、総正答率が低下する。この理由としては、正規化範囲の境界近傍において変換関数の傾きが小さくなり、変換済み特徴量の大きさの差が生じにくくなることが一因と推測される。なお、数１の変換関数では、ｘｉが－２および＋２である場合に傾きが１／５となり、ｘｉが－５および＋５である場合に傾きが１／２６となり、ｘｉが－１０および＋１０である場合に傾きが１／１０１となる。
　そこで、数１の逆正接関数よりも変化が緩やかな数２の逆双曲線正弦関数を変換関数として利用する場合について述べる。
　　（数２）
　θｉ＝ｓｉｎｈ－１ｘｉ
　図１３は、数２の変換関数のグラフである。数２も、数１と同様にｘｉの増加に従ってθｉが狭義単調増加する。また、数２の変換関数の傾きは、ｘｉが０の時に最大となり、ｘｉが０から離れるに従って漸次減少する。したがって、数２による特徴量の変換も、非線形変換となる。
　図１４Ａないし図１４Ｄは、それぞれ特徴量の正規化範囲を［－１，＋１］、［－２，＋２］、［－５，＋５］、［－１０，＋１０］としつつ数２を利用して生成した分類器６１２の性能評価結果を示す図である。上記正規化範囲は、いずれも０を中心とするため、数２の利用範囲（すなわち、正規化範囲）において数２の変換関数の傾きは、当該利用範囲の中央にて１となり、最大となる。また、当該利用範囲内における上限および下限の近傍において、当該上限および下限に近づくに従って数２の変換関数の傾きは０に近づく。図１４Ａないし図１４Ｄが示す総正答率は、いずれも上記比較例の分類器による総正答率（図１１参照）よりも大きい。具体的には、正規化範囲が［－５，＋５］である場合に総正答率が９１．６％にて最大となり、特徴量の正規化範囲を［－１，＋１］としつつ数１を利用して生成した分類器６１２による総正答率９１．５％と同等となる。
　なお、数２の変換関数では、ｘｉが－１および＋１である場合に傾きが１／（ｓｑｒｔ２）となり（ただし、（ｓｑｒｔＡ）はＡの平方根を示す。）、ｘｉが－２および＋２である場合に傾きが１／（ｓｑｒｔ５）となる。また、ｘｉが－５および＋５である場合に傾きが１／（ｓｑｒｔ２６）となり、ｘｉが－１０および＋１０である場合に傾きが１／（ｓｑｒｔ１０１）となる。図１０、図１２Ａないし図１２Ｃ、並びに、図１４Ａないし図１４Ｄから、利用範囲の上限および下限における変換関数の傾きが１／２６以上であれば、上記比較例の分類器よりも高い総正答率が得られている。
　上記画像分類装置１では、様々に変更が可能である。
　上記実施の形態では、複数の変換済み特徴量を用いて、線形判別により画像を複数のクラスのうちの一のクラスに分類する分類部が利用されるが、他のパラメトリック判別またはノンパラメトリック判別により、画像を分類する分類部が利用されてもよい。当該他のパラメトリック判別としては、ＳＶＭ法等が例示され、ノンパラメトリック判別としては、ｋ－近傍法やカーネル密度推定法等が例示される。
　ステップＳ１２における変換済み特徴量の取得では、例えば、番号ｉの特徴種別に関して、特徴量の最小値の絶対値および最大値の絶対値のうち大きい方の値の逆数をｋｉとして、（θｉ＝ｔａｎ－１ｋｉ・ｘｉ）を求めることにより、正規化および非線形変換が同時に行われてもよい。また、変換済み特徴量の取得では、必ずしも正規化が行われる必要はなく、欠陥画像から得られる特徴量が、変換関数によりそのまま変換されてもよい。換言すると、変換関数の利用範囲は必ずしも有限である必要はない。
　変換関数は、非線形変換に利用される特徴量の数値範囲（利用範囲）において狭義単調減少するものであってもよく、例えば、数１および数２の右辺に－１を掛けた変換関数が例示される。この場合に、上記実施の形態と同様に、０を中央とする利用範囲を設定する時には、当該利用範囲における変換関数の傾きは、当該利用範囲の中央にて最小となる。
　変換関数における利用範囲は必ずしも０を中央とする必要はない。ただし、有限の利用範囲を設定する場合には、少なくとも利用範囲内における上限および下限の近傍において、当該上限および下限に近づくに従って変換関数の傾きが０に近づくことが好ましい。
　上記実施の形態では、変換関数が、逆正接関数または逆双曲線正弦関数を含むことにより好ましい非線形変換を行うことが可能となるが、非線形変換に利用される特徴量の利用範囲において狭義単調増加または狭義単調減少するものであるならば、変換関数として様々なものが利用可能である。例えば、特徴量の正規化範囲を［－π／２，＋π／２］として、（θｉ＝ｓｉｎｘｉ）等の三角関数が変換関数として利用されてもよい。
　欠陥画像は、半導体基板以外の基板のパターンの欠陥や異物等の欠陥を示すものであってもよい。当該基板として、ハードディスク基板等の薄膜デバイス、プラズマディスプレイや液晶ディスプレイ等の薄型ディスプレイに用いられるガラス基板、フォトマスク基板、フィルム基板、プリント配線基板等が例示される。
　また、画像分類装置１が、血液や培養液等の所定の液中の細胞を撮像した細胞画像を分類する用途に用いられてもよい。このように、画像分類装置１は、様々な対象物を示す画像の分類に利用可能である。さらに、画像分類装置１では、可視光により撮像される画像以外に、レーザ光、電子線やＸ線等により撮像される画像が分類されてよい。画像分類装置１における分類対象の画像は、広義の放射線を利用して取得される。
　上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。
　発明を詳細に描写して説明したが、既述の説明は例示的であって限定的なものではない。したがって、本発明の範囲を逸脱しない限り、多数の変形や態様が可能であるといえる。
　１　　画像分類装置
　４２１，６１１　　特徴量変換部
　４２２，６１２　　分類器
　Ｓ１～Ｓ５，Ｓ１１～Ｓ１３　　ステップ

Claims (8)

  1. 　画像を分類する画像分類装置であって、
    　画像から取得される複数の特徴量に対して、所定の変換関数を用いて非線形変換を行うことにより、複数の変換済み特徴量を取得する特徴量変換部と、
    　前記複数の変換済み特徴量を用いて、パラメトリック判別またはノンパラメトリック判別により、前記画像を複数のクラスのうちの一のクラスに分類する分類部と、
    を備え、
    　前記変換関数が、前記非線形変換に利用される特徴量の数値範囲において狭義単調増加または狭義単調減少する。
  2. 　請求項１に記載の画像分類装置であって、
    　前記数値範囲が有限であり、前記数値範囲内における上限および下限の近傍において、前記上限および前記下限に近づくに従って前記変換関数の傾きが０に近づく。
  3. 　請求項２に記載の画像分類装置であって、
    　前記数値範囲における前記変換関数の傾きが前記数値範囲の中央にて最大または最小となる。
  4. 　請求項１ないし３のいずれかに記載の画像分類装置であって、
    　前記変換関数が、逆正接関数または逆双曲線正弦関数を含む。
  5. 　画像を分類する画像分類方法であって、
    　ａ）画像から取得される複数の特徴量に対して、所定の変換関数を用いて非線形変換を行うことにより、複数の変換済み特徴量を取得する工程と、
    　ｂ）前記複数の変換済み特徴量を用いて、パラメトリック判別またはノンパラメトリック判別により、前記画像を複数のクラスのうちの一のクラスに分類する工程と、
    を備え、
    　前記変換関数が、前記非線形変換に利用される特徴量の数値範囲において狭義単調増加または狭義単調減少する。
  6. 　請求項５に記載の画像分類方法であって、
    　前記数値範囲が有限であり、前記数値範囲内における上限および下限の近傍において、前記上限および前記下限に近づくに従って前記変換関数の傾きが０に近づく。
  7. 　請求項６に記載の画像分類方法であって、
    　前記数値範囲における前記変換関数の傾きが前記数値範囲の中央にて最大または最小となる。
  8. 　請求項５ないし７のいずれかに記載の画像分類方法であって、
    　前記変換関数が、逆正接関数または逆双曲線正弦関数を含む。
PCT/JP2015/081768 2014-12-15 2015-11-11 画像分類装置および画像分類方法 WO2016098495A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-252850 2014-12-15
JP2014252850A JP6430228B2 (ja) 2014-12-15 2014-12-15 画像分類装置および画像分類方法

Publications (1)

Publication Number Publication Date
WO2016098495A1 true WO2016098495A1 (ja) 2016-06-23

Family

ID=56126394

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/081768 WO2016098495A1 (ja) 2014-12-15 2015-11-11 画像分類装置および画像分類方法

Country Status (3)

Country Link
JP (1) JP6430228B2 (ja)
TW (1) TWI601098B (ja)
WO (1) WO2016098495A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020032409A (ja) * 2018-08-27 2020-03-05 株式会社Ｓｃｒｅｅｎホールディングス 教師データ生成方法および吐出状態の判定方法
WO2020045176A1 (ja) * 2018-08-27 2020-03-05 株式会社Ｓｃｒｅｅｎホールディングス 教師データ生成方法および吐出状態の判定方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6401648B2 (ja) * 2015-03-31 2018-10-10 株式会社Ｓｃｒｅｅｎホールディングス 欠陥分類装置および欠陥分類方法
JP6890101B2 (ja) 2018-04-13 2021-06-18 日東電工株式会社 画像識別装置、及び画像識別装置を備える物品製造装置
JP2020052475A (ja) * 2018-09-21 2020-04-02 株式会社Ｓｃｒｅｅｎホールディングス 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259911A (ja) * 2001-03-02 2002-09-13 Nec Corp パターン認識装置、パターン認識方法及びプログラム
JP2008065544A (ja) * 2006-09-06 2008-03-21 Toshiba Corp 識別器及びその方法
JP2014199533A (ja) * 2013-03-29 2014-10-23 キヤノン株式会社 画像識別装置、画像識別方法およびプログラム
WO2014196167A1 (ja) * 2013-06-03 2014-12-11 株式会社デンソー 特徴量変換装置、学習装置、認識装置、及び特徴量変換プログラム製品

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200844429A (en) * 2007-05-15 2008-11-16 Chi-Hao Yeh An automatic optical inspection approach for detecting and classifying the surface defects on coating brightness enhancement film
CN101995223B (zh) * 2009-08-25 2013-05-08 比亚迪股份有限公司 一种芯片外观检测方法及系统
US10043264B2 (en) * 2012-04-19 2018-08-07 Applied Materials Israel Ltd. Integration of automatic and manual defect classification
US9715723B2 (en) * 2012-04-19 2017-07-25 Applied Materials Israel Ltd Optimization of unknown defect rejection for automatic defect classification

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259911A (ja) * 2001-03-02 2002-09-13 Nec Corp パターン認識装置、パターン認識方法及びプログラム
JP2008065544A (ja) * 2006-09-06 2008-03-21 Toshiba Corp 識別器及びその方法
JP2014199533A (ja) * 2013-03-29 2014-10-23 キヤノン株式会社 画像識別装置、画像識別方法およびプログラム
WO2014196167A1 (ja) * 2013-06-03 2014-12-11 株式会社デンソー 特徴量変換装置、学習装置、認識装置、及び特徴量変換プログラム製品

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
NORIYUKI KONO ET AL.: "Shokuji Ninshiki o Mochiita Mobile Shokuji Kanri System", THE 5TH FORUM ON DATA ENGINEERING AND INFORMATION MANAGEMENT (DAI 11 KAI THE DATABASE SOCIETY OF JAPAN NENJI TAIKAI, 31 May 2013 (2013-05-31) *
TAKIO KURITA: "Nonlinear Discriminant Analysis and Related Topics", IPSJ SIG NOTES HEISEI 22 NENDO ?3? [ CD-ROM, 15 October 2010 (2010-10-15), ISSN: 1884-0930 *
VEDALDI, ANDREA ET AL.: "Efficient Additive Kernels viaExplicit Feature Maps", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 34, no. 3, March 2012 (2012-03-01), pages 480 - 492 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020032409A (ja) * 2018-08-27 2020-03-05 株式会社Ｓｃｒｅｅｎホールディングス 教師データ生成方法および吐出状態の判定方法
WO2020045176A1 (ja) * 2018-08-27 2020-03-05 株式会社Ｓｃｒｅｅｎホールディングス 教師データ生成方法および吐出状態の判定方法
JP7219190B2 (ja) 2018-08-27 2023-02-07 株式会社Ｓｃｒｅｅｎホールディングス 教師データ生成方法および吐出状態の判定方法

Also Published As

Publication number Publication date
TW201626330A (zh) 2016-07-16
JP6430228B2 (ja) 2018-11-28
JP2016115115A (ja) 2016-06-23
TWI601098B (zh) 2017-10-01

Similar Documents

Publication Publication Date Title
WO2016098495A1 (ja) 画像分類装置および画像分類方法
JP6669453B2 (ja) 画像分類装置および画像分類方法
JP6472621B2 (ja) 分類器構築方法、画像分類方法および画像分類装置
JP6063756B2 (ja) 教師データ作成支援装置、教師データ作成装置、画像分類装置、教師データ作成支援方法、教師データ作成方法および画像分類方法
JP6401648B2 (ja) 欠陥分類装置および欠陥分類方法
JP6113024B2 (ja) 分類器取得方法、欠陥分類方法、欠陥分類装置およびプログラム
US10803575B2 (en) System, method and computer program product for generating a training set for a classifier
CN110969175B (zh) 晶圆处理方法及装置、存储介质和电子设备
JP5718781B2 (ja) 画像分類装置および画像分類方法
US20200184697A1 (en) Image Modification Using Detected Symmetry
US20210357617A1 (en) Eye state detection method, electronic device, detecting apparatus and computer readable storage medium
JP2016181098A (ja) 領域検出装置および領域検出方法
JP6531036B2 (ja) 教師データ作成支援方法、画像分類方法、教師データ作成支援装置および画像分類装置
JP2014137284A (ja) 教師データ作成支援装置、教師データ作成装置、画像分類装置、教師データ作成支援方法、教師データ作成方法および画像分類方法
CN110717385A (zh) 一种动态手势识别方法
JP6763673B2 (ja) 教師データ作成支援装置、画像分類装置、教師データ作成支援方法および画像分類方法
Choi et al. Deep learning based defect inspection using the intersection over minimum between search and abnormal regions
US8768644B2 (en) Particle distribution analysis method for computer readable storage medium for storing program for executing the method
US9148631B2 (en) Defect inspection method and device therefor
Ghadhban et al. Segments interpolation extractor for finding the best fit line in Arabic offline handwriting recognition words
JP2018205860A (ja) 分類器構築方法、分類器および分類器構築装置
CN116205918B (zh) 基于图卷积的多模态融合半导体检测方法、装置及介质
CN117132564A (zh) 基于YOLOv3的蓝宝石衬底表面缺陷检测方法及系统
JP2016051429A (ja) 教師データ作成支援方法、画像分類方法、教師データ作成支援装置および画像分類装置
JP2019057024A (ja) 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15869703

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15869703

Country of ref document: EP

Kind code of ref document: A1