WO2022130762A1 - 欠陥検査装置、欠陥検査方法および製造方法 - Google Patents

欠陥検査装置、欠陥検査方法および製造方法 Download PDF

Info

Publication number
WO2022130762A1
WO2022130762A1 PCT/JP2021/038022 JP2021038022W WO2022130762A1 WO 2022130762 A1 WO2022130762 A1 WO 2022130762A1 JP 2021038022 W JP2021038022 W JP 2021038022W WO 2022130762 A1 WO2022130762 A1 WO 2022130762A1
Authority
WO
WIPO (PCT)
Prior art keywords
defect
type
image
defects
unit
Prior art date
Application number
PCT/JP2021/038022
Other languages
English (en)
French (fr)
Inventor
壮郎 竹島
徹 塚本
大介 北山
祥平 小川
亮太 塔ノ上
Original Assignee
Ａｇｃ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ａｇｃ株式会社 filed Critical Ａｇｃ株式会社
Priority to JP2022569735A priority Critical patent/JPWO2022130762A1/ja
Priority to KR1020237009842A priority patent/KR20230119625A/ko
Priority to CN202180074221.1A priority patent/CN116368375A/zh
Publication of WO2022130762A1 publication Critical patent/WO2022130762A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models

Definitions

  • the present invention relates to a defect inspection apparatus, a defect inspection method and a manufacturing method.
  • the present invention relates to, for example, a technique for determining the state of defects occurring in an inspected object by using image data showing an image of the inspected object.
  • the present application claims priority for Japanese Patent Application No. 2020-207561 filed in Japan on December 15, 2020, the contents of which are incorporated herein by reference.
  • a glass substrate whose surface is covered with a thin film such as metal or oxide, fine electronic members and the like may be formed on the surface.
  • a glass substrate can be used, for example, in various displays such as liquid crystal displays, photomasks, electronic device supports, information recording media, flat antennas, and the like.
  • Defects that occur on the surface of the glass substrate cause defects such as disconnection. Defects include, for example, scratches and dirt. Therefore, the surface of the glass substrate is required to have high cleanliness and flatness.
  • Patent Document 1 describes a defect inspection method for classifying defects generated on a wafer as a substrate by using a deep learning model.
  • a deep learning model needs to learn model parameters indicating input / output relationships using a large amount of training data.
  • misclassification can occur frequently. For example, when classifying the types of defects represented in an image, the probability of misclassification into a particular type may increase. In such cases, the user may want to modify the model parameters to avoid misclassification.
  • the present invention has been made in view of the above points, and one of the objects of the present invention is to provide a defect inspection device, a defect inspection method, and a manufacturing method that facilitate system management in defect inspection. ..
  • the present invention has been made to solve the above-mentioned problems, and one aspect of the present invention is the defect inspection apparatus for inspecting defects generated in the inspected object based on an image of the inspected object.
  • a plurality of defect discriminators for discriminating different types of defects using a predetermined machine learning model based on an image are provided, and the defect inspection device discriminates the types of defects discriminated by each defect discriminator.
  • a defect inspection device that is part of a predetermined number of defect types of interest.
  • Another aspect of the present invention is a defect inspection method for inspecting defects generated in the inspected object based on an image of the inspected object, respectively, using a predetermined machine learning model based on the image.
  • a plurality of defect discrimination steps for discriminating different types of defects are provided, and the type of the defect discriminated in each defect discriminating step is a part of a predetermined number of defect types to be discriminated in the defect inspection method.
  • the object to be inspected is glass, and even if it is an inspection step using the defect inspection apparatus of (1) or a method of manufacturing glass having (2) a defect inspection method. good.
  • system management in defect inspection becomes easier. For example, the frequency of erroneous determinations for a particular type can be reduced or eliminated without affecting the determination results for other types of defects.
  • FIG. 1 is a schematic block diagram showing a configuration example of a defect inspection device according to the present embodiment.
  • the defect inspection device 100 according to the present embodiment is an inspection device for inspecting defects that may occur in the inspected object by using image data showing an image of the inspected object.
  • the defect inspection device 100 is a step of acquiring image data showing an image of the inspected object and determining the type of defect occurring in the inspected object by using a predetermined machine learning model based on the acquired image data. Execute multiple steps.
  • Candidates for one or more types of defects to be discriminated in each defect discriminating step are a predetermined number of defect types (M types, M is a predetermined integer of 2 or more) to be discriminated as the entire defect inspection device 100 (M types, M is a predetermined integer of 2 or more). Hereinafter, it is a part of the distinguishable type). Further, the candidates for one or a plurality of types of defects to be discriminated differ depending on the defect discriminating process.
  • the defect inspection device 100 includes a control unit 110, an image pickup unit 130, an input / output unit 140, an operation unit 150, a display unit 160, and a storage unit 170.
  • the control unit 110 executes a process for realizing the function of the defect inspection device 100 and a process for controlling the function.
  • the control unit 110 includes a general-purpose member such as a processor, and may be configured as a computer.
  • the processor reads a program stored in the storage unit 170 in advance, performs a process instructed by a command described in the read program, and realizes the function. In the present application, performing a process instructed by a command described in a program may be referred to as executing a program, executing a program, or the like.
  • control unit 110 is not limited to general-purpose hardware such as a processor, and may be configured to include dedicated hardware such as LSI (Large Scale Integration) and ASIC (Application Specific Integrated Circuit).
  • LSI Large Scale Integration
  • ASIC Application Specific Integrated Circuit
  • the image pickup unit 130 captures images showing various objects existing in the visual field range around its own section, and outputs image data showing the captured images to the control unit 110.
  • the imaging unit 130 may be provided with a mechanism for varying the imaging conditions for one object to be inspected, or may have a mechanism for imaging under a plurality of imaging conditions at one time.
  • the imaging condition is a condition that significantly affects the image to be captured. Depending on the type of defect that occurs in the object to be inspected, the brightness and shape of the image of the defect may differ significantly depending on the imaging conditions.
  • the imaging conditions are specified, for example, by any one of brightness, imaging direction, lighting method, etc., or a combination thereof.
  • FIG. 3 illustrates a case where an image of one inspected object common to be captured under four kinds of imaging conditions at a time.
  • the four types of imaging conditions are classified into two types as a combination of brightness and imaging direction, and two types of illumination methods, reflection and transmission.
  • the bright field is a position and direction in which the light beam emitted by the illumination is applied to the inspected object Sb and the incident direction of the reflected light reflected from the inspected object Sb or the transmitted transmitted light is included in the visual field.
  • It is an imaging condition with a camera) installed. In the bright field, the reflected light or the transmitted light from the inspected object Sb is directly incident on the camera, so that a bright image is captured.
  • the dark field of view means that the light beam emitted by the illumination is applied to the inspected object Sb, and the incident direction of the reflected light reflected from the inspected object Sb or the transmitted light transmitted is not included in the visual field, but the inspected object Sb does not include the incident direction.
  • This is an imaging condition in which the imaging unit 130 is installed at a position and orientation included in the field of view. In the dark field, the reflected light or transmitted light from the inspected object Sb is not directly incident on the camera, but the scattered light generated on the surface of the inspected object Sb is incident, so that an image darker than the bright field is captured.
  • the image pickup unit 130 may be configured to include either a digital still camera that captures a still image or a digital video camera that captures a moving image.
  • the moving image is composed of a still image obtained by repeatedly imaging at a fixed time interval (for example, 1/120 to 1/12 second).
  • the input / output unit 140 connects to other devices wirelessly or by wire so that various data can be input / output.
  • the input / output unit 140 includes, for example, an input / output interface or a communication interface.
  • the input / output unit 140 is connected to, for example, various control devices, measuring devices, and other devices used in the manufacturing process.
  • the operation unit 150 accepts the user's operation and generates an operation signal according to the accepted operation.
  • the operation unit 150 may be configured to include, for example, a dedicated member such as a button, a knob, a dial, or a general-purpose member such as a mouse or a keyboard.
  • the operation unit 150 may be an input interface that receives an operation signal wirelessly or by wire from another device.
  • Other devices can be mobile devices such as, for example, remote controllers, multifunctional mobile phones, and the like.
  • the operation unit 150 outputs the acquired operation signal to the control unit 110.
  • the display unit 160 displays display information such as images, characters, symbols, etc. based on the display data input from the control unit 110.
  • the display unit 160 may include, for example, a liquid crystal display, an organic electroluminescence display, or the like.
  • the storage unit 170 stores various data used for processing executed by the control unit 110 and various data acquired by the control unit 110.
  • the storage unit 170 includes, for example, a non-volatile (non-temporary) storage medium such as a ROM (Read Only Memory), a flash memory, and an HDD (Hard Disk Drive). Further, the storage unit 170 includes a volatile storage medium such as a RAM (RandomAccessMemory) and a register.
  • the control unit 110 has a defect detection unit 112, a defect determination unit 114, a comprehensive determination unit 116, a model learning unit 118, a manufacturing process control unit 120, a new type determination unit 122, and a determination input unit as functional units that realize the function. It is configured to include 124. Each of these functional units may be configured to include a dedicated member, or may perform its function by executing a predetermined program by the processor.
  • the subject to be inspected is mainly a glass substrate for a flat panel display (FPD), but the subject to be inspected may be another object.
  • the control unit 110 has a defect detection unit 112, a defect determination unit 114, a comprehensive determination unit 116, a model learning unit 118, a manufacturing process control unit 120, a new type determination unit 122, and a determination input unit as functional units that realize the function. It is configured to include 124. Each of these functional units may be configured to include a dedicated member, or may perform its function by executing a predetermined program by the processor.
  • the subject to be inspected is mainly a glass substrate for a flat panel display (FPD), but the subject to be inspected may be another object.
  • the defect detection unit 112 outputs image data showing an image of a portion including each one defect region as a defect image to the defect determination unit 114.
  • the defect detecting unit 112 determines the image of the detected object as a good product image, and outputs the image data showing the good product image to the comprehensive determination unit 116. Further, in that case, the defect detection unit 112 may output the instruction information instructing the display of the input screen to the determination input unit 124. If the size of the area defined as the defect area is less than the detection threshold value of the predetermined size in each of the horizontal direction and the vertical direction, the defect detection unit 112 ignores the determination result of the defect area. It may be defined as a normal area. As the detection threshold value, a size sufficiently smaller than the size of a typical defect is set in advance in the defect detection unit 112.
  • the defect discriminator 114 includes a plurality of defect discriminators.
  • the number of defect discriminators is N (N is a predetermined integer of 2 or more), and each defect discriminator is numbered as a defect discriminator 114-1, 114-2, etc. May be distinguished.
  • the components of individual defect discriminators may be distinguished by adding child numbers.
  • the individual defect discriminator does not necessarily have to be composed only of hardware, and its function may be realized by executing a predetermined program.
  • the N defect discriminators 114-1 to 114-N each set the type of defect shown in the image indicated by the image data input from the defect detection unit 112 to either one or a plurality of types of defect candidates. The process of discrimination is performed for each defect generated in the inspected object. Candidates for one or more types of defects that can be discriminated may differ among the N defect discriminators 114-1 to 114-N. Each of these candidates forms a part of M types of discriminable types that can be discriminated by the defect detection unit 112 as a whole. Therefore, M is equal to or greater than N. When M and N are equal, the N defect discriminators 114-1 to 114-N determine whether or not the types of defects generated in the inspected object are different types of defects.
  • It functions as a one-class discriminator for determining the probability of one of the types.
  • M is more than N
  • at least one defect discriminator determines whether the type of defect occurring in the inspected object is any one of a plurality of types, or the probability of each type. Functions as a class discriminator. In the following description, mainly the case where M and N are equal will be taken as an example.
  • the defect discriminators 114-2 to 114-N shall have the same functional configuration as the defect discriminator 114-1 unless otherwise specified, and the description for the defect discriminator 114-1 is incorporated.
  • the defect discriminator 114-1 executes a pretreatment step, an inference step, a defect determination step, and a quality determination step (corresponding to steps S112-1, S114-1, S116-1 and S118-1 in FIG. 2).
  • the preprocessing step includes a process for matching the format of the image data input to the own device with the format required as input to the inference process (for example, the number of elements of the input value). Pretreatment steps include dimensionality reduction, resizing, or both.
  • Resizing is a process of changing the number of pixels in the horizontal and vertical directions of the partial area to be processed. Resizing can be either enlargement or reduction.
  • the defect discriminator 114-1 interpolates the signal value for each pixel of the input image to determine the signal value for each pixel of the enlarged or reduced image.
  • the defect discriminator 114-1 can use known interpolation methods such as bilinear interpolation and bicubic interpolation in interpolation.
  • the defect discriminator 114-1 does not simply resize the image at a predetermined magnification, but includes the entire defect area for each one defect area, and has a horizontal or vertical diameter thereof.
  • the maximum value may be set to be a constant r (for example, a real number of 0.5 or more and less than 1) of the horizontal or vertical size of the partial region.
  • the diameter corresponds to the length of a line segment in all directions across the area of the defect. For example, when the shape of the detected defect is elliptical, it is represented by the length of the major axis as the maximum value of the diameter of the defect. When the shape of the detected defect is rectangular, it is represented by the length of the long side as the maximum value of the diameter of the defect.
  • Dimensionality reduction is a process of aggregating a plurality of images obtained by capturing one partial region under different imaging conditions into a smaller number of images.
  • Dimensionality reduction is realized by image composition.
  • the image composition includes a process of calculating the weighted sum of the luminance values between a plurality of images as a new signal value for each pixel.
  • the weighted sum corresponds to the sum of the multiplication values, which is the product of the luminance values of the individual images and the weighting factors corresponding to the images.
  • the number of images generated by image composition may be at least one, but may be plural (for example, three). In image composition, for example, a technique called alpha blending may be used.
  • the alpha blend is a method in which the sum of the weighting coefficients (alpha values) for each image to be combined is normalized to 1.
  • the ratio of the weighting factors between the images may be different between the defect discriminators 114-1 to 114-N.
  • a value larger than the weighting coefficient for other images may be set as the weighting coefficient for the image under the imaging conditions in which the defect can be easily detected. ..
  • the weighting coefficient for the image captured in the bright field is set to be relatively small, and the weighting coefficient for the image captured in the dark field is set to be large. Scratches are more reliably detected from images acquired in the dark field.
  • the defect discriminator 114-1 adopts the signal value for each generated image as the color signal value for each different color tone for each pixel.
  • Image data showing one color image may be generated by integrating images for each of three types of color tones.
  • a color system for expressing a color image an RGB color system, a YCrCb color system, or the like can be used.
  • An example is an example in which one color image Im05 is combined by reducing the dimensions of four images Im01 to Im04 of partial regions having different imaging conditions.
  • the defect discriminator 114-1 acquires the images Im01 and Im02 captured in the bright field and the images Im03 and Im04 captured in the dark field.
  • the images Im01 and Im03 are images obtained by imaging the transmitted light
  • the images Im02 and Im04 are images obtained by imaging the reflected light.
  • the shape and brightness of the defect differ depending on the imaging conditions.
  • the image Im05 is represented by a composite value obtained by synthesizing the signal values of four images using different weighting coefficients for red, green, and blue in the defect discriminator 114-1.
  • the signal value of the red channel of the image Im05 is obtained by synthesizing the luminance value of the image Im01 and the luminance value of the image Im02 at a ratio of 0.7: 0.3 for each weight coefficient.
  • the signal value of the green channel of the image Im05 is obtained by synthesizing the luminance value of the image Im03 and the luminance value of the image Im04 at a ratio of the respective weight coefficients of 0.4: 0.6.
  • the signal value of the blue channel of the image Im05 is obtained by synthesizing the luminance value of the image Im02 and the luminance value of the image Im03 at a ratio of 0.5: 0.5 as the ratio of the respective weight coefficients.
  • the inference step is a step of determining the probability that the type of defect generated in the inspected object is a predetermined type with respect to the image data indicating the image to be processed.
  • the defect discriminator 114-1 inputs a signal value for each pixel forming the image data as an input value, uses a predetermined machine learning model for the input input value, and calculates the probability as an output value.
  • the output value is a real value of 0 or more and 1 or less.
  • a parameter set (model parameter) for calculating an output value from an input value is set in advance in the defect discriminator 114-1.
  • a machine learning model for example, a neural network such as a convolutional neural network (CNN) or a recurrent neural network (RNN) can be used.
  • the machine learning models that can be used are not limited to neural networks, but methods such as random forest (RF: Random Forest) and support vector machine (SVM) can also be used.
  • the defect determination step is a step of determining whether or not the defect corresponds to the type of defect to be determined based on the probability calculated in the inference process. For example, when the calculated probability is larger than the predetermined defect determination threshold value, the defect discriminator 114-1 determines that the type is applicable, and when the calculated probability is equal to or less than the defect determination threshold value, the defect discriminator 114-1 is not classified as the type. Judge as applicable.
  • the defect determination threshold value may be set independently for each type of defect to be determined. For example, in each defect discriminator, a value as small as the defect determination threshold value for a type of defect having a high risk of occurrence is set, and a value as large as a defect determination threshold value for a type of defect with a low risk of occurrence is set.
  • a high risk of occurrence means that there is a high possibility of physical or economic loss due to the occurrence, or that those losses are large.
  • high-risk defects which are the types of defects with a high risk of occurrence
  • low-risk defects which are the types of defects with a low risk of occurrence
  • the risk to scratches, bubbles, foreign matter, and dirt is lower in that order, and the risk to scratches is higher. Therefore, the higher the risk defect, the smaller the defect determination threshold value, so that the recall rate (Recall) that can detect the defect relatively without omission can be increased.
  • the defect discriminator 114-1 generates a defect flag indicating whether or not the defect is applicable to the target area to be determined, and stores the defect flag generated in association with the target area in the storage unit 170. ..
  • a state in which a predetermined object is attached or mixed as a type of defect such as the above-mentioned "foreign matter” and "dirt", may be referred to by using the name of the object.
  • the quality determination step is a step of determining the quality of the defect region based on the predetermined determination reference value for the detected defect when it is determined in the defect determination process that it corresponds to a predetermined defect type. If it is determined that the defect is not applicable in the defect determination step, the pass / fail determination step is not executed.
  • the defect discriminator 114-1 determines, for example, that the region is a defective product when the size (size) of the detected defect is larger than the determination reference value shown in the determination data set in the own device in advance. If the size of the detected defect is less than or equal to the judgment standard value, the area is judged to be non-defective.
  • each defect is represented by a figure on a two-dimensional plane, but the defect discriminator 114-1 determines the maximum value of the diameter of the detected defect as the size of the defect.
  • the judgment reference value may be set independently for each type of defect to be judged. For example, the judgment reference value for scratches is 100 to 300 ⁇ m, and the judgment reference value for foreign matter is 50 to 120 ⁇ m.
  • the defect discriminator 114-1 generates a defective product flag indicating a non-defective product or a defective product for the defect to be determined and its type, and stores the defective product flag in the storage unit 170 in association with the target area.
  • the comprehensive determination unit 116 determines the state of the entire object to be inspected with reference to the quality state of each of the detected defects. For example, the comprehensive determination unit 116 refers to all the quality determinations indicated by the quality flags for each defect of the inspected object regardless of the type of defect, and counts the number of defects determined to be defective. When the number of defects of all types is larger than the predetermined number of determination criteria, the comprehensive determination unit 116 determines that the object to be inspected is a defective product, and when the number of defects of all types is equal to or less than the predetermined number of determination criteria. The body to be inspected is judged to be non-defective.
  • the quality determination process is parallel between the types of defects, so that a defective product flag indicating a defective product may be associated with a plurality of defect types for one defect.
  • the defect to which the comprehensive determination unit 116 and the plurality of defective product flags are associated may be treated as corresponding to the plurality of types. For example, when three defects are detected in the object to be inspected, the comprehensive determination unit 116 corresponds to both scratches and foreign substances for a certain defect 001 and corresponds to dirt for a defect 002. , Defect 003 is determined to correspond to foreign matter and dirt.
  • the defect determination unit 114 may determine 3 defects, which is the number of defects actually generated, as the number of defects, or 5 defects, which is the total number of defects for each type, as the number of defects.
  • determination data indicating the determination reference number of the number of defects for each type of defect may be set in advance, and the state of the inspected object may be determined using the determination data. (Rule base).
  • the comprehensive determination unit 116 counts the number of defects by referring to the pass / fail determination indicated by the pass / fail flag for each defect for each type of defect.
  • the comprehensive determination unit 116 determines that the inspected body is a defective product when there is a defect type in which the counted number of defects is equal to or greater than the determination reference number shown in the determination data, and when the defect type does not exist.
  • the object to be inspected is judged to be a non-defective product.
  • the number of judgment criteria for the type of defect with a high risk of occurrence may be smaller, and the number may be larger as the number of judgment criteria for the type of defect with a lower risk of occurrence.
  • the number of judgment criteria is 1 and 5, respectively.
  • FIG. 5 illustrates a case where one scratch and two dusts are detected from the inspected object. If we focus only on the dust that is a specific type of defect and not the other types of defects, the number of detected dust is 2, which is less than the number of judgment criteria, so the inspected object is considered to be a good product. Can be determined. However, since the number of scratches is equal to the number of determination criteria, which is one, the comprehensive determination unit 116 determines that the inspected object is a defective product. Therefore, by comparing the number of individual defects with the number of determination criteria, it is possible to avoid the risk of being judged as a non-defective product for the inspected object having unacceptable defects.
  • the weighting coefficient for each type of defect is set in advance in the comprehensive determination unit 116, and the weighted sum, which is the sum of the weighting coefficient for each type of defect and the multiplication value of the number of defects between the types of defects, is used as the effective number. It may be calculated.
  • the comprehensive judgment unit 116 determines that the inspected body is a defective product when the effective number is larger than the predetermined judgment reference number, and determines that the inspected body is a good product when the effective number is less than or equal to the judgment reference number. good.
  • image data indicating a non-defective product image is input from the defect detection unit 112 to the comprehensive determination unit 116, the inspected object may be determined to be a non-defective product.
  • the comprehensive determination unit 116 outputs instruction information indicating the display of the input screen when all the defects and the quality determinations of the types indicated by the pass / fail flags for each defect of the inspected object are determined to be non-defective. It may be output to the determination input unit 124.
  • the comprehensive determination unit 116 outputs the determination result information indicating the determination result to the manufacturing process control unit 120.
  • the manufacturing process control unit 120 refers to the determination result information input from the comprehensive determination unit 116, and discards the inspected body determined to be a defective product or returns it to the manufacturing process.
  • the manufacturing process control unit 120 outputs, for example, a control signal indicating remand to the manufacturing process or disposal to the manufacturing equipment.
  • the comprehensive determination unit 116 may include information on the number of defects for each type of defect or the number of all defects in the determination result information.
  • the model learning unit 118 calculates the parameter group of the machine learning model used for discriminating the type of defect in the defect discriminating unit 114 as a model parameter.
  • the model learning unit 118 applies a predetermined machine learning model to training data (also called (training data), learning data (learning data), supervised data, etc.) for each type of defect to be discriminated.
  • the model parameters are calculated by performing a learning process using the data.
  • the model learning unit 118 is trained to include a plurality of sets (typically 1000 to 10000 or more) of data sets which are a set of known input values and output values corresponding to the input values before performing the learning process. Set the data. As the input value, image data including a signal value for each pixel is used.
  • the model learning unit 118 can use, for example, training data configured by adding (annotation) the type of defect and its output value to each image data to be an input value.
  • the model learning unit 118 converges so that the magnitude of the difference between the calculated value and the output value calculated by using the predetermined machine learning model with respect to the input value as a whole of the plurality of sets converges to be close to zero.
  • Update model parameters When the amount of change in the model parameters before and after the update or the amount of change in the magnitude of the difference before and after the update is less than a predetermined convergence test threshold value, it can be determined that the model parameters have converged.
  • methods such as steepest descent, stochastic gradient descent, conjugate gradient method, and back propagation are used. be able to.
  • the model learning unit 118 sets the model parameters calculated for each type of defect in the defect discriminator related to the determination of the type of the defect.
  • the model learning unit 118 sets the output value related to the type of defect to 1 for the type of defect input from the determination input unit 124, and sets the data set in which the image data to be determined is the input value to the defect. It may be added to the training data related to the type of. Further, the model learning unit 118 may set the output value related to the other types to 0 and add a data set having the image data as the determination target as the input value to the training data related to the type of the defect. Then, the model learning unit 118 may update the model parameters related to each defect type by using the newly added training data (transfer learning).
  • the manufacturing process control unit 120 controls the manufacturing process of the product based on the state of defects occurring in the product to be inspected as determined by the defect determination unit 114.
  • the manufacturing process control unit 120 includes information on the state of defects and correction conditions in advance, and sets control data in which these are associated with each other in advance.
  • the modified condition is a condition for modifying the manufacturing condition used in the manufacturing process at that time to give the modified manufacturing condition.
  • the manufacturing process control unit 120 can use the number of defects generated in the inspected object for each type as an example of information on the state of defects.
  • the number of defects for each type is transmitted by the determination result information input from the comprehensive determination unit 116.
  • the manufacturing conditions may include operating parameters for executing the manufacturing process of the product, environmental parameters indicating the environment thereof.
  • the operating parameters may include the rotational speed of the power forming the manufacturing equipment, power consumption, and the like.
  • Environmental parameters can include temperature, pressure, and the like.
  • the modified condition can be represented by the amount of change in any kind of parameter to give the modified manufacturing condition.
  • the manufacturing process control unit 120 uses the control data to determine information on correction conditions corresponding to the state of the referenced defect.
  • the manufacturing process control unit 120 generates control information instructing the change of the manufacturing conditions under the determined modified conditions, and outputs the generated control information to the manufacturing equipment.
  • the manufacturing equipment modifies the manufacturing conditions using the modified conditions indicated by the manufacturing information input from the manufacturing process management unit 120, and executes the manufacturing process under the modified manufacturing conditions.
  • the new type determination unit 122 determines whether or not the type of defect detected from the inspected object is a new type different from any of the known types of defects. When, for example, the new type determination unit 122 determines that the type of defect detected by the defect detection unit 112 is not any of the types of defects determined by the defect determination unit 114, the new type determination unit 122 determines that the type of defect is a new type. .. For example, the new type determination unit 122 determines that the type of defect is a new type for the defect corresponding to each of the defect discriminators 114-1 to 114-N, with respect to the defect indicating that the defect flag is not applicable. It can be judged.
  • the display unit 160 may display a notification screen indicating that the type of defect is a new type. Further, in that case, the new type determination unit 122 may output instruction information indicating the display of the input screen to the determination input unit 124. As a result, the worker who is the user can be made aware that the type of defect is a new type, and can be urged to input the type of defect and the judgment of good / bad.
  • the determination input unit 124 inputs from the operation unit 150 an operation signal indicating the type of defect occurring in the inspected object shown in the image shown in the image data or the quality of the inspected object.
  • the determination input unit 124 includes, for example, an image of the object to be inspected shown in the image data, and a screen component that can be instructed by pressing either the type of defect, the quality of the inspected object, or both.
  • a screen may be generated and the generated input screen may be displayed on the display unit 160. Pressing means that, in addition to actually pressing, an operation signal indicating a position included in the display area is input from the operation unit 150 or another device according to the operation.
  • screen components for example, buttons, check boxes, menu bars, and the like can be used.
  • the comprehensive determination unit 116 When the instruction information indicating the display of the input screen is input from the defect detection unit 112, the comprehensive determination unit 116, or the new type determination unit 122, the input screen may be displayed on the display unit 160. This prompts the user to input the type or pass / fail judgment.
  • the determination input unit 124 outputs the input defect type and the quality determination information of the inspected object to the comprehensive determination unit 116. Further, the determination input unit 124 may output the type of the input defect to the model learning unit 118.
  • FIG. 2 is a flowchart showing an example of the inspection process according to the present embodiment.
  • Step S102 The image pickup unit 130 captures an image of an FPD glass substrate as an example of the object to be inspected. After that, the process proceeds to step S104.
  • Step S104 The defect detection unit 112 detects a defect region, which is a portion where a defect has occurred, from the image of the object to be detected captured by the image pickup unit 130. After that, the process proceeds to step S110.
  • the process of step S110 includes the process of steps S110-1 to S110-N.
  • the processes of steps S110-1 to S110-N are executed in parallel for each common partial region including individual defect regions detected from the images captured by the defect discriminators 114-1 to 114-N, respectively. Since the processes of steps S110-2 to S110-N are the same as the processes of steps S110-1, the description thereof will be incorporated.
  • the defect discriminator 114-1 executes a preprocessing step on the image in the partial region.
  • the defect discriminator 114-1 includes dimension reduction for the image captured for each different imaging condition and resizing of the input value to the image inference step for the number of elements of the image after the dimension reduction to the number of elements.
  • the image after preprocessing is horizontal.
  • the number of elements in the direction, the number of elements in the vertical direction, and the number of dimensions can be 224, 224, and 3, respectively.
  • the defect discriminator 114-1 may be reconstructed into a two-dimensional color image in which the number of pixels in the horizontal direction and the number of pixels in the vertical direction are 224 and 224, respectively. After that, the process proceeds to step S114-1.
  • Step S114-1 The defect discriminator 114-1 executes inference processing on the signal value for each pixel indicating the image after preprocessing.
  • the defect discriminator 114-1 uses the signal value for each pixel as an input value, and the type of defect represented in the partial region as an output value using a predetermined machine learning model corresponds to the type of defect predetermined for the own device. Calculate the probability. After that, the process proceeds to step S116-1.
  • Step S116-1) The defect discriminator 114-1 executes the defect determination step.
  • the defect discriminator 114-1 determines whether the type of defect corresponds to the predetermined defect type in the own device depending on whether the calculated probability is larger than the predetermined defect determination threshold value set in the own device. To judge.
  • Step S118-1 The defect discriminator 114-1 executes a pass / fail determination step.
  • the defect discriminator 114-1 determines whether or not the defect is good or bad based on whether or not the size of the detected defect is larger than the determination reference value set in the own device. After that, the process proceeds to step S122.
  • the comprehensive determination unit 116 refers to the quality status of each detected defect type, and determines whether the inspection body as a whole is a non-defective product or a defective product.
  • the comprehensive determination unit 116 determines whether the product is a non-defective product or a defective product, for example, depending on whether or not the number of defects determined to be defective products is larger than the predetermined number of determination reference reference products.
  • the manufacturing process control unit 120 adopts the inspected object determined to be a non-defective product as the product to be shipped, and discards the inspected object determined to be a defective product or returns it to the manufacturing process. After that, the process of FIG. 2 is terminated.
  • the defect inspection device 100 includes defect discriminators 114-1 to 114-N for determining whether or not the detected defect corresponds to the type of the defect for each type of defect. .. Therefore, modification of the model parameters used for one type of determination does not affect the determination of other types of defects. Further, it is possible to use an imaging condition, an imaging unit 130 or a pretreatment suitable for each type of defect. Then, the N defect discriminators 114-1 to 114-N are arranged in parallel. That is, each defect discriminator determines whether or not the detected defect type corresponds to a predetermined defect type, regardless of the determination results of the other defect discriminators.
  • each defect discriminator has information on the types of defects, for example, regardless of the criterion value for determining whether the defects are good or bad. , Select the feature quantity specific to the type.
  • the more types of defects to be determined the more computational resources are required.
  • the defect discriminators 114-1 to 114-N may be arranged in series. More specifically, the type of defect detected in the image in the partial region of the defect discriminator 114-n (n is an integer of 1 or more and N-1 or less) is set to a predetermined type of defect in the own device. When it is determined that the defect does not apply, the defect discriminator 114-n + 1 starts a process of determining whether or not the detected defect type corresponds to a predetermined defect type in the own device. When the defect discriminator 114-n determines that the type of defect detected from the image in the partial region corresponds to a predetermined type in the own device, the defect discriminator 114-n determines the type of the detected defect as the type determined to correspond.
  • step S110-1 the defect discriminator 114-1 determines whether or not the detected defect type is a scratch, and when it is determined that the defect corresponds to a scratch, the process of FIG. 6 is performed. To finish. When it is determined that the scratch is not applicable, the defect discriminator 114-1 proceeds to the process of step S110-2. In step S110-2, the defect discriminator 114-2 determines whether or not the detected defect type is a bubble, and when it is determined that the defect corresponds to a bubble, the process of FIG. 6 ends. When it is determined that the foam is not applicable, the defect discriminator 114-2 proceeds to the subsequent processing.
  • the number of defect discriminators that execute the defect discriminating step at a time is limited to one, so that limited computational resources can be effectively used. It can be utilized. Further, since the learning of the model parameters used in the subsequent defect discriminator can be executed independently of the learning of the model parameters used in the preceding defect discriminator, the problem of increasing the learning time does not occur. However, the timing at which the execution of the defect discriminating step by the subsequent defect discriminator is started is after the defect discriminating step by the preceding defect discriminator is completed. Therefore, as illustrated in FIG. 7, the processing time tends to be slower as the number of types of defects to be discriminated in the defect inspection device 100 as a whole increases. In FIG.
  • the vertical axis and the horizontal axis indicate the processing time and the number of models, respectively.
  • the number of models corresponds to the type of defect to be detected, that is, the number of defect discriminators.
  • the processing time exemplified in FIG. 7 includes a component proportional to the number of models and a constant component (about 0.043 seconds, see broken line) regardless of the number of models.
  • the former corresponds to the time required to determine whether or not each defect is applicable to the type of defect.
  • the latter corresponds to the time spent regardless of the type of defect, such as shooting and preprocessing.
  • the number of defect discriminators is 10 or less, the processing time is almost the same as the case of using the conventional multi-class model.
  • the equivalent or two-class model has higher accuracy.
  • the two-class model is a machine learning model used to determine whether or not the type of defect corresponds to a predetermined type.
  • the multi-class model is a machine learning model used to determine which of a predetermined plurality of types of defects the type of defect is. In the example shown in FIG. 8, the wrong answer rates are 4.0% and 2.0% for the multi-class model and the two-class model, respectively, and the two-class model has higher accuracy.
  • the defects of the first to Nth types to be discriminated are determined so as to be in descending order of their occurrence frequency. You may leave it. The more frequently the type of defect is detected, the earlier it is detected, so that the processing time does not become excessive. Further, the defects of the first to Nth types to be discriminated by the defect discriminators 114-1 to 114-N may be defined so as to be in descending order of the magnitude of their risks. Defects with higher risk are detected earlier, so damage due to delay in detecting defects can be reduced.
  • the new species determination unit 122 executes the new species determination step (step S122-n).
  • the new species determination step includes a pretreatment step (step S122-a), an inference step (step S122-b), a new species degree calculation step (step S122-c), and a new species degree determination step (step S122-d).
  • step S110-3 is omitted in FIG. 9, it does not necessarily mean that the process of step S110-3 is omitted. It was
  • step S122-a the new species determination unit 122 performs the same pretreatment step as in step S112-1 or step S112-2.
  • step S122-b the new species determination unit 122 performs inference using an N-class machine learning model for the partial image input to its own unit, and extracts the feature amount calculated in the inference.
  • an N-class machine learning model for example, an N-class neural network (for example, CNN) that calculates the probability of each of the N types as the defect type as an output value can be used.
  • the new type determination unit 122 is given 1 as an output value of the dimension corresponding to the type of the defect indicated by the image indicated by the image data as the input value, and corresponds to other types.
  • the model parameters learned using the training data to which 0 is added as the output value of the dimension to be performed are set.
  • the new type determination unit 122 can acquire the calculated value output from a predetermined intermediate layer excluding the input layer and the output layer of the neural network constituting the own unit as a feature amount indicating the feature of the image.
  • the feature quantity indicating the characteristics of the image (defect) is calculated for each image whose defect type is known by the method described later, and the feature quantity for each defect type is calculated.
  • a representative value (for example, the center of gravity) is set in advance in the new species determination unit 122.
  • the new type determination unit 122 calculates the distance between the representative value of the feature amount determined for each type of defect and the acquired feature amount, and sets the minimum value among the distances calculated for each type as the new type degree. stipulate.
  • a two-dimensional vector showing a feature amount for a detected defect (detection defect) is represented by a star in the feature amount space spanned by the feature amounts X and Y as elements.
  • the distance between the representative value of bubbles and the feature amount is calculated as the new type among the distances between the representative values (x mark) of each of dirt, scratches, bubbles, and dust and the calculated feature amount.
  • the new species determination unit 122 determines that the defect type is a new species, and the value is equal to or less than the threshold value of the predetermined distance. In some cases, it is determined that the type of defect is not new.
  • the new species determination unit 122 defines a value sufficiently larger than the variance of any type of feature amount as the distance threshold value.
  • index values indicating the distance for example, Mahalanobis'distance, Minkowski's distance, Manhattan distance, cosine similarity, and the like can be used.
  • the new species determination unit 122 may output new species detection information indicating that the defect type to be determined is a new species to the comprehensive determination unit 116. Further, when the new species detection information is input from the new species determination unit 122, the comprehensive determination unit 116 may reject the pass / fail flag for the defect indicated by the new species detection information. This prevents the existing determination result from being erroneously adopted.
  • the new species determination unit 122 may determine the feature amount of the image showing the defect determined as the new species as the representative value of the new species. When the feature amount calculated from the separate image data is within a predetermined distance from the representative value of the new species, the new species determination unit 122 determines that the defect type shown in the image data is a new species. May be good. Then, the model learning unit 118 is given image data showing an image of a new type of defect as an input value, a plurality of sets in which 1 is given as an output value, and image data showing an image of another type of defect as an input value. A model parameter for discriminating a new type of defect from the image data may be determined by performing a training process using training data including a plurality of sets in which 0 is given as an output value. The defect determination unit 114 may configure a new defect determination device for determining a new type of defect using the determined model parameters.
  • the processes exemplified in FIGS. 11 and 12 include the processes of steps S102 to S126.
  • the above description is incorporated for the processing of steps S102 to S122.
  • the comprehensive determination unit 116 outputs determination result information indicating the number of defects for each type of defect to the manufacturing process control unit 120 as an example of the state of defects occurring in the product to be inspected.
  • the processing of steps S102 to S122 is included in a series of inspection steps, and the state of defects for each product to be inspected or their time series is obtained as a quality trend.
  • step S124 the manufacturing process control unit 120 refers to the control data set in the own unit in advance, and determines the correction conditions (described later) corresponding to the state of the defect shown in the determination result information.
  • step S126 the manufacturing process management unit 120 generates control information instructing the change of the manufacturing conditions under the determined modified conditions, and outputs the generated control information to the manufacturing equipment (feedback).
  • the manufacturing equipment modifies the manufacturing conditions using the modification conditions indicated by the manufacturing information input from the manufacturing process control unit 120.
  • the modified manufacturing conditions for each product, or their time series, are obtained as control trends.
  • the manufacturing equipment executes the manufacturing process (step S200) using the modified manufacturing conditions.
  • This embodiment can be realized as a manufacturing method including the inspection step of steps S102-S122.
  • steps S102 to S126 may be incorporated not after the manufacturing process S200 but in the middle of the manufacturing process S200, for example, between the cutting / cutting process S203 and the polishing process S204.
  • the manufacturing process management unit 120 may output the generated control information to the upstream manufacturing facility that executes the process preceding steps S102-S126 (feedback), instead of, or.
  • the manufacturing process management unit 120 may output (feedback) the generated control information to the manufacturing equipment downstream of the step S102-S126 to execute the subsequent process.
  • the manufacturing conditions in the downstream process following steps S102-S126 become more efficient. For example, when the steps S102-S126 are incorporated before the polishing step S204, the polishing amount is adjusted in the polishing step S204 based on the control information generated in the step S126. It was
  • the glass substrate is manufactured by a manufacturing method such as a float method or a fusion method.
  • the glass substrate manufacturing step S200 exemplified in FIG. 13 includes, for example, a melting step S201, a molding step S202, a cutting / cutting step S203, a polishing step S204, a product part dropping step S205, and a crushing step S208.
  • the grinding means constitutes a manufacturing facility (not shown).
  • the defect inspection device 100 according to the present embodiment may also be included in the manufacturing equipment.
  • a melting means for example, a melting kiln is used.
  • the melting kiln melts by heating the glass raw material to form molten glass.
  • a molding apparatus is used.
  • the molding apparatus includes a molten tin bath, and in the molding step S202, the molten glass transferred from the melting kiln is developed on the tin in the molten tin bath, and the strip-shaped glass having a predetermined width is molded as a glass ribbon.
  • the glass ribbon may be placed on the main transport path of the transport roller and transported toward the packaging means (not shown) as a glass substrate to be a product.
  • the cutting / cutting step S203, the polishing step S204, and the product part dropping step S205 are executed for the glass substrate.
  • a cutting / cutting means for executing the cutting / cutting step S203 for example, a cutting / folding device is used.
  • the cutting / folding device forms a glass ribbon flowing in the main transport path as a glass substrate of a predetermined size, and includes a cutting line processing device upstream of the transport direction and a folding device downstream of the cutting line processing device. ..
  • the cutting line processing device includes a cutter, and the tip of the cutter is pressed against the surface of the glass ribbon with a predetermined pressure to form a cutting line on the glass ribbon.
  • the folding device divides the glass ribbon along the cut line into glass substrates of a predetermined size.
  • a polishing device for polishing the surface of the divided glass substrate is used.
  • the polishing device is provided with, for example, a plurality of rotating and revolving circular polishing tools, and continuously polishes the glass substrate while moving in the transport direction of the glass substrate (continuous type).
  • circular polishing tools whose diameter is smaller than the width of the glass substrate are paired with reference to the moving center line of the glass substrate, and two pairs are arranged in a staggered pattern along the moving direction, and the circular polishing tools are the moving center. Polish the surface of the glass substrate so that it crosses the line.
  • the polishing device may be provided with a configuration for polishing the surface of the glass substrate in a stationary state (discontinuous type).
  • the polishing device includes, for example, a substrate attaching stage, a film frame mounting stage, a polishing stage, a film frame removing stage, and a substrate removing stage.
  • the substrate attachment stage attaches a glass substrate to the film frame.
  • the membrane frame mounting stage mounts the membrane frame at the bottom of the carrier.
  • the membrane frame removal stage removes the membrane frame from the carrier.
  • the polished glass substrate is removed from the film frame.
  • a drop device is used as a product section drop means for executing the product section drop step S205.
  • the drop device includes a control unit and a rotation mechanism, and controls whether or not the manufactured glass substrate needs to be dropped from the main transport path in the product section drop step S205.
  • the control unit receives the control signal indicating the return from the defect inspection device 100 to the manufacturing process, the control unit rotates the connecting member forming the main transport path in the rotation mechanism.
  • the glass substrate determined to be defective is dropped and returned to the manufacturing process without being shipped via the packaging means.
  • the dropped glass substrate breaks when it collides with an obstacle and becomes a broken object.
  • the control unit does not receive the control signal, the main transport path is maintained.
  • a crusher is used as a crushing means for executing the crushing step S208.
  • the crusher includes a rotary blade for crushing a broken piece, and forms a cullet as a glass raw material in the crushing step S208.
  • the cullet is transported by a belt conveyor installed in the manufacturing equipment and supplied to the melting kiln.
  • the polished glass substrate generated by the polishing step S204 is typically applied as an inspected body.
  • the molten glass produced by the melting step S201, the glass ribbon produced by the molding process S202, or the unpolished glass substrate produced by the cutting / cutting step S203 may be applied.
  • the defect inspection device 100 can discriminate the types of defects that can occur in each process and realize control according to the discriminated defects. For example, bubbles generated on the glass substrate tend to be generated as the temperature of the molten glass is lower than the predetermined reference temperature in the melting step S201. Therefore, in the control data used for controlling the manufacturing process, the larger the amount of bubbles as the detected defect state, the larger the amount of increase in the temperature of the melting kiln is set as a correction condition. As a result, the manufacturing process control unit 120 can raise the temperature of the melting kiln as the number of detected bubbles increases.
  • the control data is associated and set so that the larger the amount of foreign matter as the detected defect state, the larger the increase in polishing time as a correction condition.
  • the manufacturing process control unit 120 can extend the polishing time as the number of detected foreign substances increases.
  • the scratches on the surface of the glass substrate tend to occur due to deterioration of the abrasive used in the polishing step S204. Therefore, in the control data, the reference amount of the amount of scratches as the state of the detected defect and the replacement of the polishing tool as the correction condition are set in association with each other.
  • the manufacturing process control unit 120 can replace the polishing tool when the detected amount of scratches exceeds the reference amount. Scratches also tend to occur due to insufficient pressing force on the surface of the glass substrate of the polishing tool used in the polishing step S204. Therefore, the control data may be set in association with each other so that the larger the amount of scratches as the state of the detected defects, the larger the amount of increase in the pressing force of the polishing tool is as a correction condition. As a result, the manufacturing process control unit 120 can increase the pressing force of the polishing tool against the glass substrate surface as the detected scratches increase.
  • the manufacturing process control unit 120 receives input from the operation unit 150 of an operation signal indicating a correction condition for the manufacturing condition, and uses information relating the change condition and the defect state indicated by the determination result information as control data. It may be included and saved. As a result, the control data is updated with the information associated with the manufacturing conditions instructed to the manufacturing equipment by the operator who is the user and the state of the detected defects. Therefore, the updated control data can be used to control the manufacturing conditions based on the detected defect state.
  • FIG. 14 shows a CNN as an example of a machine learning model according to this embodiment.
  • the input value to the CNN is two-dimensional image data, and the two-class model in which the one-dimensional probability (scalar) is calculated as the output value from the CNN.
  • CNN is a kind of artificial neural network, and includes one input layer, a plurality of intermediate layers, and an output layer.
  • the CNN exemplified in FIG. 14 includes an input layer In02, an intermediate layer of 6 layers, and an output layer Out16.
  • the six intermediate layers include three convolutional layers Cv04, Cv08, Cn12, two pooling layers Pl06, Pl10 and a fully connected layer Fc14. However, after the one-layer convolutional layer and the one-layer pooling layer are alternately repeated twice, the one-layer convolutional layer Cv12 is postponed, and further the one-layer fully-bonded layer Fc14 is postponed.
  • Each layer has one or more nodes (also called nodes, neurons, etc.). Each node outputs the function value of a predetermined function with respect to the input value as an output value.
  • the input layer In02 outputs the signal value for each sample point indicated by the measurement signal input as the input value to the next layer.
  • Each sample point corresponds to one pixel each.
  • the signal value of the sample point corresponding to the node is input to each node of the input layer In02, and the input signal value is output to the corresponding node of the next layer.
  • the number of kernels is preset in the convolution layer.
  • the number of kernels corresponds to the number of kernels used for processing (for example, calculation) for each input value.
  • the number of kernels is usually less than the number of input values.
  • the kernel refers to a processing unit for calculating one output value at a time.
  • the output value calculated in one layer is used as the input value to the next layer.
  • the kernel is also called a filter.
  • the kernel size indicates the number of input values used in one process in the kernel.
  • the kernel size is usually an integer greater than or equal to 2.
  • the feature amount indicating the feature is calculated from a plurality of input values.
  • an output value from any one of the convolutional layers Cv04, Cv08, Cv12 and the pooling layers Pl06, Pl10 can be used for determining a new type of defect.
  • the convolution layer is obtained by performing a convolution operation for each kernel on the input value input from the immediately preceding layer at each of multiple nodes, calculating the convolution value, and adding the calculated convolution value and bias value. This layer calculates the function value of a predetermined activation function for the correction value as an output value, and outputs the calculated output value to the next layer.
  • one or a plurality of input values are input to each node from the immediately preceding layer, and a convolution coefficient independent of each input value is used.
  • the parameters of the convolution coefficient, bias value and activation function are part of a set of model parameters.
  • a normalized linear unit (RectifiedLinearUnit), a sigmoid function, etc.
  • the normalized linear unit is a function that sets the threshold value as an output value for an input value equal to or less than a predetermined threshold value (for example, 0) and outputs an input value exceeding the predetermined threshold value as it is. Therefore, this threshold can be part of a set of model parameters.
  • a predetermined threshold value for example, 0
  • this threshold can be part of a set of model parameters.
  • the necessity of referencing the input value from the node of the immediately preceding layer and the necessity of outputting the output value to the node of the next layer can be a part of one set of model parameters.
  • each node of the convolutional layer is not always connected so that the input value is input to all the nodes of the immediately preceding layer, and the output value is output to all the nodes of the next layer. Is not always combined so that is output.
  • the pooling layer is a layer having nodes that determine one representative value from the input values input from a plurality of nodes of the immediately preceding layer and output the determined representative value as an output value to the next layer.
  • the representative value for example, a value that statistically represents a plurality of input values such as a maximum value, an average value, and a mode value is used.
  • a stride is set in advance for the pooling layer. The stride indicates the range of nodes adjacent to each other in the layer immediately before referring to the input value for one node. Therefore, the pooling layer can also be regarded as a layer that reduces (downsamples) the input value from the immediately preceding layer to a lower dimension and provides the output value to the next layer.
  • the fully connected layer calculates the convolution value by performing a convolution operation on the input value input from the immediately preceding layer at each of the plurality of nodes, and adds the calculated convolution value and the bias value to obtain the calculated value. It is a layer that is calculated as an output value and the calculated output value is output to the next layer. That is, the fully connected layer is obtained by convolving all of the plurality of input values input from the immediately preceding layer using a parameter set (kernel) having a set number smaller than the number of input values. It is a layer that outputs the calculated value to be calculated. Therefore, in the fully coupled layer, the parameters of the convolution coefficient, bias value and activation function are part of a set of model parameters. In this way, by arranging the fully connected layer immediately before the output layer, the degree of freedom is reduced while fully considering the components that significantly affect the characteristic value given from the immediately preceding layer, and the final degree of freedom is reduced. Output value can be derived.
  • the number of layers of CNN, the type of each layer, the number of nodes of each layer, etc. are not limited to those shown in FIG.
  • the CNN according to the present embodiment may have a configuration capable of calculating the probability for each type of defect as an output value for a measurement signal having a signal value for each of a plurality of sample points as an input value.
  • the CNN according to the present embodiment preferably includes an intermediate layer composed of one or more convolutional layers and a pooling layer alternately repeated for one cycle or more and sequentially laminated. be. This is because the components that significantly affect the characteristic value are narrowed down by repeating the convolution layer.
  • the pooling layer may be omitted.
  • a machine learning model that calculates a vector value having 3 or more elements as an output value may be used.
  • the element of the output value is obtained as the probability of the defect type corresponding to the element.
  • the defect determination unit 114 uses a plurality of two-class models for determining whether or not each one type of defect is applicable.
  • the control unit 110 of the defect inspection device 100 may include a feature analysis unit (not shown) that calculates a feature amount indicating a feature of a pattern (including a defect) appearing in an image from image data. Then, for all or part of the defect discriminators 114-1 to 114-N, instead of the signal value for each pixel, or the feature amount calculated by the feature analysis unit together with the signal value is input to the machine learning model. It may be used as.
  • the model learning unit 118 uses the feature amount calculated by the feature analysis unit together with the signal value as an input value for training data used for calculating the model parameters of those machine learning models, instead of the signal value for each pixel. It is used as an input value to the machine learning model.
  • Such features include, for example, shape feature parameters such as circularity, number of oilers, and ferret diameter, HOG (Histograms of Oriented Gradients) features, SIFT (Scaled Invariance Feature Transform) features, and other features used for image recognition. Any of these, or a combination of them, can be used.
  • the calculated feature amount can be used as a feature amount of a defect indicating the state of the inspected object.
  • the new species determination unit 122 may use the feature amount calculated by the feature analysis unit for determining the new species.
  • the determination data may include an image feature amount instead of the presence / absence and number of defects for each type of defect as information indicating the state of the object to be inspected.
  • the defect discrimination unit 114 or the comprehensive determination unit 116 may further include a defect discriminator that determines the type of the defect from the image feature amount analyzed by the feature analysis unit with reference to the determination data.
  • the defect inspection device 100 is a defect inspection device that inspects defects generated in the inspected body based on an image of the inspected body, and is a predetermined machine based on the image. It is provided with a plurality of defect discriminators that discriminate different types of defects using a learning model.
  • the type of defect discriminated by each defect discriminator is a part of a predetermined number of types of defects to be discriminated by the defect inspection device.
  • the plurality of defect discriminators may determine whether or not the type of defect generated in the inspected object corresponds to one predetermined type of defect.
  • the object to be inspected is glass, and may be realized as a manufacturing method having an inspection step using the above-mentioned defect inspection apparatus.
  • each defect discriminator determines whether or not the types of defects detected in the image are part of a predetermined number of types of defects.
  • the parameter set used by other defect discriminators changes the parameter set used for determining the defect type, the parameter set used by other defect discriminators, and thus, is different from the case where all the predetermined number of defect types are subject to the determination. It does not affect the determination of the type of defect.
  • each defect discriminator determines whether or not each of them corresponds to a predetermined type of defect, deterioration of the determination accuracy is further avoided. Therefore, system management becomes easier.
  • the plurality of defect discriminators may discriminate the types of defects occurring in the inspected object in parallel regardless of the determination results of the other defect discriminators. With this configuration, the determination of corresponding / non-applicable to each defect type is performed in parallel, so that the processing time does not increase even if the types of defects to be discriminated increase, so that rapid processing can be realized.
  • the number of defect discriminators is N, and the nth defect discriminator determines whether or not the type of defect generated in the inspected object corresponds to the nth defect type, and determines whether or not the nth defect discriminant corresponds to the nth defect.
  • the defect discriminator of the nth n + 1 has the type of defect generated in the inspected object n + 1.
  • the process of determining whether or not it corresponds to the type of defect may be started. With this configuration, processing for determining whether or not each defect discriminator corresponds to a predetermined defect type is executed in series. Since it is possible to prevent the amount of processing from becoming excessive, it contributes to economic realization.
  • n may be determined in descending order of occurrence frequency or risk magnitude of the nth defect type.
  • each of the plurality of defect discriminators may extract the feature amount of the defect by using the machine learning model.
  • a model learning unit may be provided that defines model parameters for discriminating the specific type of defect by using a machine learning model.
  • the defect discriminator may discriminate the type of defect based on image data showing a plurality of images having different imaging conditions for the object to be inspected. With this configuration, it is possible to more accurately determine the type of defect by using the difference in the characteristics of the image for each imaging condition as a clue.
  • the distance in the space of the feature amount indicating the feature of the defect is the distance between the representative feature amount predetermined for each type of defect and the extracted feature amount which is the feature amount extracted from the image is calculated and calculated.
  • a new type determination unit for determining the type of defect detected from the image as a new type may be provided.
  • a new type determination unit that determines the type of defect detected from the image as a new type may be provided.
  • a manufacturing process control unit that defines correction conditions for correcting the manufacturing conditions of the inspected object may be further provided based on the state of the defects determined by the plurality of defect discriminators.
  • the defect is based on the feature amount of the defect analyzed by the feature analysis unit.
  • a second defect discriminator that determines the type of With this configuration, the type of defect is determined according to the detected feature amount of the defect based on the relationship between the feature amount of the known defect and the type of the defect. Since the type of defect can be determined completely without relying on a machine learning model, the amount of processing can be reduced.
  • a determination input unit may be provided in which the type of defect generated in the inspected object is determined by the type of defect indicated by the acquired operation input.
  • the type of defect determined by the user can be known. Since the type of defect can be determined completely without relying on the machine learning model, the risk of determination error can be reduced.
  • the second defect discriminator or the determination input unit may determine the defect that occurs in the inspected object before the plurality of defect discriminators determine the type of the defect that occurs in the inspected object.
  • the determination using the relationship between the feature amount of the known defect and the type of the defect is performed, or the determination by the user is performed. Therefore, even if the type of the defect cannot be determined by the machine learning model, the type of the defect can be determined. It is decided.
  • the object to be inspected may be glass and may have an inspection step using the above-mentioned defect inspection device.
  • the defect inspection device 100 may be realized as a part of the manufacturing equipment of the inspected object, or may be a single device independent of the inspected object.
  • the defect inspection device 100 is not limited to the manufacturing equipment, and may acquire image data from other devices such as a data storage device and a PC.
  • the defect inspection device 100 may include an image pickup unit 130, an operation unit 150, and a display unit 160, or a part or all of them may be omitted.
  • the image pickup unit 130, the operation unit 150, and the display unit 160 may be connected via the input / output units 140, respectively.
  • the defect inspection device 100 a part or all of the model learning unit 118, the manufacturing process control unit 120, the new type determination unit 122, and the determination input unit 124 may be omitted. Depending on the type of the object to be inspected, the type of defects to be detected, and the number thereof, one or both of the defect detection unit 112 and the comprehensive determination unit 116 may be omitted. The width, length, thickness, etc. of the glass to be inspected are arbitrary. Further, the defect inspection device 100 may be applied as an object to be inspected to determine the presence or absence of defects and the type of defects of an object of a type other than glass, for example, a circuit board or a wafer.
  • a part or all of the defect inspection device 100 in the above-described embodiment may be realized as an integrated circuit such as an LSI (Large Scale Integration).
  • LSI Large Scale Integration
  • Each functional block of the defect inspection device 100 may be individually made into a processor, or a part or all of them may be integrated into a processor.
  • the method of making an integrated circuit is not limited to the LSI, and may be realized by a dedicated circuit or a general-purpose processor. Further, when an integrated circuit technology that replaces an LSI appears due to advances in semiconductor technology, an integrated circuit based on this technology may be used.
  • each defect discriminator determines whether or not the types of defects detected from the image are part of a predetermined number of defect types. To judge.
  • a specific defect discriminator changes the parameter set used for determining the defect type, the parameter set used by other defect discriminators, and thus, is different from the case where all the predetermined number of defect types are subject to the determination. It does not affect the determination of the type of defect. Therefore, system management becomes easier.

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

被検査体の画像に基づき前記被検査体に生ずる欠陥を検査する欠陥検査装置において、画像に基づいて、所定の機械学習モデルを用いてそれぞれ異なる欠陥の種類を判別する欠陥判別器を複数個備え、個々の欠陥判別器が判別する欠陥の種類は、欠陥検査装置が判別対象とする所定数の欠陥の種類の一部である。本実施形態は、欠陥検査装置、欠陥検査方法、製造方法のいずれの形態でも実現できる。本実施形態によれば、欠陥検査におけるシステム管理を容易にすることができる。

Description

欠陥検査装置、欠陥検査方法および製造方法
　本発明は、欠陥検査装置、欠陥検査方法および製造方法に関する。本発明は、例えば、被検査体の画像を示す画像データを用いて被検査体に生ずる欠陥の状態を判定するための技術に関する。
　本願は、２０２０年１２月１５日に日本に出願された特願２０２０－２０７５６１号について優先権を主張し、それらの内容をここに援用する
　製品の品質を管理する際、製品の状態を判定することは重要である。例えば、表面に金属または酸化物等の薄膜で覆われるガラス基板では、その表面において微細な電子部材等が形成されることがある。かかるガラス基板は、例えば、液晶ディスプレイ等の各種ディスプレイ、フォトマスク、電子デバイス支持、情報記録媒体、平面型アンテナなどに用いられうる。ガラス基板の表面に生ずる欠陥は、断線をはじめとする不良の原因となる。欠陥には、例えば、キズ、汚れなどがある。そのため、ガラス基板の表面には、高い清浄性や平坦性などが求められている。
　断線等の不良を低減するために、ガラス基板の表面の状態を解析し、欠陥の状態を判定し、必要に応じて欠陥の発生原因を特定し、製造工程に対する対策を施すことが考えられる。そこで、被検査体の画像に対して機械学習モデルを用いて欠陥の種類を分類することが試みられている。例えば、特許文献１には、深層学習（ディープラーニング、Deep Learning）モデルを用いて基板であるウェハ上に生じた欠陥を分類する欠陥検査方法について記載されている。
　一般的に、深層学習モデルは大量の訓練データを用いて、入出力関係を示すモデルパラメータを学習しておく必要がある。学習に用いられる訓練データの量によっては、誤分類が頻繁に生じるおそれがある。例えば、画像に表される欠陥の種類を分類する場合、特定の種類に誤分類される確率が高くなることがある。そのような場合、ユーザは、誤分類を回避するためにモデルパラメータを修正したいと考える場合がある。
特開２０１９－１２４５９１号公報
　しかしながら、深層学習モデルをはじめとする機械学習モデルにおいてモデルパラメータを修正する場合、特定の種類への誤分類のみを是正することは困難であり、他の種類への分類結果にも影響しがちである。つまり、特定の種類に対する分類が正確になされるようにモデルパラメータが修正されても、他の種類に対する分類が不正確になるおそれがある。全ての種類に対する分類を考慮してモデルパラメータを修正しなければならないため、システム管理に多くの労力や時間が費やされることがあった。
　本発明は上記の点に鑑みてなされたものであり、本発明の課題の一つは、欠陥検査においてシステム管理をより容易にする欠陥検査装置、欠陥検査方法および製造方法を提供することである。
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、被検査体の画像に基づき前記被検査体に生ずる欠陥を検査する欠陥検査装置において、前記画像に基づいて、所定の機械学習モデルを用いてそれぞれ異なる前記欠陥の種類を判別する欠陥判別器を複数個備え、個々の欠陥判別器が判別する前記欠陥の種類は、前記欠陥検査装置が判別対象とする所定数の欠陥の種類の一部である欠陥検査装置である。
（２）本発明の他の態様は、被検査体の画像に基づき前記被検査体に生ずる欠陥を検査する欠陥検査方法であって、前記画像に基づいて、所定の機械学習モデルを用いてそれぞれ異なる前記欠陥の種類を判別する欠陥判別工程を複数個備え、個々の欠陥判別工程において判別される前記欠陥の種類は、前記欠陥検査方法において判別対象とする所定数の欠陥の種類の一部である欠陥検査方法である。
（３）本発明の他の態様は、前記被検査体はガラスであって、（１）の欠陥検査装置を用いた検査工程または（２）欠陥検査方法を有するガラスの製造方法であってもよい。
　本発明によれば、欠陥検査におけるシステム管理をより容易にする。例えば、他の種類の欠陥の判定結果に影響せずに、特定の種類に対する誤判定の頻度を低減または解消できる。
本実施形態に係る欠陥検査装置の構成例を示す概略ブロック図である。 本実施形態に係る検査処理の第１例を示すフローチャートである。 本実施形態に係る撮像部における撮像条件を説明するための説明図である。 被検査体の画像の一例を示す図である。 被検査体の画像の他の例を示す図である。 本実施形態に係る欠陥判別器の接続例を示す図である。 本実施形態に係る欠陥判別処理の処理時間の例を示す図である。 本実施形態に係る機械学習モデルによる欠陥の種別の誤答率の例を示す図である。 本実施形態に係る検査処理の第２例を示すフローチャートである。 本実施形態に係る特徴量空間における距離を説明するための説明図である。 本実施形態に係る検査処理の第３例を示すフローチャートである。 本実施形態に係る検査工程から製造工程へのフィードバック処理の一例の説明図である。 本実施形態に係るガラスの製造工程の一例を示すフローチャートである。 本実施形態に係る機械学習モデルの一例を示す図である。
　以下、図面を参照しながら本発明の実施形態について説明する。
　まず、本実施形態の構成について説明する。図１は、本実施形態に係る欠陥検査装置の構成例を示す概略ブロック図である。
　本実施形態に係る欠陥検査装置１００は、被検査体の画像を示す画像データを用いて、その被検査体に生じうる欠陥を検査するための検査装置である。欠陥検査装置１００は、被検査体の画像を示す画像データを取得し、取得した画像データに基づいて所定の機械学習モデルを用いて被検査体に生ずる欠陥の種類を判別する工程である欠陥判別工程を複数通り実行する。個々の欠陥判別工程で判別対象とする１または複数種類の欠陥の候補は、欠陥検査装置１００全体として判別対象とする所定数（Ｍ種類、Ｍは２以上の所定の整数）の欠陥の種類（以下、判別可能種類）の一部とする。また、判別対象とする１または複数種類の欠陥の候補は、欠陥判別工程ごとに異なる。
　欠陥検査装置１００は、制御部１１０と、撮像部１３０と、入出力部１４０と、操作部１５０と、表示部１６０と、記憶部１７０と、を含んで構成される。
　制御部１１０は、欠陥検査装置１００の機能を実現するための処理や、その機能を制御するための処理を実行する。制御部１１０は、プロセッサなどの汎用の部材を含み、コンピュータとして構成されてもよい。プロセッサは、予め記憶部１７０に記憶させておいたプログラムを読み出し、読み出したプログラムに記述された指令で指示される処理を行って、その機能を実現する。本願では、プログラムに記述された指令で指示される処理を行うことを、プログラムを実行する、プログラムの実行、などと呼ぶことがある。制御部１１０の一部または全部は、プロセッサなどの汎用のハードウェアに限られず、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）等の専用のハードウェアを含んで構成されてもよい。制御部１１０の機能を実現する機能部については後述する。
　撮像部１３０は、自部周辺の視野範囲内に存在する各種の物体を示す画像を撮像し、撮像した画像を示す画像データを制御部１１０に出力する。撮像部１３０は、１個の被検査体に対し、撮像条件を可変とする機構を備えてもよいし、一度に複数の撮像条件で撮像する機構を有していてもよい。撮像条件は、撮像される画像に有意に影響する条件である。被検査体に生ずる欠陥の種類によっては、その欠陥の像の明るさや形状が撮像条件により顕著に異なることがある。撮像条件は、例えば、輝度、撮像方向、照明方法などのいずれか、または、これらの組み合わせで指定される。
　図３は、一度に４通りの撮像条件で共通の１個の被検査体の画像を撮像する場合を例示する。４通りの撮像条件は、輝度と撮像方向の組み合わせとして２通り、照明方法として反射と透過の２通りにそれぞれ分類される。輝度と撮像方向の組み合わせには、明視野と暗視野がある。明視野とは、照明が発した光線を被検査体Ｓｂに照射し、被検査体Ｓｂから反射した反射光または透過した透過光の入射方向が視野内に含まれる位置および向きに撮像部１３０（カメラ）を設置してなる撮像条件である。明視野では、被検査体Ｓｂからの反射光または透過光が直接カメラに入射されるので明るい画像が撮像される。暗視野とは、照明が発した光線を被検査体Ｓｂに照射し、被検査体Ｓｂから反射した反射光または透過した透過光の入射方向が視野内に含まれないが、被検査体Ｓｂが視野内に含まれる位置および向きに撮像部１３０を設置してなる撮像条件である。暗視野では、被検査体Ｓｂからの反射光または透過光が直接カメラに入射されず、被検査体Ｓｂの表面に生ずる散乱光が入射されるため、明視野よりも暗い画像が撮像される。
　撮像部１３０は、静止画を撮像するディジタルスチルカメラ、動画を撮像するディジタルビデオカメラのいずれを含んで構成されてもよい。動画は、一定の時間間隔（例えば、１／１２０～１／１２秒）で繰り返し撮像して得られる静止画を含んで構成される。
　図１に戻り、入出力部１４０は、無線または有線で他の機器と各種のデータを入出力可能に接続する。入出力部１４０は、例えば、入出力インタフェースまたは通信インタフェースを備える。入出力部１４０は、例えば、製造工程で用いられる各種の制御機器、計測機器、その他の機器に接続される。
　操作部１５０は、ユーザの操作を受け付け、受け付けた操作に応じた操作信号を生成する。操作部１５０は、例えば、ボタン、つまみ、ダイヤル、などの専用の部材を含んで構成されてもよいし、マウス、キーボードなどの汎用の部材を含んで構成されてもよい。操作部１５０は、他の機器から操作信号を無線または有線で受信する入力インタフェースであってもよい。他の機器は、例えば、リモートコントローラ、多機能携帯電話機、などの携帯機器でありうる。操作部１５０は、取得した操作信号を制御部１１０に出力する。
　表示部１６０は、制御部１１０から入力される表示データに基づく画像、文字、記号、などの表示情報を表示する。表示部１６０は、例えば、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイなどのいずれを備えてもよい。
　記憶部１７０は、上記のプログラムの他、制御部１１０が実行する処理に用いられる各種のデータ、制御部１１０が取得した各種のデータを記憶する。記憶部１７０は、例えば、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）などの不揮発性の（非一時的）記憶媒体を含んで構成される。また、記憶部１７０は、ＲＡＭ（Random Access Memory）、レジスタなどの揮発性の記憶媒体を含んで構成される。
　制御部１１０は、その機能を実現する機能部として、欠陥検出部１１２、欠陥判別部１１４、総合判定部１１６、モデル学習部１１８、製造工程管理部１２０、新種判定部１２２、および、判定入力部１２４を含んで構成される。これらの機能部は、それぞれ専用の部材を含んで構成されてもよいし、プロセッサが所定のプログラムを実行することにより、その機能を奏してもよい。以下の説明では、被検査体が薄型パネルディスプレイ（ＦＰＤ：Flat Panel Display）用ガラス基板である場合を主とするが、被検査体はその他の物体であってもよい。
　制御部１１０は、その機能を実現する機能部として、欠陥検出部１１２、欠陥判別部１１４、総合判定部１１６、モデル学習部１１８、製造工程管理部１２０、新種判定部１２２、および、判定入力部１２４を含んで構成される。これらの機能部は、それぞれ専用の部材を含んで構成されてもよいし、プロセッサが所定のプログラムを実行することにより、その機能を奏してもよい。以下の説明では、被検査体が薄型パネルディスプレイ（ＦＰＤ：Flat Panel Display）用ガラス基板である場合を主とするが、被検査体はその他の物体であってもよい。
　図１に戻り、欠陥検出部１１２は、各１つの欠陥領域を含む部分の画像を欠陥画像として示す画像データを欠陥判別部１１４に出力する。欠陥検出部１１２は、被検出体の画像から欠陥領域が検出されない場合には、その被検出体の画像を良品画像として判定し、良品画像を示す画像データを総合判定部１１６に出力する。また、その場合には、欠陥検出部１１２は、入力画面の表示を指示する指示情報を判定入力部１２４に出力してもよい。
　なお、欠陥領域として定めた領域の大きさが水平方向、垂直方向のそれぞれについて所定の大きさの検出閾値未満である場合には、欠陥検出部１１２は、その欠陥領域の判定結果を無視し、正常領域として定めてもよい。検出閾値として、典型的な欠陥の大きさよりも十分に小さい大きさを予め欠陥検出部１１２に設定しておく。
　欠陥判別部１１４は、複数の欠陥判別器を備える。以下の説明では、欠陥判別器の個数をＮ個（Ｎは、２以上の予め定めた整数）とし、個々の欠陥判別器を欠陥判別器１１４－１、１１４－２等と子番号を付して区別することがある。同様に個々の欠陥判別器の構成部も子番号を付して区別することがある。個々の欠陥判別器は、必ずしもハードウェアだけで構成されなくてもよく、所定のプログラムの実行により、その機能が実現されてもよい。
　Ｎ個の欠陥判別器１１４－１～１１４－Ｎは、それぞれ欠陥検出部１１２から入力される画像データで示される画像に示される欠陥の種類を、１または複数種類の欠陥の候補のいずれかに判別する処理を、被検査体に生じた欠陥ごとに行う。判別可能とする１または複数種類の欠陥の候補は、Ｎ個の欠陥判別器１１４－１～１１４－Ｎ間で異なりうる。これらの候補は、それぞれ欠陥検出部１１２全体として判別可能なＭ種類の判別可能種類の一部をなす。従って、Ｍは、Ｎと等しいかＮより多い。ＭとＮが等しい場合には、Ｎ個の欠陥判別器１１４－１～１１４－Ｎは、被検査体に生ずる欠陥の種類が、それぞれ異なる各１種類の欠陥の種類であるか否か、もしくは、その１種類である確率を判定する１クラス判別器として機能する。ＭがＮより多い場合には、少なくとも１個の欠陥判別器は、被検査体に生ずる欠陥の種類が複数種類のいずれかの種類であるか、もしくは、それぞれの種類である確率を判定する多クラス判別器として機能する。以下の説明では、主にＭとＮが等しい場合を例にする。
　次に、欠陥判別器１１４－１の機能構成について説明する。欠陥判別器１１４－２～１１４－Ｎは、特に断らない限り欠陥判別器１１４－１と共通の機能構成を備えるものとし、欠陥判別器１１４－１に対する説明を援用する。
　欠陥判別器１１４－１は、前処理工程、推論工程、欠陥判定工程および良否判定工程を実行する（図２　ステップＳ１１２－１、Ｓ１１４－１、Ｓ１１６－１およびＳ１１８－１に相当）。前処理工程は、自器に入力される画像データの形式を推論工程への入力として要求される形式（例えば、入力値の要素数）に整合させるための処理を含む。前処理工程には、次元削減、リサイズの一方または両方が含まれる。
　リサイズは、処理対象とする部分領域の水平方向、垂直方向の画素数を変更する処理である。リサイズは、拡大にも、縮小にもなりうる。欠陥判別器１１４－１は、入力される画像の画素ごとの信号値を補間して、拡大または縮小後の画像の画素ごとの信号値を定める。欠陥判別器１１４－１は、補間において、例えば、バイリニア補間、バイキュービック補間などの公知の補間方法が利用可能となる。欠陥判別器１１４－１は、単純に所定の倍率で画像のサイズを変更するのではなく、各１個の欠陥領域について、その欠陥領域の全体が含まれ、その水平方向または垂直方向の径の最大値が、部分領域の水平方向または垂直方向の大きさの定数ｒ（例えば、０．５以上１未満の実数）倍となるように定めてもよい。径とは、欠陥の領域を横断する、あらゆる方向の線分の長さに相当する。例えば、検出された欠陥の形状が楕円形の場合には、その欠陥の径の最大値として長軸の長さで代表される。検出された欠陥の形状が長方形の場合には、その欠陥の径の最大値として長辺の長さで代表される。
　次元削減は、１個の部分領域をそれぞれ異なる撮像条件で撮像した複数の画像を、より少ない個数の画像に集約する処理である。次元削減は、画像合成により実現される。画像合成は、複数の画像間での輝度値の重み付き和を新たな信号値として画素ごとに算出する処理を含む。重み付き和は、個々の画像の輝度値とその画像に対応する重み係数との積である乗算値の画像間の総和に相当する。画像合成により生成される画像の数は、最低１個であればよいが、複数（例えば、３個）であってもよい。画像合成において、例えば、アルファブレンドという手法が用いられてもよい。アルファブレンドとは、合成対象とする画像ごとの重み係数（アルファ値）の総和が１に正規化された手法である。欠陥判別器１１４－１～１１４－Ｎ間では、画像間の重み係数の比が異なっていてもよい。これにより、欠陥判別器ごとの欠陥の種類に応じて、その欠陥の検出が容易な撮像条件での画像に対する重み係数として、その他の画像に対する重み係数よりも大きい値を設定しておいてもよい。例えば、傷に対しては、明視野で撮像された画像に対する重み係数を相対的に小さくし、暗視野で撮像された画像に対する重み係数が大きくなるように設定しておく。暗視野で取得された画像から傷の検出がより確実になされる。
　次元削減により生成される画像の数を３個とする場合には、欠陥判別器１１４－１は、生成される画像ごとの信号値を、それぞれ異なる色調の色信号値として画素ごとに採用し、３種類の色調ごとの画像を統合してなる１個のカラー画像を示す画像データを生成してもよい。カラー画像を表現するための表色系として、ＲＧＢ表色系、ＹＣｒＣｂ表色系、などが利用できる。４個の撮像条件が異なる部分領域の画像Ｉｍ０１～Ｉｍ０４を次元削減により１個のカラー画像Ｉｍ０５を合成する場合を例示する。まず、欠陥判別器１１４－１は、明視野で撮像された画像Ｉｍ０１、Ｉｍ０２および暗視野で撮像された画像Ｉｍ０３、Ｉｍ０４を取得する。このとき、画像Ｉｍ０１、Ｉｍ０３は、透過光を撮像して得られた画像であり、画像Ｉｍ０２、Ｉｍ０４は、反射光を撮像して得られた画像である。撮像条件により欠陥の形状や輝度が異なる。画像Ｉｍ０５は、欠陥判別器１１４－１において、赤、緑、青で、それぞれ異なる重み係数を用いて４個の画像の信号値を合成して得られた合成値で表される。例えば、画像Iｍ０５の赤チャンネルの信号値は画像Iｍ０１の輝度値と画像Iｍ０２の輝度値を、それぞれの重み係数の比として０．７：０．３で合成して得られる。画像Iｍ０５の緑チャンネルの信号値は、画像Iｍ０３の輝度値と画像Iｍ０４の輝度値を、それぞれの重み係数の比として０．４：０．６で合成して得られる。画像Iｍ０５の青チャンネルの信号値は、画像Iｍ０２の輝度値と画像Iｍ０３の輝度値を、それぞれの重み係数の比として０．５：０．５で合成して得られる。
　推論工程は、処理対象とする画像を示す画像データに対して被検査体に生ずる欠陥の種類が所定の種類となる確率を定める工程である。欠陥判別器１１４－１は、画像データをなす画素ごとの信号値を入力値として入力し、入力された入力値に対して所定の機械学習モデルを用いて、その確率を出力値として演算する。出力値は、０以上１以下の実数値となる。欠陥判別器１１４－１には、入力値から出力値を演算するためのパラメータセット（モデルパラメータ）を予め設定しておく。
　機械学習モデルとして、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）、再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）などのニューラルネットワークが利用できる。利用可能な機械学習モデルは、ニューラルネットワークに限られず、ランダムフォレスト（ＲＦ：Random Forest）、サポートベクタマシン（ＳＶＭ：Support Vector Machine）などの手法も利用できる。
　欠陥判定工程は、推論工程において算出された確率に基づいて、判定対象とする種類の欠陥に該当するか否かを判定する工程である。欠陥判別器１１４－１は、例えば、算出された確率が所定の欠陥判定閾値よりも大きい場合、その種類に該当と判定し、算出された確率が欠陥判定閾値以下となる場合、その種類に非該当と判定する。欠陥判定閾値は判定対象の欠陥の種類ごとに独立に設定されてもよい。例えば、個々の欠陥判別器には、発生リスクが高い種類の欠陥に対する欠陥判定閾値ほど小さい値を設定しておき、発生リスクが低い種類の欠陥に対する欠陥判定閾値ほど大きい値を設定しておく。発生リスクが高いとは、発生による物的もしくは経済的な損失が生じる可能性が高いこと、または、それらの損失が大きいことを意味する。つまり、発生リスクが高い欠陥の種類である高リスク欠陥ほど見逃しが許容されずに否定され、発生リスクが低い欠陥の種類である低リスク欠陥ほど過検出が許容される傾向にある。例えば、傷、泡、異物、汚れのそれぞれに対するリスクは、その順序で低くなり、傷に対するリスクが高い。そこで、高リスク欠陥ほど欠陥判定閾値を小さくすることで相対的に漏れなく欠陥を検出できる再現率（Recall）を高くできる。発生リスクが低い欠陥の種類である低リスク欠陥ほど欠陥判定閾値を大きくすることで相対的に確実に欠陥として検出できる適合率（Precision）を高くできる。欠陥判別器１１４－１は、判定対象とする対象領域に対して、欠陥への該当または非該当を示す欠陥フラグを生成し、対象領域と対応付けて生成した欠陥フラグを記憶部１７０に記憶する。
　なお、本願では、上記の「異物」、「汚れ」のように、欠陥の種類として所定の物体が付着または混入している状態を、その物体の名称を用いて呼称することがある。
　良否判定工程は、欠陥判定工程において所定の欠陥の種類に該当と判定された場合、検出された欠陥に対して所定の判定基準値に基づき欠陥の領域の良否を判定する工程である。欠陥判定工程において欠陥に非該当と判定された場合には、良否判定工程は実行されない。欠陥判別器１１４－１は、例えば、検出された欠陥の大きさ（サイズ）が予め自器に設定された判定データに示される判定基準値よりも大きい場合、その領域を不良品と判定し、検出された欠陥の大きさが判定基準値以下となる場合、その領域を良品と判定する。一般に個々の欠陥は２次元平面上の図形で表されるが、欠陥判別器１１４－１は、検出された欠陥の径の最大値を欠陥の大きさとして定める。判定基準値は判定対象の欠陥の種類ごとに独立に設定されてもよい。例えば、傷に対する判定基準値は、１００～３００μｍ、異物に対する判定基準値は、５０～１２０μｍとなる。欠陥判別器１１４－１は、判定対象とする欠陥とその種類について良品または不良品を示す不良品フラグを生成し、対象領域と対応付けて不良品フラグを記憶部１７０に記憶する。
　総合判定部１１６は、検出された欠陥それぞれの良否状態を参照して被検査体全体の状態を判定する。総合判定部１１６は、例えば、欠陥の種類に関わらず、被検査体の各欠陥について良否フラグに示す全ての良否判定を参照し、不良品と判定された欠陥の個数を計数する。総合判定部１１６は、全種類の欠陥の個数が所定の判定基準個数よりも多い場合、被検査体を不良品と判定し、全種類の欠陥の個数が所定の判定基準個数以下となる場合、被検査体を良品と判定する。
　欠陥判別部１１４では欠陥の種類間で良否判定工程が並行するため、１個の欠陥に対して複数の欠陥の種類に対して不良品を示す不良品フラグが対応付けられる場合がある。総合判定部１１６、その複数の不良品フラグが対応付けられた欠陥は、その複数の種類に該当すると扱ってもよい。例えば、被検査体から３個の欠陥が検出されるとき、総合判定部１１６は、ある欠陥００１に対しては、傷および異物の両方に該当し、欠陥００２に対しては、汚れに該当し、欠陥００３に対しては、異物および汚れに該当すると判定する。欠陥判別部１１４は、現実に生じた欠陥の個数である３個を欠陥の個数として定めてもよいし、種類ごとの件数の総和である５件を欠陥の個数として定めてもよい。
　なお、総合判定部１１６には、例えば、欠陥の種類ごとの欠陥の個数の判定基準個数を示す判定データを予め設定しておき、判定データを用いて被検査体の状態を判定してもよい（ルールベース）。総合判定部１１６は、欠陥の種類ごとに各欠陥について良否フラグに示す良否判定を参照して、欠陥の個数を計数する。総合判定部１１６は、計数した欠陥の個数が判定データに示される判定基準個数以上となる欠陥の種類が存在するとき、被検査体を不良品と判定し、かかる欠陥の種類が存在しないとき、被検査体を良品と判定する。発生リスクが高い欠陥の種類の判定基準個数ほど少なく、発生リスクが低い欠陥の種類の判定基準個数ほど多くてもよい。例えば、欠陥の種類が傷、ホコリの場合には、判定基準個数は、それぞれ１個、５個とする。図５は、被検査体からは１個の傷と２個のホコリが検出される場合を例示する。仮に特定の種類の欠陥であるホコリのみに注目し、その他の種類の欠陥に注目しない場合には、検出されるホコリの個数が２個と判定基準件数よりも少ないため、被検査体は良品と判定されうる。しかし、傷の個数は１個である判定基準件数と等しいため、総合判定部１１６は、被検査体を不良品と判定する。そのため、個々の欠陥の種類に対して判定基準個数と比較することで、許容されない欠陥を有する被検査体に対して良品として判定されるリスクを回避できる。
　総合判定部１１６には欠陥の種類ごとの重み係数を予め設定しておき、欠陥の種類ごとの重み係数と欠陥の個数の乗算値の欠陥の種類間の総和である重み付き和を実効個数として算出してもよい。総合判定部１１６は、実効個数が所定の判定基準個数よりも多い場合、被検査体を不良品と判定し、実効個数が判定基準個数以下となる場合、被検査体を良品と判定してもよい。
　総合判定部１１６に欠陥検出部１１２から良品画像を示す画像データが入力されるとき、被検査体を良品と判定してもよい。
　総合判定部１１６は、欠陥の種類に関わらず、被検査体の各欠陥について良否フラグに示す全ての欠陥および種類の良否判定が良品と判定されている場合、入力画面の表示を示す指示情報を判定入力部１２４に出力してもよい。
　良品と判定された被検査体は、出荷対象となり、不良品と判定された被検査体は、廃棄対象または製造工程への差し戻し対象となる。総合判定部１１６は、判定結果を示す判定結果情報を製造工程管理部１２０に出力する。製造工程管理部１２０は、総合判定部１１６から入力される判定結果情報を参照し、不良品であると判定した被検査体を廃棄または製造工程に差し戻す。製造工程管理部１２０は、例えば、製造工程への差し戻し、または廃棄を示す制御信号を製造設備に出力する。
　なお、総合判定部１１６は、判定結果情報に欠陥の種類ごとの欠陥の個数または全ての欠陥の個数の情報を含めてもよい。
　モデル学習部１１８は、欠陥判別部１１４で欠陥の種類を判別するために用いる機械学習モデルのパラメータ群をモデルパラメータとして算出する。モデル学習部１１８は、判別対象とする欠陥の種類ごとに、訓練データ（（training data）、学習データ（learning data）、教師データ（supervised data）などとも呼ばれる）に対して所定の機械学習モデルを用いて学習（learning）処理を行ってモデルパラメータを算出する。モデル学習部１１８には、学習処理を行う前に、既知の入力値と、その入力値に対応する出力値の組であるデータセットを複数セット（典型的には、１０００～１００００以上）含む訓練データを設定しておく。入力値として、画素ごとの信号値を含む画像データが用いられる。訓練データに含まれる各セットの出力値として、入力値とする画像データで示される画像が判別対象とする種類の欠陥の画像を示す場合には１が与えられ、その他の場合には０が与えられる。モデル学習部１１８は、学習処理において、例えば、入力値とする画像データごとに、その欠陥の種類とその出力値を付加（アノテーション（annotation））して構成された訓練データを用いることができる。
　学習処理において、モデル学習部１１８は、複数セット全体として入力値に対して所定の機械学習モデルを用いて算出される演算値と出力値の差の大きさがゼロに近似するように収束するまでモデルパラメータを更新する。更新前後のモデルパラメータの変化量、または更新前後の差の大きさの変化量が、所定の収束判定閾値未満となるとき、モデルパラメータが収束したと判定できる。
　モデルパラメータの更新において、例えば、最急降下法（steepest descent）、確率的勾配降下法（stochastic gradient descent）、共役勾配法（conjugate gradient method）、誤差逆伝播法（back propagation）、などの手法を用いることができる。
　差の大きさの指標値として、例えば、平均二乗誤差（ＳＳＤ：Sum of Squared Differences）、交差エントロピー誤差（cross entropy error）などの誤差関数を用いることができる。モデル学習部１１８は、欠陥の種類ごとに算出したモデルパラメータを、その欠陥の種類の判別に係る欠陥判別器に設定する。
　なお、モデル学習部１１８は、判定入力部１２４から入力された欠陥の種類について、その欠陥の種類に係る出力値を１とし、判定対象とした画像データを入力値とするデータセットを、その欠陥の種類に係る訓練データに追加してもよい。また、モデル学習部１１８は、それ以外の種類に係る出力値を０とし、判定対象とした画像データを入力値とするデータセットを、その欠陥の種類に係る訓練データに追加してもよい。そして、モデル学習部１１８は、新たに追加した訓練データを用いて、それぞれの欠陥の種類に係るモデルパラメータを更新してもよい（転移学習）。
　製造工程管理部１２０は、欠陥判別部１１４により判定された被検査体とする製品に生ずる欠陥の状態に基づいて、その製品の製造工程を制御する。製造工程管理部１２０には、例えば、予め欠陥の状態および修正条件の情報を含み、これらを対応付けて示す制御データを予め設定しておく。修正条件とは、その時点において製造工程で用いられている製造条件を修正して修正後の製造条件を与えるための条件である。製造工程管理部１２０は、欠陥の状態の情報の例として、被検査体に生じた欠陥の種類別の個数を用いることができる。欠陥の種類ごとの個数は、総合判定部１１６から入力される判定結果情報により伝達される。製造条件には、製品の製造工程を実行するための動作パラメータ、その環境を示す環境パラメータが含まれうる。動作パラメータには、製造設備をなす動力の回転速度、消費電力などが含まれうる。環境パラメータには、温度、圧力などが含まれうる。修正条件は、変更後の製造条件を与えるためのいずれかの種類のパラメータの変化量をもって表されうる。製造工程管理部１２０は、制御データを用いて、参照した欠陥の状態に対応する修正条件の情報を定める。製造工程管理部１２０は、定めた修正条件での製造条件の変更を指示する制御情報を生成し、生成した制御情報を製造設備に出力する。製造設備は、製造工程管理部１２０から入力される製造情報で示される修正条件を用いて製造条件を修正し、修正後の製造条件のもとで製造工程を実行する。
　新種判定部１２２は、被検査体から検出された欠陥の種類が、既知の欠陥の種類のいずれとも異なる新種であるか否かを判定する。新種判定部１２２は、例えば、欠陥検出部１１２が検出した欠陥の種類が、欠陥判別部１１４が判別した欠陥の種類のいずれでもないと判定するとき、その欠陥の種類が新種であると判定する。新種判定部１２２は、例えば、欠陥判別器１１４－１～１１４－Ｎのそれぞれに対応する欠陥の種類について、いずれも欠陥フラグが非該当を示す欠陥に対して、欠陥の種類が新種であると判定できる。新種判定部１２２は、欠陥の種類が新種であると判定する場合、欠陥の種類が新種であることを示す通知画面を表示部１６０に表示させてもよい。また、その場合には、新種判定部１２２は、判定入力部１２４に入力画面の表示を示す指示情報を出力してもよい。これにより、ユーザである作業員に対して、欠陥の種類が新種であることを気づかせ、欠陥の種別や良否の判定入力を促すことができる。
　判定入力部１２４は、画像データに示される画像に表された被検査体に生ずる欠陥の種類またはその被検査体の良否を示す操作信号を操作部１５０から入力する。判定入力部１２４は、例えば、画像データに示される被検査体の画像と、欠陥の種類、被検査体の良否のいずれか、または、その両方を押下により指示可能とする画面部品とを含む入力画面を生成し、生成した入力画面を表示部１６０に表示させてもよい。押下とは、現実に押下することの他、表示領域に含まれる位置を示す操作信号が操作に応じて操作部１５０またはその他の機器から入力されることを意味する。画面部品として、例えば、ボタン、チェックボックス、メニューバー、などが利用できる。
　なお、欠陥検出部１１２、総合判定部１１６または新種判定部１２２から入力画面の表示を示す指示情報が入力されるとき、入力画面を表示部１６０に表示させてもよい。これによりユーザに対する種別または良否の判定入力が促される。
　判定入力部１２４は、入力された欠陥の種別、被検査体の良否の判定の情報を総合判定部１１６に出力する。また、判定入力部１２４は、入力された欠陥の種別をモデル学習部１１８に出力してもよい。
（検査処理）
　次に本実施形態に係る検査処理の例について説明する。図２は、本実施形態に係る検査処理の例を示すフローチャートである。
（ステップＳ１０２）撮像部１３０は、被検査体の例としてＦＰＤ用ガラス基板の画像を撮像する。その後、ステップＳ１０４の処理に進む。
（ステップＳ１０４）欠陥検出部１１２は、撮像部１３０が撮像した被検出体の画像から欠陥が生じている部位である欠陥領域を検出する。その後、ステップＳ１１０の処理に進む。
　ステップＳ１１０の処理は、ステップＳ１１０－１～Ｓ１１０－Ｎの処理を含む。ステップＳ１１０－１～Ｓ１１０－Ｎの処理は、それぞれ欠陥判別器１１４－１～１１４－Ｎが撮像された画像から検出された個々の欠陥領域を含む共通の部分領域ごとに並列に実行する。ステップＳ１１０－２～Ｓ１１０－Ｎの処理については、それぞれステップＳ１１０－１の処理と同様であるため、その説明を援用する。
（ステップＳ１１２－１）欠陥判別器１１４－１は、部分領域内の画像に対して前処理工程を実行する。欠陥判別器１１４－１は、異なる撮像条件ごとに撮像された画像に対する次元削減と、次元削減後の画像の要素数に対する画像推論工程への入力値の要素数へのリサイズが含まれる。一例では、処理対象とする画像の要素数として、水平方向の画素数、垂直方向の画素数、次元数（フレーム数）が、それぞれ２００、２００、４であるとき、前処理後の画像の水平方向の要素数、垂直方向の要素数、次元数は、それぞれ２２４、２２４、３となりうる。欠陥判別器１１４－１は、水平方向の画素数、垂直方向の画素数が、それぞれ２２４、２２４となる２次元のカラー画像に再構成してもよい。その後、ステップＳ１１４－１の処理に進む。
（ステップＳ１１４－１）欠陥判別器１１４－１は、前処理後の画像を示す画素ごとの信号値に対して推論処理を実行する。欠陥判別器１１４－１は、画素ごとの信号値を入力値とし、所定の機械学習モデルを用いて出力値として部分領域に表される欠陥の種類が自器に所定の欠陥の種類に該当する確率を算出する。その後、ステップＳ１１６－１の処理に進む。
（ステップＳ１１６－１）欠陥判別器１１４－１は、欠陥判定工程を実行する。欠陥判別器１１４－１は、算出された確率が自器に設定された所定の欠陥判定閾値よりも大きいか否かにより、欠陥の種類が自器に所定の欠陥の種類に該当するか否かを判定する。その後、ステップＳ１１８－１の処理に進む。
（ステップＳ１１８－１）欠陥判別器１１４－１は、良否判定工程を実行する。欠陥判別器１１４－１は、例えば、検出された欠陥の大きさが自器に設定された判定基準値よりも大きいか否かに基づき良否を判定する。その後、ステップＳ１２２の処理に進む。
（ステップＳ１２２）総合判定部１１６は、検出された個々の欠陥の種類の良否状態を参照して、被検査体全体の状態として、良品であるか不良品であるかを判定する。総合判定部１１６は、例えば、不良品と判定された欠陥の個数が所定の判定基準個数よりも多いか否かにより、良品であるか不良品であるかを判定する。その後、製造工程管理部１２０は、良品であると判定した被検査体を出荷対象製品として採用し、不良品であると判定した被検査体を廃棄または製造工程に差し戻す。その後、図２の処理を終了する。
　上記のように、本実施形態に係る欠陥検査装置１００は、欠陥の種類ごとに、検出された欠陥がその種類に該当するか否かを判定する欠陥判別器１１４－１～１１４－Ｎを備える。そのため、１種類の判定に用いられるモデルパラメータの修正は、他の種類の欠陥の判定に影響しない。また、個々の欠陥の種類にふさわしい撮像条件、撮像部１３０または前処理を用いることができる。そして、Ｎ個の欠陥判別器１１４－１～１１４－Ｎは、並列に配列される。つまり、個々の欠陥判別器は、それぞれ他の欠陥判別器の判定結果に関わらず、検出した欠陥の種類が所定の欠陥の種類に該当するか否かを判定する。そのため、判定対象とする欠陥の種類が増加しても処理時間に変化が生じない、また、個々の欠陥判別器は、欠陥の良否の判定基準値に関わらず、その種類の欠陥に対する情報、例えば、その種類に固有の特徴量を選択する。但し、判定対象の欠陥の種類が多いほど、より多くの演算資源を要する。
　欠陥検査装置１００において、欠陥判別器１１４－１～１１４－Ｎは、直列に配列されもよい。より具体的には、欠陥判別器１１４－ｎ（ｎは、１以上Ｎ－１以下の整数）が、部分領域内の画像に検出された欠陥の種類が、自器に所定の欠陥の種類に該当しないと判定するとき、欠陥判別器１１４－ｎ＋１が、検出された欠陥の種類が、自器に所定の欠陥の種類に該当するか否かを判定する処理を開始する。欠陥判別器１１４－ｎは、部分領域内の画像から検出された欠陥の種類が自器に所定の種類に該当すると判定するとき、検出された欠陥の種類を該当すると判定した種類として確定し、欠陥判別器１１４－ｎ＋１以降の処理を行わない。図６に示す例では、ステップＳ１１０－１において、欠陥判別器１１４－１は、検出された欠陥の種類が傷であるか否かを判定し、傷に該当と判定するとき、図６の処理を終了する。傷に非該当と判定するとき、欠陥判別器１１４－１は、ステップＳ１１０－２の処理に進める。ステップＳ１１０－２において、欠陥判別器１１４－２は、検出された欠陥の種類が泡であるか否かを判定し、泡に該当と判定するとき、図６の処理を終了する。泡に非該当と判定するとき、欠陥判別器１１４－２は、以降の処理に進む。
　従って、欠陥判別器１１４－１～１１４－Ｎを直列に接続することで、一度に欠陥判別工程を実行する欠陥判別器の数が１個に限定されるため、限られた計算資源を有効に活用できる。また、後続する欠陥判別器で用いられるモデルパラメータの学習は、先行する欠陥判別器で用いられるモデルパラメータの学習と独立に実行できるため、学習に要する時間が増大するという課題を生じずに済む。但し、後続する欠陥判別器による欠陥判別工程の実行が開始されるタイミングは、先行する欠陥判別器による欠陥判別工程が完了した後になる。そのため、図７に例示されるように、欠陥検査装置１００全体として判別対象の欠陥の種類が多いほど処理時間が遅くなる傾向がある。図７において、縦軸、横軸は、それぞれ処理時間、モデル数を示す。モデル数は、検出対象とする欠陥の種類、即ち、欠陥判別器の個数に相当する。図７に例示される処理時間は、モデル数に比例する成分とモデル数に関わらず一定の成分（約０．０４３秒、破線参照）を含む。前者は、個々の欠陥の種類への該当の有無の判定に要する時間に相当する。後者は、撮影、前処理など、欠陥の種類に関わらずに費やされる時間に相当する。但し、欠陥判別器の個数が１０個以下となる場合には、処理時間は従来から用いられる多クラスモデルを用いる場合とほぼ同等となる。精度については、欠陥判別器が採用する機械学習モデルが、２クラスモデルである場合と、多クラスモデルである場合とで比較すると、同等あるいは２クラスモデルの方が高精度となる。２クラスモデルは、欠陥の種類が所定の１種類に該当するか否かを判定するために用いる機械学習モデルである。多クラスモデルは、欠陥の種類が、所定の複数種類のいずれの種類であるかを判定するために用いる機械学習モデルである。図８に示す例では、多クラスモデル、２クラスモデルのそれぞれについて、誤答率が４．０％、２．０％となり、２クラスモデルの方が高精度となる。
　なお、直列に接続される欠陥判別器１１４－１～１１４－Ｎに対しては、それぞれ判別対象とする第１～第Ｎの種類の欠陥を、それらの発生頻度の降順になるように定めておいてもよい。頻出する種類の欠陥ほど早期に検出されるため、処理時間が過大にならずに済む。また、欠陥判別器１１４－１～１１４－Ｎがそれぞれ判別対象とする第１～第Ｎの種類の欠陥を、それらのリスクの大きさの降順になるように定めておいてもよい。リスクの大きい種類の欠陥ほど早期に検出されるため、欠陥の検出遅れによる損害を低減できる。
　次に、新種判定部１２２の別の構成例について図９を用いて説明する。新種判定部１２２は、新種判定工程（ステップＳ１２２－ｎ）を実行する。新種判定工程は、前処理工程（ステップＳ１２２－ａ）、推論工程（ステップＳ１２２－ｂ）、新種度計算工程（ステップＳ１２２－ｃ）および新種度判定工程（ステップＳ１２２－ｄ）を含む。但し、図９では、ステップＳ１１０－３の図示が省略されているが、必ずしもステップＳ１１０－３の処理を省略することを意味するものではない。　
　ステップＳ１２２－ａにおいて、新種判定部１２２は、ステップＳ１１２－１またはステップＳ１１２－２と同様の前処理工程を行う。
　ステップＳ１２２－ｂにおいて、新種判定部１２２は、自部に入力された部分画像に対してＮクラスの機械学習モデルを用いた推論を行い、推論において算出される特徴量を抽出する。Ｎクラスの機械学習モデルとして、例えば、欠陥の種類としてＮ種類のそれぞれである確率を出力値として演算するＮクラスのニューラルネットワーク（例えば、ＣＮＮ）を用いることができる。新種判定部１２２には、各セットについて、入力値とする画像データで示される画像が示す欠陥の種類に対して、その種類に対応する次元の出力値として１が与えられ、その他の種類に対応する次元の出力値として０が付加された訓練データを用いて学習されたモデルパラメータを設定しておく。そして、新種判定部１２２は、自部を構成するニューラルネットワークの入力層と出力層を除く、所定の中間層から出力される演算値を、その画像の特徴を示す特徴量として取得できる。なお、設定したモデルパラメータを用いて、欠陥の種類が既知である個々の画像に対して後述する手法により画像（欠陥）の特徴を示す特徴量を算出し、個々の欠陥の種類について特徴量の代表値（例えば、重心）を新種判定部１２２に予め設定しておく。
　ステップＳ１２２－ｃにおいて、新種判定部１２２は、欠陥の種類ごとに定めた特徴量の代表値と取得した特徴量との距離を計算し、種類ごとに計算した距離のうち最小値を新種度として定める。図１０は、検出された欠陥（検出欠陥）に対する特徴量を示す二次元のベクトルが、要素とする特徴量Ｘ、Ｙで張られる特徴量空間において星印で表されている。そして、欠陥の種類として、汚れ、傷、泡、ホコリそれぞれの代表値（×印）と算出された特徴量との距離のうち、泡の代表値と特徴量との距離が新種度として算出される。
　図９に戻り、ステップＳ１２２－ｄにおいて、新種判定部１２２は、算出した新種度が所定の距離の閾値よりも大きい場合、欠陥の種類が新種であると判定し、所定の距離の閾値以下である場合、欠陥の種類が新種ではないと判定する。新種判定部１２２は、いずれの種類の特徴量の分散よりも十分に大きい値を距離の閾値として定めておく。距離を示す指標値として、例えば、マハラノビス距離（Mahalanobis’distance）、ミンコフスキー距離（Minkowski’s distance）、マンハッタン距離（Manhattan distance）、コサイン類似度（cosine similarity）などが利用できる。
　なお、新種判定部１２２は、欠陥の種類が新種であると判定するとき、判定対象とした欠陥の種類が新種であることを示す新種検出情報を総合判定部１１６に出力してもよい。また、総合判定部１１６は、新種検出情報が新種判定部１２２から入力されるとき、新種検出情報で示される欠陥について、良否フラグを棄却してもよい。これにより、既存の判定結果が誤って採用されることが回避される。
　新種判定部１２２は、新種として判定された欠陥を示す画像の特徴量を新種の代表値として定めてもよい。新種判定部１２２は、別個の画像データから算出される特徴量が新種の代表値との距離が所定の距離以内である場合、その画像データに示される欠陥の種類が新種であると判定してもよい。そして、モデル学習部１１８は、入力値として新種の欠陥の画像を示す画像データが与えられ、出力値として１が与えられる複数のセットと、入力値としてその他の種類の欠陥の画像を示す画像データが与えられ、出力値として０が与えられる複数のセットとを含む訓練データを用いた学習処理を行って、画像データから新種の欠陥を判別するためのモデルパラメータを定めてもよい。欠陥判別部１１４は、定めたモデルパラメータを用いて新種の欠陥を判別するための新たな欠陥判定器を構成してもよい。
　次に、製造工程管理部１２０による製造工程の制御の例について図１１と図１２を用いて説明する。図１１、図１２に例示される処理は、ステップＳ１０２－Ｓ１２６の処理を含む。ステップＳ１０２－Ｓ１２２の処理については、上記の説明を援用する。但し、ステップＳ１２２において、総合判定部１１６は、被検査体とする製品に生ずる欠陥の状態の例として、欠陥の種類ごとの個数を示す判定結果情報を製造工程管理部１２０に出力する。
　ステップＳ１０２－Ｓ１２２の処理は、一連の検査工程に含まれ、被検査体とする製品ごとの欠陥の状態、または、それらの時系列が品質トレンドとして得られる。
　ステップＳ１２４において、製造工程管理部１２０は、予め自部に設定された制御データを参照して、判定結果情報に示される欠陥の状態に対応する修正条件（後述）を定める。
　ステップＳ１２６において、製造工程管理部１２０は、定めた修正条件での製造条件の変更を指示する制御情報を生成し、生成した制御情報を製造設備に出力する（フィードバック）。製造設備は、製造工程管理部１２０から入力される製造情報で示される修正条件を用いて製造条件を修正する。修正された製品ごとの製造条件、または、それらの時系列が制御トレンドとして得られる。製造工程では、製造設備は、修正後の製造条件を用いて製造工程（ステップＳ２００）を実行する。本実施形態は、ステップＳ１０２－Ｓ１２２の検査工程を含む製造方法として実現されうる。
　また、ステップＳ１０２－Ｓ１２６の処理は、製造工程Ｓ２００の後ではなく、例えば切り込み・切断工程Ｓ２０３と研磨工程Ｓ２０４の間などの、製造工程Ｓ２００の途中に組み込まれてもよい。その場合、ステップＳ１２６において、製造工程管理部１２０は、生成した制御情報をステップＳ１０２－Ｓ１２６より先行する工程を実行する上流の製造設備に出力してもよいし（フィードバック）、これに代え、または、さらに製造工程管理部１２０は、生成した制御情報をステップＳ１０２－Ｓ１２６よりも後続する工程を実行する下流の製造設備に出力（フィードフォワード）してもよい。これにより、ステップＳ１０２－Ｓ１２６よりも後続する下流の工程での製造条件がより効率化される。例えば、ステップＳ１０２－Ｓ１２６が研磨工程Ｓ２０４の前に組み込まれた場合には、ステップＳ１２６において生成される制御情報に基づいて研磨工程Ｓ２０４において研磨量が調整される。　
次に、ガラス基板の製造工程への適用例について説明する。製造工程の全体については、例えば、国際公開第２０１２／０９０７６６号公報、特許第５９８３４０６号公報に、研磨工程については、例えば、特許第４８６２４０４号公報、特許４２０７１５３号公報に、より詳しく記載されている。
　ガラス基板は、フロート法、フュージョン法などの製法を用いて製造される。図１３に例示されるガラス基板の製造工程Ｓ２００は、例えば、溶解工程Ｓ２０１、成形工程Ｓ２０２、切り込み・切断工程Ｓ２０３、研磨工程Ｓ２０４、製品部落下工程Ｓ２０５および粉砕工程Ｓ２０８を含む。溶解工程Ｓ２０１、成形工程Ｓ２０２、切り込み・切断工程Ｓ２０３、研磨工程Ｓ２０４、製品部落下工程Ｓ２０５および粉砕工程Ｓ２０８のそれぞれを実行する溶解手段、成形手段、切り込み・切断手段、研磨手段、製品部落下手段および粉砕手段は、製造設備を構成する（図示せず）。本実施形態に係る欠陥検査装置１００も製造設備に含まれてもよい。
　溶解手段として、例えば、溶解窯が用いられる。溶解窯は、溶解工程Ｓ２０１において、ガラス原料を加熱することにより溶解して溶融ガラスを形成する。成形手段として、例えば、成形装置が用いられる。成形装置は、溶融錫浴を備え、成形工程Ｓ２０２において、溶融錫浴内の錫上に溶解窯から移送された溶融ガラスを展開し、所定の幅を有する帯状のガラスをガラスリボンとして成形する。ガラスリボンは搬送ローラの主搬送路に載置され、製品とするガラス基板として包装手段（図示せず）に向けて搬送されてもよい。包装手段に到達するまでの間に、ガラス基板に対して切り込み・切断工程Ｓ２０３、研磨工程Ｓ２０４および製品部落下工程Ｓ２０５が実行される。切り込み・切断工程Ｓ２０３を実行する切り込み・切断手段として、例えば、切り折り装置が用いられる。切り折り装置は、主搬送路に流されるガラスリボンを所定のサイズのガラス基板として形成するものであり、搬送方向の上流に切り込み線加工装置と、切り込み線加工装置よりも下流に折り装置を備える。切り込み・切断工程Ｓ２０３において、切り込み線加工装置は、カッターを備え、カッターの先端をガラスリボンの表面に所定の圧力で押し付けることにより、ガラスリボンに切り込み線を形成する。折り装置は、切り込み線に沿ってガラスリボンを分割して所定の大きさのガラス基板に分割する。
　研磨工程Ｓ２０４を実行する研磨手段として、分割されたガラス基板の表面を研磨する研磨装置が用いられる。研磨装置は、例えば、複数台の自転および公転する円形研磨具を備え、ガラス基板の搬送方向に移動している状態で、ガラス基板を連続研磨する（連続式）。研磨装置は、ガラス基板の幅よりも直径が小さい円形研磨具をガラス基板の移動中心線を基準として対をなし、その移動方向に沿って千鳥状に２対配置し、円形研磨具が移動中心線を超えるようにしてガラス基板の表面を研磨する。
　研磨装置は、静止している状態でガラス基板の表面を研磨するための構成を備えていてもよい（非連続式）。研磨装置は、例えば、基板貼着ステージ、膜枠取付ステージ、研磨ステージ、膜枠取外ステージおよび基板取外ステージを備える。基板貼着ステージは、膜枠にガラス基板を貼着する。膜枠取付ステージは、膜枠をキャリアの下部に取り付ける。研磨ステージは、膜枠をキャリアに取り付けた後に、キャリアと研磨定盤を相対的に近づけて、膜体に貼着された基板の研磨面を研磨定盤に押し付けて研磨する。膜枠取外ステージは、キャリアから膜枠を取り外す。基板取外ステージは、膜枠から研磨後のガラス基板を取り外す。
　製品部落下工程Ｓ２０５を実行する製品部落下手段として、落下装置が用いられる。落下装置は、制御部と回動機構を備え、製品部落下工程Ｓ２０５において、製造されたガラス基板の主搬送路からの落下の要否を制御する。制御部は、欠陥検査装置１００から製造工程への差し戻しを示す制御信号を受信するとき、回動機構に主搬送路をなす連結部材を回動させる。これにより、不良品と判定されたガラス基板が落下し、包装手段を経て出荷されずに製造工程に差し戻される。落下したガラス基板は、障害物に衝突することで破断し、破断物となる。他方、制御部が制御信号を受信しない場合には、主搬送路が維持される。そのため、良品と判定されたガラス基板は包装手段に搬送され、出荷対象となる。
　粉砕工程Ｓ２０８を実行する粉砕手段として、クラッシャーが用いられる。クラッシャーは、破断物を粉砕する回転刃を備え、粉砕工程Ｓ２０８において、ガラス原料となるカレットを形成する。カレットは、製造設備に備わるベルトコンベアで搬送され、溶解窯に供給される。
　本実施形態に係る検査工程において、典型的には、研磨工程Ｓ２０４により生成された研磨後のガラス基板が被検査体として適用される。検査対象の欠陥の種類によっては、溶解工程Ｓ２０１により生じた溶融ガラス、成形工程Ｓ２０２により生じたガラスリボン、または切り込み・切断工程Ｓ２０３により生じた研磨前のガラス基板が適用されてもよい。
　本実施形態に係る欠陥検査装置１００は、個々の工程で生じうる種類の欠陥を判別し、判別した欠陥に応じた制御を実現できる。例えば、ガラス基板に生ずる泡は、溶解工程Ｓ２０１において溶解ガラスの温度が所定の基準温度よりも低いほど生じる傾向がある。そこで、製造工程の制御に用いられる制御データには、検出された欠陥の状態として泡の量が多いほど、修正条件として溶融窯の温度の上昇量が多くなるように関連付けて設定しておく。これにより、製造工程管理部１２０は、検出された泡が増加するほど溶融窯の温度を上昇させることができる。
　ガラス基板表面に付着する異物は、研磨工程Ｓ２０４において研磨時間が基準時間よりも短いほど残存する傾向がある。そこで、制御データには、検出された欠陥の状態として異物の量が多いほど、修正条件として研磨時間の増加量が多くなるように関連付けて設定しておく。これにより、製造工程管理部１２０は、検出された異物が増加するほど研磨時間を延長できる。
　ガラス基板表面の傷は、研磨工程Ｓ２０４に用いられる研磨剤の劣化により発生する傾向がある。そこで、制御データには、検出された欠陥の状態としての傷の量の基準量と、修正条件として研磨具の交換とを関連付けて設定しておく。これにより、製造工程管理部１２０は、検出された傷の量が基準量を超えるとき、研磨具を交換することができる。
　傷は、研磨工程Ｓ２０４に用いられる研磨具のガラス基板表面に対する押圧力の不足によっても発生する傾向がある。そこで、制御データには、検出された欠陥の状態としての傷の量が多いほど、修正条件として研磨具の押圧力の増加量が多くなるように関連付けて設定しておいてもよい。これにより、製造工程管理部１２０は、検出された傷が増加するほど研磨具のガラス基板表面に対する押圧力を高くできる。
　なお、製造工程管理部１２０は、製造条件に対する修正条件を示す操作信号の操作部１５０からの入力を受け付け、その変更条件と判定結果情報で示される欠陥の状態とを関連付けた情報を制御データに含めて保存してもよい。これにより、ユーザである作業員が操作により製造設備に対して指示された製造条件と、検出された欠陥の状態が関連付けた情報をもって制御データが更新される。そのため、更新された制御データが、検出された欠陥の状態に基づく製造条件の制御に利用可能となる。
（機械学習モデル）
　次に、本実施形態に係る機械学習モデルの例について説明する。図１４は、本実施形態に係る機械学習モデルの一例としてＣＮＮを示す。図１４に示す例では、ＣＮＮへの入力値が二次元の画像データであり、ＣＮＮからの出力値として一次元の確率（スカラー）が算出される２クラスモデルである。
　ＣＮＮは、人工ニューラルネットワークの一種であり、１層の入力層、複数の中間層および出力層を備える。図１４に例示されるＣＮＮは、入力層Ｉｎ０２、６層の中間層および出力層Ｏuｔ１６を備える。６層の中間層は、３層の畳み込み層Ｃｖ０４、Ｃｖ０８、Ｃｎ１２、２層のプーリング層Ｐｌ０６、Ｐｌ１０および全結合層Ｆｃ１４を備える。但し、１層の畳み込み層と１層のプーリング層が交互に２回繰り返された後で、１層の畳み込み層Ｃｖ１２が後置され、さらに１層の全結合層Ｆｃ１４が後置される。
　各層は、１個以上の節点（ノード、ニューロンなどとも呼ばれる）を有する。各節点は、入力値に対する所定の関数の関数値を出力値として出力する。
　入力層Ｉｎ０２は、入力値として入力される計測信号で示されるサンプル点ごとの信号値をそれぞれ次の層に出力する。個々のサンプル点は、各１個の画素に対応する。入力層Ｉｎ０２の各節点には、その節点に対応するサンプル点の信号値が入力され、入力される信号値が次の層の対応する節点に出力する。畳み込み層には、カーネル数が予め設定される。カーネル数とは、それぞれ入力値に対する処理（例えば、演算）に用いるカーネルの個数に相当する。カーネル数は、通例、入力値の個数よりも少ない。カーネルとは、一度に１つの出力値を算出するための処理単位を指す。ある層において算出される出力値は、次の層への入力値として用いられる。カーネルは、フィルタとも呼ばれる。カーネルサイズとは、カーネルにおける一回の処理に用いられる入力値の数を示す。カーネルサイズは、通例、２以上の整数となる。
　プーリング層と畳み込み層は、複数の入力値からその特徴を示す特徴量を算出する。特徴量として、畳み込み層Ｃｖ０４、Ｃｖ０８、Ｃｖ１２とプーリング層Ｐｌ０６、Ｐｌ１０のうち、いずれか所定の一層からの出力値が新種の欠陥の判定に利用できる。
　畳み込み層とは、複数の節点のそれぞれに直前の層から入力される入力値に対してカーネルごとに畳み込み演算を行って畳み込み値を算出し、算出した畳み込み値とバイアス値を加算して得られる補正値に対する所定の活性化関数の関数値を出力値として算出し、算出した出力値を次の層に出力する層である。なお、畳み込み演算では、各節点には直前の層から１個または複数の入力値が入力され、それぞれの入力値に対して独立な畳み込み係数が用いられる。畳み込み係数、バイアス値および活性化関数のパラメータは、１セットのモデルパラメータの一部となる。　
　活性化関数として、例えば、正規化線形ユニット（Rectified Linear Unit）、シグモイド関数などが利用できる。正規化線形ユニットは、所定の閾値（例えば、０）以下の入力値に対する出力値としてその閾値に定め、所定の閾値を超える入力値をそのまま出力する関数である。従って、この閾値は１セットのモデルパラメータの一部となりうる。また、畳み込み層については、直前の層の節点からの入力値の参照の要否、次の層の節点への出力値の出力の要否も、１セットのモデルパラメータの一部となりうる。そのため、後述する全結合層とは異なり、畳み込み層の各節点は、直前の層の全ての節点と入力値が入力されるように結合するとは限らないし、次の層の全ての節点に出力値が出力されるように結合するとは限らない。
　プーリング層とは、直前の層の複数の節点からそれぞれ入力される入力値から１つの代表値を定め、定めた代表値を出力値として次の層に出力する節点を有する層である。代表値は、例えば、最大値、平均値、最頻値など複数の入力値を統計的に代表する値が用いられる。プーリング層にはストライドを予め設定しておく。ストライドとは、１つの節点に対して入力値を参照する直前の層の相互に隣接する節点の範囲を示す。そのため、プーリング層は、直前の層からの入力値を、より低い次元に縮約（ダウンサンプル）して出力値を次の層に提供する層とみなすこともできる。
　全結合層は、複数の節点のそれぞれに直前の層から入力される入力値に対して畳み込み演算を行って畳み込み値を算出し、算出した畳み込み値とバイアス値を加算して得られる演算値を出力値として算出し、算出した出力値を次の層に出力する層である。つまり、全結合層は、直前の層から入力される複数個の入力値の全てに対して、入力値の数よりも少ないセット数のパラメータセット（カーネル）をそれぞれ用いて畳み込み処理を行って得られる演算値を出力する層である。従って、全結合層では、畳み込み係数、バイアス値および活性化関数のパラメータが、１セットのモデルパラメータの一部となる。このように、出力層の直前に全結合層を配置することで、直前の層から与えられた特性値に対して有意に影響を与える成分を漏れなく考慮しながら自由度を低減して、最終的な出力値を導くことができる。
　なお、ＣＮＮの層の数、層ごとの種別、各層の節点の数などは、図１４に示したものには限られない。本実施形態に係るＣＮＮは、入力値として複数のサンプル点ごとの信号値を有する計測信号に対して出力値として欠陥の種別ごとの確率を算出可能な構成を有していればよい。但し、本実施形態に係るＣＮＮは、図１４に例示されるように、１以上の畳み込み層とプーリング層を交互に１周期以上繰り返して順次積層して構成される中間層を備えることが好適である。畳み込み層の繰り返しにより、特性値に対して有意に影響を与える成分が絞り込まれるためである。なお、この畳み込み層の繰り返しにおいて、プーリング層が省略されてもよい。
　また、３クラス以上の多クラスモデルとして、出力値として要素数が３個以上となるベクトル値を算出する機械学習モデルを用いればよい。欠陥の種類の判定に応用する場合を例にすると、出力値の要素が、その要素に対応する欠陥の種類の確率として得られる。図１４に示す例では、全結合層Ｆｃ１４には、個々の出力値の要素に対応するパラメータセットを設定しておく必要がある。そのため、多クラスモデルでは、モデル学習において全てのパラメータセットに対して所定の規範に基づく最適化が行われる。そのため、上記のように、たとえ１種類のみ欠陥の判定に対するパラメータセットの修正を意図していたとしても、他の種類の欠陥の判定結果に影響を及ぼしうる。そのため、本実施形態に係る欠陥判別部１１４は、各１種類の欠陥への該当／非該当を判定するための２クラスモデルを複数個用いることが好適である。
　なお、上記の例では、機械学習モデルへの入力値として、画素ごとの信号値を適用する場合を主としたが、これには限られない。欠陥検査装置１００の制御部１１０は、画像データから画像に表れる模様（欠陥も含まれる）の特徴を示す特徴量を算出する特徴分析部（図示せず）を備えてもよい。そして、欠陥判別器１１４－１～１１４－Ｎの全部または一部は、画素ごとの信号値に代えて、もしくは、当該信号値とともに特徴分析部が算出した特徴量を機械学習モデルへの入力値として用いてもよい。モデル学習部１１８は、それらの機械学習モデルのモデルパラメータの算出に用いる訓練データをなす入力値として、画素ごとの信号値に代えて、もしくは、当該信号値とともに特徴分析部が算出した特徴量を機械学習モデルへの入力値として用いる。かかる特徴量として、例えば、円形度、オイラー数、フェレ径などの形状特徴パラメータ、ＨＯＧ（Histograms of Oriented Gradients）特徴量、ＳＩＦＴ（Scaled Invariance Feature Transform）特徴量などの画像認識に利用される特徴量などのいずれか、もしくは、それらの組み合わせが利用できる。言い換えれば、算出される特徴量は、被検査体の状態を示す欠陥の特徴量として用いられうる。新種判定部１２２は、新種の判定のために、特徴分析部が算出した特徴量を用いてもよい。
　なお、判定データには、被検査体の状態を示す情報として、欠陥の種類ごとの欠陥の有無や個数に代えて画像特徴量が含まれてもよい。そして、欠陥判別部１１４または総合判定部１１６は、判定データを参照して、特徴分析部が分析した画像特徴量から当該欠陥の種類を定める欠陥判別器をさらに備えてもよい。
　以上に説明したように、本実施形態に係る欠陥検査装置１００は、被検査体の画像に基づき被検査体に生ずる欠陥を検査する欠陥検査装置であって、当該画像に基づいて、所定の機械学習モデルを用いてそれぞれ異なる欠陥の種類を判別する欠陥判別器を複数個備える。個々の欠陥判別器が判別する欠陥の種類は、欠陥検査装置が判別対象とする所定数の欠陥の種類の一部である。
　また、複数の前記欠陥判別器は、それぞれ被検査体に生ずる欠陥の種類が所定の１種類の欠陥に該当するか否かを判定してもよい。
　また、被検査体はガラスであって、上記の欠陥検査装置を用いた検査工程を有する製造方法として実現されてもよい。
　この構成により、個々の欠陥判別器は、画像から検出される欠陥の種類を、それぞれ所定数の欠陥の種類の一部であるか否かを判定する。特定の欠陥判別器が欠陥の種類の判定に用いるパラメータセットを変更する場合、所定数の欠陥の種類の全てを判定対象とする場合とは異なり、その他の欠陥判別器が用いるパラメータセット、ひいては、その欠陥の種類の判定に影響しない。特に、個々の欠陥判別器が、それぞれ所定の１種類の欠陥に該当するか否かを判定する場合には、さらに判定精度の劣化が回避される。そのため、システム管理がより容易になる。
　また、複数の欠陥判別器は、それぞれ他の欠陥判別器による判定結果に関わらず、被検査体に生ずる欠陥の種類を並行して判別してもよい。
　この構成により、個々の欠陥の種類への該当／非該当の判定が並列するので、判別対象とする欠陥の種類が増加しても処理時間が増加しないため、迅速な処理を実現できる。
　また、欠陥判別器の個数はＮ個であり、第ｎの欠陥判別器が被検査体に生ずる欠陥の種類が、第ｎの欠陥の種類に該当するか否かを判定し、第ｎの欠陥判別器が、被検査体に生ずる欠陥の種類が、第ｎの欠陥の種類に該当しないと判定するとき、第ｎ＋１の欠陥判別器は、前記被検査体に生ずる欠陥の種類が、第ｎ＋１の欠陥の種類に該当するか否かを判定する処理を開始してもよい。
　この構成により、個々の欠陥判別器が所定の欠陥の種類に該当するか否かを判定する処理が直列に実行される。処理量が過大になることが回避されるので、経済的な実現に寄与する。
　また、ｎは、第ｎの欠陥の種類の発生頻度またはリスクの大きさの降順に定められていてもよい。
　この構成により、発生頻度が高い欠陥の種類または発生リスクの大きい欠陥の種類ほど優先して判別されるので、システム全体として欠陥の発生による損害を抑制できる。
　また、複数の欠陥判別器は、それぞれ機械学習モデルを用いて欠陥の特徴量を抽出してもよい。
　この構成により、特定の特徴量を予め定義しておかなくても、個々の欠陥の種類に応じた特徴が表現される。
　また、特定の種類の欠陥を含む画像を示す画像データに対して、機械学習モデルを用いて当該特定の種類の欠陥を判別するためのモデルパラメータを定めるモデル学習部を備えてもよい。
　この構成により、入力値とする画像データと出力値とする欠陥の種類との関係を示す訓練データを用いて、その欠陥の種類を判別するためのモデルパラメータを定めることができる。そのため、使用環境に応じたモデルパラメータを欠陥の種類の判別に用いることで、判定精度を向上させることができる。
　また、欠陥判別器は、被検査体に対する撮像条件が異なる複数の画像を示す画像データに基づいて、欠陥の種類を判別してもよい。
　この構成により、画像の特徴の撮像条件ごとの差異を手掛かりとして、より正確に欠陥の種類を判定できる。
　また、欠陥の特徴を示す特徴量の空間における距離であって、欠陥の種類ごとに予め定めた代表特徴量と、画像から抽出される特徴量である抽出特徴量との距離を算出し、算出した距離が欠陥の種類のいずれに対しても所定の距離の閾値よりも大きい場合、画像から検出される欠陥の種類を新種として判定する新種判定部を備えてもよい。
　この構成により、既知の欠陥の種類とは特徴が異なる欠陥を新種の欠陥として判別できる。そのため、特徴の異なる欠陥に応じた工程管理を促すことができる。
　また、欠陥の種類の判別に成功した欠陥判別器が存在しないとき、前記画像から検出される欠陥の種類を新種として判定する新種判定部を備えてもよい。
　この構成により、種類の判別ができなかった欠陥を新種の欠陥として判別できる。そのため、既知の欠陥の種類に頼らない工程管理を促すことができる。
　また、複数の欠陥判別器が判別した欠陥の状態に基づいて、被検査体の製造条件を修正するための修正条件を定める製造工程管理部をさらに備えてもよい。
　この構成により、判別した欠陥の状態に応じた被検査体の製造工程を人手に頼らずに効率的に制御できる。
　また、画像から欠陥の特徴量を分析する特徴分析部と、欠陥の特徴量と当該欠陥の種類との関係を示す判定データを用いて、前記特徴分析部が分析した欠陥の特徴量から当該欠陥の種類を定める第２欠陥判別器を備えてもよい。
　この構成により、既知の欠陥の特徴量と欠陥の種類との関係に基づいて、検出された欠陥の特徴量に応じた欠陥の種類が定まる。完全に機械学習モデルに頼らずに欠陥の種類を判定できるので、処理量を低減できる。
　また、被検査体に生ずる欠陥の種類を、取得される操作入力で示される欠陥の種類に定める判定入力部を備えてもよい。
　この構成により、ユーザにより判定された欠陥の種類を知得できる。完全に機械学習モデルに頼らずに欠陥の種類を判定できるので、判定誤りに対するリスクを低減できる。
　また、複数の欠陥判別器が被検査体に生ずる欠陥の種類を定める前に、第２欠陥判別器または判定入力部が被検査体に生ずる欠陥を定めてもよい。
　この構成により、既知の欠陥の特徴量と欠陥の種類との関係を用いた判定、または、ユーザによる判定が行われるため、機械学習モデルにより判定できない欠陥の種類であっても、欠陥の種類を定められる。
　また、本実施形態に係るガラスの製造方法は、被検査体はガラスであって、上記の欠陥検査装置を用いた検査工程を有していてもよい。
　以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をなしうる。
　例えば、欠陥検査装置１００は、被検査体の製造設備の一部として実現されてもよいし、被検査体とは独立した単一の機器であってもよい。欠陥検査装置１００は、製造設備に限られず、データ蓄積装置、ＰＣなど、他の機器から画像データを取得してもよい。
　また、欠陥検査装置１００は、撮像部１３０、操作部１５０および表示部１６０を備えていてもよいし、それらの一部または全部が省略されてもよい。撮像部１３０、操作部１５０および表示部１６０は、それぞれ入出力部１４０を経由して接続されてもよい。
　欠陥検査装置１００において、モデル学習部１１８、製造工程管理部１２０、新種判定部１２２および判定入力部１２４の一部または全部が省略されてもよい。
　被検査体の種類や検出対象とする欠陥の種類やその数によっては、欠陥検出部１１２と総合判定部１１６の一方または両方が省略されてもよい。
　被検査体とするガラスの幅、長さ、厚さなどの大きさは任意である。また、欠陥検査装置１００は、被検査体としてガラス以外の種類の物体、例えば、回路基板、ウェハなどの欠陥の有無や欠陥の種類の判別に適用されてもよい。
　また、上述した実施形態における欠陥検査装置１００の一部、または全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。欠陥検査装置１００の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
　上記各態様の欠陥検査装置、欠陥検査方法および製造方法によれば、個々の欠陥判別器は、画像から検出される欠陥の種類を、それぞれ所定数の欠陥の種類の一部であるか否かを判定する。特定の欠陥判別器が欠陥の種類の判定に用いるパラメータセットを変更する場合、所定数の欠陥の種類の全てを判定対象とする場合とは異なり、その他の欠陥判別器が用いるパラメータセット、ひいては、その欠陥の種類の判定に影響しない。そのため、システム管理がより容易になる。
１００…欠陥検査装置、１１０…制御部、１１２…欠陥検出部、１１４…欠陥判別部、１１６…総合判定部、１１８…モデル学習部、１２０…製造工程管理部、１２２…新種判定部、１２４…判定入力部、１３０…撮像部、１４０…入出力部、１５０…操作部、１６０…表示部、１７０…記憶部

Claims (15)

  1. 　被検査体の画像に基づき前記被検査体に生ずる欠陥を検査する欠陥検査装置において、
    　前記画像に基づいて、所定の機械学習モデルを用いてそれぞれ異なる前記欠陥の種類を判別する欠陥判別器を複数個備え、
    　個々の欠陥判別器が判別する前記欠陥の種類は、前記欠陥検査装置が判別対象とする所定数の欠陥の種類の一部である
    　欠陥検査装置。
  2. 　複数の前記欠陥判別器は、それぞれ他の欠陥判別器による判定結果に関わらず、前記被検査体に生ずる欠陥の種類を並行して判別する
    　請求項１に記載の欠陥検査装置。
  3. 　前記欠陥判別器の個数はＮ個であり、
    　第ｎ（ｎは、１以上Ｎ－１以下の整数）の欠陥判別器は、前記被検査体に生ずる欠陥の種類が、第ｎの欠陥の種類に該当するか否かを判定し、
    　第ｎの欠陥判別器が、前記被検査体に生ずる欠陥の種類が、第ｎの欠陥の種類に該当しないと判定するとき、第ｎ＋１の欠陥判別器は、前記被検査体に生ずる欠陥の種類が、第ｎ＋１の欠陥の種類に該当するか否かを判定する処理を開始する
    　請求項１に記載の欠陥検査装置。
  4. 　前記ｎは、第ｎの欠陥の種類の発生頻度またはリスクの大きさの降順に定められている
    　請求項３に記載の欠陥検査装置。
  5. 　複数の前記欠陥判別器は、それぞれ前記被検査体に生ずる欠陥の種類が所定の１種類の欠陥に該当するか否かを判定する
    　請求項１から請求項４のいずれか一項に記載の欠陥検査装置。
  6. 　特定の種類の欠陥を含む画像を示す画像データに対して、前記機械学習モデルを用いて当該特定の種類の欠陥を判別するためのモデルパラメータを定めるモデル学習部を備える
    　請求項１から請求項５のいずれか一項に記載の欠陥検査装置。
  7. 　前記欠陥判別器は、前記被検査体に対する撮像条件が異なる複数の画像を示す画像データに基づいて、前記欠陥の種類を判別する
    　請求項１から請求項６のいずれか一項に記載の欠陥検査装置。
  8. 　欠陥の特徴を示す特徴量の空間における距離であって、前記欠陥の種類ごとに予め定めた代表特徴量と、前記画像から抽出される特徴量である抽出特徴量との距離を算出し、
    　算出した距離が前記欠陥の種類のいずれに対しても所定の距離の閾値よりも大きい場合、前記画像から検出される欠陥の種類を新種として判定する新種判定部を備える
    　請求項１から請求項７のいずれか一項に記載の欠陥検査装置。
  9. 　欠陥の種類の判別に成功した欠陥判別器が存在しないとき、前記画像から検出される欠陥の種類を新種として判定する新種判定部を備える
    　請求項１から請求項７のいずれか一項に記載の欠陥検査装置。
  10. 　複数の前記欠陥判別器が判別した欠陥の状態に基づいて、前記被検査体の製造条件を修正するための修正条件を定める製造工程管理部をさらに備える
    　請求項１から請求項９のいずれか一項に記載の欠陥検査装置。
  11. 　画像データから欠陥の特徴量を分析する特徴分析部と、
    　欠陥の特徴量と当該欠陥の種類との関係を示す判定データを用いて、前記特徴分析部が分析した欠陥の特徴量から当該欠陥の種類を定める第２欠陥判別器と、
    　前記被検査体に生ずる欠陥の種類を、取得される操作入力で示される欠陥の種類に定める判定入力部を備える
    　請求項１から請求項１０のいずれか一項に記載の欠陥検査装置。
  12. 　複数の前記欠陥判別器が前記被検査体に生ずる欠陥の種類を定める前に、前記第２欠陥判別器または前記判定入力部が前記被検査体に生ずる欠陥を定める
    　請求項１１に記載の欠陥検査装置。
  13. 　被検査体の画像に基づき前記被検査体に生ずる欠陥を検査する欠陥検査方法であって、
    　前記画像に基づいて、所定の機械学習モデルを用いてそれぞれ異なる前記欠陥の種類を判別する欠陥判別工程を複数個備え、
    　個々の欠陥判別工程において判別される前記欠陥の種類は、前記欠陥検査方法において判別対象とする所定数の欠陥の種類の一部である
    　欠陥検査方法。
  14. 　前記被検査体はガラスであって、
    　請求項１３に記載の欠陥検査方法を用いたガラスの製造方法。
  15. 　前記被検査体はガラスであって、
    　請求項１から請求項１２いずれか一項に記載の欠陥検査装置を用いた検査工程
    　を有するガラスの製造方法。
     
PCT/JP2021/038022 2020-12-15 2021-10-14 欠陥検査装置、欠陥検査方法および製造方法 WO2022130762A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022569735A JPWO2022130762A1 (ja) 2020-12-15 2021-10-14
KR1020237009842A KR20230119625A (ko) 2020-12-15 2021-10-14 결함 검사 장치, 결함 검사 방법 및 제조 방법
CN202180074221.1A CN116368375A (zh) 2020-12-15 2021-10-14 缺陷检查装置、缺陷检查方法以及制造方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-207561 2020-12-15
JP2020207561 2020-12-15

Publications (1)

Publication Number Publication Date
WO2022130762A1 true WO2022130762A1 (ja) 2022-06-23

Family

ID=82058995

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/038022 WO2022130762A1 (ja) 2020-12-15 2021-10-14 欠陥検査装置、欠陥検査方法および製造方法

Country Status (5)

Country Link
JP (1) JPWO2022130762A1 (ja)
KR (1) KR20230119625A (ja)
CN (1) CN116368375A (ja)
TW (1) TW202242390A (ja)
WO (1) WO2022130762A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7270314B1 (ja) 2022-11-07 2023-05-10 タクトピクセル株式会社 検査方法、検査システム、ニューラルネットワーク
CN117058081A (zh) * 2023-08-02 2023-11-14 苏州弗莱威智能科技有限公司 一种光伏玻璃的边角及表面缺陷检测方法
WO2024014102A1 (ja) * 2022-07-12 2024-01-18 株式会社レゾナック 欠陥分析装置、欠陥分析方法及びプログラム
WO2024039785A1 (en) * 2022-08-18 2024-02-22 Onto Innovation Inc. Substrate defect-detection and comparison

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05302897A (ja) * 1992-04-27 1993-11-16 Toshiba Corp 表面検査装置
WO2012090766A1 (ja) * 2010-12-27 2012-07-05 旭硝子株式会社 ガラス板の製造方法およびガラス板の製造装置
WO2014119376A1 (ja) * 2013-01-31 2014-08-07 株式会社日立ハイテクノロジーズ 欠陥検査装置および欠陥検査方法
JP2019204321A (ja) * 2018-05-24 2019-11-28 株式会社ジェイテクト 情報処理方法、情報処理装置、及びプログラム
WO2020079493A1 (en) * 2018-10-15 2020-04-23 Smartex Unipessoal Lda Machine and method to control textile quality

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7087397B2 (ja) 2018-01-17 2022-06-21 東京エレクトロン株式会社 基板の欠陥検査装置、基板の欠陥検査方法及び記憶媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05302897A (ja) * 1992-04-27 1993-11-16 Toshiba Corp 表面検査装置
WO2012090766A1 (ja) * 2010-12-27 2012-07-05 旭硝子株式会社 ガラス板の製造方法およびガラス板の製造装置
WO2014119376A1 (ja) * 2013-01-31 2014-08-07 株式会社日立ハイテクノロジーズ 欠陥検査装置および欠陥検査方法
JP2019204321A (ja) * 2018-05-24 2019-11-28 株式会社ジェイテクト 情報処理方法、情報処理装置、及びプログラム
WO2020079493A1 (en) * 2018-10-15 2020-04-23 Smartex Unipessoal Lda Machine and method to control textile quality

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024014102A1 (ja) * 2022-07-12 2024-01-18 株式会社レゾナック 欠陥分析装置、欠陥分析方法及びプログラム
WO2024039785A1 (en) * 2022-08-18 2024-02-22 Onto Innovation Inc. Substrate defect-detection and comparison
JP7270314B1 (ja) 2022-11-07 2023-05-10 タクトピクセル株式会社 検査方法、検査システム、ニューラルネットワーク
JP2024067674A (ja) * 2022-11-07 2024-05-17 タクトピクセル株式会社 検査方法、検査システム、ニューラルネットワーク
CN117058081A (zh) * 2023-08-02 2023-11-14 苏州弗莱威智能科技有限公司 一种光伏玻璃的边角及表面缺陷检测方法

Also Published As

Publication number Publication date
KR20230119625A (ko) 2023-08-16
JPWO2022130762A1 (ja) 2022-06-23
CN116368375A (zh) 2023-06-30
TW202242390A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
WO2022130762A1 (ja) 欠陥検査装置、欠陥検査方法および製造方法
EP3499418B1 (en) Information processing apparatus, identification system, setting method, and program
JP6598790B2 (ja) カスタマイズされたメトリックスをグローバル分類方法と組み合わせて極高処理能力でプロセスツール状態を監視するウエハおよびロットベースの階層化方法
CN109934814B (zh) 表面缺陷侦测系统及其方法
WO2020007096A1 (zh) 显示屏质量检测方法、装置、电子设备及存储介质
JP4552749B2 (ja) 検査基準設定装置及び方法、並びに、工程検査装置
US11880968B2 (en) Distributed computing system for product defect analysis
US8625906B2 (en) Image classification standard update method, program, and image classification device
KR20200004825A (ko) 디스플레이 장치 품질 검사 방법, 장치, 전자 장치 및 저장 매체
CN111815564B (zh) 一种检测丝锭的方法、装置及丝锭分拣系统
JP5718781B2 (ja) 画像分類装置および画像分類方法
JP5439543B2 (ja) 欠陥分類方法及びその装置
JP2009103508A (ja) 欠陥分類方法及びその装置
CN104053984A (zh) 图像检查方法和图像检查装置
Thielen et al. A machine learning based approach to detect false calls in SMT manufacturing
CN114372980A (zh) 一种工业缺陷检测方法及系统
JP2020181333A (ja) 生成方法、プログラム、生成装置、出力装置及び送信装置
CN116385430A (zh) 一种机器视觉瑕疵检测方法、装置、介质及设备
TWI694250B (zh) 表面缺陷偵測系統及其方法
CN116348897A (zh) 用于可收集物品的识别及分级系统以及相关方法
CN114226262A (zh) 瑕疵检测方法、瑕疵分类方法及其系统
JP7321452B2 (ja) プログラム、情報処理装置、情報処理方法及び学習済みモデルの生成方法
US11407079B2 (en) Monitoring condition of deburring media in vibration deburring machine
CN113267506A (zh) 木板ai视觉缺陷检测装置、方法、设备及介质
WO2022190636A1 (ja) 支援装置および方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21906126

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022569735

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21906126

Country of ref document: EP

Kind code of ref document: A1