WO2022059475A1 - 表面検査システム - Google Patents

表面検査システム Download PDF

Info

Publication number
WO2022059475A1
WO2022059475A1 PCT/JP2021/031860 JP2021031860W WO2022059475A1 WO 2022059475 A1 WO2022059475 A1 WO 2022059475A1 JP 2021031860 W JP2021031860 W JP 2021031860W WO 2022059475 A1 WO2022059475 A1 WO 2022059475A1
Authority
WO
WIPO (PCT)
Prior art keywords
integrated
pixel
defect
image
value
Prior art date
Application number
PCT/JP2021/031860
Other languages
English (en)
French (fr)
Inventor
行正 塩道
博史 藤井
Original Assignee
東洋製罐グループホールディングス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 東洋製罐グループホールディングス株式会社 filed Critical 東洋製罐グループホールディングス株式会社
Publication of WO2022059475A1 publication Critical patent/WO2022059475A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined

Definitions

  • the present invention relates to a surface inspection system that inspects a defect on the surface of an object to be inspected by an image.
  • the surface inspection system is also applied to flaws and three-dimensional objects such as flat semiconductor wafers and steel plates as objects to be inspected. And it is devised so that defects such as smaller scratches can be detected.
  • the steel sheet has been devised to enable more accurate defect detection.
  • the image sensor is made high-definition and a line sensor (a one-dimensional image sensor, which obtains a two-dimensional image by moving the object to be inspected at a constant speed). Is used, and the pixels are moving to smaller ones.
  • An object of the present invention is to provide a new surface inspection system at no cost.
  • an image sensor and an image processing device have a transmission unit that captures an image of the surface of an object to be inspected and sends a pixel value to the image processing device.
  • the processing device includes an integrated pixel generator that integrates a plurality of adjacent pixels to generate one integrated pixel according to the size and shape of the assumed defect assumed in advance, and the pixel value sent from the image sensor. Based on the above, one representative value is calculated from the pixel values of the plurality of pixels included in the integrated pixel and assigned as the integrated pixel value, and the integrated image for reconstructing the integrated two-dimensional image from the integrated pixel value.
  • the surface inspection system is characterized by having a reconstructing unit, a discriminating unit for discriminating the size and shape of a defect based on the integrated two-dimensional image and the integrated pixel value.
  • Explanatory diagram of integrated pixel values in the state (C) Explanatory diagram of superimposing integrated two-dimensional space Explanatory diagram in which defects are detected by integrated pixels in the horizontal direction (A) Explanatory diagram of the shape and size of defects (B) Explanatory diagram of integrated pixel values in a state where the integrated pixels in the horizontal direction are moved one pixel at a time to the right.
  • FIG. 1 is a conceptual diagram of an embodiment.
  • the steel sheet 9 is inspected as an object to be inspected.
  • the steel plate (object to be inspected) 9 is conveyed in the direction of the arrow in the drawing, and a line sensor camera (image sensor) 2 which is an image sensor is provided on the steel plate 9.
  • the line illumination 22 that illuminates the detection line 21 of the line sensor camera (image sensor) 2 is illuminated from an oblique angle of the detection line 21 so that the uneven shadow of the defect 91 is conspicuous.
  • the surface of the steel plate 9 photographed by the detection line 21 is transmitted from the transmission unit 23 to the image processing device 3 via the communication line 24 as a pixel value 2111 for each pixel 211.
  • the line sensor camera (image sensor) 2 is used as the image sensor, but an image sensor that captures a two-dimensional image may be used.
  • the line sensor camera (image sensor) 2 generally has more pixels than an image sensor that captures a two-dimensional image, and the line sensor camera (image sensor) 2 is used to capture an object to be inspected sent on a conveyed line. Is preferable. Depending on the type of the object to be inspected, an image sensor that captures a two-dimensional image may be preferable.
  • the image sensor is typically a CCD or CMOS, but may be a high-sensitivity image sensor such as an avalanche photodiode, and the type of the image sensor does not matter.
  • defects 91 on the surface of the steel sheet (object to be inspected) 9 There are many defects 91 on the surface of the steel sheet (object to be inspected) 9, but some examples are shown.
  • dirt on the surface of the steel plate 9 is also included in the defect 91. Furthermore, it can be classified by the shape such as a circle or a square. And so on.
  • FIG. 2 is a conceptual diagram of the image processing device 3.
  • the main parts of the image processing device 3 are an integrated pixel generation unit 4, an allocation unit 5, an integrated image reconstruction unit 6, and a discrimination unit 7.
  • the "part” here may be a single device, a module on software, may be mounted on one device, or may be virtually connected to those distributed on a network. It may exist as an image processing device 3. Any form is acceptable as long as it has the function of the image processing device 3 according to the present invention.
  • the image processing device 3 receives the pixel value 2111 for each pixel 211 transmitted from the transmission unit 23 of the line sensor camera (image sensor) 2. Each "part" will be described in order.
  • the assumed defect 95 of the integrated pixel generation unit may have a basic shape and size suitable for reconstructing the shape of the defect 91 by image processing in the integrated image reconstruction unit 6 described later.
  • it is a manufacturing plant that manufactures a workpiece from the purchased roll-shaped steel plate 9, and first, it will be described as an example in which the shape and size of the defect 91 can be assumed in advance.
  • the roll of the purchased steel plate (inspected object) 9 is rewound and the long steel plate 9 is sent to the processed product production line by a transport roller or the like.
  • the steel sheet 9 is liable to have vertical flaws 912 generated in the transport direction in a manufacturing process such as rolling of the steel sheet 9 itself or a transport process.
  • FIG. 3 is an explanatory diagram of the assumed defect 95 and the integrated pixel 41.
  • Each of the squares shown by the chain line represents the pixel 211.
  • the pixel 211 corresponds to a data unit acquired in synchronization with the shutter speed from each image sensor (not shown) mounted on the line sensor camera (image sensor) 2.
  • the imaging position of each image sensor that is imaging the detection line 21 and the position of the pixel 211 correspond to each other.
  • the detection line 21 shifts in the transport direction one after another according to the transport speed and the shutter speed of the steel plate 9, the detection line 21 changes each time the shutter is released, and the data (pixel value 2111) in pixel 211 units is assigned one after another. Sent to 5.
  • the shape of the pixel 211 varies depending on the transport measure of the steel plate 9 and the shutter speed, but it is preferable to set the shutter speed according to the transport measure of the steel plate 9 so as to be substantially square. It does not prevent the shape of the pixel 211 from becoming rectangular.
  • the steel sheet 9 is liable to have vertical flaws 912 generated in the transport direction in the manufacturing process such as rolling of the steel sheet 9 itself and the transport process. Since the size and shape of the defect 91 are fixed, the defect 91 is assumed to be the assumed defect 95.
  • the integrated pixel 41 is slightly smaller than the assumed defect 95, and is an aggregate of a total of 100 pixels 211 including 20 pixels 211 in the vertical direction and 5 pixels 211 in the horizontal direction.
  • the integrated pixel 41 is created by virtually collecting the pixels 211 sent from the line sensor camera (image sensor) 2 for each detection line 21 in two dimensions.
  • the shape of the integrated pixel 41 is similar to the shape of the assumed defect 95. For example, in the embodiment, it has a rectangular shape as shown in FIG. In order to reliably detect the assumed defect 95, it is preferable that the integrated pixel generation unit 4 intentionally creates the integrated pixel 41 having a size slightly smaller than the assumed defect 95.
  • the steel plate 9 is conveyed from the line sensor camera (image sensor) 2, the detection line 21 changes one after another each time the shutter is released, and the pixel value 2111 corresponding to the pixel 211 is one after another. Will be sent.
  • the pixel value 2111 of the embodiment is shade data of 256 gradations.
  • processing the pixel value 2111 first, the difference between the pixel value 2111 on the surface of the steel plate 9 having no defect 91 and the pixel value 2111 at the detected defect 91 is taken and the pixel value 2111 is standardized. Is preferable (background noise reduction).
  • the allocation unit 5 is all the pixels 211 (100 in total) included in the virtual integrated pixels 41 (20 vertical pixels 211 x 5 horizontal pixels 211) created by the integrated pixel generation unit 4. ),
  • the representative value 511 is calculated using the spatial filter 51 based on each pixel value 2111 (see FIG. 2).
  • a spatial filter 51 having an average value of pixel values 2111 of a total of 100 pixels 211 included in the integrated pixel 41 as a representative value 511 can be mentioned.
  • the spatial filter 51 may simply have the total value of the total of 100 pixel values 2111 as the representative value 511, or may have the intermediate value (median) as the representative value 511.
  • the space filter 51 is suitable for discrimination by the discriminating unit 7 described later by comparing the representative value 511 of the portion where the defect 91 is present and the representative value 511 of the surface of the steel plate 9 where the defect 91 is not present. Further, it is preferable that the spatial filter 51 is effective against noise.
  • the above example of the spatial filter 51 is an effective example for noise. For example, if the spatial filter 51 for averaging is used, even if noise is mixed in the pixel value 2111, it is possible to reduce the variation of each pixel 211 unit by averaging.
  • the representative value 511 calculated as described above is assigned as the integrated pixel value 52 of the integrated pixel 41. Assigning the representative value 511 calculated for each integrated pixel 41 to each integrated pixel 41 as an integrated pixel value 52 is treated as if it were one large pixel, and the light receiving surface is virtually enlarged and is affected by noise. Will be understood to decrease.
  • FIG. 4 is an explanatory diagram of the integrated two-dimensional image 61.
  • the integrated two-dimensional image 61 is reconstructed using the integrated pixel value 52 output from the allocation unit 5.
  • the integrated two-dimensional image 61 is filled with integrated pixels 41. Further, the small squares shown by the chain lines in the figure are all pixels 211, and only one pixel 211 is designated and shown as a representative.
  • the numbers attached to the vertical and horizontal axes represent the number of pixels 211 counted from the origin 0.
  • the integrated image reconstruction unit 6 reconstructs the integrated two-dimensional image 61 by using the integrated pixel value 52 output from the allocation unit 5.
  • the shading corresponding to the integrated pixel value 52 is displayed as a combined two-dimensional image 61 with the integrated pixel 41 as a unit.
  • the integrated image reconstruction unit 6 reconstructs the integrated two-dimensional image 61 filled with the integrated pixels 41 in units of the integrated pixels 41.
  • the rectangle drawn by the thick line on the upper left of FIG. 4 represents the integrated pixel 411 shifted by one pixel.
  • the integrated image reconstruction unit 6 also reconstructs another integrated two-dimensional image 61 with the integrated pixel 411 shifted by one pixel as a unit. Then, the integrated image reconstruction unit 6 reconstructs another integrated two-dimensional image 61 having an integrated pixel (not shown) shifted by two pixels from the state of FIG.
  • FIG. 5 is a conceptual diagram of the assumed defect 95 and the integrated pixel 41.
  • the scale of the squares is changed, and one square surrounded by a dotted line represents 5 vertical pixels x 5 horizontal pixels. Therefore, the size of the integrated pixel 41 in FIG. 5 is the same as that of the integrated pixel 41 (vertical 20 pixels ⁇ horizontal 5 pixels) in FIGS. 3 and 4.
  • FIG. 5A is an enlarged view of the assumed defect 95 and the integrated pixel 41
  • FIG. 5B is an explanatory diagram in which a defect 91 having substantially the same shape and size as the assumed defect 95 is detected.
  • the discrimination unit 7 starts discrimination of the defect 91 by using the integrated two-dimensional image 61 sent from the integrated image reconstruction unit 6 and the integrated pixel value 52 (representative value 511) of the integrated pixels 41 constituting the integrated two-dimensional image 61. ..
  • the discrimination unit 7 has a threshold value 71, and is set to be 50% of the upper limit of the integrated pixel value 52 (representative value 511) in the first embodiment.
  • FIG. 5 (B) In No. 1, a defect 91 having the same shape as the assumed defect 95 is conveyed in the direction of the arrow so as to pass through the center of the integrated pixel 41.
  • the lower and right bar graphs in FIG. 5B show the size of the representative value 511 (integrated pixel value 52).
  • the central integrated pixel 41 Since the defect 91 having the same shape as the assumed defect 95 is slightly larger on the left and right than the integrated pixel 41, the central integrated pixel 41 outputs a representative value 511 (integrated pixel value 52) which is the upper limit of the integrated pixel value 52. However, a representative value 511 (integrated pixel value 52) smaller than the threshold value 71 is output to each of the integrated pixels 41 adjacent to the left and right of the central integrated pixel 41. Due to the threshold value 71, only the representative value 511 (integrated pixel value 52) of the central integrated pixel 41 can be discriminated, and a very large representative value 511 (integrated pixel value 52) is detected in the central integrated pixel 41.
  • a spatial filter 51 such as a differential filter or a difference filter
  • the change from the integrated pixel 41 adjacent to the defect 91 can be clarified, and the change is like a contour line. It emerges. This is convenient for determining the shape and size. Defects 91 smaller than the integrated pixel 41 are averaged by being assigned a representative value 511 (total value, average value, etc.), and the classification accuracy of the defects 91 is improved.
  • the defect 91 slightly larger than the integrated pixel 41 is binarized after applying a spatial filter such as a fine powder filter or a difference filter, the portion protruding from the integrated pixel 41 is removed, but conversely, the integrated pixel
  • a spatial filter such as a fine powder filter or a difference filter
  • the spatial filter a Laplacian filter (secondary differential filter / contour extraction) or an appropriate draft filter can be applied.
  • FIG. 4 is an explanatory diagram showing how a defect 91 having a shape and size different from that of the assumed defect 95 is detected by the integrated pixel 41 in the vertical direction
  • FIG. 6A is an explanatory diagram of the shape and size of the defect 91. It is a figure. Since the defect 91 moves in the transport direction, the integrated pixel value 52 differs depending on where the starting point of the integrated pixel 41 is located.
  • the squares surrounded by the chain line represent one pixel 211.
  • the spatial filter 51 for calculating the total value is adopted.
  • "0" is output as a pixel value 2111
  • "1" is output as a pixel value 2111.
  • the representative value 511 when one of the four pixels 211 included in the integrated pixel 41 is covered with the defect 91 is output as "1"
  • the two pixels 211 are also output.
  • the representative value 511 when is covered with the defect 91 is output as "2", and the representative value 511 when the three pixels 211 are covered with the defect 91 is output as "3", and these representative values 511 are output.
  • the integrated pixel 41 is created by collecting the pixels 211, if the spatial filter 51 for calculating the total value is adopted, the number of defects included in the collected four pixels 211 is a representative value 511. It becomes.
  • the maximum value of the integrated pixel value 52 is "4" when all four pixels 211 included in the integrated pixel 41 are covered with the defect 91.
  • the thickness of the frame line indicating the integrated pixel 41 in the figure is drawn in proportion to the size of the integrated pixel value 52, and the thicker the frame line, the larger the integrated pixel value 52 is shown in the figure.
  • the numbers in the frame of the integrated pixel 41 indicate the integrated pixel value 52. Even if there is a defect 91 at the same position, in the vertical integrated pixel 41, as shown in FIG. 6B, the vertical integrated pixel 41 is lowered one by one to calculate the representative value 511, and the integrated pixel value 52. By allocating as, a total of four integrated two-dimensional images 61 are created.
  • the numerical value in each integrated pixel 41 illustrated in FIG. 6B represents the numerical value of the integrated pixel value 52 described above.
  • the integrated pixel 41 in which the integrated pixel value 52 is “0” is not shown, the integrated pixel 41 is actually formed on the integrated two-dimensional image 61 without a gap as described with reference to FIG. It is paved. It is understood that, since the starting points of the integrated pixels 41 are different from each other, a total of four different integrated two-dimensional images 61 are produced from the defect 91 in FIG. 6 (A) as shown in FIG. 6 (B).
  • FIG. 6C is an explanatory diagram in which the integrated two-dimensional image 61 is superimposed.
  • the integrated pixel value 52 in which the starting point of the integrated pixel 41 is lowered by one pixel is superimposed. This is a state in which each integrated two-dimensional image 61 is transferred to a transparent sheet and superposed to be viewed from above. A large portion of the integrated pixel value 52 emerges, and the shape and size of the defect 91 emerge. This point will be described in detail in [Polymerization 2D Image] described later.
  • FIG. 7 is an explanatory diagram in which the defect 91 is detected by the horizontal integrated pixel 41 created with the horizontal flaw 913 as the assumed defect 95.
  • FIG. 7A is an explanatory diagram of the shape and size of the defect 91, and is a defect 91 having exactly the same shape and size as FIG. 6A.
  • FIG. 7B is an explanatory diagram of the integrated pixel value 52 in a state where the integrated pixel 41 in the horizontal direction is moved one pixel at a time to the right.
  • the thickness of the line of the frame in the figure is proportional to the size of the integrated pixel value 52, and the numerical value in the frame represents the integrated pixel value 52 of the integrated pixel 41.
  • FIG. 6 (A) and 7 (A) are defects 91 having exactly the same shape and the same size, but the output of the integrated pixel 41 changes depending on the direction of the integrated pixel 41, and the integrated two-dimensional image created from the defect 91 is changed. It can be seen that 61 is completely different.
  • the shape and size of the defect 91 can be further discriminated. It will be understood that it will emerge.
  • FIG. 8 is an explanatory diagram of the integrated pixel 41 in which a round uneven defect is assumed as a defect 95.
  • the integrated pixel 41 has a cross shape.
  • the shape and size of the integrated pixel 41 can be appropriately determined as needed. Although not shown, even with the integrated pixel 41 having such a shape, a plurality of integrated two-dimensional images 61 are created by moving the integrated pixel 41 up, down, left, and right one pixel at a time.
  • FIG. 9 is an explanatory diagram of the polymerization two-dimensional image 62.
  • FIG. 6C it has been explained that the integrated two-dimensional image 61 can be superimposed.
  • the present invention is effective even for a defect 91 having a shape and a size different from that of the assumed defect 95 assumed in advance.
  • the present invention can cope with the case where the shape and size of the defect 91 are different.
  • FIG. 9A is an explanatory diagram of the shape and size of the defect 91, and the defect 91 has a square shape of 3 vertical pixels ⁇ 3 horizontal pixels.
  • FIG. 9B is an explanatory diagram of the integrated pixel value 52 by the integrated pixel 41 in the vertical direction, and the pixels 211 are moved one by one to create a plurality of integrated two-dimensional images 61. .. Further, FIG. 9C is an explanatory diagram of the integrated pixel value 52 by the integrated pixels 41 in the horizontal direction, and the integrated two-dimensional image 61 is also created by moving the pixels 211 one by one.
  • the spatial filter 51 is a spatial filter 51 that outputs the total value of the pixel values 2111 of the pixels 211 included in the integrated pixel 41 as a representative value 511.
  • the upper limit of the representative value 511 assigned to the integrated pixel 41 composed of the three pixels 211 is "3", and the integrated pixel value 52 to which the representative value 511 is assigned changes between 0 and 3.
  • the thickness of the line in the frame is proportional to the integrated pixel value 52 as in FIGS. 6 and 7, and the number represents the integrated pixel value 52.
  • FIG. 9 (D) is an explanatory diagram of the superposed two-dimensional image 62, and three integrated two-dimensional images 61 (a total of six integrated two-dimensional images) of each of FIGS. 9 (B) and 9 (A) are shown. It is a superposed superposed two-dimensional image 62. A total of 6 images, the integrated 2D images 61 of (B1) to (B3) created in FIG. 9 (B) and the integrated 2D images 61 of (C1) to (C2) created in FIG. 9 (C).
  • FIG. 9 (D) is a superposition of the integrated two-dimensional image 61 to create a superposed two-dimensional image 62.
  • the number in each polymerization pixel 621 represents the polymerization pixel value 6211 which is the sum of the integrated pixel value 52 in the polymerization pixel 621 unit.
  • the “1” in the first polymerized pixel value 6212 in FIG. 9 (D) is derived from the “1” in the integrated pixel value 52 of the first integrated pixel 412 in FIG. 9 (B1).
  • the second polymerized pixel value 6213 in FIG. 9 (D) is the “1” of the integrated pixel value 52 of the first integrated pixel 412 in FIG. 9 (B1) and the first integrated pixel 412 in FIG. 9 (B2).
  • the polymerization pixel value 6211 in the portion surrounded by the frame corresponding to the defect 91 has a large polymerization pixel value 6211 as compared with the periphery of the defect 91.
  • the maximum value is the polymerized pixel value 6211 in the center of the frame corresponding to the defect 91, which is "14".
  • the threshold value is "7", which is half of the maximum value "14”, it can be understood that the threshold value can be detected even if the threshold value is lower than that.
  • the fact that there is a margin in the threshold value means that the accuracy of detection has improved.
  • the shape and size can be determined. Further, the shape can be sharply reproduced by binarizing the polymerized two-dimensional image 62 using an appropriate threshold value. As described above, when trying to detect various defects 91, by preparing integrated pixels 41 having various shapes and sizes and superimposing them, the approximate shape and size of the defects 91 can be detected.
  • the integrated pixel 41 acts as if the light receiving area is increased.
  • the pixel value 2111 of the pixel 211 included in the integrated pixel 41 is averaged or summed by the spatial filter 51 to be an intermediate value (median), so that noise is dispersed and the S / N ratio is improved. ..
  • the minimum vertical flaw 912, horizontal flaw 913, or the like determined from the quality requirement may be set as the assumed defect 95.
  • the defect 91 that meets the quality requirement can be reliably detected, and the integrated pixel 41 of various shapes according to the assumed defect 95 integrates.
  • the pixel value 2111 may be shade data of 256 gradations or color data.
  • the present invention can bring out the performance of the conventional surface inspection system 1 to the limit as in the embodiment, it can cope with even if the quality requirement becomes strict.
  • the representative value 511 (the average value is an intermediate value, etc.) representing the integrated pixel 41 is integrated with the integrated pixel 41. Since the noise processing is completed at the stage of allocating as the pixel value 52, it is no longer necessary to take various noise countermeasures such as smoothing processing, expansion / contraction processing, and minute defect removal processing, which are performed in the analysis of pixel 211 units, and the computer. Does not put a burden on.

Landscapes

  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Textile Engineering (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本発明は、コストのかからない新たな表面検査システムを提供することを課題とする。　イメージセンサ2と画像処理装置3を備え、イメージセンサ2は、被検査物9の表面を撮像し、画素値211を画像処理装置3に送る送信部23を有し、画像処理装置3は、あらかじめ想定した想定欠陥95の大きさおよび形状に合わせて、隣接する複数の画素211を統合して１つの統合画素41を生成する統合画素生成部4と、イメージセンサ2から送られた画素値2111に基づき、統合画素41に含まれる複数の画素の画素値2111から１つの代表値511を算出し、統合画素値52として割り当てる割当部5と、統合画素値52から統合２次元画像61を再構成する統合画像再構成部6、統合２次元画像61および統合画素値52に基づき、欠陥の大きさおよび形状を判別する判別部7を有することを特徴とする表面検査システム1。　

Description

表面検査システム
　本発明は、画像により被検査物の表面の欠陥を検査する表面検査システムに関するものである。
　表面検査するシステムは、被検査物として平面的な半導体ウエハーや鋼板等の疵や立体物に対しても行われている。そして、より小さな傷などの欠陥を検出できるよう工夫がなされている。例えば、鋼板については、特許文献１に記載されているように、より高精度な疵検出を可能とするよう工夫がなされている。
　そして、より高精度な疵（欠陥）検出を可能とするためにイメージセンサを高精細化しラインセンサ（１次元のイメージセンサであり、被検査物を一定速度で動かすことで２次元画像を得る）が用いられ、画素はますます小さいものへと移行してきている。
特開２００４－２１９１７７号公報
　これらの欠陥に対する品質要求は、年々厳しくなり、表面検査システムの精度の向上も継続的に要求されている。現在多く使用されるイメージセンサを用いた表面検査システムは、能力の向上、欠点分類の精度及び適格率向上を行う場合、イメージセンサの画素サイズを小さくして分解能を上げ、欠陥の形状、面積の測定精度をあげることで、対応する方向にある。品質要求に応えるためには、さらに、同イメージセンサの性能に対応する画像処理速度を有する新たな画像処理装置に交換する必要もあるし、新たな処理プログラムを導入することになる。このように、表面検査システムの交換は、非常に大掛かりで出費の負担が多いものとなっていた。
　さらに、画素サイズが小さくなることで、入光する光量が少なくなるし、画素の少ないイメージセンサと比較して、単位面積当たりの受光面積が小さくなる。これらは、Ｓ／Ｎ比を下げる原因となり、画素サイズを小さくすることで、予想より測定精度が上がらないこともあり得る。
　本発明は、コストのかからない新たな表面検査システムを提供することを課題とする。
　このような課題を解決するために、イメージセンサと画像処理装置を備え、前記イメージセンサは、被検査物の表面を撮像し、画素値を前記画像処理装置に送る送信部を有し、前記画像処理装置は、あらかじめ想定した想定欠陥の大きさおよび形状に合わせて、隣接する複数の画素を統合して１つの統合画素を生成する統合画素生成部と、前記イメージセンサから送られた前記画素値に基づき、前記統合画素に含まれる複数の前記画素の前記画素値から１つの代表値を算出し、統合画素値として割り当てる割当部と、前記統合画素値から統合２次元画像を再構成する統合画像再構成部、前記統合２次元画像および前記統合画素値に基づき、欠陥の大きさおよび形状を判別する判別部を有することを特徴とする表面検査システムとした。
　コストのかからない表面検査システムを提供することができる。
実施例１の概念図 画像処理装置の概念図 想定欠陥と統合画素の説明図 統合２次元画像の説明図 想定欠陥と統合画素の概念図（Ａ）想定欠陥と統合画素の拡大図（Ｂ）想定欠陥とほぼ同じ形状と大きさの欠陥が検出される説明図 縦方向の統合画素により想定欠陥と異なる形状と大きさの欠陥が検出される様子を示す説明図（Ａ）欠陥の形状と大きさの説明図（Ｂ）縦方向の統合画素を一画素ずつ下げた状態の統合画素値の説明図（Ｃ）統合２次元空間を重ね合わせる説明図 横方向の統合画素により欠陥が検出される説明図（Ａ）欠陥の形状と大きさの説明図（Ｂ）横方向の統合画素を右に１画素ずつ動かした状態の統合画素値の説明図 丸形の凹凸疵を想定欠陥とした統合画素の説明図 重合２次元画像の説明図（Ａ）欠陥の形状と大きさの説明図（Ｂ）縦方向の統合画素による統合画素値の説明図（Ｃ）横方向の統合画素による統合画素値の説明図（Ｄ）重合２次元画像の説明図
　以下、図面を参照して本発明の実施形態を説明する。以下の説明で、異なる図における
同一符号は同一機能の部位を示しており、各図における重複説明は適宜省略する。
（実施例１）
［イメージセンサ］
　図１は、実施例の概念図である。実施例は、被検査物として鋼板９を検査するものである。鋼板（被検査物）９は図面中の矢印方向に搬送されており、イメージセンサであるラインセンサカメラ（イメージセンサ）２が鋼板９の上に設けられている。ラインセンサカメラ（イメージセンサ）２の検出ライン２１を照明するライン照明２２は、欠陥９１の凹凸の陰影が目立つように検出ライン２１の斜めから照射される。検出ライン２１で撮影された鋼板９の表面は、画素２１１ごとの画素値２１１１として、送信部２３から通信線２４を介して画像処理装置３へと送られる。
　なお、実施例では、イメージセンサとしてラインセンサカメラ（イメージセンサ）２を使用しているが、２次元画像を撮影するイメージセンサでもよい。ラインセンサカメラ（イメージセンサ）２は、一般的に２次元画像を撮影するイメージセンサより画素が多く、搬送されているラインで送られる被検査物を撮影する場合はラインセンサカメラ（イメージセンサ）２の方が好ましい。被検査物の種類によっては２次元画像を撮影するイメージセンサの方が好ましいこともある。
　また、撮像素子としては、CCDやCMOSが代表的であるがアバランシェフォトダイオードなど高感度撮像素子であってもよく、撮像素子の種類は問わない。
［欠陥］
　鋼板（被検査物）９の表面の欠陥９１は、多数あるが、いくつかの例を示す。
（１）鋼板９の搬送または製造工程で鋼板９の搬送中に金属片などの異物が接触し、搬送方向に生じた縦疵９１２
（２）鋼板９の搬送または製造工程で鋼板９に接触するローラーが回転不良を起こし、スリップするなどで発生する搬送方向と直交する横疵９１３
が多い。
　また、鋼板９の表面の汚れも欠陥９１に含まれる。
　さらに、丸や四角などの形状によっても分類できる。
などである。
［画像処理装置］
　図２は、画像処理装置３の概念図である。画像処理装置３の主要部は、統合画素生成部４と、割当部５と、統合画像再構成部６と判別部７である。ここでいう「部」とは、一つの装置でもよいし、ソフトウエア上のモジュールでもよく、一つの装置に搭載されていてもよいし、ネットワーク上で分散配置されたものが繋がれ仮想的に画像処理装置３として存在してもよい。本発明でいう画像処理装置３としての機能を備えるのであれば、形態を問わない。
　画像処理装置３は、ラインセンサカメラ（イメージセンサ）２の送信部２３から送信された画素２１１ごとの画素値２１１１を受信する。それぞれの「部」について、順に説明する。
（１）統合画素生成部
　想定欠陥９５は、後述する統合画像再構成部６における画像処理により欠陥９１の形状を再構成するのに適した基本的な形状や大きさとしてもよい。
　実施例１では、購入したロール状の鋼板９から、加工物を製造する製造プラントであり、まず、あらかじめ欠陥９１の形状や大きさが想定できる場合の例として説明する。購入した鋼板（被検査物）９のロールは、巻き戻されて長尺な鋼板９が搬送ローラー等で加工品製造ラインに送られる。鋼板９は、鋼板９自体の圧延等の製造工程や搬送工程で、搬送方向に生じた縦疵９１２が付きやすい。
［想定欠陥］
　図３は、想定欠陥９５と統合画素４１の説明図である。鎖線で示されたマス目一つ一つは、画素２１１を表している。画素２１１は、ラインセンサカメラ（イメージセンサ）２に搭載された個々の撮像素子（図示せず）から、シャッタースピードに同期して取得されるデータ単位と対応するものである。検出ライン２１を撮像している個々の撮像素子の撮影位置と画素２１１の位置は対応する。鋼板９の搬送速度とシャッタースピードに合わせて次々と検出ライン２１が搬送方向にずれて行き、シャッターが切れるごとに検出ライン２１が変わり、次々と画素２１１単位のデータ（画素値２１１１）が割当部５に送られる。検出ライン２１毎に画素２１１単位のデータ（画素値２１１１）を並べることで、２次元の画像となる。画素２１１の形は、鋼板９の搬送測度と、シャッタースピードにより変わるが、略正方形になるように鋼板９の搬送測度に合わせてシャッタースピードの設定をすることが好ましい。なお、画素２１１の形が長方形になることを妨げるものではない。
　鋼板９は、鋼板９自体の圧延等の製造工程や搬送工程で、搬送方向に生じた縦疵９１２が付きやすい。欠陥９１の大きさや形が決まっているので、その欠陥９１を想定欠陥９５とする。統合画素４１は、想定欠陥９５よりやや小さく、縦方向に画素２１１が２０個含まれ×横方向に画素２１１が５個含まれる計１００個の画素２１１の集合体である。統合画素４１は、ラインセンサカメラ（イメージセンサ）２から検出ライン２１毎に送られてきた画素２１１を２次元に仮想的に集めて作成したものである。また、統合画素４１の形状は、想定欠陥９５の形状に相似させものである。例えば、実施例では、図３に示すように長方形をしている。想定欠陥９５を確実に検出するために、統合画素生成部４は想定欠陥９５よりあえて一回り小さい寸法の統合画素４１を作成するのが好ましい。
（２）割当部
　前記したようにラインセンサカメラ（イメージセンサ）２からは、鋼板９が搬送され、シャッターが切れるごとに次々と検出ライン２１が変わり、画素２１１に対応する画素値２１１1が次々と送られて来る。実施例の画素値２１１１は２５６階調の濃淡データである。なお、画素値２１１１を処理にするに当たり、まず、欠陥９１のない鋼板９の表面の画素値２１１１と検出された欠陥９１の箇所の画素値２１１１の差分を取り画素値２１１１を標準化しておくことが好ましい（バックグラウンドノイズ除去）。
　割当部５は、統合画素生成部４で作成された仮想的な統合画素４１（縦方向の画素２１１が２０個×横方向の画素２１１が５個）に含まれるすべての画素２１１（合計１００個）の各々の画素値２１１１に基づき、空間フィルタ５１を用いて代表値５１１を算出する（図２参照）。
　ここでいう、空間フィルタ５１の例としては、統合画素４１に含まれる合計１００個の画素２１１のそれぞれ画素値２１１１の平均値を代表値５１１とする空間フィルタ５１を挙げることができる。また、空間フィルタ５１は、単に合計１００個の画素値２１１１の合計値を代表値５１１するものであってもよいし、中間値（メジアン）を代表値５１１とするものであってもよい。空間フィルタ５１は、欠陥９１の存在する部分の代表値５１１と欠陥９１の存在しない鋼板９の表面の代表値５１１と比較して後述する判別部７で判別するのに適したものが好ましい。また、ノイズに対して効果的な空間フィルタ５１であることが好ましい。上記の空間フィルタ５１の例は、ノイズに対して効果的な例である。例えば、平均化する空間フィルタ５１を用いると、画素値２１１１にノイズが混じっても、平均化されることで個々の画素２１１単位のばらつきを低減させることができる。
　以上のように算出された代表値５１１は、統合画素４１の統合画素値５２として割り当てられる。統合画素４１ごとに計算された代表値５１１を一つ一つの統合画素４１に統合画素値５２として割り当てることは、あたかも一つの大きな画素として扱うことで、受光面が仮想的に拡大されノイズの影響が減ることが理解されよう。
（３）統合画像再構成部
　図４は統合２次元画像６１の説明図である。前記割当部５から出力される統合画素値５２を用いて、統合２次元画像６１を再構成する。統合２次元画像６１は、統合画素４１で埋め尽くされている。また、図中の鎖線で示された小さいマス目は、すべて画素２１１であり、代表して一つの画素２１１だけ符号をつけて図示している。縦横の軸に付した数字は、画素２１１を原点０から数えた数を表す。
　統合画像再構成部６は、前記割当部５から出力される統合画素値５２を用いて、統合２次元画像６１を再構成する。視覚的に表現すれば、統合画素４１を単位として、統合画素値５２に相当する濃淡が統２次元画像６１として表示される。これにより、隣接する統合画素４１間の関係性が分かるようになる。
　統合画像再構成部６は、統合画素４１を単位とし、統合画素４１で埋め尽くされた統合２次元画像６１を再構成する。図４の左上の太い線で描いた長方形は、１画素ずらせた統合画素４１１を表す。統合画像再構成部６は、１画素ずらせた統合画素４１１を単位として別の統合２次元画像６１も再構成する。そして、統合画像再構成部６は、図４の状態から、さらに２画素ずらせた統合画素（図示せず）を単位とするさらに別の統合２次元画像６１を再構成する。このように、０画素～４画素ずらせた計５枚の統合２次元画像６１が作られる。５画素ずらせると、図４で示した統合２次元画像６１に戻るから、計５枚の統合２次元画像６１で十分である。
　このようにするのは、欠陥９１が、鋼板９の表面上のどこにあるかは分からないから、１つの画素２１１ずつずらせた統合２次元画像６１を作成することで欠陥９１の判別を正確に行うためである。この点については、次の項で詳細に説明する。
（４）判別部　
　図５は、想定欠陥９５と統合画素４１の概念図である。説明を簡単にするため、マス目の縮尺を変え、点線で囲われた一つのマス目は縦５画素×横５画素を表す。したがって、図５の統合画素４１の大きさは、図３および図４の統合画素４１（縦２０画素×横５画素）と同じである。図５（Ａ）は想定欠陥９５と統合画素４１の拡大図であり図５（Ｂ）は、想定欠陥９５とほぼ同じ形状と大きさの欠陥９１が検出される説明図である。
　判別部７は、統合画像再構成部６から送られた統合２次元画像６１と、それを構成する統合画素４１の統合画素値５２（代表値５１１）を用いて、欠陥９１の判別を開始する。
　判別部７は、閾値７１を持っており、実施例１では統合画素値５２（代表値５１１）の上限の５０％となるように設定されている。
　図５（Ｂ）のｅｘ．１では、想定欠陥９５と同じ形状の欠陥９１が、統合画素４１のちょうど中心を通るように矢印の方向に搬送される様子を示している。図５（Ｂ）の下と右の棒グラフは、代表値５１１（統合画素値５２）の大きさを示している。想定欠陥９５と同じ形状の欠陥９１は、統合画素４１より、左右がやや大きいため、中央の統合画素４１では、統合画素値５２の上限となる代表値５１１（統合画素値５２）が出力されているが、中央の統合画素４１の左右に隣接する統合画素４１には、それぞれ閾値７１より小さな代表値５１１（統合画素値５２）が出力されている。閾値７１により、中央の統合画素４１の代表値５１１（統合画素値５２）しか判別対象とならず、中央の統合画素４１には非常に大きな代表値５１１（統合画素値５２）が検出されるため、想定欠陥９５と同じかやや大きい欠陥９１がある場合、確実に検出ができる。
　また、非常に簡単に想定欠陥９５とほぼ同じ大きさの形状と大きさの欠陥９１があると判別できる。想定欠陥９５の形状や大きさがほぼ定まっている場合には、計算資源に負荷を与えず検出でき非常に有利である。
　図５（Ｂ）のｅｘ．２のように想定欠陥９５と同じ形状の欠陥９１の中央が、隣接する統合画素４１と統合画素４１の接合線を通るように搬送されるときが、一番判別が難しい。閾値７１と統合画素値５２が近接しており、ノイズの影響を考慮すると、判別し損ねることが起こり得る。
　そこで、図４を使って説明したように、統合画素４１を１画素ずらせて作成した計５枚の統合２次元画像６１を用いる。判別部７は、統合画素値５２が最も高い値を示す統合２次元画像６１を用いて判別を行うことで判別精度を各段に向上させることができる。これにより、欠陥９１がどの位置にあろうとも、想定欠陥９５と略同じ形状で同じ大きさの欠陥９１であれば確実に検出し、形状や大きさを判別できる。
　また、統合２次元画像６１に対して、微分フィルタや差分フィルタなどの空間フィルタ５１を適用することにより、欠陥９１に隣接する統合画素４１との変化を明確化でき、変化が輪郭線のように浮かび上がる。このようにすると、形状や大きさを判別するのに便利である。統合画素４１より小さい欠陥９１は、代表値５１１（合計値や平均値など）が割り当てられることで平均化され、欠陥９１の分類精度が向上する。
　また、統合画素４１よりやや大きい欠陥９１は、微粉フィルタや差分フィルタなどの空間フィルタを適用した上で２値化すると、統合画素４１からはみ出た部分は除去されてしまうが、逆に、統合画素４１に類似か非類似かの欠陥９１の形状を判断は明確にできるようになる。
　空間フィルタとしては、この他にもラプラシアンフィルタ（二次微分フィルタ・輪郭抽出）や適宜案フィルタを適用できる。
（追加の態様）
（追加の態様）
[統合画像再構成部における統合画素の起点位置の変更]
　図４では、横方向に１画素ずつずらせた統合画素４１１を用いて、合計５枚の統合２次元画像６１を作成することを説明した。しかし、統合画素４１の起点も欠陥９１の検出に影響する。統合画素４１の起点位置を上下に変更することで、さらに欠陥９１の形状や大きさを判別する精度を上げることが可能となる。
　図６は、縦方向の統合画素４１により想定欠陥９５と異なる形状と大きさの欠陥９１が検出される様子を示す説明図であり、図６（Ａ）は欠陥９１の形状と大きさの説明図である。欠陥９１は、搬送方向に向かって動くため、統合画素４１の起点をどこにするかによっても、統合画素値５２が異なってくる。
　鎖線で囲まれるマス目は１つの画素２１１を表す。ここで、説明のためにノイズが全くないことを前提とする。また、合計値を算出する空間フィルタ５１を採用することとする。さらに、画素２１１が欠陥で覆われていないときは「０」を画素値２１１１として出力し、画素２１１が欠陥で覆われているときは「１」を画素値２１１１として出力するものとする。
　このような前提を置いたとき、統合画素４１に含まれる４つの画素２１１の内１つの画素２１１が欠陥９１で覆われた時の代表値５１１は「１」と出力され、同じく２つの画素２１１が欠陥９１で覆われたときの代表値５１１は「２」と出力され、同じく３つの画素２１１が欠陥９１で覆われたときの代表値５１１は「３」と出力され、これらの代表値５１１を各々統合画素値５２として割り当てる。図６の実施例の場合、画素２１１を集めて作成した統合画素４１であるから、合計値を算出する空間フィルタ５１を採用すると、集めた４つの画素２１１に含まれる欠陥の数が代表値５１１となる。

統合画素値５２の最大値は、統合画素４１に含まれる４つの画素２１１がすべて欠陥９１で覆われた時の「４」である。図中の統合画素４１を示す枠の線の太さは統合画素値５２の大きさに比例し描かれており、枠の線が太い程、統合画素値５２が大きいことを示し、図示された統合画素４１の枠内の数字は統合画素値５２を示す。
　同じ位置に欠陥９１があるとしても、縦方方向の統合画素４１では、図６（Ｂ）のように、縦方向の統合画素４１を一画素ずつ下げて代表値５１１を計算し統合画素値５２として割り当てることで、計４枚の統合２次元画像６１を作成される。図６（Ｂ）に図示したそれぞれの統合画素４１内の数値は、前記した統合画素値５２の数値を表す。また、統合画素値５２が「０」となる統合画素４１は省略して図示していないが、実際には、図４で説明したように、統合２次元画像６１上に隙間無く統合画素４１が敷き詰められている。それぞれ、統合画素４１の起点が異なることで、図６（Ａ）の欠陥９１からは、図６（Ｂ）のように異なる統合２次元画像６１が計４枚作製されることが理解される。
[統合画像再構成部における画像の重ね合わせ]
　図６（Ｃ）は統合２次元画像６１を重ね合わせる説明図である。統合画素４１の起点を１画素ずつ下げた統合画素値５２を重ね合わせる。これは、それぞれの統合２次元画像６１を透明なシートに転写し重ね合わせ上から観たような状態となる。統合画素値５２の大きな箇所が浮かび上がり、欠陥９１の形状や大きさが浮かび上がる。この点については、後述の[重合２次元画像]で詳しく説明する。
[想定欠陥の多様性]
　欠陥９１は、縦疵９１２ばかりとは限らない。図７は横疵９１３を想定欠陥９５として作られた横方向の統合画素４１により欠陥９１が検出される説明図である。図７（Ａ）は欠陥９１の形状と大きさの説明図であり、図６（Ａ）と全く同じ形状と大きさの欠陥９１である。図７（Ｂ）は横方向の統合画素４１を右に１画素ずつ動かした状態の統合画素値５２の説明図である。図中の枠の線の太さは、統合画素値５２の大きさと比例し、また、枠内の数値は、統合画素４１の統合画素値５２を表す。
　図６（Ａ）と図７（Ａ）は全く同じ形状で同じ大きさの欠陥９１であるが、統合画素４１の方向により、統合画素４１の出力が変わるとともに、それから作成される統合２次元画像６１が全く異なるものとなることが分かる。図６（Ｃ）の縦方向の統合画素４１による統合２次元画像６１に加えて、横方向の統合２次元画像６１を更に重ね合わせることで、より欠陥９１の形状や大きさが判別できるように浮かび上がることが理解されよう。
　また、図８は丸型の凹凸疵を想定欠陥９５とした統合画素４１の説明図である。統合画素４１は十字の形をしている。統合画素４１の形状や大きさは、必要に応じ適宜定めることができるものである。図示していないが、このような形状の統合画素４１であっても上下左右に１画素ずつ動かし、複数の統合２次元画像６１が作られる。
[重合２次元画像］
　図９は、重合２次元画像６２の説明図である。図６（Ｃ）では、統合２次元画像６１を重ね合わせることができることを説明した。あらかじめ想定した想定欠陥９５と異なる形状や大きさの欠陥９１に対しても、本発明が有効であることを説明する。欠陥９１の形状や大きさがバラバラな時にも本発明は対応できる。
　図９（Ａ）は、欠陥９１の形状と大きさの説明図であり、欠陥９１は縦３画素×横３画素の正方形の形をしている。これに対して、縦３画素×横１画素の形状と大きさの縦方向の統合画素４１と、縦１画素×横３画素の形状と大きさの横方向の統合画素４１の２種類の統合画素４１が用意されている。
　欠陥９１に対して、図９（Ｂ）では、縦方向の統合画素４１による統合画素値５２の説明図であり、画素２１１を一つずつ動かして複数の統合２次元画像６１を作成している。また、図９（Ｃ）は、横方向の統合画素４１による統合画素値５２の説明図であり、やはり、画素２１１を一つずつ動かして統合２次元画像６１を作成している。
　説明のため、図６と同じ前提を置き、ノイズがないものとし、欠陥９１に完全に覆われた画素２１１の画素値２１１１を「１」とし、欠陥９１のない画素２１１の画素値２１１１は「０」としている。統合画素値５２が０の部分の統合画素４１は描いていない。空間フィルタ５１は、統合画素４１に含まる画素２１１の画素値２１１１の合計値を代表値５１１として出力する空間フィルタ５１としている。３個の画素２１１からなる統合画素４１に割り当てられる代表値５１１の上限は「３」であり、代表値５１１が割り当てられた統合画素値５２は、０～３の間で変化する。枠内の線の太さは、図６と図７と同様に統合画素値５２に比例し、数字は統合画素値５２を表す。
　図９（Ｄ）は重合２次元画像６２の説明図であり、図９（Ｂ）と図９（Ａ）のそれぞれの３枚の統合２次元画像６１（合計６枚の統合２次元画像）を重ね合わせた重合２次元画像６２である。図９（Ｂ）で作成された（Ｂ１）～（Ｂ３）の統合２次元画像６１と図９（Ｃ）で作成された（Ｃ１）～（Ｃ２）の統合２次元画像６１の計６枚の統合２次元画像６１を重合し、重合２次元画像６２を作成したのが図９（Ｄ）である。各重合画素６２１内の数字は、統合画素値５２を重合画素６２１単位で合計した重合画素値６２１１を表している。例えば、図９（Ｄ）の第１の重合画素値６２１２の「１」は、図９（Ｂ１）の第１の統合画素４１２の統合画素値５２の「１」に由来する。図９（Ｄ）の第２の重合画素値６２１３は、図９（Ｂ１）の第１の統合画素４１２の統合画素値５２の「１」と図９（Ｂ２）の第１の統合画素４１２の統合画素値５２と第２の統合画素４１３の統合画素値５２の「２」を合計した「３」に由来する。
　さらに、図９（Ｄ）の第３の重合画素値６２１４の「１２」は、図９（Ｂ１）～図９（Ｂ３）の第１の統合画素４１２の統合画素値５２の「１」、第２の統合画素４１３の統合画素値５２の「２」、第３の統合画素４１４の統合画素値５２の「３」に加え、図９（Ｃ１）～（Ｃ３）の第４の統合画素４１５の統合画素値５２の「２」、第５の統合画素４１６の統合画素値５２の「１」、第６の統合画素４１７の統合画素値５２の「３」を合計した「１２」に由来する。図９（Ｄ）の太線の枠は、欠陥９１の位置を示し、欠陥９１と重なる統合画素４１が多い程、重合画素値６２１１が急激に大きくなることが分かる。
　図９（Ｄ）の重合２次元画像６２の重合画素６２１は、以上のような処理を経て作成されたものである。図９（Ｄ）を観ても分かるように、欠陥９１に相当する枠で囲んだ箇所内の重合画素値６２１１は、欠陥９１の周囲と比較して大きな重合画素値６２１１となっていることが分かる。最大値は欠陥９１に相当する枠内の中央の重合画素値６２１１であり「１４」となっている。閾値を最大値「１４」の半分の「７」であるが、それよりも閾値を低くしても検出可能なことが理解されよう。閾値に余裕ができることは、検出の精度が向上したことを意味する。
　さらに、重合２次元画像６２を作成することにより、統合画素４１と異なる形状の欠陥９１であっても検出可能となり、しかも、形状や大きさも判別することができる。
　また、重合２次元画像６２を適宜な閾値を使用して２値化することで形状もシャープに再現できる。
　以上のように、多様な欠陥９１を検出しようとする場合、多様な形状や大きさの統合画素４１を用意し、重ね合わせることで、欠陥９１のおおよその形状と大きさを検出できる。
（ノイズ）
　前述したように、統合画素４１という仮想の大きな画素を形成することで、あたかも受光面積を大きくしたように作用することとなる。加えて、統合画素４１に含まれる画素２１１の画素値２１１１は、空間フィルタ５１により平均化されたり合計されたり中間値（メジアン）とすることで、ノイズが分散され、Ｓ／Ｎ比が向上する。
（変形例）
　品質要求から定まる最小の縦疵９１２や横疵９１３等を想定欠陥９５としてもよい。品質要求から定まる様々な形状の最小の欠陥を想定欠陥９５とすることで、品質要求に応える欠陥９１を確実に検出できるし、また、想定欠陥９５に応じた様々な形状の統合画素４１により統合２次元画像６１や重合２次元画像６２を再構成することで、最小の欠陥９１より大きな欠陥９１の形状や大きさを判別できることとなる。画素値２１１１は、２５６階調の濃淡データとしてもよいし、カラーデータでもよいことは言うまでもない。
　図示していないが、ラインセンサカメラ（イメージセンサ）２を、複数台角度を変えながら設けることで、Ｓ／Ｎ比の向上がさらに図れる。角度が違うラインセンサカメラ（イメージセンサ）２からは、欠陥９１の形状や大きさあるいは凹か凸かなどにより生じる陰影が、様々な画像が取得できる。欠陥９１に適した角度のラインセンサカメラ（イメージセンサ）２からのデータ（すなわち、出力の大きい）を用いてもよいし、すべてのラインセンサカメラ（イメージセンサ）２からのデータを、角度を補正して重合２次元画像６２を作成し分析してもよい。
　品質要求から定まる最小の縦疵９１２や横疵９１３等を想定欠陥９５とした統合画素４１を様々作成し、複数の統合２次元画像６１を再構成し、加えて、複数の統合２次元画像６１を重合して重合２次元画像６２とすることで、最小の縦疵９１２や横疵９１３と異なる形状や大きさの欠陥９１であっても検出することが可能となる。
（実施例の作用効果のまとめ）
　従来、画素２１１および画素値２１１１を用いた表面検査システム１では、形状を別途のプログラムにより判別する必要がある。しかも、画素２１１が小さいため膨大な計算資源を必要としていた。
　本発明では、上述のように、想定欠陥９５の形状をパターン化した統合画素４１の形状とマッチングした統合画素値５２を得るだけで、形状や大きさの判別ができるため、計算資源を浪費しない使い方もできる。
　また、画素２１１を集めて作成した統合画素４１は、受光面積を大きくしたのと同様の効果があり、空間フィルタ５１により代表値５１１を統合画素値５２として割り当てるため、Ｓ／Ｎ比が向上する。
　そして、想定欠陥９５のパターン変更や追加は、想定欠陥９５の形状や大きさを統合画素生成部４に入力するだけで足り、従来のように判別のためのプルコルをアルゴリズムとして加えるような大規模な修正を行う必要がなくなる。仮に形状判別精度を高めるため想定欠陥９５のパターンを極端に増やしたとしても図１のように画像処理装置３を増やし並列化することで対応できる。なぜなら、画像処理装置３に入力される想定欠陥９５が異なるだけで、その他のプログラムに変更はなく、簡単に並列化することができるからである。
　さらに、重合２次元画像６２を作成するようにすれば、想定欠陥９５以外の様々な形状の欠陥９１の形状や大きさも検出できる。
　想定欠陥９５を、品質要求から定められる最小の欠陥９１の形状や大きさを想定欠陥９５として統合画素４１を生成すれば、欠陥９１に対する品質要求が高まったとしても、ラインセンサカメラ（イメージセンサ）２を変えなくても対応できる。本発明は、実施例のように従来の表面検査システム１の性能をギリギリまで引き出すことができるので、品質要求が厳しくなったとしても対応できるようになる。
　また、画素２１１単位の分析に対して形状判別能力や面積計算能力は犠牲になるが、統合画素４１に対して、その統合画素４１を代表する代表値５１１（平均値は中間値等）を統合画素値５２として割り当てる段階でノイズ処理が終わるため、画素２１１単位の分析で行われるような平滑化処理、膨張・収縮処理、微小欠陥除去処理などの数々のノイズ対策を施す必要がなくなり、計算器に負担をかけることがない。
　以上、本発明に係る実施例を、図面を参照して詳述してきたが、具体的な構成は、これらの実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれる。
　また、前述の各実施例や変形例は、その目的および構成等に特に矛盾や問題がない限り、互いの技術を流用して組み合わせることが可能である
１　　　　表面検査システム

２　　　　ラインセンサカメラ（イメージセンサ）
２１　　　検出ライン
２１１　　画素
２１１１　画素値
２２　　　ライン照明
２３　　　送信部
２４　　　通信線

３　　　　画像処理装置

４　　　　統合画素生成部
４１　　　統合画素
４１１　　１画素ずらせた統合画素
４１２　　第１の統合画素
４１３　　第２の統合画素
４１４　　第３の統合画素
４１５　　第４の統合画素
４１６　　第５の統合画素
４１７　　第６の統合画素

５　　　　割当部
５１　　　空間フィルタ
５１１　　代表値
５２　　　統合画素値

６　　　　統合画像再構成部
６１　　　統合２次元画像
６２　　　重合２次元画像
６２１　　重合画素
６２１１　重合画素値
６２１２　第１の重合画素値
６２１３　第２の重合画素値
６２１４　第３の重合画素値
７　　　　判別部
７１　　　閾値

９　　　　鋼板
９１　　　欠陥
９１２　　縦疵
９１３　　横疵

９５　　　想定欠陥

Claims (1)

  1. 　イメージセンサと画像処理装置を備え、
    　前記イメージセンサは、被検査物の表面を撮像し、画素値を前記画像処理装置に送る送信部を有し、
    　前記画像処理装置は、
    　あらかじめ想定した想定欠陥の大きさおよび形状に合わせて、隣接する複数の画素を統合して１つの統合画素を生成する統合画素生成部と、
    　前記イメージセンサから送られた前記画素値に基づき、前記統合画素に含まれる複数の前記画素の前記画素値から１つの代表値を算出し、前記統合画素値として割り当てる割当部と、
    　前記統合画素値から統合２次元画像を再構成する統合画像再構成部、
    　前記統合２次元画像および前記統合画素値に基づき、欠陥の大きさおよび形状を判別する判別部
    を有することを特徴とする表面検査システム。
PCT/JP2021/031860 2020-09-16 2021-08-31 表面検査システム WO2022059475A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-155645 2020-09-16
JP2020155645A JP2022049436A (ja) 2020-09-16 2020-09-16 表面検査システム

Publications (1)

Publication Number Publication Date
WO2022059475A1 true WO2022059475A1 (ja) 2022-03-24

Family

ID=80776173

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/031860 WO2022059475A1 (ja) 2020-09-16 2021-08-31 表面検査システム

Country Status (2)

Country Link
JP (1) JP2022049436A (ja)
WO (1) WO2022059475A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012070288A (ja) * 2010-09-27 2012-04-05 Hitachi High-Technologies Corp 光電変換素子、欠陥検査装置及び欠陥検査方法
JP2018066740A (ja) * 2016-10-21 2018-04-26 テクスマーク・ゲーエムベーハー・フェアトリープスゲゼルシャフト 帯状材料観察および帯状材料検査のための方法および装置
US20180159468A1 (en) * 2016-12-01 2018-06-07 Bt Imaging Pty Ltd Determining the condition of photovoltaic modules
JP2020076606A (ja) * 2018-11-06 2020-05-21 Tdk株式会社 外観検査方法及び電子部品の製造方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012070288A (ja) * 2010-09-27 2012-04-05 Hitachi High-Technologies Corp 光電変換素子、欠陥検査装置及び欠陥検査方法
JP2018066740A (ja) * 2016-10-21 2018-04-26 テクスマーク・ゲーエムベーハー・フェアトリープスゲゼルシャフト 帯状材料観察および帯状材料検査のための方法および装置
US20180159468A1 (en) * 2016-12-01 2018-06-07 Bt Imaging Pty Ltd Determining the condition of photovoltaic modules
JP2020076606A (ja) * 2018-11-06 2020-05-21 Tdk株式会社 外観検査方法及び電子部品の製造方法

Also Published As

Publication number Publication date
JP2022049436A (ja) 2022-03-29

Similar Documents

Publication Publication Date Title
JP4230566B2 (ja) 欠陥統合処理装置および欠陥統合処理方法
WO2010016137A1 (ja) 検査システム
KR101031618B1 (ko) 주기적인 구조를 광학적으로 검사하는 방법 및 시스템
US8237848B2 (en) Image sensing apparatus and method for sensing target that has a defective portion region
JP6355316B2 (ja) 光透過性フィルムの欠陥検出方法
TW201445133A (zh) 面板三維瑕疵之線上檢測方法
WO2022059475A1 (ja) 表面検査システム
JPH11311510A (ja) 微小凹凸の検査方法および検査装置
JP4244046B2 (ja) 画像処理方法および画像処理装置
JPH0921628A (ja) 円筒状被検物の表面凹凸欠陥検出方法
JP5181912B2 (ja) 表面欠陥の検査方法、表面欠陥検査装置、鋼板の製造方法、及び鋼板の製造装置
JPH04240557A (ja) 欠陥検出方法
JP2019120644A (ja) 表面検査装置、及び表面検査方法
JP2800726B2 (ja) 織布の検反装置
JP6459550B2 (ja) 機械設備の異常検出方法および異常検出装置
JP3673414B2 (ja) 西瓜外観検査装置
JPH0711414B2 (ja) ガラスびんの偏肉検査方法
JP3531160B2 (ja) 紙の裁断面の品質を検査する方法
JPH0587782B2 (ja)
JPH08145904A (ja) 明欠陥／暗欠陥検査装置
JP2021004748A (ja) 外観検査管理システム、外観検査管理装置、外観検査管理方法及びプログラム
TWI716111B (zh) 圖像採集品質評估方法及系統
JP7090899B2 (ja) 符号化された照明パターンを用いる画像処理装置および画像処理プログラム
JP2965370B2 (ja) 欠陥検出装置
JP4220061B2 (ja) 周期性パターンの欠陥検査方法及び装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21869162

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21869162

Country of ref document: EP

Kind code of ref document: A1