WO2024070101A1 - 表面欠陥検出方法及び表面欠陥検出装置 - Google Patents

表面欠陥検出方法及び表面欠陥検出装置 Download PDF

Info

Publication number
WO2024070101A1
WO2024070101A1 PCT/JP2023/024078 JP2023024078W WO2024070101A1 WO 2024070101 A1 WO2024070101 A1 WO 2024070101A1 JP 2023024078 W JP2023024078 W JP 2023024078W WO 2024070101 A1 WO2024070101 A1 WO 2024070101A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
strip
defect detection
surface defect
images
Prior art date
Application number
PCT/JP2023/024078
Other languages
English (en)
French (fr)
Inventor
嘉之 梅垣
紘明 大野
Original Assignee
Ｊｆｅスチール株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｊｆｅスチール株式会社 filed Critical Ｊｆｅスチール株式会社
Priority to KR1020257008097A priority Critical patent/KR20250048337A/ko
Priority to EP23871346.5A priority patent/EP4579225A1/en
Priority to CN202380066619.XA priority patent/CN119895252A/zh
Publication of WO2024070101A1 publication Critical patent/WO2024070101A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8901—Optical details; Scanning details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/952—Inspecting the exterior surface of cylindrical bodies or wires
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8914—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the material examined
    • G01N2021/8918—Metal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/127—Calibration; base line adjustment; drift compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal

Definitions

  • This disclosure relates to a surface defect detection method and a surface defect detection device for detecting surface defects on strips, including steel plates, etc.
  • the steel materials described in this disclosure include steel products such as seamless steel pipes, welded steel pipes, hot-rolled steel sheets, cold-rolled steel sheets, thick plates, and other steel plates and shaped steel, as well as semi-finished products such as slabs that are generated during the manufacturing process of these steel products.
  • the techniques described in Patent Documents 1 to 3 have been conventionally known as surface inspection methods for optically detecting surface defects in steel materials.
  • Patent Document 1 discloses a surface defect detection method that uses two distinguishable light sources to irradiate illumination light from different directions onto the same inspection target portion of a steel material, obtains images based on the reflected light of each illumination light, and performs differential processing between the obtained images to detect surface defects in the inspection target portion.
  • a commonly used technique for optically detecting surface defects in steel materials is to illuminate the surface of the steel material to be inspected, detect the reflected light with a camera having a two-dimensional or one-dimensional light receiving element to capture an image, and then process the resulting image to detect defects.
  • a common method for detecting defects in an image is to compare the brightness of each pixel in the image with a predetermined threshold value to determine whether each pixel is healthy or defective.
  • a typical configuration is to fix lighting and cameras to the production line, etc., and repeatedly image the steel material as it is transported through the production line.
  • the area in which the steel products appear in the images captured by a fixed camera changes. Areas in the image that do not contain steel products do not need to be inspected, and at the same time, it is necessary to prevent the mistaken detection of defects in such areas. Therefore, it is necessary to dynamically recognize the range in the captured image in which the steel products appear, i.e., the area to be inspected, and to detect defects only within the area to be inspected.
  • raw images captured by a camera have "shading" where the brightness level varies depending on the position in the image due to factors such as uneven lighting and reduced brightness around the periphery of the camera's field of view due to lens characteristics.
  • shading correction a process known as shading correction
  • Shading patterns can be broadly classified into fixed patterns and dynamic patterns.
  • shading correction is always performed using the same pattern.
  • the pattern is determined in advance, for example, experimentally.
  • one method is to use the average image obtained from multiple images taken of defect-free steel as the shading pattern.
  • shading correction is performed on the captured image while the shading pattern is calculated or updated sequentially from one or more images captured during the inspection.
  • the shading pattern is calculated or updated sequentially from one or more images captured during the inspection.
  • a basic method of shading correction using such dynamic patterns is to use a blurred image obtained by performing moving average processing or low-pass filter processing on a captured one- or two-dimensional image as a shading pattern to correct the original image.
  • Patent Document 2 discloses a shading correction method for a surface inspection device in which a threshold signal is generated based on a first shading correction signal generated from a pre-stored scanning detection signal from the previous scan, the signal value of the position of the defective part contained in the scanning signal from the current scan is replaced with the first shading correction signal to obtain a corrected scanning signal in real time, and the scanning detection signal from the current scan is normalized.
  • Patent Document 3 discloses a method of detecting the image area of the object to be inspected by detecting the boundary between the object to be inspected and the area outside the object to be inspected from an image from a camera, extracting the shading components as an image of the same size as the image from the camera by applying a low-pass filter to the image from the camera, approximating the luminance change of each line in the image area of the object to be inspected using a curve, or approximating the luminance change of the entire image area of the object to be inspected using a curved surface, reconstructing the image into one of the same size with the luminance value of the approximated curve or approximated surface, and correcting the shading by dividing or subtracting the image from the camera by the reconstructed image.
  • the current scan signal is corrected by a first shading correction signal based on the previous scan signal. Therefore, when the edge position of the target material shown in the image moves due to meandering or a change in width of the test target material, the current scan signal is corrected by the first shading correction signal in the area where the edge position has changed, making it difficult to perform normal shading correction near the edge.
  • the present disclosure has been made in consideration of the above problems, and aims to provide a surface defect detection method and a surface defect detection device that can detect surface defects on a strip-shaped body with greater accuracy.
  • the aim is to provide a surface defect detection method and a surface defect detection device that suppresses "folding" around the defect or “hollowing” of a defect with a large area, and also performs appropriate shading correction up to the vicinity of the edge even when the edge position shown in the image fluctuates due to meandering or width changes in the material being inspected.
  • a surface defect detection method for optically detecting surface defects on a strip comprising the steps of: an image acquisition step of detecting reflected light from the strip obtained by illuminating the surface of the strip, and capturing an image of the surface of the strip while relatively scanning the surface of the strip to acquire a plurality of images including the surface of the strip; an average image calculation step of calculating an average image of the plurality of acquired images; an image correction step of performing shading correction on each of the acquired images using the average image to obtain a corrected image; a defect detection step of detecting surface defects of the strip based on the corrected image; Including, the step of calculating the average image includes identifying an inspection target area in each of the plurality of images in which the band exists, and allowing only pixels in the inspection target area to contribute to the average image.
  • Surface defect detection method It is.
  • the image correction step may include dividing each of the acquired images by the average image.
  • the image correction step may include subtracting the average image from each of the captured images.
  • the average image calculation step may include recognizing, in each of the plurality of images, non-constant parts within the inspection area in the image, and allowing only pixels of constant parts to contribute to the average image.
  • the strip may comprise steel.
  • a surface defect detection device for optically detecting surface defects on a strip, comprising: an illumination unit that illuminates a surface of the strip; an imaging unit that detects reflected light from the strip obtained by illuminating a surface of the strip with the illumination unit; an image processing unit that processes a plurality of images including the surface of the strip captured by relatively scanning the surface of the strip using the illumination unit and the imaging unit to detect surface defects of the strip; Equipped with The image processing unit includes: Calculating an average image of the plurality of images; obtaining a corrected image by performing shading correction on the plurality of images using the average image; detecting surface defects on the strip based on the corrected image; identifying a region of interest in each of the plurality of images in which the band exists, and allowing only pixels in the region of interest to contribute to the average image; Surface defect detection device, It is.
  • the surface defect detection method and surface defect detection device can detect surface defects on a strip with greater accuracy. For example, "folding" around the defect or “hollowing” of a large defect can be suppressed. In addition, even if the edge position shown in the image fluctuates due to meandering or width changes in the material being inspected, appropriate shading correction can be performed up to the vicinity of the edge.
  • FIG. 1 is a schematic diagram illustrating a configuration of a surface defect inspection device according to an embodiment of the present disclosure.
  • 4 is a flowchart showing image processing executed by the image processing unit in FIG. 1 .
  • FIG. 2 shows several images of the steel product of FIG.
  • FIG. 1 illustrates an embodiment of the present disclosure.
  • FIG. 1 is a diagram showing a comparative example according to the prior art.
  • FIG. 13 is a diagram showing a comparative example according to another conventional technique.
  • FIG. 5 is a graph showing a corrected luminance waveform between A and A in the shading-corrected image of FIG. 4(d).
  • FIG. 6 is a graph showing a corrected luminance waveform between A and A in the shading-corrected image of FIG. 5(d).
  • FIG. 7 is a graph showing a corrected luminance waveform between u and u in the shading-corrected image of FIG. 6(d).
  • FIG. 1 is a schematic diagram showing the configuration of a surface defect detection device 1 according to one embodiment of the present disclosure.
  • the surface defect detection device 1 optically detects surface defects on a strip.
  • the "strip" includes, for example, steel materials.
  • the steel materials mentioned in this disclosure include steel products such as seamless steel pipes, welded steel pipes, hot-rolled steel plates, cold-rolled steel plates, thick plates, and other steel plates and shaped steel, as well as semi-finished products such as slabs that are produced during the manufacturing process of these steel products.
  • a surface defect detection device 1 detects surface defects in a strip of steel material PL transported on a transport roller table TB in the direction of arrow D in the figure.
  • the surface defect detection device 1 has as its main components lighting devices 2a, 2b, area sensors 3a, 3b, a processor 4, and a display device 5.
  • the lighting devices 2a, 2b correspond to the "lighting section” described in the claims.
  • the area sensors 3a, 3b correspond to the "imaging section” described in the claims.
  • the lighting devices 2a and 2b have any light-emitting element that illuminates the surface of the strip.
  • the lighting devices 2a and 2b emit light each time the steel material PL moves a certain distance in the direction of the arrow D on the transport roller table TB, illuminating the inspection position on the surface of the steel material PL.
  • Area sensors 3a and 3b have any light receiving element that detects reflected light from the strip obtained by illuminating the surface of the strip with lighting devices 2a and 2b.
  • Area sensors 3a and 3b include, for example, a camera.
  • area sensors 3a and 3b detect reflected light from an inspection position on the steel material PL surface in synchronization with the light emission of lighting devices 2a and 2b, respectively, and capture an image of the steel material PL surface.
  • the surface defect detection device 1 has two sets of lighting devices and area sensors, but is not limited to this.
  • the surface defect detection device 1 may have one or three or more sets of lighting devices and area sensors depending on, for example, the product width of the steel material PL to be inspected.
  • the surface defect detection device 1 may have multiple lighting devices arranged for one area sensor, or multiple area sensors arranged for one lighting device.
  • the calculation processing device 4 has one or more processors.
  • the "processor” is a general-purpose processor or a dedicated processor specialized for a specific process, but is not limited to these.
  • the calculation processing device 4 acquires two-dimensional images captured using the area sensors 3a and 3b, and detects surface defects of the steel material PL.
  • the calculation processing device 4 has image processing units 41a and 41b and an integrated processing unit 42 inside.
  • the image processing units 41a, 41b detect surface defects on the strip by processing multiple images including the surface of the strip captured by relatively scanning the surface of the strip using the lighting devices 2a, 2b and the area sensors 3a, 3b.
  • the image processing units 41a, 41b execute a series of image processing operations described below to detect the range of the steel material PL reflected within the field of view of each area sensor and surface defects on the steel material PL.
  • the image processing units 41a, 41b may determine the type and harmfulness of the defect from the characteristics of each detected surface defect.
  • the integrated processing unit 42 consolidates information on the extent of the steel material PL and information on surface defects detected by the image processing units 41a and 41b, respectively, across the entire steel material PL.
  • the integrated processing unit 42 creates inspection performance information such as a defect map showing where defects exist on the steel material PL, and a summary table that tallies the number of defects on the steel material PL by type and harmfulness.
  • the integrated processing unit 42 outputs the created inspection performance information to the display device 5, and displays it to the operator using the display device 5.
  • the display device 5 has one or more output interfaces that output information and present it to the operator.
  • the display device 5 has a display that outputs information as a video.
  • FIG. 2 is a flowchart showing the image processing executed by the image processing units 41a and 41b in FIG. 1.
  • the image processing procedures executed by the image processing units 41a and 41b are the same. Therefore, in the following, image processing in the system of the lighting device 2a, the area sensor 3a, and the image processing unit 41a will be described as an example.
  • step S1 the image processing unit 41a acquires an input image I n (x, y) from the area sensor 3a.
  • the input image I n (x, y) is an image captured by the area sensor 3a by detecting reflected light from the surface of the steel material PL illuminated by the lighting device 2a in synchronization with the light emission of the lighting device 2a.
  • the subscript n indicates that this is the nth imaging since the start of the inspection of the steel material PL.
  • (x, y) indicate two-dimensional coordinates in the input image.
  • x is the coordinate corresponding to the width direction of the steel material PL, i.e., the direction perpendicular to the direction of the arrow D in FIG. 1.
  • y is the coordinate corresponding to the traveling direction of the steel material PL, i.e., the direction of the arrow D in FIG. 1.
  • the value of I n (x, y) represents the brightness at each coordinate (x, y).
  • step S2 the image processing unit 41a detects the inspection target area, i.e., the range in the input image I n (x, y) where the steel material PL exists, based on the input image I n (x, y) acquired in step S1.
  • the method for detecting the inspection target area may be a method suitable for the inspection target material and its background.
  • a method can be adopted in which a threshold value TR is used to distinguish between the background and the material to be inspected, and a binary image R n (x, y) indicating the area to be inspected can be calculated at each coordinate (x, y) using the following equations (1) and (2).
  • a method can be adopted in which a search is performed in the x direction for each y coordinate of the input image I n (x, y), and the position where I n (x, y) exceeds TR for the first time for a predetermined number of consecutive pixels is recognized as the boundary between the steel material PL and the background to detect the inspection area.
  • step S3 the image processing unit 41a adds the luminance of the pixels included in the inspection target area of the input image I n (x, y) detected in step S2 to the accumulated luminance image S(x, y).
  • step S4 the image processing unit 41a adds 1 to the count image C(x, y) for pixels included in the inspection target area of the input image I n (x, y) detected in step S2.
  • the image processing unit 41a initializes a count image C(x, y) for each steel material PL, which is the material to be inspected.
  • step S5 the image processing unit 41a judges whether or not there is an input image that has not been obtained. If the image processing unit 41a judges that there is an input image that has not been obtained, the process returns to step S1, and the process of steps S1 to S4 is executed again for the next input image I n+1 (x, y). If the image processing unit 41a judges that there is no input image that has not been obtained, the process executes the next step S6.
  • step S6 the image processing unit 41a calculates an average image A(x, y) of the multiple input images acquired in step S1. More specifically, the image processing unit 41a calculates the average image A(x, y) by dividing the integrated luminance image S(x, y) by the count image C(x, y). The image processing unit 41a calculates the average image A(x, y) at each coordinate (x, y) using the following formula.
  • the value of the average image A(x, y) calculated by equation (5) is the average brightness at the position where the steel material PL corresponds to the coordinates (x, y) of the input image within the field of view of the area sensor 3a, and the average image as a whole represents a shading pattern caused by unevenness in the lighting device 2a, etc.
  • the image processing unit 41a recognizes the inspection target area in each of the multiple input images where a band-like object exists in the image, and only pixels in the inspection target area contribute to the average image A(x, y). Please note that the brightness of the input image contributes to the average value only when the coordinates (x, y) in each input image are within the inspection target area, and contributions from the background are excluded.
  • step S7 the image processing unit 41a performs shading correction on each of the multiple images acquired in step S1 using the average image A(x, y) to acquire a corrected image. More specifically, the image processing unit 41a performs shading correction on the input image I n (x, y) using the average image A(x, y) calculated in step S6.
  • the average luminance level of the healthy parts of the steel material PL becomes a constant value regardless of position.
  • the brightness of the input image contributes to the average value only when the coordinates (x, y) in each input image are within the inspection area, and the contribution from the background is excluded. Therefore, shading correction is appropriately performed even at coordinates that are either the surface of the steel material PL or the background in a series of input images I n (x, y) due to the meandering or width change of the steel material PL.
  • step S8 the image processing unit 41a binarizes the shading-corrected image Jn (x,y) obtained in step S7.
  • threshold value T1 is a value smaller than the average luminance level.
  • Threshold value T2 is a value larger than the average luminance level.
  • T1 ⁇ 1 ⁇ T2 When shading correction is of division type, T1 ⁇ 1 ⁇ T2 .
  • threshold values T1 and T2 are each values around the average luminance level after conversion.
  • image processing unit 41a may compare only with either threshold value T1 or T2 .
  • step S9 the image processing unit 41a extracts blobs from the binary image Bn (x,y) obtained in step S8, and labels the extracted blobs.
  • a blob refers to a region in which pixels in the binary image Bn (x,y) whose value is 1, that is, pixels belonging to a defect, are consecutive. Labeling involves assigning an identification label (serial number) to each blob.
  • the image processing unit 41a may regard the blobs as one blob when the distance between the blobs is smaller than a predetermined distance and may assign the same label to them. Since small blobs may occur due to harmless patterns on the surface of the steel material PL even in healthy parts, the image processing unit 41a may remove blobs with a small area (number of pixels).
  • step S10 the image processing unit 41a calculates the feature amounts of the blobs labeled in step S9, i.e., the defects.
  • the feature amounts are calculated for pixel regions belonging to each blob (defect) in the shading-corrected image Jn (x,y) (or the input image In (x,y)) and the binarized image Bn (x,y).
  • the feature amounts include, for example, those expressing the size of the defect, such as width, length, and area, those relating to the shape of the defect, such as aspect ratio and circularity, and those relating to the shading of the defect, such as average brightness and brightness histogram.
  • step S11 the image processing unit 41a detects surface defects of the band-shaped body based on the shading-corrected image J n (x, y). More specifically, the image processing unit 41a performs defect judgment based on the feature amount of each blob (defect) calculated in step S10. For example, the image processing unit 41a assigns a type of defect and a degree of harmfulness to each blob. As a method of judgment, a predetermined IF-THEN rule may be applied, a classifier generated by various machine learning methods may be applied, or a combination of these may be applied.
  • step S12 the image processing unit 41a judges whether there is an input image I n (x, y) for which the processing from step S7 to step S11 has not been completed. If the image processing unit 41a judges that there is an input image for which the processing from step S7 to step S11 has not been completed, the image processing unit 41a returns to step S7 and repeats the processing from step S7 to step S11. If the image processing unit 41a judges that the processing for all input images has been completed, the processing ends.
  • the surface defect detection device 1 can properly perform shading correction near the plate edge even when the steel material PL meanders and the edge position fluctuates, and can achieve shading correction that does not cause "folding" around the defective area. This enables the surface defect detection device 1 to detect surface defects with high sensitivity and to appropriately determine the type and harmfulness of the defect.
  • the image processing unit 41a may calculate the following binary image Qn (x,y) in addition to Rn (x,y) in step S2.
  • step S3 the image processing unit 41a performs calculation by replacing the formula (3) with the following formula (3').
  • S(x,y) S(x,y) + I n (x,y) ⁇ Q n (x,y) (3')
  • step S4 the image processing unit 41a performs calculation by replacing the formula (4) with the following formula (4').
  • C(x,y) : C(x,y)+ Qn (x,y) (4')
  • the image processing unit 41a may recognize non-steady parts within the inspection target area in each of the multiple input images, and contribute only the pixels of the steady parts to the average image A(x, y).
  • Figure 3 shows multiple images of the steel material PL in Figure 1.
  • Figure 3 shows some of 61 images obtained by repeatedly capturing images of the edge E to center of a thick steel plate as the steel material PL being transported on the transport roller table TB at regular intervals in the longitudinal direction of one thick steel plate using a camera of the imaging unit fixed above the transport roller table TB and flash lighting of the lighting unit.
  • (a) in the upper row of Figure 3 shows an image near the leading end of the thick steel plate in the longitudinal direction.
  • (b) in the middle row of Figure 3 shows an image of the longitudinal center of the thick steel plate.
  • (c) in the lower row of Figure 3 shows an image near the trailing end of the thick steel plate in the longitudinal direction.
  • FIG. 4 is a diagram showing an example of an embodiment of the present disclosure.
  • FIG. 4 shows an example of an input image having a stain-like defect and a processed image thereof, in which image processing is applied to a series of images of the thick steel plate in FIG. 3 by a surface defect detection device 1 according to an embodiment of the present disclosure.
  • FIG. 4A is a diagram showing an input image I n (x, y).
  • FIG. 4B is a diagram showing an average image A(x, y). The average image A(x, y) in FIG. 4B corresponds to a shading pattern.
  • FIG. 4C is a diagram showing a binary image R n (x, y) indicating an inspection target region.
  • FIG. 4D is a diagram showing a shading-corrected image J n (x, y).
  • FIG. 4E is a diagram showing a binary image B n (x, y) obtained by subjecting the shading-corrected image J n (x, y) to threshold processing.
  • the binary image B n (x, y) in FIG. 4E is an image in which a defective portion is detected.
  • the image processing unit 41a searches for the edge of the thick steel plate from the left side of the input image in detecting the inspection target area in step S2 in Figure 2, and determines the edge position as the position where a predetermined brightness value is exceeded for 20 or more consecutive pixels to the right. Since halation occurs near the edge, the image processing unit 41a excludes 18 pixels from the edge as a non-steady part from the inspection target area. In the labeling process in step S9 in Figure 2, the image processing unit 41a removes blobs with an area smaller than 20 pixels as noise.
  • Figure 5 shows a comparative example based on conventional technology.
  • Figure 5 shows the results of image processing when shading patterns are calculated using a moving average filter and shading correction is performed on the same input image as the image shown in Figure 4(a).
  • the shading pattern is calculated for each y coordinate and is performed using a moving average filter of 64 pixels in the x direction.
  • FIG. 5 is a diagram showing the same input image as (a) in FIG. 4.
  • (b) in FIG. 5 is a diagram showing a shading pattern generated by applying a moving average filter to the input image in (a) in FIG. 5.
  • (c) in FIG. 5 is a diagram showing the same binary image as (c) in FIG. 4 showing the inspection target area.
  • (d) in FIG. 5 is a diagram showing a shading-corrected image based on the shading pattern in (b) in FIG. 5.
  • e) in FIG. 5 is a diagram showing a binary image obtained by thresholding the shading-corrected image in (d) in FIG. 5.
  • the binary image in (e) in FIG. 5 is an image in which a defective portion has been detected. For processes other than shading correction, the same processes and parameters as in FIG. 4 were used.
  • Figure 6 shows a comparative example based on another conventional technique.
  • Figure 6 shows the result of image processing when a shading pattern is calculated using a second-order polynomial approximation and shading correction is performed on the same input image as the image shown in Figure 4(a).
  • FIG. 6 is a diagram showing the same input image as (a) of FIG. 4.
  • (b) of FIG. 6 is a diagram showing a shading pattern generated by applying a second-order polynomial approximation to the luminance waveform in the x direction for each y coordinate of the input image in (a) of FIG. 6.
  • (c) of FIG. 6 is a diagram showing the same binary image as (c) of FIG. 4 showing the inspection target area.
  • (d) of FIG. 6 is a diagram showing a shading-corrected image based on the shading pattern in (b) of FIG. 6.
  • (e) of FIG. 6 is a diagram showing a binary image obtained by threshold processing the shading-corrected image in (d) of FIG. 6.
  • the binary image in (e) of FIG. 6 is an image in which a defective portion has been detected. For processes other than shading correction, the same processes and parameters as those in FIG. 4 were used.
  • FIGS. 7A to 7C compare the results of shading correction between an embodiment based on the technology of the present disclosure and two comparative examples.
  • FIG. 7A is a graph showing the corrected luminance waveform between A and A in the shading-corrected image of FIG. 4(d).
  • FIG. 7B is a graph showing the corrected luminance waveform between E and E in the shading-corrected image of FIG. 5(d).
  • FIG. 7C is a graph showing the corrected luminance waveform between C and C in the shading-corrected image of FIG. 6(d).
  • the average image A(x,y) in Fig. 4(b) showing an embodiment of the present disclosure well represents the shading of the input image I n (x,y) in Fig. 4(a) without being affected by the pattern and defects on the steel plate surface.
  • the shading-corrected image J n (x,y) in Fig. 4(d) achieves a uniform brightness overall as shown in the graph in Fig. 7A, and no "aliasing" occurs around the defects.
  • the technology disclosed herein makes it possible to perform appropriate shading correction even in situations where the material being inspected is meandering or has a change in width, compared to conventional technology, and also suppresses "folding" around defects.
  • an average image calculated from multiple images is used as a shading pattern, and only pixels within the inspection target area in each of the multiple images contribute to the average image, making it possible to detect surface defects on a strip with greater accuracy. More specifically, "folding" around the defect or “hollowing” of a large defect in the corrected image is suppressed. In addition, even if the edge position shown in the image fluctuates due to meandering or a change in width of the material being inspected, it is possible to perform appropriate shading correction up to the vicinity of the edge.
  • the shape, size, arrangement, orientation, and number of each of the above-mentioned components are not limited to the above description and the illustrations in the drawings.
  • the shape, size, arrangement, orientation, and number of each of the components may be configured arbitrarily as long as the function can be realized.
  • a general-purpose electronic device such as a smartphone or computer can be configured to function as the surface defect detection device 1 according to the embodiment described above.
  • a program describing the processing content that realizes each function of the surface defect detection device 1 according to the embodiment is stored in the memory of the electronic device, and the program is read and executed by the processor of the electronic device. Therefore, the disclosure according to one embodiment can also be realized as a program that can be executed by a processor.
  • the disclosure of one embodiment may also be realized as a non-transitory computer-readable medium storing a program executable by one or more processors to cause the surface defect detection device 1 according to the embodiment to execute each function. It should be understood that these are also included within the scope of the present disclosure.
  • the "imaging unit” is configured to use an area sensor, i.e., a camera having imaging elements arranged two-dimensionally, but this is not limited to this.
  • the "imaging unit” may also be configured to use a line sensor, i.e., a camera having imaging elements arranged one-dimensionally.
  • the surface defect detection device 1 may be configured to set the size of the input image I n (x, y) in the Y direction to 1, or to form the input image I n (x, y) every time a certain number of lines are accumulated.
  • the strip has been described as including, for example, steel material, but is not limited to this.
  • the strip may include any strip- or sheet-shaped object other than steel material.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Textile Engineering (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

帯状体の表面欠陥を光学的に検出する表面欠陥検出方法は、帯状体の表面を照明して得られる帯状体からの反射光を検出し、帯状体の表面を相対的に走査しながら撮像して、帯状体の表面を含む複数の画像を取得する画像取得ステップと、取得した複数の画像の平均画像を算出する平均画像算出ステップと、取得した複数の画像の各々を、平均画像を用いてシェーディング補正して補正画像を得る画像補正ステップと、補正画像に基づいて帯状体の表面欠陥を検出する欠陥検出ステップと、を含み、平均画像算出ステップは、複数の画像の各々において、画像中の帯状体が存在する検査対象領域を認識して、検査対象領域にある画素についてのみ平均画像に寄与するようにしたことを含む。

Description

表面欠陥検出方法及び表面欠陥検出装置
　本開示は、鋼板などを含む帯状体の表面欠陥を検出する表面欠陥検出方法及び表面欠陥検出装置に関する。
　近年、鉄鋼製品の製造工程では、大量不適合を抑制して歩留まりを向上させる観点から、熱間又は冷間で鋼材の表面欠陥を検出することが要求されている。本開示で述べる鋼材は、例えば継目無鋼管、溶接鋼管、熱延鋼板、冷延鋼板、厚板などの鋼板及び形鋼をはじめとする鉄鋼製品、並びにこれら鉄鋼製品が製造される過程で生成されるスラブなどの半製品を含む。鋼材の表面欠陥を光学的に検出する表面検査方法として、例えば特許文献１乃至３に記載の技術が従来知られている。
　例えば特許文献１には、２つの弁別可能な光源を利用して鋼材の同一の検査対象部位に異なる方向から照明光を照射し、各照明光の反射光による画像を取得し、取得した画像間で差分処理を行うことによって検査対象部位における表面欠陥を検出する表面欠陥検出方法が開示されている。
　特許文献１に記載の従来技術に限らず、鋼材の表面欠陥を光学的に検出する一般的技術として、検査対象となる鋼材表面を照明し、その反射光を２次元又は１次元の受光素子を有するカメラで検出して画像を撮像し、得られた画像を処理して欠陥を検出する方法が広く実施されている。画像中から欠陥を検出する方法としては、画像の各画素の輝度に対して所定の閾値と比較することにより各画素が健全部であるか欠陥部であるかを認識する方法が一般的である。
　鋼材の表面欠陥の検査の特徴として、次の二点が挙げられる。
　まず、多くの鋼材製品は長尺であるので、鋼材全体を検査するために鋼材全体を走査して繰り返し撮像する点である。このような走査を実現するため、製造ラインなどに照明及びカメラを固定して、製造ライン中を搬送される鋼材を繰り返し撮像する構成が一般的である。
　次に、製造される鋼材のサイズ、例えば製品幅は様々であるため、固定されたカメラで撮像された画像中で鋼材が映っている領域が変化する点である。鋼材が映っていない画像中の領域は検査不要であると同時に、誤ってそのような領域から欠陥を検出するようなことを抑制する必要がある。したがって、撮像された画像中において鋼材が映っている範囲、すなわち検査対象領域を動的に認識して、検査対象領域内のみから欠陥を検出するようにする必要がある。
　カメラで撮像したままの生画像には、多くの場合、照明のムラ、レンズ特性によるカメラ視野周辺部の輝度低下などの影響により、画像中の位置によって輝度レベルが異なる「シェーディング」が発生する。そのため、撮像した画像の輝度値を単純に閾値と比較する方法では健全部と欠陥部とを高精度に認識することは困難であった。このため、生画像に対してシェーディング補正と呼ばれる輝度ムラを補正して健全部の輝度レベルが均一となるように前処理が行われている。
　より具体的には、シェーディングパターンを示す波形又は画像を用いて、撮像した画像をシェーディングパターンで除算するか、撮像した画像からシェーディングパターンを減算することで補正が行われる。シェーディングパターンは、大別すると固定パターンと動的パターンとを含む。
　固定パターンの場合は、常に同じパターンを使ってシェーディング補正が行われる。そのパターンは、例えばあらかじめ実験的に求められる。例えば、欠陥のない鋼材を撮像して得られた複数の画像から求めた平均画像をシェーディングパターンとする方法がある。
　一方、動的パターンの場合は、検査中に撮像した１枚又は複数の画像から逐次的にシェーディングパターンを計算又は更新しながら、撮像した画像に対してシェーディング補正が行われる。このパターンの計算又は更新を、撮像した画像のシェーディングの変化に合わせて行うことで、固定パターンよりも補正後の均一さを向上させることも可能となる。
　このような動的パターンを用いたシェーディング補正の方法の基本的なものとして、撮像した１次元又は２次元の画像に移動平均処理又はローパスフィルタ処理を施したぼかし画像をシェーディングパターンとして用い、元の画像を補正する方法がある。撮像した画像を多項式などで近似することでシェーディングパターンを求める方法もある。これらを改良した方法が特許文献２及び３に開示されている。
　例えば特許文献２には、予め記憶された前回走査時までの走査検出信号で生成した第１のシェーディング補正信号を元にして閾値信号を生成し、今回の走査時の走査信号に含まれる欠陥部に対する位置の信号値を第１のシェーディング補正信号で置換してリアルタイムに補正走査信号を求め、今回の走査時の走査検出信号を正規化するようにした表面検査装置のシェーディング補正方法が開示されている。
　例えば特許文献３には、カメラからの画像から検査対象と検査対象外の境界を検出することで検出対象の画像領域を検出し、カメラからの画像にローパスフィルタを適用することでシェーディング成分をカメラからの画像と同じ大きさの画像として抽出した後、その画像の検査対象の画像領域部分について、各ラインの輝度変化を曲線によって、あるいは検査対象の画像領域部分全体の輝度変化を曲面によって近似し、その近似曲線あるいは近似曲面の値を輝度とする同じ大きさの画像に再構成し、カメラからの画像をその再構成した画像により除算又は減算することによりシェーディングを補正する方法が開示されている。
特開２０１６－２２４０６９号公報 特開２０１２－１１２７２９号公報 特開２００４－２２６３４７号公報
　しかしながら、上述した従来のシェーディング補正方法には各々問題点があった。
　例えば、固定パターンによる補正方法においては、シェーディングが大きく変動する状況下では十分な補正が困難であり、検出精度を向上させることが困難であった。
　例えば、シェーディングパターンを、撮影した画像の移動平均処理又はローパスフィルタ処理で求める方法では、補正画像において欠陥部の周囲に「折り返し」が発生する問題があった。面積が大きな欠陥では欠陥中央部も補正効果により信号が弱くなって「中抜け」する問題があった。いずれの問題も欠陥の大きさ及び面積に変化を生じさせてしまうので、検出後に欠陥の種類及び有害度を判定する段階において判定精度を悪化させる可能性があった。
　特許文献２に記載の方法では、前回走査信号に基づく第１のシェーディング補正信号で今回走査信号が補正される。したがって、検査対象材の蛇行又は幅変化により画像中に映る対象材のエッジ位置が移動すると、エッジ位置が変動した領域では第１のシェーディング補正信号により今回走査信号が補正されてしまうため、エッジ付近では正常なシェーディング補正が困難であるという問題があった。
　特許文献３に記載の方法では、シェーディングパターンを元画像の曲線又は曲面による近似で生成する過程において仮定する近似多項式が適切でない場合には、元画像のシェーディングとシェーディングパターンとが乖離してしまう。これにより、健全部の輝度を均一化できないという問題があった。
　本開示は、上記課題に鑑みてなされたものであって、帯状体の表面欠陥をより精度良く検出することが可能な表面欠陥検出方法及び表面欠陥検出装置を提供することを目的とする。例えば、その目的は、欠陥部周辺の「折り返し」又は面積が大きな欠陥の「中抜け」を抑制し、なおかつ検査対象材の蛇行又は幅変化により画像中に映るエッジ位置が変動した場合においてもエッジ近傍まで適切にシェーディング補正を行う表面欠陥検出方法及び表面欠陥検出装置を提供することにある。
　本開示は、
（１）
　帯状体の表面欠陥を光学的に検出する表面欠陥検出方法であって、
　前記帯状体の表面を照明して得られる前記帯状体からの反射光を検出し、前記帯状体の表面を相対的に走査しながら撮像して、前記帯状体の表面を含む複数の画像を取得する画像取得ステップと、
　取得した前記複数の画像の平均画像を算出する平均画像算出ステップと、
　取得した前記複数の画像の各々を、前記平均画像を用いてシェーディング補正して補正画像を得る画像補正ステップと、
　前記補正画像に基づいて前記帯状体の表面欠陥を検出する欠陥検出ステップと、
　を含み、
　前記平均画像算出ステップは、前記複数の画像の各々において、画像中の前記帯状体が存在する検査対象領域を認識して、前記検査対象領域にある画素についてのみ前記平均画像に寄与するようにしたことを含む、
　表面欠陥検出方法、
である。
（２）
　上記（１）に記載の表面欠陥検出方法では、
　前記画像補正ステップは、取得した前記複数の画像の各々を前記平均画像で除算することを含んでもよい。
（３）
　上記（１）に記載の表面欠陥検出方法では、
　前記画像補正ステップは、取得した前記複数の画像の各々から前記平均画像を減算することを含んでもよい。
（４）
　上記（１）乃至（３）のいずれか１つに記載の表面欠陥検出方法では、
　前記平均画像算出ステップは、前記複数の画像の各々において、画像中の前記検査対象領域内の非定常部を認識して、定常部の画素についてのみ前記平均画像に寄与するようにしたことを含んでもよい。
（５）
　上記（１）乃至（４）のいずれか１つに記載の表面欠陥検出方法では、
　前記帯状体は鋼材を含んでもよい。
　本開示は、
（６）
　帯状体の表面欠陥を光学的に検出する表面欠陥検出装置であって、
　前記帯状体の表面を照明する照明部と、
　前記照明部により前記帯状体の表面を照明して得られる前記帯状体からの反射光を検出する撮像部と、
　前記帯状体の表面を前記照明部及び前記撮像部を用いて相対的に走査して撮像した前記帯状体の表面を含む複数の画像を処理して、前記帯状体の表面欠陥を検出する画像処理部と、
　を備え、
　前記画像処理部は、
　前記複数の画像の平均画像を算出し、
　前記平均画像を用いて前記複数の画像をシェーディング補正した補正画像を取得し、
　前記補正画像に基づいて前記帯状体の表面欠陥を検出し、
　前記複数の画像の各々において画像中の前記帯状体が存在する検査対象領域を認識して、前記検査対象領域にある画素についてのみ前記平均画像に寄与するようにする、
　表面欠陥検出装置、
である。
　本開示の一実施形態に係る表面欠陥検出方法及び表面欠陥検出装置によれば、帯状体の表面欠陥をより精度良く検出することが可能である。例えば、欠陥部周辺の「折り返し」又は面積が大きな欠陥の「中抜け」が抑制される。加えて、検査対象材の蛇行又は幅変化により画像中に映るエッジ位置が変動した場合においてもエッジ近傍まで適切にシェーディング補正を行うことが可能である。
本開示の一実施形態に係る表面欠陥検出装置の構成を示す模式図である。 図１の画像処理部で実行される画像処理を示すフローチャートである。 図１の鋼材の複数の画像を示す図である。 本開示の実施例を示す図である。 従来技術による比較例を示す図である。 別の従来技術による比較例を示す図である。 図４の（ｄ）のシェーディング補正画像におけるア－ア間の補正輝度波形を示したグラフ図である。 図５の（ｄ）のシェーディング補正画像におけるイ－イ間の補正輝度波形を示したグラフ図である。 図６の（ｄ）のシェーディング補正画像におけるウ－ウ間の補正輝度波形を示したグラフ図である。
　以下、添付図面を参照しながら、本開示の一実施形態に係る表面欠陥検出装置の構成及び動作について主に説明する。
　図１は、本開示の一実施形態に係る表面欠陥検出装置１の構成を示す模式図である。表面欠陥検出装置１は、帯状体の表面欠陥を光学的に検出する。本開示において、「帯状体」は、例えば鋼材などを含む。本開示で述べる鋼材は、例えば継目無鋼管、溶接鋼管、熱延鋼板、冷延鋼板、厚板などの鋼板及び形鋼をはじめとする鉄鋼製品、並びにこれら鉄鋼製品が製造される過程で生成されるスラブなどの半製品を含む。
　図１に示されるように、本開示の一実施形態に係る表面欠陥検出装置１は、搬送ローラーテーブルＴＢ上を図中矢印Ｄの方向に搬送される帯状体としての鋼材ＰＬの表面欠陥を検出する。表面欠陥検出装置１は、照明装置２ａ、２ｂと、エリアセンサ３ａ、３ｂと、演算処理装置４と、表示装置５と、を主な構成要素として有する。照明装置２ａ、２ｂは、特許請求の範囲に記載の「照明部」に対応する。エリアセンサ３ａ、３ｂは、特許請求の範囲に記載の「撮像部」に対応する。
　照明装置２ａ、２ｂは、帯状体の表面を照明する任意の発光素子を有する。例えば、照明装置２ａ、２ｂは、搬送ローラーテーブルＴＢ上を鋼材ＰＬが矢印Ｄの方向に一定距離移動する毎に発光し鋼材ＰＬ表面の検査位置を照明する。
　エリアセンサ３ａ、３ｂは、照明装置２ａ、２ｂにより帯状体の表面を照明して得られる帯状体からの反射光を検出する任意の受光素子を有する。エリアセンサ３ａ、３ｂは、例えばカメラなどを含む。例えば、エリアセンサ３ａ、３ｂは、照明装置２ａ、２ｂの発光にそれぞれ同期して鋼材ＰＬ表面の検査位置からの反射光を検出し、鋼材ＰＬ表面の画像を撮像する。
　表面欠陥検出装置１は、図１に示す実施形態では、照明装置及びエリアセンサを２組有するが、これに限定されない。表面欠陥検出装置１は、例えば、検査対象である鋼材ＰＬの製品幅に応じて、照明装置及びエリアセンサの組を１組又は３組以上有してもよい。表面欠陥検出装置１は、１つのエリアセンサに対して複数の照明装置を配置してもよいし、１つの照明装置に対して複数のエリアセンサを配置してもよい。
　演算処理装置４は、１つ以上のプロセッサを有する。一実施形態において「プロセッサ」は、汎用のプロセッサ、又は特定の処理に特化した専用のプロセッサであるが、これらに限定されない。演算処理装置４は、エリアセンサ３ａ、３ｂを用いて撮像された２次元画像を取得し、鋼材ＰＬの表面欠陥を検出する。演算処理装置４は、画像処理部４１ａ、４１ｂと、統合処理部４２と、を内部に有する。
　画像処理部４１ａ、４１ｂは、帯状体の表面を照明装置２ａ、２ｂ及びエリアセンサ３ａ、３ｂを用いて相対的に走査して撮像した帯状体の表面を含む複数の画像を処理して、帯状体の表面欠陥を検出する。画像処理部４１ａ、４１ｂは、後述する一連の画像処理を実行することにより、各エリアセンサ視野内に映る鋼材ＰＬの存在範囲と、鋼材ＰＬ上の表面欠陥とを検出する。画像処理部４１ａ、４１ｂは、検出した各表面欠陥の特徴から欠陥の種類及び有害度の判定を行ってもよい。
　統合処理部４２は、画像処理部４１ａ、４１ｂで各々検出した鋼材ＰＬの存在範囲の情報及び表面欠陥の情報を鋼材ＰＬ全体にわたって集約する。統合処理部４２は、鋼材ＰＬ上のどの位置に欠陥が存在するかを示す欠陥マップ、鋼材ＰＬ上の欠陥数を欠陥の種類及び有害度別で集計した集計表などの検査実績情報を作成する。統合処理部４２は、作成された検査実績情報を表示装置５に出力し、表示装置５を用いてオペレータに提示する。
　表示装置５は、情報を出力してオペレータに提示する１つ以上の出力インタフェースを有する。例えば、表示装置５は、情報を映像で出力するディスプレイを有する。
　次に、画像処理部４１ａ、４１ｂで実行される画像処理について、図２を参照しながら説明する。
　図２は、図１の画像処理部４１ａ、４１ｂで実行される画像処理を示すフローチャートである。画像処理部４１ａ、４１ｂで実行される画像処理の手順は同一である。したがって、以下では、照明装置２ａ、エリアセンサ３ａ、及び画像処理部４１ａの系統における画像処理を一例として説明する。
　ステップＳ１において、画像処理部４１ａは、エリアセンサ３ａより入力画像Ｉｎ（ｘ，ｙ）を取得する。入力画像Ｉｎ（ｘ，ｙ）は、照明装置２ａにより照明された鋼材ＰＬ表面からの反射光を、照明装置２ａの発光に同期してエリアセンサ３ａが検出して撮影した画像である。ここで、添え字のｎは、鋼材ＰＬの検査開始からｎ回目の撮像であることを示す。（ｘ，ｙ）は、入力画像における２次元座標を示す。ｘは鋼材ＰＬの幅方向、すなわち図１における矢印Ｄの方向に直交する方向に対応する座標である。ｙは鋼材ＰＬの進行方向、すなわち図１における矢印Ｄの方向に対応する座標である。Ｉｎ（ｘ，ｙ）の値は、各座標（ｘ，ｙ）における輝度を表す。
　ステップＳ２において、画像処理部４１ａは、ステップＳ１で取得された入力画像Ｉｎ（ｘ，ｙ）に基づいて検査対象領域、すなわち入力画像Ｉｎ（ｘ，ｙ）において鋼材ＰＬが存在している範囲を検出する。検査対象領域の検出方法は、検査対象材及びその背景に適した方法を採用すればよい。
　例えば、入力画像Ｉｎ（ｘ，ｙ）中の鋼材ＰＬが背景に対して十分に明るい場合には、背景か検査対象材かを判別する閾値ＴＲを用いて、各座標（ｘ，ｙ）において以下の式（１）及び（２）により検査対象領域を示す２値画像Ｒｎ（ｘ，ｙ）を算出する方法が採用できる。
Ｉｎ（ｘ，ｙ）≧ＴＲのとき　Ｒｎ（ｘ，ｙ）＝１　（検査対象領域）　　　　　　（１）
Ｉｎ（ｘ，ｙ）＜ＴＲのとき　Ｒｎ（ｘ，ｙ）＝０　（背景）　　　　　　　　　　（２）
　その他にも、入力画像Ｉｎ（ｘ，ｙ）の各ｙ座標においてｘ方向に探索を行い、Ｉｎ（ｘ，ｙ）がＴＲを初めて所定の画素数連続して超える位置を鋼材ＰＬと背景との境界と認識して検査対象領域を検出する方法も採用可能である。
　ステップＳ３において、画像処理部４１ａは、ステップＳ２で検出された入力画像Ｉｎ（ｘ，ｙ）の検査対象領域に含まれる画素の輝度を積算輝度画像Ｓ（ｘ，ｙ）に加算する。積算輝度画像Ｓ（ｘ，ｙ）には、入力画像Ｉ１（ｘ，ｙ）からＩｎ－１（ｘ，ｙ）までの各画像における検査対象領域内の輝度値が積算されており、画像処理部４１ａは、積算輝度画像Ｓ（ｘ，ｙ）を次式のように更新する。
Ｓ（ｘ，ｙ）：＝Ｓ（ｘ，ｙ）＋Ｉｎ（ｘ，ｙ）×Ｒｎ（ｘ，ｙ）　　　　　　　　　（３）
　ステップＳ４において、画像処理部４１ａは、ステップＳ２で検出された入力画像Ｉｎ（ｘ，ｙ）の検査対象領域に含まれる画素についてカウント画像Ｃ（ｘ，ｙ）に１を加算する。カウント画像Ｃ（ｘ，ｙ）には各座標（ｘ，ｙ）の画素が入力画像Ｉ１（ｘ，ｙ）からＩｎ－１（ｘ，ｙ）において検査対象領域内となった回数が積算されており、画像処理部４１ａは、カウント画像Ｃ（ｘ，ｙ）を次式のように更新する。
Ｃ（ｘ，ｙ）：＝Ｃ（ｘ，ｙ）＋Ｒｎ（ｘ，ｙ）　　　　　　　　　　　　　　　　（４）
　画像処理部４１ａは、検査対象材である鋼材ＰＬごとにカウント画像Ｃ（ｘ，ｙ）を初期化する。
　ステップＳ５において、画像処理部４１ａは、未取得の入力画像があるか否かを判定する。画像処理部４１ａは、未取得の入力画像があると判定するとステップＳ１に戻り、次の入力画像Ｉｎ＋１（ｘ，ｙ）についてステップＳ１～Ｓ４の処理を再度実行する。画像処理部４１ａは、未取得の入力画像がないと判定すると、次のステップＳ６の処理を実行する。
　ステップＳ６において、画像処理部４１ａは、ステップＳ１で取得された複数の入力画像の平均画像Ａ（ｘ，ｙ）を算出する。より具体的には、画像処理部４１ａは、積算輝度画像Ｓ（ｘ，ｙ）をカウント画像Ｃ（ｘ，ｙ）で除算して平均画像Ａ（ｘ，ｙ）を算出する。画像処理部４１ａは、各座標（ｘ，ｙ）において、次式のように計算する。
Ｃ（ｘ，ｙ）≠０のとき、Ａ（ｘ，ｙ）：＝Ｓ（ｘ，ｙ）／Ｃ（ｘ，ｙ）　　　　　（５）
（ただし、Ｃ（ｘ，ｙ）＝０のときＡ（ｘ，ｙ）の値は任意とする。）
　式（５）で算出される平均画像Ａ（ｘ，ｙ）の値は、鋼材ＰＬがエリアセンサ３ａの視野内で入力画像の座標（ｘ，ｙ）に該当する位置における平均輝度であり、平均画像全体としては照明装置２ａのむらなどに起因するシェーディングパターンを表している。ここで、画像処理部４１ａは、ステップＳ６の平均画像算出ステップで、複数の入力画像の各々において画像中の帯状体が存在する検査対象領域を認識し、検査対象領域にある画素についてのみ平均画像Ａ（ｘ，ｙ）に寄与するようにする。各入力画像において座標（ｘ，ｙ）が検査対象領域内であったときのみ、入力画像の輝度が平均値に寄与しており、背景からの寄与が排除されていることに注意されたい。
　ステップＳ７において、画像処理部４１ａは、ステップＳ１で取得された複数の画像の各々を、平均画像Ａ（ｘ，ｙ）を用いてシェーディング補正し補正画像を取得する。より具体的には、画像処理部４１ａは、ステップＳ６で算出した平均画像Ａ（ｘ，ｙ）を用いて入力画像Ｉｎ（ｘ，ｙ）のシェーディング補正を実行する。
　画像処理部４１ａは、ステップＳ７の画像補正ステップにおいて、ステップＳ１で取得された複数の画像の各々を平均画像Ａ（ｘ，ｙ）で除算する。より具体的には、画像処理部４１ａは、入力画像Ｉｎ（ｘ，ｙ）をシェーディング補正した画像をＪｎ（ｘ，ｙ）とすると、除算型のシェーディング補正では次式のように計算する。
Ｊｎ（ｘ，ｙ）：＝Ｉｎ（ｘ，ｙ）／Ａ（ｘ，ｙ）　　　　　　　　　　　　　　　　（６）
　又は、画像処理部４１ａは、ステップＳ７の画像補正ステップにおいて、ステップＳ１で取得された複数の画像の各々から平均画像Ａ（ｘ，ｙ）を減算する。より具体的には、画像処理部４１ａは、減算型のシェーディング補正では次式のように計算する。
Ｊｎ（ｘ，ｙ）：＝Ｉｎ（ｘ，ｙ）－Ａ（ｘ，ｙ）　　　　　　　　　　　　　　　　（７）
　ただし、上記のシェーディング補正の計算は、入力画像Ｉｎ（ｘ，ｙ）において検査対象領域内、すなわちＲｎ（ｘ，ｙ）＝１となる座標（ｘ、ｙ）について実行され、それ以外の背景（Ｒｎ（ｘ，ｙ）＝０）にあたる座標については任意の値とする。このシェーディング補正により、鋼材ＰＬの健全部の平均輝度レベルは位置によらず一定値となる。例えば、式（６）を用いた除算型のシェーディング補正では、健全部の平均輝度レベルはＪｎ（ｘ，ｙ）＝１となる。例えば、式（７）を用いた減算型のシェーディング補正では、健全部の平均輝度レベルはＪｎ（ｘ，ｙ）＝０となる。
　ここで、上述したように平均画像Ａ（ｘ，ｙ）では、各入力画像において座標（ｘ，ｙ）が検査対象領域内にあるときのみ、入力画像の輝度が平均値に寄与しており、背景からの寄与が排除されている。したがって、鋼材ＰＬの蛇行又は幅変化により、一連の入力画像Ｉｎ（ｘ，ｙ）において鋼材ＰＬ表面であったり背景であったりするような座標においても、シェーディング補正が適切に行われる。
　画像処理部４１ａは、シェーディング補正画像Ｊｎ（ｘ，ｙ）の平均輝度レベル又は欠陥信号のコントラストを調整する必要があれば適当な線形変換などを行ってもよい。例えば、画像処理部４１ａは、式（６）による除算型のシェーディング補正を行った画像を２５６階調のグレースケール画像とするため、平均輝度レベルを１２８となるように変換する。このような場合、画像処理部４１ａは、変換後のシェーディング補正画像をＪｎ’（ｘ，ｙ）として、次式のような変換処理を実行する。
Ｊｎ’（ｘ，ｙ）＝Ｊｎ（ｘ，ｙ）×１２８　　　　　　　　　　　　　　　　　　　（８）
　ステップＳ８において、画像処理部４１ａは、ステップＳ７で得られたシェーディング補正画像Ｊｎ（ｘ，ｙ）の２値化を行う。２値化は、各画素が欠陥部に属するか、属さないかを判定するためのものである。画像処理部４１ａは、２値化画像をＢｎ（ｘ，ｙ）とすると、シェーディング補正画像Ｊｎ（ｘ，ｙ）の各画素において２つの閾値Ｔ１、Ｔ２との比較により２値化画像Ｂｎ（ｘ，ｙ）を次式のように計算する。
Ｊｎ（ｘ，ｙ）≦Ｔ１又はＪｎ（ｘ，ｙ）≧Ｔ２のとき、　Ｂｎ（ｘ，ｙ）：＝１　　　（９）
Ｔ１＜Ｊｎ（ｘ，ｙ）＜Ｔ２のとき、　　　　　　　　　 Ｂｎ（ｘ，ｙ）：＝０　　（１０）
　ただし、閾値Ｔ１は平均輝度レベルよりも小さい値である。閾値Ｔ２は平均輝度レベルよりも大きい値である。シェーディング補正が除算型である場合はＴ１＜１＜Ｔ２である。シェーディング補正が減算型である場合はＴ１＜０＜Ｔ２である。式（８）のような変換が行われた場合、閾値Ｔ１、Ｔ２は、それぞれ変換後の平均輝度レベル前後の値である。画像処理部４１ａは、検出すべき欠陥が画像上で健全部より明るいか暗いかのいずれかである場合には閾値Ｔ１、Ｔ２のいずれかのみと比較を行ってもよい。
　ステップＳ９において、画像処理部４１ａは、ステップＳ８で得られた２値化画像Ｂｎ（ｘ，ｙ）からブロブを抽出し、抽出したブロブにラベリングを行う。ここで、ブロブは、２値化画像Ｂｎ（ｘ，ｙ）の値が１の画素、すなわち欠陥部に属する画素が連続している領域を指す。ラベリングは、各ブロブに識別用のラベル（通し番号）を付与することである。
　２値化画像Ｂｎ（ｘ，ｙ）において同一の欠陥に属する画素の領域が連続しておらず、２つ以上のブロブに分かれる場合がある。そのような場合への対応として、画像処理部４１ａは、ブロブ間の距離が所定の距離より小さい場合には１つのブロブとみなし、同一のラベルを付与してもよい。画像処理部４１ａは、健全部であっても鋼材ＰＬ表面の無害な模様によって小さいブロブが発生する場合があるので、面積（画素数）の小さいブロブを除去してもよい。
　ステップＳ１０において、画像処理部４１ａは、ステップＳ９でラベリングしたブロブ、すなわち欠陥の特徴量を計算する。特徴量は、シェーディング補正画像Ｊｎ（ｘ，ｙ）（又は入力画像Ｉｎ（ｘ，ｙ））及び２値化画像Ｂｎ（ｘ，ｙ）における各ブロブ（欠陥）に属する画素領域について算出される。特徴量は、例えば、幅、長さ、面積などの欠陥の大きさを表すもの、アスペクト比及び円形度などの欠陥の形状に関するもの、平均輝度及び輝度ヒストグラムなどの欠陥の濃淡に関するものなどを含む。
　ステップＳ１１において、画像処理部４１ａは、シェーディング補正画像Ｊｎ（ｘ，ｙ）に基づいて帯状体の表面欠陥を検出する。より具体的には、画像処理部４１ａは、ステップＳ１０で計算された各ブロブ（欠陥）の特徴量に基づいて欠陥判定を行う。例えば、画像処理部４１ａは、各ブロブに欠陥の種類及び有害度を付与する。判定の方法としては、予め決められたＩＦ－ＴＨＥＮルールを適用してもよいし、各種の機械学習手法によって生成した判別器も適用してもよいし、それらを組み合わせて適用してもよい。
　ステップＳ１２において、画像処理部４１ａは、ステップＳ７からＳ１１までの処理が完了していない入力画像Ｉｎ（ｘ，ｙ）があるか否かを判定する。画像処理部４１ａは、完了していない入力画像があると判定するとステップＳ７に戻りステップＳ７からステップＳ１１までの処理を繰り返す。画像処理部４１ａは、全ての入力画像に対して処理が完了したと判定すると、処理を終了する。
　表面欠陥検出装置１は、以上のステップＳ１～Ｓ１２の処理を実行することにより、鋼材ＰＬが蛇行してエッジ位置が変動する場合においても板エッジ近傍のシェーディング補正を正常に実行し、また欠陥部周辺に「折り返し」などが生じないシェーディング補正を実現可能である。これにより、表面欠陥検出装置１は、表面欠陥の高感度な検出並びに欠陥の種類及び有害度の適切な判定を可能にする。
　上述の検査対象領域内に欠陥部などの非定常部、すなわち周囲の健全部より輝度が高い又は低い部分があると平均画像Ａ（ｘ，ｙ）に寄与する。例えば、カウント画像Ｃ（ｘ，ｙ）の値が小さい座標（ｘ，ｙ）ではその寄与度合いが大きくなり、シェーディングパターンの推定である平均画像Ａ（ｘ，ｙ）に余計な歪みが生じる。画像処理部４１ａは、このような歪みを抑制するために、ステップＳ２において、Ｒｎ（ｘ，ｙ）に加えて次の２値画像Ｑｎ（ｘ，ｙ）を計算してもよい。
Ｒｎ（ｘ，ｙ）＝１かつ（ｘ，ｙ）が定常部のとき　Ｑｎ（ｘ，ｙ）＝１　　　　（１１）
Ｒｎ（ｘ，ｙ）＝０又は（ｘ，ｙ）が非定常部のとき　Ｑｎ（ｘ，ｙ）＝０　　　（１２）
　画像処理部４１ａは、ステップＳ３において、式（３）を次の数式（３’）に置き換えて計算する。
Ｓ（ｘ，ｙ）：＝Ｓ（ｘ，ｙ）＋Ｉｎ（ｘ，ｙ）×Ｑｎ（ｘ，ｙ）　　　　　　　　（３’）
　画像処理部４１ａは、ステップＳ４において、式（４）を次の数式（４’）に置き換えて計算する。
Ｃ（ｘ，ｙ）：＝Ｃ（ｘ，ｙ）＋Ｑｎ（ｘ，ｙ）　　　　　　　　　　　　　　　（４’）
　画像処理部４１ａは、数式（１１）、（１２）において、定常部か非定常部かを判定するために、例えば入力画像Ｉｎ（ｘ，ｙ）の各画素において所定の閾値と比較して、極端に輝度が高い又は低い画素を抽出する方法を用いてもよい。又は、画像処理部４１ａは、一度ステップＳ１からステップＳ８までを実行してシェーディング補正画像Ｊｎ（ｘ，ｙ）及び２値化画像Ｂｎ（ｘ，ｙ）を算出したのち、Ｂｎ（ｘ，ｙ）＝１となる画素（ｘ，ｙ）を非定常部と判定してもよい。その後、画像処理部４１ａは、再びステップＳ１に戻り、ステップＳ３、Ｓ４において上記式（３’）、（４’）に置き換えてステップＳ１２まで実行してもよい。
　このとき、画像処理部４１ａは、ステップＳ６の平均画像算出ステップで、複数の入力画像の各々において画像中の検査対象領域内の非定常部を認識し、定常部の画素についてのみ平均画像Ａ（ｘ，ｙ）に寄与するようにしてもよい。
　以下、図３～図７Ｃを参照しながら、本開示の実施例及び従来技術による比較例について主に説明する。
　図３は、図１の鋼材ＰＬの複数の画像を示す図である。図３は、搬送ローラーテーブルＴＢ上で搬送中の鋼材ＰＬとしての厚鋼板のエッジ部Ｅから中央部を、搬送ローラーテーブルＴＢの上方に固定された撮像部のカメラ及び照明部のフラッシュ照明を用いて１枚の厚鋼板の長手方向に一定の間隔で繰り返し撮像して得られた６１枚の画像の一部を示す。図３の上段における（ａ）は、厚鋼板の長手方向先端付近の画像を示す。図３の中段における（ｂ）は、厚鋼板の長手方向中央部の画像を示す。図３の下段における（ｃ）は、厚鋼板の長手方向尾端付近の画像を示す。これら３枚の画像が示すように、厚鋼板のエッジ部Ｅの位置がカメラ視野内で移動し、搬送ローラーテーブルＴＢ上で蛇行していることが分かる。
　図４は、本開示の実施例を示す図である。図４は、図３の厚鋼板の一連の画像について本開示の一実施形態に係る表面欠陥検出装置１による画像処理を適用し、そのうち汚れ状の欠陥を有する入力画像とその処理画像との一例を示す。
　図４の（ａ）は、入力画像Ｉｎ（ｘ，ｙ）を示す図である。図４の（ｂ）は、平均画像Ａ（ｘ，ｙ）を示す図である。図４の（ｂ）の平均画像Ａ（ｘ，ｙ）は、シェーディングパターンに対応する。図４の（ｃ）は、検査対象領域を示す２値画像Ｒｎ（ｘ，ｙ）を示す図である。図４の（ｄ）は、シェーディング補正画像Ｊｎ（ｘ，ｙ）を示す図である。図４の（ｅ）は、シェーディング補正画像Ｊｎ（ｘ，ｙ）を閾値処理して得られた２値化画像Ｂｎ（ｘ，ｙ）を示す図である。図４の（ｅ）の２値化画像Ｂｎ（ｘ，ｙ）は、欠陥部を検出した画像である。
　図４では、画像処理部４１ａは、図２のステップＳ２の検査対象領域の検出において、厚鋼板のエッジを入力画像の左側から探索し、２０画素以上右側に連続して所定輝度値を超えた位置をエッジ位置とした。画像処理部４１ａは、エッジ付近にハレーションを生じているので、エッジから１８画素を非定常部として、検査対象領域から除外した。画像処理部４１ａは、図２のステップＳ９のラベリング処理において、２０画素より面積が少ないブロブをノイズとして除去した。
　図５は、従来技術による比較例を示す図である。図５は、図４の（ａ）に示した画像と同一の入力画像に対して、移動平均フィルタを用いてシェーディングパターンを算出し、シェーディング補正を行った場合の画像処理の結果を示す。シェーディングパターンはｙ座標毎に算出され、ｘ方向に６４画素の移動平均フィルタを用いて行った。
　図５の（ａ）は、図４の（ａ）と同一の入力画像を示す図である。図５の（ｂ）は、図５の（ａ）の入力画像に移動平均フィルタを適用して生成したシェーディングパターンを示す図である。図５の（ｃ）は、検査対象領域を示す図４の（ｃ）と同一の２値画像を示す図である。図５の（ｄ）は、図５の（ｂ）のシェーディングパターンに基づくシェーディング補正画像を示す図である。図５の（ｅ）は、図５の（ｄ）のシェーディング補正画像を閾値処理して得られた２値化画像を示す図である。図５の（ｅ）の２値化画像は、欠陥部を検出した画像である。シェーディング補正以外の処理について、図４と同一の処理及びパラメータを使用した。
　図６は、別の従来技術による比較例を示す図である。図６は、図４の（ａ）に示した画像と同一の入力画像に対して、２次の多項式近似を用いてシェーディングパターンを算出し、シェーディング補正を行った場合の画像処理の結果を示す。
　図６の（ａ）は、図４の（ａ）と同一の入力画像を示す図である。図６の（ｂ）は、図６の（ａ）の入力画像のｙ座標毎にｘ方向の輝度波形について２次の多項式近似を適用して生成したシェーディングパターンを示す図である。図６の（ｃ）は、検査対象領域を示す図４の（ｃ）と同一の２値画像を示す図である。図６の（ｄ）は、図６の（ｂ）のシェーディングパターンに基づくシェーディング補正画像を示す図である。図６の（ｅ）は、図６の（ｄ）のシェーディング補正画像を閾値処理して得られた２値化画像を示す図である。図６の（ｅ）の２値化画像は、欠陥部を検出した画像である。シェーディング補正以外の処理について、図４と同一の処理及びパラメータを使用した。
　図７Ａ乃至図７Ｃは、シェーディング補正の結果について、本開示の技術に基づく実施例と２つの比較例とを比較したものである。図７Ａは、図４の（ｄ）のシェーディング補正画像におけるア－ア間の補正輝度波形を示したグラフ図である。図７Ｂは、図５の（ｄ）のシェーディング補正画像におけるイ－イ間の補正輝度波形を示したグラフ図である。図７Ｃは、図６の（ｄ）のシェーディング補正画像におけるウ－ウ間の補正輝度波形を示したグラフ図である。
　本開示の実施例を示す図４の（ｂ）の平均画像Ａ（ｘ，ｙ）は、図４の（ａ）の入力画像Ｉｎ（ｘ，ｙ）のシェーディングを、厚鋼板表面の模様及び欠陥にほとんど影響されることなく良く表している。図４の（ｄ）のシェーディング補正画像Ｊｎ（ｘ，ｙ）では、図７Ａのグラフに示されるように全体に均一な輝度が達成され、かつ欠陥部周辺に「折り返し」などは発生していない。
　一方で、従来技術の比較例である図５の（ｄ）のシェーディング補正画像では、図７Ｂのグラフに示されるように汚れ状欠陥部（暗部）の左右にやや明るくなった部分、すなわち欠陥部（暗部）に対する「折り返し」が発生している。図５の（ｄ）に示す本比較例では「折り返し」部の誤検出は生じてはいないものの、欠陥部の信号がより強い場合には「折り返し」部の信号レベルも比例して大きくなり、誤検出を生じる原因となる。
　別の従来技術の比較例である図６の（ｄ）のシェーディング補正画像では、図７Ｃのグラフに示されるように、図７Ｂのような「折り返し」は発生していないものの、画像の右側がやや暗くなっている。シェーディング補正が適切でなく、補正が十分に行われていないことを示している。この結果、図６の（ｅ）の２値化画像において画像右端に誤検出が生じている。
　以上のように、本開示の技術を用いれば、従来技術に比べて、検査対象材の蛇行又は幅変化が生じている状況下においても適切にシェーディング補正が実施可能であり、欠陥部周辺における「折り返し」なども抑制される。
　以上のような一実施形態に係る表面欠陥検出方法及び表面欠陥検出装置１によれば、複数の画像から算出した平均画像をシェーディングパターンとして用い、かつ複数の画像の各々において検査対象領域内にある画素のみ平均画像に寄与するようにしたので、帯状体の表面欠陥をより精度良く検出することが可能である。より具体的には、補正後の画像において欠陥部周辺の「折り返し」又は面積が大きな欠陥の「中抜け」が抑制される。加えて、検査対象材の蛇行又は幅変化により画像中に映るエッジ位置が変動した場合においてもエッジ近傍まで適切にシェーディング補正を行うことが可能である。
　本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び改変を行うことが可能であることに注意されたい。したがって、これらの変形及び改変は本開示の範囲に含まれることに留意されたい。例えば、各構成又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。
　例えば、上述した各構成部の形状、大きさ、配置、向き、及び個数などは、上記の説明及び図面における図示の内容に限定されない。各構成部の形状、大きさ、配置、向き、及び個数などは、その機能を実現できるのであれば、任意に構成されてもよい。
　例えば、スマートフォン又はコンピュータなどの汎用の電子機器を、上述した実施形態に係る表面欠陥検出装置１として機能させる構成も可能である。具体的には、実施形態に係る表面欠陥検出装置１の各機能を実現する処理内容を記述したプログラムを、電子機器のメモリに格納し、電子機器のプロセッサにより当該プログラムを読み出して実行させる。したがって、一実施形態に係る開示は、プロセッサが実行可能なプログラムとしても実現可能である。
　又は、一実施形態に係る開示は、実施形態に係る表面欠陥検出装置１などに各機能を実行させるために１つ又は複数のプロセッサにより実行可能なプログラムを記憶した非一時的なコンピュータ読取可能な媒体としても実現し得る。本開示の範囲には、これらも包含されると理解されたい。
　上記実施形態及び実施例において、「撮像部」としてエリアセンサ、すなわち２次元に配列された撮像素子を有するカメラなどを用いる構成としたが、これに限定されない。「撮像部」としてラインセンサ、すなわち１次元に配列された撮像素子を有するカメラなどを用いてもよい。ラインセンサを用いる場合、検査対象材の撮像はＸ方向の１ラインずつ行われる。したがって、表面欠陥検出装置１は、入力画像Ｉｎ（ｘ，ｙ）のＹ方向のサイズを１とする、又は、一定ライン数蓄積する毎に入力画像Ｉｎ（ｘ，ｙ）を形成するようにしてもよい。
　上記実施形態において、「帯状体」は、例えば鋼材などを含むと説明したが、これに限定されない。帯状体は、鋼材以外の他の帯状又はシート状の任意の対象を含んでもよい。
　１　　　表面欠陥検出装置
　２ａ　　照明装置（照明部）
　２ｂ　　照明装置（照明部）
　３ａ　　エリアセンサ（撮像部）
　３ｂ　　エリアセンサ（撮像部）
　４　　　演算処理装置
　４１ａ　画像処理部
　４１ｂ　画像処理部
　４２　　統合処理部
　５　　　表示装置
　Ｅ　　　エッジ部
　ＰＬ　　鋼材（帯状体）
　ＴＢ　　搬送ローラーテーブル

Claims (6)

  1. 　帯状体の表面欠陥を光学的に検出する表面欠陥検出方法であって、
    　前記帯状体の表面を照明して得られる前記帯状体からの反射光を検出し、前記帯状体の表面を相対的に走査しながら撮像して、前記帯状体の表面を含む複数の画像を取得する画像取得ステップと、
    　取得した前記複数の画像の平均画像を算出する平均画像算出ステップと、
    　取得した前記複数の画像の各々を、前記平均画像を用いてシェーディング補正して補正画像を得る画像補正ステップと、
    　前記補正画像に基づいて前記帯状体の表面欠陥を検出する欠陥検出ステップと、
    　を含み、
    　前記平均画像算出ステップは、前記複数の画像の各々において、画像中の前記帯状体が存在する検査対象領域を認識して、前記検査対象領域にある画素についてのみ前記平均画像に寄与するようにしたことを含む、
    　表面欠陥検出方法。
  2. 　請求項１に記載の表面欠陥検出方法であって、
    　前記画像補正ステップは、取得した前記複数の画像の各々を前記平均画像で除算することを含む、
    　表面欠陥検出方法。
  3. 　請求項１に記載の表面欠陥検出方法であって、
    　前記画像補正ステップは、取得した前記複数の画像の各々から前記平均画像を減算することを含む、
    　表面欠陥検出方法。
  4. 　請求項１乃至３のいずれか１項に記載の表面欠陥検出方法であって、
    　前記平均画像算出ステップは、前記複数の画像の各々において、画像中の前記検査対象領域内の非定常部を認識して、定常部の画素についてのみ前記平均画像に寄与するようにしたことを含む、
    　表面欠陥検出方法。
  5. 　請求項１乃至３のいずれか１項に記載の表面欠陥検出方法であって、
    　前記帯状体は鋼材を含む、
    　表面欠陥検出方法。
  6. 　帯状体の表面欠陥を光学的に検出する表面欠陥検出装置であって、
    　前記帯状体の表面を照明する照明部と、
    　前記照明部により前記帯状体の表面を照明して得られる前記帯状体からの反射光を検出する撮像部と、
    　前記帯状体の表面を前記照明部及び前記撮像部を用いて相対的に走査して撮像した前記帯状体の表面を含む複数の画像を処理して、前記帯状体の表面欠陥を検出する画像処理部と、
    　を備え、
    　前記画像処理部は、
    　前記複数の画像の平均画像を算出し、
    　前記平均画像を用いて前記複数の画像をシェーディング補正した補正画像を取得し、
    　前記補正画像に基づいて前記帯状体の表面欠陥を検出し、
    　前記複数の画像の各々において画像中の前記帯状体が存在する検査対象領域を認識して、前記検査対象領域にある画素についてのみ前記平均画像に寄与するようにする、
    　表面欠陥検出装置。
PCT/JP2023/024078 2022-09-27 2023-06-28 表面欠陥検出方法及び表面欠陥検出装置 WO2024070101A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020257008097A KR20250048337A (ko) 2022-09-27 2023-06-28 표면 결함 검출 방법 및 표면 결함 검출 장치
EP23871346.5A EP4579225A1 (en) 2022-09-27 2023-06-28 Surface defect detecting method and surface defect detecting device
CN202380066619.XA CN119895252A (zh) 2022-09-27 2023-06-28 表面缺陷检测方法以及表面缺陷检测装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022154254A JP7626117B2 (ja) 2022-09-27 2022-09-27 表面欠陥検出方法及び表面欠陥検出装置
JP2022-154254 2022-09-27

Publications (1)

Publication Number Publication Date
WO2024070101A1 true WO2024070101A1 (ja) 2024-04-04

Family

ID=90476933

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/024078 WO2024070101A1 (ja) 2022-09-27 2023-06-28 表面欠陥検出方法及び表面欠陥検出装置

Country Status (5)

Country Link
EP (1) EP4579225A1 (ja)
JP (1) JP7626117B2 (ja)
KR (1) KR20250048337A (ja)
CN (1) CN119895252A (ja)
WO (1) WO2024070101A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004226347A (ja) * 2003-01-27 2004-08-12 Nippon Steel Corp 表面欠陥検査装置におけるシェーディング補正方法
JP2008102818A (ja) * 2006-10-20 2008-05-01 Seiko Epson Corp 撮像手段の出力値補正方法、シェーディング補正方法、欠陥検出方法、欠陥検出プログラムおよび欠陥検出装置
JP2016156671A (ja) * 2015-02-24 2016-09-01 Ｊｆｅスチール株式会社 金属帯エッジ部の欠陥検出方法および金属帯エッジ部の欠陥検出装置
JP2017219343A (ja) * 2016-06-03 2017-12-14 住友化学株式会社 欠陥検査装置、欠陥検査方法、フィルム製造装置及びフィルム製造方法
JP2018155690A (ja) * 2017-03-21 2018-10-04 Ｊｆｅスチール株式会社 表面欠陥検査方法及び表面欠陥検査装置
US20180374220A1 (en) * 2015-12-09 2018-12-27 Kyungpook National University Industry-Academic Cooperation Foundation Apparatus and method for dividing of static scene based on statistics of images
WO2021149588A1 (ja) * 2020-01-20 2021-07-29 Ｊｆｅスチール株式会社 表面検査装置、表面検査方法、鋼材の製造方法、鋼材の品質管理方法、及び鋼材の製造設備

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012112729A (ja) 2010-11-22 2012-06-14 Toshiba Corp 表面検査装置のシェーディング補正方法
JP6149990B2 (ja) 2016-09-02 2017-06-21 Ｊｆｅスチール株式会社 表面欠陥検出方法及び表面欠陥検出装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004226347A (ja) * 2003-01-27 2004-08-12 Nippon Steel Corp 表面欠陥検査装置におけるシェーディング補正方法
JP2008102818A (ja) * 2006-10-20 2008-05-01 Seiko Epson Corp 撮像手段の出力値補正方法、シェーディング補正方法、欠陥検出方法、欠陥検出プログラムおよび欠陥検出装置
JP2016156671A (ja) * 2015-02-24 2016-09-01 Ｊｆｅスチール株式会社 金属帯エッジ部の欠陥検出方法および金属帯エッジ部の欠陥検出装置
US20180374220A1 (en) * 2015-12-09 2018-12-27 Kyungpook National University Industry-Academic Cooperation Foundation Apparatus and method for dividing of static scene based on statistics of images
JP2017219343A (ja) * 2016-06-03 2017-12-14 住友化学株式会社 欠陥検査装置、欠陥検査方法、フィルム製造装置及びフィルム製造方法
JP2018155690A (ja) * 2017-03-21 2018-10-04 Ｊｆｅスチール株式会社 表面欠陥検査方法及び表面欠陥検査装置
WO2021149588A1 (ja) * 2020-01-20 2021-07-29 Ｊｆｅスチール株式会社 表面検査装置、表面検査方法、鋼材の製造方法、鋼材の品質管理方法、及び鋼材の製造設備

Also Published As

Publication number Publication date
JP2024048292A (ja) 2024-04-08
KR20250048337A (ko) 2025-04-08
CN119895252A (zh) 2025-04-25
JP7626117B2 (ja) 2025-02-04
EP4579225A1 (en) 2025-07-02

Similar Documents

Publication Publication Date Title
CN110431404B (zh) 表面缺陷检查方法及表面缺陷检查装置
JP6264132B2 (ja) 車体塗装面の検査装置および検査方法
US20220011241A1 (en) Surface-defect detecting method, surface-defect detecting apparatus, steel-material manufacturing method, steel-material quality management method, steel-material manufacturing facility, surface-defect determination model generating method, and surface-defect determination model
WO2016158873A1 (ja) 溶融めっき鋼板の表面欠陥検査装置および表面欠陥検査方法
CN107709977B (zh) 表面缺陷检测装置及表面缺陷检测方法
JP5347661B2 (ja) 帯状体の表面検査装置、表面検査方法及びプログラム
JP2010085166A (ja) プリプレグ欠点検査方法
JP2007132757A (ja) 外観検査方法および同装置
JP2011013007A (ja) 磁粉探傷装置
JP2002148195A (ja) 表面検査装置及び表面検査方法
JP6035124B2 (ja) 欠陥検査装置、及び欠陥検査方法
JP2003329601A (ja) 欠陥検査装置及び欠陥検査方法
JP7626117B2 (ja) 表面欠陥検出方法及び表面欠陥検出装置
US6614918B1 (en) Apparatus for inspecting light-and-shade portions and method thereof
JP4395057B2 (ja) 帯状体や柱状体の周期疵検出方法およびその装置
JP2015059854A (ja) 欠陥検査方法及び欠陥検査装置
JP4403036B2 (ja) 疵検出方法及び装置
JP2006343185A (ja) 表面欠陥検査装置
JP2003156451A (ja) 欠陥検出装置
JPWO2015159352A1 (ja) ウェブ検査装置、ウェブ検査方法、ウェブ検査プログラム
JP2019060836A (ja) 印刷物の浮き検出装置及び浮き検出方法、検査装置及び検査方法
JP4349960B2 (ja) 表面欠陥検査装置
JP3126634B2 (ja) 外観検査方法
JP2003329596A (ja) 欠陥検査装置及び欠陥検査方法
JP2000329699A (ja) 欠陥検査方法及びその装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23871346

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20257008097

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020257008097

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 202517022319

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2023871346

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 202517022319

Country of ref document: IN

ENP Entry into the national phase

Ref document number: 2023871346

Country of ref document: EP

Effective date: 20250324

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112025005491

Country of ref document: BR

WWP Wipo information: published in national office

Ref document number: 1020257008097

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2023871346

Country of ref document: EP