WO2018173660A1 - 表面欠陥検査方法及び表面欠陥検査装置 - Google Patents

表面欠陥検査方法及び表面欠陥検査装置 Download PDF

Info

Publication number
WO2018173660A1
WO2018173660A1 PCT/JP2018/007418 JP2018007418W WO2018173660A1 WO 2018173660 A1 WO2018173660 A1 WO 2018173660A1 JP 2018007418 W JP2018007418 W JP 2018007418W WO 2018173660 A1 WO2018173660 A1 WO 2018173660A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
abnormality
degree
surface defect
defect
Prior art date
Application number
PCT/JP2018/007418
Other languages
English (en)
French (fr)
Inventor
腰原 敬弘
嘉之 梅垣
貴彦 大重
Original Assignee
Jfeスチール株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jfeスチール株式会社 filed Critical Jfeスチール株式会社
Priority to KR1020197027127A priority Critical patent/KR102257734B1/ko
Priority to EP18770965.4A priority patent/EP3605072A4/en
Priority to US16/495,228 priority patent/US10859507B2/en
Priority to MX2019011283A priority patent/MX2019011283A/es
Priority to CN201880018467.5A priority patent/CN110431404B/zh
Publication of WO2018173660A1 publication Critical patent/WO2018173660A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G01N21/898Irregularities in textured or patterned surfaces, e.g. textiles, wood
    • G01N21/8983Irregularities in textured or patterned surfaces, e.g. textiles, wood for testing textile webs, i.e. woven material
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2433Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/44Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758Involving statistics of pixels or of feature values, e.g. histogram matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30124Fabrics; Textile; Paper
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30136Metal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Definitions

  • the present invention relates to a surface defect inspection method and a surface defect inspection apparatus.
  • the surface defect inspection apparatuses have been introduced for surface defect inspection, and the inspection is automated and labor-saving.
  • the surface defect inspection apparatuses introduced in recent years are mainly composed of an optical system using an illumination and a camera and an image processing system.
  • the contrast with respect to the normal portion of the surface defect portion in the acquired image that is, the S / N ratio (signal-to-noise ratio) is increased. It is common to devise such as adjusting the camera angle or using an optical filter.
  • the surface defects of the steel strip have a wide variety of forms, and there are few optical systems that can obtain a good S / N ratio for all of them.
  • surface irregularities are small and contrast is small, but there are surface defects that are highly harmful because they are long in the longitudinal direction of the steel strip.
  • a surface defect there is a pattern-like hege defect of a hot dip galvanized steel sheet.
  • This pattern-like shaving defect is caused by the fact that a portion called a shaving portion has, for example, a difference in plating thickness or a degree of alloying as compared with the base material.
  • the area of the temper portion (the portion flattened by the temper rolling roll) is reduced by applying temper rolling. More than the area of the part.
  • the shaving portion when the shaving portion is concave with respect to the base material, the shaving portion does not contact the temper rolling roll, and therefore the non-tempered portion occupies most. For this reason, the shaving part does not have remarkable unevenness compared to the base material, but the ratio of the tempered part differs according to the unevenness, so the light reflection characteristics change, and the appearance is different from pattern-like shaving defects. Become. Since this pattern-like shave defect is elongated in the length direction of the hot-dip galvanized steel sheet, the unevenness is small but harmful in appearance, and needs to be detected.
  • ashes are examples of surface defects that are difficult to detect other than elongated surface defects.
  • Ash occurs in hot dip galvanized steel sheets.
  • Ash is a surface defect that occurs when the zinc vapor evaporated from the zinc pot adheres to the accessory of the pot and then falls and floats on the surface of the zinc bath, resulting in adhesion of the foreign matter to the steel sheet, and the unevenness is small. It is a pattern-like surface defect. Since the image of the ash has a small contrast, it has been difficult to automatically detect it with the conventional surface defect inspection apparatus. However, since ash is found by visual inspection at the customer site and may cause a problem in appearance, it is a surface defect that requires detection of ash.
  • the S / N ratio of the surface defect that is long in the longitudinal direction is usually used in the filtering process.
  • Increasing the sensitivity and decreasing the sensitivity of short surface defects in the longitudinal direction conversely, increasing the sensitivity of short surface defects in the longitudinal direction decreases the sensitivity of surface defects that are long in the longitudinal direction, and at the same time the S / N ratio. It was difficult to improve.
  • Non-Patent Document 1 describes a surface defect inspection method using a Gabor filter (Gabor wavelet).
  • a Gabor wavelet is applied to an inspection image to perform statistical analysis of each wavelet coefficient, and after calculating (estimating) the distribution of each wavelet coefficient in a defect-free background texture, A threshold value for each wavelet coefficient is automatically determined from the estimated distribution, and a result of applying the threshold value to each wavelet coefficient (image) is combined to generate a binary image in which the surface defect portion is separated from the background.
  • the method described in Non-Patent Document 1 can be applied to an object having a periodic background such as a fabric or an object having a random and non-periodic background.
  • the surface defect signal and noise cannot be separated in a case where the S / N ratio is low. That is, there is a dilemma that noise is erroneously detected when a surface defect is detected, and surface defects cannot be detected when noise is not erroneously detected. Further, when a countermeasure using a low-pass filter or the like has an effect on a specific type of surface defect or background (texture), there is a problem that detection cannot be performed on another type of surface defect or background.
  • the surface defect inspection method described in Non-Patent Document 1 has a problem that it is difficult to detect a linear surface defect elongated in the length direction of a steel strip, which is often seen as a surface defect of a steel strip product.
  • FIG. 12A shows an image example of a linear surface defect of a steel strip and a luminance profile of a broken line portion in the image.
  • FIG. 12B is a surface defect inspection method described in Non-Patent Document 1, and FIG. The image which detected the surface defect shown to a), and the luminance profile of the broken-line part in an image are shown.
  • FIG. 12 (b) it can be seen that the surface defect inspection method described in Non-Patent Document 1 cannot detect a linear surface defect that is elongated in the length direction of the steel strip.
  • the present invention has been made in view of the above problems, and its purpose is to increase sensitivity to linear elongated surface defects and to mix linear elongated surface defects and short and small surface defects. Is to provide a surface defect inspection method and a surface defect inspection apparatus capable of detecting both with high sensitivity.
  • the texture feature image generation step may perform the filtering process using the spatial filter on an image obtained by reducing the original image or an image obtained by reducing the texture feature image. It is characterized by including the process which produces
  • the surface defect inspection method according to the present invention is characterized in that, in the above invention, the reduction direction of the original image or the texture feature image includes a direction that is parallel to a linear defect to be detected.
  • the surface defect inspection method according to the present invention is characterized in that, in the above invention, the plurality of spatial filters are realized by wavelet transform.
  • the surface defect inspection method according to the present invention is characterized in that, in the above invention, the plurality of spatial filters include a Gabor filter.
  • the surface defect inspection method according to the present invention is characterized in that, in the above invention, the Mahalanobis distance is used as the degree of abnormality in the multidimensional distribution formed by the feature vector.
  • the surface defect inspection apparatus includes an imaging unit that captures an inspection target, an image input unit that acquires an original image of the inspection target captured by the imaging unit, and a plurality of spatial filters for the original image.
  • a texture feature image generating means for generating a plurality of texture feature images by performing a filtering process, and extracting values of corresponding positions of the plurality of feature images for each position on the original image; Texture feature extraction means for generating a feature vector at each position, and calculating the degree of abnormality in the multidimensional distribution formed by the feature vector for each of the feature vectors, indicating the degree of abnormality for each position on the original image
  • An abnormality degree calculating means for generating an abnormality degree image; Characterized in that it comprises a means for detecting and.
  • both the sensitivity to linear elongated surface defects is enhanced and both linear elongated surface defects and short and small surface defects are mixed. It can be detected with high sensitivity.
  • FIG. 1 is a schematic diagram showing a configuration of a surface defect inspection apparatus according to an embodiment of the present invention.
  • FIG. 2 is a flowchart showing a flow of surface defect inspection processing according to an embodiment of the present invention.
  • FIG. 3 is a flowchart showing the flow of preprocessing for an input image.
  • FIG. 4 is a flowchart showing the flow of defect detection processing for a corrected image.
  • FIG. 5 is a diagram illustrating an example of a Gabor function plotted in a three-dimensional space.
  • FIG. 6 is a block diagram showing Gabor filter processing in the embodiment of the present invention.
  • FIG. 7 is a block diagram showing a modified example of the Gabor filter processing in the embodiment of the present invention.
  • FIG. 1 is a schematic diagram showing a configuration of a surface defect inspection apparatus according to an embodiment of the present invention.
  • FIG. 2 is a flowchart showing a flow of surface defect inspection processing according to an embodiment of the present invention.
  • FIG. 3 is a flowchar
  • FIG. 8 is a diagram illustrating an example of a two-dimensional principal component analysis.
  • FIG. 9 is a flowchart showing the flow of the defect determination process.
  • FIG. 10 is a diagram showing an example of an image obtained by photographing the steel strip surface.
  • FIG. 11 is a diagram showing an embodiment in which the defect detection processing of the present invention is applied to the image shown in FIG.
  • FIG. 12 shows an example of an image of a linear surface defect of a steel strip, a result of detecting a surface defect by the surface defect inspection method described in Non-Patent Document 1, and a result of detecting a surface defect by the defect detection process of the present invention.
  • FIG. 12 shows an example of an image of a linear surface defect of a steel strip, a result of detecting a surface defect by the surface defect inspection method described in Non-Patent Document 1, and a result of detecting a surface defect by the defect detection process of the present invention.
  • FIG. 1 is a schematic diagram showing a configuration of a surface defect inspection apparatus according to an embodiment of the present invention.
  • a surface defect inspection apparatus 1 according to an embodiment of the present invention includes an illumination device 2, an imaging device 3, an image processing device 4, and a display device 5.
  • the illumination device 2 illuminates the surface of the steel strip S that is the inspection target of the surface defect inspection device 1.
  • the imaging device 3 images a portion on the steel strip S illuminated by the illumination device 2, and transmits the obtained image (original image) data of the surface of the steel strip S to the image processing device 4.
  • the imaging device 3 may be either a so-called line sensor camera having a one-dimensional imaging device or a so-called area camera having a two-dimensional imaging device. In any case, imaging is performed in synchronization with the conveyance of the steel strip S.
  • the imaging device 3 is a line sensor camera, continuous lighting is used as the lighting device 2.
  • the imaging device 3 is an area camera, flash illumination that emits flash light every time the steel strip S travels a certain distance is used as the illumination device 2.
  • the image processing device 4 analyzes the image data of the surface of the steel strip S transmitted from the image pickup device 3 and detects any surface defects on the surface of the steel strip S, and the type and degree of harm of the surface defects. And the information is output to the display device 5.
  • the image processing apparatus 4 includes an image input unit 41, an image correction unit 42, a texture feature image generation unit 43, a texture feature extraction unit 44, an abnormality degree calculation unit 45, and a defect candidate detection unit 46. Further, the image processing apparatus 4 includes a defect feature calculation unit 47 and a defect determination unit 48 as needed.
  • the image input unit 41 has a temporary storage area inside, and sequentially buffers the image data on the surface of the steel strip S transmitted from the imaging device 3 in the temporary storage area.
  • the image correction unit 42 sequentially reads image data from the temporary storage area of the image input unit 41, and generates a corrected image by performing correction processing on the read image data.
  • the image correction unit 42 detects the edge position and examines an image region corresponding to the outside of the edge of the steel strip S. In addition to setting the outer region, for example, the non-inspection region is filled with a mirror image of the inner region of the steel sheet S with the edge position as a boundary.
  • the image correcting unit 42 corrects (shading correction) the luminance unevenness in the image of the steel strip S caused by the illuminance unevenness or the like of the lighting device 2 so that the brightness of the entire image becomes uniform.
  • the texture feature image generation unit 43 applies a plurality of spatial filter processing to the corrected image, and supports each spatial filter indicating the feature (local frequency characteristic) of the local pattern (texture) at each position in the image.
  • a plurality of feature images (hereinafter, sometimes referred to as texture feature images) are generated.
  • the spatial filter here is a process of generating an output image using corresponding pixels of an input image and surrounding pixel values.
  • the texture feature extraction unit 44 extracts a position value corresponding to each position on the input image or the corrected image from the plurality of texture feature images generated by the texture feature image generation unit 43, and the texture features at each position on the image Extract feature vectors.
  • the number of texture feature vectors is the total number of pixels in the image, and the dimension of the texture feature vectors matches the number of texture feature images.
  • the abnormality degree calculation unit 45 analyzes the distribution in the multidimensional space formed by the plurality of texture feature vectors extracted by the texture feature extraction unit 44, and calculates the degree of abnormality of each texture feature vector. Then, the abnormality level calculation unit 45 maps the calculated abnormality level of each texture feature vector to a position on the corresponding image to generate an abnormality level image.
  • the defect candidate detection unit 46 binarizes the abnormality degree image generated by the abnormality degree calculation unit 45 using a predetermined abnormality degree as a threshold value, and pixels having an abnormality degree equal to or greater than the predetermined threshold value are continuously connected. An image region is detected as a defective portion or a defect candidate (labeling). In addition, the defect candidate detection unit 46 collects a plurality of defect candidates whose detection positions are close to each other, or processing that excludes defect candidates that can be regarded as not harmful defects, such as those having a too small area, among the detected defect candidates. You may perform the process connected as a defect candidate.
  • the defect feature calculation unit 47 calculates a defect feature amount for each defect candidate detected by the defect candidate detection unit 46.
  • the defect feature amount is calculated using the defect portion grayscale image obtained by cutting out the defect candidate region portion from the corrected image and the defect portion abnormality degree image obtained by cutting out the defect candidate region portion from the abnormality degree image.
  • the defect determination unit 48 determines the defect type and the harmfulness of each defect candidate based on the defect feature amount calculated by the defect feature calculation unit 47.
  • the display device 5 includes detection information (image of the surface defect portion and position of the surface defect), determination information (type, degree of harm), statistical information (for the entire steel strip S) about the surface defect detected by the image processing device 4. Or, the defect type, the total number of defects by the degree of harm, the occurrence rate, etc.) are displayed.
  • FIG. 2 is a flowchart showing a flow of surface defect inspection processing according to an embodiment of the present invention.
  • the surface defect inspection apparatus 1 receives a surface defect inspection start command, the surface defect inspection apparatus 1 starts imaging the surface of the steel strip S by the imaging apparatus 3, and the data of the captured image (hereinafter referred to as input image) is the image of the image processing apparatus 4.
  • the data is sequentially buffered in a temporary storage area in the input unit 41.
  • the image processing apparatus 4 determines whether or not there is unprocessed input image data in the temporary storage area in the image input unit 41 (step S1). In the case of a line sensor camera, it is determined that there is no unprocessed input image data until image data is buffered up to a predetermined number of lines. If there is no unprocessed input image data as a result of the determination (step S1: No), the image processing apparatus 4 stands by until new image data is input. On the other hand, when there is unprocessed input image data (step S1: Yes), the image processing apparatus 4 performs preprocessing (step S2), defect detection processing (step S3), and defect determination processing (step S4). Are executed sequentially.
  • step S5 determines whether or not a surface defect inspection end instruction has been issued. Then, as a result of the determination, when an instruction to end surface defect inspection is issued (step S5: Yes), the image processing apparatus 4 ends the surface defect inspection. On the other hand, when the surface defect inspection end instruction has not been issued (step S5: No), the image processing apparatus 4 returns to the process of step S1 and continues the surface defect inspection process.
  • FIG. 3 is a flowchart showing the flow of preprocessing for an input image.
  • the preprocessing includes an edge detection step S21, an edge external correction step S22, and a shading correction step S23. These processes are executed by the image correction unit 42.
  • the image correction unit 42 detects the edge position of the steel strip S from the input image I (x, y).
  • x is a pixel coordinate corresponding to the width direction of the steel strip S
  • y is a pixel coordinate corresponding to the length direction of the steel strip S
  • nx is the size in the x direction of the image
  • ny is the size in the y direction.
  • the image correction unit 42 designates the outside of the edge of the steel strip S as a non-inspection target area, and supplements the non-inspection target area with a mirror image, for example.
  • An edge external correction image I E (x, y) degenerated so as not to detect the edge portion is generated.
  • an edge external corrected image I E (x, y) correcting the luminance non-uniformity of (shading correction) to corrected image I C (x obtained by equalizing the brightness of the entire image, y) is calculated.
  • the moving average value of one-dimensional luminance may be subtracted from the luminance of the original image and divided by the moving average value, or the two-dimensional luminance may be normalized in both the x and y directions. It is good also as a moving average value.
  • An arbitrary low-pass filter may be used instead of the moving average value of luminance.
  • a difference in luminance may be used, or a high pass filter equivalent thereto may be used.
  • step S3 the defect detection process (step S3) will be described with reference to FIGS.
  • FIG. 4 is a flowchart showing the flow of defect detection processing for a corrected image.
  • the defect detection process includes a texture feature image generation step S31, a texture feature extraction step S32, an abnormality degree calculation step S33, and a defect candidate detection step S34.
  • N T is the number of spatial filters.
  • a Gabor filter is used as the spatial filter.
  • the Gabor filter is a linear filter using a Gabor function expressed by the following formula (1).
  • Formula (1) shows a general formula of a Gabor filter, which is a form in which a sine wave is multiplied by a Gaussian attenuation function.
  • represents the wavelength of the sine wave
  • represents the direction of the stripe pattern of the Gabor function
  • a represents the spread of the wavelength (Gauss function bandwidth).
  • B represents the spatial aspect ratio and represents the ellipticity of the Gabor function support.
  • I is an imaginary unit.
  • the Gabor function Gabor (x, y: a, b, ⁇ , ⁇ ) has a shape obtained by cutting out an infinite sine wave using the Gauss function as a window function. Yes.
  • the direction of the Gabor function, the direction of the wave, and the attenuation rate can be changed by arbitrarily changing a, b, and ⁇ .
  • the local frequency component of the wavelength ⁇ (pixel) and the wave direction ⁇ can be extracted by performing a convolution operation with the Gabor filter on the image.
  • the parameters ⁇ and ⁇ are changed variously, and further the scales in the x direction and the y direction are changed variously (for example, if x is replaced with x / 4, the spread in the x direction is increased four times).
  • the local frequency component of the image corresponding thereto can be extracted.
  • the spread of the Gabor filter is increased in practical calculation, the calculation time for the convolution calculation increases. Therefore, instead of increasing the spread of the Gabor filter as described below, it is preferable to use a technique of downsampling and reducing the image. However, in order to prevent aliasing, it is desirable to apply a low-pass filter to the filtered image in advance.
  • FIG. 6 is a block diagram showing the Gabor filter processing in the embodiment of the present invention.
  • the coordinate (x, y) at the center of the filter coefficient matrix is (0, 0).
  • 4 / ⁇ 2, which corresponds to the sampling theorem ( ⁇ ⁇ 2) and It is determined from the spatial frequency in the corresponding direction of the signal to be detected.
  • LP is a two-dimensional direction of xy
  • LPY is a low-pass filter in the y direction.
  • a filter matrix according to the definitions shown in the following equations (7) and (8) is applied to an image.
  • the low-pass filter LPY performs a convolution operation in a direction that is a moving average of four points in the y direction.
  • the low-pass filters LP and LPY are designed as filters for preventing aliasing when down-sampling described later. As long as aliasing can be prevented, the low-pass filter shown in the following formulas (7) and (8) is not necessarily required.
  • I p (x, y) is a reduced image obtained by p times of “X2, Y2” type downsampling with the low-pass filter LP.
  • linear interpolation a method of setting the same value as the nearest pixel, and the same value as the value of each pixel of the feature image I pq (x, y) are copied in the downsampled direction and number.
  • the method of filling may be used.
  • a spatial filter having a different spatial frequency and a spatial filter having a different waveform direction of the spatial filter can be combined and applied to the original image.
  • the same effect as that obtained by applying a spatial filter having a large spatial frequency to the original image with a small amount of calculation can be obtained.
  • the texture feature image generation unit 43 performs three types of images J 0 (x, y) generated by performing “Y4” type downsampling on the image I 0 (x, y).
  • the texture feature image generation unit 43 performs three types of images J 1 (x, y) generated by performing “Y4” type downsampling on the image J 0 (x, y).
  • the texture feature image generation unit 43 performs three types of images J 3 (x, y) generated by performing “Y4” type downsampling on the images I 1 (x, y).
  • the texture feature image generating unit 43 an image J 3 (x, y) further "Y4" type image J 4 (x, y) generated by applying the downsampling against against, three
  • the texture feature image generation unit 43 performs three types of images J 5 (x, y) generated by performing “Y4” type downsampling on the images I 2 (x, y).
  • the texture feature image generating unit 43 an image J 5 (x, y) image J 6 generated by performing downsampling further "Y4" type with respect to (x, y), three
  • the texture feature image generation unit 43 performs three types of images J 7 (x, y) generated by performing “Y4” type downsampling on the images I 3 (x, y).
  • the feature image J rs (x, y) is also reduced by the down-sampling process, as in the case where the “linear defect extension process” is not performed, the feature image J rs (x, y) has the same size as the initial image I 0 (x, y). Enlarge to make a texture feature image.
  • Twelve types include J 00 (x, y), J 02 (x, y), J 10 (x, y), J 12 (x, y), J 20 (x, y), J 21 (x, y) , J 22 (x, y), J 30 (x, y), J 32 (x, y), J 40 (x, y), J 41 (x, y), J 42 (x, y), J 50 (x, y), J 52 (x, y), J 60 (x, y), J 61 (x, y), J 62 (x, y), J 70 (x, y), J
  • I 00 (x, y), I 10 (x, y), I 20 (x, y), I 30 (x, y) may be used 68 kinds of texture feature image plus but, I 00 ( x, y), I 10 (x, y), I 20 (x, y), and I 30 (x, y) filters are subjected to fast Fourier transform (FFT), and the pass band in the frequency domain is J xx (x, Since it is covered with the filter of y), it can be omitted.
  • FFT fast Fourier transform
  • the embodiment in the texture feature image generation step S4 is not limited to the above, and other arbitrary spatial filter groups can be used.
  • two-dimensional wavelet transformation or wavelet packet transformation can be applied, and the simplest is a Haar wavelet.
  • a differential filter, an edge extraction filter, a DoG (Difference of Gaussian) filter, a LoG (Laplacian of Gaussian) filter, or the like may be used or a combination thereof may be used.
  • FIG. 7 is a diagram showing the flow, in which a G 0 spatial filter is used instead of the low-pass filter LPY.
  • the texture feature extraction unit 44 extracts a texture feature vector in each pixel.
  • feature image F j (x, y) ⁇ f j (x, y) ⁇ (f j (x, y) indicates the value of feature image F j (x, y) at coordinates x, y))
  • the set of x and y is replaced with another index i as shown in the following formula (9)
  • the degree of abnormality calculation unit 45 statistically analyzes the distribution of the texture feature vector extracted in the texture feature extraction step S32 in the NT dimensional space to obtain an input image (corrected image).
  • the degree of abnormality in each pixel is calculated and an abnormality degree image is generated.
  • the Mahalanobis distance is used as the degree of abnormality.
  • the abnormality degree calculation unit 45 prepares a matrix F in which the feature vector F j is a row vector and is arranged in the column direction, as shown in the following formula (11).
  • the degree-of-abnormality calculation unit 45 calculates m j shown in the following formula (12).
  • represents the sum for all pixels
  • m j is the average for all pixels in the matrix F.
  • the degree-of-abnormality calculation unit 45 calculates the Mahalanobis distance D i (which is correctly the square of the Mahalanobis distance, but simply referred to as the Mahalanobis distance) as shown in the following formula (15).
  • the calculation for obtaining the Mahalanobis distance is equivalent to the following operation. That is, when NT feature images F j (x, y) are viewed for each coordinate, f 1 (x, y), f 2 (x, y), ..., f NT (x, y) It can be seen that it has a value of NT dimension.
  • This p (x, y) ( f 1 (x, y), f 2 (x, y), ..., f NT (x, y)) can be expressed as a point of N T-dimensional space. In this way, all the pixels on the image are plotted in the NT dimension space.
  • the Mahalanobis distance is obtained by normalizing the plotted set with respect to variation and obtaining the distance from the origin in the normalized space.
  • Standardization with respect to variation is performed by taking bases that are orthogonal in order from the direction of large variation, obtaining a standard deviation that is variation in each base direction, and dividing each base direction component by this standard deviation.
  • FIG. 8 shows an example of a two-dimensional principal component analysis.
  • O represents the origin
  • D represents the Mahalanobis distance
  • P represents the pixel.
  • the defect candidate detection unit 46 binarizes the abnormality degree image D (x, y) based on the threshold value D thr, and a connected region of pixels where D (x, y) ⁇ D thr. Are detected as defective portions or defect candidates. Further, in this step, the defect candidate detection unit 46 may provide a restriction on the area of the connected region and the maximum value of the degree of abnormality in the connected region, and exclude the defect candidate that does not satisfy the restriction. For example, the defect candidate detection unit 46 excludes defect candidates in which both the area and the maximum degree of abnormality are smaller than the minimum value set for each.
  • the defect candidate detection unit 46 performs processing for connecting two arbitrary defect candidates as the same defect candidate when the distance between the connection regions satisfies a predetermined condition. For example the coordinates of the defect candidate 1 (x 1, y 1) , the coordinates of the defect candidate 2 and (x 2, y 2), the distance constraint on x-coordinate d x, the distance constraint on the y-coordinate and d y ,
  • the threshold value D thr may be determined as shown in the following formula (16) on the assumption that the Mahalanobis distance (squared) follows a chi-square distribution.
  • p thr represents a significance level (probability) at which the degree of abnormality is determined to be defective
  • f ⁇ 2 ⁇ 1 (p, n) is a cumulative chi-square distribution with n degrees of freedom. It is the inverse function of the density function.
  • a threshold value can be defined as a probability with respect to the degree of abnormality.
  • FIG. 9 is a flowchart showing the flow of the defect determination process. As shown in FIG. 9, the defect determination process includes a defect feature calculation step S41 and a defect determination step S42.
  • the defect feature calculation unit 47 uses the defect portion grayscale image obtained by cutting out the defect candidate region from the corrected image I c (x, y) and the defect candidate from the abnormality degree image D (x, y).
  • the defect feature amount is calculated by performing various calculations on the defect portion abnormality degree image obtained by cutting out the region portion.
  • Typical defect feature values include the size and shape of defects such as width, length, area, aspect ratio, and perimeter, and the maximum brightness, minimum brightness, average brightness, and histogram frequency related to brightness in the defect area. There are things related to light and shade, etc., and these are obtained from a defect portion light and shade image.
  • a feature amount relating to the degree of abnormality such as a histogram degree relating to the maximum degree of abnormality, the average degree of abnormality, and the degree of abnormality is obtained from the defect part abnormality degree image. Furthermore, in the present embodiment, a defect feature amount related to each texture feature is also obtained from a defect portion texture feature image obtained by cutting out a defect candidate region from each texture feature image F j (x, y).
  • the defect determination unit 48 determines the defect type and the hazard level of each defect candidate based on the defect feature amount calculated in the defect feature calculation step S41.
  • a determination rule if-then rule or determination table relating to the defect feature amount created by the user, a discriminator obtained by so-called machine learning, or a combination thereof is used.
  • the texture feature image generation unit 43 performs a plurality of spatial filter processing on the input image, thereby performing a plurality of processing.
  • a texture feature image is generated, and the texture feature extraction unit 44 extracts a value of a corresponding position of the plurality of texture feature images for each position on the input image to generate a feature vector at each position on the image.
  • the degree calculation unit 45 calculates the degree of abnormality in the multi-dimensional distribution formed by the feature vector for each feature vector, generates an abnormality degree image indicating the degree of abnormality for each position on the input image, and the defect candidate detection unit 46 detects a part where the degree of abnormality exceeds a predetermined value in the degree-of-abnormality image as a defective part or a defect candidate part.
  • FIG. 10 is an example of an image obtained by photographing the steel strip surface.
  • a surface defect exists in a portion surrounded by two rectangles in FIG.
  • a surface defect surrounded by a left rectangle indicates an elongated defect that is difficult to detect, and a surface defect surrounded by a right rectangle indicates a short defect in the longitudinal direction that is difficult to detect.
  • the image shown in FIG. 10 is 1024 pixels long and 1024 pixels wide, and the vertical direction corresponds to the length direction of the steel strip.
  • FIG. 11 shows an embodiment in which the defect detection process (step S3) of the present invention is applied to the image of FIG.
  • the line defect extension process is selected to generate 64 types of texture feature images.
  • a surface defect inspection method and surface capable of increasing sensitivity to linear elongated surface defects and detecting both linear elongated surface defects and short and small surface defects with high sensitivity even when they are mixed.
  • a defect inspection apparatus can be provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Textile Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Wood Science & Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本発明の一実施形態である表面欠陥検査装置1では、テクスチャ特徴画像生成部43が、入力画像に対して複数の空間フィルタによるフィルタ処理を施すことによって複数のテクスチャ特徴画像を生成し、テクスチャ特徴抽出部44が、入力画像上の各位置について複数のテクスチャ特徴画像の対応する位置の値を各々抽出して画像上の各位置における特徴ベクトルを生成し、異常度算出部45が、特徴ベクトルの各々について特徴ベクトルがなす多次元分布における異常度を算出して、入力画像上の各位置についての異常度を示した異常度画像を生成し、欠陥候補検出部46が、異常度画像において異常度が所定値を超える部分を欠陥部又は欠陥候補部として検出する。

Description

表面欠陥検査方法及び表面欠陥検査装置
 本発明は、表面欠陥検査方法及び表面欠陥検査装置に関する。
 一般に、鋼帯の製造ラインでは、製品表面の品質保証や品質管理のために表面欠陥の検査が行われている。近年では、表面欠陥の検査に際して、表面欠陥検査装置の導入が進んでおり、検査の自動化や省力化が図られている。近年導入されている表面欠陥検査装置は、主に照明及びカメラによる光学系と画像処理系とからなるものが主流になっている。従来の表面欠陥検査装置では、対象となる表面欠陥を検出できるように、取得した画像における表面欠陥部の正常部に対するコントラスト、すなわちS/N比(信号雑音比)が大きくなるように、照明やカメラの角度を調整する、光学フィルタを用いる等の工夫をすることが一般的である。一方で、鋼帯の表面欠陥には多種多様な形態があり、それら全てについて良いS/N比が得られるような光学系は少ない。
 特に、凹凸が小さく、コントラストが小さいが、鋼帯の長手方向に長いがゆえに有害度が大きな表面欠陥がある。このような表面欠陥の一例として、溶融亜鉛めっき鋼板の模様状ヘゲ欠陥がある。この模様状ヘゲ欠陥は、ヘゲ部と呼ばれる箇所が母材と比べて例えば鍍金厚に違いがあったり、合金化の程度に違いがあったりすることをきっかけに生じる。その結果、例えばヘゲ部の鍍金厚が厚く母材に対して凸である場合、調質圧延を掛けられることによりテンパ部(調質圧延ロールによって平坦につぶされた部分)の面積が非テンパ部の面積に比べて多くなる。一方、ヘゲ部が母材に対して凹である場合には、ヘゲ部は調質圧延ロールに接触しないために、非テンパ部が大半を占める。このため、ヘゲ部は母材と比べて顕著な凹凸を有さないが、凹凸に応じてテンパ部の比率が異なるため光の反射特性が変わり、外観が異なることによって模様状ヘゲ欠陥となる。この模様状ヘゲ欠陥は、溶融亜鉛めっき鋼板の長さ方向に細長く発生するため、凹凸は小さいが外観上有害となり、検出する必要が生じるものである。
 また、細長い表面欠陥以外の検出が困難な表面欠陥の例として、アッシュがある。アッシュは溶融亜鉛めっき鋼板で生じる。アッシュは、亜鉛ポットから蒸発した亜鉛の蒸気がポットの付帯物に付着した後、亜鉛浴面に落下して浮遊することによって生成した異物が鋼板に付着して生じる表面欠陥であり、凹凸が小さい模様状の表面欠陥である。アッシュの画像はコントラストが小さいために、これまでの表面欠陥検査装置では自動検出することが困難であった。しかしながら、客先での目視検査でアッシュが見つかって外観上問題となることがあるために、アッシュも検出することが必要な表面欠陥となっている。
 これらの表面欠陥は、いずれも検出が必要であるが、コントラストが小さく、従来の技法では検出が困難な表面欠陥であった。このような表面欠陥を検出するため、画像処理系でS/N比を向上させるような工夫も必要となる場合が多い。鋼帯の表面欠陥検査装置における従来の画像処理系では、照明の照度むら等が原因で生じる入力画像の輝度むらを補正した後、所定の閾値との比較によって表面欠陥部を検出することが通常である。さらに、正常部のノイズが大きい場合にはローパスフィルタを適用してノイズ低減を行ったり、微分フィルタを適用して表面欠陥部のエッジを強調したりする等して、表面欠陥部のS/N比を向上することが一般的に行われている。ところが、これらの工夫の多くは特定の表面欠陥種や状況においてのみ効果を有する場合が少なくない。特に前述したような長手方向に長い表面欠陥と長手方向に短い表面欠陥(小さい表面欠陥)とが混在する場合には、通常行われるフィルタ処理では、長手方向に長い表面欠陥のS/N比を上げて感度を上げると長手方向に短い表面欠陥の感度が下がり、逆に長手方向に短い表面欠陥の感度を上げると長手方向に長い表面欠陥の感度が下がるという問題があり、同時にS/N比を向上させることが困難であった。
 一方、非特許文献1には、ガボールフィルター(ガボールウェーブレット)を適用した表面欠陥検査方法が記載されている。非特許文献1に記載の方法では、検査画像にガボールウェーブレットを適用して各ウェーブレット係数の統計的解析を行い、無欠陥の背景テクスチャにおける各ウェーブレット係数の分布を計算(推定)した後、計算(推定)された分布から各ウェーブレット係数に対する閾値を自動的に決定し、各ウェーブレット係数(画像)に閾値を適用した結果を結合して表面欠陥部を背景から分離した2値画像を生成する。また、非特許文献1に記載の方法は、布地のような周期的背景を持つ対象でも、ランダムで非周期的な背景を持つ対象にも適用可能である。
Rallo et al. "Unsupervised novelty detection using Gabor filters for defect segmentation in textures", J. Opt. Soc. Am. A, Opt. Image. Sci. Vis., 2009, Sep;26(9):1967-76.
 従来の単純な画像と閾値との比較による表面欠陥検査方法によれば、S/N比が低いケースでは、表面欠陥信号とノイズとを分離することができない。すなわち、表面欠陥を検出しようとするとノイズを誤検出し、ノイズを誤検出しないようにすると表面欠陥も検出できないというジレンマが生じる。また、ローパスフィルタ等による対策も特定の形態の表面欠陥や背景(地合い)において効果を有する場合、別の形態の表面欠陥や背景では検出ができないという問題があった。一方、非特許文献1に記載の表面欠陥検査方法では、鋼帯製品の表面欠陥として良く見られる、鋼帯の長さ方向に細長い線状の表面欠陥が検出し難いという問題があった。図12(a)は鋼帯の線状の表面欠陥の画像例及び画像中の破線部の輝度プロファイルを示し、図12(b)は非特許文献1に記載の表面欠陥検査方法で図12(a)に示す表面欠陥を検出した画像及び画像中の破線部の輝度プロファイルを示す。図12(b)に示すように、非特許文献1に記載の表面欠陥検査方法では、鋼帯の長さ方向に細長い線状の表面欠陥を検出できていないことがわかる。
 本発明は、上記課題に鑑みてなされたものであって、その目的は、線状の細長い表面欠陥に対する感度を高めると共に線状の細長い表面欠陥と短く小さい表面欠陥とが混在する場合であっても両者を感度よく検出可能な表面欠陥検査方法及び表面欠陥検査装置を提供することにある。
 本発明に係る表面欠陥検査方法は、検査対象を撮影して元画像を取得する画像入力ステップと、前記元画像に対して複数の空間フィルタによるフィルタ処理を施すことにより複数のテクスチャ特徴画像を生成するテクスチャ特徴画像生成ステップと、前記元画像上の各位置について前記複数のテクスチャ特徴画像の対応する位置の値を各々抽出して前記元画像上の各位置における特徴ベクトルを生成するテクスチャ特徴抽出ステップと、前記特徴ベクトルの各々について前記特徴ベクトルがなす多次元分布における異常度を算出し、前記元画像上の各位置についての異常度を示した異常度画像を生成する異常度算出ステップと、前記異常度画像において前記異常度が所定値を超える部分を欠陥部又は欠陥候補部として検出する検出ステップと、を含むことを特徴とする。
 本発明に係る表面欠陥検査方法は、上記発明において、前記テクスチャ特徴画像生成ステップは、前記空間フィルタによるフィルタ処理を、前記元画像を縮小した画像又は前記テクスチャ特徴画像を縮小した画像に対しても施すことにより、別のテクスチャ特徴画像を生成する処理を含むことを特徴とする。
 本発明に係る表面欠陥検査方法は、上記発明において、前記元画像又は前記テクスチャ特徴画像の縮小方向が検出対象である線状欠陥と平行な方向である方向を含むことを特徴とする。
 本発明に係る表面欠陥検査方法は、上記発明において、前記複数の空間フィルタがウェーブレット変換により実現されることを特徴とする。
 本発明に係る表面欠陥検査方法は、上記発明において、前記複数の空間フィルタがガボールフィルタを含むことを特徴とする。
 本発明に係る表面欠陥検査方法は、上記発明において、前記特徴ベクトルがなす多次元分布における異常度としてマハラノビス距離を用いることを特徴とする。
 本発明に係る表面欠陥検査装置は、検査対象を撮影する撮像手段と、前記撮像手段が撮像した前記検査対象の元画像を取得する画像入力手段と、前記元画像に対して複数の空間フィルタによるフィルタ処理を施すことによって複数のテクスチャ特徴画像を生成するテクスチャ特徴画像生成手段と、前記元画像上の各位置について前記複数の特徴画像の対応する位置の値を各々抽出して前記元画像上の各位置における特徴ベクトルを生成するテクスチャ特徴抽出手段と、前記特徴ベクトルの各々について前記特徴ベクトルがなす多次元分布における異常度を算出して、前記元画像上の各位置についての異常度を示した異常度画像を生成する異常度算出手段と、前記異常度画像において前記異常度が所定値を超える部分を欠陥部又は欠陥候補部として検出する検出手段と、を備えることを特徴とする。
 本発明に係る表面欠陥検査方法及び表面欠陥検査装置によれば、線状の細長い表面欠陥に対する感度を高めると共に線状の細長い表面欠陥と短く小さい表面欠陥とが混在する場合であっても両者を感度よく検出することができる。
図1は、本発明の一実施形態である表面欠陥検査装置の構成を示す模式図である。 図2は、本発明の一実施形態である表面欠陥検査処理の流れを示すフローチャートである。 図3は、入力画像に対する前処理の流れを示すフローチャートである。 図4は、補正画像に対する欠陥検出処理の流れを示すフローチャートである。 図5は、3次元空間にプロットしたガボール関数の一例を示す図である。 図6は、本発明の実施形態におけるガボールフィルタ処理を示すブロック線図である。 図7は、本発明の実施形態におけるガボールフィルタ処理の変形例を示すブロック線図である。 図8は、二次元の主成分分析の一例を示す図である。 図9は、欠陥判定処理の流れを示すフローチャートである。 図10は、鋼帯表面を撮影した画像例を示す図である。 図11は、図10に示す画像に対して本発明の欠陥検出処理を適用した実施例を示す図である。 図12は、鋼帯の線状の表面欠陥の画像例、非特許文献1に記載の表面欠陥検査方法で表面欠陥を検出した結果、及び本発明の欠陥検出処理で表面欠陥を検出した結果を示す図である。
 以下、図面を参照して、本発明の一実施形態である表面欠陥検査装置の構成及びこの表面欠陥検査装置を利用した表面欠陥検査方法について説明する。
〔構成〕
 図1は、本発明の一実施形態である表面欠陥検査装置の構成を示す模式図である。図1に示すように、本発明の一実施形態である表面欠陥検査装置1は、照明装置2と、撮像装置3と、画像処理装置4と、表示装置5と、を備えている。
 照明装置2は、表面欠陥検査装置1の検査対象である鋼帯Sの表面を照明する。
 撮像装置3は、照明装置2によって照明された鋼帯S上の部位を撮影し、得られた鋼帯S表面の画像(元画像)のデータを画像処理装置4に伝送する。撮像装置3は、1次元撮像素子を有する所謂ラインセンサカメラ又は2次元撮像素子を有する所謂エリアカメラのいずれでもよいが、いずれの場合にも鋼帯Sの搬送に同期して撮像が行われる。撮像装置3がラインセンサカメラである場合、照明装置2として連続点灯照明が用いられる。撮像装置3がエリアカメラである場合には、照明装置2として鋼帯Sが一定距離進む毎に閃光を発するフラッシュ照明が用いられる。
 画像処理装置4は、撮像装置3から伝送された鋼帯S表面の画像のデータを解析して鋼帯S表面に表面欠陥があればそれらを検出し、且つ、それら表面欠陥の種別や有害度を判定して、その情報を表示装置5に出力する。
 画像処理装置4は、画像入力部41、画像補正部42、テクスチャ特徴画像生成部43、テクスチャ特徴抽出部44、異常度算出部45、及び欠陥候補検出部46を内部に備えている。また、画像処理装置4は、必要に応じて、欠陥特徴算出部47及び欠陥判定部48を内部に備えている。
 画像入力部41は、内部に一時記憶領域を有し、撮像装置3から伝送された鋼帯S表面の画像のデータを順次一時記憶領域にバッファリングする。
 画像補正部42は、画像入力部41の一時記憶領域から画像のデータを順次読み出し、読み出した画像のデータに対して補正処理を行うことによって補正画像を生成する。補正処理では、画像補正部42は、まず画像中に鋼帯Sの両方又は片方のエッジが含まれる場合、そのエッジ位置を検出し、鋼帯Sのエッジの外側に相当する画像領域を検査対象外領域に設定すると共に、例えばエッジ位置を境界とした鋼板Sの内部領域の鏡像で検査対象外領域を埋める。次に、画像補正部42は、照明装置2の照度むら等に起因する鋼帯Sの画像における輝度むらを補正(シェーディング補正)し、画像全体の明るさが均一となるようにする。
 テクスチャ特徴画像生成部43は、補正画像に対して複数の空間フィルタ処理を施して画像中の各位置における局所的な模様(テクスチャ)の特徴(局所的な周波数特性)を示す各空間フィルタに対応する特徴画像(以下では特にテクスチャ特徴画像ということがある)を複数生成する。ここでいう空間フィルタは、入力画像の対応する画素とその周囲の画素値を用いて出力画像を生成する処理である。特に通過波長域や通過する信号の波形の方向を変えた複数の空間フィルタを用いるとよい。
 テクスチャ特徴抽出部44は、テクスチャ特徴画像生成部43によって生成された複数のテクスチャ特徴画像から入力画像又は補正画像上の各位置に対応した位置の値を抽出して、画像上の各位置のテクスチャ特徴ベクトルを抽出する。テクスチャ特徴ベクトルの数は画像中の全画素数であり、テクスチャ特徴ベクトルの次元はテクスチャ特徴画像の数と一致する。
 異常度算出部45は、テクスチャ特徴抽出部44で抽出された複数のテクスチャ特徴ベクトルがなす多次元空間での分布を解析し、各テクスチャ特徴ベクトルの異常度を算出する。そして、異常度算出部45は、算出された各テクスチャ特徴ベクトルの異常度を対応する画像上の位置にマッピングして、異常度画像を生成する。
 欠陥候補検出部46は、異常度算出部45によって生成された異常度画像に対して所定の異常度を閾値として二値化を行い、異常度が所定の閾値以上となる画素が連続して繋がる画像領域を欠陥部又は欠陥候補として検出する(ラベリング)。なお、欠陥候補検出部46は、検出された欠陥候補のうち、面積が小さすぎるもの等、有害欠陥でないとみなせる欠陥候補を除外する処理や、検出位置が近い複数の欠陥候補をまとめて一つの欠陥候補として連結する処理を行ってもよい。
 欠陥特徴算出部47は、欠陥候補検出部46によって検出された各欠陥候補について、欠陥特徴量を算出する。欠陥特徴量は、補正画像から欠陥候補の領域部分を切り出した欠陥部濃淡画像、及び同じく異常度画像から欠陥候補の領域部分を切り出した欠陥部異常度画像を用いて算出される。
 欠陥判定部48は、欠陥特徴算出部47によって算出された欠陥特徴量に基づいて、各欠陥候補の欠陥種別及び有害度を判定する。
 表示装置5は、画像処理装置4によって検出された表面欠陥についての検出情報(表面欠陥部の画像や表面欠陥の位置)、判定情報(種別、有害度)、統計情報(鋼帯S全体についての又は欠陥種別や有害度別の欠陥総数、発生率等)等を表示する。
〔表面欠陥検査処理〕
 次に、図2~図6を参照して、本発明の一実施形態である表面欠陥検査処理の流れについて詳細に説明する。
 図2は、本発明の一実施形態である表面欠陥検査処理の流れを示すフローチャートである。表面欠陥検査装置1は、表面欠陥検査開始指令を受けると撮像装置3による鋼帯S表面の撮像を開始し、撮像された画像(以下、入力画像と表記)のデータは画像処理装置4の画像入力部41内の一時記憶領域に順次バッファリングされる。
 図2に示すように、表面欠陥検査開始後、画像処理装置4は、画像入力部41内の一時記憶領域に未処理の入力画像のデータがあるか否かを判別する(ステップS1)。ラインセンサカメラの場合は、所定のライン数まで画像のデータがバッファリングされるまでは未処理の入力画像のデータがないと判断する。判別の結果、未処理の入力画像のデータがない場合(ステップS1:No)、画像処理装置4は新しい画像のデータが入力されるまで待機する。一方、未処理の入力画像のデータがある場合には(ステップS1:Yes)、画像処理装置4は、前処理(ステップS2)、欠陥検出処理(ステップS3)、及び欠陥判定処理(ステップS4)を順次実行する。次に、画像処理装置4は、表面欠陥検査終了指示が出ているか否かを判別する(ステップS5)。そして、判別の結果、表面欠陥検査終了指示が出ている場合(ステップS5:Yes)、画像処理装置4は表面欠陥検査を終了する。一方、表面欠陥検査終了指示が出ていない場合には(ステップS5:No)、画像処理装置4は、ステップS1の処理に戻り、表面欠陥検査処理を続行する。
[前処理]
 次に、図3を参照して、上記前処理(ステップS2)について説明する。
 図3は、入力画像に対する前処理の流れを示すフローチャートである。図3に示すように、前処理は、エッジ検出ステップS21、エッジ外部補正ステップS22、及びシェーディング補正ステップS23を含んでいる。これらの処理は画像補正部42にて実行される。
 エッジ検出ステップS21では、画像補正部42が、入力画像I(x,y)から鋼帯Sのエッジ位置を検出する。ここで、xは鋼帯Sの幅方向に対応する画素座標、yは鋼帯Sの長さ方向に対応する画素座標であり、x=0,1,…,nx-1、y=0,1,…,ny-1とする。ここで、nxは画像のx方向のサイズ、nyはy方向のサイズである。
 エッジ外部補正ステップS22では、画像補正部42が、鋼帯Sのエッジの外側を検査処理対象外領域として指定すると共に、例えばエッジ内側の領域の値を鏡像で検査処理対象外領域に補うことによりエッジ部が検出されないように無害化したエッジ外部補正画像IE(x,y)を生成する。
 シェーディング補正ステップS23では、画像補正部42が、エッジ外部補正画像IE(x,y)の輝度むらを補正(シェーディング補正)して画像全体の明るさを均一化した補正画像IC(x,y)を計算する。シェーディング補正処理では、例えば1次元の輝度の移動平均値を元の画像の輝度から引き移動平均値で割って規格化してもよいし、これをx方向及びy方向の両方向とした2次元の輝度の移動平均値としても良い。また、輝度の移動平均値の代わりに任意のローパスフィルタを用いても良い。また、簡便な方法としては、輝度の差分を用いても良いし、さらにはそれに等価なハイパスフィルタを用いてもよい。
 なお、以上の一連の前処理において、入力画像I(x,y)の状態に応じてエッジ検出処理ステップS21、エッジ外部補正ステップS22、及びシェーディング補正ステップS23を実施するか否かは適宜選択されてよく、例えばいずれのステップも実施しない場合は補正画像IC(x,y)=入力画像I(x,y)となる。
[欠陥検出処理]
 次に、図4~図6を参照して、上記欠陥検出処理(ステップS3)について説明する。
 図4は、補正画像に対する欠陥検出処理の流れを示すフローチャートである。図4に示すように、欠陥検出処理は、テクスチャ特徴画像生成ステップS31、テクスチャ特徴抽出ステップS32、異常度算出ステップS33、及び欠陥候補検出ステップS34を含んでいる。
 テクスチャ特徴画像生成ステップS31では、テクスチャ特徴画像生成部43が、補正画像IC(x,y)に対し複数のフィルタ処理を施してテクスチャ特徴画像Fj(x,y)(j=0,1,2,…,NT-1)を生成する。ここで、NTは空間フィルタの数である。本実施形態では空間フィルタとして、ガボール(Gabor)フィルタを用いる。ガボールフィルタは以下の数式(1)により表されるガボール関数を用いた線形フィルタである。
Figure JPOXMLDOC01-appb-M000001
 数式(1)は、ガボールフィルタの一般式を示し、正弦波にガウス型の減衰関数を乗算した形式となっている。数式(1)において、λは正弦波の波長、θはガボール関数の縞模様の方向、aは波長の広がり(ガウス関数のバンド幅)を表している。また、bは、空間アスペクト比を表し、ガボール関数のサポートの楕円率を表している。また、iは虚数単位である。図5(a),(b)は、数式(1)においてλ=8,θ=120°,a=0.125,b=1.5としたガボール関数Gabor(x,y:a,b,λ,θ)を3次元空間にプロットした図である。図5(a),(b)に示すように、ガボール関数Gabor(x,y:a,b,λ,θ)は、ガウス関数を窓関数として無限に広がる正弦波を切り取った形をしている。a,b,θを任意に変えることでガボール関数の向き、波の方向、及び減衰率を変えることができる。
 画像解析では、数式(1)に示すガボール関数を空間フィルタとして用いるが、特にb=1,a=1/λとした以下の数式(2)に示すガボール関数を用いることがある。そこで、以下では数式(2)に基づき説明する。
Figure JPOXMLDOC01-appb-M000002
 ガボールフィルタを画像に畳み込み演算することにより、波長λ(画素)及び波の向きθの局所的周波数成分を抽出することができる。また、パラメータλ及びθを様々に変化させ、さらにはx方向及びy方向のスケールを様々に変化させる(例えばxをx/4に置換すると、x方向の広がりを4倍大きくすることになる)ことにより、それに対応した画像の局所的周波数成分を抽出できる。一方、実用的な計算においてガボールフィルタの広がりを大きくすると畳み込み演算の計算時間が増大してしまう。このため、以下に説明するようにガボールフィルタの広がりを大きくする代わりに、ダウンサンプリングして画像を縮小する手法を用いるとよい。但し、エイリアシングを防止するために、被フィルタリング画像に予めローパスフィルタを適用しておくことが望ましい。
 図6は、本発明の実施形態におけるガボールフィルタ処理を表すブロック線図である。図6において、Gq(x,y)(q=0,1,2,3)及びHs(x,y)(s=0,1,2)は、以下の数式(3)~(6)に示す定義に従ったkx×ky画素のフィルタ係数行列であり、ガボールフィルタを画像に畳み込み演算して適用することを意味する。但し、フィルタ係数行列の中央の座標(x,y)は(0,0)とする。なお、以下に示す数式(3),(5)ではλ=4、以下に示す数式(4),(6)ではλ=4/√2としているが、これはサンプリング定理(λ≧2)及び検出したい対象の信号の該当する方向の空間周波数から決定する。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
 数式(3)~(6)に示す定義においては、kx=ky=11が好適である。これは、図5(a)に示すガボール関数における波の進行方向(θ(=120°)方向)の波の数が2.5周期以上を含むことによる。この条件を満たすためには、より正確にはkx/(λcosθ)>2.5、且つ、ky/(λsinθ)>2.5との条件を満たす必要がある。また、このとき、数式(2)の第1項の減衰が中央の10%以下となっており、ガボールフィルタによって空間的に局在した信号を抽出することができる。
 また、図6において、LPはxyの2次元方向、LPYはy方向のローパスフィルタであり、例えば以下の数式(7),(8)に示す定義に従ったフィルタ行列を画像に適用することを意味する。ローパスフィルタLPYはy方向4点の移動平均となる向きに畳み込み演算される。ローパスフィルタLP,LPYは後述するダウンサンプリングする際のエイリアシングを防止するフィルタとして設計されている。エイリアシングを防止できれば必ずしも以下の数式(7),(8)に示すローパスフィルタでなくても構わない。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
 上記の2つのローパスフィルタLP、LPYを画像に畳み込み演算する際は、画像境界の外側は鏡像と仮定して計算が行われる。また、図6において「X2,Y2」と表記したブロックは、画像のX方向及びY方向で各々2画素おきに抽出して、画像サイズをX方向及びY方向に各々1/2にするダウンサンプリング処理を示す。また、「Y4」と表記したブロックは、Y方向のみ4画素おきに抽出して、画像サイズをY方向に1/4にするダウンサンプリング処理を示す。以下、図6に示すブロック線図に従った一連のガボールフィルタ処理について説明する。
 まず、テクスチャ特徴画像生成部43は、初期画像をI0(x,y)=Ic(x,y)とする。次に、テクスチャ特徴画像生成部43は、初期画像I0(x,y)に対し順次ローパスフィルタLPと「X2,Y2」型のダウンサンプリングを実行して縮小画像Ip(p=1,2,3)(x,y)を計算する。Ip(x,y)は、ローパスフィルタLPと「X2,Y2」型のダウンサンプリングをp回行った縮小画像である。さらに、テクスチャ特徴画像生成部43は、初期画像を含む縮小画像Ip(x,y)(p=0,1,2,3)の各々に対し、4種類のガボールフィルタGq(x,y)(q=0,1,2,3)を各々畳み込み演算して、特徴画像Ipq(x,y)(p=0,1,2,3,q=0,1,2,3)を計算する。
 この段階で合計16種類の特徴画像Ipq(x,y)が得られるが、特徴画像Ipq(x,y)はガボールフィルタの定義式(数式(1))より複素数であるため実部画像と虚部画像とに分解すると合計32種類の特徴画像が得られる。このため、これらをテクスチャ特徴画像Fj(x,y)(j=0、1,2,…,31,すなわちNT=32)とする。但し、p≧1の場合の特徴画像Ipq(x,y)はダウンサンプリングによって縮小されているので、初期画像I0(x,y)と同じサイズに拡大してテクスチャ特徴画像とする。拡大方法しては、線形補間、一番近傍の画素と同じ値とする手法、特徴画像Ipq(x,y)の各画素の値と同じ値をダウンサンプリングされた方向、数だけコピーして埋める手法でも構わない。
 この演算により、空間周波数が異なる空間フィルタと空間フィルタの波形の方向が異なる空間フィルタとを組み合わせて元の画像にかけることができている。特に、ダウンサンプリングしてから元の空間フィルタを演算することにより、少ない計算量で元の画像に対して空間周波数の大きな空間フィルタをかけた場合と同じ効果が得られる。以上の処理によって得られる32種類のテクスチャ特徴画像Fj(x,y)(j=0,2,…,31)を用いても良いが、さらに図6における点線で囲まれた「線状欠陥用拡張処理」を実行することで、鋼帯Sの流れ方向に細長い欠陥に対しての検出感度を高めることができる。「線状欠陥用拡張処理」は縮小画像Ip(x,y)(p=0,1,2,3)を計算した後、次のように実行する。
 まず、テクスチャ特徴画像生成部43は、画像I0(x,y)に対して「Y4」型のダウンサンプリングを施すことによって生成された画像J0(x,y)に対して、3種類のガボールフィルタHs(x,y)(s=0,1,2)を各々畳み込み演算して特徴画像J0s(x,y)(s=0,1,2)を計算する。さらに、テクスチャ特徴画像生成部43は、画像J0(x,y)に対して「Y4」型のダウンサンプリングを施すことによって生成された画像J1(x,y)に対して、3種類のガボールフィルタHs(x,y)(s=0,1,2)を各々畳み込み演算して特徴画像J1s(x,y)(s=0,1,2)を計算する。さらに、テクスチャ特徴画像生成部43は、画像J1(x,y)に対して「Y4」型のダウンサンプリングを施すことによって生成された画像J2(x,y)に対して、3種類のガボールフィルタHs(x,y)(s=0,1,2)を各々畳み込み演算して特徴画像J2s(x,y)(s=0,1,2)を計算する。
 次に、テクスチャ特徴画像生成部43は、画像I1(x,y)に対して「Y4」型のダウンサンプリングを施すことによって生成された画像J3(x,y)に対して、3種類のガボールフィルタHs(x,y)(s=0,1,2)を各々畳み込み演算して特徴画像J3s(x,y)(s=0,1,2)を計算する。さらに、テクスチャ特徴画像生成部43は、画像J3(x,y)に対してさらに「Y4」型のダウンサンプリングを施すことによって生成された画像J4(x,y)に対して、3種類のガボールフィルタHs(x,y)(s=0,1,2)を各々畳み込み演算して特徴画像J4s(x,y)(s=0,1,2)を計算する。次に、テクスチャ特徴画像生成部43は、画像I2(x,y)に対して「Y4」型のダウンサンプリングを施すことによって生成された画像J5(x,y)に対して、3種類のガボールフィルタHs(x,y)(s=0,1,2)を各々畳み込み演算して特徴画像J5s(x,y)(s=0,1,2)を計算する。さらに、テクスチャ特徴画像生成部43は、画像J5(x,y)に対してさらに「Y4」型のダウンサンプリングを施すことによって生成された画像J6(x,y)に対して、3種類のガボールフィルタHs(x,y)(s=0,1,2)を各々畳み込み演算して特徴画像J6s(x,y)(s=0,1,2)を計算する。
 次に、テクスチャ特徴画像生成部43は、画像I3(x,y)に対して「Y4」型のダウンサンプリングを施すことによって生成された画像J7(x,y)に対して、3種類のガボールフィルタHs(x,y)(s=0,1,2)を各々畳み込み演算して特徴画像J7s(x,y)(s=0,1,2)を計算する。以上の演算により、Y方向により長い空間周波数の空間フィルタをかけることが可能になり、Y方向に長い表面欠陥に対するS/N比を上げることができる。Y方向に長い表面欠陥が発生する方向、すなわち、鋼帯Sの製造工程では鋼帯Sの長手方向にすることで長い表面欠陥の検出が容易になるメリットがある。
 以上により、新たに32種類の特徴画像Jrs(x,y)(r=0,1,…,7,s=0,1,2)が得られる。先に得られた16種類の特徴画像Ipqと合わせた全特徴画像のうち、図6において終端となっている特徴画像Ipq(x,y)(p=0,1,2,3,q=1,2,3)、J00(x,y),J02(x,y)、J10(x,y),J12(x,y)、J20(x,y),J21(x,y),J22(x,y),J30(x,y),J32(x,y),J40(x,y),J41(x,y),J42(x,y),J50(x,y),J52(x,y),J60(x,y),J61(x,y)、J62(x,y)、J70(x,y)、J71(x,y),J72(x,y)の計32種類を実部画像と虚部画像とに分解して得られる64種類の特徴画像をテクスチャ特徴画像Fj(x,y)(j=0,1,2,…,64,すなわちNT=64)とする。
 但し、「線状欠陥用拡張処理」を行わない場合と同じく、特徴画像Jrs(x,y)もダウンサンプリング処理によって縮小されているので、初期画像I0(x,y)と同じサイズに拡大してテクスチャ特徴画像とする。なお、jの値と各特徴画像の対応は任意に決めて構わないがここでは便宜的に上述した特徴画像をI,Jのそれぞれ添え字が小さいものから実部、虚部の順にI00(x,y)の実部=0,I00(x,y)の虚部=1,I01(x,y)の実部=2,…,J00(x,y)の実部=25,…,J72(x,y)の虚部=64と表す。
 本アルゴリズムでは、I01(x,y),I02(x,y),I03(x,y),I11(x,y),I12(x,y),I13(x,y),I21(x,y),I22(x,y),I23(x,y),I31(x,y),I32(x,y),I33(x,y)の12種類にJ00(x,y),J02(x,y),J10(x,y),J12(x,y),J20(x,y),J21(x,y),J22(x,y),J30(x,y),J32(x,y),J40(x,y),J41(x,y),J42(x,y),J50(x,y),J52(x,y),J60(x,y),J61(x,y),J62(x,y),J70(x,y),J71(x,y),J72(x,y)の20種類を加えた32種類を実部と虚部の画像に分解して得られる64種類のテクスチャ特徴画像Fj(x,y)(j=0,1,2,…,63)を用いている。I00(x,y),I10(x,y),I20(x,y),I30(x,y)を加えた68種類のテクスチャ特徴画像を用いてもよいが、I00(x,y),I10(x,y),I20(x,y),I30(x,y)のフィルタを高速フーリエ変換(FFT)した周波数領域での通過域がJxx(x,y)のフィルタでカバーされているため省略が可能になっている。64種類に限定することで、単に計算量が少なくなるだけではなく、2の6乗の画像を用いるので後の計算で数字を扱いやすいメリットがある。
 なお、テクスチャ特徴画像生成ステップS4における実施形態は上記に限定されず、他の任意の空間フィルタ群を用いることができる。例えば2次元のウェーブレット変換やウェーブレットパケット変換を適用することが可能であり、最も簡単なものはHaarウェーブレットである。他にも微分フィルタやエッジ抽出フィルタ、DoG(Difference of Gaussian)フィルタ、LoG(Laplacian of Gaussian)フィルタ等を用いたり、それらを組み合わせて用いたりしても良い。
 また、前述したようにダウンサンプリング前のアンチエイリアシングフィルタは上述した空間フィルタでなくても構わない。テクスチャ特徴画像を求めるために用いるガボールフィルタを使うことで計算量を削減できるメリットがある。図7はその流れを示した図であり、ローパスフィルタLPYのフィルタの代わりにG0の空間フィルタを用いている。
 次に、テクスチャ特徴抽出ステップS32では、テクスチャ特徴抽出部44が、各画素におけるテクスチャ特徴ベクトルを抽出する。特徴画像Fj(x,y)={fj(x,y)}(fj(x,y)は座標x,yにおける特徴画像Fj(x,y)の値を示す)に対して、以下の数式(9)に示すようにx,yの組を別のインデックスiで置き換え、以下の数式(10)に示すようにFj’={fi,j};j=0,2,…,NT-1と特徴ベクトルを定義することができる。ここで、iは入力画像(補正画像)の画素(x,y)に割り当てられたユニークなインデックスであり、例えばi=nx×y+xと定義され、i=0,1,2,…,nx×ny-1である。また、fi,j=fj(x,y)である。
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
 次に、異常度算出ステップS33では、異常度算出部45が、テクスチャ特徴抽出ステップS32で抽出したテクスチャ特徴ベクトルのNT次元空間での分布を統計的に解析して、入力画像(補正画像)の各画素における異常度を算出し、異常度画像を生成する。異常度としては例えばマハラノビス距離を用いる。具体的には、まず、異常度算出部45は、以下の数式(11)に示すように、特徴ベクトルFjを行ベクトルとしそれを列方向に並べた行列Fを用意する。
Figure JPOXMLDOC01-appb-M000011
 これに対して、異常度算出部45は、以下の数式(12)に示すmjを計算する。数式(12)中のΣは全画素についての和を示し、mjは行列Fの全画素についての平均である。
Figure JPOXMLDOC01-appb-M000012
 次に、異常度算出部45は、以下の数式(13)に示すように行列Fから平均mjを引いた行列Z(={zi,j})を求める。
Figure JPOXMLDOC01-appb-M000013
 ここで、以下の数式(14)に示すように、異常度算出部45は、分散共分散行列C={cj1,j2}(j1,j2=0,1,2,…,Nt-1)をzi,jから算出する。
Figure JPOXMLDOC01-appb-M000014
 次に、異常度算出部45は、以下の数式(15)に示すようにマハラノビス距離Di(正しくはマハラノビス距離の2乗であるが、単にマハラノビス距離と呼ぶことにする)を算出する。
Figure JPOXMLDOC01-appb-M000015
 但し、W={wi,j}は連立方程式WC=Zの解、すなわちW=ZC-1である。そして最後に、異常度算出部45は、インデックスiよりマハラノビス距離Diを座標(x,y)にマッピングし直して異常度画像D(x,y)=Di(i=x+nx×y)を得る。
 なお、このマハラノビス距離を求める計算は、以下の操作と等価である。すなわち、NT枚の特徴画像Fj(x,y)を座標毎に見てみると、f1(x,y),f2(x,y),…,fNT(x,y)のNT次元の値を持っていることがわかる。これをp(x,y)=(f1(x,y),f2(x,y),…,fNT(x,y))とNT次元空間の点として表すことができる。このように画像上の全画素をNT次元空間にプロットする。プロットした集合をばらつきについて規格化し、その規格化された空間で原点からの距離を求めたものがマハラノビス距離である。
 ばらつきに対する規格化は、ばらつきの大きい方向から順に直交する基底を取り、各基底方向へのばらつきである標準偏差を求め、各基底方向の成分をこの標準偏差で割ることによってなされる。これは、いわゆる主成分分析の手法と同一となる。図8に2次元の主成分分析の一例を示した。図8に示す主成分分析では、ばらつきの大きい方向から順に直交する第1主成分及び第2主成分を取り、各主成分のばらつきを求め、各主成分方向の成分をばらつきで割ることによって、ばらつきに対する規格化がなされる。図8中、Oが原点、Dがマハラノビス距離、Pが画素を示している。
 次に、欠陥候補検出ステップS34では、欠陥候補検出部46が、閾値Dthrにより異常度画像D(x,y)を2値化して、D(x,y)≧Dthrなる画素の連結領域を欠陥部又は欠陥候補として検出する。また、本ステップにおいて、欠陥候補検出部46は、連結領域の面積や連結領域内での異常度の最大値に対して制約を設けて、制約を満たさない欠陥候補は除外してもよい。例えば欠陥候補検出部46は、面積と異常度の最大値の両方が各々に設定された最小値より小さい欠陥候補を除外する。さらに、欠陥候補検出部46は、任意の2つの欠陥候補について、連結領域間の距離が所定の条件を満たす場合に同一の欠陥候補として連結する処理を行う。例えば欠陥候補1内の座標を(x1,y1),欠陥候補2内の座標を(x2,y2)とし、x座標に関する距離制約をdx,y座標に関する距離制約をdyとし、|x1-x2|<dx、且つ、|y1-y2|<dyを満たす座標(x1,y1),(x2,y2)があるとき、欠陥候補検出部46は欠陥候補1と欠陥候補2とを連結する。この連結は、画像の膨張及び収縮の繰り返しによって行っても構わない。
 なお、閾値Dthrはマハラノビス距離(の2乗)がカイ2乗分布に従うという仮定のもと、以下の数式(16)に示すように定めるとよい。ここで、数式(16)中、pthrは、異常度が欠陥であると判断する有意水準(確率)を示し、fχ2 -1(p,n)は自由度nのカイ2乗分布の累積密度関数の逆関数である。これにより、異常度に対して確率として閾値を定めることができる。
Figure JPOXMLDOC01-appb-M000016
[欠陥判定処理]
 次に、図9を参照して、上記欠陥判定処理(ステップS4)について説明する。
 図9は、欠陥判定処理の流れを示すフローチャートである。図9に示すように、欠陥判定処理は、欠陥特徴算出ステップS41及び欠陥判定ステップS42を含む。
 欠陥特徴算出ステップS41では、欠陥特徴算出部47が、補正画像Ic(x,y)より欠陥候補の領域部分を切り出した欠陥部濃淡画像、及び異常度画像D(x,y)より欠陥候補の領域部分を切出した欠陥部異常度画像を用いて、それらに対し各種演算を行って、欠陥特徴量を算出する。代表的な欠陥特徴量としては、幅、長さ、面積、アスペクト比、周囲長等の欠陥のサイズや形状に関するもの、欠陥領域内の最大輝度、最小輝度、平均輝度、輝度に関するヒストグラム度数等の濃淡に関するもの等があり、これらは欠陥部濃淡画像より得られる。さらに、本実施形態においては欠陥部異常度画像より欠陥部の最大異常度、平均異常度、及び異常度に関するヒストグラム度数等の異常度に関する特徴量も得られる。さらに、本実施形態においては、各テクスチャ特徴画像Fj(x,y)より欠陥候補の領域部分を切出した欠陥部テクスチャ特徴画像からも各テクスチャ特徴に関する欠陥特徴量が得られる。
 次に、欠陥判定ステップS42では、欠陥判定部48が、欠陥特徴算出ステップS41で算出された欠陥特徴量に基づいて、各欠陥候補の欠陥種別及び有害度を判定する。判定にあたっては、ユーザが作成した欠陥特徴量に関する判定ルール(if-thenルールや判定テーブル)か、いわゆる機械学習によって得られる判別器、あるいはそれらの組合せが用いられる。
 以上の説明から明らかなように、本発明の一実施形態である表面欠陥検査装置1では、テクスチャ特徴画像生成部43が、入力画像に対して複数の空間フィルタによるフィルタ処理を施すことによって複数のテクスチャ特徴画像を生成し、テクスチャ特徴抽出部44が、入力画像上の各位置について複数のテクスチャ特徴画像の対応する位置の値を各々抽出して画像上の各位置における特徴ベクトルを生成し、異常度算出部45が、特徴ベクトルの各々について特徴ベクトルがなす多次元分布における異常度を算出して、入力画像上の各位置についての異常度を示した異常度画像を生成し、欠陥候補検出部46が、異常度画像において異常度が所定値を超える部分を欠陥部又は欠陥候補部として検出する。これにより、線状の細長い表面欠陥に対する感度を高めると共に線状の細長い表面欠陥と短く小さい表面欠陥とが混在する場合であっても両者を感度よく検出することができる。
 図10は、鋼帯表面を撮影した画像例である。図10中の2つの長方形で囲われた部分に表面欠陥が存在する。左側の長方形で囲われた表面欠陥は検出が困難な細長い欠陥を示し、右側の長方形で囲われた表面欠陥は検出が困難な長手方向に短い欠陥を示す。図10に示した画像は縦1024画素、横1024画素で縦方向が鋼帯の長さ方向に対応する。図11は図10の画像に対して、本発明の欠陥検出処理(ステップS3)を適用した実施例である。テクスチャ特徴画像生成ステップS31において、線状欠陥用拡張処理を選択して、64種類のテクスチャ特徴画像を生成した。また、欠陥候補検出ステップS34において、異常度に対しpthr=10-10としたときの閾値Dthrを用いて2値化を行い、欠陥候補200画素未満の連結領域は欠陥候補から除外した。本実施例においては、周囲の鋼帯の模様を誤検出することなく、鋼帯の長手方向に細長い欠陥及び長手方向に短い欠陥のいずれも検出することができた。また、図12(c)は、本発明の欠陥検出処理(ステップ3)で図12(a)に示す表面欠陥を検出した画像及び画像中の破線部の輝度プロファイルを示す。pthr=0.0027とした。先に示した図12(b)の非特許文献1の手法による結果と比較して線状欠陥への感度が向上した。
 以上、本発明者らによってなされた発明を適用した実施の形態について説明したが、本実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施の形態、実施例、及び運用技術等は全て本発明の範疇に含まれる。
 本発明によれば、線状の細長い表面欠陥に対する感度を高めると共に線状の細長い表面欠陥と短く小さい表面欠陥とが混在する場合であっても両者を感度よく検出可能な表面欠陥検査方法及び表面欠陥検査装置を提供することができる。
 1 表面欠陥検査装置
 2 照明装置
 3 撮像装置
 4 画像処理装置
 5 表示装置
 41 画像入力部
 42 画像補正部
 43 テクスチャ特徴画像生成部
 44 テクスチャ特徴抽出部
 45 異常度算出部
 46 欠陥候補検出部
 47 欠陥特徴算出部
 48 欠陥判定部
 S 鋼帯

Claims (7)

  1.  検査対象を撮影して元画像を取得する画像入力ステップと、
     前記元画像に対して複数の空間フィルタによるフィルタ処理を施すことにより複数のテクスチャ特徴画像を生成するテクスチャ特徴画像生成ステップと、
     前記元画像上の各位置について前記複数のテクスチャ特徴画像の対応する位置の値を各々抽出して前記元画像上の各位置における特徴ベクトルを生成するテクスチャ特徴抽出ステップと、
     前記特徴ベクトルの各々について前記特徴ベクトルがなす多次元分布における異常度を算出し、前記元画像上の各位置についての異常度を示した異常度画像を生成する異常度算出ステップと、
     前記異常度画像において前記異常度が所定値を超える部分を欠陥部又は欠陥候補部として検出する検出ステップと、
     を含むことを特徴とする表面欠陥検査方法。
  2.  前記テクスチャ特徴画像生成ステップは、前記空間フィルタによるフィルタ処理を、前記元画像を縮小した画像又は前記テクスチャ特徴画像を縮小した画像に対しても施すことにより、別のテクスチャ特徴画像を生成する処理を含むことを特徴とする請求項1に記載の表面欠陥検査方法。
  3.  前記元画像又は前記テクスチャ特徴画像の縮小方向が検出対象である線状欠陥と平行な方向である方向を含むことを特徴とする請求項2に記載の表面欠陥検査方法。
  4.  前記複数の空間フィルタがウェーブレット変換により実現されることを特徴とする請求項1~3のうち、いずれか1項に記載の表面欠陥検査方法。
  5.  前記複数の空間フィルタがガボールフィルタを含むことを特徴とする請求項1~4のうち、いずれか1項に記載の表面欠陥検査方法。
  6.  前記特徴ベクトルがなす多次元分布における異常度としてマハラノビス距離を用いることを特徴とする請求項1~5のうち、いずれか1項に記載の表面欠陥検査方法。
  7.  検査対象を撮影する撮像手段と、
     前記撮像手段が撮像した前記検査対象の元画像を取得する画像入力手段と、
     前記元画像に対して複数の空間フィルタによるフィルタ処理を施すことによって複数のテクスチャ特徴画像を生成するテクスチャ特徴画像生成手段と、
     前記元画像上の各位置について前記複数の特徴画像の対応する位置の値を各々抽出して前記元画像上の各位置における特徴ベクトルを生成するテクスチャ特徴抽出手段と、
     前記特徴ベクトルの各々について前記特徴ベクトルがなす多次元分布における異常度を算出して、前記元画像上の各位置についての異常度を示した異常度画像を生成する異常度算出手段と、
     前記異常度画像において前記異常度が所定値を超える部分を欠陥部又は欠陥候補部として検出する検出手段と、
     備えることを特徴とする表面欠陥検査装置。
PCT/JP2018/007418 2017-03-21 2018-02-28 表面欠陥検査方法及び表面欠陥検査装置 WO2018173660A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020197027127A KR102257734B1 (ko) 2017-03-21 2018-02-28 표면 결함 검사 방법 및 표면 결함 검사 장치
EP18770965.4A EP3605072A4 (en) 2017-03-21 2018-02-28 SURFACE DEFECT INSPECTION METHOD AND SURFACE DEFECT INSPECTION DEVICE
US16/495,228 US10859507B2 (en) 2017-03-21 2018-02-28 Surface defect inspection method and surface defect inspection apparatus
MX2019011283A MX2019011283A (es) 2017-03-21 2018-02-28 Metodo de inspeccion de defectos superficiales y aparato de inspeccion de defectos superficiales.
CN201880018467.5A CN110431404B (zh) 2017-03-21 2018-02-28 表面缺陷检查方法及表面缺陷检查装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-054426 2017-03-21
JP2017054426A JP6358351B1 (ja) 2017-03-21 2017-03-21 表面欠陥検査方法及び表面欠陥検査装置

Publications (1)

Publication Number Publication Date
WO2018173660A1 true WO2018173660A1 (ja) 2018-09-27

Family

ID=62904948

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/007418 WO2018173660A1 (ja) 2017-03-21 2018-02-28 表面欠陥検査方法及び表面欠陥検査装置

Country Status (7)

Country Link
US (1) US10859507B2 (ja)
EP (1) EP3605072A4 (ja)
JP (1) JP6358351B1 (ja)
KR (1) KR102257734B1 (ja)
CN (1) CN110431404B (ja)
MX (1) MX2019011283A (ja)
WO (1) WO2018173660A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109557101A (zh) * 2018-12-29 2019-04-02 桂林电子科技大学 一种非标高反射曲面工件的缺陷检测装置及方法
WO2020067262A1 (ja) * 2018-09-28 2020-04-02 Jfeスチール株式会社 金属板の表面欠陥検出方法及び装置並びにめっき鋼板の製造方法
CN111141753A (zh) * 2019-12-20 2020-05-12 三峡大学 基于机器视觉的陶瓷瓦表面裂纹检测方法
JP2020112456A (ja) * 2019-01-14 2020-07-27 株式会社デンケン 検査装置及び検査方法
EP3938733A4 (en) * 2019-03-15 2023-03-22 Certainteed Gypsum, Inc. SURFACE TEXTURE CHARACTERIZATION METHOD AND TEXTURE CHARACTERIZATION TOOL

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018221605A1 (en) * 2017-05-31 2018-12-06 Nipro Corporation Method for evaluation of glass container
US11378944B2 (en) * 2017-10-10 2022-07-05 Nec Corporation System analysis method, system analysis apparatus, and program
JP6658711B2 (ja) * 2017-10-25 2020-03-04 Jfeスチール株式会社 表面欠陥検出方法及び表面欠陥検出装置
CN108823765B (zh) * 2018-08-13 2023-08-29 何辉 智能布面监测系统
CN109360186A (zh) * 2018-08-31 2019-02-19 广州超音速自动化科技股份有限公司 锂电池隔膜检测方法、电子设备、存储介质及系统
JP7167615B2 (ja) * 2018-10-05 2022-11-09 コニカミノルタ株式会社 画像検査装置、画像検査方法及び画像検査プログラム
US11087449B2 (en) * 2019-10-24 2021-08-10 KLA Corp. Deep learning networks for nuisance filtering
CN111161246B (zh) * 2019-12-30 2024-05-14 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
JP7237872B2 (ja) * 2020-02-14 2023-03-13 株式会社東芝 検査装置、検査方法、及びプログラム
JP7273748B2 (ja) * 2020-02-28 2023-05-15 株式会社東芝 検査装置、検査方法、及びプログラム
CN113313638A (zh) * 2020-12-23 2021-08-27 深圳市杰恩世智能科技有限公司 一种外观缺陷检测方法
CN113030422B (zh) * 2021-03-02 2022-12-16 成都积微物联电子商务有限公司 基于表检仪检测的冷轧带钢质量判定的方法
CN112686896B (zh) * 2021-03-12 2021-07-06 苏州鼎纳自动化技术有限公司 基于分割网络的频域空间结合的玻璃缺陷检测方法
CN114119463A (zh) * 2021-10-08 2022-03-01 广东美卡智能信息技术有限公司 一种缺陷的检测方法及装置
KR20230089381A (ko) * 2021-12-13 2023-06-20 엘지디스플레이 주식회사 표시결함 검출 시스템 및 그 검출 방법
FR3134181A1 (fr) 2022-04-01 2023-10-06 Psa Automobiles Sa Procede de detection d’un defaut d’etat de surface sur une surface metallique d’un element de vehicule
CN114937011B (zh) * 2022-05-12 2024-05-28 北京航空航天大学 一种基于经验Garbor小波变换的光伏电池图像异常检测方法
KR102439163B1 (ko) * 2022-06-24 2022-09-01 주식회사 아이브 인공지능 기반의 비지도 학습 모델을 이용한 불량 제품 검출 장치 및 그 제어방법
JP2024013523A (ja) * 2022-07-20 2024-02-01 株式会社ニューフレアテクノロジー 検査装置及び検査画像の生成方法
EP4357765A4 (en) * 2022-08-30 2024-05-08 Contemporary Amperex Technology Co., Limited ERROR DETECTION METHOD AND APPARATUS AND COMPUTER-READABLE STORAGE MEDIUM
JP2024048292A (ja) * 2022-09-27 2024-04-08 Jfeスチール株式会社 表面欠陥検出方法及び表面欠陥検出装置
WO2024101940A1 (ko) * 2022-11-10 2024-05-16 주식회사 고영테크놀러지 결함의 유형을 결정하기 위한 장치, 방법 및 명령을 기록한 기록 매체
CN115641337B (zh) * 2022-12-23 2023-04-07 中科慧远视觉技术(北京)有限公司 一种线状缺陷检测方法、装置、介质、设备及系统
CN116309578B (zh) * 2023-05-19 2023-08-04 山东硅科新材料有限公司 一种应用硅烷偶联剂的塑料耐磨性图像辅助检测方法
CN116934746B (zh) * 2023-09-14 2023-12-01 常州微亿智造科技有限公司 划伤缺陷检测方法、系统、设备及其介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001255275A (ja) * 2000-03-13 2001-09-21 Kawasaki Steel Corp 表面欠陥検査方法及び装置
JP2002195952A (ja) * 2000-12-26 2002-07-10 Nippon Steel Corp 表面疵検出装置
US20030081215A1 (en) * 2001-01-09 2003-05-01 Ajay Kumar Defect detection system for quality assurance using automated visual inspection
JP2008185395A (ja) * 2007-01-29 2008-08-14 Mitsubishi Heavy Ind Ltd 実装基板外観検査方法
JP2013167596A (ja) * 2012-02-17 2013-08-29 Honda Motor Co Ltd 欠陥検査装置、欠陥検査方法及びプログラム
JP2015041164A (ja) * 2013-08-20 2015-03-02 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6650779B2 (en) * 1999-03-26 2003-11-18 Georgia Tech Research Corp. Method and apparatus for analyzing an image to detect and identify patterns
US6983065B1 (en) 2001-12-28 2006-01-03 Cognex Technology And Investment Corporation Method for extracting features from an image using oriented filters
JP2004294202A (ja) 2003-03-26 2004-10-21 Seiko Epson Corp 画面の欠陥検出方法及び装置
JP2011007553A (ja) 2009-06-24 2011-01-13 Hitachi High-Technologies Corp 欠陥検出方法及び装置
KR101109351B1 (ko) 2009-10-20 2012-01-31 인하대학교 산학협력단 가보 필터를 이용한 금속 패드의 상태 검사 방법
CN102279191B (zh) * 2010-06-13 2014-04-02 中钞特种防伪科技有限公司 周期性纹理图像中缺陷的检测方法和装置
JP2012127682A (ja) * 2010-12-13 2012-07-05 Hitachi High-Technologies Corp 欠陥検査方法及びその装置
US8705839B2 (en) * 2011-11-18 2014-04-22 Sharp Laboratories Of America, Inc. Electronic devices for defect detection
JP6191627B2 (ja) * 2013-01-30 2017-09-06 住友化学株式会社 画像生成装置、欠陥検査装置および欠陥検査方法
JP6009956B2 (ja) * 2013-01-31 2016-10-19 株式会社日立ハイテクノロジーズ 欠陥検査装置および欠陥検査方法
CN103234976B (zh) * 2013-04-03 2015-08-05 江南大学 基于Gabor变换的经编机布匹瑕疵在线视觉检测方法
US9098891B2 (en) * 2013-04-08 2015-08-04 Kla-Tencor Corp. Adaptive sampling for semiconductor inspection recipe creation, defect review, and metrology
CN104458755B (zh) * 2014-11-26 2017-02-22 吴晓军 一种基于机器视觉的多类型材质表面缺陷检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001255275A (ja) * 2000-03-13 2001-09-21 Kawasaki Steel Corp 表面欠陥検査方法及び装置
JP2002195952A (ja) * 2000-12-26 2002-07-10 Nippon Steel Corp 表面疵検出装置
US20030081215A1 (en) * 2001-01-09 2003-05-01 Ajay Kumar Defect detection system for quality assurance using automated visual inspection
JP2008185395A (ja) * 2007-01-29 2008-08-14 Mitsubishi Heavy Ind Ltd 実装基板外観検査方法
JP2013167596A (ja) * 2012-02-17 2013-08-29 Honda Motor Co Ltd 欠陥検査装置、欠陥検査方法及びプログラム
JP2015041164A (ja) * 2013-08-20 2015-03-02 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RALLO ET AL.: "Unsupervised novelty detection using Gabor filters for defect segmentation in textures", J. OPT. SOC. AM. A, OPT. IMAGE. SCI. VIS., vol. 26, no. 9, September 2009 (2009-09-01), pages 1967 - 76
See also references of EP3605072A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020067262A1 (ja) * 2018-09-28 2020-04-02 Jfeスチール株式会社 金属板の表面欠陥検出方法及び装置並びにめっき鋼板の製造方法
JPWO2020067262A1 (ja) * 2018-09-28 2021-02-15 Jfeスチール株式会社 金属板の表面欠陥検出方法及び装置並びにめっき鋼板の製造方法
CN109557101A (zh) * 2018-12-29 2019-04-02 桂林电子科技大学 一种非标高反射曲面工件的缺陷检测装置及方法
CN109557101B (zh) * 2018-12-29 2023-11-17 桂林电子科技大学 一种非标高反射曲面工件的缺陷检测装置及方法
JP2020112456A (ja) * 2019-01-14 2020-07-27 株式会社デンケン 検査装置及び検査方法
EP3938733A4 (en) * 2019-03-15 2023-03-22 Certainteed Gypsum, Inc. SURFACE TEXTURE CHARACTERIZATION METHOD AND TEXTURE CHARACTERIZATION TOOL
US11688085B2 (en) 2019-03-15 2023-06-27 Certainteed Gypsum, Inc. Method of characterizing a surface texture and texture characterization tool
CN111141753A (zh) * 2019-12-20 2020-05-12 三峡大学 基于机器视觉的陶瓷瓦表面裂纹检测方法

Also Published As

Publication number Publication date
MX2019011283A (es) 2019-11-01
KR20190118627A (ko) 2019-10-18
US20200025690A1 (en) 2020-01-23
JP6358351B1 (ja) 2018-07-18
CN110431404A (zh) 2019-11-08
EP3605072A1 (en) 2020-02-05
US10859507B2 (en) 2020-12-08
CN110431404B (zh) 2022-05-27
KR102257734B1 (ko) 2021-05-27
JP2018155690A (ja) 2018-10-04
EP3605072A4 (en) 2020-04-08

Similar Documents

Publication Publication Date Title
JP6358351B1 (ja) 表面欠陥検査方法及び表面欠陥検査装置
CN111968144B (zh) 一种图像边缘点获取方法及装置
CN106934803B (zh) 电子器件表面缺陷的检测方法及装置
JP6658711B2 (ja) 表面欠陥検出方法及び表面欠陥検出装置
CN109632808B (zh) 棱边缺陷检测方法、装置、电子设备及存储介质
WO2015096535A1 (zh) 残缺或变形的四边形图像的校正方法
CN116168026A (zh) 基于计算机视觉的水质检测方法及系统
EP3384429A1 (en) Method for identification of candidate points as possible characteristic points of a calibration pattern within an image of the calibration pattern
Tsai et al. Morphology-based defect detection in machined surfaces with circular tool-mark patterns
CN110530883B (zh) 一种缺陷检测方法
CN113781424B (zh) 一种表面缺陷检测方法、装置及设备
CN107993219A (zh) 一种基于机器视觉的船板表面缺陷检测方法
Alazzawi Edge detection-application of (first and second) order derivative in image processing: communication
CN107895371B (zh) 基于峰值覆盖值和Gabor特征的纺织品瑕疵检测方法
CN116128873A (zh) 一种基于图像识别的轴承保持器检测方法、设备及介质
CN115393290A (zh) 边缘缺陷检测方法、装置及设备
KR20210082624A (ko) 지문 향상 방법
CN111968143A (zh) 基于关联成像的边缘图像提取方法及系统
CN111028215A (zh) 一种基于机器视觉的检测钢卷端面缺陷方法
Prabha et al. Defect detection of industrial products using image segmentation and saliency
CN111415365A (zh) 图像检测方法及装置
Rosli et al. Some technique for an Image of defect in inspection process based on image processing
KR100955736B1 (ko) 표면 검사용 방법 및 이를 수행하는 장치
KR20210082587A (ko) 지문 향상 모듈
KR101615733B1 (ko) 카메라모듈의 렌즈와 적외선필터 사이의 이물 검사를 위한 표면 시각화 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18770965

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20197027127

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018770965

Country of ref document: EP

Effective date: 20191021