WO2021065349A1 - ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム - Google Patents

ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム Download PDF

Info

Publication number
WO2021065349A1
WO2021065349A1 PCT/JP2020/033629 JP2020033629W WO2021065349A1 WO 2021065349 A1 WO2021065349 A1 WO 2021065349A1 JP 2020033629 W JP2020033629 W JP 2020033629W WO 2021065349 A1 WO2021065349 A1 WO 2021065349A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
work
images
pixel
defect
Prior art date
Application number
PCT/JP2020/033629
Other languages
English (en)
French (fr)
Inventor
章太 植木
矢橋　暁
長井　慶郎
吉田　龍一
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to CN202080067925.1A priority Critical patent/CN114450580A/zh
Priority to US17/639,731 priority patent/US20220292665A1/en
Priority to JP2021550501A priority patent/JPWO2021065349A1/ja
Publication of WO2021065349A1 publication Critical patent/WO2021065349A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30156—Vehicle coating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Definitions

  • the present invention when a work such as a vehicle body, which is a surface defect detection target, is irradiated with illumination light that causes a periodic brightness change such as a light-dark pattern, an image is taken when the area to be measured such as a painted surface of the work is irradiated.
  • the present invention relates to a work surface defect detection device and a detection method, a work surface inspection system, and a program for creating a composite image based on a plurality of images obtained by means and detecting surface defects based on the composite image.
  • Patent Document 1 discloses a technique for detecting defects by generating a new image using at least one of an amplitude width, an average value, a lower limit value and a phase difference, and an upper limit value and a contrast of periodic luminance changes. Has been done.
  • the composite images used in the conventional inspection methods including the inspection method described in Patent Document 1
  • image composition using the amplitude value and the phase value also has a problem that the calculation cost becomes high.
  • the present invention has been made in view of such a technical background, and even if the number of images is small, a composite image having a high S / N ratio and high defect detection accuracy is created to detect surface defects of the work. It is an object of the present invention to provide a work surface defect detection device and a detection method, a work surface inspection system, and a program capable of the work.
  • a work surface defect detection device including a detection means for detecting defects based on a composite image created by the synthesis means.
  • a work surface inspection system comprising the work surface defect detection device according to any one of 1 to 4.
  • (6) A plurality of obtained by continuously imaging the work by the imaging means in a state where the work is illuminated by an illumination device that periodically changes the brightness at the same position of the work on which the surface defect is detected.
  • An image composition step of using a plurality of images obtained in one cycle of the periodic brightness change to calculate a statistical variation value in the plurality of images to create a composite image, and the image.
  • a composite image is created by calculating at least one of variance, standard deviation, and full width at half maximum.
  • the statistical variation value is calculated for each pixel and is performed for the optimum sampling candidate selected for each pixel of a plurality of images.
  • the statistical variation value is calculated only by the optimum sampling candidates, and the influence of the pixels excluded from the sampling candidates can be suppressed.
  • the variation value is calculated after excluding the sampling value of the intermediate gradation which is a factor for reducing the variation value in each pixel from the plurality of images. Since it is adopted as a variation value for pixels, a composite image having a higher S / N ratio can be created.
  • FIG. 1 It is a top view which shows the structural example of the surface inspection system of the work which concerns on one Embodiment of this invention. It is a vertical sectional view of the lighting frame when viewed from the front in the traveling direction of the work. It is a vertical sectional view of the camera frame when viewed from the front in the traveling direction of the work. It is a top view which shows the electrical structure in the surface inspection system of the work shown in FIG. It is a flowchart which shows the processing of the whole surface defect inspection system of a work.
  • A is an image continuously acquired from one camera in chronological order
  • (B) is a diagram showing a state in which the coordinates of a temporary defect candidate are estimated in a subsequent image with respect to the first image of (A), (C).
  • (D) is a diagram showing a process of superimposing each image of the estimated region image group to create a composite image
  • (D) is a diagram showing another process of superimposing each image of the estimated region image group to create a composite image. is there. It is a figure for demonstrating the process which corrects the center coordinate of an estimated area image from the boundary of a bright band part and a dark band part in an image according to the position of a defect candidate.
  • (A) to (D) are diagrams showing a process of superimposing each image of an estimated region image group in a different manner to create a composite image. It is a figure for demonstrating an example of the extraction process of a tentative defect candidate.
  • FIG. 1 is a plan view showing a configuration example of a surface inspection system for a work according to an embodiment of the present invention.
  • the work 1 is a vehicle body
  • the portion to be measured of the work 1 is a painted surface on the vehicle body surface, and a surface defect of the painted surface is detected is shown.
  • the surface of the vehicle body is subjected to surface treatment, metallic coating, clear coating, etc. to form a coating film layer with a multi-layer structure. Occurs.
  • the work 1 is not limited to the vehicle body and may be a work other than the vehicle body.
  • the portion to be measured may be a surface other than the painted surface.
  • This inspection system includes a work moving mechanism 2 that continuously moves the work 1 in the direction of arrow F at a predetermined speed.
  • a work moving mechanism 2 that continuously moves the work 1 in the direction of arrow F at a predetermined speed.
  • two lighting frames 3 and 3 are fixed to the support bases 4 and 4 in the direction orthogonal to the moving direction of the work. It is installed in the installed state. Further, the lighting frames 3 and 3 are connected to each other by two connecting members 5 and 5.
  • the number of lighting frames is not limited to two.
  • Each lighting frame 3 is formed in a gate shape as shown in the vertical sectional view of FIG. 2 when viewed from the front in the traveling direction of the vehicle body, and each lighting frame 3 has a lighting unit 6 for illuminating the work 1. It is installed.
  • the lighting unit 6 has linear lighting units attached so as to surround the peripheral surface excluding the lower surface of the work 1 along the inner shape of the lighting frame 3, and a plurality of the linear lighting units. Are attached to the lighting frame 3 at equal intervals in the moving direction of the work 1. Therefore, the illumination unit 6 diffusely illuminates the work with the illumination light of the light-dark fringe pattern composed of the illumination portion and the non-illumination portion which are alternately present in the moving direction of the work 1.
  • the lighting unit may be curved.
  • a camera frame 7 is attached to the middle portion of the two front and rear lighting frames 3 and 3 in a state where both lower ends in a direction orthogonal to the moving direction of the work are fixed to the supports 4 and 4. Further, the camera frame 7 is formed in a gate shape as shown in the vertical cross-sectional view of FIG. 3 when viewed from the front in the traveling direction of the work 1, and the camera frame 7 is formed on the lower surface of the work 1 along the inner shape thereof.
  • a plurality of cameras 8 as imaging means are attached so as to surround the peripheral surface excluding the above.
  • the work 1 is attached to the camera frame 7 in a state where the work 1 is moved at a predetermined speed by the work moving mechanism 2 and the work 1 is diffusely illuminated by the illumination light of the light and dark stripe pattern by the lighting unit 6.
  • a plurality of cameras 8 continuously image each part of the work 1 in the circumferential direction as a measurement portion. The imaging is performed so that most of the imaging range overlaps in the front and rear imaging. As a result, each camera 8 outputs a plurality of images in which the position of the measured portion of the work 1 is continuously deviated in the moving direction of the work 1.
  • FIG. 4 is a plan view showing the electrical configuration of the work surface inspection system shown in FIG.
  • the first position sensor 11, the vehicle type information detection sensor 12, the second position sensor 13, the vehicle body speed sensor 14, and the third position sensor are entered in this order from the entry side along the moving direction of the work 1. 15 is provided.
  • the first position sensor 11 is a sensor that detects that the next work 1 has approached the inspection area.
  • the vehicle body information detection sensor 12 is a sensor that detects the ID, vehicle type, color, destination information, and the like of the vehicle body to be inspected.
  • the second position sensor 13 is a sensor that detects that the work 1 has entered the inspection area.
  • the vehicle body speed sensor 14 detects the moving speed of the work 1 and monitors the position of the work 1 by calculation, but the position sensor may directly monitor the position of the work.
  • the third position sensor 15 is a sensor that detects that the work 1 has left the inspection area.
  • the work surface defect inspection system further includes a master PC 21, a defect detection PC 22, a HUB 23, a NAS (Network Attached Storage) 24, a display 25, and the like.
  • the master PC 21 is a personal computer that comprehensively controls the entire surface defect inspection system of the work, and includes a processor such as a CPU, a memory such as a RAM, a storage device such as a hard disk, and other hardware and software.
  • the master PC 21 includes a movement control unit 211, a lighting unit control unit 212, a camera control unit 213, and the like as one of the functions of the CPU.
  • the movement control unit 211 controls the movement stop and movement speed of the movement mechanism 2
  • the lighting unit control unit 212 controls the lighting of the lighting unit 6
  • the camera control unit 213 controls the imaging of the camera 8. Imaging by the camera 8 is continuously performed in response to a trigger signal continuously transmitted from the master PC 21 to the camera 8.
  • the defect detection PC 22 is a surface defect detection device that executes surface defect detection processing, and is composed of a processor such as a CPU, a memory such as a RAM, a storage device such as a hard disk, and a personal computer provided with other hardware and software. ing.
  • the defect detection PC 22 has an image acquisition unit 221, a temporary defect candidate extraction unit 222, a coordinate estimation unit 223, a defect candidate determination unit 224, an image group creation unit 225, an image synthesis unit 226, and a defect detection unit 227 as one of the functions of the CPU. Etc. are provided.
  • the image acquisition unit 221 acquires a plurality of images that are continuously imaged by the camera 8 in time series and transmitted from the camera 8 by GigE (Gigabit Ethernet).
  • the temporary defect candidate extraction unit 222 extracts a temporary defect candidate based on a plurality of images from the camera 8 acquired by the image acquisition unit 221, and the coordinate estimation unit 223 coordinates the coordinates in the subsequent image of the extracted temporary defect candidate.
  • the defect candidate determination unit 224 determines the defect candidate by matching the estimated coordinates of the temporary defect candidate with the actual temporary defect candidate, and the image group creation unit 225 cuts out the area around the determined defect candidate. To create an image group consisting of a plurality of images for synthesizing images.
  • the image synthesizing unit 226 synthesizes each image of the created image group into one image, and the defect detecting unit 227 detects and discriminates a defect from the combined image. Specific surface defect detection processing by each of these parts in the defect detection PC 22 will be described later.
  • the NAS24 is a storage device on the network and stores various data.
  • the display 25 displays the surface defects detected by the defect detection PC 22 in a state corresponding to the position information of the vehicle body which is the work 1, and the HUB 23 is the master PC 21, the defect detection PC 22, NAS24, the display 25, etc. It has a function to send and receive data to and from.
  • the master PC 21 continuously transmits a trigger signal to each camera 8 in a state where the work 1 is illuminated from the surroundings by the illumination light of the light and dark stripe pattern by the lighting unit 6. Then, each camera 8 continuously images the part to be measured of the work 1.
  • the master PC 21 sets the interval between the trigger signals, in other words, the interval between the imaging intervals so that most of the imaging ranges overlap in the front and rear imaging. By such imaging, each camera 8 can obtain a plurality of images in which the position of the portion to be measured of the work 1 is continuously deviated in the moving direction according to the movement of the work 1.
  • Such a plurality of images are obtained not only when only the work 1 moves with respect to the fixed lighting unit 6 and the camera 8 as in the present embodiment, but also when the work 1 is fixed and the lighting unit 6 and the camera 8 are moved. It can also be obtained from the camera 8 when the work 1 is moved with respect to the work 1 or when the work 1 and the camera 8 are fixed and the lighting unit 6 is moved. That is, by moving at least one of the work 1 and the lighting unit 6, the light / dark pattern of the lighting unit 6 may move relative to the work 1.
  • the plurality of images obtained by each camera 8 are transmitted to the defect detection PC 22, and the image acquisition unit 221 of the defect detection PC 22 acquires a plurality of images transmitted from each camera 8.
  • the defect detection PC 22 executes a surface defect detection process using these images.
  • step S01 the master PC 21 determines whether or not the work 1 has approached the inspection range based on the signal of the first position sensor 11, and if not (NO in step S01), stays in step S01.
  • step S02 the master PC 21 acquires individual information such as the ID, vehicle type, color, and destination information of the vehicle body to be inspected based on the signal from the vehicle body information detection sensor 12.
  • step S03 for example, the parameters of the inspection system, the inspection range on the vehicle body, and the like are set as the initial information settings.
  • step S04 the master PC determines whether or not the work 1 has entered the inspection range based on the signal of the second position sensor 13, and if not (NO in step S04), stays in step S04.
  • step S05 the moving work 1 is photographed by the camera 8 in chronological order with most of the imaging range overlapping.
  • step S06 the pre-stage processing in the surface defect detection processing by the defect detection PC 22 is performed. The pre-stage processing will be described later.
  • step S07 it is determined whether or not the work 1 has exited the inspection range based on the signal of the third position sensor 15. If there is no exit (NO in step S07), the process returns to step S05, and imaging and pre-stage processing are continued.
  • step S08 the subsequent process in the surface defect detection process by the defect detection PC 22 is performed. That is, in this embodiment, the post-stage processing is performed after all the imaging of the work 1 is completed. The post-stage processing will be described later.
  • step S09 the result of the surface defect detection processing is displayed on the display 25 or the like.
  • the defect detection PC 22 acquires a plurality of images in which the position of the measured portion of the work 1 is continuously deviated in the moving direction from each camera 8. This situation is shown in FIG. A11 to A17 in FIG. 6A are images continuously acquired from one camera 8 in chronological order.
  • the light-dark pattern in which the light bands (white part) extending in the vertical direction and the dark bands (black part) alternately exist in the horizontal direction displayed in the image corresponds to the light-dark fringe pattern of the illumination light by the lighting unit 6. There is.
  • the temporary defect candidate extraction unit 222 of the defect detection PC 22 extracts temporary defect candidates from each image. Extraction of temporary defect candidates is executed by performing processing such as background removal and binarization, for example. In this example, it is assumed that the temporary defect candidate 30 is extracted from all the images A11 to A17.
  • the coordinate estimation unit 223 calculates the representative coordinates that are the positions of the temporary defect candidates 30 for the temporary defect candidates 30 of each extracted image, and sets a predetermined area around the representative coordinates as the temporary defect candidate area. Further, the coordinates to which the calculated representative coordinates of the temporary defect candidates move with respect to each of the subsequent images A12 to A17 are calculated based on the movement amount of the work 1 and the estimated coordinates in each image are obtained. .. For example, it is calculated to which coordinate the temporary defect candidate 30 extracted in the image A11 moves with respect to each of the subsequent images A12 to A17, and the estimated coordinates in each image are obtained.
  • the states in which the estimated coordinates 40 of the temporary defect candidate 30 are estimated in the subsequent images A12 to A17 of the image A11 are shown in the images B12 to B17 of FIG. 6B.
  • the images B12 to B17 are the same as the images in which the temporary defect candidate 30 is removed in the images A12 to A17.
  • some of the images in the middle are omitted.
  • the light and dark patterns that appear in the image are omitted.
  • the defect candidate determination unit 224 determines the subsequent images A12 to A17 of the image A11 shown in FIG. 6 (A) and the images B12 to B17 of FIG. 6 (B) for which the estimated coordinates 40 of the temporary defect candidate 30 are obtained. Among them, the corresponding images are matched with each other, such as the image A12 and the image B12, the image A13 and the image B13, ... The image A17 and the image B17. Matching determines whether the estimated coordinates 40 and the actual tentative defect candidate 30 in the image correspond. Specifically, it is performed by determining whether or not the estimated coordinates 40 are included in a predetermined temporary defect candidate region for the actual temporary defect candidate 30 in the image.
  • the temporary defect candidate 30 exists within the predetermined range preset from the estimated coordinates 40, or the corresponding image is within the predetermined range preset from the representative coordinates of the temporary defect candidate 30.
  • the estimated coordinates 40 it may be determined whether or not the estimated coordinates 40 and the actual temporary defect candidate 30 in the image correspond to each other.
  • the temporary defect candidate 30 included in the original image A11 and the temporary defect candidate 30 included in the subsequent image can be regarded as the same.
  • the number of images corresponding (matching) between the estimated coordinates 40 and the actual temporary defect candidate 30 in the image is examined, and it is determined whether or not the number is equal to or greater than a preset threshold value. If it is equal to or greater than the threshold value, it is highly probable that the temporary defect candidate 30 actually exists, so that the temporary defect candidate 30 of each image is determined as the defect candidate.
  • a preset threshold value it is highly probable that the temporary defect candidate 30 actually exists, so that the temporary defect candidate 30 of each image is determined as the defect candidate.
  • all of the subsequent images A12 to A17 of the image A11 are matched. That is, the estimated coordinates 40 are included in the temporary defect candidate region for the temporary defect candidate 30 in the image.
  • the temporary defect candidate 30 is not likely to be a defect candidate, so matching is performed. Stop and extract the next temporary defect candidate 30.
  • the image group creation unit 225 sets the representative coordinates of the defect candidates as shown by surrounding the images A11 to A17 of FIG. 6A with a square frame for all the images including the defect candidates.
  • a predetermined region around the region is cut out as an estimation region, and as shown in FIG. 6C, an estimation region image group composed of a plurality of estimation region images C11 to C17 is created.
  • the estimation area may be performed by first obtaining the estimation area of the original image A11 and calculating the position of the estimation area in each image from the movement amount of the work 1.
  • the image synthesizing unit 226 superimposes and synthesizes the estimated region images C11 to C17 of the estimated region image group thus created to create one composite image 51 shown in FIG. 6 (C).
  • the superposition is performed at the center coordinates of the estimated region images C11 to C17.
  • the composite image 51 at least one of an image synthesized by calculating a statistical variation value such as a standard deviation image, a phase image, a phase difference image, a maximum value image, a minimum value image, and an average value image is used. Can be mentioned. An image synthesized by calculating statistical variation values such as a standard deviation image will be described later.
  • the defect detection unit 227 detects surface defects using the created composite image 51.
  • the detection criteria for surface defects may be freely selected. For example, as shown in the signal graph 61 of FIG. 6C, when the signal is equal to or higher than the reference value, it may be determined that there is a defect, and only the presence or absence of the defect may be detected. Alternatively, the type of defect may be determined by comparison with a reference defect or the like. The presence / absence of defects and the criteria for determining the type of defects may be changed by machine learning or the like, or new criteria may be created.
  • the detection result of surface defects is displayed on the display 25.
  • the plurality of estimated region images C11 to C17 cut out from the plurality of images A11 to A17 including the defect candidates are combined into one composite image 51, and based on the composite image 51. Since the defect is detected, the composite image 51 includes information on a plurality of images. Therefore, since defect detection can be performed using a large amount of information for one defect candidate, even a small surface defect can be detected with high accuracy and stability while suppressing over-detection and erroneous detection. it can. Further, when the image in which the estimated coordinates 40 and the actual temporary defect candidate 30 in the image correspond to each other exists at or above a preset threshold value, a composite image is created and the defect is detected, so that the defect may exist. Defect detection can be performed when the performance is high, the processing load is small, the detection efficiency is improved, and the detection accuracy is also improved.
  • Modification example 1 when creating a composite image By the way, it may not be possible to obtain accuracy simply by superimposing and synthesizing a plurality of estimated region images C11 to C17 at the center coordinates of each image.
  • each estimated area image C11 to C17 it is desirable to correct the center coordinates of each estimated area image C11 to C17 and superimpose them.
  • An example of correction of the center coordinates is performed based on the relative position in the light / dark pattern in each image. Specifically, when a defect exists in the bright band portion of the bright / dark pattern or in the center of the dark band portion, the shape tends to be symmetrical, but as shown in FIG. 7, for example, the estimated image C14, the bright band is bright. When the band portion 120 is close to the boundary portion with the dark band portion 110, the boundary portion side of the defect candidate 30 becomes dark. On the contrary, when the dark zone portion 110 is close to the boundary portion, the boundary portion side becomes bright. Therefore, for example, when the center of gravity position calculation is performed, the defect candidate 30 is deviated from the center position 30a. Since the biased position correlates with the position from the boundary, the center coordinates of the image are corrected according to the position L from the boundary.
  • FIG. 6D is a diagram showing a state in which the estimated region images C11 to C17 whose center position is corrected are superimposed and combined at the center position to create a composite image 52.
  • a sharper composite image 52 is obtained, and the signal height in the signal graph 62 is also higher. Therefore, the composite image 52 with high accuracy can be created, and the surface defect can be detected with high accuracy.
  • Modification example 2 when creating a composite image Another composite image creation method will be described with reference to FIG. 8 when it is not possible to obtain accuracy simply by superimposing and synthesizing a plurality of estimated region images C11 to C17 at the center coordinates of each image.
  • the process up to the creation of the estimated region images C11 to C17 in FIG. 6 (C) is the same.
  • the alignment of the estimated region images C11 to C17 is a plurality of combinations in which the center coordinates of each image are shifted in at least one of the left-right direction (x direction) and the vertical direction (y direction) by various alignment amounts. Try with. Then, the combination with the maximum evaluation value is adopted from among them.
  • four types (A) to (D) are superimposed.
  • the obtained composite images are shown in 53 to 56, respectively, and the signal graphs based on the composite images are shown in 63 to 66.
  • (B) in which the highest signal is obtained is adopted.
  • the evaluation value of the alignment of the plurality of estimated region images C11 to C17 at the time of creating the composite image is obtained from a plurality of combinations in which the center coordinates of each image are shifted to at least one of the X coordinate and the Y coordinate directions. Since it is performed so as to be maximized, it is possible to create a composite image with higher accuracy, and it is possible to detect surface defects with higher accuracy.
  • Example of Temporary Defect Candidate Extraction Process An example of a temporary defect candidate extraction process having a large size and a gentle change in curvature by the temporary defect candidate extraction unit 222 will be described.
  • the illumination light is reflected by the surface of the work 1 and is incident on each pixel of the camera 8.
  • the light incident on each pixel is the light from the region reached by the line of sight emitted from each pixel reflected by the surface of the work 1 within the range in which each pixel is glaring.
  • a dark pixel signal can be obtained without illumination, and a bright pixel signal can be obtained with illumination. If there are no defects and the work 1 is flat, the illuminated area corresponding to each pixel is close to a point.
  • there is a defect there are two types of changes in the surface of the work 1: (1) curvature change and (2) surface inclination. (1) As shown in FIG.
  • the difference in the inclination of the surface of the defect-free portion and the defect portion can be detected in the phase image. If it is a defect-free portion, in the phase image, the phase in the direction parallel to the fringes is the same, and a constant phase change occurs in the direction perpendicular to the fringes according to the period of the fringes. If it is a defective portion, the regularity of the phase is disturbed in the phase image. For example, by looking at the phase images in the X and Y directions, a temporary defect candidate having a gentle curved surface change can be detected.
  • Any temporary defect candidate can be extracted with two types of routines, one for small temporary defect candidates and the other for large temporary defect candidate defects.
  • the candidate extracted by either of them may be used as a temporary defect candidate.
  • Thread lumps are defects in which thread-like foreign matter is trapped under the paint, and are not circular but elongated. Some are small in the line width direction (for example, less than 0.2 mm) but long in the longitudinal direction (for example, 5 mm or more). Since it is very narrow in the width direction, it is small and has a gradual change in curvature in the longitudinal direction. It may be overlooked only by the detection method for small defects and large defects (defects with a gentle slope) similar to the extraction of temporary defect candidates. After a predetermined treatment, it is binarized and granulated, and it is judged whether or not it is a defect based on the area of each part.
  • the thread lumps are narrow but long, a predetermined area can be obtained if they are detected appropriately.
  • the thread lumps are easily detected when the longitudinal direction is parallel to the direction in which the light-dark pattern extends, and are difficult to find when the vertical direction is vertical. Defects occur in the longitudinal direction and are shorter than they actually are, that is, the particleized area tends to be smaller.
  • FIG. 10 is a flowchart showing the contents of the surface defect detection process executed by the defect detection PC 22.
  • This surface defect detection process shows in more detail the contents of the pre-stage process of step S06 and the post-stage process of step S08 in FIG. Further, this surface defect detection process is executed by operating the processor in the defect detection PC 22 according to an operation program stored in an internal storage device such as a hard disk device.
  • step S11 the master PC 21 acquires the individual information acquired in step S02 of FIG. 5 and the initial information such as the setting of the parameters set in step S03 and the setting of the inspection range on the vehicle body from the master PC 21.
  • step S12 after acquiring the image captured by the camera 8, preprocessing, for example, setting the position information for the image based on the initial setting information and the like is performed in step S13.
  • step S14 the temporary defect candidate 30 is extracted from each image, and then in step S15, the movement amount of the work 1 is calculated for one temporary defect candidate 30, and in step S16, the temporary defect candidate 30 is calculated.
  • the coordinates in the subsequent image are estimated to be the estimated coordinates 40.
  • step S17 Matching is performed in step S17. That is, when it is determined whether or not the estimated coordinates 40 exist in a predetermined temporary defect candidate region for the actual temporary defect candidate 30 in the image, and the number of matched images is equal to or larger than a preset threshold value, In step S18, the temporary defect candidate 30 of each image is determined as a defect candidate.
  • step S19 for all the images having defect candidates, a predetermined area around the representative coordinates in the defect candidate is cut out as an estimation area, and an estimation area image group composed of a plurality of estimation area images C11 to C17 is created, and then the step is performed. Proceed to S20. Steps S12 to S19 are pre-stage processing.
  • step S20 it is determined whether or not the vehicle body, which is the work 1, has exited the inspection range based on the information from the master PC 21. If the inspection range is not exited (NO in step S20), the process returns to step S12 and the acquisition of the image from the camera 8 is continued. If the vehicle body has exited the inspection range (YES in step S20), the alignment amount of each estimated area image C11 to C17 is set in step S21. Then, in step S22, the estimated region images C11 to C17 are combined to create a composite image, and then the defect detection process is performed in step S23. Steps S21 to S23 are post-stage processing. After the defect is detected, the detection result is output to the display 25 or the like in step S24.
  • step S17 The matching process in step S17 will be described in detail with reference to the flowchart of FIG.
  • step S201 K, which is a variable of the number of images matching the temporary defect candidate 30, is set to zero, and in step S202, the number of images to be determined whether or not the image matches the temporary defect candidate 30 is set. Set the variable N to zero.
  • step S203 after extracting the temporary defect candidate 30, N + 1 is set in N in step S204.
  • step S205 it is determined whether or not the provisional defect candidate 30 and the estimated coordinates 40 match. If they match (YES in step S205), K + 1 is set in K in step S206, and then the process proceeds to step S207. If the provisional defect candidate 30 and the estimated coordinates 40 do not match in step S205 (NO in step S205), the process proceeds to step S207.
  • step S207 it is checked whether or not N has reached a predetermined number of images (7 in this case), and if not (NO in step S207), the process returns to step S203 and the temporary defect candidate 30 is extracted for the next image.
  • N reaches a predetermined number of images (YES in step S207)
  • step S208 it is determined in step S208 whether or not K is equal to or more than a preset predetermined threshold value (here, 5 images). If it is not equal to or greater than the threshold value (NO in step S208), the process returns to step S201. Therefore, in this case, the subsequent cropping process and image composition process of the estimated region image are not performed, N and K are reset, and the next temporary defect candidate 30 is extracted.
  • a preset predetermined threshold value here, 5 images
  • step S208 If K is equal to or greater than the threshold value (YES in step S208), the provisional defect candidate 30 is determined as a defect candidate in step S209, the information is saved, and then in step S210, the matched K images are estimated. Cut out the area image. Then, in step S211, after synthesizing the K cut-out estimated region images, it is determined in step S212 whether or not a surface defect is detected. If a surface defect is detected (YES in step S212), the surface defect is determined in step S213, the information is saved, and then the process proceeds to step S214. If no surface defect is detected (NO in step S212), the process proceeds to step S214 as it is.
  • step S214 it is checked whether or not the detection processing has been performed on all the inspection target parts of the work, and if it has not been performed (NO in step S214), the process returns to step S201, N and K are reset, and the next provisional provisional Defect candidate 30 is extracted. If the detection process has been performed for all the inspection target sites (YES in step S214), the process ends.
  • the processing load is small, the detection efficiency is improved, and the detection accuracy is also improved, as compared with the case where the estimation area image is cut out, the image composition is performed, and the defect detection is performed regardless of the number of matched images. ..
  • FIG. 12 is a flowchart for explaining a modified example of the matching process in step S17 of FIG.
  • the number of matched images K does not reach a certain value before the number of images N reaches a predetermined number, it is determined that the provisional defect candidate 30 is not likely to be a defect candidate, and at that time. It is configured to stop the subsequent processing.
  • step S221 K, which is a variable of the number of images matching the temporary defect candidate 30, is set to zero, and in step S222, the number of images to be determined whether or not the image matches the temporary defect candidate 30 is set. Set the variable N to zero.
  • step S223 after extracting the temporary defect candidate 30, N + 1 is set in N in step S224.
  • step S225 it is determined whether or not the provisional defect candidate 30 and the estimated coordinates 40 match. If they match (YES in step S225), K + 1 is set in K in step S226, and then the process proceeds to step S227. If the provisional defect candidate 30 and the estimated coordinates 40 do not match in step S225 (NO in step S225), the process proceeds to step S227.
  • step S227 it is checked whether N has reached the second predetermined number of images (8 in this case), and if it has reached (YES in step S227), K is preset in step S228. It is checked whether or not the threshold value (4 sheets in this case) of is reached, and if it is not reached (NO in step S228), the process returns to step S221. Therefore, in this case, the subsequent cropping process and image composition process of the estimated region image are not performed, N and K are reset, and the next temporary defect candidate 30 is extracted.
  • step S228 If K has reached the second threshold value in step S228 (YES in step S228), the process proceeds to step S229. Even if N has not reached the second predetermined number of images (8 images) in step S227 (NO in step S227), the process proceeds to step S229.
  • step S229 it is checked whether or not N has reached the first predetermined number (9 in this case), and if it has not reached (NO in step S229), the process returns to step S223 and the temporary defect candidate 30 is selected for the next image. Extract.
  • N reaches the first predetermined number of sheets (YES in step S229)
  • step S230 it is determined whether or not K is equal to or more than the preset first threshold value (here, 5 sheets). If it is not equal to or greater than the first threshold value (NO in step S230), the process returns to step S201. Therefore, in this case, the subsequent cropping process and image composition process of the estimated region image are not performed, N and K are reset, and the next temporary defect candidate 30 is extracted.
  • step S230 If K is equal to or greater than the first threshold value (YES in step S230), the provisional defect candidate 30 is determined as a defect candidate in step S231, the information is saved, and then in step S232, the matching K images are used. Cut out the estimated area image for the image. Then, in step S233, after synthesizing the K cut-out estimated region images, it is determined in step S234 whether or not a surface defect is detected. If a surface defect is detected (YES in step S234), the surface defect is determined in step S235, the information is saved, and then the process proceeds to step S236. If no surface defect is detected (NO in step S234), the process proceeds to step S236 as it is.
  • step S236 it is checked whether or not the detection processing has been performed on all the inspection target parts of the work, and if it has not been performed (NO in step S236), the process returns to step S201, N and K are reset, and the next provisional provisional Defect candidate 30 is extracted. If the detection process has been performed for all the inspection target sites (YES in step S236), the process ends.
  • the temporary defect candidate 30 and the estimated coordinates 40 correspond (match) at the stage of the first set value, that is, in the middle of the stage, where the number N of the images from which the temporary defect candidate 30 is extracted is smaller than the second set value. If the number of images K to be used does not reach the first threshold value, which is smaller than the second threshold value, it is determined that there are few matching images and the provisional defect candidate 30 is not likely to be a defect candidate, and the final image is reached. The subsequent processing is stopped without continuing the matching processing. Therefore, since unnecessary processing is not continued, the processing load can be further reduced and the detection accuracy can be further improved.
  • FIG. 13 is a flowchart showing details of steps S12 to S18 of the flowchart of FIG. 10, which is a pre-stage process in the surface defect detection process, and the same step numbers are assigned to the same processes as those of the flowchart of FIG.
  • the camera 8 continuously takes an image while moving the work 1, and the defect detection PC 22 takes the final image from the first image taken in step S12. Get up to the image of the times.
  • the image in which one temporary defect candidate 30 is captured is the image of the nth imaging (n + m-1) from the image of the nth imaging.
  • step S13 each image is preprocessed, and in step S14, temporary defect candidates 30 are extracted for each image from the nth imaging to the (n + m-1) imaging (n + m-1) times, and the extracted temporary defect candidates 30 are represented. Find the coordinates and the temporary defect candidate area.
  • step S16 the coordinates to which the representative coordinates of the temporary defect candidates move with respect to each of the subsequent images are calculated based on the calculation of the movement amount of the work 1 in step S15, and in each image.
  • the estimated coordinates 40 are obtained.
  • step S17 matching is performed for each subsequent image, and if the number of matched images is equal to or greater than a threshold value (for example, m), the provisional defect candidate 30 is determined as a defect candidate in step S18.
  • step S19 an estimated region is calculated for each image, and an estimated region image group including a plurality of estimated region images C11 to C17 is created.
  • the defect detection PC 22 extracts a temporary defect candidate 30 from images continuously acquired from the camera 8 in time series. And said.
  • the extraction method of the temporary defect candidate 30 is not limited, but the configuration in which the temporary defect candidate 30 is extracted by performing the following processing is such that the defect portion is emphasized and the temporary defect candidate 30 is extracted with higher accuracy. It is desirable in that it can be performed.
  • the feature points of the images are determined by applying the threshold value after performing the binarization process on each of the images A11 to A17 (shown in FIG. 6) acquired from the camera 8 or by applying the corner detection function. Extract. Then, the temporary defect candidate 30 may be extracted by obtaining a multidimensional feature amount for each of the extracted feature points.
  • each image acquired from the camera 8 is binarized, the contour is extracted, and then the images that have been expanded and contracted a predetermined number of times are subtracted to obtain a bright band and a dark band.
  • the extraction of the temporary defect candidate 30 is based on the brightness gradient information from the pixels in all directions in the vertical, horizontal, and diagonal directions for all the pixels in the surrounding specific range for each of the extracted feature points after the feature points of the image are extracted. It may be performed by obtaining a multidimensional feature amount.
  • an estimated region image group consisting of a plurality of estimated region images C11 to C17 is created in the same manner as in the first surface defect detection process described above, and then the estimated region image group is used. , Defect detection is performed for each temporary defect candidate.
  • the feature points of the images are extracted from the plurality of images in which the positions of the measured portions of the work 1 acquired from the camera 8 are continuously displaced, and each of the extracted images is extracted. Since the temporary defect candidate 30 is extracted by obtaining the multidimensional feature amount for the feature point, the temporary defect candidate 30 can be extracted with high accuracy, and the surface defect can be detected with high accuracy. ..
  • the coordinates of the extracted temporary defect candidate 30 are obtained, and the coordinates of the temporary defect candidate 30 move to which coordinate for each of the plurality of images following the extracted image.
  • Estimated coordinates 40 are calculated, and it is determined whether or not the estimated coordinates 40 and the temporary defect candidate 30 in the image correspond to each other.
  • the provisional defect candidate 30 is determined as a defect candidate.
  • a predetermined region around the defect candidate is cut out as an estimation region from the plurality of images including the defect candidate, and an estimation region composed of the plurality of estimation region images C11 to C17.
  • An image group is created, and defect discrimination is performed based on the created estimated area image group.
  • FIG. 14 is a flowchart showing a second surface defect detection process executed by the defect detection PC. Since steps S11 to S13 and steps S15 to S20 are the same as steps S11 to S13 and steps S15 to S20 in FIG. 10, the same step numbers are assigned and the description thereof will be omitted.
  • a yuzu skin mask is created in step S141, and the created yuzu skin mask is applied in step S142 to extract feature points.
  • step S143 a multidimensional feature amount is calculated for each extracted feature point, and after extracting the temporary defect candidate 30 in step S144, the process proceeds to step S16.
  • step S20 When the vehicle body which is the work 1 exits the inspection range in step S20 (YES in step S20), the defect discrimination process is executed using the created estimated area image group in step S23, and the discrimination result is displayed in step S24. ..
  • FIG. 15 is a flowchart showing the details of steps S12 to S18 of the flowchart of FIG. 14, and the same step numbers are assigned to the same processes as those of the flowchart of FIG. Since steps S12, S13, and S15 to S19 are the same as the processes of steps S12, S13, and S15 to S19 in FIG. 13, the description thereof will be omitted.
  • step S141 After the pretreatment in step S13, in step S141, each yuzu skin mask is created for each image.
  • step S142 the created Yuzu skin mask is applied to each image to extract feature points of each image.
  • step S143 a multidimensional feature amount is calculated for each feature point of each extracted image, and in step S144, provisional defect candidates are extracted for each image, and then the process proceeds to step S16.
  • step S144 provisional defect candidates are extracted for each image, and then the process proceeds to step S16.
  • the third surface defect detection process a plurality of continuous time-series images acquired from the camera 8 are divided into a plurality of regions, and a plurality of front and rear images are combined in the corresponding regions. Later, the defect is detected.
  • the imaging range of the work 1 shown in the area of the previous image and the imaging range of the work 1 shown in the area of the subsequent image are not the same, and the amount of movement of the work 1 is not the same.
  • the imaging position is different depending on the above, the position of the region of the rear image is shifted from the region of the previous image by the amount of the position shift according to the amount of movement of the work 1 and the composition is performed. Further, since the amount of misalignment between the area of the previous image and the corresponding area of the rear image differs depending on the position of the divided area, the amount of misalignment according to the amount of movement of the work 1 is different for each divided area.
  • the plurality of images continuously captured by the camera 8 and continuously acquired by the defect detection PC 22 in time series are the same as the images acquired by the first surface defect detection process. is there.
  • FIG. 16 shows a plurality of images A21 and A22 continuously acquired in chronological order. In this example, two images are shown, but the number of images is actually larger. In the images A21 and A22, the light and dark patterns appearing in the images are omitted. These images A21 and A22 are divided into a plurality of regions 1 to p in a direction orthogonal to the moving direction of the work (vertical direction in FIG. 16). Regions 1 to p have the same size at the same position (same coordinates) in the images A21 and A22.
  • the imaging range corresponding to the images in each region 1 to p in, for example, the image A21 acquired from the camera 8 is the original region 1 as shown by an arrow in the subsequent next image A22.
  • the position is shifted in the moving direction by the amount of movement of the work 1 with respect to each of ⁇ p. Therefore, by shifting the positions of the regions 1 to p in the image A22 by the position shift amount S according to the movement amount of the work, each region 1 to p in the image A21 and each region 1 to after the position shift of the image A22 are shifted.
  • p is the same imaging range on the work 1.
  • the original image A21 and each subsequent image are sequentially shifted by the position shift amount S by sequentially shifting the regions 1 to p of each subsequent image.
  • the imaging range for each of the regions 1 to p can be matched.
  • the amount of deviation from the original regions 1 to p differs for each region 1 to p.
  • the amount of misalignment between the region corresponding to the straight portion and the region corresponding to the curved portion in the image is not the same. It also differs depending on the perspective with respect to the camera 8. Therefore, even if all the regions 1 to p are shifted by a uniform amount of positional shift, the same imaging range is not always obtained depending on the region.
  • the position shift amount S is calculated and set for each of the areas 1 to p. Specifically, the average magnification information in the area is obtained for each area 1 to p from the camera information, the camera position information, the three-dimensional shape of the work, and the position information of the work. Then, the position shift amount S is calculated for each of the areas 1 to p from the obtained magnification information and the approximate movement speed assumed in advance, and is used as the position shift amount S for each of the areas 1 to p.
  • the amount of movement on the image is related to the imaging magnification of the camera and the speed of the work.
  • the imaging magnification of the camera depends on (1) the focal length of the lens and (2) the distance from the camera to each part of the workpiece to be imaged. Regarding (2), the amount of movement in the part near the camera on the image is larger than that in the part far from the camera. If the 3D shape of the work 1 and the installation position of the camera 8 and the position / orientation of the work 1 are known, it is possible to calculate where the point of interest in the image captured at a certain moment appears.
  • the work 1 moves and the position changes, it is possible to calculate how many pixels the same point of interest moves on the image in two consecutive images. For example, considering a case where a sensor having a focal length of 35 mm and a pixel size of 5.5 ⁇ m moves a work by 1.7 mm between adjacent images, the distance to the work 1 (Zw) is as shown in the graph of FIG. However, the moving distance in the screen is 18 to 10 pixels because of 600 to 1100 mm.
  • the distance difference may be ⁇ 5 cm. Areas are divided on the image so that the distance difference from the camera is within ⁇ 5 cm from each other. The average amount of misalignment between consecutive images is calculated from the approximate moving speed of the work 1 for each divided area. For each region 1 to p, three types of misalignment amounts can be set, including the misalignment amount and the misalignment amount of ⁇ 1 pixel. However, the amount of misalignment is not limited to three types, and the distance difference is not limited to ⁇ 5 cm.
  • the set position shift amount S for each of the areas 1 to p is stored in the table of the storage unit in the defect detection PC 22 in association with the areas 1 to p, and the same position shift amount can be set for the imaging site, for example, the work 1. For the same shape part and the same type of work, it is set by calling the position shift amount from the table.
  • a predetermined number of consecutive images are combined for each of a plurality of areas 1 to p.
  • the images of each region are superimposed in a state where the positions of each region 1 to p are shifted by the set position shift amount S, and the superimposed image is calculated for each pixel of the corresponding coordinates.
  • the composite image at least one of an image synthesized by calculating a statistical variation value such as a standard deviation image, a phase image, a phase difference image, a maximum value image, a minimum value image, and an average value image is given. be able to.
  • preprocessing such as background removal and binarization is performed on the composite image, for example, the standard deviation image, defect candidates are extracted, and then, if necessary, operations different from the processing at the time of defect candidate extraction are performed.
  • Surface defects are detected using a composite image.
  • the surface defect detection standard may be freely selected, and only the presence or absence of the defect may be determined, or the type of the defect may be determined by comparison with the reference defect or the like.
  • the criteria for determining the presence or absence of defects and the types of defects may be set according to the characteristics of the work and the defects, may be changed by machine learning or the like, or new criteria may be created.
  • the detection result of surface defects is displayed on the display 25.
  • the developed view of the work (vehicle body) is displayed on the display 25, and the position and type of the surface defect are displayed on the developed view so as to be known.
  • a plurality of captured images A21 and A22 continuously acquired from the camera in time series are divided into a plurality of regions 1 to p, and a plurality of captured images A21 and A22 are divided into a plurality of regions 1 to p. Since the images are combined and the defect detection is performed based on the combined image, the composite image includes the information of a plurality of images. Therefore, since defect detection can be performed using a large amount of information for one defect candidate, even a small surface defect can be detected with high accuracy and stability while suppressing over-detection and erroneous detection. it can.
  • the corresponding areas are shifted in order from the areas 1 to p of the previous image A21 with respect to the areas 1 to p of the rear image A22. Since the images of each other are combined, the area of the previous image and the corresponding area of the subsequent image are the same imaging range of the work 1, and it is possible to combine multiple images with the imaging range of the work 1 matched. Become. Further, since the position shift amount is set for each of the divided areas 1 to p, the error in the imaging range is minimized as compared with the case where a uniform position shift amount is applied to all the divided areas 1 to p. It can be suppressed to the limit. Therefore, it is possible to detect surface defects with higher accuracy.
  • a position shift amount candidate is set under a plurality of conditions from a slow speed to a high speed, including the assumed movement speed. Then, each position shift amount candidate is applied to create a composite image, defect detection is performed as necessary, and the position shift amount S having the highest evaluation from the comparison is adopted.
  • a plurality of position shift amount candidates are set for each region 1 to p under different conditions, and the position shift amount candidate with the highest evaluation is compared from the comparison when the images are combined with each position shift amount candidate.
  • a suitable position shift amount S can be set for each of the regions 1 to p, and surface defects can be detected with higher accuracy. .. [2-2] Modification example 2 regarding the amount of position shift
  • the position shift amount S for each region 1 to p may be set as follows. That is, as shown in the graph of FIG. 17, if the moving distance of the work 1 between adjacent images is known, the amount of misalignment on the image can be calculated. In the above example, the position shift amount is set based on the work movement speed assumed in advance.
  • the appropriate amount of position shift for each frame when creating a composite image may be determined based on the actually measured work position. In this case, it is possible to save the trouble of selecting the optimum position shift amount from the plurality of position shift amounts.
  • the method of measuring the work position is as follows.
  • the same part of the work 1 or the support member that moves in the same manner as the work 1 is imaged by a position-dedicated camera in which a plurality of the support members are arranged in the moving direction of the work 1, and the position information of the work is obtained from the image.
  • the work 1 has a characteristic hole, the hole or a mark installed on a table that holds and moves the work 1 is used as a target for measuring the position or speed of the work 1.
  • a plurality of cameras different from the camera 8 are arranged in a row in the traveling direction of the work 1 so as to look at the side surface of the work from the side of the work 1.
  • a plurality of lateral fields of view are connected, they are arranged so as to cover the entire length of the work 1.
  • the magnification can be calculated from the distance from the camera to the work 1 and the focal length of the camera. Based on the magnification, the actual position can be obtained from the position on the image.
  • the positional relationship of each camera is known, and the position of the work 1 can be obtained from the image information of each camera.
  • an appropriate position shift amount can be obtained from the image of the camera 8 for defect extraction. For example, for each area virtually divided on the work 1 so that the distance difference on the work seen from the camera is ⁇ 5 cm, the average on the image between adjacent images according to the movement amount of the work 1. The amount of movement is determined, and a composite image is created as the amount of position shift at the time of superimposition.
  • Deformation example 3 regarding the amount of position shift In the second modification, the position of the work was determined by using a plurality of cameras arranged side by side.
  • the work 1 or the same part of the support member that moves in the same way as the work 1 is measured by a measurement system including a distance sensor, a speed sensor, a vibration sensor alone, or a combination thereof, and the work is measured. You may ask for location information.
  • the target is a part of the work 1 or the same part of the support member that moves in the same manner as the work 1.
  • a sensor that detects the work position passing through the reference point + a distance sensor or "a sensor that detects the passage of the reference point + a speed sensor + an imaging time interval of adjacent images” is used.
  • the work position can be obtained directly.
  • the work position when each image is captured can be obtained by multiplying the speed information from the speed sensor by the imaging interval.
  • an appropriate position shift amount can be obtained from the image of the camera 8 for defect extraction. For example, for each area virtually divided on the work 1 so that the distance difference on the work seen from the camera is ⁇ 5 cm, the average on the image between adjacent images according to the movement amount of the work 1. The amount of movement is determined, and a composite image is created as the amount of position shift at the time of superimposition.
  • FIG. 18 is a flowchart showing the contents of the third surface defect detection process executed by the defect detection PC 22.
  • This surface defect detection process shows in more detail the contents of the pre-stage process of step S06 and the post-stage process of step S08 in FIG. Further, this surface defect detection process is executed by operating the processor in the defect detection PC 22 according to an operation program stored in an internal storage device such as a hard disk device.
  • step S31 the master PC 21 acquires the individual information acquired in step S02 of FIG. 5 and the initial information such as the setting of the parameters set in step S03 and the setting of the inspection range on the vehicle body from the master PC 21.
  • step S32 the images A21 and A22 captured by the camera 8 are acquired, and then in step S33, each image A21 and A22 is divided into a plurality of regions 1 to p.
  • step S35 a plurality of position shift amount candidates are set for each of the divided regions 1 to p based on the position of the work 1 and the moving speed (step S34).
  • step S36 a plurality of images whose positions are shifted by a plurality of position shift amount candidates for one region are combined to create a plurality of composite image candidates for each region, and then in step S37, the created positions are created.
  • the position shift amount candidate with the highest evaluation is set as the position shift amount with respect to the regions 1 to p, and a plurality of images are recombined and composited for each region according to the position shift amount. Create an image.
  • step S38 after performing preprocessing such as background removal and binarization on the composite image, defect candidates are extracted in step S39.
  • preprocessing such as background removal and binarization
  • step S40 after creating a large number of defect candidate image groups from which defect candidates have been extracted, the process proceeds to step S41. .. Steps S32 to S40 are pre-stage processing.
  • step S41 it is determined whether or not the vehicle body has exited the inspection range based on the information from the master PC 21. If the inspection range is not exited (NO in step S41), the process returns to step S32 and the acquisition of the image from the camera 8 is continued. If the vehicle body has left the inspection range (YES in step S41), the defect detection process is performed on the defect candidate image group in step S42. Step S42 is a post-stage process. After the defect is detected, the detection result is output to the display 25 or the like in step S43.
  • FIG. 19 is a flowchart showing details of steps S32 to S40 of the flowchart of FIG. 18, which is a pre-stage process in the surface defect detection process, and the same step numbers are assigned to the same processes as those of the flowchart of FIG.
  • the camera 8 continuously takes an image while moving the work 1, and the defect detection PC 22 takes the final image from the first image taken in step S32. Get up to the image of the times.
  • the case where the images from the nth image to the (n + m-1) image is used will be illustrated.
  • each image is divided into, for example, p image regions of regions 1 to p.
  • step S35 q position shift amount candidates are set for each p region, and in step S36, q position shift amount candidates are applied for each p image region to obtain q composite image candidates. create. That is, q composite images are created for each of the regions 1 to p.
  • step S37-1 the composite image having the highest evaluation value is selected for each region from the region 1 to the region p, and both the position shift candidates corresponding to the selected composite image are used as the position shift amount for the image region. decide.
  • step S37-2 a composite image is created by applying the determined position shift amount for each of the areas 1 to p.
  • step S38 Subsequent pre-processing (step S38), defect candidate extraction processing (step S39), and defect candidate image group creation processing (step S40) are the same as those in FIG. 18, so description thereof will be omitted.
  • step S40 Creation of standard deviation image, etc.
  • the image is captured in time series by the camera 8.
  • a plurality of images to be combined were created based on the plurality of overlapping images in the imaging range, and the plurality of images were combined into one image to obtain a composite image.
  • an image synthesized by calculating statistical variation values such as a standard deviation image can be considered.
  • Statistical variation values include at least one of variance, standard deviation, and full width at half maximum. Either can be calculated, but here, a case where the standard deviation is calculated and combined will be described.
  • FIG. 17 is a flowchart showing a process of creating a standard deviation image. The processing shown in FIG. 20 and the subsequent flowcharts is executed by the defect detection CPU operating according to the operation program stored in the storage unit or the like.
  • step S51 the original images (N images) to be combined are generated, and in step S52, the sum of squares of the brightness values (hereinafter, also referred to as pixel values) of the first original image is calculated for each pixel.
  • step S53 the sum of the pixel values is calculated for each pixel. In the first sheet, both the sum of squares and the sum calculation are the results of only the first sheet.
  • step S54 it is checked whether or not there is the next image, and if there is (YES in step S54), the process returns to step S52, and the pixel value of each pixel of the second image is squared and the corresponding image of the first image is obtained. Add to the squared value of the pixel value.
  • step S53 each pixel value of the second sheet is added to each corresponding pixel value of the first sheet.
  • Such processing is performed for N images in order, and the sum of squares of each pixel value and the sum of each pixel value are calculated for each corresponding pixel of the N images.
  • step S54 When the above processing for N sheets is completed (NO in step S54), the average of the sums of the pixel values calculated in step S53 is calculated in step S55, and then the square of the average of the sums is calculated in step S56. ..
  • step S57 after calculating the root mean square, which is the average value of the sum of squares of each pixel value calculated in step S52, in step S57, the variance is expressed as ⁇ (root mean square)-(square of average) ⁇ . Ask from. Then, in step S59, the standard deviation, which is the square root of the variance, is obtained.
  • the standard deviation thus obtained is preferably normalized, and a composite image is created based on the result.
  • the variance or the half width is used as the statistical variation value, the calculation may be performed in the same manner.
  • Surface defect detection processing is performed based on the created composite image.
  • the detection process may be performed in the same manner as the first surface defect detection process and the third surface defect detection process.
  • FIG. 18 shows a graph of the illuminance for the work 1 of the lighting unit 6 that illuminates the light and dark patterns.
  • the top 71 of the waveform shows a bright band and the bottom 72 shows a dark band.
  • the rising and falling portions 73 of the waveform from the bright band to the dark band or from the dark band to the bright band are actually not vertical but inclined.
  • the pixel value becomes an intermediate gradation, which affects the variation.
  • such a halftone pixel value affects the variation and causes a decrease in defect detection accuracy. Therefore, it is desirable to exclude such intermediate gradation pixel values from the sampling candidates for the variation calculation, so that the variation is calculated only for the selected optimum sampling candidate.
  • the variation is calculated by subtracting two intermediate gradation pixel values from the pixel values of a plurality of pixels.
  • the number of images is an odd number, it is preferable to subtract one intermediate gradation pixel value from the pixel values of a plurality of pixels to calculate the variation.
  • the statistical variation value is obtained only for the optimum sampling candidate. Is calculated, and the influence of pixels excluded from sampling candidates can be suppressed. Therefore, even when the number of images to be combined is small, defect detection can be performed with high accuracy. It can be created.
  • FIG. 22 is a flowchart showing a process of creating a standard deviation image by excluding the pixel value of the intermediate gradation from the sampling candidates of the variation calculation and performing the variation calculation only for the selected optimum sampling candidate. is there.
  • step S61 a plurality of (N) original images are generated, and then in step S62, sampling data which is a pixel value for N images is sorted in each pixel of each image, and one value (N) of the median value is sorted. Is odd) or binary (N is even) is removed.
  • step S63 the standard deviation is calculated for each pixel with the values of N-1 (N is odd) or N-2 (N is even).
  • the standard deviation thus obtained is preferably normalized, and a composite image is created based on the result.
  • the variance or the half width is used as the statistical variation value, the calculation may be performed in the same manner.
  • Another Embodiment 2 Concerning Standard Deviation Image
  • imaging is performed a plurality of times (N times) for one cycle of the illumination pattern. N times may be a small number.
  • N-1 sampling data N-1 sampling data for each pixel.
  • Pixel value when the number of images is even, the standard deviation is calculated from N-2 sampling data. That is, in the case of an odd number, the standard deviation is calculated by the combination of N-1 selected from N pixel values for each pixel (NCN-1)), and in the case of an even number, N pixel values are calculated for each pixel. Calculate the standard deviation with the combination of N-2 selected from the (NCN-2)). Then, the maximum standard deviation is determined as the standard deviation for the pixel from the standard deviations obtained for each pixel (NCN-1)) or (NCN-2)) (maximum value processing).
  • step S71 the original image (N images) to be combined is generated, the sum of squares of the pixel values is calculated for each pixel for the first original image in step S72, and then the pixel value for each pixel is calculated in step S73. Calculate the sum of. In the first sheet, both the sum of squares and the sum calculation are the results of only the first sheet.
  • step S74 the square value of each pixel value of the first sheet is stored, and in step S75, each pixel value (original) of the first sheet is stored.
  • step S76 it is checked whether or not there is the next image, and if there is (YES in step S76), the process returns to step S72, squares the pixel value of each pixel of the second image, and corresponds to each of the first images. Add to the squared value of the pixel value.
  • step S73 each pixel value of the second sheet is added to each corresponding pixel value of the first sheet.
  • step S74 the square value of each pixel value of the second sheet is stored, and in step S75, each pixel value (original) of the second sheet is stored.
  • Such processing is performed for N images in order, and the sum of squares of each pixel value and the sum of each pixel value are calculated for each corresponding pixel of the N images. Further, the square value and the pixel value (original) of each image value of each of the N images are stored.
  • the sum of squares for N-1 images is calculated for each pixel by subtracting it from the sum of squares of the pixel values of each pixel in all images.
  • step S78 each pixel value of the first image is subtracted from the sum of the pixel values of all the images calculated in step S73 to calculate the sum of N-1 images.
  • step S79 the average of the sums of N-1 sheets calculated in step S78 is calculated, and then in step S80, the square of the average of the sums is calculated.
  • step S81 after calculating the root mean square, which is the average value of the sum of squares of N-1 sheets calculated in step S77, in step S82, the variance is ⁇ (root mean square)-(root mean square) ⁇ . It is calculated from the formula of. Then, in step S83, the standard deviation, which is the square root of the variance, is obtained.
  • step S84 the maximization process is performed in step S84.
  • this value is the maximum.
  • I 2
  • the sum of squares of each pixel value of the second image and the pixel value are subtracted
  • the standard deviation is calculated in the same manner
  • the maximization process is performed in step S85.
  • the maximization process the standard deviation when the first sheet is subtracted and the standard deviation when the second sheet is subtracted are compared, and the larger standard deviation is adopted.
  • the standard deviation obtained in this way is preferably normalized, and a composite image is created based on the result.
  • the variance or the half width is used as the statistical variation value, the calculation may be performed in the same manner.
  • a predetermined number of images are excluded from the calculation target in order from a plurality of images, and the statistical variation value of each pixel is calculated, so that the optimum sampling candidate can be easily selected. Moreover, since the maximum value of the calculated variation value is adopted as the variation value for the pixel, a composite image having a higher S / N ratio can be created.
  • the present invention can be used to detect surface defects of workpieces such as vehicle bodies.

Abstract

表面欠陥の検出対象であるワーク（１）の同一位置に周期的な輝度変化を生じさせる照明装置（６）によりワークを照明した状態で、撮像手段（８）が連続的にワークを撮像することにより得られた複数の画像であって、周期的な輝度変化の１周期において得られた複数の画像を用い、複数の画像における統計的なばらつき値を計算して合成画像を作成し、作成された合成画像に基づいて欠陥検出を行う。

Description

ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム
　この発明は、表面欠陥の検出対象である車体等のワークに、例えば明暗パターンのような周期的な輝度変化を生じさせる照明光をワークの塗装面等の被測定部位に照射したときに、撮像手段により得られる複数の画像に基づいて合成画像を作成し、この合成画像に基づいて表面欠陥の検出を行うワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラムに関する。
　複数の画像を合成して合成画像を作成しワークの表面を検査する方法では、処理時間の短縮のため、少ない枚数の画像から合成画像を作成し、かつ検査画像としての品質を保つことが必要である。このような検査方法に用いられる合成画像として、従来から、上限値や下限値、または上限値と下限値の差分を用いて作成した合成画像が知られている。例えば特許文献１には、周期的な輝度変化の振幅幅、平均値、下限値及び位相差、並びに上限値およびコントラストの少なくともいずれかを用いて新規画像を生成し、欠陥を検出する技術が開示されている。
特許第５９９４４１９号公報
　しかしながら、特許文献１に記載の検査方法を含め、従来の検査方法に用いられる合成画像は、単発で発生したノイズに対する感度が高い（Ｓ／Ｎ比が低い）うえ、合成する画像の枚数が一定以上になると欠陥検出精度の向上につながらない、といった問題がある。しかも、振幅値や位相値を用いた画像合成は、計算コストが高くなるという問題もある。
　この発明はこのような技術的背景に鑑みてなされたものであって、画像枚数が少なくてもＳ／Ｎ比が高く欠陥検出精度も高い合成画像を作成してワークの表面欠陥の検出を行うことができる、ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラムを提供することを目的とする。
　上記目的は以下の手段によって達成される。
（１）表面欠陥の検出対象であるワークの同一位置に周期的な輝度変化を生じさせる照明装置によりワークを照明した状態で、撮像手段が連続的にワークを撮像することにより得られた複数の画像であって、前記周期的な輝度変化の１周期において得られた複数の画像を用い、前記複数の画像における統計的なばらつき値を計算して合成画像を作成する画像合成手段と、前記画像合成手段により作成された合成画像に基づいて欠陥検出を行う検出手段と、を備えたワークの表面欠陥検出装置。
（２）前記統計的なばらつき値は、分散、標準偏差、半値幅の少なくともいずれかである前項１に記載のワークの表面欠陥検出装置。
（３）前記画像合成手段は、前記統計的なばらつき値の計算を画素毎に行うと共に、前記複数の画像の各画素に関して選択された最適なサンプリング候補に対して行う前項１または２に記載の表面欠陥検出装置。
（４）前記画像合成手段は、前記複数の画像から、各画素におけるばらつき値低減要因となる中間階調のサンプリング値を除外した上でばらつき値の計算を行い、当該画素についてのばらつき値として採用する前項３に記載の表面欠陥検出装置。
（５）表面欠陥の検出対象であるワークの同一位置に周期的な輝度変化を生じさせる照明装置と、前記照明装置によりワークを照明した状態で、連続的にワークを撮像する撮像手段と、前項１～４のいずれかに記載のワークの表面欠陥検出装置と、を備えたワークの表面検査システム。
（６）表面欠陥の検出対象であるワークの同一位置に周期的な輝度変化を生じさせる照明装置によりワークを照明した状態で、撮像手段が連続的にワークを撮像することにより得られた複数の画像であって、前記周期的な輝度変化の１周期において得られた複数の画像を用い、前記複数の画像における統計的なばらつき値を計算して合成画像を作成する画像合成ステップと、前記画像合成ステップにより作成された合成画像に基づいて欠陥検出を行う検出ステップと、をワークの表面欠陥検出装置が実行するワークの表面欠陥検出方法。
（７）前記統計的なばらつき値は、分散、標準偏差、半値幅の少なくともいずれかである前項６に記載のワークの表面欠陥検出方法。
（８）前記画像合成ステップでは、前記統計的なばらつき値の計算を画素毎に行うと共に、前記複数の画像の各画素に関して選択された最適なサンプリング候補に対して行う前項６または７に記載のワークの表面欠陥検出方法。
（９）前記画像合成ステップでは、前記複数の画像から、各画素におけるばらつき値低減要因となる中間階調のサンプリング値を除外した上でばらつき値の計算を行い、当該画素についてのばらつき値として採用する前項８に記載のワークの表面欠陥検出方法。
（１０）前項６～９のいずれかに記載のワークの表面欠陥検出方法をコンピュータに実行させるためのプログラム。
　前項（１）（５）及び（６）に記載の発明によれば、周期的な輝度変化の１周期において得られた複数の画像を用い、複数の画像における統計的なばらつき値を計算して合成画像が作成され、この作成された合成画像に基づいて欠陥検出が行われるから、合成対象となる画像の枚数が少なくても、欠陥検出のＳ／Ｎ比が高い合成画像を作成でき、この合成画像を用いることで高精度な欠陥検出を行うことができ、不要な欠陥候補の検出を減らし、かつ必要な欠陥のものが死を防ぐことができる。しかも、最大値や最小値等を用いて合成画像を作成する場合に比べて、コストも安価となる。
　前項（２）及び（７）に記載の発明によれば、分散、標準偏差、半値幅の少なくともいずれかを計算して、合成画像が作成される。
　前項（３）及び（８）に記載の発明によれば、統計的なばらつき値の計算を画素毎に行うと共に、複数の画像の各画素に関して選択された最適なサンプリング候補に対して行うから、特に合成される画像の枚数が少ない場合に、最適なサンプリング候補のみにより統計的なばらつき値の計算が行われ、サンプリング候補から除外された画素の影響を抑制することができる。
　前項（４）及び（９）に記載の発明によれば、前記複数の画像から、各画素におけるばらつき値低減要因となる中間階調のサンプリング値を除外した上でばらつき値の計算を行い、当該画素についてのばらつき値として採用するから、よりＳ／Ｎ比が高い合成画像を作成できる。
　前項（１０）に記載の発明によれば、周期的な輝度変化の１周期において得られた複数の画像を用い、複数の画像における統計的なばらつき値を計算して合成画像を作成し、この作成した合成画像に基づいて欠陥検出を行う処理をコンピュータに実行させることができる。
この発明の一実施形態に係るワークの表面検査システムの構成例を示す平面図である。 ワークの進行方向前方から見たときの照明フレームの垂直断面図である。 ワークの進行方向前方から見たときのカメラフレームの垂直断面図である。 図１に示したワークの表面検査システムにおける電気的な構成を示す平面図である。 ワークの表面欠陥検査システム全体の処理を示すフローチャートである。 （Ａ）は１台のカメラから時系列で連続的に取得された画像、（Ｂ）は（Ａ）の最初の画像に対する後続画像において仮欠陥候補の座標を推定した状態を示す図、（Ｃ）は推定領域画像群の各画像を重ね合わせて合成画像を作成する処理を示す図、（Ｄ）は推定領域画像群の各画像を重ね合わせて合成画像を作成する他の処理を示す図である。 推定領域画像の中心座標を、画像における明帯部と暗帯部の境界から欠陥候補の位置に応じて補正する処理を説明するための図である。 （Ａ）～（Ｄ）は、推定領域画像群の各画像を異なる態様で重ね合わせて合成画像を作成する処理を示す図である。 仮欠陥候補の抽出処理の一例を説明するための図である。 欠陥検出ＰＣで実行される第１の表面欠陥検出処理の内容を示すフローチャートである。 図１０のステップＳ１７のマッチング処理をより詳細に説明するためのフローチャートである。 図１０のステップＳ１７のマッチング処理の変形例を説明するためのフローチャートである。 図１０のフローチャートのステップＳ１２～Ｓ１８の詳細を示すフローチャートである。 欠陥検出ＰＣで実行される第２の表面欠陥検出処理を示すフローチャートである。 図１４のフローチャートのステップＳ１２～Ｓ１８の詳細を示すフローチャートである。 第３の表面欠陥検出処理を説明するための図で、連続的に時系列で取得される複数（この例では２枚）の画像を示す図である。 ワーク（車体）の位置と像面変位量の関係の一例を示すグラフである。 欠陥検出ＰＣで実行される第３の表面欠陥検出処理の内容を示すフローチャートである。 図１８のフローチャートのステップＳ３２～Ｓ４０の詳細を示すフローチャートである。 標準偏差画像の作成処理を示すフローチャートである。 明暗パターンの照明を行う照明装置のワークに対する照度のグラフを示す図である。 標準偏差画像の作成処理の他の例を示すフローチャートである。 標準偏差画像の作成処理の他の例を示すフローチャートである。
　以下、この発明の実施形態を図面に基づいて説明する。
　図１は、この発明の一実施形態に係るワークの表面検査システムの構成例を示す平面図である。この実施形態では、ワーク１が車体であり、ワーク１の被測定部位が車体表面の塗装面であり、塗装面の表面欠陥を検出する場合を示す。一般的に、車体表面は下地処理、メタリック塗装、クリア塗装等が施され、多層構造の塗膜層が形成されるが、塗装中の異物等の影響で最上層のクリア層に凹凸状の欠陥が生じる。この実施形態では、このような欠陥の検出に適用されるが、ワーク１は車体に限定されることはなく、車体以外のワークであっても良い。また、被測定部位は塗装面以外の表面であっても良い。
　この検査システムは、ワーク１を矢印Ｆ方向へ所定の速度で連続的に移動させるワーク移動機構２を備えている。ワーク移動機構２の長さ方向の中間部には、ワークの移動方向の前後に２つの照明フレーム３、３が、ワークの移動方向と直交する方向の両下端部を支持台４、４に固定された状態で取り付けられている。また、各照明フレーム３、３は２本の連結部材５、５で相互に連結されている。照明フレームは２つに限定されない。
　各照明フレーム３は、車体の進行方向前方から見て、図２の垂直断面図に示すように門形に形成されるとともに、各照明フレーム３にはワーク１を照明するための照明ユニット６が取り付けられている。照明ユニット６は、この実施形態では、照明フレーム３の内側形状に沿ってワーク１の下面を除く周面を取り囲むように取り付けられた線状照明部を有し、この線状照明部の複数個が、ワーク１の移動方向において等間隔で照明フレーム３に取り付けられている。従って、照明ユニット６はワーク１の移動方向において交互に存在する照明部と非照明部とで構成される明暗縞パターンの照明光でワークを拡散照明するようになっている。照明ユニットは曲面であっても構わない。
　前後の２つの照明フレーム３、３の中間部には、カメラフレーム７が、ワークの移動方向と直交する方向の両下端部を支持台４、４に固定された状態で取り付けられている。また、カメラフレーム７はワーク１の進行方向前方から見て、図３の垂直断面図に示すように門形に形成されるとともに、カメラフレーム７にはその内側形状に沿って、ワーク１の下面を除く周面を取り囲むように撮像手段としての複数のカメラ８が取り付けられている。
　このような構成により、ワーク１をワーク移動機構２により所定の速度で移動させながら、かつ照明ユニット６による明暗縞パターンの照明光でワーク１を拡散照明した状態で、カメラフレーム７に取り付けられた複数のカメラ８で、ワーク１の周方向の各部を被測定部位として、連続的に撮像する。撮像は、前後の撮像において撮像範囲の大部分が重なるように行われる。これにより、各カメラ８からはワーク１の被測定部位の位置がワーク１の移動方向に連続的にずれた複数の画像が出力される。
　図４は、図１に示したワークの表面検査システムにおける電気的な構成を示す平面図である。
　ワーク１の移動領域にはワーク１の移動方向に沿って入り側から順に、第１の位置センサ１１、車種情報検知センサ１２、第２の位置センサ１３、車体速度センサ１４、第３の位置センサ１５が備えられている。
　第１の位置センサ１１は、次のワーク１が検査領域に近付いたことを検出するセンサである。車体情報検知センサ１２は、検査対象となる車体のＩＤ、車種、色、仕向地情報等を検出するセンサである。第２の位置センサ１３は、ワーク１が検査領域に進入したことを検出するセンサである。車体速度センサ１４は、ワーク１の移動速度を検知して計算によりワーク１の位置をモニタするものであるが、位置センサによりワーク位置を直接的にモニタしても良い。第３の位置センサ１５は、ワーク１が検査領域から退出したことを検出するセンサである。
　ワークの表面欠陥検査システムはさらに、マスターＰＣ２１、欠陥検出ＰＣ２２、ＨＵＢ２３、ＮＡＳ（Network Attached Storage）２４、ディスプレイ２５等を備えている。
　マスターＰＣ２１は、ワークの表面欠陥検査システムの全体を統括的に制御するパーソナルコンピュータであり、ＣＰＵ等のプロセッサ、ＲＡＭ等のメモリ、ハードディスク等の記憶装置、その他のハードウェア及びソフトウェアを備えている。マスターＰＣ２１はＣＰＵによる機能の一つとして、移動制御部２１１、照明ユニット制御部２１２、カメラ制御部２１３等を備えている。
　移動制御部２１１は移動機構２の移動停止や移動速度等を制御し、照明ユニット制御部２１２は照明ユニット６の点灯制御を行い、カメラ制御部２１３はカメラ８に対する撮像制御を行う。カメラ８による撮像は、マスターＰＣ２１からカメラ８に連続的に送信されるトリガー信号に応答して連続的に行われる。
　欠陥検出ＰＣ２２は、表面欠陥の検出処理を実行する表面欠陥検出装置であり、ＣＰＵ等のプロセッサ、ＲＡＭ等のメモリ、ハードディスク等の記憶装置、その他のハードウェア及びソフトウェアを備えたパーソナルコンピュータによって構成されている。欠陥検出ＰＣ２２はＣＰＵによる機能の一つとして、画像取得部２２１、仮欠陥候補抽出部２２２、座標推定部２２３、欠陥候補決定部２２４、画像群作成部２２５、画像合成部２２６、欠陥検出部２２７等を備えている。
　画像取得部２２１は、カメラ８により時系列で連続的に撮像され、ＧｉｇＥ（ギガビット イーサネット）によりカメラ８から送信されてくる複数の画像を取得する。仮欠陥候補抽出部２２２は、画像取得部２２１で取得されたカメラ８からの複数の画像を基に仮欠陥候補を抽出し、座標推定部２２３は抽出された仮欠陥候補の後続の画像における座標を推定する。欠陥候補決定部２２４は推定された仮欠陥候補の座標と、実際の仮欠陥候補とのマッチングを行って欠陥候補を決定し、画像群作成部２２５は決定された欠陥候補の周りの領域を切り出して、画像を合成するための複数の画像からなる画像群を作成する。画像合成部２２６は作成された画像群の各画像を１つの画像に合成し、欠陥検出部２２７は合成された画像から欠陥の検出、判別を行う。欠陥検出ＰＣ２２におけるこれら各部による具体的な表面欠陥の検出処理については後述する。
　ＮＡＳ２４はネットワーク上の記憶装置であり、各種のデータを保存する。ディスプレイ２５は、欠陥検出ＰＣ２２で検出された表面欠陥を、ワーク１である車体の位置情報に対応させた状態で表示するものであり、ＨＵＢ２３は、マスターＰＣ２１、欠陥検出ＰＣ２２、ＮＡＳ２４、ディスプレイ２５等との間でデータの送受信を行う機能を有する。
　次に、欠陥検出ＰＣ２２で実施される欠陥検出処理について説明する。
　ワーク１を移動機構２により所定の速度で移動させながら、照明ユニット６により明暗縞パターンの照明光でワーク１を周囲から照明した状態で、マスターＰＣ２１から各カメラ８に連続的にトリガー信号を送信し、各カメラ８でワーク１の被測定部位を連続的に撮像する。マスターＰＣ２１は、前後の撮像において撮像範囲の大部分が重なるように、撮像間隔換言すればトリガー信号の間隔を設定する。このような撮像により、各カメラ８からは、ワーク１の被測定部位の位置がワーク１の移動に応じて移動方向に連続的にずれた複数の画像が得られる。
　このような複数の画像は、本実施形態のように、固定の照明ユニット６及びカメラ８に対してワーク１のみが移動する場合のみならず、ワーク１を固定して照明ユニット６及びカメラ８をワーク１に対して移動させた場合や、ワーク１とカメラ８を固定して照明ユニット６を移動させた場合の、カメラ８からも得ることができる。つまり、ワーク１と、照明ユニット６の少なくとも一方を移動させることにより、ワーク１に対し照明ユニット６の明暗パターンが相対的に移動すれば良い。
　各カメラ８により得られた複数の画像は、欠陥検出ＰＣ２２に送信され、欠陥検出ＰＣ２２の画像取得部２２１は各カメラ８から送信されてきた複数の画像を取得する。欠陥検出ＰＣ２２は、これらの画像を用いて表面欠陥の検出処理を実行する。
　ワークの表面検査システムの全体の処理を図５のフローチャートに示す。
　ステップＳ０１で、マスターＰＣ２１は、ワーク１が検査範囲に近付いたかどうかを第１の位置センサ１１の信号に基づいて判断し、近付いていなければ（ステップＳ０１でＮＯ）、ステップＳ０１にとどまる。近付くと（ステップＳ０１でＹＥＳ）、ステップＳ０２でマスターＰＣ２１は、車体情報検知センサ１２からの信号に基づいて、検査対象となる車体のＩＤ、車種、色、仕向地情報等の個体情報を取得し、ステップＳ０３で、初期情報設定として例えば検査システムのパラメータの設定、車体上の検査範囲の設定等を行う。
　ステップＳ０４で、マスターＰＣは、ワーク１が検査範囲に進入したかどうかを第２の位置センサ１３の信号に基づいて判断し、進入していなければ（ステップＳ０４でＮＯ）、ステップＳ０４にとどまる。進入すると（ステップＳ０４でＹＥＳ）、ステップＳ０５で、移動するワーク１をカメラ８により時系列に、撮像範囲の大部分が重なった状態で撮像する。次に、ステップＳ０６で、欠陥検出ＰＣ２２による表面欠陥検出処理における前段処理を実施する。前段処理について後述する。
　ステップＳ０７では、ワーク１が検査範囲から退出したかどうかを第３の位置センサ１５の信号に基づいて判断する。退出していなければ（ステップＳ０７でＮＯ）、ステップＳ０５にもどり、撮像と前段処理を続ける。ワーク１が検査範囲から退出すると（ステップＳ０７でＹＥＳ）、ステップＳ０８では、欠陥検出ＰＣ２２による表面欠陥検出処理における後段処理を実施する。つまりこの実施形態では、ワーク１に対する全ての撮像の終了後に、後段処理が実施される。後段処理については後述する。
　後段処理後、ステップＳ０９で、表面欠陥の検出処理の結果をディスプレイ２５等に表示する。
　次に、欠陥検出ＰＣ２２によって実施される、ステップＳ０６の前段処理とステップＳ０８の後段処理を含む表面欠陥検出処理について具体的に説明する。
［１］第１の表面欠陥検出処理
　上述したように、欠陥検出ＰＣ２２は、ワーク１の被測定部位の位置が移動方向に連続的にずれた複数の画像を、各カメラ８から取得する。この様子を図６に示す。同図（Ａ）のＡ１１～Ａ１７は１台のカメラ８から時系列で連続的に取得された画像である。画像中に表示された、縦方向に延びる明帯（白色部分）と暗帯（黒色部分）が横方向に交互に存在する明暗パターンは、照明ユニット６による照明光の明暗縞パターンに対応している。
　欠陥検出ＰＣ２２の仮欠陥候補抽出部２２２は、各画像から仮欠陥候補を抽出する。仮欠陥候補の抽出は、例えば背景除去や二値化等の処理を行うことで実行される。この例では、Ａ１１～Ａ１７の全ての画像において仮欠陥候補３０を抽出したとする。
　次に、座標推定部２２３は、抽出した各画像の仮欠陥候補３０について仮欠陥候補３０の位置である代表座標を演算するとともに、代表座標の周囲の所定領域を仮欠陥候補領域とする。さらに、演算した仮欠陥候補の代表座標が、後続の画像Ａ１２～Ａ１７のそれぞれに対してどの座標に移動するかを、ワーク１の移動量等に基づいて演算し、各画像における推定座標を求める。例えば、画像Ａ１１で抽出された仮欠陥候補３０が、後続の画像Ａ１２～Ａ１７のそれぞれに対してどの座標に移動するかを演算し、各画像における推定座標を求める。
　画像Ａ１１の後続画像Ａ１２～Ａ１７において仮欠陥候補３０の推定座標４０を推定した状態を図６（Ｂ）の各画像Ｂ１２～Ｂ１７に示す。なお、画像Ｂ１２～Ｂ１７は、画像Ａ１２～Ａ１７における仮欠陥候補３０を除去した画像と同じである。図６（Ｂ）では途中の画像の何枚かについては省略している。また、画像に現れる明暗パターンも省略している。
　次に、欠陥候補決定部２２４は、図６（Ａ）に示す画像Ａ１１の後続画像Ａ１２～Ａ１７と、仮欠陥候補３０の推定座標４０を求めた図６（Ｂ）の各画像Ｂ１２～Ｂ１７のうち、画像Ａ１２と画像Ｂ１２、画像Ａ１３と画像Ｂ１３、・・・画像Ａ１７と画像Ｂ１７のように、対応する画像同士のマッチングを行う。マッチングは、推定座標４０とその画像における実際の仮欠陥候補３０とが対応するかどうかを判定する。具体的には、推定座標４０が、その画像における実際の仮欠陥候補３０についての所定の仮欠陥候補領域に含まれるかどうかを判定することにより行われる。なお、推定座標４０から予め設定された所定範囲内に、仮欠陥候補３０が存在するかどうかを判定し、或いは仮欠陥候補３０の代表座標から予め設定された所定範囲内に、対応する画像の推定座標４０が存在するかどうかを判定することにより、推定座標４０とその画像における実際の仮欠陥候補３０とが対応するかどうかを判定しても良い。推定座標４０とその画像における仮欠陥候補３０とが対応する場合、元の画像Ａ１１に含まれる仮欠陥候補３０と、後続の画像に含まれる仮欠陥候補３０は同じと見なすことができる。
次に、マッチングの結果、推定座標４０とその画像における実際の仮欠陥候補３０とが対応する（マッチングする）画像の数を調べ、その数が予め設定された閾値以上かどうかを判断する。そして、閾値以上の場合には、仮欠陥候補３０が実際に存在する蓋然性が高いことから、各画像の仮欠陥候補３０を欠陥候補として決定する。図６（Ａ）及び（Ｂ）の例では、画像Ａ１１の後続画像Ａ１２～Ａ１７の全てについて、マッチングがとれている。つまり、推定座標４０がその画像における仮欠陥候補３０についての仮欠陥候補領域に含まれている。推定座標４０と実際の仮欠陥候補３０とが対応する画像の数が予め設定された閾値以上でない場合は、その仮欠陥候補３０が欠陥候補である可能性は高くないと考えられるため、マッチングは中止し、次の仮欠陥候補３０の抽出を行う。
　次に、画像群作成部２２５は、欠陥候補が含まれている全ての画像について、図６（Ａ）の各画像Ａ１１～Ａ１７に四角の枠線で囲んだように、欠陥候補における代表座標の周りの所定領域を推定領域として切り出して、同図（Ｃ）に示すように、複数の推定領域画像Ｃ１１～Ｃ１７からなる推定領域画像群を作成する。なお、欠陥候補が含まれている全ての画像ではなく、そのうちの複数枚であっても良いが、画像数が多い方が情報量が多くなり、精度の高い表面検査を行える点で望ましい。また、推定領域は、元の画像Ａ１１の推定領域を先ず求め、その推定領域の各画像内での位置をワーク１の移動量から算出することにより行われても良い。
　こうして作成した推定領域画像群の各推定領域画像Ｃ１１～Ｃ１７を、画像合成部２２６が重ね合わせて合成し、図６（Ｃ）に示す１つの合成画像５１を作成する。重ね合わせは、各推定領域画像Ｃ１１～Ｃ１７の中心座標において行う。合成画像５１の一例として、標準偏差画像等のように統計的なばらつき値を計算して合成した画像、位相画像、位相差画像、最大値画像、最小値画像、平均値画像の少なくともいずれかを挙げることができる。標準偏差画像等のように統計的なばらつき値を計算して合成した画像については後述する。
　次に、欠陥検出部２２７は、作成した合成画像５１を用いて表面欠陥の検出を行う。表面欠陥の検出基準は自由に選択されて良い。例えば、図６（Ｃ）の信号グラフ６１で示されるように、信号が基準値以上の場合に欠陥有りと判別することで、欠陥の有無のみを検出しても良い。或いは、基準欠陥等との比較から欠陥の種別を判別しても良い。なお、欠陥の有無や欠陥種別の判定基準は機械学習等により変更されても良いし、新たな基準が作成されても良い。
　表面欠陥の検出結果はディスプレイ２５に表示される。望ましくは、ディスプレイ２５にワーク（車体）１の展開図を表示すると共に、展開図の上に表面欠陥の位置と種別が分かるように表示するのが良い。
　このように、この実施形態では、欠陥候補が含まれている複数の画像Ａ１１～Ａ１７から切り出された複数の推定領域画像Ｃ１１～Ｃ１７を１つの合成画像５１に合成し、この合成画像５１に基づいて欠陥検出が行われるから、合成画像５１には複数の画像の情報が含まれることになる。このため、１つの欠陥候補について多量の情報を用いて欠陥検出を行うことができるから、小さな表面欠陥であっても、過検出、誤検出を抑制しながら高精度で安定した検出を行うことができる。
また、推定座標４０とその画像における実際の仮欠陥候補３０とが対応する画像が予め設定された閾値以上存在する場合に、合成画像が作成され、欠陥検出が行われるから、欠陥が存在する可能性の高い場合に欠陥検出を行うことができ、処理負荷が小さくて済み検出効率が向上するうえ、検出精度も良くなる。
　しかも、融合された画像に対して、それぞれ異なる複数の変換処理を実施する必要もない。
［１－１］合成画像作成時の変形例１
　ところで、複数の推定領域画像Ｃ１１～Ｃ１７を、各画像の中心座標において重ね合わせて合成するだけでは、精度を出せない場合がある。
　そこで、各推定領域画像Ｃ１１～Ｃ１７の中心座標の補正を行って、重ね合わせるのが望ましい。中心座標の補正の一例は、各画像における明暗パターン内の相対位置に基づいて行われる。具体的には、明暗パターンの明帯部や暗帯部の中央に欠陥が存在している場合は、左右対称形状になりやすいが、図７に例えば推定画像Ｃ１４を例に示すように、明帯部１２０内で暗帯部１１０との境界部に近いと、欠陥候補３０の境界部側は暗くなる。逆に、暗帯部１１０内で境界部に近いと境界部側は明るくなる。このため、例えば重心位置演算を行うと欠陥候補３０の中心位置３０ａから偏る。偏る位置は境界からの位置と相関があるので、境界からの位置Ｌに応じて画像の中心座標を補正する。
　図６（Ｄ）は、中心位置を補正した各推定領域画像Ｃ１１～Ｃ１７を、中心位置において重ね合わせて合成し、合成画像５２を作成する様子を示す図である。同図（Ｃ）の合成画像５１及び信号グラフ６１に較べて、シャープな合成画像５２が得られ、信号グラフ６２における信号高さも高くなっている。このため、精度の高い合成画像５２を作成することができ、ひいては高精度の表面欠陥検出を行うことができる。
［１－２］合成画像作成時の変形例２
　複数の推定領域画像Ｃ１１～Ｃ１７を、各画像の中心座標において重ね合わせて合成するだけでは精度を出せない場合の、他の合成画像作成法を図８に基づいて説明する。
　図６（Ｃ）の推定領域画像Ｃ１１～Ｃ１７の作成までは同じである。この例では、推定領域画像Ｃ１１～Ｃ１７の位置合わせを、各画像の中心座標をそれぞれ種々の位置合わせ量で左右方向（ｘ方向）及び上下方向（ｙ方向）の少なくとも一方にずらした複数の組み合わせで試行する。そして、その中から評価値が最大の組み合わせを採用する。図８では（Ａ）～（Ｄ）の４種類について重ね合わせを行っている。得られた合成画像をそれぞれ５３～５６、合成画像に基づく信号グラフを６３～６６に示す。図８の例では、最も高い信号が得られた（Ｂ）を採用する。
　このように、合成画像作成時の複数の推定領域画像Ｃ１１～Ｃ１７の位置合わせを、各画像の中心座標を互いにＸ座標及びＹ座標方向の少なくとも一方にずらした複数の組み合わせの中から評価値が最大になるように行うから、さらに精度の高い合成画像を作成することができ、ひいては高精度の表面欠陥検出を行うことができる。
［１－３］仮欠陥候補抽出処理の一例
　仮欠陥候補抽出部２２２による、サイズが大きく曲率変化が緩い仮欠陥候補の抽出処理例について説明する。
　まず、明暗縞パターンの照明を用いた本方法の原理に戻って説明する。
　照明光がワーク１の表面で反射して、カメラ８の各画素に入射する。逆に言えば、各画素に入射する光は、各画素が睨む範囲で、各画素から出た視線がワーク１の表面で反射して到達した領域からの光である。照明がなければ暗い、照明があれば明るい画素信号が得られる。欠陥がなくワーク１が平面であれば、各画素に対応する照明上の領域は点に近い。欠陥がある場合、ワーク１の表面の変化は (1)曲率変化、(2)面の傾き、の２種類がある。
(1)図９（Ａ）に示すように、仮欠陥候補３０によりワーク１の表面が曲率変化を持っていると、視線の方向が変わるが、さらに、各画素が睨む領域が広がる。その結果、各画素が対応する領域が点ではなく広がった領域となり、その領域内の平均的な輝度が画素信号に対応する。つまり、仮欠陥候補３０の形状変化が急な場合は、各画素が睨む領域内で曲率変化が大きくなり、視線の傾きに加えて面積の広がりが無視できなくなる。睨む領域の拡大は信号の照明分布の平均化となる。明暗縞パターン照明（図９では白抜き部分が明、黒塗り部分が暗）で、領域が広がると、広がり方に応じた明暗両方の領域の平均的な値が得られる。この現象が生じる部分の明暗縞パターンが順次移動する場合、標準偏差画像でその影響が捉えられる。
(2)図９（Ｂ）に示すように、仮欠陥候補３０によりワーク１の表面が曲率半径が大きく、ほぼ平面のまま傾くと、対応する領域は点のままだが、傾いていない面とは異なる方向を向く。仮欠陥候補３０が大きい（形状変化が緩やかな）場合は、各画素が睨む領域は同じで視線方向が変わることが支配的となり、曲率変化は緩やかになる。標準偏差画像ではその変化は捉えられない。欠陥が大きな場合は、無欠陥部と欠陥部の面の傾きの違いが位相画像で検出できる。無欠陥部であれば、位相画像では、縞と平行方向の位相は同じで、縞と垂直な方向は縞の周期に応じて、一定の位相変化を生じる。欠陥部であれば、位相画像では、上記位相の規則性が乱れる。例えば、Ｘ方向、Ｙ方向の位相画像を見ることで、緩やか曲面変化をもつ仮欠陥候補が検出できる。
　小さい仮欠陥候補用、大きい仮欠陥候補欠陥用の２種類のルーチンで、いずれの仮欠陥候補をも抽出できる。いずれかで抽出された候補を仮欠陥候補とすればよい。
　ところで、検出した仮欠陥候補３０のサイズを結果として報告したい場合を考える。目視による欠陥サイズと画像から検出した欠陥のサイズの相関は、欠陥表面の面の傾きが所定の角度となる部分の近似円から関係づけられる。欠陥サイズが小さい場合は、一定の線形関係がみられるが、欠陥サイズが大きく、面傾斜が緩やかな欠陥は非線形な関係である。よって、位相画像で検出された緩やかな仮欠陥候補３０は、欠陥信号と欠陥サイズが線形の関係にないため、別に求めた検量線から補正する必要がある。
［１－４］糸ブツ欠陥の検出
　欠陥検出部２２７による欠陥検出の一例として、糸ブツの検出処理について説明する。
　糸ブツは、糸状の異物が塗料下部に閉じ込められた欠陥で、円形ではなく、細長い。線幅方向は小さくても（例えば０．２ｍｍ未満）長手方向が長い（例えば５ｍｍ以上）ものが存在する。幅方向は非常に狭いため、小さく、長手方向は緩やかな曲率変化を持つ。仮欠陥候補の抽出と同様の小さい欠陥用、大きな欠陥（傾斜が緩やかな欠陥）用の検出方法だけでは見逃すことがある。所定の処理後に二値化、粒子化され、各部分の面積によって欠陥かどうか判断される。
　糸ブツは幅が狭いが長さがあるため、適性に検出されれば所定の面積が得られる。しかし、糸ブツは、長手方向が明暗パターンが伸びる方向と平行な場合に検出されやすく、垂直な場合は見つけにくい。長手方向で欠損部が生じ、実際より短く、つまり、粒子化された面積が小さめに出やすい。
　そこで、位相画像から求めた欠陥の形状情報を基に、長手方向に一定の伸びがある場合、つまり真円度が所定の値より低い場合には、面積判定の閾値を小さくすることで糸ブツの未検出を抑制する。
［１－５］フローチャート
　図１０は、欠陥検出ＰＣ２２で実行される表面欠陥検出処理の内容を示すフローチャートである。この表面欠陥検出処理は、図５のステップＳ０６の前段処理及びステップＳ０８の後段処理の内容をさらに詳細に示したものである。また、この表面欠陥検出処理は、欠陥検出ＰＣ２２内のプロセッサがハードディスク装置等の内蔵記憶装置に格納された動作プログラムに従って動作することにより実行される。
　ステップＳ１１で、マスターＰＣ２１が図５のステップＳ０２で取得した個体情報、およびステップＳ０３で設定されたパラメータの設定や車体上の検査範囲の設定等の初期情報を、マスターＰＣ２１から取得する。
　次にステップＳ１２で、カメラ８で撮像された画像を取得したのち、ステップＳ１３で前処理、例えば、初期設定情報等に基づいて画像に対する位置情報の設定等を実施する。
　次いでステップＳ１４で、各画像から仮欠陥候補３０を抽出した後、ステップＳ１５で、１つの仮欠陥候補３０について、ワーク１の移動量を算出することにより、ステップＳ１６で、その仮欠陥候補３０の後続する画像における座標を推定して推定座標４０とする。
　ステップＳ１７ではマッチングを行う。つまり、推定座標４０がその画像における実際の仮欠陥候補３０についての所定の仮欠陥候補領域内に存在するかどうかを判定し、マッチングのとれた画像の数が予め設定された閾値以上の場合、ステップＳ１８で、各画像の仮欠陥候補３０を欠陥候補として決定する。
　ステップＳ１９では、欠陥候補を有する全ての画像について、欠陥候補における代表座標の周りの所定領域を推定領域として切り出して、複数の推定領域画像Ｃ１１～Ｃ１７からなる推定領域画像群を作成したのち、ステップＳ２０に進む。ステップＳ１２～Ｓ１９が前段処理である。
　ステップＳ２０では、ワーク１である車体は検査範囲から退出したかどうかを、マスターＰＣ２１からの情報に基づいて判断する。検査範囲から退出していなければ（ステップＳ２０でＮＯ）、ステップＳ１２に戻り、カメラ８からの画像の取得を続ける。車体が検査範囲から退出していれば（ステップＳ２０でＹＥＳ）、ステップＳ２１で、各推定領域画像Ｃ１１～Ｃ１７の位置合わせ量を設定する。そして、ステップＳ２２で、各推定領域画像Ｃ１１～Ｃ１７を合成して合成画像を作成した後、ステップＳ２３で欠陥検出処理を行う。ステップＳ２１～Ｓ２３が後段処理である。欠陥検出後、ステップＳ２４で検出結果をディスプレイ２５等に出力する。
　ステップＳ１７のマッチング処理について、図１１のフローチャートを参照して詳細に説明する。
　ステップＳ２０１では、仮欠陥候補３０とマッチングしている画像の枚数の変数であるＫをゼロにセットし、ステップＳ２０２では、仮欠陥候補３０とマッチングしているかどうかの判断対象となる画像の枚数の変数であるＮをゼロにセットする。
　ステップＳ２０３では仮欠陥候補３０を抽出した後、ステップＳ２０４でＮにＮ＋１をセットする。次いでステップＳ２０５で、仮欠陥候補３０と推定座標４０が一致しているかどうかを判断する。一致していれば（ステップＳ２０５でＹＥＳ）、ステップＳ２０６でＫにＫ＋１をセットしたのち、ステップＳ２０７に進む。ステップＳ２０５で、仮欠陥候補３０と推定座標４０が一致していなければ（ステップＳ２０５でＮＯ）、ステップＳ２０７に進む。
　ステップＳ２０７では、Ｎが所定の画像枚数（ここでは７枚）に達したかどうかを調べ、達していなければ（ステップＳ２０７でＮＯ）、ステップＳ２０３に戻り、次の画像について仮欠陥候補３０を抽出する。Ｎが所定の画像枚数に達した場合（ステップＳ２０７でＹＥＳ）、ステップＳ２０８で、Ｋが予め設定された所定の閾値（ここでは５枚）以上かどうかを判断する。閾値以上でなければ（ステップＳ２０８でＮＯ）、ステップＳ２０１に戻る。従って、この場合は以後の推定領域画像の切り出し処理や画像合成処理は行われず、Ｎ及びＫがリセットされて、次の仮欠陥候補３０の抽出が行われる。
　Ｋが閾値以上であれば（ステップＳ２０８でＹＥＳ）、ステップＳ２０９で、仮欠陥候補３０を欠陥候補として決定してその情報を保存した後、ステップＳ２１０で、マッチングのとれたＫ枚の画像について推定領域画像を切り出す。そして、ステップＳ２１１で、切り出したＫ枚の推定領域画像を合成した後、ステップＳ２１２で、表面欠陥を検出したかどうかを判断する。表面欠陥が検出されると（ステップＳ２１２でＹＥＳ）、ステップＳ２１３で、表面欠陥と確定してその情報を保存したのち、ステップＳ２１４に進む。表面欠陥が検出されない場合（ステップＳ２１２でＮＯ）、そのままステップＳ２１４に進む。
　ステップＳ２１４では、ワークの全ての検査対象部位について検出処理が行われたかどうかを調べ、行われていなければ（ステップＳ２１４でＮＯ）、ステップＳ２０１にもどり、Ｎ及びＫがリセットされて、次の仮欠陥候補３０の抽出が行われる。全ての検査対象部位について検出処理が行われていれば（ステップＳ２１４でＹＥＳ）、処理を終了する。
　このようにこの実施形態では、仮欠陥候補３０と推定座標４０とが対応（マッチング）する画像の枚数Ｋが閾値以上でない場合は、マッチングする画像が少なく仮欠陥候補３０が欠陥候補である可能性が高くないため、その後の処理は中止し、マッチングする画像がＫ以上であれば仮欠陥候補３０が欠陥候補である可能性が高いため、推定領域画像の切り出し、画像合成及び欠陥検出が行われる。このため、推定領域画像の切り出し、画像合成及び欠陥検出が、マッチングした画像の枚数に関係なく実行される場合に較べて、処理負荷が小さくて済み検出効率が向上するうえ、検出精度も良くなる。
　図１２は、図１０のステップＳ１７のマッチング処理の変形例を説明するためのフローチャートである。この例では、画像枚数Ｎが所定枚数に達する前に、マッチングした画像枚数Ｋが一定値に達していない場合、仮欠陥候補３０が欠陥候補である可能性が高くないと判断して、その時点でその後の処理を中止する構成となっている。
　ステップＳ２２１では、仮欠陥候補３０とマッチングしている画像の枚数の変数であるＫをゼロにセットし、ステップＳ２２２では、仮欠陥候補３０とマッチングしているかどうかの判断対象となる画像の枚数の変数であるＮをゼロにセットする。
　ステップＳ２２３では仮欠陥候補３０を抽出した後、ステップＳ２２４でＮにＮ＋１をセットする。次いでステップＳ２２５で、仮欠陥候補３０と推定座標４０が一致しているかどうかを判断する。一致していれば（ステップＳ２２５でＹＥＳ）、ステップＳ２２６でＫにＫ＋１をセットしたのち、ステップＳ２２７に進む。ステップＳ２２５で、仮欠陥候補３０と推定座標４０が一致していなければ（ステップＳ２２５でＮＯ）、ステップＳ２２７に進む。
　ステップＳ２２７では、Ｎが第２の所定の画像枚数（ここでは８枚）に達したかどうかを調べ、達していれば（ステップＳ２２７でＹＥＳ）、ステップＳ２２８で、Ｋが予め設定された第２の閾値（ここでは４枚）に達したかどうかを調べ、達していなければ（ステップＳ２２８でＮＯ）、ステップＳ２２１に戻る。従って、この場合は以後の推定領域画像の切り出し処理や画像合成処理は行われず、Ｎ及びＫがリセットされて、次の仮欠陥候補３０の抽出が行われる。
　ステップＳ２２８で、Ｋが第２の閾値に達していれば（ステップＳ２２８でＹＥＳ）、ステップＳ２２９に進む。ステップＳ２２７で、Ｎが第２の所定の画像枚数（８枚）に達していない場合も（ステップＳ２２７でＮＯ）、ステップＳ２２９に進む。
　ステップＳ２２９では、Ｎが第１の所定枚数（ここでは９枚）に達したかどうかを調べ、達していなければ（ステップＳ２２９でＮＯ）、ステップＳ２２３に戻り、次の画像について仮欠陥候補３０を抽出する。Ｎが第１の所定枚数に達した場合（ステップＳ２２９でＹＥＳ）、ステップＳ２３０で、Ｋが予め設定された第１の閾値（ここでは５枚）以上かどうかを判断する。第１の閾値以上でなければ（ステップＳ２３０でＮＯ）、ステップＳ２０１に戻る。従って、この場合は以後の推定領域画像の切り出し処理や画像合成処理は行われず、Ｎ及びＫがリセットされて、次の仮欠陥候補３０の抽出が行われる。
　Ｋが第１の閾値以上であれば（ステップＳ２３０でＹＥＳ）、ステップＳ２３１で、仮欠陥候補３０を欠陥候補として決定してその情報を保存した後、ステップＳ２３２で、マッチングのとれたＫ枚の画像について推定領域画像を切り出す。そして、ステップＳ２３３で、切り出したＫ枚の推定領域画像を合成した後、ステップＳ２３４で、表面欠陥を検出したかどうかを判断する。表面欠陥が検出されると（ステップＳ２３４でＹＥＳ）、ステップＳ２３５で、表面欠陥と確定してその情報を保存したのち、ステップＳ２３６に進む。表面欠陥が検出されない場合（ステップＳ２３４でＮＯ）、そのままステップＳ２３６に進む。
　ステップＳ２３６では、ワークの全ての検査対象部位について検出処理が行われたかどうかを調べ、行われていなければ（ステップＳ２３６でＮＯ）、ステップＳ２０１にもどり、Ｎ及びＫがリセットされて、次の仮欠陥候補３０の抽出が行われる。全ての検査対象部位について検出処理が行われていれば（ステップＳ２３６でＹＥＳ）、処理を終了する。
　このようにこの実施形態では、図１１のフローチャートで示した実施形態と同じ効果を奏するのに加えて、次のような効果を奏する。即ち、仮欠陥候補３０を抽出した画像の枚数Ｎが、第２の設定値よりも少ない第１の設定値の段階つまり途中の段階で、仮欠陥候補３０と推定座標４０とが対応（マッチング）する画像の枚数Ｋが第２の閾値よりも少ない第１の閾値に達していなければ、マッチングする画像が少なく仮欠陥候補３０が欠陥候補である可能性が高くないと判断して、最終画像までマッチング処理を継続することなく、その後の処理は中止する。このため、無駄な処理が継続されることがなくなるから、処理負荷をさらに軽減でき、検出精度をさらに向上できる。
　図１３は、表面欠陥検出処理における前段処理である図１０のフローチャートのステップＳ１２～Ｓ１８の詳細を示すフローチャートであり、図１０のフローチャートと同一の処理については同一のステップ番号を付している。
　１つのワーク１が検査範囲に進入し検査範囲から退出するまで、ワーク１を移動させながらカメラ８により連続的に撮像が行われ、欠陥検出ＰＣ２２はステップＳ１２で、撮像１回目の画像から撮像最終回の画像までを取得する。ここでは、１つの仮欠陥候補３０が撮影される画像が、撮像ｎ回目の画像から撮像（ｎ+ｍ－１）回目の画像であるとする。
　ステップＳ１３では各画像を前処理した後、ステップＳ１４では、撮像ｎ回目から撮像（ｎ+ｍ－１）回目の各画像について、仮欠陥候補３０を抽出すると共に、抽出した仮欠陥候補３０の代表座標と仮欠陥候補領域を求める。次にステップＳ１６で、仮欠陥候補の代表座標が、後続の画像のそれぞれに対してどの座標に移動するかを、ステップＳ１５でのワーク１の移動量算出等に基づいて演算し、各画像における推定座標４０を求める。
　ステップＳ１７では、後続する画像毎にマッチングを行い、マッチングが採れた画像が閾値（例えばｍ個）以上の場合は、ステップＳ１８で、仮欠陥候補３０を欠陥候補として決定する。ステップＳ１９では各画像について推定領域を算出し、複数の推定領域画像Ｃ１１～Ｃ１７からなる推定領域画像群を作成する。
［２］第２の表面欠陥検出処理
　上記の第１の表面欠陥検出処理では、欠陥検出ＰＣ２２は、カメラ８から時系列で連続的に取得された画像の中から仮欠陥候補３０を抽出するものとした。
　仮欠陥候補３０の抽出方法は限定されないが、以下のような処理を行って、仮欠陥候補３０を抽出する構成とするのが、欠陥部位が強調されてより精度の高い仮欠陥候補３０の抽出を行いうる点で望ましい。
　即ち、カメラ８から取得された各画像Ａ１１～Ａ１７（図６に示す）に対して二値化処理を実施したのちに閾値を適用するか、またはコーナー検出関数の適用によって、画像の特徴点を抽出する。そして、抽出された各特徴点に対し多次元の特徴量を求めることにより、仮欠陥候補３０を抽出しても良い。
　より望ましくは、特徴点の抽出前に、カメラ８から取得された各画像を二値化し、輪郭抽出した上で、所定回数の膨張及び収縮を行った画像を引き算して、明帯と暗帯の境界部分を除去するゆず肌マスクを作成する。この作成されたマスクを適用して明帯と暗帯の境界部分をマスクした後の各画像の特徴点を抽出するのが良く、これによって更に精度良く仮欠陥候補を抽出できる。
　また、仮欠陥候補３０の抽出は、画像の特徴点の抽出後、抽出された各特徴点に対し、周囲の特定範囲の全画素について、当該画素からの縦横斜め全方向の輝度勾配情報を基に多次元の特徴量を求めることにより行われても良い。
　仮欠陥候補３０の抽出後は、上述した第１の表面欠陥検出処理と同様にして、複数の推定領域画像Ｃ１１～Ｃ１７からなる推定領域画像群を作成したのち、この推定領域画像群を用いて、仮欠陥候補毎に欠陥検出を行う。
　このように、第２の表面欠陥検出処理では、カメラ８から取得されたワーク１の被測定部位の位置が連続的にずれた複数の画像について、画像の特徴点を抽出し、抽出された各特徴点に対し多次元の特徴量を求めることにより、仮欠陥候補３０を抽出するから、仮欠陥候補３０の高精度な抽出を行うことができ、ひいては高精度な表面欠陥検出を行うことができる。
　しかも、抽出された仮欠陥候補３０の座標が求められ、仮欠陥候補３０が抽出された画像に後続する複数の画像のそれぞれに対して、仮欠陥候補３０の座標がどの座標に移動するかを演算して推定座標４０が求められ、この推定座標４０とその画像における仮欠陥候補３０とが対応するかどうかが判定され、後続する画像のうち、推定座標４０と仮欠陥候補とが対応する画像が、予め設定された閾値以上存在すれば仮欠陥候補３０が欠陥候補として決定される。そして、決定された欠陥候補毎に、欠陥候補が含まれている複数の画像の中から、欠陥候補の周りの所定領域を推定領域として切り出して、複数の推定領域画像Ｃ１１～Ｃ１７からなる推定領域画像群が作成されるとともに、作成された推定領域画像群に基づいて欠陥判別が行われる。
　つまり、欠陥候補が含まれている複数の推定領域画像Ｃ１１～Ｃ１７には、１つの欠陥候補について複数の情報が含まれているから、より多くの情報を用いて欠陥検出を行うことができる。このため、小さな表面欠陥であっても、過検出、誤検出を抑制しながら高精度で安定した検出を行うことができる。
［２－１］フローチャート
　図１４は、欠陥検出ＰＣで実行される第２の表面欠陥検出処理を示すフローチャートである。なお、ステップＳ１１～Ｓ１３、ステップＳ１５～Ｓ２０は、図１０のステップＳ１１～Ｓ１３、ステップＳ１５～Ｓ２０と同じであるので、同一のステップ番号を付し、説明は省略する。
　ステップＳ１３の前処理後、ステップＳ１４１でゆず肌マスクを作成し、ステップＳ１４２で、作成したゆず肌マスクを適用して特徴点を抽出する。
　次いでステップＳ１４３で、抽出された各特徴点に対し多次元の特徴量を計算し、ステップＳ１４４で仮欠陥候補３０を抽出したのち、ステップＳ１６に進む。
　ステップＳ２０でワーク１である車体が検査範囲から退出した場合（ステップＳ２０でＹＥＳ）、ステップＳ２３で、作成した推定領域画像群を用いて欠陥判別処理を実行し、ステップＳ２４で判別結果を表示する。
　図１５は、図１４のフローチャートのステップＳ１２～Ｓ１８の詳細を示すフローチャートであり、図１４のフローチャートと同一の処理については同一のステップ番号を付している。なお、ステップＳ１２、Ｓ１３、Ｓ１５～Ｓ１９については、図１３のステップＳ１２、Ｓ１３、Ｓ１５～Ｓ１９の処理と同じであるので、説明は省略する。
　ステップＳ１３の前処理後、ステップＳ１４１で、各画像に対するそれぞれのゆず肌マスクを作成する。ステップＳ１４２では、作成したゆず肌マスクを各画像に適用して各画像の特徴点を抽出する。
　ステップＳ１４３では、抽出された各画像の各特徴点に対し多次元の特徴量を計算し、ステップＳ１４４で、各画像について仮欠陥候補を抽出したのち、ステップＳ１６に進む。
［３］第３の表面欠陥検出処理
　上述した第１の表面欠陥検出処理は、各画像Ａ１１～Ａ１７において仮欠陥候補３０を抽出したのち欠陥候補を決定し、欠陥候補の周囲の推定領域を算出し、複数の推定領域画像Ｃ１１～Ｃ１７を合成して欠陥検出を行った。
　これに対し、第３の表面欠陥検出処理では、カメラ８から取得した連続的な時系列の複数の画像を、それぞれ複数の領域に分割するとともに、前後複数の画像同士を対応する領域において合成した後に、欠陥を検出する。ただし、ワーク１は移動していることから、前の画像の領域で示されるワーク１の撮像範囲と後の画像の領域で示されるワーク１の撮像範囲とは同一ではなく、ワーク１の移動量に応じて撮像位置が異なっているため、ワーク１の移動量に応じた位置ずらし量だけ前の画像の領域に対する後の画像の領域の位置をずらして合成する。また、前の画像の領域と後の画像の対応する領域の位置ずれ量は、分割された領域の位置によって異なるため、ワーク１の移動量に応じた位置ずらし量は、分割された領域毎に設定される。
　以下、詳細に説明するが、カメラ８で連続的に撮像され、欠陥検出ＰＣ２２により連続的に時系列で取得される複数の画像は、第１の表面欠陥検出処理で取得される画像と同じである。
　図１６に、連続的に時系列で取得される複数の画像Ａ２１、Ａ２２を示す。この例では２枚を示すが、画像の数は実際にはもっと多い。なお、画像Ａ２１、Ａ２２では画像に現れる明暗パターンは省略している。これらの画像Ａ２１、Ａ２２を、ワークの移動方向と直交する方向（図１６では上下方向）において、複数の領域１～ｐに分割する。領域１～ｐは画像Ａ２１、Ａ２２において同じ位置（同じ座標）で同じ大きさである。
　ワークが移動しているため、カメラ８から取得された例えば画像Ａ２１における各領域１～ｐ内の画像に対応する撮像範囲は、後続する次の画像Ａ２２では矢印で示すように、元の領域１～ｐに対して、それぞれワーク１の移動量だけ移動方向に位置がずれることになる。従って、画像Ａ２２における各領域１～ｐの位置を、ワークの移動量に応じた位置ずらし量Ｓだけずらすことによって、画像Ａ２１における各領域１～ｐと画像Ａ２２の位置ずらし後の各領域１～ｐが、ワーク１上の同じ撮像範囲となる。このような関係が前後の撮像画像における各領域１～ｐ間で生じるから、後続する各画像の領域１～ｐを、位置ずらし量Ｓだけ順次ずらすことによって、元の画像Ａ２１と後続する各画像の領域１～ｐ毎の撮像範囲を一致させることができる。
　しかしながら、図１６の画像Ａ２２に模式的に示すように、元の領域１～ｐに対するずれ量は、領域１～ｐ毎に相違する。例えば、１つのカメラ８による撮像範囲にワーク１の直線部分と湾曲部分が存在していた場合、画像における直線部分に対応する領域と湾曲部分に対応する領域の位置ずれ量は同じではない。また、カメラ８に対する遠近によっても相違する。このため、全ての領域１～ｐを一律の位置ずらし量でずらしても、領域によっては必ずしも同一の撮像範囲とはならない。
　そこで、この実施形態では、領域１～ｐ毎に位置ずらし量Ｓが算出され、設定されている。具体的には、カメラ情報、カメラ位置情報、ワークの三次元形状、ワークの位置情報、から領域１～ｐ毎に領域内の平均的な倍率情報を求める。そして、求めた倍率情報と、事前に想定されるおおよその移動速度から、領域１～ｐ毎に位置ずらし量Ｓを算出し、各領域１～ｐに対する位置ずらし量Ｓとする。
　ここで、位置ずらし量の算出について補足する。移動するワーク１を等時間間隔で複数枚撮像する場合を考える。連続する２枚の撮像画像間において、同一点の動き方に着目する。
　画像上の移動量は、カメラの撮像倍率、ワークの速度に関係する。カメラの撮像倍率は、(1)レンズ焦点距離、(2)カメラから撮像するワークの各部分までの距離に依存する。(2)について、画像上、カメラに近い部分は遠い部分に比べて移動量が多くなる。ワーク１の３Ｄ形状、さらにカメラ８の設置位置とワーク１の位置姿勢がわかると、ある瞬間に撮像された画像における着目点がどこに写るか計算できる。
　ワーク１が移動し、位置が変化した場合、連続する２枚の画像において、同じ着目点が画像上で何画素分移動するか計算できる。例えば、焦点距離３５ｍｍ、画素サイズが５．５μｍのセンサで、隣り合う画像間でワークが１．７ｍｍ移動する場合を考えると、図１７のグラフに示すように、ワーク１までの距離（Ｚｗ）が６００～１１００ｍｍよって、画面内での移動距離は１８画素～１０画素移動する。
　仮に、合成画像作成に必要な位置合わせ誤差を±１画素に抑えるならば、距離差が±５ｃｍになるようにすればよい。カメラとの距離差が互いに±５ｃｍ以内となるよう画像上で領域を区分する。区分した領域毎に、ワーク１のおおよその移動速度から、連続する画像間の平均的な位置ずれ量を計算する。各領域１～ｐ毎に、その位置ずれ量、±１画素のずれ量を合わせた３種類の位置ずれ量を設定することができる。ただし、位置ずれ量は３種類に限らないし、距離差も±５ｃｍに限らない。
　なお、設定した領域１～ｐ毎の位置ずらし量Ｓは欠陥検出ＰＣ２２内の記憶部のテーブルに領域１～ｐと関連付けて記憶され、同一の位置ずらし量を設定可能な撮像部位、例えばワーク１の同一形状部分や同一種類のワークに対しては、テーブルから位置ずらし量を呼び出すことで設定される。
　次に、設定された位置ずらし量Ｓで各領域１～ｐの位置をずらした状態で、連続する所定枚数の画像を複数の領域１～ｐ毎に合成する。合成は、設定された位置ずらし量Ｓで各領域１～ｐの位置をずらした状態で各領域の画像を重ね合わせるとともに、重ね合わさった画像で、対応する座標の画素毎に演算を行い、画素毎に合成画像を作成する。合成画像の一例として、標準偏差画像等のように統計的なばらつき値を計算して合成した画像、位相画像、位相差画像、最大値画像、最小値画像、平均値画像の少なくともいずれかを挙げることができる。
　次に、合成画像である例えば標準偏差画像に対して背景除去や二値化等の前処理を行い、欠陥候補を抽出したのち、必要に応じて、欠陥候補抽出時の処理とは異なる演算や合成画像を用いて、表面欠陥の検出を行う。表面欠陥の検出基準は自由に選択されて良く、欠陥の有無のみを判別しても良いし、或いは基準欠陥等との比較から欠陥の種別を判別しても良い。なお、欠陥の有無や欠陥種別の判別基準は、ワークと欠陥との特徴に応じて設定されれば良く、また機械学習等により変更されても良いし、新たな基準が作成されても良い。
　表面欠陥の検出結果はディスプレイ２５に表示される。望ましくは、ディスプレイ２５にワーク（車体）の展開図を表示すると共に、展開図の上に表面欠陥の位置と種別が分かるように表示するのが良い。
　このように、この実施形態では、カメラから時系列で連続的に取得された複数枚の撮像画像Ａ２１、Ａ２２を複数の領域１～ｐに分割するとともに、分割された領域１～ｐ毎に複数枚の画像を合成し、この合成画像に基づいて欠陥検出が行われるから、合成画像には複数の画像の情報が含まれることになる。このため、１つの欠陥候補について多量の情報を用いて欠陥検出を行うことができるから、小さな表面欠陥であっても、過検出、誤検出を抑制しながら高精度で安定した検出を行うことができる。
　しかも、ワーク１の移動量に応じて設定された位置ずらし量Ｓで、前の画像Ａ２１の領域１～ｐに対して後の画像Ａ２２の領域１～ｐを順にずらした状態で、対応する領域同士の画像が合成されるから、前の画像の領域と後の画像の対応する領域がワーク１の同じ撮像範囲となり、ワーク１の撮像範囲を一致させた状態で複数の画像の合成が可能となる。また、位置ずらし量は分割された領域１～ｐ毎に設定されるから、分割された全ての領域１～ｐに一律の位置ずらし量が適用される場合に較べて、撮像範囲の誤差を最小限に抑制することができる。このため、より高精度の表面欠陥の検出を行うことができる。
［２－１］位置ずらし量に関する変形例１
　上記の例では、分割した各領域１～ｐに応じた位置ずらし量Ｓを、各領域１～ｐの倍率情報と、事前に想定されるおおよその移動速度から、領域１～ｐ毎に算出したが、各領域１～ｐに対し複数の位置ずらし量を設定した結果から、位置ずらし量Ｓを設定しても良い。
　例えば、各領域１～ｐに対し、想定される移動速度を含み、遅い速度から速い速度まで複数の条件で位置ずらし量候補を設定する。そして、各位置ずらし量候補を適用してそれぞれ合成画像を作成し、さらに必要に応じて欠陥検出を行い、それらの比較から最も評価の高い位置ずらし量Ｓを採用する。
　このように、各領域１～ｐに対して異なる条件で複数の位置ずらし量候補が設定されるとともに、各位置ずらし量候補で画像を合成したときの比較から、最も評価の高い位置ずらし量候補が、その領域１～ｐに対する位置ずらし量Ｓとして採用されるから、領域１～ｐ毎に適した位置ずらし量Ｓを設定することができ、さらに高精度な表面欠陥の検出を行うことができる。
［２－２］位置ずらし量に関する変形例２
　領域１～ｐ毎の位置ずらし量Ｓの設定は次のようにして行われても良い。即ち、図１７のグラフのように、隣り合う画像間のワーク１の移動距離がわかれば、画像上での位置ずれ量が計算できる。前述の例では、あらかじめ想定されるワーク移動速度に基づいて、位置ずらし量を設定した。
　合成画像作成時の、各フレーム毎の適切な位置ずらし量は、実際に測定したワーク位置に基づいて決めてもよい。この場合、複数の位置ずらし量から最適な位置ずらし量を選定する手間が省ける。
　ワーク位置の測定方法について説明すると次のとおりである。ワーク１あるいはワーク１と同じ動きをする支持部材の同一の部位を、ワーク１の移動方向に複数台並べた位置専用カメラで撮像し、その画像からワークの位置情報を求める。まず、ワーク１に特徴的な穴部があればその穴部、あるいは、ワーク１を保持し移動する台に設置した目印を、ワーク１の位置あるいは速度測定のためのターゲットとする。
　ターゲットを検出するために、カメラ８とは別の複数台のカメラを用意する。例えばワーク１の側方からワーク側面を睨むように、ワーク１の進行方向に一列に配置される。複数台の横方向の視野をつなげるとワーク１の全長をカバーするように配置する。カメラからワーク１までの距離、カメラの焦点距離から倍率が計算できる。倍率に基づき、画像上の位置から実際の位置が求められる。各カメラ位置関係が既知で、各カメラの画像情報からワーク１の位置が求められる。
　上記複数台カメラからのワーク位置情報を対応付けすることで、欠陥抽出用のカメラ８の画像から適切な位置ずらし量が求められる。例えば、カメラから見たワーク上の距離差が±５ｃｍとなるようにワーク１上に仮想的に分割した領域毎に、ワーク１の移動量に応じた隣り合う画像間の画像上の平均的な移動量を決め、重ね合わせ時の位置ずらし量として合成画像を作成する。
［２－３］位置ずらし量に関する変形例３
　変形例２では、ワークの位置を、複数台並べたカメラを用いて求めた。その代わりに、ワーク１あるいはワーク１と同一の動きをする支持部材の同一の部位を、距離センサ、速度センサ、振動センサのいずれか単独、または、それらの組み合わせを含む計測システムで計測し、ワーク位置情報を求めてもよい。
　ワーク位置の測定方法について説明する。ワーク１の一部、またはワーク１と同じ動きをする支持部材の同一の部位をターゲットとする。ワーク位置の検出において、「ワーク位置を基準点通過を検知するセンサ＋距離センサ」、または、「基準点通過を検知するセンサ＋速度センサ＋隣り合う画像の撮像時間間隔」を用いる。前者は直接ワーク位置が求まる。後者は、速度センサからの速度情報に撮像間隔を掛け算することで、各画像が撮像されたときのワーク位置を求めることができる。
　上記のワーク位置情報を対応付けすることで、欠陥抽出用のカメラ８の画像から適切な位置ずらし量が求められる。例えば、カメラから見たワーク上の距離差が±５ｃｍとなるようにワーク１上に仮想的に分割した領域毎に、ワーク１の移動量に応じた隣り合う画像間の画像上の平均的な移動量を決め、重ね合わせ時の位置ずらし量として合成画像を作成する。
［２－４］フローチャート
　ワークの表面検査システムの全体の処理は、図５に示したフローチャートに従って実施される。
　図１８は、欠陥検出ＰＣ２２で実行される第３の表面欠陥検出処理の内容を示すフローチャートである。この表面欠陥検出処理は、図５のステップＳ０６の前段処理及びステップＳ０８の後段処理の内容をさらに詳細に示したものである。また、この表面欠陥検出処理は、欠陥検出ＰＣ２２内のプロセッサがハードディスク装置等の内蔵記憶装置に格納された動作プログラムに従って動作することにより実行される。
　ステップＳ３１で、マスターＰＣ２１が図５のステップＳ０２で取得した個体情報、およびステップＳ０３で設定されたパラメータの設定や車体上の検査範囲の設定等の初期情報を、マスターＰＣ２１から取得する。
　次にステップＳ３２で、カメラ８で撮像された画像Ａ２１、Ａ２２を取得したのち、ステップＳ３３で、各画像Ａ２１、Ａ２２を複数の領域１～ｐに分割する。一方、ワーク１の位置や移動速度（ステップＳ３４）等に基づいてステップＳ３５で、分割された領域１～ｐ毎に複数の位置ずらし量候補を設定する。
　次いでステップＳ３６で、１つの領域について、複数の位置ずらし量候補で位置をそれぞれずらした複数の画像を合成し、各領域について複数の合成画像候補を作成したのち、ステップＳ３７では、作成された位置ずらし量候補毎の合成画像の比較から、最も評価の高い位置ずらし量候補を、その領域１～ｐに対する位置ずらし量とし、その位置ずらし量にて領域毎に複数の画像を再度合成して合成画像を作成する。
　ステップＳ３８では、合成画像に対して背景除去や二値化等の前処理を実施したのち、ステップＳ３９で欠陥候補を抽出する。このような処理を複数の領域１～ｐ毎にかつ所定枚数の画像毎に実施することで、ステップＳ４０では、欠陥候補が抽出された多数の欠陥候補画像群を作成したのち、ステップＳ４１に進む。ステップＳ３２～Ｓ４０が前段処理である。
　ステップＳ４１では、車体は検査範囲から退出したかどうかを、マスターＰＣ２１からの情報に基づいて判断する。検査範囲から退出していなければ（ステップＳ４１でＮＯ）、ステップＳ３２に戻り、カメラ８からの画像の取得を続ける。車体が検査範囲から退出していれば（ステップＳ４１でＹＥＳ）、ステップＳ４２で、欠陥候補画像群について欠陥検出処理を行う。ステップＳ４２が後段処理である。欠陥検出後、ステップＳ４３で検出結果をディスプレイ２５等に出力する。
　図１９は、表面欠陥検出処理における前段処理である図１８のフローチャートのステップＳ３２～Ｓ４０の詳細を示すフローチャートであり、図１８のフローチャートと同一の処理については同一のステップ番号を付している。
　１つのワーク１が検査範囲に進入し検査範囲から退出するまで、ワーク１を移動させながらカメラ８により連続的に撮像が行われ、欠陥検出ＰＣ２２はステップＳ３２で、撮像１回目の画像から撮像最終回の画像までを取得する。ここでは、撮像ｎ回目の画像から撮像（ｎ+ｍ－１）回目までの画像を使用する場合を例示する。
　ステップＳ３３では各画像を例えば領域１～ｐのｐ個の画像領域に分割する。ステップＳ３５では、ｐ個の領域毎に位置ずらし量候補をそれぞれｑ個設定し、ステップＳ３６では、ｐ個の画像領域毎にｑ個の位置ずらし量候補を適用してｑ個の合成画像候補を作成する。つまり、領域１～ｐのそれぞれに対して、ｑ個の合成画像が作成される。
　ステップＳ３７－１では、領域１～領域ｐの領域毎に、最も評価値が高い合成画像を選択するとともに、選択した合成画像に対応する位置ずらし両候補を、その画像領域についての位置ずらし量として決定する。
　そして、ステップＳ３７－２で、領域１～ｐの各領域毎に、決定された位置ずらし量を適用して、合成画像を作成する。
　その後の前処理（ステップＳ３８）、欠陥候補抽出処理（ステップＳ３９）、欠陥候補画像群作成処理（ステップＳ４０）は、図１８と同様であるので、説明は省略する。
［４］標準偏差画像等の作成
　第１の表面欠陥検出処理及び第３の表面欠陥検出処理では、明暗の照明パターンを照射した状態でワークを移動させたときに、カメラ８により時系列に撮像された撮像範囲の重複した複数枚の画像に基づいて、合成対象の複数枚の画像を作成し、これら複数枚の画像を１枚の画像に合成して合成画像とした。この合成画像の一つとして、標準偏差画像等のように統計的なばらつき値を計算して合成した画像が考えられる。
　統計的なばらつき値としては、分散、標準偏差、半値幅の少なくともいずれかがある。いずれを計算しても良いが、ここでは、標準偏差を計算して合成する場合について説明する。
　標準偏差は、複数枚の画像の対応する画素毎に計算する。図１７は、標準偏差画像の作成処理を示すフローチャートである。なお、図２０及びそれ以降のフローチャートに示される処理は、欠陥検出ＣＰＵが記憶部等に格納された動作プログラムに従って動作することにより実行される。
　ステップＳ５１では、合成対象となる元画像（Ｎ枚）を生成し、ステップＳ５２で１枚目の元画像について、画素毎に輝度値（以下、画素値ともいう）の二乗和を計算したのち、ステップＳ５３で画素毎に画素値の和を計算する。１枚目では、二乗和も和計算も１枚目のみの結果となる。
　次にステップＳ５４で、次の画像があるかどうかを調べ、あれば（ステップＳ５４でＹＥＳ）、ステップＳ５２に戻り、２枚目の各画素の画素値を二乗して一枚目の対応する各画素値の二乗値に加算する。次に、ステップＳ５３で、２枚目の各画素値を１枚目の対応する各画素値に加算する。
　このような処理をＮ枚の画像について順に実施し、Ｎ枚の画像の対応する画素毎に、各画素値の二乗和と各画素値の和が計算される。
　Ｎ枚についての上記処理が終了すると（ステップＳ５４でＮＯ）、ステップＳ５５で、ステップＳ５３にて計算した各画素値の和の平均を計算した後、ステップＳ５６で、和の平均の二乗を計算する。
　次にステップＳ５７で、ステップＳ５２にて計算した各画素値の二乗和の平均値である二乗平均を計算した後、ステップＳ５７で、分散を｛（二乗平均）－（平均の二乗）｝の式から求める。そして、ステップＳ５９で分散の平方根である標準偏差を求める。
　こうして求めた標準偏差を望ましくは正規化し、その結果に基づいて合成画像を作成する。なお、統計的なばらつき値として分散あるいは半値幅を用いる場合も、同様に計算すれば良い。
　作成された合成画像に基づいて、表面欠陥の検出処理が行われる。検出処理は、第１の表面欠陥検出処理や第３の表面欠陥検出処理と同様に行えば良い。
　このように、複数枚の画像の対応する画素同士を、統計的なばらつき値を計算して合成し、これを全部の画素に適用することで合成画像が作成されるから、合成対象となる画像の枚数が少なくても、欠陥検出のＳ／Ｎ比が高い合成画像を作成でき、この合成画像を用いることで高精度な欠陥検出を行うことができ、不要な欠陥候補の検出を減らし、かつ必要な欠陥の検出の見逃しを防ぐことができる。しかも、最大値や最小値等を用いて合成画像を作成する場合に比べて、コストも安価となる。
［４－１］標準偏差画像に関する他の実施形態１
　明暗パターンの照明を行う照明ユニット６のワーク１に対する照度のグラフを図１８に示す。図２１のグラフでは、波形の頂部７１が明帯を示し、底部７２が暗帯を示している。
　明帯から暗帯にかけて、または暗帯から明帯にかけての波形の立ち上がり及び立ち下がり部分７３は、実際上は垂直ではなく、傾斜している。立ち上がり及び立ち下がり部分７３のそれぞれ中間点に相当する画像部分では画素値は中間階調となり、ばらつきに影響を与える。
　照明パターンの１周期に複数回の撮像を行った場合、たとえば図２１（Ａ）に黒丸印で示したように８回撮像したとすると、得られた８枚の画像における各８個ずつの画素のうち、２つの画素が前記中間点に相当する中間階調の画素値となる可能性が高い。一方、図２１（Ｂ）に黒丸印で示したタイミングで７回撮像したとすると、得られた７枚の画像における各７個ずつの画素のうち、少なくとも１つの画素が前記中間点に相当する中間階調の画素値となる可能性が高い。
　前述したように、このような中間階調の画素値はばらつきに影響を与え、欠陥検出精度の低下を招く。そこで、望ましくはこのような中間階調の画素値をばらつき計算のサンプリング候補から排除することで、選択された最適なサンプリング候補に対してのみばらつきの計算を行うのがよい。具体的には、照明パターンの１周期において合成対象となる元画像の枚数が偶数枚のときは、複数の画素の画素値から中間階調の画素値を２つ間引いてばらつきを計算し、元画像の枚数が奇数枚のときは、複数の画素の画素値から中間階調の画素値を１つ間引いてばらつきを計算するのがよい。このように、中間階調の画素値をばらつき計算のサンプリング候補から排除し、選択された最適なサンプリング候補に対してのみばらつきの計算を行うことで、最適なサンプリング候補のみにより統計的なばらつき値の計算が行われ、サンプリング候補から除外された画素の影響を抑制することができるから、合成される画像の枚数が少ない場合であっても、高精度な欠陥検出を行うことができる合成画像の作成が可能となる。
　図２２は、中間階調の画素値をばらつき計算のサンプリング候補から排除し、選択された最適なサンプリング候補に対してのみばらつきの計算を行うことで、標準偏差画像を作成する処理を示すフローチャートである。
　ステップＳ６１で、複数枚（Ｎ枚）の元画像を生成したのち、ステップＳ６２で、各画像の各画素において、Ｎ枚分の画素値であるサンプリングデータをソートし、中央値の１値（Ｎが奇数）または２値（Ｎが偶数）を除去する。
　次いでステップＳ６３で、画素毎に、Ｎ－１個（Ｎが奇数）またはＮ－２個（Ｎが偶数）の値で標準偏差を計算する。
　こうして求めた標準偏差を望ましくは正規化し、その結果に基づいて合成画像を作成する。なお、統計的なばらつき値として分散あるいは半値幅を用いる場合も、同様に計算すれば良い。
［４－２］標準偏差画像に関する他の実施形態２
　この実施形態においても、照明パターンの１周期に対して複数回（Ｎ回）の撮像を行う。Ｎ回は少ない数でも良い。
　この実施形態では、標準偏差画像に関する他の実施形態１の場合と同様に、照明パターンの１周期において合成対象の元画像が奇数枚のときは、画素毎に、Ｎ－１個のサンプリングデータ（画素値）で、偶数枚のときはＮ－２個のサンプリングデータで標準偏差を計算する。つまり、奇数の場合は画素毎にＮ個の画素値の中から選択したＮ－１個の組み合わせ（NＣN－１））で標準偏差を計算し、偶数の場合は画素毎にＮ個の画素値の中から選択したＮ－２個の組み合わせ（NＣN－2））で標準偏差を計算する。そして、画素毎に得られた（NＣN－１））または（NＣN－2））通りの標準偏差の中から、最大の標準偏差をその画素についての標準偏差として決定する（最大値処理）。
　以上の処理を図２３のフローチャートに示す。図２３の処理では、合成対象となる元画像の枚数Ｎが奇数である場合を示すが、偶数の場合も同様である。
　ステップＳ７１では、合成対象となる元画像（Ｎ枚）を生成し、ステップＳ７２で１枚目の元画像について、画素毎に画素値の二乗和を計算したのち、ステップＳ７３で画素毎に画素値の和を計算する。１枚目では、二乗和も和計算も１枚目のみの結果となる。ステップＳ７４では１枚目の各画素値の二乗値を記憶し、ステップＳ７５では１枚目の各画素値（オリジナル）を記憶しておく。
　次にステップＳ７６で、次の画像があるかどうかを調べ、あれば（ステップＳ７６でＹＥＳ）、ステップＳ７２に戻り、２枚目の各画素の画素値を二乗して一枚目の対応する各画素値の二乗値に加算する。次に、ステップＳ７３で、２枚目の各画素値を１枚目の対応する各画素値に加算する。さらに、ステップＳ７４では２枚目の各画素値の二乗値を記憶し、ステップＳ７５では２枚目の各画素値（オリジナル）を記憶しておく。
　このような処理をＮ枚の画像について順に実施し、Ｎ枚の画像の対応する画素毎に、各画素値の二乗和と各画素値の和が計算される。また、Ｎ枚それぞれの各画像値の二乗値と画素値（オリジナル）がそれぞれ記憶される。
　Ｎ枚についての上記処理が終了すると（ステップＳ７６でＮＯ）、ステップＳ７７で、ｉを変数としてまず１枚目の画像（ｉ＝１）の各画素の二乗値を、ステップＳ７２で計算したＮ枚すべての画像における各画素の画素値の二乗和から差し引いて、画素毎にＮ－１枚分の二乗和を計算する。
　次にステップＳ７８で、１枚目の画像の各画素値を、ステップＳ７３で計算したすべての画像における画素値の和から差し引いて、Ｎ－１枚分の和を計算する。ステップＳ７９では、ステップＳ７８にて計算したＮ－１枚分の和の平均を計算した後、ステップＳ８０で、和の平均の二乗を計算する。
　次にステップＳ８１で、ステップＳ７７にて計算したＮ－１枚分の二乗和の平均値である二乗平均を計算した後、ステップＳ８２で、分散を｛（二乗平均）－（平均の二乗）｝の式から求める。そして、ステップＳ８３で分散の平方根である標準偏差を求める。
　次にステップＳ８４で最大化処理を実施する。ここでは、各画素についての標準偏差はまだ１個しか得られていないから、この値が最大となる。
　次にステップＳ８５で、差し引く次の画像があるかどうか、換言すればｉ＝Ｎかどうかを調べ、次の画像があればつまりｉ＝Ｎでなければ（ステップＳ８５でＹＥＳ）、ステップＳ７７に戻り、ｉ＝２を設定し、２枚目の画像の各画素値の二乗和および画素値を差し引いて、同様に標準偏差を計算し、ステップＳ８５で最大化処理を実施する。最大化処理では、１枚目を差し引いた時の標準偏差と２枚目を差し引いた時の標準偏差を比較し、大きい方の標準偏差を採用する。
　こうして、ｉ＝Ｎに達するまでつまり１枚目からＮ枚目までの各画像の二乗和および画素値を順に差し引いて、画素毎に標準偏差を計算し、最大の標準偏差をその画素の標準偏差として採用する。
　このようにして求めた標準偏差を望ましくは正規化し、その結果に基づいて合成画像を作成する。なお、統計的なばらつき値として分散あるいは半値幅を用いる場合も、同様に計算すれば良い。
　この実施形態では、複数の画像から順に所定枚数の画像を計算対象から除外して、各画素の統計的なばらつき値を計算するから、最適なサンプリング候補を容易に選択することができる。しかも、計算されたばらつき値の最大値をその画素についてのばらつき値として採用するから、よりＳ／Ｎ比が高い合成画像を作成できる。
　この実施形態では、照明ユニット６とカメラに対しワーク１を所定の速度で相対的に移動させながら、照明ユニット６による明暗パターンの１周期において複数の画像を取得した場合を説明した。
　しかし、照明ユニット６のみを、ワーク１とカメラ８に対して相対的に移動させることにより、照明パターンの１周期における複数の画像を取得し、これらの複数の画像に基づいて、標準偏差等のばらつきを計算した合成画像を作成しても良い。
　本発明は、例えば車体等のワークの表面欠陥を検出するのに利用可能である。
　１　　ワーク
　２　　移動機構
　３　　照明フレーム
　４　　支持台
　６　　照明ユニット
　７　　カメラフレーム
　８　　カメラ
　２１　マスターＰＣ
　２２　欠陥検出ＰＣ
　３０　仮欠陥候補
　４０　推定座標
２２１　画像取得部
　２２２　仮欠陥候補抽出部
　２２３　座標推定部
　２２４　欠陥候補決定部
　２２５　画像群作成部
　２２６　画像合成部
　２２７　欠陥検出部
 

Claims (10)

  1. 　表面欠陥の検出対象であるワークの同一位置に周期的な輝度変化を生じさせる照明装置によりワークを照明した状態で、撮像手段が連続的にワークを撮像することにより得られた複数の画像であって、前記周期的な輝度変化の１周期において得られた複数の画像を用い、前記複数の画像における統計的なばらつき値を計算して合成画像を作成する画像合成手段と、
    　前記画像合成手段により作成された合成画像に基づいて欠陥検出を行う検出手段と、
    　を備えたワークの表面欠陥検出装置。
  2. 　前記統計的なばらつき値は、分散、標準偏差、半値幅の少なくともいずれかである請求項１に記載のワークの表面欠陥検出装置。
  3. 　前記画像合成手段は、前記統計的なばらつき値の計算を画素毎に行うと共に、前記複数の画像の各画素に関して選択された最適なサンプリング候補に対して行う請求項１または２に記載の表面欠陥検出装置。
  4. 　前記画像合成手段は、前記複数の画像から、各画素におけるばらつき値低減要因となる中間階調のサンプリング値を除外した上でばらつき値の計算を行い、当該画素についてのばらつき値として採用する請求項３に記載の表面欠陥検出装置。
  5. 　表面欠陥の検出対象であるワークの同一位置に周期的な輝度変化を生じさせる照明装置と、
    　前記照明装置によりワークを照明した状態で、連続的にワークを撮像する撮像手段と、
    　請求項１～４のいずれかに記載のワークの表面欠陥検出装置と、
    　を備えたワークの表面検査システム。
  6. 　表面欠陥の検出対象であるワークの同一位置に周期的な輝度変化を生じさせる照明装置によりワークを照明した状態で、撮像手段が連続的にワークを撮像することにより得られた複数の画像であって、前記周期的な輝度変化の１周期において得られた複数の画像を用い、前記複数の画像における統計的なばらつき値を計算して合成画像を作成する画像合成ステップと、
    　前記画像合成ステップにより作成された合成画像に基づいて欠陥検出を行う検出ステップと、
    　をワークの表面欠陥検出装置が実行するワークの表面欠陥検出方法。
  7. 　前記統計的なばらつき値は、分散、標準偏差、半値幅の少なくともいずれかである請求項６に記載のワークの表面欠陥検出方法。
  8. 　前記画像合成ステップでは、前記統計的なばらつき値の計算を画素毎に行うと共に、前記複数の画像の各画素に関して選択された最適なサンプリング候補に対して行う請求項６または７に記載のワークの表面欠陥検出方法。
  9. 　前記画像合成ステップでは、前記複数の画像から、各画素におけるばらつき値低減要因となる中間階調のサンプリング値を除外した上でばらつき値の計算を行い、当該画素についてのばらつき値として採用する請求項８に記載のワークの表面欠陥検出方法。
  10. 　請求項６～９のいずれかに記載のワークの表面欠陥検出方法をコンピュータに実行させるためのプログラム。
     
     
     
PCT/JP2020/033629 2019-10-02 2020-09-04 ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム WO2021065349A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080067925.1A CN114450580A (zh) 2019-10-02 2020-09-04 工件的表面缺陷检测装置及检测方法、工件的表面检查系统以及程序
US17/639,731 US20220292665A1 (en) 2019-10-02 2020-09-04 Workpiece surface defect detection device and detection method, workpiece surface inspection system, and program
JP2021550501A JPWO2021065349A1 (ja) 2019-10-02 2020-09-04

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-182098 2019-10-02
JP2019182098 2019-10-02

Publications (1)

Publication Number Publication Date
WO2021065349A1 true WO2021065349A1 (ja) 2021-04-08

Family

ID=75337221

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/033629 WO2021065349A1 (ja) 2019-10-02 2020-09-04 ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム

Country Status (4)

Country Link
US (1) US20220292665A1 (ja)
JP (1) JPWO2021065349A1 (ja)
CN (1) CN114450580A (ja)
WO (1) WO2021065349A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000018932A (ja) * 1998-04-27 2000-01-21 Asahi Glass Co Ltd 被検物の欠点検査方法および検査装置
EP2177898A1 (en) * 2008-10-14 2010-04-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for selecting an optimized evaluation feature subset for an inspection of free-form surfaces and method for inspecting a free-form surface
JP2012215486A (ja) * 2011-04-01 2012-11-08 Arc Harima Kk 表面性状測定装置および表面性状総合評価方法
JP2014002125A (ja) * 2012-06-21 2014-01-09 Fujitsu Ltd 検査方法及び検査装置
JP2014020870A (ja) * 2012-07-17 2014-02-03 Kurabo Ind Ltd 表面形状検査装置及び表面形状検査方法
JP2015197345A (ja) * 2014-03-31 2015-11-09 国立大学法人 東京大学 検査システムおよび検査方法
JP2018021873A (ja) * 2016-08-05 2018-02-08 アイシン精機株式会社 表面検査装置、及び表面検査方法
WO2018130421A1 (en) * 2017-01-11 2018-07-19 Autoscan Gmbh Mobile and automated apparatus for the detection and classification of damages on the body of a vehicle

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6445812B1 (en) * 1999-01-22 2002-09-03 Siemens Corporate Research, Inc. Illumination compensation system for industrial inspection
US6829383B1 (en) * 2000-04-28 2004-12-07 Canon Kabushiki Kaisha Stochastic adjustment of differently-illuminated images
JP3784603B2 (ja) * 2000-03-02 2006-06-14 株式会社日立製作所 検査方法及びその装置並びに検査装置における検査条件設定方法
US6627863B2 (en) * 2000-12-15 2003-09-30 Mitutoyo Corporation System and methods to determine the settings of multiple light sources in a vision system
US20020186878A1 (en) * 2001-06-07 2002-12-12 Hoon Tan Seow System and method for multiple image analysis
WO2004036198A1 (ja) * 2002-10-18 2004-04-29 Kirin Techno-System Corporation ガラス壜の検査装置における基準画像の作成方法及び装置
US7394919B2 (en) * 2004-06-01 2008-07-01 Lumidigm, Inc. Multispectral biometric imaging
US7590276B2 (en) * 2004-12-20 2009-09-15 Mitutoyo Corporation System and method for programming interrupting operations during moving image acquisition sequences in a vision system
JP2007024616A (ja) * 2005-07-14 2007-02-01 Matsushita Electric Ind Co Ltd プラズマディスプレイパネルの点灯画面検査方法
JP4664327B2 (ja) * 2007-05-16 2011-04-06 株式会社日立ハイテクノロジーズ パターン検査方法
SG164292A1 (en) * 2009-01-13 2010-09-29 Semiconductor Technologies & Instruments Pte System and method for inspecting a wafer
SG163442A1 (en) * 2009-01-13 2010-08-30 Semiconductor Technologies & Instruments System and method for inspecting a wafer
JP5882072B2 (ja) * 2012-02-06 2016-03-09 株式会社日立ハイテクノロジーズ 欠陥観察方法及びその装置
DE102013212495A1 (de) * 2013-06-27 2014-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zur Inspektion einer konturierten Fläche,insbesondere des Unterbodens eines Kraftfahrzeugs
FR3039660B1 (fr) * 2015-07-30 2017-09-08 Essilor Int Methode de verification d'une caracteristique geometrique et d'une caracteristique optique d'une lentille ophtalmique detouree et dispositif associe
JP6394544B2 (ja) * 2015-09-04 2018-09-26 信越化学工業株式会社 フォトマスクブランクの欠陥検査方法、選別方法及び製造方法
CN105911724B (zh) * 2016-05-23 2018-05-25 京东方科技集团股份有限公司 确定用于检测的光照强度的方法和装置、及光学检测方法和装置
US10596754B2 (en) * 2016-06-03 2020-03-24 The Boeing Company Real time inspection and correction techniques for direct writing systems
JP6126290B1 (ja) * 2016-10-17 2017-05-10 ヴィスコ・テクノロジーズ株式会社 外観検査装置
EP3747189A4 (en) * 2018-01-30 2021-11-10 Rebus Biosystems, Inc. METHOD OF DETECTING PARTICLES WITH STRUCTURED LIGHTING
US10755401B2 (en) * 2018-12-04 2020-08-25 General Electric Company System and method for work piece inspection
US10520301B1 (en) * 2018-12-31 2019-12-31 Mitutoyo Corporation Method for measuring Z height values of a workpiece surface with a machine vision inspection system
US20220284559A1 (en) * 2019-07-09 2022-09-08 Lg Electronics Inc. Automatic display pixel inspection system and method
EP4007481A4 (en) * 2019-07-26 2022-07-27 Fuji Corporation SUBSTRATE WORKING SYSTEM
US20220335586A1 (en) * 2019-10-02 2022-10-20 Konica Minolta, Inc. Workpiece surface defect detection device and detection method, workpiece surface inspection system, and program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000018932A (ja) * 1998-04-27 2000-01-21 Asahi Glass Co Ltd 被検物の欠点検査方法および検査装置
EP2177898A1 (en) * 2008-10-14 2010-04-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for selecting an optimized evaluation feature subset for an inspection of free-form surfaces and method for inspecting a free-form surface
JP2012215486A (ja) * 2011-04-01 2012-11-08 Arc Harima Kk 表面性状測定装置および表面性状総合評価方法
JP2014002125A (ja) * 2012-06-21 2014-01-09 Fujitsu Ltd 検査方法及び検査装置
JP2014020870A (ja) * 2012-07-17 2014-02-03 Kurabo Ind Ltd 表面形状検査装置及び表面形状検査方法
JP2015197345A (ja) * 2014-03-31 2015-11-09 国立大学法人 東京大学 検査システムおよび検査方法
JP2018021873A (ja) * 2016-08-05 2018-02-08 アイシン精機株式会社 表面検査装置、及び表面検査方法
WO2018130421A1 (en) * 2017-01-11 2018-07-19 Autoscan Gmbh Mobile and automated apparatus for the detection and classification of damages on the body of a vehicle

Also Published As

Publication number Publication date
JPWO2021065349A1 (ja) 2021-04-08
US20220292665A1 (en) 2022-09-15
CN114450580A (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
US10724960B2 (en) Inspection system and inspection method
US10739272B2 (en) Inspection system and inspection method
CN106052591B (zh) 测量设备、测量方法、系统和物品生产方法
JP2021056182A (ja) ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム
KR20160090359A (ko) 표면 결함 검출 방법 및 표면 결함 검출 장치
JP2021056183A (ja) ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム
CN106441804A (zh) 解像力测试方法
JP5682419B2 (ja) 検査方法及び検査装置
JP6756417B1 (ja) ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム
JP2006010392A (ja) 貫通穴計測システム及び方法並びに貫通穴計測用プログラム
CN111551567A (zh) 一种基于条纹投影的物体表面缺陷检测方法及系统
CN107271445B (zh) 一种缺陷检测方法及装置
JPH1163959A (ja) 表面検査装置
KR101757240B1 (ko) 3차원 형상 측정 장치에서의 기준 패턴 생성 방법
WO2021065349A1 (ja) ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム
JP2000321039A (ja) 塗装欠陥検査装置及び方法
US10062155B2 (en) Apparatus and method for detecting defect of image having periodic pattern
JP2021060392A (ja) ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム
JP5895733B2 (ja) 表面欠陥検査装置および表面欠陥検査方法
JP4430680B2 (ja) ３次元寸法計測装置及び３次元寸法計測プログラム
JP3159063B2 (ja) 表面欠陥検査装置
JP2018021873A (ja) 表面検査装置、及び表面検査方法
JP7306620B2 (ja) 表面欠陥検査装置及び表面欠陥検査方法
Che et al. 3D measurement of discontinuous objects with optimized dual-frequency grating profilometry
JP2014093429A (ja) 半導体検査装置および半導体検査方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20872999

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021550501

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20872999

Country of ref document: EP

Kind code of ref document: A1