WO2021250956A1 - 検査システムおよび検査方法 - Google Patents

検査システムおよび検査方法 Download PDF

Info

Publication number
WO2021250956A1
WO2021250956A1 PCT/JP2021/008906 JP2021008906W WO2021250956A1 WO 2021250956 A1 WO2021250956 A1 WO 2021250956A1 JP 2021008906 W JP2021008906 W JP 2021008906W WO 2021250956 A1 WO2021250956 A1 WO 2021250956A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
light emitting
pixel
light
captured images
Prior art date
Application number
PCT/JP2021/008906
Other languages
English (en)
French (fr)
Inventor
泰之 池田
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to US17/928,564 priority Critical patent/US20230252616A1/en
Priority to CN202180037604.1A priority patent/CN115698681A/zh
Publication of WO2021250956A1 publication Critical patent/WO2021250956A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/30Collimators
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/08Mirrors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]

Definitions

  • This disclosure relates to inspection systems and inspection methods.
  • Parallel light coaxial lighting is known as a lighting method.
  • the parallel light coaxial illumination when there are defects such as fine scratches and gentle irregularities on the surface of the object, the light and shade distribution of the brightness according to the defects appears in the image. Therefore, the presence or absence of defects can be inspected by checking the shading distribution.
  • Patent Document 1 discloses a reflection type phase shift method.
  • the object is irradiated while shifting the slit light by one cycle. Stripes are seen in the image obtained by imaging, and the change in brightness differs depending on the presence or absence of defects. Therefore, the defect can be detected by confirming the change in brightness. For example, for each position on the surface of the photographed object, the maximum and minimum values of the brightness of the image for one cycle are obtained, and the maximum value is collected at each position on the surface of the object to be inspected. Defects on the surface of the inspected object are detected based on the difference image between the image and the minimum image obtained by collecting the minimum values.
  • Patent Document 2 provides inspection lighting provided with filter means for forming a plurality of solid angle regions having different light attributes as the irradiation solid angle of light applied to each point of an object.
  • the device is disclosed.
  • this inspection lighting device the shape, size and inclination of the irradiation solid angle of light and the solid angle region having a specific light attribute within the irradiation solid angle can be set substantially uniformly over the entire field of view. .. As a result, even minute defects can be detected under substantially the same detection conditions.
  • the present disclosure has been made in view of the above problems, and an object thereof is to provide an inspection system and an inspection method which can reduce the trouble of adjustment for inspection and have high defect detection accuracy.
  • an inspection system for inspecting the surface of an object captures an object, a light emitting device for illuminating the object, a collimator lens arranged between the light emitting device and the object, and an object. It is equipped with an image pickup device and an image pickup device. The light emitting device has a variable light emitting position.
  • the inspection system further analyzes a plurality of captured images obtained from multiple imaging in a state where the light emitting positions are different from each other, so that the value of each pixel is in the normal direction of the surface of the object reflected in the pixel. It is provided with an image analysis unit that generates a corresponding first analysis image.
  • the value of the pixel in which the unevenness in which the normal direction of the surface changes and the defect such as a scratch is reflected is different from the value of the other pixels. Therefore, by checking the first analysis image, the defect can be detected with high accuracy.
  • the relative positional relationship between the object and the image pickup device may be set so that the brightness peaks at any of a plurality of light emitting positions. Therefore, unlike Patent Document 1, it does not take time and effort to adjust the installation of the object. Further, since the filter means as described in Patent Document 2 is not provided, it is not necessary to take time and effort to adjust the filter means.
  • the value of each pixel of the first analysis image indicates the phase of the waveform indicating the relationship between the brightness of the pixel and the emission position in the plurality of captured images.
  • the phase of the waveform showing the relationship between the brightness of a pixel and the light emitting position depends on the normal direction of the surface of the object reflected in the pixel. Therefore, according to the above disclosure, the first analysis image can accurately represent the distribution in the normal direction of the surface of the object.
  • the value of each pixel of the first analysis image indicates the emission position where the luminance peaks in the waveform showing the relationship between the luminance and the emission position of the pixel in a plurality of captured images.
  • the first analysis image can accurately represent the distribution in the normal direction of the surface of the object.
  • the image analysis unit further generates a second analysis image by analyzing a plurality of captured images.
  • the value of each pixel of the second analysis image is the amplitude of the waveform showing the relationship between the brightness of the pixel and the light emitting position in the plurality of captured images.
  • the light emitting device includes a plurality of light sources, and the light source to be emitted is sequentially switched among the plurality of light sources.
  • the plurality of light sources are arranged on a plane perpendicular to the optical axis of the collimator lens or on a spherical surface having a center on the optical axis. According to the above disclosure, the light emitting device can easily change the light emitting position.
  • the image analysis unit further generates a composite image obtained by synthesizing a plurality of captured images.
  • the distance between the light emitting position and the collimator lens is equal to or greater than the focal length of the collimator lens.
  • the irradiation conditions on the surface of the object can be made uniform.
  • the distance between the light emitting position and the collimator lens is larger than the focal length of the collimator lens, the degree of freedom in the installation location of the image pickup device is increased.
  • the inspection system further comprises a half mirror placed between the collimator lens and the object.
  • the light emitted from the light emitting device and transmitted through the collimator lens is reflected by the half mirror to illuminate the object.
  • the reflected light from the object passes through the half mirror and enters the image pickup apparatus.
  • the image pickup device can easily take an image of an object irradiated with light from the light emitting device.
  • an inspection system for inspecting the surface of an object captures an object, a light emitting device for illuminating the object, a collimator lens arranged between the light emitting device and the object, and an object. It is equipped with an image pickup device and an image pickup device.
  • the light emitting device has a variable light emitting position.
  • the inspection system further includes an image analysis unit that generates an analysis image by analyzing a plurality of captured images obtained from a plurality of imaging in a state where the light emitting positions are different from each other.
  • the value of each pixel of the analyzed image is a feature amount of a waveform showing the relationship between the brightness of the pixel and the light emitting position in a plurality of captured images.
  • the value of each pixel of the analysis image is a feature amount of a waveform showing the relationship between the brightness of the pixel and the emission position in a plurality of captured images.
  • the waveform showing the relationship between the brightness of the pixel and the light emitting position changes depending on the normal direction of the surface of the object reflected in the pixel and the degree of specular reflection of light on the surface. Therefore, by confirming the analysis image in which the feature amount of the waveform is the value of the pixel, the distribution in the normal direction of the surface of the object or the distribution of the degree of specular reflection of light on the surface of the object can be grasped. As a result, defects such as irregularities and scratches that affect the normal direction of the surface, and defects such as stains and scratches that affect the degree of specular reflection of light can be detected with high accuracy.
  • the relative positional relationship between the object and the image pickup device may be set so that the brightness peaks at any of a plurality of light emitting positions. Therefore, unlike Patent Document 1, it does not take time and effort to adjust the installation of the object. Further, since the filter means as described in Patent Document 2 is not provided, it is not necessary to take time and effort to adjust the filter means.
  • the inspection method for inspecting the surface of an object includes a step of imaging the object while irradiating the object with light emitted from a light emitting device and transmitted through a collimator lens.
  • the step of taking an image includes a step of switching the light emitting position in the light emitting device and a step of acquiring a plurality of captured images from a plurality of times of taking pictures in a state where the light emitting positions are different from each other.
  • the inspection method further includes a step of analyzing a plurality of captured images to generate an analysis image in which the value of each pixel corresponds to the normal direction of the surface of the object reflected in the pixel.
  • This disclosure also reduces the time and effort required for adjustment for inspection and improves the accuracy of defect detection.
  • FIG. 1 It is a schematic diagram which shows the whole structure of the inspection system 1 which concerns on this embodiment. It is a schematic diagram which shows the structure of the inspection system 1A which concerns on Specific Example 1.
  • FIG. It is a schematic diagram which shows the structure of the inspection system which concerns on Specific Example 2.
  • FIG. 5 is a diagram showing a normal image 20Y generated from seven captured images surrounded by a solid line shown in FIG. It is a figure which shows the difference image 28 generated by using the reflection type phase shift method described in Patent Document 1.
  • FIG. FIG. 5 is a diagram showing a direct reflection image 22Y generated from seven captured images surrounded by a solid line shown in FIG. It is a figure which shows the composite image 24 which combined a plurality of captured images. It is a figure which shows 25 images obtained from 25 times of imaging in the state which light emission positions are different from each other, and the normal images 20X, 20Y, the direct reflection image 22Y, and the composite image 24 generated from these images. be. It is a figure which shows an example of the flow of the analysis image generation processing.
  • FIG. 10A It is a figure which shows an example of the method of changing a light emitting position in a light emitting device 10A. It is a figure which shows another example of the method of changing a light emitting position in a light emitting device 10A. It is a figure which shows the stereoscopic irradiation angle at each point of the inspection target area. It is a figure which shows the luminous flux 90 of the specularly reflected light of the end point P of the inspection target area 3. It is a figure which shows the luminous flux 92 of the specularly reflected light of the end point Q of the inspection target area 3. It is a figure which shows the arrangement area of the image pickup apparatus 16. It is a figure which shows the structure of the inspection system 1C which concerns on modification 1.
  • FIG. 1C It is a figure which shows an example of the method of changing a light emitting position in a light emitting device 10A. It is a figure which shows another example of the method of changing a light emitting position in a light emitting device 10
  • FIG. It is a figure which shows the example of four lighting states of a light emitting device 10C. It is a figure which shows the structure of the inspection system 1D which concerns on modification 2.
  • FIG. It is a figure which shows the optical path when the distance L between a light emitting device 10A and a collimator lens 12 is set longer than the focal length f of a collimator lens 12.
  • FIG. 1 is a schematic view showing the overall configuration of the inspection system 1 according to the present embodiment.
  • the inspection system 1 inspects the inspection target area 3 on the surface of the object 2.
  • the object 2 includes an object having a glossy surface such as metal or glass.
  • the inspection system 1 is incorporated in, for example, a production line and inspects the presence or absence of defects in the inspection target area 3. Defects include scratches, irregularities, dirt, and dust adhesion.
  • the inspection system 1 includes a light emitting device 10, a collimator lens 12, an image pickup device 16, and an image analysis unit 18 as main components. Further, the inspection system 1 exemplified in FIG. 1 includes a half mirror 14.
  • the light emitting device 10 is a device for illuminating the object 2.
  • the light emitting device 10 has a variable light emitting position.
  • the light emitting device 10 can emit light from a plurality of light emitting positions (including light emitting positions PA, PB, and PC) on a virtual plane 82 perpendicular to the optical axis 80 of the collimator lens 12.
  • the light emitting position PB is located on the optical axis 80 of the collimator lens 12.
  • the collimator lens 12 is arranged between the light emitting device 10 and the object 2 on the optical path.
  • the collimator lens 12 is arranged at a position separated from the virtual plane 82 by a focal length f. Therefore, the light emitted from any one light emitting position (for example, the light emitting positions PA, PB, PC) arranged on the virtual plane 82 passes through the collimator lens 12 and becomes parallel light.
  • the half mirror 14 is arranged between the collimator lens 12 and the object 2 on the optical path. As shown in FIG. 1, the inspection target region 3 of the object 2 is substantially parallel to the optical axis 80 of the collimator lens 12. Therefore, the half mirror 14 is arranged so that the angle formed by the optical axis 80 of the collimator lens 12 and the reflecting surface is 45 degrees in order to direct the light emitted from the light emitting device 10 toward the object 2. As a result, the light emitted from the light emitting device 10 and transmitted through the collimator lens 12 is reflected by the half mirror 14 to illuminate the object 2.
  • the reflected light from the object 2 passes through the half mirror 14 and is incident on the image pickup apparatus 16.
  • the image pickup apparatus 16 outputs the image data obtained by the image pickup (hereinafter, referred to as “captured image”) to the image analysis unit 18.
  • the image analysis unit 18 analyzes a plurality of captured images obtained from a plurality of imagings in a state where the light emitting positions are different from each other.
  • the light emitted from one light emitting position in the light emitting device 10 passes through the collimator lens 12 and then is reflected by the half mirror 14 to illuminate the inspection target area 3 of the object 2. Since the collimator lens 12 is arranged between the light emitting position and the object 2, the irradiation conditions (light amount, irradiation angle, irradiation solid angle, etc.) of each point in the inspection target area 3 of the object 2 become uniform.
  • the irradiation angle of light to each point in the inspection target area 3 changes.
  • the light LA emitted from the light emitting position PA is reflected by the half mirror 14 after passing through the collimator lens 12 and illuminates the object 2 from the left side of the paper surface.
  • the light LB emitted from the light emitting position PB is reflected by the half mirror 14 after passing through the collimator lens 12 and illuminates the object 2 along the vertical direction.
  • the light LC emitted from the light emitting position PC is reflected by the half mirror 14 after passing through the collimator lens 12 and illuminates the object 2 from the right side of the paper surface.
  • the object 2 is an object having a glossy surface such as metal or glass
  • most of the light irradiated to the inspection target area 3 is specularly reflected.
  • the amount of light (specular reflection component) that is specularly reflected at each point of the inspection target region 3 and is incident on the image pickup apparatus 16 depends on the irradiation conditions at that point and the normal direction of that point. Therefore, when the irradiation angle of light to each point of the inspection target region 3 changes, the specular reflection component incident on the image pickup apparatus 16 also changes. However, as described above, the irradiation conditions at each point of the inspection target area 3 are uniform.
  • the image analysis unit 18 has each pixel for a plurality of captured images obtained from a plurality of imaging in a state where the emission positions are different from each other. Analyze the change in brightness of.
  • the change in the brightness of each pixel is uniform for a plurality of captured images.
  • the normal direction of the defect is different from the normal direction of the portion other than the defect. Therefore, for a plurality of captured images, the change in the brightness of the pixel in which the defect appears is different from the change in the brightness of the pixel in which the portion other than the defect appears.
  • the image analysis unit 18 analyzes a plurality of captured images so that the value of each pixel corresponds to the normal direction of the surface of the object 2 reflected in the pixel (hereinafter, "normal image 20"). ) Is generated.
  • the normal image 20 shown in FIG. 1 the value of the pixel in which the defect F having a gentle dent is formed is different from the value of the other pixel (that is, the pixel in which the flat portion without defects is captured).
  • defects such as irregularities and scratches that change in the normal direction can be detected with high accuracy.
  • the relative positional relationship between the object 2 and the image pickup device 16 may be set so that the brightness peaks at any of a plurality of light emitting positions. Therefore, it is not necessary to take time and effort to adjust the installation of the object 2 as in the case of using the parallel light coaxial illumination.
  • the inspection system 1 forms a plurality of solid angle regions having different optical attributes as the irradiation solid angle of the light irradiated to each point of the object as described in Patent Document 2. Does not have a filtering means to do. Therefore, it is not necessary to take time and effort to adjust the filter means.
  • the inspection system 1 according to the present embodiment, it is possible to reduce the labor of adjustment for inspection and improve the accuracy of defect detection.
  • FIG. 2 is a schematic diagram showing the configuration of the inspection system 1A according to the first embodiment.
  • the inspection system 1A includes a light emitting device 10A, a collimator lens 12, a half mirror 14, an image pickup device 16, and an image analysis unit 18.
  • the light emitting device 10A includes a plurality of light sources 101.
  • the light source 101 may be a point light source or a surface light source.
  • the plurality of light sources 101 are arranged on a virtual plane 82 perpendicular to the optical axis 80 of the collimator lens 12.
  • the distance L between the virtual plane 82 and the collimator lens 12 coincides with the focal length f of the collimator lens 12.
  • 49 light sources 101 are arranged in a matrix of 7 rows in the X direction and 7 columns in the Y direction.
  • the X direction is the direction perpendicular to the optical axis 80 of the collimator lens 12 (vertical direction in FIG. 2)
  • the Y direction is the direction perpendicular to the X direction and perpendicular to the optical axis 80 of the collimator lens 12.
  • the light emitting device 10A changes the light emitting position by sequentially switching the light source 101 to emit light from the plurality of light sources 101.
  • FIG. 3 is a schematic diagram showing the configuration of the inspection system according to the second embodiment.
  • the inspection system 1B includes a light emitting device 10B, a collimator lens 12, a half mirror 14, an image pickup device 16, and an image analysis unit 18.
  • the light emitting device 10B includes one light source 102 and an XY stage 103 that moves the light source 102 in the X and Y directions on a virtual plane 82 perpendicular to the optical axis 80 of the collimator lens 12.
  • the light source 102 may be a point light source or a surface light source.
  • the light emitting device 10B changes the light emitting position by moving the XY stage 103.
  • the image analysis unit 18 typically has a structure that follows a general-purpose computer architecture, and realizes various processes by executing a pre-installed program by the processor.
  • FIG. 4 is a diagram showing an example of the hardware configuration of the image analysis unit.
  • the image analysis unit 18 includes a processor 180 such as a CPU (Central Processing Unit) and an MPU (Micro-Processing Unit), a RAM (Random Access Memory) 181 and a display controller 182, and a system controller. It includes an I / O (Input Output) controller 184, a hard disk 185, a camera interface 186, an input interface 187, a communication interface 189, and a memory card interface 190. Each of these parts is connected to each other so as to be capable of data communication, centering on the system controller 183.
  • the processor 180 realizes the desired arithmetic processing by exchanging programs (codes) and the like with the system controller 183 and executing them in a predetermined order.
  • the system controller 183 is connected to the processor 180, RAM181, display controller 182, and I / O controller 184 via a bus, and exchanges data with each unit and processes the entire image analysis unit 18. To control.
  • the RAM 181 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory), and is a program read from the hard disk 185, an captured image received from the imaging device 16, and a processing result for the captured image. And holds work data and so on.
  • DRAM Dynamic Random Access Memory
  • the display controller 182 is connected to the display device 5, and outputs signals for displaying various information to the display device 5 according to an internal command from the system controller 183.
  • the display device 5 includes a liquid crystal display, an organic EL (Electro Luminescence) display, an organic EL, and the like.
  • the I / O controller 184 controls data exchange with a recording medium or an external device connected to the image analysis unit 18. More specifically, the I / O controller 184 is connected to the hard disk 185, the camera interface 186, the input interface 187, the communication interface 189, and the memory card interface 190.
  • the hard disk 185 is typically a non-volatile magnetic storage device, and stores an analysis program 191 and the like executed by the processor 180.
  • the analysis program 191 installed on the hard disk 185 is distributed in a state of being stored in a memory card 6 or the like. Further, the captured image is stored in the hard disk 185.
  • a semiconductor storage device such as a flash memory or an optical storage device such as a DVD-RAM (Digital Versatile Disk Random Access Memory) may be adopted.
  • the camera interface 186 corresponds to an input unit that receives an image captured by imaging an object 2, and mediates data transmission between the processor 180 and the image pickup device 16. More specifically, an image pickup instruction is output from the processor 180 to the image pickup apparatus 16 via the camera interface 186. As a result, the image pickup apparatus 16 takes an image of the subject and outputs the generated captured image to the processor 180 via the camera interface 186.
  • the input interface 187 mediates data transmission between the processor 180 and an input device 7 such as a keyboard, mouse, touch panel, and dedicated console. That is, the input interface 187 receives an operation command given by the user operating the input device 7.
  • the communication interface 189 mediates data transmission between the processor 180 and another personal computer, server device, or the like (not shown).
  • the communication interface 189 typically comprises Ethernet (registered trademark), USB (Universal Serial Bus), or the like.
  • Ethernet registered trademark
  • USB Universal Serial Bus
  • the memory card interface 190 mediates data transmission between the processor 180 and the memory card 6 which is a recording medium. That is, the memory card 6 is distributed in a state where the analysis program 191 and the like executed by the image analysis unit 18 are stored, and the memory card interface 190 reads the analysis program 191 from the memory card 6. Further, the memory card interface 190 writes the captured image acquired by the image pickup apparatus 16 and / or the processing result in the image analysis unit 18 to the memory card 6 in response to the internal command of the processor 180.
  • the memory card 6 is a general-purpose semiconductor storage device such as SD (Secure Digital), a magnetic recording medium such as a flexible disk (Flexible Disk), or an optical recording medium such as a CD-ROM (Compact Disk Read Only Memory). Etc.
  • an OS for providing the basic functions of the computer in addition to the application for providing the functions according to the present embodiment. may be installed.
  • the program according to the present embodiment may call the necessary modules in a predetermined order and / or timing among the program modules provided as a part of the OS to execute the process. good. That is, the program itself according to the present embodiment does not include the module as described above, and the process may be executed in cooperation with the OS.
  • the analysis program 191 according to the present embodiment may be provided by being incorporated into a part of another program. Even in that case, the program itself does not include the modules included in the other programs to be combined as described above, and the processing is executed in cooperation with the other programs. That is, the analysis program 191 according to the present embodiment may be a form incorporated in such another program.
  • a part or all of the functions provided by executing the analysis program 191 may be implemented as a dedicated hardware circuit.
  • FIG. 5 is a diagram showing an example of a plurality of captured images obtained from a plurality of imagings in a state where the light emitting positions are different from each other.
  • the pitch of the light emitting position in the X direction is 1 mm
  • the pitch of the light emitting position in the Y direction is 1 mm.
  • the brightness of each pixel of the captured image changes by changing the light emitting position.
  • the image analysis unit 18 generates an analysis image by analyzing the change in the brightness of each pixel. Therefore, the image analysis unit 18 selects seven captured images for one row or one column with a large change in brightness from the 49 captured images, and analyzes the selected seven captured images. May be good.
  • the change in the luminance of each pixel is larger when the light emitting position is changed in the Y direction than when the light emitting position is changed in the X direction. Therefore, the image analysis unit 18 selects seven captured images (images surrounded by a solid line in FIG. 5) whose emission positions are changed in the Y direction from the 49 captured images.
  • the selection of the image to be analyzed from the plurality of captured images may be executed according to the input of the user. Alternatively, one row or one column of captured images having the largest change in brightness may be automatically selected from the plurality of captured images.
  • the brightness of each pixel of the captured image is a value corresponding to the normal direction of the surface of the object 2 reflected in the pixel.
  • the brightness increases in the order of pixel 51, pixel 52, and pixel 50.
  • the pixel 51 is a pixel in which a defect F, which is a gentle dent, appears.
  • the pixel 50 is a pixel in which a portion around the defect F is captured.
  • the pixel 52 is a pixel in which a flat portion is captured.
  • FIG. 7 is a diagram showing changes in the luminance of pixels 50 to 52 in the seven selected captured images.
  • the horizontal axis indicates the light emitting position n when the captured image is captured.
  • the changes in luminance in the pixels 50 and 52 in which the defect F does not appear are similar to each other.
  • the change in the luminance in the pixel 51 in which the defect F is reflected is different from the change in the luminance in the pixels 50 and 52 in which the defect F is not reflected.
  • the phase of the waveform showing the relationship between the luminance and the light emitting position in the pixel 51 is different from the phase of the waveform showing the relationship between the luminance and the light emitting position in the pixels 50 and 52.
  • the light emitting position where the brightness is maximum in the pixel 51 is different from the light emitting position where the brightness is maximum in the pixels 50 and 52. This is because the normal direction of the surface is different between the defect F, which is a gentle dent, and the portion other than the defect F.
  • the phase of the waveform showing the relationship between the brightness of each pixel and the light emitting position n depends on the normal direction of the surface of the object 2 reflected in the pixel.
  • the image analysis unit 18 utilizes this point to analyze seven selected captured images, so that the value of each pixel corresponds to the normal direction of the surface of the object 2 reflected in the pixel.
  • Generate image 20Y is generated.
  • the image analysis unit 18 performs a discrete Fourier transform on the waveform showing the relationship between the brightness of each pixel and the emission position n, and obtains the phase of the component of frequency 1. Specifically, the image analysis unit 18 performs sine wave fitting using the following equation (1) on the waveform showing the relationship between the brightness of the pixel and the emission position n for each pixel, and obtains the phase ⁇ . calculate.
  • the image analysis unit 18 generates a normal image 20Y in which the phase ⁇ is the pixel value.
  • the phase ⁇ corresponds to the normal direction of the surface of the object 2 reflected in the pixel.
  • FIG. 8 is a diagram showing a normal image 20Y generated from seven captured images surrounded by a solid line shown in FIG.
  • FIG. 9 is a diagram showing a difference image 28 generated by using the reflection type phase shift method described in Patent Document 1.
  • the difference image 28 is the difference between the maximum value image in which the maximum value of each pixel is collected and the minimum value image in which the minimum value of each pixel is collected when the object 2 is irradiated with the slit light shifted by one cycle. Is shown.
  • a defect F which is a gentle dent, appears in the area surrounded by the frame line 60.
  • the image analysis unit 18 uses the value of each pixel of the normal image 20Y to determine the relationship between the brightness of the pixel and the light emitting position n in a plurality of captured images instead of the phase ⁇ calculated by the equation (1).
  • a value indicating the emission position n at which the luminance peaks may be used.
  • the value of each pixel of the normal image 20Y corresponds to the normal direction of the surface of the object 2 reflected in the pixel.
  • the image analysis unit 18 may generate another analysis image in addition to the normal image 20Y or in place of the normal image 20Y. For example, the image analysis unit 18 calculates the amplitude of the waveform showing the relationship between the brightness of each pixel and the emission position n, and uses the amplitude as the value of each pixel (hereinafter referred to as “direct reflection image”). May be generated.
  • the more specularly reflected components of the light radiated to the surface of the object 2 (in other words, the less diffusely reflected components), the larger the amplitude of the waveform.
  • the specularly reflected light In order for the specularly reflected light to be incident on the image pickup device 16, it is necessary that the light emission position in the light emitting device 10, the normal direction of the surface, and the optical axis 84 of the image pickup device 16 satisfy predetermined conditions. Therefore, in the pixel on the surface where a large amount of specularly reflected components of the irradiated light are reflected, the change in brightness becomes large when the light emitting position is changed. As a result, the amplitude increases.
  • the direct reflection image in which the amplitude is the value of each pixel shows the distribution of the degree of specular reflection of light on the surface of the object 2 reflected in the image.
  • the image analysis unit 18 calculates the amplitude A of the waveform indicating the relationship between the brightness of each pixel and the emission position n according to the following equation (2).
  • the image analysis unit 18 generates a direct reflection image in which the calculated amplitude A is used as the pixel value.
  • FIG. 10 is a diagram showing a direct reflection image 22Y generated from seven captured images surrounded by a solid line shown in FIG.
  • the direct reflection image 22Y shown in FIG. 10 no change in the pixel value due to the defect F, which is a gentle dent, is observed as compared with the normal image 20Y shown in FIG. This is because there is no difference between the degree of specular reflection of light in the defect F and the degree of specular reflection of light in the portion other than the defect F.
  • the text formed by the marking pen can be confirmed in the area surrounded by the frame line 62 of the direct reflection image 22Y shown in FIG.
  • the degree of specular reflection of light decreases at the portion where the ink of the marking pen adheres. Therefore, in the direct reflection image 22Y, the value of the pixel in which the portion is reflected becomes small.
  • the portion to which the ink of the marking pen is attached is not confirmed. This is because the ink is thinly adhered to the surface of the object 2, so that the normal direction of the surface of the object 2 is not affected.
  • the image analysis unit 18 generates a normal image 20Y and a direct reflection image 22Y from seven captured images whose emission positions are changed in the Y direction.
  • the image analysis unit 18 may generate a normal image and a direct reflection image from seven captured images whose emission positions are changed in the X direction.
  • the image analysis unit 18 may generate a composite image obtained by synthesizing a plurality of captured images obtained from a plurality of imaging in a state where the light emitting positions are different from each other. Specifically, the image analysis unit 18 calculates the value B represented by the following equation (3) for each pixel. The image analysis unit 18 generates a composite image in which the calculated value B is used as the pixel value.
  • FIG. 11 is a diagram showing a composite image 24 in which a plurality of captured images are combined.
  • FIG. 11 shows a composite image 24 obtained by synthesizing the 49 captured images shown in FIG.
  • the composite image 24 matches the image captured when the light is emitted at all the emission positions at the same time.
  • defects such as low-contrast unevenness due to diffuse reflection can be detected with high accuracy without being affected by the unevenness of the surface of the object 2.
  • the composite image 24 may be acquired by simultaneously turning on all the light sources 101 and taking an image.
  • the analysis images (normal image, direct reflection image, composite image) generated by analyzing a plurality of captured images obtained from a plurality of imaging in a state where the light emitting positions are different from each other are defective. Effective for detection.
  • the analysis image used for the inspection is appropriately selected from the normal image, the direct reflection image, and the composite image according to the type of the defect to be detected.
  • the direct reflection image is effective not only for stains of substances that reduce the degree of specular reflection of light, but also for detecting fine scratches on the surface of an object 2 made of glass, for example.
  • FIG. 12 shows 25 captured images obtained from 25 imagings in different light emitting positions, normal images 20X and 20Y, direct reflection images 22Y, and a composite image 24 generated from these captured images. It is a figure which shows.
  • the composite image 24 is generated from 25 captured images.
  • the direct reflection image 22Y is effective for detecting fine scratches on the surface of the object 2 made of glass.
  • the image analysis unit 18 may generate another analysis image by performing image processing on the normal image and the direct reflection image.
  • FIG. 13 is a diagram showing an example of the flow of the analysis image generation process.
  • the image analysis unit 18 acquires a plurality of captured images obtained by taking images a plurality of times while changing the light emitting position in the X direction and the Y direction (step S1).
  • the image analysis unit 18 generates a normal image 20X and a direct reflection image 22X by analyzing a plurality of captured images when the light emitting position is changed in the X direction (step S2). Further, the image analysis unit 18 generates a normal image 20Y and a direct reflection image 22Y by analyzing a plurality of captured images when the light emitting position is changed in the Y direction (step S3). The image analysis unit 18 generates a composite image 24 by synthesizing a plurality of captured images when the emission positions are changed in the X direction and the Y direction (step S4).
  • the image analysis unit 18 generates a differential image 21X by applying a differential filter in the X direction to the normal image 20X (step S5). Further, the image analysis unit 18 generates a differential image 21Y by applying a differential filter in the Y direction to the normal image 20Y (step S6).
  • the image analysis unit 18 generates an image 23X by multiplying the differential image 21X and the direct reflection image 22X (step S7). Further, the image analysis unit 18 generates an image 23Y by multiplying the differential image 21Y and the direct reflection image 22Y (step S7).
  • the image analysis unit 18 generates the uneven image 25 by adding the image 23X and the image 23Y (step S9). After that, the image analysis unit 18 performs binarization processing on the uneven image 25 to generate a binary image 26 (step S10).
  • the detection target is from the normal image 20X, 20Y, the differential image 21X, 21Y, the direct reflection image 22X, 22Y, the image 23X, 23Y, the composite image 24, the uneven image 25, and the binary image 26.
  • the analysis image to be used for inspection is selected according to the type of defect.
  • the normal direction differs between the defect and the part other than the defect. Therefore, by using the normal images 20X and 20Y, defects can be detected with high accuracy.
  • the normal direction changes sharply at the boundary between the defect and the portion other than the defect. Therefore, by using the differential images 21X and 21Y, defects can be detected with high accuracy.
  • the change in brightness in the captured image when the light emitting position is changed in the X direction and the change in brightness in the captured image when the light emitting position is changed in the Y direction can be significantly different. ..
  • the change in brightness in the captured image when the light emitting position is changed in the X direction and the brightness in the captured image when the light emitting position is changed in the Y direction It is very different from the change of.
  • the influence of the hairline is excluded by adding the images 23X and 23Y generated by multiplying the differential images 21X and 21Y and the direct reflection images 22X and 22Y, respectively.
  • the light emitting device 10A changes the light emitting position by switching the light source 101 to be turned on among the plurality of light sources 101. For example, the light emitting device 10A turns on only one of the plurality of light sources 101, and sequentially switches the light sources 101 to be turned on. Alternatively, the light emitting device 10A may simultaneously turn on at least two light sources 101 out of the plurality of light sources 101, and sequentially switch the light sources 101 to be turned on at the same time.
  • FIG. 14 is a diagram showing an example of a method of changing the light emitting position in the light emitting device 10A.
  • the light emitting device 10A simultaneously lights seven light sources 101 for one row arranged along the X direction or one row arranged along the Y direction.
  • FIG. 15 is a diagram showing another example of a method of changing the light emitting position in the light emitting device 10A.
  • the light emitting device 10A simultaneously lights 21 light sources 101 for three rows arranged along the X direction or three columns arranged along the Y direction.
  • Y -3 to -1 mm, -2 to 0 mm, -1 to 1 mm, 0 to 2 mm, 1 to The captured images when the 21 light sources 101 arranged at 3 mm are turned on at the same time are shown.
  • FIG. 15 is a diagram showing another example of a method of changing the light emitting position in the light emitting device 10A.
  • the light emitting device 10A simultaneously lights 21 light sources 101 for three rows arranged along the X direction or three columns arranged along the Y direction.
  • Y -3 to -1 mm, -2 to 0 mm, -1 to 1 mm, 0 to 2 mm, 1 to
  • the brightness of the entire captured image differs depending on the number of light sources 101 to be turned on at the same time, and the number of captured images obtained also differs. Therefore, the number of light sources 101 to be turned on at the same time may be selected according to the surface condition of the object 2 and the type of the defect to be detected.
  • the normal images 20X and 20Y are generated by utilizing the specularly reflected light at each point of the inspection target region 3 of the object 2. Therefore, it is preferable that the image pickup apparatus 16 receives specularly reflected light when each point of the inspection target region 3 is made to emit light at at least one light emitting position among the plurality of light emitting positions.
  • FIG. 16 is a diagram showing a three-dimensional irradiation angle at each point of the inspection target area.
  • FIG. 16 shows the irradiation solid angle ⁇ at the end points P and Q of the inspection target region 3 when all the light sources 101 of the light emitting device 10A are turned on.
  • the irradiation solid angle ⁇ is represented by the following equation (4) using the length D of the light emitting device 10A in the direction perpendicular to the optical axis 80 of the collimator lens 12 and the focal length f.
  • atan (D / f) Equation (4) Since the collimator lens 12 is arranged between the light source 102 and the object 2, the irradiation solid angle ⁇ at each point of the inspection target area 3 is the same.
  • FIG. 17 is a diagram showing a luminous flux 90 of specularly reflected light at the end point P of the inspection target region 3.
  • FIG. 18 is a diagram showing a luminous flux 92 of specularly reflected light at the end point Q of the inspection target region 3.
  • 17 and 18 show the luminous flux of the specularly reflected light when all the light sources 101 of the light emitting device 10A are turned on.
  • the luminous fluxes 90 and 92 of the specularly reflected light have the same solid angle as the irradiation solid angle ⁇ .
  • FIG. 19 is a diagram showing an arrangement area of the image pickup apparatus 16.
  • the image pickup device 16 is arranged in a region 94 where the light flux 90 of the specularly reflected light at the end point P and the light flux 92 of the specularly reflected light at the end point Q overlap.
  • the image pickup apparatus 16 can receive specularly reflected light when it emits light at at least one light emitting position among the plurality of light emitting positions at all points on the inspection target area 3.
  • the position of the optical system coincides with the position of the virtual image 96 of the collimator lens 12, and the position of the image pickup element of the image pickup device 16 is the position of the light emitting device 10A.
  • the image pickup device 16 is arranged so as to coincide with the position of the virtual image 802. As a result, the image pickup apparatus 16 can receive specularly reflected light from all points on the inspection target area 3.
  • the size of the optical system of the image pickup device 16 is smaller than that of the collimator lens 12 (for example, when the optical system of the image pickup device 16 is a pinhole lens), the brightness peaks depending on the position of a point in the inspection target area 3.
  • the light emitting position can be changed. Therefore, even if the inspection target area 3 is completely flat, a change (error) can be seen in the value of each pixel in the normal images 20X and 20Y.
  • the degree of this change is smaller than the degree of change due to defects such as unevenness and scratches. Therefore, defects can be detected by confirming the normal images 20X and 20Y or the differential images 21X and 21Y obtained by differentiating the normal images 20X and 20Y, respectively.
  • the above error can be reduced by making the distance L between the light emitting devices 10A and 10B and the collimator lens 12 larger than the focal length f of the collimator lens 12.
  • the area in which the image pickup device 16 can be arranged according to the error range in order to receive the specular reflected light at each point of the inspection target area 3 Is further restricted.
  • the image pickup device 16 When the image pickup device 16 has a telecentric optical system, the image pickup device 16 may be arranged so that the telecentric optical system overlaps with the region 94. Therefore, the degree of freedom in arranging the image pickup apparatus 16 is increased.
  • the inspection system 1 (1A, 1B) inspects the surface of the object 2.
  • the inspection system 1 (1A, 1B) includes a light emitting device 10 (10A, 10B) for illuminating the object 2, and a collimator lens 12 arranged between the light emitting device 10 (10A, 10B) and the object 2. And an image pickup device 16 for capturing an image of the object 2.
  • the light emitting device 10 (10A, 10B) has a variable light emitting position.
  • the inspection system 1 (1A, 1B) further includes an image analysis unit 18 that analyzes a plurality of captured images obtained from a plurality of imaging in a state where the light emitting positions are different from each other.
  • the image analysis unit 18 generates a normal image 20 (20X, 20Y) in which the value of each pixel corresponds to the normal direction of the surface of the object 2 reflected in the pixel.
  • the value of the pixel in which the unevenness in which the normal direction of the surface changes and the defect such as a scratch appears is different from the value of the other pixels. Therefore, by confirming the normal image 20 (20X, 20Y), the defect can be detected with high accuracy.
  • the relative positional relationship between the object 2 and the image pickup device 16 may be set so that the brightness peaks at any of the plurality of light emitting positions. Therefore, it does not take time and effort to adjust the relative position-posture relationship between the object 2 and the image pickup device 16. Further, since the inspection system 1 (1A, 1B) does not have the filter means as described in Patent Document 2, it is not necessary to take time and effort to adjust the filter means.
  • the inspection system 1 (1A, 1B) it is possible to reduce the labor of adjustment for inspection and improve the defect detection accuracy.
  • each pixel of the normal image 20 (20X, 20Y) indicates the phase ⁇ of the waveform showing the relationship between the luminance and the light emitting position of the pixel in a plurality of captured images. As shown in FIG. 7, the phase ⁇ depends on the normal direction of the surface of the object 2 reflected in the pixel. Therefore, the normal image 20 (20X, 20Y) can accurately represent the distribution of the surface of the object 2 in the normal direction.
  • each pixel of the normal image 20 (20X, 20Y) may indicate a light emitting position where the brightness peaks in a waveform showing the relationship between the brightness of the pixel and the light emitting position in a plurality of captured images. As shown in FIG. 7, the emission position where the luminance peaks depends on the normal direction of the surface of the object 2. Therefore, the normal image 20 (20X, 20Y) can accurately represent the distribution of the surface of the object 2 in the normal direction.
  • the image analysis unit 18 may further generate direct reflection images 22X and 22Y by analyzing a plurality of captured images.
  • the value of each pixel of the directly reflected images 22X and 22Y is the amplitude A of the waveform showing the relationship between the luminance and the light emitting position of the pixel in the plurality of captured images.
  • the light emitting device 10A includes a plurality of light sources 101, and sequentially switches the light source to be emitted from the plurality of light sources 101.
  • the plurality of light sources 101 are arranged on a virtual plane 82 perpendicular to the optical axis 80 of the collimator lens 12. As a result, the light emitting device 10A can easily change the light emitting position.
  • the image analysis unit 18 may further generate a composite image 24 in which a plurality of captured images are combined. By confirming the composite image 24, defects such as low-contrast unevenness due to diffuse reflection can be detected with high accuracy without being affected by the unevenness of the surface of the object 2.
  • the image analysis unit 18 may generate at least one of the normal image 20 (20X, 20Y) and the direct reflection image 22X, 22Y. That is, the image analysis unit 18 generates an analysis image by analyzing a plurality of captured images obtained from a plurality of imagings in a state where the light emitting positions are different from each other.
  • the value of each pixel of the analysis image (including at least one of the normal image 20 (20X, 20Y) and the direct reflection image 22X, 22Y) is a waveform showing the relationship between the brightness of the pixel and the emission position in a plurality of captured images.
  • Features including phase and amplitude).
  • a plurality of light sources 101 included in the light emitting device 10A are arranged in a matrix.
  • the arrangement of the plurality of light sources 101 is not limited to a matrix.
  • FIG. 20 is a diagram showing the configuration of the inspection system 1C according to the modified example 1.
  • the inspection system 1C includes a light emitting device 10C, a collimator lens 12, a half mirror 14, an image pickup device 16, and an image analysis unit 18.
  • the light emitting device 10C includes a plurality of light sources 101, similarly to the light emitting device 10A of the first embodiment.
  • the plurality of light sources 101 are arranged on a virtual plane 82 perpendicular to the optical axis 80 of the collimator lens 12.
  • the distance L between the virtual plane 82 and the collimator lens 12 coincides with the focal length f of the collimator lens 12.
  • the plurality of light sources 101 are arranged along the circumferential direction. Specifically, the plurality of light sources 101 include one light source 101a, four light sources 101b, twelve light sources 101c, and 16 light sources 101d.
  • the light source 101a is located on the optical axis 80 of the collimator lens 12.
  • the four light sources 101b are arranged at equal intervals along the circumference of r1 having a radius from the optical axis 80.
  • the 12 light sources 101c are arranged at equal intervals along the circumference of r2 (> r1) having a radius from the optical axis 80.
  • the 16 light sources 101d are arranged at equal intervals along the circumference of r3 (> r2) having a radius from the optical axis 80.
  • FIG. 21 is a diagram showing an example of four lighting states of the light emitting device 10C.
  • the light emitting device 10C has a first lighting state shown in FIG. 21 (a), a second lighting state shown in FIG. 21 (b), a third lighting state shown in FIG. 21 (c), and FIG. 21 (d).
  • the fourth lighting state shown is switched in order.
  • the first lighting state is a state in which the 16 light sources 101d are turned on at the same time.
  • the second lighting state is a state in which the 12 light sources 101c are turned on at the same time.
  • the third lighting state is a state in which the four light sources 101b are turned on at the same time.
  • the fourth lighting state is a state in which the light source 101a is turned on.
  • the lighting state in which the brightness of each pixel is maximized is the normal direction 86 of the surface of the object 2 reflected in the pixel. It depends on the angle ⁇ (see FIG. 20) formed by the device 16 with the optical axis 84. Therefore, the distribution of the angle ⁇ can be grasped by checking the normal image 20 generated from the four captured images.
  • the plurality of light sources 101 are arranged on a virtual plane 82 perpendicular to the optical axis 80 of the collimator lens 12.
  • the light beam is distorted due to the curvature of field of the collimator lens 12, which may affect the analysis of the captured image. Therefore, a plurality of light sources 101 may be arranged on a spherical surface corresponding to the curvature of field of the collimator lens 12.
  • FIG. 22 is a diagram showing the configuration of the inspection system 1D according to the modified example 2.
  • the inspection system 1D includes a light emitting device 10D, a collimator lens 12, a half mirror 14, an image pickup device 16, and an image analysis unit 18.
  • the light emitting device 10D includes a plurality of light sources 101, similarly to the light emitting device 10C of the first modification. However, the plurality of light sources 101 are arranged on a spherical virtual curved surface 88 having a center on the optical axis 80 of the collimator lens 12.
  • the distance L1 between the light source 101 located on the optical axis 80 and the collimator lens 12 is the same as the focal length f of the collimator lens 12.
  • the center and radius of the sphere with the virtual curved surface 88 as the surface are set according to the curvature of field of the collimator lens 12. This makes it possible to suppress the influence of light ray distortion caused by the curvature of field of the collimator lens 12.
  • the distance L between the light emitting devices 10A and 10C and the collimator lens 12 is set to be the same as the focal length f of the collimator lens 12. However, the distance L may be set larger than the focal length f.
  • FIG. 23 is a diagram showing an optical path when the distance L between the light emitting device 10A and the collimator lens 12 is set longer than the focal length f of the collimator lens 12.
  • FIG. 23 also shows a virtual image 96 of the collimator lens 12, a virtual image 802 of the light emitting device 10A, and a virtual image 801 of the image pickup device 16.
  • the collimator lens 12 and the virtual image 96 are symmetrical with respect to the half mirror 14.
  • the light emitting device 10 and the virtual image 802 are symmetrical with respect to the half mirror 14.
  • the image pickup apparatus 16 and the virtual image 801 are symmetrical with respect to the plane (inspection surface) including the inspection target region 3 of the object 2.
  • the distance L between the light emitting device 10A and the collimator lens 12 is adjusted so that the irradiation solid angle ⁇ at each point of the inspection target region 3 and the observation solid angle ⁇ of the image pickup device 16 match. ..
  • the brightness is obtained at all points between the end points P and Q of the inspection target area 3.
  • the emission position where is the peak is kept the same. As a result, the error in the normal images 20X and 20Y can be reduced.
  • this embodiment includes the following disclosures.
  • FIG. 1 An inspection system (1,1A to 1D) that inspects the surface of the object (2).
  • An image pickup device (16) for imaging the object (2) is provided.
  • the light emitting device (10, 10A to 10D) has a variable light emitting position and has a variable light emitting position.
  • the inspection system (1,1A to 1D) further comprises By analyzing a plurality of captured images obtained from a plurality of imaging images in a state where the light emitting positions are different from each other, the value of each pixel corresponds to the normal direction of the surface of the object (2) reflected in the pixel.
  • An inspection system (1,1A to 1D) including an image analysis unit (18) for generating a first analysis image (20, 20X, 20Y).
  • each pixel of the first analysis image (20, 20X, 20Y) is the light emission position at which the brightness peaks in the waveform showing the relationship between the brightness of the pixel and the light emission position in the plurality of captured images.
  • the image analysis unit (18) further generates a second analysis image (22X, 22Y) by analyzing the plurality of captured images.
  • the inspection system according to configuration 1, wherein the value of each pixel of the second analysis image (22X, 22Y) is the amplitude of a waveform indicating the relationship between the brightness of the pixel and the emission position in the plurality of captured images. 1,1A-1D).
  • the light emitting device (10, 10A, 10C, 10D) includes a plurality of light sources (101, 101a to 101d), and the light source to be emitted is sequentially switched among the plurality of light sources (101, 101a to 101d).
  • the plurality of light sources (101, 101a to 101d) are on a plane (82) perpendicular to the optical axis (80) of the collimator lens (12), or a spherical surface having a center on the optical axis (80).
  • the inspection system (1,1A, 1C, 1D) according to any one of configurations 1 to 4 arranged on the above.
  • (Structure 8) Further comprising a half mirror (14) disposed between the collimator lens (12) and the object (2).
  • the light emitted from the light emitting device (10, 10A to 10D) and transmitted through the collimator lens (12) is reflected by the half mirror (14) to illuminate the object (2).
  • the inspection system (1, 1A to 1D) according to any one of configurations 1 to 7, wherein the reflected light from the object (2) passes through the half mirror (14) and is incident on the image pickup apparatus (16). ..
  • FIG. 9 An inspection system (1,1A to 1D) that inspects the surface of the object (2).
  • An image pickup device (16) for imaging the object is provided.
  • the light emitting device (10, 10A to 10D) has a variable light emitting position and has a variable light emitting position.
  • the inspection system (1,1A to 1D) further comprises It is provided with an image analysis unit (18) that generates an analysis image by analyzing a plurality of captured images obtained from a plurality of imagings in a state where the light emitting positions are different from each other.
  • the inspection system (1,1A to 1D), wherein the value of each pixel of the analysis image is a characteristic amount of a waveform showing the relationship between the luminance of the pixel and the light emission position in the plurality of captured images.
  • a step of imaging the object (2) while irradiating the object (2) with the light emitted from the light emitting device (10, 10A to 10D) and transmitted through the collimator lens (12) is provided.
  • the step of imaging is The step of switching the light emitting position in the light emitting device (10, 10A to 10D) and Including a step of acquiring a plurality of captured images from a plurality of imagings in a state where the light emitting positions are different from each other.
  • the above-mentioned inspection method further A step of generating an analysis image (20, 20X, 20Y) corresponding to the normal direction of the surface of the object (2) in which the value of each pixel is reflected in the pixel by analyzing the plurality of captured images is provided. ,Inspection method.
  • 1,1A to 1D inspection system 2 object, 3 inspection target area, 5 display device, 6 memory card, 7 input device, 10, 10A to 10D light emitting device, 12 collimator lens, 14 half mirror, 16 image pickup device, 18 Image analysis unit, 20, 20X, 20Y normal image, 21X, 21Y differential image, 22X, 22Y direct reflection image, 23X, 23Y image, 24 composite image, 25 uneven image, 26 binary image, 28 difference image, 50, 51,52 pixels, 60,62 borders, 80,84 optical axes, 82 virtual planes, 86 normal directions, 88 virtual curved surfaces, 90,92 light beams, 94 regions, 96,801,802 virtual images, 101,101a-101d , 102 light source, 103 XY stage, 180 processor, 181 RAM, 182 display controller, 183 system controller, 184 I / O controller, 185 hard disk, 186 camera interface, 187 input interface, 189 communication interface, 190 memory card interface, 191 analysis.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

検査システムは、対象物を照明するための発光装置と、発光装置と対象物との間に配置されるコリメータレンズと、対象物を撮像する撮像装置と、を備える。発光装置は、発光位置を可変である。検査システムは、さらに、互いに発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像を解析することにより、各画素の値が当該画素に写る対象物の表面の法線方向に対応する解析画像を生成する画像解析部を備える。これにより、検査のための調整の手間を低減でき、欠陥の検出精度が高くなる。

Description

検査システムおよび検査方法
 本開示は、検査システムおよび検査方法に関する。
 FA(Factory Automation)分野などにおいて、金属などの光沢を持つ表面を有する対象物を照明しながら撮像し、得られた画像を用いて対象物の外観を検査することが知られている。
 照明の方法として平行光同軸照明が知られている。平行光同軸照明を用いることにより、対象物の表面上に細かいキズ、緩やかな凹凸などの欠陥が存在する場合、欠陥に応じた輝度の濃淡分布が画像に現われる。そのため、濃淡分布を確認することにより、欠陥の有無を検査できる。
 実用新案登録第3197766号公報(特許文献1)には、反射型位相シフト法が開示されている。反射型位相シフト法は、スリット光を1周期分だけシフトさせながら対象物に照射する。撮像により得られる画像には縞が見られ、輝度変化が欠陥の有無に応じて異なる。そのため、輝度変化を確認することにより、欠陥を検出できる。例えば、撮影された被検査体の表面の各位置について、1周期分の画像の輝度の最大値と最小値とを求め、被検査体の表面の各位置での最大値を集めた最大値画像と最小値を集めた最小値画像との差分画像に基づいて、被検査体の表面の欠陥が検出される。
 特許第5866586号公報(特許文献2)には、対象物の各点に照射される光の照射立体角として、異なる光属性を持つ複数の立体角領域を形成するフィルタ手段を備えた検査用照明装置が開示されている。この検査用照明装置を用いることにより、光の照射立体角の形状、大きさおよび傾きと、照射立体角内の特定の光属性をもつ立体角領域とが、視野全域において略均一に設定され得る。その結果、微小な欠陥等であっても略同一の検出条件で検出することが可能となる。
実用新案登録第3197766号公報 特許第5866586号公報
 平行光同軸照明を用いる場合、平行光の光軸と対象物の表面の法線方向とが平行になるように対象物を設置する必要がある。そのため、対象物の設置の調整に手間がかかる。
 特許文献1に記載の反射型位相シフト法を用いる場合、対象物の表面の拡散反射率が大きいと、観測される縞のコントラストが低下し、欠陥の検出精度が低下する。
 特許文献2に記載の検査用照明装置を用いる場合、対象物の表面の反射特性に応じてフィルタ手段を調整する手間がかかる。
 本開示は、上記の問題に鑑みてなされたものであり、その目的は、検査のための調整の手間を低減でき、欠陥の検出精度の高い検査システムおよび検査方法を提供することである。
 本開示の一例によれば、対象物の表面を検査する検査システムは、対象物を照明するための発光装置と、発光装置と対象物との間に配置されるコリメータレンズと、対象物を撮像する撮像装置と、を備える。発光装置は、発光位置を可変である。検査システムは、さらに、互いに発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像を解析することにより、各画素の値が当該画素に写る対象物の表面の法線方向に対応する第1解析画像を生成する画像解析部を備える。
 上記の開示によれば、第1解析画像では、表面の法線方向が変化する凹凸がキズなどの欠陥の写る画素の値が、他の画素の値と異なる。そのため、第1解析画像を確認することにより、欠陥を精度良く検出できる。
 さらに、対象物と撮像装置との相対位置関係は、複数の発光位置のいずれかにおいて輝度がピークを示すように設定されればよい。そのため、特許文献1のように、対象物の設置の調整に手間がかからない。さらに、特許文献2に記載のようなフィルタ手段を備えないため、フィルタ手段の調整に手間をかける必要がない。
 以上のように、上記の構成の検査システムによれば、検査のための調整の手間を低減でき、欠陥の検出精度を高めることができる。
 上述の開示において、第1解析画像の各画素の値は、複数の撮像画像における当該画素の輝度と発光位置との関係を示す波形の位相を示す。
 画素の輝度と発光位置との関係を示す波形の位相は、当該画素に写る対象物の表面の法線方向に依存する。そのため、上記の開示によれば、第1解析画像は、対象物の表面の法線方向の分布を精度良く表すことができる。
 上述の開示において、第1解析画像の各画素の値は、複数の撮像画像における当該画素の輝度と発光位置との関係を示す波形において輝度がピークとなる発光位置を示す。
 輝度がピークとなる発光位置は、対象物の表面の法線方向に依存する。そのため、上記の開示によれば、第1解析画像は、対象物の表面の法線方向の分布を精度良く表すことができる。
 上述の開示において、画像解析部は、複数の撮像画像を解析することにより第2解析画像をさらに生成する。第2解析画像の各画素の値は、複数の撮像画像における当該画素の輝度と発光位置との関係を示す波形の振幅である。
 上記の開示によれば、第2解析画像を確認することにより、光の正反射する度合いを低下させるような物質の汚れ、あるいは、ガラス製の対象物の表面の細かいキズを精度良く検出できる。
 上述の開示において、発光装置は、複数の光源を含み、複数の光源のうち発光させる光源を順次切り替える。複数の光源は、コリメータレンズの光軸に垂直な平面上、または、光軸上に中心を有する球状の面上に配置される。上記の開示によれば、発光装置は、発光位置を容易に変化させることができる。
 上述の開示において、画像解析部は、複数の撮像画像を合成した合成画像をさらに生成する。
 上記の開示によれば、合成画像を確認することにより、対象物の表面の凹凸の影響を受けずに、拡散反射する低コントラストのムラなどの欠陥を精度良く検出できる。
 上述の開示において、発光位置とコリメータレンズとの距離は、コリメータレンズの焦点距離以上である。
 上記の開示によれば、発光位置とコリメータレンズとの距離がコリメータレンズの焦点距離である場合、対象物の表面への照射条件を均一にできる。発光位置とコリメータレンズとの距離がコリメータレンズの焦点距離よりも大きい場合、撮像装置の設置場所の自由度があがる。
 上述の開示において、検査システムは、コリメータレンズと対象物との間に配置されるハーフミラーをさらに備える。発光装置から照射され、コリメータレンズを透過した光は、ハーフミラーに反射して対象物を照らす。対象物による反射光は、ハーフミラーを透過して撮像装置に入射する。
 上記の開示によれば、撮像装置は、発光装置からの光が照射された対象物を撮像しやすくなる。
 本開示の一例によれば、対象物の表面を検査する検査システムは、対象物を照明するための発光装置と、発光装置と対象物との間に配置されるコリメータレンズと、対象物を撮像する撮像装置と、を備える。発光装置は、発光位置を可変である。検査システムは、さらに、互いに発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像を解析することにより解析画像を生成する画像解析部を備える。解析画像の各画素の値は、複数の撮像画像における当該画素の輝度と発光位置との関係を示す波形の特徴量である。
 上記の開示によれば、解析画像の各画素の値は、複数の撮像画像における当該画素の輝度と発光位置との関係を示す波形の特徴量である。画素の輝度と発光位置との関係を示す波形は、画素に写る対象物の表面の法線方向、および、当該表面における光の正反射する度合いに応じて変化する。そのため、波形の特徴量を画素の値とする解析画像を確認することにより、対象物の表面の法線方向の分布、あるいは、対象物の表面における光の正反射する度合いの分布を把握できる。その結果、表面の法線方向に影響を及ぼす凹凸やキズなどの欠陥、あるいは、光の正反射する度合いに影響を及ぼす汚れやキズなどの欠陥を精度良く検出できる。
 さらに、対象物と撮像装置との相対位置関係は、複数の発光位置のいずれかにおいて輝度がピークを示すように設定されればよい。そのため、特許文献1のように、対象物の設置の調整に手間がかからない。さらに、特許文献2に記載のようなフィルタ手段を備えないため、フィルタ手段の調整に手間をかける必要がない。
 以上のように、上記の構成の検査システムによれば、検査のための調整の手間を低減でき、欠陥の検出精度を高めることができる。
 本開示の一例によれば、対象物の表面を検査する検査方法は、発光装置から照射され、コリメータレンズを透過した光を対象物に照射させながら、対象物を撮像するステップを備える。撮像するステップは、発光装置における発光位置を切り替えるステップと、互いに発光位置が異なる状態での複数回の撮像から複数の撮像画像を取得するステップと、を含む。検査方法は、さらに、複数の撮像画像を解析することにより、各画素の値が当該画素に写る対象物の表面の法線方向に対応する解析画像を生成するステップを備える。
 この開示によっても、検査のための調整の手間を低減でき、欠陥の検出精度を高めることができる。
 本開示によれば、検査のための調整の手間を低減でき、欠陥の検出精度を高めることができる。
本実施の形態に係る検査システム1の全体構成を示す概略図である。 具体例1に係る検査システム1Aの構成を示す模式図である。 具体例2に係る検査システムの構成を示す模式図である。 画像解析部のハードウェア構成の一例を示す図である。 互いに発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像の一例を示す図である。 X=0mm,Y=-3mmの発光位置で発光させたときの撮像画像を示す図である。 選択された7枚の撮像画像における、画素50~52の輝度の変化を示す図である。 図5に示す実線で囲まれた7枚の撮像画像から生成される法線画像20Yを示す図である。 特許文献1に記載の反射型位相シフト法を用いて生成された差分画像28を示す図である。 図5に示す実線で囲まれた7枚の撮像画像から生成される直接反射画像22Yを示す図である。 複数の撮像画像を合成した合成画像24を示す図である。 互いに発光位置が異なる状態での25回の撮像からそれぞれ得られる25枚の撮像画像と、これら撮像画像から生成される法線画像20X,20Y、直接反射画像22Yおよび合成画像24とを示す図である。 解析画像の生成処理の流れの一例を示す図である。 発光装置10Aにおける発光位置の変更方法の一例を示す図である。 発光装置10Aにおける発光位置の変更方法の別の例を示す図である。 検査対象領域の各点における立体照射角を示す図である。 検査対象領域3の端点Pの正反射光の光束90を示す図である。 検査対象領域3の端点Qの正反射光の光束92を示す図である。 撮像装置16の配置領域を示す図である。 変形例1に係る検査システム1Cの構成を示す図である。 発光装置10Cの4つの点灯状態の例を示す図である。 変形例2に係る検査システム1Dの構成を示す図である。 発光装置10Aとコリメータレンズ12との距離Lがコリメータレンズ12の焦点距離fよりも長く設定されたときの光路を示す図である。
 本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
 §1 適用例
 図1を参照して、本発明の適用例について説明する。図1は、本実施の形態に係る検査システム1の全体構成を示す概略図である。検査システム1は、対象物2の表面のうち検査対象領域3を検査する。対象物2には、金属やガラスなど光沢な表面を有する物体が含まれる。検査システム1は、例えば生産ラインに組み込まれ、検査対象領域3の欠陥の有無を検査する。欠陥には、キズ、凹凸、汚れ、ゴミの付着などが含まれる。
 図1に示されるように、検査システム1は、主要なコンポーネントとして、発光装置10とコリメータレンズ12と撮像装置16と画像解析部18とを備える。さらに、図1に例示される検査システム1は、ハーフミラー14を備える。
 発光装置10は、対象物2を照明するための装置である。発光装置10は、発光位置を可変である。図1に示す例では、発光装置10は、コリメータレンズ12の光軸80に垂直な仮想平面82上の複数の発光位置(発光位置PA,PB,PCを含む)から発光可能である。発光位置PBは、コリメータレンズ12の光軸80上に位置する。
 コリメータレンズ12は、光路上において、発光装置10と対象物2との間に配置される。図1に示す例では、コリメータレンズ12は、仮想平面82から焦点距離fだけ離れた位置に配置される。そのため、仮想平面82上に配置された任意の1つの発光位置(例えば発光位置PA,PB,PC)から照射された光は、コリメータレンズ12を通過することにより、平行光となる。
 ハーフミラー14は、光路上において、コリメータレンズ12と対象物2との間に配置される。図1に示されるように、対象物2の検査対象領域3は、コリメータレンズ12の光軸80に略平行である。そのため、ハーフミラー14は、発光装置10から発光された光を対象物2に向けるために、コリメータレンズ12の光軸80と反射面とのなす角度が45度となるように配置される。これにより、発光装置10から照射され、コリメータレンズ12を透過した光は、ハーフミラー14で反射して対象物2を照らす。
 撮像装置16は、一例として、レンズなどの光学系に加えて、CCD(Coupled Charged Device)やCMOS(Complementary Metal Oxide Semiconductor)センサといった、複数の画素に区画された撮像素子を含んで構成される。撮像装置16は、対象物2の検査対象領域3が視野に含まれるように、ハーフミラー14の対象物2とは反対側に配置される。具体的には、撮像装置16は、撮像装置16の光軸84がコリメータレンズ12の光軸80と直交し、かつ、撮像装置16の光軸84とハーフミラー14とのなす角度が45度となるように配置される。これにより、対象物2による反射光は、ハーフミラー14を透過して撮像装置16に入射する。撮像装置16は、撮像によって得られた画像データ(以下、「撮像画像」と称する。)を画像解析部18に出力する。
 画像解析部18は、互いに発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像を解析する。
 発光装置10における1つの発光位置から発した光は、コリメータレンズ12を通過した後、ハーフミラー14で反射して対象物2の検査対象領域3を照らす。コリメータレンズ12が発光位置と対象物2との間に配置されるため、対象物2の検査対象領域3における各点の照射条件(光量、照射角度、照射立体角など)は均一となる。
 発光位置が変化すると、検査対象領域3の各点への光の照射角度が変化する。図1に示す例では、発光位置PAから照射された光LAは、コリメータレンズ12を通過した後にハーフミラー14で反射し、紙面の左側から対象物2を照らす。発光位置PBから照射された光LBは、コリメータレンズ12を通過した後にハーフミラー14で反射し、鉛直方向に沿って対象物2を照らす。発光位置PCから照射された光LCは、コリメータレンズ12を通過した後にハーフミラー14で反射し、紙面の右側から対象物2を照らす。
 対象物2が金属やガラスなど光沢な表面を有する物体である場合、検査対象領域3に照射された光の大部分は正反射する。検査対象領域3の各点において正反射して撮像装置16に入射する光量(正反射成分)は、当該点における照射条件と当該点の法線方向とに依存する。そのため、検査対象領域3の各点への光の照射角度が変化すると、撮像装置16に入射する正反射成分も変化する。しかしながら、上述したように、検査対象領域3の各点の照射条件は均一である。従って、検査対象領域3の各点において、撮像装置16に入射する正反射成分が最大となる発光位置は、当該点の法線方向に依存する。そのため、画像解析部18は、検査対象領域3の各点の法線方向の分布を確認するために、互いに発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像について各画素の輝度の変化を解析する。
 例えば、検査対象領域3が完全に平坦である場合、つまり、検査対象領域3の各点の法線方向が一定である場合、複数の撮像画像について、各画素の輝度の変化は均一となる。一方、検査対象領域3の一部分に凹凸やキズなどの欠陥が存在する場合、欠陥における法線方向は、欠陥以外の部分の法線方向と異なる。そのため、複数の撮像画像について、欠陥の写る画素の輝度の変化は、欠陥以外の部分の写る画素の輝度の変化と異なる。
 このように、各画素の輝度の変化を解析することにより、当該画素に写る部分の法線方向が特定され得る。そのため、画像解析部18は、複数の撮像画像を解析することにより、各画素の値が当該画素に写る対象物2の表面の法線方向に対応する解析画像(以下、「法線画像20」と称する。)を生成する。図1に示す法線画像20では、緩やかな凹みが形成された欠陥Fの写る画素の値が、他の画素(つまり、欠陥のない平坦な部分の写る画素)の値と異なる。これにより、法線画像20を確認することにより、法線方向に変化が生じる凹凸やキズなどの欠陥を精度良く検出できる。
 対象物2と撮像装置16との相対位置関係は、複数の発光位置のいずれかにおいて輝度がピークを示すように設定されればよい。そのため、平行光同軸照明を用いる場合のように、対象物2の設置の調整に手間をかける必要がない。
 さらに、本実施の形態に係る検査システム1は、特許文献2に記載のような、対象物の各点に照射される光の照射立体角として、異なる光属性を持つ複数の立体角領域を形成するフィルタ手段を備えない。そのため、フィルタ手段の調整に手間をかける必要がない。
 以上のように、本実施の形態に係る検査システム1によれば、検査のための調整の手間を低減でき、欠陥の検出精度を高めることができる。
 §2 具体例
 <A.検査システムの具体例1>
 図2は、具体例1に係る検査システム1Aの構成を示す模式図である。図2に示すように、検査システム1Aは、発光装置10Aとコリメータレンズ12とハーフミラー14と撮像装置16と画像解析部18とを備える。
 発光装置10Aは、複数の光源101を含む。光源101は、点光源であってもよいし、面光源であってもよい。
 複数の光源101は、コリメータレンズ12の光軸80に垂直な仮想平面82上に配置される。仮想平面82とコリメータレンズ12との距離Lは、コリメータレンズ12の焦点距離fと一致する。
 図2に示す例では、49個の光源101が、X方向に7行、Y方向に7列のマトリクス状に配置される。X方向は、コリメータレンズ12の光軸80に垂直な方向(図2では鉛直方向)であり、Y方向は、X方向に垂直であり、かつ、コリメータレンズ12の光軸80に垂直な方向である。
 発光装置10Aは、複数の光源101のうち発光させる光源101を順次切り替えることにより、発光位置を変化させる。
 <B.検査システムの具体例2>
 図3は、具体例2に係る検査システムの構成を示す模式図である。図3に示すように、検査システム1Bは、発光装置10Bとコリメータレンズ12とハーフミラー14と撮像装置16と画像解析部18とを備える。
 発光装置10Bは、1つの光源102と、コリメータレンズ12の光軸80に垂直な仮想平面82上において、光源102をX方向およびY方向に移動させるXYステージ103とを含む。光源102は、点光源であってもよいし、面光源であってもよい。
 発光装置10Bは、XYステージ103を移動させることにより、発光位置を変化させる。
 <C.画像解析部のハードウェア構成>
 画像解析部18は、典型的には、汎用的なコンピュータアーキテクチャに従う構造を有しており、予めインストールされたプログラムをプロセッサが実行することで、各種の処理を実現する。
 図4は、画像解析部のハードウェア構成の一例を示す図である。図4に示されるように、画像解析部18は、CPU(Central Processing Unit)やMPU(Micro-Processing Unit)などのプロセッサ180と、RAM(Random Access Memory)181と、表示コントローラ182と、システムコントローラ183と、I/O(Input Output)コントローラ184と、ハードディスク185と、カメラインターフェイス186と、入力インターフェイス187と、通信インターフェイス189と、メモリカードインターフェイス190とを含む。これらの各部は、システムコントローラ183を中心として、互いにデータ通信可能に接続される。
 プロセッサ180は、システムコントローラ183との間でプログラム(コード)などを交換して、これらを所定順序で実行することで、目的の演算処理を実現する。
 システムコントローラ183は、プロセッサ180、RAM181、表示コントローラ182、およびI/Oコントローラ184とそれぞれバスを介して接続されており、各部との間でデータ交換などを行うとともに、画像解析部18全体の処理を司る。
 RAM181は、典型的には、DRAM(Dynamic Random Access Memory)などの揮発性の記憶装置であり、ハードディスク185から読み出されたプログラムや、撮像装置16から受けた撮像画像、撮像画像に対する処理結果、およびワークデータなどを保持する。
 表示コントローラ182は、表示装置5と接続されており、システムコントローラ183からの内部コマンドに従って、各種の情報を表示するための信号を表示装置5へ出力する。表示装置5は、一例として、液晶ディスプレイや有機EL(Electro Luminescence)ディスプレイや有機ELなどを含む。
 I/Oコントローラ184は、画像解析部18に接続される記録媒体や外部機器との間のデータ交換を制御する。より具体的には、I/Oコントローラ184は、ハードディスク185と、カメラインターフェイス186と、入力インターフェイス187と、通信インターフェイス189と、メモリカードインターフェイス190と接続される。
 ハードディスク185は、典型的には、不揮発性の磁気記憶装置であり、プロセッサ180で実行される解析プログラム191などが格納される。このハードディスク185にインストールされる解析プログラム191は、メモリカード6などに格納された状態で流通する。さらに、ハードディスク185には、撮像画像が格納される。なお、ハードディスク185に代えて、フラッシュメモリなどの半導体記憶装置やDVD-RAM(Digital Versatile Disk Random Access Memory)などの光学記憶装置を採用してもよい。
 カメラインターフェイス186は、対象物2を撮像することで生成された撮像画像を受け付ける入力部に相当し、プロセッサ180と撮像装置16との間のデータ伝送を仲介する。より具体的には、プロセッサ180からカメラインターフェイス186を介して撮像装置16に撮像指示が出力される。これにより、撮像装置16は、被写体を撮像し、カメラインターフェイス186を介して、生成された撮像画像をプロセッサ180に出力する。
 入力インターフェイス187は、プロセッサ180とキーボード、マウス、タッチパネル、専用コンソールなどの入力装置7との間のデータ伝送を仲介する。すなわち、入力インターフェイス187は、ユーザが入力装置7を操作することで与えられる操作指令を受け付ける。
 通信インターフェイス189は、プロセッサ180と図示しない他のパーソナルコンピュータやサーバ装置などとの間のデータ伝送を仲介する。通信インターフェイス189は、典型的には、イーサネット(登録商標)やUSB(Universal Serial Bus)などからなる。なお、後述するように、メモリカード6に格納されたプログラムを画像解析部18にインストールする形態に代えて、通信インターフェイス189介して、配信サーバなどからダウンロードしたプログラムを画像解析部18にインストールしてもよい。
 メモリカードインターフェイス190は、プロセッサ180と記録媒体であるメモリカード6との間のデータ伝送を仲介する。すなわち、メモリカード6には、画像解析部18で実行される解析プログラム191などが格納された状態で流通し、メモリカードインターフェイス190は、このメモリカード6から解析プログラム191を読み出す。また、メモリカードインターフェイス190は、プロセッサ180の内部指令に応答して、撮像装置16によって取得された撮像画像および/または画像解析部18における処理結果などをメモリカード6へ書き込む。なお、メモリカード6は、SD(Secure Digital)などの汎用的な半導体記憶デバイスや、フレキシブルディスク(Flexible Disk)などの磁気記録媒体や、CD-ROM(Compact Disk Read Only Memory)などの光学記録媒体等からなる。
 上述のような汎用的なコンピュータアーキテクチャに従う構造を有するコンピュータを利用する場合には、本実施の形態に係る機能を提供するためのアプリケーションに加えて、コンピュータの基本的な機能を提供するためのOS(Operating System)がインストールされていてもよい。この場合には、本実施の形態に係るプログラムは、OSの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の順序および/またはタイミングで呼出して処理を実行するものであってもよい。すなわち、本実施の形態に係るプログラム自体は、上記のようなモジュールを含んでおらず、OSと協働して処理が実行される場合もある。
 さらに、本実施の形態に係る解析プログラム191は、他のプログラムの一部に組み込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組み合わせられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態に係る解析プログラム191としては、このような他のプログラムに組み込まれた形態であってもよい。
 なお、代替的に、解析プログラム191の実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。
 <D.画像解析方法>
 図5から図13を参照して、画像解析部18による画像解析処理について説明する。図5は、互いに発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像の一例を示す図である。図5には、発光装置10Bの光源102をX方向に7行、Y方向に7列の7×7=49カ所の発光位置に移動させたときにそれぞれ得られる撮像画像が示される。なお、X方向の発光位置のピッチは1mmであり、Y方向の発光位置のピッチは1mmである。コリメータレンズ12の光軸80上の発光位置は、X=0mm、Y=0mmである。
 図5に示されるように、発光位置を異ならせることにより、撮像画像の各画素の輝度が変化する。画像解析部18は、各画素の輝度の変化を解析することにより、解析画像を生成する。そのため、画像解析部18は、49枚の撮像画像の中から、輝度の変化の大きい1行分または1列分の7枚の撮像画像を選択し、選択した7枚の撮像画像を解析してもよい。図5に示す例では、発光位置をX方向に変化させた場合に比べて、発光位置をY方向に変化させた場合の各画素の輝度の変化が大きい。そのため、画像解析部18は、49枚の撮像画像の中から、発光位置をY方向に変化させた7枚の撮像画像(図5において実線で囲まれた画像)を選択する。選択された7枚の撮像画像は、X=0mm,Y=-3,-2,-1,0,1,2,3mmの発光位置で発光させたときに撮像された画像である。なお、複数の撮像画像の中から解析対象となる画像の選択は、ユーザの入力に従って実行されてもよい。あるいは、複数の撮像画像の中から、輝度の変化が最も大きい1行分または1列分の撮像画像が自動的に選択されてもよい。
 図6は、X=0mm,Y=-3mmの発光位置で発光させたときの撮像画像を示す図である。図6に示されるように、撮像画像の各画素の輝度は、当該画素に写る対象物2の表面の法線方向に応じた値となる。図6に示す例では、画素51、画素52、画素50の順に輝度が高くなる。なお、画素51は、緩やかな凹みである欠陥Fの写る画素である。画素50は、欠陥Fの周囲の部分の写る画素である。画素52は、平坦な部分の写る画素である。
 図7は、選択された7枚の撮像画像における、画素50~52の輝度の変化を示す図である。図7において、横軸は、撮像画像を撮像したときの発光位置nを示している。n=0~6は、Y=-3,-2,-1,0,1,2,3mmの発光位置にそれぞれ対応する。
 図7に示されるように、欠陥Fの写らない画素50,52における輝度の変化は、互いに似ている。一方、欠陥Fの写る画素51における輝度の変化は、欠陥Fの写らない画素50,52における輝度の変化と異なる。具体的には、画素51における輝度と発光位置との関係を示す波形の位相は、画素50,52における輝度と発光位置との関係を示す波形の位相と異なる。言い換えると、画素51において輝度が最大となる発光位置は、画素50,52において輝度が最大となる発光位置と異なる。これは、緩やかな凹みである欠陥Fと欠陥F以外の部分との間で表面の法線方向が異なるためである。
 このように、各画素の輝度と発光位置nとの関係を示す波形の位相は、当該画素に写る対象物2の表面の法線方向に依存する。画像解析部18は、この点を利用して、選択された7枚の撮像画像を解析することにより、各画素の値が当該画素に写る対象物2の表面の法線方向に対応する法線画像20Yを生成する。
 画像解析部18は、各画素の輝度と発光位置nとの関係を示す波形に対して、離散フーリエ変換を行ない、周波数1の成分の位相を求める。具体的には、画像解析部18は、各画素について、当該画素の輝度と発光位置nとの関係を示す波形に対して以下の式(1)を用いた正弦波フィッティングを行ない、位相φを算出する。式(1)において、Nは、撮像画像の枚数を表す。例えば、図5に示す実線で囲まれた7枚の撮像画像が選択された場合、N=7である。Inは、発光位置nで発光させたときの撮像画像における輝度を表す。
Figure JPOXMLDOC01-appb-M000001
 画像解析部18は、位相φを画素の値とする法線画像20Yを生成する。位相φは、画素に写る対象物2の表面の法線方向に対応する。
 図8は、図5に示す実線で囲まれた7枚の撮像画像から生成される法線画像20Yを示す図である。図9は、特許文献1に記載の反射型位相シフト法を用いて生成された差分画像28を示す図である。差分画像28は、スリット光を1周期分だけシフトさせながら対象物2に照射したときの、各画素の最大値を集めた最大値画像と各画素の最小値を集めた最小値画像との差分を示す。図8および図9において、枠線60で囲まれた領域に、緩やかな凹みである欠陥Fが写る。
 図9に示されるように、欠陥Fの写る画素の値と欠陥F以外の部分が写る画素の値とに差が見られる。しかしながら、その差はわずかである。これは、対象物2の表面の拡散反射率が大きいために、拡散反射に起因するノイズ成分が差分画像28において大きくなるためである。
 図8に示されるように、法線画像20Yでは、欠陥Fの写る画素の値と欠陥F以外の部分が写る画素の値とに大きな差が見られる。すなわち、法線画像20Yでは、欠陥Fが明確に現われている。そのため、法線画像20Yを確認することにより、特許文献1に記載の反射型位相シフト法を用いた検査では検出困難である、緩やかな凹みである欠陥Fを精度良く検出できる。
 なお、画像解析部18は、法線画像20Yの各画素の値として、式(1)によって算出される位相φの代わりに、複数の撮像画像における当該画素の輝度と発光位置nとの関係を示す波形において輝度がピークとなる発光位置nを示す値を用いてもよい。この場合でも、法線画像20Yの各画素の値は、当該画素に写る対象物2の表面の法線方向に対応する。
 画像解析部18は、法線画像20Yに加えて、または、法線画像20Yに代えて、別の解析画像を生成してもよい。例えば、画像解析部18は、各画素の輝度と発光位置nとの関係を示す波形の振幅を算出し、振幅を各画素の値とする解析画像(以下、「直接反射画像」と称する。)を生成してもよい。
 対象物2の表面に照射された光のうち正反射する成分が多いほど(言い換えると、拡散反射する成分が少ないほど)、波形の振幅が大きくなる。正反射光が撮像装置16に入射するためには、発光装置10における発光位置と、表面の法線方向と、撮像装置16の光軸84とが所定の条件を満たす必要がある。そのため、照射された光のうち正反射する成分が多い表面の写る画素では、発光位置を変化させたときに輝度の変化が大きくなる。その結果、振幅が大きくなる。逆に、照射された光のうち拡散反射する成分が多い表面の写る画素では、発光位置を変化させたときの輝度の変化が小さくなる。その結果、振幅が小さくなる。したがって、振幅を各画素の値とする直接反射画像は、画像に写る対象物2の表面において光が正反射する度合いの分布を示す。
 具体的には、画像解析部18は、各画素の輝度と発光位置nとの関係を示す波形の振幅Aを、以下の式(2)に従って算出する。画像解析部18は、算出された振幅Aを画素の値とする直接反射画像を生成する。
Figure JPOXMLDOC01-appb-M000002
 図10は、図5に示す実線で囲まれた7枚の撮像画像から生成される直接反射画像22Yを示す図である。図10に示す直接反射画像22Yでは、図8に示す法線画像20Yと比較して、緩やかな凹みである欠陥Fに起因する画素の値の変化が見られない。これは、欠陥Fにおいて光が正反射する度合いと、欠陥F以外の部分において光が正反射する度合いとに差がないためである。
 図10に示す直接反射画像22Yの枠線62で囲まれる領域において、マーキングペンによって形成されたテキストが確認できる。マーキングペンのインクが付着した部分では、光の正反射する度合いが低下する。そのため、直接反射画像22Yにおいて当該部分の写る画素の値が小さくなる。一方、図8に示す法線画像20Yでは、マーキングペンのインクが付着した部分が確認されない。これは、対象物2の表面にインクが薄く付着しているため、対象物2の表面の法線方向に影響がないためである。
 このように、光の正反射する度合いを低下させるような物質(例えばインク)の汚れが対象物2の表面に付着した場合、直接反射画像22Yを確認することにより、当該汚れを精度良く検出できる。
 図5~図10の例では、画像解析部18は、発光位置をY方向に変化させた7枚の撮像画像から法線画像20Yおよび直接反射画像22Yを生成する。しかしながら、画像解析部18は、発光位置をX方向に変化させた7枚の撮像画像から法線画像および直接反射画像を生成してもよい。
 さらに、画像解析部18は、互いに発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像を合成した合成画像を生成してもよい。具体的には、画像解析部18は、各画素について、以下の式(3)で表される値Bを算出する。画像解析部18は、算出された値Bを画素の値とする合成画像を生成する。
Figure JPOXMLDOC01-appb-M000003
 図11は、複数の撮像画像を合成した合成画像24を示す図である。図11には、図5に示す49枚の撮像画像を合成することにより得られる合成画像24が示される。合成画像24は、全ての発光位置で同時に発光させたときに撮像した画像と一致する。合成画像24を確認することにより、対象物2の表面の凹凸の影響を受けずに、拡散反射する低コントラストのムラなどの欠陥を精度良く検出できる。なお、図2に示す発光装置10Aを用いる場合には、全ての光源101を同時に点灯させて撮像することにより、合成画像24が取得されてもよい。
 このように、互いに発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像を解析することによって生成される解析画像(法線画像、直接反射画像、合成画像)は、欠陥の検出に有効である。検査に使用される解析画像は、法線画像、直接反射画像および合成画像の中から、検出対象となる欠陥の種類に応じて適宜選択される。
 直接反射画像は、光の正反射する度合いを低下させるような物質の汚れだけでなく、例えばガラス製の対象物2の表面の細かいキズの検出にも有効である。
 図12は、互いに発光位置が異なる状態での25回の撮像からそれぞれ得られる25枚の撮像画像と、これら撮像画像から生成される法線画像20X,20Y、直接反射画像22Yおよび合成画像24とを示す図である。図12には、発光装置10Bの光源102をX方向に5行、Y方向に5列の5×5=25カ所の発光位置に移動させたときにそれぞれ得られる撮像画像が示される。法線画像20Xは、Y=0mm,X=-2,-1,0,1,2mmの発光位置で発光させたときの5枚の撮像画像から生成される。法線画像20Yおよび直接反射画像22Yは、X=0mm,Y=-2,-1,0,1,2mmの発光位置で発光させたときの5枚の撮像画像から生成される。合成画像24は、25枚の撮像画像から生成される。
 図12に示されるように、直接反射画像22Yの一部を拡大することにより、ガラス製の対象物2の表面上に形成された細かいキズである欠陥F1が確認される。一方、法線画像20X,20Yおよび合成画像24を拡大しても、欠陥F1を明確に確認できない。このように、直接反射画像22Yは、ガラス製の対象物2の表面上の細かいキズの検出に有効である。
 画像解析部18は、法線画像および直接反射画像に対して画像処理を実行することにより、別の解析画像を生成してもよい。
 図13は、解析画像の生成処理の流れの一例を示す図である。図13に示されるように、画像解析部18は、発光位置をX方向およびY方向に変化させながら複数回撮像することにより得られる複数の撮像画像を取得する(ステップS1)。
 次に、画像解析部18は、X方向に発光位置を変化させたときの複数の撮像画像を解析することにより、法線画像20Xおよび直接反射画像22Xを生成する(ステップS2)。さらに、画像解析部18は、Y方向に発光位置を変化させたときの複数の撮像画像を解析することにより、法線画像20Yおよび直接反射画像22Yを生成する(ステップS3)。画像解析部18は、X方向およびY方向に発光位置を変化させたときの複数の撮像画像を合成することにより合成画像24を生成する(ステップS4)。
 次に、画像解析部18は、X方向の微分フィルタを法線画像20Xにかけることにより、微分画像21Xを生成する(ステップS5)。さらに、画像解析部18は、Y方向の微分フィルタを法線画像20Yにかけることにより、微分画像21Yを生成する(ステップS6)。
 次に、画像解析部18は、微分画像21Xと直接反射画像22Xとを掛け合わせることにより、画像23Xを生成する(ステップS7)。さらに、画像解析部18は、微分画像21Yと直接反射画像22Yとを掛け合わせることにより、画像23Yを生成する(ステップS7)。
 次に、画像解析部18は、画像23Xと画像23Yとを足し合わせることにより、凹凸画像25を生成する(ステップS9)。その後、画像解析部18は、凹凸画像25に対して二値化処理を行ない、二値画像26を生成する(ステップS10)。
 図13に示す例では、法線画像20X,20Y、微分画像21X,21Y、直接反射画像22X,22Y、画像23X,23Y、合成画像24、凹凸画像25および二値画像26の中から、検出対象の欠陥の種類に応じて、検査に使用する解析画像が選択される。
 例えば、凹凸形状を有する欠陥の場合、欠陥と欠陥以外の部分とで法線方向が異なる。そのため、法線画像20X,20Yを用いることにより、欠陥を精度良く検出できる。あるいは、凹凸形状を有する欠陥の場合、欠陥と欠陥以外の部分との境界において法線方向が急峻に変化する。そのため、微分画像21X,21Yを用いることにより、欠陥を精度良く検出できる。
 対象物2の表面状態によっては、発光位置をX方向に変化させたときの撮像画像における輝度の変化と、発光位置をY方向に変化させたときの撮像画像における輝度の変化とが大きく異なり得る。例えば、表面にヘアラインが形成された対象物2の場合に、発光位置をX方向に変化させたときの撮像画像における輝度の変化と、発光位置をY方向に変化させたときの撮像画像における輝度の変化とが大きく異なる。このような場合、微分画像21X,21Yと直接反射画像22X,22Yとを掛け合わせることによりそれぞれ生成された画像23X,23Yを足し合わせることにより、ヘアラインによる影響が除外される。すなわち、凹凸画像25の各画素の値には、欠陥による法線方向の変化のみが反映される。これにより、表面にヘアラインが形成された対象物2であっても、凹凸画像25を用いることにより、凹凸形状を有する欠陥を精度良く検出できる。あるいは、凹凸画像25を二値化することにより生成される二値画像26を用いても、凹凸形状を有する欠陥を精度良く検出できる。
 <E.発光装置10Aによる発光位置を変更方法>
 複数の光源101を含む発光装置10A(図2参照)を用いる場合、発光装置10Aは、複数の光源101のうち点灯させる光源101を切り替えることにより、発光位置を変更する。例えば、発光装置10Aは、複数の光源101のうち1つの光源101のみを点灯させ、点灯させる光源101を順次切り替える。あるいは、発光装置10Aは、複数の光源101のうち少なくとも2つの光源101を同時に点灯させ、同時に点灯させる光源101を順次切り替えてもよい。
 図14は、発光装置10Aにおける発光位置の変更方法の一例を示す図である。図14に示されるように、発光装置10Aは、X方向に沿って配置された1行分またはY方向に沿って配置された1列分の7個の光源101を同時に点灯させる。図14において、(a)~(g)には、Y=-3,-2,-1,0,1,2,3mmに配置された7個の光源101を同時点灯させたときの撮像画像がそれぞれ示される。図14において、(h)~(n)には、X=-3,-2,-1,0,1,2,3mmに配置された7個の光源101を同時点灯させたときの撮像画像がそれぞれ示される。
 図15は、発光装置10Aにおける発光位置の変更方法の別の例を示す図である。図15に示されるように、発光装置10Aは、X方向に沿って配置された3行分またはY方向に沿って配置された3列分の21個の光源101を同時に点灯させる。図15において、(a),(b),(c),(d),(e)には、Y=-3~-1mm,-2~0mm,-1~1mm,0~2mm,1~3mmに配置された21個の光源101を同時点灯させたときの撮像画像がそれぞれ示される。図15において、(f),(g),(h),(i),(j)には、X=-3~-1mm,-2~0mm,-1~1mm,0~2mm,1~3mmに配置された21個の光源101を同時点灯させたときの撮像画像がそれぞれ示される。
 図14および図15に示されるように、同時に点灯させる光源101の個数に応じて、撮像画像全体の輝度が異なり、得られる撮像画像の枚数も異なる。そのため、対象物2の表面状態および検出対象となる欠陥の種類に応じて、同時に点灯させる光源101の個数を選択すればよい。
 <F.撮像装置16の配置場所>
 法線画像20X,20Yは、対象物2の検査対象領域3の各点における正反射光を利用して生成される。そのため、撮像装置16は、検査対象領域3の各点について、複数の発光位置のうちの少なくとも1つの発光位置で発光させたときに正反射光を受けることが好ましい。
 図16は、検査対象領域の各点における立体照射角を示す図である。図16には、発光装置10Aの全ての光源101を点灯させたときの、検査対象領域3の端点P,Qにおける照射立体角ωを示している。照射立体角ωは、コリメータレンズ12の光軸80に垂直な方向の発光装置10Aの長さDと焦点距離fとを用いて、以下の式(4)で表される。ω=atan(D/f) 式(4)
 光源102と対象物2との間にコリメータレンズ12が配置されているため、検査対象領域3の各点における照射立体角ωは同じである。
 図17は、検査対象領域3の端点Pの正反射光の光束90を示す図である。図18は、検査対象領域3の端点Qの正反射光の光束92を示す図である。図17および図18には、発光装置10Aの全ての光源101を点灯させたときの正反射光の光束が示される。図17および図18に示されるように、正反射光の光束90,92は、照射立体角ωと同じ立体角を有する。撮像装置16は、光束90の通過領域に配置されることにより、いずれかの光源101を点灯させたときに端点Pの正反射光を受けることができる。撮像装置16は、光束92の通過領域に配置されることにより、いずれかの光源101を点灯させたときに端点Qの正反射光を受けることができる。
 図19は、撮像装置16の配置領域を示す図である。撮像装置16が有する光学系がピンホールレンズである場合、撮像装置16は、端点Pの正反射光の光束90と、端点Qの正反射光の光束92とが重なり合う領域94に配置される。これにより、撮像装置16は、検査対象領域3上の全ての点について、複数の発光位置のうちの少なくとも1つの発光位置で発光させたときに正反射光を受けることできる。
 撮像装置16が有する光学系がコリメータレンズ12と同じである場合、当該光学系の位置がコリメータレンズ12の虚像96の位置と一致し、かつ、撮像装置16の撮像素子の位置が発光装置10Aの虚像802の位置と一致するように撮像装置16が配置される。これにより、撮像装置16は、検査対象領域3上の全ての点からの正反射光を受けることできる。
 撮像装置16が有する光学系のサイズがコリメータレンズ12よりも小さい場合(例えば撮像装置16が有する光学系がピンホールレンズである場合)、検査対象領域3の点の位置に応じて、輝度がピークとなる発光位置が変化し得る。そのため、検査対象領域3が完全に平坦であったとしても、法線画像20X,20Yにおいて、各画素の値に変化(誤差)が見られる。しかしながら、この変化の度合いは、凹凸やキズなどの欠陥に起因する変化の度合いに比べて小さい。そのため、法線画像20X,20Y、あるいは、法線画像20X,20Yを微分することによりそれぞれ得られる微分画像21X,21Yを確認することにより、欠陥を検出できる。なお、後述するように、発光装置10A,10Bとコリメータレンズ12との距離Lをコリメータレンズ12の焦点距離fよりも大きくすることにより、上記の誤差を軽減できる。
 検査対象領域3の法線方向が一定の誤差範囲に分布する場合には、検査対象領域3の各点の正反射光を受けるために、当該誤差範囲に応じて撮像装置16の配置可能な領域がさらに制限される。
 撮像装置16がテレセントリック光学系を有する場合、テレセントリック光学系が領域94と重なるように、撮像装置16が配置されればよい。そのため、撮像装置16の配置の自由度が高まる。
 <G.作用・効果>
 以上のように、検査システム1(1A,1B)は、対象物2の表面を検査する。検査システム1(1A,1B)は、対象物2を照明するための発光装置10(10A,10B)と、発光装置10(10A,10B)と対象物2との間に配置されるコリメータレンズ12と、対象物2を撮像する撮像装置16と、を備える。発光装置10(10A,10B)は、発光位置を可変である。検査システム1(1A,1B)は、さらに、互いに発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像を解析する画像解析部18を備える。画像解析部18は、各画素の値が当該画素に写る対象物2の表面の法線方向に対応する法線画像20(20X,20Y)を生成する。
 法線画像20(20X,20Y)では、表面の法線方向が変化する凹凸がキズなどの欠陥の写る画素の値が、他の画素の値と異なる。これにより、法線画像20(20X,20Y)を確認することにより、欠陥を精度良く検出できる。
 さらに、対象物2と撮像装置16との相対位置関係は、複数の発光位置のいずれかにおいて輝度がピークを示すように設定されればよい。そのため、対象物2と撮像装置16との相対的な位置姿勢関係の調整に手間がかからない。さらに、検査システム1(1A,1B)が特許文献2に記載のようなフィルタ手段を備えないため、フィルタ手段の調整に手間をかける必要がない。
 以上のように、検査システム1(1A,1B)によれば、検査のための調整の手間を低減でき、欠陥の検出精度を高めることができる。
 法線画像20(20X,20Y)の各画素の値は、複数の撮像画像における当該画素の輝度と発光位置との関係を示す波形の位相φを示す。位相φは、図7に示されるように、画素に写る対象物2の表面の法線方向に依存する。そのため、法線画像20(20X,20Y)は、対象物2の表面の法線方向の分布を精度良く表すことができる。
 法線画像20(20X,20Y)の各画素の値は、複数の撮像画像における当該画素の輝度と発光位置との関係を示す波形において輝度がピークとなる発光位置を示してもよい。図7に示されるように、輝度がピークとなる発光位置は、対象物2の表面の法線方向に依存する。そのため、法線画像20(20X,20Y)は、対象物2の表面の法線方向の分布を精度良く表すことができる。
 画像解析部18は、複数の撮像画像を解析することにより直接反射画像22X,22Yをさらに生成してもよい。直接反射画像22X,22Yの各画素の値は、複数の撮像画像における当該画素の輝度と発光位置との関係を示す波形の振幅Aである。
 直接反射画像22X,22Yを確認することにより、図10に示されるような、光の正反射する度合いを低下させるような物質(例えばインク)の汚れを精度良く検出できる。さらに、直接反射画像22X,22Yを確認することにより、図12に示されるような、ガラス製の対象物2の表面の細かいキズを精度良く検出できる。
 発光装置10Aは、複数の光源101を含み、複数の光源101のうち発光させる光源を順次切り替える。複数の光源101は、コリメータレンズ12の光軸80に垂直な仮想平面82上に配置される。これにより、発光装置10Aは、発光位置を容易に変化させることができる。
 画像解析部18は、複数の撮像画像を合成した合成画像24をさらに生成してもよい。合成画像24を確認することにより、対象物2の表面の凹凸の影響を受けずに、拡散反射する低コントラストのムラなどの欠陥を精度良く検出できる。
 なお、画像解析部18は、法線画像20(20X,20Y)および直接反射画像22X,22Yの少なくとも一方を生成してもよい。すなわち、画像解析部18は、互いに発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像を解析することにより解析画像を生成する。解析画像(法線画像20(20X,20Y)および直接反射画像22X,22Yの少なくとも一方を含む)の各画素の値は、複数の撮像画像における当該画素の輝度と発光位置との関係を示す波形の特徴量(位相および振幅を含む)である。
 <H.変形例>
 図2に示す具体例1では、発光装置10Aに含まれる複数の光源101がマトリクス状に配列される。しかしながら、複数の光源101の配列は、マトリクス状に限定されない。
 図20は、変形例1に係る検査システム1Cの構成を示す図である。図20に示すように、検査システム1Cは、発光装置10Cとコリメータレンズ12とハーフミラー14と撮像装置16と画像解析部18とを備える。
 発光装置10Cは、具体例1の発光装置10Aと同様に、複数の光源101を含む。複数の光源101は、コリメータレンズ12の光軸80に垂直な仮想平面82上に配置される。仮想平面82とコリメータレンズ12との距離Lは、コリメータレンズ12の焦点距離fと一致する。
 複数の光源101は、円周方向に沿って配列される。具体的には、複数の光源101は、1個の光源101aと、4個の光源101bと、12個の光源101cと、16個の光源101dとを含む。光源101aは、コリメータレンズ12の光軸80上に位置する。4個の光源101bは、光軸80からの半径がr1の円周上に沿って等間隔に配置される。12個の光源101cは、光軸80からの半径がr2(>r1)の円周上に沿って等間隔に配置される。16個の光源101dは、光軸80からの半径がr3(>r2)の円周上に沿って等間隔に配置される。
 図21は、発光装置10Cの4つの点灯状態の例を示す図である。発光装置10Cは、図21(a)に示す第1点灯状態と、図21(b)に示す第2点灯状態と、図21(c)に示す第3点灯状態と、図21(d)に示す第4点灯状態とを順に切り替える。第1点灯状態は、16個の光源101dが同時に点灯される状態である。第2点灯状態は、12個の光源101cが同時に点灯される状態である。第3点灯状態は、4個の光源101bが同時に点灯される状態である。第4点灯状態は、光源101aが点灯される状態である。
 第1~第4点灯状態のときの撮像によってそれぞれ得られる4枚の撮像画像において、各画素の輝度が最大となる点灯状態は、当該画素に写る対象物2の表面の法線方向86と撮像装置16の光軸84とのなす角度θ(図20参照)に依存する。そのため、当該4枚の撮像画像から生成される法線画像20を確認することにより、角度θの分布を把握できる。
 図2および図20に示す例では、複数の光源101は、コリメータレンズ12の光軸80に垂直な仮想平面82上に配置される。この場合、コリメータレンズ12の像面湾曲のために光線が歪み、撮像画像の解析に影響を及ぼし得る。そのため、コリメータレンズ12の像面湾曲に応じた球面上に複数の光源101が配置されてもよい。
 図22は、変形例2に係る検査システム1Dの構成を示す図である。図22に示すように、検査システム1Dは、発光装置10Dとコリメータレンズ12とハーフミラー14と撮像装置16と画像解析部18とを備える。
 発光装置10Dは、変形例1の発光装置10Cと同様に、複数の光源101を含む。ただし、複数の光源101は、コリメータレンズ12の光軸80上に中心を有する球状の仮想曲面88上に配置される。光軸80上に位置する光源101とコリメータレンズ12との距離L1は、コリメータレンズ12の焦点距離fと同じである。仮想曲面88を表面とする球の中心および半径は、コリメータレンズ12の像面湾曲に応じて設定される。これにより、コリメータレンズ12の像面湾曲に起因する光線の歪みの影響を抑制できる。
 図2および図20に示す例では、発光装置10A,10Cとコリメータレンズ12との距離Lをコリメータレンズ12の焦点距離fと同じに設定される。しかしながら、距離Lは、焦点距離fよりも大きく設定されてもよい。
 図23は、発光装置10Aとコリメータレンズ12との距離Lがコリメータレンズ12の焦点距離fよりも長く設定されたときの光路を示す図である。図23には、コリメータレンズ12の虚像96、発光装置10Aの虚像802および撮像装置16の虚像801も示されている。コリメータレンズ12と虚像96とは、ハーフミラー14について対称である。発光装置10と虚像802とは、ハーフミラー14について対称である。撮像装置16と虚像801とは、対象物2の検査対象領域3を含む平面(検査面)について対称である。
 図23に示されるように、検査対象領域3の各点における照射立体角ωと撮像装置16の観察立体角Ψが一致するように、発光装置10Aとコリメータレンズ12との距離Lが調整される。これにより、撮像装置16と対象物2との距離を変えても(つまり、撮像装置16を対象物2に近づけても)、検査対象領域3の端点P,Q間のすべての点において、輝度がピークになる発光位置が同じ状態が保たれる。その結果、法線画像20X,20Yにおける誤差を軽減できる。
 §3 付記
 以上のように、本実施の形態は以下のような開示を含む。
 (構成1)
 対象物(2)の表面を検査する検査システム(1,1A~1D)であって、
 前記対象物(2)を照明するための発光装置(10,10A~10D)と、
 前記発光装置(10,10A~10D)と前記対象物(2)との間に配置されるコリメータレンズ(12)と、
 前記対象物(2)を撮像する撮像装置(16)と、を備え、
 前記発光装置(10,10A~10D)は、発光位置を可変であり、
 前記検査システム(1,1A~1D)は、さらに、
 互いに前記発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像を解析することにより、各画素の値が当該画素に写る前記対象物(2)の表面の法線方向に対応する第1解析画像(20,20X,20Y)を生成する画像解析部(18)を備える、検査システム(1,1A~1D)。
 (構成2)
 前記第1解析画像(20,20X,20Y)の各画素の値は、前記複数の撮像画像における当該画素の輝度と前記発光位置との関係を示す波形の位相を示す、構成1に記載の検査システム(1,1A~1D)。
 (構成3)
 前記第1解析画像(20,20X,20Y)の各画素の値は、前記複数の撮像画像における当該画素の輝度と前記発光位置との関係を示す波形において前記輝度がピークとなる前記発光位置を示す、構成1に記載の検査システム(1,1A~1D)。
 (構成4)
 前記画像解析部(18)は、前記複数の撮像画像を解析することにより第2解析画像(22X,22Y)をさらに生成し、
 前記第2解析画像(22X,22Y)の各画素の値は、前記複数の撮像画像における当該画素の輝度と前記発光位置との関係を示す波形の振幅である、構成1に記載の検査システム(1,1A~1D)。
 (構成5)
 前記発光装置(10,10A,10C,10D)は、複数の光源(101,101a~101d)を含み、前記複数の光源(101,101a~101d)のうち発光させる光源を順次切り替え、
 前記複数の光源(101,101a~101d)は、前記コリメータレンズ(12)の光軸(80)に垂直な平面(82)上、または、前記光軸(80)上に中心を有する球状の面(88)上に配置される、構成1から4のいずれか記載の検査システム(1,1A,1C,1D)。
 (構成6)
 前記画像解析部(18)は、前記複数の撮像画像を合成した合成画像(24)をさらに生成する、構成1から5のいずれかに記載の検査システム(1,1A~1D)。
 (構成7)
 前記発光位置と前記コリメータレンズ(12)との距離は、前記コリメータレンズ(12)の焦点距離以上である、構成1から6のいずれかに記載の検査システム(1,1A~1D)。
 (構成8)
 前記コリメータレンズ(12)と前記対象物(2)との間に配置されるハーフミラー(14)をさらに備え、
 前記発光装置(10,10A~10D)から照射され、前記コリメータレンズ(12)を透過した光は、前記ハーフミラー(14)に反射して前記対象物(2)を照らし、
 前記対象物(2)による反射光は、前記ハーフミラー(14)を透過して前記撮像装置(16)に入射する、構成1から7のいずれかに記載の検査システム(1,1A~1D)。
 (構成9)
 対象物(2)の表面を検査する検査システム(1,1A~1D)であって、
 前記対象物(2)を照明するための発光装置(10,10A~10D)と、
 前記発光装置(10,10A~10D)と前記対象物(2)との間に配置されるコリメータレンズ(12)と、
 前記対象物を撮像する撮像装置(16)と、を備え、
 前記発光装置(10,10A~10D)は、発光位置を可変であり、
 前記検査システム(1,1A~1D)は、さらに、
 互いに前記発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像を解析することにより解析画像を生成する画像解析部(18)を備え、
 前記解析画像の各画素の値は、前記複数の撮像画像における当該画素の輝度と前記発光位置との関係を示す波形の特徴量である、検査システム(1,1A~1D)。
 (構成10)
 対象物(2)の表面を検査する検査方法であって、
 発光装置(10,10A~10D)から照射され、コリメータレンズ(12)を透過した光を前記対象物(2)に照射させながら、前記対象物(2)を撮像するステップを備え、
 前記撮像するステップは、
  前記発光装置(10,10A~10D)における発光位置を切り替えるステップと、
  互いに前記発光位置が異なる状態での複数回の撮像から複数の撮像画像を取得するステップと、を含み、
 前記検査方法は、さらに、
 前記複数の撮像画像を解析することにより、各画素の値が当該画素に写る前記対象物(2)の表面の法線方向に対応する解析画像(20,20X,20Y)を生成するステップを備える、検査方法。
 本発明の実施の形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
 1,1A~1D 検査システム、2 対象物、3 検査対象領域、5 表示装置、6 メモリカード、7 入力装置、10,10A~10D 発光装置、12 コリメータレンズ、14 ハーフミラー、16 撮像装置、18 画像解析部、20,20X,20Y 法線画像、21X,21Y 微分画像、22X,22Y 直接反射画像、23X,23Y 画像、24 合成画像、25 凹凸画像、26 二値画像、28 差分画像、50,51,52 画素、60,62 枠線、80,84 光軸、82 仮想平面、86 法線方向、88 仮想曲面、90,92 光束、94 領域、96,801,802 虚像、101,101a~101d,102 光源、103 XYステージ、180 プロセッサ、181 RAM、182 表示コントローラ、183 システムコントローラ、184 I/Oコントローラ、185 ハードディスク、186 カメラインターフェイス、187 入力インターフェイス、189 通信インターフェイス、190 メモリカードインターフェイス、191 解析プログラム、F,F1 欠陥、L,L1 距離、LA,LB,LC 光、P,Q 端点、PA,PB,PC 発光位置。

Claims (10)

  1.  対象物の表面を検査する検査システムであって、
     前記対象物を照明するための発光装置と、
     前記発光装置と前記対象物との間に配置されるコリメータレンズと、
     前記対象物を撮像する撮像装置と、を備え、
     前記発光装置は、発光位置を可変であり、
     前記検査システムは、さらに、
     互いに前記発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像を解析することにより、各画素の値が当該画素に写る前記対象物の表面の法線方向に対応する第1解析画像を生成する画像解析部を備える、検査システム。
  2.  前記第1解析画像の各画素の値は、前記複数の撮像画像における当該画素の輝度と前記発光位置との関係を示す波形の位相を示す、請求項1に記載の検査システム。
  3.  前記第1解析画像の各画素の値は、前記複数の撮像画像における当該画素の輝度と前記発光位置との関係を示す波形において前記輝度がピークとなる前記発光位置を示す、請求項1に記載の検査システム。
  4.  前記画像解析部は、前記複数の撮像画像を解析することにより第2解析画像をさらに生成し、
     前記第2解析画像の各画素の値は、前記複数の撮像画像における当該画素の輝度と前記発光位置との関係を示す波形の振幅である、請求項1に記載の検査システム。
  5.  前記発光装置は、複数の光源を含み、前記複数の光源のうち発光させる光源を順次切り替え、
     前記複数の光源は、前記コリメータレンズの光軸に垂直な平面上、または、前記光軸上に中心を有する球状の面上に配置される、請求項1から4のいずれか1項に記載の検査システム。
  6.  前記画像解析部は、前記複数の撮像画像を合成した合成画像をさらに生成する、請求項1から5のいずれか1項に記載の検査システム。
  7.  前記発光位置と前記コリメータレンズとの距離は、前記コリメータレンズの焦点距離以上である、請求項1から6のいずれか1項に記載の検査システム。
  8.  前記コリメータレンズと前記対象物との間に配置されるハーフミラーをさらに備え、
     前記発光装置から照射され、前記コリメータレンズを透過した光は、前記ハーフミラーに反射して前記対象物を照らし、
     前記対象物による反射光は、前記ハーフミラーを透過して前記撮像装置に入射する、請求項1から7のいずれか1項に記載の検査システム。
  9.  対象物の表面を検査する検査システムであって、
     前記対象物を照明するための発光装置と、
     前記発光装置と前記対象物との間に配置されるコリメータレンズと、
     前記対象物を撮像する撮像装置と、を備え、
     前記発光装置は、発光位置を可変であり、
     前記検査システムは、さらに、
     互いに前記発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像を解析することにより解析画像を生成する画像解析部を備え、
     前記解析画像の各画素の値は、前記複数の撮像画像における当該画素の輝度と前記発光位置との関係を示す波形の特徴量である、検査システム。
  10.  対象物の表面を検査する検査方法であって、
     発光装置から照射され、コリメータレンズを透過した光を前記対象物に照射させながら、前記対象物を撮像するステップを備え、
     前記撮像するステップは、
      前記発光装置における発光位置を切り替えるステップと、
      互いに前記発光位置が異なる状態での複数回の撮像から複数の撮像画像を取得するステップと、を含み、
     前記検査方法は、さらに、
     前記複数の撮像画像を解析することにより、各画素の値が当該画素に写る前記対象物の表面の法線方向に対応する解析画像を生成するステップを備える、検査方法。
PCT/JP2021/008906 2020-06-12 2021-03-08 検査システムおよび検査方法 WO2021250956A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/928,564 US20230252616A1 (en) 2020-06-12 2021-03-08 Inspection system and inspection method
CN202180037604.1A CN115698681A (zh) 2020-06-12 2021-03-08 检查系统以及检查方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020102219A JP7392582B2 (ja) 2020-06-12 2020-06-12 検査システムおよび検査方法
JP2020-102219 2020-06-12

Publications (1)

Publication Number Publication Date
WO2021250956A1 true WO2021250956A1 (ja) 2021-12-16

Family

ID=78845477

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/008906 WO2021250956A1 (ja) 2020-06-12 2021-03-08 検査システムおよび検査方法

Country Status (4)

Country Link
US (1) US20230252616A1 (ja)
JP (1) JP7392582B2 (ja)
CN (1) CN115698681A (ja)
WO (1) WO2021250956A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070013903A1 (en) * 2003-01-15 2007-01-18 Negevtech Ltd. System for detection of wafer defects
US20070019186A1 (en) * 2005-07-25 2007-01-25 Chroma Ate Inc. Apparatus for feature detection
WO2007026690A1 (ja) * 2005-08-31 2007-03-08 Ccs Inc. 同軸光照射装置
JP2007240432A (ja) * 2006-03-10 2007-09-20 Omron Corp 欠陥検査装置および欠陥検査方法
WO2013132913A1 (ja) * 2012-03-08 2013-09-12 オムロン株式会社 画像処理装置、その制御方法、プログラム、および検査システム
JP2018204994A (ja) * 2017-05-31 2018-12-27 株式会社キーエンス 画像検査装置
JP2019144203A (ja) * 2018-02-23 2019-08-29 オムロン株式会社 画像検査装置および画像検査方法
JP2019144202A (ja) * 2018-02-23 2019-08-29 オムロン株式会社 画像検査装置および画像検査方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3379805B2 (ja) * 1993-05-13 2003-02-24 オリンパス光学工業株式会社 表面欠陥検査装置
JP3566589B2 (ja) 1998-07-28 2004-09-15 株式会社日立製作所 欠陥検査装置およびその方法
US6809808B2 (en) 2002-03-22 2004-10-26 Applied Materials, Inc. Wafer defect detection system with traveling lens multi-beam scanner
JP5538072B2 (ja) 2010-06-03 2014-07-02 株式会社日立ハイテクノロジーズ 欠陥検査方法およびその装置
CN114813758A (zh) 2014-10-31 2022-07-29 科磊股份有限公司 照明系统、具有照明系统的检验工具及操作照明系统的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070013903A1 (en) * 2003-01-15 2007-01-18 Negevtech Ltd. System for detection of wafer defects
US20070019186A1 (en) * 2005-07-25 2007-01-25 Chroma Ate Inc. Apparatus for feature detection
WO2007026690A1 (ja) * 2005-08-31 2007-03-08 Ccs Inc. 同軸光照射装置
JP2007240432A (ja) * 2006-03-10 2007-09-20 Omron Corp 欠陥検査装置および欠陥検査方法
WO2013132913A1 (ja) * 2012-03-08 2013-09-12 オムロン株式会社 画像処理装置、その制御方法、プログラム、および検査システム
JP2018204994A (ja) * 2017-05-31 2018-12-27 株式会社キーエンス 画像検査装置
JP2019144203A (ja) * 2018-02-23 2019-08-29 オムロン株式会社 画像検査装置および画像検査方法
JP2019144202A (ja) * 2018-02-23 2019-08-29 オムロン株式会社 画像検査装置および画像検査方法

Also Published As

Publication number Publication date
CN115698681A (zh) 2023-02-03
US20230252616A1 (en) 2023-08-10
JP7392582B2 (ja) 2023-12-06
JP2021196240A (ja) 2021-12-27

Similar Documents

Publication Publication Date Title
US8878929B2 (en) Three dimensional shape measurement apparatus and method
US8548224B2 (en) Method for inspecting measurement object
US20170038197A1 (en) Apparatus and method for measuring a three dimensional shape
JP4939843B2 (ja) 欠陥検査方法及びその装置
CN1723384A (zh) 检测缺陷像素的方法
JP3483948B2 (ja) 欠陥検出装置
TWI293110B (en) Apparatus for and method of measuring image
US7489394B2 (en) Apparatus for inspecting a disk-like object
JP2009036589A (ja) 校正用ターゲット、校正支援装置、校正支援方法、および校正支援プログラム
JP5481484B2 (ja) 3次元物体を2次元平面画像に光学的に変換する装置および方法
JP2012002676A (ja) マスク欠陥検査装置およびマスク欠陥検査方法
WO2009113528A1 (ja) 形状測定装置
WO2021250956A1 (ja) 検査システムおよび検査方法
CN110261387A (zh) 光学系统、照明模块及自动光学检验系统
JP6508763B2 (ja) 表面検査装置
JP2012225716A (ja) 基板の外観検査装置および外観検査方法
JP2000018919A (ja) 撮像装置,光学式測定装置および光学式検査装置
JP2000258348A (ja) 欠陥検査装置
JP2019161526A (ja) 画像処理システム、画像処理装置、画像処理プログラム
JP2006003168A (ja) 表面形状の測定方法およびその装置
WO2022014247A1 (ja) 撮像システム、検査システム、情報処理装置、情報処理方法及びそのプログラム、並びに撮像制御方法及びそのプログラム
WO2022137579A1 (ja) 検査システムおよび検査方法
JP3054227B2 (ja) 表面欠陥検査装置
JP3144632B2 (ja) 欠陥検出方法
JP2005121417A (ja) プリント回路基板検査装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21822558

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21822558

Country of ref document: EP

Kind code of ref document: A1