WO2022202042A1 - 外観検査方法及び外観検査装置 - Google Patents

外観検査方法及び外観検査装置 Download PDF

Info

Publication number
WO2022202042A1
WO2022202042A1 PCT/JP2022/007070 JP2022007070W WO2022202042A1 WO 2022202042 A1 WO2022202042 A1 WO 2022202042A1 JP 2022007070 W JP2022007070 W JP 2022007070W WO 2022202042 A1 WO2022202042 A1 WO 2022202042A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
light
inspection
color
synthesizing
Prior art date
Application number
PCT/JP2022/007070
Other languages
English (en)
French (fr)
Inventor
哲也 疋田
拓也 川村
Original Assignee
株式会社安永
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社安永 filed Critical 株式会社安永
Publication of WO2022202042A1 publication Critical patent/WO2022202042A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination

Definitions

  • the technology disclosed here belongs to the technical field related to visual inspection methods and visual inspection apparatuses.
  • each of a plurality of captured images is spectrally processed into a plurality of color components to generate a plurality of spectral images, and the generated spectral images are divided into distribution ratios according to the purpose of inspection. generates a composite image synthesized in , and determines the appearance of the inspection object based on the generated composite image.
  • the technology disclosed herein has been made in view of this point, and its purpose is to improve the inspection accuracy when inspecting the appearance of an inspection object using a color image.
  • the technology disclosed herein is directed to a visual inspection method for inspecting defects formed on the surface of an inspection object, and includes an irradiation step of irradiating the inspection object with light; a first image that is a monochromatic light image of a first color from the acquired image of the inspection object; and a color different from the first color.
  • the step extracts a portion having a gradation value within a predetermined range from the synthesized image obtained in the image synthesizing step, and determines the presence or absence of the defect based on the extracted portion. did.
  • the difference in gradation values between the defect candidate and its surroundings increases, and the contrast around the defect increases.
  • the difference in gradation value is caused by a defect, unlike the case where the gradation value of one image is doubled to increase the difference in gradation value. It can be determined with high accuracy that there is
  • by extracting a portion whose gradation value is within a predetermined range it is possible to enhance the contrast between the defect candidate and its surroundings in the vicinity of the defect. Thereby, the inspection accuracy of the appearance inspection can be improved.
  • the light irradiated in the irradiation step is white light
  • the monochromatic light image obtaining step obtains an image of two colors of RGB from the image obtained in the imaging step. are extracted as the first image and the second image.
  • the monochromatic light image acquiring step uses the monochromatic light image of a color having the highest contrast around the defect candidate among RGB as the first image, and the color having the smallest contrast around the defect candidate among RGB. using the monochromatic light image as the second image, further comprising a reversed image obtaining step of obtaining a reversed image by reversing the gradation value in the second image before the image synthesizing step, wherein the image synthesizing step
  • the step may be a step of synthesizing the first image and the reverse image.
  • the gradation value of the defect portion is almost affected.
  • gradation value of the background portion can be made as small as possible. Thereby, the contrast around the defect can be enhanced. As a result, it is possible to further improve the inspection accuracy of the appearance inspection.
  • the average value of the gradation values of the pixels of the first image and the average value of the gradation values of the pixels of the second image are adjusted to be the same. and further comprising a gradation value adjustment step of correcting the gradation value of each pixel of the first image and the gradation value of each pixel of the second image, wherein the image synthesizing step is performed so that the gradation value of each pixel is It may be a step of synthesizing the first image after each adjustment and the second image after each adjustment of the gradation value of each pixel.
  • Another aspect of the visual inspection method in the technique disclosed herein is directed to a visual inspection method for inspecting defects formed on the surface of an inspection object, and includes an irradiation step of irradiating the inspection object with light; an imaging step of acquiring one or more images of the inspected object irradiated with , and when the image is one, for a plurality of monochromatic light images extracted from the one image, each Each monochromatic light image is synthesized by summing up the respective gradation values of a plurality of pixels constituting the monochromatic light image for each corresponding pixel, and when there are a plurality of said images, the plurality of monochromatic light images constituting the respective images are synthesized.
  • Another aspect of the technology disclosed herein is directed to a visual inspection apparatus for inspecting defects formed on a surface of an inspection object, and includes an irradiation unit for irradiating the inspection object with light, and an imaging unit that acquires an image of the inspection object; and an inspection unit that inspects whether or not there is a defect from the acquired image of the inspection object, wherein the inspection unit performs the inspection acquired by the imaging unit.
  • a first image which is a monochromatic light image of a first color
  • a second image which is a monochromatic light image of a second color different from the first color
  • generating a composite image by combining the base image and the image based on the second image by adding up the tone values of the plurality of pixels constituting each image for each corresponding pixel, and from the composite image, A portion having a gradation value within a predetermined range is extracted, and the presence or absence of the defect is determined based on the extracted portion.
  • the light emitted by the irradiation unit is white light
  • the inspection unit converts images of two colors of RGB from the image acquired by the imaging unit into the first image and the A configuration of extracting as a second image may also be used.
  • images of each color of RGB can be generated from the acquired image. This eliminates the need to obtain an image in which the inspection object is irradiated with each color of RGB, thereby shortening the inspection time.
  • FIG. 1 is a schematic diagram of a visual inspection apparatus according to Embodiment 1.
  • FIG. FIG. 2 is a schematic diagram showing the periphery of the camera of the visual inspection apparatus.
  • FIG. 3 is a block diagram showing the control system of the visual inspection apparatus.
  • FIG. 4 is a schematic diagram showing a state in which a monochromatic light image is generated from an image captured by a camera.
  • FIG. 5 is a diagram schematically showing the image synthesizing process.
  • FIG. 6 is a diagram showing how an image for determination is acquired from a synthesized image.
  • FIG. 7 is a flow chart showing the processing operation of appearance inspection by the controller.
  • FIG. 8 is a diagram schematically showing a reverse image generation process in the visual inspection apparatus according to the second embodiment.
  • FIG. 9 is a diagram showing how an image for judgment is acquired from a synthesized image in the appearance inspection apparatus according to the second embodiment.
  • FIG. 10 is a diagram schematically showing a gradation value adjusting process in
  • FIG. 1 and 2 schematically show an appearance inspection apparatus 1 according to the first embodiment.
  • This visual inspection apparatus 1 is, for example, an apparatus for inspecting the defects of a semiconductor component or the like as an inspection object (hereinafter referred to as a work W) from its appearance.
  • the term "defect” as used herein means scratches, dents, adherence of foreign matter, and the like.
  • the appearance inspection device 1 has a box-shaped housing 2 . Inside the housing 2, three tray storage units 4, 5, 6 and one inspection unit 3 are provided. Tray storage units 4, 5, and 6 include a pre-inspection tray storage unit 4 for storing trays in which works W before inspection are arranged, and a non-defective tray storage unit for storing trays in which works W judged to be free of defects are arranged. and a defective product tray storage unit 6 for storing trays in which works W determined to be defective are arranged. Details of the inspection unit 3 will be described later. The arrangement of the three tray storage units 4, 5, 6 and one inspection unit 3 is not particularly limited.
  • a rail 7 extending along the direction in which the tray storage units 4, 5, 6 and the inspection unit 3 are arranged is provided above the tray storage units 4, 5, 6 and the inspection unit 3.
  • An arm 8 for holding a workpiece W is supported on the rail 7 so as to be slidable along the rail 7 .
  • a holding portion 8a that actually holds the workpiece W is provided at the tip (here, the lower end) of the arm 8. As shown in FIG. The holding portion 8a sucks and holds the work W by vacuum suction.
  • the holding portion 8a is configured to be vertically movable.
  • the arm 8 moves along the rail 7 to move the workpiece W held by the holding portion 8 a from the pre-inspection tray storage portion 4 to the inspection portion 3 , the non-defective product tray storage portion 5 or the defective product tray storage portion 6 . transport.
  • the arm 8 is controlled by an arm control section 101 of a controller 100 which will be described later.
  • the trays stored in the respective tray storage sections 4, 5, 6 are configured to be movable in a direction orthogonal to both the rails 7 and the vertical direction by a conveyor (not shown).
  • This conveyor allows alignment between the arm 8 and the tray.
  • the rail 7 may be movable in a direction perpendicular to both the rail 7 and the vertical direction, and the arm 8 and the tray may be aligned by moving the rail 7 .
  • the inspection part 3 has a rectangular tubular wall part 3a.
  • the inspection unit 3 includes one camera 10 that acquires an image of the work W, and a plurality of (here, four) illumination devices 20 that irradiate an inspection area of the work W with light inside the wall 3a.
  • the inspection unit 3 of the visual inspection apparatus 1 has a single camera as an image acquisition device.
  • a camera 10 photographs the workpiece W held by the arm 8 .
  • the camera 10 is a camera capable of acquiring a color image of the workpiece W. As shown in FIG.
  • the camera 10 is configured to be able to communicate with the controller 100 and is controlled by an optical system control section 102 of the controller 100 as shown in FIG.
  • the plurality of lighting devices 20 are arranged so as to surround the camera 10 .
  • Each lighting device 20 is configured to emit light in the visible light region. Specifically, white light, red light, green light, and blue light having different wavelengths are irradiated singly or in combination.
  • Each lighting device 20 is supported by the wall portion 3a.
  • the angle of incidence of the light emitted from each illumination device 20 on the workpiece W and the amount of light are independently adjusted by the optical system control section 102 of the controller 100 . That is, the controller 100 can operate only some of the lighting devices 20 and stop the other lighting devices 20, or operate all the lighting devices 20 and vary the light amount of each lighting device 20. can.
  • the number and arrangement of lighting devices 20 are not particularly limited as long as two or more lighting devices 20 are provided.
  • the illumination device 20 may be arranged along the entire circumferential direction of the inner peripheral surface of the wall portion 3a so as to surround the entire periphery of the camera 10 .
  • the visual inspection apparatus 1 includes a display device 30 (see FIG. 3) capable of displaying images captured by the camera 10 and the results of the visual inspection described later.
  • the display device 30 displays images and the like sent via the controller 100 .
  • the display device 30 may be configured to display icons for operating the camera 10 and the lighting device 20 .
  • the appearance inspection apparatus 1 is operated and controlled by a controller 100 .
  • the controller 100 has a processor having a CPU and a memory storing a plurality of modules.
  • the controller 100 has a function of inspecting the workpiece W for defects based on the image captured by the camera 10 .
  • the controller 100 inspects the workpiece W for defects based on the color image captured by the camera 10 .
  • Such functions are stored as software in memory modules.
  • the number of processors and memories is not limited to one, and the controller 100 may have two or more processors and memories.
  • the controller 100 includes an arm control unit 101 that controls the operation of the arm 8, an optical system control unit 102 that controls the camera 10 and each lighting device 20, and a predetermined an image processing unit 103 that performs processing, an image combining unit 104 that combines images processed by the image processing unit 103 to generate a composite image, a determination unit 105 that determines the presence or absence of a defect based on the composite image, have
  • the arm control unit 101, the optical system control unit 102, the image processing unit 103, the image synthesizing unit 104, and the determination unit 105 are examples of modules stored in the memory.
  • the arm control section 101 controls the movement of the arm 8 and the operation of the holding section 8a.
  • the arm control unit 101 acquires information about the position of the arm 8 from a position sensor (not shown) provided on the arm 8 .
  • Arm control unit 101 moves arm 8 so that arm 8 is positioned at a desired position based on information from the position sensor.
  • the arm control unit 101 controls the vertical movement and the suction operation of the holding unit 8a so that the workpiece W is properly transported.
  • the optical system control unit 102 adjusts the focus of the camera 10, and adjusts the position, angle, amount of light, color of emitted light, etc. of each lighting device 20.
  • the camera 10 acquires a color image of the work W according to the control signal from the optical system control section 102 .
  • each lighting device 20 irradiates the work W with white light.
  • the camera 10 acquires a color image of the work W irradiated with white light from each illumination device 20 based on the control signal from the optical system control unit 102 .
  • the image processing unit 103 extracts RGB images from the color image acquired by the camera 10 . That is, the image processing unit 103 extracts 8-bit monochromatic light images of red, green, and blue from the RGB 24-bit image. A first image and a second image having a different color from the first image are selected from the red, green, and blue 8-bit monochromatic light images generated by the image processing unit 103 .
  • the image synthesizing unit 104 synthesizes the first image and the second image selected by the image processing unit 103 by adding the gradation values of the plurality of pixels forming each image.
  • the gradation value is, for example, a luminance gradation value. The details of image composition will be described later. Note that the gradation value of saturation may be used as the gradation value.
  • the determination unit 105 determines whether or not the workpiece W has a defect based on the composite image generated by the image composition unit 104 . Determination by the determination unit 105 will be described later.
  • the controller 100 outputs a control signal to the display device 30 so as to display the determination result of the determination unit 105 .
  • the controller 100 causes the display device 30 to display the defective portion of the work W so that the defect can be identified.
  • the controller 100 causes the storage unit 40 to store the composite image of the workpiece W that has been determined to be non-defective by the determination unit 105 .
  • the stored composite image is used for determination by the determination unit 105, for example.
  • the image processing unit 103 generates 8-bit monochromatic light images of red, green, and blue from the 24-bit color image acquired by the camera 10, as shown in FIG. At this time, for example, if the defect C is yellow, as shown in FIG. 4, the defect C appears in the red monochromatic light image and the green monochromatic light image, while the defect C is difficult to appear.
  • the image processing unit 103 selects the first image and the second image from these images.
  • two images having a large contrast around the defect candidate can be selected as the first image and the second image.
  • a red monochromatic light image is selected as the first image and a green monochromatic light image is selected as the second image.
  • the image synthesizing unit 104 actually synthesizes two-dimensional images, but here, for the sake of simplicity, the description will be based on a one-dimensional profile.
  • the profiles shown in FIG. 5 are one-dimensional profiles of the first image, the second image, and the composite image including the defect C portion.
  • Reference numeral 501 is a one-dimensional profile of the first image (hereinafter referred to as first profile 501)
  • reference numeral 502 is a one-dimensional profile of the second image (hereinafter referred to as second profile 502)
  • reference numeral 503 is a synthesized image.
  • the vertical axis is the luminance gradation value. Since the first image and the second image are 8-bit images, the first profile 501 and the second profile 502 have 256 gradations, and the minimum gradation value is 0 and the maximum value is 255. .
  • the image synthesizing unit 104 adds the gradation values of the plurality of pixels forming the first image and the gradation values of the plurality of pixels forming the second image for each corresponding pixel.
  • the composite profile 503 has 511 gradations, and the minimum value of the gradation value remains 0, while the maximum value becomes 510, like the composite profile 503 .
  • the vertical axis of the graph showing the composite profile 503 is shown in a reduced scale, it seems that there is no difference between the first profile 501 and the second profile 502, but in reality, the floor of the defect C portion is The difference between the tone value and the tone value of the peripheral portion of the defect C is large.
  • the image synthesizing unit 104 adds the gradation values together without distinguishing colors. For example, when the gradation value of an arbitrary pixel X in the first image (red light image) is 110 and the gradation value of the pixel corresponding to the pixel X in the second image (green light image) is 130 , the gradation value of the pixel corresponding to the pixel X in the synthesized image is 240.
  • the determination unit 105 extracts a portion whose gradation value is within a predetermined range from the synthesized image generated by the image synthesis unit 104, and determines whether or not there is a defect C based on the extracted portion. do. Specifically, the determination unit 105 extracts an 8-bit range, that is, a range of 256 gradations from the synthesized image (shown as an enlarged profile 601 in FIG. 6). For example, the determination unit 105 can extract a range of gradation values from 129 to 384 so as to sandwich a portion of 256 gradation values.
  • the range of 256 gradations extracted by the determination unit 105 may be arbitrarily set by the user, or may be a preset range.
  • the range to be extracted may be 7 bits or less or 9 bits or more as long as it is smaller than 16 bits and includes all the gradation values of the defect candidate portion.
  • the determination unit 105 determines the presence or absence of the defect C based on the extracted image of 256 gradations.
  • a specific mode of determining the defect C is not particularly limited. For example, the determining unit 105 determines that the work W has a defect C when there is a portion where the absolute value of the difference in tone value is greater than or equal to a predetermined value in comparison with the non-defective composite image stored in the storage unit 40. You may Note that the determination unit 105 determines that at least the inspection synthesized image and the comparison synthesized image are adjusted so that the average values of the gradation values of the inspection synthesized image and the comparison synthesized image are the same when comparing with the non-defective synthesized image. One of the gradation values may be uniformly increased or decreased.
  • FIG. 7 is a flow chart showing operation processing of visual inspection of a workpiece by the controller 100 .
  • step S ⁇ b>1 the controller 100 controls the arm 8 to take out the workpiece W before inspection and move it above the inspection section 3 .
  • step S2 the controller 100 causes the illumination device 20 to irradiate the workpiece W with white light.
  • step S3 the controller 100 acquires a color image of the work W irradiated with white light.
  • step S4 the controller 100 generates a first image and a second image from the obtained color images.
  • the controller 100 generates a monochromatic light image of each color of RGB from the color image, and selects the first image and the second image from among them to generate the first image and the second image.
  • step S5 the controller 100 synthesizes the generated first image and second image.
  • the controller 100 synthesizes the first image and the second image by adding the gradation values of each pixel of each image.
  • step S6 the controller 100 extracts a portion having a predetermined range of gradation values from the composite image generated in step S5.
  • the controller 100 extracts a range of 8 bits (256 gradations) containing all the gradation values of the defect candidate portion from the synthesized image.
  • step S7 the controller 100 determines whether there is a defect C based on the 8-bit image extracted in step S6. If YES, the controller 100 proceeds to step S8. On the other hand, the controller 100 advances to step S9 when the answer is NO that there is a defect C.
  • step S8 after the display device 30 notifies that there is no defect C, the process returns and prepares to inspect the next workpiece W.
  • step S9 the controller 100 notifies that the defect C exists by displaying an image showing the location of the defect C using the display device 30. After that, the controller 100 returns and prepares to inspect the next workpiece W.
  • the work W is irradiated with light, an image of the work W irradiated with light is acquired, and the first image, which is a monochromatic light image of the first color, is obtained from the acquired image of the work W. and a second image that is a monochromatic light image of a second color different from the first color, and the first image and the second image are obtained by obtaining the respective gradation values of a plurality of pixels constituting each image. are added together to synthesize, and from the resulting synthesized image, a portion having a gradation value within a predetermined range is extracted, and the presence or absence of defect C is determined based on the extracted portion.
  • the image is synthesized by adding the gradation values, the difference in the gradation values around the defect becomes large and the contrast becomes large.
  • the periphery of the defect can be emphasized. Thereby, the inspection accuracy of the appearance inspection can be improved.
  • two-color images of RGB are obtained as the first image and the second image from the captured image of the workpiece W. If it is an image of an object to be inspected illuminated with white light, an image of each color of RGB can be generated from the image. This eliminates the need to obtain an image in which the inspection object is irradiated with each color of RGB, thereby shortening the inspection time.
  • Embodiment 2 will be described in detail with reference to the drawings.
  • the same reference numerals are assigned to the same parts as in the first embodiment, and detailed description thereof will be omitted.
  • processing in the image processing unit 103 and the image synthesizing unit 104 is different from that in the first embodiment.
  • the image processing unit 103 generates a monochromatic light image of each color of RGB from the color image, and then, among the monochromatic light images, converts the monochromatic light image of the color with the highest contrast around the defect candidate into the first image. , and the monochromatic light image of the color with the smallest contrast around the defect candidate is taken as the second image.
  • the image processing unit 103 inverts the gradation values of the second image and executes a reversed image obtaining step of obtaining a reversed image.
  • the image processing unit 103 inverts the gradation value based on the gradation value 127.5, which is the median value of the gradation, so that the gradation value 0 becomes 255 and the gradation value 255 becomes 0.
  • the image synthesizing unit 104 synthesizes the first image and the reverse image to generate a synthetic image, as shown in FIG.
  • the profiles shown in FIG. 9 are one-dimensional profiles of the first image, the reverse image, and the composite image of the first image and the reverse image.
  • Reference numeral 901 denotes a one-dimensional profile of the first image (hereinafter referred to as first profile 901)
  • reference numeral 903 denotes a one-dimensional profile of the composite image (hereinafter referred to as composite profile 903).
  • the image synthesizing unit 104 synthesizes the first image and the reverse image by adding the gradation values of the pixels of the first image and the reverse image, as in the first embodiment.
  • the gradation value of the background portion in the synthesized image can be made as small as possible. , the contrast around the defect can be enhanced.
  • the determination unit 105 extracts a range of 256 gradations from the synthesized image, as in the first embodiment.
  • the determination unit 105 determines whether or not there is a defect C based on the extracted image.
  • the inverted image obtained by inverting the gradation value of the monochromatic light image of the color with the lowest contrast around the defect candidate is the monochromatic light image of the color with the highest contrast around the defect candidate.
  • Embodiment 3 will be described in detail with reference to the drawings.
  • the parts common to those of the first and second embodiments are denoted by the same reference numerals, and detailed description thereof will be omitted.
  • the processing in the image processing unit 103 and the image synthesizing unit 104 is different from those in the first and second embodiments.
  • the image processing unit 103 generates a monochromatic light image of each color of RGB from the color image, selects the first image and the second image, and averages the gradation value of each pixel of the first image.
  • the image processing unit 103 calculates the average values of the gradation values of the first image and the second image, and adjusts the average values so that the average values are the same. , correction is performed to decrease the gradation value of each pixel of the first image, and correction is performed to increase the gradation value of each pixel of the second image with respect to the second image.
  • the average values of the gradation values of the first image and the second image are each corrected to 127.5.
  • the average value after correction can be arbitrarily selected as long as the maximum value of the gradation value in the corrected image is 255 or less and the minimum value is greater than 0.
  • the image synthesizing unit 104 synthesizes the corrected first image and the corrected second image to generate a synthesized image.
  • the image synthesizing unit 104 synthesizes the two images by adding the gradation values of the pixels of the corrected first image and the corrected second image, as in the first embodiment.
  • the determination unit 105 extracts a range of 256 gradations from the synthesized image, as in the first embodiment.
  • the determination unit 105 determines whether or not there is a defect C based on the extracted image.
  • the third embodiment by aligning the average brightness of the first image and the second image, when the light receiving sensitivity of the camera 10 is different between RGB, or when the wavelength balance of the RGB of the lighting device 20 is different. Even in such cases, these effects can be reduced. Thereby, the inspection accuracy of the appearance inspection can be further improved.
  • the workpiece W is irradiated with white light, a color image is acquired by the camera 10, and monochromatic light images of RGB colors are acquired from the color image.
  • the lighting device 20 irradiates the work W with red light to obtain a red monochromatic light image, irradiates green light to obtain a green monochromatic light image, and irradiates blue light to obtain a blue light image.
  • monochromatic light images may be acquired. In this case, it is necessary to acquire monochromatic light images of respective colors with the photographing position of the camera 10 fixed, that is, with the coordinates of the workpiece W being the same in each image.
  • the image processing unit 103 selects the first image and the second image by generating a monochromatic light image of each color of RGB.
  • a table or the like indicating which monochromatic light image is to be generated for each workpiece W is stored in advance in the memory of the controller 100, and the image processing unit 103 refers to the table stored in the memory. , may generate only a monochromatic light image of a preset color.
  • each image is corrected so that the average values of the gradation values of the first image and the second image are the same, and then the gradation values of the second image are inverted to create an inverted image.
  • the gradation value of the first image and the gradation value of the reverse image are added, the gradation value of the background portion becomes smaller than that of the defect portion, and the contrast around the defect is emphasized as much as possible. can be done.
  • a monochromatic light image of each color of RGB is generated, but a monochromatic light image of each color of CMYK (cyan, magenta, yellow, and black) may be generated. .
  • monochromatic light images of two colors are synthesized, but monochromatic light images of three or more colors may be synthesized.
  • a plurality of white light images with different lighting conditions (incident angle and light amount of light to the workpiece W) of the lighting device 20 may be synthesized.
  • a two-dimensional image of the work W was used, but a three-dimensional image may be used. Even in this case, each image is photographed so that the coordinates of the work W are the same.
  • the technology disclosed here is useful when inspecting defects formed on the surface of an inspection object.
  • Appearance inspection device 10 Camera 20 Lighting device 100 Controller (inspection unit) W work (object to be inspected)

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

光が照射されたワークＷの画像を取得し、取得されたワークＷの画像から第１色の単色光画像である第１画像と、該第１色とは異なる色の第２色の単色光画像である第２画像とを取得し、第１画像に基づく画像と第２画像に基づく画像とを、各画像を構成する複数の画素の各階調値をそれぞれ足し合わせることで合成し、得られた合成画像から、階調値が所定範囲内である部分を抜き出して、該抜き出した部分に基づいて欠陥Ｃの有無を判定する。

Description

外観検査方法及び外観検査装置
　ここに開示された技術は、外観検査方法及び外観検査装置に関する技術分野に属する。
　従来より、電子部品などの検査対象物を撮像して得られた画像に基づいて、検査対象物に欠けや異物の付着等の欠陥がないかを検査する外観検査方法が知られている。従来は、白黒画像に基づく検査が主流であったが、近年では、カラー画像を用いてより詳細な検査を行うことが検討されている。
　例えば、特許文献１に記載の外観検査装置では、複数の撮像画像のそれぞれを複数の色成分に分光処理して複数の分光画像を生成し、生成した分光画像を、検査目的に応じた分配率で合成した合成画像を生成し、生成された合成画像に基づいて検査対象物の外観を判定している。
特開２０１９－１２４６４０号公報
　ところで、欠陥部分に色がついている場合、分光画像のそれぞれにおいて欠陥部分のコントラストに差が生じる。各分光画像の欠陥部分のコントラストが小さい場合、特許文献１のように各分光画像に対して分配率を定めて合成すると、コントラストの情報が劣化してしまうおそれがある。このため、外観検査の検査精度を向上させる観点からは改良の余地がある。
　ここに開示された技術は斯かる点に鑑みてなされたものであり、その目的とするところは、カラー画像を用いて検査対象物の外観検査をする際の検査精度を向上させることにある。
　前記課題を解決するために、ここに開示された技術では、検査対象物の表面に形成された欠陥を検査する外観検査方法を対象として、前記検査対象物に光を照射する照射工程と、光が照射された前記検査対象物の画像を取得する撮像工程と、取得された前記検査対象物の画像から第１色の単色光画像である第１画像と、該第１色とは異なる色の第２色の単色光画像である第２画像とを取得する単色光画像取得工程と、前記第１画像に基づく画像と前記第２画像に基づく画像とを、各画像を構成する複数の画素の各階調値を対応する画素毎にそれぞれ足し合わせることで合成する画像合成工程と、前記画像合成工程で得られた合成画像に基づいて前記欠陥の有無を判定する判定工程と、を含み、前記判定工程は、前記画像合成工程で得られた合成画像から、階調値が所定範囲内である部分を抜き出して、該抜き出した部分に基づいて前記欠陥の有無を判定する工程である、という構成にした。
　この構成によると、階調値を足し合わせて画像を合成するため、欠陥候補とその周辺との階調値の差が大きくなり、欠陥周辺のコントラストが大きくなる。特に、異なる色の単色光画像を用いることで、１つの画像の階調値を倍増する等して階調値の差を大きくする場合とは異なり、階調値の差が欠陥により発生していることを精度良く判定することができる。また、階調値が所定範囲内である部分を抜き出すことで、欠陥周辺において、欠陥候補とその周辺とのコントラストを強調することができる。これにより、外観検査の検査精度を向上させることができる。
　前記外観検査方法の一実施形態では、前記照射工程で照射される光は白色光であり、前記単色光画像取得工程は、前記撮像工程で取得された画像から、ＲＧＢのうちの２色の画像を、前記第１画像及び前記第２画像として抽出する工程である。
　すなわち、白色光に照射された検査対象物の画像であれば、該画像からＲＧＢの各色の画像を生成することができる。これにより、ＲＧＢの各色を検査対象物に照射した画像を取得する必要がなくなり、検査時間を短縮することができる。
　前記一実施形態において、前記単色光画像取得工程は、ＲＧＢのうち欠陥候補周辺のコントラストが最も大きい色の単色光画像を前記第１画像とし、ＲＧＢのうち前記欠陥候補周辺のコントラストが最も小さい色の単色光画像を前記第２画像とする工程であり、前記画像合成工程の前に、前記第２画像における階調値を反転させて反転画像を得る反転画像取得工程を更に含み、前記画像合成工程は、前記第１画像と前記反転画像とを合成する工程である、という構成でもよい。
　この構成によると、欠陥候補周辺のコントラストが最も小さい色の単色光画像の階調値を反転させた反転画像を第１画像と合成することで、欠陥部分の階調値にはほとんど影響を与えることなく、背景部分の階調値を出来る限り小さくすることができる。これにより、欠陥周辺のコントラストを強調することができる。この結果、外観検査の検査精度をより向上させることができる。
　前記一実施形態において、前記画像合成工程の前に、前記第１画像の各画素の階調値の平均値と、前記第２画像の各画素の階調値の平均値とが同じになるように、前記第１画像の各画素の階調値及び前記第２画像の各画素の階調値を補正する階調値調整工程を更に含み、前記画像合成工程は、各画素の階調値がそれぞれ調整された後の第１画像と各画素の階調値がそれぞれ調整された後の第２画像とを合成する工程である、という構成でもよい。
　この構成によると、撮像工程で用いるカメラの受光感度がＲＧＢで異なる場合や、照明装置のＲＧＢの波長バランスが異なる場合などであっても、第１画像及び第２画像の階調値の平均値をそろえることで、これらの影響を低減することができる。これにより、欠陥周辺のコントラストを強調しやすくすることができ、外観検査の検査精度をより向上させることができる。
　ここに開示された技術における外観検査方法の他の態様は、検査対象物の表面に形成された欠陥を検査する外観検査方法を対象として、前記検査対象物に光を照射する照射工程と、光が照射された前記検査対象物の画像を１つ又は複数取得する撮像工程と、前記画像が１つである場合には、該１つの画像から抽出される複数の単色光画像に対して、各単色光画像を構成する複数の画素の各階調値を対応する画素毎にそれぞれ足し合わせることで各単色光画像を合成し、前記画像が複数である場合には、該各画像を構成する複数の画素の各階調値を対応する画素毎にそれぞれ足し合わせることで各画像を合成する画像合成工程と、前記画像合成工程で得られた合成画像に基づいて前記欠陥の有無を判定する判定工程と、を含み、前記判定工程は、前記画像合成工程で得られた合成画像から、階調値が所定範囲内である部分を抜き出して、該抜き出した部分に基づいて前記欠陥の有無を判定する工程である、という構成とした。
　この構成でも、欠陥周辺の階調値の差を大きくできるとともに、欠陥周辺のコントラストを強調することができる。これにより、外観検査の検査精度を向上させることができる。
　ここに開示された技術の他の態様は、検査対象物の表面に形成された欠陥を検査する外観検査装置を対象として、前記検査対象物に光を照射する照射部と、光が照射された前記検査対象物の画像を取得する撮像部と、取得された前記検査対象物の画像から欠陥の有無を検査する検査部と、を備え、前記検査部は、前記撮像部により取得された前記検査対象物の画像から第１色の単色光画像である第１画像と、該第１色とは異なる色の第２色の単色光画像である第２画像とを取得し、前記第１画像に基づく画像と前記第２画像に基づく画像とを、各画像を構成する複数の画素の各階調値を対応する画素毎にそれぞれ足し合わせることで合成して合成画像を生成し、前記合成画像から、階調値が所定範囲内である部分を抜き出して、該抜き出した部分に基づいて前記欠陥の有無を判定する、という構成とした。
　この構成でも、欠陥周辺の階調値の差を大きくできるとともに、欠陥周辺のコントラストを強調することができる。これにより、外観検査の検査精度を向上させることができる。
　前記外観検査装置において、前記照射部が照射する光は白色光であり、前記検査部は、前記撮像部により取得された画像から、ＲＧＢのうちの２色の画像を、前記第１画像及び前記第２画像として抽出する、という構成でもよい。
　この構成によると、取得した画像からＲＧＢの各色の画像を生成することができる。これにより、ＲＧＢの各色を検査対象物に照射した画像を取得する必要がなくなり、検査時間を短縮することができる。
　以上説明したように、ここに開示された技術によると、カラー画像を用いて検査対象物の外観検査をする際の検査精度を向上させることができる。
図１は、実施形態１に係る外観検査装置の概略図である。 図２は、外観検査装置のカメラ周辺を示す概略図である。 図３は、外観検査装置の制御系を示すブロック図である。 図４は、カメラで撮像された画像から単色光画像を生成した状態を示す模式図である。 図５は、画像合成工程を概略的に示す図である。 図６は、合成画像から判定用の画像を取得する様子を示す図である。 図７は、コントローラによる外観検査の処理動作を示すフローチャートである。 図８は、実施形態２に係る外観検査装置において、反転画像生成工程を概略的に示す図である。 図９は、実施形態２に係る外観検査装置において、合成画像から判定用の画像を取得する様子を示す図である。 図１０は、実施形態３に係る外観検査装置において、階調値調整工程を概略的に示す図である。
　以下、例示的な実施形態について、図面を参照しながら詳細に説明する。尚、以下の説明における、前後方向、上下方向、及び左右方向は、説明を簡単にするために便宜上規定した方向であり、実際の使用状態を限定するものではない。
　（実施形態１）
　図１及び図２は、本実施形態１に係る外観検査装置１を概略的に示す。この外観検査装置１は、例えば、検査対象物（以下、ワークＷという）としての半導体部品等の欠陥を外観から検査する装置である。ここでいう「欠陥」とは、傷、凹み、異物の付着等である。
　外観検査装置１は、箱状の筐体２を有する。筐体２内には、３つのトレー収納部４，５，６と、１つの検査部３とが設けられている。トレー収納部４，５，６は、検査前のワークＷが並べられたトレーを収納する検査前トレー収納部４と、欠陥無しと判定されたワークＷが並べられたトレーを収納する良品トレー収納部５と、欠陥有りと判定されたワークＷが並べられたトレーを収納する欠陥品トレー収納部６とを含む。検査部３の詳細については後述する。尚、３つのトレー収納部４，５，６及び１つの検査部３の配置については、特に限定されない。
　各トレー収納部４，５，６及び検査部３の上側には、各トレー収納部４，５，６及び検査部３が並ぶ方向に沿って延びるレール７が設けられている。レール７にはワークＷを保持するアーム８が、該レール７に沿ってスライド可能に支持されている。アーム８の先端（ここでは下側端）には、実際にワークＷを保持する保持部８ａが設けられている。保持部８ａは、ワークＷを真空吸着により吸着保持する。保持部８ａは、上下方向に移動可能に構成されている。アーム８は、レール７に沿って移動することで、保持部８ａに保持されたワークＷを、検査前トレー収納部４から、検査部３、良品トレー収納部５若しくは欠陥品トレー収納部６に搬送する。アーム８は、後述するコントローラ１００のアーム制御部１０１により制御される。
　各トレー収納部４，５，６に収納されたトレーは、コンベヤ（図示省略）により、レール７及び上下方向の両方に直交する方向に移動可能に構成されている。このコンベヤにより、アーム８とトレーとの位置合わせができるようになっている。尚、レール７が、該レール７及び上下方向の両方に直交する方向に移動可能に構成されていて、レール７を移動させることで、アーム８とトレーとの位置合わせをする構成でもよい。
　検査部３は、角筒状の壁部３ａを有する。検査部３は、壁部３ａの内側に、ワークＷの画像を取得する１つのカメラ１０と、ワークＷにおける検査領域に光を照射する複数（ここでは４つ）の照明装置２０とを備える。
　本実施形態では、カメラ１０は、１つの検査部３に対して１つだけ設けられている。つまり、外観検査装置１の検査部３は、画像取得装置として単一のカメラを備える。カメラ１０は、アーム８に保持されたワークＷを撮影する。カメラ１０は、ワークＷのカラー画像を取得可能なカメラである。カメラ１０は、図３に示すように、コントローラ１００と通信可能に構成されていて、コントローラ１００の光学系制御部１０２により制御される。
　図２に示すように、複数の照明装置２０は、カメラ１０を囲むようにそれぞれ配置されている。各照明装置２０は、可視光領域の光を照射するように構成されている。具体的には、白色光、赤色光、緑色光、及び青色光の波長の異なる光を、単色で照射したり、組み合わせて照射したりする。各照明装置２０は、それぞれ壁部３ａに支持されている。各照明装置２０が照射する光のワークＷへの入射角度、及び光量は、コントローラ１００の光学系制御部１０２により、それぞれ独立して調整される。すなわち、コントローラ１００により、一部の照明装置２０のみを作動させかつ他の照明装置２０を停止させたり、全ての照明装置２０を作動させかつ各照明装置２０の光量をそれぞれ異ならせたりすることができる。尚、照明装置２０の数や配置は、照明装置２０が２つ以上設けられるのであれば、特に限定されない。特に、照明装置２０は、カメラ１０の周囲全体を囲むように、壁部３ａの内周面の周方向全体に配置されてもよい。
　外観検査装置１は、カメラ１０により撮影された画像や、後述する外観検査の結果を表示することができる表示装置３０（図３参照）を備える。表示装置３０は、コントローラ１００を経由して送られてきた画像等を表示する。表示装置３０は、カメラ１０及び照明装置２０を操作するためのアイコンが表示されるように構成されていてもよい。
　〈制御系〉
　外観検査装置１は、コントローラ１００により作動制御される。コントローラ１００は、ＣＰＵを有するプロセッサ、複数のモジュールが格納されたメモリを有する。コントローラ１００は、カメラ１０により撮影された画像に基づいて、ワークＷの欠陥を検査する機能を有する。特に、コントローラ１００は、カメラ１０により撮影されたカラー画像に基づいて、ワークＷの欠陥を検査する。このような機能は、メモリのモジュールにソフトウェアとして格納されている。プロセッサ及びメモリの数は１つに限定されず、コントローラ１００が２つ以上のプロセッサ及びメモリを有していてもよい。
　図３に示すように、コントローラ１００は、アーム８の動作を制御するアーム制御部１０１と、カメラ１０及び各照明装置２０を制御する光学系制御部１０２と、カメラ１０により取得された画像に所定の処理を施す画像処理部１０３と、画像処理部１０３により処理された画像を合成して合成画像を生成する画像合成部１０４と、合成画像に基づいて欠陥の有無を判定する判定部１０５と、を有する。アーム制御部１０１、光学系制御部１０２、画像処理部１０３、画像合成部１０４、及び判定部１０５は、それぞれ、メモリに格納されたモジュールの一例である。
　アーム制御部１０１は、アーム８の移動や保持部８ａの動作を制御する。アーム制御部１０１は、アーム８に設けられた位置センサ（図示省略）によりアーム８の位置に関する情報を取得する。アーム制御部１０１は、位置センサからの情報に基づいて、アーム８が所望の位置に位置するように、アーム８を移動させる。アーム制御部１０１は、ワークＷが適切に搬送されるように、保持部８ａの上下動及び吸着動作を制御する。
　光学系制御部１０２は、カメラ１０のピント調整をしたり、各照明装置２０の位置、角度、光量、及び照射する光の色等を調整したりする。カメラ１０は、光学系制御部１０２からの制御信号に従って、ワークＷのカラー画像を取得する。本実施形態１では、各照明装置２０は、ワークＷに対して白色光を照射する。カメラ１０は、光学系制御部１０２の制御信号に基づいて、各照明装置２０により白色光が照射されたワークＷのカラー画像を取得する。
　画像処理部１０３は、カメラ１０により取得したカラー画像に対して、ＲＧＢの各色の画像を抽出する。すなわち、画像処理部１０３は、ＲＧＢの２４ビット画像から赤色、緑色、及び青色の８ビットの単色光画像をそれぞれ抽出する。画像処理部１０３により生成された赤色、緑色、及び青色の８ビットの単色光画像から、第１画像と、該第１画像とは異なる色の第２画像を選択する。
　画像合成部１０４は、画像処理部１０３により選択された第１画像と第２画像とに対して、各画像を構成する複数の画素の各階調値をそれぞれ足し合わせることで合成する。階調値は、例えば、輝度の階調値である。画像合成の詳細については後述する。尚、階調値として、彩度の階調値を採用してもよい。
　判定部１０５は、画像合成部１０４により生成された合成画像に基づいてワークＷの欠陥の有無を判定する。判定部１０５による判定については後述する。
　コントローラ１００は、判定部１０５の判定結果を表示するように表示装置３０に制御信号を出力する。コントローラ１００は、判定部１０５が欠陥ありと判定したときには、ワークＷの欠陥箇所が分かるように表示装置３０に表示させる。
　コントローラ１００は、判定部１０５により良品と判定されたワークＷの合成画像を記憶部４０に記憶させる。記憶された合成画像は、例えば、判定部１０５による判定に利用される。
　〈画像処理及び画像合成〉
　画像処理部１０３及び画像合成部１０４の処理について説明する。
　画像処理部１０３は、図４に示すように、カメラ１０により取得した２４ビットのカラー画像から赤色、緑色、及び青色の８ビットの単色光画像をそれぞれ生成する。このとき、例えば欠陥Ｃが黄色であったとすると、図４に示すように、赤色の単色光画像と、緑色の単色光画像には欠陥Ｃが現れる一方で、青色の単色光画像には欠陥Ｃが現れにくい。画像処理部１０３は、これらの画像から第１画像及び第２画像を選択する。本実施形態１では、例えば、欠陥候補の周辺のコントラスト（欠陥Ｃの候補となる部分とその周辺との輝度差）が大きい２つの画像を、第１画像及び第２画像として選択することができる。以下、第１画像として、赤色の単色光画像が選択され、第２画像として、緑色の単色光画像が選択されたとして説明する。
　次に、図５を参照しながら画像合成部１０４の処理について説明する。画像合成部１０４は、実際には二次元画像を合成しているが、ここでは、説明を簡単にするために、一次元プロファイルを元に説明する。
　図５に示すプロファイルは、欠陥Ｃの部分を含む第１画像、第２画像、及び合成画像の各一次元プロファイルである。符号５０１は、第１画像の一次元プロファイル（以下、第１プロファイル５０１という）であり、符号５０２は第２画像の一次元プロファイル（以下、第２プロファイル５０２という）であり、符号５０３は合成画像の一次元プロファイル（以下、合成プロファイル５０３という）である。縦軸は、輝度の階調値である。第１画像及び第２画像は８ビットの画像であるため、第１プロファイル５０１及び第２プロファイル５０２は２５６階調であって、階調値の最小値は０であり、最大値は２５５である。
　画像合成部１０４は、第１画像を構成する複数の画素の各階調値と、第２画像を構成する複数の画素の各階調値とを、対応する画素毎にそれぞれ足し合わせる。これにより、合成プロファイル５０３のように、合成プロファイル５０３は５１１階調となって、階調値の最小値は０のままである一方、最大値は５１０となる。図５では、合成プロファイル５０３を示すグラフの縦軸を縮小して示しているため、第１プロファイル５０１及び第２プロファイル５０２と差が無いように見えるが、実際には、欠陥Ｃの部分の階調値と欠陥Ｃの周辺部分の階調値との差は大きくなっている。画像合成部１０４は、色を区別することなく階調値を足し合わせる。例えば、第１画像（赤色光の画像）における任意の画素Ｘの階調値が１１０であり、第２画像（緑色光の画像）における画素Ｘに対応する画素の階調値が１３０であるときには、合成画像における画素Ｘに対応する画素の階調値は２４０になる。
　〈欠陥の判定〉
　次に、判定部１０５の判定について説明する。ここでも、説明を簡単にするために、一次元プロファイルを元に説明する。
　判定部１０５は、図６に示すように、画像合成部１０４により生成された合成画像から、階調値が所定範囲内である部分を抜き出して、抜き出した部分に基づいて欠陥Ｃの有無を判定する。具体的には、判定部１０５は、合成画像から８ビット分の範囲、すなわち、２５６階調分の範囲を抜き出す（図６に拡大プロファイル６０１として示す）。判定部１０５は、例えば、階調値が２５６の部分を挟むように、階調値が１２９～３８４の範囲を抜き出すことができる。判定部１０５が抜き出す２５６階調分の範囲は、ユーザーが任意に設定してもよいし、予め設定された範囲でもよい。また、抜き出す範囲は、１６ビットよりも小さくかつ欠陥候補部分の階調値が全て含まれる範囲であれば、７ビット以下でもよく、９ビット以上でもよい。
　そして、判定部１０５は、抜き出した２５６階調分の画像に基づいて欠陥Ｃの有無を判定する。欠陥Ｃの判定の具体的な態様は特に限定されない。例えば、判定部１０５は、記憶部４０に記憶された良品の合成画像と比較して、階調値の差の絶対値が所定値以上の部分があるときには、ワークＷに欠陥Ｃがあると判定してもよい。尚、判定部１０５は、良品の合成画像と比較する際に、検査用合成画像と比較用合成画像との階調値の平均値が揃うように、検査用合成画像及び比較用合成画像の少なくとも一方の階調値を一律に増減させてもよい。
　〈フローチャート〉
　図７は、コントローラ１００によるワークの外観検査の動作処理を示すフローチャートである。
　まず、ステップＳ１において、コントローラ１００は、アーム８を制御して、検査前のワークＷを取り出して、検査部３の上まで移動させる。
　次に、ステップＳ２において、コントローラ１００は、照明装置２０によりワークＷに白色光を照射する。
　次いで、ステップＳ３において、コントローラ１００は、白色光が照射されたワークＷのカラー画像を取得する。
　次に、ステップＳ４において、コントローラ１００は、取得されたカラー画像から第１画像及び第２画像を生成する。コントローラ１００は、カラー画像から、ＲＧＢの各色の単色光画像を生成し、その中から、第１画像及び第２画像を選択することで、第１画像及び第２画像を生成する。
　次いで、ステップＳ５において、コントローラ１００は、生成された第１画像と第２画像とを合成する。コントローラ１００は、各画像の各画素の階調値を足し合わせることで、第１画像と第２画像とを合成する。
　次に、ステップＳ６において、コントローラ１００は、前記ステップＳ５で生成された合成画像から階調値が所定範囲の部分を抜き出す。コントローラ１００は、欠陥候補部分の階調値が全て含まれかつ８ビット分（２５６階調分）の範囲を合成画像から抜き出す。
　そして、ステップＳ７において、コントローラ１００は、前記ステップＳ６で抜き出した８ビット分の画像に基づいて、欠陥Ｃの有無を判定する。コントローラ１００は、欠陥ＣがないＹＥＳのときにはステップＳ８に進む。一方で、コントローラ１００は、欠陥ＣがあるＮＯのときにはステップＳ９に進む。
　前記ステップＳ８において、欠陥Ｃがないことを表示装置３０により報知した後、リターンして、次のワークＷの検査を実行する準備を行う。
　一方で、前記ステップＳ９では、コントローラ１００は、表示装置３０により、欠陥Ｃの箇所が分かるような画像を表示して欠陥Ｃがあることを報知する。その後、コントローラ１００は、リターンして、次のワークＷの検査を実行する準備を行う。
　したがって、本実施形態１によると、ワークＷに光を照射し、光が照射されたワークＷの画像を取得し、取得されたワークＷの画像から第１色の単色光画像である第１画像と、該第１色とは異なる色の第２色の単色光画像である第２画像とを取得し、第１画像と第２画像とを、各画像を構成する複数の画素の各階調値をそれぞれ足し合わせることで合成し、得られた合成画像から、階調値が所定範囲内である部分を抜き出して、該抜き出した部分に基づいて欠陥Ｃの有無を判定する。これにより、階調値を足し合わせて画像を合成するため、欠陥周辺の階調値の差が大きくなり、コントラストが大きくなる。また、階調値が所定範囲内である部分を抜き出すことで、欠陥周辺を強調することができる。これにより、外観検査の検査精度を向上させることができる。
　また、本実施形態１では、撮像されたワークＷの画像から、ＲＧＢのうちの２色の画像を、第１画像及び前記第２画像として取得する。白色光に照射された検査対象物の画像であれば、該画像からＲＧＢの各色の画像を生成することができる。これにより、ＲＧＢの各色を検査対象物に照射した画像を取得する必要がなくなり、検査時間を短縮することができる。
　（実施形態２）
　以下、実施形態２について、図面を参照しながら詳細に説明する。尚、以下の説明において前記実施形態１と共通の部分については、同じ符号を付して、その詳細な説明を省略する。
　本実施形態２では、画像処理部１０３及び画像合成部１０４での処理が、前記実施形態１とは異なる。具体的には、画像処理部１０３は、カラー画像からＲＧＢの各色の単色光画像を生成した後、各単色光画像のうち、欠陥候補周辺のコントラストが最も大きい色の単色光画像を第１画像とし、欠陥候補周辺のコントラストが最も小さい色の単色光画像を第２画像とする。次に、画像処理部１０３は、図８に示すように、第２画像について階調値を反転させて、反転画像を取得する反転画像取得工程を実行する。図８には、第２画像の一次元プロファイル（以下、第２プロファイル８０１という）と、反転画像の一次元プロファイル（以下、反転プロファイル８０２という）とを示す。画像処理部１０３は、階調値０が２５５となり、階調値２５５が０となるように、階調の中央値である階調値１２７．５を基準に階調値を反転させる。
　画像合成部１０４は、図９に示すように、第１画像と反転画像とを合成して、合成画像を生成する。図９に示すプロファイルは、第１画像、反転画像、及び第１画像と反転画像との合成画像の各一次元プロファイルである。符号９０１は、第１画像の一次元プロファイル（以下、第１プロファイル９０１という）であり、符号９０３は合成画像の一次元プロファイル（以下、合成プロファイル９０３という）である。画像合成部１０４は、前記実施形態１と同様に、第１画像及び反転画像の各画素の階調値を足し合わせることで、第１画像と反転画像とを合成する。このように、欠陥候補周辺のコントラストが大きい画像に対して、欠陥候補周辺のコントラストが小さい画像の反転画像を足し合わせることで、合成画像における背景部分の階調値を出来る限り小さくすることができ、欠陥周辺のコントラストを強調することができる。
　そして、判定部１０５は、前記実施形態１と同様に、合成画像から２５６階調分の範囲を抜き出す。判定部１０５は、抜き出した後の画像に基づいて欠陥Ｃの有無を判定する。
　したがって、本実施形態２によると、欠陥候補周辺のコントラストが最も小さい色の単色光画像の階調値を反転させた反転画像を、欠陥候補周辺のコントラストが最も大きい色の単色光画像である第１画像と合成することで、欠陥部分の階調値にはほとんど影響を与えることなく、背景部分の階調値を出来る限り小さくすることができる。これにより、欠陥部分のコントラストを強調することができ、外観検査の検査精度をより向上させることができる。
　（実施形態３）
　以下、実施形態３について、図面を参照しながら詳細に説明する。尚、以下の説明において前記実施形態１及び２と共通の部分については、同じ符号を付して、その詳細な説明を省略する。
　本実施形態３では、画像処理部１０３及び画像合成部１０４での処理が、前記実施形態１及び２とは異なる。具体的には、画像処理部１０３は、カラー画像からＲＧＢの各色の単色光画像を生成して、第１画像及び第２画像を選択した後、第１画像の各画素の階調値の平均値と、第２画像の各画素の階調値の平均値とが同じになるように、第１画像の各画素の階調値及び前記第２画像の各画素の階調値を補正する階調値調整工程を実行する。画像処理部１０３は、例えば図１０に示すように、画像処理部１０３は、第１画像及び第２画像の階調値の平均値をそれぞれ算出して、該平均値が同じ値になるように、第１画像の各画素の階調値を減少させる補正を行うともに、第２画像については、第２画像の各画素の階調値を増加させる補正を行う。図１０では、第１画像及び第２画像の階調値の平均値が、それぞれ１２７．５になるように補正している。補正後の平均値は、補正後の画像における階調値の最大値が２５５以下でかつ最小値が０より大きくなる範囲であれば、任意に選択可能である。
　画像合成部１０４は、補正後の第１画像と補正後の第２画像とを合成して、合成画像を生成する。画像合成部１０４は、前記実施形態１と同様に、補正後の第１画像及び補正後の第２画像の各画素の階調値を足し合わせることで、２つの画像を合成する。
　そして、判定部１０５は、前記実施形態１と同様に、合成画像から２５６階調分の範囲を抜き出す。判定部１０５は、抜き出した後の画像に基づいて欠陥Ｃの有無を判定する。
　したがって、本実施形態３によると、第１画像と第２画像との平均輝度をそろえるようにすることで、カメラ１０の受光感度がＲＧＢで異なる場合や、照明装置２０のＲＧＢの波長バランスが異なる場合などであっても、これらの影響を低減することができる。これにより、外観検査の検査精度をより向上させることができる。
　（その他の実施形態）
　ここに開示された技術は、前述の実施形態に限られるものではなく、請求の範囲の主旨を逸脱しない範囲で代用が可能である。
　例えば、前述の実施形態では、ワークＷに白色光を照射して、カメラ１０でカラー画像を取得して、該カラー画像からＲＧＢの各色の単色光画像を取得していた。これに限らず、照明装置２０により赤色光をワークＷに照射して赤色の単色光画像を取得し、緑色光を照射して緑色の単色光画像を取得し、及び青色光を照射して青色の単色光画像を取得してもよい。この場合、カメラ１０の撮影位置を固定した状態で、すなわち、各画像でワークＷの座標が同じになる状態で、各色の単色光画像をそれぞれ取得する必要がある。
　また、前述の実施形態では、画像処理部１０３は、ＲＧＢの各色の単色光画像を生成して、第１画像及び第２画像を選択していた。これに限らず、例えば、ワークＷ毎に予め何色の単色光画像を生成するかテーブル等でコントローラ１００のメモリに記憶させておき、画像処理部１０３はメモリに記憶されたテーブルを参照して、予め設定された色の単色光画像のみを生成するようにしてもよい。
　また、前述の実施形態２と実施形態３とを組み合わせても良い。すなわち、第１画像及び第２画像の階調値の平均値がそれぞれ同じ値になるように各画像を補正してから、第２画像の階調値を反転させて、反転画像を作成するようにしてもよい。これにより、第１画像の階調値と反転画像の階調値とを足し合わせた際に、背景部分の階調値が欠陥部分に対して小さくなり、欠陥周辺のコントラストを出来る限り強調することができる。
　また、前述の実施形態１～３では、ＲＧＢの各色の単色光画像を生成していたが、ＣＭＹＫ（シアン、マゼンタ、黄色、及び黒）の各色の単色光画像を生成するようにしてもよい。
　また、前述の実施形態１～３では、２色の単色光画像を合成していたが、３色以上の単色光画像を合成するようにしてもよい。また、照明装置２０の照明条件（光のワークＷへの入射角度や光量）が異なる複数の白色光画像を合成するようにしてもよい。
　また、前述の実施形態１～３では、ワークＷの二次元画像を用いていたが、三次元画像を用いるようにしてもよい。この場合でも、各画像でワークＷの座標が同じになるように撮影する。
　前述の実施形態は単なる例示に過ぎず、本開示の範囲を限定的に解釈してはならない。本開示の範囲は請求の範囲によって定義され、請求の範囲の均等範囲に属する変形や変更は、全て本開示の範囲内のものである。
　ここに開示された技術は、検査対象物の表面に形成された欠陥を検査する際に有用である。
１　　　外観検査装置
１０　　カメラ
２０　　照明装置
１００　コントローラ（検査部）
Ｗ　　　ワーク（検査対象物）

Claims (7)

  1. 　検査対象物の表面に形成された欠陥を検査する外観検査方法であって、
    　前記検査対象物に光を照射する照射工程と、
    　光が照射された前記検査対象物の画像を取得する撮像工程と、
    　取得された前記検査対象物の画像から第１色の単色光画像である第１画像と、該第１色とは異なる色の第２色の単色光画像である第２画像とを取得する単色光画像取得工程と、
    　前記第１画像に基づく画像と前記第２画像に基づく画像とを、各画像を構成する複数の画素の各階調値を対応する画素毎にそれぞれ足し合わせることで合成する画像合成工程と、
    　前記画像合成工程で得られた合成画像に基づいて前記欠陥の有無を判定する判定工程と、
    を含み、
    　前記判定工程は、前記画像合成工程で得られた合成画像から、階調値が所定範囲内である部分を抜き出して、該抜き出した部分に基づいて前記欠陥の有無を判定する工程であることを特徴とする外観検査方法。
  2. 　請求項１に記載の外観検査方法において、
    　前記照射工程で照射される光は白色光であり、
    　前記単色光画像取得工程は、前記撮像工程で取得された画像から、ＲＧＢのうちの２色の画像を、前記第１画像及び前記第２画像として抽出する工程であることを特徴とする外観検査方法。
  3. 　請求項２に記載の外観検査方法において、
    　前記単色光画像取得工程は、ＲＧＢのうち欠陥候補周辺のコントラストが最も大きい色の単色光画像を前記第１画像とし、ＲＧＢのうち前記欠陥候補周辺のコントラストが最も小さい色の単色光画像を前記第２画像とする工程であり、
    　前記画像合成工程の前に、前記第２画像における階調値を反転させて反転画像を得る反転画像取得工程を更に含み、
    　前記画像合成工程は、前記第１画像と前記反転画像とを合成する工程であることを特徴とする外観検査方法。
  4. 　請求項１又は２に記載の外観検査方法において、
    　前記画像合成工程の前に、前記第１画像の各画素の階調値の平均値と、前記第２画像の各画素の階調値の平均値とが同じになるように、前記第１画像の各画素の階調値及び前記第２画像の各画素の階調値を補正する階調値調整工程を更に含み、
    　前記画像合成工程は、各画素の階調値がそれぞれ調整された後の第１画像と各画素の階調値がそれぞれ調整された後の第２画像とを合成する工程であることを特徴とする外観検査方法。
  5. 　検査対象物の表面に形成された欠陥を検査する外観検査方法であって、
    　前記検査対象物に光を照射する照射工程と、
    　光が照射された前記検査対象物の画像を１つ又は複数取得する撮像工程と、
    　前記画像が１つである場合には、該１つの画像から抽出される複数の単色光画像に対して、各単色光画像を構成する複数の画素の各階調値を対応する画素毎にそれぞれ足し合わせることで各単色光画像を合成し、前記画像が複数である場合には、該各画像を構成する複数の画素の各階調値を対応する画素毎にそれぞれ足し合わせることで各画像を合成する画像合成工程と、
    　前記画像合成工程で得られた合成画像に基づいて前記欠陥の有無を判定する判定工程と、
    を含み、
    　前記判定工程は、前記画像合成工程で得られた合成画像から、階調値が所定範囲内である部分を抜き出して、該抜き出した部分に基づいて前記欠陥の有無を判定する工程であることを特徴とする外観検査方法。
  6. 　検査対象物の表面に形成された欠陥を検査する外観検査装置であって、
    　前記検査対象物に光を照射する照射部と、
    　光が照射された前記検査対象物の画像を取得する撮像部と、
    　取得された前記検査対象物の画像から欠陥の有無を検査する検査部と、を備え、
    　前記検査部は、
    　　前記撮像部により取得された前記検査対象物の画像から第１色の単色光画像である第１画像と、該第１色とは異なる色の第２色の単色光画像である第２画像とを取得し、
    　　前記第１画像に基づく画像と前記第２画像に基づく画像とを、各画像を構成する複数の画素の各階調値を対応する画素毎にそれぞれ足し合わせることで合成して合成画像を生成し、
    　　前記合成画像から、階調値が所定範囲内である部分を抜き出して、該抜き出した部分に基づいて前記欠陥の有無を判定することを特徴とする外観検査装置。
  7. 　請求項６に記載の外観検査装置において、
    　前記照射部が照射する光は白色光であり、
    　前記検査部は、前記撮像部により取得された画像から、ＲＧＢのうちの２色の画像を、前記第１画像及び前記第２画像として抽出することを特徴とする外観検査装置。
PCT/JP2022/007070 2021-03-22 2022-02-22 外観検査方法及び外観検査装置 WO2022202042A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021046960A JP2022146141A (ja) 2021-03-22 2021-03-22 外観検査方法及び外観検査装置
JP2021-046960 2021-03-22

Publications (1)

Publication Number Publication Date
WO2022202042A1 true WO2022202042A1 (ja) 2022-09-29

Family

ID=83397056

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/007070 WO2022202042A1 (ja) 2021-03-22 2022-02-22 外観検査方法及び外観検査装置

Country Status (2)

Country Link
JP (1) JP2022146141A (ja)
WO (1) WO2022202042A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0682390A (ja) * 1992-06-26 1994-03-22 Kawasaki Steel Corp 表面欠陥検査方法及び装置
JPH10180989A (ja) * 1996-12-27 1998-07-07 Sanyo Electric Co Ltd Ｃｄ印刷面検査方法
WO2007074770A1 (ja) * 2005-12-26 2007-07-05 Nikon Corporation 画像解析によって欠陥検査を行う欠陥検査装置
JP2008170288A (ja) * 2007-01-12 2008-07-24 Yokogawa Electric Corp 欠陥検査装置および欠陥検査方法
US20120163698A1 (en) * 2010-12-22 2012-06-28 Kla-Tencor Mie Gmbh Method for Inspection and Detection of Defects on Surfaces of Disc-Shaped Objects and Computer System with a Software Product for Carrying out the Method
JP2015197361A (ja) * 2014-04-01 2015-11-09 セイコーエプソン株式会社 表面検査装置および表面検査方法
JP2017194425A (ja) * 2016-04-22 2017-10-26 株式会社 東京ウエルズ 欠陥検査方法および欠陥検査システム
JP2019138762A (ja) * 2018-02-09 2019-08-22 東芝Ｉｔコントロールシステム株式会社 外観検査装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0682390A (ja) * 1992-06-26 1994-03-22 Kawasaki Steel Corp 表面欠陥検査方法及び装置
JPH10180989A (ja) * 1996-12-27 1998-07-07 Sanyo Electric Co Ltd Ｃｄ印刷面検査方法
WO2007074770A1 (ja) * 2005-12-26 2007-07-05 Nikon Corporation 画像解析によって欠陥検査を行う欠陥検査装置
JP2008170288A (ja) * 2007-01-12 2008-07-24 Yokogawa Electric Corp 欠陥検査装置および欠陥検査方法
US20120163698A1 (en) * 2010-12-22 2012-06-28 Kla-Tencor Mie Gmbh Method for Inspection and Detection of Defects on Surfaces of Disc-Shaped Objects and Computer System with a Software Product for Carrying out the Method
JP2015197361A (ja) * 2014-04-01 2015-11-09 セイコーエプソン株式会社 表面検査装置および表面検査方法
JP2017194425A (ja) * 2016-04-22 2017-10-26 株式会社 東京ウエルズ 欠陥検査方法および欠陥検査システム
JP2019138762A (ja) * 2018-02-09 2019-08-22 東芝Ｉｔコントロールシステム株式会社 外観検査装置

Also Published As

Publication number Publication date
JP2022146141A (ja) 2022-10-05

Similar Documents

Publication Publication Date Title
JP6857079B2 (ja) 画像検査装置
US10796428B2 (en) Inspection system and inspection method
JP5424659B2 (ja) 被検査体の検査装置
KR20190101857A (ko) 외관 검사 장치, 및 외관 검사 장치의 조명 조건 설정 방법
JP2009245429A (ja) 画像処理装置
JP2009171008A (ja) 色再現装置および色再現プログラム
CN105372259B (zh) 测量装置、基板检查装置以及其控制方法、存储媒体
JP2013011856A (ja) 撮像システムおよびその制御方法
US11493331B2 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring computer-readable storage medium, and three-dimensional shape measuring computer-readable storage device
JP6791631B2 (ja) 画像生成方法及び検査装置
JP2011054110A (ja) 画像処理型測定機および画像処理測定方法
JP5424660B2 (ja) 被検査体の検査装置
JP2019041204A (ja) 基準画像データ生成方法、印刷物の検査方法、及び基準画像データ生成システム
JP2009156872A6 (ja) 被検査体の検査装置
WO2022202042A1 (ja) 外観検査方法及び外観検査装置
CN112815846A (zh) 一种2d、3d复合的高精度视觉装置及测量方法
JP2003024283A (ja) 皮膚表面状態観察装置
KR100903346B1 (ko) 광학식 입체 형상 검사 방법
TW201618529A (zh) 攝像裝置及檢查裝置
JP5168049B2 (ja) 画像処理方法および画像処理装置
JP2016061646A (ja) カラーヘッドライトテスター及び明暗分岐線探索方法
JP7402745B2 (ja) 撮像装置及び画像検査システム
KR101767174B1 (ko) 대면적 영상 화질 향상을 위한 칼라 합성 조명 제어 방법으로서 패턴 서치 방법
JP2014089156A (ja) 外観検査方法
JP2009276108A (ja) イメージセンサ表面検査方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22774842

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22774842

Country of ref document: EP

Kind code of ref document: A1