WO2020085758A1 - 검사 영역 결정 방법 및 이를 이용하는 외관 검사 장치 - Google Patents

검사 영역 결정 방법 및 이를 이용하는 외관 검사 장치 Download PDF

Info

Publication number
WO2020085758A1
WO2020085758A1 PCT/KR2019/013878 KR2019013878W WO2020085758A1 WO 2020085758 A1 WO2020085758 A1 WO 2020085758A1 KR 2019013878 W KR2019013878 W KR 2019013878W WO 2020085758 A1 WO2020085758 A1 WO 2020085758A1
Authority
WO
WIPO (PCT)
Prior art keywords
color space
images
inspection
composite image
component
Prior art date
Application number
PCT/KR2019/013878
Other languages
English (en)
French (fr)
Inventor
정중기
조훈민
Original Assignee
주식회사 고영테크놀러지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 고영테크놀러지 filed Critical 주식회사 고영테크놀러지
Publication of WO2020085758A1 publication Critical patent/WO2020085758A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Definitions

  • the present disclosure relates to a method for determining an appearance inspection area of an inspection object and an appearance inspection device using the same.
  • an external inspection device can be used.
  • the appearance inspection apparatus may perform an appearance inspection using an inspection image photographing the appearance of the inspection object. After obtaining the inspection image, the appearance inspection apparatus may determine the inspection area of the product appearance in the inspection image, and determine whether there is a defect in the determined inspection area. Therefore, in order for the visual inspection device to proceed with an accurate visual inspection, it is necessary for the visual inspection device to accurately determine the inspection area. In addition, even if the shape or color of the inspection object in the inspection image is slightly changed for each inspection image because there is a processing error in manufacturing the inspection object or the position or direction in which the inspection object is placed is not uniform, the appearance inspection device may It is necessary to determine a consistent inspection area.
  • the appearance inspection apparatus cannot use the information on the appearance to determine the inspection area.
  • gray-scale images have been mainly used as images for visual inspection in order to reduce noise in an image for inspection, which interferes with visual inspection.
  • the gray-scale image is defined as one pixel characteristic such as light intensity
  • the shape or gray level of the inspection object in the gray-scale image is likely to vary depending on the external environment.
  • the gray level of an object to be inspected in a gray-scale image is likely to vary depending on a posture change of an inspection object, a change in reflectance of a surface, a change in illumination, and a change in sensitivity of an image sensor.
  • the inspection image is obtained by connecting gray-scale images including each part of the inspection object, wherein the connection points of the images are noise on the inspection image. Can be included as Therefore, it is not easy to determine an accurate and consistent inspection area within the inspection object included in the gray-scale image based only on the gray level of the gray-scale image.
  • the problem to be solved by the present disclosure is to provide a method for determining an accurate and consistent inspection area in an image for visual inspection of an inspection object and an external inspection device using the same.
  • an inspection device for inspecting a three-dimensional appearance of an inspection object includes a plurality of lighting units that irradiate light to the inspection object at different irradiation angles, and the light from each of the plurality of lighting units.
  • the processor converts a color space of the composite image from a first color space to a second color space, and is associated with at least one pixel among pixels in the converted composite image. At least one coordinate in a second color space may be acquired, and the inspection area may be determined based on values of components of the second color space forming the at least one coordinate.
  • components in the second color space may include at least a first component and a second component
  • the processing unit may include a value including the value of the first component of the obtained at least one coordinate.
  • An area in the second color space which is defined as a range of a second component including a range of one component and a value of the second component of the obtained at least one coordinate, may be determined as the inspection region.
  • the range of the first component and the range of the second component may be respectively determined according to a user input.
  • the range of the first component and the range of the second component may be determined based on the value of the first component and the value of the second component, respectively.
  • the processing unit may remove noise included in the determined inspection area.
  • the pixels of the plurality of images may be images defined by one pixel property.
  • each of the plurality of images may be a gray-scale image.
  • the at least one pixel may be determined according to a user input or may be determined based on values of components in the first color space or the second color space of the composite image.
  • two or more images among the plurality of images may be images obtained by irradiating light of different colors from the plurality of lighting units, respectively.
  • two or more images among the plurality of images may be images obtained by irradiating light of the same color from the plurality of lighting units.
  • the processing unit may generate the composite image by combining values of one pixel characteristic respectively obtained from the two or more images.
  • the first color space and the second color space are differently selected from RGB color space, HSV color space, CMYK color space, YIQ color space, YPbPr color space, HSL color space, and xvYCC color space, respectively. Color spaces.
  • the three-dimensional appearance may be a curved (curved) or angled (edged) appearance.
  • a method of determining an inspection area for inspecting a three-dimensional appearance of an inspection object performed by an inspection device is obtained by irradiating light to the inspection object at different irradiation angles, respectively.
  • Receiving an image of, generating a composite image from two or more of the plurality of images, converting the color space of the composite image from a first color space to a second color space, and the converted composite Obtaining at least one coordinate in the second color space associated with at least one of the pixels in the image and the inspection area based on values of components of the second color space forming the at least one coordinate It may include the step of determining.
  • components in the second color space may include at least a first component and a second component
  • determining the inspection area may include: the first component of the at least one coordinate obtained;
  • the region in the second color space defined by the range of the first component including the value of and the range of the second component including the value of the second component of the obtained at least one coordinate is determined as the inspection region It may include the steps.
  • the determining of the inspection area may include removing noise included in the determined inspection area.
  • the generating of the composite image may include generating the composite image by combining values of one pixel characteristic respectively obtained from the two or more images.
  • a computer-readable storage medium may store a program including instructions for performing each step of a method for determining an inspection area according to an exemplary embodiment of the present disclosure.
  • an inspection apparatus for inspecting a three-dimensional appearance of an inspection target includes: an imaging unit and an plurality of imaging units configured to form a plurality of images by imaging reflected light reflected by the light irradiated to the inspection target It may include a processing unit for determining the inspection area of the inspection target from the composite image generated from two or more of the images. At this time, two or more of the plurality of images may include images obtained under different lighting conditions.
  • the processor converts a color space of the composite image from a first color space to a second color space, and at least one coordinate in the second color space associated with at least one pixel among pixels in the composite image. And may determine the inspection area based on the values of components in the second color space forming the at least one coordinate.
  • a method of displaying an inspection area for inspecting a three-dimensional appearance of an inspection object on a display in an inspection device forms a plurality of images by reflecting reflected light reflected by the inspection object.
  • Obtaining an image, displaying at least one composite image generated from two or more images selected from the plurality of images on the display, selecting one of the displayed at least one composite image, and the selected composite Converting the color space of the image from the first color space to the second color space, and displaying the converted composite image on the display, the second color associated with at least one pixel among pixels in the converted composite image
  • the group may comprise the step of displaying the search range determined on the basis of the two values of the components in the color space on the converted composite image.
  • two or more of the plurality of images may include images obtained under different lighting conditions.
  • an accurate and consistent inspection area may be determined within the inspection object included in the image for appearance inspection.
  • FIG. 1 is a view showing the configuration of an appearance inspection apparatus according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram for explaining a method of generating an inspection image according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram for describing a method of determining an inspection area in an inspection image according to an embodiment of the present disclosure.
  • FIG. 4 is a view showing an inspection area determined according to an embodiment of the present disclosure displayed on a composite image.
  • FIG. 5 is a flowchart illustrating a method of determining an inspection area according to an embodiment of the present disclosure.
  • FIG. 6 is a flowchart illustrating a method of determining an inspection area based on a composite image generated using images obtained by irradiating light to an inspection object at different irradiation angles, according to an embodiment of the present disclosure.
  • FIG. 7 is a flowchart illustrating a method of displaying an inspection area on a display in an appearance inspection apparatus according to an embodiment of the present disclosure.
  • FIG. 8 is a flow diagram illustrating a method of displaying a composite image on a display, according to one embodiment of the present disclosure.
  • FIG. 9 is a flowchart illustrating a method of displaying an inspection area on a composite image in which color space is converted, according to an embodiment of the present disclosure.
  • part used in this embodiment means hardware components such as software, a field-programmable gate array (FPGA), and application specific integrated circuit (ASIC). However, “part” is not limited to hardware and software.
  • the “unit” may be configured to be in an addressable storage medium, or may be configured to reproduce one or more processors.
  • part refers to components such as software components, object-oriented software components, class components and task components, and processors, functions, attributes, procedures, subroutines, and program code. It includes segments, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays and variables. Components and functions provided within the "parts” may be combined into a smaller number of components and “parts” or further separated into additional components and “parts”.
  • the expression "based on” is used to describe one or more factors affecting the action or action of the decision or judgment described in the phrase containing the expression, and this expression is the action of the decision or judgment or It does not rule out additional factors that affect behavior.
  • the visual inspection device 10 may include a plurality of lighting units 11, 12, 13, 14, an imaging unit 15, a processing unit 16, and a display 19.
  • the appearance inspection apparatus 10 determines the appearance inspection area of the inspection object 17 on a composite image generated from a plurality of images obtained by imaging reflected light from which light irradiated to the inspection object 17 is reflected, and within the inspection area It can be determined whether there is a defect.
  • the plurality of lighting units 11, 12, 13 and 14 may irradiate light to the inspection target 17 placed on the stage unit 18 at different irradiation angles.
  • the “irradiation angle” may mean an angle at which the light of the illumination unit is irradiated toward a point of the inspection object 17 and an angle formed by the vertical normal of the stage unit 18 where the inspection object 17 is placed.
  • the direction 111 in which light from the illumination unit 11 is irradiated toward a point 171 of the inspection object 17 and the vertical normal 151 of the stage unit 18 where the measurement object 17 is placed are The angle ⁇ to be formed may be the irradiation angle of the lighting unit 11.
  • One point 171 to which light is irradiated may be a point of the inspection object 17, but may also be a point on the stage portion 18 on which the inspection object 17 is placed.
  • At least one of the plurality of illumination units 11, 12, 13, 14 may have a different wavelength and polarization of light irradiated with another illumination unit.
  • at least one of the plurality of lighting units 11, 12, 13, 14 may include a light source having a different wavelength of light from other lighting units, or a filter capable of changing at least one of wavelength and polarization of light emitted from the light source. You can.
  • At least one of the plurality of lighting units 11, 12, 13, 14 may include a plurality of light sources having different wavelength characteristics. According to another embodiment, at least one of the plurality of lighting units 11, 12, 13, and 14 may include a light source capable of adjusting a wavelength. According to another embodiment, at least one of the plurality of lighting units 11, 12, 13, and 14 includes a plurality of light sources and a filter capable of changing at least one of the wavelength and polarization of light emitted from at least one of the plurality of light sources. It can contain.
  • each of the plurality of lighting units 11, 12, 13, 14 may be implemented with one or a plurality of light sources. Each light source may be implemented using an LED or the like, but is not limited thereto.
  • each of the plurality of lighting units 11, 12, 13 and 14 may irradiate light in various directions toward the inspection object 17. For example, by placing the light sources included in the plurality of lighting units 11, 12, 13, 14 on a concentric circle centered on the inspection object 17, each of the plurality of lighting units 11, 12, 13, 14 Light can be irradiated from various directions toward the inspection target 17.
  • a plurality of illumination units are composed of four illumination units, but may be composed of illumination units that irradiate light at two or more different illumination angles.
  • the plurality of lighting units 11, 12, 13, 14 may each have a different irradiation angle.
  • some of the plurality of lighting units 11, 12, 13, 14 may have different irradiation angles.
  • the size of the irradiation angle of the plurality of lighting units 11, 12, 13, 14 is not limited, and may be selected between 0 and 90 degrees.
  • the appearance inspection apparatus 10 may include only one illumination unit capable of adjusting at least one of an irradiation angle, a wavelength of light, and polarization.
  • one illumination unit may include a light source capable of adjusting the wavelength of light to be irradiated.
  • one illumination unit may include a plurality of light sources having different wavelengths of light to be irradiated.
  • one illumination unit may include a filter capable of changing at least one of the wavelength and polarization of the light to be irradiated.
  • the imaging unit 15 may acquire a plurality of images by imaging reflected light from which light irradiated to the inspection object 17 is reflected (including diffuse reflection). For example, the imaging unit 15 may acquire a plurality of images by imaging reflected light reflected from at least one of the plurality of lighting units 11, 12, 13 and 14 from the inspection object 17.
  • the imaging unit 15 is installed above the stage unit 18 and can acquire an image including the appearance of the inspection object 17.
  • the imaging unit 15 may be implemented using one or more imaging devices such as a camera, or may be the camera itself.
  • the imaging unit 15 may be various types of devices capable of generating an image including the appearance of the inspection object 17.
  • the one or more imaging devices may image reflected light reflected from the inspection object 17 in a direction toward the inspection object 17.
  • one or more imaging devices may image reflected light transmitted through an optical element such as a reflective mirror or a beam splitter.
  • the imaging unit 15 may acquire an image defined by one pixel characteristic. Therefore, the pixels of the image acquired by the imaging unit 15 may be defined as one pixel characteristic.
  • the imaging unit 15 may be implemented using one or more black-and-white cameras, and the image obtained by the imaging unit 15 may be a gray-scale image that can be defined as light intensity.
  • the processing unit 16 generates an inspection image using a plurality of images obtained from the imaging unit 15, determines an appearance inspection area on the inspection image, and determines whether there is a defect in the appearance within the inspection area You can. According to an embodiment, the processing unit 16 may determine the inspection area of the inspection target 17 from the composite image generated from two or more images among the plurality of images acquired by the imaging unit 15.
  • the display 19 may display at least one of a plurality of images obtained from the imaging unit 15, a composite image generated from two or more images among the plurality of images, and an inspection area of the inspection object 17.
  • the visual inspection device 10 may adjust or select an image displayed on the display 19 through an external interface such as a keyboard and a mouse or a user interface such as a touch interface installed on the display 19.
  • the imaging unit 15 acquires a plurality of images by imaging reflected light reflected by the light irradiated onto the inspection object 17, and the processing unit 16 includes two or more images 21 and 22 of the acquired plurality of images , 23, 24) may generate at least one composite image (25, 26, 27, 28, 29). At least one of the generated composite images 25, 26, 27, 28, 29 may be used to determine the inspection area of the inspection object 17 and inspect the appearance of the inspection object 17.
  • two or more images 21, 22, 23, and 24 of the plurality of images may include images obtained under different lighting conditions.
  • different lighting conditions may be conditions related to at least one of an irradiation angle, wavelength, and polarization of light irradiated to the inspection object 17.
  • two or more images 21, 22, 23, and 24 of the plurality of images are lighted to the inspection object 17 by the plurality of illumination units 11, 12, 13, 14 having different irradiation angles It may include images obtained by examining.
  • two or more images 21, 22, 23, and 24 of the plurality of images are irradiated with light at an illumination angle of 17 degrees from the first illumination unit 11 and 30 degrees at the second illumination unit 12. It may be images obtained by irradiating light at an angle, irradiating light at a 60-degree irradiation angle at the third illumination unit 13, and irradiating light at a 70-degree illumination angle at the fourth illumination unit 14.
  • two or more images 21, 22, 23, and 24 of the plurality of images are different from at least one of the plurality of lighting units 11, 12, 13, and 14 to be inspected 17. It may include images obtained by irradiating light of a wavelength.
  • the wavelength of the light used may be a wavelength of an area capable of acquiring images such as ultraviolet rays, infrared rays, visible light, and X-rays.
  • two or more images 21, 22, 23, and 24 of the plurality of images irradiate light having a first wavelength in the infrared region from the first illumination unit 11, and a visible light region from the illumination unit 11
  • Images obtained by irradiating light having a second wavelength of, irradiating light having a third wavelength in the infrared region from the illumination unit 12, and irradiating light having a fourth wavelength in the visible region in the illumination unit 12 Can be
  • two or more images 21, 22, 23, and 24 of the plurality of images are different from at least one of the plurality of lighting units 11, 12, 13, and 14 to be inspected 17.
  • Images obtained by irradiating light having polarization characteristics may be included.
  • Polarization may be linear polarization, elliptical polarization, or circular polarization.
  • two or more images 21, 22, 23, and 24 of the plurality of images irradiate linearly polarized light from the illumination unit 11, irradiate circularly polarized light from the illumination unit 12, and the illumination unit In (13), the linearly polarized light may be irradiated, and the circularly polarized light may be irradiated from the illumination unit 14, respectively.
  • two or more images (21, 22, 23, 24) of the plurality of images include images obtained by irradiating light having different characteristics of at least two of the irradiation angle, wavelength, and polarization can do.
  • two or more images 21, 22, 23, and 24 of the plurality of images are irradiated with light having a first wavelength in the infrared region at a 17-degree irradiation angle from the first illumination unit 11, and second The illumination unit 12 irradiates light having a second wavelength in the visible region at an irradiation angle of 30 degrees, and the third illumination unit 13 irradiates light having a third wavelength in the infrared region at an irradiation angle of 60 degrees, and the fourth The illumination unit 14 may be images obtained by irradiating light having a fourth wavelength in the visible light region with an irradiation angle of 70 degrees.
  • the appearance inspection apparatus 10 may change the illumination conditions irradiated to the inspection object 17 according to the characteristics of the inspection object 17, for example, the material, material, or shape of the surface.
  • the characteristics of the object to be inspected 17 will be described focusing on the material, material, or shape of the surface of the object to be inspected 17, but is not limited thereto, and various properties of the object to be inspected 17 are 17).
  • the external inspection device 10 may change the lighting conditions irradiated to the inspection object 17 in consideration of the roughness or softness of the surface of the inspection object 17.
  • the appearance inspection apparatus 10 may change the lighting conditions irradiated to the inspection object 17 in consideration of characteristics of a material (for example, metal, plastic, rubber, etc.) forming the surface of the inspection object 17.
  • the appearance inspection apparatus 10 may change the lighting conditions irradiated to the inspection object 17 in consideration of the degree of the shape of the surface of the inspection object 17 curved or edged.
  • At least one of the irradiation angle, wavelength, or polarization of light irradiated to the inspection object 17 may be changed according to the uniformity or reflection characteristics of the metal surface of the inspection object 17.
  • the surface of the inspection object 17 is a curved corner portion
  • at least one characteristic of an irradiation angle, a wavelength, or an irradiation angle of light irradiated to the inspection object 17 may be changed.
  • the visual inspection device 10 generates an inspection image from images obtained under lighting conditions in consideration of the material, material, or shape of the surface of the inspection object 17, and thus is optimized for visual inspection of the inspection object 17 Obtained inspection image can be obtained.
  • the processor 16 may select two or more images 21, 22, 23 and 24 for generating a composite image among the plurality of images.
  • the processing unit 16 may select two or more images 21, 22, 23, and 24 among a plurality of images in consideration of the material, material, or shape of the surface of the object to be inspected 17.
  • the user may select two or more images 21, 22, 23, and 24 of the images displayed on the display 19.
  • the user may select images necessary for generating a composite image using a touch interface installed on the display 19 or an interface such as a mouse or keyboard.
  • the processor 16 may generate a composite image using all the acquired images.
  • the processor 16 may generate a composite image by combining values of one pixel characteristic respectively obtained from two or more selected images 21, 22, 23, and 24.
  • the images 21, 22, 23, and 24 may be gray-scale images, where the combined luminance values, which are one pixel characteristic obtained from the images 21, 22, 23, and 24, are combined. You can create an image.
  • the processor 16 may obtain a luminance value of each pixel from the images 21, 22, 23, and 24, and combine the obtained luminance values to generate a composite image.
  • the processing unit 16 may generate a composite image 25 using three images, such as the first to third images 21, 22, and 23 of the images 21, 22, 23, and 24. You can.
  • the processor 16 may obtain the luminance values of each pixel from the first to third images 21, 22, and 23, and the coordinate values in a specific color space of each pixel are obtained from each image By setting using the luminosity value, a composite image can be generated.
  • the "color space” is a spatial concept in which a color system is expressed in multiple dimensions, such as a three-dimensional space, and all colors of the color display system may be represented by coordinates in the color space.
  • the RGB color space is a method of expressing colors based on red, green, and blue colors, and may be defined in the same coordinate format as (red value, green value, blue value).
  • the HSV color space is a method of expressing colors based on hue, saturation, and brightness, and may be defined in a coordinate format such as (color value, saturation value, and brightness value).
  • RGB color space HSV color space, CMYK color space, YIQ color space, YPbPr color space, HSL color space, and xvYCC color space may be used to generate the composite image 25.
  • various known color spaces may be used when the composite image 25 is generated.
  • the processor 16 may calculate the luminance values obtained from pixels at the same position of the first to third images 21, 22, and 23. , Can be converted to coordinate values constituting the RGB color space of the composite image, that is, red, green, and blue values. Accordingly, the processor 16 may set the coordinate values of the RGB color space defining pixels based on the converted values, and by setting coordinate values of the RGB color space for the remaining pixels in the same manner, the composite image ( 25).
  • the processing unit 16 may select two or three images from among the images 21, 22, 23, and 24 differently to generate various composite images. For example, the processing unit 16 selects the first to third images 21, 22, and 23 to generate a composite image 25, and selects the second to fourth images 22, 23, and 24 to select The composite image 26 is generated, and the first, third, and fourth images 21, 23, and 24 are selected to generate the composite image 27, and the first, second, and fourth images 21, 22 are generated. , 24) to generate a composite image 28.
  • the processing unit 16 may generate a composite image using four or more images 21, 22, 23 and 24.
  • each pixel of the composite image may be defined as coordinates in a pixel space having four or more dimensions.
  • each pixel of the composite image is coordinates in a four-dimensional pixel space such as (first pixel characteristic, second pixel characteristic, third pixel characteristic, fourth pixel characteristic). It can be defined as
  • the processing unit 16 When the composite image is generated using four or more images 21, 22, 23, and 24, the processing unit 16 combines the composite image defined in the pixel space having four or more dimensions in a specific color space. (29). For example, when a composite image is generated from four images 21, 22, 23, and 24, the processor 16 obtains the pixel characteristic value of each pixel from the images 21, 22, 23, and 24 , By combining them, the coordinates of each pixel in a four-dimensional pixel space can be converted into coordinates in a specific color space.
  • the composite image 29 of FIG. 2 may represent an image whose dimension defining each pixel is changed in this manner.
  • the processing unit 16 may obtain a luminance value of each pixel from the images 21, 22, 23, 24, Coordinate values in a specific color space of each pixel may be set using luminance values obtained from images 21, 22, 23, and 24.
  • the processing unit 16 is the first average value of the luminosity values obtained in the image 21 and the image 22, for each pixel at the same position in the images 21, 22, 23, 24 , A second average value of the luminance values obtained from the image 22 and the image 23, and a third average value of the luminance values obtained from the image 23 and the image 24 may be obtained.
  • the processor 16 may set coordinate values in the RGB color space defining pixels based on the obtained average values, and by setting coordinate values of the RGB color space for the remaining pixels in the same manner, the composite image ( 29).
  • the processing unit 16 When the processing unit 16 generates composite images 25, 26, 27, 28, and 29 from two or more images 21, 22, 23, and 24 selected from a plurality of images, the visual inspection device 10 At least one of the generated composite images 25, 26, 27, 28, and 29 may be displayed on the display 19. According to an embodiment, the processing unit 16 may select one of the displayed composite images 25, 26, 27, 28, 29 as an image for visual inspection. For example, the processing unit 16 may synthesize the composite images 25, 26, based on the difference in color or contrast between each region of the inspection object 17 included in the composite images 25, 26, 27, 28, 29. 27, 28, 29) to select one composite image.
  • the visual inspection apparatus 10 may use one composite image selected by the user from the composite images 25, 26, 27, 28 and 29 displayed on the display 19 as an image for visual inspection. have.
  • the user can select one of the composite images 25, 26, 27, 28 and 29 displayed on the display 19 using a touch interface installed on the display 19 or an interface device such as a keyboard and mouse. .
  • the display 19 can display only selectable composite images 25, 26, 27, 28, 29, or composite images 25, 26, 27, 28, 29 with additional information that can be considered for selection. ).
  • the display 19 may display information regarding a difference in color or contrast between each region of the inspection target 17 included in the composite images 25, 26, 27, 28, and 29.
  • the display 19 displays coordinate values within a specific color space of the selected pixel. Can be displayed.
  • An inspection image is generated using an image acquired under the same lighting conditions, and changes in the inspection environment or inspection conditions, such as processing errors of objects, posture errors of the jig placed on the inspection object, changes in lighting conditions, and changes in sensitivity of the image sensor, etc. If there is, the appearance inspection apparatus 10 is difficult to determine a consistent inspection area within the inspection object 17 included in the inspection image. For example, in the case of an image having one pixel characteristic, such as a gray-scale image, the pixel characteristic may be greatly affected by this change.
  • the composite images 25, 26, 27, 28, and 29 are images having a multi-dimensional color space generated from images obtained under different lighting conditions
  • the composite images 25, 26, 27, 28, 29 Each pixel of) may be expressed by combining various pixel characteristics of the acquired images. Therefore, even if there is a slight change in the inspection environment or inspection conditions, such a change does not significantly affect each pixel of the composite images 25, 26, 27, 28, 29.
  • the visual inspection device 10 can determine a consistent inspection area even if there is a slight change in the inspection environment or inspection conditions. have.
  • the inspection image can be obtained by connecting images including each part of the inspection object.
  • an image for inspection is generated by connecting images having one pixel characteristic, such as a gray-scale image
  • connection points of images may be included as noise on the image for inspection.
  • the composite images 25, 26, 27, 28 and 29 may be color images according to the type of color space in which the composite images 25, 26, 27, 28 and 29 are defined. Accordingly, when a composite image that is a color image is connected to generate an inspection image, noise appearing at connection points of the images may not be seen or significantly reduced on the inspection image.
  • FIG. 3 is a diagram for describing a method of determining an inspection area in an inspection image according to an embodiment of the present disclosure.
  • the processing unit 16 may determine the inspection region of the inspection object 17 in the composite image 35.
  • the appearance inspection apparatus 10 may determine whether there is a defect 352 of the appearance within the determined inspection area.
  • a process in which the processing unit 16 determines an inspection area of the inspection object 17 in the composite image 35 will be described in more detail.
  • the processor 16 may convert the color space of the composite image 35 from the first color space to the second color space.
  • the first color space may be a color space defined when the composite image 35 is generated, or a color space obtained by converting it to another color space one or more times. Also, the first color space may be a color space obtained by converting a multi-dimensional pixel space defined when generating the composite image 35 into a specific color space.
  • the first color space and the second color space are different colors selected from RGB color space, HSV color space, CMYK color space, YIQ color space, YPbPr color space, HSL color space, and xvYCC color space, respectively. It can be spaces. However, various known color spaces may be used as the first color space and the second color space of the composite image 35.
  • the processor 16 may convert the composite image 35 from the RGB color space to the HSV color space.
  • the coordinate values (R, G, B) of the RGB color space of any one pixel of the composite image 35 are converted into coordinate values (H, S, V) in the HSV color space using Equation 1 below.
  • R, G, and B represent red values, green values, and blue values in the RGB color space, respectively
  • H, S, and V represent color values, saturation values, and brightness values in the HSV color space, respectively.
  • Mean value
  • Equation 1 is an example of an equation for converting from RGB color space to HSV color space. There are various equations for converting from RGB color space to HSV color space, and other equations may be used as needed.
  • the processor 16 converts the color space of the composite image 35 from the first color space to the second color space
  • the converted composite image 35 may be displayed on the display 19.
  • the processor 16 may obtain coordinates in a second color space associated with at least one pixel 351 among pixels in the composite image 35.
  • the at least one pixel 351 may be determined by user input.
  • the user may select at least one pixel 351 from the composite image 35 displayed on the display 19 through a user interface implemented with a keyboard, mouse, touch screen, or the like.
  • the user may select at least one pixel 351 after moving the cursor on the displayed composite image 35 using a mouse or a keyboard.
  • the user may select at least one pixel 351 by touching the composite image 35 displayed on the display 19 including the touch interface.
  • the processor 16 may acquire coordinates in a second color space associated therewith.
  • the at least one pixel 351 may be determined based on values of components in the first color space or the second color space of the composite image 35.
  • the composite image 35 has pixels that can be defined in a first color space or a second color space.
  • the processor 16 may select at least one pixel 351 in the composite image 35 based on the value of each component in the first color space of pixels or the value of each component in the second color space. have. For example, the processor 16 may select pixels having predetermined red values, green values, and blue values of the RGB color space as at least one pixel 351. Also, the processor 16 may select pixels having predetermined color values, saturation values, and brightness values of the HSV color space as at least one pixel 351. When at least one pixel 351 is selected in this manner, the processor 16 may acquire coordinates in a second color space associated therewith.
  • the processor 16 may process the components of the second color space forming the obtained at least one coordinate.
  • the inspection area can be determined based on the value.
  • the components of the second color space may include at least one first component and a second component.
  • the processing unit 16 may determine the inspection area based on the values of at least two components among hue, saturation, and brightness of the HSV color space forming the obtained at least one coordinate.
  • the processing unit 16 may include a range of a first component including a value of a first component of at least one coordinate obtained and a second component including a value of a second component of at least one coordinate obtained.
  • An area in the second color space, defined by the range of, may be determined as an inspection area.
  • the processing unit 16 may be defined as at least two ranges of the ranges 322, 332, and 342 including the values 321, 331, 341 of components of the obtained coordinates.
  • the area in the 2 color space can be determined as the inspection area.
  • the processor 16 determines the color value of the acquired coordinates.
  • An area in the HSV color space defined by the first range including and the second range including the saturation value of the obtained coordinates may be determined as the inspection area.
  • the processor 16 may determine an area in the second color space including values of all components in the second color space of the obtained coordinates as the inspection area. For example, an area in the HSV color space defined by ranges including color values, saturation values, and brightness values in the HSV color space of the obtained coordinates may be determined as the inspection area.
  • the range of the first component including the value of the first component and the range of the second component including the value of the second component may be respectively determined by user input.
  • the user may determine all ranges of each component including a value in the second color space of the obtained coordinates. As shown in FIG. 3, when the composite image 35 converted to the second color space and the user interface 31 are displayed on the display 19, the user can determine the range of the first component through the user interface 31 and The range of the second component can be determined.
  • the user can obtain a range of components 322, a range of the second components 332, and a range of the first components each containing values 321, 331, and 341 of the components of the obtained coordinates. At least two of the three component ranges 342 may be selected.
  • the user adjusts the slide 343 when the value of the third component 341 is displayed on the distribution 34 of the third component, and the range of the third component including the value 341 of the third component (342) can be determined.
  • the user can determine the range 322 of the first component and the range 332 of the second component using an interface such as a slide 343.
  • the form of the interface for determining the ranges 322, 332, and 342 of each component on the user interface 31 is not limited to the form of the slide 343, and various types of interfaces capable of specifying a range can be used.
  • the slide 343 may be adjusted by a user through a touch interface installed on the display 19 or through an interface such as a mouse.
  • the user may directly input the ranges 322, 332, and 342 of each component using a keyboard.
  • the range of the first component including at least the value of the first component and the range of the second component including the value of the second component are based on the value of the first component and the value of the second component, respectively.
  • the processor 16 may determine a predetermined range as a range of the first component or a range of the second component according to the values 321, 331, and 341 of the components of the obtained coordinates. Further, the processor 16 may determine the range of the first component or the range of the second component by applying the values of the components of the obtained coordinates 321, 331, and 341 to a predetermined calculation expression.
  • the processor 16 subtracts a value (for example, 5%) of the color value of the obtained coordinates from the color value of the obtained coordinates and subtracts it.
  • the value can be calculated and the range between these two values determined as the range of the first component.
  • the appearance inspection apparatus 10 can determine an accurate and consistent inspection area only by using the composite image 35 as an inspection image. However, the appearance inspection apparatus 10 converts the color space of the composite image 35 from the first color space to the second color space, and then converts the converted color space of at least one pixel of the composite image 35 to the second color space. By determining the inspection area based on the coordinate values, it is possible to determine a more consistent inspection area even if there is a change in the inspection environment or inspection conditions. This means that when the color space of the composite image 35 is converted from the first color space to the second color space, the value of each component of the second color space defining pixels of the composite image 35 is 2 of the first color space. This is because it is determined by a combination of values of two or more components.
  • the color, saturation, and brightness values of the HSV color space are each RGB color space. It can be determined as a combination of the values of red, green and blue. Therefore, when determining the inspection area, adjusting the range of values of color, saturation, or brightness is the same as adjusting all of the red, green, and blue values of the RGB color space.
  • determining an inspection area by adjusting a range of values of hue, saturation, or brightness determines an inspection area by considering all pixel information of images obtained under different lighting conditions corresponding to the values of red, green, and blue, respectively. Can be. Therefore, even if the inspection environment or inspection conditions are slightly changed, it is difficult for the resulting change to significantly affect the determination of the inspection area. Accordingly, the appearance inspection apparatus 10 may determine a more consistent inspection area by determining the inspection area based on the information of the converted color space of the composite image 35.
  • the appearance inspection device 10 cannot use the information on the appearance when determining the inspection area.
  • appearance information such as the shape and dimensions of each part of the inspection object 17 may be obtained through the information on the appearance. Therefore, the processing unit 16 can more precisely determine the inspection area by comparing the inspection area determined based on the values of the components of the second color space with the appearance information of the inspection object 17 obtained through the information on the appearance. have.
  • the external inspection device 10 is obtained through a user's input or a calculation of the processing unit 16 while comparing the shape and the inspection area of a specific part so that the inspection area is included in a specific part of the inspection object 17 You can adjust the range that contains the value of each component of the coordinates.
  • FIG. 4 is a diagram in which the inspection area 353 determined according to an embodiment of the present disclosure is displayed on the composite image 35.
  • the inspection area 353 may be displayed on the composite image 35 defined in the first color space or the second color space.
  • the user can confirm the determined inspection area 353.
  • the user may modify the determined inspection area 353 by adjusting the ranges 322, 332, and 342 of each component of the user interface 31.
  • the appearance inspection apparatus 10 may use this inspection image to determine whether an appearance defect 352 exists in the inspection area 353.
  • the processing unit 16 may determine an area in which the values of the components of the second color space are different in the inspection area 353 as an area having a defect 352. For example, the processing unit 16 compares the values of hue, saturation, or brightness in the HSV color space of all or some pixels in the inspection area 353 with each other, and pixels having a large difference in hue, saturation, or brightness. It can be determined that the area with the defect is the area with the defect 352.
  • the processing unit 16 may determine an area in which the amount of change in the values of the components of the second color space exceeds a predetermined reference value, as an area having a defect 352. For example, the processing unit 16 calculates a change amount between values of color, saturation, or brightness in the HSV color space of all or some pixels in the inspection area 353, and displays an area in which the change amount is outside a predetermined reference value. It can be determined as an area with defects 352.
  • the processing unit 16 may determine whether there is a defect 352 based on only one of the components of the second color space, but whether there is a defect 352 based on two or more components You can also decide whether or not. For example, the processing unit 16 may determine whether there is a defect 352 based on only the color in the HSV color space, and the characteristics of any one component or both of them may be different based on the color and brightness. The region can also be determined as a region with defects 352.
  • the processing unit 16 may remove noise included in the determined inspection area 353 before proceeding with the appearance inspection. Although the noise included in the inspection area 353 is not the defect 352, the processing unit 16 can determine the noisy area as the defective area. Therefore, the processing unit 16 may increase the accuracy of the visual inspection by removing the noise included in the determined inspection area 353 and determining the area from which the noise is removed as the inspection area before proceeding with the visual inspection.
  • FIG. 5 is a flowchart illustrating a method of determining an inspection area according to an embodiment of the present disclosure.
  • a method of determining an inspection area to perform an exterior inspection in more detail will be described.
  • the appearance inspection apparatus may acquire a plurality of images by imaging reflected light reflected by light irradiated to the inspection object.
  • the appearance inspection apparatus 10 may obtain each of a plurality of images by varying at least one of an irradiation angle, wavelength, and polarization of light irradiated to the inspection object 17.
  • the visual inspection device 10 irradiates light to the inspection object 17 at different irradiation angles from the plurality of lighting units 11, 12, 13, 14, respectively, and the imaging unit 15 A plurality of images formed in can be obtained.
  • the plurality of illumination units 11, 12, 13, 14 may each have different illumination angles, or some of the plurality of illumination units 11, 12, 13, 14 may have different illumination angles.
  • the obtained plurality of images may be images obtained by changing at least one of wavelengths and polarizations of light irradiated with at least one of the plurality of illumination units 11, 12, 13, and 14 to another illumination unit.
  • at least one of the plurality of lighting units 11, 12, 13, 14 includes a light source having a different wavelength from the other lighting unit and a filter capable of changing at least one of the wavelength and polarization of light emitted from the light source. can do.
  • the appearance inspection device 10 may change the lighting conditions irradiated to the inspection object 17 according to the material, material, or shape of the surface of the inspection object 17. For example, a plurality of images are obtained by varying at least one of the irradiation angle, wavelength, or polarization of light irradiated to the inspection object 17 according to the uniformity or reflection characteristics of the metal surface of the inspection object 17 Can be. Considering that the surface of the object to be inspected 17 is a curved corner portion, a plurality of images may be obtained by varying at least one of the irradiation angle, wavelength, or irradiation angle of light irradiated to the inspection object 17.
  • pixels of a plurality of images may be images defined by one pixel characteristic.
  • the imaging unit 15 may be implemented using one or more black and white cameras, and the image obtained by the imaging unit 15 may be a gray-scale image that can be defined as light intensity.
  • the visual inspection apparatus may generate a composite image from two or more images among the plurality of images. For example, referring to FIGS. 1 and 2, the processing unit 16 of the visual inspection apparatus 10 selects two or more images 21, 22, 23, and 24 from among a plurality of images, and synthesized images therefrom. Composite images such as fields 25, 26, 27, 28 and 29 can be generated. Each of two or more images among the plurality of images may be images obtained under different lighting conditions.
  • the step of generating a composite image may include combining the values of one pixel characteristic obtained from two or more selected images 21, 22, 23, and 24, respectively, to thereby generate the composite image 25, 26, and 27. , 28, 29).
  • the images 21, 22, 23, and 24 may be gray-scale images
  • the processing unit 16 is one pixel characteristic obtained from the first to third images 21, 22, and 23
  • a combined image 25 may be generated by combining the luminance values.
  • the visual inspection device may convert the color space of the composite image from the first color space to the second color space.
  • the processing unit 16 of the visual inspection apparatus 10 may convert the color space of the composite image 35 from the first color space to the second color space.
  • the first color space may be a color space defined when the composite image 35 is generated, or a color space obtained by converting it to another color space one or more times.
  • the first color space may be a color space obtained by converting a multi-dimensional pixel space defined when generating the composite image 35 into a specific color space.
  • the first color space and the second color space are different colors selected from RGB color space, HSV color space, CMYK color space, YIQ color space, YPbPr color space, HSL color space, and xvYCC color space, respectively. It can be spaces. However, various known color spaces may be used as the first color space and the second color space of the composite image 35.
  • step S54 the visual inspection device in the second color space associated with at least one of the pixels in the converted composite image At least one coordinate can be obtained.
  • the processing unit 16 of the visual inspection apparatus 10 in a second color space associated with at least one pixel 351 among pixels in the converted composite image 35 Coordinates can be obtained.
  • the at least one pixel 351 may be determined by user input.
  • the user may select or input at least one pixel 351 from the composite image 35 displayed on the display 19 through a user interface implemented with a keyboard, mouse, touch screen, or the like.
  • the processor 16 may acquire at least one coordinate in a second color space associated with it.
  • the at least one pixel 351 may be determined based on values of components in the first color space or the second color space of the composite image 35.
  • the composite image 35 has pixels that can be defined in a first color space or a second color space.
  • the processor 16 may determine at least one pixel 351 in the composite image 35 based on the value of each component in the first color space of pixels or the value of each component in the second color space. have.
  • the processor 16 may acquire at least one coordinate in the second color space associated with it.
  • step S55 the visual inspection device in the second color space forming at least one coordinate
  • the inspection area can be determined based on the values of the components. For example, referring to FIGS. 1, 3 and 4, the processing unit 16 of the visual inspection device 10 is based on the values of components in the second color space forming at least one coordinate in the composite image 35. Thus, the inspection area 353 can be determined.
  • the components of the second color space may include at least a first component and a second component.
  • the determining of the inspection area 353 may include: a range of a first component including a value of a first component of at least one coordinate obtained and a second value of a value of a second component of at least one coordinate obtained; And determining an area in the second color space, which is defined as a range of components, as the inspection area 353.
  • the processing unit 16 may be defined as at least two ranges of the ranges 322, 332, and 342 including the values 321, 331, 341 of components of the obtained coordinates.
  • the region in the 2 color space can be determined as the inspection region 353.
  • the range of the first component including the value of the first component and the range of the second component including the value of the second component may be respectively determined by user input.
  • the user may determine all ranges of each component including a value in the second color space of the obtained coordinates.
  • the composite image 35 converted to the second color space and the user interface 31 are displayed on the display 19, the user can determine the range of the first component through the user interface 31 and The range of the second component can be determined.
  • the range of the first component including the value of the first component and the range of the second component including the value of the second component are based on the value of the first component and the value of the second component, respectively. Can be determined.
  • the processor 16 may determine a predetermined range as the range of the first component or the range of the second component, according to the values 321, 331, and 341 of the components of the obtained coordinates. Further, the processor 16 may determine the range of the first component or the range of the second component by applying the values of the components of the obtained coordinates 321, 331, and 341 to a predetermined calculation expression.
  • determining the inspection area 353 may include removing noise included in the determined inspection area 353. Although the noise included in the determined inspection area 353 is not the defect 352, the processing unit 16 may determine the area where the noise is as a defective area. Therefore, before proceeding with the appearance inspection, the processing unit 16 removes noise included in the determined inspection area 353 and determines the area from which the noise has been removed as the inspection area, thereby improving the accuracy of the appearance inspection.
  • FIGS. 1 to 3 As an embodiment of the method for determining the above-described appearance inspection apparatus and inspection area, embodiments of determining an inspection area using a plurality of images obtained by irradiating light to an inspection object at different irradiation angles are illustrated in FIGS. 1 to 3. It will be described in detail with reference to.
  • the visual inspection device 10 may include a plurality of lighting units 11, 12, 13, 14, an imaging unit 15, a processing unit 16, and a display 19.
  • the appearance inspection apparatus 10 determines the appearance inspection area of the inspection object 17 in the composite image generated from the images obtained by irradiating light to the inspection object 17 at different irradiation angles, and whether there is a defect in the inspection area You can judge whether or not.
  • the plurality of lighting units 11, 12, 13 and 14 may irradiate light to the inspection target 17 placed on the stage unit 18 at different irradiation angles.
  • a plurality of illumination units are composed of four illumination units, but may be composed of illumination units that irradiate light at two or more different illumination angles.
  • the plurality of lighting units 11, 12, 13, 14 may each have a different irradiation angle.
  • some of the plurality of lighting units 11, 12, 13, 14 may have different irradiation angles.
  • one of the plurality of lighting units 11, 12, 13, 14 may include a configuration capable of adjusting the irradiation angle.
  • the size of the irradiation angle of the plurality of lighting units 11, 12, 13, 14 is not limited, and may be selected between 0 and 90 degrees.
  • the imaging unit 15 may acquire a plurality of images by imaging reflected light in which light from each of the plurality of lighting units 11, 12, 13 and 14 is reflected (including diffuse reflection) from the inspection object 17.
  • the imaging unit 15 is installed above the stage unit 18 and can acquire an image including the appearance of the inspection object 17.
  • the processing unit 16 generates an inspection image using a plurality of images obtained from the imaging unit 15, determines an appearance inspection area on the inspection image, and determines whether there is a defect in the appearance within the inspection area You can. According to an embodiment, the processing unit 16 may determine the inspection area of the inspection target 17 from the composite image generated from two or more images among the plurality of images acquired by the imaging unit 15.
  • the display 19 may display at least one of a plurality of images obtained from the imaging unit 15, a composite image generated from two or more images among the plurality of images, and an inspection area of the inspection object 17.
  • the visual inspection device 10 may adjust or select an image displayed on the display 19 through an external interface such as a keyboard and a mouse or a user interface such as a touch interface installed on the display 19.
  • each of the plurality of lighting units 11, 12, 13, 14 may be implemented with one or a plurality of light sources. Each light source may be implemented using an LED or the like, but is not limited thereto.
  • each of the plurality of lighting units 11, 12, 13 and 14 may irradiate light in various directions toward the inspection object 17. For example, by placing the light sources included in the plurality of lighting units 11, 12, 13, 14 on a concentric circle centered on the inspection object 17, each of the plurality of lighting units 11, 12, 13, 14 Light can be irradiated from various directions toward the inspection target 17.
  • the imaging unit 15 may acquire an image defined by one pixel characteristic. Therefore, the pixels of the image acquired by the imaging unit 15 may be defined as one pixel characteristic.
  • the imaging unit 15 may be implemented using one or more black-and-white cameras, and the image obtained by the imaging unit 15 may be a gray-scale image that can be defined as light intensity.
  • the processing unit 16 is at least one from two or more images (21, 22, 23, 24) of a plurality of images obtained by irradiating light to the inspection target 17 at different irradiation angles obtained from the imaging unit 15
  • Composite images (25, 26, 27, 28, 29) of can be generated. At least one of the generated composite images 25, 26, 27, 28, 29 can be used to inspect the appearance of the inspection object 17.
  • the plurality of images may be images obtained by irradiating light to the inspection target 17 with different illumination angles from each of the plurality of lighting units 11, 12, 13 and 14.
  • the plurality of images are irradiated with light at an illumination angle of 17 degrees from the first illumination unit 11, and irradiated with light at an illumination angle of 30 degrees at the second illumination unit 12, and 60 at the third illumination unit 13
  • It may be images obtained by irradiating light at an irradiation angle of FIG. And irradiating light at a 70-degree irradiation angle at the fourth illumination unit 14.
  • each illumination unit may irradiate only one color of light to the inspection object 17 or sequentially irradiate two or more colors of light to the inspection object 17.
  • all of the plurality of lighting units may irradiate light of the same color to the inspection object 17, or at least some of the plurality of lighting units may irradiate light of different colors to the inspection object 17.
  • each of the plurality of lighting units 11, 12, 13, 14 irradiates red, green, and blue light to the inspection target 17, or one or two selected from red, green, and blue light Branch light can be irradiated to the inspection object 17, respectively.
  • each of the plurality of lighting units 11, 12, 13, 14 may sequentially irradiate red, green, and blue light to the inspection target 17 or only green light among red, green, and blue light Can be investigated as an inspection object 17.
  • At least one of the plurality of lighting units 11, 12, 13, 14 may irradiate the inspection target 17 with light in which red, green, and blue are arbitrarily combined.
  • at least one of the plurality of lighting units 11, 12, 13 and 14 may irradiate white light with the inspection object 17.
  • at least one of the plurality of lighting units 11, 12, 13 and 14 may irradiate infrared light or ultraviolet light to the inspection object 17.
  • the imaging unit 15 may acquire an image of the inspection object 17 when light from each of the plurality of lighting units 11, 12, 13, 14 is irradiated to the inspection object 17.
  • the processing unit 16 may select two or more images 21, 22, 23, and 24 for generating a composite image among the plurality of images.
  • the first image 21 is an image selected from images obtained by irradiating light from the first illumination unit 11, and the second image 22 is obtained by irradiating light from the second illumination unit 12
  • the selected image is the selected image
  • the third image 23 is a selected image among images obtained by irradiating the light of the third illumination unit 13
  • the fourth image 24 is the light of the fourth illumination unit 14 It may be a selected image among images obtained by examining.
  • Two or more images 21, 22, 23, and 24 of the plurality of images may be images obtained by irradiating light of different colors (or different wavelengths) from the plurality of lighting units 11, 12, 13, and 14, respectively.
  • two or more images 21, 22, 23, and 24 of the plurality of images may be images obtained by irradiating light of the same color (or the same wavelength) from the plurality of lighting units 11, 12, 13, and 14, respectively. You can.
  • the processing unit 16 may generate a composite image using all of the selected first to fourth images 21, 22, 23 and 24. According to another embodiment, the processing unit 16 may generate a composite image using two or three images among the selected first to fourth images 21, 22, 23 and 24.
  • the processor 16 may generate a composite image by combining values of one pixel characteristic respectively obtained from two or more selected images 21, 22, 23, and 24.
  • the images 21, 22, 23, and 24 may be gray-scale images, where the combined luminance values, which are one pixel characteristic obtained from the images 21, 22, 23, and 24, are combined. You can create an image.
  • the processor 16 may obtain a luminance value of each pixel from the images 21, 22, 23, and 24, and combine the obtained luminance values to generate a composite image.
  • the processor 16 may generate a composite image 25 by obtaining the luminance values of each pixel from all of the images 21, 22, 23, and 24.
  • the processing unit 16 may generate a composite image 25 by acquiring the luminance value of each pixel from two or three images among the images 21, 22, 23 and 24.
  • the processing unit 16 may generate a composite image using three images, such as the first to third images 21, 22, and 23 of the images 21, 22, 23, and 24.
  • the processor 16 may obtain the luminance values of each pixel from the first to third images 21, 22, and 23, and the coordinate values in a specific color space of each pixel are obtained from each image By setting using the luminosity value, a composite image can be generated.
  • RGB color space HSV color space, CMYK color space, YIQ color space, YPbPr color space, HSL color space, and xvYCC color space may be used to generate the composite image 25.
  • various known color spaces may be used when the composite image 25 is generated.
  • the processor 16 may calculate the luminance values obtained from pixels at the same position of the first to third images 21, 22, and 23. , Can be converted to coordinate values constituting the RGB color space of the composite image, that is, red, green, and blue values. Accordingly, the processor 16 may set the coordinate values of the RGB color space defining pixels based on the converted values, and by setting coordinate values of the RGB color space for the remaining pixels in the same manner, the composite image ( 25).
  • the processing unit 16 selects the second to fourth images 22, 23, and 24 to generate a composite image 26, and the first, third, and fourth images 21, 23, 24 By selecting, a composite image 27 may be generated, and first, second, and fourth images 21, 22, and 24 may be selected to generate a composite image 28.
  • the processing unit 16 may generate a composite image 29 using all of the images 21, 22, 23, and 24.
  • the composite image 29 may be defined as coordinates of each pixel in a pixel space of four dimensions. As the number of images used increases, the dimension of the pixel space defining each pixel of the composite image increases.
  • the composite image may be converted into a composite image defined in a specific known color space (eg, RGB color space) by using the images used to generate the composite image.
  • a specific known color space eg, RGB color space
  • the processing unit 16 generates an image.
  • the composite image 29 may be converted into the composite image 29 defined in a specific color space using the luminance values obtained from the fields 21, 22, 23, and 24.
  • the processing unit 16 may calculate a first average value of luminance values obtained from the image 21 and the image 22 for a pixel at each of the same locations of the images 21, 22, 23, and 24. , A second average value of the luminance values obtained from the image 22 and the image 23, and a third average value of the luminance values obtained from the image 23 and the image 24 may be obtained.
  • the processor 16 may set coordinate values in the RGB color space defining pixels based on the obtained average values, and by setting coordinate values of the RGB color space for the remaining pixels in the same manner, the composite image ( 29).
  • an inspection image is generated using images obtained by irradiating light from the same illumination unit.
  • the well-discovered area of the inspection object 17 in the inspection image may be changed.
  • the smaller the illumination angle of the illumination portion the better the image of the inspection target 17 obtained from the imaging unit 15 can reveal the flat area of the inspection target 17.
  • the larger the illumination angle of the illumination portion the image of the inspection object 17 obtained from the imaging unit 15 can better reveal the inclined area of the inspection object 17.
  • an image obtained by irradiating the light of the fourth illumination unit 14 rather than the image obtained by irradiating the light of the first illumination unit 11 is a stage unit where the inspection object 17 is placed
  • the area in which the inclination of the inspection object 17 is large, compared to the plane of (18), can be well revealed.
  • the inspection image generated by irradiating light from the same illumination unit it is difficult for the inspection image generated by irradiating light from the same illumination unit to reveal all the appearances of the inspection object 17 having a curved or angled three-dimensional appearance. Therefore, when using the inspection image generated by irradiating light from the same lighting unit, it is not easy to distinguish the curved or angled parts of the inspection object 17 from the inspection image, and the exterior inspection device 10 is attached to the inspection image. It may be difficult to accurately determine the inspection area within the included inspection object 17.
  • the composite images 25, 25, 27, 28, 29 are generated from images obtained by irradiating light to the inspection target 17 at different irradiation angles, and thus, the composite images 25, 26, 27, 28, 29) may include all areas that are well revealed according to the irradiation angle of each lighting unit. Therefore, if one of the composite images 25, 26, 27, 28, and 29 is determined as an image for visual inspection, it may be easy to distinguish curved or angled parts of the object 17 from the image for inspection. Therefore, the visual inspection device 10 accurately determines the inspection area within the inspection object 17 included in the inspection image when one of the composite images 25, 26, 27, 28, and 29 is used as the inspection image. You can.
  • the pixel characteristic may be greatly affected by this. have. Therefore, when a gray-scale image is used as an inspection image, the appearance inspection apparatus 10 is difficult to determine a consistent inspection area within the inspection object 17 included in the inspection image.
  • the composite images 25, 26, 27, 28, and 29 are images having a multi-dimensional color space generated from images having one pixel characteristic, the composite images 25, 26, 27, 28, 29 ) Each pixel of) can be expressed by combining several coordinate values.
  • the appearance inspection apparatus 10 can determine a consistent inspection area compared to the case of using the gray-scale image. have.
  • the inspection image is obtained by connecting images including each part of the inspection object.
  • an image for inspection is generated by connecting images having one pixel characteristic, such as a gray-scale image
  • connection points of images may be included as noise on the image for inspection.
  • the composite images 25, 26, 27, 28 and 29 may be color images according to the type of color space in which the composite images 25, 26, 27, 28 and 29 are defined. Accordingly, when the image for inspection is generated by connecting the color composite images of each part of the object 17 to be inspected, noise appearing at the connection points of the images may not be seen or significantly reduced on the image for inspection.
  • the processing unit 16 may determine the inspection region of the inspection object 17 in the composite image 35.
  • the appearance inspection apparatus 10 may determine whether there is a defect 352 of the appearance within the determined inspection area.
  • the processor 16 may convert the color space of the composite image 35 from the first color space to the second color space.
  • the first color space may be a color space used when generating the composite image 35 or a color space obtained by converting it to another color space one or more times.
  • the first color space may be a color space obtained by converting a multi-dimensional pixel space defined when generating the composite image 35 into a specific color space.
  • the first color space and the second color space are different colors selected from RGB color space, HSV color space, CMYK color space, YIQ color space, YPbPr color space, HSL color space, and xvYCC color space, respectively. It can be spaces. However, various known color spaces may be used as the first color space and the second color space of the composite image 35.
  • the processor 16 may convert the composite image 35 from the RGB color space to the HSV color space.
  • the coordinate values (R, G, B) of the RGB color space of any one pixel of the composite image 35 are converted into coordinate values (H, S, V) in the HSV color space using Equation 1 above.
  • R, G, and B represent red values, green values, and blue values in the RGB color space, respectively
  • H, S, and V represent color values, saturation values, and brightness values in the HSV color space, respectively.
  • Mean value
  • Equation 1 described above is an example of an equation for converting an RGB color space to an HSV color space. There are various equations for converting from RGB color space to HSV color space, and other equations may be used as needed.
  • the processor 16 converts the color space of the composite image 35 from the first color space to the second color space
  • the processor 16 is associated with at least one pixel 351 of the pixels in the composite image 35 Coordinates in the second color space can be obtained.
  • the at least one pixel 351 may be determined by user input.
  • the user may select at least one pixel 351 from the composite image 35 displayed on the display 19 through a user interface implemented with a keyboard, mouse, touch screen, or the like.
  • the user may select at least one pixel 351 after moving the cursor on the displayed composite image 35 using a mouse or a keyboard.
  • the user may select at least one pixel 351 by touching the composite image 35 displayed on the display 19 including the touch interface.
  • the processor 16 may acquire coordinates in a second color space associated therewith.
  • the at least one pixel 351 may be determined based on values of components in the first color space or the second color space of the composite image 35.
  • the composite image 35 has pixels that can be defined in a first color space or a second color space.
  • the processor 16 may select at least one pixel 351 in the composite image 35 based on the value of each component in the first color space of pixels or the value of each component in the second color space. have. For example, the processor 16 may select pixels having predetermined red values, green values, and blue values of the RGB color space as at least one pixel 351. Also, the processor 16 may select pixels having predetermined color values, saturation values, and brightness values of the HSV color space as at least one pixel 351. When at least one pixel 351 is selected in this manner, the processor 16 may acquire coordinates in a second color space associated therewith.
  • the processor 16 may process the components of the second color space forming the obtained at least one coordinate.
  • the inspection area can be determined based on the value.
  • the components of the second color space may include at least a first component and a second component.
  • the processing unit 16 may determine the inspection area based on the values of at least two components of hue, saturation, and brightness of the HSV color space forming the obtained at least one coordinate.
  • the processing unit 16 may include a range of a first component including a value of a first component of at least one coordinate obtained and a second component including a value of a second component of at least one coordinate obtained.
  • An area in the second color space, defined by the range of, may be determined as an inspection area.
  • the processing unit 16 may be defined as at least two ranges of the ranges 322, 332, and 342 including the values 321, 331, 341 of components of the obtained coordinates.
  • the area in the 2 color space can be determined as the inspection area.
  • the processor 16 determines the color value of the acquired coordinates.
  • An area in the HSV color space defined by the first range including and the second range including the saturation value of the obtained coordinates may be determined as the inspection area.
  • the processor 16 may determine an area in the second color space including values of all components in the second color space of the obtained coordinates as the inspection area. For example, an area in the HSV color space defined by ranges including color values, saturation values, and brightness values in the HSV color space of the obtained coordinates may be determined as the inspection area.
  • the range of the first component including the value of the first component and the range of the second component including the value of the second component may be determined according to user input.
  • the user may determine all ranges of each component including a value in the second color space of the obtained coordinates. As shown in FIG. 3, when the composite image 35 converted to the second color space and the user interface 31 are displayed on the display 19, the user can display the components of the coordinates obtained through the user interface 31. At least two of the range 322 of the first component, the range 332 of the second component, and the range 342 of the third component including the values 321, 331, and 341 may be determined.
  • the range of the first component including at least the value of the first component and the range of the second component including the value of the second component are based on the value of the first component and the value of the second component, respectively.
  • the processor 16 may determine a predetermined range as a range of the first component or a range of the second component according to the values 321, 331, and 341 of the components of the obtained coordinates. Further, the processor 16 may determine the range of the first component or the range of the second component by applying the values of the components of the obtained coordinates 321, 331, and 341 to a predetermined calculation expression.
  • the processor 16 subtracts a value (for example, 5%) of the color value of the obtained coordinates from the color value of the obtained coordinates and subtracts it.
  • the value can be calculated and the range between these two values determined as the range of the first component.
  • the appearance inspection apparatus 10 can determine an accurate and consistent inspection area only by using the composite image 35 as an inspection image. However, the appearance inspection apparatus 10 converts the color space of the composite image 35 from the first color space to the second color space, and then converts the converted color space of at least one pixel of the composite image 35 to the second color space. By determining the inspection area based on the coordinate values, a more consistent inspection area can be determined even if there is a change in inspection conditions or inspection environment. This means that when the color space of the composite image 35 is converted from the first color space to the second color space, the value of each component of the second color space defining pixels of the composite image 35 is 2 of the first color space. This is because it is determined by a combination of values of two or more components.
  • the color, saturation, and brightness values of the HSV color space are each RGB color space. It can be determined as a combination of the values of red, green and blue. Therefore, when determining the inspection area, adjusting the range of values of color, saturation, or brightness is the same as adjusting all of the red, green, and blue values of the RGB color space.
  • determining the inspection area by adjusting a range of values of hue, saturation, or brightness takes into account all of the pixel information of the images obtained by irradiating light with different irradiation angles corresponding to the values of red, green, and blue, respectively. It may be to determine the inspection area. Therefore, even if the inspection environment or inspection conditions are slightly changed, it is difficult for the resulting change to significantly affect the determination of the inspection area. Accordingly, the appearance inspection apparatus 10 may determine a more consistent inspection area by determining the inspection area based on the information of the converted color space of the composite image 35.
  • FIG. 6 is a flowchart illustrating a method of determining an inspection area based on a composite image generated using images obtained by irradiating light to an inspection object at different irradiation angles, according to an embodiment of the present disclosure.
  • a method of determining an inspection area to perform an exterior inspection in more detail will be described.
  • the appearance inspection apparatus may receive a plurality of images obtained by irradiating light to the inspection object at different irradiation angles, respectively.
  • the visual inspection device 10 irradiates light to the inspection object 17 at different irradiation angles from the plurality of lighting units 11, 12, 13, 14, respectively, and the imaging unit 15 A plurality of images acquired in can be received.
  • the plurality of lighting units 11, 12, 13, 14 may each have different irradiation angles, or some of the plurality of lighting units 11, 12, 13, 14 may have different illumination angles.
  • pixels of a plurality of images may be images defined by one pixel characteristic.
  • the imaging unit 15 may be implemented using one or more black and white cameras, and the image obtained by the imaging unit 15 may be a gray-scale image that can be defined as light intensity.
  • the visual inspection device may generate a composite image from two or more images among the plurality of images. For example, referring to FIGS. 1 and 2, the processing unit 16 of the visual inspection device 10 selects two or more images 21, 22, 23, 24 from a plurality of images, and synthesizes them from them An image 25 can be created.
  • two or more images among the plurality of images may be images obtained by irradiating light of different colors from the plurality of lighting units 11, 12, 13, and 14, respectively.
  • two or more of the plurality of images may be images obtained by irradiating light of the same color from a plurality of lighting units.
  • two or more images among the plurality of images may be images obtained by irradiating any one of visible light, infrared light, and ultraviolet light from a plurality of lighting units.
  • the step of generating a composite image may include combining the values of one pixel characteristic obtained from two or more selected images 21, 22, 23, and 24, respectively, to thereby generate composite images 25, 26, 27, 28, 29).
  • the images 21, 22, 23, and 24 may be gray-scale images
  • the processing unit 16 may be a luminance value that is one pixel characteristic obtained from the images 21, 22, 23, and 24. These can be combined to generate composite images 25, 26, 27, 28 and 29.
  • the visual inspection device may convert the color space of the composite image from the first color space to the second color space.
  • the processing unit 16 of the visual inspection apparatus 10 may convert the color space of the composite image 35 from the first color space to the second color space.
  • the first color space may be a color space used when generating the composite image 35 or a color space obtained by converting it to another color space one or more times.
  • the first color space may be a color space obtained by converting a multi-dimensional pixel space defined when generating the composite image 35 into a specific color space.
  • the first color space and the second color space are different colors selected from RGB color space, HSV color space, CMYK color space, YIQ color space, YPbPr color space, HSL color space, and xvYCC color space, respectively. It can be spaces. However, various known color spaces may be used as the first color space and the second color space of the composite image 35.
  • the appearance inspection apparatus is in a second color space associated with at least one pixel among the pixels in the converted composite image. At least one coordinate of can be obtained. For example, referring to FIGS. 1 and 3, the processing unit 16 of the visual inspection apparatus 10 in a second color space associated with at least one pixel 351 among pixels in the converted composite image 35 At least one coordinate can be obtained.
  • At least one pixel 351 may be determined according to a user input.
  • the user may select or input at least one pixel 351 from the composite image 35 displayed on the display 19 through a user interface implemented with a keyboard, mouse, touch screen, or the like.
  • the processor 16 may acquire at least one coordinate in a second color space associated with it.
  • the at least one pixel 351 may be determined based on values of components in the first color space or the second color space of the composite image 35.
  • the composite image 35 has pixels defined in the first color space or the second color space.
  • the processor 16 may determine at least one pixel 351 in the composite image 35 based on the value of each component in the first color space of pixels or the value of each component in the second color space. have.
  • the processor 16 may acquire at least one coordinate in the second color space associated with it.
  • the visual inspection device is a component of the second color space forming at least one coordinate
  • the inspection area can be determined based on the values of. For example, referring to FIGS. 1, 3 and 4, the processing unit 16 of the visual inspection apparatus 10 is based on the values of the components of the second color space forming at least one coordinate in the composite image 35.
  • the inspection area 353 can be determined.
  • the components of the second color space may include at least a first component and a second component.
  • the determining of the inspection area 353 may include: a range of a first component including a value of a first component of at least one coordinate obtained and a second value of a value of a second component of at least one coordinate obtained; And determining an area in the second color space, which is defined as a range of components, as the inspection area 353.
  • the processing unit 16 may be defined as at least two ranges of the ranges 322, 332, and 342 including the values 321, 331, 341 of components of the obtained coordinates.
  • the region in the 2 color space can be determined as the inspection region 353.
  • the range of the first component including the value of the first component and the range of the second component including the value of the second component may be determined according to user input.
  • the user may determine all ranges of each component including a value in the second color space of the obtained coordinates. As shown in FIG. 3, when the composite image 35 converted to the second color space and the user interface 31 are displayed on the display 19, the user can determine the range of the first component through the user interface 31 and The range of the second component can be determined.
  • the range of the first component including the value of the first component and the range of the second component including the value of the second component are based on the value of the first component and the value of the second component, respectively. Can be determined.
  • the processor 16 may determine a predetermined range as the range of the first component or the range of the second component, according to the values 321, 331, and 341 of the components of the obtained coordinates. Further, the processor 16 may determine the range of the first component or the range of the second component by applying the values of the components of the obtained coordinates 321, 331, and 341 to a predetermined calculation expression.
  • determining the inspection area 353 may include removing noise included in the determined inspection area 353. Although the noise included in the determined inspection area 353 is not the defect 352, the processing unit 16 may determine the area where the noise is as a defective area. Therefore, before proceeding with the appearance inspection, the processing unit 16 removes noise included in the determined inspection area 353 and determines the area from which the noise has been removed as the inspection area, thereby improving the accuracy of the appearance inspection.
  • FIG. 7 is a flowchart illustrating a method of displaying an inspection area on a display in an appearance inspection apparatus according to an embodiment of the present disclosure.
  • a method of displaying an inspection area for visual inspection on a display will be described in more detail with reference to the drawings for each step.
  • the external inspection device may acquire a plurality of images by forming reflected light reflected by light irradiated to the inspection object.
  • the appearance inspection apparatus may acquire each of a plurality of images by varying at least one of an irradiation angle, wavelength, and polarization of light irradiated to the inspection object.
  • the external inspection device 10 acquires a plurality of images by irradiating light to the inspection object 17 at different irradiation angles from the plurality of lighting units 11, 12, 13 and 14, respectively. can do.
  • the plurality of illumination units 11, 12, 13, 14 may each have different illumination angles, or some of the plurality of illumination units 11, 12, 13, 14 may have different illumination angles.
  • the obtained plurality of images may be images obtained by changing at least one of wavelengths and polarizations of light irradiated with at least one of the plurality of illumination units 11, 12, 13, and 14 to another illumination unit.
  • at least one of the plurality of lighting units 11, 12, 13, and 14 includes a light source having a different wavelength from the other lighting unit and a filter capable of changing at least one of the wavelength and polarization of light emitted from the light source. You can.
  • the appearance inspection device 10 may change the lighting conditions irradiated to the inspection object 17 according to the material, material, or shape of the surface of the inspection object 17.
  • a plurality of images may be obtained by varying at least one of the irradiation angle, wavelength, or polarization of light irradiated to the inspection object 17 according to the uniformity or reflection characteristics of the metal surface of the inspection object 17 You can.
  • the surface of the object to be inspected 17 is a curved corner portion
  • a plurality of images may be obtained by varying at least one of the irradiation angle, wavelength, or irradiation angle of light irradiated to the inspection object 17.
  • pixels of a plurality of images may be images defined by one pixel characteristic.
  • the imaging unit 15 may be implemented using one or more black and white cameras, and the image obtained by the imaging unit 15 may be a gray-scale image that can be defined as light intensity.
  • the visual inspection apparatus may display at least one composite image generated from two or more images selected from the obtained plurality of images on a display. For example, referring to FIGS. 1 and 2, two or more images 21, 22, 23, and 24 of a plurality of images are selected, and at least one composite image 25, 26, 27, 28 from them , 29) is generated, the display 19 of the visual inspection device 10 may display the generated at least one composite image (25, 26, 27, 28, 29).
  • each of two or more images 21, 22, 23, and 24 of the plurality of images may be images obtained under different lighting conditions.
  • different lighting conditions may be conditions related to at least one of an irradiation angle, wavelength, and polarization of light irradiated to the inspection object 17.
  • FIG. 8 is a flowchart illustrating a method of displaying a composite image on a display according to an embodiment of the present disclosure.
  • a method of displaying a composite image on a display will be described in more detail with reference to the drawings for each step.
  • the visual inspection device may display a plurality of images on the display.
  • the processing unit 16 of the visual inspection device 10 may display a plurality of images on the display 19.
  • the visual inspection device 10 may display all the obtained plurality of images on the display 19.
  • the appearance inspection apparatus 10 may display only the images necessary for generating at least one composite image among the plurality of images on the display 10.
  • step S722 the user can select two or more images among the plurality of images.
  • a user can select two or more images required for generating at least one composite image (25, 26, 27, 28, 29) among a plurality of images displayed on the display 19 have.
  • the user may select two or more images among a plurality of images displayed on the display 19 using a touch interface, a keyboard, or a mouse included in the display 19.
  • the processing unit 16 may display a lighting condition in which each image is acquired along with a plurality of images on the display 19.
  • the processor 16 may display recommended images suitable for generating a composite image among a plurality of images on the display 19. At this time, the processing unit 16 may display the composite image that can be generated by the recommended images on the display 19 in advance.
  • the processing unit 16 may pre-display all the synthesized images that can be generated through a combination of a plurality of images on the display 19.
  • the processing unit 16 may select two or more images 21, 22, 23, and 24 of the plurality of images.
  • the processing unit 16 may select two or more images 21, 22, 23, and 24 from among a plurality of images in consideration of the material, material, or shape of the surface of the object to be inspected 17.
  • the visual inspection device may display at least one composite image generated from the selected two or more images on the display.
  • the processing unit 16 of the visual inspection device 10 may include at least one composite image 25 generated from two or more selected images 21, 22, 23, and 24. 26, 27, 28, 29) can be displayed on the display 19.
  • the processing unit 16 displays all of the composite images 25, 26, 27, 28, and 29 that can be generated through a combination of two or more selected images 25, 26, 27, 28, and 29. (19). According to another embodiment, the processing unit 16 is used for visual inspection of the composite images 25, 26, 27, 28, and 29 that can be generated through a combination of two or more selected images 26, 27, 28, and 29. Only a suitable portion can be displayed on the display 19.
  • the display 19 may display only selectable composite images 25, 26, 27, 28, 29, or additional information that may be considered for selection of the composite image ( 25, 26, 27, 28, 29).
  • the display 19 may display information regarding a difference in color or contrast between each region of the inspection target 17 included in the composite images 25, 26, 27, 28, and 29.
  • step S73 the user can select one of the displayed at least one composite image.
  • the user may select one of the at least one composite image 25, 26, 27, 28, 29 displayed on the display 19.
  • the user can select one of the composite images 25, 26, 27, 28 and 29 displayed on the display 19 using a touch interface installed on the display 19 or an interface device such as a keyboard and mouse. .
  • the composite image of one of the composite images 25, 26, 27, 28, and 29 displayed by the processing unit 16 may be selected as an image for visual inspection.
  • the processing unit 16 may synthesize the composite images 25, 26, based on the difference in color or contrast between each region of the inspection object 17 included in the composite images 25, 26, 27, 28, 29. 27, 28, 29) to select one composite image.
  • step S74 the appearance inspection apparatus converts the color space of the selected composite image from the first color space to the second color space, and then the converted composite image Can be displayed on the display.
  • the processing unit 16 of the visual inspection device 10 converts the color space of the selected composite image from the first color space to the second color space, and then converts the converted composite image ( 35) can be displayed on the display 19.
  • the first color space may be a color space defined when the composite image 35 is generated, or a color space obtained by converting it to another color space one or more times. Also, the first color space may be a color space obtained by converting a multi-dimensional pixel space defined when generating the composite image 35 into a specific color space.
  • the first color space and the second color space are different colors selected from RGB color space, HSV color space, CMYK color space, YIQ color space, YPbPr color space, HSL color space, and xvYCC color space, respectively. It can be spaces. However, various known color spaces may be used as the first color space and the second color space of the composite image 35.
  • the appearance inspection apparatus determines at least one coordinate in the second color space associated with at least one pixel among pixels in the converted composite image. Can be obtained. For example, referring to FIGS. 1 and 3, the processing unit 16 of the visual inspection apparatus 10 in a second color space associated with at least one pixel 351 among pixels in the converted composite image 35 At least one coordinate can be obtained.
  • the at least one pixel 351 may be determined by user input.
  • the user may select or input at least one pixel 351 from the composite image 35 displayed on the display 19 through a user interface implemented with a keyboard, mouse, touch screen, or the like.
  • the processor 16 may acquire at least one coordinate in a second color space associated with it.
  • the at least one pixel 351 may be determined based on values of components in the first color space or the second color space of the composite image 35.
  • the composite image 35 has pixels that can be defined in a first color space or a second color space.
  • the processor 16 may determine at least one pixel 351 in the composite image 35 based on the value of each component in the first color space of pixels or the value of each component in the second color space. have.
  • the processor 16 may acquire at least one coordinate in the second color space associated with it.
  • step S76 the visual inspection device in the second color space forming at least one coordinate
  • the inspection region determined based on the values of the components can be displayed on the converted composite image.
  • the processing unit 16 of the visual inspection device 10 is assigned to values of components 321, 331, and 341 in the second color space forming at least one coordinate.
  • the inspection area 353 determined based on the image may be displayed on the converted composite image 35.
  • the processing unit 16 may include a range of a first component including a value of a first component of at least one coordinate obtained and a second component including a value of a second component of at least one coordinate obtained.
  • An area in the second color space, defined by the range of, may be determined as an inspection area.
  • the processing unit 16 may be defined as at least two ranges of the ranges 322, 332, and 342 including the values 321, 331, 341 of components of the obtained coordinates. It is possible to determine the inspection area for the area in 2 color spaces.
  • the processor 16 determines the color value of the acquired coordinates.
  • An area in the HSV color space defined by the first range including and the second range including the saturation value of the obtained coordinates may be determined as the inspection area.
  • the processor 16 may determine an area in the second color space including values of all components in the second color space of the obtained coordinates as the inspection area. For example, an area in the HSV color space defined by ranges including color values, saturation values, and brightness values in the HSV color space of the obtained coordinates may be determined as the inspection area.
  • FIG. 9 is a flowchart illustrating a method of displaying an inspection area according to an embodiment of the present disclosure on a composite image in which color space is converted.
  • a method of displaying the inspection area on the composite image in which the color space has been converted will be described in more detail with reference to the drawings for each step.
  • the appearance inspection apparatus may display the distribution of the first component and the distribution of the second component in the converted composite image on the display.
  • the processing unit 16 of the visual inspection device 10 includes the distribution of the first component 32 and the distribution of the second component 33 in the converted composite image 35. ) Can be displayed on the display 19.
  • the processing unit 16 of the visual inspection device 10 may display the distribution of at least two components among the components defining the composite image 35 in the second color space on the display 19. .
  • step S762 the user can obtain the first component of at least one coordinate obtained among the distribution of the first component. It is possible to select a range of first components that include values. Thereafter, in step S763, the user may select a range of the second component including the value of at least one second component obtained from the distribution of the second component. For example, referring to FIG. 3, the user can select a range 322 of the first component including the value 321 of the first component of at least one coordinate obtained from the distribution 32 of the first component. have. Further, the user may select a range 332 of the second component including the value 331 of the second component of at least one coordinate obtained from the distribution 33 of the second component.
  • the distribution 32 of the first component in the second color space of the pixels of the composite image 35 converted into the second color space and the pixels of the converted composite image 35, and the distribution of the second component ( 33) and the distribution of the third component (34) is displayed, the user is provided with the values of the components of the coordinates (321, 331, 341) of the first component range 322, respectively, the second component range ( 332) and at least two of the ranges 342 of the third component.
  • the user adjusts the slide 343 when the value of the third component 341 is displayed on the distribution 34 of the third component, and the range of the third component including the value 341 of the third component (342) can be determined.
  • the user can determine the range 332 of the first component and the range 332 of the second component using an interface such as the slide 343.
  • the form of the interface for determining the ranges 322, 332, and 342 of each component on the user interface 31 is not limited to the form of the slide 343, and various types of interfaces capable of specifying a range can be used.
  • the slide 343 may be adjusted by a user through a touch interface installed on the display 19 or through an interface such as a mouse.
  • the user may directly input the ranges 322, 332, and 342 of each component using a keyboard.
  • At least the first component range 322 and the second component range 332 may be determined based on the first component value 321 and the second component value 331, respectively.
  • the processor 16 may determine a predetermined range as the range 322 of the first component or the range 332 of the second component according to the values 321, 331, and 341 of the components of the obtained coordinates. Also, the processor 16 may determine the range 322 of the first component or the range 332 of the second component by applying the values 321, 331, and 341 of the components of the obtained coordinates to a predetermined calculation formula. .
  • the processor 16 subtracts a value (for example, 5%) of the color value of the obtained coordinates from the color value of the obtained coordinates and subtracts it.
  • the value can be calculated and the range between these two values can be determined as the range 322 of the first component.
  • the appearance The inspection apparatus may display an inspection region defined by the range of the first component and the range of the second component on the converted composite image.
  • the processing unit 16 of the visual inspection device 10 includes an inspection area 353 defined by a range 322 of the first component and a range 332 of the second component. It can be displayed on the composite image 35.
  • the user may modify the determined inspection area 353 by adjusting the ranges 322, 332, and 342 of each component of the interface 31.
  • the appearance inspection device 10 may determine whether a defect 352 having an appearance exists in the inspection area 353.
  • the method can also be embodied as computer readable code on a computer readable recording medium.
  • the computer-readable recording medium includes all kinds of recording devices in which data readable by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, and optical data storage devices.
  • the computer-readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, codes, and code segments for implementing the above embodiments can be easily inferred by programmers in the technical field to which the present disclosure pertains.

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

본 개시는 검사 대상의 3차원 외관을 검사하는 검사 장치로서, 상이한 조사각으로 검사 대상에 광을 조사하는 복수의 조명부, 복수의 조명부 각각으로부터의 광이 검사 대상으로부터 반사된 반사광을 결상하여 복수의 이미지를 획득하는 결상부 및 복수의 이미지 중 2개 이상의 이미지들로부터 생성된 합성 이미지(composition image)에서 검사 대상의 검사 영역을 결정하는 처리부를 포함할 수 있다. 처리부는, 합성 이미지의 색공간(color space)을 제1 색공간에서 제2 색공간으로 변환하고, 합성 이미지 내의 픽셀들 중 적어도 하나의 픽셀과 연관된 상기 제2 색공간에서의 좌표를 획득하고, 적어도 하나의 좌표를 형성하는 제2 색공간의 성분들의 값에 기초하여 상기 검사 영역을 결정할 수 있다.

Description

검사 영역 결정 방법 및 이를 이용하는 외관 검사 장치
본 개시는 검사 대상의 외관 검사 영역을 결정하는 방법 및 이를 이용하는 외관 검사 장치에 관한 것이다.
제품의 디자인의 중요성이 높아지고, 제품 외관에 흠집, 벌어짐 등의 결함이 있을 경우 소비자들이 민감하게 반응하기 때문에, 제품 외관의 결함을 정확히 검사하는 것이 중요하다. 외관 검사는 사람이 직접 할 수 있다. 그러나 사람이 직접 외관을 검사하면, 검사 시간이 오래 걸릴 수 있고, 검사 과정에서 실수가 발생할 수 있다. 또한, 육안으로 쉽게 파악하기 힘든 미세한 결함이 검사 과정에서 누락될 수도 있다.
외관 검사의 속도 및 정확성을 높이기 위해서, 외관 검사 장치가 사용될 수 있다. 외관 검사 장치는 검사 대상의 외관을 촬영한 검사용 이미지를 이용하여 외관 검사를 수행할 수 있다. 외관 검사 장치는, 검사용 이미지를 획득한 후, 검사용 이미지 내에서 제품 외관의 검사 영역을 결정하고, 결정된 검사 영역 내에 결함이 있는지 여부를 판단할 수 있다. 따라서, 외관 검사 장치가 정확한 외관 검사를 진행하기 위해서는, 외관 검사 장치가 검사 영역을 정확히 결정하는 것이 우선되어야 한다. 또한, 검사 대상의 제작 시 가공 오차가 있거나 검사 대상이 놓이는 위치나 방향이 균일하지 않아, 검사용 이미지 내의 검사 대상의 형상이나 컬러가 검사 이미지마다 조금 변하더라도, 외관 검사 장치는 이러한 검사 이미지들에서 일관된 검사 영역을 결정할 필요가 있다.
일반적으로 검사 대상의 외관에 관한 정보(예: CAD 정보 등)가 제공되지 않기 때문에, 외관 검사 장치는 외관에 관한 정보를 검사 영역 결정에 이용할 수 없다. 또한, 검사 장치는, 결정된 검사 영역을 외관에 관한 정보로부터 얻은 검사 대상의 각 부분의 형상이나 치수와 비교하여, 결정된 검사 영역이 적절한 지, 일관성을 갖는지 등을 검증하기도 어렵다. 또한, 굴곡지거나 각진 검사 대상의 3차원 외관을 검사할 경우, 2차원 이미지인 검사용 이미지는 검사 대상의 굴곡지거나 각진 부분들을 명확히 구분하여 나타내기 어렵다. 따라서, 외관 검사 장치에서 획득된 검사용 이미지에만 의존하여 정확하고 일관된 검사 영역을 결정하는 것은 쉽지 않다.
특히, 종래에는 외관 검사에 방해가 되는, 검사용 이미지 내의 노이즈를 줄이기 위해서 그레이-스케일 이미지(gray-scale image)가 외관 검사용 이미지로서 주로 사용되었다. 그러나, 그레이-스케일 이미지는 광도(light intensity)와 같은 하나의 픽셀 특성으로 정의되기 때문에, 그레이-스케일 이미지 내의 검사 대상의 형상이나 그레이 레벨이 외부 환경에 따라 달라지기 쉽다. 예를 들어, 검사 대상의 자세 변동, 표면의 반사율 변동, 조명 변동, 이미지 센서의 감도 변동 등에 따라 그레이-스케일 이미지 내의 검사 대상의 그레이 레벨이 달라지기 쉽다. 또한, 결상부의 FOV(field-of-view)가 제한적이므로, 검사용 이미지는 검사 대상의 각 부분을 포함하는 그레이-스케일 이미지들을 연결하여 획득되는데, 이때 이미지들의 연결 지점들이 검사용 이미지 상에 노이즈로서 포함될 수 있다. 따라서, 그레이-스케일 이미지의 그레이 레벨에만 기초하여 그레이-스케일 이미지에 포함된 검사 대상 내에 정확하고 일관된 검사 영역을 결정하는 것이 쉽지 않다.
본 개시가 해결하고자 하는 과제는, 검사 대상의 외관 검사용 이미지에서 정확하고 일관된 검사 영역을 결정할 수 있는 방법 및 이를 이용하는 외관 검사 장치를 제공하는 것이다.
본 개시의 예시적인 일 실시예에 따른, 검사 대상의 3차원 외관을 검사하는 검사 장치는, 상이한 조사각으로 상기 검사 대상에 광을 조사하는 복수의 조명부, 상기 복수의 조명부 각각으로부터의 상기 광이 상기 검사 대상으로부터 반사된 반사광을 결상하여 복수의 이미지를 획득하는 결상부, 상기 복수의 이미지 중 2개 이상의 이미지들로부터 생성된 합성 이미지(composition image)에서 상기 검사 대상의 검사 영역을 결정하는 처리부를 포함할 수 있다.
일 실시예에 따르면, 상기 처리부는, 상기 합성 이미지의 색공간(color space)을 제1 색공간에서 제2 색공간으로 변환하고, 상기 변환된 합성 이미지 내의 픽셀들 중 적어도 하나의 픽셀과 연관된 상기 제2 색공간에서의 적어도 하나의 좌표를 획득하고, 상기 적어도 하나의 좌표를 형성하는 상기 제2 색공간의 성분들의 값에 기초하여 상기 검사 영역을 결정할 수 있다.
일 실시예에 따르면, 상기 제2 색공간에서의 성분들은 적어도 제1 성분 및 제2 성분을 포함할 수 있고, 상기 처리부는 상기 획득된 적어도 하나의 좌표의 상기 제1 성분의 값을 포함하는 제1 성분의 범위와 상기 획득된 적어도 하나의 좌표의 상기 제2 성분의 값을 포함하는 제2 성분의 범위로 정의되는, 상기 제2 색공간에서의 영역을 상기 검사 영역으로서 결정할 수 있다.
일 실시예에 따르면, 상기 제1 성분의 범위와 상기 제2 성분의 범위는 각각 사용자의 입력에 따라 결정될 수 있다.
일 실시예에 따르면, 상기 제1 성분의 범위와 상기 제2 성분의 범위는 각각 상기 제1 성분의 값과 상기 제2 성분의 값에 기초하여 결정될 수 있다.
일 실시예에 따르면, 상기 처리부는 상기 결정된 검사 영역에 포함된 노이즈를 제거할 수 있다.
일 실시예에 따르면, 상기 복수의 이미지의 픽셀들은 하나의 픽셀 특성(pixel property)으로 정의되는 이미지들일 수 있다.
일 실시예에 따르면, 상기 복수의 이미지 각각은 그레이-스케일 이미지일 수 있다.
일 실시예에 따르면, 상기 적어도 하나의 픽셀은 사용자의 입력에 따라 결정되거나 상기 합성 이미지의 상기 제1 색공간 또는 상기 제2 색공간에서의 성분들의 값에 기초하여 결정될 수 있다.
일 실시예에 따르면, 상기 복수의 이미지 중 2개 이상의 이미지들은 상기 복수의 조명부로부터 각각 상이한 컬러의 광이 조사되어 획득된 이미지들일 수 있다.
일 실시예에 따르면, 상기 복수의 이미지 중 2개 이상의 이미지들은 상기 복수의 조명부로부터 각각 동일한 컬러의 광이 조사되어 획득된 이미지들일 수 있다.
일 실시예에 따르면, 상기 처리부는 상기 2개 이상의 이미지들로부터 각각 획득된 하나의 픽셀 특성의 값들을 조합하여 상기 합성 이미지를 생성할 수 있다.
일 실시예에 따르면, 상기 제1 색공간과 상기 제2 색공간은 RGB 색공간, HSV 색공간, CMYK 색공간, YIQ 색공간, YPbPr 색공간, HSL 색공간 및 xvYCC 색공간 중 각각 서로 다르게 선택되는 색공간들일 수 있다.
일 실시예에 따르면, 상기 3차원 외관은 굴곡진(curved) 또는 각진(edged) 외관일 수 있다.
본 개시의 예시적인 일 실시예에 따른, 검사 장치에서 수행되는 검사 대상의 3차원 외관을 검사하기 위한 검사 영역을 결정하는 방법은, 상이한 조사각으로 상기 검사 대상에 광을 각각 조사하여 획득된 복수의 이미지를 수신하는 단계, 상기 복수의 이미지 중 2개 이상의 이미지들로부터 합성 이미지를 생성하는 단계, 상기 합성 이미지의 색공간을 제1 색공간에서 제2 색공간으로 변환하는 단계, 상기 변환된 합성 이미지 내의 픽셀들 중 적어도 하나의 픽셀과 연관된 상기 제2 색공간에서의 적어도 하나의 좌표를 획득하는 단계 및 상기 적어도 하나의 좌표를 형성하는 상기 제2 색공간의 성분들의 값에 기초하여 상기 검사 영역을 결정하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 제2 색공간에서의 성분들은 적어도 제1 성분 및 제2 성분을 포함할 수 있고, 상기 검사 영역을 결정하는 단계는, 상기 획득된 적어도 하나의 좌표의 상기 제1 성분의 값을 포함하는 제1 성분의 범위와 상기 획득된 적어도 하나의 좌표의 상기 제2 성분의 값을 포함하는 제2 성분의 범위로 정의되는 상기 제2 색공간에서의 영역을 상기 검사 영역으로서 결정하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 검사 영역을 결정하는 단계는, 상기 결정된 검사 영역에 포함된 노이즈를 제거하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 합성 이미지를 생성하는 단계는, 상기 2개 이상의 이미지들로부터 각각 획득된 하나의 픽셀 특성의 값들을 조합하여 상기 합성 이미지를 생성하는 단계를 포함할 수 있다.
본 개시의 예시적인 일 실시예에 따른 컴퓨터 판독가능 저장매체는 상기 본 개시의 예시적인 일 실시예에 따른 검사 영역을 결정하는 방법의 각 단계를 수행하는 명령어들을 포함하는 프로그램을 저장할 수 있다.
본 개시의 예시적인 일 실시예에 따른, 검사 대상의 3차원 외관을 검사하는 검사 장치는, 상기 검사 대상으로 조사된 광이 반사된 반사광을 결상하여 복수의 이미지를 획득하는 결상부 및 상기 복수의 이미지 중 2개 이상의 이미지들로부터 생성된 합성 이미지에서 상기 검사 대상의 검사 영역을 결정하는 처리부를 포함할 수 있다. 이때 상기 복수의 이미지 중 2개 이상의 이미지들은 서로 다른 조명 조건 하에서 획득된 이미지들을 포함할 수 있다. 또한, 상기 처리부는, 상기 합성 이미지의 색공간을 제1 색공간에서 제2 색공간으로 변환하고, 상기 합성 이미지 내의 픽셀들 중 적어도 하나의 픽셀과 연관된 상기 제2 색공간에서의 적어도 하나의 좌표를 획득하고, 상기 적어도 하나의 좌표를 형성하는 상기 제2 색공간에서의 성분들의 값에 기초하여 상기 검사 영역을 결정할 수 있다.
본 개시의 예시적인 일 실시예에 따른, 검사 장치에서 검사 대상의 3차원 외관을 검사하기 위한 검사 영역을 디스플레이에 표시하는 방법은, 상기 검사 대상으로 조사된 광이 반사된 반사광을 결상하여 복수의 이미지를 획득하는 단계, 상기 복수의 이미지 중에서 선택된 2개 이상의 이미지들로부터 생성되는 적어도 하나의 합성 이미지를 상기 디스플레이에 표시하는 단계, 상기 표시된 적어도 하나의 합성 이미지 중 하나를 선택하는 단계, 상기 선택된 합성 이미지의 색공간을 제1 색공간에서 제2 색공간으로 변환한 후, 변환된 합성 이미지를 상기 디스플레이에 표시하는 단계, 상기 변환된 합성 이미지 내의 픽셀들 중 적어도 하나의 픽셀과 연관된 상기 제2 색공간에서의 적어도 하나의 좌표를 획득하는 단계 및 상기 적어도 하나의 좌표를 형성하는 상기 제2 색공간에서의 성분들의 값에 기초하여 결정된 상기 검사 영역을 상기 변환된 합성 이미지 상에 표시하는 단계를 포함할 수 있다. 이때, 상기 복수의 이미지 중 2개 이상의 이미지들은 서로 다른 조명 조건 하에서 획득된 이미지들을 포함할 수 있다.
본 개시의 일 실시예에 따른 외관 검사 장치 및 검사 영역 결정 방법에 의하면, 검사 대상의 3차원 외관을 검사하는 경우에도 외관 검사용 이미지에 포함된 검사 대상 내에 정확하고 일관된 검사 영역이 결정될 수 있다.
특히, 물체의 가공 오차, 검사 대상이 놓여지는 지그의 자세 오차, 조명 조건의 변동, 이미지 센서의 감도 변동 등과 같은 검사 환경 또는 검사 조건의 변화가 있더라도, 외관 검사용 이미지에 포함된 검사 대상 내에 정확하고 일관된 검사 영역이 결정될 수 있다.
도 1은 본 개시의 일 실시예에 따른 외관 검사 장치의 구성을 나타내는 도면이다.
도 2는 본 개시의 일 실시예에 따라, 검사용 이미지를 생성하는 방법을 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시예에 따라, 검사용 이미지 내에서 검사 영역을 결정하는 방법을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시예에 따라 결정된 검사 영역이 합성 이미지 위에 표시된 도면이다.
도 5는 본 개시의 일 실시예에 따라 검사 영역을 결정하는 방법을 나타내는 흐름도이다.
도 6은 본 개시의 일 실시예에 따라, 상이한 조사각으로 검사 대상에 광을 조사하여 획득된 이미지들을 이용하여 생성된 합성 이미지에 기초하여 검사 영역을 결정하는 방법을 나타내는 흐름도이다.
도 7은 본 개시의 일 실시예에 따라, 외관 검사 장치에서 검사 영역을 디스플레이에 표시하는 방법을 나타내는 흐름도이다.
도 8은 본 개시의 일 실시예에 따라, 합성 이미지를 디스플레이에 표시하는 방법을 나타내는 흐름도이다.
도 9는 본 개시의 일 실시예에 따라, 검사 영역을 색공간이 변환된 합성 이미지 상에 표시하는 방법을 나타내는 흐름도이다.
본 개시의 실시예들은 본 개시를 설명하기 위한 목적으로 예시된 것이다. 본 개시의 실시예들은 다양한 형태로 실시될 수 있으며, 본 개시가 아래 제시된 실시예들이나 이들 실시예들에 대한 구체적 설명으로 한정되는 것으로 해석해서는 아니 된다.
본 실시예에서 사용되는 용어 "부"는 소프트웨어, FPGA(field-programmable gate array), ASIC(application specific integrated circuit)과 같은 하드웨어 구성요소를 의미한다. 그러나, "부"는 하드웨어 및 소프트웨어에 한정되는 것은 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일례로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세서, 함수, 속성, 프로시저, 서브루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조, 테이블, 어레이 및 변수를 포함한다. 구성요소와 "부" 내에서 제공되는 기능은 더 작은 수의 구성요소 및 "부"로 결합되거나 추가적인 구성요소와 "부"로 더 분리될 수 있다.
본 명세서에서 사용되는 모든 기술적 용어들 및 과학적 용어들은, 다르게 정의되어 있지 않는 한, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 일반적으로 이해되는 의미를 갖는다. 본 명세서에서 사용되는 모든 용어들은 본 개시를 보다 명확히 설명하기 위한 목적으로 선택된 것이며 본 개시의 범위를 제한하기 위해 선택된 것이 아니다.
본원 명세서에서 기술된 단수형의 표현은 달리 언급하지 않는 이상 복수형의 표현도 함께 포함할 수 있으며, 이는 청구항에 기재된 단수형의 표현에도 마찬가지로 적용된다.
본 개시의 다양한 실시 예에서 사용된 "제1", "제2" 등의 표현들은 복수의 구성요소들을 상호 구분하기 위해 사용하는 것일 뿐 해당 구성요소들의 순서 또는 중요도를 한정하는 것이 아니다.
본 명세서에서 사용되는 "포함하는" 및 "갖는"과 같은 표현은, 해당 표현이 포함되는 문구 또는 문장에서 특별히 다르게 언급되지 않는 한, 다른 실시예를 포함할 가능성을 내포하는 개방형 용어(open-ended terms)로 이해되어야 한다.
본 명세서에서 "~에 기초하여"라는 표현은, 해당 표현이 포함되는 문구에서 기술되는 결정 또는 판단의 행위 또는 동작에 영향을 주는 하나 이상의 인자를 기술하는데 사용되고, 이 표현은 결정 또는 판단의 행위 또는 동작에 영향을 주는 추가적인 인자를 배제하지는 않는다.
본 명세서에서 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
이하, 첨부한 도면들을 참조하여, 본 개시의 실시예들을 상세하게 설명한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 개시의 일 실시예에 따른 외관 검사 장치(10)의 구성을 나타내는 도면이다. 외관 검사 장치(10)는 복수의 조명부(11, 12, 13, 14), 결상부(15), 처리부(16) 및 디스플레이(19)를 포함할 수 있다. 외관 검사 장치(10)는 검사 대상(17)으로 조사된 광이 반사된 반사광을 결상하여 획득된 복수의 이미지로부터 생성된 합성 이미지에 검사 대상(17)의 외관 검사 영역을 결정하고, 검사 영역 내에 결함이 있는지 여부를 판단할 수 있다.
복수의 조명부(11, 12, 13, 14)는 상이한 조사각으로 스테이지부(18) 위에 놓인 검사 대상(17)에 광을 조사할 수 있다. 여기서 "조사각"이란 조명부의 광이 검사 대상(17)의 한 지점을 향해 조사되는 방향과 검사 대상(17)이 놓인 스테이지부(18)의 수직 법선이 형성하는 각도를 의미할 수 있다. 예를 들어, 조명부(11)의 광이 검사 대상(17)의 한 지점(171)을 향해 조사되는 방향(111)과 측정 대상물(17)이 놓인 스테이지부(18)의 수직 법선(151)이 형성하는 각도(θ)가 조명부(11)의 조사각이 될 수 있다. 광이 조사되는 한 지점(171)은 검사 대상(17)의 한 지점일 수 있지만, 검사 대상(17)이 놓이는 스테이지부(18) 상의 한 지점일 수도 있다.
일 실시예에 따르면, 복수의 조명부(11, 12, 13, 14) 중 적어도 하나는 다른 조명부와 조사하는 광의 파장 및 편광(polarization) 중 적어도 하나가 다를 수 있다. 예를 들어, 복수의 조명부(11, 12, 13, 14) 중 적어도 하나는 다른 조명부와 광의 파장이 다른 광원을 포함하거나 광원으로부터 조사되는 광의 파장 및 편광 중 적어도 하나를 변경할 수 있는 필터를 포함할 수 있다.
일 실시예에 따르면, 복수의 조명부(11, 12, 13, 14) 중 적어도 하나는 파장 특성이 서로 상이한 복수의 광원을 포함할 수 있다. 또 다른 실시예에 따르면, 복수의 조명부(11, 12, 13, 14) 중 적어도 하나는 파장을 조정할 수 있는 광원을 포함할 수 있다. 또 다른 실시예에 따르면, 복수의 조명부(11, 12, 13, 14) 중 적어도 하나는 복수의 광원과, 복수의 광원 중 적어도 하나에서 조사되는 광의 파장 및 편광 중 적어도 하나를 변경할 수 있는 필터를 포함할 수 있다.
일 실시예에 따르면, 복수의 조명부(11, 12, 13, 14) 각각은 한 개 또는 복수 개의 광원으로 구현될 수 있다. 각 광원은 LED 등을 이용하여 구현될 수 있으나, 이에 한정되지는 않는다. 일 실시예에 따르면, 복수의 조명부(11, 12, 13, 14) 각각은 검사 대상(17)을 향해 여러 방향에서 광을 조사할 수 있다. 예를 들어, 복수의 조명부(11, 12, 13, 14)에 포함된 광원들이 검사 대상(17)을 중심으로 하는 동심원 상에 위치함으로써, 복수의 조명부(11, 12, 13, 14) 각각은 검사 대상(17)을 향해 여러 방향에서 광을 조사할 수 있다.
도 1에 도시된 실시예에서는 복수의 조명부가 4개의 조명부로 구성되어 있지만, 2개 이상의 상이한 조사각으로 광을 조사하는 조명부들로 구성될 수 있다. 일 실시예에 따르면, 복수의 조명부(11, 12, 13, 14)는 각각 상이한 조사각을 가질 수 있다. 또 다른 실시예에 따르면, 복수의 조명부(11, 12, 13, 14) 중 일부가 상이한 조사각을 가질 수 있다. 복수의 조명부(11, 12, 13, 14)의 조사각의 크기는 제한이 없으며, 0도에서 90도 사이에서 선택될 수 있다.
일 실시예에 따르면, 외관 검사 장치(10)는 조사각, 광의 파장 및 편광 중 적어도 하나를 조정할 수 있는 1개의 조명부만을 포함할 수도 있다. 이 경우, 1개의 조명부는 조사하는 광의 파장을 조정할 수 있는 광원을 포함할 수 있다. 또 다른 실시예에 따르면, 1개의 조명부는 조사하는 광의 파장이 상이한 복수의 광원을 포함할 수 있다. 또 다른 실시예에 따르면, 1개의 조명부는 조사하는 광의 파장 및 편광 중 적어도 하나를 변경할 수 있는 필터를 포함할 수 있다.
결상부(15)는 검사 대상(17)으로 조사된 광이 반사(난반사를 포함)된 반사광을 결상하여 복수의 이미지를 획득할 수 있다. 예를 들어, 결상부(15)는 복수의 조명부(11, 12, 13, 14) 중 적어도 하나로부터의 광이 검사 대상(17)에서 반사된 반사광을 결상하여 복수의 이미지를 획득할 수 있다. 결상부(15)는 스테이지부(18)의 위쪽에 설치되며, 검사 대상(17)의 외관을 포함하는 이미지를 획득할 수 있다. 결상부(15)는 카메라와 같은 하나 이상의 결상 장치를 이용하여 구현될 수 있고, 카메라 그 자체일 수도 있다. 결상부(15)는 검사 대상(17)의 외관을 포함하는 이미지를 생성할 수 있는 다양한 형태의 장치일 수 있다.
일 실시예에 따르면, 하나 이상의 결상 장치는 검사 대상(17)을 향한 방향으로 검사 대상(17)에서 반사된 반사광을 결상할 수 있다. 또 다른 실시예에 따르면, 하나 이상의 결상 장치는 반사 거울 또는 빔스플리터(beam splitter)와 같은 광소자를 통해 전달되는 반사광을 결상할 수 있다.
일 실시예에 따르면, 결상부(15)는 하나의 픽셀 특성으로 정의되는 이미지를 획득할 수 있다. 따라서, 결상부(15)에서 획득된 이미지의 픽셀들은 하나의 픽셀 특성으로 정의될 수 있다. 예를 들어, 결상부(15)는 하나 이상의 흑백 카메라를 이용하여 구현될 수 있고, 결상부(15)에서 획득된 이미지는 광도로 정의될 수 있는 그레이-스케일 이미지일 수 있다.
처리부(16)는 결상부(15)에서 획득된 복수의 이미지를 이용하여 검사용 이미지를 생성하고, 검사용 이미지 상에 외관 검사 영역을 결정하며, 검사 영역 내에 외관의 결함이 있는지 여부를 판단할 수 있다. 일 실시예에 따르면, 처리부(16)는 결상부(15)에서 획득된 복수의 이미지 중 2개 이상의 이미지들로부터 생성된 합성 이미지에서 검사 대상(17)의 검사 영역을 결정할 수 있다.
디스플레이(19)는 결상부(15)에서 획득된 복수의 이미지, 복수의 이미지 중 2개 이상의 이미지들로부터 생성된 합성 이미지 및 검사 대상(17)의 검사 영역 중 적어도 하나를 표시할 수 있다. 일 실시예에 따르면, 외관 검사 장치(10)는 키보드, 마우스와 같은 외부 인터페이스 또는 디스플레이(19)에 설치된 터치 인터페이스와 같은 사용자 인터페이스를 통해 디스플레이(19)에 표시된 이미지를 조정하거나 선택할 수 있다.
도 2는 본 개시의 일 실시예에 따라, 검사용 이미지를 생성하는 방법을 설명하기 위한 도면이다. 결상부(15)는 검사 대상(17)으로 조사된 광이 반사된 반사광을 결상하여 복수의 이미지를 획득하고, 처리부는(16)는 획득된 복수의 이미지 중 2개 이상의 이미지들(21, 22, 23, 24)로부터 적어도 하나의 합성 이미지(25, 26, 27, 28, 29)를 생성할 수 있다. 생성된 합성 이미지들(25, 26, 27, 28, 29) 중 적어도 하나는 검사 대상(17)의 검사 영역을 결정하고, 검사 대상(17)의 외관을 검사하는데 사용될 수 있다.
일 실시예에 따르면, 복수의 이미지 중 2개 이상의 이미지들(21, 22, 23, 24)은 서로 다른 조명 조건하에서 획득된 이미지들을 포함할 수 있다. 예를 들어, 서로 다른 조명 조건은 검사 대상(17)으로 조사되는 광의 조사각, 파장, 편광 중 적어도 하나와 관련된 조건일 수 있다.
일 실시예에 따르면, 복수의 이미지 중 2개 이상의 이미지들(21, 22, 23, 24)은 상이한 조사각을 갖는 복수의 조명부(11, 12, 13, 14)에서 검사 대상(17)에 광을 조사하여 획득된 이미지들을 포함할 수 있다. 예를 들어, 복수의 이미지 중 2개 이상의 이미지들(21, 22, 23, 24)은 제1 조명부(11)에서 17도의 조사각으로 광을 조사하고, 제2 조명부(12)에서 30도의 조사각으로 광을 조사하며, 제3 조명부(13)에서 60도의 조사각으로 광을 조사하고, 제4 조명부(14)에서 70도의 조사각으로 광을 조사하여 각각 획득된 이미지들일 수 있다.
또 다른 실시예에 따르면, 복수의 이미지 중 2개 이상의 이미지들(21, 22, 23, 24)은 복수의 조명부(11, 12, 13, 14) 중 적어도 하나에서 검사 대상(17)에 서로 다른 파장의 광을 조사하여 획득된 이미지들을 포함할 수 있다. 사용되는 광의 파장은 자외선, 적외선, 가시광, X선 등 이미지 획득이 가능한 영역의 파장일 수 있다. 예를 들어, 복수의 이미지 중 2개 이상의 이미지들(21, 22, 23, 24)은 제1 조명부(11)에서 적외선 영역의 제1 파장을 갖는 광을 조사하고, 조명부(11)에서 가시광 영역의 제2 파장을 갖는 광을 조사하고, 조명부(12)에서 적외선 영역의 제3 파장을 갖는 광을 조사하고, 조명부(12)에서 가시광 영역의 제4 파장을 갖는 광을 조사하여 각각 획득된 이미지들일 수 있다.
또 다른 실시예에 따르면, 복수의 이미지 중 2개 이상의 이미지들(21, 22, 23, 24)은 복수의 조명부(11, 12, 13, 14) 중 적어도 하나에서 검사 대상(17)에 서로 다른 편광 특성을 갖는 광을 조사하여 획득된 이미지들을 포함할 수 있다. 편광은 직선편광(linear polarization), 타원편광(elliptical polarization), 또는 원편광(circular polarization)일 수 있다. 예를 들어, 복수의 이미지 중 2개 이상의 이미지들(21, 22, 23, 24)은 조명부(11)에서 직선편광된 광을 조사하고, 조명부(12)에서 원편광된 광을 조사하고, 조명부(13)에서 직선편광된 광을 조사하고, 조명부(14)에서 원평광된 광을 조사하여 각각 획득된 이미지들일 수 있다.
또 다른 실시예에 따르면, 복수의 이미지 중 2개 이상의 이미지들(21, 22, 23, 24)은 조사각, 파장 및 편광 중 적어도 2개 이상의 특성이 서로 상이한 광을 조사하여 획득된 이미지들을 포함할 수 있다. 예를 들어, 복수의 이미지 중 2개 이상의 이미지들(21, 22, 23, 24)은 제1 조명부(11)에서 17도의 조사각으로 적외선 영역의 제1 파장을 갖는 광을 조사하고, 제2 조명부(12)에서 30도의 조사각으로 가시광 영역의 제2 파장을 갖는 광을 조사하고, 제3 조명부(13)에서 60도의 조사각으로 적외선 영역의 제3 파장을 갖는 광을 조사하고, 제4 조명부(14)에서 70도의 조사각으로 가시광 영역의 제4 파장을 갖는 광을 조사하여 각각 획득된 이미지들일 수 있다.
일 실시예에 따르면, 외관 검사 장치(10)는 검사 대상(17)의 특성, 예를 들어, 표면의 재질, 재료 또는 형상에 따라 검사 대상(17)으로 조사되는 조명 조건을 변경할 수 있다. 이하에서는, 검사 대상(17)의 특성에 대해 검사 대상(17)의 표면의 재질, 재료, 또는 형상을 중심으로 설명하나, 이에 제한되는 것은 아니며, 검사 대상(17)의 다양한 특성이 검사 대상(17)으로 조사되는 조명 조건의 변경을 위해 이용될 수 있다.
예를 들어, 외관 검사 장치(10)는 검사 대상(17)의 표면이 거칠거나 부드러운 정도를 고려하여 검사 대상(17)으로 조사되는 조명 조건을 변경할 수 있다. 또 다른 예로, 외관 검사 장치(10)는 검사 대상(17)의 표면을 형성하는 재료(예컨대 금속, 플라스틱, 고무 등)의 특성을 고려하여 검사 대상(17)으로 조사되는 조명 조건을 변경할 수 있다. 또 다른 예로, 외관 검사 장치(10)는 검사 대상(17)의 표면의 형상이 굴곡지거나(curved) 각진(edged) 정도를 고려하여 검사 대상(17)으로 조사되는 조명 조건을 변경할 수 있다.
예를 들어, 검사 대상(17)의 금속 표면의 균일한 정도나 반사 특성에 따라 검사 대상(17)으로 조사되는 광의 조사각, 파장 또는 편광 중 적어도 하나의 특성이 달라질 수 있다. 검사 대상(17)의 표면이 굴곡진 모서리 부분임을 고려하여 검사 대상(17)으로 조사되는 광의 조사각, 파장 또는 조사각 중 적어도 하나의 특성이 달라질 수 있다. 이와 같이, 외관 검사 장치(10)는 검사 대상(17)의 표면의 재질, 재료 또는 형상을 고려한 조명 조건하에서 획득된 이미지들로부터 검사용 이미지를 생성하므로, 검사 대상(17)의 외관 검사에 최적화된 검사용 이미지를 획득할 수 있다.
검사 대상(17)에 대한 복수의 이미지가 획득되면, 처리부(16)는 복수의 이미지 중 합성 이미지를 생성하기 위한 2개 이상의 이미지들(21, 22, 23, 24)을 선택할 수 있다. 일 실시예에 따르면, 처리부(16)는 검사 대상(17)의 표면의 재질, 재료 또는 형상을 고려하여 복수의 이미지 중 2개 이상의 이미지들(21, 22, 23, 24)을 선택할 수 있다. 또 다른 실시예에 따르면, 복수의 이미지가 디스플레이(19)에 표시되면, 사용자가 디스플레이(19)에 표시된 이미지들 중 2개 이상의 이미지들(21, 22, 23, 24)을 선택할 수 있다. 사용자는 디스플레이(19)에 설치된 터치 인터페이스 또는 마우스나 키보드와 같은 인터페이스를 이용하여 합성 이미지 생성에 필요한 이미지들을 선택할 수 있다. 또 다른 실시예에 따르면, 합성 이미지를 생성하기 위한 이미지들을 선택할 필요 없이, 처리부(16)는 획득된 모든 이미지를 이용하여 합성 이미지를 생성할 수 있다.
처리부(16)는 선택된 2개 이상의 이미지들(21, 22, 23, 24)로부터 각각 획득된 하나의 픽셀 특성의 값들을 조합하여 합성 이미지를 생성할 수 있다. 예를 들어, 이미지들(21, 22, 23, 24)은 그레이-스케일 이미지일 수 있고, 이때 이미지들(21, 22, 23, 24)로부터 획득된 하나의 픽셀 특성인 광도 값들을 조합하여 합성 이미지를 생성할 수 있다.
이하에서는 2개 이상의 이미지들(21, 22, 23, 24)이 그레이-스케일 이미지인 경우에, 이미지들(21, 22, 23, 24)로부터 합성 이미지를 생성하는 과정을 설명한다. 처리부(16)는 이미지들(21, 22, 23, 24)로부터 각 픽셀의 광도 값을 획득하고, 획득된 광도 값들을 조합하여 합성 이미지를 생성할 수 있다. 일 예로서, 처리부(16)가 이미지들(21, 22, 23, 24) 중 제1 내지 제3 이미지(21, 22, 23)와 같이 3개의 이미지를 이용하여 합성 이미지(25)를 생성할 수 있다. 이 경우, 처리부(16)는 제1 내지 제3 이미지들(21, 22, 23)로부터 각 픽셀의 광도 값을 획득할 수 있고, 각 픽셀의 특정 색공간에서의 좌표 값을 각 이미지로부터 획득된 광도 값을 이용하여 설정함으로써, 합성 이미지를 생성할 수 있다.
여기서 "색공간(color space)"이란 색 표시계(color system)를 3차원 공간과 같은 다차원으로 표현한 공간 개념으로서, 색 표시계의 모든 컬러들은 색공간에서의 좌표로 표현될 수 있다. 예를 들어, RGB 색공간은 적색, 녹색 및 청색을 기준으로 색을 표현하는 방식으로서, (적색의 값, 녹색의 값, 청색의 값)과 같은 좌표 형식으로 정의될 수 있다. 또한, HSV 색공간은 색상, 채도 및 명도를 기준으로 색을 표현하는 방식으로서, (색상의 값, 채도의 값, 명도의 값)과 같은 좌표 형식으로 정의될 수 있다.
일 실시예에 따르면, RGB 색공간, HSV 색공간, CMYK 색공간, YIQ 색공간, YPbPr 색공간, HSL 색공간 및 xvYCC 색공간 등이 합성 이미지(25) 생성에 이용될 수 있다. 다만, 이 외에도 알려진 다양한 색공간이 합성 이미지(25)의 생성 시 이용될 수 있다.
예를 들어, RGB 색공간을 이용하여 합성 이미지(25)를 생성한다면, 처리부(16)는 제1 내지 제3 이미지들(21, 22, 23)의 동일한 위치에 있는 픽셀에서 획득된 광도 값을, 합성 이미지의 RGB 색공간을 이루는 좌표 값, 즉 적색, 녹색 및 청색 값을 대표하는 값으로 변환할 수 있다. 따라서, 처리부(16)는, 변환된 값들에 기초하여 픽셀을 정의하는 RGB 색공간의 좌표 값을 설정할 수 있고, 동일한 방식으로 나머지 픽셀들에 대해 RGB 색공간의 좌표 값들을 설정함으로써, 합성 이미지(25)를 생성할 수 있다.
일 실시예에 따르면, 처리부(16)는 이미지들(21, 22, 23, 24) 중 2개 또는 3개의 이미지를 서로 다르게 선택하여 다양한 합성 이미지를 생성할 수 있다. 예를 들어, 처리부(16)는 제1 내지 제3 이미지(21, 22, 23)를 선택하여 합성 이미지(25)를 생성하고, 제2 내지 제4 이미지(22, 23, 24)를 선택하여 합성 이미지(26)를 생성하고, 제1, 제3 및 제4 이미지(21, 23, 24)를 선택하여 합성 이미지(27)를 생성하고, 제1, 제2 및 제4 이미지(21, 22, 24)를 선택하여 합성 이미지(28)를 생성할 수 있다.
또 다른 실시예에 따르면, 처리부(16)는 4개 이상의 이미지들(21, 22, 23, 24)을 이용하여 합성 이미지를 생성할 수 있다. 이 경우 합성 이미지의 각 픽셀은 4개 이상의 차원을 갖는 픽셀 공간에서의 좌표로 정의될 수 있다. 예를 들어, 4개의 이미지로부터 합성 이미지가 생성되면, 합성 이미지의 각 픽셀은 (제1 픽셀 특성, 제2 픽셀 특성, 제3 픽셀 특성, 제4 픽셀 특성)과 같은 4차원 픽셀 공간에서의 좌표로 정의될 수 있다.
합성 이미지가 4개 이상의 이미지들(21, 22, 23, 24)을 이용하여 생성되면, 처리부(16)는 4개 이상의 차원을 갖는 픽셀 공간에서 정의되는 합성 이미지를 특정 색공간에서 정의되는 합성 이미지(29)로 변환할 수 있다. 예를 들어, 합성 이미지가 4개의 이미지(21, 22, 23, 24)로부터 생성되면, 처리부(16)는 이미지들(21, 22, 23, 24)로부터 각 픽셀의 픽셀 특성 값을 획득한 후, 이들을 조합하여 4차원의 픽셀 공간에서의 각 픽셀의 좌표를 특정 색공간에서의 좌표로 변환할 수 있다. 도 2의 합성 이미지(29)는 이와 같은 방식으로 각 픽셀을 정의하는 차원이 변경된 이미지를 나타낼 수 있다.
예를 들어, 이미지들(21, 22, 23, 24)이 그레이-스케일 이미지이면, 처리부(16)는 이미지들(21, 22, 23, 24)로부터 각 픽셀의 광도 값을 획득할 수 있고, 각 픽셀의 특정 색공간에서의 좌표 값을 이미지들(21, 22, 23, 24)로부터 획득된 광도 값을 이용하여 설정할 수 있다. 일 예로서, 처리부(16)는 이미지들(21, 22, 23, 24)의 각각의 동일한 위치에 있는 픽셀에 대해, 이미지(21) 및 이미지(22)에서 획득된 광도 값들의 제1 평균 값, 이미지(22) 및 이미지(23)에서 획득된 광도 값들의 제2 평균 값, 이미지(23) 및 이미지(24)에서 획득된 광도 값들의 제3 평균 값을 획득할 수 있다. 처리부(16)는, 획득된 평균 값들에 기초하여 픽셀을 정의하는 RGB 색공간에서의 좌표 값을 설정할 수 있고, 동일한 방식으로 나머지 픽셀들에 대해 RGB 색공간의 좌표 값들을 설정함으로써, 합성 이미지(29)를 생성할 수 있다.
처리부(16)가 복수의 이미지 중 선택된 2개 이상의 이미지들(21, 22, 23, 24)로부터 합성 이미지들(25, 26, 27, 28, 29)을 생성하면, 외관 검사 장치(10)는 생성된 합성 이미지들(25, 26, 27, 28, 29) 중 적어도 하나를 디스플레이(19)에 표시할 수 있다. 일 실시예에 따르면, 처리부(16)는 표시된 합성 이미지들(25, 26, 27, 28, 29) 중 하나를 외관 검사용 이미지로서 선택할 수 있다. 예들 들어, 처리부(16)는 합성 이미지들(25, 26, 27, 28, 29)에 포함된 검사 대상(17)의 각 영역 간의 색상 또는 명암의 차이에 기초하여 합성 이미지들(25, 26, 27, 28, 29)을 평가하여 하나의 합성 이미지를 선택할 수 있다.
또 다른 실시예에 다르면, 외관 검사 장치(10)는 사용자가 디스플레이(19)에 표시된 합성 이미지들(25, 26, 27, 28, 29) 중에서 선택한 하나의 합성 이미지를 외관 검사용 이미지로서 사용할 수 있다. 사용자는 디스플레이(19)에 설치된 터치 인터페이스 또는 키보드, 마우스와 같은 인터페이스 장치를 이용하여 디스플레이(19)에 표시된 합성 이미지들(25, 26, 27, 28, 29) 중에서 하나의 합성 이미지를 선택할 수 있다.
디스플레이(19)는 선택 가능한 합성 이미지들(25, 26, 27, 28, 29)만을 표시할 수 있고, 또는 선택에 고려될 수 있는 추가적인 정보를 합성 이미지들(25, 26, 27, 28, 29)과 함께 표시할 수 있다. 예를 들어, 디스플레이(19)는 합성 이미지들(25, 26, 27, 28, 29)에 포함된 검사 대상(17)의 각 영역 간의 색상 또는 명암의 차이에 관한 정보를 표시할 수 있다. 또한, 사용자가 디스플레이(19)에 표시된 합성 이미지들(25, 26, 27, 28, 29) 중 하나에 포함된 픽셀을 선택하면, 디스플레이(19)는 선택된 픽셀의 특정 색공간 내에서의 좌표 값을 표시할 수 있다.
검사용 이미지가 동일한 조명 조건하에서 획득된 이미지를 이용하여 생성되고, 물체의 가공 오차, 검사 대상이 놓이는 지그의 자세 오차, 조명 조건의 변동, 이미지 센서의 감도 변동 등과 같은 검사 환경 또는 검사 조건의 변화가 있을 경우, 외관 검사 장치(10)는 검사용 이미지에 포함된 검사 대상(17) 내에 일관된 검사 영역을 결정하기 어렵다. 예를 들어, 그레이-스케일 이미지와 같이 하나의 픽셀 특성을 갖는 이미지의 경우, 픽셀 특성이 이러한 변화에 크게 영향을 받을 수 있다.
그러나 합성 이미지들(25, 26, 27, 28, 29)은 서로 다른 조명 조건하에서 획득된 이미지들로부터 생성된 다차원의 색공간을 갖는 이미지이므로, 합성 이미지들(25, 26, 27, 28, 29)의 각 픽셀은 획득된 이미지들의 다양한 픽셀 특성이 조합되어 표현될 수 있다. 따라서, 검사 환경 또는 검사 조건에 조금 변화가 있더라도, 이와 같은 변화가 합성 이미지들(25, 26, 27, 28, 29)의 각 픽셀에 큰 영향을 주지 못한다. 따라서, 합성 이미지들(25, 26, 27, 28, 29) 중 하나가 외관 검사용 이미지로서 사용되면, 외관 검사 장치(10)는 검사 환경 또는 검사 조건에 조금 변화가 있더라도 일관된 검사 영역을 결정할 수 있다.
또한, 결상부(15)의 FOV(field-of-view)가 제한적이므로, 검사용 이미지는 검사 대상의 각 부분을 포함하는 이미지들을 연결하여 획득될 수 있다. 그레이-스케일 이미지와 같이 하나의 픽셀 특성을 갖는 이미지들을 연결하여 검사용 이미지가 생성되면, 이미지들의 연결 지점들이 검사용 이미지 상에 노이즈로서 포함될 수 있다. 그러나 합성 이미지들(25, 26, 27, 28, 29)이 정의되는 색공간의 종류에 따라 합성 이미지들(25, 26, 27, 28, 29)은 컬러 이미지가 될 수 있다. 따라서, 컬러 이미지인 합성 이미지들을 연결하여 검사용 이미지를 생성하면, 이미지들의 연결 지점들에 나타나는 노이즈가 검사용 이미지 상에 보이지 않거나 크게 감소될 수 있다.
도 3은 본 개시의 일 실시예에 따라, 검사용 이미지 내에서 검사 영역을 결정하는 방법을 설명하기 위한 도면이다. 상술한 과정을 통해 외관 검사를 위한 합성 이미지(35)가 선택되면, 처리부(16)는 합성 이미지(35)에서 검사 대상(17)의 검사 영역을 결정할 수 있다. 외관 검사 장치(10)는 결정된 검사 영역 내에 외관의 결함(352)이 있는지 여부를 결정할 수 있다. 이하에서는 처리부(16)가 합성 이미지(35)에서 검사 대상(17)의 검사 영역을 결정하는 과정이 보다 구체적으로 설명된다.
처리부(16)는 합성 이미지(35)의 색공간을 제1 색공간에서 제2 색공간으로 변환할 수 있다. 제1 색공간은 합성 이미지(35) 생성 시 정의되는 색공간이거나 또는 이를 다른 색공간으로 1회 이상 변환한 색공간일 수 있다. 또한, 제1 색공간은 합성 이미지(35)의 생성 시 정의되는 다차원의 픽셀 공간을 특정 색공간으로 변환한 색공간일 수 있다.
일 실시예에 따르면, 제1 색공간과 제2 색공간은 RGB 색공간, HSV 색공간, CMYK 색공간, YIQ 색공간, YPbPr 색공간, HSL 색공간 및 xvYCC 색공간 중 각각 서로 다르게 선택되는 색공간들일 수 있다. 다만, 이 외에도 알려진 다양한 색공간이 합성 이미지(35)의 제1 색공간 및 제2 색공간으로서 이용될 수 있다.
일 예로서, 처리부(16)는 합성 이미지(35)를 RGB 색공간에서 HSV 색공간으로 변환할 수 있다. 합성 이미지(35)의 어느 한 픽셀의 RGB 색공간에서의 좌표 값(R, G, B)은 다음과 같은 수학식 1을 이용하여 HSV 색공간에서의 좌표 값(H, S, V)으로 변환될 수 있다. 여기서 R, G, B는 각각 RGB 색공간에서의 적색의 값, 녹색의 값 및 청색의 값을 의미하고, H, S, V는 각각 HSV 색공간에서의 색상의 값, 채도의 값, 명도의 값을 의미한다.
[수학식 1]
Figure PCTKR2019013878-appb-I000001
수학식 1은 RGB 색공간에서 HSV 색공간으로 변환하기 위한 수학식의 일 예이다. RGB 색공간에서 HSV 색공간으로 변환하는 다양한 수학식들이 있으며, 필요에 따라 다른 수학식이 사용될 수도 있다.
처리부(16)가 합성 이미지(35)의 색공간을 제1 색공간에서 제2 색공간으로 변환하면, 변환된 합성 이미지(35)는 디스플레이(19)에 표시될 수 있다. 또한, 처리부(16)는 합성 이미지(35) 내의 픽셀들 중 적어도 하나의 픽셀(351)과 연관된 제2 색공간에서의 좌표를 획득할 수 있다.
일 실시예에 따르면, 적어도 하나의 픽셀(351)은 사용자의 입력에 의해 결정될 수 있다. 예를 들어, 사용자는 키보드, 마우스, 터치 스크린 등으로 구현된 사용자 인터페이스를 통해, 디스플레이(19)에 표시된 합성 이미지(35)에서 적어도 하나의 픽셀(351)을 선택할 수 있다. 사용자는 마우스나 키보드 등을 이용하여 표시된 합성 이미지(35) 상에 커서를 이동시킨 후, 적어도 하나의 픽셀(351)을 선택할 수 있다. 또한, 사용자는 터치 인터페이스를 포함하는 디스플레이(19) 상에 표시된 합성 이미지(35)를 터치함으로써, 적어도 하나의 픽셀(351)을 선택할 수 있다. 이와 같은 방식으로 적어도 하나의 픽셀(351)이 선택되면, 처리부(16)는 이와 연관된 제2 색공간에서의 좌표를 획득할 수 있다.
또 다른 실시예에 따르면, 적어도 하나의 픽셀(351)은 합성 이미지(35)의 제1 색공간 또는 제2 색공간에서의 성분들의 값에 기초하여 결정될 수 있다. 합성 이미지(35)는 제1 색공간 또는 제2 색공간에서 정의될 수 있는 픽셀들을 가지고 있다. 따라서, 처리부(16)는 픽셀들의 제1 색공간에서의 각 성분들의 값 또는 제2 색공간에서의 각 성분들의 값에 기초하여 합성 이미지(35) 내에서 적어도 하나의 픽셀(351)을 선택할 수 있다. 예를 들어, 처리부(16)는 RGB 색공간의 미리 정해진 적색의 값, 녹색의 값 및 청색의 값을 갖는 픽셀을, 적어도 하나의 픽셀(351)로서 선택할 수 있다. 또한, 처리부(16)는 HSV 색공간의 미리 정해진 색상의 값, 채도의 값 및 명도의 값을 갖는 픽셀을, 적어도 하나의 픽셀(351)로서 선택할 수 있다. 이와 같은 방식으로 적어도 하나의 픽셀(351)이 선택되면, 처리부(16)는 이와 연관된 제2 색공간에서의 좌표를 획득할 수 있다.
합성 이미지(35) 내의 픽셀들 중 적어도 하나의 픽셀(351)과 연관된 제2 색공간에서의 좌표가 획득되면, 처리부(16)는 획득된 적어도 하나의 좌표를 형성하는 제2 색공간의 성분들의 값에 기초하여 검사 영역을 결정할 수 있다. 일 실시예에 따르면, 제2 색공간의 성분들은 적어도 하나의 제1 성분 및 제2 성분을 포함할 수 있다. 예를 들어, 제2 색공간이 HSV 색공간이면, HSV 색공간의 색상, 채도 및 명도 중 하나가 제1 성분 또는 제2 성분이 될 수 있다. 처리부(16)는 획득된 적어도 하나의 좌표를 형성하는 HSV 색공간의 색상, 채도 및 명도 중 적어도 2개의 성분의 값에 기초하여 검사 영역을 결정할 수 있다.
일 실시예에 따르면, 처리부(16)는 획득된 적어도 하나의 좌표의 제1 성분의 값을 포함하는 제1 성분의 범위와 획득된 적어도 하나의 좌표의 제2 성분의 값을 포함하는 제2 성분의 범위로 정의되는, 제2 색공간에서의 영역을 검사 영역으로 결정할 수 있다. 예를 들어, 도 3을 참조하면, 처리부(16)는 획득된 좌표의 성분들의 값(321, 331, 341)을 포함하는 범위들(322, 332, 342) 중 적어도 2개의 범위로 정의되는 제2 색공간에서의 영역을 검사 영역으로 결정할 수 있다.
일 예로서, 획득된 좌표의 제1 성분의 값이 HSV 색공간에서의 색상 값이고, 제2 성분의 값이 HSV 색공간에서의 채도 값이면, 처리부(16)는 획득된 좌표의 색상 값을 포함하는 제1 범위와 획득된 좌표의 채도 값을 포함하는 제2 범위로 정의되는 HSV 색공간에서의 영역을 검사 영역으로 결정할 수 있다.
또 다른 실시예에 따르면, 처리부(16)는 획득된 좌표의 제2 색공간에서의 모든 성분의 값을 각각 포함하는 제2 색공간에서의 영역을 검사 영역으로 결정할 수 있다. 예를 들어, 획득된 좌표의 HSV 색공간에서의 색상 값, 채도 값 및 명도 값을 각각 포함하는 범위들로 정의되는 HSV 색공간에서의 영역을 검사 영역으로 결정할 수 있다.
일 실시예에 따르면, 제1 성분의 값을 포함하는 제1 성분의 범위와 제2 성분의 값을 포함하는 제2 성분의 범위는 각각 사용자의 입력에 의해 결정될 수 있다. 또한, 사용자는 획득된 좌표의 제2 색공간에서의 값을 포함하는 각 성분의 범위를 모두 결정할 수도 있다. 도 3에 도시된 바와 같이, 제2 색공간으로 변환된 합성 이미지(35)와 사용자 인터페이스(31)가 디스플레이(19)에 표시되면, 사용자는 사용자 인터페이스(31)를 통해 제1 성분의 범위와 제2 성분의 범위를 결정할 수 있다.
구체적으로, 제2 색공간으로 변환된 합성 이미지(35)와, 합성 이미지(35)의 픽셀들의 제2 색공간에서의 제1 성분의 분포(32), 제2 성분의 분포(33) 및 제3 성분의 분포(34)가 표시되면, 사용자는 획득된 좌표의 성분들의 값(321, 331, 341)을 각각 포함하는 제1 성분의 범위(322), 제2 성분의 범위(332) 및 제3 성분의 범위(342) 중 적어도 2개를 선택할 수 있다. 예들 들어, 사용자는 제3 성분의 값(341)이 제3 성분의 분포(34) 상에 표시되면, 슬라이드(343)를 조정하여 제3 성분의 값(341)을 포함하는 제3 성분의 범위(342)를 결정할 수 있다. 동일한 방식으로, 사용자는 제1 성분의 범위(322) 및 제2 성분의 범위(332)를 슬라이드(343)와 같은 인터페이스를 이용하여 결정할 수 있다.
사용자 인터페이스(31) 상에서 각 성분의 범위(322, 332, 342)를 결정하는 인터페이스의 형태는 슬라이드(343)와 같은 형태에 한정되지 않고, 범위를 지정할 수 있는 다양한 형태의 인터페이스가 사용될 수 있다. 슬라이드(343)는 사용자가 디스플레이(19)에 설치된 터치 인터페이스를 통해 조정하거나 마우스와 같은 인터페이스를 통해 조정할 수 있다. 또한, 사용자는 각 성분의 범위(322, 332, 342)를 키보드를 이용하여 직접 입력할 수도 있다.
또 다른 실시예에 따르면, 적어도 제1 성분의 값을 포함하는 제1 성분의 범위와 제2 성분의 값을 포함하는 제2 성분의 범위는 각각 제1 성분의 값과 제2 성분의 값에 기초하여 결정될 수 있다. 처리부(16)는 획득된 좌표의 성분들의 값(321, 331, 341)에 따라, 미리 정해진 범위를 제1 성분의 범위 또는 제2 성분의 범위로서 결정할 수 있다. 또한, 처리부(16)는 획득된 좌표의 성분들의 값(321, 331, 341)을 미리 정해진 계산식에 적용하여, 제1 성분의 범위 또는 제2 성분의 범위를 결정할 수 있다. 일 예로서, 제1 성분이 HSV 색공간에서의 색상이라면, 처리부(16)는 획득된 좌표의 색상 값의 a% 값(예컨대, 5%)을, 획득된 좌표의 색상 값에 더한 값과 뺀 값을 계산하고, 이 두 값 사이의 범위를 제1 성분의 범위로서 결정할 수 있다.
본 개시의 일 실시예에 따른 외관 검사 장치(10)는, 검사용 이미지로서 합성 이미지(35)를 사용하는 것만으로도 정확하고 일관된 검사 영역을 결정할 수 있다. 그런데 외관 검사 장치(10)는, 합성 이미지(35)의 색공간을 제1 색공간에서 제2 색공간으로 변환한 후에, 합성 이미지(35)의 적어도 하나의 픽셀의 변환된 제2 색공간의 좌표 값에 기초하여 검사 영역을 결정함으로써, 검사 환경 또는 검사 조건의 변화가 있더라도 더욱 일관된 검사 영역을 결정할 수 있다. 이는 합성 이미지(35)의 색공간을 제1 색공간에서 제2 색공간으로 변환할 때, 합성 이미지(35)의 픽셀들을 정의하는 제2 색공간의 각 성분의 값이 제1 색공간의 2개 이상의 성분들의 값의 조합으로 결정되기 때문이다.
예를 들어, 합성 이미지(35)의 색공간이 RGB 색공간에서 HSV 색공간으로 변환되면, 수학식 1에서 볼 수 있는 바와 같이, HSV 색공간의 색상, 채도 및 명도의 값은 각각 RGB 색공간의 적색, 녹색 및 청색의 값의 조합으로서 결정될 수 있다. 따라서, 검사 영역을 결정할 때, 색상, 채도 또는 명도의 값의 범위를 조정하는 것은, RGB 색공간의 적색, 녹색 및 청색의 값을 모두 조정하는 것과 동일하다.
또한, 색상, 채도 또는 명도의 값의 범위를 조정하여 검사 영역을 결정하는 것은, 적색, 녹색 및 청색의 값에 각각 대응하는 상이한 조명 조건에서 획득된 이미지들의 픽셀 정보를 모두 고려하여 검사 영역을 결정하는 것이 될 수 있다. 따라서, 검사 환경 또는 검사 조건이 조금 변경되더라도, 이로 인한 변화가 검사 영역의 결정에 크게 영향을 주기 어렵다. 따라서, 외관 검사 장치(10)는 합성 이미지(35)의 변환된 색공간의 정보에 기초하여 검사 영역을 결정함으로써, 더욱 일관된 검사 영역을 결정할 수 있다.
일반적으로, 검사 대상(17)의 외관에 관한 정보(예: CAD 정보 등)가 제공되지 않으므로, 외관 검사 장치(10)는 외관에 관한 정보를 검사 영역을 결정할 때 사용할 수 없다. 그러나 외관에 관한 정보가 제공된다면, 외관에 관한 정보를 통해 검사 대상(17)의 각 부분의 형상 및 치수와 같은 외관 정보가 획득될 수 있다. 따라서, 처리부(16)는 제2 색공간의 성분들의 값에 기초하여 결정된 검사 영역을 외관에 관한 정보를 통해 획득되는 검사 대상(17)의 외관 정보와 비교함으로써, 보다 정교하게 검사 영역을 결정할 수 있다. 예를 들어, 외관 검사 장치(10)는 검사 대상(17)의 특정 부분 내에 검사 영역이 포함되도록, 특정 부분의 형상과 검사 영역을 비교하면서, 사용자의 입력 또는 처리부(16)의 연산을 통해 획득된 좌표의 각 성분의 값을 포함하는 범위를 조정할 수 있다.
도 4는 본 개시의 일 실시예에 따라 결정된 검사 영역(353)이 합성 이미지(35) 위에 표시된 도면이다. 검사 영역(353)은 제1 색공간 또는 제2 색공간에서 정의되는 합성 이미지(35) 상에 표시될 수 있다. 검사용 이미지가 디스플레이(19)를 통해 표시되면, 사용자는 결정된 검사 영역(353)을 확인할 수 있다. 일 실시예에 따르면, 사용자는 사용자 인터페이스(31)의 각 성분의 범위(322, 332, 342)를 조정하여 결정된 검사 영역(353)을 수정할 수 있다.
외관 검사 장치(10)는 이 검사용 이미지를 이용하여 검사 영역(353) 내에 외관의 결함(352)이 존재하는지 여부를 결정할 수 있다. 일 실시예에 따르면, 처리부(16)는 검사 영역(353) 내에서 제2 색공간의 성분들의 값이 다른 영역을, 결함(352)이 있는 영역으로 결정할 수 있다. 예를 들어, 처리부(16)는 검사 영역(353) 내의 모든 또는 일부 픽셀들의 HSV 색공간에서의 색상, 채도 또는 명도의 값들을 서로 비교하고, 색상, 채도 또는 명도의 값이 차이가 많이 나는 픽셀들이 있는 영역을 결함(352)이 있는 영역으로 결정할 수 있다.
또 다른 실시예에 따르면, 처리부(16)는 제2 색공간의 성분들의 값의 변화량이 미리 결정된 기준치를 벗어나는 영역을, 결함(352)이 있는 영역으로 결정할 수 있다. 예를 들어, 처리부(16)는 검사 영역(353) 내 모든 또는 일부 픽셀들의 HSV 색공간에서의 색상, 채도 또는 명도의 값들 간의 변화량을 계산하고, 변화량이 미리 결정된 기준치를 벗어나는 픽셀들이 있는 영역을 결함(352)이 있는 영역으로 결정할 수 있다.
일 실시예에 따르면, 처리부(16)는 제2 색공간의 성분들 중 어느 한 성분만을 기준으로 결함(352)이 있는지 여부를 결정할 수 있지만, 두 가지 이상의 성분들을 기준으로 결함(352)이 있는지 여부를 결정할 수도 있다. 예를 들어, 처리부(16)는 HSV 색공간에서의 색상만을 기준으로 결함(352)이 있는지 여부를 결정할 수 있고, 색상 및 밝기를 기준으로 이들 중 어느 한 성분의 특성 또는 이들 모두의 특성이 다른 영역을 결함(352)이 있는 영역으로 결정할 수도 있다.
일 실시예에 따르면, 처리부(16)는 외관 검사를 진행하기 전에, 결정된 검사 영역(353)에 포함된 노이즈를 제거할 수 있다. 검사 영역(353)에 포함된 노이즈는 결함(352)이 아님에도 불구하고, 처리부(16)가 노이즈가 있는 영역을 결함이 있는 영역으로서 결정할 수 있다. 따라서, 처리부(16)는 외관 검사를 진행하기 전에, 결정된 검사 영역(353)에 포함된 노이즈를 제거하고, 노이즈를 제거한 영역을 검사 영역으로 결정함으로써, 외관 검사의 정확성을 높일 수 있다.
도 5는 본 개시의 일 실시예에 따른 검사 영역을 결정하는 방법을 나타내는 흐름도이다. 이하 각 단계에 대해서 도면을 참조하여 보다 구체적으로 외관 검사를 진행할 검사 영역을 결정하는 방법이 설명된다.
먼저, 단계 S51에서, 외관 검사 장치는 검사 대상으로 조사된 광이 반사된 반사광을 결상하여 복수의 이미지를 획득할 수 있다. 외관 검사 장치(10)는 검사 대상(17)으로 조사되는 광의 조사각, 파장, 편광 중 적어도 하나를 달리하여 복수의 이미지 각각을 획득할 수 있다. 예를 들어, 도 1을 참조하면, 외관 검사 장치(10)는 복수의 조명부(11, 12, 13, 14)에서 상이한 조사각으로 검사 대상(17)에 광을 각각 조사하여 결상부(15)에서 결상된 복수의 이미지를 획득할 수 있다. 이를 위해, 복수의 조명부(11, 12, 13, 14)는 각각 상이한 조사각을 가지거나 또는 복수의 조명부(11, 12, 13, 14) 중 일부가 상이한 조사각을 가질 수 있다.
또한, 획득된 복수의 이미지는 복수의 조명부(11, 12, 13, 14) 중 적어도 하나가 다른 조명부와 조사하는 광의 파장 및 편광 중 적어도 하나를 달리하여 획득된 이미지들일 수 있다. 이를 위해, 복수의 조명부(11, 12, 13, 14) 중 적어도 하나는 다른 조명부와 광원의 파장이 다른 광원을 포함하거나 광원으로부터 조사되는 광의 파장 및 편광 중 적어도 하나를 변경하 수 있는 필터를 포함할 수 있다.
일 실시예에 따르면, 외관 검사 장치(10)는 검사 대상(17)의 표면의 재질, 재료 또는 형상에 따라 검사 대상(17)으로 조사되는 조명 조건을 변경할 수 있다. 예를 들어, 검사 대상(17)의 금속 표면의 균일한 정도나 반사 특성에 따라, 검사 대상(17)으로 조사되는 광의 조사각, 파장 또는 편광 중 적어도 하나의 특성을 달리하여 복수의 이미지가 획득될 수 있다. 검사 대상(17)의 표면이 굴곡진 모서리 부분임을 고려하여 검사 대상(17)으로 조사되는 광의 조사각, 파장 또는 조사각 중 적어도 하나의 특성을 달리하여 복수의 이미지가 획득될 수 있다.
일 실시예에 따르면, 복수의 이미지의 픽셀들은 하나의 픽셀 특성으로 정의되는 이미지들일 수 있다. 예를 들어, 결상부(15)는 하나 이상의 흑백 카메라를 이용하여 구현될 수 있고, 결상부(15)에서 획득된 이미지는 광도로서 정의될 수 있는 그레이-스케일 이미지일 수 있다.
단계 S51에서 복수의 이미지가 획득되면, 단계 S52에서, 외관 검사 장치는 복수의 이미지 중 2개 이상의 이미지들로부터 합성 이미지를 생성할 수 있다. 예를 들어, 도 1 및 2를 참조하면, 외관 검사 장치(10)의 처리부(16)는 복수의 이미지 중 2개 이상의 이미지들(21, 22, 23, 24)을 선택하고, 이들로부터 합성 이미지들(25, 26, 27, 28, 29)과 같은 합성 이미지를 생성할 수 있다. 복수의 이미지 중 2개 이상의 이미지들 각각은 서로 다른 조명 조건하에서 획득된 이미지일 수 있다.
일 실시예에 따르면, 합성 이미지를 생성하는 단계는, 선택된 2개 이상의 이미지들(21, 22, 23, 24)로부터 각각 획득된 하나의 픽셀 특성의 값들을 조합하여 합성 이미지(25, 26, 27, 28, 29)를 생성하는 단계를 포함할 수 있다. 예를 들어, 이미지들(21, 22, 23, 24)은 그레이-스케일 이미지일 수 있고, 처리부(16)는 제1 내지 제3 이미지(21, 22, 23)로부터 획득된 하나의 픽셀 특성인 광도 값을 조합하여 합성 이미지(25)를 생성할 수 있다.
단계 S52에서 합성 이미지가 생성되면, 단계 S53에서, 외관 검사 장치는 합성 이미지의 색공간을 제1 색공간에서 제2 색공간으로 변환할 수 있다. 예를 들어, 도 1 및 3을 참조하면, 외관 검사 장치(10)의 처리부(16)는 합성 이미지(35)의 색공간을 제1 색공간에서 제2 색공간으로 변환할 수 있다. 제1 색공간은 합성 이미지(35) 생성 시 정의되는 색공간이거나 또는 이를 다른 색공간으로 1회 이상 변환한 색공간일 수 있다. 또한, 제1 색공간은 합성 이미지(35)의 생성 시 정의되는 다차원의 픽셀 공간을 특정 색공간으로 변환한 색공간일 수 있다.
일 실시예에 따르면, 제1 색공간과 제2 색공간은 RGB 색공간, HSV 색공간, CMYK 색공간, YIQ 색공간, YPbPr 색공간, HSL 색공간 및 xvYCC 색공간 중 각각 서로 다르게 선택되는 색공간들일 수 있다. 다만, 이 외에도 알려진 다양한 색공간이 합성 이미지(35)의 제1 색공간 및 제2 색공간으로서 이용될 수 있다.
단계 S53에서 합성 이미지의 색공간이 제1 색공간에서 제2 색공간으로 변환되면, 단계 S54에서, 외관 검사 장치는 변환된 합성 이미지 내의 픽셀들 중 적어도 하나의 픽셀과 연관된 제2 색공간에서의 적어도 하나의 좌표를 획득할 수 있다. 예를 들어, 도 1 및 3을 참조하면, 외관 검사 장치(10)의 처리부(16)는 변환된 합성 이미지(35) 내의 픽셀들 중 적어도 하나의 픽셀(351)과 연관된 제2 색공간에서의 좌표를 획득할 수 있다.
일 실시예에 따르면, 적어도 하나의 픽셀(351)은 사용자의 입력에 의해 결정될 수 있다. 예를 들어, 사용자는 키보드, 마우스, 터치 스크린 등으로 구현된 사용자 인터페이스를 통해, 디스플레이(19)에 표시된 합성 이미지(35)에서 적어도 하나의 픽셀(351)을 선택 또는 입력할 수 있다. 사용자가 적어도 하나의 픽셀(351)을 선택 또는 입력하면, 처리부(16)는 이와 연관된 제2 색공간에서의 적어도 하나의 좌표를 획득할 수 있다.
또 다른 실시예에 따르면, 적어도 하나의 픽셀(351)은 합성 이미지(35)의 제1 색공간 또는 제2 색공간에서의 성분들의 값에 기초하여 결정될 수 있다. 합성 이미지(35)는 제1 색공간 또는 제2 색공간에서 정의될 수 있는 픽셀들을 가지고 있다. 따라서, 처리부(16)는 픽셀들의 제1 색공간에서의 각 성분들의 값 또는 제2 색공간에서의 각 성분들의 값에 기초하여 합성 이미지(35) 내에서 적어도 하나의 픽셀(351)을 결정할 수 있다. 이와 같은 방식으로 적어도 하나의 픽셀(351)이 결정되면, 처리부(16)는 이와 연관된 제2 색공간에서의 적어도 하나의 좌표를 획득할 수 있다.
단계 S54에서 합성 이미지 내의 픽셀들 중 적어도 하나의 픽셀과 연관된 제2 색공간에서의 적어도 하나의 좌표가 획득되면, 단계 S55에서, 외관 검사 장치는 적어도 하나의 좌표를 형성하는 제2 색공간에서의 성분들의 값에 기초하여 검사 영역을 결정할 수 있다. 예를 들어, 도 1, 3 및 4를 참조하면, 외관 검사 장치(10)의 처리부(16)는 합성 이미지(35) 내의 적어도 하나의 좌표를 형성하는 제2 색공간에서의 성분들의 값에 기초하여 검사 영역(353)을 결정할 수 있다.
일 실시예에 따르면, 제2 색공간의 성분들은 적어도 제1 성분 및 제2 성분을 포함할 수 있다. 이때 검사 영역(353)을 결정하는 단계는, 획득된 적어도 하나의 좌표의 제1 성분의 값을 포함하는 제1 성분의 범위와 획득된 적어도 하나의 좌표의 제2 성분의 값을 포함하는 제2 성분의 범위로 정의되는, 제2 색공간에서의 영역을 검사 영역(353)으로 결정하는 단계를 포함할 수 있다. 예를 들어, 도 3을 참조하면, 처리부(16)는 획득된 좌표의 성분들의 값(321, 331, 341)을 포함하는 범위들(322, 332, 342) 중 적어도 2개의 범위로 정의되는 제2 색공간에서의 영역을 검사 영역(353)으로 결정할 수 있다.
일 실시예에 따르면, 제1 성분의 값을 포함하는 제1 성분의 범위와 제2 성분의 값을 포함하는 제2 성분의 범위는 각각 사용자의 입력에 의해 결정될 수 있다. 사용자는 획득된 좌표의 제2 색공간에서의 값을 포함하는 각 성분의 범위를 모두 결정할 수도 있다. 도 3에 도시된 바와 같이, 제2 색공간으로 변환된 합성 이미지(35)와 사용자 인터페이스(31)가 디스플레이(19)에 표시되면, 사용자는 사용자 인터페이스(31)를 통해 제1 성분의 범위와 제2 성분의 범위를 결정할 수 있다.
또 다른 실시예에 따르면, 제1 성분의 값을 포함하는 제1 성분의 범위와 제2 성분의 값을 포함하는 제2 성분의 범위는 각각 제1 성분의 값과 제2 성분의 값에 기초하여 결정될 수 있다. 예를 들어, 처리부(16)는 획득된 좌표의 성분들의 값(321, 331, 341)에 따라, 미리 정해진 범위를 제1 성분의 범위 또는 제2 성분의 범위로서 결정할 수 있다. 또한, 처리부(16)는 획득된 좌표의 성분들의 값(321, 331, 341)을 미리 정해진 계산식에 적용하여, 제1 성분의 범위 또는 제2 성분의 범위를 결정할 수 있다.
일 실시예에 따르면, 검사 영역(353)을 결정하는 단계는, 결정된 검사 영역(353)에 포함된 노이즈를 제거하는 단계를 포함할 수 있다. 결정된 검사 영역(353)에 포함된 노이즈는 결함(352)이 아님에도 불구하고, 처리부(16)가 노이즈가 있는 영역을 결함이 있는 영역으로서 결정할 수 있다. 따라서, 외관 검사를 진행하기 전에, 처리부(16)는 결정된 검사 영역(353)에 포함된 노이즈를 제거하고, 노이즈를 제거한 영역을 검사 영역으로 결정함으로써, 외관 검사의 정확성을 높일 수 있다.
이하에서는 상술한 외관 검사 장치 및 검사 영역을 결정하는 방법의 일 실시예로서, 상이한 조사각으로 검사 대상에 광을 조사하여 획득된 복수의 이미지를 이용하여 검사 영역을 결정하는 실시예가 도 1 내지 3을 참조하여 구체적으로 설명된다.
도 1을 참조하면, 외관 검사 장치(10)는 복수의 조명부(11, 12, 13, 14), 결상부(15), 처리부(16) 및 디스플레이(19)를 포함할 수 있다. 외관 검사 장치(10)는 상이한 조사각으로 검사 대상(17)으로 광을 조사하여 획득된 이미지들로부터 생성된 합성 이미지에 검사 대상(17)의 외관 검사 영역을 결정하고, 검사 영역 내에 결함이 있는지 여부를 판단할 수 있다.
복수의 조명부(11, 12, 13, 14)는 상이한 조사각으로 스테이지부(18) 위에 놓인 검사 대상(17)에 광을 조사할 수 있다. 도 1에 도시된 실시예에서는 복수의 조명부가 4개의 조명부로 구성되어 있지만, 2개 이상의 상이한 조사각으로 광을 조사하는 조명부들로 구성될 수 있다. 일 실시예에 따르면, 복수의 조명부(11, 12, 13, 14)는 각각 상이한 조사각을 가질 수 있다. 또 다른 실시예에 따르면, 복수의 조명부(11, 12, 13, 14) 중 일부가 상이한 조사각을 가질 수 있다. 또 다른 실시예에 따르면, 복수의 조명부(11, 12, 13, 14) 중 하나가 조사각을 조정할 수 있는 구성을 포함할 수 있다. 복수의 조명부(11, 12, 13, 14)의 조사각의 크기는 제한이 없으며, 0도에서 90도 사이에서 선택될 수 있다.
결상부(15)는 복수의 조명부(11, 12, 13, 14) 각각으로부터의 광이 검사 대상(17)으로부터 반사(난반사를 포함)된 반사광을 결상하여 복수의 이미지를 획득할 수 있다. 결상부(15)는 스테이지부(18)의 위쪽에 설치되며, 검사 대상(17)의 외관을 포함하는 이미지를 획득할 수 있다.
처리부(16)는 결상부(15)에서 획득된 복수의 이미지를 이용하여 검사용 이미지를 생성하고, 검사용 이미지 상에 외관 검사 영역을 결정하며, 검사 영역 내에 외관의 결함이 있는지 여부를 판단할 수 있다. 일 실시예에 따르면, 처리부(16)는 결상부(15)에서 획득된 복수의 이미지 중 2개 이상의 이미지들로부터 생성된 합성 이미지에서 검사 대상(17)의 검사 영역을 결정할 수 있다.
디스플레이(19)는 결상부(15)에서 획득된 복수의 이미지, 복수의 이미지 중 2개 이상의 이미지로부터 생성된 합성 이미지 및 검사 대상(17)의 검사 영역 중 적어도 하나를 표시할 수 있다. 일 실시예에 따르면, 외관 검사 장치(10)는 키보드, 마우스와 같은 외부 인터페이스 또는 디스플레이(19)에 설치된 터치 인터페이스와 같은 사용자 인터페이스를 통해 디스플레이(19)에 표시된 이미지를 조정하거나 선택할 수 있다.
일 실시예에 따르면, 복수의 조명부(11, 12, 13, 14) 각각은 한 개 또는 복수 개의 광원으로 구현될 수 있다. 각 광원은 LED 등을 이용하여 구현될 수 있으나, 이에 한정되지는 않는다. 일 실시예에 따르면, 복수의 조명부(11, 12, 13, 14) 각각은 검사 대상(17)을 향해 여러 방향에서 광을 조사할 수 있다. 예를 들어, 복수의 조명부(11, 12, 13, 14)에 포함된 광원들이 검사 대상(17)을 중심으로 하는 동심원 상에 위치함으로써, 복수의 조명부(11, 12, 13, 14) 각각은 검사 대상(17)을 향해 여러 방향에서 광을 조사할 수 있다.
일 실시예에 따르면, 결상부(15)는 하나의 픽셀 특성으로 정의되는 이미지를 획득할 수 있다. 따라서, 결상부(15)에서 획득된 이미지의 픽셀들은 하나의 픽셀 특성으로 정의될 수 있다. 예를 들어, 결상부(15)는 하나 이상의 흑백 카메라를 이용하여 구현될 수 있고, 결상부(15)에서 획득된 이미지는 광도로 정의될 수 있는 그레이-스케일 이미지일 수 있다.
다음은, 도 2를 참조하여, 외관 검사 장치(10)에서 검사용 이미지가 생성되는 과정이 설명된다. 처리부(16)는 결상부(15)에서 획득된 상이한 조사각으로 검사 대상(17)에 광을 조사하여 획득된 복수의 이미지 중 2개 이상의 이미지들(21, 22, 23, 24)로부터 적어도 하나의 합성 이미지(25, 26, 27, 28, 29)를 생성할 수 있다. 생성된 합성 이미지들(25, 26, 27, 28, 29) 중 적어도 하나는 검사 대상(17)의 외관을 검사하는데 사용될 수 있다.
일 실시예에 따르면, 복수의 이미지는 복수의 조명부(11, 12, 13, 14) 각각에서 상이한 조사각으로 검사 대상(17)에 광을 조사하여 획득된 이미지들일 수 있다. 예를 들어, 복수의 이미지는 제1 조명부(11)에서 17도의 조사각으로 광을 조사하고, 제2 조명부(12)에서 30도의 조사각으로 광을 조사하며, 제3 조명부(13)에서 60도의 조사각으로 광을 조사하고, 제4 조명부(14)에서 70도의 조사각으로 광을 조사하여 각각 획득된 이미지들일 수 있다. 이때, 각 조명부는 한 가지 컬러의 광만 검사 대상(17)에 조사하거나 두 가지 이상의 컬러의 광을 검사 대상(17)에 순차적으로 조사할 수 있다. 또한, 복수의 조명부는 모두 동일한 컬러의 광을 검사 대상(17)에 조사하거나, 복수의 조명부 중 적어도 일부는 서로 상이한 컬러의 광을 검사 대상(17)에 조사할 수도 있다.
일 실시예에 따르면, 복수의 조명부(11, 12, 13, 14) 각각은 적색, 녹색 및 청색의 광을 각각 검사 대상(17)으로 조사하거나 적색, 녹색 및 청색의 광 중에서 선택된 한 가지 또는 두 가지 광을 각각 검사 대상(17)으로 조사할 수 있다. 예를 들어, 복수의 조명부(11, 12, 13, 14) 각각은 적색, 녹색 및 청색의 광을 순차적으로 검사 대상(17)으로 조사할 수 있고 또는 적색, 녹색 및 청색의 광 중 녹색의 광만을 검사 대상(17)으로 조사할 수 있다.
또 다른 실시예에 따르면, 복수의 조명부(11, 12, 13, 14) 중 적어도 하나는 적색, 녹색 및 청색을 임의로 조합한 광을 검사 대상(17)에 조사할 수도 있다. 예를 들어, 복수의 조명부(11, 12, 13, 14) 중 적어도 하나는 백색의 광을 검사 대상(17)에 조사할 수 있다. 또 다른 실시예에 따르면, 복수의 조명부(11, 12, 13, 14) 중 적어도 하나는 적외선 또는 자외선을 검사 대상(17)에 조사할 수 있다. 결상부(15)는 이와 같은 복수의 조명부(11, 12, 13, 14) 각각으로부터의 광이 검사 대상(17)에 조사될 때, 검사 대상(17)의 이미지를 획득할 수 있다.
검사 대상(17)에 대한 복수의 이미지가 획득되면, 처리부(16)는 복수의 이미지 중 합성 이미지를 생성하기 위한 2개 이상의 이미지(21, 22, 23, 24)를 선택할 수 있다. 예를 들어, 제1 이미지(21)는 제1 조명부(11)의 광을 조사하여 획득된 이미지들 중에서 선택된 이미지이고, 제2 이미지(22)는 제2 조명부(12)의 광을 조사하여 획득된 이미지들 중 선택된 이미지이며, 제3 이미지(23)는 제3 조명부(13)의 광을 조사하여 획득된 이미지들 중 선택된 이미지이고, 제4 이미지(24)는 제4 조명부(14)의 광을 조사하여 획득된 이미지들 중 선택된 이미지일 수 있다. 복수의 이미지 중 2개 이상의 이미지(21, 22, 23, 24)는 복수의 조명부(11, 12, 13, 14)로부터 각각 상이한 컬러(또는 상이한 파장)의 광이 조사되어 획득된 이미지들일 수 있다. 또한, 복수의 이미지 중 2개 이상의 이미지(21, 22, 23, 24)는 복수의 조명부(11, 12, 13, 14)로부터 각각 동일한 컬러(또는 동일한 파장)의 광이 조사되어 획득된 이미지들일 수 있다.
일 실시예에 따르면, 처리부(16)는 선택된 제1 내지 제4 이미지(21, 22, 23, 24) 모두를 이용하여 합성 이미지를 생성할 수 있다. 또 다른 실시예에 따르면, 처리부(16)는 선택된 제1 내지 제4 이미지(21, 22, 23, 24) 중 2개 또는 3개의 이미지들을 이용하여 합성 이미지를 생성할 수 있다.
처리부(16)는 선택된 2개 이상의 이미지들(21, 22, 23, 24)로부터 각각 획득된 하나의 픽셀 특성의 값들을 조합하여 합성 이미지를 생성할 수 있다. 예를 들어, 이미지들(21, 22, 23, 24)은 그레이-스케일 이미지일 수 있고, 이때 이미지들(21, 22, 23, 24)로부터 획득된 하나의 픽셀 특성인 광도 값들을 조합하여 합성 이미지를 생성할 수 있다.
이하에서는 2개 이상의 이미지들(21, 22, 23, 24)이 그레이-스케일 이미지인 경우에, 이미지들(21, 22, 23, 24)로부터 합성 이미지를 생성하는 과정을 설명한다. 처리부(16)는 이미지들(21, 22, 23, 24)로부터 각 픽셀의 광도 값을 획득하고, 획득된 광도 값들을 조합하여 합성 이미지를 생성할 수 있다. 처리부(16)는 이미지들(21, 22, 23, 24) 모두로부터 각 픽셀의 광도 값을 획득하여 합성 이미지(25)를 생성할 수 있다. 또한, 처리부(16)는 이미지들(21, 22, 23, 24) 중 2개 또는 3개의 이미지로부터 각 픽셀의 광도 값을 획득하여 합성 이미지(25)를 생성할 수 있다.
일 예로서, 처리부(16)가 이미지들(21, 22, 23, 24) 중 제1 내지 제3 이미지(21, 22, 23)와 같이 3개의 이미지를 이용하여 합성 이미지를 생성할 수 있다. 이 경우, 처리부(16)는 제1 내지 제3 이미지들(21, 22, 23)로부터 각 픽셀의 광도 값을 획득할 수 있고, 각 픽셀의 특정 색공간에서의 좌표 값을 각 이미지로부터 획득된 광도 값을 이용하여 설정함으로써, 합성 이미지를 생성할 수 있다.
일 실시예에 따르면, RGB 색공간, HSV 색공간, CMYK 색공간, YIQ 색공간, YPbPr 색공간, HSL 색공간 및 xvYCC 색공간 등이 합성 이미지(25) 생성에 이용될 수 있다. 다만, 이 외에도 알려진 다양한 색공간이 합성 이미지(25)의 생성 시 이용될 수 있다.
예를 들어, RGB 색공간을 이용하여 합성 이미지(25)를 생성한다면, 처리부(16)는 제1 내지 제3 이미지들(21, 22, 23)의 동일한 위치에 있는 픽셀에서 획득된 광도 값을, 합성 이미지의 RGB 색공간을 이루는 좌표 값, 즉 적색, 녹색 및 청색 값을 대표하는 값으로 변환할 수 있다. 따라서, 처리부(16)는, 변환된 값들에 기초하여 픽셀을 정의하는 RGB 색공간의 좌표 값을 설정할 수 있고, 동일한 방식으로 나머지 픽셀들에 대해 RGB 색공간의 좌표 값들을 설정함으로써, 합성 이미지(25)를 생성할 수 있다. 동일한 방식으로, 처리부(16)는 제2 내지 제4 이미지(22, 23, 24)를 선택하여 합성 이미지(26)를 생성하고, 제1, 제3 및 제4 이미지(21, 23, 24)를 선택하여 합성 이미지(27)를 생성하고, 제1, 제2 및 제4 이미지(21, 22, 24)를 선택하여 합성 이미지(28)를 생성할 수 있다.
다른 예로서, 처리부(16)가 이미지들(21, 22, 23, 24) 모두를 이용하여 합성 이미지(29)를 생성할 수도 있다. 합성 이미지(29)가 이와 같이 4개의 이미지들을 이용하여 생성되면, 합성 이미지(29)는 각 픽셀이 4차원의 픽셀 공간에서의 좌표로 정의될 수 있다. 이용되는 이미지들의 개수가 늘어날수록, 합성 이미지의 각 픽셀을 정의하는 픽셀 공간의 차원은 증가한다.
합성 이미지가 4개 이상의 차원을 갖는 픽셀 공간에서 정의되면, 합성 이미지는 합성 이미지 생성에 사용된 이미지들을 이용하여, 알려진 특정 색공간(예컨대, RGB 색공간)에서 정의되는 합성 이미지로 변환될 수 있다. 예를 들어, 이미지들(21, 22, 23, 24)이 그레이-스케일 이미지들이고, 합성 이미지가 4개의 이미지들(21, 22, 23, 24)을 이용하여 생성되면, 처리부(16)는 이미지들(21, 22, 23, 24)로부터 획득된 광도 값을 이용하여 합성 이미지(29)를 특정 색공간에서 정의되는 합성 이미지(29)로 변환할 수 있다.
예를 들어, 처리부(16)는 이미지들(21, 22, 23, 24)의 각각의 동일한 위치에 있는 픽셀에 대해, 이미지(21) 및 이미지(22)에서 획득된 광도 값들의 제1 평균 값, 이미지(22) 및 이미지(23)에서 획득된 광도 값들의 제2 평균 값, 이미지(23) 및 이미지(24)에서 획득된 광도 값들의 제3 평균 값을 획득할 수 있다. 처리부(16)는, 획득된 평균 값들에 기초하여 픽셀을 정의하는 RGB 색공간에서의 좌표 값을 설정할 수 있고, 동일한 방식으로 나머지 픽셀들에 대해 RGB 색공간의 좌표 값들을 설정함으로써, 합성 이미지(29)를 생성할 수 있다.
일반적으로 검사용 이미지는 동일한 조명부에서 광을 조사하여 획득된 이미지들을 이용하여 생성된다. 그런데, 조명부의 조사각에 따라 검사용 이미지 내의 검사 대상(17) 중 잘 드러나는 영역이 달라질 수 있다. 조명부의 조사각이 작을수록, 결상부(15)에서 획득된 검사 대상(17)의 이미지는 검사 대상(17)의 평탄한 영역을 잘 드러날 수 있다. 반면, 조명부의 조사각이 클수록, 결상부(15)에서 획득된 검사 대상(17)의 이미지는 검사 대상(17)의 기울어진 영역을 잘 드러낼 수 있다. 예를 들어, 도 1을 참조하면, 제1 조명부(11)의 광을 조사하여 획득된 이미지보다 제4 조명부(14)의 광을 조사하여 획득된 이미지가, 검사 대상(17)이 놓인 스테이지부(18)의 평면 대비, 검사 대상(17)의 기울기가 큰 영역을 잘 드러낼 수 있다.
이와 같이, 동일한 조명부에서 광을 조사하여 생성된 검사용 이미지는, 굴곡지거나 각진 3차원 외관을 갖는 검사 대상(17)의 외관을 모두 잘 드러내기 어렵다. 따라서, 동일한 조명부에서 광을 조사하여 생성된 검사용 이미지를 이용할 경우, 검사용 이미지에서 검사 대상(17)의 굴곡지거나 각진 각 부분들의 구분이 쉽지 않으며, 외관 검사 장치(10)는 검사용 이미지에 포함된 검사 대상(17) 내에 검사 영역을 정확히 결정하기 어려울 수 있다.
이에 반해, 합성 이미지(25, 25, 27, 28, 29)는 상이한 조사각으로 검사 대상(17)에 광을 조사하여 획득된 이미지들로부터 생성되므로, 합성 이미지(25, 26, 27, 28, 29)는 각 조명부의 조사각에 따라 잘 드러나는 영역을 모두 포함할 수 있다. 따라서, 합성 이미지들(25, 26, 27, 28, 29) 중 하나를 외관 검사용 이미지로 결정하면, 검사용 이미지에서 검사 대상(17)의 굴곡지거나 각진 각 부분들의 구분이 용이할 수 있다. 따라서, 외관 검사 장치(10)는 합성 이미지들(25, 26, 27, 28, 29) 중 하나를 검사용 이미지로서 사용하면, 검사용 이미지에 포함된 검사 대상(17) 내에 검사 영역을 정확히 결정할 수 있다.
또한, 그레이-스케일 이미지와 같이 하나의 픽셀 특성을 갖는 이미지에서는 검사 대상(17)이 놓이는 위치, 조사각, 지그의 자세 오차 등 외부 요인이 조금만 변하더라도, 픽셀 특성이 이로부터 영향을 많이 받을 수 있다. 따라서, 그레이-스케일 이미지가 검사용 이미지로서 사용되면, 외관 검사 장치(10)는 검사용 이미지에 포함된 검사 대상(17) 내에 일관된 검사 영역을 결정하기 어렵다. 그러나, 합성 이미지들(25, 26, 27, 28, 29)은 하나의 픽셀 특성을 갖는 이미지들로부터 생성된 다차원의 색공간을 갖는 이미지이므로, 합성 이미지들(25, 26, 27, 28, 29)의 각 픽셀은 여러 좌표 값들이 조합되어 표현될 수 있다. 따라서, 외부 요인의 변화가 있더라도, 이와 같은 변화가 합성 이미지들(25, 26, 27, 28, 29)의 각 픽셀에 영향을 크게 주지 못한다. 따라서, 합성 이미지들(25, 26, 27, 28, 29) 중 하나가 검사용 이미지로서 사용되면, 외관 검사 장치(10)는 그레이-스케일 이미지를 사용하는 경우에 비해, 일관된 검사 영역을 결정할 수 있다.
또한, 결상부(15)의 FOV(field-of-view)가 제한적이므로, 검사용 이미지는 검사 대상의 각 부분을 포함하는 이미지들을 연결하여 획득된다. 그런데, 그레이-스케일 이미지와 같이 하나의 픽셀 특성을 갖는 이미지들을 연결하여 검사용 이미지가 생성되면, 이미지들의 연결 지점들이 검사용 이미지 상에 노이즈로서 포함될 수 있다. 그러나 합성 이미지들(25, 26, 27, 28, 29)이 정의되는 색공간의 종류에 따라 합성 이미지들(25, 26, 27, 28, 29)이 컬러 이미지가 될 수 있다. 따라서, 검사 대상(17)의 각 부분을 촬영한 컬러 합성 이미지들을 연결하여 검사용 이미지를 생성하면, 이미지들의 연결 지점들에 나타나는 노이즈가 검사용 이미지 상에 보이지 않거나 크게 감소될 수 있다.
다음은 도 3을 참조하여, 검사용 이미지 내에서 검사 영역을 결정하는 과정이 설명된다. 상술한 과정을 통해 합성 이미지(35)가 생성되면, 처리부(16)는 합성 이미지(35)에서 검사 대상(17)의 검사 영역을 결정할 수 있다. 외관 검사 장치(10)는 결정된 검사 영역 내에 외관의 결함(352)이 있는 지 여부를 결정할 수 있다.
먼저, 처리부(16)는 합성 이미지(35)의 색공간을 제1 색공간에서 제2 색공간으로 변환할 수 있다. 제1 색공간은 합성 이미지(35) 생성 시 이용한 색공간이거나 또는 이를 다른 색공간으로 1회 이상 변환한 색공간일 수 있다. 또한, 제1 색공간은 합성 이미지(35)의 생성 시 정의되는 다차원의 픽셀 공간을 특정 색공간으로 변환한 색공간일 수 있다.
일 실시예에 따르면, 제1 색공간과 제2 색공간은 RGB 색공간, HSV 색공간, CMYK 색공간, YIQ 색공간, YPbPr 색공간, HSL 색공간 및 xvYCC 색공간 중 각각 서로 다르게 선택되는 색공간들일 수 있다. 다만, 이 외에도 알려진 다양한 색공간이 합성 이미지(35)의 제1 색공간 및 제2 색공간으로서 이용될 수 있다.
일 예로서, 처리부(16)는 합성 이미지(35)를 RGB 색공간에서 HSV 색공간으로 변환할 수 있다. 합성 이미지(35)의 어느 한 픽셀의 RGB 색공간에서의 좌표 값(R, G, B)은 상술한 수학식 1을 이용하여 HSV 색공간에서의 좌표 값(H, S, V)으로 변환될 수 있다. 여기서 R, G, B는 각각 RGB 색공간에서의 적색의 값, 녹색의 값 및 청색의 값을 의미하고, H, S, V는 각각 HSV 색공간에서의 색상의 값, 채도의 값, 명도의 값을 의미한다.
상술한 수학식 1은 RGB 색공간에서 HSV 색공간으로 변환하기 위한 수학식의 일 예이다. RGB 색공간에서 HSV 색공간으로 변환하는 다양한 수학식들이 있으며, 필요에 따라 다른 수학식이 사용될 수도 있다.
처리부(16)가 합성 이미지(35)의 색공간을 제1 색공간에서 제2 색공간으로 변환하면, 처리부(16)는 합성 이미지(35) 내의 픽셀들 중 적어도 하나의 픽셀(351)과 연관된 제2 색공간에서의 좌표를 획득할 수 있다. 일 실시예에 따르면, 적어도 하나의 픽셀(351)은 사용자의 입력에 의해 결정될 수 있다. 예를 들어, 사용자는 키보드, 마우스, 터치 스크린 등으로 구현된 사용자 인터페이스를 통해, 디스플레이(19)에 표시된 합성 이미지(35)에서 적어도 하나의 픽셀(351)을 선택할 수 있다. 사용자는 마우스나 키보드 등을 이용하여 표시된 합성 이미지(35) 상에 커서를 이동시킨 후, 적어도 하나의 픽셀(351)을 선택할 수 있다. 또한, 사용자는 터치 인터페이스를 포함하는 디스플레이(19) 상에 표시된 합성 이미지(35)를 터치함으로써, 적어도 하나의 픽셀(351)을 선택할 수 있다. 이와 같은 방식으로 적어도 하나의 픽셀(351)이 선택되면, 처리부(16)는 이와 연관된 제2 색공간에서의 좌표를 획득할 수 있다.
또 다른 실시예에 따르면, 적어도 하나의 픽셀(351)은 합성 이미지(35)의 제1 색공간 또는 제2 색공간에서의 성분들의 값에 기초하여 결정될 수 있다. 합성 이미지(35)는 제1 색공간 또는 제2 색공간에서 정의될 수 있는 픽셀들을 가지고 있다. 따라서, 처리부(16)는 픽셀들의 제1 색공간에서의 각 성분들의 값 또는 제2 색공간에서의 각 성분들의 값에 기초하여 합성 이미지(35) 내에서 적어도 하나의 픽셀(351)을 선택할 수 있다. 예를 들어, 처리부(16)는 RGB 색공간의 미리 정해진 적색의 값, 녹색의 값 및 청색의 값을 갖는 픽셀을, 적어도 하나의 픽셀(351)로서 선택할 수 있다. 또한, 처리부(16)는 HSV 색공간의 미리 정해진 색상의 값, 채도의 값 및 명도의 값을 갖는 픽셀을, 적어도 하나의 픽셀(351)로서 선택할 수 있다. 이와 같은 방식으로 적어도 하나의 픽셀(351)이 선택되면, 처리부(16)는 이와 연관된 제2 색공간에서의 좌표를 획득할 수 있다.
합성 이미지(35) 내의 픽셀들 중 적어도 하나의 픽셀(351)과 연관된 제2 색공간에서의 좌표가 획득되면, 처리부(16)는 획득된 적어도 하나의 좌표를 형성하는 제2 색공간의 성분들의 값에 기초하여 검사 영역을 결정할 수 있다. 일 실시예에 따르면, 제2 색공간의 성분들은 적어도 제1 성분 및 제2 성분을 포함할 수 있다. 예를 들어, 제2 색공간이 HSV 색공간이면, HSV 색공간의 색상, 채도 및 명도 중 하나가 제1 성분 또는 제2 성분이 될 수 있다. 따라서, 처리부(16)는 획득된 적어도 하나의 좌표를 형성하는 HSV 색공간의 색상, 채도 및 명도 중 적어도 2개의 성분의 값에 기초하여 검사 영역을 결정할 수 있다.
일 실시예에 따르면, 처리부(16)는 획득된 적어도 하나의 좌표의 제1 성분의 값을 포함하는 제1 성분의 범위와 획득된 적어도 하나의 좌표의 제2 성분의 값을 포함하는 제2 성분의 범위로 정의되는, 제2 색공간에서의 영역을 검사 영역으로 결정할 수 있다. 예를 들어, 도 3을 참조하면, 처리부(16)는 획득된 좌표의 성분들의 값(321, 331, 341)을 포함하는 범위들(322, 332, 342) 중 적어도 2개의 범위로 정의되는 제2 색공간에서의 영역을 검사 영역으로 결정할 수 있다.
일 예로서, 획득된 좌표의 제1 성분의 값이 HSV 색공간에서의 색상 값이고, 제2 성분의 값이 HSV 색공간에서의 채도 값이면, 처리부(16)는 획득된 좌표의 색상 값을 포함하는 제1 범위와 획득된 좌표의 채도 값을 포함하는 제2 범위로 정의되는 HSV 색공간에서의 영역을 검사 영역으로 결정할 수 있다.
또 다른 실시예에 따르면, 처리부(16)는 획득된 좌표의 제2 색공간에서의 모든 성분의 값을 각각 포함하는 제2 색공간에서의 영역을 검사 영역으로 결정할 수 있다. 예를 들어, 획득된 좌표의 HSV 색공간에서의 색상 값, 채도 값 및 명도 값을 각각 포함하는 범위들로 정의되는 HSV 색공간에서의 영역을 검사 영역으로 결정할 수 있다.
일 실시예에 따르면, 제1 성분의 값을 포함하는 제1 성분의 범위와 제2 성분의 값을 포함하는 제2 성분의 범위는 각각 사용자의 입력에 따라 결정될 수 있다. 또한, 사용자는 획득된 좌표의 제2 색공간에서의 값을 포함하는 각 성분의 범위를 모두 결정할 수도 있다. 도 3에 도시된 바와 같이, 제2 색공간으로 변환된 합성 이미지(35)와 사용자 인터페이스(31)가 디스플레이(19)에 표시되면, 사용자는 사용자 인터페이스(31)를 통해 획득된 좌표의 성분들의 값(321, 331, 341)을 각각 포함하는 제1 성분의 범위(322), 제2 성분의 범위(332), 및 제3 성분의 범위(342) 중 적어도 2개를 결정할 수 있다.
또 다른 실시예에 따르면, 적어도 제1 성분의 값을 포함하는 제1 성분의 범위와 제2 성분의 값을 포함하는 제2 성분의 범위는 각각 제1 성분의 값과 제2 성분의 값에 기초하여 결정될 수 있다. 처리부(16)는 획득된 좌표의 성분들의 값(321, 331, 341)에 따라, 미리 정해진 범위를 제1 성분의 범위 또는 제2 성분의 범위로서 결정할 수 있다. 또한, 처리부(16)는 획득된 좌표의 성분들의 값(321, 331, 341)을 미리 정해진 계산식에 적용하여, 제1 성분의 범위 또는 제2 성분의 범위를 결정할 수 있다. 일 예로서, 제1 성분이 HSV 색공간에서의 색상이라면, 처리부(16)는 획득된 좌표의 색상 값의 a% 값(예컨대, 5%)을, 획득된 좌표의 색상 값에 더한 값과 뺀 값을 계산하고, 이 두 값 사이의 범위를 제1 성분의 범위로서 결정할 수 있다.
본 개시의 일 실시예에 따른 외관 검사 장치(10)는, 검사용 이미지로서 합성 이미지(35)를 사용하는 것만으로도 정확하고 일관된 검사 영역을 결정할 수 있다. 그런데 외관 검사 장치(10)는, 합성 이미지(35)의 색공간을 제1 색공간에서 제2 색공간으로 변환한 후에, 합성 이미지(35)의 적어도 하나의 픽셀의 변환된 제2 색공간의 좌표 값에 기초하여 검사 영역을 결정함으로써, 검사 조건 또는 검사 환경의 변화가 있더라도 더욱 일관된 검사 영역을 결정할 수 있다. 이는 합성 이미지(35)의 색공간을 제1 색공간에서 제2 색공간으로 변환할 때, 합성 이미지(35)의 픽셀들을 정의하는 제2 색공간의 각 성분의 값이 제1 색공간의 2개 이상의 성분들의 값의 조합으로 결정되기 때문이다.
예를 들어, 합성 이미지(35)의 색공간이 RGB 색공간에서 HSV 색공간으로 변환되면, 수학식 1에서 볼 수 있는 바와 같이, HSV 색공간의 색상, 채도 및 명도의 값은 각각 RGB 색공간의 적색, 녹색 및 청색의 값의 조합으로서 결정될 수 있다. 따라서, 검사 영역을 결정할 때, 색상, 채도 또는 명도의 값의 범위를 조정하는 것은, RGB 색공간의 적색, 녹색 및 청색의 값을 모두 조정하는 것과 동일하다.
또한, 색상, 채도 또는 명도의 값의 범위를 조정하여 검사 영역을 결정하는 것은, 적색, 녹색 및 청색의 값에 각각 대응하는 상이한 조사각으로 광을 조사하여 획득된 이미지들의 픽셀 정보를 모두 고려하여 검사 영역을 결정하는 것이 될 수 있다. 따라서, 검사 환경 또는 검사 조건이 조금 변경되더라도, 이로 인한 변화가 검사 영역의 결정에 크게 영향을 주기 어렵다. 따라서, 외관 검사 장치(10)는 합성 이미지(35)의 변환된 색공간의 정보에 기초하여 검사 영역을 결정함으로써, 더욱 일관된 검사 영역을 결정할 수 있다.
도 6은 본 개시의 일 실시예에 따라, 상이한 조사각으로 검사 대상에 광을 조사하여 획득된 이미지들을 이용하여 생성된 합성 이미지에 기초하여 검사 영역을 결정하는 방법을 나타내는 흐름도이다. 이하 각 단계에 대해서 도면을 참조하여 보다 구체적으로 외관 검사를 진행할 검사 영역을 결정하는 방법이 설명된다.
먼저, 단계 S61에서, 외관 검사 장치는 상이한 조사각으로 검사 대상에 광을 각각 조사하여 획득된 복수의 이미지를 수신할 수 있다. 예를 들어, 도 1을 참조하면, 외관 검사 장치(10)는 복수의 조명부(11, 12, 13, 14)에서 상이한 조사각으로 검사 대상(17)에 광을 각각 조사하여 결상부(15)에서 획득된 복수의 이미지를 수신할 수 있다. 복수의 조명부(11, 12, 13, 14)는 각각 상이한 조사각을 가지거나 또는 복수의 조명부(11, 12, 13, 14) 중 일부가 상이한 조사각을 가질 수 있다.
일 실시예에 따르면, 복수의 이미지의 픽셀들은 하나의 픽셀 특성으로 정의되는 이미지들일 수 있다. 예를 들어, 결상부(15)는 하나 이상의 흑백 카메라를 이용하여 구현될 수 있고, 결상부(15)에서 획득된 이미지는 광도로서 정의될 수 있는 그레이-스케일 이미지일 수 있다.
단계 S61에서 복수의 이미지가 획득되면, 단계 S62에서, 외관 검사 장치는 복수의 이미지 중 2개 이상의 이미지들로부터 합성 이미지를 생성할 수 있다. 예를 들어, 도 1 및 도 2를 참조하면, 외관 검사 장치(10)의 처리부(16)는 복수의 이미지 중 2개 이상의 이미지들(21, 22, 23, 24)을 선택하고, 이들로부터 합성 이미지(25)를 생성할 수 있다.
일 실시예에 따르면, 복수의 이미지 중 2개 이상의 이미지들은 복수의 조명부(11, 12, 13, 14)로부터 각각 상이한 컬러의 광이 조사되어 획득된 이미지들일 수 있다. 또 다른 실시예에 따르면, 복수의 이미지 중 2개 이상의 이미지들은 복수의 조명부로부터 각각 동일한 컬러의 광이 조사되어 획득된 이미지들일 수 있다. 또 다른 실시예에 따르면, 복수의 이미지 중 2개 이상의 이미지들은 복수의 조명부로부터 가시광, 적외선, 자외선 중 어느 하나가 조사되어 획득된 이미지들일 수 있다.
일 실시예에 따르면, 합성 이미지를 생성하는 단계는, 선택된 2개 이상의 이미지들(21, 22, 23, 24)로부터 각각 획득된 하나의 픽셀 특성의 값들을 조합하여 합성 이미지들(25, 26, 27, 28, 29)을 생성하는 단계를 포함할 수 있다. 예를 들어, 이미지들(21, 22, 23, 24)은 그레이-스케일 이미지일 수 있고, 처리부(16)는 이미지들(21, 22, 23, 24)로부터 획득된 하나의 픽셀 특성인 광도 값들을 조합하여 합성 이미지들(25, 26, 27, 28, 29)을 생성할 수 있다.
단계 S62에서 합성 이미지가 생성되면, 단계 S63에서, 외관 검사 장치는 합성 이미지의 색공간을 제1 색공간에서 제2 색공간으로 변환할 수 있다. 예를 들어, 도 1 및 3을 참조하면, 외관 검사 장치(10)의 처리부(16)는 합성 이미지(35)의 색공간을 제1 색공간에서 제2 색공간으로 변환할 수 있다. 제1 색공간은 합성 이미지(35) 생성 시 이용한 색공간이거나 또는 이를 다른 색공간으로 1회 이상 변환한 색공간일 수 있다. 또한, 제1 색공간은 합성 이미지(35)의 생성 시 정의되는 다차원의 픽셀 공간을 특정 색공간으로 변환한 색공간일 수 있다.
일 실시예에 따르면, 제1 색공간과 제2 색공간은 RGB 색공간, HSV 색공간, CMYK 색공간, YIQ 색공간, YPbPr 색공간, HSL 색공간 및 xvYCC 색공간 중 각각 서로 다르게 선택되는 색공간들일 수 있다. 다만, 이 외에도 알려진 다양한 색공간이 합성 이미지(35)의 제1 색공간 및 제2 색공간으로서 이용될 수 있다.
단계 S63에서 합성의 이미지의 색공간이 제1 색공간에서 제2 색공간으로 변환되면, 단계 S64에서, 외관 검사 장치는 변환된 합성 이미지 내의 픽셀들 중 적어도 하나의 픽셀과 연관된 제2 색공간에서의 적어도 하나의 좌표를 획득할 수 있다. 예를 들어, 도 1 및 3을 참조하면, 외관 검사 장치(10)의 처리부(16)는 변환된 합성 이미지(35) 내의 픽셀들 중 적어도 하나의 픽셀(351)과 연관된 제2 색공간에서의 적어도 하나의 좌표를 획득할 수 있다.
일 실시예에 따르면, 적어도 하나의 픽셀(351)은 사용자의 입력에 따라 결정될 수 있다. 예를 들어, 사용자는 키보드, 마우스, 터치 스크린 등으로 구현된 사용자 인터페이스를 통해, 디스플레이(19)에 표시된 합성 이미지(35)에서 적어도 하나의 픽셀(351)을 선택 또는 입력할 수 있다. 사용자가 적어도 하나의 픽셀(351)을 선택 또는 입력하면, 처리부(16)는 이와 연관된 제2 색공간에서의 적어도 하나의 좌표를 획득할 수 있다.
또 다른 실시예에 따르면, 적어도 하나의 픽셀(351)은 합성 이미지(35)의 제1 색공간 또는 제2 색공간에서의 성분들의 값에 기초하여 결정될 수 있다. 합성 이미지(35)는 제1 색공간 또는 제2 색공간에서 정의된 픽셀들을 가지고 있다. 따라서, 처리부(16)는 픽셀들의 제1 색공간에서의 각 성분들의 값 또는 제2 색공간에서의 각 성분들의 값에 기초하여 합성 이미지(35) 내에서 적어도 하나의 픽셀(351)을 결정할 수 있다. 이와 같은 방식으로 적어도 하나의 픽셀(351)이 결정되면, 처리부(16)는 이와 연관된 제2 색공간에서의 적어도 하나의 좌표를 획득할 수 있다.
단계 S64에서 합성 이미지 내의 픽셀들 중 적어도 하나의 픽셀과 연관된 제2 색공간에서의 적어도 하나의 좌표가 획득되면, 단계 S65에서, 외관 검사 장치는 적어도 하나의 좌표를 형성하는 제2 색공간의 성분들의 값에 기초하여 검사 영역을 결정할 수 있다. 예를 들어, 도 1, 3 및 4를 참조하면, 외관 검사 장치(10)의 처리부(16)는 합성 이미지(35) 내의 적어도 하나의 좌표를 형성하는 제2 색공간의 성분들의 값에 기초하여 검사 영역(353)을 결정할 수 있다.
일 실시예에 따르면, 제2 색공간의 성분들은 적어도 제1 성분 및 제2 성분을 포함할 수 있다. 이때 검사 영역(353)을 결정하는 단계는, 획득된 적어도 하나의 좌표의 제1 성분의 값을 포함하는 제1 성분의 범위와 획득된 적어도 하나의 좌표의 제2 성분의 값을 포함하는 제2 성분의 범위로 정의되는, 제2 색공간에서의 영역을 검사 영역(353)으로 결정하는 단계를 포함할 수 있다. 예를 들어, 도 3을 참조하면, 처리부(16)는 획득된 좌표의 성분들의 값(321, 331, 341)을 포함하는 범위들(322, 332, 342) 중 적어도 2개의 범위로 정의되는 제2 색공간에서의 영역을 검사 영역(353)으로 결정할 수 있다.
일 실시예에 따르면, 제1 성분의 값을 포함하는 제1 성분의 범위와 제2 성분의 값을 포함하는 제2 성분의 범위는 각각 사용자의 입력에 따라 결정될 수 있다. 또한, 사용자는 획득된 좌표의 제2 색공간에서의 값을 포함하는 각 성분의 범위를 모두 결정할 수도 있다. 도 3에 도시된 바와 같이, 제2 색공간으로 변환된 합성 이미지(35)와 사용자 인터페이스(31)가 디스플레이(19)에 표시되면, 사용자는 사용자 인터페이스(31)를 통해 제1 성분의 범위와 제2 성분의 범위를 결정할 수 있다.
또 다른 실시예에 따르면, 제1 성분의 값을 포함하는 제1 성분의 범위와 제2 성분의 값을 포함하는 제2 성분의 범위는 각각 제1 성분의 값과 제2 성분의 값에 기초하여 결정될 수 있다. 예를 들어, 처리부(16)는 획득된 좌표의 성분들의 값(321, 331, 341)에 따라, 미리 정해진 범위를 제1 성분의 범위 또는 제2 성분의 범위로서 결정할 수 있다. 또한, 처리부(16)는 획득된 좌표의 성분들의 값(321, 331, 341)을 미리 정해진 계산식에 적용하여, 제1 성분의 범위 또는 제2 성분의 범위를 결정할 수 있다.
일 실시예에 따르면, 검사 영역(353)을 결정하는 단계는, 결정된 검사 영역(353)에 포함된 노이즈를 제거하는 단계를 포함할 수 있다. 결정된 검사 영역(353)에 포함된 노이즈는 결함(352)이 아님에도 불구하고, 처리부(16)가 노이즈가 있는 영역을 결함이 있는 영역으로서 결정할 수 있다. 따라서, 외관 검사를 진행하기 전에, 처리부(16)는 결정된 검사 영역(353)에 포함된 노이즈를 제거하고, 노이즈를 제거한 영역을 검사 영역으로 결정함으로써, 외관 검사의 정확성을 높일 수 있다.
도 7은 본 개시의 일 실시예에 따라 외관 검사 장치에서 검사 영역을 디스플레이에 표시하는 방법을 나타내는 흐름도이다. 이하 각 단계에 대해서 도면을 참조하여 보다 구체적으로 외관 검사를 위한 검사 영역을 디스플레이에 표시하는 방법이 설명된다.
먼저, 단계 S71에서 외관 검사 장치는 검사 대상으로 조사된 광이 반사된 반사광을 결상하여 복수의 이미지를 획득할 수 있다. 외관 검사 장치는 검사 대상으로 조사되는 광의 조사각, 파장, 편광 중 적어도 하나를 달리하여 복수의 이미지 각각을 획득할 수 있다. 예를 들어, 도 1을 참조하면, 외관 검사 장치(10)는 복수의 조명부(11, 12, 13, 14)에서 상이한 조사각으로 검사 대상(17)에 광을 각각 조사하여 복수의 이미지를 획득할 수 있다. 이를 위해, 복수의 조명부(11, 12, 13, 14)는 각각 상이한 조사각을 가지거나 또는 복수의 조명부(11, 12, 13, 14) 중 일부가 상이한 조사각을 가질 수 있다.
또한, 획득된 복수의 이미지는 복수의 조명부(11, 12, 13, 14) 중 적어도 하나가 다른 조명부와 조사하는 광의 파장 및 편광 중 적어도 하나를 달리하여 획득된 이미지들일 수 있다. 이를 위해, 복수의 조명부(11, 12, 13, 14) 중 적어도 하나는 다른 조명부와 광원의 파장이 다른 광원을 포함하거나 광원으로부터 조사되는 광의 파장 및 편광 중 적어도 하나를 변경할 수 있는 필터를 포함할 수 있다.
일 실시예에 따르면, 외관 검사 장치(10)는 검사 대상(17)의 표면의 재질, 재료 또는 형상에 따라 검사 대상(17)으로 조사되는 조명 조건을 변경할 수 있다. 예를 들어, 검사 대상(17)의 금속 표면의 균일한 정도나 반사 특성에 따라 검사 대상(17)으로 조사되는 광의 조사각, 파장 또는 편광 중 적어도 하나의 특성을 달리하여 복수의 이미지가 획득될 수 있다. 검사 대상(17)의 표면이 굴곡진 모서리 부분임을 고려하여 검사 대상(17)으로 조사되는 광의 조사각, 파장 또는 조사각 중 적어도 하나의 특성을 달리하여 복수의 이미지가 획득될 수 있다.
일 실시예에 따르면, 복수의 이미지의 픽셀들은 하나의 픽셀 특성으로 정의되는 이미지들일 수 있다. 예를 들어, 결상부(15)는 하나 이상의 흑백 카메라를 이용하여 구현될 수 있고, 결상부(15)에서 획득된 이미지는 광도로서 정의될 수 있는 그레이-스케일 이미지일 수 있다.
단계 S71에서 복수의 이미지가 획득되면, 단계 S72에서, 외관 검사 장치는 획득된 복수의 이미지 중에서 선택된 2개 이상의 이미지들로부터 생성되는 적어도 하나의 합성 이미지를 디스플레이에 표시할 수 있다. 예를 들어, 도 1 및 도 2를 참조하면, 복수의 이미지 중 2개 이상의 이미지들(21, 22, 23, 24)이 선택되고, 이들로부터 적어도 하나의 합성 이미지(25, 26, 27, 28, 29)가 생성되면, 외관 검사 장치(10)의 디스플레이(19)는 생성된 적어도 하나의 합성 이미지(25, 26, 27, 28, 29)를 표시할 수 있다.
일 실시예에 따르면, 복수의 이미지 중 2개 이상의 이미지들(21, 22, 23, 24) 각각은 서로 다른 조명 조건하에서 획득된 이미지일 수 있다. 예를 들어, 서로 다른 조명 조건은 검사 대상(17)으로 조사되는 광의 조사각, 파장, 편광 중 적어도 하나와 관련된 조건일 수 있다.
도 8은 본 개시의 일 실시예에 따라 합성 이미지를 디스플레이에 표시하는 방법을 나타내는 흐름도이다. 이하 각 단계에 대해서 도면을 참조하여 보다 구체적으로 합성 이미지를 디스플레이에 표시하는 방법이 설명된다.
먼저, 단계 S721에서, 외관 검사 장치는 복수의 이미지를 디스플레이에 표시할 수 있다. 예를 들어, 도 1 및 2를 참조하면, 외관 검사 장치(10)의 처리부(16)는 복수의 이미지를 디스플레이(19)에 표시할 수 있다. 일 실시예에 따르면, 외관 검사 장치(10)는 획득된 모든 복수의 이미지를 디스플레이(19)에 표시할 수 있다. 또 다른 실시예에 따르면, 외관 검사 장치(10)는 복수의 이미지 중 적어도 하나의 합성 이미지의 생성에 필요한 이미지들만을 디스플레이(10)에 표시할 수 있다.
단계 S721에서 복수의 이미지가 디스플레이에 표시되면, 단계 S722에서, 사용자는 복수의 이미지 중 2개 이상의 이미지를 선택할 수 있다. 예를 들어, 도 1 및 2를 참조하면, 사용자는 디스플레이(19)에 표시된 복수의 이미지 중 적어도 하나의 합성 이미지(25, 26, 27, 28, 29) 생성에 필요한 2개 이상의 이미지를 선택할 수 있다. 일 실시예에 따르면, 사용자는 디스플레이(19)에 포함된 터치 인터페이스, 키보드 또는 마우스를 이용하여 디스플레이(19)에 표시된 복수의 이미지 중 2개 이상의 이미지를 선택할 수 있다.
일 실시예에 따르면, 처리부(16)는 디스플레이(19)에 복수의 이미지와 함께 각 이미지가 획득된 조명 조건을 표시할 수 있다. 또 다른 실시예에 따르면, 처리부(16)는 복수의 이미지 중 합성 이미지 생성에 적합한 추천 이미지들을 디스플레이(19)에 표시할 수 있다. 이때 처리부(16)는 추천 이미지들에 의해 생성 가능한 합성 이미지를 디스플레이(19)에 미리 표시할 수 있다. 또 다른 실시예에 따르면, 처리부(16)는 복수의 이미지의 조합을 통해 생성 가능한 모든 합성 이미지들을 디스플레이(19)에 미리 표시할 수 있다.
일 실시예에 따르면, 사용자가 아닌 처리부(16)가 복수의 이미지 중 2개 이상의 이미지들(21, 22, 23, 24)을 선택할 수 있다. 처리부(16)는 검사 대상(17)의 표면의 재질, 재료 또는 형상을 고려하여 복수의 이미지 중 2개 이상의 이미지들(21, 22, 23, 24)을 선택할 수 있다.
단계 S722에서 복수의 이미지 중 2개 이상의 이미지가 선택되면, 단계 S723에서, 외관 검사 장치는 선택된 2개 이상의 이미지로부터 생성되는 적어도 하나의 합성 이미지를 디스플레이에 표시할 수 있다. 예를 들어, 도 1 및 도 2를 참조하면, 외관 검사 장치(10)의 처리부(16)는 선택된 2개 이상의 이미지(21, 22, 23, 24)로부터 생성되는 적어도 하나의 합성 이미지(25, 26, 27, 28, 29)를 디스플레이(19)에 표시할 수 있다.
일 실시예에 따르면, 처리부(16)는 선택된 2개 이상의 이미지(25, 26, 27, 28, 29)의 조합을 통해 생성 가능한 모든 합성 이미지들(25, 26, 27, 28, 29)을 디스플레이(19)에 표시할 수 있다. 또 다른 실시예에 따르면, 처리부(16)는 선택된 2개 이상의 이미지(26, 27, 28, 29)의 조합을 통해 생성 가능한 합성 이미지들(25, 26, 27, 28, 29) 중 외관 검사에 적합한 일부만을 디스플레이(19)에 표시할 수 있다.
일 실시예에 따르면, 디스플레이(19)는 선택 가능한 합성 이미지들(25, 26, 27, 28, 29)만을 표시할 수 있고, 또는 합성 이미지의 선택에 고려될 수 있는 추가적인 정보를 합성 이미지들(25, 26, 27, 28, 29)과 함께 표시할 수 있다. 예를 들어, 디스플레이(19)는 합성 이미지들(25, 26, 27, 28, 29)에 포함된 검사 대상(17)의 각 영역 간의 색상 또는 명암의 차이에 관한 정보를 표시할 수 있다.
상술한 방법을 통해 적어도 하나의 합성 이미지가 디스플레이에 표시되면, 단계 S73에서, 사용자는 표시된 적어도 하나의 합성 이미지 중 하나를 선택할 수 있다. 예를 들어, 도 1 및 2를 참조하면, 사용자는 디스플레이(19)에 표시된 적어도 하나의 합성 이미지(25, 26, 27, 28, 29) 중 하나를 선택할 수 있다. 사용자는 디스플레이(19)에 설치된 터치 인터페이스 또는 키보드, 마우스와 같은 인터페이스 장치를 이용하여 디스플레이(19)에 표시된 합성 이미지들(25, 26, 27, 28, 29) 중에서 하나의 합성 이미지를 선택할 수 있다.
일 실시예에 따르면, 처리부(16)가 표시된 합성 이미지들(25, 26, 27, 28, 29) 중 하나의 합성 이미지를 외관 검사용 이미지로서 선택할 수 있다. 예들 들어, 처리부(16)는 합성 이미지들(25, 26, 27, 28, 29)에 포함된 검사 대상(17)의 각 영역 간의 색상 또는 명암의 차이에 기초하여 합성 이미지들(25, 26, 27, 28, 29)을 평가하여 하나의 합성 이미지를 선택할 수 있다.
단계 S73에서 디스플레이에 표시된 적어도 하나의 합성 이미지 중 하나가 선택되면, 단계 S74에서, 외관 검사 장치는 선택된 합성 이미지의 색공간을 제1 색공간에서 제2 색공간으로 변환한 후, 변환된 합성 이미지를 디스플레이에 표시할 수 있다. 예를 들어, 도 1 및 3을 참조하면, 외관 검사 장치(10)의 처리부(16)는 선택된 합성 이미지의 색공간을 제1 색공간에서 제2 색공간으로 변환한 후, 변환된 합성 이미지(35)를 디스플레이(19)에 표시할 수 있다.
일 실시예에 따르면, 제1 색공간은 합성 이미지(35)의 생성 시 정의되는 색공간이거나 또는 이를 다른 색공간으로 1회 이상 변환한 색공간일 수 있다. 또한, 제1 색공간은 합성 이미지(35)의 생성 시 정의되는 다차원의 픽셀 공간을 특정 색공간으로 변환한 색공간일 수 있다.
일 실시예에 따르면, 제1 색공간과 제2 색공간은 RGB 색공간, HSV 색공간, CMYK 색공간, YIQ 색공간, YPbPr 색공간, HSL 색공간 및 xvYCC 색공간 중 각각 서로 다르게 선택되는 색공간들일 수 있다. 다만, 이 외에도 알려진 다양한 색공간이 합성 이미지(35)의 제1 색공간 및 제2 색공간으로서 이용될 수 있다.
단계 S74에서 제2 색공간으로 변환된 합성 이미지가 디스플레이에 표시되면, 단계 S75에서, 외관 검사 장치는 변환된 합성 이미지 내의 픽셀들 중 적어도 하나의 픽셀과 연관된 제2 색공간에서의 적어도 하나의 좌표를 획득할 수 있다. 예를 들어, 도 1 및 3을 참조하면, 외관 검사 장치(10)의 처리부(16)는 변환된 합성 이미지(35) 내의 픽셀들 중 적어도 하나의 픽셀(351)과 연관된 제2 색공간에서의 적어도 하나의 좌표를 획득할 수 있다.
일 실시예에 따르면, 적어도 하나의 픽셀(351)은 사용자의 입력에 의해 결정될 수 있다. 예를 들어, 사용자는 키보드, 마우스, 터치 스크린 등으로 구현된 사용자 인터페이스를 통해, 디스플레이(19)에 표시된 합성 이미지(35)에서 적어도 하나의 픽셀(351)을 선택 또는 입력할 수 있다. 사용자가 적어도 하나의 픽셀(351)을 선택 또는 입력하면, 처리부(16)는 이와 연관된 제2 색공간에서의 적어도 하나의 좌표를 획득할 수 있다.
또 다른 실시예에 따르면, 적어도 하나의 픽셀(351)은 합성 이미지(35)의 제1 색공간 또는 제2 색공간에서의 성분들의 값에 기초하여 결정될 수 있다. 합성 이미지(35)는 제1 색공간 또는 제2 색공간에서 정의될 수 있는 픽셀들을 가지고 있다. 따라서, 처리부(16)는 픽셀들의 제1 색공간에서의 각 성분들의 값 또는 제2 색공간에서의 각 성분들의 값에 기초하여 합성 이미지(35) 내에서 적어도 하나의 픽셀(351)을 결정할 수 있다. 이와 같은 방식으로 적어도 하나의 픽셀(351)이 결정되면, 처리부(16)는 이와 연관된 제2 색공간에서의 적어도 하나의 좌표를 획득할 수 있다.
단계 S75에서 합성 이미지 내의 픽셀들 중 적어도 하나의 픽셀과 연관된 제2 색공간에서의 적어도 하나의 좌표가 획득되면, 단계 S76에서, 외관 검사 장치는 적어도 하나의 좌표를 형성하는 제2 색공간에서의 성분들의 값에 기초하여 결정된 검사 영역을 변환된 합성 이미지 상에 표시할 수 있다. 예를 들어, 도 1, 3 및 4를 참조하면, 외관 검사 장치(10)의 처리부(16)는 적어도 하나의 좌표를 형성하는 제2 색공간에서의 성분들의 값(321, 331, 341)에 기초하여 결정된 검사 영역(353)을 변환된 합성 이미지(35) 상에 표시할 수 있다.
일 실시예에 따르면, 처리부(16)는 획득된 적어도 하나의 좌표의 제1 성분의 값을 포함하는 제1 성분의 범위와 획득된 적어도 하나의 좌표의 제2 성분의 값을 포함하는 제2 성분의 범위로 정의되는, 제2 색공간에서의 영역을 검사 영역으로 결정할 수 있다. 예를 들어, 도 3을 참조하면, 처리부(16)는 획득된 좌표의 성분들의 값(321, 331, 341)을 포함하는 범위들(322, 332, 342) 중 적어도 2개의 범위로 정의되는 제2 색공간에서의 영역을 검사 영역을 결정할 수 있다.
일 예로서, 획득된 좌표의 제1 성분의 값이 HSV 색공간에서의 색상 값이고, 제2 성분의 값이 HSV 색공간에서의 채도 값이면, 처리부(16)는 획득된 좌표의 색상 값을 포함하는 제1 범위와 획득된 좌표의 채도 값을 포함하는 제2 범위로 정의되는 HSV 색공간에서의 영역을 검사 영역으로 결정할 수 있다.
또 다른 실시예에 따르면, 처리부(16)는 획득된 좌표의 제2 색공간에서의 모든 성분의 값을 각각 포함하는 제2 색공간에서의 영역을 검사 영역으로 결정할 수 있다. 예를 들어, 획득된 좌표의 HSV 색공간에서의 색상 값, 채도 값 및 명도 값을 각각 포함하는 범위들로 정의되는 HSV 색공간에서의 영역을 검사 영역으로 결정할 수 있다.
도 9는 본 개시의 일 실시예에 따른 검사 영역을 색공간이 변환된 합성 이미지 상에 표시하는 방법을 나타내는 흐름도이다. 이하 각 단계에 대해서 도면을 참조하여 검사 영역을 색공간이 변환된 합성 이미지 상에 표시하는 표시하는 방법이 보다 구체적으로 설명된다.
먼저, 단계 S761에서, 외관 검사 장치는 변환된 합성 이미지 내에서의 제1 성분의 분포 및 제2 성분의 분포를 디스플레이에 표시할 수 있다. 예를 들어, 도 1 및 3을 참조하면, 외관 검사 장치(10)의 처리부(16)는 변환된 합성 이미지(35) 내에서의 제1 성분의 분포(32) 및 제2 성분의 분포(33)를 디스플레이(19)에 표시할 수 있다. 일 실시예에 따르면, 외관 검사 장치(10)의 처리부(16)는 제2 색공간에서 합성 이미지(35)를 정의하는 성분들 중 적어도 2개의 성분의 분포를 디스플레이(19)에 표시할 수 있다.
단계 S761에서 변환된 합성 이미지 내에서의 제1 성분의 분포 및 제2 성분의 분포가 디스플레이에 표시되면, 단계 S762에서, 사용자는 제1 성분의 분포 중 획득된 적어도 하나의 좌표의 제1 성분의 값을 포함하는 제1 성분의 범위를 선택할 수 있다. 이후 단계 S763에서, 사용자는 제2 성분의 분포 중 획득된 적어도 하나의 제2 성분의 값을 포함하는 제2 성분의 범위를 선택할 수 있다. 예를 들어, 도 3을 참조하면, 사용자는 제1 성분의 분포(32) 중 획득된 적어도 하나의 좌표의 제1 성분의 값(321)을 포함하는 제1 성분의 범위(322)를 선택할 수 있다. 또한, 사용자는 제2 성분의 분포(33) 중 획득된 적어도 하나의 좌표의 제2 성분의 값(331)을 포함하는 제2 성분의 범위(332)를 선택할 수 있다.
일 실시예에 따르면, 제2 색공간으로 변환된 합성 이미지(35)와 변환된 합성 이미지(35)의 픽셀들의 제2 색공간에서의 제1 성분의 분포(32), 제2 성분의 분포(33) 및 제3 성분의 분포(34)가 표시되면, 사용자는 획득된 좌표의 성분들의 값(321, 331, 341)을 각각 포함하는 제1 성분의 범위(322), 제2 성분의 범위(332) 및 제3 성분의 범위(342) 중 적어도 2개를 선택할 수 있다. 예들 들어, 사용자는 제3 성분의 값(341)이 제3 성분의 분포(34) 상에 표시되면, 슬라이드(343)를 조정하여 제3 성분의 값(341)을 포함하는 제3 성분의 범위(342)를 결정할 수 있다. 동일한 방식으로, 사용자는 제1 성분의 범위(332) 및 제2 성분의 범위(332)를 슬라이드(343)와 같은 인터페이스를 이용하여 결정할 수 있다.
사용자 인터페이스(31) 상에서 각 성분의 범위(322, 332, 342)를 결정하는 인터페이스의 형태는 슬라이드(343)와 같은 형태에 한정되지 않고, 범위를 지정할 수 있는 다양한 형태의 인터페이스가 사용될 수 있다. 슬라이드(343)는 사용자가 디스플레이(19)에 설치된 터치 인터페이스를 통해 조정하거나 마우스와 같은 인터페이스를 통해 조정할 수 있다. 또한, 사용자는 각 성분의 범위(322, 332, 342)를 키보드를 이용하여 직접 입력할 수도 있다.
또 다른 실시예에 따르면, 적어도 제1 성분의 범위(322)와 제2 성분의 범위(332)는 각각 제1 성분의 값(321)과 제2 성분의 값(331)에 기초하여 결정될 수 있다. 처리부(16)는 획득된 좌표의 성분들의 값(321, 331, 341)에 따라, 미리 정해진 범위를 제1 성분의 범위(322) 또는 제2 성분의 범위(332)로서 결정할 수 있다. 또한, 처리부(16)는 획득된 좌표의 성분들의 값(321, 331, 341)을 미리 정해진 계산식에 적용하여, 제1 성분의 범위(322) 또는 제2 성분의 범위(332)를 결정할 수 있다. 일 예로서, 제1 성분이 HSV 색공간에서의 색상이라면, 처리부(16)는 획득된 좌표의 색상 값의 a% 값(예컨대, 5%)을, 획득된 좌표의 색상 값에 더한 값과 뺀 값을 계산하고, 이 두 값 사이의 범위를 제1 성분의 범위(322)로서 결정할 수 있다.
단계 S762 및 S763에서 제1 및 제2 성분의 분포 중 획득된 적어도 하나의 좌표의 제1 및 제2 성분의 값을 포함하는 제1 및 제2 성분의 범위가 각각 선택되면, 단계 S764에서, 외관 검사 장치는 제1 성분의 범위 및 제2 성분의 범위로 정의되는 검사 영역을 변환된 합성 이미지 상에 표시할 수 있다. 예를 들어, 도 1 및 4를 참조하면, 외관 검사 장치(10)의 처리부(16)는 제1 성분의 범위(322) 및 제2 성분의 범위(332)로 정의되는 검사 영역(353)을 합성 이미지(35) 상에 표시할 수 있다. 일 실시예에 따르면, 사용자는 인터페이스(31)의 각 성분의 범위(322, 332, 342)를 조정하여 결정된 검사 영역(353)을 수정할 수 있다. 이와 같이 검사 영역(353)이 결정되어 표시되면, 외관 검사 장치(10)는 검사 영역(353) 내에 외관의 결함(352)이 존재하는지 여부를 결정할 수 있다.
상기 방법은 특정 실시예들을 통하여 설명되었지만, 상기 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 개시가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 명세서에서는 본 개시가 일부 실시예들과 관련하여 설명되었지만, 본 개시가 속하는 기술분야의 당업자가 이해할 수 있는 본 개시의 범위를 벗어나지 않는 범위에서 다양한 변형 및 변경이 이루어질 수 있다는 점을 알아야 할 것이다. 또한, 그러한 변형 및 변경은 본 명세서에 첨부된 청구의 범위 내에 속하는 것으로 생각되어야 한다.

Claims (18)

  1. 검사 대상의 3차원 외관을 검사하는 검사 장치로서,
    상이한 조사각으로 상기 검사 대상에 광을 조사하는 복수의 조명부;
    상기 복수의 조명부 각각으로부터의 상기 광이 상기 검사 대상으로부터 반사된 반사광을 결상하여 복수의 이미지를 획득하는 결상부; 및
    상기 복수의 이미지 중 2개 이상의 이미지들로부터 생성된 합성 이미지(composition image)에서 상기 검사 대상의 검사 영역을 결정하는 처리부
    를 포함하고,
    상기 처리부는,
    상기 합성 이미지의 색공간(color space)을 제1 색공간에서 제2 색공간으로 변환하고,
    상기 합성 이미지 내의 픽셀들 중 적어도 하나의 픽셀과 연관된 상기 제2 색공간에서의 적어도 하나의 좌표를 획득하고,
    상기 적어도 하나의 좌표를 형성하는 상기 제2 색공간의 성분들의 값에 기초하여 상기 검사 영역을 결정하는, 검사 장치.
  2. 제1항에 있어서,
    상기 제2 색공간에서의 성분들은 적어도 제1 성분 및 제2 성분을 포함하고,
    상기 처리부는 상기 획득된 적어도 하나의 좌표의 상기 제1 성분의 값을 포함하는 제1 성분의 범위와 상기 획득된 적어도 하나의 좌표의 상기 제2 성분의 값을 포함하는 제2 성분의 범위로 정의되는, 상기 제2 색공간에서의 영역을 상기 검사 영역으로서 결정하는, 검사 장치.
  3. 제2항에 있어서,
    상기 제1 성분의 범위와 상기 제2 성분의 범위는 각각 사용자의 입력에 따라 결정되는, 검사 장치.
  4. 제2항에 있어서,
    상기 제1 성분의 범위와 상기 제2 성분의 범위는 각각 상기 제1 성분의 값과 상기 제2 성분의 값에 기초하여 결정되는, 검사 장치.
  5. 제1항에 있어서,
    상기 복수의 이미지는 픽셀들이 하나의 픽셀 특성(pixel property)으로 정의되는 이미지들인, 검사 장치.
  6. 제1항에 있어서,
    상기 복수의 이미지 각각은 그레이-스케일 이미지(gray-scale image)인, 검사 장치.
  7. 제1항에 있어서,
    상기 적어도 하나의 픽셀은 사용자의 입력에 따라 결정되거나 상기 합성 이미지의 상기 제1 색공간 또는 상기 제2 색공간에서의 성분들의 값에 기초하여 결정되는, 검사 장치.
  8. 제1항에 있어서,
    상기 복수의 조명부는 각각 상이한 조사각을 갖는, 검사 장치.
  9. 제8항에 있어서,
    상기 복수의 이미지 중 2개 이상의 이미지들은 상기 복수의 조명부로부터 각각 상이한 컬러의 광이 조사되어 획득된 이미지들이거나 또는 상기 복수의 조명부로부터 각각 동일한 컬러의 광이 조사되어 획득된 이미지들인, 검사 장치.
  10. 제1항에 있어서,
    상기 처리부는 상기 2개 이상의 이미지들로부터 각각 획득된 하나의 픽셀 특성의 값들을 조합하여 상기 합성 이미지를 생성하는, 검사 장치.
  11. 제1항에 있어서,
    상기 제1 색공간과 상기 제2 색공간은 RGB 색공간, HSV 색공간, CMYK 색공간, YIQ 색공간, YPbPr 색공간, HSL 색공간 및 xvYCC 색공간 중 각각 서로 다르게 선택되는 색공간들인, 검사 장치.
  12. 제1항에 있어서,
    상기 3차원 외관은 굴곡진(curved) 또는 각진(edged) 외관인, 검사 장치.
  13. 검사 장치에서 수행되는 검사 대상의 3차원 외관을 검사하기 위한 검사 영역을 결정하는 방법으로서,
    상이한 조사각으로 상기 검사 대상에 광을 각각 조사하여 획득된 복수의 이미지를 수신하는 단계;
    상기 복수의 이미지 중 2개 이상의 이미지들로부터 합성 이미지를 생성하는 단계;
    상기 합성 이미지의 색공간을 제1 색공간에서 제2 색공간으로 변환하는 단계;
    상기 변환된 합성 이미지 내의 픽셀들 중 적어도 하나의 픽셀과 연관된 상기 제2 색공간에서의 적어도 하나의 좌표를 획득하는 단계; 및
    상기 적어도 하나의 좌표를 형성하는 상기 제2 색공간의 성분들의 값에 기초하여 상기 검사 영역을 결정하는 단계
    를 포함하는 검사 영역을 결정하는 방법.
  14. 제13항에 있어서,
    상기 제2 색공간에서의 성분들은 적어도 제1 성분 및 제2 성분을 포함하고,
    상기 검사 영역을 결정하는 단계는, 상기 획득된 적어도 하나의 좌표의 상기 제1 성분의 값을 포함하는 제1 성분의 범위와 상기 획득된 적어도 하나의 좌표의 상기 제2 성분의 값을 포함하는 제2 성분의 범위로 정의되는, 상기 제2 색공간에서의 영역을 상기 검사 영역으로서 결정하는 단계를 포함하는, 검사 영역을 결정하는 방법.
  15. 제13항에 있어서,
    상기 합성 이미지를 생성하는 단계는, 상기 2개 이상의 이미지들로부터 각각 획득된 하나의 픽셀 특성의 값들을 조합하여 상기 합성 이미지를 생성하는 단계를 포함하는, 검사 영역을 결정하는 방법.
  16. 제13항 내지 제15항 중 어느 한 항의 검사 영역을 결정하는 방법의 각 단계를 수행하는 명령어들을 포함하는 프로그램을 저장하는 컴퓨터 판독가능 저장매체.
  17. 검사 대상의 3차원 외관을 검사하는 검사 장치로서,
    상기 검사 대상으로 조사된 광이 반사된 반사광을 결상하여 복수의 이미지를 획득하는 결상부; 및
    상기 복수의 이미지 중 2개 이상의 이미지들로부터 생성된 합성 이미지에서 상기 검사 대상의 검사 영역을 결정하는 처리부
    를 포함하고,
    상기 복수의 이미지 중 2개 이상의 이미지들은 서로 다른 조명 조건 하에서 획득된 이미지들을 포함하고,
    상기 처리부는,
    상기 합성 이미지의 색공간을 제1 색공간에서 제2 색공간으로 변환하고,
    상기 합성 이미지 내의 픽셀들 중 적어도 하나의 픽셀과 연관된 상기 제2 색공간에서의 적어도 하나의 좌표를 획득하고,
    상기 적어도 하나의 좌표를 형성하는 상기 제2 색공간에서의 성분들의 값에 기초하여 상기 검사 영역을 결정하는, 검사 장치.
  18. 검사 장치에서 검사 대상의 3차원 외관을 검사하기 위한 검사 영역을 디스플레이에 표시하는 방법으로서,
    상기 검사 대상으로 조사된 광이 반사된 반사광을 결상하여 복수의 이미지를 획득하는 단계;
    상기 복수의 이미지 중에서 선택된 2개 이상의 이미지들로부터 생성되는 적어도 하나의 합성 이미지를 상기 디스플레이에 표시하는 단계;
    상기 표시된 적어도 하나의 합성 이미지 중 하나를 선택하는 단계;
    상기 선택된 합성 이미지의 색공간을 제1 색공간에서 제2 색공간으로 변환한 후, 상기 변환된 합성 이미지를 상기 디스플레이에 표시하는 단계;
    상기 변환된 합성 이미지 내의 픽셀들 중 적어도 하나의 픽셀과 연관된 상기 제2 색공간에서의 적어도 하나의 좌표를 획득하는 단계; 및
    상기 적어도 하나의 좌표를 형성하는 상기 제2 색공간에서의 성분들의 값에 기초하여 결정된 상기 검사 영역을 상기 변환된 합성 이미지 상에 표시하는 단계
    를 포함하고,
    상기 복수의 이미지 중 2개 이상의 이미지들은 서로 다른 조명 조건 하에서 획득된 이미지들을 포함하는, 검사 영역을 표시하는 방법.
PCT/KR2019/013878 2018-10-22 2019-10-22 검사 영역 결정 방법 및 이를 이용하는 외관 검사 장치 WO2020085758A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180126115A KR102171773B1 (ko) 2018-10-22 2018-10-22 검사 영역 결정 방법 및 이를 이용하는 외관 검사 장치
KR10-2018-0126115 2018-10-22

Publications (1)

Publication Number Publication Date
WO2020085758A1 true WO2020085758A1 (ko) 2020-04-30

Family

ID=70331616

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/013878 WO2020085758A1 (ko) 2018-10-22 2019-10-22 검사 영역 결정 방법 및 이를 이용하는 외관 검사 장치

Country Status (2)

Country Link
KR (1) KR102171773B1 (ko)
WO (1) WO2020085758A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022059710A1 (ja) * 2020-09-18 2022-03-24 株式会社島津製作所 欠陥検査装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6256249B2 (ko) * 1979-09-28 1987-11-25 Liba Maschf
KR101017300B1 (ko) * 2008-10-07 2011-02-28 (주)펨트론 표면형상 측정장치
KR101215910B1 (ko) * 2010-04-14 2012-12-27 주식회사 고영테크놀러지 인쇄회로기판 상의 솔더 영역의 측정방법
US20140347446A1 (en) * 2013-05-22 2014-11-27 Delta Design, Inc. Method and apparatus for ic 3d lead inspection having color shadowing
KR101892099B1 (ko) * 2014-12-08 2018-08-27 주식회사 고영테크놀러지 기판 상에 형성된 부품의 터미널 검사방법 및 기판 검사장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6256249B2 (ja) * 2014-08-08 2018-01-10 オムロン株式会社 計測装置、基板検査装置、及びその制御方法
JP6451142B2 (ja) 2014-08-20 2019-01-16 オムロン株式会社 品質管理装置および品質管理装置の制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6256249B2 (ko) * 1979-09-28 1987-11-25 Liba Maschf
KR101017300B1 (ko) * 2008-10-07 2011-02-28 (주)펨트론 표면형상 측정장치
KR101215910B1 (ko) * 2010-04-14 2012-12-27 주식회사 고영테크놀러지 인쇄회로기판 상의 솔더 영역의 측정방법
US20140347446A1 (en) * 2013-05-22 2014-11-27 Delta Design, Inc. Method and apparatus for ic 3d lead inspection having color shadowing
KR101892099B1 (ko) * 2014-12-08 2018-08-27 주식회사 고영테크놀러지 기판 상에 형성된 부품의 터미널 검사방법 및 기판 검사장치

Also Published As

Publication number Publication date
KR20200045264A (ko) 2020-05-04
KR102171773B1 (ko) 2020-10-29

Similar Documents

Publication Publication Date Title
WO2019135475A1 (en) Electronic apparatus and control method thereof
WO2014157930A1 (en) Image processing method and apparatus for display devices
WO2018223418A1 (zh) 一种显示面板检测方法、装置及系统
WO2015141925A1 (en) Photographing apparatus, method of controlling the same, and computer-readable recording medium
WO2014168454A1 (en) Electronic device, display controlling apparatus and method thereof
WO2017131348A1 (en) Electronic apparatus and controlling method thereof
WO2021125903A1 (en) Wearable device including eye tracking apparatus and operation method of the wearable device
WO2020004837A1 (ko) 자동 편광 조절 장치 및 방법
WO2019000726A1 (zh) 一种显示面板检测方法及装置
WO2019009664A1 (en) APPARATUS FOR OPTIMIZING THE INSPECTION OF THE OUTSIDE OF A TARGET OBJECT AND ASSOCIATED METHOD
WO2020085758A1 (ko) 검사 영역 결정 방법 및 이를 이용하는 외관 검사 장치
WO2023282614A1 (ko) 텍스처 영상 생성 방법 및 장치
WO2011087249A2 (ko) 객체 인식시스템 및 이를 이용하는 객체 인식 방법
WO2020091347A1 (ko) 3차원 깊이 측정 장치 및 방법
WO2018097506A1 (en) Display apparatus and control method thereof
WO2018097677A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium thereof
WO2009119983A2 (ko) 중복 영상을 이용한 에프피디 기판 및 반도체 웨이퍼 검사시스템
WO2019088481A1 (ko) 전자 장치 및 그의 영상 보정 방법
WO2020231156A1 (en) Electronic device and method for acquiring biometric information using light of display
WO2020159223A1 (ko) 렌즈리스 초분광 영상 이미징 방법 및 그 장치
WO2023022537A1 (ko) Ai 기반 차량 디스크 불량 검출 시스템
WO2022045478A1 (en) Electronic device and method for identifying relevant device in augmented reality mode of electronic device
WO2024101858A1 (ko) 로봇 연동 도포 농도 비전 검사 시스템 및 그 방법
WO2022065915A1 (ko) 3차원 모델링 방법 및 이를 이용한 장치
WO2014092251A1 (ko) 계란 품질 계측 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19875920

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19875920

Country of ref document: EP

Kind code of ref document: A1