WO2024063471A1 - 제품의 외관 검사 장치 및 방법 - Google Patents

제품의 외관 검사 장치 및 방법 Download PDF

Info

Publication number
WO2024063471A1
WO2024063471A1 PCT/KR2023/014038 KR2023014038W WO2024063471A1 WO 2024063471 A1 WO2024063471 A1 WO 2024063471A1 KR 2023014038 W KR2023014038 W KR 2023014038W WO 2024063471 A1 WO2024063471 A1 WO 2024063471A1
Authority
WO
WIPO (PCT)
Prior art keywords
brightness
image
command
correction
appearance
Prior art date
Application number
PCT/KR2023/014038
Other languages
English (en)
French (fr)
Inventor
전효승
김태영
Original Assignee
주식회사 엘지에너지솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230099316A external-priority patent/KR20240039584A/ko
Application filed by 주식회사 엘지에너지솔루션 filed Critical 주식회사 엘지에너지솔루션
Publication of WO2024063471A1 publication Critical patent/WO2024063471A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Definitions

  • the present invention relates to an apparatus and method for inspecting the appearance of a product, and more specifically, to an apparatus and method for inspecting the appearance of a product that processes an inspection image by adjusting the brightness of the inspection area in the image.
  • Secondary batteries are batteries that can be reused by charging even after discharge, and can be used as an energy source for small devices such as portable phones, tablet PCs, and vacuum cleaners. They can also be used as ESS (Energy Storage) for personal mobility, automobiles, and smart grids. It is also used as a medium-to-large energy source such as a system). Secondary batteries are used in the form of an assembly such as a battery module in which multiple battery cells are connected in series or parallel, or a battery pack in which battery modules are connected in series or parallel, depending on the requirements of the system.
  • Batteries can be largely manufactured through processes including an electrode process, assembly process, formation process, and other processes, and defects are checked for manufactured battery cells or the results of each process using inspection equipment.
  • defect inspection methods a commonly used technique is the appearance inspection.
  • the exterior inspection can be done by acquiring images of the product using an optical system and detecting defects using a detection algorithm.
  • the brightness of the acquired image may differ from the brightness of the originally expected image due to changes in the surface color of the product or changes in lighting due to the end of the life of the lighting. In this case, problems arise with the detection power of the existing algorithm.
  • the purpose of the present invention to solve the above problems is to provide a method for inspecting the appearance of a product that processes an inspection image by adjusting the brightness of the inspection area in the image to a set value.
  • Another object of the present invention to solve the above problems is to provide an appearance inspection device that uses the above-mentioned product appearance inspection method.
  • a method for inspecting the appearance of a product includes the steps of acquiring and preprocessing an image of the appearance of a target object; Extracting an inspection target area from the preprocessed image and performing brightness correction on the extracted inspection target area; Extracting defective candidates from the brightness-corrected image; Performing image post-processing on the extracted defective candidates; and determining whether the target object is defective from the post-processed image.
  • Performing brightness correction on the extracted inspection target area may include calculating an average brightness of pixels in the extracted inspection area; calculating a correction gain value based on the calculated average brightness and target brightness; and correcting the brightness of each pixel according to the correction gain value.
  • Calculating a correction gain value based on the calculated average brightness and target brightness may include calculating a correction gain value by dividing the target brightness by the average brightness.
  • Correcting the brightness of each pixel according to the correction gain value may include correcting the brightness of each pixel by multiplying the original brightness of each pixel by the correction gain value.
  • calculating the average brightness of pixels in the extracted inspection area may include calculating the average brightness based on the number of pixels in the inspection area and the brightness of each pixel.
  • the target brightness can be set by the user.
  • performing brightness correction on the extracted inspection target area may include changing a color image to a black-and-white image before applying brightness correction to the captured color image.
  • the step of performing brightness correction on the extracted inspection target area may also include separating the color image into R channel, G channel, and B channel before applying brightness correction to the captured color image. there is.
  • calculating the average brightness, calculating the correction gain value, and correcting the brightness for each pixel may be performed for each of the R channel, G channel, and B channel. there is.
  • An apparatus for inspecting the appearance of a product for achieving the above other object includes at least one processor; It may include a memory that stores at least one command executed through the at least one processor, wherein the at least one command includes: a command for acquiring and pre-processing an image of the appearance of a target object; A command to extract an inspection target area from a preprocessed image and perform brightness correction on the extracted inspection target area; A command to extract defective candidates from a brightness-corrected image; A command to perform image post-processing on the extracted defective candidates; and a command to determine whether the target object is defective from the post-processed image.
  • the appearance inspection device may be linked to an imaging device that captures an image of the appearance of a target object, or may include such an imaging device (not shown).
  • the command for performing brightness correction on the extracted inspection target area includes: a command for calculating an average brightness of pixels in the extracted inspection area; a command to calculate a correction gain value based on the calculated average brightness and target brightness; and a command to correct the brightness of each pixel according to the correction gain value.
  • the command for calculating the correction gain value may include a command for calculating the correction gain value by dividing the target brightness by the average brightness.
  • the command to correct the brightness of each pixel according to the correction gain value may include a command to correct the brightness of each pixel by multiplying the original brightness of each pixel by the correction gain value.
  • the command for calculating the average brightness of pixels in the extracted inspection area may include a command for calculating the average brightness based on the number of pixels in the inspection area and the brightness of each pixel.
  • the target brightness can be set by the user.
  • the command to perform brightness correction on the extracted inspection target area may include a command to change the color image to a black-and-white image before applying brightness correction to the captured color image.
  • the command to perform brightness correction on the extracted inspection target area may include a command to separate the color image into R channel, G channel, and B channel before applying brightness correction to the captured color image. You can.
  • the command for calculating the average brightness, the command for calculating the correction gain value, and the command for correcting the brightness for each pixel are performed for each of the R channel, G channel, and B channel. You can.
  • 1 is an operation flowchart of a general appearance inspection method.
  • Figure 2 is an operation flowchart of an appearance inspection method according to an embodiment of the present invention.
  • Figure 3 is a diagram showing a detailed process of brightness correction according to an embodiment of the present invention.
  • Figure 4 is a diagram showing an image resulting from brightness correction according to an embodiment of the present invention compared with the original image.
  • Figure 5 is an example of a user interface screen provided for external inspection according to an embodiment of the present invention.
  • 6A to 6C are graphs comparing appearance inspection results using an image with brightness correction and an image without brightness correction according to an embodiment of the present invention.
  • Figure 7 shows images measured and processed with various illumination intensities and various correction target brightnesses according to an embodiment of the present invention.
  • Figure 8 is a graph showing the detection size deviation between the contamination size detected by performing brightness correction according to the present invention and the inspection result through a microscope.
  • Figure 9 is a perspective view of an imaging device according to an embodiment of the present invention.
  • Figure 10 is a cross-sectional view of an imaging device according to an embodiment of the present invention.
  • FIG. 11A is a diagram showing the appearance of an imaging device according to another embodiment of the present invention.
  • Figure 11b is a multi-channel lighting configuration diagram of an imaging device according to another embodiment of the present invention.
  • Figure 12 is a block diagram of an external inspection device according to an embodiment of the present invention.
  • first, second, A, B, etc. may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.
  • a first component may be named a second component, and similarly, the second component may also be named a first component without departing from the scope of the present invention.
  • the term “and/or” includes any of a plurality of related stated items or a combination of a plurality of related stated items.
  • 1 is an operation flowchart of a general appearance inspection method.
  • a general appearance inspection method for a part or product may largely include image pre-processing (S11), defect candidate extraction (S12), image post-processing (S13), and defect determination process.
  • Parts/products subject to inspection may be acquired as image data through an imaging device (photography device), that is, an optical system, and one or more objects related to a plurality of parts/products may be included in one image.
  • an imaging device photography device
  • one or more objects related to a plurality of parts/products may be included in one image.
  • the image pre-processing process (S11) is a process of emphasizing features of the image of the target object before inspection to facilitate inspection, and methods such as binarization and normalization may be used.
  • the image preprocessing process may also include overall amplification of the brightness of the image for the target object.
  • candidates suspected to be defective are extracted from a plurality of objects included in the detected image. Objects with potential defective characteristics appearing in the image can be selected as candidates.
  • feature values of defective candidates are extracted.
  • feature values may be values related to the brightness (intensity), shape (shape), texture, etc. of objects included in the image.
  • the extracted feature values are analyzed to determine whether a defect or defect has occurred in the product/part related to the object.
  • the brightness correction included in the image pre-processing process is performed by randomly amplifying the overall brightness of the image. According to this method, the brightness of the image may not be uniformly corrected to the desired brightness, and therefore the brightness correction value must be adjusted differently for each image.
  • Figure 2 is an operation flowchart of an appearance inspection method according to an embodiment of the present invention.
  • the method for inspecting the appearance of a product may largely include image pre-processing (S100), brightness correction (S200), defect candidate extraction (S300), image post-processing (S400), and defect determination (S500) processes. there is.
  • Images of parts/products subject to inspection can be acquired through an imaging device (imaging device), that is, an optical system, and one or more objects related to a plurality of parts/products may be included in one image.
  • imaging device imaging device
  • one or more objects related to a plurality of parts/products may be included in one image.
  • the image pre-processing process is a process of highlighting the features of the image of the target object before inspection to facilitate inspection, and converting the image acquired through an imaging device so that defects can be easily identified through the process of correcting or compositing. It's a process.
  • the preprocessing process may use methods such as image synthesis, binarization, normalization, blur processing, and stretching.
  • image synthesis can be particularly useful for detecting defects such as dents and scratches by expressing a sense of depth in the image using multi-channel images, which will be discussed later.
  • photometric stereo synthesis and phase shift synthesis can be used as image synthesis methods.
  • binarization is a process that resets the pixel values of objects and backgrounds in an image to only two values, 1 and 0. Through image correction through binarization, defects in the product's appearance can be converted to be clearly visible. Additionally, normalization is a process that makes pixel values concentrated in a specific part of an image evenly distributed over the entire area. Blur processing is also called smoothing and can be used to smooth out rough images or as a preprocessing process to remove the effects of noise present in the image. Additionally, stretching can be used as a preprocessing method to compensate for distorted images.
  • a brightness correction process (S200) can be applied to the preprocessed image, and the brightness correction process (S200) can be executed according to the user's needs. That is, referring to FIG. 2, when the brightness correction process is set to ON (example of S120), the brightness correction process (S200) may be performed. In the brightness correction process (S200), the average brightness of the inspection target area can be calculated and the inspection target area can be corrected to the specified brightness.
  • the inspection target region ROI: Region of Interest
  • the first method is to change a color image to a black and white image, that is, change the color to a gray image and set the target intensity to correct the brightness.
  • the second method is to correct brightness by setting a target brightness for each RGB channel in the color image. That is, the target brightness can be set separately for the R (Red) channel, G (Green) channel, and B (Blue) channel of the color image and the brightness can be corrected.
  • the procedures for calculating the average brightness, calculating the gain value, and calculating the corrected brightness value for each pixel may be performed separately for each channel.
  • candidates suspected to be defective are extracted from a plurality of objects included in the detected image. Objects with potential defective characteristics appearing in the image may be selected as candidates.
  • defective candidates are extracted using the difference in brightness within the brightness-corrected inspection target area (ROI).
  • ROI brightness-corrected inspection target area
  • a defective candidate group can be extracted by determining whether each pixel in the ROI expressed in gray scale is above a certain threshold or not and distinguishing whether it is a shaded area or not.
  • various techniques such as adaptive, dynamic, polar, and local can be used as examples of threshold techniques.
  • the image post-processing process (S400) is a process of extracting feature values of defective candidates, and quantitatively calculates representative features such as brightness and shape size of the extracted defective candidates.
  • the feature value of the defective candidate group may be a value related to the intensity, shape, texture, etc. of the object included in the image.
  • the feature values for defective candidates include the area, width, height, circularity, rectangularity, and struct factor of the shape. It may include etc.
  • the size of the defect candidate group can be determined by the outer diameter of the maximum circumscribed circle or by using the area of the defect.
  • foreign matter or contamination has the characteristic of appearing dark in brightness compared to the surrounding area, so this characteristic can be used to extract the relevant area and the size and area of the dark area can be used to ultimately determine whether it is defective.
  • scratches or chafing marks have a straight shape, they can be distinguished from foreign substances such as strings by using a straightness factor (struct factor) that quantifies the characteristics of the straight line.
  • the extracted feature values are analyzed and it is determined whether a defect or defect has occurred in the product/part related to the object according to a preset detection standard.
  • Figure 3 is a diagram showing a detailed process of brightness correction according to an embodiment of the present invention.
  • An inspection target area (ROI) is extracted from the captured image, and the average brightness of pixels within the extracted inspection target area is calculated (S210).
  • the average brightness of pixels within the inspection target area can be calculated according to Equation 1 below.
  • Iavg represents the average brightness of pixels in the inspection area
  • Ii represents the brightness of the ith pixel
  • nROI represents the number of pixels in the ROI.
  • a correction gain value is calculated by considering the target brightness (S220).
  • the correction gain value can be calculated according to Equation 2 below.
  • the target brightness Itarget may be predefined by the user.
  • ⁇ represents the brightness correction gain (Gain)
  • Itarget represents the correction target brightness (Target), which can be defined in advance by the user and changed and set through the user interface.
  • image brightness correction can be performed by multiplying the original brightness value of each pixel by the correction gain value to obtain the corrected brightness value for each pixel (S230).
  • the average brightness calculation procedure for each channel R (Red) channel, G (Green) channel, B (Blue) channel
  • the gain value calculation procedure and the corrected brightness value calculation procedure for each pixel may be performed separately.
  • Figure 4 is a diagram showing an image resulting from brightness correction according to an embodiment of the present invention compared with the original image.
  • the object of the external inspection according to the present invention may be a cylindrical, pouch-shaped, or square-shaped battery, especially, a cylindrical battery of various specifications.
  • a cylindrical battery may include an electrode assembly, a battery can, a cap having a plate shape, and a terminal.
  • the cylindrical battery may additionally include an insulating gasket, a current collector, an insulator, a sealing gasket, etc.
  • the images shown in FIG. 4 were obtained by photographing circular patterns of various sizes printed on the upper surface of a cylindrical battery specimen to create a contamination effect.
  • the three images on the left show images captured with different illumination brightnesses, i.e., strobe time 200 ⁇ S, strobetime 400 ⁇ S, and strobetime 600 ⁇ S, when brightness correction according to the present invention was not used (i.e., brightness correction mode OFF).
  • the three images on the right show images captured at different lighting brightnesses when brightness correction according to the present invention is used (i.e., brightness correction mode ON).
  • strobe time is a unit representing the time when the light is turned on, and as the value increases, the time when the light is turned on increases.
  • the three images on the left that do not use brightness compensation mode are proportional to the strobe time value and the brightness of the captured image. In other words, the three images on the left did not use the brightness correction mode, so the difference in brightness between the three images is clearly visible. On the other hand, in the case of the three images on the right where brightness correction was performed according to the present invention, it can be seen that the brightness difference is so small that it cannot be confirmed with the naked eye.
  • Figure 5 is an example of a user interface screen provided for external inspection according to an embodiment of the present invention.
  • the appearance inspection device can provide a user interface that can set inspection-related details.
  • Inspection-related details may include the object/object being inspected, whether or not brightness is corrected, and the intensity of brightness correction.
  • the external inspection shown in the user interface screen of FIG. 5 is a contamination inspection of the battery can, and the user can directly set items such as whether brightness is corrected and target intensity (gray correction target intensity).
  • 6A to 6C are graphs comparing appearance inspection results using an image with brightness correction and an image without brightness correction according to an embodiment of the present invention.
  • FIG. 6A shows the inspection results for the upper plane of the battery
  • FIG. 6B shows the inspection results for the lower plane (upper plane) of the battery
  • FIG. 6C shows the inspection results for the side portion of the battery. represents.
  • Figure 7 shows images measured and processed with various illumination intensities and various correction target brightnesses according to an embodiment of the present invention.
  • Figure 7 shows images of multiple contaminants of various sizes randomly placed on the upper surface of a cylindrical battery for the experiment under three illumination intensities (strobe time 200 ⁇ S, strobe time 400 ⁇ S, strobe time 600 ⁇ S), and different Shows the resulting image when applying correction target brightness (correction mode OFF, correction target 64, 128, 192).
  • the strobe time value is proportional to the brightness of the captured image. In cases where brightness correction according to the present invention is used, it can be confirmed that the image brightness after correction is adjusted within a certain range.
  • Figure 8 is a graph showing the detection size deviation between the contamination size detected by performing brightness correction according to the present invention and the inspection result through a microscope.
  • Figure 8 shows the difference between the size of contamination detected by performing brightness correction according to the present invention on images of a number of contaminations (pollutions 1 to 25) randomly set and placed for the experiment and the inspection results through a microscope. This is a graph showing the detection size deviation.
  • FIG. 8 shows a case where brightness correction using gray scale is used among the brightness correction techniques.
  • Three graphs are shown showing the deviation of the contamination size when the target brightness of brightness correction is set to 128, 64, and 192, respectively, compared to the contamination size measured through a microscope.
  • Figure 8 also shows the contamination size deviation (Gray Correction OFF) when brightness correction is not used as a comparative example. Comparing the graphs in FIG. 8, it can be seen that when brightness correction is used, that is, when gray correction is used (Gray Correction ON), the level of deviation in the size of detected contamination is reduced.
  • a level of 64 to 192 is an appropriate use range.
  • FIG. 9 is a perspective view of an imaging device according to an embodiment of the present invention
  • FIG. 10 is a cross-sectional view of an imaging device according to an embodiment of the present invention.
  • the imaging device 200 includes a housing 210, a first light 220, a first mirror 231, a second mirror 232, and a camera ( 240), a third mirror 250, a second light 260, a transfer means 270, and a reversal means 280.
  • the housing 210 is disposed on the side of the battery 10 and surrounds at least the first area A1 of the battery 10 .
  • the battery 10 may be placed in a lying position with its side facing upward, and the housing 210 may be placed on top of the battery 10 .
  • the shape of the housing 210 is not particularly limited, but the inner surface of the housing 210 may have a dome shape.
  • the first light 220 is disposed on the inner surface of the housing 210 and radiates light to the battery 10.
  • the first light 220 is shown as being protruding and disposed on the inner surface of the housing 210.
  • the first light 220 may be embedded in the inner surface of the housing 210 and arranged so that at least a portion is exposed. there is.
  • the first lighting 220 specifically radiates light to the side of the battery 10.
  • the first lighting 220 may irradiate light to the entire first area A1 of the battery 10 .
  • the inner surface of the housing 210 may have a dome shape, and the first light 220 disposed on the inner surface of the housing 210 is disposed in an overall round shape to emit light to the side of the battery 10. can be investigated.
  • the first mirror 231 and the second mirror 232 may be disposed on both sides of the battery 10 to reflect a portion of the first area A1 of the battery 10, respectively. Referring to FIG. 10, a first mirror 231 may be disposed on the left side of the battery 10, and a second mirror 232 may be disposed at an angle on the right side of the battery 10.
  • the camera 240 photographs at least a portion of the first area A1 of the battery 10, an image reflected on the first mirror 231, and an image reflected on the second mirror 232. That is, the camera 240 photographs at least a portion of the first area A1 of the battery 10. At this time, a portion of the first area A1 reflected in the first mirror 231 or the second mirror 232 has the first mirror 231 or the second mirror 232 in the first area A1. Otherwise, all areas that cannot be photographed with the camera 240 are included. Accordingly, due to the presence of the first mirror 231 and the second mirror 232, the image captured by the camera 240 may include an image of the entire first area A1 of the battery 10. Through this, the imaging device 200 according to the present invention acquires an external image of the entire area of the first area A1, which is more than half of the side of the battery 10, at once, without rotating or rolling the battery 10. A side inspection can be performed.
  • the camera 240 is used to directly photograph at least a portion of the first area A1 of the battery 10, the image reflected on the first mirror 231, and the image reflected on the second mirror 232.
  • the imaging device 200 may further include a third mirror 250.
  • the camera 240 captures at least a portion of area A1, the image reflected in the first mirror 231, and the image reflected in the second mirror 232 by photographing the image reflected in the third mirror 250.
  • Take pictures of the awards including:
  • the third mirror 250 is disposed at an angle on the side 200S of the battery 10, forming at least a portion of the first area A1 of the battery 10, the image reflected on the first mirror 231, and the second mirror 231.
  • the image reflected in the mirror 232 is reflected.
  • the third mirror 250 may be tilted and disposed to face between the Y direction (Y) and the Z direction (Z).
  • the third mirror 250 is configured such that at least a portion of the first area A1 of the battery 10, the image reflected on the first mirror 231 and the image reflected on the second mirror 232 are incident and reflected at an angle of about 45°. It may be arranged as much as possible. At this time, it goes without saying that the camera 240 can be placed facing the light reflected by the third mirror 250.
  • the imaging device 200 may include a second light 260 in addition to the first light 220.
  • the second lighting 260 is disposed on the third mirror 250 and irradiates light to the battery 10, and may be a coaxial lighting.
  • the transfer means 270 transfers the battery 10 in the axial direction (X) of the battery 10 so that the battery 10 passes through the housing 210.
  • the battery 10 is transported through the transfer means 270, reaches the inspection area within the housing 210, stops for a certain period of time, and is photographed with the camera 240, so that a side inspection of the battery 10 can be performed. .
  • the battery 10 on which the test has been performed is transferred to the subsequent process through the transfer means 270.
  • the inversion means 280 overturns the battery 10 photographed by the camera 240. That is, the inversion means 280 rearranges the battery 10 in a 180° rotated state. If explained based on the drawings, the inversion means 280 can turn the battery 10 upside down in the Z direction (Z). Accordingly, the side inspection may be performed on the opposite side of the battery 10 on which the side inspection has not been performed using the same device as the above-described imaging device 200. Since the first area A1 to be inspected is more than half of the side 200S of the battery 10, some of the inspection areas may overlap during the first and second side inspections.
  • the side inspection of the opposite side of the battery 10 on which the side inspection has not been performed may be performed using a separate imaging device 200 to ensure a smooth flow of the process. That is, the imaging device 200 may include a pair of imaging devices 200 for inspecting both sides of the battery 10, respectively. However, in order to reduce costs, a side inspection may be performed on both sides of the battery 10 using a single imaging device 200.
  • the image when inspecting the side appearance of a cylindrical battery, the image must be acquired by rotating or rolling the battery 360°.
  • noise in the image occurs, which reduces the quality of the image and the detection power of the inspection device.
  • the imaging device 200 includes a first mirror 231 and a second mirror 232, so that it is positioned in the first area A1, which is more than half of the side 200S of the battery 10.
  • the entire video can be obtained through one shot. That is, it is possible to inspect the entire surface of the side of the battery 10 by performing two inspections on one side and the other side of the battery 10. In addition, sufficient visibility of defects can be secured even in areas far from the center of the first area A1 to be inspected. Through this, it is possible to provide an imaging device that can inspect the side appearance of a cylindrical battery without rotating or rolling it. Additionally, it is possible to provide an imaging device that can prevent image noise and improve image quality and detection power of the inspection device.
  • the imaging device according to the embodiment described with reference to FIGS. 9 and 10 has a structure suitable for inspecting the side of a battery, and is presented as an example of the imaging device according to the present invention.
  • FIG. 11A is a diagram showing the appearance of an imaging device according to another embodiment of the present invention
  • FIG. 11B is a diagram showing a multi-channel lighting configuration of an imaging device according to another embodiment of the present invention.
  • the imaging device shown in FIG. 11A has a structure suitable for acquiring images of the upper and lower surfaces of the battery, such as the rivets and vents of the battery cell, and uses a multi-lighting device as shown in FIG. 11B. You can use it to acquire various images under various lighting conditions.
  • the multi-lighting device may include, for example, dome lighting, low angle lighting, coaxial lighting, ring lighting, and dark field lighting.
  • the imaging device according to the present invention may include a structure for capturing images of various parts of the battery cell, such as the top and bottom surfaces of the battery and the side surfaces of the battery.
  • Figure 12 is a block diagram of an external inspection device according to an embodiment of the present invention.
  • the appearance inspection device 1000 includes at least one processor 1010, a memory 1020 that stores at least one command executed through the processor, and a transmitter and receiver connected to a network to perform communication. It may include device 1030.
  • the at least one command includes: a command for acquiring and pre-processing an image of the appearance of the target object; A command to extract an inspection target area from a preprocessed image and perform brightness correction on the extracted inspection target area; A command to extract defective candidates from a brightness-corrected image; A command to perform image post-processing on the extracted defective candidates; and a command to determine whether the target object is defective from the post-processed image.
  • the appearance inspection device may be linked to or include an imaging device that captures an image of the appearance of a target object.
  • the imaging device according to the present invention may be provided in the same or similar form as the device shown in FIGS. 9, 10, 11a, and 11b.
  • the command for performing brightness correction on the extracted inspection target area includes: a command for calculating an average brightness of pixels in the extracted inspection area; a command to calculate a correction gain value based on the calculated average brightness and target brightness; and a command to correct the brightness of each pixel according to the correction gain value.
  • the command for calculating the correction gain value may include a command for calculating the correction gain value by dividing the target brightness by the average brightness.
  • the command to correct the brightness of each pixel according to the correction gain value may include a command to correct the brightness of each pixel by multiplying the original brightness of each pixel by the correction gain value.
  • the command for calculating the average brightness of pixels in the extracted inspection area may include a command for calculating the average brightness based on the number of pixels in the inspection area and the brightness of each pixel.
  • the target brightness can be set by the user.
  • the command to perform brightness correction on the extracted inspection target area may include a command to change the color image to a black-and-white image before applying brightness correction to the captured color image.
  • the command to perform brightness correction on the extracted inspection target area may include a command to separate the color image into R channel, G channel, and B channel before applying brightness correction to the captured color image. You can.
  • the command for calculating the average brightness, the command for calculating the correction gain value, and the command for correcting the brightness for each pixel are performed for each of the R channel, G channel, and B channel. You can.
  • the appearance inspection device 1000 may further include an input interface device 1040, an output interface device 1050, a storage device 1060, etc. Each component included in the appearance inspection device 1000 is connected by a bus 1070 and can communicate with each other.
  • the storage device 1060 can store at least one image produced in each step of the inspection method according to the present invention, such as a plurality of images captured by the imaging device, pre-processed images, and post-processed images.
  • the image stored in the storage device 1060 may be provided to at least one processor 1010 when necessary during execution of the inspection method according to the present invention.
  • the processor 1010 may mean a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to embodiments of the present invention are performed.
  • Memory or storage device
  • the memory may be comprised of at least one of a volatile storage medium and a non-volatile storage medium.
  • the memory may consist of at least one of read only memory (ROM) and random access memory (RAM).
  • Computer-readable recording media include all types of recording devices that store data that can be read by a computer system. Additionally, computer-readable recording media can be distributed across networked computer systems so that computer-readable programs or codes can be stored and executed in a distributed manner.
  • a block or device corresponds to a method step or feature of a method step.
  • aspects described in the context of a method may also be represented by corresponding blocks or items or features of a corresponding device.
  • Some or all of the method steps may be performed by (or using) a hardware device, such as a microprocessor, programmable computer, or electronic circuit, for example. In some embodiments, one or more of the most important method steps may be performed by such an apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

본 발명의 일 실시예에 따른 제품의 외관 검사 방법은 대상 객체의 외관을 촬상한 이미지를 획득하여 전처리하는 단계; 전처리된 이미지 내에서 검사대상 영역을 추출하고, 추출된 검사대상 영역에 대한 밝기 보정을 수행하는 단계; 밝기 보정된 이미지로부터 불량 후보군을 추출하는 단계; 추출된 불량 후보군에 대해 이미지 후처리를 수행하는 단계; 및 후처리된 이미지로부터 대상 객체의 불량 여부를 판단하는 단계를 포함할 수 있다.

Description

제품의 외관 검사 장치 및 방법
본 출원은 2022년 9월 19일 한국특허청에 제출된 한국특허출원 제10-2022-0117571호 및 2023년 7월 31일 한국특허청에 제출된 한국특허출원 제10-2023-0099316호의 출원일의 이익을 주장하며, 해당 한국 특허 출원의 문헌에 개시된 모든 내용은 본 명세서에 포함된다.
본 발명은 제품의 외관 검사 장치 및 방법에 관한 것으로, 보다 구체적으로는 이미지 내 검사영역의 밝기를 조정하여 검사 이미지를 처리하는 제품의 외관 검사 장치 및 방법에 관한 것이다.
이차 전지는 방전 이후에도 충전을 통해 재사용이 가능한 전지로, 휴대용 전화기, 태블릿 PC, 청소기 등 소형 디바이스의 에너지원으로 활용될 수 있으며, 개인 이동 수단(Personal Mobility), 자동차, 스마트 그리드용 ESS(Energy Storage System) 등의 중대형 에너지원으로서도 활용되고 있다. 이차 전지는 시스템의 요구 조건에 따라 다수의 배터리 셀들이 직병렬로 연결된 배터리 모듈, 또는 배터리 모듈들이 직병렬로 연결된 배터리 팩 등의 어셈블리 형태로 사용된다.
배터리는 크게 전극 공정, 조립 공정, 화성(formation) 공정, 기타 공정을 포함한 과정을 거쳐 제조될 수 있으며, 제조되는 배터리 셀 또는 각 공정의 결과물에 대해서는 검사 장비를 통해 불량 점검이 이루어진다. 불량 점검 방법 중 많이 사용되는 기법으로 외관 검사를 들 수 있는데, 외관검사는 광학계를 이용해 제품의 영상을 취득하고 검출 알고리즘을 이용해 불량을 검출하는 방식으로 이루어질 수 있다.
그런데, 특정 검출 알고리즘을 확정한 후, 제품의 표면 색상이 변화하거나 조명의 수명 도래로 인한 조명의 변화 등의 원인으로 취득한 영상의 밝기가 원래 예상된 영상의 밝기와 비교해 차이가 발생할 수 있으며, 이 경우 기존에 설정한 알고리즘의 검출력에 문제가 발생한다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 이미지 내 검사영역의 밝기를 설정된 값으로 조정하여 검사 이미지를 처리하는 제품의 외관 검사 방법을 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 상기 제품의 외관 검사 방법을 이용하는 외관 검사 장치를 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 제품의 외관 검사 방법은 대상 객체의 외관을 촬상한 이미지를 획득하여 전처리하는 단계; 전처리된 이미지 내에서 검사대상 영역을 추출하고, 추출된 검사대상 영역에 대한 밝기 보정을 수행하는 단계; 밝기 보정된 이미지로부터 불량 후보군을 추출하는 단계; 추출된 불량 후보군에 대해 이미지 후처리를 수행하는 단계; 및 후처리된 이미지로부터 대상 객체의 불량 여부를 판단하는 단계를 포함할 수 있다.
상기 추출된 검사대상 영역에 대한 밝기 보정을 수행하는 단계는, 상기 추출된 검사 영역 내 픽셀들의 평균 밝기를 산출하는 단계; 상기 산출된 평균 밝기 및 타겟밝기에 기초하여 보정 이득값을 산출하는 단계; 및 상기 보정 이득값에 따라 각 픽셀별 밝기를 보정하는 단계를 포함할 수 있다.
상기 산출된 평균 밝기 및 타겟밝기에 기초하여 보정 이득값을 산출하는 단계는, 상기 타겟밝기를 상기 평균 밝기로 나누어 보정 이득값을 계산하는 단계를 포함할 수 있다.
상기 보정 이득값에 따라 각 픽셀별 밝기를 보정하는 단계는, 각 픽셀의 원래 밝기에 상기 보정 이득값을 곱하여 각 픽셀별 밝기를 보정하는 단계를 포함할 수 있다.
또한, 상기 추출된 검사 영역 내 픽셀들의 평균 밝기를 산출하는 단계는, 상기 검사 영역 내 픽셀의 개수 및 각 픽셀의 밝기를 기초로 상기 평균 밝기를 계산하는 단계를 포함할 수 있다.
여기서, 상기 타겟 밝기는 사용자에 의해 설정 가능하다.
한편, 상기 추출된 검사대상 영역에 대한 밝기 보정을 수행하는 단계는, 촬상한 컬러 이미지에 대해 밝기 보정을 적용하기 전, 컬러 이미지를 흑백 이미지로 변경하는 단계를 포함할 수 있다.
상기 추출된 검사대상 영역에 대한 밝기 보정을 수행하는 단계는 또한, 촬상한 컬러 이미지에 대해 밝기 보정을 적용하기 전, 컬러 이미지를 R 채널, G 채널, 및 B 채널로 분리하는 단계를 포함할 수도 있다.
따라서, 이 경우, 상기 평균 밝기를 산출하는 단계, 상기 보정 이득값을 산출하는 단계, 및 상기 각 픽셀별 밝기를 보정하는 단계는, 상기 R 채널, G 채널, 및 B 채널 각각에 대해 수행될 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 제품의 외관 검사 장치는, 적어도 하나의 프로세서; 상기 적어도 하나의 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리;를 포함할 수 있으며, 상기 적어도 하나의 명령은, 대상 객체의 외관을 촬상한 이미지를 획득하여 전처리하도록 하는 명령; 전처리된 이미지 내에서 검사대상 영역을 추출하고, 추출된 검사대상 영역에 대한 밝기 보정을 수행하도록 하는 명령; 밝기 보정된 이미지로부터 불량 후보군을 추출하도록 하는 명령; 추출된 불량 후보군에 대해 이미지 후처리를 수행하도록 하는 명령; 및 후처리된 이미지로부터 대상 객체의 불량 여부를 판단하도록 하는 명령을 포함할 수 있다.
본 발명의 실시예에 따른 외관검사 장치는 대상 객체의 외관을 촬상하는 촬상 장치(imaging device)와 연동하거나 이러한 촬상 장치(미도시)를 포함할 수 있다.
상기 추출된 검사대상 영역에 대한 밝기 보정을 수행하도록 하는 명령은, 상기 추출된 검사 영역 내 픽셀들의 평균 밝기를 산출하도록 하는 명령; 상기 산출된 평균 밝기 및 타겟밝기에 기초하여 보정 이득값을 산출하도록 하는 명령; 및 상기 보정 이득값에 따라 각 픽셀별 밝기를 보정하도록 하는 명령을 포함할 수 있다.
상기 보정 이득값을 산출하도록 하는 명령은, 상기 타겟밝기를 상기 평균 밝기로 나누어 보정 이득값을 계산하도록 하는 명령을 포함할 수 있다.
상기 보정 이득값에 따라 각 픽셀별 밝기를 보정하도록 하는 명령은, 각 픽셀의 원래 밝기에 상기 보정 이득값을 곱하여 각 픽셀별 밝기를 보정하도록 하는 명령을 포함할 수 있다. 상기 추출된 검사 영역 내 픽셀들의 평균 밝기를 산출하도록 하는 명령은, 상기 검사 영역 내 픽셀의 개수 및 각 픽셀의 밝기를 기초로 상기 평균 밝기를 계산하도록 하는 명령을 포함할 수 있다.
이때, 상기 타겟 밝기는 사용자에 의해 설정 가능하다.
한편, 상기 추출된 검사대상 영역에 대한 밝기 보정을 수행하도록 하는 명령은, 촬상한 컬러 이미지에 대해 밝기 보정을 적용하기 전, 컬러 이미지를 흑백 이미지로 변경하도록 하는 명령을 포함할 수 있다.
상기 추출된 검사대상 영역에 대한 밝기 보정을 수행하도록 하는 명령은, 촬상한 컬러 이미지에 대해 밝기 보정을 적용하기 전, 컬러 이미지를 R 채널, G 채널, 및 B 채널로 분리하도록 하는 명령을 포함할 수 있다.
그에 따라, 상기 평균 밝기를 산출하도록 하는 명령, 상기 보정 이득값을 산출하도록 하는 명령, 및 상기 각 픽셀별 밝기를 보정하도록 하는 명령은, 상기 R 채널, G 채널, 및 B 채널 각각에 대해 수행될 수 있다.
상기와 같은 본 발명의 실시예에 따르면 검사대상 영역에 대한 평균 밝기를 계산하고 지정된 밝기로 보정한다는 점에서, 광학계 조명 상황이 변화되더라도 균일한 밝기의 이미지를 획득할 수 있다.
따라서, 제품의 불량 여부를 판단하기 위한 검사 정확도를 높일 수 있다.
도 1은 일반적인 외관 검사 방법의 동작 순서도이다.
도 2는 본 발명의 실시예에 따른 외관 검사 방법의 동작 순서도이다.
도 3은 본 발명의 실시예에 따른 밝기 보정의 상세 프로세스를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따라 밝기 보정을 수행한 결과 이미지를 원래 이미지와 비교하여 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 외관 검사를 위해 제공되는 사용자 인터페이스 화면의 일 예이다.
도 6a 내지 6c는 본 발명의 실시예에 따라 밝기 보정을 수행한 이미지와 밝기 보정을 수행하지 않은 이미지를 이용한 외관 검사 결과를 비교한 그래프이다.
도 7은 본 발명의 실시예에 따라 다양한 조명 세기 및 다양한 보정 타겟밝기으로 측정 및 처리된 이미지들을 나타낸다.
도 8은 본 발명에 따른 밝기 보정을 수행하여 검출된 오염 크기와 현미경을 통한 검사 결과 사이의 검출 크기 편차를 나타낸 그래프이다.
도 9는 본 발명의 일 실시예에 따른 촬상 장치의 사시도이다.
도 10은 본 발명의 일 실시예에 따른 촬상 장치의 단면도다.
도 11a는 본 발명의 다른 실시예에 따른 촬상 장치의 외관을 나타낸 도면이다.
도 11b는 본 발명의 다른 실시예에 따른 촬상 장치의 멀티 채널 조명 구성도이다.
도 12는 본 발명의 실시예에 따른 외관 검사 장치의 블록 구성도이다.
1000: 외관 검사 장치
1010: 프로세서
1020: 메모리
1040: 입력 인터페이스 장치
1050: 출력 인터페이스 장치
1060: 저장 장치
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기에서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일반적인 외관 검사 방법의 동작 순서도이다.
부품 또는 제품에 대한 일반적인 외관 검사 방법은 크게 이미지 전처리(S11), 불량 후보군 추출(S12), 이미지 후처리(S13), 결함 판정 프로세스를 포함할 수 있다.
검사의 대상이 되는 부품/제품은 이미징 장치(촬영 장치), 즉 광학계를 통해 이미지 데이터로 획득될 수 있고, 하나의 이미지 내에 복수의 부품/제품 관련 하나 이상의 객체가 포함될 수 있다.
이미지 전처리 프로세스(S11)에서는 검사 전 대상 객체에 대한 이미지를 검사에 용이하도록 특징을 강조하는 과정이며 이진화, 정규화, 등의 방법이 이용될 수 있다. 이미지 전처리 프로세스에서는 또한 대상 객체에 대한 이미지의 밝기를 전반적으로 증폭하는 과정을 포함할 수 있다.
불량 후보군 추출 프로세스(S12)에서는 검출된 이미지 내에 포함된 복수의 객체들 중 불량인 것으로 의심되는 후보군을 추출하는데, 이미지 상으로 나타나는 잠재적인 불량 특징을 갖는 객체를 후보로 선정할 수 있다.
이미지 후처리 프로세스(S13)에서는 불량 후보군의 특징값을 추출하는데, 이때의 특징값은이미지 내에 포함된 객체의 밝기(intensity), 형상(shape), 텍스쳐(texture) 등과 관련된 값일 수 있다.
결함 판정 프로세스(S14)에서는 추출된 특징값을 분석해 해당 객체 관련 제품/부품에 결함 또는 불량이 발생하였는지 판단한다.
이상 설명한 일반적인 외관 검사 방법에서 이미지 전처리 과정에 포함된 밝기 보정은 이미지의 전반적인 밝기를 임의로 증폭하여 수행된다. 이러한 방법에따르면, 이미지의 밝기가 원하는 밝기로 균일하게 보정되지 않을 수 있으며, 따라서 밝기 보정 값을 이미지별로 다르게 조절해 주어야 한다.
결과적으로, 조명의 수명 도래로 인한 밝기 변경시 또는 셀 원자재의 일부 색상에 편차가 발생하는 경우, 종래의 방법에 따르면 검사 결과가 달라지고 양호한 검사 결과를 얻지 못하게 된다는 문제가 있다.
도 2는 본 발명의 실시예에 따른 외관 검사 방법의 동작 순서도이다.
본 발명 실시예에 따른 제품의 외관 검사 방법은 크게 이미지 전처리(S100), 밝기보정(S200), 불량 후보군 추출(S300), 이미지 후처리(S400), 불량 여부 판정(S500) 프로세스를 포함할 수 있다.
검사의 대상이 되는 부품/제품에 대한 이미지는이미징 장치(촬상 장치), 즉 광학계를 통해 획득할 수 있으며, 하나의 이미지 내에 복수의 부품/제품 관련 하나 이상의 객체가 포함될 수 있다.
이미지 전처리 프로세스(S100)는 검사 전 대상 객체에 대한 이미지를 검사에 용이하도록 특징을 강조하는 과정이며, 촬상 장치를 통해 획득한 이미지를 보정 또는 합성하는 과정을 통해 불량이 잘 식별될 수 있도록 변환하는 과정이다. 전처리 프로세스는, 이미지 합성, 이진화, 정규화, 블러(blur)처리, 스트레칭(stretching) 등의 방법이 이용될 수 있다.
여기서, 이미지 합성은 이후 살펴볼 멀티 채널 이미지를 이용해 이미지에 깊이감을 표현함으로써, 특히 덴트(Dent), 스크래치(scratch) 등의 불량 검출에 유용하게 활용될 수 있다. 이미지 합성 방법으로는 특히, Photometric Stereo 합성, Phase shift 합성 등이 활용될 수 있다.
또한, 이진화(binarization)는 이미지 내의 물체와 배경을 1과 0 두 값만으로 픽셀값을 재설정하는 프로세스로, 이진화를 통한 영상 보정을 통해 제품 외관 상의 불량이 잘 보이도록 변환할 수 있다. 또한, 정규화(normalization)는 영상에서 특정 부분에 몰려있는 픽셀값을 전체 영역으로 골고루 분포하도록 만드는 프로세스이다. 블러 처리는 스무딩(smoothing)이라고도 하며 거친 느낌의 영상을 부드럽게 만드는 용도로 사용되거나 영상에 존재하는 잡음의 영향을 제거하는 전처리 과정으로 사용될 수 있다. 또한, 왜곡된 영상의 상태를 보완하기 위한 전처리 방법으로 스트레칭이 사용될 수 있다.
본 발명에 따르면 전처리된 이미지에 대해 밝기 보정 프로세스(S200)가 적용될 수 있는데, 밝기보정 프로세스(S200)는 사용자의 필요에 따라 실행될 수 있다. 즉, 도 2를 참조하면, 밝기보정 프로세스가 ON으로 설정된 경우(S120의 예), 밝기 보정 프로세스(S200)가 수행될 수 있다. 밝기보정 프로세스(S200)에서는 검사대상 영역에 대한 평균 밝기를 계산하고 검사대상 영역을 지정된 밝기로 보정할 수 있다. 여기서, 검사대상 영역(ROI: Region of Interest)은 검사 이미지에서 실제 검사를 수행할 영역을 나타낸다.
한편, 컬러 이미지에 대해 본 발명에 따른 밝기 보정을 수행하는 프로세스는 2가지 형태로 구현 가능하다.
제1 방법은 컬러 이미지를 흑백 이미지로 변경, 즉 컬러를 그레이 이미지로 변경하고 타겟밝기(Target Intensity)를 설정하여 밝기를 보정하는 방법이다.
제2 방법은 컬러 이미지내 RGB 채널 별로 각각 타겟밝기를 설정하여 밝기를 보정하는 방법이다. 즉, 컬러 이미지의 R(Red) 채널, G(Green) 채널, B(Blue) 채널에 대해 각각 타겟밝기를 별도로 설정하고 밝기를 보정할 수 있다. 이 경우 각 채널에 대해 평균 밝기 계산, 이득 값 산출 및 각 픽셀의 보정된 밝기 값 계산 절차가 별도로 수행될 수 있다.
불량 후보군 추출 프로세스(S300)에서는 검출된 이미지 내에 포함된 복수의 객체들 중 불량인 것으로 의심되는 후보군을 추출하는데, 이미지 상으로 나타나는 잠재적인 불량 특징을 갖는 객체를 후보로 선정할 수 있다.
불량 후보군 추출 프로세스(S300)에서는 밝기 보정된 검사대상 영역(ROI) 내에서의 밝기 차이를 이용해 불량 후보군을 추출한다. 예를 들어, 그레이 스케일로 표현된 ROI 내 각 픽셀이 일정 임계치(threshold) 이상인지 아닌지를 판단하여 음영 영역 여부를 구분함으로써, 불량 후보군을 추출할 수 있다.
여기서, 임계치(threshold) 기법의 예로는 Adaptive, Dynamic, Polar, Local 등 다양한 기법이 사용될 수 있다.
이미지 후처리 프로세스(S400)는 불량 후보군의 특징값을 추출하는 과정으로, 추출된 불량 후보군의 밝기, 형상 크기와 같은 대표 특징을 정량적으로 산출한다. 즉, 불량 후보군의 특징값은 이미지 내에 포함된 객체의 밝기(intensity), 형상(shape), 텍스쳐(texture) 등과 관련된 값일 수 있다.
보다 구체적으로, 불량 후보군에 대한 특징값(feature)은 형태의 면적(area), 너비(width), 높이(height), 원형성(curcularity), 직각성(rectangularity), 직선성 팩터(struct factor) 등을 포함할 수 있다. 주로 불량에 대한 길이 또는 크기에 대해서는 불량 후보군의 크기를 최대 외접원의 외경으로 판정하거나 불량의 넓이를 이용하여 판정할 수 있다. 일반적으로, 이물 또는 오염은 주변부 대비 밝기가 어둡게 나타나는 특성을 가지므로, 이러한 특성을 이용해 해당 영역을 추출하고 그 어두운 영역의 크기와 넓이를 이용하여 최종적으로 불량인지 여부를 판정할 수 있다. 예를 들어, 스크래치나 쓸림 자국의 경우 직선 형태를 가지기 때문에,　직선형의 특징을 정량화하는　직선성 팩터(struct factor)를 사용하여 실오라기와 같은 이물과 구분할 수도 있다.
이후 이어지는 결함 판정 프로세스(S500)에서는 추출된 특징값을 분석하고 기 설정된 검출 기준에 따라 해당 객체 관련 제품/부품에 결함 또는 불량이 발생하였는지 판단한다.
도 3은 본 발명의 실시예에 따른 밝기 보정의 상세 프로세스를 나타낸 도면이다.
촬상된 이미지에서 검사대상 영역(ROI)을 추출하고, 추출된 검사대상 영역 내 픽셀들의 평균 밝기를 산출한다(S210). 검사대상 영역 내 픽셀들의 평균 밝기는 아래 수학식 1에 따라 계산될 수 있다.
Figure PCTKR2023014038-appb-img-000001
수학식 1에서 Iavg 는 검사영역 내 픽셀들의 평균 밝기를, Ii 은 i번째 픽셀의 밝기를, nROI: ROI 내의 Pixel 개수를 나타낸다.
검사대상 영역의 평균 밝기가 계산되면 타겟 밝기를 고려하여 보정 이득(gain) 값을 산출한다(S220). 보정 이득 값은 아래 수학식 2에 따라 산출될 수 있다. 여기서, 타겟 밝기 Itarget은 사용자에 의해 사전에 미리 정의될 수 있다.
Figure PCTKR2023014038-appb-img-000002
수학식 2에서, φ는 밝기 보정 이득(Gain)을 나타내고, Itarget은 보정타겟(Target) 밝기를 나타내며 사용자가 사전에 정의할 수 있고, 사용자 인터페이스를 통해 변경 설정할 수 있다.
이후, 각 픽셀의 원 밝기 값에 보정 이득값을 곱하여 각 픽셀에 대한 보정 밝기 값을 획득함으로써 이미지 밝기 보정을 수행할 수 있다(S230).
한편, 컬러 이미지 내 RGB 채널 별로 각각 보정 타겟밝기를 설정하여 밝기를 보정하는 경우에는 각 채널(R(Red) 채널, G(Green) 채널, B(Blue) 채널)에 대해, 상기 평균 밝기 계산 절차, 이득 값 산출 절차 및 각 픽셀의 보정된 밝기 값 계산 절차가 별도로 수행될 수 있다.
도 4는 본 발명의 실시예에 따라 밝기 보정을 수행한 결과 이미지를 원래 이미지와 비교하여 나타낸 도면이다.
본 발명에 따른 외관 검사의 대상은 원통형, 파우치형, 각형 등의 배터리, 특히, 다양한 규격의 원통형 배터리일 수 있다. 일 예로, 원통형 배터리는 전극 조립체, 전지 캔, 플레이트 모양을 가진 캡 및 단자를 포함할 수 있다. 원통형 배터리는 추가적으로 절연 가스켓, 집전판, 인슐레이터, 실링가스켓 등을 더 포함할 수도 있다.
도 4에 나타낸 이미지들은 실험을 위해, 원통형 배터리 시편의 상면에 오염 효과를 내기 위한 다양한 크기의 원형 패턴을 인쇄한 상태를촬상하여 획득하였다.
도 4에서 왼쪽 3개의 이미지는 본 발명에 따른 밝기 보정을 사용하지 않은 경우(즉, 밝기보정 모드 OFF)로 각기 다른 조명 밝기로, 즉 strobe time 200μS , strobetime 400μS, strobetime 600μS로 촬상된 이미지들을 나타낸다. 오른쪽 3개의 이미지는 본 발명에 따른 밝기 보정을 사용한 경우(즉, 밝기보정 모드 ON)로 각기 다른 조명 밝기에서 촬상된 이미지를 나타낸다. 여기서, 스트로브 시간(strobe time)은 조명이 켜지는 시간을 나타내는 단위로 값이 커질수록 조명이 켜지는 시간이 증가함을 의미한다.
밝기보정 모드를 사용하지 않은 왼쪽 3개의 이미지는 strobe time 값과 촬상된 이미지의 밝기가 비례한다. 즉, 왼쪽 3개의 이미지는 밝기보정 모드를 사용하지 않았으므로 3개의 이미지 간에는 밝기 차이가 확연히 드러난다. 반면, 본 발명에 따라 밝기 보정을 수행한 오른쪽 3개의 이미지의 경우 밝기 차이는 나안으로 확인 불가능할 정도로 미미함을 알 수 있다.
도 5는 본 발명의 실시예에 따른 외관 검사를 위해 제공되는 사용자 인터페이스 화면의 일 예이다.
본 발명에 따른 외관 검사 장치는 검사 관련 세부사항을 설정할 수 있는 사용자 인터페이스를 제공할 수 있다. 검사 관련 세부사항은 검사 대상 객체/물체, 밝기 보정 여부, 밝기 보정 세기 등을 포함할 수 있따.
도 5의 사용자 인터페이스 화면에 나타난 외관 검사는 전지 캔의 오염 검사로, 밝기 보정 여부, 및 목표 세기(gray correction target intensity) 등의 항목을 사용자가 직접 설정할 수 있다.
도 6a 내지 6c는 본 발명의 실시예에 따라 밝기 보정을 수행한 이미지와 밝기 보정을 수행하지 않은 이미지를 이용한 외관 검사 결과를 비교한 그래프이다.
도 6a는 배터리의 상단면(upper plane)부에 대한 검사 결과를, 도 6b는 배터리의 하단면(upper plane)부에 대한 검사 결과를, 도 6c는 배터리의 측면(side)부에 대한 검사 결과를 나타낸다.
자동 밝기 보정을 수행하지 않은 경우(붉은색 그래프) 대비 자동 밝기 보정을 수행한 경우(그린색 그래프)의 측정 오차(단위: mm)가 3 가지 경우 모두에서 개선됨을 실험을 통해 확인하였으며, 평균적으로 60%의 개선 효과를 얻을 수 있었다.
도 7은 본 발명의 실시예에 따라 다양한 조명 세기 및 다양한 보정 타겟밝기으로 측정 및 처리된 이미지들을 나타낸다.
보다 구체적으로, 도 7은 실험을 위해 원통형 배터리의 상면에 임의로 설정 배치된 다양한 크기의 다수의 오염에 대한 이미지를 3가지 조명 세기(strobe time 200μS, strobe time 400μS, strobe time 600μS), 및 서로 다른 보정 타겟밝기(보정 모드 OFF, 보정 타겟 64, 128, 192)를 적용한 경우의 결과 이미지를 나타낸다.
밝기보정 모드를 사용하지 않은 이미지들은 strobe time 값과 촬상된 이미지의 밝기가 비례한다. 본 발명에 따른 밝기 보정을 사용한 경우들에서는 보정 후의 이미지 밝기가 일정 범위 내로 조정되었음을 확인할 수 있다.
도 8은 본 발명에 따른 밝기 보정을 수행하여 검출된 오염 크기와 현미경을 통한 검사 결과 사이의 검출 크기 편차를 나타낸 그래프이다.
보다 구체적으로, 도 8은 실험을 위해 임의로 설정, 배치된 다수의 오염(오염 1 내지 25)에 대한 이미지에본 발명에 따른 밝기 보정을 수행하여 검출된 오염 크기와, 현미경을 통한 검사 결과 사이의 검출 크기 편차를 나타낸 그래프이다.
도 8의 예에서는 밝기 보정 기법 중 그레이 스케일을 이용한 밝기 보정을 사용한 경우를 나타낸다. 현미경을 통해 측정한 오염 크기 대비 밝기보정의 타겟 밝기를 각각 128, 64, 192로 설정한 경우의 오염 크기의 편차를 나타낸 3개의 그래프를 도시한다. 도 8은 또한 비교예로서 밝기보정을 사용하지 않은 경우의 오염 크기 편차(Gray Correction OFF)를 나타내고 있다. 도 8의 그래프들을 비교하면, 밝기보정을 사용한 경우, 즉 그레이 보정을 사용한 경우(Gray Correction ON), 검출된 오염 크기의 편차 수준이 감소한 것을 알 수 있다. 또한, 타겟 밝기를 여러 값으로 설정하여 실험을 수행한 결과 64 내지 192 수준이 적절한 사용범위임을 확인할 수 있었다.
도 9는 본 발명의 일 실시예에 따른 촬상 장치의 사시도이고, 도 10은 본 발명의 일 실시예에 따른 촬상 장치의 단면도다.
도 9 및 10을 참고하면, 본 발명의 일 실시예에 따른 촬상 장치(200)는 하우징(210), 제1 조명(220), 제1 거울(231), 제2 거울(232), 카메라(240), 제3 거울(250), 제2 조명(260), 이송 수단(270) 및 반전 수단(280) 중 적어도 하나를 포함할 수 있다.
도 9의 예에서 하우징(210)은 배터리(10)의 측면 상에 배치되어, 적어도 배터리(10)의 제1 영역(A1)을 둘러싼다. 예컨대, 도 9에 도시된 바와 같이, 배터리(10)는 측면이 상부를 향하도록 누운 형태로 배치될 수 있으며, 하우징(210)은 배터리(10)의 상부에 배치될 수 있다. 하우징(210)의 형상은 특별히 제한되는 것은 아니나, 하우징(210)의 내면은 돔(dome) 형상을 가질 수 있다.
제1 조명(220)은 하우징(210)의 내면에 배치되며, 배터리(10)에 광을 조사한다. 도 10에서 제1 조명(220)은 하우징(210)의 내면 상에 돌출되어 배치된 것으로 도시하였으나, 제1 조명(220)은 하우징(210)의 내면에 매립되어 적어도 일부가 노출되도록 배치될 수도 있다. 제1 조명(220)은 구체적으로 배터리(10)의 측면에 광을 조사한다. 제1 조명(220)은 배터리(10)의 제1 영역(A1)의 전체 영역에 광을 조사할 수 있다. 전술한 바와 같이, 하우징(210)의 내면은 돔 형상을 가질 수 있으며, 하우징(210)의 내면에 배치된 제1 조명(220)은 전체적으로 둥근 형태로 배치되어 배터리(10)의 측면에 광을 조사할 수 있다.
제1 거울(231) 및 제2 거울(232)은 각각 배터리(10)의 제1 영역(A1) 중 일부를 반사하도록, 배터리(10)의 양 측부 각각에 배치될 수 있다. 도 10을 참고하면, 배터리(10)의 좌측부에는 제1 거울(231)이 배치되고, 배터리(10)의 우측부에는 제2 거울(232)이 기울어져 배치될 수 있다.
한편, 카메라(240)는 배터리(10)의 제1 영역(A1)의 적어도 일부, 제1 거울(231)에 비친 상 및 제2 거울(232)에 비친 상을 촬영한다. 즉, 카메라(240)는 배터리(10)의 제1 영역(A1)의 적어도 일부를 촬영한다. 이 때, 제1 거울(231) 또는 제2 거울(232)에 비친 제1 영역(A1)의 일부 영역은 제1 영역(A1) 중 제1 거울(231) 또는 제2 거울(232)이 존재하지 않는 경우 카메라(240)로 촬영될 수 없는 영역을 모두 포함한다. 따라서, 제1 거울(231) 및 제2 거울(232)이 존재함으로써, 카메라(240)로 촬영된 영상은 배터리(10)의 제1 영역(A1)의 전체 영역의 영상을 포함할 수 있다. 이를 통해, 본 발명에 따른 촬상 장치(200)는 배터리(10)의 측면의 절반 이상인 제1 영역(A1)의 전체 영역의 외관 영상을 한 번에 획득하여, 배터리(10)의 회전 및 굴림 없이 측면 검사를 실시할 수 있다.
한편, 카메라(240)가 배터리(10)의 제1 영역(A1)의 적어도 일부, 제1 거울(231)에 비친 상 및 제2 거울(232)에 비친 상을 직접 촬영하도록 배터리(10)의 측면(200S)과 마주하여 배치되지 않는 경우, 촬상 장치(200)는 제3 거울(250)을 더 포함할 수 있다. 이 때, 카메라(240)는 제3 거울(250)에 비친 상을 촬영함으로써, 1 영역(A1)의 적어도 일부, 제1 거울(231)에 비친 상 및 제2 거울(232)에 비친 상을 간접적으로 촬영한다. 즉, 카메라(240)는 제3 거울(250)에 비친 배터리(10)의 제1 영역(A1)의 적어도 일부, 제1 거울(231)에 비친 상 및 제2 거울(232)에 비친 상을 포함하는 상을 촬영한다.
제3 거울(250)은 배터리(10)의 측면(200S) 상에 기울어져 배치되어, 배터리(10)의 제1 영역(A1)의 적어도 일부, 제1 거울(231)에 비친 상 및 제2 거울(232)에 비친 상을 반사한다. 도면을 기준으로, 제3 거울(250)은 Y 방향(Y) 및 Z 방향(Z) 사이를 향하도록 기울어져 배치될 수 있다. 제3 거울(250)은 배터리(10)의 제1 영역(A1)의 적어도 일부, 제1 거울(231)에 비친 상 및 제2 거울(232)에 비친 상이 약 45°의 각도로 입사 및 반사되도록 배치되는 것일 수 있다. 이 때, 카메라(240)는 제3 거울(250)에 반사된 광과 마주하여 배치될 수 있음은 물론이다.
한편, 촬상 장치(200)는 제1 조명(220)에 더하여 제2 조명(260)을 포함할 수 있다. 제2 조명(260)은 제3 거울(250) 상에 배치되어, 배터리(10)에 광을 조사하며, 동축 조명일 수 있다.
또한, 배터리(10)가 하우징(210)을 통과하도록, 이송 수단(270)이 배터리(10)를 배터리(10)의 축 방향(X)으로 이송한다. 배터리(10)는 이송 수단(270)을 통해 이송되어, 하우징(210) 내의 검사 영역에 도달한 후 일정 시간 정지하여 카메라(240)로 촬영됨으로써, 배터리(10)의 측면 검사가 수행될 수 있다. 검사가 수행된 배터리(10)는 다시 이송 수단(270)을 통해 후속 공정으로 이송된다.
한편, 반전 수단(280)이 카메라(240)로 촬영된 배터리(10)를 뒤엎는다. 즉, 반전 수단(280)은 배터리(10)를 180°회전시킨 상태로 재배치한다. 도면을 기준으로 설명하면, 반전 수단(280)은 배터리(10)를 Z 방향(Z)으로 위 아래가 반전되도록 뒤엎을 수 있다. 따라서, 배터리(10)의 측면 검사가 수행되지 않은 반대 측면에 대해서도 전술한 촬상 장치(200)와 동일한 장치로 측면 검사가 수행될 수 있다. 검사 대상이 되는 제1 영역(A1)은 배터리(10)의 측면(200S)의 절반 이상이므로, 첫 번째 측면 검사 및 두 번째 측면 검사 시 검사 영역의 일부는 서로 중첩될 수 있다.
이 때, 배터리(10)의 측면 검사가 수행되지 않은 반대 측면에 대한 측면 검사는 공정의 원활한 흐름을 위해 별도의 촬상 장치(200)로 수행될 수 있다. 즉, 촬상 장치(200)는 각각 배터리(10)의 양 측면 각각을 검사하기 위한 한 쌍의 촬상 장치(200)를 포함할 수 있다. 다만, 비용 절감을 위해서 하나의 촬상 장치(200)로 배터리(10)의 양 측면 각각에 대한 측면 검사를 수행할 수도 있을 것이다.
한편, 일반적으로 원통형 전지의 측면 외관 검사 시, 전지를 360° 회전 또는 굴림시켜 영상을 획득해야 하며, 전지의 회전 또는 굴림 시 영상의 노이즈(noise)가 발생하여 영상의 품질 및 검사 장치의 검출력을 저하시키는 문제가 있다. 또한, 촬영 중심부에서 멀어질수록, 곡면으로 인한 그림자 등에 의해 결함의 시인성을 확보하기 어려운 문제가 있다.
본 발명의 일 실시예에 따른 촬상 장치(200)는 제1 거울(231) 및 제2 거울(232)을 포함함으로써, 배터리(10)의 측면(200S)의 절반 이상인 제1 영역(A1)에 대한 전체 영상을 한 번의 촬영을 통해 획득할 수 있다. 즉, 배터리(10) 일 측면 및 타 측면 각각에 대한 2회의 검사로 배터리(10)의 측면의 전체 영역에 대한 외관 검사가 가능하다. 뿐만 아니라, 검사 대상인 제1 영역(A1) 중 중심부와 먼 영역에서도 결함의 시인성을 충분히 확보할 수 있다. 이를 통해, 원통형 전지의 회전 및 굴림 없이 측면 외관 검사를 실시할 수 있는 촬상 장치를 제공할 수 있다. 또한, 영상의 노이즈를 방지하고, 영상의 품질 및 검사 장치의 검출력을 향상시킬 수 있는 촬상 장치를 제공할 수 있다.
한편, 도 9 및 10을 통해 설명한 실시예에 따른 촬상 장치는 배터리의 측면을 검사하는 데 적합한 구조로, 본 발명에 따른 촬상 장치의 일 예로서 제시되었다.
도 11a는 본 발명의 다른 실시예에 따른 촬상 장치의 외관을 나타낸 도면이고, 도 11b는 본 발명의 다른 실시예에 따른 촬상 장치의 멀티 채널 조명 구성도이다.
도 11a에 도시된 촬상 장치는 배터리 셀의 리벳부(rivet), 벤트부(vent) 등 배터리의 상면 및 하면에 대한 이미지를 획득하기에 적합한 구조로, 도 11b에 도시된 바와 같은 멀티 조명 장치를 이용해 다양한 조명 조건에서 다양한 이미지를 취득할 수 있다. 여기서, 멀티 조명 장치는 예를 들어, 돔(Doem) 조명, 로우 앵글(Low Angle) 조명, 동축(Coaxial) 조명, 링(Ring) 조명, 암시야(Dark Field) 조명을 포함할 수 있다. 이처럼, 본 발명에 따른 촬상 장치는 배터리의 상면 및 하면, 배터리의 측면 등 배터리 셀의 다양한 부분에 대한 이미지를 촬상하는 구조를 포함할 수 있다.
도 12는 본 발명의 실시예에 따른 외관 검사 장치의 블록 구성도이다.
본 발명의 실시예에 따른 외관 검사 장치(1000)는, 적어도 하나의 프로세서(1010), 상기 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리(1020) 및 네트워크와 연결되어 통신을 수행하는 송수신 장치(1030)를 포함할 수 있다.
여기서, 상기 적어도 하나의 명령은, 대상 객체의 외관을 촬상한 이미지를 획득하여 전처리하도록 하는 명령; 전처리된 이미지 내에서 검사대상 영역을 추출하고, 추출된 검사대상 영역에 대한 밝기 보정을 수행하도록 하는 명령; 밝기 보정된 이미지로부터 불량 후보군을 추출하도록 하는 명령; 추출된 불량 후보군에 대해 이미지 후처리를 수행하도록 하는 명령; 및 후처리된 이미지로부터 대상 객체의 불량 여부를 판단하도록 하는 명령을 포함할 수 있다.
본 발명의 실시예에 따른 외관 검사 장치는 대상 객체의 외관을 촬상하는 촬상 장치(imaging device)와 연동하거나 이러한 촬상 장치를 포함할 수 있다. 본 발명에 따른 촬상 장치는 도 9, 10, 11a 및 11b에 도시된 장치와 동일 또는 유사한 형태로 제공될 수 있다.
상기 추출된 검사대상 영역에 대한 밝기 보정을 수행하도록 하는 명령은, 상기 추출된 검사 영역 내 픽셀들의 평균 밝기를 산출하도록 하는 명령; 상기 산출된 평균 밝기 및 타겟밝기에 기초하여 보정 이득값을 산출하도록 하는 명령; 및 상기 보정 이득값에 따라 각 픽셀별 밝기를 보정하도록 하는 명령을 포함할 수 있다.
상기 보정 이득값을 산출하도록 하는 명령은, 상기 타겟밝기를 상기 평균 밝기로 나누어 보정 이득값을 계산하도록 하는 명령을 포함할 수 있다.
상기 보정 이득값에 따라 각 픽셀별 밝기를 보정하도록 하는 명령은, 각 픽셀의 원래 밝기에 상기 보정 이득값을 곱하여 각 픽셀별 밝기를 보정하도록 하는 명령을 포함할 수 있다. 상기 추출된 검사 영역 내 픽셀들의 평균 밝기를 산출하도록 하는 명령은, 상기 검사 영역 내 픽셀의 개수 및 각 픽셀의 밝기를 기초로 상기 평균 밝기를 계산하도록 하는 명령을 포함할 수 있다.
이때, 상기 타겟 밝기는 사용자에 의해 설정 가능하다.
한편, 상기 추출된 검사대상 영역에 대한 밝기 보정을 수행하도록 하는 명령은, 촬상한 컬러 이미지에 대해 밝기 보정을 적용하기 전, 컬러 이미지를 흑백 이미지로 변경하도록 하는 명령을 포함할 수 있다.
상기 추출된 검사대상 영역에 대한 밝기 보정을 수행하도록 하는 명령은, 촬상한 컬러 이미지에 대해 밝기 보정을 적용하기 전, 컬러 이미지를 R 채널, G 채널, 및 B 채널로 분리하도록 하는 명령을 포함할 수 있다.
그에 따라, 상기 평균 밝기를 산출하도록 하는 명령, 상기 보정 이득값을 산출하도록 하는 명령, 및 상기 각 픽셀별 밝기를 보정하도록 하는 명령은, 상기 R 채널, G 채널, 및 B 채널 각각에 대해 수행될 수 있다.
외관 검사 장치(1000)는 또한, 입력 인터페이스 장치(1040), 출력 인터페이스 장치(1050), 저장 장치(1060) 등을 더 포함할 수 있다. 외관 검사 장치(1000)에 포함된 각각의 구성 요소들은 버스(bus)(1070)에 의해 연결되어 서로 통신을 수행할 수 있다.
저장 장치(1060)는 촬상 장치가 촬상한 다수의 이미지, 이로부터 전처리된 이미지, 후처리된 이미지 등 본 발명에 따른 검사 방법 내 각 단계에서 생산되는 적어도 하나의 이미지를 저장할 수 있다. 저장 장치(1060)에 저장되어 있던 이미지는, 본 발명에 따른 검사 방법의 실행 중 필요한 경우 적어도 하나의 프로세서(1010)로 제공될 수 있따.
여기에서, 프로세서(1010)는 중앙처리장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(또는 저장 장치)는 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.
본 발명의 실시예에 따른 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기에서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (19)

  1. 대상 객체의 외관을 촬상한 이미지를 획득하여 전처리하는 단계;
    전처리된 이미지 내에서 검사대상 영역을 추출하고, 추출된 검사대상 영역에 대한 밝기 보정을 수행하는 단계;
    밝기 보정된 이미지로부터 불량 후보군을 추출하는 단계;
    추출된 불량 후보군에 대해 이미지 후처리를 수행하는 단계; 및
    후처리된 이미지로부터 대상 객체의 불량 여부를 판단하는 단계를 포함하는, 제품의 외관 검사 방법.
  2. 청구항 1에 있어서,
    상기 추출된 검사대상 영역에 대한 밝기 보정을 수행하는 단계는,
    상기 추출된 검사 영역 내 픽셀들의 평균 밝기를 산출하는 단계;
    상기 산출된 평균 밝기 및 타겟밝기에 기초하여 보정 이득값을 산출하는 단계; 및
    상기 보정 이득값에 따라 각 픽셀별 밝기를 보정하는 단계를 포함하는, 제품의 외관 검사 방법.
  3. 청구항 2에 있어서,
    상기 산출된 평균 밝기 및 타겟밝기에 기초하여 보정 이득값을 산출하는 단계는,
    상기 타겟밝기를 상기 평균 밝기로 나누어 보정 이득값을 계산하는 단계를 포함하는, 제품의 외관 검사 방법.
  4. 청구항 2에 있어서,
    상기 보정 이득값에 따라 각 픽셀별 밝기를 보정하는 단계는,
    각 픽셀의 원래 밝기에 상기 보정 이득값을 곱하여 각 픽셀별 밝기를 보정하는 단계를 포함하는, 제품의 외관 검사 방법.
  5. 청구항 2에 있어서,
    상기 타겟 밝기는 사용자에 의해 설정 가능한, 제품의 외관 검사 방법.
  6. 청구항 2에 있어서,
    상기 추출된 검사 영역 내 픽셀들의 평균 밝기를 산출하는 단계는,
    상기 검사 영역 내 픽셀의 개수 및 각 픽셀의 밝기를 기초로 상기 평균 밝기를 계산하는 단계를 포함하는, 제품의 외관 검사 방법.
  7. 청구항 2에 있어서,
    상기 추출된 검사대상 영역에 대한 밝기 보정을 수행하는 단계는,
    촬상한 컬러 이미지에 대해 밝기 보정을 적용하기 전, 컬러 이미지를 흑백 이미지로 변경하는 단계를 포함하는, 제품의 외관 검사 방법.
  8. 청구항 2에 있어서,
    상기 추출된 검사대상 영역에 대한 밝기 보정을 수행하는 단계는,
    촬상한 컬러 이미지에 대해 밝기 보정을 적용하기 전, 컬러 이미지를 R 채널, G 채널, 및 B 채널로 분리하는 단계를 포함하는, 제품의 외관 검사 방법.
  9. 청구항 8에 있어서,
    상기 평균 밝기를 산출하는 단계, 상기 보정 이득값을 산출하는 단계, 및 상기 각 픽셀별 밝기를 보정하는 단계는, 상기 R 채널, G 채널, 및 B 채널 각각에 대해 수행되는, 제품의 외관 검사 방법.
  10. 적어도 하나의 프로세서;
    상기 적어도 하나의 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리를 포함하고,
    상기 적어도 하나의 명령은,
    대상 객체의 외관을 촬상한 이미지를 획득하여 전처리하도록 하는 명령;
    전처리된 이미지 내에서 검사대상 영역을 추출하고, 추출된 검사대상 영역에 대한 밝기 보정을 수행하도록 하는 명령;
    밝기 보정된 이미지로부터 불량 후보군을 추출하도록 하는 명령;
    추출된 불량 후보군에 대해 이미지 후처리를 수행하도록 하는 명령;및
    후처리된 이미지로부터 대상 객체의 불량 여부를 판단하도록 하는 명령을 포함하는, 제품의 외관 검사 장치.
  11. 청구항 10에 있어서,
    대상 객체의 외관을 촬상하는 촬상 장치와 연동하거나 상기 촬상 장치를 포함하는, 제품의 외관 검사 장치.
  12. 청구항 10에 있어서,
    상기 추출된 검사대상 영역에 대한 밝기 보정을 수행하도록 하는 명령은,
    상기 추출된 검사 영역 내 픽셀들의 평균 밝기를 산출하도록 하는 명령;
    상기 산출된 평균 밝기 및 타겟밝기에 기초하여 보정 이득값을 산출하도록 하는 명령; 및
    상기 보정 이득값에 따라 각 픽셀별 밝기를 보정하도록 하는 명령을 포함하는, 제품의 외관 검사 장치.
  13. 청구항 12에 있어서,
    상기 보정 이득값을 산출하도록 하는 명령은,
    상기 타겟밝기를 상기 평균 밝기로 나누어 보정 이득값을 계산하도록 하는 명령을 포함하는, 제품의 외관 검사 장치.
  14. 청구항 12에 있어서,
    상기 보정 이득값에 따라 각 픽셀별 밝기를 보정하도록 하는 명령은,
    각 픽셀의 원래 밝기에 상기 보정 이득값을 곱하여 각 픽셀별 밝기를 보정하도록 하는 명령을 포함하는, 제품의 외관 검사 장치.
  15. 청구항 12에 있어서,
    상기 타겟 밝기는 사용자에 의해 설정 가능한, 제품의 외관 검사 장치.
  16. 청구항 12에 있어서,
    상기 추출된 검사 영역 내 픽셀들의 평균 밝기를 산출하도록 하는 명령은
    상기 검사 영역 내 픽셀의 개수 및 각 픽셀의 밝기를 기초로 상기 평균 밝기를 계산하도록 하는 명령을 포함하는, 제품의 외관 검사 장치.
  17. 청구항 12에 있어서,
    상기 추출된 검사대상 영역에 대한 밝기 보정을 수행하도록 하는 명령은,
    촬상한 컬러 이미지에 대해 밝기 보정을 적용하기 전, 컬러 이미지를 흑백 이미지로 변경하도록 하는 명령을 포함하는, 제품의 외관 검사 장치.
  18. 청구항 12에 있어서,
    상기 추출된 검사대상 영역에 대한 밝기 보정을 수행하도록 하는 명령은,
    촬상한 컬러 이미지에 대해 밝기 보정을 적용하기 전, 컬러 이미지를 R 채널, G 채널, 및 B 채널로 분리하도록 하는 명령을 포함하는, 제품의 외관 검사 장치.
  19. 청구항 18에 있어서,
    상기 평균 밝기를 산출하도록 하는 명령, 상기 보정 이득값을 산출하도록 하는 명령, 및 상기 각 픽셀별 밝기를 보정하도록 하는 명령은, 상기 R 채널, G 채널, 및 B 채널 각각에 대해 수행되는, 제품의 외관 검사 장치.
PCT/KR2023/014038 2022-09-19 2023-09-18 제품의 외관 검사 장치 및 방법 WO2024063471A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0117571 2022-09-19
KR20220117571 2022-09-19
KR10-2023-0099316 2023-07-31
KR1020230099316A KR20240039584A (ko) 2022-09-19 2023-07-31 제품의 외관 검사 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2024063471A1 true WO2024063471A1 (ko) 2024-03-28

Family

ID=90454910

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/014038 WO2024063471A1 (ko) 2022-09-19 2023-09-18 제품의 외관 검사 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2024063471A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09264728A (ja) * 1996-01-23 1997-10-07 Hitachi Ltd 欠陥または異物の検出の方法および装置、および欠陥または異物を検査された電子部品
JP2009294087A (ja) * 2008-06-05 2009-12-17 Sumitomo Chemical Co Ltd 樹脂材料検査装置およびプログラム
JP2010066126A (ja) * 2008-09-10 2010-03-25 Denso Corp 画像処理方法およびこれを用いた異物検査装置。
JP2021131359A (ja) * 2020-02-21 2021-09-09 レーザーテック株式会社 輝度補正装置、検査装置、輝度補正方法、及び輝度補正プログラム
KR20220060080A (ko) * 2020-11-03 2022-05-11 삼성디스플레이 주식회사 표시 기판의 결함 검사 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09264728A (ja) * 1996-01-23 1997-10-07 Hitachi Ltd 欠陥または異物の検出の方法および装置、および欠陥または異物を検査された電子部品
JP2009294087A (ja) * 2008-06-05 2009-12-17 Sumitomo Chemical Co Ltd 樹脂材料検査装置およびプログラム
JP2010066126A (ja) * 2008-09-10 2010-03-25 Denso Corp 画像処理方法およびこれを用いた異物検査装置。
JP2021131359A (ja) * 2020-02-21 2021-09-09 レーザーテック株式会社 輝度補正装置、検査装置、輝度補正方法、及び輝度補正プログラム
KR20220060080A (ko) * 2020-11-03 2022-05-11 삼성디스플레이 주식회사 표시 기판의 결함 검사 방법

Similar Documents

Publication Publication Date Title
CN108682365B (zh) 一种oled色斑检测与修复一体化系统、方法
WO2014163375A1 (ko) 기판의 이물질 검사방법
WO2013062345A1 (ko) 비전시스템의 이미지 품질 향상을 위한 컬러조명 제어방법
CN108090890B (zh) 检查装置以及检查方法
US20070076943A1 (en) Method and apparatus for inspecting a wafer
JP3344995B2 (ja) 錠剤表面検査装置
WO2024063471A1 (ko) 제품의 외관 검사 장치 및 방법
KR100827906B1 (ko) 기판 검사 장치
JP2004239733A (ja) 画面の欠陥検出方法及び装置
KR101068356B1 (ko) 화상처리를 이용한 디스플레이 패널의 픽셀 불량 검사 방법
JP2010078485A (ja) 印刷物の検査方法
WO2017183923A1 (ko) 물품의 외관 검사장치 및 이를 이용한 물품의 외관 검사방법
JP2009080004A (ja) 検査装置
JP2005337926A (ja) 圧着端子の圧着状態検査方法及び検査装置
KR20240039584A (ko) 제품의 외관 검사 장치 및 방법
KR20140006582A (ko) 표시패널의 얼룩 검사 장치 및 그 방법
KR20070121216A (ko) 카메라 테스트 유닛 및 이를 이용한 카메라 검사 방법
JP2556894B2 (ja) 印刷物の品質検査装置及びその方法
KR100249597B1 (ko) 광학적 불균일 검사장치 및 광학적 불균일 검사방법
KR100249599B1 (ko) 광학적 불균일 검사장치 및 광학적 불균일 검사방법
JPH09105723A (ja) 欠点検査における検査設定値入力表示方法とその装置
JP3433333B2 (ja) 欠陥検査方法
JP2007010597A (ja) 表面検査装置
KR100249598B1 (ko) 광학적 불균일 검사장치 및 광학적 불균일 검사방법
WO2024049201A1 (ko) 배터리 전극 검사 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23868523

Country of ref document: EP

Kind code of ref document: A1