KR101679205B1 - Device for detecting defect of device - Google Patents
Device for detecting defect of device Download PDFInfo
- Publication number
- KR101679205B1 KR101679205B1 KR1020150030315A KR20150030315A KR101679205B1 KR 101679205 B1 KR101679205 B1 KR 101679205B1 KR 1020150030315 A KR1020150030315 A KR 1020150030315A KR 20150030315 A KR20150030315 A KR 20150030315A KR 101679205 B1 KR101679205 B1 KR 101679205B1
- Authority
- KR
- South Korea
- Prior art keywords
- light source
- light
- image
- color
- illumination
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
- G01N2021/8841—Illumination and detection on two sides of object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
- G01N2021/8845—Multiple wavelengths of illumination or detection
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
본 발명의 실시예에 따른 디바이스 결함 검출장치는, 디바이스의 전면, 측면 및 후면 각각에서 서로 다른 파장의 제1 광원, 제2 광원 및 제3 광원을 상기 디바이스로 동시에 조사하는 제1 광원부, 제2 광원부 및 제3 광원부와, 상기 제1, 제2 및 제3 광원부로부터 동시에 상기 디바이스로 조사된 광원에 의해 반사된 이미지를 컬러 이미지로 촬상하는 컬러 카메라 및 상기 컬러 이미지를 상기 제1 광원, 제2 광원 및 제3 광원의 파장 각각에 대응하는 이미지로 분리하고, 이를 이미지 프로세싱(image processing)을 통해 분석하여, 상기 제1 광원부, 제2 광원부 및 제3 광원부별 결함을 검출하는 검출부를 포함한다.A device defect detection apparatus according to an embodiment of the present invention includes a first light source unit for simultaneously irradiating a first light source, a second light source, and a third light source of different wavelengths to the device at the front, side, and rear sides of the device, A color camera for capturing an image reflected by a light source irradiated from the first, second and third light sources to the device at the same time in a color image, and a color camera for capturing the color image into the first light source, the second light source, And a detector for detecting a defect of each of the first, second and third light sources by analyzing the image by image processing and separating the image into an image corresponding to each of the light source and the wavelength of the third light source.
Description
본 발명은 디바이스 결함 검출장치에 관한 것으로, 특히 결함을 검출하고자 하는 디바이스의 전면, 측면, 후면에서 서로 다른 컬러의 광원을 동시에 조사함으로써, 서로 다른 불량 유형을 동시에 검출할 수 있는 디바이스 결함 검출장치에 관한 것이다.The present invention relates to a device defect detection apparatus capable of simultaneously detecting different types of defects by simultaneously irradiating light sources of different colors on the front, side, and rear surfaces of a device for detecting defects .
일반적으로 OLED(Organic Light Emitting Diode) 제조 공정에서는, 표면에 이물질이나 유기EL층과 TFT(Thin Film Transistor)층을 증착하는 과정에서 두 층 사이에 유입된 이물질로 인한 배선의 절연불량이나 단락 등의 불량 원인이 된다. 또한, 유기발광다이오드 소자가 미세화하여 이물질로 인한 미세한 결함이 존재하는 경우에는 이 결함이 유기발광다이오드 소자의 절연불량이나 절연막 등의 파괴의 원인으로 작용할 수도 있다.2. Description of the Related Art Generally, in an organic light emitting diode (OLED) manufacturing process, when a foreign substance, an organic EL layer, and a TFT (Thin Film Transistor) layer are deposited on a surface, It causes a defect. In addition, when the organic light emitting diode device is miniaturized and a minute defect due to a foreign substance is present, this defect may cause insulation failure of the organic light emitting diode device or destruction of the insulating film and the like.
따라서 이러한 이물질이나 결함을 사전에 검출하는 것이 불량을 방지하여 제품의 품질을 향상시키는데 가장 최선의 방법이라 할 수 있다.Therefore, it is the best way to improve the quality of the product by preventing the defect from detecting the foreign substance or defect in advance.
이와 같은 결함 및 불량을 방지하기 위한 최선의 방법으로서, 카메라를 이용한 검사기가 개시되고 있다. As a best method for preventing such defects and defects, a tester using a camera has been disclosed.
그러나, 기존의 검사장비는 단일 색상의 조명과 흑백 카메라를 이용하기 때문에 다양한 유형의 결함 및 불량을 구분하기 어렵다. 특히, 기존의 검사장비로는 마스크(mask)의 압연 무늬와 불량 이미지의 구분이 어렵기 때문에 오검출이 많은 단점이 있다. 또한, 기존의 단일 색상을 이용하는 조명방식으로는 다양한 유형의 결함 중 선택적인 결함 검출이 어려운 문제가 있다.However, existing inspection equipment uses single-color illumination and monochrome cameras, making it difficult to distinguish between various types of defects and defects. In particular, the conventional inspection equipment has a drawback in that it is difficult to distinguish between a rolled pattern of a mask and a defective image. In addition, in the conventional illumination method using a single color, there is a problem that it is difficult to detect selective defects among various types of defects.
따라서, 검사 대상의 다양한 불량 유형을 모두 검출할 수 있는 디바이스 결함 검출장치가 필요하다.Therefore, there is a need for a device defect detection apparatus capable of detecting all types of defect types to be inspected.
따라서 본 발명의 목적은 전술된 바와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 디바이스의 서로 다른 불량 유형을 동시에 검출할 수 있는 디바이스 결함 검출장치를 제공하는데 있다.It is therefore an object of the present invention to provide a device defect detection apparatus capable of simultaneously detecting different types of defects of a device.
상기 목적을 달성하기 위한 본 발명의 실시 예에 따른 디바이스 결함 검출장치는, 디바이스의 전면, 측면 및 후면 각각에서 서로 다른 파장의 제1 광원, 제2 광원 및 제3 광원을 상기 디바이스로 동시에 조사하는 제1 광원부, 제2 광원부 및 제3 광원부와, 상기 제1, 제2 및 제3 광원부로부터 동시에 상기 디바이스로 조사된 광원에 의해 반사된 이미지를 컬러 이미지로 촬상하는 컬러 카메라 및 상기 컬러 이미지를 상기 제1 광원, 제2 광원 및 제3 광원의 파장 각각에 대응하는 이미지로 분리하고, 이를 이미지 프로세싱(image processing)을 통해 분석하여, 상기 제1 광원부, 제2 광원부 및 제3 광원부별 결함을 검출하는 검출부를 포함한다.According to an aspect of the present invention, there is provided a device defect detection apparatus for simultaneously detecting a first light source, a second light source, and a third light source of different wavelengths on a front surface, a side surface, A color camera for picking up an image reflected by a light source irradiated from the first, second and third light sources at the same time to a device as a color image; The first light source, the second light source, and the third light source, and analyzes the image by image processing to detect defects of the first light source unit, the second light source unit, and the third light source unit, .
상기 목적을 달성하기 위한 본 발명의 실시 예에 따른 디바이스의 결함 검출 설정 방법은, 결함 검출 대상인 디바이스의 특성을 설정하는 단계와, 상기 디바이스의 전면, 측면 및 후면 각각에서 서로 다른 파장의 광원을 동시에 상기 디바이스로 조사하는 단계와, 상기 디바이스로부터 반사된 빛을 컬러 카메라를 통해 촬상 이미지로 획득하는 단계와, 상기 촬상 이미지 분석을 통해 결함 검출률을 획득 및 저장하는 단계와, 상기 광원들의 강도를 변경하여 이에 따른 결함 검출률을 획득 및 저장하는 단계와, 상기 획득된 결함 검출률들을 비교하여 최상의 광원 강도 비율을 선택하는 단계 및 상기 디바이스 특성에 따라 상기 선택된 광원 강도 비율을 설정하는 단계를 포함한다.According to another aspect of the present invention, there is provided a defect detection and setting method for a device, the method comprising: setting a characteristic of a defect detection target device; setting a light source of different wavelengths at the front, The method comprising the steps of: irradiating the device with light reflected from the device to a captured image through a color camera; acquiring and storing a defect detection rate through the captured image analysis; Acquiring and storing a defect detection rate therefrom, selecting the best light source intensity ratio by comparing the obtained defect detection rates, and setting the selected light source intensity ratio according to the device characteristics.
이상에서 살펴본 바와 같이 본 발명에 따른 디바이스 결함 검출장치에 따르면, 조명방식 및 색상별로 검출되는 디바이스의 다양한 결함들을 1회 촬상을 통해 획득함으로써, 검사시간을 최소화할 수 있다. 또한, 디바이스의 측면에서 조명을 교차형태로 사용함으로써, 압연무늬와 다양한 불량유형의 구분이 가능하게 되어 오검출을 줄일 수 있다. 더불어, 재귀반사시트를 이용하여 조명효율을 높일 수 있고, 이에 의해 요철불량(찍힘, 눌림, 솟음, 표면 이물 등)의 변별력을 높여 검출의 효율을 높일 수 있다. As described above, according to the device defect detection apparatus of the present invention, it is possible to minimize the inspection time by acquiring various defects of the device, which are detected by the illumination method and the color, through one image pick-up. Further, by using the illumination in the form of an intersection at the side of the device, it is possible to distinguish between the rolled pattern and various types of defects, so that erroneous detection can be reduced. In addition, the retroreflective sheet can be used to enhance the illumination efficiency, thereby increasing the discrimination power of the irregularities (stamping, pressing, rising, surface foreign matter, etc.) and improving the detection efficiency.
도 1은 본 발명의 실시 예에 따른 디바이스 결함 검출장치의 개략적인 구성을 나타낸 도면.
도 2는 본 발명의 실시 예에 따른 제1 광원부를 도시한 도면 및 이를 통해 검출된 결함 이미지.
도 3은 본 발명의 실시 예에 따른 제2 광원부 및 재귀반사시트를 도시한 도면 및 이를 통해 검출된 결함 이미지.
도 4는 본 발명의 실시 예에 따른 제3 광원부 및 재귀반사시트를 도시한 도면 및 이를 통해 검출된 결함 이미지.
도 5는 본 발명의 실시 예에 따른 재귀반사시트 적용 구조를 개략적으로 도시한 도면.
도 6은 재귀반사시트의 적용 전후를 비교한 도면.
도 7은 본 발명의 실시 예에 따른 디바이스 결함 검출 설정 방법을 설명하기 위한 순서도.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a diagram showing a schematic configuration of a device defect detection apparatus according to an embodiment of the present invention. Fig.
FIG. 2 is a view showing a first light source unit according to an embodiment of the present invention, and a defect image detected through the first light source unit. FIG.
3 is a view showing a second light portion and a retroreflective sheet according to an embodiment of the present invention, and a defect image detected through the second light portion.
4 is a view showing a third light portion and a retroreflective sheet according to an embodiment of the present invention, and a defect image detected through the third light portion.
5 is a view schematically showing a structure for applying a retroreflective sheet according to an embodiment of the present invention.
Fig. 6 is a diagram showing a comparison between before and after application of a retroreflective sheet. Fig.
FIG. 7 is a flowchart for explaining a device defect detection setting method according to an embodiment of the present invention; FIG.
이하, 본 발명의 실시 예를 첨부된 도면에 의거하여 상세히 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
실시 예를 설명함에 있어서 본 발명이 속하는 기술분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 또한, 실질적으로 동일한 구성과 기능을 가진 구성 요소들에 대해서는 상세한 설명을 생략하도록 한다.In the following description of the embodiments of the present invention, descriptions of techniques which are well known in the technical field of the present invention and are not directly related to the present invention will be omitted. In addition, detailed description of components having substantially the same configuration and function will be omitted.
마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.For the same reason, some of the elements in the accompanying drawings are exaggerated, omitted, or schematically shown, and the size of each element does not entirely reflect the actual size. Accordingly, the present invention is not limited by the relative size or spacing depicted in the accompanying drawings.
이하, 본 발명에 따른 디바이스 결함 검출장치의 실시예를 도면을 참조하여 설명하기로 한다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of a device defect detection apparatus according to the present invention will be described with reference to the drawings.
도 1은 본 발명의 실시 예에 따른 디바이스 결함 검출장치의 개략적인 구성을 나타낸 도면이고, 도 2는 본 발명의 실시 예에 따른 제1 광원부를 도시한 도면 및 이를 통해 검출된 결함 이미지이며, 도 3은 본 발명의 실시 예에 따른 제2 광원부 및 재귀반사시트를 도시한 도면 및 이를 통해 검출된 결함 이미지이고, 도 4는 본 발명의 실시 예에 따른 제3 광원부 및 재귀반사시트를 도시한 도면 및 이를 통해 검출된 결함 이미지이고, 도 5는 본 발명의 실시 예에 따른 재귀반사시트 적용 구조를 개략적으로 도시한 도면이며, 도 6은 재귀반사시트의 적용 전후를 비교한 도면이다.FIG. 1 is a diagram illustrating a schematic configuration of a device defect detection apparatus according to an embodiment of the present invention. FIG. 2 is a diagram illustrating a first light source unit according to an embodiment of the present invention, 3 is a view showing a second light source part and a retroreflective sheet according to an embodiment of the present invention, and a defect image detected through the second light source part and the retroreflective sheet according to an embodiment of the present invention, and FIG. 4 is a view showing a third light source part and a retroreflective sheet And FIG. 5 is a view schematically showing a structure for applying a retroreflective sheet according to an embodiment of the present invention, and FIG. 6 is a diagram comparing before and after application of a retroreflective sheet.
도 1에 도시된 바와 같이 본 발명의 실시 예에 따른 디바이스 결함 검출장치(100)는 컬러 카메라(110), 렌즈(120), 제1 광원부(130), 제2 광원부(140), 제3 광원부(150), 재귀반사시트(160), 검출부(170) 및 제어부(180)를 포함하여 구성된다.
1, a device
도 2에 도시된 바와 같이 제1 광원부(130)는 결함을 측정하고자 하는 디바이스(200)의 전면에서 제1 컬러의 광원을 조사한다. 제1 광원부(130)는 컬러 카메라(110) 및 렌즈(120)의 중심선과 동일선상에 있는 동축 조명이고, 동축 조명에서 디바이스(200)로 조사된 후 반사된 빛이 렌즈(120)를 통해 컬러 카메라(110)의 이미지 센서에 도달한다. 제1 광원부(130)는 상기 제1 컬러로서 예를 들어, LED의 블루(blue) 색상을 이용하고, 디바이스(200)의 에칭면 이물, 스크래치, 솟음, 휨 등을 검출하는 브라이트 필드 라이트(Bright field light)라고 할 수 있다.
As shown in FIG. 2, the
제2 광원부(140)는 결함을 측정하고자 하는 디바이스(200)의 측면에서 제2 컬러의 광원을 조사한다. 제2 컬러의 광원은 측면에서 보았을 때, 디바이스(200)의 평면과 10~45도 사이의 각도로 조사되고, 정면에서 보았을 때, 디바이스(200)의 평면과 30~50도의 대칭(교차)된 각도로 구현된다. 따라서 10~45도의 각도를 갖는 구조에서는 디바이스 표면의 이물, 솟음, 찍힘, 스크래치 등의 이물을 검출하도록 구성되며, 그 내에서의 조명의 각도가 30~50도로 구현되는 구조에서는 압연자국이 컬러 카메라(110)의 스캔 방향에 수평이든 수직이든 관계없이 압연자국의 간섭이 없는 형태로 검사가 가능하도록 구성된다. 이와 같이 제2 광원부(140)는 교차형태를 사용함으로써, 압연무늬와 다양한 불량유형의 구분이 가능하므로 오검출을 최소화할 수 있다.The
제2 광원부(140)는 상기 제2 컬러로서 예를 들어 LED의 레드(red) 색상을 이용하고, 디바이스(200)의 미세찍힘, 미세긁힘, 립(Rib) 휘어짐, 표면이물, 찍힘을 검출하는 다크 라이트(Dark light)라고 할 수 있다.
The
제3 광원부(150)는 디바이스(200)의 후면에서 제3 컬러의 광원을 조사한다. 제3 광원부(150)로부터 조사된 제3 컬러의 광원은 디바이스(200)의 홀(hole)을 통해 직접 렌즈(120)를 거쳐 컬러 카메라(110)의 이미지 센서에 도달할 수 있다. 제3 광원부(150)는 상기 제3 컬러로서, 예를 들어 그린(greed) 색상을 이용하고, 디바이스(200)의 경계이물, 형상판정, 크랙(crack) 및 절단을 검출하는 백 라이트(Back light)라고 할 수 있다.
The third
컬러 카메라(110)는 제1 광원부(130), 제2 광원부(140) 및 제3 광원부(150)로부터 동시에 디바이스(200)로 조사된 광원에 의해 반사된 이미지를 컬러 이미지로 촬상한다. 즉, 제1 광원부(130), 제2 광원부(140) 및 제3 광원부(150)에 의해 블루, 레드, 그린 컬러의 광원이 동시에 디바이스(200)에 조사되고, 이에 의해 디바이스(200)로부터 반사된 빛을 컬러 카메라(110)가 컬러 이미지로 한 번에 촬상한다.
The
검출부(170)는 컬러 카메라(110)에 의해 획득한 상기 컬러 이미지를 상기 제1 컬러, 제2 컬러 및 제3 컬러 각각에 대응하는 이미지로 분리하고, 이를 이미지 프로세싱(image processing)을 통해 분석하여, 상기 제1 광원부, 제2 광원부 및 제3 광원부별 결함을 검출하는 역할을 한다.
The
상기 이미지 프로세싱이란, 제1 내지 제3 컬러 각각에 대응하여 분리된 상기 각 이미지의 그레이 레벨에 따른 히스토그램을 획득하고, 이를 상기 디바이스(200)의 원본정보와 비교함으로써, 디바이스(200)의 결함을 검출하는 과정을 의미한다.The image processing is a process of obtaining a histogram according to the gray level of each of the separated images corresponding to each of the first to third colors and comparing the histogram with the original information of the
구체적으로 검출부(170)는 컬러 카메라(110)로부터 획득한 컬러 이미지를 제1 광원부(130), 제2 광원부(140) 및 제3 광원부(150) 각각에 대응하는 디바이스(200)의 전면, 측면 및 후면의 이미지로 분리하고, 이를 제1 컬러, 제2 컬러 및 제3 컬러 각 컬러별 영상으로 구분한다. 즉, 블루 영상, 레드 영상, 그린 영상을 각각 따로 분리한다. 그리고, 각 블루 영상, 레드 영상, 그린 영상을 그레이 변환하고, 그레이 변환된 이미지를 이진화 처리한다. 이진화 처리란 이미지에서 각 화소의 밝기를 기준치를 기준으로 흑색과 백색으로 변환 처리하는 것을 말한다.More specifically, the
이와 같이 검출부(170)는 최종 이진화 처리된 이미지로부터 압연과 표면 이물의 구분이 가능하고, 에칭부의 이물 검사 기능을 확보할 수 있으며, 패턴 형상 분석이 가능하다.Thus, the detecting
상기와 같이 영상 처리후 검출한 불량 이미지를 스캔 이미지와 병합함으로써 어느 좌표에 불량이 검출되었는지 확인할 수 있다. 즉, 검사 결과를 위치적인 좌표로 확인할 수 있다.By combining the defective image detected after the image processing with the scan image as described above, it is possible to confirm which coordinate is defective. That is, the inspection result can be confirmed by the positional coordinates.
종래에는 단일 색상의 광원을 통해 디바이스의 결함을 한정적으로 검출할 수 있던 반면, 본 발명의 실시 예에 따른 디바이스 결함 검출장치는 상기와 같은 방법으로 파장이 서로 다른 광원 즉, 블루, 레드, 그린 광원들 각각에 의해서만 검출될 수 있는 디바이스의 결함을 한 번의 촬상으로 모두 검출할 수 있다.
The device defect detection apparatus according to the embodiment of the present invention can detect a defect of a device through a light source of a single color in a conventional manner, It is possible to detect all the defects of the device which can be detected only by each of the defective pixels by one imaging.
렌즈(120)는 디바이스(200)의 실상영상을 확대 또는 축소시켜 투과시킨다. 렌즈(120)는 제1 광원부(130), 제2 광원부(140) 및 제3 광원부(150)로부터 디바이스(200)로 조사되어 반사된 빛을 모아 컬러 카메라(110)의 이미지 센서로 집광시킨다.
The
재귀반사시트(160)는 제1 광원부(130)로부터 디바이스(200)로 조사된 빛의 정반사각에 대응하는 위치에 구비되어, 이에 반사된 빛을 컬러 카메라(110)로 보낸다. 즉, 제1 광원부(130)로부터 디바이스(200)로 조사된 빛이 정반사 각에 위치한 재귀반사시트(160)로 입사되어, 다시 디바이스(200)로 반사된 빛을 컬러 카메라(110)로 보내게 된다. 이로 인해 컬러 카메라(110)에 촬상된 이미지의 강도(intensity)가 향상되고, 이에 의해 요철 불량(찍힘, 눌림, 솟음, 표면의 이물질 등)의 구분력을 높일 수 있다.
The
제어부(180)는 결함 검출 대상인 디바이스(200)의 특성에 따라서 제1 광원부(130), 제2 광원부(140) 및 제3 광원부(150)를 제어하여 상기 제1 컬러, 제2 컬러 및 제3 컬러의 강도(intensity)를 변경할 수 있다. 여기서 제어부(180)는 디바이스 특성으로서 표면 재질, 반사도 및 투과도 중 적어도 하나를 고려할 수 있다. 뿐만 아니라 제어부(180)는 제1 광원부(130), 제2 광원부(140) 및 제3 광원부(150)로부터 조사되는 광원의 색상, 입사각도, 광원의 위치 등을 조절할 수 있다.
The
이하, 도 7을 참조하여 본 발명의 실시 예에 따른 디바이스 결함 검출 설정 방법에 대해 설명하기로 한다. Hereinafter, a device defect detection setting method according to an embodiment of the present invention will be described with reference to FIG.
먼저, 단계 S110에서 제어부(180)는 결함 검출 대상인 디바이스의 특성을 설정한다. 디바이스의 특성은 표면 재질, 반사도 및 투과도 등 중 적어도 하나를 포함할 수 있다.First, in step S110, the
단계 S120에서 제어부(180)는 디바이스의 전면, 측면 및 후면 각각에서 서로 다른 파장의 광원을 동시에 디바이스로 조사시킨다. 즉, 제1 광원부(130), 제2 광원부(140) 및 제3 광원부(150)를 제어하여 각각에서 서로 다른 파장의 광원이 디바이스로 동시에 조사되게 한다. 예를 들어, 디바이스의 전면, 측면 및 후면 각각에서 LED의 블루 색상, 레드 색상 및 그린 색상의 광원을 동시에 디바이스로 조사할 수 있다. In step S120, the
단계 S130에서 제어부(180)는 디바이스로부터 반사된 빛을 컬러 카메라로 입사시켜, 이미지 센서를 통해 상기 디바이스에 대한 촬상 이미지를 획득한다.In step S130, the
단계 S140에서 제어부(180)는 상기 촬상 이미지 분석을 통해 결함 검출률을 획득하고, 이를 데이터베이스에 저장한다.In step S140, the
단계 S150에서 제어부(180)는 이전에 설정된 광원들의 강도의 비율과 다르게 비율을 변경하고, 강도의 비율이 변경된 광원들을 상기와 같은 방법으로 디바이스에 조사시킨다. 이후 상기와 동일한 방법으로 컬러 카메라를 통해 반사된 빛을 입사시키고, 이미지 센서를 통해 상기 디바이스에 대한 촬상 이미지를 획득하며, 촬상 이미지 분석을 통해 결함 검출률을 획득하고, 이를 데이터 베이스에 저장한다.In step S150, the
단계 S160에서 제어부(180)는 상기 단계 S140 및 단계 S150에서 획득한 다양한 강도 비율에 따른 결함 검출률들 중에 가장 높은 결함 검출률을 선택하고, 이에 해당하는 광원들의 강도 비율을 최상의 광원들의 강도 비율로 선택한다.In step S160, the
단계 S170에서 제어부(180)는 단계 S160에서 선택된 최상의 광원들의 강도 비율을 단계 S110에서 설정된 디바이스 특성과 맵핑하여 설정 및 저장된다.In step S170, the
또한 특정 디바이스에 대해 결함 검출시, 제어부(180)는 상기와 같은 방법에 의해 미리 설정된 광원들의 강도 비율을 이용하여 디바이스의 결함을 검출하는데 적용할 수 있다. Also, when a defect is detected for a specific device, the
이때 미리 설정된 광원들은 광원부를 각각 단독, 합동, 전체광원부를 사용할 수 있다.In this case, the predetermined light sources may use a single light source unit, a combined light source unit, and a whole light source unit.
즉 상기 검사대상체에 광원을 적용할 때 제1 광원부, 제2 광원부, 제3 광원부 각각의 광원부를 적용해 조명하는 단독조명과, 두 개의 광원부를 합쳐서 조명하는 합동조명과, 세 개의 모든 광원부를 합쳐서 조명하는 전체조명으로 나누어 조명할 수 있다.
That is, when the light source is applied to the inspection object, the single illumination for applying and illuminating the light sources of the first light source unit, the second light source unit and the third light source unit, the joint light for combining the two light source units, It can be divided into whole lights to illuminate.
상기 단독조명은 제 1 광원부을 적용해 조명하는 제1단독조명과, 제 2 광원부을 적용해 조명하는 제2단독조명과, 제3 광원부을 적용해 조명하는 제3단독조명이며, 상기 합동조명은 제1 광원부와 제2 광원부를 동시에 조명하는 제1합동조명과, 제 1 광원부와 제 3 광원부를 동시에 조명하는 제2합동조명과, 제 2 광원부와 제 3 광원부를 동시에 조명하는 제3합동조명이고, 전체조명은 제1 광원부와 상기 제2 광원부와 상기 제3 광원부를 모두 조명할 수 있다.
Wherein the single illumination is a single single illumination for applying and illuminating the first light source portion, a second single illumination for applying and illuminating the second light source portion, and a third single illumination for applying and illuminating the third light source portion, And a third joint illumination for simultaneously illuminating the second light source section and the third light source section, and the second joint light for simultaneously illuminating the entire light source section and the second light source section, Can illuminate both the first light source unit, the second light source unit, and the third light source unit.
상기 단독조명은 제 1 광원부을 적용해 조명하는 제1단독조명과, 제 2 광원부을 적용해 조명하는 제2단독조명과, 제3 광원부을 적용해 조명하는 제3단독조명이며, 상기 합동조명은 제1 광원부와 제2 광원부를 동시에 조명하는 제1합동조명과, 제 1 광원부와 제 3 광원부를 동시에 조명하는 제2합동조명과, 제 2 광원부와 제 3 광원부를 동시에 조명하는 제3합동조명이고, 전체조명은 제1 광원부와 상기 제2 광원부와 상기 제3 광원부를 모두 조명하는 조명일 수 있다. Wherein the single illumination is a single single illumination for applying and illuminating the first light source portion, a second single illumination for applying and illuminating the second light source portion, and a third single illumination for applying and illuminating the third light source portion, And a third joint illumination for simultaneously illuminating the second light source section and the third light source section, and the second joint light for simultaneously illuminating the entire light source section and the second light source section, May be an illumination that illuminates both the first light source unit, the second light source unit, and the third light source unit.
이때 최적의 이미지를 얻기 위한 조명을 결정하는 방법은 획득된 이미지로 이진화 하여 결정할 수 있으며, 이미지 프로세싱시에 인접한 픽셀간의 레벨차이가 잘 나타나므로, 소프트웨어적으로 외형형상이나 결함 등을 잘 검출할 수 있음은 당연하다.In this case, the method of determining the illumination for obtaining the optimal image can be determined by binarizing the acquired image, and since the level difference between adjacent pixels is well displayed at the time of image processing, it is possible to detect the shape and defects Of course.
이때 이진화된 이미지를 통해 인접한 픽셀간의 레벨차이를 값을 검출하여 이러한 레벨차이의 평균값이 소정의 값 이상이면 최적의 이미지로 결정한다. At this time, a value of the level difference between adjacent pixels is detected through the binarized image, and if the average value of the level difference is a predetermined value or more, the optimal image is determined.
이러한 근거는 인접한 픽셀간의 레벨차이가 클 경우 해당이미지에 존재하는 결함 혹은 필요없는 형상 등을 소프트웨어적으로 잘 검출할 수 있기 때문이다.The reason for this is that if the level difference between adjacent pixels is large, defects existing in the image or unnecessary shapes can be detected with good software.
이를 수식으로 설명하면 아래와 같다.
The formula is described below.
여기서 here
i=1...N+1 : i 번째 픽셀의 인덱스값 i = 1 ... N + 1: Index value of the ith pixel
N : N 번째 픽셀을 의미함, N: means the Nth pixel,
Z : 전체 픽셀에서 인접픽셀간의 레벨차이의 평균값 Z: average value of level difference between adjacent pixels in all pixels
: i 번째 픽셀의 광강도값,
: the light intensity value of the i-th pixel,
위 식에서 Z 는 전제픽셀(N+1)에서 이진화 했을 때 각 인접픽셀간의 레벨차이의 평균값을 나타내며, 이때 레벨차이는 일반적으로 광강도의 차이를 의미하는 경우가 대부분이다.
In the above equation, Z represents the average value of the level difference between adjacent pixels when binarized in the total pixel (N + 1). In this case, the level difference usually indicates a difference in light intensity.
이때 획득한 Z 값이 일정수치 이상일 경우 이진화로 인한 명암이 차이가 뚜렷함을 정량적으로 표현할 수 있으므로, 이러한 과정을 거쳐 해당 디바이스 혹은 해당 위치에 대한 최적의 조명을 결정할 수 있다.
At this time, when the obtained Z value is more than a predetermined value, it is quantitatively expressed that the difference in brightness due to binarization is distinct. Thus, optimal illumination for the device or the corresponding position can be determined through this process.
또한 전체조명은 최소각 광원부와 상기 중간각 광원부와 상기 최대각 광원부를 모두 조명하는 조명일 수 있다.
Also, the overall illumination may be an illumination for illuminating both the minimum light source unit, the intermediate angle light source unit, and the maximum light source unit.
이상에서 살펴본 바와 같이 본 발명에 따른 디바이스 결함 검출장치에 따르면, 조명방식 및 색상별로 검출되는 디바이스의 다양한 결함들을 1회 촬상을 통해 획득함으로써, 검사시간을 최소화할 수 있다. 또한, 디바이스의 측면에서 조명을 교차형태로 사용함으로써, 압연무늬와 다양한 불량유형의 구분이 가능하게 되어 오검출을 줄일 수 있다. 더불어, 재귀반사시트를 이용하여 조명효율을 높일 수 있고, 이에 의해 요철불량(찍힘, 눌림, 솟음, 표면 이물 등)의 변별력을 높여 검출의 효율을 높일 수 있다.
As described above, according to the device defect detection apparatus of the present invention, it is possible to minimize the inspection time by acquiring various defects of the device, which are detected by the illumination method and the color, through one image pick-up. Further, by using the illumination in the form of an intersection at the side of the device, it is possible to distinguish between the rolled pattern and various types of defects, so that erroneous detection can be reduced. In addition, the retroreflective sheet can be used to enhance the illumination efficiency, thereby increasing the discrimination power of the irregularities (stamping, pressing, rising, surface foreign matter, etc.) and improving the detection efficiency.
한편, 본 명세서와 도면을 통해 본 발명의 바람직한 실시 예들에 대하여 설명하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것일 뿐, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 발명된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. , And are not intended to limit the scope of the present invention. It will be apparent to those skilled in the art that other modifications based on the technical idea of the present invention may be practiced without departing from the invention as set forth herein.
100: 디바이스 결함 검출장치 110: 컬러 카메라
120: 렌즈 130: 제1 광원부
140: 제2 광원부 150: 제3 광원부
160: 재귀반사시트 170: 검출부
180: 제어부 200: 디바이스
100: Device defect detection device 110: Color camera
120: lens 130: first light source part
140: second light source part 150: third light source part
160: Retroreflective sheet 170: Detector
180: control unit 200:
Claims (14)
상기 디바이스의 전면, 측면 및 후면 각각에서 서로 다른 파장의 제1 광원, 제2 광원 및 제3 광원을 상기 디바이스로 동시에 조사하는 제1 광원부, 제2 광원부 및 제3 광원부;
상기 제1 광원부, 제2 광원부 및 제3 광원부들 중에서 하나이상의 광원을 상기 디바이스로 조사하고 상기 디바이스로 조사된 광원에 의해 획득된 이미지를 컬러 이미지로 촬상하는 컬러 카메라; 및
상기 컬러 이미지를 상기 제1 광원, 제2 광원 및 제3 광원의 파장 각각에 대응하는 이미지로 분리하고, 이를 이미지 프로세싱(image processing)을 통해 분석하여, 상기 제1 광원부, 제2 광원부 및 제3 광원부별 결함을 검출하는 검출부;를 포함하여 구성되되,
결함 검출 대상인 상기 디바이스의 특성에 따라서 상기 제1 광원부, 제2 광원부 및 제3 광원부를 제어하여 상기 제1 광원, 제2 광원 및 제3 광원의 강도(intensity)를 변경하는 제어부를 더 포함하며
상기 제어부는 상기 제1 광원부, 제2 광원부 및 제3 광원부로부터 조사되는 광원의 색상, 입사각도, 광원의 위치 중 적어도 하나를 조절하고
상기 제1 광원은 LED의 블루(blue)색상을 이용하고, 상기 디바이스의 에칭면 이물, 스크래치, 솟음, 휨을 검출하는 브라이트 필드 라이트(Bright field light)이며,
상기 제2 광원은 LED의 레드(red) 색상을 이용하고, 상기 디바이스의 미세찍힘, 미세긁힘, 립(Rib) 휘어짐, 표면이물 및 찍힘을 검출하는 다크 라이트(Dark light)이고,
상기 제3 광원은 LED의 그린(greed) 색상을 이용하고, 상기 디바이스의 경계이물, 형상판정, 크랙(crack) 및 절단을 검출하는 백 라이트(Back light)이며
상기 제1 광원부, 상기 제2 광원부, 상기 제3 광원부를 검사대상체에 각각의 광원부만을 적용해 조명하는 단독조명과, 두 개의 광원부를 합쳐서 조명하는 합동조명과, 세 개의 모든 광원부를 합쳐서 조명하는 전체조명으로 나누어 조명하되,
상기 단독조명은 제 1 광원부을 적용해 조명하는 제1단독조명과, 제 2 광원부을 적용해 조명하는 제2단독조명과, 제3 광원부을 적용해 조명하는 제3단독조명이며, 상기 합동조명은 제1 광원부와 제2 광원부를 동시에 조명하는 제1합동조명과, 제 1 광원부와 제 3 광원부를 동시에 조명하는 제2합동조명과, 제 2 광원부와 제 3 광원부를 동시에 조명하는 제3합동조명이고, 전체조명은 제1 광원부와 상기 제2 광원부와 상기 제3 광원부를 모두 조명하는 조명으로서,
상기 검사대상체에 조명하는 것은 상기 제1단독조명과, 상기 제2단독조명과, 상기 제3단독조명과, 상기 제1합동조명과, 상기 제2합동조명과, 상기 제3합동조명과, 상기 전체조명중의 하나 이상의 조명을 적용하여 조명하는 것을 특징으로 하는 디바이스 결함 검출장치.
Irradiating the device with a light source having different wavelengths on the front, side and rear sides of the device, imaging the reflected image by the light source irradiated by the device into the color image, And analyzing the image through image processing to detect a defect for each light source,
A first light source part, a second light source part and a third light source part for simultaneously irradiating the device with a first light source, a second light source and a third light source having different wavelengths on the front, side and rear sides of the device;
A color camera that irradiates one or more light sources from the first light source unit, the second light source unit, and the third light source units to the device and images an image obtained by the light source irradiated to the device into a color image; And
Separating the color image into images corresponding to respective wavelengths of the first light source, the second light source, and the third light source, and analyzing the color image through image processing to generate the first light source portion, the second light source portion, And a detector for detecting a defect of each light source unit,
And a control unit for controlling intensity of the first light source, the second light source and the third light source by controlling the first light source unit, the second light source unit and the third light source unit according to the characteristics of the device,
The controller controls at least one of a color, an incident angle, and a position of a light source irradiated from the first, second, and third light sources,
The first light source is a bright field light that utilizes the blue color of the LED and detects an etched surface of the device, scratches,
The second light source is a dark light that uses a red color of an LED and detects fine marks, fine scratches, rib bending, and water on the surface of the device,
The third light source is a back light that utilizes the greed color of the LED and detects the boundary of the device, shape determination, crack and cut
A single illumination unit for illuminating the first light source unit, the second light source unit, and the third light source unit by applying only the respective light source units to the inspection object body; joint lights for combining and illuminating the two light source units; Lighting divided into lights,
Wherein the single illumination is a single single illumination for applying and illuminating the first light source portion, a second single illumination for applying and illuminating the second light source portion, and a third single illumination for applying and illuminating the third light source portion, And a third joint illumination for simultaneously illuminating the second light source section and the third light source section, and the second joint light for simultaneously illuminating the entire light source section and the second light source section, Is an illumination for illuminating both the first light source portion, the second light source portion and the third light source portion,
Wherein illuminating the inspection object body comprises illuminating the first single illumination, the second single illumination, the third single illumination, the first joint illumination, the second joint illumination, the third joint illumination, Wherein at least one of the lights in the entire illumination is applied to illuminate the device.
상기 제어부는 상기 디바이스의 특성으로서 표면 재질, 반사도, 투과도 중 적어도 하나를 고려하는 것을 특징으로 하는, 디바이스 결함 검출장치.
The method according to claim 1,
Wherein the control unit considers at least one of surface material, reflectivity, and transmittance as characteristics of the device.
상기 제1 광원부로부터 상기 디바이스로 조사된 빛의 정반사각에 대응하는 위치에 구비되어, 이에 반사된 빛을 상기 컬러 카메라로 보내는 재귀반사시트를 더 포함하는 것을 특징으로 하는, 디바이스 결함 검출장치.The method according to claim 1,
Further comprising a retroreflective sheet provided at a position corresponding to a square of the angle of the light irradiated from the first light source unit to the device and for transmitting the reflected light to the color camera.
상기 제1 광원부, 제2 광원부 및 제3 광원부로부터 상기 디바이스로 조사되어 반사된 빛을 모아 상기 컬러 카메라의 이미지 센서로 집광시키는 렌즈를 더 포함하는 것을 특징으로 하는, 디바이스 결함 검출장치.The method according to claim 1,
Further comprising a lens for collecting the light reflected by the device from the first light source part, the second light source part, and the third light source part and collecting the reflected light to an image sensor of the color camera.
제2 광원부는 측면에서 보았을 때 상기 광원이 상기 디바이스의 평면과 10~45 각도로 구현되고, 정면에서 보았을 때 상기 광원이 상기 디바이스의 평면과 30~50도의 대칭된 각도로 구현되는 것을 특징으로 하는, 디바이스 결함 검출장치.
The method according to claim 1,
The second light source unit is configured such that the light source is realized at an angle of 10 to 45 degrees with respect to the plane of the device when seen from the side and the light source is realized at a symmetric angle of 30 to 50 degrees with the plane of the device when viewed from the front side , Device defect detection device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150030315A KR101679205B1 (en) | 2015-03-04 | 2015-03-04 | Device for detecting defect of device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150030315A KR101679205B1 (en) | 2015-03-04 | 2015-03-04 | Device for detecting defect of device |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160108644A KR20160108644A (en) | 2016-09-20 |
KR101679205B1 true KR101679205B1 (en) | 2016-12-07 |
Family
ID=57102203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150030315A KR101679205B1 (en) | 2015-03-04 | 2015-03-04 | Device for detecting defect of device |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101679205B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10788528B2 (en) | 2018-02-27 | 2020-09-29 | Samsung Electronics Co., Ltd. | Crack detection chip and crack detection method using the same |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101987548B1 (en) * | 2017-11-08 | 2019-06-10 | 고려대학교 산학협력단 | Microscope system |
CN111476750B (en) * | 2019-01-04 | 2023-09-26 | 宁波舜宇光电信息有限公司 | Method, device, system and storage medium for detecting stain of imaging module |
CN110575966B (en) * | 2019-10-16 | 2024-03-26 | 苏州微感网络科技有限公司 | High reflection of light object surface defect detection device |
KR102546969B1 (en) * | 2021-06-23 | 2023-06-23 | 주식회사 에프에스티 | Particle and Plating Defect Inspection Method |
JP7110462B1 (en) * | 2021-09-17 | 2022-08-01 | Ckd株式会社 | Substrate hair inspection device and substrate hair inspection method |
KR102662889B1 (en) * | 2023-01-31 | 2024-05-03 | 주식회사 크레셈 | Apparatus For Inspection of Particle of Copper Sheet |
CN117825382B (en) * | 2023-12-29 | 2024-07-23 | 东莞康视达自动化科技有限公司 | Surface defect detection device and detection method for photovoltaic adhesive film |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006105816A (en) * | 2004-10-06 | 2006-04-20 | Kokusai Gijutsu Kaihatsu Co Ltd | Article inspecting device and article inspection method |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101026930B1 (en) | 2008-10-09 | 2011-04-04 | 이신부 | A hydroelectric plant |
KR101006983B1 (en) * | 2008-11-10 | 2011-01-12 | 주식회사 쓰리비 시스템 | detecting apparatus for panel |
KR101228298B1 (en) | 2011-01-17 | 2013-01-31 | (주)미르 알엔티 | Rotation apparatus for hydraulic power generation and Hydraulic power generation apparatus equipped therewith |
JP2014102208A (en) * | 2012-11-21 | 2014-06-05 | Topcon Corp | Appearance inspection device, and appearance inspection method |
KR101606720B1 (en) * | 2013-08-12 | 2016-03-28 | 주식회사 수아랩 | Three-dimensional surface measuring apparatus and method thereof |
-
2015
- 2015-03-04 KR KR1020150030315A patent/KR101679205B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006105816A (en) * | 2004-10-06 | 2006-04-20 | Kokusai Gijutsu Kaihatsu Co Ltd | Article inspecting device and article inspection method |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10788528B2 (en) | 2018-02-27 | 2020-09-29 | Samsung Electronics Co., Ltd. | Crack detection chip and crack detection method using the same |
US11740276B2 (en) | 2018-02-27 | 2023-08-29 | Samsung Electronics Co., Ltd. | Crack detection chip and crack detection method using the same |
Also Published As
Publication number | Publication date |
---|---|
KR20160108644A (en) | 2016-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101679205B1 (en) | Device for detecting defect of device | |
CN108445007B (en) | Detection method and detection device based on image fusion | |
US10890537B2 (en) | Appearance inspection device, lighting device, and imaging lighting device | |
CA2615117C (en) | Apparatus and methods for inspecting a composite structure for inconsistencies | |
JP2010112941A (en) | Surface inspection apparatus | |
JP2010107254A (en) | Device and method for inspecting led chip | |
KR100742003B1 (en) | Surface defect inspecting method and device | |
KR20150091216A (en) | Inspection apparatus and inspection method | |
CN108090890B (en) | Inspection device and inspection method | |
JP6078286B2 (en) | Appearance inspection apparatus and appearance inspection method | |
TW201928287A (en) | Wire shape inspecting device and wire shape inspecting method | |
JP2008170256A (en) | Flaw detection method, flaw detection program and inspection device | |
JP2011208941A (en) | Flaw inspection device and flaw inspection method | |
CN114324344A (en) | Non-lambert surface inspection system for line scanning | |
JP2020112367A (en) | Wafer inspection device | |
WO2005100960A1 (en) | Surface defect examining device | |
JP4398282B2 (en) | Pantograph slip board inspection device. | |
KR102632169B1 (en) | Apparatus and method for inspecting glass substrate | |
JP4184511B2 (en) | Method and apparatus for defect inspection of metal sample surface | |
CN107727654B (en) | Film detection method, device and system | |
JP5787668B2 (en) | Defect detection device | |
JP2015200544A (en) | Surface irregularity inspection device and surface irregularity inspection method | |
JP3454162B2 (en) | Inspection system for flat plate with holes | |
JP6509146B2 (en) | Inspection apparatus and inspection method | |
TWI447382B (en) | Wood inspection methods and apparatus and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20191111 Year of fee payment: 4 |