KR20160149106A - Component inspecting method and apparatus - Google Patents

Component inspecting method and apparatus Download PDF

Info

Publication number
KR20160149106A
KR20160149106A KR1020150086184A KR20150086184A KR20160149106A KR 20160149106 A KR20160149106 A KR 20160149106A KR 1020150086184 A KR1020150086184 A KR 1020150086184A KR 20150086184 A KR20150086184 A KR 20150086184A KR 20160149106 A KR20160149106 A KR 20160149106A
Authority
KR
South Korea
Prior art keywords
dimensional
image
defect
component
free
Prior art date
Application number
KR1020150086184A
Other languages
Korean (ko)
Other versions
KR101717768B1 (en
Inventor
윤준혁
김규년
Original Assignee
주식회사 쓰리디산업영상
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 쓰리디산업영상 filed Critical 주식회사 쓰리디산업영상
Priority to KR1020150086184A priority Critical patent/KR101717768B1/en
Priority to PCT/KR2016/004634 priority patent/WO2016204402A1/en
Publication of KR20160149106A publication Critical patent/KR20160149106A/en
Application granted granted Critical
Publication of KR101717768B1 publication Critical patent/KR101717768B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G01N23/043—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using fluoroscopic examination, with visual observation or video transmission of fluoroscopic images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/03—Investigating materials by wave or particle radiation by transmission
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/10—Different kinds of radiation or particles
    • G01N2223/101—Different kinds of radiation or particles electromagnetic radiation
    • G01N2223/1016—X-ray
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/401—Imaging image processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/408—Imaging display on monitor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/41—Imaging imaging specifically internal structure
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/414—Imaging stereoscopic system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/42—Imaging image digitised, -enhanced in an image processor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/646—Specific applications or type of materials flaws, defects

Abstract

Disclosed are a component defect inspection method and apparatus. The component defect inspection method apparatus obtains a three-dimensional flawless image and a two-dimensional inspection image of a component, generating a two-dimensional reference image from the three-dimensional flawless image based on the photographing conditions having a photographing angle of the two-dimensional inspection image, and then determining whether a component has a defect by comparing the two-dimensional inspection image with the two-dimensional reference image.

Description

부품 결함 검사 방법 및 그 장치{Component inspecting method and apparatus}Technical Field [0001] The present invention relates to a component inspecting method and apparatus,

본 발명은 산업용 부품의 결함을 검사하는 방법 및 그 장치에 관한 것으로서, 보다 상세하게는 부품의 3차원 영상과 2차원 투과 영상을 기초로 부품 내부의 결함을 검사하는 방법 및 그 장치에 관한 것이다. The present invention relates to a method and an apparatus for inspecting defects of an industrial part, and more particularly, to a method and an apparatus for inspecting defects inside a part based on a three-dimensional image and a two-dimensional transmission image of the part.

각종 산업용 부품 내부의 기공, 크랙, 부품 누락 등의 결함을 파악하는 종래의 일반적인 방법은 엑스레이(X-ray) 영상과 같은 2차원 투과 영상을 분석하는 방법이다. 그러나 2차원 투과 영상을 검사자가 일일이 확인하여 결함 여부를 파악하는 데에는 한계가 있다.Conventional general methods for detecting defects such as pores, cracks, and omissions in parts in various industrial parts are methods of analyzing two-dimensional transmission images such as X-ray images. However, there is a limit in detecting the defect by checking the two-dimensional transmission image one by one.

공개특허공보 제2015-0056148호Published Japanese Patent Application No. 2015-0056148

본 발명이 이루고자 하는 기술적 과제는, 부품의 2차원 투과 영상과 무결점 기준 영상의 비교를 통해 결함 여부 판단의 신뢰성을 높일 뿐만 아니라, 결함 여부 판단에 사용되는 무결점 기준 영상을 용이하게 생성할 수 있는 부품 결함 검사 방법 및 그 장치를 제공하는 데 있다. SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and it is an object of the present invention to provide a defect inspection apparatus and a defect inspection method which can improve the reliability of defect determination by comparing a two- And a defect inspection method and apparatus therefor.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 부품 결함 검사 방법의 일 예는, 부품의 3차원 무결점 영상을 획득하는 단계; 2차원 부품 검사 영상을 획득하는 단계; 상기 2차원 부품 검사 영상의 촬영각도를 포함한 촬영조건을 기초로, 상기 3차원 무결점 영상으로부터 2차원 기준 영상을 생성하는 단계; 및 상기 2차원 부품 검사 영상과 상기 2차원 기준 영상을 비교하여 부품의 결함 여부를 판단하는 단계;를 포함한다.According to another aspect of the present invention, there is provided a defect inspection method for a component, comprising: obtaining a three-dimensional defect free image of the component; Obtaining a two-dimensional parts inspection image; Generating a two-dimensional reference image from the three-dimensional defect free image based on a photographing condition including an angle of view of the two-dimensional component inspection image; And comparing the two-dimensional component inspection image with the two-dimensional reference image to determine whether the component is defective.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 부품 결함 검사 방법의 다른 예는, 부품의 2차원 투과 영상과 3차원 무결점 영상을 획득하는 단계; 상기 2차원 투과 영상의 이미지 분석을 통해 일정 크기 이상의 잡음 영역의 존부를 기초로 1차 부품 결함 여부를 판단하는 단계; 상기 2차원 투과 영상의 촬영 각도를 포함하는 촬영조건을 기초로, 상기 3차원 무결점 영상으로부터 상기 2차원 투과 영상의 전부 또는 일부와 대비할 무결점의 2차원 기준 영상을 생성하는 단계; 및 상기 2차원 투과 영상의 전부 또는 일부와 상기 2차원 기준 영상을 비교하여 2차 부품 결함 여부를 판단하는 단계;를 포함한다.According to another aspect of the present invention, there is provided a defect inspection method for a component, including: obtaining a two-dimensional transmission image and a three-dimensional defect free image of the component; Determining whether a primary component is defective based on the presence or absence of a noise region of a predetermined size or larger through image analysis of the two-dimensional transmission image; Generating a two-dimensional reference image having no defect point to be compared with all or a part of the two-dimensional transmission image from the three-dimensional defect free image, based on an imaging condition including an angle of view of the two-dimensional transmission image; And comparing the whole or part of the two-dimensional transmission image with the two-dimensional reference image to determine whether the secondary component is defective.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 부품 결함 검사 장치의 일 예는, 부품의 3차원 무결점 영상을 획득하는 3차원 영상 획득부; 부품의 2차원 투과 영상을 획득하는 2차원 영상 획득부; 상기 2차원 투과 영상의 촬영각도를 포함한 촬영조건을 기초로, 상기 3차원 무결점 영상으로부터 2차원 기준 영상을 생성하는 기준영상 생성부; 및 상기 2차원 투과 영상과 상기 2차원 기준 영상을 비교하여 부품의 결함 여부를 판단하는 결함 판단부;를 포함한다.According to an aspect of the present invention, there is provided a defect inspection apparatus for a part, including: a three-dimensional image acquiring unit for acquiring a three-dimensional defect free image of a part; A two-dimensional image acquiring unit for acquiring a two-dimensional transmission image of the part; A reference image generator for generating a two-dimensional reference image from the 3D defect-free image based on a photographing condition including an angle of view of the two-dimensional transmission image; And a defect determination unit comparing the two-dimensional transmission image with the two-dimensional reference image to determine whether the component is defective.

본 발명에 따르면, 2차원 투과 영상과 무결점 기준 영상과의 비교를 통해 결함 여부 판단의 신뢰성을 높인다. 또한 2차원 투과 영상과 대비할 무결점 기준 영상을 3차원 영상으로부터 용이하게 얻을 수 있어, 2차원 투과 영상의 촬영 위치나 각도에 따른 각각의 무결점 기준 영상을 별도로 촬영하여 저장할 필요가 없다. According to the present invention, the reliability of the defect determination is improved by comparing the two-dimensional transmission image with the defect free reference image. Also, since a defect-free reference image to be compared with a two-dimensional transmission image can be easily obtained from a three-dimensional image, it is not necessary to photograph separately and store each defect-free reference image according to a photographing position or angle of the two-

도 1은 본 발명에 따른 부품 결함 검사를 위한 2차원 투과 영상을 획득하는 방법의 일 예를 도시한 도면,
도 2는 본 발명에 따른 부품 결함 검사를 위한 3차원 영상을 획득하는 방법의 일 예를 도시한 도면,
도 3은 본 발명에 따른 부품 결함 검사 장치의 일 실시 예의 구성을 도시한 도면,
도 4a 내지 도4c는 본 발명에 따른 부품 결함 검사를 위하여 촬영한 2차원 투과 영상의 일 예를 도시한 도면,
도 5는 본 발명에 따른 부품 결함 검사를 위하여 촬영한 3차원 무결함 영상의 일 예를 도시한 도면,
도 6은 본 발명에 따른 부품 결함 검사를 위하여 3차원 무결함 영상으로부터 2차원 기준 영상을 생성하는 방법의 일 예를 도시한 도면,
도 7은 도 6의 방법을 통해 생성한 2차원 기준 영상의 일 예를 도시한 도면,
도 8은 본 발명에 따른 부품 결함 검사를 위한 영상 비교 방법의 일 예를 도시한 도면,
도 9는 본 발명에 따른 본 발명에 따른 부품 결함 검사를 위하여 3차원 무결함 영상으로부터 2차원 기준 영상을 생성하는 방법의 다른 일 예를 도시한 도면,
도 10은 2차원 투과 영상의 일부에 대해 2차원 기준 영상과 비교하여 결함을 검사하는 방법의 일 예를 도시한 도면,
도 11은 본 발명에 따른 부품 결함 검사 방법의 일 예를 도시한 흐름도,
도 12는 본 발명에 따른 2차원 투과 영상을 분석하여 부품 결함 의심 영역을 검출하는 방법의 일 예를 도시한 흐름도,
도 13a 내지 도 13e는 도 12의 각 단계별 2차원 투과 영상의 이미지 처리 결과의 일 예를 도시한 도면,
도 14는 본 발명에 따른 부품 결함 검사를 위한 2차원 기준 영상을 생성하는 방법의 일 예를 도시한 흐름도,
도 15는 본 발명에 따른 부품 결함 검사를 위한 2차원 기준 영상을 생성하는 방법의 다른 일 예를 도시한 흐름도, 그리고,
도 16은 본 발명에 따른 부품 결함 검사 방법의 다른 일 예를 도시한 흐름도이다.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a view showing an example of a method for acquiring a two-dimensional transmission image for inspection of a component defect according to the present invention;
FIG. 2 illustrates an example of a method for acquiring a three-dimensional image for inspection of a part defect according to the present invention.
3 is a diagram showing a configuration of an embodiment of a component defect inspection apparatus according to the present invention,
FIGS. 4A to 4C are views showing an example of a two-dimensional transmission image taken for a component defect inspection according to the present invention;
5 is a view showing an example of a three-dimensional defect-free image photographed for inspection of a part defect according to the present invention,
6 is a diagram illustrating an example of a method of generating a two-dimensional reference image from a three-dimensional defect-free image for defect inspection of a part according to the present invention.
FIG. 7 is a view showing an example of a two-dimensional reference image generated through the method of FIG. 6;
8 is a diagram illustrating an example of a method of image comparison for a defect inspection of a part according to the present invention.
9 is a diagram illustrating another example of a method of generating a two-dimensional reference image from a three-dimensional defect-free image for defect inspection of a part according to the present invention,
10 is a diagram illustrating an example of a method of comparing a part of a two-dimensional transmission image with a two-dimensional reference image,
11 is a flowchart showing an example of a component defect inspection method according to the present invention,
FIG. 12 is a flowchart illustrating an example of a method for detecting a component defect suspicious region by analyzing a two-dimensional transmission image according to the present invention.
FIGS. 13A to 13E are diagrams showing an example of the image processing result of the two-dimensional transmission image for each step in FIG. 12,
14 is a flowchart showing an example of a method of generating a two-dimensional reference image for inspection of a component defect according to the present invention,
15 is a flowchart showing another example of a method of generating a two-dimensional reference image for inspection of a defect of a part according to the present invention,
16 is a flowchart showing another example of a component defect inspection method according to the present invention.

이하에서, 첨부된 도면들을 참조하여 본 발명에 따른 부품 결함 검사 방법 및 그 장치에 대해 상세히 설명한다. Hereinafter, a component defect inspection method and apparatus according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 부품 결함 검사를 위한 2차원 투과 영상을 획득하는 방법의 일 예를 도시한 도면이다.FIG. 1 is a view showing an example of a method of acquiring a two-dimensional transmission image for inspection of a part defect according to the present invention.

도 1을 참조하면, 검사 대상 부품(100)은 X-ray 등을 방출하는 방사장치(110)와 X-ray 등의 투과 신호를 수신하여 2차원 평면에 기록하는 디텍터(120) 사이에 위치한다. 디텍터(120)는 검사 대상 부품(100)을 투과한 X-ray 등을 기록하여 2차원 투과 영상(즉, X-ray 영상)을 생성한다. 1, a part to be inspected 100 is positioned between a radiator 110 that emits an X-ray or the like and a detector 120 that receives a transmitted signal such as an X-ray and records it on a two-dimensional plane . The detector 120 records an X-ray or the like transmitted through the component to be inspected 100 to generate a two-dimensional transmission image (i.e., an X-ray image).

2차원 투과 영상은 방사장치(110)의 X-ray 튜브 전압이나 디텍터(120)의 노출 시간 등의 촬영조건에 따라 밝기, 컨트라스트(contrast) 등이 변화한다. 또한 도 4a 내지 도 4c와 같이, 부품의 검사 부위(400,410,420)에 따라 방사장치(110)와 디덱터(120) 사이에 위치한 검사 대상 부품(100)의 촬영 위치나 촬영 각도는 서로 다를 수 있다.The two-dimensional transmission image changes in brightness, contrast, and the like depending on the photographing conditions such as the X-ray tube voltage of the radiator 110 and the exposure time of the detector 120. Also, as shown in FIGS. 4A to 4C, the photographing position and the photographing angle of the inspected component 100 positioned between the radiator 110 and the descriptor 120 may be different from each other depending on the inspection sites 400, 410 and 420 of the component.

검사 대상 부품(100)의 촬영 위치, 촬영 각도, 2차원 투과 영상의 밝기, 컨트라스트 등과 같은 다양한 촬영조건은 이후 살펴볼 본 발명에 따른 부품 결함 검사를 위한 무결점의 기준 영상을 생성하는데 활용된다. 촬영조건은 종래의 다양한 방법을 통해 파악될 수 있다. Various photographing conditions such as photographing position, photographing angle, brightness of two-dimensional transmission image, contrast, etc. of the inspection target component 100 are utilized to generate a defect free reference image for a component defect inspection according to the present invention to be described later. The photographing conditions can be grasped by various conventional methods.

예를 들어, 검사 대상 부품(100)은 고정지그(미도시)에 의해 고정되어 방사장치(110)와 디텍터(120) 사이에 위치하며, 고정지그를 회전(2차원 또는 3차원 회전)시켜 도 4a 내지 도 4c와 같은 서로 다른 촬영각도에서 촬영된 2차원 투과 영상을 얻을 수 있다. 이때 사용자가 고정지그의 회전각도(즉, 촬영각도)를 직접 파악하고 부품 결함 검사 장치의 사용자 인터페이스를 통해 이를 입력하거나, 센서가 고정지그의 회전각도를 자동 측정하여 부품 결함 검사 장치에 제공할 수 있다.For example, the part to be inspected 100 is fixed by a fixing jig (not shown) and is positioned between the radiating device 110 and the detector 120. When the fixing jig is rotated (two-dimensional or three-dimensional rotation) A two-dimensional transmission image photographed at different photographing angles as shown in FIGS. 4A to 4C can be obtained. At this time, the user can directly grasp the rotation angle (that is, the shooting angle) of the fixing jig and input it through the user interface of the component defect inspection apparatus, or the sensor can automatically measure the rotation angle of the fixing jig and provide it to the component defect inspection apparatus have.

또 다른 예로, 검사 대상 부품(100)은 그 종류에 따라 방사장치(110)와 디텍터(120) 사이에 위치한 지점이 서로 다를 수 있다. 사용자가 직접 파악한 검사 대상 부품의 위치를 부품 결함 검사 장치에 입력하거나, 각종 센서가 방사장치(110), 검사 대상 부품(100), 디텍터(120) 사이의 각 거리를 측정하여 자동으로 부품 결함 검사 장치에 제공할 수 있다. As another example, depending on the type of the component 100 to be inspected, points located between the radiator 110 and the detector 120 may be different from each other. The position of the inspection object directly detected by the user is inputted to the component defect inspection apparatus or various sensors measure the respective distances between the radiator 110, the inspection object part 100 and the detector 120, Device.

본 실시 예는 2차원 투과 영상의 일 예로 X-ray 영상을 제시하고 있으나 반드시 이에 한정되는 것은 아니며, 종래의 다양한 방법을 통해 2차원 투과 영상을 획득할 수 있다. 또한 실시 예에 따라 검사 대상 부품(100)의 3차원 영상으로부터 2차원 영상을 획득할 수도 있다. Although the present embodiment shows an X-ray image as an example of a two-dimensional transmission image, the present invention is not limited thereto, and a two-dimensional transmission image can be obtained through various conventional methods. Also, a two-dimensional image may be obtained from the three-dimensional image of the part to be inspected 100 according to the embodiment.

도 2는 본 발명에 따른 부품 결함 검사를 위한 3차원 영상을 획득하는 방법의 일 예를 도시한 도면이다.2 is a diagram illustrating an example of a method for acquiring a three-dimensional image for inspection of a part defect according to the present invention.

도 2를 참조하면, 3차원 영상 획득 장치(210)는 무결함 부품(200)의 3차원 영상을 촬영한다. 예를 들어, 3차원 영상 획득 장치(210)는 도 1의 검사 대상 부품과 동종의 무결함 부품(200)에 대한 3차원 영상을 촬영하여 3차원 무결함 영상을 획득한다. 3차원 무결함 영상은 도 1의 검사 대상 부품(100)에 대한 2차원 투과 영상과 비교하여 부품 결함 여부를 판단할 기준 영상을 만드는데 활용된다. Referring to FIG. 2, the 3D image acquisition device 210 photographs a three-dimensional image of the defect-free part 200. For example, the 3D image acquisition apparatus 210 acquires a 3D defect-free image by capturing a 3D image of the defect-free part 200 of the same kind as the part to be inspected of FIG. The three-dimensional defect-free image is compared with the two-dimensional transmission image for the inspection target part 100 of FIG. 1 to make a reference image for determining whether the defect is a part defect.

3차원 영상 획득 장치의 일 예로, 컴퓨터 단층 촬영(CT, Computered Tomography) 장치나 MRI(Magnetic resonance imaging) 장치 등이 있다. 이 외에도 다양한 3차원 영상 획득 장치가 이용될 수 있다. An example of a 3D image acquisition apparatus is a computerized tomography (CT) apparatus or a magnetic resonance imaging (MRI) apparatus. Various other 3D image acquisition devices may be used.

도 3은 본 발명에 따른 부품 결함 검사 장치의 일 실시 예의 구성을 도시한 도면이다.3 is a diagram showing a configuration of an embodiment of a component defect inspection apparatus according to the present invention.

도 3을 참조하면, 부품 결함 검사 장치(300)는 2차원 영상 획득부(310), 3차원 영상 획득부(320), 기준 영상 생성부(330), 결함 판단부(340)를 포함한다.Referring to FIG. 3, the component defect inspection apparatus 300 includes a two-dimensional image acquisition unit 310, a three-dimensional image acquisition unit 320, a reference image generation unit 330, and a defect determination unit 340.

2차원 영상 획득부(310)는 검사 대상 부품의 2차원 투과 영상을 입력받는다. 2차원 투과 영상은 도 1에서 살핀 방법을 포함한 종래의 다양한 방법을 통해 촬영될 수 있다. The two-dimensional image obtaining unit 310 receives the two-dimensional transparent image of the inspection target component. The two-dimensional transmission image can be photographed through various conventional methods including a scanning method in FIG.

3차원 영상 획득부(320)는 무결점 부품에 대한 3차원 영상(이하, 3차원 무결점 영상)을 입력받는다. 3차원 무결점 영상은 도 2에서 살핀 방법을 포함한 종래의 다양한 방법을 통해 촬영될 수 있다. The three-dimensional image obtaining unit 320 receives a three-dimensional image (hereinafter referred to as a three-dimensional zero-defect image) of the non-defective part. The 3D defect free image can be photographed through various conventional methods including the scanning method in FIG.

기준 영상 생성부(330)는 3차원 무결점 영상으로부터 2차원 투과 영상의 전부 또는 일부와 대비할 2차원 기준 영상을 생성한다. 기준 영상 생성부(330)는 3차원 무결점 영상에 대한 2차원 시뮬레이션을 수행하여 2차원 기준 영상을 생성한다. 예를 들어, 2차원 투과 영상이 X-ray 영상이고, 3차원 무결점 영상이 CT 영상인 경우에, 기준 영상 생성부(330)는 3차원 무결점 영상을 DDR(Digitally Reconstructed Radiography) 시뮬레이션을 이용하여 마치 X-ray로 촬영한 것과 같은 2차원 기준 영상을 생성한다. The reference image generating unit 330 generates a two-dimensional reference image to be compared with all or a part of the two-dimensional transmission image from the three-dimensional defect free image. The reference image generator 330 generates a two-dimensional reference image by performing a two-dimensional simulation on the three-dimensional defect free image. For example, when the two-dimensional transmission image is an X-ray image and the 3D defect-free image is a CT image, the reference image generator 330 generates a 3D defect-free image using Digitally Reconstructed Radiography (DDR) And generates a two-dimensional reference image similar to that captured by X-ray.

기준 영상 생성부(330)는 가상의 X-ray 촬영 지점을 설정하여 원하는 촬영각도의 2차원 기준 영상을 생성할 수 있다. 예를 들어, 도 4a 내지 도 4c와 같이 검사 대상 부품에 대한 촬영각도가 다른 여러 장의 2차원 투과 영상이 존재하는 경우에, 기준 영상 생성부(330)는 도 4a 내지 도 4c의 2차원 투과 영상과 대비할 서로 다른 촬영각도의 2차원 기준 영상을 각각 생성할 수 있다. 기준 영상 생성의 구체적인 일 예는 도 6 및 도 9에 도시되어 있다. The reference image generating unit 330 may generate a two-dimensional reference image of a desired photographing angle by setting a virtual X-ray photographing point. For example, when a plurality of two-dimensional transmission images having different photographing angles with respect to a part to be inspected exist as shown in FIGS. 4A to 4C, the reference image generator 330 generates the two- Dimensional reference images having different imaging angles to be compared with each other. A specific example of the reference image generation is shown in Figs. 6 and 9. Fig.

결함 판단부(340)는 2차원 투과 영상과 2차원 기준 영상을 이용하여 부품의 결함 여부를 판단한다. 보다 구체적으로 결함 판단부(340)는 2차원 투과 영상의 이미지 분석과정을 통해 1차 결함 여부를 판단하는 1차 판단부(350)와, 2차원 투과 영상의 전부 또는 일부와 2차원 기준 영상을 비교하여 결함 여부를 판단하는 2차 판단부(360)를 포함한다. 1차 판단부(340)의 결함 판단 방법은 도 12에서 다시 살펴보며, 2차 판단부(370)의 결함 판단 방법은 도 8 및 도 10에서 다시 살펴본다. The defect determination unit 340 determines whether the component is defective by using the two-dimensional transmission image and the two-dimensional reference image. More specifically, the defect determination unit 340 may include a primary determination unit 350 for determining whether a primary defect exists through an image analysis process of a two-dimensional transmission image, a second determination unit 350 for determining all or a part of the two- And a secondary determination unit 360 for determining whether the defect is defective or not. The defect determination method of the primary determination unit 340 will be described with reference to FIG. 12, and the defect determination method of the secondary determination unit 370 will be described with reference to FIG. 8 and FIG.

도 4a 내지 도4c는 본 발명에 따른 부품 결함 검사를 위하여 촬영한 2차원 투과 영상의 일 예를 도시한 도면이다. 4A to 4C are views showing an example of a two-dimensional transmission image taken for inspection of a part defect according to the present invention.

도 4를 참조하면, 동일한 부품이라고 할지라도 검사 대상 부위(400,410,420)에 따라 2차원 투과 영상의 촬영각도 등의 촬영 조건이 변경된다. 따라서 결함 판단을 위한 무결점의 2차원 기준 영상은 2차원 투과 영상의 촬영 조건에 따라 각각 생성되어야 한다. Referring to FIG. 4, the photographing conditions such as the photographing angle of the two-dimensional transmission image are changed according to the inspection target parts 400, 410 and 420 even if they are the same parts. Therefore, a two-dimensional reference image of defect free for defect determination should be generated according to the photographing condition of the two-dimensional transmission image.

도 5는 본 발명에 따른 부품 결함 검사를 위하여 촬영한 3차원 무결함 영상의 일 예를 도시한 도면이다.FIG. 5 is a diagram illustrating an example of a 3D defect-free image photographed for inspection of a component defect according to the present invention.

도 5를 참조하면, 부품 결함 검사 장치는 도 2의 방법 등을 통해 무결함 부품의 3차원 영상(500)을 획득한다. 검사 대상 부품의 2차원 투과 영상은 검사 부위에 따라 서로 다른 촬영 각도에서 여러 장 촬영될 수 있다. 이 경우 각 촬영 각도에 따른 서로 다른 무결점의 2차원 기준 영상이 필요하다. 본 실시 예에서 2차원 투과 영상과 대비할 2차원 기준 영상을 촬영각도에 따라 일일이 촬영하여 저장할 필요없이, 부품 결함 검사 장치는 3차원 무결점 영상으로부터 시뮬레이션을 통해 원하는 촬영각도의 2차원 기준 영상을 용이하게 생성할 수 있다.Referring to FIG. 5, the component defect inspection apparatus obtains a three-dimensional image 500 of a defect-free part through the method of FIG. The two-dimensional transmission image of the part to be inspected can be photographed at a plurality of different photographing angles according to the inspection site. In this case, a two-dimensional reference image having different defect points according to each photographing angle is required. In the present embodiment, a two-dimensional reference image to be compared with a two-dimensional transmission image is not required to be photographed and photographed at every photographing angle, so that the component defect inspection apparatus can easily Can be generated.

도 6은 본 발명에 따른 부품 결함 검사를 위하여 3차원 무결함 영상으로부터 2차원 기준 영상을 생성하는 방법의 일 예를 도시한 도면이고, 도 7은 도 6의 방법을 통해 생성한 2차원 기준 영상의 일 예를 도시한 도면이다.6 is a view illustrating an example of a method of generating a two-dimensional reference image from a three-dimensional defect-free image for inspection of a part defect according to the present invention. As shown in Fig.

도 6 및 도 7을 참조하면, 부품 결함 검사 장치는 검사 대상 부품의 2차원 투과 영상의 촬영 각도 등을 포함한 촬영 조건을 기초로 3차원 무결함 영상에 대한 2차원 시뮬레이션을 수행하여 2차원 기준 영상을 생성한다.6 and 7, the component defect inspection apparatus performs a two-dimensional simulation on a three-dimensional defect-free image based on a photographing condition including a photographing angle of a two-dimensional transmission image of a part to be inspected, .

보다 구체적으로, 부품 결함 검사 장치는 2차원 투과 영상의 촬영거리, 촬영각도 등의 촬영조건을 기초로 3차원 무결점 영상의 2차원 시뮬레이션을 위한 가상의 촬영지점(600)을 설정한다. 그리고 부품 결함 검사 장치는 2차원 투과 영상의 촬영각도에 따라 3차원 무결점 영상을 회전시켜 얻은 가상의 3차원 부품에 대해, 가상 촬영지점(600)에서 방출된 가상 X-ray를 투과시켜 가상 디텍터(610)로 검출하는 2차원 시뮬레이션 과정을 적용하여 2차원 기준 영상(620)을 획득한다. 또한 부품 결함 검사 장치는 검사 대상 부품의 2차원 투과 영상의 밝기, 컨트라스트 등의 촬영조건을 기초로 2차원 기준 영상의 밝기, 컨트라스트 등을 조정할 수 있다. More specifically, the component defect inspection apparatus sets a virtual photographing point 600 for two-dimensional simulation of a three-dimensional defect free image based on photographing conditions such as a photographing distance and a photographing angle of the two-dimensional transmission image. The component defect inspection apparatus transmits a virtual X-ray emitted from the virtual photographing point 600 to a virtual three-dimensional component obtained by rotating the 3D defect-free image according to the photographing angle of the two-dimensional transmission image, 610) to obtain a two-dimensional reference image 620. The two- Further, the component defect inspection apparatus can adjust the brightness, contrast, and the like of the two-dimensional reference image based on photographing conditions such as the brightness and contrast of the two-dimensional transmission image of the inspection target component.

도 8은 본 발명에 따른 부품 결함 검사를 위한 영상 비교 방법의 일 예를 도시한 도면이다.FIG. 8 is a diagram illustrating an example of a method of image comparison for defect inspection of parts according to the present invention.

도 8을 참조하면, 부품 결함 검사 장치는 검사 대상 부품의 2차원 투과 영상(810)을 획득한다. 또한 부품 결함 검사 장치는 2차원 투과 영상(810)과 대비할 무결점의 2차원 기준 영상(800)을 앞서 살핀 도 6의 방법 등을 이용하여 생성한다.Referring to FIG. 8, the component defect inspection apparatus acquires a two-dimensional transmission image 810 of a part to be inspected. In addition, the component defect inspection apparatus generates a defect-free two-dimensional reference image 800 to be compared with the two-dimensional transmission image 810 using the method shown in FIG. 6 or the like.

부품 결함 검사 장치는 2차원 투과 영상(810)과 무결점의 2차원 기준 영상(800)을 비교하여 결함 여부를 판단한다. 예를 들어, 부품 결함 검사 장치는 2차원 투과 영상(810)과 2차원 기준 영상(800)에서 차이가 나는 부위가 있다면 부품 결함으로 판단한다.The part defect inspection apparatus compares the two-dimensional transmission image 810 with the defect-free two-dimensional reference image 800 to determine whether or not the defect is defective. For example, the part defect inspection apparatus judges that there is a part defect if there is a difference between the two-dimensional transmission image 810 and the two-dimensional reference image 800.

부품 결함 검사 장치는 두 영상(800,810)의 벡터 비교 방법을 이용하여 영상의 동일성을 파악하여 부품 결함 여부를 판별할 수 있다. 예를 들어, 부품 결함 검사 장치는 두 영상을 그레이(gray) 영상으로 만든 후 두 그레이 영상의 각 화소 값의 유사도(correlation)를 이용하여 영상의 일치 여부를 파악하는 NCC(Normalized Cross-Correlation) 방법을 이용할 수 있으며, 이를 수학식으로 나타내면 다음과 같다.The component defect inspection apparatus can identify whether the component is defective by determining the identity of the image using the vector comparison method of the two images (800, 810). For example, a component defect inspection apparatus may be a normalized cross-correlation (NCC) method in which two images are converted to a gray image, and then the images are matched using the correlation between the pixel values of the two gray images Which can be expressed as follows.

Figure pat00001
Figure pat00001

여기서, f(x,y), t(x,y)는 각 영상의 좌표(x,y)의 화소 값을 나타내고, n은 총 화소 수, f',t'는 각 영상의 화소 값의 평균 값, σf,σt는 두 영상의 화소 값의 표준편차를 나타낸다. Here, f (x, y) and t (x, y) represent the pixel values of the coordinates (x, y) of each image, n is the total number of pixels, f ' And σ f and σ t represent the standard deviation of the pixel values of the two images.

부품 결함 검사 장치는 이 외에도 종래의 다양한 영상 비교 방법을 이용할 수 있다.The component defect inspection apparatus can use various conventional image comparison methods.

도 9는 본 발명에 따른 본 발명에 따른 부품 결함 검사를 위하여 3차원 무결함 영상으로부터 2차원 기준 영상을 생성하는 방법의 다른 일 예를 도시한 도면이다.9 is a diagram illustrating another example of a method of generating a two-dimensional reference image from a three-dimensional defect-free image for defect inspection of a part according to the present invention.

도 9를 참조하면, 부품 결함 검사 장치는 도 6과 달리, 2차원 투과 영상의 전체와 대비할 2차원 기준 영상을 생성하는 것이 아니라, 2차원 투과 영상의 일부와 대비할 2차원 기준 영상을 생성한다.Referring to FIG. 9, the component defect inspection apparatus generates a two-dimensional reference image to be compared with a part of a two-dimensional transmission image, instead of generating a two-dimensional reference image to be compared with the entire two-dimensional transmission image.

예를 들어, 부품 결함 검사 장치는 검사 대상 부품의 2차원 투과 영상에 대한 이미지 분석 과정을 통해 일정 크기 이상의 잡음 영역을 결함 의심 부위(900)로 파악하고, 그 결함 의심 부위(900)와 대비할 2차원 기준 영상을 생성한다. 결함 의심 부위를 파악하는 방법은 도 14에 도시되어 있다. For example, the component defect inspection apparatus recognizes a noise region over a predetermined size as a defect suspect region 900 through an image analysis process on a two-dimensional transmission image of a component to be inspected, Dimensional reference image. A method of grasping a suspected defect part is shown in Fig.

구체적으로, 부품 결함 검사 장치는 2차원 투과 영상에서 파악된 잡음 영역, 즉 결함 의심 부위(900)에 대응되는 부품의 3차원 영역을 파악한다. 2차원 투과 영상은 방사장치의 X-ray 출력점(940)과 디텍터(910) 사이에 위치한 검사 대상 부품(920)을 촬영하여 얻어지는 영상이므로, 부품 결함 검사 장치는 2차원 투과 영상의 잡음 영역(900)에 대응되는 디텍터의 해당 영역(9150)과 X-ray 출력점(940)을 연결하여 형성되는 검사 대상 부품 내 3차원 서브 영역(930)을 파악한다.Specifically, the component defect inspection apparatus grasps the three-dimensional region of the component corresponding to the noise region, i.e., the defect suspected region 900, which is grasped in the two-dimensional transmission image. Since the two-dimensional transmission image is an image obtained by photographing the inspection target part 920 located between the X-ray output point 940 of the spinning device and the detector 910, the part defect inspection device detects the two- 930, which is formed by connecting the corresponding area 9150 of the detector corresponding to the X-ray output point 940 to the X-ray output point 940 of the inspected object.

부품 결함 검사 장치는 3차원 무결점 영상 전체에 대한 2차원 시뮬레이션을 수행하는 것이 아니라, 3차원 무결점 영상 중 부품의 3차원 서브 영역(930)에 대해서만 2차원 시뮬레이션을 수행함으로써, 2차원 기준 영상의 생성의 소요시간을 단축할 수 있을 뿐만 아니라 결함이 의심되는 잡음영역에 대해 보다 정확한 영상 비교를 수행할 수 있다. The component defect inspection apparatus performs two-dimensional simulation only on the three-dimensional sub-region 930 of the component among the three-dimensional defect-free images, rather than performing two-dimensional simulation on the entire three- It is possible to perform a more accurate image comparison with respect to a noise region in which a defect is suspected.

도 10은 2차원 투과 영상의 일부에 대해 2차원 기준 영상과 비교하여 결함을 검사하는 방법의 일 예를 도시한 도면이다.FIG. 10 is a diagram illustrating an example of a method of comparing a part of a two-dimensional transmission image with a two-dimensional reference image to check for a defect.

도 10을 참조하면, 부품 결함 검사 장치는 부품의 2차원 투과 영상 전체에 대해 2차원 기준 영상과 비교하는 것이 아니라, 2차원 투과 영상 중 결함이 의심되는 잡음 영역을 포함하는 2차원 부품 검사 영상(1010)을 지정하고, 2차원 부품 검사 영역과 대응되는 2차원 기준 영상(1000)을 생성한 후, 2차원 부품 검사 영역(1010)과 2차원 기준 영상(1000)을 비교하여 결함 여부를 판단한다. 결함 여부 판단을 위한 영상 비교의 방법은 도 8에서 설명한 바와 같다. 본 실시 예를 살펴보면, 두 영상(1000,1010) 내 서로 다른 부분(1005,1015)가 존재하므로, 부품 결함 검사 장치는 부품 결함이 있다고 판단한다.Referring to FIG. 10, the component defect inspection apparatus does not compare the entire two-dimensional transmission image of the component with the two-dimensional reference image, but a two-dimensional component inspection image including a noise region in which a defect is suspected 1010), generates a two-dimensional reference image 1000 corresponding to the two-dimensional component inspection region, and then determines whether the defect is defective by comparing the two-dimensional component inspection region 1010 with the two-dimensional reference image 1000 . The method of image comparison for determining the defect is as described in FIG. According to the present embodiment, since there are different parts 1005 and 1015 in the two images 1000 and 1010, the part defect inspection apparatus determines that there is a component defect.

도 11은 본 발명에 따른 부품 결함 검사 방법의 일 예를 도시한 흐름도이다.11 is a flowchart showing an example of a component defect inspection method according to the present invention.

도 11을 참조하면, 부품 결함 검사 장치는 결함 없는 부품을 촬영한 3차원 무결점 영상과, 검사 대상 부품을 촬영한 2차원 부품 검사 영상을 입력받는다(S1100,S1110). 여기서, 2차원 부품 검사 영상은 검사 대상 부품을 촬영한 2차원 투과 영상의 전체이거나 결함이 의심되는 일부 영역에 대한 영상일 수 있다.Referring to FIG. 11, the part defect inspection apparatus receives a three-dimensional defect-free image of a defect-free part and a two-dimensional part inspection image of a part to be inspected (S1100 and S1110). Here, the two-dimensional parts inspection image may be the entirety of the two-dimensional transmission image of the part to be inspected or an image of a part of the area where the defect is suspected.

부품 결함 검사 장치는 2차원 투과 영상의 촬영조건을 기초로 2차원 부품 검사 영상과 대비될 수 있는 무결점의 2차원 기준 영상을 3차원 무결점 영상으로부터 생성한다(S1120). 그리고 부품 결함 검사 장치는 2차원 부품 검사 영상과 무결점의 2차원 기준 영상을 비교하여, 상이한 부분이 있는지 여부를 기초로 결함 여부를 판단한다(S1130).The component defect inspection apparatus generates a defect-free two-dimensional reference image which can be compared with the two-dimensional component inspection image based on the photographing conditions of the two-dimensional transmission image, from the three-dimensional defect free image (S1120). Then, the component defect inspection apparatus compares the two-dimensional component inspection image with the defect-free two-dimensional reference image and determines whether or not the two-dimensional component inspection image is defective based on whether there is a different part (S1130).

도 12는 본 발명에 따른 2차원 투과 영상을 분석하여 부품 결함 의심 영역을 검출하는 방법의 일 예를 도시한 흐름도이고, 도 13a 내지 도 13e는 도 12의 각 단계별 2차원 투과 영상의 이미지 처리 결과의 일 예를 도시한 도면이다.FIG. 12 is a flowchart illustrating an example of a method of detecting a part defect region by analyzing a two-dimensional transmission image according to the present invention. FIGS. 13A to 13E are diagrams illustrating an image processing result of a two- As shown in Fig.

도 12 및 도 13을 함께 참조하면, 부품 결함 검사 장치는 도 1과 같은 방법을 통해 검사 대상 부품의 2차원 투과 영상(도 13a)을 얻는다(S1200). 부품 결함 검사 장치는 2차원 투과 영상(도 13a) 중 부품 영역을 마스킹(도 13b)하여 부품 이외의 배경 영역을 제거하고(S1210), 남아 있는 부품 영역 내 작은 구멍(hole) 등을 메운 보정 영상(도 13c)을 생성한다(S1220). 작은 구멍 등을 매우기 위한 방법으로 닫기(closing) 연산을 이용할 수 있다.Referring to FIG. 12 and FIG. 13 together, the component defect inspection apparatus obtains a two-dimensional transmission image (FIG. 13A) of a part to be inspected through the same method as FIG. 1 (S1200). 13A) of the two-dimensional transmission image (FIG. 13A) by masking the parts area (FIG. 13B) by removing the background area other than the parts (S1210) and inserting a small hole or the like in the remaining part area (Fig. 13C) (S1220). Closing operations can be used as a way to very much like small holes.

부품 결함 검사 장치는 보정 영상(도 13c)에서 원 2차원 투과 영상(도 13a)을 뺀 노이즈 영상(도 13d)을 생성한다(S1230). 두 영상 사이의 차감을 통해 생성한 노이즈 영상(도 13d)에는 작은 구멍(hole)들과 노이즈 픽셀들만 남게 된다. 부품 결함 검사 장치는 노이즈 영상(도 13d)에서 중간값(median) 필터를 적용하여 결함과 관련없는 일반 노이즈를 제거한다(S1240).The component defect inspection apparatus generates a noise image (FIG. 13D) obtained by subtracting the original two-dimensional transmission image (FIG. 13A) from the corrected image (FIG. 13C) (S1230). Only small holes and noise pixels are left in the noise image (FIG. 13D) generated through subtraction between the two images. The component defect inspection apparatus applies a median filter in the noise image (FIG. 13D) to remove general noise not related to the defect (S1240).

그리고 부품 결함 검사 장치는 노이즈 영상(도 13d)을 0과 1의 이진 영상(binary)으로 변환한다(S1250). 예를 들어, 사용자가 기 설정된 임계값을 기준으로 각 픽셀의 명도 등의 값이 임계값보다 크면 1, 작으면 0으로 설정하여 이진 영상을 만들 수 있다. Then, the component defect inspection apparatus converts the noise image (FIG. 13D) into a binary image of 0 and 1 (S1250). For example, a binary image can be generated by setting a value of 1 if the brightness value of each pixel is greater than a threshold value, or a value of 0 if the brightness value of each pixel is greater than a threshold value based on a predetermined threshold value.

부품 결함 검사 장치는 이진 영상에서 서로 떨어져 있는 작은 섬(island) 영역들을 레이블링(blob labeling) 기법 등을 통해 서로 연결한 후, 단일 영역(blob)의 크기가 기 설정된 일정 크기 이상인 부위를 결함 의심 영역(도 13e의 1300)으로 판단한다(S1260). 결함 의심 영역(1300)은 경우에 따라 하나 이상 존재할 수 있으며, 이러한 결함 의심 영역을 포함하는 서브 영상을 2차원 기준 영상과 비교되는 2차원 부품 검사 영역으로 설정할 수 있다. The component defect inspection apparatus connects island regions separated from each other in a binary image to each other through a blob labeling technique or the like. Then, a region having a size of a single region (blob) (1300 in FIG. 13E) (S1260). At least one defect suspect region 1300 may exist, and a sub-image including the defect suspect region may be set as a two-dimensional component inspection region to be compared with the two-dimensional reference image.

도 14는 본 발명에 따른 부품 결함 검사를 위한 2차원 기준 영상을 생성하는 방법의 일 예를 도시한 흐름도이다.FIG. 14 is a flowchart illustrating an example of a method of generating a two-dimensional reference image for a component defect inspection according to the present invention.

도 14를 참조하면, 부품 결함 검사 장치는 검사 대상 부품의 2차원 투과 영상의 촬영위치, 촬영각도 등을 포함한 촬영조건을 파악한다. 촬영조건은 도 1과 같은 방법을 이용하여 2차원 투과 영상을 촬영될 때 자동으로 파악되어 부품 결함 검사 장치에 제공되거나, 사용자가 부품 결함 검사 장치의 사용자 인터페이스를 통해 촬영조건을 직접 입력할 수 있다. Referring to Fig. 14, the component defect inspection apparatus grasps photographing conditions including a photographing position, a photographing angle, and the like of a two-dimensional transmission image of a part to be inspected. The photographing conditions are automatically grasped when the two-dimensional transmission image is photographed using the same method as in FIG. 1 and provided to the component defect inspection apparatus, or the user can directly input the photographing conditions through the user interface of the component defect inspection apparatus .

부품 결함 검사 장치는 촬영 조건을 기초로 3차원 무결점 영상에 대한 시뮬레이션을 수행할 가상의 촬영지점을 설정한다(S1410). 그리고 부품 결함 검사 장치는 도 6과 같이, 가상의 촬영지점에서 2차원 투과 영상의 촬영각도만큼 회전된 3차원 무결점 영상을 기초로 DDR 시뮬레이션 등을 수행하여 2차원 기준 영상을 생성한다(S1420).The component defect inspection apparatus sets a virtual photographing point for performing simulation on the three-dimensional non-defect image based on the photographing condition (S1410). As shown in FIG. 6, the component defect inspection apparatus generates a two-dimensional reference image by performing DDR simulation based on a three-dimensional defect free image rotated by a photographing angle of the two-dimensional transmission image at a virtual photographing point (S1420).

도 15는 본 발명에 따른 부품 결함 검사를 위한 2차원 기준 영상을 생성하는 방법의 다른 일 예를 도시한 흐름도이다.15 is a flowchart showing another example of a method of generating a two-dimensional reference image for inspection of a part defect according to the present invention.

도 15를 참조하면, 부품 결함 검사 장치는 3차원 무결점 영상 전체에 대한 시뮬레이션 과정을 수행하는 것이 아니라 특정 영역에 대해서만 시뮬레이션 과정을 수행한다. 이를 위해, 부품 결함 검사 장치는 도 12와 같은 방법을 통해 2차원 투과 영상 중 결함 의심 영역을 검출하고, 검출한 결함 의심 영역을 결함 조사를 위한 2차원 부품 검사 영상으로 설정한다. Referring to FIG. 15, the component defect inspection apparatus performs a simulation process for a specific region, rather than performing a simulation process for the entire three-dimensional defect free image. To this end, the component defect inspection apparatus detects a defect suspicious region in the two-dimensional transmission image through the method as shown in FIG. 12, and sets the detected defect suspicious region as a two-dimensional component inspection image for defect inspection.

부품 결함 검사 장치는 2차원 부품 검사 영상에 해당하는 부품의 3차원 영역을 파악한다(S1500). 예를 들어, 2차원 부품 검사 영상은 도 9와 같이 X-ray 출력점(940)과 디텍터(910)의 2차원 부품 검사 영역에 대응하는 위치(915)를 이어 구분되는 부품의 3차원 서브 영역을 파악한다. The component defect inspection apparatus grasps the three-dimensional area of the part corresponding to the two-dimensional parts inspection image (S1500). For example, the two-dimensional component inspection image is a three-dimensional sub-area of a component which is divided into an X-ray output point 940 and a position 915 corresponding to a two-dimensional component inspection area of the detector 910, .

그리고 부품 결함 검사 장치는 3차원 무결함 영상 중 부품의 3차원 서브 영역에 대해서만 시뮬레이션 과정을 수행하여 2차원 기준 영상을 생성한다(S1520).Then, the component defect inspection apparatus generates a two-dimensional reference image by performing a simulation process only on the three-dimensional sub-region of the 3D defect free image (S1520).

도 16은 본 발명에 따른 부품 결함 검사 방법의 다른 일 예를 도시한 흐름도이다.16 is a flowchart showing another example of a component defect inspection method according to the present invention.

도 16을 참조하면, 부품 결함 검사 장치는 검사 대상 부품의 2차원 투과 영상을 획득한다(S1600). 부품 결함 검사 장치는 2차원 투과 영상에 대해 도 12와 같은 이미지 분석 과정을 수행하여 결함 의심 영역이 존재하는지 파악한다(S1610). 예를 들어, 부품 결함 검사 장치는 도 13e와 같이 2차원 투과 영상에 존재하는 일정 크기 이상의 잡음 영역을 결함 의심 영역(1300)으로 판단할 수 있다.Referring to FIG. 16, the component defect inspection apparatus acquires a two-dimensional transmission image of a part to be inspected (S1600). The component defect inspection apparatus performs an image analysis process as shown in FIG. 12 for the two-dimensional transmission image to determine whether there is a defect suspected region (S1610). For example, the component defect inspection apparatus can determine a noise region of a predetermined size or more existing in a two-dimensional transmission image as a defect suspect region 1300 as shown in FIG. 13E.

결함 의심 영역이 존재하는 경우에(S1620), 부품 결함 검사 장치는 3차원 무결점 영상으로부터 2차원 투과 영상의 전체 또는 그 일부와 대비할 무결점의 2차원 기준 영상을 생성한다(S1630). 부품의 어느 부위의 결함을 검사하는지에 따라 2차원 투과 영상의 촬영 각도 등은 서로 달라지므로, 부품 결함 검사 장치는 2차원 투과 영상의 촬영 각도 등을 포함하는 촬영 조건을 이용하여 2차원 투과 영상과 동일한 촬영 각도 등으로 이루어진 2차원 기준 영상을 생성한다. If the defect suspected region exists (S1620), the component defect inspection apparatus generates a defect free two-dimensional reference image to be compared with all or a part of the two-dimensional transparent image from the 3D defect free image (S1630). Since the imaging angle of the two-dimensional transmission image is different depending on which part of the part is inspected, the component defect inspection apparatus can detect the two-dimensional transmission image and the two- Dimensional reference image composed of the same photographing angle and the like.

그리고 부품 결함 검사 장치는 2차원 투과 영상의 전체 또는 일부와 2차원 기준 영상을 비교하여 결함 여부를 판단한다(S1640).The component defect inspection apparatus compares all or a part of the two-dimensional transmission image with the two-dimensional reference image to determine whether the defect is defective (S1640).

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like. The computer-readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The present invention has been described with reference to the preferred embodiments. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

Claims (12)

부품의 3차원 무결점 영상을 획득하는 단계;
2차원 부품 검사 영상을 획득하는 단계;
상기 2차원 부품 검사 영상의 촬영각도를 포함한 촬영조건을 기초로, 상기 3차원 무결점 영상으로부터 2차원 기준 영상을 생성하는 단계; 및
상기 2차원 부품 검사 영상과 상기 2차원 기준 영상을 비교하여 부품의 결함 여부를 판단하는 단계;를 포함하는 것을 특징으로 하는 부품 결함 검사 방법.Obtaining a three-dimensional defect free image of the part;
Obtaining a two-dimensional parts inspection image;
Generating a two-dimensional reference image from the three-dimensional defect free image based on a photographing condition including an angle of view of the two-dimensional component inspection image; And
And comparing the two-dimensional component inspection image with the two-dimensional reference image to determine whether the component is defective. 제 1항에 있어서, 상기 2차원 부품 검사 영상을 획득하는 단계는,
부품의 2차원 투과 영상을 획득하는 단계;
상기 2차원 투과 영상의 작은 구멍들을 메운 보정 영상을 생성하는 단계;
상기 보정 영상에서 상기 2차원 투과 영상을 뺀 노이즈 영상을 생성하는 단계;
상기 노이즈 영상을 이진 영상으로 변환하는 단계; 및
상기 이진 영상에서 기 설정된 크기 이상의 잡음영역을 2차원 부품 검사 영상으로 지정하는 단계;를 포함하는 것을 특징으로 하는 부품 결함 검사 방법.2. The method of claim 1, wherein obtaining the two-
Obtaining a two-dimensional transmission image of the part;
Generating a corrected image filling small holes of the two-dimensional transmission image;
Generating a noise image by subtracting the two-dimensional transmission image from the corrected image;
Converting the noise image into a binary image; And
And designating a noise region of a predetermined size or more in the binary image as a two-dimensional component inspection image. 제 1항에 있어서, 상기 2차원 기준 영상을 생성하는 단계는,
상기 2차원 부품 검사 영상의 촬영위치 및 촬영각도를 포함하는 촬영조건을 기초로, 상기 3차원 무결점 영상의 2차원 시뮬레이션을 위한 가상의 촬영지점을 설정하는 단계; 및
상기 가상의 촬영지점을 기초로 상기 3차원 무결점 영상으로부터 상기 2차원 부품 검사 영상에 대응되는 무결점의 2차원 기준 영상을 획득하는 단계;를 포함하는 것을 특징으로 하는 부품 결함 검사 방법.2. The method of claim 1, wherein generating the two-
Setting a virtual shooting point for two-dimensional simulation of the three-dimensional defect-free image based on a shooting condition including a shooting position and a shooting angle of the two-dimensional parts inspection image; And
And obtaining a defect-free two-dimensional reference image corresponding to the two-dimensional component inspection image from the three-dimensional defect-free image based on the virtual shooting point. 제 1항에 있어서, 상기 2차원 기준 영상을 생성하는 단계는,
상기 2차원 부품 검사 영상에 해당하는 3차원 부품 영역을 파악하는 단계; 및
상기 3차원 무결점 영상 중 상기 3차원 부품 영역에 해당하는 무결점 서브 영역을 파악하는 단계; 및
상기 무결점 서브 영역에 대한 2차원 시뮬레이션을 통해, 상기 2차원 부품 검사 영상과 대비되는 무결점의 2차원 기준 영상을 생성하는 단계;를 포함하는 것을 특징으로 하는 부품 결함 검사 방법.2. The method of claim 1, wherein generating the two-
Recognizing a three-dimensional part area corresponding to the two-dimensional parts inspection image; And
Identifying a defect-free sub-region corresponding to the three-dimensional component region among the three-dimensional defect-free images; And
And generating a defect-free two-dimensional reference image, which is compared with the two-dimensional component inspection image, through a two-dimensional simulation of the defect-free sub-area. 제 1항에 있어서,
상기 3차원 무결점 영상은 컴퓨터 단층촬영 영상으로 구성되고,
상기 2차원 부품 검사 영상은 엑스레이 영상으로 구성되는 것을 특징으로 하는 부품 결함 검사 방법.The method according to claim 1,
The 3D defect free image is composed of a CT image,
Wherein the two-dimensional part inspection image comprises an x-ray image. 제 1항에 있어서, 상기 결함 여부를 판단하는 단계는,
상기 2차원 부품 검사 영상과 상기 2차원 기준 영상의 벡터 차를 이용하여 유사도를 판단하는 단계;를 포함하는 것을 특징으로 하는 부품 결함 검사 방법.2. The method of claim 1,
And determining a degree of similarity using a vector difference between the 2D component inspection image and the 2D reference image. 부품의 2차원 투과 영상과 3차원 무결점 영상을 획득하는 단계;
상기 2차원 투과 영상의 이미지 분석을 통해 일정 크기 이상의 잡음 영역의 존부를 기초로 1차 부품 결함 여부를 판단하는 단계;
상기 2차원 투과 영상의 촬영 각도를 포함하는 촬영조건을 기초로, 상기 3차원 무결점 영상으로부터 상기 2차원 투과 영상의 전부 또는 일부와 대비할 무결점의 2차원 기준 영상을 생성하는 단계; 및
상기 2차원 투과 영상의 전부 또는 일부와 상기 2차원 기준 영상을 비교하여 2차 부품 결함 여부를 판단하는 단계;를 포함하는 것을 특징으로 하는 부품 결함 검사 방법.Acquiring a two-dimensional transmission image and a three-dimensional defect free image of the component;
Determining whether a primary component is defective based on the presence or absence of a noise region of a predetermined size or larger through image analysis of the two-dimensional transmission image;
Generating a two-dimensional reference image having no defect point to be compared with all or a part of the two-dimensional transmission image from the three-dimensional defect free image, based on an imaging condition including an angle of view of the two-dimensional transmission image; And
And comparing the whole or part of the two-dimensional transmission image with the two-dimensional reference image to determine whether the secondary component is defective. 제 7항에 있어서, 상기 2차원 기준 영상을 생성하는 단계는,
상기 2차원 투과 영상의 촬영위치 및 촬영각도를 포함하는 촬영조건을 기초로, 상기 3차원 무결점 영상의 2차원 시뮬레이션을 위한 가상의 촬영지점을 설정하는 단계; 및
상기 가상의 촬영지점을 기초로 상기 3차원 무결점 영상으로부터 상기 2차원 부품 검사 영상에 대응되는 무결점의 2차원 기준 영상을 획득하는 단계;를 포함하는 것을 특징으로 하는 부품 결함 검사 방법.8. The method of claim 7, wherein generating the two-
Setting a virtual photographing point for two-dimensional simulation of the 3D defect free image based on photographing conditions including the photographing position and the photographing angle of the two-dimensional transmission image; And
And obtaining a defect-free two-dimensional reference image corresponding to the two-dimensional component inspection image from the three-dimensional defect-free image based on the virtual shooting point. 제 7항에 있어서, 상기 2차원 기준 영상을 생성하는 단계는,
상기 2차원 투과 영상 중 상기 잡음 영역에 해당하는 3차원 부품 영역을 파악하는 단계; 및
상기 3차원 무결점 영상 중 상기 3차원 부품 영역에 해당하는 3차원 서브 영역을 파악하는 단계; 및
상기 3차원 서브 영역에 대한 2차원 시뮬레이션을 통해, 상기 2차원 부품 검사 영상과 대비되는 무결점의 2차원 기준 영상을 생성하는 단계;를 포함하는 것을 특징으로 하는 부품 결함 검사 방법.8. The method of claim 7, wherein generating the two-
Recognizing a three-dimensional component region corresponding to the noise region of the two-dimensional transmission image; And
Recognizing a three-dimensional sub-region corresponding to the three-dimensional component region of the three-dimensional defect-free image; And
And generating a defect-free two-dimensional reference image, which is compared with the two-dimensional component inspection image, through a two-dimensional simulation of the three-dimensional sub-area. 부품의 3차원 무결점 영상을 획득하는 3차원 영상 획득부;
부품의 2차원 투과 영상을 획득하는 2차원 영상 획득부;
상기 2차원 투과 영상의 촬영각도를 포함한 촬영조건을 기초로, 상기 3차원 무결점 영상으로부터 2차원 기준 영상을 생성하는 기준영상 생성부; 및
상기 2차원 투과 영상과 상기 2차원 기준 영상을 비교하여 부품의 결함 여부를 판단하는 결함 판단부;를 포함하는 것을 특징으로 하는 부품 결함 검사 방법.A three-dimensional image obtaining unit for obtaining a three-dimensional defect free image of the part;
A two-dimensional image acquiring unit for acquiring a two-dimensional transmission image of the part;
A reference image generator for generating a two-dimensional reference image from the 3D defect-free image based on a photographing condition including an angle of view of the two-dimensional transmission image; And
And a defect determination unit comparing the two-dimensional transmission image with the two-dimensional reference image to determine whether the component is defective. 제 10항에 있어서, 상기 결함 판단부는,
상기 2차원 투과 영상의 이미지 분석을 통해 일정 크기 이상의 잡음 영역의 존부를 기초로 1차 부품 결함 여부를 판단하는 1차 판단부; 및
상기 2차원 투과 영상의 전부 또는 일부와 상기 2차원 기준 영상을 비교하여 2차 부품 결함 여부를 판단하는 2차 판단부;를 포함하는 것을 특징으로 하는 부품 결함 검사 방법.11. The apparatus of claim 10,
A primary determination unit for determining whether a primary component is defective based on the presence or absence of a noise region of a predetermined size or more through image analysis of the two-dimensional transmission image; And
And a secondary determination unit for determining whether a secondary component is defective by comparing all or a part of the two-dimensional transmission image with the two-dimensional reference image. 제 1항 내지 제 9항 중 어느 한 항에 기재된 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.10. A computer-readable recording medium on which a program for performing the method according to any one of claims 1 to 9 is recorded.
KR1020150086184A 2015-06-17 2015-06-17 Component inspecting method and apparatus KR101717768B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150086184A KR101717768B1 (en) 2015-06-17 2015-06-17 Component inspecting method and apparatus
PCT/KR2016/004634 WO2016204402A1 (en) 2015-06-17 2016-05-03 Component defect inspection method, and apparatus therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150086184A KR101717768B1 (en) 2015-06-17 2015-06-17 Component inspecting method and apparatus

Publications (2)

Publication Number Publication Date
KR20160149106A true KR20160149106A (en) 2016-12-27
KR101717768B1 KR101717768B1 (en) 2017-03-27

Family

ID=57545778

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150086184A KR101717768B1 (en) 2015-06-17 2015-06-17 Component inspecting method and apparatus

Country Status (2)

Country Link
KR (1) KR101717768B1 (en)
WO (1) WO2016204402A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102075872B1 (en) * 2019-08-09 2020-02-11 레이디소프트 주식회사 Method for non-destructive inspection based on image and apparatus thereof
WO2021029625A1 (en) * 2019-08-09 2021-02-18 레이디소프트 주식회사 Transmission image-based non-destructive inspecting method, method of providing non-destructive inspection function, and device therefor
KR20210024767A (en) * 2019-08-26 2021-03-08 레이디소프트 주식회사 Method for non-destructive inspection based on image and Computer-readable storage medium
KR20210048459A (en) * 2019-08-26 2021-05-03 레이디소프트 주식회사 Method for non-destructive inspection based on transmission image
KR20220093078A (en) * 2021-04-20 2022-07-05 레이디소프트 주식회사 Method for non-destructive inspection

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102300562B1 (en) 2018-01-25 2021-09-13 삼성전자주식회사 Detecting method, detecting apparatus and computer readable storage medium
EP3814758A1 (en) 2018-06-29 2021-05-05 Universiteit Antwerpen Item inspection by dynamic selection of projection angle
CN114460093A (en) * 2022-01-29 2022-05-10 新拓三维技术(深圳)有限公司 Method and system for detecting defects of aircraft engine

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100942379B1 (en) * 2009-06-30 2010-02-12 한국전력공사 Crack detection apparatus and method of box culvert for electric power transmission using three-dimension laser scanner
KR101094412B1 (en) * 2011-05-23 2011-12-15 주식회사 쓰리디산업영상 Defect detection method using 3d images in ball joint region of bga chip
KR101125109B1 (en) * 2010-04-29 2012-03-21 주식회사 쓰리디산업영상 Method and System for Inspecting Internal Defect Using Reference Information
KR101293532B1 (en) * 2011-05-12 2013-08-07 주식회사 쎄크 Computer tomography inspecting method of semiconductor chip
KR20150056148A (en) 2013-11-15 2015-05-26 (주)자비스 Apparatus Having I Improved Efficiency in X-Ray Inspection and Method For the Same

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003510568A (en) * 1999-09-20 2003-03-18 松下電器産業株式会社 LCD inspection method and LCD inspection apparatus by pattern comparison
US20020146120A1 (en) * 2001-04-05 2002-10-10 Hugh Anglin Inspecting print quality using digital watermarks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100942379B1 (en) * 2009-06-30 2010-02-12 한국전력공사 Crack detection apparatus and method of box culvert for electric power transmission using three-dimension laser scanner
KR101125109B1 (en) * 2010-04-29 2012-03-21 주식회사 쓰리디산업영상 Method and System for Inspecting Internal Defect Using Reference Information
KR101293532B1 (en) * 2011-05-12 2013-08-07 주식회사 쎄크 Computer tomography inspecting method of semiconductor chip
KR101094412B1 (en) * 2011-05-23 2011-12-15 주식회사 쓰리디산업영상 Defect detection method using 3d images in ball joint region of bga chip
KR20150056148A (en) 2013-11-15 2015-05-26 (주)자비스 Apparatus Having I Improved Efficiency in X-Ray Inspection and Method For the Same

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102075872B1 (en) * 2019-08-09 2020-02-11 레이디소프트 주식회사 Method for non-destructive inspection based on image and apparatus thereof
WO2021029625A1 (en) * 2019-08-09 2021-02-18 레이디소프트 주식회사 Transmission image-based non-destructive inspecting method, method of providing non-destructive inspection function, and device therefor
KR20210024767A (en) * 2019-08-26 2021-03-08 레이디소프트 주식회사 Method for non-destructive inspection based on image and Computer-readable storage medium
KR20210048459A (en) * 2019-08-26 2021-05-03 레이디소프트 주식회사 Method for non-destructive inspection based on transmission image
KR20220093078A (en) * 2021-04-20 2022-07-05 레이디소프트 주식회사 Method for non-destructive inspection

Also Published As

Publication number Publication date
WO2016204402A1 (en) 2016-12-22
KR101717768B1 (en) 2017-03-27

Similar Documents

Publication Publication Date Title
KR101717768B1 (en) Component inspecting method and apparatus
US9928592B2 (en) Image-based signal detection for object metrology
EP3693890A1 (en) Regionalized change detection using digital fingerprints
US10007971B2 (en) Systems and methods for user machine interaction for image-based metrology
US20170262979A1 (en) Image correction and metrology for object quantification
US8131107B2 (en) Method and system for identifying defects in NDT image data
US20230263463A1 (en) Osteoporosis diagnostic support apparatus
RU2626042C2 (en) System and method of vehicles inspection with vehicles reference images retrival usage and comparison functions
US20170258391A1 (en) Multimodal fusion for object detection
US20170262977A1 (en) Systems and methods for image metrology and user interfaces
US20090003651A1 (en) Object segmentation recognition
US20130034298A1 (en) Image-based crack detection
US20090238432A1 (en) Method and system for identifying defects in radiographic image data corresponding to a scanned object
JP2015520846A (en) Method and System for Determining Z-Effective Value of Voxel Set Using CT Density Image and Sparse Multi-Energy Data
JP2011134012A (en) Image processor, image processing method for the same and program
JP2014508954A (en) Composite object segmentation method and system {COMPUNDOBJECTSEPARATION}
WO2024002340A1 (en) Method and system for tracking target object in object to be inspected
US7630534B2 (en) Method for radiological image processing
US20220138939A1 (en) Systems and Methods for Digital Pathology
CN102013007B (en) For detecting the apparatus and method of face
CN105787429B (en) The method and apparatus for being used to check object using machine vision
WO2019167453A1 (en) Image processing device, image processing method, and program
WO2020035514A1 (en) Generating annotation data of tissue images
KR20200048256A (en) Apparatus and method for extracting object information
US7672496B2 (en) Forming three dimensional objects using a decision rule in medical image data

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191231

Year of fee payment: 4