KR20190137733A - Apparatus and Method For Detecting Defects - Google Patents

Apparatus and Method For Detecting Defects Download PDF

Info

Publication number
KR20190137733A
KR20190137733A KR1020190152151A KR20190152151A KR20190137733A KR 20190137733 A KR20190137733 A KR 20190137733A KR 1020190152151 A KR1020190152151 A KR 1020190152151A KR 20190152151 A KR20190152151 A KR 20190152151A KR 20190137733 A KR20190137733 A KR 20190137733A
Authority
KR
South Korea
Prior art keywords
hologram
information
light
filter
convolutional
Prior art date
Application number
KR1020190152151A
Other languages
Korean (ko)
Other versions
KR102282722B1 (en
Inventor
김병목
성맑음
박성진
이상진
Original Assignee
주식회사 내일해
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170173034A external-priority patent/KR20190072020A/en
Application filed by 주식회사 내일해 filed Critical 주식회사 내일해
Priority to KR1020190152151A priority Critical patent/KR102282722B1/en
Publication of KR20190137733A publication Critical patent/KR20190137733A/en
Application granted granted Critical
Publication of KR102282722B1 publication Critical patent/KR102282722B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/021—Interferometers using holographic techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Holo Graphy (AREA)

Abstract

The present invention discloses a method and a device for detecting a combination of a measurement object. According to the present invention, the method for detecting the defect of the object comprises the following steps of: calculating a compensated hologram of the object to be measured by using a digital holographic microscope; extracting three-dimensional phase information from the hologram of the object; and determining whether or not the object is defective by applying the phase information to a phase image defect detection convolutional neural network in which a convolutional filter is clustered.

Description

결함 검출 방법 및 장치{Apparatus and Method For Detecting Defects}Fault detection method and apparatus {Apparatus and Method For Detecting Defects}

본 발명은 결함 검출 방법 및 장치에 관한 것이다.The present invention relates to a defect detection method and apparatus.

좀 더 구체적으로, 본 발명은 홀로그래픽 복원 장치 및 방법을 이용하여 획득한 물체의 3차원 형상 정보 및 정량적인 두께 정보를 이용하여 결함을 검출하는 방법 및 장치에 관한 것이다. More specifically, the present invention relates to a method and apparatus for detecting a defect using three-dimensional shape information and quantitative thickness information of an object obtained using the holographic restoration apparatus and method.

종래 기술의 한 장의 물체 홀로그램 영상을 사용하는 원샷 방식의 디지털 홀로그래피 복원 시 요구되는 복잡한 광학 장치 구조 및 그에 따른 상당한 고가의 비용 문제를 해결할 수 있으며, 간단한 구조 및 저가의 비용으로 홀로그래픽 복원을 통해 결함 검출이 가능하고, 종래 기술의 반사형 및 투과형 홀로그램 복원 장치에 모두 적용될 수 있는 범용성을 가지며, 특히 홀로그램 복원 시 기준광의 사용이 불필요하고, 실시간으로 측정 대상 물체의 정량적인 3차원 영상 복원이 가능하여, TFT 및 반도체와 같은 초미세 구조의 결함 검출용 장치, 정밀한 3차원 영상의 표시가 요구되는 의료 기기, 및 기타 렌즈와 같은 투명한 물체의 굴절률 에러 검출 등을 포함한 다양한 분야의 검출, 확인 또는 표시용 장치에 적용이 가능하다.It can solve the complicated optical device structure and the considerable cost problem which is required for one-shot digital holography restoration using a single object hologram image of the prior art, and it is possible to solve defects through holographic restoration at a simple structure and low cost. It is possible to detect and have universality that can be applied to both the reflective and transmissive hologram restoration apparatuses of the prior art, and in particular, the use of reference light is not necessary when the hologram is restored, and the quantitative three-dimensional image restoration of the object to be measured in real time is possible. For detection, identification or display in a variety of applications, including devices for detecting defects of ultra-fine structures such as TFTs and semiconductors, medical devices requiring precise display of three-dimensional images, and detection of refractive error in transparent objects such as lenses Applicable to the device.

디지털 홀로그래피 현미경이란 디지털 홀로그래피 기술을 활용하여 물체의 형상을 측정하는 현미경을 말한다.Digital holography microscope refers to a microscope that measures the shape of an object using digital holography technology.

일반적인 현미경이 통상 일반 광원을 물체에 비추어 물체로부터 반사 또는 투과되는 빛의 세기를 측정함으로 물체의 형상을 측정하는 장치라면, 디지털 홀로그래피 현미경은 빛이 물체에 비추어졌을 경우 일어나는 빛의 간섭과 회절현상을 측정하고 이를 디지털 방식으로 기록하여, 이들 정보로부터 물체의 형상정보를 복원하는 장치이다.If a general microscope is a device that measures the shape of an object by measuring the intensity of light that is reflected or transmitted from the object by shining a general light source onto the object, the digital holography microscope detects the interference and diffraction of light that occurs when light is shined on the object. It is a device that measures and records them digitally to restore shape information of an object from these information.

즉, 디지털 홀로그래피 기술은 레이저와 같은 단일 파장의 빛을 생성하고, 이를 광분할기를 이용하여 2개의 빛으로 분할하여, 하나의 빛은 이미지 센서에 직접 비추고(기준광이라 한다), 다른 빛은 측정 대상 물체에 비추어 상기 측정 대상 물체로부터 반사되는 빛을 이미지 센서에 비추면(물체광이라 한다), 이미지 센서에서 상기 기준광과 물체광이 간섭현상을 일으키게 되는데, 이러한 빛의 간섭무늬 정보를 디지털 이미지 센서로 기록하고, 상기 기록된 간섭무늬 정보를 가지고 컴퓨터를 활용하여 측정 대상 물체의 형상을 복원하는 기술이다. 그리고 이때 상기 기록되는 간섭무늬 정보를 통상 홀로그램이라고 지칭한다.In other words, digital holography technology generates a single wavelength of light, such as a laser, and splits it into two lights using a light splitter so that one light is directly reflected on the image sensor (called reference light), and the other light is measured. When the light reflected from the object to be reflected by the object is reflected on the image sensor (called object light), the reference light and the object light cause interference in the image sensor. The interference fringe information of the light is converted into a digital image sensor. It is a technique for recording and restoring the shape of the object to be measured using a computer with the recorded interference fringe information. In this case, the recorded interference fringe information is generally called a hologram.

한편, 디지털 홀로그래피가 아닌 기존의 광학적 홀로그래피 기술의 경우는, 상기 빛의 간섭무늬 정보를 특수 필름으로 기록하고, 상기 측정 대상 물체의 형상을 복원하기 위하여 상기 기준광을 간섭무늬가 기록된 특수필름에 비추면 본래 측정 대상 물체가 위치하던 자리에 가상의 측정 대상 물체의 형상이 복원되는 방식이다.On the other hand, in the case of conventional optical holography technology other than digital holography, in order to record the interference pattern information of the light in a special film, and to restore the shape of the object to be measured, the reference light is reflected on the special film in which the interference pattern is recorded. When the original object to be measured is located, the shape of the virtual object to be measured is restored.

디지털 홀로그래피 현미경은 기존의 광학적 홀로그래피 방식과 비교하였을 때, 빛의 간섭무늬 정보를 디지털 이미지 센서로 측정하고 디지털 방식으로 저장하고, 상기 저장된 간섭무늬 정보를 광학적 방식이 아닌 컴퓨터 장치 등을 이용한 수치연산 방식을 통하여 가공해서 측정 대상 물체의 형상을 복원한다는 점에서 차이가 있다.Digital holography microscope compared the conventional optical holography method, and measure the interference pattern information of the light with a digital image sensor and digitally stored, the numerical operation method using the computer device, etc. not the optical interference pattern information stored in the optical method There is a difference in that it restores the shape of the object to be measured by machining through.

기존의 디지털 홀로그래피 현미경으로는 먼저 단일 파장의 레이저 광원을 사용하는 경우가 있다. 그러나 단일 레이저 광원을 사용하는 경우는 물체의 측정 해상도, 즉 최소측정 단위가 사용하는 레이저 광원의 파장으로 제한된다는 문제점이 있다. 또한 기존의 디지털 홀로그래피 현미경 중 2파장 또는 다중 파장의 레이저 광원을 사용하는 경우는, 서로 다른 파장을 가지는 광원들을 사용함으로 비용이 증가하거나, 또는 서로 다른 파장의 광원을 이용하여 홀로그램 영상을 순차적으로 획득하기 때문에 측정하고자 하는 물체의 3차원적인 변화정보를 실시간으로 측정하기 어려운 문제점이 있다.Conventional digital holography microscopes often use a single wavelength laser light source. However, when using a single laser light source has a problem that the measurement resolution of the object, that is, the minimum measurement unit is limited to the wavelength of the laser light source used. In the case of using a laser light source of two wavelengths or multiple wavelengths among existing digital holography microscopes, the cost is increased by using light sources having different wavelengths, or the holographic images are sequentially obtained by using light sources having different wavelengths. Therefore, it is difficult to measure three-dimensional change information of an object to be measured in real time.

또한, 상술한 종래 디지털 홀로그래피 기술에서는 측정 대상 물체의 형상을 복원하기 위해 컴퓨터로 CGH(Computer Generated Hologram)을 생성한 후 이를 공간광변조기(Spatial Light Modulator: SLM) 상에 디스플레이한 후 기준광을 비추면, 기준광의 회절에 의해 물체의 3차원 홀로그램 영상이 얻어진다. 이 경우, 고가(수천만원 이상)의 공간광변조기(SLM)의 사용이 요구되므로, 실용화에 상당한 어려움이 있다.In addition, in the above-described conventional digital holography technology, after generating a computer generated hologram (CGH) by a computer to restore the shape of an object to be measured, displaying it on a spatial light modulator (SLM) and then illuminating the reference light The three-dimensional hologram image of the object is obtained by diffraction of the reference light. In this case, since the use of an expensive SLM of expensive (10 million won or more) is required, there is considerable difficulty in practical use.

상술한 종래 디지털 홀로그래피 기술의 문제점을 해결하기 위한 방안의 하나로, 예를 들어, 2014년 9월 5일자로 김은수 등에 의해 디지털 홀로그래피 현미경 및 디지털 홀로그램 영상 생성 방법이라는 발명의 명칭으로 대한민국 특허출원번호 제10-2014-0119395호 출원되어, 2016년 3월 15일자로 공개된 대한민국 공개특허 제10-2016-0029606호(이하 "공개된 종래 기술"이라 함)에 구체적으로 예시되어 있다.As one of the methods for solving the above-mentioned problems of the conventional digital holography technology, for example, in the name of the invention of digital holography microscope and digital holographic image generation method by Kim Eun-su on September 5, 2014, Korea Patent Application No. 10 It is specifically exemplified in Korean Patent Application Publication No. 10-2016-0029606 filed (hereinafter, referred to as "published prior art") filed on March 15, 2016.

도 1은 공개된 종래 기술에 따른 2파장 디지털 홀로그래피 현미경 장치를 상세히 도시한 블록도이다. 1 is a block diagram showing in detail a two-wavelength digital holographic microscope apparatus according to the published prior art.

도 1을 참조하면, 공개된 종래 기술의 2파장 디지털 홀로그래피 현미경 장치는 혼합광원부(100), 파장분할부(200), 간섭무늬획득부(300), 대물부(400), 이미지센서부(500), 이미지저장부(600), 제어부(700), 물체형상복원부(800)을 포함한다.Referring to FIG. 1, the disclosed two-wavelength digital holographic microscope apparatus includes a mixed light source unit 100, a wavelength division unit 200, an interference fringe acquisition unit 300, an object unit 400, and an image sensor unit 500. ), The image storage unit 600, the control unit 700, the object shape restoration unit 800.

혼합광원부(100)는 혼합광원발광부(110)와 광원부렌즈(120)를 포함한다. 이러한 혼합광원발광부(110)는 단일하지 아니한 여러 대역에 분포된 파장대역을 가지는 혼합광을 발광한다. 광원부렌즈(120)는 상기 혼합광원발광부(110)에서 생성된 혼합광을 광학적으로 조절하고, 이를 파장분할부(200)에 입사시킨다.The mixed light source unit 100 includes a mixed light source light emitter 110 and a light source unit lens 120. The mixed light source light emitting unit 110 emits mixed light having a wavelength band distributed in several bands which are not single. The light source unit lens 120 optically adjusts the mixed light generated by the mixed light source light emitting unit 110 and injects the mixed light into the wavelength division unit 200.

파장분할부(200)는 제1광분할기(210)와 제1여광판(220) 및 제2여광판(230)와 제1반사체(240)를 포함한다. 제1광분할기(210)는 혼합광원부(100)로부터 입사된 혼합광을 입력받아 2개의 광으로 분할한다. 이때 제1광분할기(210)는 입사받은 혼합광을 서로 다른 방향으로 나누어 진행시키는 역할을 수행한다. 제1여광판(220)은 제1광분할기(210)에서 분할된 광들 중 하나의 광을 입력받아 미리 정해진 단일파장을 가지는 제1광선을 획득한다. 여기서 제1여광판(220)에 입력되는 광은 제1여광판(220)을 통과하면서 필터링되고, 제1여광판(220)의 특성에 따라 정해진 단일한 파장을 가지는 제1광선이 획득된다. 제2여광판(230)은 제1여광판(220)과 동일한 방식으로, 제1광분할기(210)에서 분할된 광들 중 나머지 하나의 광을 입력받아, 제1광선의 파장과 다른 파장을 가지는 제2광선을 획득한다. 그리고 제2광선은 간섭무늬획득부(300)로 보내진다. 제1반사체(240)는 제1여광판(220)에서 획득된 제1광선을 입사받아 간섭무늬획득부(300)로 반사하는 역할을 한다.The wavelength splitter 200 includes a first light splitter 210, a first filter plate 220, a second filter plate 230, and a first reflector 240. The first light splitter 210 receives the mixed light incident from the mixed light source unit 100 and divides the light into two lights. At this time, the first light splitter 210 divides the incident mixed light into different directions to advance the split light. The first filter panel 220 receives one of light split by the first light splitter 210 and obtains a first light beam having a predetermined single wavelength. Here, the light input to the first filter plate 220 is filtered while passing through the first filter plate 220, and a first light beam having a single wavelength determined according to the characteristics of the first filter plate 220 is obtained. The second filter panel 230 receives the other one of the light split by the first light splitter 210 in the same manner as the first filter panel 220, and has a second wavelength different from the wavelength of the first light beam. Acquire a ray. The second light beam is sent to the interference fringe acquiring unit 300. The first reflector 240 receives the first light beams obtained from the first light filter plate 220 and reflects them to the interference pattern acquisition unit 300.

간섭무늬획득부(300)는 제2광분할기(310)와 제3광분할기(320)와 제2반사체(330)와 제3여광판(340)과 제3반사체(350)를 포함한다. 제2광분할기(310)는 파장분할부(200)로부터 입력된 제1광선을 입력받아 제1물체광과 제1기준광으로 분할한다. 이때 제2광분할기(210)는 입사받은 제1광선을 서로 다른 방향으로 나누어 진행시키는 역할을 수행한다. 제3광분할기(320)도 제2광분할기(310)와 동일한 방식으로 제2광선을 입력받아 제2물체광과 제2기준광으로 분할한다. 제2반사체(330)는 제1기준광을 입사받고, 이를 반사한 제1반사기준광을 제2광분할기(310)로 보낸다. 제3여광판(340)은 제2광분할기(310)에서 분할된 제1기준광을 입사받아 제2반사체(330)로 보내고, 반사되는 제1반사기준광을 입사받아 제2광분할기로 보낼 수 있다. 또한 제3여광판(340)은 제2물체광이 제2광분할기(310)에 이르러 광분할되어 일부가 제2반사체(330) 방향으로 진행할 때 제2반사체(330)에 도달하지 못하도록 진행을 막는다. 이를 위하여 제3여광판(340)은 광을 투과시킴에 있어서 제1여광판(220)과 동일한 특성을 가지는 여광판으로 한다. 제3반사체(350)는 제2기준광을 입사받고, 이를 반사한 제2반사기준광을 제3광분할기(320)로 보내는데, 여기서 제2반사체(330) 및 제3반사체(350)는 제어부(700)의 제어에 따라 각도 조절이 가능하도록 구성하여, 탈축(off-axis) 홀로그램을 구현할 수 있다.The interference pattern acquisition unit 300 includes a second light splitter 310, a third light splitter 320, a second reflector 330, a third light filter plate 340, and a third reflector 350. The second light splitter 310 receives the first light beam input from the wavelength splitter 200 and divides the first light beam into a first object light and a first reference light. In this case, the second light splitter 210 divides the first light beam incident in different directions to advance the split light beam. The third light splitter 320 receives the second light beam in the same manner as the second light splitter 310 and divides the second light beam into a second object light and a second reference light. The second reflector 330 receives the first reference light and sends the reflected first light to the second light splitter 310. The third filter plate 340 may receive the first reference light split by the second light splitter 310 and send the incident light to the second reflector 330, and receive the reflected first reflection reference light to the second light splitter. In addition, the third filter plate 340 prevents the second object light from reaching the second reflector 330 when the second object light reaches the second light splitter 310 and splits light so that a part of the light passes toward the second reflector 330. . To this end, the third filter plate 340 is a filter plate having the same characteristics as the first filter plate 220 in transmitting light. The third reflector 350 receives the second reference light and sends the reflected second reference light to the third light splitter 320, wherein the second reflector 330 and the third reflector 350 are controlled by the controller 700. The angle can be adjusted according to the control of), so that an off-axis hologram can be realized.

한편, 상술한 바와 같이 획득된 제1물체광, 제2물체광은 다음과 같은 과정을 거쳐 각 제1반사물체광과 제2반사물체광으로 변환되어 이미지센서부(500)로 보내진다. 제2광분할기(310)는 이상과 같이 분할한 제1물체광을 대물부(400)에 거치되어 있는 측정 대상 물체에 입사시키고, 또한 제3광분할기(320)로부터 분할되어 보내지는 제2물체광을 상기 측정 대상 물체에 입사시킨다. 이 경우, 측정 대상 물체에서 입사받은 제1물체광을 반사한 반사광을 제1반사물체광이라 한다. 또한 측정 대상 물체에서 입사받은 제2물체광을 반사한 반사광을 제2반사물체광이라 한다. 제2광분할기(310)는 이상과 같이 반사된 제1반사물체광과 제2반사물체광을 입력받아 이를 제3광분할기(320)로 보낸다. 제3광분할기(320)는 이상과 같이 입력받은 제1반사물체광과 제2반사물체광을 다시 이미지센서부(500)로 보낸다.On the other hand, the first object light and the second object light obtained as described above is converted to each of the first reflecting object light and the second reflecting object light through the following process is sent to the image sensor unit 500. The second light splitter 310 enters the first object light, which is divided as described above, into the object to be measured which is mounted on the objective part 400, and the second object split and sent from the third light splitter 320. Light is incident on the object to be measured. In this case, the reflected light reflecting the first object light incident from the object to be measured is referred to as the first reflecting object light. In addition, the reflected light reflecting the second object light incident from the measurement target object is referred to as the second reflecting object light. The second light splitter 310 receives the first reflecting object light and the second reflecting object light reflected as described above, and sends them to the third light splitter 320. The third light splitter 320 transmits the first reflecting object light and the second reflecting object light, which are input as described above, to the image sensor unit 500 again.

또한, 상술한 바와 같이 획득된 제1반사기준광, 제2반사기준광은 다음과 같은 과정을 거쳐 이미지센서부(500)로 보내진다. 구체적으로, 제2광분할기(310)는 제2반사체(330)에서 반사되어 온 제1반사기준광을 입력받아 제3광분할기(320)로 보낸다. 제3광분할기(320)는 이상과 같이 제2광분할기(310)에서 보내진 제1반사기준광과, 제3반사체(350)에서 반사되어 온 제2반사기준광을 입력받아 다시 이미지센서부(500)로 보낸다. 그에 따라, 제3광분할기(320)에서 제1반사물체광과 제1반사기준광과 제2반사물체광과 제2반사기준광이 모두 동일하게 이미지센서부(500) 방향으로 보내진 후, 상호 간섭하여 간섭무늬가 생성된다.In addition, the first reflection reference light and the second reflection reference light obtained as described above are sent to the image sensor unit 500 through the following process. In detail, the second light splitter 310 receives the first reflection reference light reflected from the second reflector 330 and sends it to the third light splitter 320. As described above, the third light splitter 320 receives the first reflection reference light sent from the second light splitter 310 and the second reflection reference light reflected from the third reflector 350 and receives the image sensor unit 500 again. Send to. Accordingly, in the third light splitter 320, the first reflecting object light, the first reflecting reference light, the second reflecting object light, and the second reflecting reference light are all sent in the same direction to the image sensor unit 500, and then interfere with each other. An interference fringe is created.

한편, 제2반사체(330)와 제3반사체(350)는 서로 다른 파장의 광선이 서로 다른 간섭무늬를 형성하게 하는 탈축(off-axis) 시스템을 구성하기 위하여 제어부(700)의 제어에 따라 각도를 다방향으로 조절할 수 있는 것을 특징으로 한다. 즉, 제2반사체(330)와 제3반사체(350)의 각도가 서로 상이하게 됨에 따라, 제2반사체(330)로부터 반사되는 제1반사기준광과 제3반사체(350)로부터 반사되는 제2기준광의 방향에 이격이 발생하게 되어, 제1반사기준광과 제2반사기준광이 이미지센서부(500)에 도달한 제1반사물체광과 제2반사물체광과 합쳐져 간섭무늬를 형성할 때에, 각 파장 별로 상이하게 탈축된 간섭무늬를 형성하게 된다. On the other hand, the second reflector 330 and the third reflector 350 are angled under the control of the control unit 700 in order to form an off-axis system that allows light rays of different wavelengths to form different interference fringes. Characterized in that can be adjusted in a multi-direction. That is, as the angles of the second reflector 330 and the third reflector 350 are different from each other, the first reflecting reference light reflected from the second reflector 330 and the second reference reflected from the third reflector 350 When the distance is generated in the direction of the light, the first reflecting reference light and the second reflecting reference light are combined with the first reflecting object light and the second reflecting object light reaching the image sensor unit 500 to form an interference fringe. Very different shrinkage interference patterns are formed.

대물부(400)는 물체거치대(410)와 대물렌즈(420)를 포함한다. 물체거치대(410)는 측정 대상 물체를 거치대에 고정시켜 측정되도록 하고, 대물렌즈(420)는 측정 대상 물체에 입사되는 제1물체광과 제2물체광을 광학적으로 조절한다.The objective unit 400 includes an object holder 410 and an objective lens 420. The object holder 410 fixes the object to be measured in the holder to measure the object, and the objective lens 420 optically adjusts the first object light and the second object light incident on the object to be measured.

이미지센서부(500)는 간섭무늬획득부(300)에서 획득된 상기 간섭무늬를 디지털 이미지 센서에 투영시키고, 상기 투영된 간섭무늬를 상기 디지털 이미지 센서를 이용하여 측정하고, 그 측정값을 이산신호로 변환한다. 통상 상기 간섭무늬를 기록한 것을 홀로그램이라고 한다. 이러한 디지털 이미지 센서로는 CCD 등 다양한 이미지센서들이 사용될 수 있다.The image sensor unit 500 projects the interference fringes obtained by the interference fringe acquisition unit 300 to a digital image sensor, measures the projected interference fringes using the digital image sensor, and measures the measured values as discrete signals. Convert to Usually, the interference fringe is recorded as a hologram. As such a digital image sensor, various image sensors such as a CCD may be used.

이미지저장부(600)는 이미지센서부(500)에서 이산신호로 변환된 간섭무늬 정보를 메모리나 디스크장치 등과 같은 다양한 저장매체에 저장한다.The image storage unit 600 stores the interference fringe information converted into discrete signals by the image sensor unit 500 in various storage media such as a memory or a disk device.

제어부(700)는 상술한 탈축(off-axis) 시스템을 구현하고 간섭무늬를 획득하기 위하여 제2반사체(330)와 제3반사체(350)의 위치와 각도를 조절하는 등 간섭무늬획득부(300)를 제어하고, 측정 대상 물체에 입사되는 제1물체광과 제2물체광을 조절하기 위하여 대물렌즈(420)를 조절하는 등 대물부(400)를 제어하고, 상기 간섭무늬가 측정되어 그에 대한 정보가 이산신호로 변환되도록 하기 위하여 이미지센서부(500)를 제어하고, 이산신호로 변환된 간섭무늬 정보를 저장하기 위하여 이미지저장부(600)를 제어한다.The control unit 700 adjusts the position and angle of the second reflector 330 and the third reflector 350 in order to implement the above-described off-axis system and obtain the interference fringe. ) To control the objective unit 400 such as adjusting the objective lens 420 to control the first object light and the second object light incident on the object to be measured. The image sensor unit 500 is controlled to convert the information into a discrete signal, and the image storage unit 600 is controlled to store the interference fringe information converted into the discrete signal.

물체형상복원부(800)는 위상정보획득부(810)와 두께정보획득부(820)와 형상복원부(830)을 포함한다. 위상정보획득부(810)은 상기 간섭무늬 정보를 이용하여 상기 제1광선에 대한 간섭무늬의 위상정보와 상기 제2광선에 대한 간섭무늬의 위상정보를 각각 획득하고, 두께정보획득부(820)은 상기 위상정보들을 이용하여 측정 대상 물체의 두께정보를 획득하고, 형상복원부(830)은 상기 두께정보를 이용하여 측정 대상 물체의 실시간 3차원 형상을 복원한다. 이때 측정 대상 물체의 두께정보는 상기 물체광과 기준광이 각각 진행한 경로의 차이 정보를 포함한다. 이와 같은 상기 물체광과 기준광의 광 경로차 때문에 상기 물체광과 기준광이 중첩되었을 때 상기 간섭무늬가 형성된다.The object shape restorer 800 includes a phase information acquirer 810, a thickness information acquirer 820, and a shape restorer 830. The phase information acquisition unit 810 acquires phase information of the interference fringe for the first ray and phase information of the interference fringe for the second ray by using the interference fringe information, and obtains the thickness information acquirer 820. Obtains thickness information of the object to be measured using the phase information, and the shape restoring unit 830 restores the real-time three-dimensional shape of the object to be measured using the thickness information. In this case, the thickness information of the object to be measured includes difference information between paths of the object light and the reference light. Due to the optical path difference between the object light and the reference light, the interference fringe is formed when the object light and the reference light overlap.

상술한 공개된 종래 기술에서는 측정 대상 물체의 측정 해상도를 높이고, 시간이 흐름에 따라 변화하는 측정 대상 물체에 대한 홀로그램을 실시간으로 측정 및 기록하여 측정 대상 물체의 3차원 형상 정보를 실시간으로 복원하는 효과가 달성되지만, 여전히 다음과 같은 문제점이 발생한다.In the above-described disclosed prior art, the effect of reconstructing the three-dimensional shape information of the measurement target object in real time by increasing the measurement resolution of the measurement target object and measuring and recording the hologram of the measurement target object that changes over time in real time. Is achieved, but the following problem still occurs.

좀 더 구체적으로, 공개된 종래 기술에서는 단일하지 않은 여러 대역에 분포된 파장 대역을 가지는 혼합 광원이 사용되므로, 적어도 2개 이상의 단일 파장을 얻기 위해 파장분할부(200)가 파장이 서로 상이한 제1광선 및 제제2광원을 분할하기 위해 제1여광판(220), 제2여광판(230), 및 제1반사체(240)를 사용하여야 한다. 또한, 간섭무늬획득부(300)가 제2광원을 분할하기 위한 제3광분할기(320), 제2광원을 반사시키기 위한 제3반사체(350), 및 제2광원이 제2반사체(330)로 입사되는 것을 차단하기 위한 제3여광판(340)을 추가로 사용하여야 한다. 따라서, 장치 전체의 구조가 복잡해지고, 전체 제조 비용이 고가라는 문제점이 여전히 존재한다.More specifically, in the disclosed prior art, since a mixed light source having a wavelength band distributed over several non-uniform bands is used, the wavelength division unit 200 has a first wavelength different from each other in order to obtain at least two or more single wavelengths. The first filter plate 220, the second filter plate 230, and the first reflector 240 should be used to split the light beam and the preparation 2 light source. Also, a third light splitter 320 for dividing the second light source by the interference pattern acquisition unit 300, a third reflector 350 for reflecting the second light source, and a second reflector 330. The third filter plate 340 to block the incident to the should be further used. Thus, there is still a problem that the structure of the entire apparatus becomes complicated and the overall manufacturing cost is expensive.

따라서, 단일 파장의 광원을 사용하면서도 상술한 문제점을 해결할 수 있을 뿐만 아니라, TFT 및 반도체와 같은 초미세 구조의 결함 검출용 장치, 정밀한 3차원 영상의 표시가 요구되는 의료 기기, 및 기타 렌즈와 같은 투명한 물체의 굴절률 에러 검출 등을 포함한 다양한 분야의 검출, 확인 또는 표시용 장치에 적용이 가능한 새로운 방안이 요구된다. Therefore, the above-mentioned problems can be solved while using a single wavelength light source, and devices for detecting defects of ultra-fine structures such as TFTs and semiconductors, medical devices requiring precise display of three-dimensional images, and other lenses There is a need for a new method that can be applied to a device for detecting, verifying or displaying various fields including refractive index error detection of a transparent object.

대한민국 공개특허 제10-2016-0029606호Republic of Korea Patent Publication No. 10-2016-0029606 대한민국 공개특허 제10-2010-0095302호Republic of Korea Patent Publication No. 10-2010-0095302 대한민국 공개특허 제10-2012-0014355호Republic of Korea Patent Publication No. 10-2012-0014355 대한민국 특허 제10-1139178호Republic of Korea Patent No. 10-1139178 대한민국 특허 제10-1441245호Republic of Korea Patent No. 10-1441245 미국 특허 제7,649,160호U.S. Pat.No.7,649,160

본 발명은 상술한 종래 기술의 문제점을 해결하기 위한 것으로, 한 장의 물체 홀로그램 영상만을 획득하고, 기준 홀로그램 영상을 사용하지 않고 획득된 물체 홀로그램 영상 및 상기 획득된 물체 홀로그램으로부터 생성된 디지털 기준광 만을 이용하여 물체의 3차원 형상 정보 및 정량적인 두께 정보를 복원함으로써, 종래 기술의 한 장의 물체 홀로그램 영상을 사용하는 원샷 방식의 디지털 홀로그래피 복원 시 요구되는 복잡한 광학 장치 구조 및 그에 따른 상당한 고가의 비용 문제를 해결할 수 있으며, 간단한 구조 및 저가의 비용으로 홀로그래픽 복원이 가능하고, 종래 기술의 반사형 및 투과형 홀로그램 복원 장치에 모두 적용될 수 있는 범용성을 가지며, 특히 홀로그램 복원 시 기준 홀로그램의 사용이 불필요하고, 실시간으로 측정 대상 물체의 정량적인 3차원 영상 복원이 가능하여, TFT 및 반도체와 같은 초미세 구조의 결함 검출용 장치, 정밀한 3차원 영상의 표시가 요구되는 의료 기기, 및 기타 렌즈와 같은 투명한 물체의 굴절률 에러 검출 등을 포함한 다양한 분야의 검출, 확인 또는 표시용 장치에 적용이 가능한 개선된 홀로그래픽 복원 장치를 이용하여 획득한 물체의 3차원 형상 정보 및 정량적인 두께 정보를 이용하여 결함을 검출하는 방법 및 장치를 제공하기 위한 것이다. The present invention is to solve the above-mentioned problems of the prior art, by using only one object hologram image, using only the object hologram image obtained without using the reference hologram image and the digital reference light generated from the obtained object hologram By reconstructing three-dimensional shape information and quantitative thickness information of an object, it is possible to solve the complicated optical device structure and a considerable cost problem required for one-shot digital holography reconstruction using a single object hologram image of the prior art. It has a simple structure and low cost, enables holographic restoration, and has universality that can be applied to both reflective and transmissive hologram restoration apparatuses of the prior art, and in particular, it is unnecessary to use a reference hologram when performing hologram restoration, and to measure in real time. Object Capable of quantitative three-dimensional image reconstruction, including detection of defects in ultra-fine structures such as TFTs and semiconductors, medical devices that require precise display of three-dimensional images, and detection of refractive error in transparent objects such as other lenses To provide a method and apparatus for detecting defects using three-dimensional shape information and quantitative thickness information of an object obtained by using an improved holographic restoration apparatus applicable to a device for detection, identification or display in various fields will be.

본 발명의 제1 특징에 따른 측정 물체의 결함을 검출하는 방법은, 디지털 홀로그래픽 현미경을 이용하여 측정하고자 하는 물체의 보상된 홀로그램을 계산하는 단계; 상기 물체의 홀로그램에서 3차원 위상정보를 추출하는 단계; 및 상기 위상정보를 합성곱 필터(convolutional filter)가 군집화된 위상 이미지 결함 검출 합성곱 신경망(Phase image defect detection Convolutional Neural Network)에 적용하여 상기 물체의 불량 여부를 결정하는 단계를 포함하는 것을 특징으로 한다. A method for detecting a defect of a measuring object according to a first aspect of the invention comprises the steps of: calculating a compensated hologram of an object to be measured using a digital holographic microscope; Extracting three-dimensional phase information from the hologram of the object; And applying the phase information to a phase image defect detection convolutional neural network in which a convolutional filter is clustered to determine whether the object is defective. .

본 발명의 제2 특징에 따른 측정 물체의 결함을 검출하는 장치는, 측정하고자 하는 물체의 홀로그램 데이터를 측정하는 홀로그램 측정부; 및 상기 물체의 보상된 홀로그램을 계산하고, 상기 물체의 홀로그램에서 3차원 위상정보를 추출하고, 상기 위상정보를 합성곱 필터(convolutional filter)가 군집화된 위상 이미지 결함 검출 합성곱 신경망(Phase image defect detection Convolutional Neural Network)에 적용하여 상기 물체의 불량 여부를 결정하는 제어부를 포함하는 것을 특징으로 한다.In accordance with a second aspect of the present invention, an apparatus for detecting a defect of a measuring object includes: a hologram measuring unit measuring hologram data of an object to be measured; And calculating the compensated hologram of the object, extracting three-dimensional phase information from the hologram of the object, and calculating the phase information from the convolutional filter. Convolutional Neural Network) characterized in that it comprises a control unit for determining whether the object is defective.

상술한 본 발명에 따른 측정 물체의 결함을 검출하는 장치 및 방법을 사용하면 다음과 같은 장점이 달성된다.The use of the apparatus and method for detecting a defect of a measuring object according to the present invention described above achieves the following advantages.

1. 종래 기술의 한 장의 물체 홀로그램 영상을 사용하는 원샷 방식의 디지털 홀로그래피 복원 시 요구되는 복잡한 광학 장치 구조 및 그에 따른 상당한 고가의 비용 문제를 해결할 수 있다.1. It is possible to solve the complicated optical device structure required for the one-shot digital holography reconstruction using a single object hologram image of the prior art, and thus a considerable cost problem.

2. 간단한 구조 및 저가의 비용으로 홀로그래픽 복원이 가능하다.2. Holographic restoration is possible with simple structure and low cost.

3. 종래 기술의 반사형 및 투과형 홀로그램 복원 장치에 모두 적용될 수 있는 범용성을 가진다.3. Has versatility that can be applied to both reflective and transmissive hologram restoration devices of the prior art.

4. 특히 홀로그램 복원 시 기준 홀로그램 영상이 불필요하며, 실시간으로 측정 대상 물체의 정량적인 3차원 영상 복원이 가능하다.4. Especially when hologram restoration, reference hologram image is unnecessary and quantitative 3D image restoration of the object to be measured is possible in real time.

5. TFT 및 반도체와 같은 초미세 구조의 결함 검출용 장치, 정밀한 3차원 영상의 표시가 요구되는 의료 기기, 및 기타 렌즈와 같은 투명한 물체의 굴절률 에러 검출 등을 포함한 다양한 분야의 검출, 확인 또는 표시용 장치에 적용이 가능하다.5. Detection, identification or indication in a variety of fields, including devices for detecting defects of ultra-fine structures such as TFTs and semiconductors, medical devices requiring precise three-dimensional image display, and detection of refractive error in transparent objects such as lenses Applicable to the device.

6. 물체의 횡방향(Lateral) 및 종방향(Axial) 결함(3차원 결함) 모두 검출 가능하다. 6. Both Lateral and Axial defects (three-dimensional defects) of the object can be detected.

7. 결함 검출의 자동화가 가능하므로, 제조사의 제조 원가 절감, 및 이를 통한 소비자의 비용 부담 인하 효과를 가져올 수 있을 것으로 예상된다. 7. It is possible to automate the detection of defects, thus reducing the manufacturing cost of the manufacturer and reducing the cost burden of the consumer.

본 발명의 추가적인 장점은 동일 또는 유사한 참조번호가 동일한 구성요소를 표시하는 첨부 도면을 참조하여 이하의 설명으로부터 명백히 이해될 수 있다. Further advantages of the present invention will become apparent from the following description with reference to the accompanying drawings in which like or like reference numerals designate like elements.

도 1은 공개된 종래 기술에 따른 따른 2파장 디지털 홀로그래피 현미경 장치를 상세히 도시한 블록도이다.
도 2은 본 발명의 홀로그램 측정부에 속하는 디지털 홀로그래픽 현미경을 도시하는 도면이다.
도 3는 본 발명의 실시예에 따른 결함 검출방법의 순서도이다.
도 4은 본 발명의 실시예에 따른 위상 이미지 결함 검출 합성곱 신경망 구현을 통한 불량 여부 결정하는 방법을 도시하는 도면이다.
도 5는 본 발명의 실시예에 따른 결함 검출 장치의 내부 구조를 도시하는 블록도이다. 1 is a block diagram illustrating in detail a two-wavelength digital holographic microscope apparatus according to the disclosed prior art.
2 is a diagram showing a digital holographic microscope belonging to the hologram measuring unit of the present invention.
3 is a flow chart of a defect detection method according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating a method of determining whether a defect is achieved by implementing a phase image defect detection composite product neural network according to an embodiment of the present invention.
5 is a block diagram showing the internal structure of a defect detection apparatus according to an embodiment of the present invention.

본 명세서에서 실시 예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.In describing the embodiments herein, descriptions of technical contents that are well known in the technical field to which the present invention belongs and are not directly related to the present invention will be omitted. This is to more clearly communicate without obscure the subject matter of the present invention by omitting unnecessary description.

마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.For the same reason, in the accompanying drawings, some components are exaggerated, omitted or schematically illustrated. In addition, the size of each component does not fully reflect the actual size. The same or corresponding components in each drawing are given the same reference numerals.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. Advantages and features of the present invention, and methods for achieving them will be apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various forms, and only the embodiments of the present invention make the disclosure of the present invention complete and the general knowledge in the technical field to which the present invention belongs. It is provided to fully convey the scope of the invention to those skilled in the art, and the present invention is defined only by the scope of the claims. Like reference numerals refer to like elements throughout.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다. In addition, each block may represent a portion of a module, segment, or code that includes one or more executable instructions for executing a specified logical function (s). It should also be noted that in some alternative implementations, the functions noted in the blocks may occur out of order. For example, two blocks shown in succession may in fact be executed substantially concurrently, or the blocks may sometimes be executed in the reverse order, depending on the functionality involved.

이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다.In this case, the term '~ part' used in the present embodiment means a software or hardware component, and '~ part' plays certain roles. However, '~' is not meant to be limited to software or hardware. '~ Portion' may be configured to be in an addressable storage medium or may be configured to play one or more processors. The functionality provided within the components and the 'parts' may be combined into a smaller number of components and the 'parts' or further separated into additional components and the 'parts'.

이하에서 본 발명의 실시예 및 도면을 참조하여 본 발명을 상세히 기술한다. Hereinafter, the present invention will be described in detail with reference to embodiments and drawings of the present invention.

도 2는 본 발명의 홀로그램 측정부에 속하는 디지털 홀로그래픽 현미경을 도시하는 도면 이다. 2 is a diagram illustrating a digital holographic microscope belonging to the hologram measuring unit of the present invention.

상기 디지털 홀로그래픽 현미경은 단일 파장 광을 방출하는 광원부(210); 상기 광원부(210)에서 방출된 단일 파장 광을 시준하기 위한 시준기(220); 상기 시준기(220)를 통과한 상기 단일 파장 광을 물체광(O) 및 기준광(R)으로 분할하는 광 분할기(230); 상기 광 분할기(230)에 의해 분할된 상기 물체광(O)을 통과시키는 물체광 대물 렌즈(240); 상기 광 분할기(230)에 의해 분할된 상기 기준광(R)을 통과시키는 기준광 대물 렌즈(260); 상기 기준광 대물 렌즈(60)를 통과한 상기 기준광(R)을 반사시키는 광학 거울(270); 상기 물체광 대물 렌즈(240)를 통과하여 측정 대상 물체(250)의 표면에서 반사된 물체광(O) 및 상기 광학 거울(270)에 의해 반사된 기준광(R)이 각각 상기 물체광 대물 렌즈(240) 및 기준광 대물 렌즈(260)를 통과하여 상기 광 분할기(230)로 전달되어 형성되는 간섭 무늬를 기록하는 기록 매체(280); 및 상기 기록 매체(280)에서 상기 간섭무늬를 변환하여 생성된 이미지 파일을 수신하여 저장하는 프로세서(290)를 포함할 수 있다. The digital holographic microscope includes a light source unit 210 for emitting a single wavelength light; A collimator 220 for collimating the single wavelength light emitted from the light source unit 210; A light splitter 230 that splits the single wavelength light that has passed through the collimator 220 into object light O and reference light R; An object light objective lens 240 for passing the object light O divided by the light splitter 230; A reference light objective lens 260 for passing the reference light R divided by the light splitter 230; An optical mirror 270 reflecting the reference light R passing through the reference light objective lens 60; The object light O passing through the object light objective lens 240 and reflected from the surface of the measurement target object 250 and the reference light R reflected by the optical mirror 270 are respectively the object light objective lens ( A recording medium (280) for recording an interference fringe formed by passing through the light source (240) and the reference light objective lens (260) to the light splitter (230); And a processor 290 for receiving and storing an image file generated by converting the interference fringe from the recording medium 280.

그리고 상기 프로세서(290)는 상기 이미지 파일로부터 획득된 물체 홀로그램으로부터 상기 물체 홀로그램의 기준광 정보를 추출하여 디지털 기준광을 생성하고, 상기 물체 홀로그램과 상기 디지털 기준광을 이용하여 보상된 물체 홀로그램을 계산하고 상기 보상된 물체 홀로그램의 위상 정보를 추출하여 상기 측정 대상 물체(250)의 3차원 정보를 복원할 수 있다. The processor 290 extracts reference light information of the object hologram from the object hologram obtained from the image file, generates a digital reference light, calculates a compensated object hologram using the object hologram and the digital reference light, and compensates for the compensation. Phase information of the object hologram may be extracted to restore three-dimensional information of the measurement target object 250.

그리고 상기 현미경의 측정 대상이 되는 물체(250)은 이동레일(255)을 통해서 상기 현미경에 의해 측정될 수 있다. 상기 프로세서(290)과 연결된 결함 판단부(295)에서 보상된 물체의 홀로그램을 이용하여 상기 물체의 결함 여부를 판단할 수 있다. The object 250 to be measured by the microscope may be measured by the microscope through the moving rail 255. The defect determination unit 295 connected to the processor 290 may determine whether the object is defective using the hologram of the object compensated for.

상기 프로세서(290)는 예를 들어, 마이크로프로세서, PC(Personal Computer) 등의 산술 연산이 가능한 장치로 구현되고, 또한 기록 매체(80)는 예를 들어 CCD(Charge Coupled Device), CMOS(Complimentary Metal-Oxide Semiconductor) 등의 이미지 센서로 구현될 수 있다.The processor 290 is implemented as a device capable of arithmetic operations, such as, for example, a microprocessor, a personal computer (PC), and the recording medium 80 is, for example, a charge coupled device (CCD), a complementary metal (CMOS), and the like. -Oxide Semiconductor) or the like can be implemented with an image sensor.

또한, 상기 프로세서(290)에 의해 획득되는 물체 홀로그램의 정보는 물체의 파장 및 위상 정보, 및 물체광 대물 렌즈(240)의 수차를 포함하고, 노이즈(예를 들어, 레이저의 광자(photon) 사용에 따른 스펙클 노이즈(speckle noise) 등)를 추가적으로 포함할 수 있다. 그리고 상기 프로세서(290)에 의해 획득된 물체 홀로그램은 복소 공액 홀로그램으로, 하기의 식 1과 같이 표현될 수 있다.In addition, the information of the object hologram obtained by the processor 290 includes the wavelength and phase information of the object, and the aberration of the object light objective lens 240, and uses noise (eg, photon use of a laser). Speckle noise, etc.) may be additionally included. The object hologram obtained by the processor 290 is a complex conjugated hologram, which can be expressed by Equation 1 below.

식 1: |U o (x,y,0)|2= |O(x,y)|2+|R(x,y)|2+ O *(x,y)R(x,y)+O(x,y)R * (x,y)Equation 1: | U o (x, y, 0) | 2 = | O (x, y) | 2 + | R (x, y) | 2 + O * (x, y) R (x, y) + O (x, y) R * (x, y)

상기 식 1에서 x와 y는 공간 좌표를 나타내고, U o (x,y,0)는 획득된 물체 홀로그램을 나타내며, O(x,y) 및 R(x,y)는 각각 물체광(O)과 기준광(R)을 나타내고, O *(x,y) 및 R * (x,y)는 각각 물체광(O)과 기준광(R)의 복소 공액을 나타낸다.In Equation 1, x and y represent spatial coordinates, U o (x, y, 0) represents the obtained object hologram, and O (x, y) and R (x, y) respectively represent the object light (O). And reference light R, and O * (x, y) and R * (x, y) represent the complex conjugate of the object light O and the reference light R, respectively.

이하에서는 상기 획득된 물체 홀로그램으로부터 디지털 기준광 및 보상된 물체 홀로그램을 생성하는 구체적인 방법을 기술하기로 한다.Hereinafter, a detailed method of generating the digital reference light and the compensated object hologram from the obtained object hologram will be described.

먼저, 상기 프로세서(290)는 상기 기록 매체(280)에 기록된 상기 간섭 무늬의 이미지 파일로부터 물체 홀로그램을 획득한다. 상기 획득된 물체 홀로그램은 물체의 위상 정보를 가지고 있는 물체광(O)과 물체의 위상 정보가 없는 기준광(R)의 간섭무늬로 이루어져 있다.First, the processor 290 obtains an object hologram from the image file of the interference fringe recorded on the recording medium 280. The obtained object hologram is composed of an interference fringe of the object light O having the phase information of the object and the reference light R having no phase information of the object.

그 후, 획득된 물체 홀로그램에서 물체의 위상 정보가 없는 기준광(R)의 정보를 추출하기 위해 획득된 물체 홀로그램에 대해 2차원 푸리에 변환(2D Fourier Transform)을 수행한다. 2차원 푸리에 변환으로 얻어진 물체 홀로그램의 주파수 스펙트럼은 실상 좌표(Real image spot-position)를 포함하는 스펙트럼 정보, 허상 좌표(Imaginary image spot-position)를 포함하는 스펙트럼 정보, 및 직류 정보(Direct Current: DC)를 포함하는 스펙트럼 정보로 각각 분리된다. 상기 주파수 스펙트럼에서 자동 실상 좌표 정보 추출 알고리즘(Automatic real image spot-position extraction algorithm)을 이용하여 상기 분리된 실상 좌표 정보만을 추출한다. 추출된 실상 좌표 정보를 이용하여 상기 획득된 물체 홀로그램의 기준광 정보를 추출한다.Thereafter, a 2D Fourier transform is performed on the obtained object hologram to extract information of the reference light R having no phase information of the object from the obtained object hologram. The frequency spectrum of the object hologram obtained by the two-dimensional Fourier transform includes spectral information including real image spot-position, spectral information including Imaginary image spot-position, and direct current (DC). Are separated into spectral information, including Only the separated real coordinate information is extracted from the frequency spectrum by using an automatic real image spot-position extraction algorithm. Reference light information of the obtained object hologram is extracted using the extracted actual coordinate information.

그 후, 상기 프로세서(290)의 추출된 기준광 정보는 광의 파동성으로 인하여 2π마다 위상 끊김 현상이 발생할 수 있으며, 이러한 위상 끊김 현상을 보상하기 위해 공지의 파수 벡터 알고리즘(Wavenumber algorithm)을 이용하여 추출된 기준광 정보의 파수 벡터 상수를 계산한다. 계산된 파수 벡터 상수를 이용하여 추출된 기준광 정보의 보상 항(Term)을 계산한다. 파수 벡터 상수로부터 계산된 추출된 기준광 정보의 보상 항은 상기 획득된 물체 홀로그램의 켤레항(Conjugate)이다. 이렇게 추출된 기준광 정보의 계산된 보상 항은 디지털 기준광이라 지칭되며, 이를 수식으로 나타내면 하기의 식 2와 같다.Thereafter, the extracted reference light information of the processor 290 may generate a phase dropping phenomenon every 2π due to light wave characteristics, and is extracted using a known wavenumber algorithm to compensate for the phase dropping phenomenon. A wave vector constant of the received reference light information. Compensation term of the extracted reference light information is calculated using the calculated wave vector constant. The compensation term of the extracted reference light information calculated from the wavenumber vector constant is the conjugate term of the obtained object hologram. The calculated compensation term of the extracted reference light information is referred to as a digital reference light, which is expressed by Equation 2 below.

식 2: R c (x,y)= conj[R(x,y)]Equation 2: R c (x, y) = conj [ R (x, y)]

상기 식 2에서,R c (x,y)는 디지털 기준광이고, R(x,y)는 획득된 물체 홀로그램의 기준광 정보이며, conj는 복소수의 켤레 항(Conjugate)을 구하는 함수이다.In Equation 2, R c (x, y) is a digital reference light, R (x, y) is reference light information of the obtained object hologram, and conj is a function for obtaining a conjugate conjugate of complex numbers.

그 후, 상기 프로세서(290)은 물체 홀로그램을 획득할 때 사용했던 물체광 대물 렌즈(240)의 곡률 수차(Curvature aberration)를 보상하기 위해 물체 홀로그램에서 수차 정보를 추출한다. 그 후, 프로세서(290)는 자동 주파수 곡률 수차 보상 알고리즘(Automatic frequency curvature compensation algorithm)을 이용하여 곡률 수차 정보 보상 항을 생성한다. 여기서, 곡률 수차 정보 보상 항을 디지털 곡률로 지칭하기로 한다.Thereafter, the processor 290 extracts aberration information from the object hologram to compensate for curvature aberration of the object light objective lens 240 used to obtain the object hologram. Thereafter, the processor 290 generates a curvature aberration information compensation term using an automatic frequency curvature compensation algorithm. Here, the curvature aberration information compensation term will be referred to as a digital curvature.

그 후, 프로세서(290)는 추출된 기준광 정보의 보상 항을 상기 획득된 물체 홀로그램에 곱하여 보상된 물체 홀로그램을 계산한다. 이를 식으로 나타내면 식 3과 같다.Thereafter, the processor 290 calculates the compensated object hologram by multiplying the compensation term of the extracted reference light information by the obtained object hologram. This is represented by the equation (3).

식 3: U C (x,y,0)=O(x,y)R *(x,y)R C (x,y)R CA (x,y)Equation 3: U C (x, y, 0) = O (x, y) R * (x, y) R C (x, y) R CA (x, y)

상기 식 3에서, U C (x,y,0)는 보상된 물체 홀로그램이고, O(x,y) 및 R *(x,y)는 각각 획득된 물체 홀로그램의 물체광 및 기준광이며, R C (x,y)는 디지털 기준광이고, R CA (x,y)는 디지털 곡률을 나타낸다.In Equation 3, U C (x, y, 0) is the compensated object hologram, O (x, y) and R * (x, y) are the object light and the reference light of the obtained object hologram, respectively, R C (x, y) is a digital reference light and R CA (x, y) represents a digital curvature.

그 후, 프로세서(290)는 보상된 물체 홀로그램을 각 스펙트럼 확산 알고리즘(Angular Spectrum Propagation algorithm)을 이용하여 복원 영상면(Reconstruction image plane)의 정보로 변환한다. 여기서, 복원 영상면이란 프로세서(290)에 의해 측정 대상 물체(250)와 기록 매체(280) 사이의 거리에 대응하는 거리만큼의 가상적인 영상 표시 평면을 의미하는 것으로, 프로세서(290)에 의해 계산 및 시뮬레이션될 수 있다. 프로세서(90)는 역 2차원 푸리에 변환(Inverse 2D Fourier transform)을 통해 보상된 물체 홀로그램의 위상 정보를 추출한다. 이러한 방식으로 추출된 위상 정보에서는 획득된 물체 홀로그램에서 광의 정보 및 대물 렌즈의 수차 정보가 제거되므로, 추출된 보상된 물체 홀로그램의 위상 정보는 물체의 위상 정보만을 포함하고 있다는 점에 유의하여야 한다.Thereafter, the processor 290 converts the compensated object hologram into information of a reconstruction image plane by using an Angular Spectrum Propagation algorithm. Here, the reconstructed image plane means a virtual image display plane corresponding to a distance corresponding to the distance between the measurement target object 250 and the recording medium 280 by the processor 290, and is calculated by the processor 290. And simulated. The processor 90 extracts phase information of the object hologram compensated through an inverse 2D Fourier transform. It should be noted that the phase information extracted in this manner removes the light information and the objective lens aberration information from the obtained object hologram, so that the phase information of the extracted compensated object hologram includes only the phase information of the object.

그 후, 프로세서(290)는 보상된 물체 홀로그램의 추출된 위상 정보를 이용하여 측정 대상 물체(250)의 정량적인 두께 정보를 계산한다. 이 경우, 프로세서(290)는 보상된 물체 홀로그램의 추출된 위상 정보가 예를 들어, 레이저의 광자(photon) 사용에 따른 스펙클 노이즈(speckle noise) 등과 같은 미세 노이즈를 추가적으로 포함할 수 있으므로, 측정 대상 물체(250)의 정량적인 두께 정보를 계산하기 전에 이러한 미세 노이즈를 미리 제거할 수 있다. 구체적으로, 프로세서(290)는 2차원 위상 펼침 알고리즘(2D phase unwrapping algorithm)을 이용하여 보상된 물체 홀로그램의 추출된 위상 정보로부터 미세 노이즈 및 위상 접힘(Wrapped phase) 현상에 기인한 왜곡된 위상 정보를 보상할 수 있다. 이러한 미세 노이즈 및 위상 접힘(Wrapped phase) 현상에 기인한 왜곡된 위상 정보가 제거된 경우 보상된 물체 홀로그램의 위상 정보에 기초하여 측정 대상 물체(250)의 정량적인 두께 정보를 더욱 정밀하게 계산할 수 있다. 상술한 방식으로 계산된 측정 대상 물체(50)의 정량적인 두께 정보는 하기 식 4와 같이 표시된다.Thereafter, the processor 290 calculates quantitative thickness information of the measurement target object 250 using the extracted phase information of the compensated object hologram. In this case, the processor 290 may determine that the extracted phase information of the compensated object hologram may further include fine noise, such as speckle noise due to the use of photons of the laser. Such fine noise may be removed in advance before calculating quantitative thickness information of the target object 250. In detail, the processor 290 may extract the distorted phase information due to the fine noise and the wrapped phase phenomenon from the extracted phase information of the object hologram compensated using the 2D phase unwrapping algorithm. You can compensate. When the distorted phase information due to the fine noise and the phase wrapped phenomenon is removed, the quantitative thickness information of the measurement target object 250 may be more precisely calculated based on the phase information of the compensated object hologram. . Quantitative thickness information of the measurement target object 50 calculated in the above-described manner is expressed as in Equation 4 below.

식 4: △L = λ△φ(x,y)/2π△n(x,y) Equation 4: ΔL = λΔφ (x, y) / 2π Δn (x, y)

상기 식 4에서, △L은 측정 대상 물체(50)의 정량적인 두께 정보, λ는 물체 홀로그램 획득 시 사용한 광원부(210)의 파장, φ(x,y)는 상기 보상된 물체 홀로그램의 위상 정보, △n(x,y)는 배경과 (또는 공기와) 측정 대상 물체(250) 간의 굴절률 차이를 의미한다. 프로세서(290)는 상기 식 4에 따라 계산된 측정 대상 물체(250)의 정량적인 두께 정보를 이용하여 측정 대상 물체(250)의 3차원 형상을 상술한 복원 영상면 상에 복원할 수 있다. In Equation 4, ΔL is quantitative thickness information of the measurement target object 50, λ is the wavelength of the light source unit 210 used when obtaining the object hologram, φ (x, y) is phase information of the compensated object hologram, Δn (x, y) refers to the difference in refractive index between the background and (or air) the object to be measured 250. The processor 290 may restore the three-dimensional shape of the measurement target object 250 on the above-described reconstructed image plane by using the quantitative thickness information of the measurement target object 250 calculated according to Equation 4 above.

상기의 프로세서(290)은 후술하는 도 5의 제어부(530)에 보상 홀로그램 계산부(531) 및 3차원 위상 정보 추출부(532)에 대응될 수 있다. The processor 290 may correspond to the compensation hologram calculator 531 and the 3D phase information extractor 532 in the controller 530 of FIG. 5 to be described later.

도 3는 본 발명의 실시예에 따른 결함 검출방법의 순서도이다. 3 is a flow chart of a defect detection method according to an embodiment of the present invention.

우선, S310 단계에서 결함 검출 장치는 측정하고자 하는 물체의 보상된 홀로그램을 계산할 수 있다. 상기 장치는 상기 도 2의 디지털 홀로그래픽 현미경을 이용하여 상기 물체의 보상 전 홀로그램을 측정할 수 있다. First, in operation S310, the defect detecting apparatus may calculate a compensated hologram of an object to be measured. The device may measure the hologram before compensation of the object using the digital holographic microscope of FIG. 2.

구체적으로, 본 발명의 결함 검출 장치는 상기 물체의 홀로그램으로부터 기준광 정보를 추출하고, 상기 기준광 정보의 파수 벡터 상수를 계산하고, 계산된 상기 파수 벡터 상수를 이용하여 상기 기준광 정보의 보상 항을 계산하여 디지털 기준광을 생성할 수 있다. 그리고 상기 장치는 상기 물체 홀로그램에서 수차 정보를 추출한 후, 상기 추출된 수차 정보에 기초하여 수차를 보상한 디지털 곡률을 생성하고, 상기 기준광 정보의 상기 보상 항을 상기 물체의 홀로그램에 곱하여 보상된 물체 홀로그램을 계산할 수 있다. Specifically, the defect detecting apparatus of the present invention extracts reference light information from the hologram of the object, calculates the wavenumber vector constant of the reference light information, and calculates a compensation term of the reference light information by using the calculated wavenumber vector constant. Digital reference light can be generated. The apparatus extracts aberration information from the object hologram, generates a digital curvature that compensates for aberration based on the extracted aberration information, and multiplies the compensation term of the reference light information by the hologram of the object to compensate for the object hologram. Can be calculated.

그리고 S320 단계에서, 결함 검출 장치는 상기 보상된 홀로그램에서 3차원 위상정보를 추출할 수 있다. 구체적으로, 상기 결함 검출 장치는 상기 보상된 물체 홀로그램을 각 스펙트럼 확산 알고리즘(Angular Spectrum Propagation algorithm)을 이용하여 복원 영상면(Reconstruction image plane)의 정보로 변환하고, 역 2차원 푸리에 변환(Inverse 2D Fourier transform)을 이용하여 상기 보상된 물체 홀로그램의 위상 정보를 추출할 수 있다. In operation S320, the defect detecting apparatus may extract 3D phase information from the compensated hologram. In detail, the defect detection apparatus converts the compensated object hologram into information of a reconstruction image plane by using an angular spectrum spectrum algorithm and inverse 2D Fourier transform. phase information of the compensated object hologram may be extracted using a transform).

추출된 상기 위상정보는 상기 물체의 홀로그램에서 광의 정보 및 대물 렌즈의 수차 정보가 제거되어, 상기 물체의 위상정보만을 포함한다. The extracted phase information includes only the phase information of the object by removing light information and aberration information of the objective lens from the hologram of the object.

그후, S330 단계에서, 결함 검출 장치는 추출된 상기 위상정보를 합성곱 필터(convolutional filter)가 군집화된 위상 이미지 결함 검출 합성곱 신경망(Phase image defect detection Convolutional Neural Network)에 적용하여 상기 물체의 불량 여부를 결정할 수 있다. Then, in step S330, the defect detection apparatus applies the extracted phase information to a phase image defect detection convolutional neural network in which a convolutional filter is clustered to determine whether the object is defective. Can be determined.

본 발명에 따른 결함 검출 장치는 불량 여부를 결정하기 앞서, 상기 합성곱 필터(convolutional filter)를 군집화할 수 있다. 우선, 본 발명의 결함 검출 장치는 측정하고자 하는 물체의 설계 데이터를 입력 받을 수 있다. 상기 설계 데이터는 상기 물체의 3차원 크기 데이터를 의미하며, 횡방향(xy평면) 및 종방향(두께 또는 z축)의 위치 데이터일 수 있지만, 이러한 위치 데이터로 한정되는 것은 아니며, 부피, 곡률 등과 같은 다양한 데이터를 포함할 수 있다. The defect detection apparatus according to the present invention may cluster the convolutional filter before determining whether the defect is defective. First, the defect detecting apparatus of the present invention may receive design data of an object to be measured. The design data refers to three-dimensional size data of the object, and may be position data in a transverse direction (xy plane) and a longitudinal direction (thickness or z-axis), but is not limited to such position data, and includes volume, curvature, and the like. It can contain a variety of data.

또한, 본 발명의 결함 검출 장치는 실제로 양품 또는 불량품 판정을 받은 복수 개의 실제 데이터를 입력 받을 수 있다. 상기 설계 데이터에 상응하는 양품 또는 불량품의 실제 수치값을 입력 받을 수 있다. 예를 들어 설계 데이터가 3차원 크기 데이터인 경우, 실제 데이터도 양품 또는 불량품의 3차원 크기 데이터(횡방향 및 종방향 위치 데이터)를 입력 받을 수 있다. 그리고 상기 실제 데이터는 양품과 불량품 각각에 대해 적어도 5000개 이상을 입력 받을 수 있지만, 이에 제한되는 것은 아니다. 본 발명의 결함 검출 장치의 사용자는 상기 설계 데이터에 기반하여 생산된 물건의 기능이 정상 작동하는지 여부로 상기 양품과 불량품을 구분할 수 있다. In addition, the defect detection apparatus of the present invention can receive a plurality of actual data that has been actually judged good or defective. The actual numerical value of the good or defective product corresponding to the design data may be input. For example, when the design data is 3D size data, the actual data may also receive 3D size data (lateral and longitudinal position data) of good or defective products. And the actual data may be input at least 5000 or more for each good or defective, but is not limited thereto. The user of the defect detection apparatus of the present invention can distinguish between the good and defective items based on whether the function of the product produced based on the design data is normally operated.

또한, 현재 측정하고자 하는 물체의 불량 여부가 판단된 뒤에는 본 발명의 결함 검출 장치가 상기 실제 데이터에 상기 물체의 데이터를 포함시켜 상기 실제 데이터를 갱신할 수 있다. 이 경우, 불량 여부의 판단 횟수가 증가할수록 획득되는 실제 데이터의 개수도 증가되므로, 추후 측정 물체의 불량 여부 판단의 정확성이 높아질 수 있다.In addition, after it is determined whether the object to be measured currently is defective, the defect detection apparatus of the present invention may update the actual data by including the data of the object in the actual data. In this case, as the number of determinations of failure is increased, the number of actual data acquired also increases, so that the accuracy of determination of failure of a measurement object may be increased later.

또한, 본 발명의 결함 측정 장치는 상기 설계 데이터와 상기 실제 데이터 각각을 비교하여 유사도를 계산할 수 있다. 본 발명의 결함 측정 장치는 Correlation 함수를 이용하여 상기 설계 데이터와 상기 실제 데이터의 전체적인 유사도를 계산할 수 있다. 상기 유사도 값은 동일할 경우 1로 표현되고, 유사하지 않을수록 감소하여 0에 수렴한다. In addition, the defect measuring apparatus of the present invention may calculate the degree of similarity by comparing each of the design data and the actual data. The defect measuring apparatus of the present invention may calculate the overall similarity between the design data and the actual data using a Correlation function. The similarity value is expressed as 1 when they are the same, and decreases as they are not similar and converges to 0.

또한, 본 발명의 결함 측정 장치는 상기 유사도가 임의의 오차 범위를 벗어나는 픽셀의 좌표값을 확인할 수 있다. 상기 좌표값은 특성 판단 위치 좌표를 의미한다. 구체적으로, 상기 오차 범위를 벗어나고도 양품 판정을 받은 경우, 특성 판단 위치 좌표는 상기 오차 범위를 벗어난 픽셀의 좌표이다. 이후 측정하고자 하는 물체가 상기 특성 판단 위치 좌표에 해당될 경우, 오차 범위를 벗어난 경우에도 양품 판정을 받을 확률이 높다. In addition, the defect measuring apparatus of the present invention can check the coordinate value of the pixel that the similarity is out of an arbitrary error range. The coordinate value means a feature determination position coordinate. Specifically, when the product is judged to be out of the error range, the characteristic determination position coordinate is the coordinate of the pixel that is out of the error range. After that, if the object to be measured corresponds to the characteristic determination position coordinates, there is a high probability of receiving a good product determination even if it is out of an error range.

반대로, 상기 오차 범위를 벗어나고 불량품 판정을 받은 경우에도 특성 판단 위치 좌표는 상기 오차 범위를 벗어난 픽셀의 좌표이다. 이후 측정하고자 하는 물체가 상기 특성 판단 위치 좌표에 해당될 경우, 불량품 판정을 받을 확률이 높다. On the contrary, even when the error range is out of the error range and the defective article is judged, the characteristic determination position coordinate is the coordinate of the pixel out of the error range. After that, if the object to be measured corresponds to the characteristic determination position coordinates, the probability of receiving a defective product is high.

또한, 본 발명의 결함 측정 장치는 상기 특성 판단 위치 좌표에 있는 정보를 이용하여 합성곱 필터(convolutional filter)를 결정할 수 있다. 구체적으로, 본 발명의 결함 측정 장치는 상기 특성 판단 위치 좌표에 있는 정보를 횡방향 및 종방향으로 카테고리화하여 일정한 크기의 합성곱 필터를 결정할 수 있다. 상기 합성곱 필터의 크기는 3 x 3 매트릭스 일 수 있으며, 본 발명의 결함 측정 장치는 각각 5000개 이상의 양품과 불량품에 대한 실제 데이터를 이용하여, 각각의 합성곱 필터를 결정할 수 있다. 상기 합성곱 필터는 양품 또는 불량품이 갖는 특성을 포함하므로, 이러한 합성곱 필터의 값은 상기 특성을 반영하여 결정될 수 있다. In addition, the defect measuring apparatus of the present invention may determine a convolutional filter using the information in the characteristic determination position coordinates. In detail, the defect measuring apparatus of the present invention may determine a composite product filter having a constant size by categorizing the information in the characteristic determination position coordinates in the transverse and longitudinal directions. The convolutional product filter may have a size of 3 × 3 matrix, and the defect measuring apparatus of the present invention may determine each convolutional product filter by using actual data about 5000 or more defective products. Since the convolutional product filter includes characteristics of good or defective products, the value of the convolutional product filter may be determined by reflecting the characteristic.

상기 합성곱 필터 모두를 상기 3차원 위상정보에 적용하여도 상기 물건의 불량 여부를 알 수 있다. 다만, 판단의 정확성을 높이기 위하여 상기 실제 데이터 개수가 많아지면 본 발명의 결함 측정 장치의 연산량이 급격하게 증가되어 연산 속도가 느려지는 단점이 존재한다. 따라서, 본 발명의 결함 측정 장치는 상기 합성곱 필터가 유사한 특성을 갖는 필터끼리 군집화 할 수 있다. 상기 군집화 과정은 합성곱 신경망에서 사용되는 일반적인 알고리즘으로 구현 가능하다. 상술한 군집화를 활용하여 본 발명의 결함 측정 장치가 효율적으로 합성곱 필터를 적용하여 불량 여부를 판단할 수 있다. It is also possible to know whether or not the object is defective by applying all of the composite product filters to the three-dimensional phase information. However, in order to increase the accuracy of the determination, when the actual number of data increases, the computational amount of the defect measuring apparatus of the present invention increases rapidly, resulting in a slow operation speed. Therefore, the defect measuring apparatus of the present invention can cluster the filters having similar characteristics in the composite product filter. The clustering process may be implemented by a general algorithm used in a composite product neural network. By utilizing the above-described clustering, the defect measuring apparatus of the present invention can efficiently apply a multiplication filter to determine whether there is a defect.

본 발명의 결함 측정 장치는 상기 위상정보를 상기 유사한 특징으로 군집화된 필터에 적용할 수 있다. 그리고 본 발명의 결함 측정 장치는 상기 필터가 적용된 값 각각을 ReLu 함수에 적용하여 합성곱 레이어(convolution layer)를 생성할 수 있다. 합성곱 레이어는 상기 합성곱 필터에 상기 위상정보를 적용한 값들로 이루어지며, 상기 값들은 각각 양품 또는 불량품의 특성을 나타낼 수 있다. 상기 ReLu 함수는 하기의 식 5와 같이 나타낼 수 있다. The defect measuring apparatus of the present invention can apply the phase information to a filter clustered with the similar features. The defect measuring apparatus of the present invention may generate a convolution layer by applying each of the values to which the filter is applied to the ReLu function. The product multiply layer is composed of values obtained by applying the phase information to the product multiply filter, and the values may represent characteristics of good or defective products, respectively. The ReLu function may be expressed as in Equation 5 below.

식 5:

Figure pat00001
Equation 5:
Figure pat00001

또한, 본 발명의 결함 측정 장치는 상기 합성곱 레이어와 Softmax 함수를 결합하여 상기 물체의 불량 여부를 결정할 수 있다. 상기 Softmax 함수는 하기의 식 6과 같이 나타낼 수 있다. In addition, the defect measuring apparatus of the present invention may determine whether the object is defective by combining the composite product layer and the Softmax function. The Softmax function can be expressed by Equation 6 below.

식 6:

Figure pat00002
Equation 6:
Figure pat00002

상기 Softmax 함수의 입력은 상기 합성곱 레이어의 값들이고, N은 출력의 개수이다. 상기 Softmax 함수는 입력된 값들의 빈도를 확률로 나타낼 수 있으므로, 본 발명의 결함 측정 장치는 상기 함수의 결과값 중 최대값에 해당하는 특성을 기준으로 불량 여부를 결정할 수 있다. 이러한 불량 여부 결정 과정은 하기의 도 4에서 자세히 설명된다. The inputs of the Softmax function are the values of the convolutional layer, where N is the number of outputs. Since the Softmax function may represent the frequency of the input values as a probability, the defect measuring apparatus of the present invention may determine whether or not the defect is based on a characteristic corresponding to the maximum value among the result values of the function. This failure determination process is described in detail in Figure 4 below.

또한, 상기 위상정보를 군집화된 합성곱 필터에 적용하여 합성곱 레이어를 생성하고, 상기 합성곱 레이어에 Softmax 함수를 적용하여 구현된 신경망(Neural Network)을 위상 이미지 결함 검출 합성곱 신경망(Phase image defect detection Convolutional Neural Network) 이라고 한다. In addition, a composite product layer is generated by applying the phase information to a clustered composite product filter, and a phase image defect detection is performed on a neural network implemented by applying a Softmax function to the composite product layer. This is called detection convolutional neural network.

본 발명의 결함 측정 장치는 상기 신경망을 통해서 3차원 물체의 불량 여부를 결정할 수 있다. 기존의 장치들은 2차원 평면에서만 불량 여부를 판단할 수 있는 것에 반하여, 본원발명은 3차원 홀로그램을 이용하므로, 측정하고자 하는 물체의 3차원 결함을 검출할 수 있다. The defect measuring apparatus of the present invention may determine whether the three-dimensional object is defective through the neural network. Existing devices can determine whether the defect is only in the two-dimensional plane, whereas the present invention uses a three-dimensional hologram, it is possible to detect a three-dimensional defect of the object to be measured.

도 4는 본 발명의 실시예에 따른 위상 이미지 결함 검출 합성곱 신경망 구현을 통한 불량 여부 결정하는 방법을 도시하는 도면이다. 4 is a diagram illustrating a method of determining whether a defect is achieved by implementing a phase image defect detection composite product neural network according to an embodiment of the present invention.

본 발명의 결함 검출 장치에서는, 위상 이미지 결함 검출 합성곱 신경망에 3차원 위상정보(410)를 입력할 수 있다. 상기 위상정보(410)은 상기 S320 단계에서 보상된 홀로그램으로부터 추출될 수 있다. 본원발명은 종래의 2차원 이미지가 아니라 3차원 이미지를 이용하여 결함을 검출할 수 있으므로, 특히 종방향(물체의 높이, 또는 두께)의 결함을 검출해 낼 수 있다. In the defect detection apparatus of the present invention, three-dimensional phase information 410 can be input to the phase image defect detection composite product neural network. The phase information 410 may be extracted from the hologram compensated in step S320. In the present invention, since a defect can be detected using a three-dimensional image rather than a conventional two-dimensional image, in particular, a defect in the longitudinal direction (the height or the thickness of an object) can be detected.

상기 위상정보(410)이 합성곱 신경망(440)에 입력되면, 본 발명의 결함 측정 장치는 측정한 물체의 결함 여부를 결정할 수 있다. 구체적으로, 본 발명의 결함 측정 장치는 상기 위상정보(410)에 유사한 특징으로 군집화된 합성곱 필터를 적용할 수 있다. 그리고 장치는 상기 필터가 적용된 값 각각에 ReLu 함수에 적용하여 합성곱 레이어(convolution layer, 420)를 생성할 수 있다. 상기 장치는 상기 합성곱 레이어와 Softmax 함수를 결합하여 신경망(430)을 구현하여 상기 물체의 결함 여부를 결정할 수 있다. 상기 합성곱 레이어(420)에 Softmax 함수를 결합하여 구현된 신경망(430)을 포괄하여 합성곱 신경망(440)이라고 할 수 있으며, 이러한 합성곱 신경망(440)을 위상 이미지 결함 검출 합성곱 신경망(Phase image defect detection Convolutional Neural Network)이라고 한다. 상기 위상 이미지 결함 검출 합성곱 신경망의 생성 방법은 상기 도 3의 S330 단계에 포함될 수 있다. When the phase information 410 is input to the composite product neural network 440, the defect measuring apparatus of the present invention may determine whether the measured object is defective. Specifically, the defect measuring apparatus of the present invention may apply a clustered multiplication filter with similar characteristics to the phase information 410. The device may generate a convolution layer 420 by applying the ReLu function to each of the values to which the filter is applied. The device may implement the neural network 430 by combining the composite product layer and the Softmax function to determine whether the object is defective. The composite product neural network 440 may be referred to as the composite product neural network 440 by combining the neural network 430 implemented by combining the softmax function with the composite product layer 420. It is called image defect detection Convolutional Neural Network. The generation method of the phase image defect detection composite product neural network may be included in step S330 of FIG. 3.

상기 신경망을 이용해 불량 여부를 결정하는 방법은 하기와 같다. 상기 합성곱 레이어의 결과는 ReLu 함수에 의해 모두 양수이다. 상기 결과값은 양품 또는 불량품의 특성을 표현하는 숫자이다. 그리고 상기 결과값을 모두 Softmax 함수에 입력하게 되면, 양품의 특성을 갖는 결과값들의 확률과 불량품의 특성을 갖는 결과값들의 확률을 알 수 있다. The method of determining whether or not a defect using the neural network is as follows. The result of the composite product layer is all positive by the ReLu function. The result is a number representing the characteristics of the good or defective product. When the result values are all input to the Softmax function, it is possible to know the probability of the result values having the characteristics of good products and the probability of the result values having the characteristics of defective products.

상기 신경망에 의해 결정되는 결과는 양품 또는 불량품 두 가지이며, 각각 확률로 표현된다. 예를 들어, 양품일 확률 0.8, 불량품일 확률 0.2인 경우, 본 발명의 결함 측정 장치가 측정한 물체는 양품으로 결정될 수 있다. The result determined by the neural network is either good or bad, and each is expressed as a probability. For example, when the probability of good quality is 0.8 and the probability of poor quality is 0.2, the object measured by the defect measuring apparatus of the present invention may be determined as good quality.

도 5은 본 발명의 실시예에 따른 결함 검출 장치의 내부 구조를 도시하는 블록도이다. 하기에 상세히 기술되는 바와 같이, 본 발명의 결함 검출 장치는 홀로그램 측정부(510), 표시부(520), 및 제어부(530)을 포함할 수 있다. 5 is a block diagram showing an internal structure of a defect detection apparatus according to an embodiment of the present invention. As described in detail below, the defect detection apparatus of the present invention may include a hologram measuring unit 510, a display unit 520, and a control unit 530.

본 발명의 결함 측정 장치의 홀로그램 측정부(510)는 측정하고자 하는 물체의 홀로그램을 측정할 수 있다. 이러한 홀로그램의 측정을 위하여 상기 홀로그램 측정부(510)은 디지털 홀로그래픽 현미경을 포함할 수 있으며, 디지털 홀로그래픽 현미경에 대하여는 도 2를 참조하여 상기에서 이미 자세히 설명되었으므로, 그 구체적인 설명은 생략하기로 한다. The hologram measuring unit 510 of the defect measuring apparatus of the present invention may measure the hologram of the object to be measured. In order to measure the hologram, the hologram measuring unit 510 may include a digital holographic microscope. Since the digital holographic microscope has been described in detail above with reference to FIG. 2, a detailed description thereof will be omitted. .

본 발명의 결함 측정 장치의 표시부(520)은 상기 물체의 특성 정보와 상기 물체의 불량 여부를 표시할 수 있는 디스플레이를 포함할 수 있다. The display unit 520 of the defect measuring apparatus of the present invention may include a display capable of displaying the characteristic information of the object and whether the object is defective.

본 발명의 결함 측정 장치의 제어부(530)은 상기 결함 측정 장치의 전반적인 동작을 제어할 수 있다. 상기 제어부(530)은 상기 홀로그램 측정부(510)에서 측정된 물체의 홀로그램으로부터 보상 홀로그램을 계산할 수 있는 보상 홀로그램 계산부(531), 상기 보상 홀로그램에서 3차원 위상정보를 추출할 수 있는 3차원 위상정보 추출부(532), 설계 데이터와 적어도 하나 이상의 양품 또는 불량품에 대한 실제 데이터에 기반하여 합성곱 필터를 결정하고, 유사한 특성끼리 군집화하는 합성곱 필터 군집화부(533) 및 위상 이미지 결함 검출 합성곱 신경망(Phase image defect detection Convolutional Neural Network)을 이용하여 상기 물체의 불량 여부를 결정할 수 있는 불량 여부 결정부(534)를 포함할 수 있다. The controller 530 of the defect measuring apparatus of the present invention may control the overall operation of the defect measuring apparatus. The control unit 530 is a compensation hologram calculation unit 531 for calculating a compensation hologram from the hologram of the object measured by the hologram measuring unit 510, and a three-dimensional phase for extracting three-dimensional phase information from the compensation hologram. The information extraction unit 532 determines a composite product filter based on the design data and actual data on at least one good or defective product, and combines a product filter grouping unit 533 and a phase image defect detection composite product to cluster similar characteristics. It may include a defect determining unit 534 that can determine whether the object is defective using a neural network (Phase image defect detection Convolutional Neural Network).

상기 보상 홀로그램 계산부(531)는 상기 홀로그램 측정부(510)에서 측정된 물체의 홀로그램으로부터 보상 홀로그램을 계산할 수 있다. 보상 홀로그램 계산 방법은 상술한 도 2와 관련하여 상세히 설명하였다.The compensation hologram calculator 531 may calculate the compensation hologram from the hologram of the object measured by the hologram measuring unit 510. The method of calculating the compensation hologram has been described in detail with reference to FIG. 2.

상기 3차원 위상정보 추출부(532)는 상기 보상 홀로그램에서 3차원 위상정보를 추출할 수 있다. 3차원 위상정보를 상기 보상 홀로그램에서 추출하기 위하여 상기 3차원 위상정보 추출부(532)는 2차원 푸리에 변환(2D Fourier Transform)을 수행할 수 있다. 상세한 추출 방법은 상기 도 2와 관련하여 상세히 설명하였다. The 3D phase information extractor 532 may extract 3D phase information from the compensation hologram. In order to extract 3D phase information from the compensation hologram, the 3D phase information extractor 532 may perform a 2D Fourier transform. Detailed extraction methods have been described in detail with reference to FIG. 2.

상기 합성곱 필터 군집화부(533)는 설계 데이터와 적어도 하나 이상의 양품 또는 불량품에 대한 실제 데이터에 기반하여 합성곱 필터를 결정하고, 유사한 특성끼리 군집화 할 수 있다. 이러한 합성곱 필터 군집화부(533)은 상기 측정하고자 하는 물체의 불량 여부가 판단되면, 상기 물체의 측정 데이터에 기반하여 합성곱 필터를 결정할 수 있고, 상기 결정된 합성곱 필터를 상기 군집화된 합성곱 필터에 추가할 수 있다. 따라서, 본 발명의 결함 측정 장치가 결함 여부를 결정하면, 상기 군집화된 합성곱 필터가 갱신될 수 있다. The composite product filter clustering unit 533 may determine a composite product filter based on design data and actual data on at least one good or defective product, and group similar characteristics. When it is determined whether the object to be measured is defective, the composite product filter grouping unit 533 may determine a composite product filter based on the measurement data of the object, and the determined composite product filter may be determined using the clustered composite product filter. Can be added to Therefore, when the defect measuring apparatus of the present invention determines whether or not a defect, the clustered convolution product filter can be updated.

상기 합성곱 필터를 결정하고, 군집화 하는 방법은 상술한 도 3의 S330 단계에서 상세히 설명하였다.The method of determining and clustering the composite product filter is described in detail in operation S330 of FIG. 3.

불량 여부 결정부(534)는 상기 군집화된 합성곱 필터를 상기 위상정보에 적용하여 합성곱 레이어를 생성하고, 위상 이미지 결함 검출 합성곱 신경망을 구현하여 상기 물체의 불량 여부를 결정할 수 있다. 상기 불량 여부 결정부(534)는 상기 위상정보에 상기 합성곱 필터가 적용된 값 각각에 ReLu 함수를 적용하여 합성곱 레이어(convolution layer)를 생성하고, 상기 합성곱 레이어와 Softmax 함수를 결합하여 위상 이미지 결함 검출 합성곱 신경망을 구현할 수 있다. The defect determining unit 534 may apply the clustered convolutional product filter to the phase information to generate a convolutional product layer and implement a phase image defect detection convolutional neural network to determine whether the object is defective. The defect determination unit 534 generates a convolutional layer by applying a ReLu function to each value to which the convolutional filter is applied to the phase information, and combines the convolutional layer and the Softmax function to generate a phase image. A defect detection convolutional neural network can be implemented.

상기 물체의 불량 여부 결정 방법은 상술한 도 3의 S340 단계와 도 4를 참조하여 자세히 설명하였다. The method for determining whether the object is defective has been described in detail with reference to step S340 of FIG. 3 and FIG. 4.

본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. The embodiments of the present invention disclosed in the specification and the drawings are only specific examples to easily explain the technical contents of the present invention and aid the understanding of the present invention, and are not intended to limit the scope of the present invention. It will be apparent to those skilled in the art that other modifications based on the technical idea of the present invention can be carried out in addition to the embodiments disclosed herein.

Claims (15)

측정 물체의 결함을 검출하는 방법에 있어서,
디지털 홀로그래픽 현미경을 이용하여 측정하고자 하는 물체의 보상된 홀로그램을 계산하는 단계;
상기 물체의 보상된 홀로그램에서 3차원 위상정보를 추출하는 단계; 및
상기 3차원 위상정보를 합성곱 필터(convolutional filter)가 군집화된 위상 이미지 결함 검출 합성곱 신경망(Phase image defect detection Convolutional Neural Network)에 적용하여 상기 물체의 불량 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 방법. In the method for detecting a defect of a measuring object,
Calculating a compensated hologram of the object to be measured using a digital holographic microscope;
Extracting three-dimensional phase information from the compensated hologram of the object; And
And applying the 3D phase information to a phase image defect detection convolutional neural network in which a convolutional filter is clustered to determine whether the object is defective. How to. 제1항에 있어서, 상기 물체의 보상된 홀로그램을 계산하는 단계는,
상기 물체의 홀로그램을 획득하는 단계;
상기 물체의 홀로그램으로부터 기준광 정보를 추출하는 단계;
상기 기준광 정보의 파수 벡터 상수를 계산하고, 계산된 상기 파수 벡터 상수를 이용하여 상기 기준광 정보의 보상 항을 계산하여 디지털 기준광을 생성하는 단계;
상기 물체의 홀로그램에서 수차 정보를 추출한 후, 수차를 보상한 디지털 곡률을 생성하는 단계; 및
상기 기준광 정보의 상기 보상 항을 상기 물체의 홀로그램에 곱하여 보상된 물체 홀로그램을 계산하는 단계를 포함하는 것을 특징으로 하는 방법. The method of claim 1, wherein calculating the compensated hologram of the object comprises:
Obtaining a hologram of the object;
Extracting reference light information from the hologram of the object;
Calculating a frequency vector constant of the reference light information, and calculating a compensation term of the reference light information by using the calculated frequency vector constant to generate a digital reference light;
Extracting aberration information from the hologram of the object and generating a digital curvature that compensates for the aberration; And
And calculating a compensated object hologram by multiplying the compensation term of the reference light information by the hologram of the object. 제1항에 있어서, 상기 3차원 위상정보를 추출하는 단계는,
상기 물체의 보상된 홀로그램을 각 스펙트럼 확산 알고리즘(Angular Spectrum Propagation algorithm)을 이용하여 복원 영상면(Reconstruction image plane)의 정보로 변환하는 단계; 및
역 2차원 푸리에 변환(Inverse 2D Fourier transform)을 이용하여 상기 물체의 보상된 홀로그램의 3차원 위상정보를 추출하는 단계를 포함하고,
상기 3차원 위상정보는 상기 물체의 홀로그램에서 광의 정보 및 대물 렌즈의 수차 정보가 제거되어, 상기 물체의 3차원 위상정보만을 포함하는 것을 특징으로 하는 방법. The method of claim 1, wherein the extracting of the 3D phase information comprises:
Converting the compensated hologram of the object into information of a reconstruction image plane by using an Angular Spectrum Propagation algorithm; And
Extracting three-dimensional phase information of the compensated hologram of the object by using an inverse 2D Fourier transform,
And the three-dimensional phase information includes only three-dimensional phase information of the object by removing light information and aberration information of an objective lens from the hologram of the object. 제 1항에 있어서, 상기 물체의 불량 여부 결정하는 단계는,
군집화된 합성곱 필터를 생성하는 단계;
상기 3차원 위상정보를 상기 군집화된 합성곱 필터에 적용하는 단계;
상기 군집화된 합성곱 필터가 적용된 값에 ReLu 함수를 적용하여 합성곱 레이어(convolution layer)를 생성하는 단계; 및
상기 합성곱 레이어에 Softmax 함수를 적용하여 상기 물체의 불량 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.The method of claim 1, wherein determining whether the object is defective
Generating a clustered convolutional filter;
Applying the three-dimensional phase information to the clustered composite product filter;
Generating a convolution layer by applying a ReLu function to a value to which the clustered convolutional filter is applied; And
And determining whether the object is defective by applying a Softmax function to the composite product layer. 제 4항에 있어서, 상기 군집화된 합성곱 필터를 생성하는 단계는,
상기 물체의 기준이 되는 설계 데이터를 입력받는 단계;
사전에 양품 또는 불량품 판정을 받은 적어도 하나 이상의 물체의 실제 데이터를 입력받는 단계;
상기 설계 데이터와 상기 실제 데이터를 비교하여 유사도를 계산하는 단계;
상기 유사도가 미리 정해진 오차 범위를 벗어난 특성 판단 위치 좌표를 확인하는 단계;
상기 특성 판단 위치 좌표에 기반하여 상기 실제 데이터 각각에 대한 합성곱 필터(convolutional filter)를 결정하는 단계; 및
상기 합성곱 필터를 유사한 성질을 갖도록 군집화하는 단계를 포함하는 것을 특징으로 하는 방법.The method of claim 4, wherein generating the clustered convolutional filter:
Receiving design data as a reference of the object;
Receiving actual data of at least one or more objects that have been previously determined to be good or defective;
Calculating similarity by comparing the design data with the actual data;
Identifying a feature determination position coordinate whose similarity is out of a predetermined error range;
Determining a convolutional filter for each of the actual data based on the characteristic determination position coordinates; And
Clustering the convolutional product filter to have similar properties. 제 4항에 있어서,
상기 물체의 불량 여부가 판단되면, 상기 물체의 측정 데이터에 기반하여 결정된 합성곱 필터를 상기 군집화된 합성곱 필터에 추가하여, 상기 군집화된 합성곱 필터를 갱신하는 단계를 더 포함하는 것을 특징으로 하는 방법. The method of claim 4, wherein
If it is determined that the object is defective, further comprising adding a convolutional product filter determined based on the measurement data of the object to the clustered convolutional product filter, and updating the clustered convolutional product filter. Way. 제 1항에 있어서,
상기 물체의 특징 정보와 상기 물체의 불량 여부를 디스플레이(display)에 표시하는 단계를 더 포함하는 것을 특징으로 하는 방법. The method of claim 1,
And displaying the characteristic information of the object and whether the object is defective on a display. 측정 물체의 결함을 검출하는 장치에 있어서,
측정하고자 하는 물체의 홀로그램 데이터를 측정하는 홀로그램 측정부; 및
상기 물체의 보상된 홀로그램을 계산하고, 상기 물체의 보상된 홀로그램에서 3차원 위상정보를 추출하고, 상기 3차원 위상정보를 합성곱 필터(convolutional filter)가 군집화된 위상 이미지 결함 검출 합성곱 신경망(Phase image defect detection Convolutional Neural Network)에 적용하여 상기 물체의 불량 여부를 결정하는 제어부를 포함하는 것을 특징으로 하는 장치. In the device for detecting a defect of a measuring object,
A hologram measuring unit measuring hologram data of an object to be measured; And
Computing the compensated hologram of the object, extracting the three-dimensional phase information from the compensated hologram of the object, and the phase image defect detection composite product neural network (Phase) clustered by a convolutional filter and a controller configured to determine whether the object is defective by applying to an image defect detection convolutional neural network. 제8항에 있어서, 상기 홀로그램 측정부는,
상기 물체의 홀로그램을 측정하는 디지털 홀로그래픽 현미경을 더 포함하는 것을 특징으로 하는 장치. The method of claim 8, wherein the hologram measuring unit,
And a digital holographic microscope for measuring the hologram of the object. 제8항에 있어서, 상기 제어부는,
상기 물체의 홀로그램을 획득하고, 상기 물체의 홀로그램으로부터 기준광 정보를 추출하고, 상기 기준광 정보의 파수 벡터 상수를 계산하고, 계산된 상기 파수 벡터 상수를 이용하여 상기 기준광 정보의 보상 항을 계산하여 디지털 기준광을 생성하고, 상기 물체의 홀로그램에서 수차 정보를 추출한 후, 수차를 보상한 디지털 곡률을 생성하고, 상기 기준광 정보의 상기 보상 항을 상기 물체의 홀로그램에 곱하여 보상된 물체 홀로그램을 계산하는 보상 홀로그램 계산부를 더 포함하는 것을 특징으로 하는 장치. The method of claim 8, wherein the control unit,
Acquire a hologram of the object, extract reference light information from the hologram of the object, calculate a wavenumber vector constant of the reference light information, and calculate a compensation term of the reference light information using the calculated wavenumber vector constant to calculate a digital reference light. A compensation hologram calculation unit configured to generate a, and extract aberration information from the hologram of the object, generate a digital curvature that compensates for the aberration, and multiply the compensation term of the reference light information by the hologram of the object to calculate a compensated object hologram. Apparatus further comprising. 제8항에 있어서, 상기 제어부는,
상기 물체의 보상된 홀로그램을 각 스펙트럼 확산 알고리즘(Angular Spectrum Propagation algorithm)을 이용하여 복원 영상면(Reconstruction image plane)의 정보로 변환하고, 역 2차원 푸리에 변환(Inverse 2D Fourier transform)을 이용하여 상기 물체의 보상된 홀로그램의 3차원 위상정보를 추출하는 3차원 위상정보 추출부를 더 포함하고,
상기 3차원 위상정보는 상기 물체의 홀로그램에서 광의 정보 및 대물 렌즈의 수차 정보가 제거되어, 상기 물체의 3차원 위상정보만을 포함하는 것을 특징으로 하는 장치. The method of claim 8, wherein the control unit,
The compensated hologram of the object is transformed into information of a reconstruction image plane using an angular spectrum propagation algorithm, and the object is inversed using a 2D Fourier transform. Further comprising a three-dimensional phase information extraction unit for extracting the three-dimensional phase information of the compensated hologram of,
And the 3D phase information includes only 3D phase information of the object by removing light information and aberration information of an objective lens from the hologram of the object. 제 8항에 있어서, 제어부는,
군집화된 합성곱 필터를 생성하고, 상기 3차원 위상정보를 상기 군집화된 합성곱 필터에 적용하고, 상기 군집화된 합성곱 필터가 적용된 값에 ReLu 함수를 적용하여 합성곱 레이어(convolution layer)를 생성하고, 상기 합성곱 레이어에 Softmax 함수를 적용하여 상기 물체의 불량 여부를 결정하는 불량 여부 결정부를 더 포함하는 것을 특징으로 하는 장치. The method of claim 8, wherein the control unit,
Create a convolutional product filter, apply the 3D phase information to the clustered product filter, and apply a ReLu function to the value to which the clustered product filter is applied to generate a convolution layer. And a failure determining unit configured to determine whether the object is defective by applying a Softmax function to the composite product layer. 제 8항에 있어서, 제어부는,
측정 대상 물체의 기준이 되는 설계 데이터를 입력받고, 사전에 양품 또는 불량품 판정을 받은 적어도 하나 이상의 물체의 실제 데이터를 입력받으며, 상기 설계 데이터와 상기 실제 데이터를 비교하여 유사도를 계산하고, 상기 유사도가 미리 정해진 오차 범위를 벗어난 특성 판단 위치 좌표를 확인하고, 상기 특성 판단 위치 좌표에 기반하여 상기 실제 데이터 각각에 대한 합성곱 필터(convolutional filter)를 결정하고, 상기 합성곱 필터를 유사한 성질을 갖도록 군집화하는 합성곱 필터 군집화부를 더 포함하는 것을 특징으로 하는 장치. The method of claim 8, wherein the control unit,
Receive design data as a reference of the object to be measured, receive actual data of at least one object that has been previously determined to be good or defective, calculate similarity by comparing the design data with the actual data, and calculate the similarity. Identifying the feature determination position coordinates outside the predetermined error range, determining a convolutional filter for each of the actual data based on the feature determination position coordinates, and clustering the resultant product filter to have similar properties And a multiplication filter filter clustering unit. 제 12항에 있어서, 상기 합성곱 필터 군집화부는,
상기 물체의 불량 여부가 판단되면, 상기 물체의 측정 데이터에 기반하여 결정된 합성곱 필터를 상기 군집화된 합성곱 필터에 추가하여, 상기 군집화된 합성곱 필터를 갱신하는 것을 특징으로 하는 장치. The method of claim 12, wherein the multiplication product filter clustering unit,
And determining whether the object is defective or not, by adding a convolutional product filter determined based on the measurement data of the object to the clustered convolutional product filter, and updating the clustered convolutional product filter. 제 8항에 있어서,
상기 물체의 특징 정보와 상기 물체의 불량 여부를 표시하는 표시부(또는 디스플레이부)를 더 포함하는 것을 특징으로 하는 장치. The method of claim 8,
And a display unit (or display unit) which displays the feature information of the object and whether the object is defective.
KR1020190152151A 2017-12-15 2019-11-25 Apparatus and Method For Detecting Defects KR102282722B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190152151A KR102282722B1 (en) 2017-12-15 2019-11-25 Apparatus and Method For Detecting Defects

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170173034A KR20190072020A (en) 2017-12-15 2017-12-15 Apparatus and Method For Detecting Defects
KR1020190152151A KR102282722B1 (en) 2017-12-15 2019-11-25 Apparatus and Method For Detecting Defects

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020170173034A Division KR20190072020A (en) 2017-12-15 2017-12-15 Apparatus and Method For Detecting Defects

Publications (2)

Publication Number Publication Date
KR20190137733A true KR20190137733A (en) 2019-12-11
KR102282722B1 KR102282722B1 (en) 2021-07-29

Family

ID=69003368

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190152151A KR102282722B1 (en) 2017-12-15 2019-11-25 Apparatus and Method For Detecting Defects

Country Status (1)

Country Link
KR (1) KR102282722B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11496728B2 (en) 2020-12-15 2022-11-08 Waymo Llc Aperture health monitoring mode
KR102534468B1 (en) * 2022-06-07 2023-05-30 (주)힉스컴퍼니 Digital holographic module device attachable to a microscope and 3d conversion method of a microscope
KR102542900B1 (en) * 2022-11-30 2023-06-15 (주)힉스컴퍼니 Surface Profile Measuring Device And Controlling Method Thereof
CN117782903A (en) * 2024-02-28 2024-03-29 天津铸金科技开发股份有限公司 Method for detecting quality defects of metal particle powder based on phase analysis method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230070714A (en) 2021-11-15 2023-05-23 라이트비전 주식회사 AI-based material defect detection system and method according to real defect image and defect detection system

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05107357A (en) * 1991-10-18 1993-04-27 Ricoh Co Ltd Method for identifying object
US7649160B2 (en) 2005-02-23 2010-01-19 Lyncee Tec S.A. Wave front sensing method and apparatus
KR20100095302A (en) 2009-02-20 2010-08-30 (주)펨트론 3d measuring apparatus using off-axis dual wavelength digital holography
KR20120014355A (en) 2010-08-09 2012-02-17 (주)펨트론 3d measurement apparatus using dual wave digital holography
KR101139178B1 (en) 2011-09-30 2012-04-26 디아이티 주식회사 Device for measuring the 3d cubic matter using a digital holography
KR20130042191A (en) * 2011-10-18 2013-04-26 (주)미토스 Digital holographic microscope for 3 dimentional defect inspection of display substrate and inspection method using the same
KR101441245B1 (en) 2013-05-29 2014-09-17 제주대학교 산학협력단 Digital Holographic Microscope Apparatus
KR20160029606A (en) 2014-09-05 2016-03-15 광운대학교 산학협력단 Digital holographic microscopy and method for generating digital holographic image
KR20160123175A (en) * 2015-04-15 2016-10-25 연세대학교 산학협력단 3D Measurement Method for Micro-optical Structure Using Digital Holography Data, and Inspection Machine Operated Thereby
JP2017519985A (en) * 2014-06-16 2017-07-20 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ． Digital holographic microscopy data analysis for hematology
KR20170120462A (en) * 2016-04-21 2017-10-31 주식회사 내일해 An Improved Holographic Reconstruction Apparatus and Method

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05107357A (en) * 1991-10-18 1993-04-27 Ricoh Co Ltd Method for identifying object
US7649160B2 (en) 2005-02-23 2010-01-19 Lyncee Tec S.A. Wave front sensing method and apparatus
KR20100095302A (en) 2009-02-20 2010-08-30 (주)펨트론 3d measuring apparatus using off-axis dual wavelength digital holography
KR20120014355A (en) 2010-08-09 2012-02-17 (주)펨트론 3d measurement apparatus using dual wave digital holography
KR101139178B1 (en) 2011-09-30 2012-04-26 디아이티 주식회사 Device for measuring the 3d cubic matter using a digital holography
KR20130042191A (en) * 2011-10-18 2013-04-26 (주)미토스 Digital holographic microscope for 3 dimentional defect inspection of display substrate and inspection method using the same
KR101441245B1 (en) 2013-05-29 2014-09-17 제주대학교 산학협력단 Digital Holographic Microscope Apparatus
JP2017519985A (en) * 2014-06-16 2017-07-20 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ． Digital holographic microscopy data analysis for hematology
KR20160029606A (en) 2014-09-05 2016-03-15 광운대학교 산학협력단 Digital holographic microscopy and method for generating digital holographic image
KR20160123175A (en) * 2015-04-15 2016-10-25 연세대학교 산학협력단 3D Measurement Method for Micro-optical Structure Using Digital Holography Data, and Inspection Machine Operated Thereby
KR20170120462A (en) * 2016-04-21 2017-10-31 주식회사 내일해 An Improved Holographic Reconstruction Apparatus and Method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11496728B2 (en) 2020-12-15 2022-11-08 Waymo Llc Aperture health monitoring mode
KR102534468B1 (en) * 2022-06-07 2023-05-30 (주)힉스컴퍼니 Digital holographic module device attachable to a microscope and 3d conversion method of a microscope
KR102542900B1 (en) * 2022-11-30 2023-06-15 (주)힉스컴퍼니 Surface Profile Measuring Device And Controlling Method Thereof
CN117782903A (en) * 2024-02-28 2024-03-29 天津铸金科技开发股份有限公司 Method for detecting quality defects of metal particle powder based on phase analysis method
CN117782903B (en) * 2024-02-28 2024-05-24 天津铸金科技开发股份有限公司 Method for detecting quality defects of metal particle powder based on phase analysis method

Also Published As

Publication number Publication date
KR102282722B1 (en) 2021-07-29

Similar Documents

Publication Publication Date Title
KR101858082B1 (en) An Improved Holographic Reconstruction Apparatus and Method
KR102282722B1 (en) Apparatus and Method For Detecting Defects
KR101804441B1 (en) An Improved Holographic Reconstruction Apparatus and Method
KR101990009B1 (en) An Improved Holographic Reconstruction Apparatus and Method
KR102426103B1 (en) An Improved Holographic Reconstruction Apparatus and Method
KR101634170B1 (en) Digital holographic microscopy and method for generating digital holographic image
US20220221701A1 (en) Method for generating three-dimensional shape information of object to be measured, defect detection method, and defect detection device
JP4594114B2 (en) Image processing apparatus and refractive index distribution measuring apparatus
KR101899026B1 (en) Digital Holographic Reconstruction Apparatus and Method Using Single Generated Phase Shifting Method
US20210240134A1 (en) Holographic reconstruction apparatus and method
US20220214647A1 (en) Holographic reconstruction apparatus and method
Bühl et al. Digital synthesis of multiple off-axis holograms with overlapping Fourier spectra
KR20190072020A (en) Apparatus and Method For Detecting Defects
JP4069204B2 (en) Displacement distribution measurement method using digital holography
KR102222859B1 (en) An Improved Holographic Reconstruction Apparatus and Method
KR20220107144A (en) An Improved Holographic Reconstruction Apparatus and Method
KR20170037800A (en) Method and system for detecting nano-scale defects on transparent objects
KR102055307B1 (en) Apparatus for generating three-dimensional shape information of an object to be measured
KR20210023959A (en) An Improved Holographic Reconstruction Apparatus and Method
KR20200034421A (en) Inspection system for depositing one or more layers on a substrate supported by a carrier using holographic reconstruction
KR20220035890A (en) An Improved Holographic Reconstruction Apparatus and Method
JP7503972B2 (en) Shape measuring device
WO2023042339A1 (en) Optical measurement system and optical measurement method
TW202324301A (en) Method and apparatus for determining information
KR20180093855A (en) Digital Holographic Reconstruction Apparatus and Method Using Single Generated Phase Shifting Method

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right