KR102483163B1 - Apparatus for generating three-dimensional shape information of an object to be measured - Google Patents

Apparatus for generating three-dimensional shape information of an object to be measured Download PDF

Info

Publication number
KR102483163B1
KR102483163B1 KR1020200034062A KR20200034062A KR102483163B1 KR 102483163 B1 KR102483163 B1 KR 102483163B1 KR 1020200034062 A KR1020200034062 A KR 1020200034062A KR 20200034062 A KR20200034062 A KR 20200034062A KR 102483163 B1 KR102483163 B1 KR 102483163B1
Authority
KR
South Korea
Prior art keywords
light
image
measured
objective lens
hologram
Prior art date
Application number
KR1020200034062A
Other languages
Korean (ko)
Other versions
KR20200042445A (en
Inventor
김병목
김지훈
성맑음
이상진
Original Assignee
주식회사 내일해
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180122771A external-priority patent/KR102093885B1/en
Application filed by 주식회사 내일해 filed Critical 주식회사 내일해
Priority to KR1020200034062A priority Critical patent/KR102483163B1/en
Publication of KR20200042445A publication Critical patent/KR20200042445A/en
Application granted granted Critical
Publication of KR102483163B1 publication Critical patent/KR102483163B1/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268Holographic stereogram
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202Reconstruction geometries or arrangements
    • G03H1/2205Reconstruction geometries or arrangements using downstream optical component
    • G03H2001/221Element having optical power, e.g. field lens

Abstract

본 발명의 일 실시예는, 단일 파장 광을 방출하는 광원부, 상기 광원부에서 방출된 단일 파장 광을 시준하기 위한 시준기, 상기 시준기를 통과한 상기 단일 파장 광을 물체광 및 기준광으로 분할하는 광 분할기, 상기 광 분할기에 의해 분할된 상기 물체광을 통과시키는 물체광 대물 렌즈, 상기 광 분할기에 의해 분할된 상기 기준광을 반사시키는 광학 거울, 상기 물체광 대물 렌즈와 마주보는 일면 상에 측정 대상 물체가 안착되는 플레이트, 상기 물체광 대물 렌즈에 인접하게 배치되어 상기 물체광 대물 렌즈와 상기 플레이트까지의 거리를 감지하는 거리 센서, 상기 플레이트와 연결되며, 상기 거리 센서에서 감지한 거리값을 이용하여 상기 물체광 대물 렌즈에 대해 상기 플레이트를 이동시키는 구동 수단, 상기 물체광 대물 렌즈를 통과하여 측정 대상 물체의 표면에서 반사된 물체광 및 상기 광학 거울에 의해 반사된 기준광이 각각 상기 광 분할기로 전달되어 형성되는 간섭 무늬를 기록하는 영상 센서 및 상기 영상 센서에서 상기 간섭무늬를 변환하여 생성된 물체 홀로그램의 강도(Intensity) 정보를 포함하는 이미지를 수신하여 저장하고, 상기 측정 대상 물체의 3차원 형상 정보를 생성하는 프로세서를 포함하는, 측정 대상 물체의 3차원 형상 정보 생성 장치를 제공한다.An embodiment of the present invention, a light source unit for emitting single-wavelength light, a collimator for collimating the single-wavelength light emitted from the light source unit, a light splitter for splitting the single-wavelength light passing through the collimator into object light and reference light, An object light objective lens passing the object light split by the light splitter, an optical mirror reflecting the reference light split by the light splitter, and an object to be measured mounted on one surface facing the object light objective lens A plate, a distance sensor disposed adjacent to the object light objective lens and detecting a distance between the object light objective lens and the plate, connected to the plate, and using a distance value sensed by the distance sensor to detect the distance between the object light objective lens and the object light objective lens. Interference fringes formed by passing the driving means for moving the plate relative to the lens, the object light reflected from the surface of the object to be measured through the object light objective lens, and the reference light reflected by the optical mirror, respectively, to the optical splitter. An image sensor for recording and a processor for receiving and storing an image including intensity information of an object hologram generated by converting the interference fringe in the image sensor and generating 3D shape information of the object to be measured It provides an apparatus for generating three-dimensional shape information of an object to be measured, comprising:

Description

측정 대상 물체의 3차원 형상 정보 생성 장치{Apparatus for generating three-dimensional shape information of an object to be measured}Apparatus for generating three-dimensional shape information of an object to be measured}

본 발명은 측정 대상 물체의 3차원 형상 정보를 생성하는 장치에 관한 것이다. 보다 구체적으로, 본 발명은 광학 거울로부터 반사된 기준광과 측정 대상 물체로부터 반사되거나, 측정 대상 물체를 투과한 물체광의 간섭에 의해서 생성된 물체 홀로그램의 강도 정보를 포함하는 이미지로부터 측정 대상 물체의 3차원 형상 정보를 생성하는 장치에 관한 것이다. The present invention relates to an apparatus for generating three-dimensional shape information of a measurement target object. More specifically, the present invention provides a three-dimensional image of the object to be measured from an image including intensity information of an object hologram generated by the interference of reference light reflected from an optical mirror and object light reflected from or transmitted through the object to be measured. It relates to a device for generating shape information.

디지털 홀로그래피 현미경은 디지털 홀로그래피 기술을 이용하여 물체의 형상을 획득하는 현미경을 의미한다.A digital holography microscope refers to a microscope that acquires the shape of an object using digital holography technology.

일반적인 현미경이 물체로부터 반사되어 나오는 반사광을 획득함으로써 물체의 형상을 획득하는 장치라면, 디지털 홀로그래피 현미경은 물체에 의해 발생된 간섭광 및/또는 회절광을 획득하고, 이로부터 물체의 형상을 획득하는 장치이다.If a general microscope is a device that acquires the shape of an object by acquiring reflected light reflected from the object, a digital holography microscope is a device that acquires the interference light and/or diffracted light generated by the object and acquires the shape of the object therefrom. to be.

디지털 홀로그래피 현미경은 단일 파장의 광을 생성하는 레이저를 광원으로써 사용하고, 광분할기를 이용하여 레이저에 의해 발생된 광을 2개의 광으로 분할한다. 이때 하나의 광(이하 기준광이라 한다)은 이미지 센서를 향하도록 하고, 다른 광(이하 물체광이라 한다)은 대상 물체로부터 반사되어 전술한 이미지 센서를 향하도록 하여 기준광과 물체광의 간섭현상이 발생하도록 한다.A digital holography microscope uses a laser that generates light of a single wavelength as a light source, and splits the light generated by the laser into two beams using a beam splitter. At this time, one light (hereinafter referred to as reference light) is directed toward the image sensor, and the other light (hereinafter referred to as object light) is reflected from the target object and directed toward the image sensor, so that interference between the reference light and object light occurs. do.

이미지 센서는 이러한 간섭현상에 따른 간섭무늬를 디지털 이미지로 기록하고, 기록된 간섭무늬로부터 측정 대상 물체의 3차원 형상을 복원할 수 있다. 이때 이미지 센서에 의해 기록되는 간섭무늬는 통상 홀로그램으로 지칭된다.The image sensor may record the interference pattern according to the interference phenomenon as a digital image and restore the 3D shape of the object to be measured from the recorded interference pattern. At this time, the interference pattern recorded by the image sensor is commonly referred to as a hologram.

기존의 광학적 홀로그래피 현미경은 기준광과 물체광의 간섭현상에 따른 간섭무늬를 특수 필름으로 기록한다. 이때 간섭무늬가 기록된 특수 필름에 기준광을 조사할 경우 측정 대상 물체가 위치하던 자리에 가상의 측정 대상 물체의 형상이 복원된다.Conventional optical holography microscopes record interference patterns according to the interference between reference light and object light with a special film. At this time, when the reference light is irradiated on the special film on which the interference fringes are recorded, the shape of the virtual object to be measured is restored to the position where the object to be measured is located.

기존의 광학적 홀로그래피 현미경과 비교하였을 때 디지털 홀로그래피 현미경은 광의 간섭무늬를 이미지 센서를 통하여 디지털화(또는 수치화) 하고, 간섭무늬 정보를 광학적 방식이 아닌 전자적인 계산을 통하여 측정 대상 물체의 형상을 복원한다는 점에서 차이가 있다.Compared to the conventional optical holography microscope, the digital holography microscope digitizes (or digitizes) the interference pattern of light through an image sensor, and restores the shape of the object to be measured through electronic calculation of the interference pattern information, not optically. There is a difference in

한편 단일 파장의 레이저 광원을 사용하는 종래의 디지털 홀로그래피 현미경은 물체의 측정의 최소 단위길이가 레이저의 파장길이로 제한된다는 문제점이 있었다. 이를 보완하기 위해 두 개 이상의 파장의 레이저 광원을 사용하는 또 다른 종래의 디지털 홀로그래피 현미경의 경은 현미경의 제작 단가 높을 뿐만 아니라, 실시간으로 물체의 3차원 형상을 획득할 수 없다는 문제점이 있었다.Meanwhile, a conventional digital holography microscope using a laser light source of a single wavelength has a problem in that the minimum unit length for measuring an object is limited to the wavelength of the laser. In order to compensate for this, another conventional digital holography microscope using a laser light source of two or more wavelengths has a problem in that the manufacturing cost of the microscope is high and the three-dimensional shape of the object cannot be obtained in real time.

또한, 상술한 종래 디지털 홀로그래피 현미경들은 측정 대상 물체의 형상을 복원하기 위해 컴퓨터로 CGH(Computer Generated Hologram)을 생성한 후 이를 공간광변조기(Spatial Light Modulator: SLM)상에 디스플레이하고, 디스플레이 된 형상에 기준광을 비추는 방식으로 물체의 3차원 홀로그램 영상을 획득하였다. 그러나 이러한 방식은 고가의 공간광변조기(SLM)의 사용을 요구할 뿐만 아니라, 단순히 전술한 광학적 홀로그래피 현미경에서의 특수 필름을 디지털화 한 것에 불과하여 기술적 한계가 명확하였다.In addition, the above-described conventional digital holography microscopes generate a CGH (Computer Generated Hologram) with a computer to restore the shape of an object to be measured, display it on a Spatial Light Modulator (SLM), and A 3D holographic image of the object was obtained by illuminating a reference light. However, this method not only requires the use of an expensive spatial light modulator (SLM), but also has clear technical limitations because it is merely a digitization of a special film in the optical holography microscope described above.

이와 같은 종래 디지털 홀로그래피 현미경들의 문제점을 해결하기 위해, 가령 대한민국 공개특허 제10-2016-0029606호(이하 "공개된 종래 기술"이라 함)는 디지털 홀로그래피 현미경 및 디지털 홀로그램 영상 생성 방법을 제시한다. 이하에서는 공개된 종래 기술에 대해 간략하게 살펴본다.In order to solve such problems of conventional digital holography microscopes, for example, Korean Patent Publication No. 10-2016-0029606 (hereinafter referred to as "disclosed prior art") proposes a digital holography microscope and a method for generating a digital holographic image. Hereinafter, the disclosed prior art will be briefly reviewed.

도 2는 종래 기술에 따른 2파장 디지털 홀로그래피 현미경 장치를 상세히 도시한 블록도이다. 2 is a block diagram showing in detail a two-wavelength digital holography microscope apparatus according to the prior art.

도 2를 참조하면, 종래 기술의 2파장 디지털 홀로그래피 현미경 장치는 혼합광원부(10), 파장분할부(20), 간섭무늬획득부(30), 대물부(40), 이미지센서부(50), 이미지저장부(60), 제어부(70), 물체형상복원부(80)를 포함한다.Referring to FIG. 2, the conventional two-wavelength digital holography microscope device includes a mixed light source unit 10, a wavelength division unit 20, an interference pattern acquisition unit 30, an object unit 40, an image sensor unit 50, It includes an image storage unit 60, a control unit 70, and an object shape restoration unit 80.

혼합광원부(10)는 혼합광원발광부(11)와 광원부렌즈(12)를 포함한다. 이러한 혼합광원발광부(11)는 단일하지 아니한 여러 대역에 분포된 파장대역을 가지는 혼합광을 발광한다. 광원부렌즈(12)는 상기 혼합광원발광부(11)에서 생성된 혼합광을 광학적으로 조절하고, 이를 파장분할부(20)에 입사시킨다.The mixed light source unit 10 includes a mixed light source light emitting unit 11 and a light source unit lens 12 . The mixed light source light emitting unit 11 emits mixed light having wavelength bands distributed in several non-single bands. The light source unit lens 12 optically controls the mixed light generated by the mixed light source light emitting unit 11 and makes it incident to the wavelength division unit 20 .

파장분할부(20)는 제1광분할기(21)와 제1여광판(22) 및 제2여광판(23)과 제1반사체(24)를 포함한다. 제1광분할기(21)는 혼합광원부(10)로부터 입사된 혼합광을 입력받아 2개의 광으로 분할한다. 이때 제1광분할기(21)는 입사받은 혼합광을 서로 다른 방향으로 나누어 진행시키는 역할을 수행한다. 제1여광판(22)은 제1광분할기(21)에서 분할된 광들 중 하나의 광을 입력받아 미리 정해진 단일파장을 가지는 제1광선을 획득한다. 여기서 제1여광판(22)에 입력되는 광은 제1여광판(22)을 통과하면서 필터링되고, 제1여광판(22)의 특성에 따라 정해진 단일한 파장을 가지는 제1광선이 획득된다. 제2여광판(23)은 제1여광판(22)과 동일한 방식으로, 제1광분할기(21)에서 분할된 광들 중 나머지 하나의 광을 입력받아, 제1광선의 파장과 다른 파장을 가지는 제2광선을 획득한다. 그리고 제2광선은 간섭무늬획득부(30)로 보내진다. 제1반사체(24)는 제1여광판(22)에서 획득된 제1광선을 입사받아 간섭무늬획득부(30)로 반사하는 역할을 한다.The wavelength division unit 20 includes a first light splitter 21 , a first filtering plate 22 , a second filtering plate 23 and a first reflector 24 . The first light splitter 21 receives the mixed light incident from the mixed light source unit 10 and splits it into two lights. At this time, the first light splitter 21 serves to divide the incident mixed light into different directions and propagate them. The first light filter 22 receives one of the split lights from the first light splitter 21 and obtains a first light ray having a predetermined single wavelength. Here, the light input to the first filter plate 22 is filtered while passing through the first filter plate 22 , and a first light ray having a single wavelength determined according to the characteristics of the first filter plate 22 is obtained. In the same way as the first filter plate 22, the second light filter 23 receives the other light from among the light divided by the first light splitter 21, and receives the second light having a wavelength different from that of the first light ray. get the rays And the second light ray is sent to the interference fringe acquisition unit 30 . The first reflector 24 serves to receive the first light ray obtained from the first light filter 22 and reflect it to the interference pattern acquisition unit 30 .

간섭무늬획득부(30)는 제2광분할기(31)와 제3광분할기(32)와 제2반사체(33)와 제3여광판(34)과 제3반사체(35)를 포함한다. 제2광분할기(31)는 파장분할부(20)로부터 입력된 제1광선을 입력받아 제1물체광과 제1기준광으로 분할한다. 이때 제2광분할기(31)는 입사받은 제1광선을 서로 다른 방향으로 나누어 진행시키는 역할을 수행한다. 제3광분할기(32)도 제2광분할기(31)와 동일한 방식으로 제2광선을 입력받아 제2물체광과 제2기준광으로 분할한다. 제2반사체(33)는 제1기준광을 입사받고, 이를 반사한 제1반사기준광을 제2광분할기(31)로 보낸다. 제3여광판(34)은 제2광분할기(31)에서 분할된 제1기준광을 입사받아 제2반사체(33)로 보내고, 반사되는 제1반사기준광을 입사받아 제2광분할기로 보낼 수 있다. 또한 제3여광판(34)은 제2물체광이 제2광분할기(31)에 이르러 광분할되어 일부가 제2반사체(33) 방향으로 진행할 때 제2반사체(33)에 도달하지 못하도록 진행을 막는다. 이를 위하여 제3여광판(34)은 광을 투과시킴에 있어서 제1여광판(22)과 동일한 특성을 가지는 여광판으로 한다. 제3반사체(35)는 제2기준광을 입사받고, 이를 반사한 제2반사기준광을 제3광분할기(32)로 보내는데, 여기서 제2반사체(33) 및 제3반사체(35)는 제어부(70)의 제어에 따라 각도 조절이 가능하도록 구성하여, 탈축(off-axis) 홀로그램을 구현할 수 있다.The interference pattern acquisition unit 30 includes a second light splitter 31 , a third light splitter 32 , a second reflector 33 , a third light filter 34 , and a third reflector 35 . The second beam splitter 31 receives the first light ray input from the wavelength splitter 20 and splits it into a first object light and a first reference light. At this time, the second light splitter 31 serves to divide and propagate the incident first light beam in different directions. The third light splitter 32 also receives the second light ray and splits it into a second object light and a second reference light in the same manner as the second light splitter 31 . The second reflector 33 receives the first standard light and sends the reflected first reference light to the second light splitter 31 . The third light filter 34 receives the first reference light divided by the second light splitter 31 and sends it to the second reflector 33, and receives the reflected first reflection reference light and sends it to the second light splitter. In addition, the third light filter 34 prevents the second object light from reaching the second reflector 33 when a portion of the second object light reaches the second light splitter 31 and is split, so that a portion of the second object light travels in the direction of the second reflector 33. . To this end, the third filter plate 34 has the same characteristics as the first filter plate 22 in transmitting light. The third reflector 35 receives the second reference light and sends the reflected second reference light to the third beam splitter 32, where the second reflector 33 and the third reflector 35 are the controller 70 ), it is possible to implement an off-axis hologram by configuring the angle to be adjustable according to the control.

한편, 상술한 바와 같이 획득된 제1물체광, 제2물체광은 다음과 같은 과정을 거쳐 각 제1반사물체광과 제2반사물체광으로 변환되어 이미지센서부(50)로 보내진다. 제2광분할기(31)는 이상과 같이 분할한 제1물체광을 대물부(40)에 거치되어 있는 측정 대상 물체에 입사시키고, 또한 제3광분할기(32)로부터 분할되어 보내지는 제2물체광을 상기 측정 대상 물체에 입사시킨다. 이 경우, 측정 대상 물체에서 입사받은 제1물체광을 반사한 반사광을 제1반사물체광이라 한다. 또한 측정 대상 물체에서 입사받은 제2물체광을 반사한 반사광을 제2반사물체광이라 한다. 제2광분할기(31)는 이상과 같이 반사된 제1반사물체광과 제2반사물체광을 입력받아 이를 제3광분할기(32)로 보낸다. 제3광분할기(32)는 이상과 같이 입력받은 제1반사물체광과 제2반사물체광을 다시 이미지센서부(50)로 보낸다.Meanwhile, the first object light and the second object light obtained as described above are converted into the first and second object lights through the following process and sent to the image sensor unit 50 . The second beam splitter 31 causes the first object light divided as described above to be incident on the object to be measured mounted on the objective unit 40, and is divided from the third beam splitter 32 and sent to the second object light. Light is incident on the object to be measured. In this case, the reflected light obtained by reflecting the first object light incident from the object to be measured is referred to as the first reflecting object light. In addition, the reflected light obtained by reflecting the second object light incident from the object to be measured is referred to as the second reflection object light. The second beam splitter 31 receives the reflected first and second reflection object lights as described above and sends them to the third beam splitter 32 . The third beam splitter 32 sends the first and second reflection object lights received as described above to the image sensor unit 50 again.

또한, 상술한 바와 같이 획득된 제1반사기준광, 제2반사기준광은 다음과 같은 과정을 거쳐 이미지센서부(50)로 보내진다. 구체적으로, 제2광분할기(31)는 제2반사체(33)에서 반사되어 온 제1반사기준광을 입력받아 제3광분할기(32)로 보낸다. 제3광분할기(32)는 이상과 같이 제2광분할기(31)에서 보내진 제1반사기준광과, 제3반사체(35)에서 반사되어 온 제2반사기준광을 입력받아 다시 이미지센서부(50)로 보낸다. 그에 따라, 제3광분할기(32)에서 제1반사물체광과 제1반사기준광과 제2반사물체광과 제2반사기준광이 모두 동일하게 이미지센서부(50) 방향으로 보내진 후, 상호 간섭하여 간섭무늬가 생성된다.In addition, the first reflection reference light and the second reflection reference light obtained as described above are sent to the image sensor unit 50 through the following process. Specifically, the second beam splitter 31 receives the first reflection reference light reflected from the second reflector 33 and sends it to the third beam splitter 32 . As described above, the third beam splitter 32 receives the first reflection reference light sent from the second beam splitter 31 and the second reflection reference light reflected from the third reflector 35, and returns to the image sensor unit 50. send to Accordingly, after the first reflective object light, the first reflective reference light, the second reflective object light, and the second reflective reference light are all equally sent in the direction of the image sensor unit 50 in the third beam splitter 32, they mutually interfere with each other. Interference fringes are created.

한편, 제2반사체(33)와 제3반사체(35)는 서로 다른 파장의 광선이 서로 다른 간섭무늬를 형성하게 하는 탈축(off-axis) 시스템을 구성하기 위하여 제어부(70)의 제어에 따라 각도를 다방향으로 조절할 수 있는 것을 특징으로 한다. 즉, 제2반사체(33)와 제3반사체(35)의 각도가 서로 상이하게 됨에 따라, 제2반사체(33)로부터 반사되는 제1반사기준광과 제3반사체(35)로부터 반사되는 제2기준광의 방향에 이격이 발생하게 되어, 제1반사기준광과 제2반사기준광이 이미지센서부(50)에 도달한 제1반사물체광과 제2반사물체광과 합쳐져 간섭무늬를 형성할 때에, 각 파장 별로 상이하게 탈축된 간섭무늬를 형성하게 된다. Meanwhile, the angles of the second reflector 33 and the third reflector 35 are controlled by the control unit 70 to form an off-axis system in which light rays of different wavelengths form different interference fringes. It is characterized in that it can be adjusted in multiple directions. That is, as the angles of the second reflector 33 and the third reflector 35 are different from each other, the first reference light reflected from the second reflector 33 and the second reference light reflected from the third reflector 35 A separation occurs in the direction of light, and when the first reflection standard light and the second reflection standard light are combined with the first and second reflection object lights reaching the image sensor unit 50 to form an interference fringe, each wavelength Differently off-axis interference fringes are formed.

대물부(40)는 물체거치대(41)와 대물렌즈(42)를 포함한다. 물체거치대(41)는 측정 대상 물체를 거치대에 고정시켜 측정되도록 하고, 대물렌즈(42)는 측정 대상 물체에 입사되는 제1물체광과 제2물체광을 광학적으로 조절한다.The object unit 40 includes an object holder 41 and an objective lens 42 . The object holder 41 fixes the object to be measured on the holder to be measured, and the objective lens 42 optically adjusts the first and second object lights incident on the object to be measured.

이미지센서부(50)는 간섭무늬획득부(30)에서 획득된 상기 간섭무늬를 디지털 이미지 센서에 투영시키고, 상기 투영된 간섭무늬를 상기 디지털 이미지 센서를 이용하여 측정하고, 그 측정값을 이산신호로 변환한다. 통상 상기 간섭무늬를 기록한 것을 홀로그램이라고 한다. 이러한 디지털 이미지 센서로는 CCD 등 다양한 이미지센서들이 사용될 수 있다.The image sensor unit 50 projects the interference pattern acquired by the interference pattern acquisition unit 30 onto a digital image sensor, measures the projected interference pattern using the digital image sensor, and outputs the measured value as a discrete signal. convert to Generally, the recording of the interference fringes is called a hologram. As such a digital image sensor, various image sensors such as CCD may be used.

이미지저장부(60)는 이미지센서부(50)에서 이산신호로 변환된 간섭무늬 정보를 메모리나 디스크장치 등과 같은 다양한 저장매체에 저장한다.The image storage unit 60 stores interference fringe information converted into discrete signals by the image sensor unit 50 in various storage media such as a memory or a disk device.

제어부(70)는 상술한 탈축(off-axis) 시스템을 구현하고 간섭무늬를 획득하기 위하여 제2반사체(33)와 제3반사체(35)의 위치와 각도를 조절하는 등 간섭무늬획득부(30)를 제어하고, 측정 대상 물체에 입사되는 제1물체광과 제2물체광을 조절하기 위하여 대물렌즈(42)를 조절하는 등 대물부(40)를 제어하고, 상기 간섭무늬가 측정되어 그에 대한 정보가 이산신호로 변환되도록 하기 위하여 이미지센서부(50)를 제어하고, 이산신호로 변환된 간섭무늬 정보를 저장하기 위하여 이미지저장부(60)를 제어한다.The control unit 70 implements the above-described off-axis system and adjusts the positions and angles of the second reflector 33 and the third reflector 35 to acquire the interference fringes. ), and control the object part 40, such as adjusting the objective lens 42 to adjust the first and second object lights incident on the object to be measured, and the interference fringe is measured to determine the The image sensor unit 50 is controlled to convert information into discrete signals, and the image storage unit 60 is controlled to store interference pattern information converted into discrete signals.

물체형상복원부(80)는 위상정보획득부(81)와 두께정보획득부(82)와 형상복원부(83)를 포함한다. 위상정보획득부(81)는 상기 간섭무늬 정보를 이용하여 상기 제1광선에 대한 간섭무늬의 위상정보와 상기 제2광선에 대한 간섭무늬의 위상정보를 각각 획득하고, 두께정보획득부(82)는 상기 위상정보들을 이용하여 측정 대상 물체의 두께정보를 획득하고, 형상복원부(83)는 상기 두께정보를 이용하여 측정 대상 물체의 실시간 3차원 형상을 복원한다. 이때 측정 대상 물체의 두께정보는 상기 물체광과 기준광이 각각 진행한 경로의 차이 정보를 포함한다. 이와 같은 상기 물체광과 기준광의 광 경로차 때문에 상기 물체광과 기준광이 중첩되었을 때 상기 간섭무늬가 형성된다.The object shape restoration unit 80 includes a phase information acquisition unit 81, a thickness information acquisition unit 82, and a shape restoration unit 83. The phase information acquisition unit 81 acquires the phase information of the interference fringes for the first light ray and the phase information of the interference fringes for the second light ray using the interference fringe information, and the thickness information acquisition unit 82 obtains thickness information of the object to be measured using the phase information, and the shape restoration unit 83 restores the real-time 3D shape of the object to be measured using the thickness information. At this time, the thickness information of the object to be measured includes difference information of paths respectively traveled by the object light and the reference light. Due to the optical path difference between the object light and the reference light, the interference fringe is formed when the object light and the reference light overlap.

상술한 내용을 포함하는 공개된 종래 기술에 의하면, 측정 해상도의 향상 및 영상 획득의 실시간성의 확보가 가능하지만, 여전히 다음과 같은 문제점이 발생한다.According to the disclosed prior art including the above, it is possible to improve measurement resolution and secure real-time image acquisition, but the following problems still occur.

먼저 공개된 종래 기술에서는 여러 대역에 분포된 파장 대역을 가지는 혼합 광원이 사용되므로, 적어도 2개 이상의 단일 파장을 얻기 위해 파장분할부(20)가 파장이 서로 상이한 제1광선 및 제2광원을 분할하기 위해 제1여광판(22), 제2여광판(23), 및 제1반사체(24)를 사용하여야 한다. Since a mixed light source having a wavelength band distributed in several bands is used in the previously disclosed prior art, the wavelength division unit 20 divides the first light source and the second light source having different wavelengths to obtain at least two or more single wavelengths. To do this, the first filtering plate 22, the second filtering plate 23, and the first reflector 24 must be used.

또한, 간섭무늬획득부(30)가 제2광원을 분할하기 위한 제3광분할기(32), 제2광원을 반사시키기 위한 제3반사체(35), 및 제2광원이 제2반사체(33)로 입사되는 것을 차단하기 위한 제3여광판(34)을 추가로 사용하여야 한다. In addition, the interference pattern acquisition unit 30 includes a third light splitter 32 for splitting the second light source, a third reflector 35 for reflecting the second light source, and a second reflector 33 for the second light source. It is necessary to additionally use a third filter plate 34 for blocking the incident light.

따라서, 현미경의 구조가 복잡해지고, 이는 제조 단가의 상승, 설계의 복잡도 증가와 같은 다양한 문제점을 수반한다. 따라서 단일 파장의 광원을 사용하면서도 상술한 문제점을 해결하기 위한 새로운 방안이 요구된다.Accordingly, the structure of the microscope becomes complicated, which entails various problems such as an increase in manufacturing cost and an increase in design complexity. Therefore, a new method for solving the above problems while using a light source of a single wavelength is required.

대한민국 공개특허 제10-2016-0029606호Republic of Korea Patent Publication No. 10-2016-0029606 대한민국 공개특허 제10-2010-0095302호Republic of Korea Patent Publication No. 10-2010-0095302 대한민국 공개특허 제10-2012-0014355호Republic of Korea Patent Publication No. 10-2012-0014355 대한민국 특허 제10-1139178호Korean Patent No. 10-1139178 대한민국 특허 제10-1441245호Korean Patent No. 10-1441245 미국 특허 제7,649,160호U.S. Patent No. 7,649,160

본 발명은 상술한 바와 같은 종래 기술들의 문제점을 해결하기 위한 것으로, 단지 한 개의 홀로그램의 획득으로 측정 대상 물체의 3차원 형상 정보를 정확하게 생성하고자 한다.The present invention is to solve the problems of the prior art as described above, and to accurately generate 3D shape information of a measurement target object by acquiring only one hologram.

특히 본 발명은 한 개의 홀로그램으로부터 기준광에 관한 정보 및 물체광 대물 렌즈의 곡률 수차 정보를 생성하고 이를 고려하여 획득된 물체 홀로그램을 보정함으로써 정확도가 향상된 측정 대상 물체의 3차원 형상 정보를 생성하고자 한다.In particular, the present invention seeks to generate three-dimensional shape information of an object to be measured with improved accuracy by generating reference light information and curvature aberration information of an object light objective lens from one hologram and correcting the obtained object hologram in consideration of the information.

또한 본 발명은 복잡한 광학 장치 구조 및 그에 따른 상당한 고비용 문제를 해결하고자 한다.The present invention also addresses the problem of complex optical device structures and consequently high costs.

나아가 본 발명은 TFT, 반도체와 같은 초미세 구조의 3차원 형상을 정확하게 획득함으로써, 이러한 구조들의 결함을 높은 확률로 검출하고자 한다.Furthermore, the present invention seeks to detect defects of such structures with high probability by accurately acquiring the three-dimensional shape of ultrafine structures such as TFTs and semiconductors.

본 발명의 일 실시예는, 단일 파장 광을 방출하는 광원부, 상기 광원부에서 방출된 단일 파장 광을 시준하기 위한 시준기, 상기 시준기를 통과한 상기 단일 파장 광을 물체광 및 기준광으로 분할하는 광 분할기, 상기 광 분할기에 의해 분할된 상기 물체광을 통과시키는 물체광 대물 렌즈, 상기 광 분할기에 의해 분할된 상기 기준광을 반사시키는 광학 거울, 상기 물체광 대물 렌즈와 마주보는 일면 상에 측정 대상 물체가 안착되는 플레이트, 상기 물체광 대물 렌즈에 인접하게 배치되어 상기 물체광 대물 렌즈와 상기 플레이트까지의 거리를 감지하는 거리 센서, 상기 플레이트와 연결되며, 상기 거리 센서에서 감지한 거리값을 이용하여 상기 물체광 대물 렌즈에 대해 상기 플레이트를 이동시키는 구동 수단, 상기 물체광 대물 렌즈를 통과하여 측정 대상 물체의 표면에서 반사된 물체광 및 상기 광학 거울에 의해 반사된 기준광이 각각 상기 광 분할기로 전달되어 형성되는 간섭 무늬를 기록하는 영상 센서 및 상기 영상 센서에서 상기 간섭무늬를 변환하여 생성된 물체 홀로그램의 강도(Intensity) 정보를 포함하는 이미지를 수신하여 저장하고, 상기 측정 대상 물체의 3차원 형상 정보를 생성하는 프로세서를 포함하는, 측정 대상 물체의 3차원 형상 정보 생성 장치를 제공한다.An embodiment of the present invention, a light source unit for emitting single-wavelength light, a collimator for collimating the single-wavelength light emitted from the light source unit, a light splitter for splitting the single-wavelength light passing through the collimator into object light and reference light, An object light objective lens passing the object light split by the light splitter, an optical mirror reflecting the reference light split by the light splitter, and an object to be measured mounted on one surface facing the object light objective lens A plate, a distance sensor disposed adjacent to the object light objective lens and detecting a distance between the object light objective lens and the plate, connected to the plate, and using a distance value sensed by the distance sensor to detect the distance between the object light objective lens and the object light objective lens. Interference fringes formed by passing the driving means for moving the plate relative to the lens, the object light reflected from the surface of the object to be measured through the object light objective lens, and the reference light reflected by the optical mirror, respectively, to the optical splitter. An image sensor for recording and a processor for receiving and storing an image including intensity information of an object hologram generated by converting the interference fringe in the image sensor and generating 3D shape information of the object to be measured It provides an apparatus for generating three-dimensional shape information of an object to be measured, comprising:

본 발명의 다른 실시예는, 단일 파장 광을 방출하는 광원부, 상기 광원부에서 방출된 단일 파장 광을 시준하기 위한 시준기, 상기 시준기를 통과한 상기 단일 파장 광을 물체광 및 기준광으로 분할하는 광 분할기, 상기 광 분할기에 의해 분할된 상기 기준광을 반사시키는 제1 광학 거울, 상기 광 분할기에 의해 분할된 상기 물체광을 반사시키는 제2 광학 거울, 상기 제2 광학 거울에 의해 반사된 상기 물체광의 진행 경로 상에 배치되며, 일면에 측정 대상 물체가 안착되는 플레이트, 상기 물체광이 상기 측정 대상 물체를 투과한 후 상기 측정 대상 물체의 정보를 포함한 물체 투과광을 통과시키는 물체광 대물 렌즈, 상기 제1 광학 거울에 의해 반사된 상기 기준광 및 상기 물체광 대물 렌즈를 통과한 상기 물체 투과광이 각각 전달되는 제2 광 분할기, 상기 제2 광 분할기로 전달된 상기 기준광 및 상기 물체 투과광에 의해 형성되는 간섭 무늬를 기록하는 영상 센서, 상기 물체광 대물 렌즈에 인접하게 배치되어 상기 물체광 대물 렌즈와 상기 플레이트까지의 거리를 감지하는 거리 센서, 상기 플레이트와 연결되며, 상기 거리 센서에서 감지한 거리값을 이용하여 상기 물체광 대물 렌즈에 대해 상기 플레이트를 이동시키는 구동 수단 및 상기 영상 센서에서 상기 간섭무늬를 변환하여 생성된 물체 홀로그램의 강도(Intensity) 정보를 포함하는 이미지를 수신하여 저장하고, 상기 측정대상 물체의 3차원 형상 정보를 생성하는 프로세서를 포함하는, 측정 대상 물체의 3차원 형상 정보 생성 장치를 제공한다.Another embodiment of the present invention, a light source unit for emitting single-wavelength light, a collimator for collimating the single-wavelength light emitted from the light source unit, a light splitter for splitting the single-wavelength light passing through the collimator into object light and reference light, A first optical mirror for reflecting the reference light split by the beam splitter, a second optical mirror for reflecting the object light split by the light splitter, and a traveling path of the object light reflected by the second optical mirror A plate disposed on one surface of a plate on which the object to be measured is seated, an object light objective lens through which the object light passes through the object to be measured and then transmits the object light including the information of the object to be measured, and the first optical mirror. A second beam splitter through which the reference light reflected by the object light and the object transmitted light passing through the objective lens are transmitted respectively, and an image recording an interference fringe formed by the reference light transmitted to the second beam splitter and the object transmitted light A sensor, a distance sensor disposed adjacent to the object light objective lens to detect a distance between the object light objective lens and the plate, connected to the plate, and using a distance value sensed by the distance sensor to detect a distance between the object light objective lens and the object light objective lens. An image including intensity information of an object hologram generated by converting the interference fringes in a driving means for moving the plate with respect to a lens and the image sensor is received and stored, and 3D shape information of the object to be measured is stored. It provides an apparatus for generating three-dimensional shape information of an object to be measured, including a processor that generates a.

본 발명의 일 실시예에 있어서, 상기 플레이트는 상기 측정 대상 물체와 중첩되는 중첩 영역과, 상기 측정 대상 물체와 비중첩되는 비중첩 영역을 포함하며, 상기 거리 센서는 상기 플레이트의 일면 중 상기 비중첩 영역을 기준으로 상기 플레이트의 거리를 감지할 수 있다. In one embodiment of the present invention, the plate includes an overlapping area overlapping the measurement target object and a non-overlapping area overlapping the measurement target object, and the distance sensor includes the non-overlapping area of one side of the plate. The distance of the plate may be detected based on the area.

본 발명의 일 실시예에 있어서, 상기 프로세서는 상기 거리 센서에서 감지한 거리값을 이용하여 상기 플레이트를 이동시킨 후, 상기 영상 센서로부터 획득된 상기 이미지의 에지를 검출하고, 상기 검출된 에지의 콘트라스트(contrast) 값을 추출하고, 상기 추출된 콘트라스트 값에 기초하여 상기 플레이트와 상기 물체광 대물 렌즈 사이의 거리가 조절되도록 상기 구동 수단을 제어할 수 있다.In one embodiment of the present invention, the processor moves the plate using the distance value sensed by the distance sensor, detects an edge of the image obtained from the image sensor, and contrast of the detected edge A contrast value may be extracted, and the driving unit may be controlled to adjust a distance between the plate and the object light objective lens based on the extracted contrast value.

본 발명의 일 실시예에 있어서, 상기 물체광 대물 렌즈와 상기 광 분할기 사이의 거리는 일정할 수 있다. In one embodiment of the present invention, a distance between the object light objective lens and the beam splitter may be constant.

본 발명의 일 실시예에 있어서, 상기 프로세서는 상기 이미지에 포함된 적어도 하나의 주파수 성분들 중 실상(Real Image)에 대응되는 실상 성분들을 추출하고, 상기 실상 성분들에 기초하여 상기 기준광과 켤레(conjugate) 관계에 있는 보정광 및 상기 측정 대상 물체의 실장 정보를 포함하는 실상 홀로그램을 생성하고, 상기 보정광에 기초하여, 상기 실상 홀로그램에서 상기 기준광의 정보가 제거된 중간 홀로그램을 생성하고, 상기 중간 홀로그램으로부터 상기 곡률 수차 보정정보를 생성한 후, 상기 곡률 수차 보정정보에 기초하여, 상기 중간 홀로그램에서 곡률 수차에 의한 오차가 제고된 보정 홀로그램을 생성하고, 상기 보정 홀로그램으로부터 상기 측정 대상 물체의 상기 3차원 형상 정보를 생성할 수 있다. In one embodiment of the present invention, the processor extracts real image components corresponding to a real image among at least one frequency component included in the image, and based on the real image components, the reference light and the conjugate ( conjugate) generating a real image hologram including a correction light having a relationship and mounting information of the object to be measured, generating an intermediate hologram in which information of the reference light is removed from the real image hologram based on the correction light, and generating the intermediate hologram After generating the curvature aberration correction information from the hologram, based on the curvature aberration correction information, a correction hologram in which the error due to the curvature aberration is reduced in the intermediate hologram is generated, and the three Dimensional shape information can be created.

전술한 것 외의 다른 측면, 특징, 이점은 이하의 발명을 실시하기 위한 구체적인 내용, 청구범위 및 도면으로부터 명확해질 것이다.Other aspects, features, and advantages other than those described above will become clear from the detailed description, claims, and drawings for carrying out the invention below.

상기한 바와 같이 이루어진 본 발명의 일 실시예에 따르면, 본 발명에 따르면 단지 한 개의 홀로그램의 획득으로 측정 대상 물체의 3차원 형상 정보를 정확하게 생성할 수 있다.According to one embodiment of the present invention made as described above, according to the present invention, it is possible to accurately generate 3D shape information of the object to be measured by acquiring only one hologram.

특히 한 개의 홀로그램으로부터 기준광에 관한 정보 및 물체광 대물 렌즈의 곡률 수차 정보를 생성하고 이를 고려하여 획득된 물체 홀로그램을 보정함으로써 정확도가 향상된 측정 대상 물체의 3차원 형상 정보를 생성할 수 있다.In particular, by generating information on the reference light and curvature aberration information of the object light objective lens from one hologram, and correcting the obtained object hologram in consideration of the information, it is possible to generate 3D shape information of the object to be measured with improved accuracy.

또한 복잡한 광학 장치 구조 및 그에 따른 상당한 고비용 문제를 해결할 수 있다.It can also solve the problem of complex optical device structure and consequently high cost.

나아가 TFT, 반도체와 같은 초미세 구조의 3차원 형상을 정확하게 획득함으로써 이러한 구조들의 결함을 높은 확률로 검출할 수 있다.Furthermore, by accurately acquiring the three-dimensional shape of ultrafine structures such as TFTs and semiconductors, defects in these structures can be detected with high probability.

물론 이러한 효과에 의해 본 발명의 범위가 한정되는 것은 아니다.Of course, the scope of the present invention is not limited by these effects.

도 1은 공개된 종래 기술에 따른 2파장 디지털 홀로그래피 현미경 장치를 상세히 도시한 블록도이다.
도 2a는 본 발명의 제1 실시예에 따른 홀로그래피 복원 장치의 개략적인 구성을 도시한 블록도이다.
도 2b는 본 발명의 제2 실시예에 따른 홀로그래피 복원 장치의 개략적인 구성을 도시한 블록도이다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 홀로그래피 복원 장치가 측정 대상 물체(M)에 대해 자동으로 초점(outo-focusing)을 맞추는 방법을 설명하기 위한 도면이다.
도 4a 및 도 4b는 측정 대상 물체의 이미지 내에서 에지를 검출하여 초점을 맞추는 방법을 설명하기 위한 도면이다.
도 5a 및 도 5b는 예시적인 측정 대상 물체의 외형을 설명하기 위한 도면이다.
도 6은 측정 대상 물체의 일 부분에 대한 이미지의 예시이다.
도 7은 도 6에 도시된 측정 대상 물체의 일 부분에 대한 이미지의 주파수 성분을 도시한 도면이다.
도 8은 도 7에 도시된 주파수 성분들에서 실상에 대응되는 주파수 성분들을 추출하는 방법을 설명하기 위한 도면이다.
도 9a는 디지털 기준광의 강도를 도시한 도면이다.
도 9b는 기준광의 위상을 도시한 도면이다.
도 9c는 보정광의 강도를 도시한 도면이다.
도 9d는 보정광의 위상을 도시한 도면이다.
도 10은 예시적인 실상 홀로그램을 도시한 도면이다.
도 11 및 도 12는 본 발명의 일 실시예에 따른 프로세서가 중간 홀로그램으로부터 곡률 수차 보정항을 결정하는 방법을 설명하기 위한 도면이다.
도 13은 홀로그램으로부터 생성된 측정 대상 물체의 3차원 형상의 예시를 도시한 도면이다.
도 14는 본 발명의 일 실시예에 따른 홀로그래피 복원 장치에 의해 수행되는 측정 대상 물체의 3차원 형상 정보를 생성하는 방법을 설명하기 위한 흐름도이다.
도 15 및 도 16은 본 발명의 실시예들에 따른 홀로그래피 복원 장치의 노이즈 제거 방법의 흐름도들이다.
1 is a block diagram showing in detail a two-wavelength digital holography microscope apparatus according to the prior art disclosed.
2A is a block diagram showing a schematic configuration of a holography restoration apparatus according to a first embodiment of the present invention.
2B is a block diagram showing a schematic configuration of a holography restoration apparatus according to a second embodiment of the present invention.
3A and 3B are diagrams for explaining a method of automatically focusing (outo-focusing) on a measurement target object M by the holography restoration apparatus according to an embodiment of the present invention.
4A and 4B are diagrams for explaining a method of focusing by detecting an edge in an image of a measurement target.
5A and 5B are diagrams for explaining the external appearance of an exemplary object to be measured.
6 is an example of an image of a portion of an object to be measured.
FIG. 7 is a diagram illustrating frequency components of an image of a portion of the object to be measured shown in FIG. 6 .
FIG. 8 is a diagram for explaining a method of extracting frequency components corresponding to a real image from the frequency components shown in FIG. 7 .
9A is a diagram illustrating the intensity of digital reference light.
9B is a diagram illustrating a phase of a reference light.
9C is a diagram showing the intensity of correction light.
9D is a diagram showing the phase of correction light.
10 is a diagram illustrating an exemplary real-image hologram.
11 and 12 are views for explaining a method of determining a curvature aberration correction term from an intermediate hologram by a processor according to an embodiment of the present invention.
13 is a diagram illustrating an example of a 3D shape of a measurement target object generated from a hologram.
14 is a flowchart for explaining a method of generating 3D shape information of a measurement target performed by a holography restoration apparatus according to an embodiment of the present invention.
15 and 16 are flowcharts of a noise removal method of a holography restoration apparatus according to embodiments of the present invention.

이하, 본 개시의 다양한 실시예가 첨부된 도면과 연관되어 기재된다. 본 개시의 다양한 실시예는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 개시의 다양한 실시예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 다양한 실시예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.Hereinafter, various embodiments of the present disclosure will be described in conjunction with the accompanying drawings. Various embodiments of the present disclosure may have various changes and various embodiments, and specific embodiments are illustrated in the drawings and related detailed descriptions are described. However, this is not intended to limit the various embodiments of the present disclosure to specific embodiments, and should be understood to include all changes and/or equivalents or substitutes included in the spirit and technical scope of the various embodiments of the present disclosure. In connection with the description of the drawings, like reference numerals have been used for like elements.

본 개시의 다양한 실시예에서 사용될 수 있는 "포함한다" 또는 "포함할 수 있다" 등의 표현은 개시(disclosure)된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 개시의 다양한 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Expressions such as “include” or “may include” that may be used in various embodiments of the present disclosure indicate the presence of disclosed functions, operations, or components, and may include one or more additional functions, operations, or components. components, etc. are not limited. In addition, in various embodiments of the present disclosure, terms such as "include" or "have" are intended to designate that there are features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, It should be understood that it does not preclude the possibility of the presence or addition of one or more other features, numbers, steps, operations, components, parts, or combinations thereof.

본 개시의 다양한 실시예에서 "또는" 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, "A 또는 B"는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.In various embodiments of this disclosure, expressions such as “or” include any and all combinations of the words listed together. For example, "A or B" may include A, may include B, or may include both A and B.

본 개시의 다양한 실시예에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 실시예들의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 개시의 다양한 실시예의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Expressions such as "first", "second", "first", or "second" used in various embodiments of the present disclosure may modify various components of various embodiments, but do not limit the components. don't For example, the above expressions do not limit the order and/or importance of corresponding components. The above expressions may be used to distinguish one component from another. For example, the first user device and the second user device are both user devices and represent different user devices. For example, a first element may be termed a second element, and similarly, a second element may also be termed a first element, without departing from the scope of rights of various embodiments of the present disclosure.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.When an element is referred to as being "connected" or "connected" to another element, the element may be directly connected or connected to the other element, but with the other element. It should be understood that other new components may exist between the other components. On the other hand, when an element is referred to as being “directly connected” or “directly connected” to another element, it will be understood that no new element exists between the element and the other element. should be able to

본 개시의 다양한 실시예에서 사용한 용어는 단지 특정일 실시예를 설명하기 위해 사용된 것으로, 본 개시의 다양한 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.Terms used in various embodiments of the present disclosure are only used to describe a specific embodiment, and are not intended to limit various embodiments of the present disclosure. Singular expressions include plural expressions unless the context clearly dictates otherwise.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시의 다양한 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which various embodiments of the present disclosure belong.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 개시의 다양한 실시예에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in various embodiments of the present disclosure, ideal or excessively formal. not interpreted as meaning

도 2a는 본 발명의 제1 실시예에 따른 홀로그래피 복원 장치(300A)의 개략적인 구성을 도시한 블록도이다. 2A is a block diagram showing a schematic configuration of a holography restoration apparatus 300A according to a first embodiment of the present invention.

본 발명에서 '홀로그래피 복원 장치'는 측정 대상 물체에 대한 홀로그램(이하에서는 '물체 홀로그램'이라고 설명한다)을 획득하고, 획득된 물체 홀로그램을 분석 및/또는 표시하는 장치를 의미할 수 있다. In the present invention, a 'holography restoration device' may refer to a device that acquires a hologram (hereinafter referred to as an 'object hologram') of an object to be measured, and analyzes and/or displays the obtained object hologram.

가령 홀로그래피 복원 장치(300A)는 반도체 제조 라인에 배치되어, 생산되는 반도체의 물체 홀로그램을 획득하고, 획득된 물체 홀로그램으로부터 반도체의 무결성 여부를 판단하는 장치일 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.For example, the holography restoration device 300A may be a device disposed in a semiconductor manufacturing line, obtaining an object hologram of a semiconductor being produced, and determining whether the semiconductor is integrity based on the obtained object hologram. However, this is an example and the spirit of the present invention is not limited thereto.

한편 본 발명에서 '물체 홀로그램(Hologram)'은 홀로그래피 복원 장치(300A)에 의해서 획득되는 이미지로부터 생성될 수 있는 홀로그램으로, 홀로그래피 복원 장치(300A)에 의한 다양한 처리가 이루어 지기 전의 홀로그램을 의미할 수 있다. 이에 대한 상세한 설명은 후술한다.Meanwhile, in the present invention, an 'object hologram' is a hologram that can be generated from an image acquired by the holography restoration device 300A, and can mean a hologram before various processes by the holography restoration device 300A are performed. there is. A detailed description of this will be given later.

도 2a를 참조하면, 본 발명의 제1 실시예에 따른 홀로그래피 복원 장치(300A)는 단일 파장 광을 방출하는 광원부(310), 광원부(310)에서 방출된 단일 파장 광을 시준하기 위한 시준기(320), 시준기(320)를 통과한 단일 파장 광을 물체광(O) 및 기준광(R)으로 분할하는 광 분할기(330), 광 분할기(330)에 의해 분할된 물체광(O)을 통과시키는 물체광 대물 렌즈(340), 광 분할기(330)에 의해 분할된 기준광(R)을 반사시키는 광학 거울(370), 물체광 대물 렌즈(340)와 마주보는 일면 상에 측정 대상 물체(M)가 안착되는 플레이트(351), 물체광 대물 렌즈(340)에 인접하게 배치되어 물체광 대물 렌즈(340)와 플레이트(351)까지의 거리를 감지하는 거리 센서(357), 플레이트(351)와 연결되며, 거리 센서(357)에서 감지한 거리값을 이용하여 물체광 대물 렌즈(340)에 대해 플레이트(351)를 이동시키는 구동 수단(353); 물체광 대물 렌즈(340)를 통과하여 측정 대상 물체(350)의 표면에서 반사된 물체광(O) 및 광학 거울(370)에 의해 반사된 기준광(R)이 각각 상기 광 분할기(330)로 전달되어 형성되는 간섭 무늬를 기록하는 영상 센서(380) 및 영상 센서(380)에서 간섭 무늬를 변환하여 생성된 물체 홀로그램의 강도(Intensity) 정보를 포함하는 이미지를 수신하여 저장하고, 측정 대상 물체(M)의 3차원 형상 정보를 생성하는 프로세서(390)를 포함할 수 있다. 여기서, 측정 대상 물체(M)는 기판일 수 있으며, 이하에서는 기판을 측정 대상 물체(M)로 하여 설명하기로 한다. Referring to FIG. 2A , the holography restoration apparatus 300A according to the first embodiment of the present invention includes a light source unit 310 emitting single-wavelength light, and a collimator 320 for collimating the single-wavelength light emitted from the light source unit 310. ), a light splitter 330 that splits the single-wavelength light passing through the collimator 320 into object light O and reference light R, and an object that passes the object light O divided by the light splitter 330. The objective lens 340, the optical mirror 370 for reflecting the reference light R divided by the beam splitter 330, and the object M to be measured are placed on one surface facing the object light objective lens 340. The plate 351, which is disposed adjacent to the object light objective lens 340, is connected to the distance sensor 357 and the plate 351 for detecting the distance between the object light objective lens 340 and the plate 351, a driving means 353 for moving the plate 351 relative to the object light objective lens 340 using the distance value sensed by the distance sensor 357; The object light O passed through the objective lens 340 and reflected on the surface of the object 350 and the reference light R reflected by the optical mirror 370 are transmitted to the beam splitter 330, respectively. An image sensor 380 that records the interference fringe formed by the image sensor 380 and an image including intensity information of an object hologram generated by converting the interference fringe in the image sensor 380 is received and stored, and an object to be measured (M ) may include a processor 390 generating 3D shape information. Here, the object to be measured (M) may be a substrate, and hereinafter, the substrate will be described as the object (M) to be measured.

한편, 본 발명의 제1 실시예에 따른 홀로그래피 복원 장치(300A)는 광 분할기(330)에 의해 분할된 기준광(R)을 통과시키는 기준광 대물 렌즈(미도시)를 더 포함할 수 있다. Meanwhile, the holography reconstruction apparatus 300A according to the first embodiment of the present invention may further include a reference light objective lens (not shown) passing the reference light R divided by the beam splitter 330 .

이때 프로세서(390)는 영상 센서(380)가 획득한 이미지로부터 측정 대상 물체(M)의 3차원 정보를 생성할 수 있다. 이와 같은 프로세서(390)의 동작에 대한 상세한 설명은 후술한다.At this time, the processor 390 may generate 3D information of the object M to be measured from the image acquired by the image sensor 380 . A detailed description of the operation of the processor 390 will be described later.

도 2b는 본 발명의 제2 실시예에 따른 홀로그래피 복원 장치(300B)의 개략적인 구성을 도시한 블록도이다.2B is a block diagram showing a schematic configuration of a holography restoration apparatus 300B according to a second embodiment of the present invention.

도 2b를 참조하면, 본 발명의 제2 실시예에 따른 홀로그래피 복원 장치(300B)는 단일 파장 광을 방출하는 광원부(310), 광원부(310)에서 방출된 단일 파장 광을 시준하기 위한 시준기(320), 시준기(320)를 통과한 단일 파장 광을 물체광(O) 및 기준광(R)으로 분할하는 광 분할기(330), 광 분할기(330)에 의해 분할된 기준광(R)을 반사시키는 제1 광학 거울(370), 광 분할기(330)에 의해 분할된 물체광(O)을 반사시키는 제2 광학 거울(372), 제2 광학 거울(372)에 의해 반사된 물체광(O)의 진행 경로 상에 배치되며, 일면에 측정 대상 물체(M)가 안착되는 플레이트(351), 물체광(O)이 측정 대상 물체(M)를 투과한 후 측정 대상 물체(M)의 정보를 포함한 물체 투과광을 통과시키는 물체광 대물 렌즈(340), 제1 광학 거울(370)에 의해 반사된 기준광(R) 및 물체광 대물 렌즈(340)를 통과한 물체 투과광이 각각 전달되는 제2 광 분할기(332), 제2 광 분할기(332)로 전달된 기준광(R) 및 물체 투과광에 의해 형성되는 간섭 무늬를 기록하는 영상 센서(380), 물체광 대물 렌즈(340)에 인접하게 배치되어 물체광 대물 렌즈(340)와 플레이트(351)까지의 거리를 감지하는 거리 센서(357), 플레이트(351)와 연결되며 거리 센서(357)에서 감지한 거리값을 이용하여 물체광 대물 렌즈(340)에 대해 플레이트(351)를 이동시키는 구동 수단(353) 및 영상 센서(380)에서 간섭무늬를 변환하여 생성된 물체 홀로그램의 강도(Intensity) 정보를 포함하는 이미지를 수신하여 저장하고, 측정 대상 물체(M)의 3차원 형상 정보를 생성하는 프로세서(390)를 포함할 수 있다. Referring to FIG. 2B , the holography restoration apparatus 300B according to the second embodiment of the present invention includes a light source unit 310 emitting single wavelength light, and a collimator 320 for collimating the single wavelength light emitted from the light source unit 310. ), a beam splitter 330 that splits the single-wavelength light passing through the collimator 320 into object light O and reference light R, and a first beam that reflects the reference light R divided by the beam splitter 330. An optical mirror 370, a second optical mirror 372 for reflecting the object light O divided by the beam splitter 330, and a propagation path of the object light O reflected by the second optical mirror 372 Disposed on the plate 351, on one surface of which the object M to be measured is seated, and after the object light O passes through the object M to be measured, the object transmitted light including the information of the object M to be measured is transmitted. A second beam splitter 332 through which the passing object light objective lens 340, the reference light R reflected by the first optical mirror 370 and the object transmitted light passing through the object light objective lens 340 are transmitted, respectively; An image sensor 380 that records an interference fringe formed by the reference light R transmitted to the second beam splitter 332 and the light transmitted through the object, disposed adjacent to the object light objective lens 340, and the object light objective lens 340 ) and the plate 351, the distance sensor 357 is connected to the plate 351 and the plate 351 is connected to the object light objective lens 340 using the distance value detected by the distance sensor 357. ) Receives and stores an image including intensity information of an object hologram generated by converting an interference pattern in the driving unit 353 and the image sensor 380 that move the 3D image of the object M to be measured. It may include a processor 390 that generates shape information.

물론 이러한 제2 실시예에서도, 프로세서(390)는 영상 센서(380)가 획득한 이미지로부터 측정 대상 물체(M)의 3차원 정보를 생성할 수 있다. 이와 같은 프로세서(390)의 동작에 대한 상세한 설명은 후술한다.Of course, even in this second embodiment, the processor 390 may generate 3D information of the object M to be measured from an image acquired by the image sensor 380 . A detailed description of the operation of the processor 390 will be described later.

상술한 도 2a 및 도 2b에 각각 도시된 본 발명의 제1 실시예에 따른 홀로그래피 복원 장치(300A) 및 본 발명의 제2 실시예에 따른 홀로그래피 복원 장치(300B)는 물체광(O)이 측정 대상 물체(M)에서 반사(도 2a의 실시예)되거나 또는 물체광(O)이 측정 대상 물체(M)를 투과(도 2b의 실시예)한다는 점 및 그에 따른 일부 구성요소(예를 들어, 도 2b의 실시예의 제2 광학 거울(372) 및 제2 광 분할기(332))의 추가 사용 및 그에 따른 일부 구성요소의 배치)를 제외하고는 실질적으로 동일한 구성을 가진다. In the holography restoration device 300A according to the first embodiment and the holography restoration device 300B according to the second embodiment shown in FIGS. 2A and 2B, respectively, object light O is measured. The fact that the target object M is reflected (the embodiment of FIG. 2A) or the object light O is transmitted through the object M to be measured (the embodiment of FIG. 2B) and some components (for example, It has substantially the same configuration except for the additional use of the second optical mirror 372 and the second light splitter 332 and the arrangement of some components accordingly) of the embodiment of FIG. 2B.

특히 이미지가 영상 센서(380)에 의해 획득되고, 프로세서(390)가 획득된 이미지로부터 기준광(R)을 생성한다는 점에서 동일한 특징을 갖는다는 점에 유의하여야 한다. In particular, it should be noted that the image has the same feature in that the image is acquired by the image sensor 380 and the processor 390 generates the reference light R from the acquired image.

이하에서는 본 발명의 제1 및 제2 실시예에 따른 홀로그래피 복원 장치(300A, 300B)를 통칭하여 홀로그래피 복원 장치(300)로 지칭하여 설명한다.Hereinafter, the holography restoration devices 300A and 300B according to the first and second embodiments of the present invention will be collectively referred to as the holography restoration device 300 and described.

한편 본 발명의 일 실시예에 따른 홀로그래피 복원 장치(300)의 프로세서(390)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 예를 들어 프로세서(390)는 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. Meanwhile, the processor 390 of the holography reconstruction device 300 according to an embodiment of the present invention may include all types of devices capable of processing data. For example, the processor 390 may refer to a data processing device embedded in hardware having a physically structured circuit to perform functions expressed by codes or instructions included in a program.

이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.As an example of such a data processing device built into the hardware, a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, an application-specific integrated (ASIC) Circuit) and FPGA (Field Programmable Gate Array), but the scope of the present invention is not limited thereto.

또한 본 발명의 일 실시예에 따른 영상 센서(380)는 예를 들어 CCD(Charge Coupled Device), CMOS(Complimentary Metal-Oxide Semiconductor) 등의 적어도 하나의 이미지 센서로 구현될 수 있다.In addition, the image sensor 380 according to an embodiment of the present invention may be implemented as at least one image sensor such as, for example, a charge coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS).

다시 도 2a 및 도 2b를 참조하면, 본 발명의 일 실시예에 따른 홀로그래피 복원 장치(300)는 플레이트(351) 상에 안착되는 측정 대상 물체(M)의 3차원 형상 정보를 생성하기 위한 것으로서, 예를 들면, 반도체 기판의 3차원 형상 정보를 생성함으로써 증착 공정 후 패턴 불량 유무를 검사하기 위한 목적으로 사용될 수 있다. 이때, 홀로그래피 복원 장치(300) 중 광학적 구성은 정확한 3차원 형상 정보를 생성하기 위해 각 구성요소들 사이의 거리가 사전에 설정된 상태에서 시스템을 구축하게 된다. Referring back to FIGS. 2A and 2B , the holography restoration apparatus 300 according to an embodiment of the present invention is for generating 3D shape information of an object M to be measured placed on a plate 351, For example, by generating 3D shape information of a semiconductor substrate, it can be used for the purpose of inspecting pattern defects after a deposition process. At this time, the optical component of the holography restoration device 300 builds a system in a state where the distance between each component is set in advance in order to generate accurate 3D shape information.

여기서, 제1 실시예에 따른 홀로그래피 복원 장치(300A)의 광학적 구성은 시준기(320), 광 분할기(330), 물체광 대물 렌즈(340), 광학 거울(370) 및 영상 센서(380)를 포함하고, 제2 실시예에 따른 홀로그래피 복원 장치(300B)는 시준기(320), 광 분할기(330), 제2 광 분할기(332), 물체광 대물 렌즈(340), 제1 광학 거울(370), 제2 광학 거울(372) 및 영상 센서(380)를 포함할 수 있다. Here, the optical configuration of the holography restoration apparatus 300A according to the first embodiment includes a collimator 320, a light splitter 330, an object light objective lens 340, an optical mirror 370, and an image sensor 380. The holography restoration apparatus 300B according to the second embodiment includes a collimator 320, a light splitter 330, a second light splitter 332, an object light objective lens 340, a first optical mirror 370, A second optical mirror 372 and an image sensor 380 may be included.

따라서, 상기한 광학적 구성은 위치가 사전에 설정된 대로 고정 배치되며, 다수의 측정 대상 물체(M)를 검사하기 위해서는, 플레이트(351) 상에 측정 대상 물체(M)를 바꿔가며 측정하여야만 한다. 예를 들면, 물체광 대물 렌즈(340)와 광 분할기(330) 사이의 거리 또는 물체광 대물 렌즈(340)와 제2 광 분할기(332) 사이의 거리는 일정할 수 있다. 이때, 플레이트(351)는 측정 대상 물체(M)를 안착시키기 위하여 지속적으로 이동하기 때문에, 상기한 광학적 구성, 특히 물체광 대물 렌즈(340)와의 초점이 안 맞을 수가 있다. 본 발명의 일 실시예에 따른 홀로그래피 복원 장치(300)는 상기한 문제점을 해결하기 위해 거리 센서(357)를 포함하여, 자동으로 측정 대상 물체(M)에 대한 초점을 맞추고자 한다. Therefore, the above-described optical configuration is fixedly disposed as the position is set in advance, and in order to inspect a plurality of objects M to be measured, the objects M to be measured on the plate 351 must be alternately measured. For example, a distance between the object light objective lens 340 and the beam splitter 330 or a distance between the object light objective lens 340 and the second beam splitter 332 may be constant. At this time, since the plate 351 continuously moves to seat the object M to be measured, the above-described optical configuration, in particular, the object light objective lens 340 may be out of focus. The holography restoration apparatus 300 according to an embodiment of the present invention includes the distance sensor 357 to automatically focus on the object M to be measured to solve the above problem.

본 발명의 일 실시예에 따른 거리 센서(357)는 물체광 대물 렌즈(340)에 인접하게 위치하여 물체광 대물 렌즈(340)와 플레이트(351) 사이의 거리를 감지할 수 있다. 예를 들면, 거리 센서(357)는 플레이트(351)를 향하여 레이저를 방출하고, 플레이트(351)로부터 반사되어 되돌아오는 레이저를 감지하여 플레이트(351)까지의 거리를 측정하는 레이저 거리 센서(Laser Range Finder)일 수도 있으나, 본 발명의 기술적 사상은 이에 제한되지 않는다. 다른 실시예로서, 거리 센서(357)는 플레이트(351) 상에 배치되어, 플레이트(351)의 변위를 감지하는 센서로 구비될 수도 있다. The distance sensor 357 according to an embodiment of the present invention may be positioned adjacent to the object light objective lens 340 to detect a distance between the object light objective lens 340 and the plate 351 . For example, the distance sensor 357 emits a laser beam toward the plate 351, detects the reflected laser beam from the plate 351, and measures the distance to the plate 351 (Laser Range Sensor). Finder), but the technical spirit of the present invention is not limited thereto. As another embodiment, the distance sensor 357 may be disposed on the plate 351 and may be provided as a sensor that detects the displacement of the plate 351 .

한편, 거리 센서(357)는 물체광 대물 렌즈(340)와 플레이트(351) 사이의 직접적인 거리를 감지할 수도 있으나, 사전에 거리 센서(357)와 물체광 대물 렌즈(340)와의 거리를 알고 있는 경우, 거리 센서(357)로부터 플레이트(351)까지의 거리를 측정함으로써, 물체광 대물 렌즈(340)와 플레이트(351) 사이의 거리를 도출할 수도 있다. 직접적으로 물체광 대물 렌즈(340)와 플레이트(351) 사이의 거리를 측정하는 경우, 거리 센서(357)의 위치는 측정 방향에 대하여 물체광 대물 렌즈(340)와 동일한 높이 위치에 배치되어야 한다. Meanwhile, the distance sensor 357 may directly detect the distance between the object light objective lens 340 and the plate 351, but the distance between the distance sensor 357 and the object light objective lens 340 is known in advance. In this case, the distance between the object light objective lens 340 and the plate 351 may be derived by measuring the distance from the distance sensor 357 to the plate 351 . In the case of directly measuring the distance between the object light objective lens 340 and the plate 351, the position of the distance sensor 357 should be placed at the same height as the object light objective lens 340 in the measurement direction.

한편, 플레이트(351)는 측정 대상 물체(M)가 안착되면, 측정 대상 물체(M)와 중첩되는 중첩 영역(A1, 도 3a 참조)과, 측정 대상 물체(M)와 비중첩되는 비중첩영역(A2, 도 3a 참조)를 포함할 수 있다. 본 발명의 일 실시예에 따른 홀로그래피 복원 장치(300)는 거리 센서(357)를 이용하여 플레이트(351)와 물체광 대물 렌즈(340)와의 거시적인 거리를 조절할 수 있는데, 이때, 측정 대상 물체(M)가 중첩되는 영역에서 측정하는 경우, 측정 대상 물체(M)의 높이에 따라 그 거리가 달라질 수 있다. On the other hand, when the object M to be measured is placed on the plate 351, the overlapping area (A1, see FIG. 3A) overlapping the object M and the non-overlapping area overlapping the object M (A2, see FIG. 3A). The holography restoration apparatus 300 according to an embodiment of the present invention can adjust the macroscopic distance between the plate 351 and the object light objective lens 340 by using the distance sensor 357. At this time, the object to be measured ( When measuring in an area where M) overlaps, the distance may vary according to the height of the object M to be measured.

본 발명의 일 실시예에 따른 홀로그래피 복원 장치(300)는 측정 대상 물체(M)의 정확한 3차원 정보를 생성하는 것이 목적인 바, 높이가 다르게 증착되거나 형성될 수 있는 측정 대상 물체(M)를 기준으로 거리를 측정하지 않고, 일정한 높이의 평면으로 이루어지는 비중첩영역(A2)을 기준으로 플레이트(351)까지의 거리를 감지할 수 있다. 홀로그래피 복원 장치(300)는 비중첩영역(A2) 중 사전에 설정된 위치에서 플레이트(351)까지의 거리를 측정할 수 있으며, 이를 위해, 플레이트(351)의 정확한 위치를 확인하기 위한 비젼 카메라(미도시)를 더 포함할 수도 있다. 홀로그래피 복원 장치(300)는 비젼 카메라(미도시)를 이용하여 플레이트(351)의 평면 방향(x-y)에 대한 위치를 설정한 후, 거리 센서(357)를 이용하여 평면 방향(x-y)에 대해 수직한 높이 방향(z 방향)에 대한 거시적인 거리를 측정할 수 있다. The purpose of the holography restoration device 300 according to an embodiment of the present invention is to generate accurate 3D information of the object M to be measured, based on the object M to be measured, which can be deposited or formed with different heights. Without measuring the distance, the distance to the plate 351 can be sensed based on the non-overlapping area A2 consisting of a plane with a constant height. The holography restoration device 300 may measure the distance from a pre-set position in the non-overlapping area A2 to the plate 351, and for this purpose, a vision camera (not shown) for confirming the exact position of the plate 351. city) may be further included. The holography restoration device 300 sets the position of the plate 351 in the plane direction (x-y) using a vision camera (not shown), and then uses the distance sensor 357 to set the position perpendicular to the plane direction (x-y). A macroscopic distance in one height direction (z direction) can be measured.

한편, 구동 수단(353)은 플레이트(351)와 연결되며, 거리 센서(357)에서 감지한 거리값을 이용하여 물체광 대물 렌즈(340)에 대해 플레이트(351)를 이동시킬 수 있다. 구동 수단(353)은 플레이트(351)의 높이 방향(z방향)에 대하여 플레이트(351)의 위치를 이동시킬 수 있다. 구동 수단(353)은 모터 또는 유압 실린더와 같은 액츄에이터를 포함할 수 있다. 도시하지 않았지만, 홀로그래피 복원 장치(300)는 구동 수단(353)에 의한 플레이트(351)의 상하구동을 가이드하는 하나 이상의 가이드부재(미도시)를 더 포함하여, 플레이트(351)가 상하로 승하강될 때 비틀어짐없이 안정적으로 지지할 수 있다. Meanwhile, the driving unit 353 is connected to the plate 351 and can move the plate 351 with respect to the object light objective lens 340 using the distance value sensed by the distance sensor 357 . The driving means 353 may move the position of the plate 351 with respect to the height direction (z direction) of the plate 351 . The driving means 353 may include an actuator such as a motor or a hydraulic cylinder. Although not shown, the holography restoration apparatus 300 further includes one or more guide members (not shown) for guiding the up and down movement of the plate 351 by the drive unit 353 so that the plate 351 moves up and down. It can be supported stably without twisting when it becomes.

도 3a 및 도 3b는 본 발명의 일 실시예에 따른 홀로그래피 복원 장치(300)가 측정 대상 물체(M)에 대해 자동으로 초점(outo-focusing)을 맞추는 방법을 설명하기 위한 도면이며, 도 4a 및 도 4b는 측정 대상 물체(M)의 이미지 내에서 에지(Edge)를 검출하여 초점을 맞추는 방법을 설명하기 위한 도면이다. 3A and 3B are diagrams for explaining a method in which the holography restoration apparatus 300 according to an embodiment of the present invention automatically focuses (outo-focusing) on a measurement target object M, and FIGS. 4A and 3B 4B is a diagram for explaining a method of focusing by detecting an edge in an image of a measurement target object M. Referring to FIG.

도 3a를 참조하면, 홀로그래피 복원 장치(300)는 플레이트(351) 상에 측정 대상 물체(M)가 안착되면, 먼저 거리 센서(357)를 이용하여 플레이트(351)와 물체광 대물 렌즈(340) 사이의 거리를 감지할 수 있다. 이때, 거리 센서(357)는 플레이트(351)까지의 거리를 감지하고 제1 신호(S1)를 생성하게 되는데, 전술한 바와 같이, 물체광 대물 렌즈(340)와 거리 센서(357)가 동일한 높이 위치에 있는 경우, 제1 신호(S1)는 물체광 대물 렌즈(340)와 플레이트(351)까지의 거리 정보를 포함하는 신호일 수 있다. 또는, 거리 센서(357)가 물체광 대물 렌즈(340)와 다른 높이 위치에 있는 경우, 제1 신호(S1)는 거리 센서(357)와 플레이트(351)까지의 거리 정보를 포함하는 신호일 수 있다. Referring to FIG. 3A , the holography restoration apparatus 300, when the object M to be measured is placed on the plate 351, first moves the plate 351 and the object light objective lens 340 using the distance sensor 357. distance between them can be detected. At this time, the distance sensor 357 detects the distance to the plate 351 and generates the first signal S1. As described above, the object light objective lens 340 and the distance sensor 357 are at the same height. When in the position, the first signal S1 may be a signal including distance information between the object light objective lens 340 and the plate 351 . Alternatively, when the distance sensor 357 is at a different height from the object light objective lens 340, the first signal S1 may be a signal including distance information between the distance sensor 357 and the plate 351. .

프로세서(390)는 거리 센서(357)로부터 제1 신호(S1)를 제공받고, 제1 신호(S1)에 따라 플레이트(351)의 높이를 조절하도록 구동 수단(353)을 제어할 수 있다. 만약, 거리 센서(357)와 물체광 대물 렌즈(340) 사이의 높이 위치가 다른 경우, 프로세스(390)에는 거리 센서(357)와 물체광 대물 렌즈(340)의 위치 정보가 사전에 저장될 수 있으며, 사전에 저장된 정보 및 제1 신호(S1)를 이용하여, 플레이트(351)의 높이 위치를 조절할 수 있다. The processor 390 may receive the first signal S1 from the distance sensor 357 and control the driving means 353 to adjust the height of the plate 351 according to the first signal S1. If the height positions between the distance sensor 357 and the object light objective lens 340 are different, positional information of the distance sensor 357 and the object light objective lens 340 may be previously stored in the process 390. The height position of the plate 351 may be adjusted using previously stored information and the first signal S1.

도 3b를 참조하면, 홀로그래피 복원 장치(300)는 전술한 방법을 통해 거시적으로 위치가 조정된 측정 대상 물체(M)의 이미지를 측정하고, 영상 센서(380)로부터 획득된 이미지의 에지(Edge)를 검출할 수 있다. 홀로그래피 복원 장치(300)는 실제 측정 대상 물체(M)의 3차원 형상 정보를 생성하기 위한 이미지를 측정하기에 앞서, 영상 센서(380)를 통해 측정 대상 물체(M)의 예비 이미지를 측정할 수 있다. Referring to FIG. 3B, the holography restoration apparatus 300 measures the image of the object M to be measured macroscopically whose position is adjusted through the above-described method, and the edge of the image obtained from the image sensor 380 can be detected. The holography reconstruction apparatus 300 may measure a preliminary image of the object M to be measured through the image sensor 380 prior to measuring an image for generating 3D shape information of the actual object M to be measured. there is.

프로세서(390)는 이러한 예비 이미지가 제공되면, 전체 예비 이미지 내에 포함된 에지(Edge)를 검출하고, 검출된 에지(Edge)의 콘트라스트(contrast) 값을 추출할 수 있다. 이때, 프로세서(390)는 에지 검출 알고리즘을 이용하여 이미지 내의 에지 픽셀들을 검출할 수 있다. 에지 검출의 목표는 이미지 강도(image intensity)가 샤프하게 변하는 디지털 이미지에서 각 점들을 인식하는 것으로서, 에지 검출 과정에서 불연속성이 탐지되며, 초점을 자동으로 맞추는 것과 같이 시스템이 중요 이벤트를 인지하도록 보조할 수 있다. 에지 검출은 이미지 처리, 이미지 분석, 이미지 패턴 인식, 및 컴퓨터 비전 등의 처리에서 중요한 단계 중 하나일 수 있다. When such a preliminary image is provided, the processor 390 may detect an edge included in all preliminary images and extract a contrast value of the detected edge. In this case, the processor 390 may detect edge pixels in the image using an edge detection algorithm. The goal of edge detection is to recognize each point in a digital image where the image intensity changes sharply. During the edge detection process, discontinuities are detected and can assist the system in recognizing important events, such as focusing automatically. can Edge detection may be one of the important steps in processing such as image processing, image analysis, image pattern recognition, and computer vision.

예를 들면, 프로세서(390)는 영상 센서(380)로부터 획득된 예비 이미지 내의 픽셀들의 x 방향 밝기 및 색상 변화율, 그리고 y 방향 밝기 및 색상 변화율을 측정하여 변화율이 큰 지점의 픽셀들을 에지 픽셀로서 검출할 수 있다. 이후, 프로세서(390)는 추출된 콘트라스트 값에 기초하여 플레이트(351)와 물체광 대물 렌즈(340) 사이의 거리가 조절되도록 구동수단(353)을 제어할 수 있다. For example, the processor 390 measures the x-direction brightness and color change rate and the y-direction brightness and color change rate of the pixels in the preliminary image obtained from the image sensor 380, and detects pixels at a point where the change rate is large as edge pixels can do. Thereafter, the processor 390 may control the driving unit 353 to adjust the distance between the plate 351 and the object light objective lens 340 based on the extracted contrast value.

도 4a 및 도 4b를 참조하면, 거리 센서(357)에 의해 플레이트(351)의 거시적인 거리가 조절되면, 영상 센서(380)는 측정 대상 물체(M)에 대하여 예비 이미지를 획득한 후 프로세서(390)로 제공하고, 이때 프로세서(390)는 상기한 예비 이미지로부터 에지(Edge)를 검출할 수 있다. 프로세서(390)는 구동수단(353)을 통해 플레이트(351)의 높이를 미시적으로 조절하면서 검출된 에지(Edge)의 콘트라스트 값을 추출할 수 있다. 도 4a와 같이, 초점이 안 맞는 경우 에지(Edge)에서 블러(blur)가 발생하여 콘트라스트값이 낮으며, 도 4b와 같이 초점이 맞는 경우, 에지(Edge)에서의 콘트라스트 값이 도 4a보다 상대적으로 높게 된다. 4A and 4B, when the macroscopic distance of the plate 351 is adjusted by the distance sensor 357, the image sensor 380 obtains a preliminary image of the object M to be measured, and then the processor ( 390), and at this time, the processor 390 may detect an edge from the preliminary image. The processor 390 may extract the contrast value of the detected edge while microscopically adjusting the height of the plate 351 through the driving unit 353 . As shown in FIG. 4A, when the focus is out of focus, blur occurs at the edge and the contrast value is low, and when the focus is right as shown in FIG. 4B, the contrast value at the edge is relatively becomes high with

일 실시예로서, 프로세서(390)는 구동수단(353)을 미시적으로 조절하면서 가장 높은 콘트라스트값을 찾고, 이에 대응되는 높이에 플레이트(351)를 위치시킨 후, 3차원 형상 정보 생성에 필요한 실제 이미지를 측정할 수 있다. 다른 실시예로서, 프로세서(390)는 사전에 설정된 기준 범위에 대응되는 콘트라스트값을 갖는 높이에 플레이트(351)를 위치시킬 수도 있다. As an embodiment, the processor 390 microscopically adjusts the drive unit 353 to find the highest contrast value, places the plate 351 at a height corresponding to the value, and then the actual image required for generating 3D shape information. can measure As another example, the processor 390 may position the plate 351 at a height having a contrast value corresponding to a preset reference range.

또한, 프로세서(390)는 상기한 콘트라스트값을 비교할 때, 에지(Edge)의 한 지점에서의 콘트라스트값들을 비교할 수도 있고, 에지(Edge) 전체의 콘트라스트값을 평균내어 평균값들을 비교할 수도 있다. In addition, when comparing the contrast values, the processor 390 may compare contrast values at one point of an edge or average contrast values of the entire edge to compare average values.

전술한 바와 같이, 본 발명의 일 실시예에 따른 홀로그래피 복원 장치(300)는 플레이트(351)의 이동을 통해 측정 대상 물체(M)와의 초점을 자동적으로 조정할 수 있다. 홀로그래피 복원 장치(300)는 거리 센서(357)를 이용하여 플레이트(351)를 거시적으로 이동시킨 후, 에지(Edeg)를 이용하여 플레이트(351)를 미시적으로 이동시키는 것에 의해, 효율적인 오토 포커싱을 구현할 수 있다. As described above, the holography restoration apparatus 300 according to an embodiment of the present invention can automatically adjust the focus with the object M to be measured through the movement of the plate 351 . The holography restoration apparatus 300 can implement efficient auto focusing by macroscopically moving the plate 351 using the distance sensor 357 and then microscopically moving the plate 351 using an edge. can

도 5a 및 도 5b는 예시적인 측정 대상 물체(350)의 외형을 설명하기 위한 도면이다. 측정 대상 물체(350)가 기판(M)인 경우 증착 재료들이 마스크 패턴을 따라 기판(M) 상에 형성될 수 있다. 기판(M)에 증착되는 박막 패턴은 다소 복잡한 형상으로 이루어지므로, 이하에서는 설명의 편의를 위하여 도 5a 및 도 5b에 도시된 단순화된 패턴을 예로 들어 설명하기로 한다. 5A and 5B are diagrams for explaining the external appearance of an exemplary object to be measured 350 . When the object to be measured 350 is the substrate M, deposition materials may be formed on the substrate M along the mask pattern. Since the thin film pattern deposited on the substrate M has a somewhat complex shape, the simplified pattern shown in FIGS. 5A and 5B will be described as an example for convenience of explanation.

도 5a 및 도 5b에 도시된 바와 같이 측정 대상 물체(350)는 일면에 소정의 간격에 따라 배치된 직육면체 형상의 구조물(51A 내지 51I)을 포함할 수 있다. 바꾸어 말하면, 측정 대상 물체(350)는 X-Y 평면과 평행하는 면 상에 Z 방향으로 돌출된 직육면체 형상의 구조물(51A 내지 51I)을 포함할 수 있다.As shown in FIGS. 5A and 5B , the object to be measured 350 may include rectangular parallelepiped structures 51A to 51I disposed at predetermined intervals on one surface. In other words, the object to be measured 350 may include rectangular parallelepiped structures 51A to 51I protruding in the Z direction on a plane parallel to the X-Y plane.

이하에서는 홀로그래피 복원 장치(300)가 측정 대상 물체(350)의 직육면체 형상의 구조물(51A 내지 51I)이 배치된 면과 수직하는 방향으로 물체광(O)을 조사하여 측정 대상 물체(350)의 이미지를 획득하는 것을 전제로 설명한다.Hereinafter, the holography restoration device 300 irradiates the object light O in a direction perpendicular to the surface of the object to be measured 350 on which the rectangular parallelepiped structures 51A to 51I are disposed, thereby generating an image of the object to be measured 350. It is explained on the premise of obtaining

먼저 본 발명의 일 실시예에 따른 영상 센서(380)는 측정 대상 물체(350)의 이미지를 획득할 수 있다.First, the image sensor 380 according to an embodiment of the present invention may obtain an image of the measurement target object 350 .

본 발명에서 측정 대상 물체(350)의 '이미지(Image)'는 측정 대상 물체(350)에 대한 물체 홀로그램(U0(x,y,0))의 각 위치에서의 강도(Intensity) 정보(즉|(U0(x,y,0)|2)를 포함할 수 있으며, 아래의 수학식 2와 같이 나타낼 수 있다.In the present invention, the 'Image' of the object to be measured 350 is the intensity information at each position of the object hologram (U0(x,y,0)) of the object to be measured 350 (that is, | (U0(x,y,0)| 2 ), and can be expressed as Equation 2 below.

[수학식 2][Equation 2]

Figure 112020029307243-pat00001
Figure 112020029307243-pat00001

여기서 물체 홀로그램 Uo(x,y,0)는 측정 대상 물체의 각 x,y 지점에서의 위상정보를 나타내고, x, y는 측정 대상 물체가 놓여지는 공간에서의 좌표로서 물체광(O)과 수직하는 평면을 정의하는 좌표를 나타내고, O(x,y) 및 R(x,y)는 각각 물체광(O)과 기준광(R)을 나타내고, O*(x,y) 및 R*(x,y)는 각각 물체광(O)과 기준광(R)의 복소 공액을 나타낸다.Here, the object hologram Uo(x,y,0) represents the phase information at each x,y point of the object to be measured, and x, y are coordinates in the space where the object to be measured is placed perpendicular to the object light (O). Represents the coordinates defining the plane to be, O (x, y) and R (x, y) represent the object light (O) and reference light (R), respectively, O * (x, y) and R * (x, y) represents a complex conjugate of the object light O and the reference light R, respectively.

가령 영상 센서(380)는 도 5a 및 도 5b에 도시된 측정 대상 물체(350)의 일 부분에 대해서(예컨대, 51A 및 51B를 포함하는 부분)에 대해서 도 5에 도시된 바와 같은 이미지를 획득할 수 있다. For example, the image sensor 380 acquires an image as shown in FIG. 5 for a part (eg, a part including 51A and 51B) of the object to be measured 350 shown in FIGS. 5A and 5B. can

영상 센서(380)에 의해 획득된 이미지는 전술한 바와 같이 물체 홀로그램(U0(x,y,0))의 각 위치에서의 강도(Intensity) 정보를 포함하므로, 영상 센서(380)가 획득한 일반적인(즉 물체광(O)으로만 촬영한) 측정 대상 물체(350)의 이미지와 상이할 수 있다.Since the image acquired by the image sensor 380 includes intensity information at each position of the object hologram U0(x,y,0) as described above, the general image acquired by the image sensor 380 It may be different from the image of the object to be measured 350 (that is, photographed only with the object light O).

수학식 1을 참조하면 물체 홀로그램(U0(x,y,0))은 각 지점에서의 측정 대상 물체(350)의 위상 정보를 포함하는 물체광(0)과 측정 대상 물체의 위상 정보를 포함하지 않는 기준광(R)의 간섭에 의해 생성된 것일 수 있다.Referring to Equation 1, the object hologram U0(x,y,0) does not include the object light 0 including the phase information of the object to be measured 350 at each point and the phase information of the object to be measured. It may be generated by interference of the reference light R, which is not visible.

또한 물체 홀로그램(U0(x,y,0))은 측정 대상 물체(350)의 각 지점(즉 각 x,y 지점)에서의 위상정보(즉 물체의 높이 정보)외에, 물체광 대물 렌즈(340)의 수차에 따른 오차 및 노이즈(가령 레이저의 광자(photon) 사용에 따른 스펙클 노이즈(speckle noise))등을 더 포함할 수 있다. In addition, the object hologram (U0 (x, y, 0)) is the object light objective lens (340 ) may further include an error and noise (for example, speckle noise due to the use of photons of a laser) due to an aberration of .

따라서 본 발명의 일 실시예에 따른 프로세서(390)는 영상 센서(380)가 획득한 이미지로부터 상술한 오차 및 노이즈 등을 제거하기 위해 후술하는 바와 같은 다양한 연산 과정을 수행할 수 있다.Accordingly, the processor 390 according to an embodiment of the present invention may perform various calculation processes as described below in order to remove the above-described error and noise from the image obtained by the image sensor 380 .

본 발명의 일 실시예에 따른 프로세서(390)는 영상 센서(380)에 의해 획득된 이미지의 주파수 성분들을 확인할 수 있다. 가령 프로세서(390)는 이미지에 대한 2차원 푸리에 변환(2D Fourier Transform)을 수행하여, 이미지의 주파수 성분들을 확인할 수 있다.The processor 390 according to an embodiment of the present invention may check frequency components of an image acquired by the image sensor 380 . For example, the processor 390 may perform a 2D Fourier Transform on the image to check frequency components of the image.

바꾸어 말하면, 프로세서(90)는 물체 홀로그램(U0(x,y,0))의 위치 별 강도 정보(즉|(U0(x,y,0)|2)를 포함하는 이미지에 포함된 주파수 성분들을 확인할 수 있다. 이때 이미지는 실상(Real Image)에 대응되는 주파수 성분, 허상(Imaginary Image)에 대응되는 주파수 성분 및 DC 성분을 포함할 수 있다.In other words, the processor 90 calculates the frequency components included in the image including intensity information (ie, |(U0(x,y,0)| 2 ) for each position of the object hologram U0(x,y,0). At this time, the image may include a frequency component corresponding to a real image, a frequency component corresponding to an imaginary image, and a DC component.

물론 이미지에는 전술한 세 가지 성분들(실상에 대응되는 주파수 성분, 허상에 대응되는 주파수 성분 및 DC 성분) 외에 다양한 성분들이 더 포함될 수 있다. 가령 이미지에는 노이즈에 의한 주파수 성분들이 더 포함될 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.Of course, the image may further include various components in addition to the above-described three components (frequency component corresponding to the real image, frequency component and DC component corresponding to the virtual image). For example, the image may further include frequency components due to noise. However, this is an example and the spirit of the present invention is not limited thereto.

본 발명의 일 실시예에 따른 프로세서(390)는 확인된 주파수 성분들 중에서 실상에 대응되는 성분들만 추출할 수 있다. 이때 프로세서(390)는 다양한 방식으로 실상에 대응되는 성분들을 추출할 수 있다.The processor 390 according to an embodiment of the present invention may extract only components corresponding to the real image from among the identified frequency components. At this time, the processor 390 may extract components corresponding to the real image in various ways.

가령 프로세서(390)는 이미지에 포함된 주파수 성분들 중에서 성분의 크기가 피크(Peak) 값을 갖는 성분들(이하 피크 성분들)을 추출하고, 추출된 피크 성분들 중에서 실상에 대응되는 피크 성분과 소성의 주파수 차이 이내인 성분들을 실상에 대응되는 성분들로 추출할 수 있다.For example, the processor 390 extracts components (hereafter referred to as peak components) having a peak value in the size of the component from frequency components included in the image, and extracts a peak component corresponding to the real image from among the extracted peak components. Components within the frequency difference of plasticity can be extracted as components corresponding to the real image.

이때 프로세서(390)는 실상에 대응되는 피크 성분을 중심으로 다양한 방식으로 실상에 대응되는 성분들을 결정할 수 있다. 예를 들어, 프로세서(90)는 실상에 대응되는 주파수 성분 중에서, 피크 성분을 포함하는 십자가 영역 내의 주파수 성분들을 실상에 대응되는 성분들로 결정할 수 있다. 이때, 피크 성분으로부터 십자가 영역의 길이는 실상에 대응되는 주파수 성분 및 원점과 대응되는 주파수 성분 사이의 거리 차분값을 기초로 결정될 수 있다. 예를 들어, 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.In this case, the processor 390 may determine components corresponding to the real image in various ways based on the peak component corresponding to the real image. For example, the processor 90 may determine frequency components in a cross region including a peak component among frequency components corresponding to the real image as components corresponding to the real image. In this case, the length of the cross section from the peak component may be determined based on a distance difference value between a frequency component corresponding to the real image and a frequency component corresponding to the origin. For example, however, this is illustrative and the spirit of the present invention is not limited thereto.

선택적 실시예에서 프로세서(390)는 자동 실상 좌표 정보 추출 알고리즘(Automatic real image spot-position extraction algorithm)을 이용하여 홀로그램에 포함되는 주파수 성분들 중에서 실상에 대응되는 성분들만 추출할 수 있다.In an optional embodiment, the processor 390 may extract only components corresponding to the real image from frequency components included in the hologram using an automatic real image spot-position extraction algorithm.

본 발명에서 특정 주파수 성분을 '추출'하는 것은 해당 주파수 성분의 주파수와 해당 주파수 성분의 크기(또는 강도)를 추출하는 것을 의미할 수 있다.In the present invention, 'extracting' a specific frequency component may mean extracting the frequency of the corresponding frequency component and the size (or intensity) of the corresponding frequency component.

도 7은 도 6에 도시된 측정 대상 물체(350)의 일 부분에 대한 이미지의 주파수 성분을 도시한 도면이다.FIG. 7 is a diagram illustrating frequency components of an image of a portion of the object to be measured 350 shown in FIG. 6 .

전술한 바와 같이 프로세서(390)는 영상 센서(380)에 의해 획득된 이미지의 주파수 성분들을 확인할 수 있으며, 이에 따라 프로세서(390)는 실상에 대응되는 주파수 성분(911), 허상에 대응되는 주파수 성분(912) 및 DC 성분(913)을 포함하는 다양한 주파수 성분들을 확인할 수 있다.As described above, the processor 390 can check the frequency components of the image acquired by the image sensor 380, and accordingly, the processor 390 determines the frequency component 911 corresponding to the real image and the frequency component corresponding to the virtual image. Various frequency components including 912 and DC component 913 can be identified.

또한 프로세서(390)는 확인된 성분들 중에서 실상에 대응되는 주파수 성분(911)만 추출할 수 있다. 이때 프로세서(390)는 실상에 대응되는 주파수 성분에서 노이즈를 제거하게 된다. 구체적으로, 프로세서(390)는 간섭 무늬의 방향 및 간섭 무늬의 법선 방향에 위치한 주파수 성분을 노이즈로 제거함으로써, 가령 도 8a, 도 8b, 도 8c, 및 도 8d에 도시된 바와 같이 실상에 대응되는 피크 성분을 중심으로 하는 십자가 영역 내의 주파수 성분들을 실상에 대응되는 성분들로 결정할 수 있다. 이때, 간섭 무늬의 방향에 따라 십자가 영역의 방향은 회전하게 된다. Also, the processor 390 may extract only the frequency component 911 corresponding to the real image from among the identified components. At this time, the processor 390 removes noise from a frequency component corresponding to the real image. Specifically, the processor 390 removes frequency components located in the direction of the interference fringe and the normal direction of the interference fringe as noise, for example, as shown in FIGS. 8A, 8B, 8C, and 8D, corresponding to the real image. Frequency components in the cross region centered on the peak component may be determined as components corresponding to the real image. At this time, the direction of the cross section is rotated according to the direction of the interference fringes.

본 발명의 일 실시예에 따른 프로세서(390)는 전술한 과정에 의해서 추출된 실상에 대응되는 주파수 성분들로부터 디지털 기준광을 생성할 수 있다. 이를 보다 상세히 살펴보면, 프로세서(390)는 실상에 대응되는 주파수 성분들에 기초하여 디지털 기준광의 전파 방향 및 파수를 산출할 수 있다. 바꾸어 말하면, 프로세서(390)는 디지털 기준광의 파수 벡터를 산출할 수 있다.The processor 390 according to an embodiment of the present invention may generate digital reference light from frequency components corresponding to the real image extracted through the above process. Looking at this in more detail, the processor 390 may calculate the propagation direction and wave number of the digital reference light based on the frequency components corresponding to the real image. In other words, the processor 390 may calculate the wavenumber vector of the digital reference light.

또한 프로세서(390)는 디지털 기준광의 전파 방향 및 파수(또는 파수 벡터)에 기초하여 디지털 기준광을 생성하고, 하기 수학식 3에서와 같이 생성된 디지털 기준광(R(x,y))의 켤레 항을 구함으로써 보정광(Rc(x,y))을 생성할 수 있다.In addition, the processor 390 generates a digital reference light based on the propagation direction and wavenumber (or wavenumber vector) of the digital reference light, and the conjugate term of the generated digital reference light (R(x,y)) as in Equation 3 below By obtaining, the correction light Rc(x,y) can be generated.

[수학식 3][Equation 3]

Rc(x,y)= conj[R(x,y)]Rc(x,y)= conj[R(x,y)]

이때 R(x,y)는 실상에 대응되는 주파수 성분들에 기초하여 생성된 디지털 기준광을 나타내고, Rc(x,y)는 보정광을 나타낸다.At this time, R(x,y) represents the digital reference light generated based on the frequency components corresponding to the real image, and Rc(x,y) represents the correction light.

프로세서(390)는 실상에 대응되는 주파수 성분(911) 중에서, 피크 성분(911P)에 대응하여 간섭 무늬의 법선 및 간섭 무늬와 평행한 방향선(Line1, Line2)을 추출한다. 프로세서(390)는 Line1 및 Line2를 포함하는 영역을 노이즈 영역(Noise1, Noise2, Noise3, Noise4)으로 결정한다. 프로세서(390)는 노이즈 영역들을 제외한 영역에 분포된 주파수 성분들을 추출할 수 있다. 프로세서(90)는 노이즈 영역을 제외한 패턴을 이용하여 노이즈를 제거한 실상과 대응되는 주파수 성분들을 추출할 수 있다. 도 8c에 도시된 바와 같이, 프로세서(90)는 Line1 및 Line 2에 분포된 주파수 성분들을 배제하는 십자 모양 패턴(Pattern1)을 이용하여 노이즈를 제거할 수 있다. 이때, 프로세서(90)는 원점 성분(913) 및 실상과 대응되는 주파수 성분(911) 사이의 거리 차분 값의 일정 비율 예를 들어, 1/3배의 R을 기초로 십자 모양 패턴(Pattern1)을 결정할 수 있다.The processor 390 extracts the normal line of the interference fringe and the direction lines Line1 and Line2 parallel to the interference fringe corresponding to the peak component 911P from the frequency components 911 corresponding to the real image. The processor 390 determines areas including Line1 and Line2 as noise areas (Noise1, Noise2, Noise3, and Noise4). The processor 390 may extract frequency components distributed in areas other than noise areas. The processor 90 may extract frequency components corresponding to the noise-removed real image using a pattern excluding the noise region. As shown in FIG. 8C , the processor 90 may remove noise using a cross-shaped pattern (Pattern1) that excludes frequency components distributed on Line1 and Line2. At this time, the processor 90 generates a cross-shaped pattern (Pattern1) based on a predetermined ratio of the distance difference value between the origin component 913 and the frequency component 911 corresponding to the real image, for example, 1/3 times R. can decide

프로세서(90)는 노이즈 영역을 제거하는 다양한 패턴을 설정할 수 있다. 도 8d에 도시된 바와 같이, 실상과 대응되는 주파수 성분(911)의 피크 성분에 가까울수록 폭이 넓어지는 패턴(Pattern2)을 이용하여 실상과 대응되는 주파수 성분의 노이즈를 할 수 있다. The processor 90 may set various patterns for removing noise areas. As shown in FIG. 8D, noise of a frequency component corresponding to a real image may be generated by using a pattern (Pattern2) whose width increases as it approaches the peak component of the frequency component 911 corresponding to the real image.

디지털 기준광(R(x,y))과 보정광(Rc(x,y))은 켤레 관계에 있으므로 도 9a 및 도 9c에 도시된 바와 같이 강도는 동일하고, 도 9b 및 도 9d에 도시된 바와 같이 위상은 반대일 수 있다. 여기서 도 9a는 디지털 기준광(R(x,y))의 강도를 도시한 도면이고, 도 9b는 기준광의 위상을 도시한 도면이고, 도 9c는 보정광(Rc(x,y))의 강도를 도시한 도면이고, 도 9d는 보정광의 위상을 도시한 도면이다.Since the digital reference light (R(x,y)) and the correction light (Rc(x,y)) have a conjugate relationship, the intensity is the same as shown in FIGS. 9A and 9C, and as shown in FIGS. 9B and 9D Likewise, the phase may be reversed. Here, FIG. 9A is a diagram showing the intensity of the digital reference light R(x,y), FIG. 9B is a diagram showing the phase of the reference light, and FIG. 9C shows the intensity of the correction light Rc(x,y). FIG. 9D is a diagram showing the phase of the correction light.

생성된 보정광(Rc(x,y))은 후술하는 실상 홀로그램(Um(x,y,0))의 보정에 사용될 수 있다.The generated correction light Rc(x,y) may be used for correction of a real image hologram Um(x,y,0) described later.

한편 '디지털 기준광'은 전술한 광 분할기(330)가 단일 파장의 광으로부터 생성한 기준광(R)과 동일한 성질을 갖는 광으로, 프로세서(390)가 영상 센서(380)에 의해 획득된 이미지로부터 복원한 가상의 광일 수 있다.Meanwhile, the 'digital reference light' is light having the same properties as the reference light R generated from light of a single wavelength by the light splitter 330, and is restored by the processor 390 from an image acquired by the image sensor 380. It may be a virtual light.

본 발명의 일 실시예에 따른 프로세서(390)는 전술한 과정에 의해서 추출된 실상에 대응되는 주파수 성분들에 기초하여 실상 홀로그램을 생성할 수 있다. 가령 프로세서(390)는 실상에 대응되는 주파수 성분들에 대해 역 2차원 푸리에 변환(Inverse 2D Fourier transform)을 수행하여 도 9와 같은 실상 홀로그램을 생성할 수 있다. The processor 390 according to an embodiment of the present invention may generate a real image hologram based on the frequency components corresponding to the real image extracted through the above process. For example, the processor 390 may generate a real image hologram as shown in FIG. 9 by performing an inverse 2D Fourier transform on frequency components corresponding to the real image.

이때 실상 홀로그램은 아래의 수학식 4와 같이 나타낼 수 있다.At this time, the real hologram can be expressed as Equation 4 below.

[수학식 4][Equation 4]

Um(x,y,0)=O(x,y)R*(x,y)Um(x,y,0)=O(x,y)R*(x,y)

여기서 Um(x,y,0)는 실상 홀로그램을 나타내며, O(x,y)는 물체광(O)을 나타내고, R*(x,y)는 기준광(R)의 복소 공액을 나타낸다.Here, Um(x,y,0) represents the real hologram, O(x,y) represents the object light O, and R*(x,y) represents the complex conjugate of the reference light R.

한편 이와 같은 실상 홀로그램(Um(x,y,0))은 측정 대상 물체(350)의 높이에 관한 정보 외에, 기준광(R)에 대한 정보 및 물체광 대물 렌즈(340)의 수차에 의한 오차를 포함할 수 있다. Meanwhile, such a real hologram (Um(x,y,0)), in addition to information on the height of the object to be measured 350, information on the reference light R and errors due to aberration of the object light objective lens 340 can include

따라서 본 발명의 일 실시예에 따른 프로세서(390)는 기준광(R)에 의한 영향 및 물체광 대물 렌즈(340)의 수차에 의한 오차를 고려하여 실상 홀로그램(Um(x,y,0))으로부터 보정 홀로그램(Uc(x,y,0))을 생성할 수 있다. Therefore, the processor 390 according to an embodiment of the present invention considers the effect of the reference light R and the error due to the aberration of the object light objective lens 340 from the real hologram Um(x,y,0). A calibration hologram Uc(x,y,0) may be generated.

가령 프로세서(90)는 아래의 수학식 5와 같이 실상 홀로그램(Um(x,y,0))에 보정광에 대한 항(Rc(x,y))과 곡률 수차 보정에 대한 항(Rca(x,y))을 곱함으로써 보정 홀로그램(Uc(x,y,0))을 생성할 수 있다. For example, the processor 90 generates a term for correction light (Rc(x,y)) and a term for curvature aberration correction (Rca(x ,y)) to generate the calibration hologram Uc(x,y,0).

[수학식 5][Equation 5]

Uc(x,y,0)=Um(x,y,0)Rc(x,y)Rca(x,y)Uc(x,y,0)=Um(x,y,0)Rc(x,y)Rca(x,y)

여기서 Uc(x,y,0)는 기준광(R)에 대한 정보 및 물체광 대물 렌즈(340)의 수차 정보가 제거된 보정 홀로그램을 나타내고, Um(x,y,0)는 실상 홀로그램을 나타내며, Rc(x,y)는 보정광에 대한 항을 나타내고, Rca(x,y) 곡률 수차 보정에 대한 항을 나타낸다.Here, Uc(x,y,0) denotes a correction hologram from which information on the reference light R and aberration information of the object light objective lens 340 are removed, and Um(x,y,0) denotes a real hologram, Rc(x,y) represents a term for correction light, and Rca(x,y) represents a term for curvature aberration correction.

한편 본 발명의 일 실시예에 따른 프로세서(390)는 다양한 방법으로 전술한 곡률 수차 보정에 대한 항(Rca(x,y))을 생성할 수 있다.Meanwhile, the processor 390 according to an embodiment of the present invention may generate the aforementioned term Rca(x,y) for curvature aberration correction in various ways.

가령 프로세서(390)는 실상 홀로그램(Um(x,y,0))에 보정광에 대한 항(Rc(x,y))만 곱해진 홀로그램(이하 중간 홀로그램)으로부터 측정 대상 물체(350)의 3차원 형상을 생성하고, 생성된 3차원 형상으로부터 곡률 수차 보정에 대한 항(Rca(x,y))을 생성할 수 있다. For example, the processor 390 calculates 3 values of the object to be measured 350 from a hologram obtained by multiplying a real hologram (Um(x,y,0)) with only a term (Rc(x,y)) for the correction light (hereinafter referred to as an intermediate hologram). A dimensional shape may be generated, and a term for curvature aberration correction (Rca(x,y)) may be generated from the generated 3D shape.

이를 보다 자세히 살펴보면, 프로세서(390)는 중간 홀로그램으로부터 생성된 측정 대상 물체(350)의 3차원 형상으로부터 곡률 수차 보정항을 결정하는 적어도 하나의 파라미터를 결정할 수 있다. 이때 파라미터는 가령 반구형의 곡면을 정의하는 중심점의 좌표 및 반지름을 포함할 수 있다.Looking at this in more detail, the processor 390 may determine at least one parameter for determining the curvature aberration correction term from the 3D shape of the object to be measured 350 generated from the intermediate hologram. At this time, the parameters may include, for example, the coordinates and radius of the center point defining the hemispherical curved surface.

도 11 및 도 12는 본 발명의 일 실시예에 따른 프로세서(390)가 중간 홀로그램으로부터 곡률 수차 보정항을 결정하는 방법을 설명하기 위한 도면이다.11 and 12 are diagrams for explaining how the processor 390 determines a curvature aberration correction term from an intermediate hologram according to an embodiment of the present invention.

설명의 편의를 위하여 영상 센서(380)가 도 3b의 직육면체 형상의 구조물(51D)에 대한 이미지를 획득하였고, 프로세서(390)가 전술한 과정에 따라 구조물(51D)에 대한 중간 홀로그램을 생성하였다고 가정한다. 또한 구조물(51D)에 대한 중간 홀로그램으로부터 생성된 구조물(51D)의 3차원 형상(920)은 도 10에 도시된 바와 같다고 가정한다.For convenience of explanation, it is assumed that the image sensor 380 acquires an image of the rectangular parallelepiped structure 51D of FIG. 3B and the processor 390 generates an intermediate hologram of the structure 51D according to the above process. do. It is also assumed that the 3D shape 920 of the structure 51D generated from the intermediate hologram of the structure 51D is as shown in FIG. 10 .

전술한 가정 하에, 본 발명의 일 실시예에 따른 프로세서(390)는 3차원 형상(920)으로부터 곡률 수차 보정항을 결정하는 적어도 하나의 파라미터를 결정할 수 있다. 가령 프로세서(390)는 도 12에 도시된 바와 같은 3차원 형상(920)의 I-I단면 상의 곡선으로부터 반구형의 곡면의 중심점의 좌표(Cx, Cy) 및 곡면의 반지름(r)을 파라미터로써 결정할 수 있다. 이때 본 발명의 일 실시예에 따른 프로세서(390)는 I-I단면와 같은 절단면이 3차원 형상(920)의 중심점(즉 반구형 형상의 중심점)을 포함하도록 절단면의 위치 및/또는 방향을 결정할 수 있다. 또한 프로세서(390)는 I-I단면와 같은 절단면이 물체광(0)의 진행 방향과 평행하도록 결정할 수도 있다.Under the above assumption, the processor 390 according to an embodiment of the present invention may determine at least one parameter for determining the curvature aberration correction term from the 3D shape 920 . For example, the processor 390 can determine the coordinates (Cx, Cy) of the center point of the hemispherical curved surface and the radius (r) of the curved surface from the curve on the I-I cross section of the three-dimensional shape 920 as shown in FIG. 12 as parameters. . At this time, the processor 390 according to an embodiment of the present invention may determine the position and / or direction of the cutting plane such as the I-I cross section to include the center point of the 3D shape 920 (ie, the center point of the hemispherical shape). Also, the processor 390 may determine that a cut plane such as the I-I section is parallel to the traveling direction of the object light 0.

본 발명의 일 실시예에 따른 프로세서(390)는 전술한 과정에 의해서 결정된 적어도 하나의 파라미터에 기초하여 곡률 수차 보정항을 생성(또는 결정)할 수 있다. 가령 프로세서(390)는 곡면의 중심점의 좌표(Cx, Cy) 및 곡면의 반지름(r)을 참조하여 3차원 공간상에서 곡면을 생성하고, 생성된 곡면으로부터 각 x,y 지점의 위상 보정에 반영될 정보를 생성하는 방식으로 곡률 수차 보정항을 생성(또는 결정)할 수 있다.The processor 390 according to an embodiment of the present invention may generate (or determine) a curvature aberration correction term based on at least one parameter determined by the above process. For example, the processor 390 creates a curved surface in a three-dimensional space by referring to the coordinates (Cx, Cy) of the center point of the curved surface and the radius (r) of the curved surface, and from the created curved surface, the phase correction of each x, y point will be reflected. The curvature aberration correction term may be generated (or determined) in a manner of generating information.

선택적 실시예에서, 프로세서(390)는 형상을 미리 알고 있는 측정 대상 물체(가령 모든 x,y 좌표에서의 z값이 동일한 물체)의 중간 홀로그램으로부터 보정항을 결정할 수도 있다. In an alternative embodiment, the processor 390 may determine a correction term from an intermediate hologram of an object to be measured (eg, an object having the same z value at all x and y coordinates) whose shape is known in advance.

형상을 미리 알고 있는 측정 대상 물체의 경우 각 x, y 지점에서의 z값을 미리 알고 있으므로, 프로세서(390)는 중간 홀로그램으로부터 생성된 측정 대상 물체의 3차원 형상과 알고 있는 측정 대상 물체의 형상의 각 x, y 지점에서의 z값의 차이를 확인하는 방식으로 보정항을 결정할 수도 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.In the case of a measurement target object whose shape is known in advance, since z values at each x and y point are known in advance, the processor 390 calculates the 3D shape of the measurement target object generated from the intermediate hologram and the known shape of the measurement target object. The correction term may be determined by checking the difference between z values at each x and y point. However, this is an example and the spirit of the present invention is not limited thereto.

본 발명의 일 실시예에 따른 프로세서(390)는 보정 홀로그램(Uc(x,y,0))에 기초하여 측정 대상 물체(350)의 3차원 형상을 생성할 수 있다. 바꾸어 말하면, 프로세서(390)는 각 x, y 지점에서의 물체의 z 방향으로의 높이를 산출할 수 있다.The processor 390 according to an embodiment of the present invention may generate a 3D shape of the object to be measured 350 based on the calibration hologram Uc(x,y,0). In other words, the processor 390 may calculate the height of the object in the z direction at each x and y point.

가령 프로세서(90)는 보정 홀로그램(Uc(x,y,0))을 복원 영상면의 정보로 변환할 수 있다. 이때 복원 영상면은 프로세서에 의해 측정 대상 물체와 영상 센서 사이의 거리에 대응하는 거리만큼의 가상적인 영상 표시 평면을 의미하는 것으로, 프로세서(90)에 의해 계산 및 시뮬레이션되는 가상의 면일 수 있다. For example, the processor 90 may convert the correction hologram Uc(x,y,0) into information on the restored image plane. In this case, the restored image plane means a virtual image display plane corresponding to the distance between the measurement target object and the image sensor by the processor, and may be a virtual plane calculated and simulated by the processor 90.

프로세서(390)는 복원 영상면을 고려하여 복원된 정보로부터 도 13a, 도 13b, 도 13c와 같이 x, y 지점에서의 물체의 z 방향으로의 높이를 산출할 수 있다. 도 13a에는 주파수 성분에서 노이즈를 제거하지 않고 복원한 결과가 도시되며, 도 13b에는 십자 모양 패턴(Pattern1)을 이용하여 노이즈를 제거한 복원 결과이며, 도 13c에는 Pattern2를 이용하여 노이즈를 제거한 복원 결과이다. A1, A2, A3은 Z 방향의 높이값을 평면 그래프로 표현한 것이다. A1은 노이즈가 제거되지 않아서 z 방향의 높이값의 변화가 크고, A2 및 A3는 z 방향의 높이 값의 변화가 거의 없음을 알 수 있다. The processor 390 may calculate the height of the object in the z direction at the x and y points from the restored information in consideration of the reconstructed image plane, as shown in FIGS. 13A, 13B, and 13C. 13A shows a result of restoration without removing noise from frequency components, FIG. 13B shows a restoration result of removing noise using a cross-shaped pattern (Pattern1), and FIG. 13C shows a restoration result of removing noise using Pattern2. . A1, A2, and A3 represent height values in the Z direction as planar graphs. It can be seen that A1 has a large change in the height value in the z direction because noise is not removed, and A2 and A3 show little change in the height value in the z direction.

프로세서(390)는 십자 모양 패턴(Pattern)을 이용하는 경우, 아래의 수학식 5에 따라서 주파수 성분을 추출할 수 있다.When using a cross-shaped pattern, the processor 390 may extract a frequency component according to Equation 5 below.

[수학식 5] [Equation 5]

Figure 112020029307243-pat00002
Figure 112020029307243-pat00002

도 13a, 도 13b, 도 13c에는 측정 대상 물체(350) 상에 배치된 두 개의 직육면체 형상의 구조물(51A 및 51B)의 3차원 형상이 예시적으로 도시되었다.13A, 13B, and 13C illustrate three-dimensional shapes of two rectangular parallelepiped structures 51A and 51B disposed on the object to be measured 350 .

도 14는 본 발명의 일 실시예에 따른 홀로그래피 복원 장치(300)에 의해 수행되는 측정 대상 물체(350)의 3차원 형상 정보를 생성하는 방법을 설명하기 위한 흐름도이다. 이하에서는 도 2 내지 도 13에서 설명한 내용과 중복되는 내용의 설명은 생략하되, 도 2 내지 도 13을 함께 참조하여 설명한다.14 is a flowchart illustrating a method of generating 3D shape information of an object to be measured 350 performed by the holography restoration apparatus 300 according to an embodiment of the present invention. Hereinafter, description of contents overlapping with those described in FIGS. 2 to 13 will be omitted, but will be described with reference to FIGS. 2 to 13 together.

본 발명의 일 실시예에 따른 홀로그래피 복원 장치(300)는 측정 대상 물체(350)의 이미지를 획득할 수 있다(S1201).The holography restoration apparatus 300 according to an embodiment of the present invention may obtain an image of the measurement target object 350 (S1201).

본 발명에서 측정 대상 물체(350)의 '이미지(Image)'는 측정 대상 물체(350)에 대한 물체 홀로그램(U0(x,y,0))의 각 위치에서의 강도(Intensity) 정보(즉|(U0(x,y,0)|2)를 포함할 수 있으며, 상술한 수학식 2와 같이 나타낼 수 있다.In the present invention, the 'Image' of the object to be measured 350 is the intensity information at each position of the object hologram (U0(x,y,0)) of the object to be measured 350 (that is, | (U0(x,y,0)| 2 ), and can be expressed as in Equation 2 above.

가령 홀로그래피 복원 장치(300)는 도 5a 및 도 5b에 도시된 측정 대상 물체(350)의 일 부분에 대해서(예컨대, 51A 및 51B를 포함하는 부분)에 대해서 도 6에 도시된 바와 같은 이미지를 획득할 수 있다. For example, the holography reconstruction apparatus 300 acquires an image as shown in FIG. 6 for a portion of the measurement target object 350 shown in FIGS. 5A and 5B (eg, a portion including 51A and 51B) can do.

홀로그래피 복원 장치(300)에 의해 획득된 이미지는 전술한 바와 같이 물체 홀로그램(U0(x,y,0))의 각 위치에서의 강도(Intensity) 정보를 포함하므로, 홀로그래피 복원 장치(300)가 획득한 일반적인(즉 물체광(O)으로만 촬영한) 측정 대상 물체(350)의 이미지와 상이할 수 있다.Since the image acquired by the holography restoration apparatus 300 includes intensity information at each position of the object hologram U0(x,y,0) as described above, the holography restoration apparatus 300 acquires It may be different from a general image of the object to be measured 350 (that is, photographed only with the object light O).

수학식 2를 참조하면 물체 홀로그램(U0(x,y,0))은 각 지점에서의 측정 대상 물체(350)의 위상 정보를 포함하는 물체광(0)과 측정 대상 물체의 위상 정보를 포함하지 않는 기준광(R)의 간섭에 의해 생성된 것일 수 있다.Referring to Equation 2, the object hologram U0(x,y,0) does not include the object light 0 including the phase information of the object to be measured 350 at each point and the phase information of the object to be measured. It may be generated by interference of the reference light R, which is not visible.

또한 물체 홀로그램(U0(x,y,0))은 측정 대상 물체(350)의 각 지점(즉 각 x,y 지점)에서의 위상정보(즉 물체의 높이 정보)외에, 물체광 대물 렌즈(340)의 수차에 따른 오차 및 노이즈(가령 레이저의 광자(photon) 사용에 따른 스펙클 노이즈(speckle noise))등을 더 포함할 수 있다. In addition, the object hologram (U0 (x, y, 0)) is the object light objective lens (340 ) may further include an error and noise (for example, speckle noise due to the use of photons of a laser) due to an aberration of .

따라서 본 발명의 일 실시예에 따른 홀로그래피 복원 장치(300)는 홀로그래피 복원 장치(300)가 획득한 이미지로부터 상술한 오차 및 노이즈 등을 제거하기 위해 단계 S1202 내지 단계 S1207의 연산 과정을 수행할 수 있다.Therefore, the holography restoration apparatus 300 according to an embodiment of the present invention may perform the calculation process of steps S1202 to S1207 in order to remove the above-described error and noise from the image obtained by the holography restoration apparatus 300. .

본 발명의 일 실시예에 따른 홀로그래피 복원 장치(300)는 홀로그래피 복원 장치(300)에 의해 획득된 이미지의 주파수 성분들을 확인할 수 있다(S1202). 가령 홀로그래피 복원 장치(300)는 이미지에 대한 2차원 푸리에 변환(2D Fourier Transform)을 수행하여, 이미지의 주파수 성분들을 확인할 수 있다. The holography restoration apparatus 300 according to an embodiment of the present invention may check frequency components of an image acquired by the holography restoration apparatus 300 (S1202). For example, the holography restoration apparatus 300 may perform a 2D Fourier Transform on an image to check frequency components of the image.

바꾸어 말하면, 홀로그래피 복원 장치(300)는 물체 홀로그램(U0(x,y,0))의 위치 별 강도 정보(즉|(U0(x,y,0)|2)를 포함하는 이미지에 포함된 주파수 성분들을 확인할 수 있다. 이때 이미지는 실상(Real Image)에 대응되는 주파수 성분, 허상(Imaginary Image)에 대응되는 주파수 성분 및 DC 성분을 포함할 수 있다. In other words, the holography restoration apparatus 300 is a frequency included in an image including intensity information (that is, |(U0(x,y,0)| 2 ) for each position of the object hologram U0(x,y,0). In this case, the image may include a frequency component corresponding to a real image, a frequency component corresponding to an imaginary image, and a DC component.

물론 이미지에는 전술한 세 가지 성분들(실상에 대응되는 주파수 성분, 허상에 대응되는 주파수 성분 및 DC 성분) 외에 다양한 성분들이 더 포함될 수 있다. 가령 이미지에는 노이즈에 의한 주파수 성분들이 더 포함될 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.Of course, the image may further include various components in addition to the above-described three components (frequency component corresponding to the real image, frequency component and DC component corresponding to the virtual image). For example, the image may further include frequency components due to noise. However, this is an example and the spirit of the present invention is not limited thereto.

본 발명의 일 실시예에 따른 홀로그래피 복원 장치(300)는 확인된 주파수 성분들 중에서 실상에 대응되는 성분들만 추출할 수 있다(S1203). 이때 홀로그래피 복원 장치(300)는 다양한 방식으로 실상에 대응되는 성분들을 추출할 수 있다. The holography restoration apparatus 300 according to an embodiment of the present invention may extract only components corresponding to the real image from among the identified frequency components (S1203). In this case, the holography restoration apparatus 300 may extract components corresponding to the real image in various ways.

가령 홀로그래피 복원 장치(300)는 이미지에 포함된 주파수 성분들 중에서 성분의 크기가 피크(Peak) 값을 갖는 성분들(이하 피크 성분들)을 추출하고, 추출된 피크 성분들 중에서 실상에 대응되는 피크 성분과 소성의 주파수 차이 이내인 성분들을 실상에 대응되는 성분들로 추출할 수 있다.For example, the holography reconstruction apparatus 300 extracts components having a peak value (hereafter referred to as peak components) in the size of a component among frequency components included in an image, and extracts a peak corresponding to the real image from among the extracted peak components. Components within a frequency difference between the component and firing can be extracted as components corresponding to the real image.

이때 홀로그래피 복원 장치(300)는 실상에 대응되는 피크 성분을 중심으로 다양한 방식으로 실상에 대응되는 성분들을 결정할 수 있다. 예를 들어, 홀로그래피 복원 장치(300)는 실상에 대응되는 피크 성분을 중심으로 하는 십자가 영역 내의 주파수 성분들을 실상에 대응되는 성분들로 결정할 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.In this case, the holography restoration apparatus 300 may determine components corresponding to the real image in various ways based on peak components corresponding to the real image. For example, the holography reconstruction apparatus 300 may determine frequency components in a cross region centered on a peak component corresponding to the real image as components corresponding to the real image. However, this is an example and the spirit of the present invention is not limited thereto.

선택적 실시예에서 홀로그래피 복원 장치(300)는 자동 실상 좌표 정보 추출 알고리즘(Automatic real image spot-position extraction algorithm)을 이용하여 홀로그램에 포함되는 주파수 성분들 중에서 실상에 대응되는 성분들만 추출할 수 있다.In an optional embodiment, the holography reconstruction apparatus 300 may extract only components corresponding to the real image from frequency components included in the hologram by using an automatic real image spot-position extraction algorithm.

본 발명에서 특정 주파수 성분을 '추출'하는 것은 해당 주파수 성분의 주파수와 해당 주파수 성분의 크기(또는 강도)를 추출하는 것을 의미할 수 있다.In the present invention, 'extracting' a specific frequency component may mean extracting the frequency of the corresponding frequency component and the size (or intensity) of the corresponding frequency component.

다시 도 7을 참조하면, 홀로그래피 복원 장치(300)는 홀로그래피 복원 장치(300)에 의해 획득된 이미지의 주파수 성분들을 확인할 수 있으며, 이에 따라 홀로그래피 복원 장치(300)는 실상에 대응되는 주파수 성분(911), 허상에 대응되는 주파수 성분(912) 및 DC 성분(913)을 포함하는 다양한 주파수 성분들을 확인할 수 있다.Referring back to FIG. 7 , the holography restoration apparatus 300 may check the frequency components of the image obtained by the holography restoration apparatus 300, and accordingly, the holography restoration apparatus 300 may check the frequency components 911 corresponding to the real image. ), and various frequency components including a frequency component 912 and a DC component 913 corresponding to the virtual image can be identified.

또한 홀로그래피 복원 장치(300)는 확인된 성분들 중에서 실상에 대응되는 주파수 성분(911)만 추출할 수 있다. 이때 홀로그래피 복원 장치(300)는 가령 도 7에 도시된 바와 같이 실상에 대응되는 피크 성분(911A)을 중심으로 하는 십자가 영역 내의 주파수 성분들(911B)을 실상에 대응되는 성분들로 결정할 수 있다.Also, the holography reconstruction apparatus 300 may extract only the frequency component 911 corresponding to the real image from among the identified components. At this time, the holography reconstruction apparatus 300 may determine frequency components 911B in the cross section centered on the peak component 911A corresponding to the real image as components corresponding to the real image, as shown in FIG. 7 .

본 발명의 일 실시예에 따른 홀로그래피 복원 장치(300)는 전술한 과정에 의해서 추출된 실상에 대응되는 주파수 성분들로부터 디지털 기준광을 생성할 수 있다(S1204). 이를 보다 상세히 살펴보면, 홀로그래피 복원 장치(300)는 실상에 대응되는 주파수 성분들에 기초하여 디지털 기준광의 전파 방향 및 파수를 산출할 수 있다. 바꾸어 말하면, 홀로그래피 복원 장치(300)는 디지털 기준광의 파수 벡터를 산출할 수 있다.The holography restoration apparatus 300 according to an embodiment of the present invention may generate digital reference light from frequency components corresponding to the real image extracted through the above process (S1204). Looking at this in more detail, the holography restoration apparatus 300 may calculate the propagation direction and wave number of the digital reference light based on frequency components corresponding to the real image. In other words, the holography restoration apparatus 300 may calculate the wave number vector of the digital reference light.

또한 홀로그래피 복원 장치(300)는 디지털 기준광의 전파 방향 및 파수(또는 파수 벡터)에 기초하여 디지털 기준광을 생성하고, 상술한 수학식 3에서와 같이 생성된 디지털 기준광(R(x,y))의 켤레 항을 구함으로써 보정광(Rc(x,y))을 생성할 수 있다.In addition, the holography restoration apparatus 300 generates a digital reference light based on the propagation direction and wavenumber (or wavenumber vector) of the digital reference light, and generates the digital reference light R(x,y) generated as in Equation 3 above. The correction light Rc(x,y) can be generated by obtaining a conjugate term.

디지털 기준광(R(x,y))과 보정광(Rc(x,y))은 켤레 관계에 있으므로 도 9a 및 도 9c에 도시된 바와 같이 강도는 동일하고, 도 9b 및 도 9d에 도시된 바와 같이 위상은 반대일 수 있다. 여기서 도 9a는 디지털 기준광(R(x,y))의 강도를 도시한 도면이고, 도 9b는 기준광의 위상을 도시한 도면이고, 도 9c는 보정광(Rc(x,y))의 강도를 도시한 도면이고, 도 9d는 보정광의 위상을 도시한 도면이다.Since the digital reference light (R(x,y)) and the correction light (Rc(x,y)) have a conjugate relationship, the intensity is the same as shown in FIGS. 9A and 9C, and as shown in FIGS. 9B and 9D Likewise, the phase may be reversed. Here, FIG. 9A is a diagram showing the intensity of the digital reference light R(x,y), FIG. 9B is a diagram showing the phase of the reference light, and FIG. 9C shows the intensity of the correction light Rc(x,y). FIG. 9D is a diagram showing the phase of the correction light.

생성된 보정광(Rc(x,y))은 후술하는 실상 홀로그램(Um(x,y,0))의 보정에 사용될 수 있다.The generated correction light Rc(x,y) may be used for correction of a real image hologram Um(x,y,0) described later.

한편 '디지털 기준광'은 전술한 광 분할기(330)가 단일 파장의 광으로부터 생성한 기준광(R)과 동일한 성질을 갖는 광으로, 홀로그래피 복원 장치(300)가 홀로그래피 복원 장치(300)에 의해 획득된 이미지로부터 복원한 가상의 광일 수 있다.On the other hand, the 'digital reference light' is light having the same properties as the reference light R generated from light of a single wavelength by the light splitter 330 described above, and the holography restoration apparatus 300 obtains it by the holography restoration apparatus 300. It may be a virtual light restored from an image.

본 발명의 일 실시예에 따른 홀로그래피 복원 장치(300)는 전술한 과정에 의해서 추출된 실상에 대응되는 주파수 성분들에 기초하여 실상 홀로그램도 생성할 수 있다(S1204). 가령 홀로그래피 복원 장치(300)는 실상에 대응되는 주파수 성분들에 대해 역 2차원 푸리에 변환(Inverse 2D Fourier transform)을 수행하여 도 10과 같은 실상 홀로그램을 생성할 수 있다. 이때 실상 홀로그램은 상술한 수학식 3과 같이 나타낼 수 있다.The holography restoration apparatus 300 according to an embodiment of the present invention may also generate a real image hologram based on the frequency components corresponding to the real image extracted through the above process (S1204). For example, the holography reconstruction apparatus 300 may generate a real image hologram as shown in FIG. 10 by performing an inverse 2D Fourier transform on frequency components corresponding to the real image. At this time, the real hologram can be expressed as in Equation 3 above.

본 발명의 일 실시예에 따른 홀로그래피 복원 장치(300)는 곡률 수차 보정에 대한 항(Rca(x,y))을 생성하기 위하여 중간 홀로그램을 생성할 수 있다(S1205). 가령 홀로그래피 복원 장치(300)는 실상 홀로그램(Um(x,y,0))에 보정광에 대한 항(Rc(x,y))을 곱함으로써 중간 홀로그램을 생성할 수 있다. 생성된 중간 홀로그램은 단계 S1206에서 곡률 수차 보정정보를 생성하는데 사용될 수 있다.The holography restoration apparatus 300 according to an embodiment of the present invention may generate an intermediate hologram to generate a term for curvature aberration correction (Rca(x,y)) (S1205). For example, the holography restoration apparatus 300 may generate an intermediate hologram by multiplying the real hologram Um(x,y,0) by the correction light term Rc(x,y). The generated intermediate hologram may be used to generate curvature aberration correction information in step S1206.

본 발명의 일 실시예에 따른 홀로그래피 복원 장치(300)는 단계 S1205에서 생성된 중간 홀로그램으로부터 측정 대상 물체(350)의 3차원 형상을 생성하고, 생성된 3차원 형상으로부터 곡률 수차 보정에 대한 항(Rca(x,y))을 생성할 수 있다(S1206). 이를 보다 자세히 살펴보면, 홀로그래피 복원 장치(300)는 중간 홀로그램으로부터 생성된 측정 대상 물체(350)의 3차원 형상으로부터 곡률 수차 보정항을 결정하는 적어도 하나의 파라미터를 결정할 수 있다. 이때 파라미터는 가령 반구형의 곡면을 정의하는 중심점의 좌표 및 반지름을 포함할 수 있다.The holography restoration apparatus 300 according to an embodiment of the present invention generates a 3D shape of the object to be measured 350 from the intermediate hologram generated in step S1205, and a term for curvature aberration correction from the generated 3D shape ( Rca(x,y)) can be generated (S1206). Looking at this in more detail, the holography restoration apparatus 300 may determine at least one parameter for determining the curvature aberration correction term from the 3D shape of the object to be measured 350 generated from the intermediate hologram. At this time, the parameters may include, for example, the coordinates and radius of the center point defining the hemispherical curved surface.

다시 도 11 및 도 12를 참조하여, 본 발명의 일 실시예에 따른 홀로그래피 복원 장치(300)가 중간 홀로그램으로부터 곡률 수차 보정항을 결정하는 방법을 설명한다. 설명의 편의를 위하여 홀로그래피 복원 장치(300)가 도 5b의 직육면체 형상의 구조물(51D)에 대한 이미지를 획득하였고, 홀로그래피 복원 장치(300)가 전술한 과정에 따라 구조물(51D)에 대한 중간 홀로그램을 생성하였다고 가정한다. 또한 구조물(51D)에 대한 중간 홀로그램으로부터 생성된 구조물(51D)의 3차원 형상(920)은 도 11에 도시된 바와 같다고 가정한다.Referring back to FIGS. 11 and 12 , a method of determining a curvature aberration correction term from an intermediate hologram by the holography restoration apparatus 300 according to an embodiment of the present invention will be described. For convenience of explanation, the holography restoration apparatus 300 acquires an image of the rectangular parallelepiped structure 51D of FIG. Suppose you have created It is also assumed that the 3D shape 920 of the structure 51D generated from the intermediate hologram of the structure 51D is as shown in FIG. 11 .

전술한 가정 하에, 본 발명의 일 실시예에 따른 홀로그래피 복원 장치(300)는 3차원 형상(920)으로부터 곡률 수차 보정항을 결정하는 적어도 하나의 파라미터를 결정할 수 있다. 가령 홀로그래피 복원 장치(300)는 도 12에 도시된 바와 같은 3차원 형상(920)의 I-I단면 상의 곡선으로부터 반구형의 곡면의 중심점의 좌표(Cx, Cy) 및 곡면의 반지름(r)을 파라미터로써 결정할 수 있다. 이때 본 발명의 일 실시예에 따른 홀로그래피 복원 장치(300)는 I-I단면와 같은 절단면이 3차원 형상(920)의 중심점(즉 반구형 형상의 중심점)을 포함하도록 절단면의 위치 및/또는 방향을 결정할 수 있다. 또한 홀로그래피 복원 장치(300)는 I-I단면와 같은 절단면이 물체광(0)의 진행 방향과 평행하도록 결정할 수도 있다.Under the above assumption, the holography reconstruction apparatus 300 according to an embodiment of the present invention may determine at least one parameter for determining the curvature aberration correction term from the 3D shape 920 . For example, the holography restoration apparatus 300 determines the coordinates (Cx, Cy) of the center point of the hemispherical curved surface and the radius (r) of the curved surface from the curve on the I-I cross section of the 3D shape 920 as shown in FIG. 12 as parameters. can At this time, the holography restoration apparatus 300 according to an embodiment of the present invention may determine the position and/or direction of the cut plane such as the I-I cross section to include the center point of the 3D shape 920 (ie, the center point of the hemispherical shape). . In addition, the holography restoration apparatus 300 may determine a cut plane such as an I-I section to be parallel to the traveling direction of the object light 0 .

본 발명의 일 실시예에 따른 홀로그래피 복원 장치(300)는 전술한 과정에 의해서 결정된 적어도 하나의 파라미터에 기초하여 곡률 수차 보정항을 생성(또는 결정)할 수 있다. 가령 홀로그래피 복원 장치(300)는 곡면의 중심점의 좌표(Cx, Cy) 및 곡면의 반지름(r)을 참조하여 3차원 공간상에서 곡면을 생성하고, 생성된 곡면으로부터 각 x,y 지점의 위상 보정에 반영될 정보를 생성하는 방식으로 곡률 수차 보정항을 생성(또는 결정)할 수 있다.The holography restoration apparatus 300 according to an embodiment of the present invention may generate (or determine) a curvature aberration correction term based on at least one parameter determined by the above process. For example, the holography reconstruction apparatus 300 creates a curved surface in a 3D space by referring to the coordinates (Cx, Cy) of the center point of the curved surface and the radius (r) of the curved surface, and phase correction of each x, y point from the generated curved surface The curvature aberration correction term may be generated (or determined) in a manner that generates information to be reflected.

선택적 실시예에서, 홀로그래피 복원 장치(300)는 형상을 미리 알고 있는 측정 대상 물체(가령 모든 x,y 좌표에서의 z값이 동일한 물체)의 중간 홀로그램으로부터 보정항을 결정할 수도 있다. In an optional embodiment, the holography restoration apparatus 300 may determine a correction term from an intermediate hologram of an object to be measured (for example, an object having the same z value at all x and y coordinates) whose shape is known in advance.

형상을 미리 알고 있는 측정 대상 물체의 경우 각 x, y 지점에서의 z값을 미리 알고 있으므로, 홀로그래피 복원 장치(300)는 중간 홀로그램으로부터 생성된 측정 대상 물체의 3차원 형상과 알고 있는 측정 대상 물체의 형상의 각 x, y 지점에서의 z값의 차이를 확인하는 방식으로 보정항을 결정할 수도 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.In the case of a measurement target object whose shape is known in advance, since the z value at each x and y point is known in advance, the holography restoration apparatus 300 calculates the 3D shape of the measurement target object generated from the intermediate hologram and the known measurement target object. The correction term may be determined by checking the difference in z values at each x and y point of the shape. However, this is an example and the spirit of the present invention is not limited thereto.

본 발명의 일 실시예에 따른 홀로그래피 복원 장치(300)는 기준광(R)에 의한 영향 및 물체광 대물 렌즈(340)의 수차에 의한 오차를 고려하여 실상 홀로그램(Um(x,y,0))으로부터 보정 홀로그램(Uc(x,y,0))을 생성할 수 있다(S1207). 가령 홀로그래피 복원 장치(300)는 전술한 수학식 5와 같이 실상 홀로그램(Um(x,y,0))에 보정광에 대한 항(Rc(x,y))과 곡률 수차 보정에 대한 항(Rca(x,y))을 곱함으로써 보정 홀로그램(Uc(x,y,0))을 생성할 수 있다. 이때 보정광에 대한 항(Rc(x,y))은 단계 S1204에서 생성된 것일 수 있고, 곡률 수차 보정에 대한 항(Rca(x,y))은 단계 S1206에서 생성된 것일 수 있다.The holography restoration apparatus 300 according to an embodiment of the present invention considers the effect of the reference light R and the error due to the aberration of the object lens 340 to obtain a real hologram (Um(x,y,0)) A correction hologram (Uc(x,y,0)) may be generated from (S1207). For example, the holography restoration apparatus 300, as shown in Equation 5 above, includes a correction light term (Rc(x,y)) and a curvature aberration correction term (Rca) in the real hologram (Um(x,y,0)) A calibration hologram Uc(x,y,0) can be generated by multiplying by (x,y). In this case, the term for correction light (Rc(x,y)) may be generated in step S1204, and the term for curvature aberration correction (Rca(x,y)) may be generated in step S1206.

본 발명의 일 실시예에 따른 홀로그래피 복원 장치(300)는 보정 홀로그램(Uc(x,y,0))에 기초하여 측정 대상 물체(350)의 3차원 형상 정보를 생성할 수 있다(S1208). 바꾸어 말하면, 홀로그래피 복원 장치(300)는 각 x, y 지점에서의 물체의 z 방향으로의 높이를 산출할 수 있다.The holography restoration apparatus 300 according to an embodiment of the present invention may generate 3D shape information of the object to be measured 350 based on the correction hologram Uc(x,y,0) (S1208). In other words, the holography restoration apparatus 300 may calculate the height of the object in the z direction at each x and y point.

가령 홀로그래피 복원 장치(300)는 보정 홀로그램(Uc(x,y,0))을 복원 영상면의 정보로 변환할 수 있다. 이때 복원 영상면은 프로세서에 의해 측정 대상 물체와 영상 센서 사이의 거리에 대응하는 거리만큼의 가상적인 영상 표시 평면을 의미하는 것으로, 홀로그래피 복원 장치(300)에 의해 계산 및 시뮬레이션되는 가상의 면일 수 있다. For example, the holography restoration apparatus 300 may convert the correction hologram Uc(x,y,0) into information of a reconstructed image plane. At this time, the reconstructed image plane means a virtual image display plane corresponding to the distance between the object to be measured and the image sensor by the processor, and may be a virtual plane calculated and simulated by the holography restoration apparatus 300. .

홀로그래피 복원 장치(300)는 복원 영상면을 고려하여 복원된 정보로부터 도 13과 같이 x, y 지점에서의 물체의 z 방향으로의 높이를 산출할 수 있다. 도 13에는 측정 대상 물체(350) 상에 배치된 두 개의 직육면체 형상의 구조물(51A 및 51B)의 3차원 형상이 예시적으로 도시되었다.The holography reconstruction apparatus 300 may calculate the height of the object in the z direction at the x and y points from the restored information in consideration of the reconstructed image plane, as shown in FIG. 13 . 13 shows three-dimensional shapes of two rectangular parallelepiped structures 51A and 51B disposed on the object to be measured 350 by way of example.

도 15 및 도 16은 본 발명의 실시예들에 따른 홀로그래피 복원 장치(300)의 노이즈 제거 방법의 흐름도들이다. 15 and 16 are flowcharts of a noise removal method of the holography restoration apparatus 300 according to embodiments of the present invention.

본 발명의 일 실시예에 따른 홀로그래피 복원 장치(300)는 확인된 주파수 성분들 중에서 실상에 대응되는 성분들만 추출할 수 있다(S1203).The holography restoration apparatus 300 according to an embodiment of the present invention may extract only components corresponding to the real image from among the identified frequency components (S1203).

S12031에서는 홀로그래피 복원 장치(300)는 이미지에 포함된 실상에 대응되는 제1 주파수 성분, 허상에 대응되는 제2 주파수 성분, 원점과 대응되는 제3 주파수 성분을 결정한다. In S12031, the holography reconstruction apparatus 300 determines a first frequency component corresponding to the real image included in the image, a second frequency component corresponding to the virtual image, and a third frequency component corresponding to the origin.

S12032에서는 홀로그래피 복원 장치(300)는 제1 주파수 성분에서 간섭 무늬의 방향 및 법선 방향을 산출하고, 간섭 무늬의 방향 및 법선 방향에 위치한 주파수 성분을 노이즈로 결정한다. In operation S12032, the holography reconstruction apparatus 300 calculates the direction of the interference fringe and the normal direction from the first frequency component, and determines a frequency component located in the direction of the interference fringe and the normal direction as noise.

S12033에서는 홀로그래피 복원 장치(300)는 노이즈를 제1 주파수 성분에서 제거하여 실상에 대응되는 주파수 성분을 추출한다. In S12033, the holography reconstruction apparatus 300 extracts a frequency component corresponding to a real image by removing noise from the first frequency component.

다른 실시예에서, 홀로그래피 복원 장치(300)는 노이즈를 제거한 패턴을 설정하고 패턴을 이용하여 실상에 대응되는 주파수 성분을 추출할 수 있다. In another embodiment, the holography restoration apparatus 300 may set a pattern from which noise is removed and extract a frequency component corresponding to a real image using the pattern.

S12034에서 홀로그래피 복원 장치(300)는 이미지에 포함된 실상에 대응되는 제1 주파수 성분, 허상에 대응되는 제2 주파수 성분, 원점과 대응되는 제3 주파수 성분을 결정한다. In operation S12034, the holography reconstruction apparatus 300 determines a first frequency component corresponding to the real image included in the image, a second frequency component corresponding to the virtual image, and a third frequency component corresponding to the origin.

S12035에서는 홀로그래피 복원 장치(300)는 제1 주파수 성분의 피크 성분을 포함하는 십자 영역 패턴을 생성한다. S12036에서는 홀로그래피 복원 장치(300)는 제1 주파수 성분 중에서, 십자 영역 패턴 안에 포함되는 주파수 성분들을 추출한다. In operation S12035, the holography restoration apparatus 300 generates a cross domain pattern including a peak component of the first frequency component. In S12036, the holography reconstruction apparatus 300 extracts frequency components included in the cross domain pattern from among the first frequency components.

십자 영역 패턴을 적용한 수학식은 아래와 같다. 홀로그래피 복원 장치(300)는 아래의 수학식 7에 따라서 십자 영역 패턴에 포함된 주파수 성분들을 추출할 수 있다. Equation using the cross region pattern is as follows. The holography reconstruction apparatus 300 may extract frequency components included in the cross domain pattern according to Equation 7 below.

[수학식 7][Equation 7]

Figure 112020029307243-pat00003
Figure 112020029307243-pat00003

여기서, ms는 십자 영역 패턴의 크기, xc는 피크 성분의 X 좌표, yc는 피크 성분의 Y 좌표를 말한다. R은 실상과 대응되는 주파수 성분 및 원점 성분 사이의 거리(distance)와 비례하는 수를 말한다. 예를 들어, R은 distance/3, distance/2 등 일 수 있다. Here, ms is the size of the cross domain pattern, xc is the X coordinate of the peak component, and yc is the Y coordinate of the peak component. R refers to a number proportional to a distance between a frequency component corresponding to a real image and an origin component. For example, R may be distance/3, distance/2, and the like.

십자 영역 패턴의 크기(ms)는 원점 성분 및 실상과 대응되는 주파수 성분 사이의 거리(distance)를 기초로 결정되나, 십자 영역 패턴의 크기는 노이즈 성분의 효율적인 제거를 위해서 조절 가능하다. 십자 영역 패턴의 크기는 반복적인 노이즈 제거 과정을 통해서 최적화될 수 있다. The size (ms) of the cross domain pattern is determined based on the origin component and the distance between the real image and the corresponding frequency component, but the size of the cross domain pattern can be adjusted for efficient removal of noise components. The size of the cross domain pattern can be optimized through an iterative noise removal process.

다른 실시예에서, 홀로그래피 복원 장치(1)는 노이즈를 더 효율적으로 제거하기 위해서, 반구형 형태의 필터링으로 필터링 영역의 위치에 따라서 상이한 가중치를 둘 수 있다. 예컨대, 홀로그래피 복원 장치(1)는 가운데로부터 멀어질수록 1보다 작은 가중치를 곱할 수 있다. In another embodiment, in order to remove noise more efficiently, the holography reconstruction apparatus 1 may set different weights depending on the location of the filtering region through hemispherical filtering. For example, the holography restoration apparatus 1 may multiply a weight smaller than 1 as the distance from the center increases.

[수학식 8][Equation 8]

Figure 112020029307243-pat00004
Figure 112020029307243-pat00004

여기서, R은 실상과 대응되는 주파수 성분 및 원점 성분 사이의 거리(distance)와 비례하는 수를 말한다. 예를 들어, R은 distance/3 , distance/2 등 일 수 있다.Here, R refers to a number proportional to the distance between the frequency component corresponding to the real image and the origin component. For example, R may be distance/3 , distance/2 , and the like.

이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 저장하는 것일 수 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광영상 센서, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. Embodiments according to the present invention described above may be implemented in the form of a computer program that can be executed on a computer through various components, and such a computer program may be recorded on a computer-readable medium. In this case, the medium may store a program executable by a computer. Examples of media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical image sensors such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, and ROM, RAM, flash memory, etc. configured to store program instructions.

한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.Meanwhile, the computer program may be specially designed and configured for the present invention, or may be known and usable to those skilled in the art of computer software. An example of a computer program may include not only machine language code generated by a compiler but also high-level language code that can be executed by a computer using an interpreter or the like.

전술한 바와 같이, 본 발명의 일 실시예에 따른 홀로그래픽 복원 장치(300), 다시 말해, 홀로그래피 복원 장치(300)은 한 개의 홀로그램의 획득으로 측정 대상 물체의 3차원 형상 정보를 정확하게 생성할 수 있다. 상기한 홀로그래피 복원 장치(300)은 전술한 방법들을 통해 정확한 3차원 형상 정보를 생성하면서도 구성요소를 단순화할 수 있어, 인-라인 증착 장비 내부에 배치되어 인-라인 공정 상에서 검사를 실시간으로 수행할 수 있게 한다. As described above, the holographic restoration apparatus 300 according to an embodiment of the present invention, in other words, the holography restoration apparatus 300 can accurately generate 3D shape information of the object to be measured by acquiring one hologram. there is. The holography reconstruction device 300 described above can generate accurate 3D shape information through the above-described methods while simplifying its components, so that it can be placed inside an in-line deposition equipment to perform inspection in real-time in an in-line process. make it possible

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.Specific implementations described in the present invention are examples and do not limit the scope of the present invention in any way. For brevity of the specification, description of conventional electronic components, control systems, software, and other functional aspects of the systems may be omitted. In addition, the connection of lines or connecting members between the components shown in the drawings are examples of functional connections and / or physical or circuit connections, which can be replaced in actual devices or additional various functional connections, physical connection, or circuit connections. In addition, if there is no specific reference such as "essential" or "important", it may not necessarily be a component necessary for the application of the present invention.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiments and should not be determined, and all scopes equivalent to or equivalently changed from the claims as well as the claims described below are within the scope of the spirit of the present invention. will be said to belong to

300, 300A, 300B: 홀로그래피 복원 장치
310: 광원부
320: 시준기
330,332: 광 분할기
340: 물체광 대물 렌즈
350: 측정 대상 물체
360: 기준광 대물 렌즈
370,372: 광학 거울
380: 영상 센서
390: 프로세서
300, 300A, 300B: holography restoration device
310: light source unit
320: collimator
330,332 optical splitter
340 object light objective lens
350: object to be measured
360: reference light objective lens
370,372: optical mirror
380: image sensor
390: processor

Claims (4)

단일 파장 광을 방출하는 광원부;
상기 광원부에서 방출된 단일 파장 광을 시준하기 위한 시준기;
상기 시준기를 통과한 상기 단일 파장 광을 물체광 및 기준광으로 분할하는 광 분할기;
상기 광 분할기에 의해 분할된 상기 물체광을 통과시키는 물체광 대물 렌즈;
상기 광 분할기에 의해 분할된 상기 기준광을 반사시키는 광학 거울;
상기 물체광 대물 렌즈와 마주보는 일면 상에 측정 대상 물체가 안착되는 플레이트;
상기 물체광 대물 렌즈에 인접하게 배치되어 상기 물체광 대물 렌즈와 상기 플레이트까지의 거리를 감지하는 거리 센서;
상기 플레이트와 연결되며, 상기 거리 센서에서 감지한 거리값을 이용하여 상기 물체광 대물 렌즈에 대해 상기 플레이트를 이동시키는 구동 수단;
상기 물체광 대물 렌즈를 통과하여 측정 대상 물체의 표면에서 반사된 물체광 및 상기 광학 거울에 의해 반사된 기준광이 각각 상기 광 분할기로 전달되어 형성되는 간섭 무늬를 기록하는 영상 센서; 및
상기 영상 센서에서 상기 간섭무늬를 변환하여 생성된 물체 홀로그램의 강도(Intensity) 정보를 포함하는 이미지를 수신하여 저장하고, 상기 측정 대상 물체의 3차원 형상 정보를 생성하는 프로세서;를 포함하고,
상기 프로세서는 상기 거리 센서에서 감지한 거리값을 이용하여 상기 플레이트를 이동시킨 후, 상기 영상 센서로부터 획득된 상기 이미지의 에지를 검출하고, 상기 검출된 에지의 콘트라스트(contrast) 값을 추출하고, 상기 추출된 콘트라스트 값에 기초하여 상기 플레이트와 상기 물체광 대물 렌즈 사이의 거리가 조절되도록 상기 구동 수단을 제어하는, 측정 대상 물체의 3차원 형상 정보 생성 장치.
a light source unit emitting single wavelength light;
a collimator for collimating the single wavelength light emitted from the light source unit;
a light splitter splitting the single wavelength light passing through the collimator into object light and reference light;
an object light objective lens passing the object light divided by the light splitter;
an optical mirror for reflecting the reference light split by the light splitter;
a plate on which an object to be measured is seated on a surface facing the object light objective lens;
a distance sensor disposed adjacent to the object light objective lens to detect a distance between the object light objective lens and the plate;
a driving unit connected to the plate and moving the plate relative to the object light objective lens using a distance value sensed by the distance sensor;
an image sensor for recording an interference fringe formed when the object light passing through the object light objective lens and reflected from the surface of the object to be measured and the reference light reflected by the optical mirror are transferred to the optical splitter; and
A processor for receiving and storing an image including intensity information of an object hologram generated by converting the interference fringe in the image sensor, and generating 3D shape information of the object to be measured;
The processor moves the plate using the distance value sensed by the distance sensor, detects an edge of the image obtained from the image sensor, extracts a contrast value of the detected edge, and and controlling the driving means to adjust a distance between the plate and the object light objective lens based on the extracted contrast value.
삭제delete 제1 항에 있어서
상기 물체광 대물 렌즈와 상기 광 분할기 사이의 거리는 일정한, 측정 대상 물체의 3차원 형상 정보 생성 장치.
According to claim 1
An apparatus for generating three-dimensional shape information of an object to be measured, wherein a distance between the object light objective lens and the beam splitter is constant.
제1 항에 있어서
상기 프로세서는 상기 이미지에 포함된 적어도 하나의 주파수 성분들 중 실상(Real Image)에 대응되는 실상 성분들을 추출하고, 상기 실상 성분들에 기초하여 상기 기준광과 켤레(conjugate) 관계에 있는 보정광 및 상기 측정 대상 물체의 실장 정보를 포함하는 실상 홀로그램을 생성하고, 상기 보정광에 기초하여, 상기 실상 홀로그램에서 상기 기준광의 정보가 제거된 중간 홀로그램을 생성하고, 상기 중간 홀로그램으로부터 곡률 수차 보정정보를 생성한 후, 상기 곡률 수차 보정정보에 기초하여, 상기 중간 홀로그램에서 곡률 수차에 의한 오차가 제고된 보정 홀로그램을 생성하고, 상기 보정 홀로그램으로부터 상기 측정 대상 물체의 상기 3차원 형상 정보를 생성하는, 측정 대상 물체의 3차원 형상 정보 생성 장치.
According to claim 1
The processor extracts real image components corresponding to a real image from among at least one frequency component included in the image, and based on the real image components, a correction light having a conjugate relationship with the reference light and the A real image hologram including mounting information of an object to be measured is generated, an intermediate hologram in which information of the reference light is removed from the real image hologram is generated based on the correction light, and curvature aberration correction information is generated from the intermediate hologram. Then, based on the curvature aberration correction information, a correction hologram in which an error due to curvature aberration is reduced in the intermediate hologram is generated, and the 3D shape information of the object to be measured is generated from the correction hologram. 3D shape information generating device.
KR1020200034062A 2018-10-15 2020-03-19 Apparatus for generating three-dimensional shape information of an object to be measured KR102483163B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200034062A KR102483163B1 (en) 2018-10-15 2020-03-19 Apparatus for generating three-dimensional shape information of an object to be measured

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180122771A KR102093885B1 (en) 2018-10-15 2018-10-15 Apparatus for generating three-dimensional shape information of an object to be measured
KR1020200034062A KR102483163B1 (en) 2018-10-15 2020-03-19 Apparatus for generating three-dimensional shape information of an object to be measured

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180122771A Division KR102093885B1 (en) 2018-10-15 2018-10-15 Apparatus for generating three-dimensional shape information of an object to be measured

Publications (2)

Publication Number Publication Date
KR20200042445A KR20200042445A (en) 2020-04-23
KR102483163B1 true KR102483163B1 (en) 2023-01-04

Family

ID=84924978

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200034062A KR102483163B1 (en) 2018-10-15 2020-03-19 Apparatus for generating three-dimensional shape information of an object to be measured

Country Status (1)

Country Link
KR (1) KR102483163B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007163333A (en) * 2005-12-15 2007-06-28 Hitachi Kenki Fine Tech Co Ltd Scanning probe microscope
KR101498474B1 (en) 2014-03-27 2015-03-04 연세대학교 산학협력단 Resolution Improvement Method for Digital Holography via Multi-Step Interpolation
JP6378931B2 (en) 2014-05-21 2018-08-22 浜松ホトニクス株式会社 Microscope device and image acquisition method
JP6395251B2 (en) 2014-05-30 2018-09-26 国立研究開発法人理化学研究所 Optical microscope system and screening device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7649160B2 (en) 2005-02-23 2010-01-19 Lyncee Tec S.A. Wave front sensing method and apparatus
KR101056926B1 (en) 2009-02-20 2011-08-12 전북대학교산학협력단 3D Measuring Device Using Dual Wavelength Digital Holography
KR101152798B1 (en) 2010-08-09 2012-06-14 (주)펨트론 3d measurement apparatus using dual wave digital holography
KR101139178B1 (en) 2011-09-30 2012-04-26 디아이티 주식회사 Device for measuring the 3d cubic matter using a digital holography
KR101441245B1 (en) 2013-05-29 2014-09-17 제주대학교 산학협력단 Digital Holographic Microscope Apparatus
KR101634170B1 (en) 2014-09-05 2016-06-28 광운대학교 산학협력단 Digital holographic microscopy and method for generating digital holographic image
KR101899026B1 (en) * 2016-11-22 2018-10-04 주식회사 내일해 Digital Holographic Reconstruction Apparatus and Method Using Single Generated Phase Shifting Method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007163333A (en) * 2005-12-15 2007-06-28 Hitachi Kenki Fine Tech Co Ltd Scanning probe microscope
KR101498474B1 (en) 2014-03-27 2015-03-04 연세대학교 산학협력단 Resolution Improvement Method for Digital Holography via Multi-Step Interpolation
JP6378931B2 (en) 2014-05-21 2018-08-22 浜松ホトニクス株式会社 Microscope device and image acquisition method
JP6395251B2 (en) 2014-05-30 2018-09-26 国立研究開発法人理化学研究所 Optical microscope system and screening device

Also Published As

Publication number Publication date
KR20200042445A (en) 2020-04-23

Similar Documents

Publication Publication Date Title
US11314071B2 (en) Method for generating three-dimensional shape information of object to be measured, defect detection method, and defect detection device
KR102282722B1 (en) Apparatus and Method For Detecting Defects
KR102478970B1 (en) A method of generating three-dimensional shape information of an object to be measured
KR102425448B1 (en) Apparatus for generating three-dimensional shape information of an object to be measured
KR102202300B1 (en) Substrate inspection apparatus including scanning function
KR102483163B1 (en) Apparatus for generating three-dimensional shape information of an object to be measured
KR102437085B1 (en) Substrate inspection apparatus
KR102177114B1 (en) Apparatus for generating three-dimensional shape information of an object to be measured
KR102093885B1 (en) Apparatus for generating three-dimensional shape information of an object to be measured
KR102216168B1 (en) Inspection system for depositing one or more layers on a substrate supported by a carrier using holographic reconstruction
KR102475199B1 (en) Method for generating 3d shape information of an object
KR102202301B1 (en) Substrate inspection apparatus
KR102448085B1 (en) A method of generating three-dimensional shape information of an object to be measured
KR102483184B1 (en) A method of generating three-dimensional shape information of an object to be measured
KR20200127958A (en) Apparatus for generating three-dimensional shape information of an object to be measured
KR102247277B1 (en) Method for generating 3d shape information of an object
KR20190072020A (en) Apparatus and Method For Detecting Defects
KR102092276B1 (en) A method of generating three-dimensional shape information of an object to be measured
KR102150110B1 (en) Method for generating 3d shape information of an object
KR102089089B1 (en) A method of generating three-dimensional shape information of an object to be measured
KR102189527B1 (en) A method of generating three-dimensional shape information of an object to be measured
KR102055307B1 (en) Apparatus for generating three-dimensional shape information of an object to be measured
KR20220107135A (en) Apparatus for generating three-dimensional shape information of an object to be measured
KR102194643B1 (en) Inspection system for depositing one or more layers on a substrate supported by a carrier using holographic reconstruction
KR102491887B1 (en) A method to judge process defects using reconsructed hologram

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right