KR101677585B1 - 3-D Shape Mesuring Apparatus Using Multi Frequency light Source For High Speed Foucs Position Movement - Google Patents

3-D Shape Mesuring Apparatus Using Multi Frequency light Source For High Speed Foucs Position Movement Download PDF

Info

Publication number
KR101677585B1
KR101677585B1 KR1020150073494A KR20150073494A KR101677585B1 KR 101677585 B1 KR101677585 B1 KR 101677585B1 KR 1020150073494 A KR1020150073494 A KR 1020150073494A KR 20150073494 A KR20150073494 A KR 20150073494A KR 101677585 B1 KR101677585 B1 KR 101677585B1
Authority
KR
South Korea
Prior art keywords
light source
measurement object
wavelength
image
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020150073494A
Other languages
Korean (ko)
Inventor
박윤창
Original Assignee
선문대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 선문대학교 산학협력단 filed Critical 선문대학교 산학협력단
Priority to KR1020150073494A priority Critical patent/KR101677585B1/en
Application granted granted Critical
Publication of KR101677585B1 publication Critical patent/KR101677585B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 고속 초점위치 이동을 위해 다중파장 광원을 이용하는 3차원 형상 측정장치에 관한 것으로서, 제 1 파장의 제 1 광원과 제 2 파장의 제 2 광원을 포함하는 광원부, 상기 광원부의 앞쪽에 설치되며, 상기 광원의 빛을 받아 측정대상물에 투영되는 주기성분을 갖는 투영격자, 상기 측정대상물에 영사된 투영격자의 패턴영상을 획득하는 영상 획득부, 상기 영상 획득부와 측정대상물의 사이에 위치하는 투영렌즈 및 상기 광원부를 제어하여 광원의 중심파장을 변경시켜 상기 측정대상물의 결상위치를 변경하면서 상기 영상 획득부에서 상기 패턴영상을 획득하도록 하고, 상기 영상 획득부에서 획득되는 투영격자 패턴의 진폭과 진폭크기를 계산하여 측정대상물의 3차원 정보를 획득하는 제어부를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 초점 조절을 위해 측정 대상물이나 검사장치를 이송할 필요가 없고 고속 초점위치 이동이 가능하여 그에 따라 검사속도가 현저하게 빨라질 수 있는 효과가 있다.The present invention relates to a three-dimensional shape measuring apparatus using a multi-wavelength light source for high-speed focal point position shifting, and includes a light source unit including a first light source of a first wavelength and a second light source of a second wavelength, An image acquiring unit for acquiring a pattern image of a projection grating projected on the measurement object, a projection unit for projecting a projection positioned between the image acquiring unit and the measurement object, And controlling the lens and the light source unit to change the central wavelength of the light source to change the image forming position of the measurement object so as to obtain the pattern image in the image acquiring unit and to adjust the amplitude and amplitude of the projection grating pattern acquired by the image acquiring unit And acquiring three-dimensional information of the measurement object by calculating the size of the measurement object.
According to the present invention, it is not necessary to transfer a measurement object or an inspection apparatus for focus adjustment, and a high-speed focal point position can be moved, thereby enabling an inspection speed to be remarkably increased.

Description

고속 초점위치 이동을 위해 다중파장 광원을 이용하는 3차원 형상 측정장치{3-D Shape Mesuring Apparatus Using Multi Frequency light Source For High Speed Foucs Position Movement}BACKGROUND OF THE INVENTION Field of the Invention [0001] The present invention relates to a three-dimensional shape measuring apparatus using a multi-wavelength light source for high-

본 발명은 백색광 가섭계를 이용하여 물체의 형상을 측정하는 3차원 형상 측정장치에 관한 것으로서, 보다 상세하게는 다중파장 광원을 이용하여 측정 대상물이나 카메라 등의 물리적인 이동없이 초점위치를 고속으로 이동할 수 있도록 함으로써 신속하면서 정확하게 물체의 높이를 산출할 수 있도록 하는 기술에 관한 것이다.The present invention relates to a three-dimensional shape measuring apparatus for measuring the shape of an object using a white light impinging system, and more particularly, to a three-dimensional shape measuring apparatus for measuring a shape of an object using a multi- So that the height of the object can be calculated quickly and accurately.

백색광 간섭계를 이용하여, 미세영역에 있어서, 형상을 측정하는 기술은 널리 보급되어 현재 많은 분야에서 활용되고 있다. 백생광간섭계는 대한민국특허 등록공보 제10-598572호를 보면 잘 설명되어 있다. 백색광간섭계는 반도체 및 LCD(Liquid Crystal Display) 제조 공정 중에서 불투명한 금속 층의 표면상에 투명한 박막 층을 도포하는 공정이 존재하는데, 이 때 투명한 박막 층의 두께나 그 표면 형상에 대한 정보를 측정하는 몇 가지 방법들이 제안되었다.BACKGROUND ART [0002] Techniques for measuring a shape in a fine region using a white light interferometer have been widely spread and are currently used in many fields. The white live interferometer is well described in Korean Patent Registration No. 10-598572. In the white light interferometer, there is a process of applying a transparent thin film layer on the surface of an opaque metal layer in a semiconductor and LCD (Liquid Crystal Display) manufacturing process. At this time, information about the thickness of the transparent thin film layer and its surface shape is measured Several methods have been proposed.

이러한 투명한 박막층의 표면 형상을 측정하는 방법의 하나로, 백색광 주사 간섭법(WSI : White-light Scanning Interferometry)이 제안되었는데, 종래의 위상 천이 간섭법(PSI : Phase Shifting Interferometry)이 가지는 2π-모호성(2πambiguity)을 극복하여 거친면이나 고단차를 가지는 측정면도 고 분해능으로 측정할 수 있게 되었다.White-light scanning interferometry (WSI) has been proposed as a method for measuring the surface shape of such a transparent thin film layer. The white-light scanning interferometry (WSI) ), It is now possible to measure a measurement surface having a rough surface or a high-stage difference with high resolution.

백색광 주사 간섭법의 기본 측정 원리는 백색광의 짧은 가간섭(Short Coherence Length) 특성을 이용한다. 이는 광분할기인 빔 스플리터(Beam splitter)에서 분리되는 기준광과 측정광이 거의 동일한 광경로차(Optical path difference)를 겪을 때에만 간섭신호(Interference signal)가 발생하는 원리를 이용한다.The basic measurement principle of the white light scanning interference method utilizes the short coherence length property of white light. It uses the principle that an interference signal occurs only when the reference light and measurement light separated by a beam splitter, which is a light splitter, undergo almost the same optical path difference.

그러므로, 측정대상물을 광축 방향으로 PZT 액츄에이터와 같은 이송수단으로 수 나노미터(nanometer)의 미소 간격씩 이동하면서 측정 영역 내의 각 측정점에서의 간섭신호를 관찰하면, 각 점이 기준미러와 동일한 광경로차가 발생하는 지점에서 짧은 간섭신호가 발생한다.Therefore, when the interference signal at each measurement point in the measurement region is observed while moving the measurement object in the direction of the optical axis by a minute distance of several nanometers with a conveyance means such as a PZT actuator, A short interfering signal is generated.

이러한 간섭신호의 발생 위치를 측정 영역 내의 모든 측정점에서 산출하면 측정면의 3차원 형상에 대한 정보를 획득하게 되고, 획득된 3차원 정보로부터 박막층의 표면 형상을 측정하게 된다.When the position of generation of the interference signal is calculated at all measurement points in the measurement region, information on the three-dimensional shape of the measurement surface is obtained, and the surface shape of the thin film layer is measured from the obtained three-dimensional information.

도 1은 백색광 주사 간섭법을 이용한 표면형상 측정장치를 도시한 도면이다. 도면에 도시된 바와 같이, 종래의 표면형상측정장치는 광원(110), 광분할부(150), 간섭모듈(120), 촬상부(140), 이송유닛(130) 및 제어부(160)를 포함한다.BRIEF DESCRIPTION OF DRAWINGS FIG. 1 is a view showing a surface shape measuring apparatus using a white light scanning interference method. FIG. As shown in the figure, a conventional surface shape measuring apparatus includes a light source 110, a light dividing unit 150, an interference module 120, an image pickup unit 140, a transfer unit 130 and a control unit 160 .

광원(110)은 백색광을 방출한다. 광원(110)은 단색광, 예컨대 백색광을 방출하며, 대략 70W 정도의 텅스텐-할로겐 램프를 사용한다. 여기서, 광원(110)으로부터 출광된 광은 출광방향으로 도시되지 않은 광 파이버(미도시)를 거쳐 출광된다.The light source 110 emits white light. The light source 110 emits monochromatic light, for example, white light, and uses a tungsten-halogen lamp of about 70 W or so. Here, the light emitted from the light source 110 is output through an optical fiber (not shown) not shown in the outgoing direction.

광 파이버로부터 출광된 광은 고정부재(171)의 핀홀을 중심으로 퍼져나간다. 그리고, 핀홀을 통과한 광은 고정부재(171)와 광분할부(150) 사이에 배치된 볼록렌즈(172)을 투과하면서 일정한 폭으로 정렬된다. The light emitted from the optical fiber spreads around the pinhole of the fixing member 171. The light passing through the pinhole is transmitted through the convex lens 172 disposed between the fixing member 171 and the light splitting unit 150, and is aligned with a constant width.

볼록렌즈(172)를 투과한 광은 광분할부(150)로 입사된다. 여기서, 광분할부(150), 예컨대, 광분할기(Beam Splitter)에 입사된 광은 입사방향에 대해 약 45도 정도로 반사되어 측정 대상물(100)을 향하게 된다. The light transmitted through the convex lens 172 is incident on the light splitting section 150. Here, the light incident on the light splitting unit 150, for example, a beam splitter, is reflected at about 45 degrees with respect to the incident direction, and is directed to the measurement object 100.

광분할부(150)에 의해 반사되어 측정 대상물(100)을 향하는 광은 간섭모듈(120)에 입사된다. 간섭모듈(120)에 입사된 광은 각각 간섭모듈(120)에 마련된 기준미러 방향 및 측정 대상물(100) 방향으로 분할되어 출광된다. 그리고, 기준미러 및 측정 대상물(100)로부터 각각 반사된 반사광에 의해 간섭광이 형성되어 광분할부(150)로 출광된다.The light reflected by the light splitting unit 150 and directed toward the measurement object 100 is incident on the interference module 120. The light incident on the interference module 120 is divided into the direction of the reference mirror provided in the interference module 120 and the direction of the measurement object 100 and is output. The interference light is formed by the reflected light reflected from the reference mirror and the measurement object 100, respectively, and is output to the light splitting unit 150.

촬상부(140)는 간섭모듈(120)로부터 출광되어 광분할부(150) 및 볼록렌즈(174)를 거친 간섭광을 촬상하여 제어부(160)에 인가한다.The image sensing unit 140 senses interference light emitted from the interference module 120 and passed through the light splitting unit 150 and the convex lens 174 and applies the sensed interference light to the control unit 160.

제어부(160)는 백색광 주사 간섭법에 따라 이송유닛(130)을 제어하여 이송유닛(130)과 측정 대상물(100) 간의 이격 거리를 조절한다. 그리고, 제어부(160)는 이송유닛(130)과 측정 대상물(100) 간의 이격 거리에 대응하여 촬상부(140)에서 촬상된 데이터에 기초하여 측정 대상물(100)의 표면 형상을 측정한다.The control unit 160 controls the transfer unit 130 according to the white light scanning interferometry to adjust the separation distance between the transfer unit 130 and the object to be measured 100. The control unit 160 measures the surface shape of the measurement object 100 based on the data captured by the imaging unit 140 in correspondence to the separation distance between the transfer unit 130 and the measurement object 100. [

그러나 이러한 백색광 간섭계는 가간섭 구간이 대략 2-4um이면서, 간섭무늬의 주기는 대략 0.3um정도이기 때문에 높낮이가 존재하는 입체형상을 측정하기 위해서는, 매우 짧은 간격으로 스텝(step) 이송하면서 전체 높이에 걸쳐서 간섭무늬를 획득해야 하며, 이로 인해서 측정에 소요되는 시간이 길어진다.However, since the white light interferometer has an interference interval of about 2-4 um and a period of the interference fringe is about 0.3 um, in order to measure the three-dimensional shape in which the height is present, It is necessary to acquire the interference fringes over a long period of time, thereby increasing the time required for the measurement.

이러한 측정방식에서는 측정대상물의 높낮이 차이가 적고, 진동이 없는 안정적인 환경에서는 효과적인 측정 장치이지만, 측정대상물의 높낮이 차이가 크면서 기구적인 진동이 존재하는 여건에서는 적절한 측정결과를 얻기 어려운 점이 있다.Such a measurement method is effective in a stable environment in which there is little difference in height of a measurement object and is stable in a vibration-free environment. However, it is difficult to obtain appropriate measurement results in circumstances where there is mechanical vibration with a large difference in height of the measurement object.

상술한 바와 같은 종래기술을 해결하기 위하여, 한국등록특허 제10-1333299호에 따른 3차원 형상 측정장치는 도 2에 도시된 바와 같이, 영상획득부를 구성하는 이미지센서(260), 영상보드(261)와, 패턴영사부를 구성하는 광원(210), 투영격자(220), 빔스플리터(230), 투영격자 제어기(221), 핀홀(241), 대물렌즈(240), 위치센서(242), 및 제어부(340), 측정대상물(250)를 구동시키는 모터(252), 모터드라이버(253), 위치센서(242)를 포함하여 구성된다. 도 2에 도시된 종래의 3차원 측정장치의 경우 패턴의 진폭과 진폭 크기를 획득하기 위하여 초점이송부를 통해 초점을 조절을 구현한 후 투영격자의 한주기에 해당하는 투영격자 패턴을 획득하기 위하여 초점이 조절된 후 투영격자 구동기를 통해 구동함으로써 측정대상물에 대한 높이 정보를 연산하는 기술을 구현하였다.2, a three-dimensional shape measuring apparatus according to Korean Patent No. 10-1333299 includes an image sensor 260, an image board 261 A projection grating 220, a beam splitter 230, a projection grating controller 221, a pinhole 241, an objective lens 240, a position sensor 242, and a projection lens 243 constituting a pattern projection portion. A control unit 340, a motor 252 for driving the measurement object 250, a motor driver 253, and a position sensor 242. In the case of the conventional three-dimensional measuring apparatus shown in FIG. 2, in order to acquire the amplitude and amplitude magnitude of the pattern, focus adjustment is implemented through the focus, and then, a focus grating pattern corresponding to one frame of the projection grating is obtained. And the height information of the object to be measured is calculated by driving through the projection grating driver.

하지만, 이러한 상기 선행특허의 경우 격자 이송축에 대한 진폭값을 각각 구한 후 각 진폭값 중 가장 진폭값을 구하고 이를 이용하여 높이값을 결정하여야 하는데, 이와 같은 방식은 측정 정밀도가 매우 높은 장점이 있으나, 측정대상물의 한 포인트에 대하여 다수의 스캐닝을 구현하여야 함으로 측정 속도가 매우 느려지는 문제점이 있었다.However, in the case of the above-mentioned prior art, it is necessary to determine the amplitude values of the grid transfer axis, determine the height values using the amplitude values of the respective amplitude values, and this method has an advantage of high measurement accuracy , There is a problem in that the measurement speed is very slow because a large number of scans must be implemented for one point of the measurement object.

상기 한국등록특허 제10-1333299호에 따른 3차원 형상 측정장치의 문제점을 해결하기 위한 기술로서, 한국등록특허 제1423829호에는 측정 대상물을 경사각(x축과 z축)으로 이송시켜 투영격자 패턴에 따른 위상효과와 진폭 크기(초점 이동 효과)를 동시에 획득할 수 있어, 투영격자 구동과 측정 대상물 이송을 개별적으로 구현하지 않고 한 번에 획득할 수 있기 때문에 측정 속도를 향상시킬 수 있도록 하는 기술이 제시되어 있다.As a technique for solving the problem of the three-dimensional shape measuring apparatus according to Korean Patent No. 10-1333299, Korean Patent Registration No. 1423829 discloses a technique of transferring a measurement object at an inclination angle (x axis and z axis) (Focussing effect) can be obtained at the same time, and a technique for improving the measurement speed can be obtained because the projection grating driving and the measurement object transfer can be acquired at a time without separately implementing them .

한국등록특허 제10-1333299호는 측정 대상물을 경사방향으로 이동시켜 위상효과와 진폭 크기를 동시에 획득할 수 있는 장점은 있으나, 격자의 실상이 선명하게 결상되는 위치로의 이동이 요구되므로 측정대상물과 3차원 형상 측정장치 간의 상대거리가 변경되어야 하는 점은 종래기술과 동일하다.Korean Patent No. 10-1333299 has an advantage of simultaneously acquiring a phase effect and an amplitude magnitude by moving an object to be measured in an oblique direction, but since it is required to move to a position where a real image of the grating is clearly imaged, The point that the relative distance between the three-dimensional shape measuring devices must be changed is the same as in the prior art.

이때, 측정대상물이 이동할 경우에 진동이나 자세의 변화없이 이동하려면 시간이 소요되고, 측정장치가 이동하는 경우에는 고속 이송이 힘들고 이송시간이 상당히 소요됨에 따라 검사속도가 느려지는 문제점이 여전히 발생하게 된다.In this case, when the measurement object moves, it takes time to move without changing the vibration or the posture, and when the measurement device moves, the high speed transfer is difficult and the transfer time is considerably long, .

한국등록특허 제10-1333299호(투영격자의 진폭을 적용한 3차원 형상 측정장치 및 방법)Korean Patent No. 10-1333299 (Apparatus and method for measuring three-dimensional shape using projection grating amplitude) 한국등록특허 제10-1423829호(투영격자의 진폭을 적용한 3차원 형상 측정장치 및 방법)Korean Patent No. 10-1423829 (Apparatus and method for measuring three-dimensional shape using projection grating amplitude)

본 발명은 이러한 종래기술의 문제점을 해결하기 위해 제안된 것으로서, 본 발명의 목적은 측정대상물이나 측정장치의 물리적 이동없이 고속 초점위치 이동이 가능하도록 함으로써 3차원 형상 측정 소요시간을 단축시킬 수 있도록 하는 것이다.SUMMARY OF THE INVENTION The present invention has been made to solve the problems of the related art, and an object of the present invention is to provide a method and apparatus for enabling a high-speed focus position shift without physical movement of a measurement object or a measurement device, will be.

상기와 같은 목적을 달성하기 위한 본 발명의 바람직한 일 실시예에 따르면, 제 1 파장의 제 1 광원과 제 2 파장의 제 2 광원을 포함하는 광원부, 상기 광원부의 앞쪽에 설치되며, 상기 광원의 빛을 받아 측정대상물에 투영되는 주기성분을 갖는 투영격자, 상기 측정대상물에 영사된 투영격자의 패턴영상을 획득하는 영상 획득부, 상기 영상 획득부와 측정대상물의 사이에 위치하는 투영렌즈 및 상기 광원부를 제어하여 광원의 중심파장을 변경시켜 상기 측정대상물의 결상위치를 변경하면서 상기 영상 획득부에서 상기 패턴영상을 획득하도록 하고, 상기 영상 획득부에서 획득되는 투영격자 패턴의 진폭과 진폭크기를 계산하여 측정대상물의 3차원 정보를 획득하는 제어부를 포함하는 것을 특징으로 하는 고속 초점위치 이동을 위해 다중파장 광원을 이용하는 3차원 형상 측정장치가 제공된다.According to an aspect of the present invention, there is provided a light source unit including a first light source having a first wavelength and a second light source having a second wavelength, a light source unit disposed in front of the light source unit, An image acquiring unit that acquires a pattern image of a projection grating projected on the measurement object, a projection lens positioned between the image acquiring unit and the measurement object, and a light source unit The center wavelength of the light source is changed to change the image forming position of the measurement object to obtain the pattern image in the image acquisition unit, and the amplitude and amplitude magnitude of the projection grating pattern acquired in the image acquisition unit are calculated And a control unit for acquiring three-dimensional information of an object using the multi-wavelength light source A three-dimensional shape measuring device is provided.

여기서, 상기 투영렌즈가 색수차가 있는 렌즈인 경우 상기 광원의 중심파장 변경에 따라 상기 투영격자 패턴의 결상 위치가 변경되는 원리가 이용되며, 상기 투영렌즈가 색수보정렌즈인 경우, 상기 투영렌즈와 측정대상물 간에 투명 플레이트가 개재시켜 동일한 원리를 적용할 수 있다.Here, when the projection lens is a lens having a chromatic aberration, the principle is used that the imaging position of the projection grid pattern is changed in accordance with the central wavelength of the light source. When the projection lens is a chromatic aberration lens, The same principle can be applied by interposing a transparent plate between objects.

상기 투명 플레이트는 굴절률 n=1이 아닌 투명재질로서, 유리 재질이 사용될 수 있다.The transparent plate is a transparent material having a refractive index n = 1, and a glass material may be used.

그리고, 상기 광원 중심파장의 변경은 제 1 광원과 제 2 광원의 세기를 각각 조정하거나, 제 1 광원과 제 2 광원의 ON 시간 또는 듀티비를 각각 조정하여 방식등으로 이루어질 수 있다.The center wavelength of the light source may be changed by adjusting the intensity of the first light source and the second light source, or adjusting the ON time or the duty ratio of the first light source and the second light source, respectively.

상기와 같은 목적을 달성하기 위한 본 발명의 다른 일 측면에 따르면, 제 1 파장의 제 1 광원과 제 2 파장의 제 2 광원을 포함하는 광원부에서 조사되는 광원의 중심파장을 변경하면서 측정대상물에 격자패턴의 빛의 투영렌즈를 통해 조사하고, 광원의 각 파장대역별로 상기 측정대상물에서 반사되는 패턴영상을 획득하며, 획득되는 투영격자 패턴의 진폭과 진폭크기를 계산하여 측정대상물의 3차원 정보를 획득하는 것을 특징으로 하는 고속 초점위치 이동을 위해 다중파장 광원을 이용하는 3차원 형상 측정방법이 제공된다.According to another aspect of the present invention, there is provided a method of adjusting a center wavelength of a light source irradiated by a light source unit including a first light source of a first wavelength and a second light source of a second wavelength, Dimensional image of the measurement object by acquiring the pattern image reflected by the measurement object for each wavelength band of the light source and calculating amplitude and amplitude magnitudes of the acquired projection grid pattern by using the pattern projection light, Dimensional shape measuring method using a multi-wavelength light source for high-speed focal position movement.

상기와 같은 본 발명에 따르면, 초점 조절을 위해 측정 대상물이나 검사장치를 이송할 필요가 없고 고속 초점위치 이동이 가능하여 그에 따라 검사속도가 현저하게 빨라질 수 있는 효과가 있다.According to the present invention as described above, it is not necessary to transfer a measurement object or an inspection apparatus for focus adjustment, and a high-speed focal position can be moved, thereby enabling an inspection speed to be remarkably increased.

도 1은 종래기술에 따른 3차원 측정장치의 개략적인 구성도이다.
도 2는 한국등록특허 제10-1333299호에 따른 투영격자 진폭 크기를 이용한 3차원 측정장치의 개략적인 구성도이다.
도 3은 본 발명의 일 실시예에 따른 3차원 형상 측정장치의 개략적인 구성도이다.
도 4는 본 발명의 다른 일 실시예에 따른 3차원 형상 측정장치의 개략적인 구성도이다.1 is a schematic configuration diagram of a conventional three-dimensional measuring apparatus.
FIG. 2 is a schematic diagram of a three-dimensional measurement apparatus using a projection grating amplitude magnitude according to Korean Patent No. 10-1333299.
3 is a schematic block diagram of a three-dimensional shape measuring apparatus according to an embodiment of the present invention.
4 is a schematic block diagram of a three-dimensional shape measuring apparatus according to another embodiment of the present invention.

이하에서는 첨부된 도면을 참고하여 본 발명의 바람직한 실시예들을 상세하게 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 3은 본 발명의 일 실시예에 따른 3차원 형상 측정장치의 개략적인 구성도이다.3 is a schematic block diagram of a three-dimensional shape measuring apparatus according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일 실시예에 따른 3차원 형상 측정장치는 광원부(10), 투영격자(20), 광 분할기(40), 영상 획득부(50), 투영렌즈(60) 및 제어부(70)를 포함하여 구성된다.3, a three-dimensional shape measuring apparatus according to an embodiment of the present invention includes a light source 10, a projection grating 20, a light splitter 40, an image acquiring unit 50, a projection lens 60, And a control unit 70.

광원부(10)는 측정대상물(100)에 빛을 조사하기 위한 것으로서, 종래기술과 달리 본 발명의 광원은 서로 다른 파장대역의 빛을 출력하는 제 1 및 제 2 광원을 구비하고, 제 1 및 제 2 광원의 출력을 제어하여 광원부(10)에서 출력되는 빛의 중심파장을 변화시키도록 한 것이 특징적인 구성이다.Unlike the prior art, the light source of the present invention has first and second light sources for outputting lights of different wavelength bands, and the first and second light sources And the center wavelength of the light output from the light source unit 10 is changed by controlling the output of the two light sources.

투영격자(20)는 광원부(10)의 전방에 설치되어 광원부(10)에서 출사되는 빛이 투영격자(20)를 통과하면서 일정 주기성분을 갖는 격자패턴광으로 변경되도록 하는 것이다. 투영격자(20)는 위상이동 구동계(30)를 이용하여 투영위치가 제어된다. 본 실시예에서는 물리적 투영격자(20)가 존재하는 것으로 설명하였으나, 투영격자(20)를 소프트웨어적으로 구현하는 것도 가능함은 물론이다.The projection grating 20 is disposed in front of the light source 10 so that the light emitted from the light source 10 passes through the projection grating 20 and is changed into grating light having a constant periodic component. The projection grating 20 is controlled in its projection position by using the phase-shift driving system 30. Although the physical projection grating 20 has been described in the present embodiment, it is needless to say that the projection grating 20 may be implemented in software.

격자패턴광은 광 분할기(40)에 입사되고, 입사방향에 대해 약 45도 정도로 반사되어 측정대상물(100)을 향하게 된다.The grating pattern light is incident on the light splitter 40, and is reflected to about 45 degrees with respect to the incident direction, and is directed to the measurement object 100. [

광 분할기(40)에 의해 반사되어 측성대상물(100)을 향하는 격자패턴광은 투영렌즈(60)를 통해 측정대상물(100)에 조사된다.The grating pattern light reflected by the light splitter 40 and directed to the side of the object 100 is irradiated onto the object of measurement 100 through the projection lens 60.

영상 획득부(50)는 측정대상물에 영사된 패턴영상을 획득하는 것으로서, 측정대상물(100)에 투영되는 격자의 패턴을 획득하는 이미지센서, 이미지센서에서 획득하는 영상을 제어부로 전송하는 영상보드, 이미지센서와 측정대상물(100) 사이에 배치되는 대물렌즈로 구성될 수 있다.The image acquiring unit 50 acquires a pattern image projected on the measurement object, and includes an image sensor that acquires a pattern of a grid projected on the measurement object 100, an image board that transmits an image acquired by the image sensor to the controller, And an objective lens disposed between the image sensor and the measurement object 100.

제어부(70)는 광원부(10)를 제어하여 광원의 중심파장을 변경시켜 측정대상물(100)의 결상위치를 변경하면서 상기 영상 획득부에서 상기 패턴영상을 획득하도록 하고, 영상 획득부(50)에서 획득되는 투영격자 패턴의 진폭과 진폭크기를 계산하여 측정대상물(100)의 3차원 정보를 획득한다. 본 실시예에서 제어부(70)에서 광원부(10)와 영상 획득부(50)를 제어하는 제어 기능과 측정대상물의 형상을 측정하는 연산 기능을 동시에 수행하는 것으로 설명하였으나, 제어부(70)와 별도로 연산부를 구비하는 것도 가능함은 당연한 것이다.The control unit 70 controls the light source unit 10 to change the central wavelength of the light source so as to obtain the pattern image at the image acquisition unit while changing the imaging position of the measurement object 100, And obtains three-dimensional information of the measurement object 100 by calculating amplitude and amplitude magnitudes of the acquired projection grid pattern. The control unit 70 controls the light source unit 10 and the image obtaining unit 50 and the calculation function of measuring the shape of the measurement object at the same time. However, in addition to the control unit 70, It is obvious that it is possible to provide the light emitting diode.

본 발명의 주요한 특징은 광원부(10)가 2개의 서로 다른 파장을 갖는 광원으로 구성되고, 각 광원을 제어함으로써 광원의 중심파장을 변화시킬 수 있도록 하고, 이와 같이 광원부(10)에서 출사되는 빛의 중심파장을 가변시키면서 빛을 조사하면 빛의 결상 위치 즉 초점 위치가 가변될 수 있고, 영상 획득부(50)는 각 초점 위치에서 패턴영상을 획득하게 하는 것이다. The main feature of the present invention is that the light source unit 10 is composed of a light source having two different wavelengths, and the center wavelength of the light source can be changed by controlling each light source, When the light is irradiated while varying the central wavelength, the imaging position of the light, that is, the focal position, can be varied, and the image obtaining unit 50 obtains the pattern image at each focal position.

이와 같이 각 초점 위치에서의 패턴영상 이미지가 획득되면, 제어부(70)가 측정대상물의 각 지점에 대응되는 픽셀들의 진폭의 크기를 추출한 후 진폭의 크기가 가장 큰 값을 해당 지점의 높이로 결정하게 된다. 여러 초점위치에서의 픽셀의 진폭 크기를 비교하여 가장 선명도가 높은 값을 취하여 해당 지점의 높이를 산출하는 것은 종래기술로서 언급한 한국등록특허 제10-1333299호 및 한국등록특허 제10-1423829호와 동일한 것이다. After obtaining the pattern image at each focal position, the controller 70 extracts the magnitude of the amplitude of the pixels corresponding to each point of the measurement object, and then determines the largest amplitude as the height of the corresponding point do. It is an object of the present invention to compare the amplitude magnitudes of pixels at various focal positions to obtain the highest sharpness value and to calculate the height of the corresponding point, as described in Korean Patent No. 10-1333299 and Korean Patent No. 10-1423829 It is the same.

그러나, 본 발명은 초점 위치 변경을 위해 상기 선행문헌들과 같이 물리적인 이송수단을 사용하지 않고 광원의 중심파장 이동을 통해 초점위치를 고속으로 이동할 수 있으므로 상기 선행문헌들에 비해 검사속도가 훨씬 단축되고 진동이 발생하지 않아 검사 정확도도 향상되게 된다.However, according to the present invention, since the focal position can be moved at a high speed through the center wavelength shift of the light source without using a physical transferring means like the above-mentioned prior art documents for changing the focal position, the examination speed is much shorter The vibration is not generated and the inspection accuracy is improved.

여기서, 광원의 중심파장을 변경하는 방법은 여러가지 방법이 적용될 수 있다.Here, various methods can be applied to the method of changing the central wavelength of the light source.

그 일례로서, 파장이 다른 2개의 광원의 광 강도를 조정하는 방법, 파장이 다른 2개의 광원의 ON 시간을 조정하는 방법(예를 들어, 이미지 센서 노출시간이 1초일 때 제 1 광원은 0.4초 ON, 제 2 광원은 0.6초 ON), 파장이 다른 2개의 광원의 듀티비를 조정하는 방법 등이 있을 수 있다. As an example of such a method, there are a method of adjusting the light intensity of two light sources having different wavelengths, a method of adjusting the ON time of two light sources having different wavelengths (for example, when the image sensor exposure time is 1 second, ON, the second light source is ON for 0.6 seconds), and a method of adjusting the duty ratios of the two light sources having different wavelengths.

도 4는 본 발명의 다른 일 실시예에 따른 3차원 형상 측정장치의 개략적인 구성도이다.4 is a schematic block diagram of a three-dimensional shape measuring apparatus according to another embodiment of the present invention.

도 3의 실시예는 투영렌즈(60)가 색수차가 있는 렌즈일 경우 잘 적용될 수 있는 기술이다. 즉, 색수차가 있는 렌즈의 경우에는 빛의 파장대역에 따라서 초점 거리가 가변되는 특성이 있으므로 이러한 특성을 이용하는 것이다.The embodiment of FIG. 3 is a technique that can be applied well when the projection lens 60 is a lens having chromatic aberration. That is, in the case of a lens having a chromatic aberration, the focal length varies depending on the wavelength band of the light, so that the characteristic is used.

그에 반해, 투영렌즈(60)가 색수차 보정렌즈의 경우에는 색수차 보정에 의해 이러한 특성이 잘 나타나지 않으므로 도 3의 실시예를 적용하기 어려울 수 있다.On the other hand, when the projection lens 60 is a chromatic aberration correcting lens, it is difficult to apply the embodiment of Fig. 3 because such characteristics are not displayed well by chromatic aberration correction.

이를 위해, 도 4의 실시예에서는 투영렌즈(60)와 측정 대상물(100) 간에 투명 플레이트(80)를 개재하였다.4, a transparent plate 80 is interposed between the projection lens 60 and the object to be measured 100.

투명 플레이트(80)는 굴절률(n)이 1이 아닌 투명재질이 사용될 수 있는데 대표적으로 유리가 사용될 수 있다. 굴절률(n)이 1이 아닌 투명재질이 사용되는 경우 투명 플레이트(80)를 통과하는 빛의 파장대역에 따라 초점 거리가 가변되므로 도 3의 실시예와 유사한 방식으로 측정 대상물(100)의 형상을 측정할 수 있게 된다.As the transparent plate 80, a transparent material having a refractive index n of not 1 may be used, and glass may be used typically. When a transparent material having a refractive index n of 1 is used, the focal length of the transparent plate 80 varies according to the wavelength band of the light passing through the transparent plate 80. Therefore, It becomes possible to measure.

10 : 광원부 20 : 투영격자
30 : 위상이송 구동계 40 : 광 분할기
50 : 영상 획득부 60 : 투영렌즈
70 : 제어부 80 : 투명 플레이트
100 : 측정 대상물10: light source 20: projection grating
30: phase transfer driving system 40: optical splitter
50: image acquisition unit 60: projection lens
70: control unit 80: transparent plate
100: object to be measured

Claims (12)

제 1 파장의 제 1 광원과 제 2 파장의 제 2 광원을 포함하는 광원부;
상기 광원부의 앞쪽에 설치되며, 상기 광원의 빛을 받아 측정대상물에 투영되는 주기성분을 갖는 투영격자;
상기 측정대상물에 영사된 투영격자의 패턴영상을 획득하는 영상 획득부;
상기 영상 획득부와 측정대상물의 사이에 위치하는 투영렌즈; 및
상기 광원부를 제어하여 광원의 중심파장을 변경시켜 상기 측정대상물의 결상위치를 변경하면서 상기 영상 획득부에서 상기 패턴영상을 획득하도록 하고, 상기 영상 획득부에서 획득되는 투영격자 패턴의 진폭과 진폭크기를 계산하여 측정대상물의 3차원 정보를 획득하는 제어부를 포함하는 것을 특징으로 하는 고속 초점위치 이동을 위해 다중파장 광원을 이용하는 3차원 형상 측정장치.A light source unit including a first light source of a first wavelength and a second light source of a second wavelength;
A projection grating installed at a front side of the light source unit and having a periodic component that receives light of the light source and is projected onto a measurement object;
An image acquiring unit acquiring a pattern image of a projection grating projected on the measurement object;
A projection lens positioned between the image acquisition unit and the measurement object; And
The image acquiring unit acquires the pattern image while changing the center wavelength of the light source by controlling the light source unit to change the image forming position of the measurement object and adjusts the amplitude and amplitude magnitude of the projection grating pattern acquired by the image acquiring unit And a control unit for calculating three-dimensional information of the object to be measured by using the multi-wavelength light source. 제 1 항에 있어서,
상기 투영렌즈가 색수차가 있는 렌즈인 경우 상기 광원의 중심파장 변경에 따라 상기 투영격자 패턴의 결상 위치가 변경되는 것을 특징으로 하는 고속 초점위치 이동을 위해 다중파장 광원을 이용하는 3차원 형상 측정장치.The method according to claim 1,
Wherein when the projection lens is a lens having a chromatic aberration, an image forming position of the projection grating pattern is changed in accordance with a change in a central wavelength of the light source. 제 1 항에 있어서,
상기 투영렌즈가 색수보정렌즈인 경우, 상기 투영렌즈와 측정대상물 간에 투명 플레이트가 개재되는 것을 특징으로 하는 고속 초점위치 이동을 위해 다중파장 광원을 이용하는 3차원 형상 측정장치.The method according to claim 1,
Wherein a transparent plate is interposed between the projection lens and the measurement object when the projection lens is a chromaticity correction lens, wherein the transparent plate is interposed between the projection lens and the measurement object. 제 3 항에 있어서,
상기 투명 플레이트는 굴절률 n=1이 아닌 투명재질인 것을 특징으로 하는 고속 초점위치 이동을 위해 다중파장 광원을 이용하는 3차원 형상 측정장치.The method of claim 3,
Wherein the transparent plate is made of a transparent material having a refractive index n = 1, and the transparent plate is a transparent material having a refractive index n = 1. 제 4 항에 있어서,
상기 투명 플레이트는 굴절률 n=1이 아닌 유리 재질인 것을 특징으로 하는 고속 초점위치 이동을 위해 다중파장 광원을 이용하는 3차원 형상 측정장치.5. The method of claim 4,
Wherein the transparent plate is made of a glass material having a refractive index n = 1. 제 1 항에 있어서,
상기 광원 중심파장의 변경은 제 1 광원과 제 2 광원의 세기를 각각 조정하여 이루어지는 것을 특징으로 하는 고속 초점위치 이동을 위해 다중파장 광원을 이용하는 3차원 형상 측정장치.The method according to claim 1,
Wherein the center wavelength of the light source is changed by adjusting the intensity of the first light source and the intensity of the second light source, respectively. 제 1 항에 있어서,
상기 광원 중심파장의 변경은 제 1 광원과 제 2 광원의 ON 시간 또는 듀티비를 각각 조정하여 이루어지는 것을 특징으로 하는 고속 초점위치 이동을 위해 다중파장 광원을 이용하는 3차원 형상 측정장치.The method according to claim 1,
Wherein the changing of the center wavelength of the light source is performed by adjusting ON time or duty ratio of the first light source and the second light source, respectively. 3차원 형상 측정방법에 있어서,
제 1 파장의 제 1 광원과 제 2 파장의 제 2 광원을 포함하는 광원부에서 조사되는 광원의 중심파장을 변경하면서 측정대상물에 격자패턴의 빛의 투영렌즈를 통해 조사하고, 광원의 각 파장대역별로 상기 측정대상물에서 반사되는 패턴영상을 획득하며, 획득되는 투영격자 패턴의 진폭과 진폭크기를 계산하여 측정대상물의 3차원 정보를 획득하는 것을 특징으로 하는 고속 초점위치 이동을 위해 다중파장 광원을 이용하는 3차원 형상 측정방법.In a three-dimensional shape measuring method,
The measurement object is irradiated through a projection lens of a lattice pattern while changing the central wavelength of the light source irradiated from the light source section including the first light source of the first wavelength and the second light source of the second wavelength, Dimensional information of the object to be measured is obtained by acquiring a pattern image reflected by the object to be measured and calculating amplitude and amplitude magnitudes of the projection grating pattern to be obtained. Dimensional shape measurement method. 제 8 항에 있어서,
상기 투영렌즈가 색수보정렌즈인 경우, 상기 투영렌즈와 측정대상물 간에 위치하는 투명 플레이트를 통해 격자패턴의 빛을 측정대상물에 조사하는 것을 특징으로 하는 고속 초점위치 이동을 위해 다중파장 광원을 이용하는 3차원 형상 측정방법.9. The method of claim 8,
Wherein when the projection lens is a chromaticity correction lens, a grating pattern light is irradiated onto the measurement object through a transparent plate positioned between the projection lens and the measurement object. Shape measuring method. 제 9 항에 있어서,
상기 투명 플레이트는 굴절률 n=1이 아닌 투명재질인 것을 특징으로 하는 고속 초점위치 이동을 위해 다중파장 광원을 이용하는 3차원 형상 측정방법.10. The method of claim 9,
Wherein the transparent plate is a transparent material having a refractive index n = 1, and the transparent plate is a transparent material having a refractive index n = 1. 제 8 항에 있어서,
상기 광원 중심파장의 변경은 제 1 광원과 제 2 광원의 세기를 각각 조정하여 이루어지는 것을 특징으로 하는 고속 초점위치 이동을 위해 다중파장 광원을 이용하는 3차원 형상 측정방법.9. The method of claim 8,
Wherein the center wavelength of the light source is changed by adjusting the intensities of the first light source and the second light source, respectively. 제 8 항에 있어서,
상기 광원 중심파장의 변경은 제 1 광원과 제 2 광원의 ON 시간 또는 듀티비를 각각 조정하여 이루어지는 것을 특징으로 하는 고속 초점위치 이동을 위해 다중파장 광원을 이용하는 3차원 형상 측정방법.


9. The method of claim 8,
Wherein the changing of the center wavelength of the light source is performed by adjusting ON time or duty ratio of the first light source and the second light source, respectively.


KR1020150073494A 2015-05-27 2015-05-27 3-D Shape Mesuring Apparatus Using Multi Frequency light Source For High Speed Foucs Position Movement Active KR101677585B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150073494A KR101677585B1 (en) 2015-05-27 2015-05-27 3-D Shape Mesuring Apparatus Using Multi Frequency light Source For High Speed Foucs Position Movement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150073494A KR101677585B1 (en) 2015-05-27 2015-05-27 3-D Shape Mesuring Apparatus Using Multi Frequency light Source For High Speed Foucs Position Movement

Publications (1)

Publication Number Publication Date
KR101677585B1 true KR101677585B1 (en) 2016-11-18

Family

ID=57537622

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150073494A Active KR101677585B1 (en) 2015-05-27 2015-05-27 3-D Shape Mesuring Apparatus Using Multi Frequency light Source For High Speed Foucs Position Movement

Country Status (1)

Country Link
KR (1) KR101677585B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040055014A (en) * 2002-12-20 2004-06-26 한국과학기술원 3D shape measuring instrument using multi-channel phase shifting moire technique
JP2013205295A (en) * 2012-03-29 2013-10-07 Noa:Kk Image processing device
KR101333299B1 (en) 2011-09-09 2013-11-27 주식회사 인스펙토 3D Shape Mesurement Mehod and Device by using Amplitude of Projection Grating
KR20140032665A (en) * 2012-09-07 2014-03-17 주식회사 인스펙토 3d shape mesurement mehod and device by using amplitude of projection grating
JP2015505039A (en) * 2011-12-12 2015-02-16 ザイゴ コーポレーションＺｙｇｏ Ｃｏｒｐｏｒａｔｉｏｎ Non-contact surface shape evaluation using modulated light

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040055014A (en) * 2002-12-20 2004-06-26 한국과학기술원 3D shape measuring instrument using multi-channel phase shifting moire technique
KR101333299B1 (en) 2011-09-09 2013-11-27 주식회사 인스펙토 3D Shape Mesurement Mehod and Device by using Amplitude of Projection Grating
JP2015505039A (en) * 2011-12-12 2015-02-16 ザイゴ コーポレーションＺｙｇｏ Ｃｏｒｐｏｒａｔｉｏｎ Non-contact surface shape evaluation using modulated light
JP2013205295A (en) * 2012-03-29 2013-10-07 Noa:Kk Image processing device
KR20140032665A (en) * 2012-09-07 2014-03-17 주식회사 인스펙토 3d shape mesurement mehod and device by using amplitude of projection grating
KR101423829B1 (en) 2012-09-07 2014-07-25 주식회사 인스펙토 3D Shape Mesurement Mehod and Device by using Amplitude of Projection Grating

Similar Documents

Publication Publication Date Title
TWI553342B (en) Measuring topography of aspheric and other non-flat surfaces
US5956141A (en) Focus adjusting method and shape measuring device and interference microscope using said focus adjusting method
KR101590241B1 (en) Optical characteristics measuring apparatus, and optical characteristics measuring method
US8610902B2 (en) Apparatus and method for inspecting an object with increased depth of field
US20140043619A1 (en) Chromatic confocal scanning apparatus
KR101596290B1 (en) Thickness Measuring Apparatus And Thickness Measuring Method
KR102285818B1 (en) Apparatus for monitoring three-dimensional shape of target object capable of auto focusing in real time
US20140198320A1 (en) Three-dimensional profile measurement apparatus and method using amplitude size of projection grid
JP4188515B2 (en) Optical shape measuring device
JP2015505039A (en) Non-contact surface shape evaluation using modulated light
KR101423829B1 (en) 3D Shape Mesurement Mehod and Device by using Amplitude of Projection Grating
KR101920349B1 (en) Apparatus for monitoring three-dimensional shape of target object
KR101116295B1 (en) Apparatus for measurment of three-dimensional shape
KR101764868B1 (en) Apparatus of high speed white light scanning interferometer using dual coherence for high step height and thickness measurements
KR20080090225A (en) Apparatus and method for measuring surface shape using polarization split interferometer.
JP5124485B2 (en) Optical surface sensor
KR101239409B1 (en) 2d shape and 3d shape measuring apparatus and method based on phase shifting interferometry
JP6273109B2 (en) Optical interference measurement device
KR101333299B1 (en) 3D Shape Mesurement Mehod and Device by using Amplitude of Projection Grating
US8334981B2 (en) Orthogonal-polarization mirau interferometry and beam-splitting module and interferometric system using the same
KR101436745B1 (en) Spectrometer to measure the spectral shape measurement device to implement
KR101677585B1 (en) 3-D Shape Mesuring Apparatus Using Multi Frequency light Source For High Speed Foucs Position Movement
JP2009069075A (en) Oblique incidence interferometer and calibration method for oblique incidence interferometer
JP2009300267A (en) Shape measuring apparatus
KR101436746B1 (en) Tilt the mirror shape by controlling the interference distance measuring device

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150527

PA0201 Request for examination
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20160818

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20161114

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20161114

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20191001

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20201228

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20211101

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20220920

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee