KR101196218B1 - 3차원 형상 측정장치 - Google Patents

3차원 형상 측정장치 Download PDF

Info

Publication number
KR101196218B1
KR101196218B1 KR1020090109713A KR20090109713A KR101196218B1 KR 101196218 B1 KR101196218 B1 KR 101196218B1 KR 1020090109713 A KR1020090109713 A KR 1020090109713A KR 20090109713 A KR20090109713 A KR 20090109713A KR 101196218 B1 KR101196218 B1 KR 101196218B1
Authority
KR
South Korea
Prior art keywords
unit
grating
light
dimensional shape
measurement object
Prior art date
Application number
KR1020090109713A
Other languages
English (en)
Other versions
KR20110052956A (ko
Inventor
김홍민
전문영
고광일
Original Assignee
주식회사 고영테크놀러지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 고영테크놀러지 filed Critical 주식회사 고영테크놀러지
Priority to KR1020090109713A priority Critical patent/KR101196218B1/ko
Publication of KR20110052956A publication Critical patent/KR20110052956A/ko
Application granted granted Critical
Publication of KR101196218B1 publication Critical patent/KR101196218B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/02041—Interferometers characterised by particular imaging or detection techniques

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

격자 패턴광의 반사 이미지를 촬영하여 측정 대상물의 3차원 형상을 측정하는 3차원 형상 측정장치는 광을 발생시키는 제1 광원유닛, 제1 광원유닛으로부터 발생된 광을 격자무늬를 갖는 제1 격자 패턴광으로 변경시키는 제1 격자유닛 및 제1 격자유닛을 이송시키는 제1 격자이송유닛을 포함하는 제1 조명부를 포함하며, 제1 조명부는 제1 격자 패턴광을 측정 대상물에 조사한다. 제1 격자유닛은 허니콤 구조로 형성되며, 제1 방향을 따라 서로 연결된 복수의 단위 셀들을 포함하고, 제1 방향을 따라 서로 연결된 단위 셀들은 소정간격 이격되어 병렬로 배치된다. 따라서, 제1 격자유닛이 허니콤 구조로 형성됨으로써, 측정 대상물의 3차원 형상을 측정할 때 정확성이 향상될 수 있다.

Description

3차원 형상 측정장치{THREE DIMENSIONAL SHAPE MEASURING APPARATUS}
본 발명은 3차원 형상 측정장치에 관한 것으로, 보다 상세하게는 격자 패턴광을 조사하여 측정 대상물의 3차원 형상을 측정하는 3차원 형상 측정장치에 관한 것이다.
일반적으로, 3차원 형상 측정장치는 격자 패턴광을 측정 대상물에 조사하여 상기 격자 패턴광의 반사 이미지를 촬영함으로써 상기 측정 대상물의 3차원 형상을 측정하는 측정장치이다. 이러한 3차원 형상 측정장치는 스테이지, 카메라, 조명 유닛 및 중앙 처리부 등을 포함한다.
상기 3차원 형상 측정장치를 이용한 상기 측정 대상물의 3차원 형상의 측정은 일반적으로 다음과 같이 수행된다.
우선, 상기 조명 유닛에서 출사되는 상기 격자 패턴광을 상기 스테이지 상에 배치된 상기 측정 대상물로 조사한다. 이때, 상기 격자 패턴광은 N번 이동하면서 상기 측정 대상물로 조사된다. 이후, 상기 카메라는 상기 측정 대상물로부터 반사되는 상기 격자 패턴광을 검출하여 상기 측정 대상물의 N개의 패턴 영상들을 획득한다. 이어서, 상기 중앙 처리부는 N-버켓 알고리즘(N-bucket algorithm)을 이용 하여 상기 N개의 패턴 영상들로부터 상기 측정 대상물의 각 위치에 따른 높이를 계산해낸다. 이렇게 계산된 상기 각 위치에 따른 높이를 종합할 경우, 상기 측정 대상물의 3차원 형상을 측정할 수 있다.
종래의 3차원 형상 측정장치는 상기 격자 패턴광을 검출하여 획득된 상기 N개의 패턴 영상들을 사인(sine)파로 가정하고, 상기 N-버켓 알고리즘을 이용하여 상기 측정 대상물의 각 위치에 따른 높이를 계산하여 왔다. 그러나, 상기 N개의 패턴 영상들은 이상적인 사인파가 아니기 때문에 상기 측정 대상물의 각 위치에 따른 높이를 계산할 때, 정확성이 떨어지는 문제점이 발생되었다.
따라서 본 발명은 이와 같은 문제점을 감안한 것으로서, 본 발명은 정확성이 높은 패턴 영상들을 획득할 수 있는 3차원 형상 측정장치를 제공하는 것이다.
본 발명의 예시적인 일 실시예에 따른 3차원 형상 측정장치는 격자 패턴광의 반사 이미지를 촬영하여 측정 대상물의 3차원 형상을 측정한다. 상기 3차원 형상 측정장치는 제1 조명부를 포함한다. 상기 제1 조명부는 광을 발생시키는 제1 광원유닛, 상기 제1 광원유닛으로부터 발생된 광을 제1 격자무늬를 갖는 제1 격자 패턴광으로 변경시키는 제1 격자유닛 및 상기 제1 격자유닛을 이송시키는 제1 격자이송유닛을 포함한다. 상기 제1 조명부는 상기 제1 격자 패턴광을 상기 측정 대상물에 조사한다. 상기 제1 격자유닛은 허니콤(honeycomb) 구조로 형성되며, 제1 방향을 따라 서로 연결된 복수의 단위 셀들을 포함하고, 상기 제1 방향을 따라 서로 연결된 상기 단위 셀들은 소정간격 이격되어 병렬로 배치된다.
예를 들면, 상기 단위 셀은 육각형 형상을 가지며, 제1 변, 상기 제1 변과 경사지며 연장된 제2 변, 상기 제2 변과 경사지며 연장된 제3 변, 상기 제3 변과 경사지며 연장되고 상기 제1 변과 대향된 제4 변, 상기 제4 변과 경사지며 연장되고 상기 제2 변과 대향된 제5 변, 상기 제5 변과 경사지며 연장되고 상기 제3 변과 대향된 제6 변을 포함할 수 있다.
그리고, 상기 단위 셀의 상기 제1 변의 길이, 상기 단위 셀의 상기 제4 변의 길이, 및 상기 단위 셀의 제1 꼭지점과 상기 단위 셀에 상기 제1 방향과 수직한 제2 방향으로 이웃하여 위치한 단위 셀의 제2 꼭지점 간의 길이는 서로 동일할 수 있는데, 이때 상기 제1 꼭지점은 상기 제5 변과 상기 제6 변이 연결되는 점, 상기 제2 꼭지점은 상기 제2 변과 상기 제3 변이 연결되는 점으로 각각 정의된다. 또한, 상기 단위 셀은 상기 제1 변의 길이 및 상기 제4 변은 서로 평행하고 동일한 길이를 가지고, 상기 제2 변 및 상기 제3 변은 상기 제1 변 및 상기 제4 변 사이에서 상기 제1 변 및 상기 제4변과 평행인 평행축에 대하여 서로 대칭이며, 상기 제1 변의 길이에 대한 상기 제2 변을 상기 평행축에 투영한 길이의 비는 1:3 내지 3:5의 범위를 가질 수 있다.
상기 3차원 형상 측정장치는 제2 조명부를 더 포함할 수 있다. 상기 제2 조명부는 광을 발생시키는 제2 광원유닛, 상기 제2 광원유닛으로부터 발생된 광을 제2 격자무늬를 갖는 제2 격자 패턴광으로 변경시키는 제2 격자유닛 및 상기 제2 격자유닛을 이송시키는 제2 격자이송유닛을 포함할 수 있다. 상기 제2 조명부는 상기 제2 격자 패턴광을 상기 측정 대상물에 조사할 수 있다.
상기 제2 격자유닛은 허니콤 구조로 형성되며, 상기 제1 방향을 따라 서로 연결된 상기 단위 셀들을 포함하고, 상기 제1 방향을 따라 서로 연결된 상기 단위 셀들은 소정간격 이격되어 병렬로 배치될 수 있다. 그리고, 상기 제1 격자유닛 및 상기 제2 격자유닛은 상기 측정 대상물을 사이에 두고 양측에 각각 배치될 수 있다. 한편, 상기 제1 및 제2 조명부는 비점수차 투영렌즈를 더 포함할 수 있다.
이와 같이, 제1 및 제2 격자유닛을 허니콤 구조로 형성하여 측정 대상물에 조사되는 격자 패턴광을 상기 허니콤 구조에 대응하여 사인파에 근접하게 생성시킴 으로써, 영상 획득부에서 획득된 패턴영상들로부터 측정 대상물의 각 위치에 따른 높이를 계산할 때 정확성을 향상시킬 수 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 의한 3차원 형상 측정방법에 사용되는 예시적인 3차원 형상 측정장치를 도시한 개념도이다.
도 1을 참조하면, 본 실시예에 의한 3차원 형상 측정방법에 사용되는 3차원 형상 측정장치는 측정 스테이지부(100), 영상 촬영부(200), 제1 및 제2 조명부(300,400)들을 포함하는 제1 조명 유닛, 제2 조명 유닛(450), 영상 획득부(500), 모듈 제어부(600) 및 중앙 제어부(700)를 포함할 수 있다.
상기 측정 스테이지부(100)는 측정 대상물(10)을 지지하는 스테이지(110) 및 상기 스테이지(110)를 이송시키는 스테이지 이송유닛(120)을 포함할 수 있다. 본 실시예에서, 상기 스테이지(110)에 의해 상기 측정 대상물(10)이 상기 영상 촬영부(200)와 상기 제1 및 제2 조명부들(300,400)에 대하여 이동함에 따라, 상기 측정 대상물(10)에서의 측정위치가 변경될 수 있다.
상기 영상 촬영부(200)는 상기 스테이지(110)의 상부에 배치되어, 상기 측정 대상물(10)로부터 반사되어온 광을 인가받아 상기 측정 대상물(10)에 대한 영상을 측정한다. 즉, 상기 영상 촬영부(200)는 상기 제1 및 제2 조명부들(300,400)에서 출사되어 상기 측정 대상물(10)에서 반사된 광을 인가받아, 상기 측정 대상물(10)의 평면영상을 촬영한다.
상기 영상 촬영부(200)는 카메라(210), 결상렌즈(220), 필터(230) 및 원형램프(240)를 포함할 수 있다. 상기 카메라(210)는 상기 측정 대상물(10)로부터 반사되는 광을 인가받아 상기 측정 대상물(10)의 평면영상을 촬영하며, 일례로 CCD 카메라나 CMOS 카메라 중 어느 하나가 채용될 수 있다.
상기 결상렌즈(220)는 상기 카메라(210)의 하부에 배치되어, 상기 측정 대상물(10)에서 반사되는 광을 상기 카메라(210)에서 결상시킨다. 상기 필터(230)는 상기 결상렌즈(220)의 하부에 배치되어, 상기 측정 대상물(10)에서 반사되는 광을 여과시켜 상기 결상렌즈(220)로 제공하고, 일례로 주파수 필터, 컬러필터 및 광세기 조절필터 중 어느 하나로 이루어질 수 있다. 상기 원형램프(240)는 상기 필터(230)의 하부에 배치되어, 상기 측정 대상물(10)의 2차원 형상과 같은 특이영상을 촬영하기 위해 상기 측정 대상물(10)로 광을 제공할 수 있다.
상기 제1 조명부(300)는 예를 들면 상기 영상 촬영부(200)의 우측에 상기 측정 대상물(10)을 지지하는 상기 스테이지(110)에 대하여 경사지게 배치될 수 있다. 예를 들어, 상기 제1 조명부(300)는 제1 격자 패턴광을 상기 측정 대상물(10)에 조 사할 수 있다. 상기 제1 조명부(300)는 제1 광원유닛(310), 제1 격자유닛(320), 제1 격자 이송유닛(330) 및 제1 집광렌즈(340)를 포함할 수 있다.
상기 제1 광원유닛(310)은 조명원과 적어도 하나의 렌즈로 구성되어 광을 발생시키고, 상기 제1 격자유닛(320)은 상기 제1 광원유닛(310)의 하부에 배치되어 상기 제1 광원유닛(310)에서 발생된 광을 격자무늬 패턴을 갖는 상기 제1 격자 패턴광으로 변경시킨다. 상기 제1 격자 이송유닛(330)은 상기 제1 격자유닛(320)과 연결되어 상기 제1 격자유닛(320)을 이송시키고, 일례로 PZT(Piezoelectirc) 이송유닛이나 미세직선 이송유닛 중 어느 하나를 채용할 수 있다. 상기 제1 집광렌즈(340)는 상기 제1 격자유닛(320)의 하부에 배치되어 상기 제1 격자유닛(320)으로부터 출사된 상기 제1 격자 패턴광을 상기 측정 대상물(10)로 집광시킨다. 상기 제1 집광렌즈(340)는 예를 들어, 비점수차 투영렌즈로 형성될 수 있다. 상기 비점수차 투영렌즈는 서로 직교하는 두 방향의 초점거리가 다른 렌즈로서, 예를 들면 상기 제1 집광렌즈(340)는 후술되는 단위 셀(322)이 병렬로 배치되는 방향 및 이에 수직한 방향으로 초점거리가 다르게 형성될 수 있다.
상기 제2 조명부(400)는 예를 들면 상기 영상 촬영부(200)의 좌측에 상기 측정 대상물(10)을 지지하는 상기 스테이지(110)에 대하여 경사지게 배치될 수 있다. 예를 들어, 상기 제2 조명부(400)는 제2 격자 패턴광을 상기 측정 대상물(10)에 조사할 수 있다. 상기 제2 조명부(400)는 제2 광원유닛(410), 제2 격자유닛(420), 제2 격자 이송유닛(430) 및 제2 집광렌즈(440)를 포함할 수 있다. 상기 제2 조명부(400)는 위에서 설명한 상기 제1 조명부(300)와 실질적으로 동일하므로, 중복되 는 상세한 설명은 생략한다.
상기 제1 조명부(300)는 상기 제1 격자 이송유닛(330)이 상기 제1 격자유닛(320)을 N번 순차적으로 이동하면서 상기 측정 대상물(10)로 N개의 제1 격자 패턴광들을 조사할 때, 상기 영상 촬영부(200)는 상기 측정 대상물(10)에서 반사된 상기 N개의 제1 격자 패턴광들을 순차적으로 인가받아 N개의 제1 패턴영상들을 촬영할 수 있다. 또한, 상기 제2 조명부(400)는 상기 제2 격자 이송유닛(430)이 상기 제2 격자유닛(420)을 N번 순차적으로 이동하면서 상기 측정 대상물(10)로 N개의 제2 격자 패턴광들을 조사할 때, 상기 영상 촬영부(200)는 상기 측정 대상물(10)에서 반사된 상기 N개의 제2 격자 패턴광들을 순차적으로 인가받아 N개의 제2 패턴영상들을 촬영할 수 있다. 여기서, 상기 N은 자연수로, 일 예로 4일 수 있다.
한편, 본 실시예에서는 상기 제1 및 제2 격자 패턴광들을 발생시키는 조명장치로 상기 제1 및 제2 조명부들(300,400)만을 설명하였으나, 이와 다르게 상기 조명부의 개수는 3개 이상일 수도 있다. 즉, 상기 측정 대상물(10)로 조사되는 격자 패턴광이 다양한 방향에서 조사되어, 다양한 종류의 패턴영상들이 촬영될 수 있다.
예를 들어, 3개의 조명부들이 상기 영상 촬영부(200)를 중심으로 정삼각형 형태로 배치될 경우, 3개의 격자 패턴광들이 서로 다른 방향에서 상기 측정 대상물(10)로 인가될 수 있고, 4개의 조명부들이 상기 영상 촬영부(200)를 중심으로 정사각형 형태로 배치될 경우, 4개의 격자 패턴광들이 서로 다른 방향에서 상기 측정 대상물(10)로 인가될 수 있다. 또한, 상기 제1 조명 유닛은 8개의 조명부들을 포함할 수 있으며, 이 경우 8개의 방향에서 격자 패턴광을 조사하여 영상을 촬영할 수 있다.
한편, 상기 3차원 형상 측정장치를 이용하여 3차원 형상을 측정할 때, 상기 제1 격자유닛(320)과 상기 제2 격자유닛(420)과 같은 격자유닛의 형상은 매우 중요한데, 이에 관하여는 후술한다.
상기 제2 조명 유닛(450)은 상기 측정 대상물(10)의 2차원적 영상을 획득하기 위한 광을 상기 측정 대상물(10)에 조사한다. 일 실시예로, 상기 제2 조명 유닛(450)은 적색조명(452), 녹색조명(454) 및 청색조명(456)을 포함할 수 있다. 예를 들면, 상기 적색조명(452), 상기 녹색조명(454) 및 청색조명(456)은 상기 측정 대상물(10)의 상부에서 원형으로 배치되어 상기 측정 대상물(10)에 각각 적색광, 녹색광 및 청색광을 조사할 수 있으며, 도 1에 도시된 바와 같이 각각 높이가 다르도록 형성될 수 있다.
상기 영상 획득부(500)는 상기 영상 촬영부(220)의 카메라(210)와 전기적으로 연결되어, 상기 카메라(210)로부터 상기 제1 조명 유닛에 의한 패턴영상들을 획득하여 저장한다. 또한, 상기 영상 획득부(500)는 상기 카메라(210)로부터 상기 제2 조명 유닛(450)에 의한 2차원적 영상들을 획득하여 저장한다. 예를 들어, 상기 영상 획득부(500)는 상기 카메라(210)에서 촬영된 상기 N개의 제1 패턴영상들 및 상기 N개의 제2 패턴영상들을 인가받아 저장하는 이미지 시스템을 포함한다.
상기 모듈 제어부(600)는 상기 측정 스테이지부(100), 상기 영상 촬영부(200), 상기 제1 조명부(300) 및 상기 제2 조명부(400)와 전기적으로 연결되어 제어한다. 상기 모듈 제어부(600)는 예를 들어, 조명 콘트롤러, 격자 콘트롤러 및 스테이지 콘트롤러를 포함한다. 상기 조명 콘트롤러는 상기 제1 및 제2 광원유닛들(310,410)을 각각 제어하여 광을 발생시키고, 상기 격자 콘트롤러는 상기 제1 및 제2 격자 이송유닛들(330,430)을 각각 제어하여 상기 제1 및 제2 격자유닛들(320,420)을 이동시킨다. 상기 스테이지 콘트롤러는 상기 스테이지 이송유닛(120)을 제어하여 상기 스테이지(110)를 상하좌우로 이동시킬 수 있다
상기 중앙 제어부(700)는 상기 영상 획득부(500) 및 상기 모듈 제어부(600)와 전기적으로 연결되어 각각을 제어한다. 구체적으로, 상기 중앙 제어부(700)는 상기 영상 획득부(500)의 이미지 시스템으로부터 상기 N개의 제1 패턴영상들 및 상기 N개의 제2 패턴영상들을 인가받아, 이를 처리하여 상기 측정 대상물(10)의 3차원 형상을 측정할 수 있다. 또한, 상기 중앙 제어부(700)는 상기 모듈 제어부(600)의 조명 콘트롤러, 격자 콘트롤러 및 스테이지 콘트롤러를 각각 제어할 수 있다. 이와 같이, 상기 중앙 제어부(700)는 이미지처리 보드, 제어 보드 및 인터페이스 보드를 포함할 수 있다.
이하, 상기와 같은 3차원 형상 측정장치를 이용하여 3차원 형상을 측정할 때, 상기 제1 및 제2 격자 유닛들(320,420)의 형상의 중요성을 설명한다.
상기 제1 및 제2 격자 패턴광들 각각은 N번, 예를 들어 3번 또는 4번 옆으로 이동하면서 상기 측정 대상물(10)로 조사함으로써, 상기 각 방향마다 상기 측정 대상물에 대한 N개의 제1 및 제2 패턴영상들을 획득한다. 예를 들어, 도 1에서와 같이 상기 제1 및 제2 조명부들(300, 400)에서 발생된 상기 제1 및 제2 격자 패턴광들이 상기 측정 대상물(10)로 조사될 경우 N개의 제1 패턴영상들과 N개의 제2 패턴 영상들을 획득할 수 있다.
이어서, 상기 각 방향에서의 N개의 패턴영상들로부터 X-Y 좌표계의 각 위치{i(x,y)}에서의 N개의 밝기정도들{Ii 1, Ii 2, … , Ii N}과, 측정범위(λ)를 추출하고, 이들 중 상기 N개의 밝기정도들{Ii 1, Ii 2, … , Ii N}로부터 상기 각 방향에서의 위상{Pi(x,y)}, 밝기{Ai(x,y)} 및 가시도{Vi(x,y)}를 계산해낸다. 이때, 상기 각 방향에서의 위상{Pi(x,y)}, 밝기{Ai(x,y)} 및 가시도{Vi(x,y)}는 N-버켓 알고리즘(N-bucket algorism)을 이용하여 계산될 수 있다. 또한, 상기 밝기{Ai(x,y)}는 상기 검출된 격자 패턴광들을 평균하여 얻은 평균밝기인 것이 바람직하다. 따라서, 이하에서는 상기 밝기{Ai(x,y)}를 평균밝기{Ai(x,y)}로 명명한다.
예를 들어, 상기 N이 3일 경우, 상기 각 방향에서의 3개의 패턴영상들로부터 3개의 밝기정도들{Ii 1, Ii 2, Ii 3}이 추출되고, 3-버켓 알고리즘을 통해 아래의 수식과 같은 위상{Pi(x,y)}, 평균밝기{Ai(x,y)} 및 가시도{Vi(x,y)}를 계산해낼 수 있다. 아래 수식에서 Bi(x,y)는 상기 각 방향에서의 3개의 패턴영상들에서의 영상신호(밝기신호)의 진폭을 의미한다.
Figure 112009069854993-pat00001
Figure 112009069854993-pat00002
Figure 112009069854993-pat00003
상기 각 방향에서의 3개의 패턴영상들로부터 추출되는 3개의 밝기정도{Ii 1, Ii 2, Ii 3}들은 아래의 수식을 만족시킨다.
Ii N = ao + a1cosφ + a2cos2φ + a3cos3φ + …
그러나, 상기 3개의 밝기정도{Ii 1, Ii 2, Ii 3}들에 관하여 위와 같은 수식을 적용하면, 수학적으로 해를 구하는 것이 거의 불가능하다. 따라서, ao, a1cosφ의 값에 비해 a2cos2φ, a3cos3φ, … 들의 값이 매우 작은 점을 이용하여, 고차항인 2차항 이하는 모두 제거하도록 근사할 수 있으며, 결국 Ii N = ao + a1cosφ 의 수식으로 근사할 수 있다.
따라서, 상기 위상{Pi(x,y)}, 평균밝기{Ai(x,y)} 및 가시도{Vi(x,y)} 등에 관한 수식에 적용되는 Ii N은 Ii 1 = ao + a1cos(Φ)이고, Ii 2 = ao + a1cos(φ+2π/3)이며, Ii 3 = ao + a1cos(φ+4π/3)으로 계산한다.
그러나, 이와 같이 계산방법은 상기 제1 및 제2 격자 유닛들(320,420)로부터 생성된 상기 제1 및 제2 격자 패턴광이 완전히 사인파와 일치할 때를 전제로 한 것이므로, 상기 제1 및 제2 격자 유닛들(320,420)로부터 생성된 상기 제1 및 제2 격자 패턴광이 사인파 형상에 가깝게 될 수 있도록, 상기 제1 및 제2 격자 유닛들(320,420)의 형상을 형성할 필요가 있다.
도 2는 도 1의 제1 격자유닛의 구체적인 구조를 설명하기 위해 제1 격자유닛을 평면적으로 관측할 때의 개념도이다.
도 2를 참조하면, 상기 제1 격자유닛(320)은 허니콤(honeycomb)구조로 형성되며, 제1 방향(D1)을 따라 서로 연결된 복수의 상기 단위 셀(322)들을 포함한다. 상기 제1 방향(D1)을 따라 서로 연결된 상기 단위 셀(322)들은 상기 제1 방향(D2)과 실질적으로 수직한 제2 방향(D2)을 따라 소정간격 이격되어 병렬로 배치된다.
예를 들어, 상기 단위 셀(322)들은 육각형 형상을 가질 수 있다. 즉, 상기 단위 셀(322)들은 제1 변(322a), 제2 변(322b), 제3 변(322c), 제4 변(322d), 제5 변(322e) 및 제6 변(322f)을 포함할 수 있다. 상기 제2 변(322b)은 상기 제1 변(322a)과 경사지며 연장될 수 있다. 상기 제3 변(322c)은 상기 제2 변(322b)과 경사지며 연장될 수 있다. 상기 제4 변(322d)은 상기 제3 변(322c)과 경사지며 연장되고 상기 제1 변(322a)과 대향될 수 있다. 상기 제5 변(322e)은 상기 제4 변(322d)과 경사지며 연장되고 상기 제2 변(322b)과 대향될 수 있다. 상기 제6 변(322f)은 상기 제5 변(322e)과 경사지며 연장되고 상기 제3 변(322c)과 대향될 수 있다.
상기 단위 셀(322)들은 상기 제1 방향(D1)을 따라 서로 연결될 수 있다. 예를 들어, 상기 단위 셀(322)의 상기 제1 변(322a)과 이웃한 상기 단위 셀(322)의 상기 제4 변(322d)이 연결될 수 있다. 이와 같이, 상기 제1 방향(D1)을 따라 서로 연결된 상기 단위 셀(322)들은 상기 제1 광원유닛(310)으로부터 발생된 광을 제1 격자 패턴광으로 변경시키기 위하여 상기 제2 방향(D2)을 따라 소정간격 이격되어 병렬로 배치될 수 있다.
상기 단위 셀(322)의 상기 제1 변(322a)의 길이, 상기 단위 셀(322)의 상기 제4 변(322d)의 길이 및 상기 단위 셀(322)의 제1 꼭지점(DT1)과 상기 단위 셀(322)에 상기 제2 방향(D2)으로 이웃하여 위치한 단위 셀의 제2 꼭지점(DT2) 간의 길이는 서로 동일할 수 있다. 이때, 상기 제1 꼭지점(DT1)은 상기 제5 변(322e)과 상기 제6 변(322f)이 연결되는 점, 상기 제2 꼭지점(DT2)은 상기 제2 변(322b)과 상기 제3 변(322c)이 연결되는 점으로 각각 정의된다. 도 2를 참조로 하면, 상기 제1 변(322a)의 길이는 제1 길이(H1)로 정의하고, 상기 제4 변(322d)의 길이는 제2 길이(H2)로 정의하며, 상기 단위 셀(322)의 상기 제1 꼭지점(DT1) 및 이웃하여 위치한 단위 셀의 상기 제2 꼭지점(DT2) 간의 길이는 제3 길이(H3)로 정의할 수 있다.
또한, 상기 단위 셀(322)은 상기 제2 길이(H2)와 상기 제3 변(322c)과 상기 제4 변(322d)이 연결되는 제3 꼭지점(DT3)부터 상기 제4 변(322d)과 평행하게 연장된 선이 상기 제2 꼭지점(DT2)에서 상기 제1 방향(D1)을 따라 연장된 선과 만나는 제1 지점(SP1)까지의 길이는 약 1:3 내지 약 3:5의 비율로 형성될 수 있다.
상기 제3 꼭지점(DT3)부터 상기 제1 지점(SP1)까지의 길이는 제4 길이(H4)로 정의하고, 상기 제4 변(322d)과 상기 제5 변(322e)이 연결되는 제4 꼭지점(DT4)부터 상기 제4 변(322d)과 평행하게 연장된 선이 상기 제1 꼭지점(DT1)에서 상기 제1 방향(D1)을 따라 연장된 선과 만나는 제2 지점(SP2)까지의 길이는 제5 길이(H5)로 정의할 수 있다.
그리고, 상기 제2 꼭지점(DT2)부터 이웃한 상기 단위 셀(322)의 상기 제2 꼭지점(DT2)까지의 길이는 제6 길이(H6)로 정의하고, 상기 제6 길이(H6)는 상기 제2 길이(H2), 상기 제3 길이(H3), 상기 제4 길이(H4) 및 상기 제5 길이(H5)를 포함할 수 있다. 또한, 상기 제1 변(322a)부터 상기 제4 변(322d)까지의 수직 길이는 제7 길이(H7)로 정의하고, 상기 제2 꼭지점(DT2)부터 상기 제1 지점(SP1)까지의 길이를 제8 길이(H8)로 정의할 때, 상기 제7 길이(H7)는 상기 제8 길이(H8)의 약 2배의 길이로 형성될 수 있다.
따라서, 상기 제1 길이(H1)와 상기 제2 길이(H2) 및 상기 제3 길이(H3)가 동일하게 형성되고, 상기 제4 길이(H4)와 상기 제5 길이(H5)가 동일하게 형성될 수 있다.
한편, 상기 제1 격자유닛(320)을 상부에서 평면적으로 관측하면, 도 2에 도시된 바와 같이 상기 제1 격자유닛(320)은 상기 제1 격자이송유닛(330)에 의해 좌측에서 우측으로 이송되며, 상기 이송방향은 상기 제1 격자 패턴광을 상부에서 평면적으로 관측할 때의 조사방향과 동일하거나 평행할 수 있다. 구체적으로, 상기 제1 격자유닛(320)은 상기 제2 격자유닛(320)의 배치방향에 평행한 방향, 즉 상기 제1 방향(D1)에 수직인 상기 제2 방향(D2)으로 N번 이송하여 상기 제1 격자 패턴광에 따른 반사 이미지를 상기 측정 대상물(10)로 조사함으로써 상기 측정 대상물(10)의 3차원 형상을 측정할 수 있다.
또한, 상기 제2 격자유닛(420)은 위에서 설명한 상기 제1 격자유닛(320)과 실질적으로 동일하므로, 중복되는 상세한 설명은 생략한다.
표 1은 단위 셀의 제2 길이, 제4 길이, 제6 길이 및 제7 길이를 변형시키는 조건을 나타낸다.
A B
H2 3.15㎛ 3.9㎛
H4 7.35㎛ 9.1㎛
H6 21㎛ 26㎛
H7 42㎛ 42㎛
도 3은 표 1의 A 조건에 따른 단위 셀로 형성되는 제1 격자유닛을 이용하여 획득되는 격자 패턴광을 시뮬레이션한 그래프이고, 도 4는 표 1의 B 조건에 따른 단위 셀로 형성되는 제1 격자유닛을 이용하여 획득되는 격자 패턴광을 시뮬레이션한 그래프이다.
도 3 및 도 4를 참조하면, 표 1의 A조건에 따라 형성된 상기 단위 셀(322)을 이용한 제1 격자유닛(320)을 통과하며 발생되는 제1 격자 패턴광에 대한 파형을 획득하여 좌측에 나타내었고, 이에 대한 Ii N = ao + a1cosφ + a2cos2φ + a3cos3φ + … 에서의 각 항의 기여도를 우측에 나타내었다. 또한, 표 1의 B 조건에 따라 형성된 상기 단위 셀(322)을 이용한 제1 격자유닛(320)을 통과하며 발생되는 제1 격자 패턴광에 대한 파형을 획득하여 좌측에 나타내었고, 이에 대한 Ii N = ao + a1cosφ + a2cos2φ + a3cos3φ + … 에서의 각 항의 기여도를 우측에 나타내었다. 우측에 나타난 피크(peak)점의 위치에 따라서 상기 각 항의 기여도를 확인할 수 있다.
도 3 및 도 4에 나타난 바와 같이, A 조건, B 조건 모두 피크점의 위치가 앞의 두 지점에서만 지배적으로 나타난 것을 확인할 수 있으며, 따라서, 세 번째 항 이하, 즉 a2cos2φ + a3cos3φ + … 는 무시해도 오차가 거의 없음을 알 수 있다.
도 5 및 도 6은 비교예에 따른 격자유닛을 이용하여 획득되는 격자 패턴광을 시뮬레이션한 그래프들이다. 도 5는 온-오프(on-off)타입의 격자유닛을 이용하여 획득되는 격자 패턴광을 시뮬레이션한 그래프이고, 도 6은 3-step 타입의 격자 유닛을 이용하여 획득되는 격자 패턴광을 시뮬레이션한 그래프이다.
상기 온-오프 타입의 격자유닛은 사각형 구조의 격자무늬(미도시)가 교대로 배치되어 형성되고, 상기 3-step 타입의 격자유닛은 상기 온-오프 타입의 격자유닛 사이에 체커보드 구조의 격자무늬(미도시)가 삽입되어 형성된다.
도 5 및 도 6을 참조하면, 상기 광원유닛(310)에서 발생된 광이 상기 온-오프 타입의 격자유닛을 통과하며 발생되는 격자패턴광에 대한 파형을 획득하여 좌측에 나타내었고, 이에 대한 Ii N = ao + a1cosφ + a2cos2φ + a3cos3φ + … 에서의 각 항의 기여도를 우측에 나타내었다. 또한, 상기 광원유닛(310)에서 발생된 광이 상기 3-step 타입의 격자유닛을 통과하며 발생되는 격자패턴광에 대한 파형을 획득하여 좌측에 나타내었고, 이에 대한 Ii N = ao + a1cosφ + a2cos2φ + a3cos3φ + … 에서의 각 항의 기여도를 우측에 나타내었다. 우측에 나타난 피크(peak)점의 위치에 따라서 상기 각 항의 기여도를 확인할 수 있다.
도 5 및 도 6에 나타난 바와 같이, 상기 온-오프 타입의 격자유닛 및 상기 3-step 타입의 격자유닛은 피크점의 위치가 앞의 두 지점 이외의 지점에서도 무시할 수 없을 정도로 나타난 것을 확인할 수 있으며, 따라서, 세 번째 항 이하, 즉 a2cos2φ + a3cos3φ + … 를 무시하는 경우 오차가 크게 나타남을 알 수 있다.
이와 같이, 제1 및 제2 격자유닛을 허니콤 구조로 형성하여 측정 대상물에 조사되는 격자 패턴광을 상기 허니콤 구조에 대응하여 사인파에 근접하게 생성시킴으로써, 영상 획득부에서 획득된 패턴영상들로부터 측정 대상물의 각 위치에 따른 높이를 계산할 때 정확성을 향상시킬 수 있다.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이다. 따라서, 전술한 설명 및 아래의 도면은 본 발명의 기술사상을 한정하는 것이 아닌 본 발명을 예시하는 것으로 해석되어져야 한다.
도 1은 본 발명의 일 실시예에 의한 3차원 형상 측정방법에 사용되는 예시적인 3차원 형상 측정장치를 도시한 개념도이다.
도 2는 도 1의 제1 격자유닛의 구체적인 구조를 설명하기 위해 제1 격자유닛을 평면적으로 관측할 때의 개념도이다.
도 3은 표 1의 A 조건에 따른 단위 셀로 형성되는 제1 격자유닛을 이용하여 획득되는 격자 패턴광을 시뮬레이션한 그래프이다.
도 4는 표 1의 B 조건에 따른 단위 셀로 형성되는 제1 격자유닛을 이용하여 획득되는 격자 패턴광을 시뮬레이션한 그래프이다.
도 5는 온-오프(on-off) 타입의 격자유닛을 이용하여 획득되는 격자 패턴광을 시뮬레이션한 그래프이다.
도 6은 3-step 타입의 격자 유닛을 이용하여 획득되는 격자 패턴광을 시뮬레이션한 그래프이다.
<도면의 주요 부분에 대한 부호의 설명>
10: 측정 대상물 100: 측정 스테이지부
200: 영상 촬영부 300: 제1 조명부
400: 제2 조명부 500: 영상 획득부
600: 모듈 제어부 700: 중앙 제어부

Claims (7)

  1. 격자 패턴광의 반사 이미지를 촬영하여 측정 대상물의 3차원 형상을 측정하는 3차원 형상 측정장치에 있어서,
    광을 발생시키는 제1 광원유닛, 상기 제1 광원유닛으로부터 발생된 광을 격자무늬를 갖는 제1 격자 패턴광으로 변경시키는 제1 격자유닛 및 상기 제1 격자유닛을 이송시키는 제1 격자이송유닛을 포함하며, 상기 제1 격자 패턴광을 상기 측정 대상물에 조사하는 제1 조명부를 포함하고,
    상기 제1 격자유닛은 허니콤(honeycomb) 구조로 형성되며, 제1방향을 따라 서로 연결된 복수의 단위 셀들을 포함하고, 상기 제1 방향을 따라 서로 연결된 상기 단위 셀들은 소정간격 이격되어 병렬로 배치된 것을 특징으로 하는 3차원 형상 측정장치.
  2. 제1항에 있어서, 상기 단위 셀은 육각형 형상을 가지며,
    제1 변, 상기 제1 변과 경사지며 연장된 제2 변, 상기 제2 변과 경사지며 연장된 제3 변, 상기 제3 변과 경사지며 연장되고 상기 제1 변과 대향된 제4 변, 상기 제4 변과 경사지며 연장되고 상기 제2 변과 대향된 제5 변, 상기 제5 변과 경사지며 연장되고 상기 제3 변과 대향된 제6 변을 포함하는 것을 특징으로 하는 3차원 형상 측정장치.
  3. 제2항에 있어서,
    상기 단위 셀의 상기 제1 변의 길이, 상기 단위 셀의 상기 제4 변의 길이, 및 상기 단위 셀의 제1 꼭지점과 상기 단위 셀에 상기 제1 방향과 수직한 제2 방향으로 이웃하여 위치한 단위 셀의 제2 꼭지점 간의 길이는 서로 동일하고,
    상기 제1 꼭지점은 상기 제5 변과 상기 제6 변이 연결되는 점, 상기 제2 꼭지점은 상기 제2 변과 상기 제3 변이 연결되는 점으로 각각 정의되는 것을 특징으로 하는 3차원 형상 측정장치.
  4. 제2항에 있어서,
    상기 제1 변의 길이 및 상기 제4 변은 서로 평행하고 동일한 길이를 가지고,
    상기 제2 변 및 상기 제3 변은 상기 제1 변 및 상기 제4 변 사이에서 상기 제1 변 및 상기 제4변과 평행인 평행축에 대하여 서로 대칭이며,
    상기 제1 변의 길이에 대한 상기 제2 변을 상기 평행축에 투영한 길이의 비는 1:3 내지 3:5의 범위를 갖는 것을 특징으로 하는 3차원 형상 측정장치.
  5. 제1항에 있어서,
    광을 발생시키는 제2 광원유닛, 상기 제2 광원유닛으로부터 발생된 광을 격자무늬를 갖는 제2 격자 패턴광으로 변경시키는 제2 격자유닛 및 상기 제2 격자유닛을 이송시키는 제2 격자이송유닛을 포함하며, 상기 제2 격자 패턴광을 상기 상기 측정 대상물에 조사하는 제2 조명부를 포함하고,
    상기 제2 격자유닛은 허니콤 구조로 형성되며, 상기 제1 방향을 따라 서로 연결된 상기 단위 셀들을 포함하고, 상기 제1 방향을 따라 서로 연결된 상기 단위 셀들은 소정간격 이격되어 병렬로 배치된 것을 특징으로 하는 3차원 형상 측정장치.
  6. 제5항에 있어서,
    상기 제1 격자유닛 및 상기 제2 격자유닛은 상기 측정 대상물을 사이에 두고 양측에 각각 배치되는 것을 특징으로 하는 3차원 형상 측정장치.
  7. 제1항에 있어서, 상기 제1 조명부는 비점수차 투영렌즈를 더 포함하는 것을 특징으로 하는 3차원 형상 측정장치.
KR1020090109713A 2009-11-13 2009-11-13 3차원 형상 측정장치 KR101196218B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090109713A KR101196218B1 (ko) 2009-11-13 2009-11-13 3차원 형상 측정장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090109713A KR101196218B1 (ko) 2009-11-13 2009-11-13 3차원 형상 측정장치

Publications (2)

Publication Number Publication Date
KR20110052956A KR20110052956A (ko) 2011-05-19
KR101196218B1 true KR101196218B1 (ko) 2012-11-05

Family

ID=44362749

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090109713A KR101196218B1 (ko) 2009-11-13 2009-11-13 3차원 형상 측정장치

Country Status (1)

Country Link
KR (1) KR101196218B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101642897B1 (ko) * 2011-07-13 2016-07-26 주식회사 고영테크놀러지 검사방법
KR101275127B1 (ko) * 2011-08-17 2013-06-17 (주)화이버 옵틱코리아 초점 가변 액체 렌즈를 이용한 3차원 이미지 촬영장치 및 방법
KR101337888B1 (ko) * 2012-05-22 2013-12-09 주식회사 고영테크놀러지 3차원 형상 측정장치
KR101490359B1 (ko) * 2013-05-20 2015-02-06 (주)펨트론 표면 형상 측정 장치
KR102239911B1 (ko) * 2019-02-21 2021-04-13 하이윈 마이크로시스템 코포레이션 광학 인코더 및 그의 제어방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100612933B1 (ko) 2005-12-14 2006-08-14 주식회사 고영테크놀러지 3차원 형상 측정장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100612933B1 (ko) 2005-12-14 2006-08-14 주식회사 고영테크놀러지 3차원 형상 측정장치 및 방법

Also Published As

Publication number Publication date
KR20110052956A (ko) 2011-05-19

Similar Documents

Publication Publication Date Title
JP5562407B2 (ja) 基板検査装置及び検査方法
JP5887225B2 (ja) ３次元形状測定装置
KR101196218B1 (ko) 3차원 형상 측정장치
JP7090446B2 (ja) 画像処理装置
KR101640935B1 (ko) 3차원 형상 측정장치
JP5847568B2 (ja) 三次元計測装置
JP2015232575A (ja) 多重波長を用いた３次元形状の測定装置及び測定方法
KR101241175B1 (ko) 실장기판 검사장치 및 검사방법
JP2013174624A (ja) 基板検査装置および基板検査方法
JP2010169433A (ja) 三次元計測装置
KR101659302B1 (ko) 3차원 형상 측정장치
JP2013124938A (ja) 三次元計測装置
JP2013104858A (ja) 三次元計測装置
KR101237497B1 (ko) 검사영역의 설정방법
KR101081538B1 (ko) 3차원 형상 측정장치 및 측정방법
JP7090447B2 (ja) 画像処理装置
KR101097716B1 (ko) 3차원 형상 측정방법
JP5545932B2 (ja) 三次元形状計測装置
KR101088497B1 (ko) 3차원 형상 측정방법
KR101337888B1 (ko) 3차원 형상 측정장치
KR101226716B1 (ko) 색수차 보상방법, 이를 이용한 3차원 형상 측정방법 및 측정장치
KR101223800B1 (ko) Ｒｇｂ 컬러가 적용된 모아레를 이용한 형상 측정장치
KR101329025B1 (ko) 색수차 보상방법, 이를 이용한 3차원 형상 측정방법 및 측정장치
Fujigaki Real-time and wide-range 3D shape measurement using linear LED fringe projector
KR20110090865A (ko) 3차원 형상 측정방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150924

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160906

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170907

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190909

Year of fee payment: 8