KR100406843B1 - 색정보를 이용한 실시간 3차원 표면형상 측정방법 및 장치 - Google Patents

색정보를 이용한 실시간 3차원 표면형상 측정방법 및 장치 Download PDF

Info

Publication number
KR100406843B1
KR100406843B1 KR10-2001-0018253A KR20010018253A KR100406843B1 KR 100406843 B1 KR100406843 B1 KR 100406843B1 KR 20010018253 A KR20010018253 A KR 20010018253A KR 100406843 B1 KR100406843 B1 KR 100406843B1
Authority
KR
South Korea
Prior art keywords
height
wavelength
measurement
measurement object
workpiece
Prior art date
Application number
KR10-2001-0018253A
Other languages
English (en)
Other versions
KR20020078214A (ko
Inventor
임쌍근
김기홍
최이배
이상윤
Original Assignee
(주) 인텍플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 인텍플러스 filed Critical (주) 인텍플러스
Priority to KR10-2001-0018253A priority Critical patent/KR100406843B1/ko
Priority to US10/473,089 priority patent/US7092105B2/en
Priority to PCT/KR2001/001840 priority patent/WO2002082009A1/en
Publication of KR20020078214A publication Critical patent/KR20020078214A/ko
Application granted granted Critical
Publication of KR100406843B1 publication Critical patent/KR100406843B1/ko

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2509Color coding
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/50Using chromatic effects to achieve wavelength-dependent depth resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 색정보를 이용한 실시간 3차원 표면형상 측정장치에 관한 것으로, 상세하게는 높이정보를 포함하는 색정보를 임의의 물체에 투사하고 상기 물체에 분포하는 색정보를 감지하여 높이정보를 실시간으로 측정하는 방법 및 장치에 관한 것이다.
본 발명은 수십 밀리미터 이하의 높이분포를 갖는 물체의 높이정보를 추출하기 위해 측정방법을 제안하고 상기 측정방법을 실현하는 측정시스템으로 구성된다. 측정방법에는 측정을 이론적으로 뒷받침 할 수 있는 측정알고리즘이 포함되며, 측정시스템은 기본적인 구성과 함께 상기 측정방법을 실현할 수 있는 다양한 형태의 광학계를 제안한다.

Description

색정보를 이용한 실시간 3차원 표면형상 측정방법 및 장치{.}
본 발명은 색정보를 이용한 실시간 3차원 표면형상 측정장치에 관한 것으로, 상세하게는 높이정보를 포함하는 색정보를 임의의 물체에 투사하고 상기 물체에 분포하는 색정보를 감지하여 높이정보를 실시간으로 측정하는 방법 장치에 관한 것이다.
실제 산업계에서 삼차원 형상 측정을 요구하는 분야는 반도체 패턴 검사와 같은 수 nm의 마이크로 영역에서 인체와 같은 수백 mm 영역까지 매우 광범위하며, 이를 측정할 수 있는 방법도 측정 대상에 따라 다양한 방법이 개발되어 왔다. 이 중 생산 공정 관리에서 삼차원 형상 공정 관리와 관련되어 많은 관심을 가지는 측정 영역은 수십 마이크로미터(㎛)에서 수 밀리미터(mm) 영역으로, 대표적인 예로는 평판 디스플레이 산업에서 PDP의 융벽, PCB기판에서 칩을 붙이는 부분의 납(solder paste) 형상, 표면 실장 기술(surface mount technology)에서 현재 많은 관심을 가지는 BGA(ball grid array)의 ball 형태의 납의 형상등을 들 수 있다. 이 측정 영역에해당되는 제품들의 생산 공정 특성은 대량생산을 목적으로 하는 점이다. 이는 곧 공정 제어를 위하여 실시간(real-time)으로 검사 및 측정이 이루어져야 함을 의미한다. 현재 대부분의 공정에서는 이차원 비전(vision) 검사에 기반을 둔 측정기 또는 검사기를 많이 이용한다. 그러나 관련 제품의 고성능화로 인하여 기존 이차원 검사기로는 극복할 수 있는 공정상의 결함이 급격히 대두되고 있으며 이를 극복할 수 있는 대안으로 3차원에 기반을 둔 실시간 측정 및 검사기에 대한 요구가 증대되고 있다.
현재 실시간 3차원 형상 측정에 가장 많이 응용되는 방법은 광삼각법(optical triangulation)에 기반을 두고 있다. 이 방법은 임의 높이를 가지는 측정점에 조사되는 조명광의 위치 변화로부터 측정점의 높이를 산출하는데, 이때 높이 계산에 이용되는 수식에는 광원을 측정점에 조사하는 조명수단과 이를 검출하는 검출수단, 그리고 측정점으로 구성되는 삼각형 형태의 기하학적인 관계를 이용하게 된다. 그러므로 광삼각법을 이용하는 측정 시스템에서는 측정물이 놓이는 면에 수직인 축에 대하여 조명수단과 검출수단이 반드시 일정한 각도를 이루고 있어야 하며, 측정점의 높이 계산식에는 이 각도 변수가 반드시 포함되게 된다.
그동안 이러한 광삼각법을 기본 측정 원리로 하는 다양한 형태의 측정 시스템이 개발되었다. 측정 시스템은 한번에 측정할 수 있는 데이터의 개수에 따라 아래와 같이 크게 3가지 형태의 응용 시스템이 개발되었다.
첫 번째는 한번에 한점의 높이를 측정하는 시스템으로 레이저와 같은 점광원(point source)를 이용하여 일정한 측정 영역내의 한점에 조사한 후 측정점의 높이에 따른조명 광점의 위치 변화를 앞에서 설명한 광삼각법의 원리에 적용하여 측정점의 높이를 산출하는 방법이다. 그러므로 이 방법은 일정 영역내의 삼차원 높이 분포를 측정하기 위해서는 조명 광점을 측정 영역내에서 주사(scanning)할 수 있는 갈바노미터(galvanometer)와 같은 기계적 수단 또는 AOM(acusto-optic modulator)과 같은 광학적 수단이 필요하다. 이 방법은 이와 같은 주사 수단이 필요하기 때문에 실시간 측정에 이용하기 위해서는 주사 수단과 측정과의 동기화(synchronization)에 필요한 복잡한 전자 장치가 필요하며, 한번에 한 점만을 측정하기 때문에 수십 mm이상의 넓은 측정 영역에서의 표면 형상을 측정하기 위해서는 상대적으로 많은 측정 시간을 필요로 하는 단점을 가진다.
두 번째 방법은 한번에 한 라인(line)을 측정하는 방법으로 대표적인 예로 slit beam 측정 시스템을 들 수 있다. 이 방법은 레이저와 같은 점 광원을 직선 형태의 라인 형태로 만든 후 측정면에 조사하면, 직선 형태의 레이저 라인 조명이 측정 라인에서의 높이 분포에 따라 변형된다. 검출수단에서는 이러한 변형된 라인 조명의 영상을 획득한 후 측정 라인상의 각 측정점에 상기 광삼각법의 원리를 적용하여 높이를 계산하게 된다.
세 번째 방법은 한번에 일정 영역에서의 삼차원 형상을 측정하는 방법으로, 이 방법은 백색광원(white light)을 프리즘이나 필터를 이용하여 무지개 색과 같은 조명광을 만든 후 측정 영역에 조사한다. 각각의 컬러에서는 휴(Hue)값이라는 고유의 값이 있는데 기준 평면(reference flat surface)에 상기 컬러 조명을 조사한 후 이차원 평면상에서의 컬러 분포 또는 휴값 분포를 저장한다. 상기 조명을 임의의 높이 분포를 가지는 측정면에 조사하면, 각 측정점에서의 높이에 따라 기준 평면과는 다른 휴값 분포를 가진다. 각 측정점에서의 휴값과, 기준 평면상에서 동일한 휴값을 가지는 위치와의 차이를 전술한 광삼각법의 원리에 적용하면 측정점에서의 높이값을 계산할 수 있다. 또 다른 응용 예로서 무지개와 같은 연속적인 조명수단 외에 다양한 컬러를 띠 형태로 제작한 특수 격자(grating)를 일정한 측정 영역에 조사한 후 각 컬러띠의 변화를 이용하여 삼차원 형상을 측정하는 방법이 있다. 이 방법은 상기 slit beam 측정법과 동일한 원리이며, 상기 slit beam 측정법에서는 한번에 한 라인만을 측정하지만 이 방법은 이러한 띠 조명을 복수로 측정면에 조사하며 각 띠는 컬러를 이용하여 구분하는 점이 다를 뿐이다. 이 방법은 한번에 일정 측정 영역에 대한 삼차원 형상을 측정할 수 있는 장점을 가지지만, 마이크로의 측정 반복기능을 구현하기 위해서는 측정 영역을 줄여야 하며 이는 곧 조명이 비쳐지는 영역보다 큰 측정물에 대해서는 불연속적인 측정을 반복적으로 측정하여야함을 의미한다. 그러므로 이 방법은 연속적으로 제품을 생산하는 실제 공정의 실시간 검사 장치로 적용하기에는 곤란하다.
전술한 바와 같이 이러한 종래의 모든 광삼각법을 이용한 측정법은 특히 검출수단이 반드시 이차원의 영역(area)를 가져야 하는데, 그 이유는 조명광이 측정하고자 하는 위치에 조사되면 이 조사광은 이차원 영역을 갖는 검출수단에 맺히게 되는데, 이때 측정점의 높낮이에 따라 검출수단에 맺히는 조사광의 좌표는 각기 다르게 되며 상기 좌표를 검출하여 해당 측정점의 높이정보를 결정하게 된다. 이러한이유로 인해 검출 수단은 측정면의 수직축에 대하여 일정 각도를 가져야 하며, 그림자 효과(shading effect)로 인하여 검출 수단에서 볼 수 없는 측정 영역이 발생할 뿐만 아니라 검출수단이 놓이는 각도가 달라지게 되면 측정변수가 변경되므로 보정을 통해 측정점의 높이를 결정해야 한다. 이러한 보정은 검출수단의 각도가 변할 때마다 수행해야 하기 때문에 번거롭고 많은 시간이 소요된다.
본 발명의 주요목적은 상기에서 밝힌바와 같이 광삼각법이 가지는 여러 가지 단점, 특히 반드시 이차원 영역을 갖는 검출수단을 이용하여야 하는 점과 또한 검출수단이 측정면의 수직축에 대하여 일정 각도 경사지게 설치되어야 하므로 이로 인해 생기는 여러 불리한 점을 극복할 수 있는 고속이면서, 실시간으로 측정물의 삼차원 형상을 측정할 수 있는 측정 알고리즘을 제안하는데 있다.
따라서 본 발명은 일차원 영역을 갖는 검출수단을 사용하면서, 또한 검출수단의 설치각도가 측정변수로 사용되지 않는 측정알고리즘을 제안함으로서, 측정시스템 구성시에 검출수단의 설치위치를 측정물의 형태에 가장 최적의 위치에 설치하여 최적의 측정결과를 얻을 수 있도록 하는데 있다.
또한 본 발명은 상기 측정 알고리즘을 구현할 수 있는 측정 시스템을 제안함과 측정 시스템의 구성에 대해 다양한 실시예를 제안한다.
도 1은 본 발명에서의 측정 알고리즘을 설명한 것임
도 2는 물체의 높이와 해당점에서의 휴값을 그래프로 나타낸 것임
도 3은 본 발명에서 적용한 실시간 측정 시스템의 구성도
도 4a는 프리즘에 백색광을 입사 시켰을 때의 분리된 빛이 출사되는
형태를 나타낸 것
도 4b는 검출 CCD 카메라의 화소에 일치되는 검출위치를 나타낸 것
도 5a는 2차원 정보를 통해 3 차원 높이 정보를 추출하는 과정을 단계를 도시한 도면
도 5b는 수 개의 측정결과를 합성하여 전체의 3차원 정보를 도시한 것
도 6a는 조명광 2개를 설치하여 구성한 실시예
도 6b는 조명광 하나만 설치하여 구성한 실시예
도 6c는 본 발명에서 조명광과 검출수단을 일정각도 경사진 형태로 설치한 실시예
도 7a는 3개의 단일파장광을 이용하여 조명광을 구성한 실시예
도 7b는 LVWF를 적용하여 조명광을 구성한 실시예
도 7c는 LVWF를 적용한 조명광의 파장을 나타낸 것
도 8은 도면7a와 같이 조명광으로 3개의 단일파장을 이용했을 경우의 파장 분포를 나타낸 도면
* 도면번호에 대한 설명
36...반사광 43...영상센서 35...영상렌즈 광학계
40,41,42...센서 73,74,75...단일 파장 필터
이하 본 발명에 대해 도면과 함께 설명한다.
먼저 본 발명이 제안하는 높이 측정방법에 대해 기술한다. 도1은 본 발명의 측정알고리즘을 설명하기 위해 도시된 것이다.
도1에서 도시한 바와 같이 수십 마이크로미터에서 수십 미리미터의 높이 분포를 가진 측정물(10)에 광축(13)과 일정각도 기울어진 상태로 다파장을 갖는 빛(11)을 물체로 입사시킨다. 이때 입사되는 빛은 2개 이상의 파장을 갖는 조명광으로 도1에 도시한 바와 같이 파장축(12)에 따라 높이별로 파장이 분리되어 물체에 입사되는 다파장(11)을 의미하며 이는 상기 파장대가 가시광선 영역이라면 무지개와 같은 색깔로 보여질 것이다. 상기 조명광의 파장 분포의 수는 측정물의 상태에 따라 파장축(12)에 따라 증가하거나 감소될 수 있다.
이하 측정물의 임의 위치의 높이 정보를 추출하는 기본 원리를 간략히 설명한다. 상기의 높이별로 파장이 분리되어 물체에 입사하는 조명광(11)이 수직광축(13)과 θ의 각도로 측정물(10)에 조사되면, 도1과 같이 물체의 높이에 따라 해당파장의 빛이 조사된다. 상기의 조사된 빛은 물체에 의해 반사되며 이는 영상센서(15)로 획득하게 되는데 실제 영상센서를 통해 얻을 수 있는 값은 획득한 빛에 대한 붉은색(R) 초록색(G) 푸른색(B)의 분포값이다. 이들 R,G,B의 분포값은 물체의 높이와 일대일 대응하여 표현할 수 없음으로 물체의 높이와 직접관련 되도록 하기 위해 R,G,B를 하나의 대표값으로 표현하는 것이 바람직하다. 이를 위해 본 발명에서는 R,G,B의 분포를 하나의 값으로 표현할 수 있는 휴(Hue) 값을 도입한다.
이하 R,G,B와 휴(Hue)값의 관계에 대해 설명한다. 휴(Hue)는 물리적으로는 색깔에서 가장 주된 색을 의미하는 것으로, 수학적으로 붉은색을 기준으로 기술된다.
도 1에서와 같이 일정한 폭을 통해 다파장의 조명광이 물체에 있어서 z축상의 임의의 점P에 조사된다고 하면 이점에서의 색 분포는 다음과 같이 표현 할 수 있다.
(수학식1)
(수학식1)에서 R,G,B 는 컬러영상센서를 이용하여 획득되는 점P에서의 붉은색, 초록색, 푸른색의 광강도 값이다. 상기 점 P와 동일한 광강도(Intensity)를 가지는 색점(achromatic point) A는 다음과 같이 (수학식2)로 표현할 수 있다.
(수학식2)
이때 붉은색은 다음과 같이 표현된다.
(수학식3)
(수학식1) 내지 (수학식3)을 이용하여 점 P에서의 휴값 H 는 다음과 같이 계산된다.
(수학식4)
(수학식4)에서 <>는 스칼라 곱(scalar product)를 의미한다.
상기 P점에서 계산된 휴값 H와 물체의 높이(z) 는 아래와 같은 (수학식5)의 함수관계로 표현된다.
(수학식5)
여기서 z는 임의의 물체 점P에의 높이 정보이며 H 는 점 P의 색깔 정보에서 얻은 휴값이다. (수학식5)는 물체의 높이z와 휴값 H와의 관계가 함수형태로 표현한 것으로, 상기 함수형태는 조명광 형태, 사용파장영역, 측정물체의 상태 및 실험치에 따라 일차식 혹은 다항식으로 표현될 수 있으며, (수학식5)로부터 확인할 수 있는 바와 같이 물체의 높이는 단지 휴값에 의해 결정되며, 각도에 대해 어떠한 제한조건도 없다는 것을 확인할 수 있다. 이러한 내용을 토대로 결정된 수식은 본 발명의 권리범위 내에 있음은 자명하다.
도2는 (수학식5)에서 물체의 점P에서의 물체의 높이(z)와 해당점에서의 휴값(H)이 선형으로 비례한다는 가정하에 나타낸 그래프이다. 수평축(18)은 휴값, 수직축(17)은 높이값, 사선(19)은 휴 곡선이다. 그래프에서 보면 물체의 높이(z)와 따라 휴값(H)는 일대일 대응하는 것을 알 수 있으며, 실제 측정 시스템에서는 이러한 보정 곡선을 이용하여 측정점에 대한 휴값을 계산함으로써 물체에 대한 높이값을 실시간으로 추출할 수 있게된다. 이와 같이 상기에서 언급한 바와 같이 측정하고자 하는 물체에 다파장의 조명광을 조사하면 물체의 높이에 따라 그 높이에 해당하는 파장이 조사되고, 상기 조사된 파장으로부터 R,G,B값을 검출하고 상기정보로부터 휴(Hue)값을 산출하여 상기 검출된 파장을 통해 휴곡선으로부터 높이정보를 산출하는 것이다.
조사하는 광원으로는 텅스텐 할로겐 램프와 같은 일반적인 백색광을 무지개 색과 같이 색분리하여 사용하는 방식과, 여러 개의 단일 파장 광을 합성하여 사용할 수 있으며, 이는 당업자가 필요에 따라 다양한 방식으로 적용할 수 있다.
이하 도3과 함께 상기에서 언급한 측정방법을 적용하여 구성되는 측정시스템에 대해 상세히 기술한다
도3은 전술한 측정 원리를 적용한 실시간(in-line)측정 시스템의 구성도이다.
조명발생기(30)로부터 조명광이 측정물(45)상의 일정 영역에 조사된다. 이때 측정영역내의 한점 P에서 반사되는 반사광(35) 영상센서(43)를 통해 획득한다. 영상센서는 2차원의 측정 영역을 획득하는 영역 CCD 카메라(면적 CCD camera)를 이용할 수 도 있지만 3색 라인 CCD 카메라를 이용한 예를 보여준다. 반사광(35)은 영상렌즈 광학계(36)을 통과하면서 붉은색(37), 초록색(38), 푸른색(39)의 3색으로 분리된 후 각각의 센서(40)(41)(42)에 결상되어 측정점 P에서의 색분포를 획득할 수 있다. 이 색 분포값을 통해 휴값을 산출하고 미리 보정된 휴값 곡선과 물체의 높이곡선으로부터 P점 포함하고 광축(46)에 수직한 한 위치들(34)에 대한 2차원 높이 정보를 동시에 획득할 수 있으며, 측정물(45)을 기계 이송 메커니즘을 이용하여 한쪽방향(44)으로 스케닝함으로써 3차원 높이정보를 획득할 수 있다. 도2에서 사용되는 조사광은 필요에 따라 2개이상 혹은 무한대의 파장대로 나누어 조사할 수 있으며, 점P를 지나는 라인(34)는 스케닝방향(44)과 광축(40)에 대해 각각 직각이다.
또다른 실시예로서 백색광을 분리하여 조명광을 만들고, 3색 라인 CCD 카메라를 사용하여 측정하는 방식에 대해 설명한다.
도4a의 파장분리수단인 반사광(35)은 영상렌즈 광학계(36)을 통과하면서 붉은색(37), 초록색(38), 푸른색(39)의 3색으로 분리된 후 각각의 센서(40)(41)(42)을 입사시키면 파장에 따른 굴절의 차이로 인해 각 파장별로 분리된 빛(52)이 출사된다. 이때 출사되는 빛에 임의의 물체를 두고(위치 54참조) 그 상단에 라인 CCD 카메라(53)을 설치하면 라인 CCD 카메라의 감지영역에 어떠한 파장이 감지되는지를 통해 물체의 높이정보를 추출할 수 있다. 이를 도4b를 통해 좀더 자세히 설명한다.
먼저 라인 CCD카메라(53)의 관찰영역이 a부터 g까지 7의 회소(cell)로 구성되었다고 가정하면 그에 대응하는 감지 가능한 물체의 영역도 7개로 구분된다. 계단형태의 물체가 감지가능한 영역에 도 4b와 같이 놓여 있을 때, 첫 번째 파장영역(55)에서는 라인 CCD 케메라(53)의 d부분에 해당하는 위치에서 대응하고, 두 번째 파장영역(56)에서는 c와 e 부분에서 반사하고, 마찬가지로, 세 번째 파장영역(57)에서는 b와 f가, 네 번째 파장영역(58)에서는 a와 g에 반사되어 라인 CCD 카메라(53)에 감지된다. 라인 CCD 카메라(53)에서 감지된 파장으로부터 휴값을 산출할 수 있으며 식(5)의 휴값과 물체의 높이에 대한 함수관계로부터 물체의 높이를 손쉽게 실시간으로 즉시 추출할 수 있다. 이러한 2차원 영역의 높이정보는 라인 CCD 카메라 혹은 물체를 일축으로 움직이면서 2차원 정보를 추출하여 합성하면 3차원 영역을 높이정보를 추출할 수 있다. 도5a는 2차원 정보를 통해 3차원 높이정보를 추출하는 과정을 단계별로 도시한 것이다.
둥근공 형상(60)에 다파장의 조명을 비추면 각파장의 조명광은 둥근공의 높이변화에 따라 임의의 형태로 분포(도5a 1단계 파장분포 참조)의 할 것이다. 이때 라인 CCD 카메라(61)를 임의방향(62)으로 이동하면서 단계별로 각 회소에서 감지되는 색분포를 조합하면 도5b와 같이 둥근공 전체의 높이정보를 알 수 있다.
도6a 내지 도6c는 또다른 형태의 조명광의 구성을 도시한 것이다. 도6a는 조명광을 조명A(64)와 조명B(65)의 두개로 분리하여 CCD 카메라의 광축(67)에 대하여 동일한 각도에서 측정물(66)에 조사하도록 구성한다. 이외에도 도6b와 같이 조명광을 하나만 설치하는 구성 혹은 도6c와 같이 조명광과 CCD 카메라를 수식축(67')(67")에 대해 일정각도 경사진 상태로 설치하는 구조등 여러형태로 조명광과 검출수단인 CCD 카메라를 설치할 수 있다. 이때 물체에 조사되는 광원은 다양한 형태의 색분리수단을 이용하여 다파장을 포함하는 광원 사용하며, 측정점에서 반사되는 광은 전술한 바와 같이 3가지색으로 분리하여 결상시키는 3색 라인 CCD 카메라(tri-color line CCD camera)(63)에 결상하도록 한다. 이후 측정점에 대한 높이값을 구하는 과정은 전술한 방법과 동일하다.
도7a 및 도7c는 또다른 형태의 조명광의 구성을 도시한 것이다.
먼저 도7a에 대해 설명하면 이는 3개의 단일 파장광을 이용하여 조명광을 구성하는 것으로서 3개의 동일한 광원(70)(71)(72)의 선단에 미리 설정된 3개의 각기 다른 단일 파장 필터(73)(74)(75)를 부착하면 각각의 광원가이드인(76)(77)(78)에서는 각기 다른 단일 파장의 광이 나오게 된다. 광원가이드로는 일반적으로 광섬유 다발을 이용하는 것이 바람직하며, 도시한 바와 같이 끝 부분의 광섬유 다발을 일자 형태로 배열하여 일자형태의 광원이 나오도록 제작한다. 상기 광을 측정물에 조사하기 위해서는 영상렌즈(79)를 사용하여 조사하며, 렌즈의 배율을 변경함에 따라 측정면의 높이 분포에 적합하도록 측정 분해능을 조절할 수 있다. 이 조명의 구성에서 단일 파장 광의 개수는 측정 환경, 측정물의 조건에 따라 결정되며 꼭 3개가 아닌 2개 이상 다수개의 단일 파장 광으로 구성될 수 있다.
도7b는 LVWF(Linear Variable Wavelength Filter)를 적용하여 조명광을 구성한것으로 광섬유(82)로부터 출사한 광을 평행광렌즈(83)를 통해 LVWF(84)에 입사시키면 선형적으로 파장이 변하는 광이 발생한다. 상기 선형적으로 파장이 변하는 광을 영상렌즈(85)를 통해 측정물에 조사함으로써 측정물의 높이에 따라 각기 다른 파장의 빛이 조사되며 전술한 측정방법을 통해 측정물의 높이를 측정할 수 있다. 도7c는 도7b의 조명부만을 별도로 도시한 것이며 이는 상용화 판매되고 있는 LVWF(84)를 사용하여 구성된 조명부이다. 상기 LVWF의 일방에서 백색광이 입사되면 출사되는 빛의 파장분포는 LVWF의 x 방향에 따라 각기 다른 파장의 빛이 출사된다. 상기 상용화된 LVWF(예로는 Edmund Industrial Optics사의 SCHOTT VERIL Linear VariableInterference Filter등)를 사용하여 다파장 조명광을 구성할 경우 간편하게 조명광학계를 구성할 수 있어 유리하다.
도7a의 조명방식은 각각의 광섬유(76)(77)(78)를 각기 별도로 제작하여 다른 방향에서 조사할 수도 있을 것이며 이는 당업자가 상황에 따라 결정할 수 있을 것이다. 또한 필요에 따라 한 개의 광원만을 사용하고 광섬유를 몇 개로 분리한 후 그 다음단에 밴드패스필터(73)(74)(75)를 배치하여 광학계를 구성할 수 있으며, 이외에도 단일 파장 광을 만드는 방법으로 텅스텐 할로겐 램프와 같은 백색광을 이용하지 않고 튜브 레이저 또는 레이저 다이오드를 이용함으로써 구현할 수 있다.
도8은 도7a 와 같이 조명광(80)(81)(82)으로 3개의 단일파장을 이용했을 때의 파장분포를 나타낸 것이다. 이때에는 파장을 임의로 선택할 수 있는데 대략 600nm대의 붉은색(80), 500nm대의 초록색(81), 400nm대의 푸른색(82)을 이용하는 것이 가장 효과적이다. 각 조명광이 측정면(86)에 수직인 임의의 한 라인에 조사된다고 가정하면 이들은 가우시안 곡선 형태(83)(84)(85)의 광강도 분포 곡선을 가지게 된다. 이 분포 곡선을 서로 적절히 겹치게 하면 선형적인 휴 곡선(87)을 얻을 수 있다. 이 곡선은 도2와 같은 형태이며 이 곡선을 이용함으로써 측정면의 표면 형상을 측정할 수 있다.
상기와 같이 수십미리미터의 높이를 갖는 측정물을 실시간으로 측정하는데 있어 다파장의 조명광을 측정물에 조사하고 상기측정물에 조사된 파장을 CCD 카메라인 검출수단으로 검출한 후 검출된 결과로부터 휴값을 계산하여 휴값에 대응하는 측정물의 높이를 산출함으로써 CCD 카메라로 검출하는 것과 동시에 측정물의 높이정보를 즉시 측정할 수 있다. 또한 다파장을 만들 수 있는 조명광을 프리즘, 광섬유, LVWF, 레이저를 도입하여 구성할 수 있도록 제안함으로서 다향한 형태의 조명광을 제작할 수 있어 측정장치를 구성하는데 있어 매우 유용할 것이다.

Claims (10)

  1. 임의의 측정물의 높이를 측정하는데 있어서,
    높이에 따라 각기 다른 파장을 조사하는 다파장 조명수단을 구비하는 단계와;
    상기 다파장 조명수단을 통해 높이에 따라 다른 파장이 조사되는 빔을 측정물에 조사하는 단계와;
    상기 조사된 빔이 측정물의 높이에 따라 해당되는 파장으로 분포되면, 상기 측정물의 높이에 따라 다른 파장으로 분포된 빔을 검출수단을 통해 검출하는 단계와;
    상기 검출수단에서 획득한 파장을 분석하는 단계;
    및 상기 분석된 결과를 적용하여 실시간으로 측정물의 높이를 산출하는 임의 형상 높이 측정방법.
  2. 제1항에 있어서,
    상기 검출수단에서 획득한 파장을 분석하는 단계는 검출한 파장을 휴값으로 변환하는 단계;
    상기 변환된 휴값을 사용하여 휴값과 높이정보와의 관계를 규정하는 식(수학식5, Z=f(H) 참조)을 통해 측정물의 높이를 산출하는 단계;
    를 적용하여 실시간으로 측정물의 높이정보를 산출하는 임의 형상 높이 측정방법.
  3. 임의의 측정물의 높이를 측정하는데 있어서,
    상기 측정물의 일측에 설치되고, 높이에 따라 각기 다른 파장을 조사하는 다파장 조명수단과;
    상기 측정물의 타측에 설치되고 상기 다파장 조명수단에 의해 측정물에 조사된 빔의 형태를 검출하는 검출수단과;
    로 구성되며 상시 다파장 조명수단에서 조사되는 빔은 동일 높이에는 동일 파장을 조사하되, 각 높이의 변화에 따라 각기 다른 파장이 조사되도록 배치되고, 상기 조명수단에서 측정물에 조사된 빔의 파장별 분포는 측정물의 높이 변화에 따라 분포되며, 상기 검출수단을 통해 측정물의 높이변화에 따라 파장별로 분포하는 빔의 형태를 검출하여 분석한 후, 상기 분석결과로부터 측정물의 높이정보를 실시간으로 산출하는 임의 형상 높이 측정장치.
  4. 제3항에 있어서,
    다파장 조명수단은 프리즘을 사용하여 일측에 백색광을 입사시키고, 타측에 다파장이 출사되도록 하여 측정물에 다파장을 조사함으로써 측정물의 높이정보를 실시간으로 산출하는 임의 형상 높이 측정장치.
  5. 제3항에 있어서,
    다파장 조명수단은 광원과 단일파장필터 광섬유로 구성되어 각기 다른 파장을 광섬유를 통해 출사되도록 하여 측정물에 상기 다파장을 조사함으로써 측정물의 높이정보를 실시간으로 산출하는 임의 형상 높이 측정장치.
  6. 제3항에 있어서,
    다파장 조명수단은 광섬유(82)로부터 출사한 광을 평행광렌즈(83)를 통해 LVWF(Linear Variable Wavelength Filter)(84)에 입사시키고 타측에 선형적으로 파장이 변하는 다파장을 출사되도록 하여 측정물에 상기 다파장을 조사함으로써 측정물의 높이정보를 실시간으로 산출하는 임의 형상 높이 측정장치.
  7. 제3항에 있어서,
    상기 빔의 형태를 분석하여 측정물의 높이정보를 산출하는 방식은,
    검출한 파장의 변화를 휴값으로 변환하여, 상기 휴값에 해당하는 측정물의 높이정보를 산출하되, 측정물의 높이정보는 휴값만의 함수(수학식5, Z=f(H) 참조)로 결정하여, 측정물의 높이정보를 실시간으로 산출하는 임의 형상 높이 측정장치.
  8. 제3항 내지 제7항중 한 항에 있어서,
    조명수단은 2개를 설치하되 측정물의 하나는 일측 상단에 경사지게 위치(도6a, 64)하고, 또 다른 하나는 측정물의 타측 상단에 경사지게 위치(도6a, 65)하며, 검출수단은 측정물의 중심축 상단(도6a, 63)에 설치하도록 구성되어 측정물의 높이정보를 실시간으로 산출하는 임의 형상 높이 측정장치.
  9. 제3항 내지 제7항중 한 항에 있어서,
    조명수단과 검출수단은 각각 1개씩 설치하되 조명수단은 측정물의 일측 상단에 경사지게 위치(도6b, 64)하고, 검출수단은 측정물의 타측 상단에 경사지게 설치(도6b, 63)하도록 구성되어 측정물의 높이정보를 실시간으로 산출하는 임의 형상 높이 측정장치.
  10. 제3항 내지 제7항중 한 항에 있어서,
    검출수단으로는 라인 CCD 카메라를 채용하여 2차원형상의 측정높이를 측정하고 측정물과 검출수단중 하나를 연속적으로 이동하면서 상기 2차원 형상의 높이정보를 연속적으로 측정한 후 상기 2차원 형상의 높이정보를 합성하여 3차원 형상의 높이정보를 실시간으로 산출하는 임의 형상 높이 측정장치.
KR10-2001-0018253A 2001-04-06 2001-04-06 색정보를 이용한 실시간 3차원 표면형상 측정방법 및 장치 KR100406843B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR10-2001-0018253A KR100406843B1 (ko) 2001-04-06 2001-04-06 색정보를 이용한 실시간 3차원 표면형상 측정방법 및 장치
US10/473,089 US7092105B2 (en) 2001-04-06 2001-10-31 Method and apparatus for measuring the three-dimensional surface shape of an object using color informations of light reflected by the object
PCT/KR2001/001840 WO2002082009A1 (en) 2001-04-06 2001-10-31 Method and apparatus for measuring the three-dimensional surface shape of an object using color informations of light reflected by the object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0018253A KR100406843B1 (ko) 2001-04-06 2001-04-06 색정보를 이용한 실시간 3차원 표면형상 측정방법 및 장치

Publications (2)

Publication Number Publication Date
KR20020078214A KR20020078214A (ko) 2002-10-18
KR100406843B1 true KR100406843B1 (ko) 2003-11-21

Family

ID=19707917

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0018253A KR100406843B1 (ko) 2001-04-06 2001-04-06 색정보를 이용한 실시간 3차원 표면형상 측정방법 및 장치

Country Status (3)

Country Link
US (1) US7092105B2 (ko)
KR (1) KR100406843B1 (ko)
WO (1) WO2002082009A1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100734431B1 (ko) 2006-01-26 2007-07-03 주식회사 고영테크놀러지 3차원형상 측정방법
KR100910573B1 (ko) 2008-05-29 2009-08-04 선문대학교 산학협력단 칼라 다파장 위상을 적용한 3차원 측정방법
WO2012121558A1 (ko) * 2011-03-10 2012-09-13 주식회사 미르기술 영상 선명도가 개선된 비전검사장치
WO2012134146A1 (ko) * 2011-03-31 2012-10-04 주식회사 미르기술 스테레오 비전과 격자 무늬를 이용한 비전검사장치
WO2012134147A1 (ko) * 2011-03-31 2012-10-04 주식회사 미르기술 가시광선의 격자무늬와 비가시광선의 격자 무늬를 이용한 비전검사장치
WO2012134145A1 (ko) * 2011-03-31 2012-10-04 주식회사 미르기술 서로 다른 색깔의 다중 격자 무늬를 이용한 비전검사장치
WO2012150782A1 (ko) * 2011-05-02 2012-11-08 주식회사 미르기술 편광판과 다중 격자 무늬를 이용한 비전검사장치
KR101198195B1 (ko) 2010-06-04 2012-11-12 주식회사 미르기술 비전 검사장치
KR101423122B1 (ko) * 2012-02-17 2014-07-25 주식회사 미르기술 반투명 형광체를 포함하는 엘이디 부품의 검사장치 및 검사방법

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003240521A (ja) * 2002-02-21 2003-08-27 Bridgestone Corp 被検体の外観・形状検査方法とその装置、及び、被検体の外観・形状検出装置
US20040125205A1 (en) * 2002-12-05 2004-07-01 Geng Z. Jason System and a method for high speed three-dimensional imaging
US7349104B2 (en) * 2003-10-23 2008-03-25 Technest Holdings, Inc. System and a method for three-dimensional imaging systems
DE102004050355A1 (de) * 2004-10-15 2006-04-27 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zum Prüfen der Oberfläche eines Reifens
TWI345053B (en) * 2007-03-16 2011-07-11 Ind Tech Res Inst Image-acquiring system with high-spectrum resolution and method for the same
WO2009062020A2 (en) * 2007-11-08 2009-05-14 D4D Technologies, Llc Lighting compensated dynamic texture mapping of 3-d models
FR2925706B1 (fr) * 2007-12-19 2010-01-15 Soc Tech Michelin Dispositif d'evaluation de la surface d'un pneumatique.
US7791008B2 (en) * 2008-07-31 2010-09-07 John Taylor Hargrove Single spot focus control
US8948491B2 (en) * 2008-08-26 2015-02-03 Kabushiki Kaisha Bridgestone Method and apparatus for detecting surface unevenness of object under inspection
FR2938330A1 (fr) * 2008-11-07 2010-05-14 Michelin Soc Tech Evaluation du relief de la surface d'un pneumatique par stereovision active
CZ2009133A3 (cs) * 2009-03-03 2009-07-08 Witrins S.R.O. Zarízení, zpusob merení vnejších rozmeru testovaného výrobku a použití tohoto zarízení
EP2196765A1 (en) * 2008-12-09 2010-06-16 WiTrins s.r.o. Measuring the outer dimensions of an object
TWI414748B (zh) * 2009-01-23 2013-11-11 Univ Nat Taipei Technology 同步色相相移轉換方法以及其三維形貌量測系統
JP5287385B2 (ja) * 2009-03-13 2013-09-11 オムロン株式会社 計測装置
CN101865674B (zh) * 2009-04-16 2012-05-23 陈亮嘉 相位信息读取方法及其三维形貌测量系统
US20100268069A1 (en) * 2009-04-16 2010-10-21 Rongguang Liang Dental surface imaging using polarized fringe projection
CA2762637C (en) 2009-11-04 2012-08-28 Technologies Numetrix Inc. Device and method for obtaining three-dimensional object surface data
TWI396824B (zh) * 2010-03-02 2013-05-21 Witrins S R O 用於光學測量產品表面之方法及器件
EP2375227A1 (en) * 2010-04-09 2011-10-12 Siemens Aktiengesellschaft Measurement of three-dimensional motion characteristics
KR101240947B1 (ko) * 2010-12-30 2013-03-18 주식회사 미르기술 비전검사장치
JP5782786B2 (ja) * 2011-04-01 2015-09-24 株式会社ニコン 形状測定装置
KR101281624B1 (ko) * 2011-06-29 2013-07-03 목포대학교산학협력단 재료의 표면 밑 구조를 영상화하는 영상화 방법 및 영상화 장치
TW201321789A (zh) * 2011-11-16 2013-06-01 Ind Tech Res Inst 成像系統與掃描方法
TWI467236B (zh) * 2012-04-12 2015-01-01 Univ Nat Formosa 三維形貌遙測系統及方法
FI125408B (fi) * 2012-09-17 2015-09-30 Focalspec Oy Menetelmä ja mittalaite pinnan etäisyyden, kohteen paksuuden ja optisten ominaisuuksien mittaamiseksi
JP5701837B2 (ja) * 2012-10-12 2015-04-15 横河電機株式会社 変位センサ、変位測定方法
TWI457541B (zh) * 2012-12-24 2014-10-21 Ind Tech Res Inst 物件表面之傾斜角的偵測方法、補償方法及其系統
US8939074B2 (en) * 2013-03-12 2015-01-27 Illinois Tool Works Inc. Color-based linear three dimensional acquisition system and method
KR102025716B1 (ko) * 2013-03-21 2019-09-26 삼성전자주식회사 3차원 형상 측정장치
CN104101310A (zh) * 2014-07-22 2014-10-15 电子科技大学 一种用于文字压痕的三维显现方法
CN106168467A (zh) * 2015-05-20 2016-11-30 上海沸谷自动化科技有限公司 一种三维检测装置及方法
JP6526514B2 (ja) * 2015-07-31 2019-06-05 リコーエレメックス株式会社 検査装置、方法及びプログラム
FI127908B (en) * 2015-09-22 2019-05-15 Teknologian Tutkimuskeskus Vtt Oy Method and apparatus for measuring surface height
CN105547194B (zh) * 2015-12-15 2018-03-27 宁波频泰光电科技有限公司 一种彩色3d测量系统
CN105547191B (zh) * 2015-12-15 2018-03-27 宁波频泰光电科技有限公司 一种彩色3d测量系统
CN105547192B (zh) * 2015-12-15 2018-04-17 宁波频泰光电科技有限公司 一种彩色3d测量系统
CN105547193A (zh) * 2015-12-15 2016-05-04 宁波频泰光电科技有限公司 一种彩色3d测量系统
CN105547195B (zh) * 2015-12-15 2018-04-17 宁波频泰光电科技有限公司 一种彩色3d测量系统
CN105571522A (zh) * 2015-12-15 2016-05-11 宁波频泰光电科技有限公司 一种彩色3d测量系统
CN108801155B (zh) * 2018-07-18 2020-03-06 清华大学深圳研究生院 一种光谱编码距离传感器系统
DE102021124507A1 (de) * 2021-09-22 2023-03-23 WICKON HIGHTECH GmbH Inspektionssystem und Verfahren zur Fehleranalyse
DE102021124505A1 (de) * 2021-09-22 2023-03-23 WICKON HIGHTECH GmbH Inspektionssystem und Verfahren zur Fehleranalyse
DE102021124504A1 (de) * 2021-09-22 2023-03-23 WICKON HIGHTECH GmbH Inspektionssystem und Verfahren zur Fehleranalyse

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5039868A (en) * 1988-11-24 1991-08-13 Omron Corporation Method of and apparatus for inspecting printed circuit boards and the like
JP3036081B2 (ja) * 1990-12-01 2000-04-24 株式会社日立製作所 電子線描画装置及び方法、及びその試料面高さ測定装置
JP2985906B2 (ja) 1991-07-17 1999-12-06 日本ビクター株式会社 投射型表示装置
JPH07229720A (ja) * 1994-02-21 1995-08-29 Nec Corp 3次元形状測定装置
US5708498A (en) * 1996-03-04 1998-01-13 National Research Council Of Canada Three dimensional color imaging
US6327374B1 (en) * 1999-02-18 2001-12-04 Thermo Radiometrie Oy Arrangement and method for inspection of surface quality
US6181430B1 (en) 1999-03-15 2001-01-30 Ohio Aerospace Institute Optical device for measuring a surface characteristic of an object by multi-color interferometry
US6341016B1 (en) * 1999-08-06 2002-01-22 Michael Malione Method and apparatus for measuring three-dimensional shape of object
US6937348B2 (en) * 2000-01-28 2005-08-30 Genex Technologies, Inc. Method and apparatus for generating structural pattern illumination
JP3519698B2 (ja) * 2001-04-20 2004-04-19 照明 與語 3次元形状測定方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100734431B1 (ko) 2006-01-26 2007-07-03 주식회사 고영테크놀러지 3차원형상 측정방법
KR100910573B1 (ko) 2008-05-29 2009-08-04 선문대학교 산학협력단 칼라 다파장 위상을 적용한 3차원 측정방법
KR101198195B1 (ko) 2010-06-04 2012-11-12 주식회사 미르기술 비전 검사장치
WO2012121558A1 (ko) * 2011-03-10 2012-09-13 주식회사 미르기술 영상 선명도가 개선된 비전검사장치
WO2012134146A1 (ko) * 2011-03-31 2012-10-04 주식회사 미르기술 스테레오 비전과 격자 무늬를 이용한 비전검사장치
WO2012134147A1 (ko) * 2011-03-31 2012-10-04 주식회사 미르기술 가시광선의 격자무늬와 비가시광선의 격자 무늬를 이용한 비전검사장치
WO2012134145A1 (ko) * 2011-03-31 2012-10-04 주식회사 미르기술 서로 다른 색깔의 다중 격자 무늬를 이용한 비전검사장치
WO2012150782A1 (ko) * 2011-05-02 2012-11-08 주식회사 미르기술 편광판과 다중 격자 무늬를 이용한 비전검사장치
KR101268549B1 (ko) 2011-05-02 2013-05-28 주식회사 미르기술 편광판과 다중 격자 무늬를 이용한 비전검사장치
KR101423122B1 (ko) * 2012-02-17 2014-07-25 주식회사 미르기술 반투명 형광체를 포함하는 엘이디 부품의 검사장치 및 검사방법

Also Published As

Publication number Publication date
WO2002082009A1 (en) 2002-10-17
US20040145753A1 (en) 2004-07-29
US7092105B2 (en) 2006-08-15
KR20020078214A (ko) 2002-10-18

Similar Documents

Publication Publication Date Title
KR100406843B1 (ko) 색정보를 이용한 실시간 3차원 표면형상 측정방법 및 장치
US8654352B1 (en) Chromatic confocal scanning apparatus
KR102521476B1 (ko) 치아 객체의 3차원 측정을 위한 카메라 및 방법
CN112648926B (zh) 一种线聚焦彩色共焦三维表面高度测量装置及方法
US11493331B2 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring computer-readable storage medium, and three-dimensional shape measuring computer-readable storage device
CN106197257A (zh) 振幅相位联合调制超分辨三维微纳结构形貌测量装置
JP2008039771A (ja) 構造基板の高さ分布を測定するための装置および方法
US8823930B2 (en) Apparatus and method for inspecting an object
JP3861666B2 (ja) 形状測定方法及び装置
JP6275622B2 (ja) 走行面上の複数の製品の位置と三次元的な形状を非接触で検出する方法およびスキャナ
JP2021527207A (ja) 共焦点カメラにおいて動的投影パターンを生成するための装置、方法、およびシステム
US6734978B2 (en) Profile measuring method and measurement apparatus using interference of light
TW201923305A (zh) 藉由干涉距離測量手段來偵測物體表面輪廓之組件
KR101794641B1 (ko) 파장 분리를 이용한 높이 및 형상측정이 가능한 경사 분광시스템
KR101875467B1 (ko) 3차원 형상 측정 장치 및 측정 방법
KR100489431B1 (ko) 스캔식 위상천이 3차원 형상측정 장치 및 측정 방법
CN110186927B (zh) 图像检查装置以及图像检查方法
JP6887141B2 (ja) 表面形状測定方法および表面形状測定装置
WO2018088827A1 (ko) 3차원 형상 측정 장치 및 측정 방법
Van Wolputte et al. Embedded line scan image sensors: The low cost alternative for high speed imaging
KR101323183B1 (ko) 듀얼광을 이용한 3차원 형상 측정장치
JP7332417B2 (ja) 測定装置、及び測定方法
JP2004361218A (ja) 表面形状および/または膜厚測定方法及びその装置
WO2023105664A1 (ja) ワーク計測装置およびワーク計測方法
CN110296666B (zh) 三维量测器件

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121105

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20131030

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20141104

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20151105

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20161103

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20171103

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20191105

Year of fee payment: 17