KR100406169B1 - 편광을 이용한 광학식 형상측정장치 - Google Patents

편광을 이용한 광학식 형상측정장치 Download PDF

Info

Publication number
KR100406169B1
KR100406169B1 KR10-1999-0046774A KR19990046774A KR100406169B1 KR 100406169 B1 KR100406169 B1 KR 100406169B1 KR 19990046774 A KR19990046774 A KR 19990046774A KR 100406169 B1 KR100406169 B1 KR 100406169B1
Authority
KR
South Korea
Prior art keywords
laser beam
image
polarizing plate
linear
measurement object
Prior art date
Application number
KR10-1999-0046774A
Other languages
English (en)
Other versions
KR20010038688A (ko
Inventor
백성훈
박승규
김철중
Original Assignee
한국전력공사
한국원자력연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전력공사, 한국원자력연구소 filed Critical 한국전력공사
Priority to KR10-1999-0046774A priority Critical patent/KR100406169B1/ko
Publication of KR20010038688A publication Critical patent/KR20010038688A/ko
Application granted granted Critical
Publication of KR100406169B1 publication Critical patent/KR100406169B1/ko

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/16Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G01B11/168Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge by means of polarisation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2441Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using interferometry

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 편광을 이용한 광학식 형상측정장치에 관한것으로, 그 구성은 선형 레이저빔을 만들어 측정대상체(10)에 조사시키는 레이저빔 조사장치(1)와, 측정대상체(10) 표면에서 산란되는 선형 레이저빔의 영상을 획득하는 카메라(5)와, 획득한 영상을 저장하고 선형 영상에서 중심픽셀들을 찾아서 3차원 형상정보를 추출하는 영상신호처리보드(6) 및 영상신호처리 프로그램을 운영하는 컴퓨터(7)를 구비하고 있는 광학식 형상측정장치에 있어서, 측정대상체의 국부적인 반사율이 크게 달라 반사되어 획득된 영상의 밝기가 불균일 할 경우 이를 자동으로 조절되도록 레이저빔 조사장치(1) 렌즈 앞에 설치된 제 1 편광판(2)과, 측정 대상체(10)로부터 반사된 레이저빔 영상을 획득하는 카메라(5) 렌즈 앞에 설치되어 측정대상체(10) 반사후 편광이 유지된 선형 레이저빔은 감쇄 통과시키고, 반사후 산란된 레이저빔은 통과하도록 최적화시킨 제 2 편광판(3)으로 구성한 것을 특징으로 한다.

Description

편광을 이용한 광학식 형상측정장치{Optical 3-D shape-measuring-apparatus using polarization}
본 발명은 생산현장에서의 온-라인 제품검사나 형상측정에 많이 사용되는 광학식 형상측정장치에 관한 것으로, 특히 선형 레이저빔을 사용하는 형상측정장치에 편광판을 도입하여 측정대상체의 국부적인 반사 및 산란 특성에 따른 상의 밝기 차이를 조절하여 향상된 선형 레이저빔 영상을 획득할 수 있는 장치에 대한 것이다.일반적으로, 자동화 시스템 등에 사용되는 광학식 형상측정 기술은 원격, 비접촉식 측정으로 대상체에 영향을 미치지 않으며, 병렬/고정밀 측정이 가능하고 큰 대상체에도 활용할 수 있는 등 실용성이 높기 때문에 많은 연구가 진행되어 왔다.특히 레이저 삼각측정 방식을 이용한 형상측정 장치는 주변환경에 의한 오차가 적고 측정속도가 빨라 산업 현장에서 많이 사용되고 있다.
종래의 선형 레이저빔과 삼각측정법을 이용한 광학식 측정장치는 첨부한 도 1 과 같이 구성되는데, 선형 레이저빔을 만들어 측정대상체(10)에 조사시키는 레이저빔 조사장치(1)와, 측정대상체(10) 표면에서 반사 또는 산란되는 선형 레이저빔만을 투과시키고 무관한 빛을 차단하기 위한 색필터(4)와, 물체에서 반사된 레이저빔의 영상을 획득하는 카메라(5)와, 상기 카메라에서 획득한 영상을 메모리에 저장하고 획득된 선형 영상에서 중심픽셀들을 찾아서 3차원 형상정보를 추출하는 영상신호처리보드(6) 및 영상신호처리 프로그램을 운영하는 컴퓨터(7)로 구성된다.
상기와 같이 구성된 광학식 형상측정장치에서 카메라로 획득되는 레이저빔의 영상은 물체표면이 평면이 아닌 경우, 도 2 에서 보이는 것처럼 기준선에 수직방향으로 변형되고, 이 변형량은 그 점에서의 높이 정보를 가지게 된다. 표면 형상에 따라 변형된 선형 레이저빔 영상을 카메라(5)로 획득하여 영상신호처리보드(6)와 컴퓨터(7)에서 3차원 형상정보를 추출하게 된다.
상술한 바와 같이 동작하는 선형 레이저빔을 이용한 형상측정장치는 기존 특허로 제안된 선행기술이 많은데, 대한민국특허 공개번호 제97-28614, 제92-10548호 등과, 미국특허 5,264,678과 5,129,010 등이 있다.
그러나, 이러한 기존 장치는 측정대상체 표면에서의 레이저빔 산란 및 반사 상태가 균일하지 않은 경우 - 예를 들어 납이 도포되어 있는 PCB 기판의 경우 기판 부분에서는 직접적인 반사가 심하고 납 부분에서는 난반사(산란)가 심함 - 에는 카메라(5)에 획득된 레이저빔의 영상은 국부적으로 밝기 차이가 심하게 나타난다. 이러한 경우 어두운 부분의 영상을 획득하기 위하여 카메라의 감도를 높이면 밝은 부분의 영상은 포화상태(saturated)가 되고, 또한 반사가 심한 부분의 레이저빔이 다른 영역에서 2차 반사를 일으켜 오차를 유발하게 된다.
"점 광원을 사용하는 레이저 삼각측정장치"에서는 이러한 현상을 적응형 레이저 세기 조절 등으로 해결할 수 있으나, "선형 빔을 사용하는 레이저 삼각측정장치"에서는 해결하기 힘든 문제이다.
레이저를 이용한 광학식 형상측정장치에 편광 개념을 사용한 기존기술로는, 정규분포를 이루는 레이저빔의 단면에 레이저빔이 물체에서 산란되면서 생기는 노이즈를 편광을 이용하여 제거하는 방법이 기존에 고안되었다.(Japanese patent 7-218231 A, Three-dimensional shape measuring apparatus). 이 고안은 레이저빔이 물체에서 산란되면서 불규칙한 산란으로 인해 2차 산란이 생겨 선형 레이저빔의 영상에서 중심선을 추출하는데 오차를 유발하는 것을 카메라 렌즈 앞에 편광판을 설치하여 해결하는데 주안점이 있다.
본 발명의 목적은 선형 레이저빔을 사용하는 형상측정장치에서 측정대상체의 국부적인 산란 정도가 심하게 다른 경우(예를 들어 납이 도포되어 있는 PCB 기판이나, BGA 등)에 획득된 선형 레이저빔의 영상의 밝기차이가 심해 측정이 어려운 경우가 발생하는 것을,
레이저 조사부와 레이저빔 수광부에 각각 편광자를 설치하여, 물체에 조사되는 레이저빔을 특정 편광상태로 만들고 레이저빔의 영상을 획득하는 카메라 렌즈 앞의 편광자의 편광각도를 조절하여 미리 최적화 함으로써, 물체의 상태에 따라 반사되는 레이저빔(레이저빔의 편광상태가 대부분 유지됨)과 산란되는 빔(레이저빔의 편광상태가 많이 깨어짐)의 수광량을 자동으로 최적화 함으로써, 레이저측정 대상체의 위치에 따른 밝기의 차이를 줄여 향상된 영상을 획득할 수 있는 장치를 제공하는 데 있다.
본 발명은 선형 레이저빔을 이용한 광학식 형상측정장치에서 레이저 빔 조사부와 레이저빔 수광부에 각각 편광자를 설치하고 그 각도를 조절하여 최적화함으로써 밝기차이가 적은 향상된 레이저빔의 영상을 획득하는 장치에 관한 것이다. 레이저 조사장치 앞에 위치한 편광자를 조절하면 물체에 입사되는 레이저빔의 편광 방향을 조절할 수 있다(레이저빔 자체가 편광이 되어 있을 경우에는 편광자를 생략하고 레이저의 편광 각도를 조절하여도 된다). 측정대상체가 국부적으로 반사 및 산란 정도가 다른 경우에 수광부(카메라) 앞에 위치한 편광자의 각도를 조절하면 국부적으로 강한 레이저빔의 세기를 선별적으로 감쇄시켜 전체 영상을 보다 균일하게 할 수 있다. 이것의 원리는 레이저빔 영상의 국부적인 밝기는 물체 면의 반사/산란정도에 의해 결정되는데, 이때 반사/산란 특성이 다를 경우 편광 특성도 다르다는 점에 착안하여 국부적으로 강한 부위의 빔을 편광 성분으로 선별적으로 감쇄시켜 전체적으로 균일한 레이저빔의 영상을 얻는 것이다.
도 1 은 종래의 광학식 형상측정장치의 전체 구성도
도 2 는 일반적인 측정대상체에 선형으로 조사된 레이저빔의 형상변형 예시도
도 3 은 일반적인 삼각측정법의 원리도
도 4 는 본 발명에 따른 편광을 이용한 광학식 형상측정장치의 전체구성도
도 5 는 본 발명에 따른 형상측정장치에서 편광판의 각도 설치 예시도
도 6a 는 종래의 편광판을 도입하지 않은 장치의 영상획득 결과
도 6b 는 본 발명에 따른 편광판을 도입한 장치의 영상획득 결과
<도면의 주요부분에 대한 부호의 설명>
(1) : 레이저빔 조사 장치 (2) : 제 1 편광판
(3) : 제 2 편광판 (4) : 색필터
(5) : CCD 카메라 (6) : 영상신호처리보드
(7) : 컴퓨터 (8) : 영상 렌즈
(9) : CCD 센서 (10) : 측정대상체
(α) : 입사빔의 입사각 (β) : 센서의 관측각도
(q) : 센서면에서의 광점 영상의 변위
(p) : 물체의 높이
상기 목적을 달성하기 위한 본 발명의 특징은 도 4 와 같이 선형 레이저빔을 사용하는 형상측정장치에서 레이저빔 조사장치(1) 렌즈 앞에 제 1 편광판(2)을 설치하고 레이저빔 영상을 획득하는 수광부의 카메라(5) 렌즈 앞에는 제 2 편광판(3)을 설치하여 측정대상체(10) 표면의 국부적인 반사율이 크게 달라 획득된 영상의 밝기가 불균일 할 경우 두 개의 편광판(2,3)의 각도를 적절히 조절함으로 물체에서 반사되는 빔과 산란되는 빔의 세기를 조절하여 향상된 레이저빔 영상을 얻을 수 있는 것이다.즉, 본 발명은 선형 레이저빔을 만들어 측정대상체(10)에 조사시키는 레이저빔 조사장치(1)와, 측정대상체(10) 표면에서 산란되는 선형 레이저빔의 영상을 획득하는 카메라(5)와, 획득한 영상을 저장하고 선형 영상에서 중심픽셀들을 찾아서 3차원 형상정보를 추출하는 영상신호처리보드(6) 및 영상신호처리 프로그램을 운영하는 컴퓨터(7)를 구비하고 있는 이분야의 광학식 형상측정장치에 있어서,측정대상체의 국부적인 반사율이 크게 달라 반사되어 획득된 영상의 밝기가 불균일 할 경우 균일하게 조절되도록 레이저빔 조사장치(1) 렌즈 앞에 설치된 제 1 편광판(2)과,측정 대상체(10)로부터 반사된 레이저빔 영상을 획득하는 카메라(5) 렌즈 앞에 설치되어 측정대상체(10) 반사후 편광이 유지된 선형 레이저빔은 감쇄 통과시키고, 반사후 산란된 레이저빔은 통과하도록 최적화시킨 제 2 편광판(3)으로 구성하여 개량한 것을 그 기술적 특징으로 한다.
특히 이 방법은 땜납이 입혀져 있는 PCB 기판의 검사 등과 같이 측정대상체의 반사율이 국부적으로 크게 다를 경우, 반사 또는 산란되는 빔의 편광 성분을 선별적으로 받아 들여 밝기가 균일한 영상을 얻는데 큰 효과가 있으며, 반사 또는 산란된 빔이 다른 부위에 부딪혀 노이즈 성분의 상을 만드는 것을 차단하는 부가적인 효과도 가진다.
우선 통상적인 삼각측정방식의 기본 원리를 첨부한 도 3 을 참조하여 살펴보면 다음과 같다. 도 3 에서 입사빔의 입사각 α와 센서의 관측각도(수광각) β, 그리고 영상 렌즈의 초점거리(f) 및 배율 m(=s*/s)은 알고 있는 변수이다. 물체 면에 조사되는 광점의 영상이 항상 센서면에 정확히 맺히기 위해서는 Scheimpflug 조건을 만족해야 하는데 이 경우, 물체의 높이(p)에 따른 센서면에서의 광점 영상의 변위(q)는 다음 (1) 식과 같이 계산된다.
〔관계식1〕----------- (1)
이러한 광학식 형상측정장치는 통상 도 1 과 같은 구성을 가진다. 그러나 본 발명의 광학계는 도 4 와 같이 레이저빔 조사장치(1) 렌즈 앞에 제 1 편광판(2)을 설치하고 레이저빔 영상을 획득하는 수광 카메라(5) 렌즈 앞에는 제 2 편광판(3)을 설치하여 측정대상체(10) 표면의 국부적인 반사율이 달라 획득된 영상의 밝기가 불균일할 경우 두 개의 편광판(2,3)의 각도를 적절히 회전 조절하여 최적화 시킴으로써 물체에서 반사되는 빔과 산란되는 빔의 세기를 자동으로 조절할 수 있도록 구성된다.
[실시예]
도 5 는 본 발명에 따른 실시예를 살펴보기 위한 레이저 입사각과 수광각이 거의 비슷하게(α≒β) 구성된 삼각측정장치의 구성도이다. 문제는 측정대상체의 표면 상태가 균일하지 않은 경우에, 즉 거친 면과 고운 면이 동시에 분포하는 경우에 발생한다. 이러한 경우의 예로는, 국부적으로 납이 도포되어 있는 PCB 기판 검사 등을 들 수 있는데, PCB 기판은 고운 면을 가지고 있으나 납 부분은 거친 면을 가지고 있어 일반적인 구성으로는 기판 부위와 납 부위의 영상의 밝기가 달라 측정이 어렵게 된다. 원안의 점과 화살표는 편광 방향을 나타낸다.
도 6 은 도 5 와 같은 장치구성에서 얻은 실험결과이다. 도 6a 는 종래의 편광판을 도입하지 않은 측정장치에서 얻은 영상으로, 측정대상체는 납이 도포되어 있는 PCB 기판이고 입사각 α와 수광각 β는 40도 이다. 레이저 선의 낮은 부분(PCB 기판 부분)의 세기가 선의 윗부분(납 부분)에 비해 아주 세어 포화(saturation) 된 것을 알 수 있으며, 난반사로 인한 노이즈 성분이 많은 것을 볼 수 있다. 이에 비해 도 6b 는 도 5 와 같이 본 발명에 따른 두 개의 편광판의 편광각을 서로 수직으로 설치한 장치로 측정한 결과이다. 레이저 선의 낮은 부분(PCB 기판 부분)의 세기가 도 6a 에 비해 많이 감쇄되었으며, 노이즈도 많이줄어든 것을 볼 수 있다.
본 발명은 선형 레이저빔을 이용한 광학식 형상측정장치로서, 레이저 조사부와 레이저빔 수광부에 각각 편광판을 설치하고 그 각도를 조절하여 보다 좋은 영상을 획득하는 광학식 형상측정장치에 대한 것이다. 앞의 실시예에서는 한 쌍의 선형 편광판을 사용한 경우를 언급하였었는데, 선형 편광 뿐 아니라 원형 편광판, 또는 일반적인 타원 편광판을 사용하여서도 비슷한 효과를 거두도록 구성할 수 있다.
상기와 같이 동작하는 편광을 사용하는 선형 광학식 형상측정장치에서는 납이 도포되어 있는 PCB 기판 등과 같이 측정대상체의 광 산란정도가 불균일 할 경우, 편광판을 도입하여 반사 및 산란 빔의 편광유지 정도의 차이를 이용하여 카메라에 입사되는 국부적인 광량을 편광판 회전을 통하여 최적화시킴으로써 밝기의 대비(contrast)가 적절한 영상으로 얻을 수 있으며, 레이저빔이 측정대상체에서 심하게 반사할 때 생기는 노이즈 상을 제거할 수 있다.

Claims (4)

  1. 선형 레이저빔을 만들어 측정대상체(10)에 조사시키는 레이저빔 조사장치(1)와, 측정대상체(10) 표면에서 산란되는 선형 레이저빔의 영상을 획득하는 카메라(5)와, 획득한 영상을 저장하고 선형 영상에서 중심픽셀들을 찾아서 3차원 형상정보를 추출하는 영상신호처리보드(6) 및 영상신호처리 프로그램을 운영하는 컴퓨터(7)를 구비하고 있는 광학식 형상측정장치에 있어서,
    측정대상체의 국부적인 반사율이 크게 달라 반사되어 획득된 영상의 밝기가 불균일 할 경우 균일하게 조절되도록 레이저빔 조사장치(1) 렌즈 앞에 설치된 제 1 편광판(2)과,
    측정 대상체(10)로부터 반사된 레이저빔 영상을 획득하는 카메라(5) 렌즈 앞에 설치되어 측정대상체(10) 반사후 편광이 유지된 선형 레이저빔은 감쇄 통과시키고, 반사후 산란된 레이저빔은 통과하도록 최적화시킨 제 2 편광판(3)으로 구성한 것을 특징으로 하는 광학식 형상측정장치.
  2. 제 1 항에 있어서,
    상기한 레이저빔 조사장치의 렌즈 앞에 설치하는 제 1 편광판(2)은 레이저 광원 자체가 이미 편광되어 있는 경우에는 생략할 수 있으며, 이때에는 영상을 획득하는 카메라 앞에만 제 2 편광판(3)을 설치하여 레이저빔의 편광각도와 제 2 편광판(3)의 각도를 회전시켜 최적화함으로써 영상의 밝기가 균일하게 조절되도록 구성된 것을 특징으로 하는 광학식 형상측정 장치.
  3. 제 1 항에 있어서,
    상기한 두 개의 편광판(2,3)이 선형 편광판으로 구성된 것을 특징으로 하는 광학식 형상측정장치.
  4. 제 1 항에 있어서,
    상기한 두 개의 편광판(2,3)이 원형 편광판으로 구성된 것을 특징으로 하는 광학식 형상측정장치.
KR10-1999-0046774A 1999-10-27 1999-10-27 편광을 이용한 광학식 형상측정장치 KR100406169B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-1999-0046774A KR100406169B1 (ko) 1999-10-27 1999-10-27 편광을 이용한 광학식 형상측정장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-1999-0046774A KR100406169B1 (ko) 1999-10-27 1999-10-27 편광을 이용한 광학식 형상측정장치

Publications (2)

Publication Number Publication Date
KR20010038688A KR20010038688A (ko) 2001-05-15
KR100406169B1 true KR100406169B1 (ko) 2003-11-17

Family

ID=19617084

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-1999-0046774A KR100406169B1 (ko) 1999-10-27 1999-10-27 편광을 이용한 광학식 형상측정장치

Country Status (1)

Country Link
KR (1) KR100406169B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014043587A1 (en) * 2012-09-13 2014-03-20 California Institute Of Technology Coherent camera
WO2016126134A1 (ko) * 2015-02-05 2016-08-11 고려대학교 산학협력단 편광 특성을 이용하여 생체 조직을 검출하는 광학 시스템

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030033174A (ko) * 2001-10-18 2003-05-01 이정현 반사 표면을 갖는 문화유물의 3차원 형상 측정 방법
KR101219778B1 (ko) * 2010-07-26 2013-02-05 (주)다인조형공사 3차원 형상 스캐닝을 통한 최적의 데이터 추출을 위한 조명 시스템
CN108317975B (zh) * 2018-01-30 2024-04-09 广州肖宁道路工程技术研究事务所有限公司 路面抗滑纹理测试装置及其扫描机构
CN110375656B (zh) * 2019-07-09 2021-08-13 武汉钢铁有限公司 磁致伸缩系数的测量装置及测量方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014043587A1 (en) * 2012-09-13 2014-03-20 California Institute Of Technology Coherent camera
US10848739B2 (en) 2012-09-13 2020-11-24 California Institute Of Technology Coherent camera
WO2016126134A1 (ko) * 2015-02-05 2016-08-11 고려대학교 산학협력단 편광 특성을 이용하여 생체 조직을 검출하는 광학 시스템

Also Published As

Publication number Publication date
KR20010038688A (ko) 2001-05-15

Similar Documents

Publication Publication Date Title
KR100190312B1 (ko) 이물검사장치
KR100261387B1 (ko) 이물검사방법 및 장치
US20170211972A1 (en) Speckle reduction method and apparatus
KR101414867B1 (ko) 인쇄 회로 기판 타깃의 정렬
US6028671A (en) Method and system for suppressing unwanted reflections in an optical system
US9752869B2 (en) Systems and methods for performing machine vision using diffuse structured light
EP0501683B1 (en) Technique for enhanced two-dimensional imaging
EP1119738A2 (en) System and method for three-dimensional inspection using patterned light projection
KR100406169B1 (ko) 편광을 이용한 광학식 형상측정장치
KR100568439B1 (ko) 엘립소미터 측정장치
KR100887184B1 (ko) 부분 경면 물체의 형상측정 장치 및 그 방법
US7945087B2 (en) Alignment of printed circuit board targets
TWI388817B (zh) Method and device for measuring the defect of the CCD object by the critical angle method
JP2004163129A (ja) 欠陥検査方法
JPH04310836A (ja) 屈折率分布測定方法
JP2002202108A (ja) 板厚測定装置
KR101785069B1 (ko) 다크 필드 조명 장치
JP2000314707A (ja) 表面検査装置および方法
KR20230159406A (ko) 이물 검사 장치 및 이물 검사 방법
CN213657775U (zh) 一种对称双接收直射式激光三角位移传感器
US20030133101A1 (en) Light monitoring device
KR101458890B1 (ko) 3차원 형상 측정장치
JP5090662B2 (ja) 球面検査方法及び球面検査装置
Barchuck et al. Optical diagnostics of rough surfaces by inhomogeneously polarized laser illumination
JP2007218830A (ja) 表面形状のエッジ検出方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20061102

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee