KR100406399B1 - 강판의표면결함검출방법 - Google Patents

강판의표면결함검출방법 Download PDF

Info

Publication number
KR100406399B1
KR100406399B1 KR10-1998-0058741A KR19980058741A KR100406399B1 KR 100406399 B1 KR100406399 B1 KR 100406399B1 KR 19980058741 A KR19980058741 A KR 19980058741A KR 100406399 B1 KR100406399 B1 KR 100406399B1
Authority
KR
South Korea
Prior art keywords
image
steel sheet
defect
reference image
difference
Prior art date
Application number
KR10-1998-0058741A
Other languages
English (en)
Other versions
KR20000042521A (ko
Inventor
박창현
Original Assignee
주식회사 포스코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포스코 filed Critical 주식회사 포스코
Priority to KR10-1998-0058741A priority Critical patent/KR100406399B1/ko
Publication of KR20000042521A publication Critical patent/KR20000042521A/ko
Application granted granted Critical
Publication of KR100406399B1 publication Critical patent/KR100406399B1/ko

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G01N2021/8893Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques providing a video image and a processed signal for helping visual decision

Abstract

본 발명에 따른 강판의 표면결함 검출방법은 복수의 영상을 평균하여 기준영상을 생성하는 단계와, 강판을 촬영하여 대상영상을 생성하는 단계와, 대상영상과 기준영상을 차이를 산출하여 차이영상을 형성하는 단계와, 차이영상을 기초로 영상의 결함여부를 판별하는 단계와, 영상에 결함이 없는 경우 가장 오래된 영상을 제거하고 미결함영상을 더한 후 다시 평균하여 새로운 기준영상을 생성하는 단계로 구성된다.

Description

강판의 표면결함 검출방법{A METHOD OF DETECTING DEFECT ON SURFACE OF A STEEL SHEET}
본 발명은 강판의 표면결함방법에 관한 것으로, 특히 조명과 카메라등의 결함검출장치 자체의 노이즈성분을 기준영상에 포함시키고 생산되는 강판의 재질에 따라 결함검출방법의 파라미터값을 자동으로 변환시킬 수 있는 강판의 결함검출방법에 관한 것이다.
근래 강판의 표면품질에 대한 요구가 엄격화됨과 동시에 제조라인의 고속화가 진행되고 있다. 종래에는 주행중인 강판의 표면결함을 검출하기 위해서 조업자가 직접 주행중인 강판의 표면을 관찰하거나 강판의 표면에 빛을 조사하는 조명장치 및 강판표면으로부터 반사되는 빛을 검출하는 수광부로 구성된 장치를 사용하여 결함을 검출하는 자동표면검출방법을 사용하였다.
조업자의 관찰에 의한 결함검출방법은 조업자가 항상 강판의 표면을 관찰하고 있어야만 하기 때문에 정확한 검출이 어려울 뿐만 아니라 인력낭비가 대단히 심하였다. 또한, 조업자들 사이에 일관된 검출 기준이 존재하기 어렵기 때문에 객관적인 검출이 어려웠으며, 강판의 주행속도가 빨라지게 되는 경우에는 결함검출 자체가 불가능한 문제가 있었다.
조명장치와 수광부를 이용하여 자동으로 강판 표면의 결함을 검출하는 방법은 사용되는 장치에 따라 혹은 방법에 따라 실제적으로 여러 가지 방법이 존재할 수 있다. 예를 들어, 일본국 특개평 제6-308051호 및 제9-61373호에는 이러한 방법이 개시되어 있다.
도 1은 일본국 특개평 제6-308051호에 개시된 표면검출장치를 나타내는 도면으로, 도면부호 1은 레이저발진기, 2는 로터리미러, 3은 로터리미러로부터의 반사광을 강판(S)에 조사하는 반사미러이며 상기 강판(S)의 상면에는 정반사되는 레이저빔을 수광하는 제1수광부(4)와 난반사되는 레이저빔을 수광하는 제2수광부(5)가 설치되어 있다.
상기한 구성으로 이루어진 강판의 결함검출장치에서는, 강판(S)의 라인방향과 폭방향 반사신호의 일정량으로부터 일부를 추출하고 이 추출된 부분에서 정반사 고주파대역, 정반사 저주파대역, 난반사 고주파대역 및 난반사 저주파대역의 각 결함신호를 얻으며, 이 4종류의 결함신호에 정부(正負;ㅁ)가 더해진 8종류의 신호의 대소를 비교하고 이 8종류 신호에 있어서 각 화소당 최대 신호값과 최대 신호레벨로되는 채널로부터 강판의 표면결함을 검출한다.
일본국 특개평 제9-61373호에 기재된 결함검출방법에 있어서는, 도 2에 도시된 바와 같이 우선 1번째의 1차원 수광신호에 대하여 그 평균강도를 산출하고 이 값을 설정된 소정의 문턱값(Th1)과 비교한다. 평균강도가 문턱값(Th1) 보다 큰 경우에는 강판의 전체에 걸쳐 결함이 검출되었음을 출력장치에 전송하고, 반대로 문턱값(Th1) 보다 작은 경우에는 상기 평균강도값을 기초로 하여 1차원수광신호를 강도변화하여 연결처리수단으로 전송한다.
이어서, 2번째의 1차원 수광신호에 대하여 동일한 처리를 실시한다. 여기서 말하는 강도변화라는 것은 각 1차원 수광신호의 평균강도가 일정값으로 변환되는것을 의미한다. 이러한 수순이 각 1차 수광신호에 대하여 차례로 실행된다. 이러한 과정에서 강판 표면의 전체적인 결함이 각 1차 수광신호의 강도변화를 수행하기 전에 평균강도의 크기를 평가하는 것에 의해서 검출된다.
한편, 연결처리수단은 강도변화된 1차원 수광신호를 순차버퍼에 저장시켜 2차원적 수광신호를 형성해서 설정된 문턱값(Th2)에 의해 문턱값처리를 실행한다. 이 2차원적 수광신호가 문턱값(Th2) 보다 클 경우, 국소적인 표면결함을 검출했음을 출력장치에 전송한다. 2차원적 수광신호가 문턱값(Th2) 보다 크기 않다는 것은 표면결함이 존재하지 않음을 의미하며 이를 출력장치에 전송한다.
상기한 바와 같이, 종래의 강판표면 결함자동검출방법에서는 강판으로부터 반사되어 입력되는 수광신호를 적절하게 신호처리함으로써 강판의 표면결함을 자동으로 검출할 수 있게 된다. 그러나, 상기한 방법에서는 조명장치나 수광부의 자체노이즈가 발생하는 경우 이 노이즈를 강판의 표면결함으로 인식하기 때문에 결함을 정확하게 검출하지 못하는 문제가 있었다. 또한, 생산하고 있는 강판의 재질이 달라지는 경우에도 결함을 검출하기 위해 사용되는 파라미터값을 수동으로 변화시켜야만 하는 문제가 있었다.
본 발명은 상기한 문제를 해결하기 위한 것으로, 조명과 카메라등의 결함검출장치 자체의 노이즈성분을 기준영상에 포함시키고 생산되는 강판의 재질에 따라 결함검출방법의 파라미터값을 자동으로 변환시킴으로써 제품의 품질을 향상시키고 생산성을 향상시킬 수 있는 강판의 표면결함 검출방법을 제공하는 것을 목적으로한다.
상기한 목적을 달성하기 위해, 본 발명에 따른 강판의 표면결함 검출방법은 복수의 영상을 평균하여 기준영상을 생성하는 단계와, 강판을 촬영하여 대상영상을 생성하는 단계와, 상기 대상영상과 기준영상을 차이를 산출하여 차이영상을 형성하는 단계와, 상기 차이영상을 기초로 영상의 결함여부를 판별하는 단계와, 영상에 결함이 없는 경우 가장 오래된 영상을 제거하고 미결함영상을 더한 후 다시 평균하여 새로운 기준영상을 생성하는 단계를 포함하여 구성된다.
상기 영상의 결함여부를 판별하기 위해서는 차이영상의 영역을 LㅧM개의 균일한 영역으로 분할하고 해당 분할영역에 대해 일정한 화소수 만큼 오버랩되는 영역을 생성한 후, 화소값이 Xi인 화소에 대한 다음의 수학식을 만족하는 화소의 갯수를 찾아 이 갯수가 1 보다 클 경우 오버랩영역에 하나의 결함이 있음을 판단하여 영상이 결함여부를 판별한다.
(여기서, X2,X3,X4,X5는 화소 X1의 상하 및 좌우 화소값, W는 X1에 대한 가중치, T는 임의의 임계값)
도 1은 종래의 강판 표면결함 검출장치를 나타내는 도면.
도 2는 종래의 다른 강판 표면결함 검출장치를 나타내는 도면.
도 3은 본 발명에 따른 강판의 표면결함 검출장치를 나타내는 구성도.
도 4는 본 발명에 따른 강판의 표면결함검출방법을 개략적으로 나타내는 도면.
도 5는 도 4의 영상입력부를 나타내는 도면.
도 6은 도 4의 기준영상 생성부를 나타내는 도면.
도 7은 차이영상의 영역분할 및 오버랩영역을 나타내는 도면.
도 8은 결함검출필터의 구성도.
*도면의 주요부분에 대한 부호의 설명*
51 : 강판 52 : 롤
54 : 조명장치 56 : 카메라
60 : 신호처리용 컴퓨터 62 : 영상입력부
64 : 기준영상 생성부 66 : 차이영상 산출부
67 : 기준영상 생성버퍼 68 : 결함판별부
조명장치나 수광부의 자체 노이즈에 의한 강판의 결함검출의 오류와 검사되는 강판의 재질변화에 따른 파라미터값을 자동으로 변화시키기 위해서, 본 발명에서는 기준영상과 강판의 표면을 촬영한 대상영상을 구하고 이 두 영상을 비교함으로써 강판의 표면결함을 검출할 수 있게 된다. 기준영상은 고정된 것이 아니라 강판에 표면결함이 존재하지 않을 경우 이 강판 표면의 대상영상을 새로운 기준영상으로 설정함으로써 강판 재질에 따른 파라미터값을 자동으로 조절할 수 있게 된다. 또한, 기준영상으로 되는 대상영상에는 이미 조명장치나 카메라의 노이즈가 포함되어 있으므로 이 기준영상을 새로운 대상영상과 비교할 때에는 조명장치나 카메라의 노이즈는 비교의 파라미터가 되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 일실시예를 상세히 설명한다.
도 3은 본 발명에 따른 강판의 표면결함 검출장치의 구성을 나타내는 도면이다. 도면에 나타낸 바와 같이, 검출장치는 복수의 롤(52) 사이를 주행하는 강판(51)에 빛을 조사하는 조명장치(54)와, 상기 강판(51)으로부터 반사되는 빛을 검지하여 강판(51)의 표면영상을 획득하여 카메라가이드(58)를 통해 출력하는 CCD카메라(56)와, 상기 CCD카메라(56)에서 획득한 영상이 입력되어 신호처리를 함으로써 강판의 표면결함을 검출하는 신호처리용 컴퓨터(60)로 구성된다.
신호처리용 컴퓨터(60)는 도 4에 도시된 바와 같이, CCD카메라(56)에서 획득된 영상이 입력되는 영상입력부(62)와, 기준영상이 생성되는 기준영상 생성부(64)와, 상기 기준영상 생성부(64)와 영상입력부(62)에서 생성된 기준영상과 대상영상의 화소값 차이를 산출하는 차이영상 산출부(66)와, 상기 차이영상 산출부(66)에 의해 산출된 차이영상을 기초로 강판(51)의 결함여부를 판별하는 결함판별부(68)로 구성된다.
CCD카메라(56)에서 획득된 강판표면의 대상영상과 기준영상 생성부(64)에서 생성된 기준영상은 차이영상 산출부(66)에서 화소값의 차이가 산출되며 산출된 차이값에 의해 결함판별부(68)에서 강판표면에 결함이 존재하는지를 판단한다. 상기 판단에 의해 강판에 표면결함이 없는 것으로 판단된 영상은 다시 기준영상 생성부(64)로 전송되어 새로운 기준영상이 된다.
도 5는 영상입력부(62)를 나타내는 도면이다. 영상입력부(62)는 도면에 나타낸 바와 같이, 2개의 영상버퍼(63a,63b)로 구성되어 있다. 상기 영상버퍼(63a,63b)는 각각 CCD카메라(56)로부터 입력되는 입력영상과 신호처리용 컴퓨터(60)의 메모리(65)에 전송되는 대상영상을 저장한다. 2개의 영상버퍼(63a,63b)에 번갈아 가면서 CCD카메라(56)에서 획득한 영상이 저장되며 동시에 나머지 영상버퍼에 존재하는 이전에 획득한 영상은 메모리(65)에 전송되어 저장된다.
다시 말해서, 우선 CCD카메라(56)에 의해 획득된 제1대상영상이 제1영상버퍼(63a)에 저장되며, 이어서 CCD카메라(56)에 의해 다시 획득된 제2대상영상이 제2영상버퍼(63b)에 저장됨과 동시에 제1영상버퍼(63a)에 저장되어 있던 이전의 제1대상영상은 메모리(65)에 전송된다.
도 6은 기준영상 생성부(64)를 나타내는 도면으로, n개의 영상버퍼(67)로 이루어져 있다. 기준영상은 영상버퍼(67)내의 모든 영상을 더한 후 n으로 평균하므로써 만들어진다. 이후에 상세히 설명되는 결함판별부(68)에서 결함이 없는 새로운 영상이 생기면 이 영상이 기준영상 생성부(64)로 전송되며 상기 기준영상 생성부(64)에서는 n개의 영상중에서 가장 오래된 것을 버린 후 다시 평균을 하여 새로운 기준영상을 형성한다. 이러한 기준영상 생성방법에 의해 표면결함을 검사하는 강판(51)의 재질이 변하는 경우에도 그 변화된 재질에 따른 일정한 기준영상을자동적으로 만들 수 있을 뿐만 아니라 새로운 기준영상에 카메라나 조명장치에 내재하는 자체결함에 의해 발생하는 영상의 노이즈성분까지 포함되기 때문에 이러한 노이즈에 의한 결함검출의 오작동을 방지할 수 있게 된다.
도 7 및 도 8은 결함판별부(68)에서 결함을 판별하는 방법을 나타내는 도면으로, 도 7은 차이영상의 영역 분할 및 오버랩 영역을 나타내는 도면이고 도 8은 결함검출필터의 구성을 나타내는 도면이다.
도 7에서 대상영상과 기준영상의 차이를 구하여 만든 차이영상영역(70)은 LㅧM개의 균일한 영역(72)으로 분할된다. 이때, 각각의 분할된 영역(72)에 대하여 도 8에 도시된 결함검출필터를 적용하기 위해 우선 해당 분할영역(72)에 대해 좌측 및 우측의 영역과 일정한 화소수(K) 만큼 오버랩되는 영역(74)을 생성한다. 상기와 같이 오버랩영역(74)을 생성하는 이유는 분할경계영역에 존재하는 결함에 대한 검출율을 높이기 위해서이다.
도 8에 도시된 결함검출필터는 차이영상(70)내의 모든 오버랩영역(74)에 대해 결함유무를 판단하기 위한 것이다. 도면에서, X1은 필터의 대상이 되는 화소값이고 X2,X3,X4,X5는 각각 차례로 X1의 상, 좌, 우, 하 화소값을 나타낸다. 오버랩영역(72)내의 모든 화소에 대하여 수학식 1을 만족하는 화소의 갯수(C)를 찾아낸다.
W는 화소 X1에 대한 가중치를 나타내며, T는 임의의 임계값을 나타낸다. 상기 수학식에서는 X1의 주변에 있는 화소들을 상기 수식에 포함시킴으로써 단일 화소에 대한 노이즈를 배제할 수 있는 장점이 있다. 찾아낸 화소의 갯수(C)가 임의의 임계값(V) 보다 클 경우 해당 오버랩영역에 결함이 있는 것으로 판별한다. 본 실시예에서는 상기 가중치(W)가 1로 설정되어 차이영상내에 적어도 하나의 결함이 있는 오버랩영역이 존재하는 경우 이 영상을 결함영상으로 판별한다.
상기한 바와 같이, 본 발명에서는 결함이 없는 영상으로부터 새로운 기준영상을 매번 생성하기 때문에 검사하는 강판의 재질이 변할 경우에도 변화된 재질에 따른 일관된 기준영상을 생성하므로 조업자가 결함검출방법에 대한 파라미터를 수동으로 조절할 필요가 없게 된다. 또한, 조명장치나 카메라의 자체결함으로 인해 카메라에서 획득한 영상내에 존재하는 노이즈성분을 기준영상에 포함시키므로 보다 신뢰성있는 강판의 결함검출방법을 제공할 수 있게 된다.

Claims (3)

  1. 복수의 영상을 평균하여 기준영상을 생성하는 단계;
    강판을 촬영하여 대상영상을 생성하는 단계;
    상기 대상영상과 기준영상을 차이를 산출하여 차이영상을 형성하는 단계;
    상기 차이영상을 기초로 영상의 결함여부를 판별하는 단계; 및
    영상에 결함이 없는 경우 가장 오래된 영상을 제거하고 미결함영상을 더한 후 다시 평균하여 새로운 기준영상을 생성하는 단계를 포함하여 구성된 강판의 표면결함 검출방법.
  2. 제1항에 있어서, 상기 영상의 결함여부를 판별하는 단계가,
    차이영상의 영역을 LㅧM개의 균일한 영역으로 분할하는 단계;
    해당 분할영역에 대해 일정한 화소수 만큼 오버랩되는 영역을 생성하는 단계; 및
    화소값이 Xi인 화소에 대한 다음 수학식,
    (여기서, X2,X3,X4,X5는 화소 X1의 상하 및 좌우 화소값, W는 X1에 대한 가중치, T는 임의의 임계값)을 만족하는 화소의 갯수를 찾아 이 갯수가 임계값(V) 보다 클 경우 오버랩영역에 결함이 있음을 판단하여 영상이 결함여부를 판별하는 단계로 구성된 것을 특징으로 하는 강판의 표면결함 검출방법.
  3. 제2항에 있어서, 상기 가중치(W)가 1인 것을 특징으로 하는 강판의 표면결함 검출방법.
KR10-1998-0058741A 1998-12-26 1998-12-26 강판의표면결함검출방법 KR100406399B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-1998-0058741A KR100406399B1 (ko) 1998-12-26 1998-12-26 강판의표면결함검출방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-1998-0058741A KR100406399B1 (ko) 1998-12-26 1998-12-26 강판의표면결함검출방법

Publications (2)

Publication Number Publication Date
KR20000042521A KR20000042521A (ko) 2000-07-15
KR100406399B1 true KR100406399B1 (ko) 2004-01-24

Family

ID=19565768

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-1998-0058741A KR100406399B1 (ko) 1998-12-26 1998-12-26 강판의표면결함검출방법

Country Status (1)

Country Link
KR (1) KR100406399B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013151191A1 (ko) * 2012-04-02 2013-10-10 (주) 인텍플러스 평판패널 기판의 자동광학검사 방법 및 그 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002310946A (ja) * 2001-04-17 2002-10-23 Shimadzu Corp 放射線検査装置
KR20030049331A (ko) * 2001-12-14 2003-06-25 주식회사 포스코 냉연 강판의 표면 결함 검출장치 및 검출방법
KR101992970B1 (ko) * 2017-10-16 2019-06-26 한국생산기술연구원 딥러닝과 노이즈 제거 기술을 이용한 표면 결함 검출 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04107946A (ja) * 1990-08-29 1992-04-09 Hitachi Ltd 自動外観検査装置
JPH06324005A (ja) * 1993-05-13 1994-11-25 Nippon Steel Corp 鋼板の圧延ロール疵検出方法
JPH07218451A (ja) * 1994-01-31 1995-08-18 Nippon Steel Corp 光学式鋼板表面検査装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04107946A (ja) * 1990-08-29 1992-04-09 Hitachi Ltd 自動外観検査装置
JPH06324005A (ja) * 1993-05-13 1994-11-25 Nippon Steel Corp 鋼板の圧延ロール疵検出方法
JPH07218451A (ja) * 1994-01-31 1995-08-18 Nippon Steel Corp 光学式鋼板表面検査装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013151191A1 (ko) * 2012-04-02 2013-10-10 (주) 인텍플러스 평판패널 기판의 자동광학검사 방법 및 그 장치

Also Published As

Publication number Publication date
KR20000042521A (ko) 2000-07-15

Similar Documents

Publication Publication Date Title
US20070286471A1 (en) Auto Distinction System And Auto Distinction Method
EP0594220B1 (en) Roll mark inspection apparatus
US6535621B1 (en) Defect integrated processing apparatus and method thereof
JP3038010B2 (ja) ウェブのケン縮周波数測定方法及び装置
EP3485259B1 (en) Method of synchronizing a line scan camera
KR100406399B1 (ko) 강판의표면결함검출방법
GB2417776A (en) Automatic determination apparatus
JP2800726B2 (ja) 織布の検反装置
KR100441313B1 (ko) 직포의검반장치
KR101380803B1 (ko) 용접부 검출 장치
JP4094399B2 (ja) 鋼板の疵検査方法およびその装置
JP4625682B2 (ja) 解析プログラム
EP0423794A2 (en) Surface inspecting apparatus
JP2006194869A (ja) 自動検査装置及び異物検査方法
JPH09138200A (ja) 帯状体の表面欠陥判定方法
JP4829542B2 (ja) フィルム検査装置およびフィルム検査方法
KR100448619B1 (ko) 적외선 조명을 이용한 강판의 표면결함 검출장치
JPH06288934A (ja) 熱延板のエッジ欠陥の検出方法
JPS6142221B2 (ko)
JP2001194314A (ja) 長尺物の検査装置
JPH0682390A (ja) 表面欠陥検査方法及び装置
JPH04122847A (ja) 光学式欠陥検査装置
JP3340879B2 (ja) 表面欠陥検出方法および装置
KR20000042522A (ko) 강판의 표면결함 검출장치
KR20010061643A (ko) 다파장 광원과 칼라씨씨디 카메라를 이용한 강판의 표면흠검출장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121107

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20131105

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20141105

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20151104

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20161103

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20171103

Year of fee payment: 15

LAPS Lapse due to unpaid annual fee