KR101215079B1 - 영상정합방법 - Google Patents

영상정합방법 Download PDF

Info

Publication number
KR101215079B1
KR101215079B1 KR1020100120536A KR20100120536A KR101215079B1 KR 101215079 B1 KR101215079 B1 KR 101215079B1 KR 1020100120536 A KR1020100120536 A KR 1020100120536A KR 20100120536 A KR20100120536 A KR 20100120536A KR 101215079 B1 KR101215079 B1 KR 101215079B1
Authority
KR
South Korea
Prior art keywords
matching
image
target image
setting
coordinates
Prior art date
Application number
KR1020100120536A
Other languages
English (en)
Other versions
KR20120058981A (ko
Inventor
최효훈
최정주
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020100120536A priority Critical patent/KR101215079B1/ko
Publication of KR20120058981A publication Critical patent/KR20120058981A/ko
Application granted granted Critical
Publication of KR101215079B1 publication Critical patent/KR101215079B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

영상정합방법이 개시된다. 기준영상(reference image)에 타겟영상(target image)을 정합하는 영상접합방법으로서, 기준영상에 기준영역을 설정하고 타겟영상에 기준영역에 상응하는 매칭영역을 설정하는 단계, 기준영역 및 매칭영역에서 상호 대응되는 복수의 모서리를 추출하는 단계, 각 모서리의 변위차이를 구하여 복수의 모서리에 대한 변위의 평균을 산출하는 단계, 타겟영상을 모서리의 평균변위만큼 이동시켜 기준영상에 타겟영상을 매칭하는 단계를 포함하는 영상정합방법은, 다양한 형태로 변형된 영상도 기준영상에 용이하게 매칭할 수 있으며, 특정한 형상을 선정하지 않고도 매칭이 가능하므로, 자동으로 영상매칭을 진행할 수 있다.

Description

영상정합방법{Image matching method}
본 발명은 영상정합방법에 관한 것이다.
PCB (printed circuit board)의 영상 검사에 있어 영상정합 기술은 기준 영상과 검사대상 기판의 영상간에 차이가 없는지 알아보기 위한 첫 번째 단계이며 가장 중요한 단계이다.
이와 관련하여, 종래의 영상정합 방법으로는 특정영역의 형상을 매칭하는 방법이 있으나, 회로패턴의 에칭에 따른 폭 변화에 대응하기 어려운 문제가 있다.
또한, 종래의 방법은 매칭에 사용할 특정한 형상을 작업자가 직접 찾아서 지정해 주어야 하는 수작업 과정을 필요로 하는 문제도 있다.
본 발명은 형상의 다양한 변형에 대응하여 영상을 매칭할 수 있는 영상정합방법을 제공하는 것이다.
또한, 특정한 형상을 찾아서 선정하지 않고도 매칭이 가능한 영상정합방법을 제공하는 것이다.
본 발명의 일 측면에 따르면, 기준영상(reference image)에 타겟영상(target image)을 정합하는 영상접합방법으로서, 상기 기준영상에 기준영역을 설정하고, 상기 타겟영상에 상기 기준영역에 상응하는 매칭영역을 설정하는 단계, 상기 기준영역 및 상기 매칭영역에서 상호 대응되는 복수의 모서리를 추출하는 단계, 각 모서리의 변위차이를 구하여, 상기 복수의 모서리에 대한 변위의 평균을 산출하는 단계, 상기 타겟영상을 상기 모서리의 평균변위만큼 이동시켜 상기 기준영상에 상기 타겟영상을 매칭하는 단계를 포함하는 영상정합방법이 제공된다.
상기 매칭영역 설정단계는, 각각 대표좌표를 가지는 복수의 상기 기준영역을 설정하는 단계, 상기 복수의 기준영역에 상응하는 복수의 상기 매칭영역을 설정하는 단계를 포함하고, 상기 변위평균 산출단계는, 상기 각 매칭영역의 모서리 평균변위를 산출하는 단계를 포함하고, 상기 타겟영상 매칭단계는, 상기 모서리 평균변위를 이용하여, 상기 대표좌표에 대응되는 매칭좌표를 상기 각 매칭영역에 설정하는 단계, 상기 복수의 대표좌표와 상기 복수의 매칭좌표 사이의 오차가 최소화되도록, 상기 타겟영상을 이동시켜 상기 기준영상에 상기 타겟영상을 매칭하는 단계를 포함할 수 있다.
상기 타겟영상 매칭단계는, 상기 복수의 대표좌표와 상기 복수의 매칭좌표 사이의 오차가 최소화되도록, 상기 타겟영상을 회전시키고 스케일 변환시키는 단계를 더 포함할 수 있다.
상기 대표좌표 설정단계는, 상기 기준영역의 중심좌표를 상기 대표좌표로 설정할 수 있다.
상기 매칭영역 설정단계는, 상기 기준영상 및 상기 타켓영상의 코너부를 각각 상기 기준영역 및 상기 매칭영역으로 설정할 수 있다.
상기 모서리 추출단계는, 상호 대향되게 배치된 모서리를 추출하는 단계를 포함할 수 있다.
본 발명에 따르면, 다양한 형태로 변형된 영상도 기준영상에 용이하게 매칭할 수 있다.
또한, 특정한 형상을 선정하지 않고도 매칭이 가능하므로, 자동으로 영상매칭을 진행할 수 있다.
또한, 전체이미지에서 일부의 이미지를 추출하여 매칭을 진행하므로, 빠르고 효율적으로 영상을 정합할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상정합방법을 나타낸 순서도.
도 2 및 도 3는 본 발명의 일 실시예에 따른 영상정합방법에서 영역 및 좌표 설정을 설명하는 도면.
도 4 내지 도 6는 본 발명의 일 실시예에 따른 영상정합방법에서 매칭 알고리즘을 설명하는 도면.
도 7 및 도 8은 본 발명의 일 실시예에 따른 영상정합방법에 따른 매칭결과를 보여주는 도면.
이하에서 본 발명의 실시예를 첨부도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상정합방법을 나타낸 순서도이다.
본 발명의 일 실시예에 따른 영상정합방법은 매칭영역 설정단계(S110), 모서리 추출단계(S120), 변위평균 산출단계(S130) 및 타겟영상 매칭단계(S140)를 포함한다.
매칭영역 설정단계(S110)에서는 기준영상(10)에 기준영역(12, 14, 16, 18)을 설정하고 타겟영상(20)에 기준영역(12, 14, 16, 18)에 상응하는 매칭영역(22, 24, 26, 28)을 설정한다.
도 2 및 도 3는 본 발명의 일 실시예에 따른 영상정합방법에서 영역 및 좌표 설정을 설명하는 도면이다.
도 2에 나타난 바와 같이, 본 실시예의 영상정합방법은 기판제조 시 기준영상(10)과 기판의 실제 영상인 타겟영상(20)을 정합하는 것으로써 매우 크고 복합한 이미지를 정합한다. 이에 따라, 전체 기준영상(10)과 전체 타겟영상(20)을 전체적으로 정합하려고 하면 매칭이 어렵고 시간이 많이 소요된다. 따라서, 본 실시예에서는 기준영상(10) 및 타겟영상(20)에서 상호 대응되는 일부분을 추출하여 신속하고 효율적으로 매칭을 수행한다.
도 3에 나타난 바와 같이, 본 실시예에서는 기준영상(10)에 각각 대표좌표(13, 15, 17, 19)를 가지는 복수의 기준영역(12, 14, 16, 18)을 설정하고, 타겟영역에는 복수의 기준영역(12, 14, 16, 18)에 상응하는 복수의 매칭영역(22, 24, 26, 28)을 설정한다. 복수의 기준영역(12, 14, 16, 18) 및 매칭영역(22, 24, 26, 28)을 설정함으로써 전체적으로 고른 매칭이 이루어질 수 있다. 한편, 본 실시예에서는 기준영역(12, 14, 16, 18)의 중심좌표를 대표좌표(13, 15, 17, 19)로 설정한다.
이 때, 본 실시예의 기준영역(12, 14, 16, 18) 및 매칭영역(22, 24, 26, 28)은 각각 기준영상(10) 및 타켓영상의 코너부에 형성될 수 있다. 본 실시예의 영상정합은 특정한 형상에 의존하지 않으므로, 코너부와 같이 용이하게 설정할 수 있는 부분을 기준영역(12, 14, 16, 18) 및 매칭영역(22, 24, 26, 28)으로 설정할 수 있다. 이에 따라, 작업자가 직접 설정하지 않아도 자동으로 기준영역(12, 14, 16, 18) 및 매칭영역(22, 24, 26, 28)을 설정할 수도 있다.
모서리 추출단계(S120)에서는 기준영역(12, 14, 16, 18) 및 매칭영역(22, 24, 26, 28)내의 이미지에서 상호 대응되는 복수의 모서리 이미지를 추출한다.
본 실시예에서는 기준영역(12, 14, 16, 18) 및 매칭영역(22, 24, 26, 28)에 있는 복수의 모서리 간의 관계를 이용하여 기준영역(12, 14, 16, 18)과 매칭영역(22, 24, 26, 28)의 차이를 검출하므로, 기준영역(12, 14, 16, 18) 및 매칭영역(22, 24, 26, 28)에서 상호 대응되는 모서리를 추출한다. 이 때, 모서리 추출과정은 공지의 다양한 이미지 프로세싱 방법을 통하여 수행될 수 있다.
다음으로, 변위평균 산출단계(S130)에서는 기준영역(12, 14, 16, 18) 및 매칭영역(22, 24, 26, 28)에서 각 모서리의 변위차이를 구하여, 복수의 모서리에 대한 변위의 평균을 산출한다. 본 실시예에서는 기준영상(10)에 비하여 위치뿐만 아니라 형태가 변형된 타겟영상(20)도 정합하기 위하여, 모서리의 변위 평균을 이용한다.
도 4 내지 도 6는 본 발명의 일 실시예에 따른 영상정합방법에서 매칭 알고리즘을 설명하는 도면이다.
도 4에 나타난 바와 같이, 기판(1)에 형성되는 회로패턴(2)은 도금 또는 에칭공정의 편차로 인하여, 기판(1)을 촬영한 타겟영상(20)에는 회로패턴(2)의 위치뿐만 아니라 폭이나 길이와 같은 형태 자체가 기준영상(10)의 회로패턴(3)에 비하여 변형되어 나타날 수 있다. 이에 따라, 본 실시예에서는 형상을 기준으로 매칭하지 않고 모서리의 변위 평균을 매칭의 기준으로 삼는다.
도 5를 참조하여 설명하면, 에칭에 의해 X와 Y방향으로 각각 a와 b만큼 크기 차이가 발생했다면, 서로 대칭된 모서리(좌측 상단 모서리 및 우측 하단 모서리)를 추출하여 이를 기준으로 각각 매칭을 실시하면 두 영상간 차이가 최소가 되는 위치는 각각 (b)와 (c)같이 될 것이고, 각 모서리의 변위차이는 괄호의 값과 같이 될 것이다. 그런데, 정합이 되어야 하는 위치는 그림 (d)와 같이 두 모서리의 변위차이의 평균지점이다. 따라서, 형상이 변형된 회로패턴을 정합하기 위해서는 복수의 모서리에 대한 변위의 평균을 구하여 정합하는 것이 효율적이다.
아래에서는 복수의 모서리에 대한 변위의 평균을 구하는 알고리즘을 예시적으로 설명한다.
도 6에 나타난 바와 같이, 엣지(Edge) 정보를 상호 대향되게 배치된 모서리인 폴링 엣지(falling edge, negative edge)와 라이징 엣지(rising edge, positive edge)로 나누고 각각의 엣지로 각각 매칭을 실시하여, 복수의 모서리에 대한 변위의 평균을 구한다.
1. 기준영상(10)
Figure 112010078777102-pat00001
의 feature 들 중 positive edge에 해당하는 feature들을 모아
Figure 112010078777102-pat00002
라 정의하자. 여기서
Figure 112010078777102-pat00003
는 positive horizontal edge들 중 feature로 선택된 edge 들이다. 나머지 변수들도 마찬가지로 유추하면 된다.
Figure 112010078777102-pat00004
는 vectors
Figure 112010078777102-pat00005
와
Figure 112010078777102-pat00006
를 concatenate하여 만든 vector이다.
Figure 112010078777102-pat00007
도 마찬가지로
Figure 112010078777102-pat00008
와
Figure 112010078777102-pat00009
를 이어 붙여 만든 vector이다.
2. 또한 negative edge에 해당하는 feature들만 모아
Figure 112010078777102-pat00010
라 정의하자.
3. 타겟영상(20)의 feature 들은
Figure 112010078777102-pat00011
이라 정의하자.
4. 도 6에 나타난 바와 같이, 점으로 표현된 feature들을 서로간의 위치를 유지한 채
Figure 112010078777102-pat00012
위에서 X, Y 방향으로 shift한다. Positive edge feature
Figure 112010078777102-pat00013
로 한번 negative edge feature
Figure 112010078777102-pat00014
로 한번 matching을 실시한다. 이때 각 shift 위치에서 template 과 target feature 들 간의 차이가 최소가 되는 지점을 찾는다. 둘의 차이가 최소가 되는 지점까지의 shift 량을 각각
Figure 112010078777102-pat00015
와
Figure 112010078777102-pat00016
라 하면, 두 영상의 최종 translation량
Figure 112010078777102-pat00017
는 다음과 같이 구해진다.
Figure 112010078777102-pat00018
Figure 112010078777102-pat00019

5. 두 영상의 feature들간의 차이는 다음과 같은 공식으로 구한다.
Figure 112010078777102-pat00020
여기서
Figure 112010078777102-pat00021
는 특징점의 수이고, xyE는 특징점의 x, y 좌표이다.
한편, 위 공식은 positive edge 와 negative edge에 동일하게 사용하기에 각 변수에서 +와 -를 표기하지 않았다.
타겟영상 매칭단계(S140)에서는 타겟영상(20)을 모서리의 평균변위만큼 이동시켜 기준영상(10)에 타겟영상(20)을 매칭한다.
본 실시예에는 매칭 수식을 이용하여 복수의 대표좌표(13, 15, 17, 19)와 복수의 매칭좌표(23, 25, 27, 29) 사이의 오차가 최소가 되도록 기준영상(10)에 타겟영상(20)을 매칭시킨다.
구체적으로, 본 실시예에서는 복수의 기준영역(12, 14, 16, 18) 및 매칭영역(22, 24, 26, 28)을 설정하므로, 각 매칭영역(22, 24, 26, 28)에 대하여 모서리 평균변위를 산출한다. 그리고, 기준영역(12, 14, 16, 18)의 대표좌표(13, 15, 17, 19)에 대응되는 매칭좌표(23, 25, 27, 29)를 각 매칭영역(22, 24, 26, 28)에 설정한다. 즉, 각 기준영역(12, 14, 16, 18)에 대하여 대응되는 매칭영역(22, 24, 26, 28)을 모서리 평균변위만큼 이동시킨 후에, 매칭영역(22, 24, 26, 28)에서 대표좌표(13, 15, 17, 19)에 대응되는 좌표를 매칭좌표(23, 25, 27, 29)로 설정한다.
이에 따라, 도 3에 나타난 바와 같이, 기준영상(10)의 위치를 대표하는 복수의 대표좌표(13, 15, 17, 19)와 타겟영상(20)의 위치를 대표하는 복수의 매칭좌표(23, 25, 27, 29)를 얻을 수 있다. 또한, 복수의 대표좌표(13, 15, 17, 19)와 복수의 매칭좌표(23, 25, 27, 29) 사이의 오차가 최소화되도록, 전체 기준영상(10)과 전체 타겟영상(20)을 매칭시키는 수식(예를 들면, Affine transformation Matrix)을 얻을 수 있다. 이 때, 전체 기준영상(10)과 전체 타겟영상(20)을 매칭시키는 수식은 타겟영상(20)의 이동(translation)량, 회전(rotation)량 및 스케일(Scaling) 등을 포함하여 산출될 수 있다.
도 7 및 도 8은 본 발명의 일 실시예에 따른 영상정합방법에 따른 매칭결과를 보여주는 도면이다.
도 7 및 도 8에 나타난 바와 같이, 본 실시예의 영상정합방법은 모서리의 변위차이를 이용하여 정합함으로써, 변형된 회로패턴의 영상도 빠르고 효율적으로 기준영상(10)과 정합할 수 있다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
전술한 실시예 외의 많은 실시예들이 본 발명의 특허청구범위 내에 존재한다.
10: 기준영상
12, 14, 16, 18: 기준영역
13, 15, 17, 19: 대표좌표
20: 타겟영상
22, 24, 26, 28: 매칭영역
23, 25, 27, 29: 매칭좌표

Claims (6)

  1. 기준영상(reference image)에 타겟영상(target image)을 정합하는 영상접합방법으로서,
    상기 기준영상에 기준영역을 설정하고, 상기 타겟영상에 상기 기준영역에 상응하는 매칭영역을 설정하는 단계;
    상기 기준영역 및 상기 매칭영역에서 상호 대응되는 복수의 모서리를 추출하는 단계;
    각 모서리의 변위차이를 구하여, 상기 복수의 모서리에 대한 변위의 평균을 산출하는 단계; 및
    상기 타겟영상을 상기 모서리의 평균변위만큼 이동시켜 상기 기준영상에 상기 타겟영상을 매칭하는 단계를 포함하고,
    상기 모서리 추출단계는,
    상호 대향되게 배치된 모서리를 추출하는 단계를 포함하는 것을 특징으로 하는 영상정합방법.
  2. 제1항에 있어서,
    상기 매칭영역 설정단계는,
    각각 대표좌표를 가지는 복수의 상기 기준영역을 설정하는 단계; 및
    상기 복수의 기준영역에 상응하는 복수의 상기 매칭영역을 설정하는 단계를 포함하고,
    상기 변위평균 산출단계는,
    상기 각 매칭영역의 모서리 평균변위를 산출하는 단계를 포함하고,
    상기 타겟영상 매칭단계는,
    상기 모서리 평균변위를 이용하여, 상기 대표좌표에 대응되는 매칭좌표를 상기 각 매칭영역에 설정하는 단계; 및
    상기 복수의 대표좌표와 상기 복수의 매칭좌표 사이의 오차가 최소화되도록, 상기 타겟영상을 이동시켜 상기 기준영상에 상기 타겟영상을 매칭하는 단계를 포함하는 것을 특징으로 하는 영상정합방법.
  3. 제2항에 있어서,
    상기 타겟영상 매칭단계는,
    상기 복수의 대표좌표와 상기 복수의 매칭좌표 사이의 오차가 최소화되도록, 상기 타겟영상을 회전시키고 스케일 변환시키는 단계를 더 포함하는 것을 특징으로 하는 영상정합방법.
  4. 제2항에 있어서,
    상기 대표좌표 설정단계는,
    상기 기준영역의 중심좌표를 상기 대표좌표로 설정하는 것을 특징으로 하는 영상정합방법..
  5. 제1항에 있어서,
    상기 매칭영역 설정단계는,
    상기 기준영상 및 상기 타겟영상의 코너부를 각각 상기 기준영역 및 상기 매칭영역으로 설정하는 것을 특징으로 하는 영상정합방법.
  6. 삭제
KR1020100120536A 2010-11-30 2010-11-30 영상정합방법 KR101215079B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100120536A KR101215079B1 (ko) 2010-11-30 2010-11-30 영상정합방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100120536A KR101215079B1 (ko) 2010-11-30 2010-11-30 영상정합방법

Publications (2)

Publication Number Publication Date
KR20120058981A KR20120058981A (ko) 2012-06-08
KR101215079B1 true KR101215079B1 (ko) 2012-12-24

Family

ID=46610357

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100120536A KR101215079B1 (ko) 2010-11-30 2010-11-30 영상정합방법

Country Status (1)

Country Link
KR (1) KR101215079B1 (ko)

Also Published As

Publication number Publication date
KR20120058981A (ko) 2012-06-08

Similar Documents

Publication Publication Date Title
JP5699788B2 (ja) スクリーン領域検知方法及びシステム
WO2015037178A1 (ja) 姿勢推定方法及びロボット
JP2004213332A (ja) キャリブレーション装置、キャリブレーション方法、キャリブレーション用プログラム、及び、キャリブレーション治具
TW201514867A (zh) 光流追蹤方法和裝置
JP2017510427A5 (ko)
WO2014045508A1 (ja) 検査装置、検査方法、および検査プログラム
JP2016091053A (ja) 情報処理装置および容器形状の推定方法、ワークピッキングシステム、プログラム
JP6177541B2 (ja) 文字認識装置、文字認識方法及びプログラム
JP6559377B2 (ja) 重畳位置補正装置及び重畳位置補正方法
CN111681186A (zh) 图像处理方法、装置、电子设备及可读存储介质
JP2015184929A (ja) 立体物検出装置、立体物検出方法、および立体物検出プログラム
JP5094033B2 (ja) パターンマッチング方法、及びパターンマッチングを行うためのコンピュータープログラム
CN104423142B (zh) 用于光学邻近校正模型的校准数据收集方法和系统
JPWO2007074605A1 (ja) 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
JP2011155412A (ja) 投影システムおよび投影システムにおける歪み修正方法
JP5878454B2 (ja) 推定装置、推定方法及びコンピュータプログラム
KR102023087B1 (ko) 카메라 캘리브레이션 방법
JP2018092354A (ja) 物体検出装置および物体検出方法
JP3659426B2 (ja) エツジ検出方法及びエツジ検出装置
KR100792172B1 (ko) 강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법
KR101215079B1 (ko) 영상정합방법
JP2009146150A (ja) 特徴位置検出方法及び特徴位置検出装置
JP2008052598A (ja) 画像位置計測方法、画像位置計測装置、および画像位置計測プログラム
JP7164716B2 (ja) 寸法計測装置、半導体製造装置及び半導体装置製造システム
JP2011118882A (ja) データ生成方法および画像検査方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151005

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee