KR19990073742A - 외곽점 추출과 라인 보정을 통한 전자지도영상에서의 분기점 추출 방법 - Google Patents

외곽점 추출과 라인 보정을 통한 전자지도영상에서의 분기점 추출 방법 Download PDF

Info

Publication number
KR19990073742A
KR19990073742A KR1019980006834A KR19980006834A KR19990073742A KR 19990073742 A KR19990073742 A KR 19990073742A KR 1019980006834 A KR1019980006834 A KR 1019980006834A KR 19980006834 A KR19980006834 A KR 19980006834A KR 19990073742 A KR19990073742 A KR 19990073742A
Authority
KR
South Korea
Prior art keywords
extracting
points
point
intersection
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1019980006834A
Other languages
English (en)
Other versions
KR100275462B1 (ko
Inventor
주영도
김영만
김효실
안병익
김민
Original Assignee
이계철
한국전기통신공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이계철, 한국전기통신공사 filed Critical 이계철
Priority to KR1019980006834A priority Critical patent/KR100275462B1/ko
Publication of KR19990073742A publication Critical patent/KR19990073742A/ko
Application granted granted Critical
Publication of KR100275462B1 publication Critical patent/KR100275462B1/ko
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 전자지도영상에서의 분기점 추출 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 전자지도영상 등의 교차로상에서 외곽점 추출과 라인 보정을 통하여 분기점을 인식하여 추출하는 분기점 추출 방법을 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 전자지도영상에서 대상물을 추적하여 교차로를 구분하여 인식하는 제 1 단계; 인식한 교차로 좌표들의 평균을 구하여 후보 분기점을 추출하는 제 2 단계; 인식한 교차로에 연결된 갈림길의 외곽점을 추출하는 제 3 단계; 추출한 외곽점을 이용하여 최소 자승 보정 오차 알고리즘을 적용하여 라인을 보정하는 제 4 단계; 추출한 후보 분기점에서 원을 그려 방어점을 추출하는 제 5 단계; 교차로 근방의 잡영(아웃라이어)의 영향을 제거하기 위하여 아웃라이어를 조정하는 제 6 단계; 및 보정된 라인쌍들의 내부점에 대한 좌표의 평균점들이 교차되는 점을 분기점으로 추출하는 제 7 단계를 포함한다.
4. 발명의 중요한 용도
본 발명은 도로교통 벡터데이터에 대한 데이터베이스 구축 등에 이용됨.

Description

외곽점 추출과 라인 보정을 통한 전자지도영상에서의 분기점 추출 방법
본 발명은 전자지도영상(lmage) 등의 교차로상에서 외곽점 추출과 라인 보정을 통하여 분기점의 성분을 인식하여 추출하는 분기점 추출 방법에 관한 것이다.
종래에는 정확한 분기점을 인식하지 못하므로 자동 벡터화 과정이나 영상 데이터의 분석 과정에서 분기점을 부정확하게 추출하거나 수동으로 일일이 판독하는 상황이었다. 따라서, 전자지도영상의 자동 분기점 분석이나 자동 분기점 인식을 활용한 응용기능 구현에 어려운 문제점이 있었다.
또한, 종래의 선추적에 의한 분기점 추출 방법은 교차로 부근의 잡영에 의해 자동 분기점 추출이 어렵기 때문에 사용자가 개입하여 분기점을 입력하는 경우가 많게 되는 문제점이 발생되었다.
상기 제반 문제점을 해결하기 위하여 안출된 본 발명은, 전자지도영상 등의 다양한 교차로상에서 외곽점 추출과 라인 보정을 통하여 정확하게 분기점의 성분을 인식하여 추출하는 분기점 추출 방법을 제공하는데 그 목적이 있다.
도 1 은 본 발명이 적용되는 하드웨어 구성의 일예시도.
도 2 는 본 발명에 따른 분기점 추출 방법에 대한 일실시예 흐름도.
도 3 은 4연결 원뷰에 대한 설명도.
도 4a 및 4b 는 세션화 방법에서의 분기점의 왜곡 현상에 대한 설명도.
도 5 는 시작점, 끝점 및 추출된 외곽점들에 대한 예시도.
도 6 은 보정된 외곽 라인의 쌍(Pair)에 대한 설명도.
도 7 은 외곽점들과 이를 이용하여 찾아진 교차점의 예시도.
도 8 은 최소자승보정오차 알고리즘을 이용한 보정된 라인(Fltted Line)의 예시도.
도 9 는 방어점 설정에 대한 설명도.
* 도면의 주요 부분에 대한 부호의 설명
1 : 중앙처리장치 2 : 주기억장치
3 : 입출력제어기 4 : 보조기억장치
5 : 입출력장치
상기 목적을 달성하기 위하여 본 발명은, 일반적인 컴퓨팅 환경에 적용되는 전자지도영상에서의 분기점 추출 방법에 있어서, 전자지도영상에서 대상물을 추적하여 교차로를 구분하여 인식하는 제 1 단계; 인식한 교차로 좌표들의 평균을 구하여 후보 분기점을 추출하는 제 2 단계; 인식한 교차로에 연결된 갈림길의 외곽점을 추출하는 제 3 단계; 추출한 외곽점을 이용하여 최소 자승 보정 오차 알고리즘을 적용하여 라인을 보정하는 제 4 단계; 추출한 후보 분기점에서 원을 그려 방어점을 추출하는 제 5 단계; 교차로 근방의 잡영(아웃라이어)의 영향을 제거하기 위하여 아웃라이어를 조정하는 제 6 단계; 및 보정된 라인쌍들의 내부점에 대한 좌표의 평균점들이 교차되는 점을 분기점으로 추출하는 제 7 단계를 포함한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1 은 본 발명이 적용되는 하드웨어 구성의 일예시도이다.
본 발명이 적용되는 중형급 컴퓨터는, 컴퓨터의 전체 동작을 제어하고 관리하는 중앙처리장치(1), 상기 중앙처리장치(1)에서 수행되는 프로그램을 저장하고 작업 수행중 이용되는 각종 데이터를 저장하는 주기억장치(2) 및 내부연결버스에 접속되고 보조기억장치(4)와 입출력장치(5)에 대한 입출력을 제어하는 입출력제어기(3)를 포함한다.
그리고, 상기 보조기억장치(4)는 대량의 데이터를 저장하는 역할을 하며, 입출력장치(5)는 일반적인 키보드, 디스플레이 장치 및 프린터 등을 포함한다.
상기와 같이 구성된 중형급 컴퓨터에서 주기억장치(2)에는 전자지도영상 등에서 외곽점 추출과 라인 보정을 통하여 분기점을 인식하여 추출하는 프로그램이 저장되어 있으며, 중앙처리장치(1)의 제어에 따라 수행된다.
도 2 는 본 발명에 따른 분기점 추출 방법에 대한 일실시예 흐름도로서, 도 3 내지 도 9 를 참조하여 상세히 설명하면 다음과 같다.
먼저, 4연결 원뷰를 구성하여(21) 대상물을 추적하게 된다. 도 3 은 4연결 원뷰에 대한 설명도로서, 교차로를 구분하고 인식하기 위하여 4연결 원뷰를 사용하게 된다. 원뷰는 원을 그렸을 때 원과 추적 대상물이 중첩되는 부분이고, 4연결 원뷰는 원뷰와 4연결성이 유지되는 외곽 라인을 추적하여 4연결성으로 연결되어 있는 원뷰를 나타낸다.
도 2 에서 4연결 원뷰를 통하여 대상물을 추적할 때, 교차로인지를 판단(4연결 원뷰의 개수를 조사)하여(22) 4연결 원뷰의 개수가 3개 이상이면 이전 뷰의 진행 방향에 대하여 한 픽셀씩 진행한 후에 4연결 원뷰 구성 과정(21)부터 반복 수행하고(23), 그 개수가 3으로 지속되면 3거리로 구분하여 교차로를 인식하고 그 개수가 4인 경우가 발생하면 4거리로 구분하여 교차로를 인식한다(24).
이후에, 3거리인 경우에는 4연결 원뷰의 개수가 3개인 것의 좌표들의 평균을 뽑고 4거리인 경우에는 4연결 원뷰의 개수가 4개인 것의 평균을 뽑아서 후보 분기점을 추출한다(25). 이 추출된 후보 분기점은 올바른 분기점을 찾기 위한 중계 역할을 하게 된다. 도 4a 및 4b 는 세션화 방법에서의 분기점의 왜곡 현상에 대한 설명도로서, 본 발명이 적용되지 않고 일반적으로 세션화에 의하여 분기점을 추출했을 때의 왜곡 현상을 나타낸 도면으로서, 잡영으로 인해 심하게 왜곡된 점으로 표현되고(도 4a 참조), 4거리는 2개의 3거리(도 4b 참조)로 왜곡되어 나타나기도 하는데 이러한 예를 보여준다.
다음으로, 도 2 에 도시된 바와 같이 외곽점을 추출하는 과정(26)을 수행하는데, 교차로 주위의 잡영에 의한 영향을 적게 받도록 하기 위하여 교차로에 연결된 갈림길의 외곽점을 이용하며(도 5 참조), 외곽점들은 4연결 원뷰들의 각 시작점과 끝점을 기준으로 추출한다. 4연결 원뷰의 시작점과 끝점은 후보 분기점에서 선 두께의 2배로 원을 그려서 구하며(이때 구해진 시작점과 끝점들을 출발점(Start Point)이라고 함), 외곽점들은 뷰들의 각 시작점과 끝점에서 갈림길의 외곽선(Boundary Line)을 따라가며 추출한다(도 5 참조). 예를들어 선두께가 5이면 시작점과 끝점을 기준으로 각각 아래 위로 5개씩 추출한다.
이후에, 도 2 에 도시된 바와 같이 최소 자승 보정 보정(Least Squrare Fitting Error) 알고리즘을 적용시켜서 라인을 보정하는 과정(27)을 수행한다. 즉, 상기 과정(26)에서 각 갈림길의 외곽선을 따라서 추출한 외곽점들을 이용하여 아래의 (수학식 1)의 최소 자승 보정 오차 알고리즘을 적용시켜서 라인을 보정하게 된다. 예를 들어, 3거리 교차로일 경우에 도 6 에 도시된 바와 같이 3개의 시작점과 3개의 끝점이 생긴다. 각 시작점과 끝점에서 추출된 외곽점들은 6개의 집합(Set)으로 나타나고, 각 집합은 최소 자승 보정 오차 알고리즘이 적용되어 6개의 보정된 라인으로 표현된다. 이렇게 구한 보정된 라인은 2개씩 쌍(Line Pair)으로 3쌍이 나타난다(도 6 참조).
여기서, x 및 y는 외곽점들의 x좌표 및 y 좌표이다.
한편, 최소 자승 보정 오차 알고리즘을 사용한 보정 라인들은 교차로 근처의 잡영들(Outliers)에 의하여 크게 영향을 받을 수 있다(도 8 참조). 도 8 에서는 6개의 점들중에 하나의 아웃라이어(Outlier)에 의해서 보정된 라인(Fitted Line)이 많이 왜곡된 것을 보여준다. 즉, 최소 자승 보정 오차 알고리즘에 하나의 아웃라이어가 포함된 경우에 보정된 라인은 정확한 위치(Correct Location)로부터 많이 떨어진 위치로 당겨지게 되어, 구해진 분기점에 왜곡이 생길 수 있으므로 본 발명에서는 이러한 외곽점들의 아웃라이어를 구별하여 조정하도록 한다. 교차로 주위의 잡영들은 갈림길이 뻗어나가는 일대, 즉 갈림길에서 교차로의 진입점에서 발생하는 경우가 많다(도 9 참조).
따라서, 방어점(Defence Point)을 추출하는 과정(28)을 수행하게 되는데, 후보 분기점에서 선 두께의 1배 크기의 원을 그려서 이때의 4연결 원뷰의 각 시작점과 끝점들을 방어점이라 하고 이들 점을 구하도록 한다. 그리고 나서, 외곽점들을 추출할 때에는 상기 과정(26)에서 정한 출발점에서 아래로는 방어점까지 추출하고, 위로는 선두께 만큼을 추출하므로써 아웃라이어(outlier)를 조정하게 되며(29), 이렇게 하므로써 정확한 분기점을 인식하여 추출할 수 있게 된다.
즉, 분기점을 인식하여 추출하는 과정(30)은 각 보정된 라인 쌍(Fitted Line Pair)들의 내부에 속하는 점들을 구하고, 모든 보정된 라인 쌍들에 대하여 공통으로 내부에 속하는 점들을 구하여 산출된 내부점들의 x좌표와 y좌표들을 구한 후에 이들의 평균되는 중심점들을 구하여 이들의 교차되는 점을 분기점(Junction Point)으로 정한다(도 7 참조).
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기와 같은 본 발명은, 외곽점 추출과 라인 보정을 통하여 전자지도영상(lmage)에서 도로 등의 교차로가 발견되었을 때 교차로상의 분기점을 인식하여 정확하게 추출하므로써, 선과 분기점의 인식을 분명히하여 분기점에서의 사용자 개입을 최소화하고, 왜곡을 최소한으로 줄이므로써 자동으로 벡터화할 수 있는 효과가 있다.
또한, 교차로 주위의 잡영에 영향을 받지 않도록 교차로에 연결된 갈림길의 외곽점을 이용하여 정확하게 분기점을 인식하여 추출하므로써, 전자지도 데이터베이스의 정확성을 확보할 수 있게 되었으며, 도로교통 데이터베이스(DB) 등을 구축할 때 교차로나 분기점에 대하여 정확한 검수를 가능하게 하며, 노드점, 센터라인 등을 실시간 교통정보 서비스 개발에 활용할 수 있어 부가서비스를 용이하게 개발할 수 있는 효과가 있다.

Claims (8)

  1. 일반적인 컴퓨팅 환경에 적용되는 전자지도영상에서의 분기점 추출 방법에 있어서,
    전자지도영상에서 대상물을 추적하여 교차로를 구분하여 인식하는 제 1 단계;
    인식한 교차로 좌표들의 평균을 구하여 후보 분기점을 추출하는 제 2 단계;
    인식한 교차로에 연결된 갈림길의 외곽점을 추출하는 제 3 단계;
    추출한 외곽점을 이용하여 최소 자승 보정 오차 알고리즘을 적용하여 라인을 보정하는 제 4 단계;
    추출한 후보 분기점에서 원을 그려 방어점을 추출하는 제 5 단계;
    교차로 근방의 잡영(아웃라이어)의 영향을 제거하기 위하여 아웃라이어를 조정하는 제 6 단계; 및
    보정된 라인쌍들의 내부점에 대한 좌표의 평균점들이 교차되는 점을 분기점으로 추출하는 제 7 단계
    를 포함하는 전자지도영상에서의 분기점 추출 방법.
  2. 제 1 항에 있어서,
    상기 제 1 단계는,
    4연결 원뷰를 구성한 후에 대상물을 추적하여 4연결 원뷰의 개수를 조사하는 제 8 단계;
    상기 제 8 단계의 조사 결과, 4연결 원뷰의 개수가 3개 이상이면 이전 뷰의 진행 방향에 대하여 한 픽셀씩 진행한 후에 상기 제 8 단계부터 반복 수행하는 제 9 단계;
    상기 제 8 단계의 조사 결과, 4연결 원뷰의 개수가 3으로 유지되면 3거리로 구분하여 교차로를 인식하는 제 10 단계; 및
    상기 제 8 단계의 조사 결과, 4연결 원뷰의 개수가 4인 경우가 발생하면 4거리로 구분하여 교차로를 인식하는 제 11 단계
    를 포함하는 전자지도영상에서의 분기점 추출 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 제 2 단계는,
    3거리인 경우에는 4연결 원뷰의 개수가 3개인 것의 좌표들의 평균을 구하고, 4거리인 경우에는 4연결 원뷰의 개수가 4개인 것의 평균을 구하여 후보 분기점을 추출하는 것을 특징으로 하는 전자지도영상에서의 분기점 추출 방법.
  4. 제 3 항에 있어서,
    상기 제 3 단계는,
    추출한 후보 분기점에서 선 두께의 소정 배수로 원을 그려서 4연결 원뷰의 시작점과 끝점을 구한 후에 구한 각 시작점과 끝점에서 갈림길의 외곽선(Boundary Line)을 따라가며 외곽점을 추출하는 것을 특징으로 하는 전자지도영상에서의 분기점 추출 방법.
  5. 제 4 항에 있어서,
    상기 제 4 단계는,
    시작점과 끝점에서 추출된 외곽점들이 시작점과 끝점을 합한 개수만큼의 집합(Set)으로 나타나고, 각 집합은 최소 자승 보정 오차 알고리즘이 적용되어 각각 보정된 라인으로 표현되는 것을 특징으로 하는 전자지도영상에서의 분기점 추출 방법.
  6. 제 5 항에 있어서,
    상기 제 5 단계는,
    추출된 후보 분기점에서 선 두께의 소정 크기의 원을 그려서 이때의 4연결 원뷰의 각 시작점과 끝점을 방어점(Defence Point)으로 추출하는 것을 특징으로 하는 전자지도영상에서의 분기점 추출 방법.
  7. 제 6 항에 있어서,
    상기 제 6 단계는,
    상기 외곽점 추출 과정에서 정한 출발점에서 아래로는 방어점까지 추출하고, 위로는 선두께 만큼을 추출하여 아웃라이어(outlier)를 조정하는 것을 특징으로 하는 전자지도영상에서의 분기점 추출 방법.
  8. 제 7 항에 있어서,
    상기 제 7 단계는,
    각 보정된 라인 쌍(Fitted Line Pair)들의 내부에 속하는 점들을 구하고, 모든 보정된 라인 쌍들에 대하여 공통으로 내부에 속하는 점들을 구하여 산출된 내부점들의 x좌표와 y좌표들을 구한 후에 이들의 평균되는 중심점들을 구하여 이들의 교차되는 점을 분기점(Junction Point)으로 추출하는 것을 특징으로 하는 전자지도영상에서의 분기점 추출 방법.
KR1019980006834A 1998-03-02 1998-03-02 외곽점 추출과 라인 보정을 통한 전자지도영상에서의 분기점 추출 방법 Expired - Lifetime KR100275462B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019980006834A KR100275462B1 (ko) 1998-03-02 1998-03-02 외곽점 추출과 라인 보정을 통한 전자지도영상에서의 분기점 추출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019980006834A KR100275462B1 (ko) 1998-03-02 1998-03-02 외곽점 추출과 라인 보정을 통한 전자지도영상에서의 분기점 추출 방법

Publications (2)

Publication Number Publication Date
KR19990073742A true KR19990073742A (ko) 1999-10-05
KR100275462B1 KR100275462B1 (ko) 2000-12-15

Family

ID=19534094

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980006834A Expired - Lifetime KR100275462B1 (ko) 1998-03-02 1998-03-02 외곽점 추출과 라인 보정을 통한 전자지도영상에서의 분기점 추출 방법

Country Status (1)

Country Link
KR (1) KR100275462B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100870092B1 (ko) * 2008-03-25 2008-11-25 팅크웨어(주) 3차원 도로 교차로 생성 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100870092B1 (ko) * 2008-03-25 2008-11-25 팅크웨어(주) 3차원 도로 교차로 생성 방법 및 장치

Also Published As

Publication number Publication date
KR100275462B1 (ko) 2000-12-15

Similar Documents

Publication Publication Date Title
CN110502985B (zh) 表格识别方法、装置及表格识别设备
CN108931795B (zh) 定位设备轨迹优化和边界提取方法及装置
CN112154445B (zh) 高精度地图中车道线的确定方法和装置
CN113495940B (zh) 道路区域校正装置、道路区域校正方法以及能够由计算机读取的记录介质
JP5468332B2 (ja) 画像特徴点抽出方法
CN108334879B (zh) 一种区域提取方法、系统及终端设备
US6236746B1 (en) Method to extract circuit information
CN113160176B (zh) 缺陷检测方法和装置
CN116740062B (zh) 基于不规则胶圈的缺陷检测方法及系统
CN112434582A (zh) 一种车道线颜色识别方法、系统、电子设备及存储介质
CN108717544A (zh) 一种基于智能图像分析的报纸样稿文字自动检测方法
CN115937003A (zh) 图像处理方法、装置、终端设备和可读存储介质
KR100275462B1 (ko) 외곽점 추출과 라인 보정을 통한 전자지도영상에서의 분기점 추출 방법
CN115187769A (zh) 一种定位方法及装置
CN109509165B (zh) 图像定位区域选取方法及装置
JP2002373334A (ja) 指紋特徴抽出装置、指紋特徴抽出方法及び指紋抽出プログラム
CN114862856B (zh) 一种面板缺陷区域识别方法、装置、电子设备及介质
CN110610163A (zh) 一种自然场景下基于椭圆拟合的表格提取方法及工具
JP2995650B2 (ja) 罫線除去方式
KR102595789B1 (ko) 전자 회로도 영상의 자동인식 및 네트리스트 변환 방법
CN114943973B (zh) 一种文本校正方法、装置、计算机设备及存储介质
CN114445568B (zh) 一种直行转弯复合箭头的检测提取方法及系统
JP2885476B2 (ja) 画像処理方法および装置
JP2941322B2 (ja) 図面処理装置
JP2619394B2 (ja) 図面データの補正方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 19980302

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 19980302

Comment text: Request for Examination of Application

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20000728

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20000921

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20000922

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20030715

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20040702

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20050831

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20060831

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20070831

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20080909

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20090910

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20100909

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20110908

Start annual number: 12

End annual number: 12

FPAY Annual fee payment

Payment date: 20120904

Year of fee payment: 13

PR1001 Payment of annual fee

Payment date: 20120904

Start annual number: 13

End annual number: 13

FPAY Annual fee payment

Payment date: 20130904

Year of fee payment: 14

PR1001 Payment of annual fee

Payment date: 20130904

Start annual number: 14

End annual number: 14

LAPS Lapse due to unpaid annual fee