KR100271663B1 - 영상처리장치 - Google Patents

영상처리장치 Download PDF

Info

Publication number
KR100271663B1
KR100271663B1 KR1019970025388A KR19970025388A KR100271663B1 KR 100271663 B1 KR100271663 B1 KR 100271663B1 KR 1019970025388 A KR1019970025388 A KR 1019970025388A KR 19970025388 A KR19970025388 A KR 19970025388A KR 100271663 B1 KR100271663 B1 KR 100271663B1
Authority
KR
South Korea
Prior art keywords
signal
control signal
address
input
program memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
KR1019970025388A
Other languages
English (en)
Other versions
KR19990001915A (ko
Inventor
김규학
Original Assignee
이종수
엘지산전주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이종수, 엘지산전주식회사 filed Critical 이종수
Priority to KR1019970025388A priority Critical patent/KR100271663B1/ko
Publication of KR19990001915A publication Critical patent/KR19990001915A/ko
Application granted granted Critical
Publication of KR100271663B1 publication Critical patent/KR100271663B1/ko
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multi Processors (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상처리 장치에 관한 것으로, 싱글명령다중데이타(SIMD:Single Instruction Multiple Data)형의 프로세서를 이용하여 분할된 영상데이타를 동일한 명령어로 동시에 연산하도록 하고, 그 처리된 데이터를 PCI버스를 이용하여 전송하도록 함으로써 데이터처리 및 전송을 고속으로 할 수 있는 효과가 있다.

Description

영상처리 장치{IMAGE PROCESSING APPARATUS}
본 발명은 영상처리 장치에 관한 것으로, 특히 싱글명령다중데이타(SIMD:Single Instruction Multiple Data)형의 프로세서를 이용하여 분할된 영상데이타를 동일한 명령어로 동시에 연산하도록 하고, 그 처리된 데이터를 PCI버스를 이용하여 고속으로 전송하는데 적당 하도록 한 영상처리 장치에 관한 것이다.
도1은 종래 영상처리 장치의 블록 구성도로서, 이에 도시된 바와같이 호스트컴퓨터(미도시)와의 인터페이스를 위한 아이에스에이(ISA)인터페이스부(10)와; 데이지 체인(Dasy Chain)식으로 연결되어 입력되는 영상데이타를 다중처리 하기 위한 다중명령 다중데이타(MIMD: Multiple Instruction Multiple Data)형의 제1-제4디지탈신호처리부(20-1~20-4)와; 상기 아이에스에이인터페이스부(10)를 통한 제어신호를 상기 각 디지탈신호처리부(20-1~20-4)에 전달하기 위한 링크어댑터(30)와; 상기 아이에스에이인터페이스부(10)를 통해 입력되는 영상데이타 및 상기 각 디지탈신호처리부(20-1~20-4)의 연산결과를 저장하기 위한 메모리(40)와; 상기 각 디지탈신호처리부(20-1~20-4)의 처리결과를 서로 공유할 수 있도록 하기 위한 공유메모리(50)와; 상기 각 디지탈신호처리부(20-1~20-4)의 입출력 데이터의 흐름을 제어하기 위한 제1-제4멀티플렉서(60-1~60-4)와; 상기 각 디지탈신호처리부(20-1~20-4)의 제어 및 상태레지스터를 제어하기 위한 JTAG입력부(70)와 JTAG출력부(80) 그리고 JTAG어댑터(90)로 구성된다.
도면의 설명중 미설명부호 100은 외부의 다른 디지탈신호처리부와의 연결을 위한 디지탈신호처리링크이고, 110, 120은 상기 각 디지탈신호처리부(20-1~20-4)의 부가적인 기능을 확장하기 위한 공유어댑터 및 특정 사용커넥터이다.
이와같이 구성된 종래 장치의 동작을 설명하면 다음과 같다.
먼저, 호스트컴퓨터로부터 아이에스에이 인터페이스부(10)를 통해 영상데이타 및 제어신호가 입력되면 아이에스에이인터페이스부(10)는 이를 입력받아 제어신호는 링크어댑터(30)를 통해 제1-제4디지탈신호처리부(20-1~20-4)에 인가하고, 영상데이타는 메모리(40)에 저장 시킨다.
상기 링크어댑터(30)로부터 제어신호를 입력받은 상기 각 디지탈신호처리부(20-1~20-4)는 상기 메모리(40)에 저장된 영상데이타를 제1-제4멀티플렉서(60-1~60-4)를 통해 입력받아 처리한다.
이때, 처리중 발생되는 데이타는 우선 공유메모리(50)에 저장되어 각 디지탈신호처리부(20-1~20-4)가 서로 공유하도록 하고, 처리가 완료되면 다시 상기 메모리(40)에 저장되었다가 호스트컴퓨터에 전달된다.
만약, 상기 각 디지탈신호처리부(20-1~20-4)의 동작을 임의로 조정하고 싶으면 각 디지탈신호처리부(20-1~20-4)의 제어상태값을 JTAG어댑터(90)와 JTAG출력부(80)를 통해 확인한 다음, JTAG입력부(70)를 통해 새로운 제어값을 입력하면 된다.
이상에서 설명한 바와같이 종래의 장치는 영상데이타 처리를 가속화 하기 위해 다중명령 다중데이타형 프로세서인 일반 프로세서나 디지탈신호처리 프로세서를 병렬로 연결하여 처리하였기 때문에 한 화면의 영상데이타를 처리하기 위해서는 데이터 메모리 공유를 효율적으로 하기 위한 세분화작업이 필요하고, 다수의 프로세서가 데이터를 병렬처리하도록 시스템 수준의 데이터 처리 구조를 미리 정확하게 정의해서 설계해야 하며, 다중명령 다중데이타 프로세서의 특징상 각각의 프로그램 메모리가 필요하며 이에따른 부가적인 회로가 필요한 문제점이 있었다.
본 발명의 목적은 이러한 종래의 문제점을 해결하기 위해 메모리수단을 내부에 갖지 않고 다수의 프로세서를 구비한 싱글명령 다중데이타형의 프로세서를 이용하여 분할된 영상데이타를 동일한 명령어로 동시에 연산하도록 하고, 그 처리된 데이터를 PCI버스를 이용하여 고속으로 전송하도록 한 영상처리 장치를 제공하는데 있다.
도 1은 종래 영상처리 장치의 블록 구성도.
도 2는 본 발명의 일 실시예시도.
도 3은 도2에 있어서, 싱글명령다중데이타프로세서의 상세 블록 구성도.
도 4는 도2에 있어서, 프로그램메모리의 상세 블록 구성도.
도 5는 도2에 있어서, 데이터메모리부의 상세 블록 구성도.
도 6은 도2에 있어서, 피씨아이인터페이스부의 상세 블록 구성도.
*****도면의 주요부분에 대한 부호의 설명*****
100 : 피씨아이인터페이스부
110-1∼110-4 : 제1-제4싱글명령다중데이타프로세서
120 : 프로그램메모리 130 : 프로그램메모리제어부
140 : 데이터메모리부
상기 본 발명의 목적을 달성하기 위한 영상처리 장치는 호스트컴퓨터와의 인터페이스를 위한 피씨아이인터페이스수단과; 입력되는 분할된 영상데이타를 동일명령에 의해 동시에 처리하는 다수의 싱글명령다중데이타프로세서와; 기본 명령어가 저장되어 있는 프로그램메모리와; 상기 피씨아이인터페이스수단을 통해 입력되는 호스트 컴퓨터로부터의 제어신호에 따라 해당 명령어를 상기 프로그램메모리에서 리드하여 상기 각 싱글명령다중데이타프로세서에 인가하는 프로그램메모리제어수단과; 상기 피씨아이인터페이스수단을 통해 입력되는 호스트컴퓨터로부터의 영상데이타신호를 입력받아 상기 싱글명령다중데이타프로세서에 인가함과 아울러 그 싱글명령다중데이타프로세서의 출력신호를 입력받아 호스트 컴퓨터에 전달하는 데이타메모리수단으로 구성한다.
이하, 본 발명의 작용 및 효과에 관하여 일 실시예를 들어 설명한다.
도2는 본 발명의 일 실시예시도로서, 이에 도시한 바와같이 호스트컴퓨터(미도시)와의 인터페이스를 위한 피씨아이인터페이스부(100)와; 입력되는 분할된 영상데이타를 동일명령에 의해 동시에 처리하는 제1-제4싱글명령다중데이타프로세서(110-1~110-4)와; 기본 명령어가 저장되어 있는 프로그램메모리(120)와; 상기 피씨아이인터페이스부(100)를 통해 입력되는 호스트 컴퓨터로부터의 제어신호에 따라 해당 명령어를 상기 프로그램메모리(120)에서 리드하여 상기 각 싱글명령다중데이타프로세서(110-1~110-4)에 인가하는 프로그램메모리제어부(130)와; 상기 피씨아이인터페이스부(100)를 통해 입력되는 호스트컴퓨터로부터의 영상데이타신호를 입력받아 상기 싱글명령다중데이타프로세서(110-1~110-4)에 인가함과 아울러 그 싱글명령다중데이타프로세서(110-1~110-4)의 출력신호를 입력받아 호스트 컴퓨터에 전달하는 데이타메모리부(140)로 구성한다.
상기 싱글명령다중데이타프로세서(110-1~110-4)는 도3에 도시한 바와같이 입력되는 제어신호를 디코딩하는 디코더(111)와; 상기 디코더(111)의 출력신호를 동시에 입력받아 입력되는 영상데이타를 동시에 처리하는 다수의 프로세서(PE1~PE128)로 구성한다.
상기 프로그램메모리제어부(130)는 도4에 도시한 바와같이 상기 피씨아이인터페이스부(100)를 통해 입력되는 제어신호 및 프로그램메모리(120)의 출력신호를 디코딩하여 출력하는 디코딩부(131)와; 상기 디코딩부(131)의 출력신호에서 루프어드레스를 체크하여 출력하는 루프어드레스레지스터(132)와; 상기 디코딩부(131)의 출력신호에서 점프어드레스를 체크하여 출력하는 점프어드레스레지스터(133)와; 제어신호에 따라 루프횟수를 카운트하는 루프카운터(134)와; 상기 루프어드레스레지스터(132)와 상기 점프어드레스레지스터(133)와 상기 루프카운터(134)의 출력신호를 입력받고 프레임시작신호에 따라 해당 어드레스를 발생하여 상기 프로그램메모리(120)에 인가하는 어드레스카운터(135)와; 상기 프로그램메모리(120)의 명령신호가 상기 디코딩부(131)를 통해 입력되면 이를 상기 싱글명령다중데이타프로세서(110-1~110-4)에 적합한 명령어로 변환하여 인가하는 명령어레지스터(136)로 구성한다.
상기 데이터메모리부(140)는 도5에 도시한 바와같이 상기 피씨아이인터페이스부(100) 또는 상기 프로그램메모리(120)의 제어신호에 해당하는 어드레스신호를 출력하는 어드레스레지스터(141,142)와; 상기 입력된 제어신호에 따라 카운터제어신호를 출력하는 어드레스카운터제어부(143,144)와; 상기 어드레스카운터제어부(143,144)의 제어신호에 따라 상기 어드레스레지스터(141,142)의 출력신호를 카운트하여 출력하는 어드레스카운터(145,146)와; 제어신호에 따라 입력되는 신호를 저장/출력하는 에스램(147,148)과; 상기 피씨아이인터페이스부(100)를 통해 입력되는 제어신호에 따라 상기 에스램(147,148)을 제어하기 위한 제어신호를 출력하는 에스램제어부(149,150)로 구성한다.
이와같이 구성한 본 발명의 일 실시예의 동작을 설명하면 다음과 같다.
먼저, 싱글명령다중데이타프로세서(110-1~110-4)는 프로그램메모리(120)를 칩 밖으로 빼내어 별도로 설치하고, 대신에 그 남는 공간을 모두 프로세서로 대치한다. 이에따라 1개의 싱글명령다중데이타프로세서(110-1~110-4)에는 128개의 프로세서(PE1~PE128)소자를 배치할 수 있다.
먼저, 호스트 컴퓨터로부터 영상데이타 및 제어신호가 PCI버스를 통해 입력되면 피씨아이인터페이스부(100)는 이를 인터페이스하여 프로그램메모리제어부(130)와 데이터메모리부(140)에 인가한다.
참고로 일반적인 피씨아이인터페이스부(100)는 도6에 도시한 바와같이 구성한다.
상기 호스트 컴퓨터로부터의 제어신호가 상기 피씨아이인터페이스부(100)를 통해 프로그래멤모리제어부(130)에 인가되면 디코딩부(131)는 이를 해석하여 루프어드레스레지스터(132)와 점프어드레스레지스터(133)에 인가한다.
이에따라 상기 루프어드레스레지스터(132)는 루프값을 출력하고, 점프어드레스레지스터(133)는 점프값을 출력한다.
상기 로프값과 점프값을 입력받은 어드레스카운터(135)는 프레임시작신호에 따라 카운트 동작을 한다. 이때 루프카운터(134)는 루프값을 카운트 한다.
상기 어드레스카운터(135)에서 카운트값이 출력되면 프로그램메모리(120)는 해당 명령어를 출력한다.
그러면 이를 디코딩부(131)에서 역시 디코딩하여 명령어레지스터(136)에 인가하고, 그 명령어레지스터(136)는 입력된 명령어를 싱글명령다중데이타프로세서(110-1~110-4)에 적합한 명령어로 변환하여 인가한다.
그리고 상기 피씨아이인터페이스부(100)를 통해 데이터신호를 입력받은 데이터메모리부(140)의 어드레스레지스터(141)는 해당 어드레스값을 출력하고, 어드레스카운터제어부(143)는 어드레스카운터(145)를 제어하기 위한 신호를 출력한다.
그러면 어드레스카운터(145)는 상기 어드레스레지스터(141)의 출력신호를 카운트하여 에스램(147)에 인가한다. 이때, 에스램제어부(149)는 에스램을 제어하여 저장된 데이터를 싱글명령다중데이타프로세서(110-1~110-4)에 인가한다.
이와같이 상기 데이터메모리부(140)로부터의 데이터신호를 입력받은 싱글명령다중데이타프로세서(110-1~110-4)는 상기 프로그램메모리제어부(130)로부터의 제어신호에 따라 입력된 데이터를 처리한다.
이때, 상기 싱글명령다중데이타프로세서(110-1~110-4)는 상기 프로그램메모리제어부(130)로부터 동일명령을 동시에 입력받기 때문에 상기 데이터메모리의 출력 데이터를 동일명령으로 동시에 처리한다.
그리고 상기 싱글명령다중데이타프로세서(110-1~110-4)는 도3과 같이 1개의 디코더(111)와 128개의 프로세서(PE1-PE128)소자들로 구성되어 있기 때문에 처리속도가 빠르다.
상기 싱글명령다중데이타프로세서(110-1~110-4)에 의해 처리된 데이터는 다시 데이터메모리부(140)에 인가되어 저장되었다가 피씨아이인터페이스부(100)를 통해 호스트 컴퓨터로 전송된다.
이때, 피씨아이인터페이스부(100)와 호스트 컴퓨터 사이의 전송버스로는 피씨아이(PCI)버스를 사용한다.
이상에서 상세히 설명한 바와같이 본 발명은 메모리수단을 내부에 구비하지 않고 다수의 프로세서를 구비한 싱글명령 다중데이타형의 프로세서를 이용하여 분할된 영상데이타를 동일한 명령어로 동시에 연산하도록 하고, 그 처리된 데이터를 PCI버스를 이용하여 전송하도록 함으로써 데이터처리를 고속으로 할 수 있는 효과가 있다.

Claims (3)

  1. 호스트컴퓨터와의 인터페이스를 위한 피씨아이인터페이스수단과; 입력되는 제어신호를 디코딩하는 디코더 및 그 디코더의 출력신호를 동시에 입력받아 입력되는 영상데이타를 동시에 처리하는 다수의 프로세서로 구성된 다수의 싱글명령다중데이타프로세서와; 기본 명령어가 저장되어 있는 프로그램메모리와; 상기 피씨아이인터페이스수단을 통해 입력되는 호스트 컴퓨터로부터의 제어신호에 따라 해당 명령어를 상기 프로그램메모리에서 리드하여 상기 각 싱글명령다중데이타프로세서에 인가하는 프로그램메모리제어수단과; 상기 피씨아이인터페이스수단을 통해 입력되는 호스트컴퓨터로부터의 영상데이타신호를 입력받아 상기 싱글명령다중데이타프로세서에 인가함과 아울러 그 싱글명령다중데이타프로세서의 출력신호를 입력받아 호스트 컴퓨터에 전달하는 데이타메모리수단으로 구성하여 된 것을 특징으로 하는 영상처리 장치.
  2. 제1항에 있어서, 상기 프로그램메모리제어수단은 상기 피씨아이인터페이스수단을 통해 입력되는 제어신호 및 프로그램메모리의 출력신호를 디코딩하여 출력하는 디코딩수단과; 상기 디코딩수단의 출력신호에서 루프어드레스를 체크하여 출력하는 루프어드레스레지스터와; 상기 디코딩수단의 출력신호에서 점프어드레스를 체크하여 출력하는 점프어드레스레지스터와; 제어신호에 따라 루프횟수를 카운트하는 루프카운터와; 상기 루프어드레스레지스터, 상기 점프어드레스레지스터 및 상기 루프카운터의 출력신호를 입력받고 프레임시작신호에 따라 해당 어드레스를 발생하여 상기 프로그램메모리에 인가하는 어드레스카운터와; 상기 프로그램메모리의 명령신호가 상기 디코딩수단을 통해 입력되면 이를 상기 싱글명령다중데이타프로세서에 적합한 명령어로 변환하여 인가하는 명령어레지스터로 구성하여 된 것을 특징으로 하는 영상처리 장치.
  3. 제1항에 있어서, 상기 데이터메모리수단은 상기 피씨아이인터페이스수단 또는 상기 프로그램메모리의 제어신호에 해당하는 어드레스신호를 출력하는 어드레스레지스터와; 상기 입력된 제어신호에 따라 카운터제어신호를 출력하는 어드레스카운터제어수단과;상기 어드레스카운터제어수단의 제어신호에 따라 상기 어드레스레지스터의 출력신호를 카운트하여 출력하는 어드레스카운터와; 제어신호에 따라 입력되는 신호를 저장/출력하는 메모리와; 상기 피씨아이인터페이스수단을 통해 입력되는 제어신호에 따라 상기 메모리를 제어하기 위한 제어신호를 출력하는 에스램제어수단으로 구성하여 된 것을 특징으로 하는 영상처리 장치.
KR1019970025388A 1997-06-18 1997-06-18 영상처리장치 Expired - Lifetime KR100271663B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019970025388A KR100271663B1 (ko) 1997-06-18 1997-06-18 영상처리장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019970025388A KR100271663B1 (ko) 1997-06-18 1997-06-18 영상처리장치

Publications (2)

Publication Number Publication Date
KR19990001915A KR19990001915A (ko) 1999-01-15
KR100271663B1 true KR100271663B1 (ko) 2000-11-15

Family

ID=19510012

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970025388A Expired - Lifetime KR100271663B1 (ko) 1997-06-18 1997-06-18 영상처리장치

Country Status (1)

Country Link
KR (1) KR100271663B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5457779A (en) * 1993-01-15 1995-10-10 Silicon Graphics, Inc. System for accessing graphic data in a SIMD processing environment

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5457779A (en) * 1993-01-15 1995-10-10 Silicon Graphics, Inc. System for accessing graphic data in a SIMD processing environment

Also Published As

Publication number Publication date
KR19990001915A (ko) 1999-01-15

Similar Documents

Publication Publication Date Title
EP0610868B1 (en) Reconfigurable computer interface and method
US5101498A (en) Pin selectable multi-mode processor
US5121498A (en) Translator for translating source code for selective unrolling of loops in the source code
US4509113A (en) Peripheral interface adapter circuit for use in I/O controller card having multiple modes of operation
US4471427A (en) Direct memory access logic system for a data transfer network
US4378589A (en) Undirectional looped bus microcomputer architecture
EP0234598A2 (en) Interface circuit for subsystem controller
US4456970A (en) Interrupt system for peripheral controller
JPS6145369A (ja) デジタルイメ−ジフレ−ムプロセツサ
US5420989A (en) Coprocessor interface supporting I/O or memory mapped communications
CN110766600B (zh) 一种分布式架构的图像处理系统
US4430710A (en) Subsystem controller
US4177511A (en) Port select unit for a programmable serial-bit microprocessor
US5132973A (en) Testable embedded RAM arrays for bus transaction buffering
KR100271663B1 (ko) 영상처리장치
GB2258069A (en) High speed computer graphics bus
US4814977A (en) Apparatus and method for direct memory to peripheral and peripheral to memory data transfers
JPH02500692A (ja) マルチプロセッサコンピュータにおける演算要素の統合
EP0305752B1 (en) Programmable data path width in a programmable unit having plural levels of subinstruction sets
RU2110088C1 (ru) Параллельный процессор с перепрограммируемой структурой
EP0074300A2 (en) Memory control circuit for subsystem controller
US5796987A (en) Emulation device with microprocessor-based probe in which time-critical functional units are located
JPH0119185B2 (ko)
US20020007263A1 (en) Apparatus for supporting microprocessor development system
EP1193606B1 (en) Apparatus and method for a host port interface unit in a digital signal processing unit

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 19970618

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 19970618

Comment text: Request for Examination of Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 19991028

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20000613

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20000817

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20000818

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20030701

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20040629

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20050630

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20060629

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20070702

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20080626

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20090624

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20100625

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20110624

Start annual number: 12

End annual number: 12

FPAY Annual fee payment

Payment date: 20120524

Year of fee payment: 13

PR1001 Payment of annual fee

Payment date: 20120524

Start annual number: 13

End annual number: 13

FPAY Annual fee payment

Payment date: 20120711

Year of fee payment: 17

PR1001 Payment of annual fee

Payment date: 20120711

Start annual number: 14

End annual number: 17

EXPY Expiration of term
PC1801 Expiration of term