KR100196874B1 - 선택적 윤곽선 근사화 장치 - Google Patents

선택적 윤곽선 근사화 장치 Download PDF

Info

Publication number
KR100196874B1
KR100196874B1 KR1019950055661A KR19950055661A KR100196874B1 KR 100196874 B1 KR100196874 B1 KR 100196874B1 KR 1019950055661 A KR1019950055661 A KR 1019950055661A KR 19950055661 A KR19950055661 A KR 19950055661A KR 100196874 B1 KR100196874 B1 KR 100196874B1
Authority
KR
South Korea
Prior art keywords
approximation
polygon
dst
line
area
Prior art date
Application number
KR1019950055661A
Other languages
English (en)
Other versions
KR970057926A (ko
Inventor
김진헌
Original Assignee
전주범
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전주범, 대우전자주식회사 filed Critical 전주범
Priority to KR1019950055661A priority Critical patent/KR100196874B1/ko
Priority to US08/769,833 priority patent/US5828790A/en
Priority to GB9626813A priority patent/GB2308769B/en
Priority to CN96113901A priority patent/CN1107416C/zh
Priority to IN2217CA1996 priority patent/IN190526B/en
Priority to JP34337896A priority patent/JP3894605B2/ja
Publication of KR970057926A publication Critical patent/KR970057926A/ko
Application granted granted Critical
Publication of KR100196874B1 publication Critical patent/KR100196874B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 선택적 윤곽선 근사화 장치에 관한 것으로, 원 윤곽선 정보의 정점을 기준으로 직선을 연결함으로서 윤곽선을 다수개의 직선으로 근사화하여 다수개의 직선을 변(side)으로한 다각형을 형성하는 다각형 근사화부(100) ; 상기 다각형의 각변의 길이를 다수개로 등분한 후 각 등분점에 수직인 직선을 형성하여, 원 윤곽선과 다각형 각변의 등분점과의 오차를 검출한 후, 원 윤곽선과 다각형 각 변의 등분점과의 오차를 DST 근사화하여 근사화 라인을 형성하는 DST 근사화부(130) ; 상기 원윤곽선과 다각형 사이의 면적을 각각 연산하는 제1에러 검출부(110) ; 상기 원윤곽선과 DST 근사화 라인 사이의 면적을 각각 연산하는 제2에러 검출부(120) ; 상기 원윤곽선과 다각형 사이의 면적과 이에 대응되는 원 윤곽선과 DST 근사화 라인 사이의 면적을 비교하여, 면적이 작은 근사화 방법을 선택하도록 선택 신호를 제공하는 비교부(150) ; 상기 비교부(150)의 선택 신호에 의해 다각형 근사화부(100)의 출력이나 DST 근사화부(130)의 출력을 선택하는 다중화부(140)를 구비하여 구성함을 특징으로 한다.

Description

선택적 윤곽선 근사화 장치
제1도는 일반적인 다각형 근사화 알로리즘을 설명하기 위한 도면.
제2도는 및 제3도는 일반적인 DST 근사화 알로리즘을 설명하기 위한 도면.
제4도는 본 발명의 바람직한 실시시예를 나타내는 상세 구성도.
* 도면의 주요부분에 대한 부호의 설명
100 : 다각형 근사화부 110, 120 : 에러 검출부
130 : DST 근사화부 140 : 다중화부
150 : 비교부
본 발명은 동영상을 이동 물체별로 분할하고 각 이동 물체에 대해 움직임 표현 파라메타를 추정하는 방식으로 물체별로 움직임을보상하는 물체별 부호화 장치에 있어서, 특히 윤곽선 영상을 선택적으로 근사화하는 선택적 윤곽선 근사화 장치에 관한 것이다.
최근 MPEG(Motion Picture Experts Group)4의 표준화를 앞두고 이에 수용할 수 있는 저전송율 동영상 부호화기법에 대한 연구가 활발히 진행되고 있는데, 이동 물체를 포함한 연속 영상의 저전송을 부호화하기 위해서는 이동 정보를 이용하는 데이타 감축 기법이 필수적이다. 한편 종래의 동영상 부호화 기법들은 이동 물체의 모양 및 전역 움직임(global motion)과 무관하게 지역적인 블럭 움직임에 근거하고 있다.
따라서 낮은 전송율에서, 블럭별 이동 보상 부호화를 적용함으로서 블럭화 현상, 모서리 떨림 현상, 반점 현상드와 같은 화질 저하가 재생 영상에 나타나게 된다.
MPEG4에서는 상기한 문제점을 해결하기 위한 새로운 부호화 방식으로서 영상신호의 통계적 특성만을 주로 고려하는 종래의 방법과는 다르게, 인간의 시각 특성에 바탕을 두고 주관적 화질을 중시하며 아울러 전송 데이타량의 대폭적인 감축을 도모하는 동영상 부호화 기법이 연구되어 지고 있으며, 이러한 새로운 부호화 기법중에 하나가 동영상을 이동 물체별로 분할하고, 각 이동 물체에 대해 움직임 표현 파라메타를 추정하는 방식으로 물체별로 움직임을 보상하는 물체별 부호화 기법이다.
물체별 부호화 기법은 먼저, 입력 영상을 독립적인 움직임의 이동 물체별로 분할하고 분할된 물체의 움직임 정보를 추정하는 과정을 통하여 윤곽선 정보, 움직임 정보, 색상 정보를 추출한후 추출된 윤곽선 정보, 움직임 정보, 색상 정보를 이동 물체별로 선택적으로 부호화하여 전송한다.
이러한 물체별 부호화 방식에서 대부분의 영역은 움직임 계수에 의해 이동 보상되어 질 수 있으므로 움직임 정보와 윤곽선 정보만 전송하면 되기 때문에 블록별 부호화 기법에 비해 많은 데이타 감축 효과를 얻을 수 있는 것으로 알려져 있다.
상기한 윤곽선 부호화 방법중 가장 널리 알려져 있는 것으로 체인 코딩(chain coding)이 있으나 무손실 부호화인 체인 코딩은 데이타량이 매우 많으므로 초저속 영상 부호화에는 적합하지 않다.
따라서 많은 데이타를 감축할 수 있는 송실 부호화 기법을 고려해야 하며 손실 부호화 기법으로서 일반적으로 원 윤곽선을 직선이 연결된 다각형(polygon)으로 근사화하여 전송하는 방법이 알려져 있다. M. Hter(Object Oriented Analysis Coding based on Moving Two-Dimensional Objects, Signal Processing : Image Communication Vo 1.2, pp.409-428, 1990)가 제안한 방법에 의하면 연속된 윤곽선 영상을 다각형과 스프라인(spline)에 의해 근사적으로 표현하고 이때 나타나는 다각형과 스프라인의 정점을 이동 보상 예측하여 그 오차를 부호화 한다.
다각형 근사는 제1도에 나타난 바와 같이 윤곽선 영상에 정점(a)을 기준으로 직선(b)을 형성하여 윤곽선을 여러 직선으로 표현하는 방법으로서, 이때 근사화 정도를 판단하는 기준으로 실제 윤곽선과 근사 다각형사이의 최대거리(d〈d max)를 사용하며 최대거리(d max)에 의해 다각형 근사화의 성능이 좌우된다.
한편, 제1도에 도시된 바와 같이 실제 윤곽선과 근사 다각형간에는 많은 오차가 발생한다. 이때 발생되는 오차는 대부분 사인 변환(sine tranform)의 1,2 번째 베이시스(basis)와 매우 흡사하다. 따라서 다각형 근사화로 인하여 발생된 오차에 대해 다수개의 샘플 포인트(sample point)를 설정하여 DST(Discrete Sine Transform)를 할 경우 DST계수는 대부분 1,2번째 베이시스에 모이게 된다.
이와 같은 알고니즘을 이용한 근사화 방법이 DST 근사화이다.
즉, 제2도에 나타난 바와 같이 다각형의 각변의 길이를 다수개로 등분한 후 각 등분점(K1, K2, K3, K4)에 수직인 직선을 형성하여, 각 등분점(K1, K2, K3, K4)에 수직인 직선들이 원 윤곽선과 만나는 지점과 등분점(K1, K2, K3, K4)과의 거리(d1, d2, d3, d4)를 검출한다. 따라서 이거리(d1, d2, d3, d4)가 원 윤곽선과 다각형 각 변의 등분점과의 오차가 된다.
원 윤곽선과 다각형 각 변의 등분점과의 오차(d1, d2,. d3, d4)를 DST하게 되면 대체적으로 제3도와 같이 원 윤곽선에 좀더 가까운 형상의 DST 근사화 곡선이 형성된다.
그러나 이러한 DST 근사화 기법은 원 윤곽선이 곡선일 경우에 실효성이 매우 높으나 원윤곽선이 직선에 가까울 경우 오히려 데이타량의 증가만 가져오게 되는 문제점이 있었다.
따라서 본 발명은 윤곽선 정보의 곡선율에 따라 다각형 근사화나 DST근사화를 선택적으로 수행할 수 있도록 한 선택적 윤곽선 근사화 장치를 제공함에 그 목적이 있다.
본 발명은 상기 목적을 달성하기 위하여 원 윤곽선 정보의 정점을 기준으로 직선을 연결함으로서 윤곽선을 다수개의 직선으로 근사화하여 다수개의 직선을 변으로 한 다각형을 형성하는 다각형 근사화부 ; 상기 다각형의 각변의 길이를 다수개로 등분한후 각 등분점에 수직인 직선을 형성하여, 원 윤곽선과 다각형 각 변의 등분점과의 오차를 검출한 후, 원 윤곽선과 다각형 각 변의 등분점과의 오차를 DST 근사화하여 근사화 라인을 형성하는 DST 근사화부 ; 상기 원윤곽선과 다각형 사이의 면적을 각각 연산하는 제1에러 검출부 ; 상기 원윤곽선과 DST 근사화 라인 사이의 면적을 각각 연산하는 제2에러 검출부 ; 상기 원윤곽선과 다각형 사이의 면적과 이에 대응되는 원 윤곽선과 DST 근사화 라인 사이의 면적을 비교하여, 면적이 작은 근사화 방법을 택하도록 선택 신호를 제공하는 비교부 ; 상기 비교부의 선택 신호에 의해 다각형 근사화부의 출력이나 DST 근사화부의 출력을 선택하는 다중화부를 구비하여 구성함을 특징으로 한다.
이하 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.
제4도에는 본 발명의 선택적 윤곽선 근사화 장치에 대한 바람직한 실시예가 도시된다. 원 윤곽선 정보는 라인(L1)을 통해 다각형 근사화부(100)에 제공되고, 라인(L2)을 통해 각각 에러 검출부(110, 120)에 제공된다. 다각형 근사화부(100)는 원 윤곽선 정보의 정점을 기준으로 직선을 연결함으로서 윤곽선을 다수개의 직선으로 근사화하여 다수개의 직선을 변(side)으로 한 다각형을 형성하되, 다각형의 각 변에 수직인 직선과 원 윤곽선과 만나는 점까지의 거리(d)가 기 설정치(d max)를 초과하지 않는 다각형을 형성하여 다각형 정보를 라인(L3)을 통해 에러 검출부(110)에 제공하고, 라인(L4)를 통해 DST 근사화부(130)에 제공하며 라인(L5)을 통해 다중화부(140)에 제공한다.
DST근사화부(130)는 다각형의 각변의 길이를 다수개로 등분한후 각 등분점에 수직인 직선을 형성하여, 원 윤곽선과 다각형 각 변의 등분점과의 오차를 검출한후, 원 윤곽선과 다각형 각 변의 등분점과의 오차를 DST 근사화하여 DST 근사화 정보를 라인(L6)을 통해 에러 검출부(120)에 제공하고, 라인(L7)을 통해 다중화부(140)에 제공한다.
에러 검출부(110)는 다각형 정보와 원 윤곽선 정보를 제공받아 원윤곽선과 다각형 사이의 면적을 각각 연산하여 그 결과를 비교부(150)에 제공한다.
에러 검출부(120)는 DST근사화 정보와 원 윤곽선 정보를 제공받아 원 윤곽선과 DST 근사화 라인 사이의 면적을 각각 연산하여 그 결과를 비교부(150)에 제공한다.
비교부(150)는 원윤곽선과 다각형 사이의 면적과 이에 대응되는 원 윤곽선과 DST 근사화 라인 사이의 면적을 비교하여, 면적이 작은 근사화 방법을 선택하도록 다중화부(140)에 선택 신호를 제공한다. 다중화부(140)는 비교부(150)의 선택 신호에 의해 다각형 근사화부(100)의 출력이나 DST 근사화부(130)의 출력을 선택한다. 이후 다중화부(140)의 출력은 양자화 과정에 의해 데이타 압축을 이룰 것이다.
상술한 바와 같이 본 발명은 윤곽선과 다각형간의 오차, 또는 윤곽선과 DST근사화 라인과의 오차에 따라 선택적으로 근사화를 수행함으로서 보다 정확한 근사화를 수행할 수 있는 효과가 있다.

Claims (1)

  1. 원 윤곽선 정보의 정점을 기준으로 직선을 연결함으로서 윤곽선을 다수개의 직선으로 근사화하여 다수개의 직선을 변(side)으로한 다각형을 형성하는 다각형 근사화부(100) ; 상기 다각형의 각변의 길이를 다수개로 등분한후 각 등분점에 수직인 직선을 형성하여, 원 윤곽선과 다각형 각 변의 등분점과의 오차를 DST 근사화하여 근사화 라인을 형성하는 DST 근사화부(130) ; 상기 원윤곽선과 다각형 사이의 면적을 각각 연산하는 제1에러 검출부(110) ; 상기 원윤곽선과 DST 근사화 라인 사이의 면적을 각각 연산하는 제2에러 검출부(120) ; 상기 원 윤곽선과 다각형 사이의 면적과 이에 대응되는 원 윤곽선과 DST 근사화 라인 사이의 면적을 비교하여, 면적이 작은 근사화 방법을 선택하도록 선택 신호를 제공하는 비교부(150) ; 상기 비교부(150)의 선택 신호에 의해 다각형 근사화부(100)의 출력이나 DST 근사화부(130)의 출력을 선택하는 다중화부(140)를 구비하여 구성한 선택적 윤곽선 근사화 장치.
KR1019950055661A 1995-12-23 1995-12-23 선택적 윤곽선 근사화 장치 KR100196874B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1019950055661A KR100196874B1 (ko) 1995-12-23 1995-12-23 선택적 윤곽선 근사화 장치
US08/769,833 US5828790A (en) 1995-12-23 1996-12-20 Method and apparatus for approximating a contour image of an object in a video signal
GB9626813A GB2308769B (en) 1995-12-23 1996-12-23 Method and apparatus for approximating a contour image of an object in a video signal
CN96113901A CN1107416C (zh) 1995-12-23 1996-12-23 用于近似视频信号中－目标轮廓图象的方法及装置
IN2217CA1996 IN190526B (ko) 1995-12-23 1996-12-23
JP34337896A JP3894605B2 (ja) 1995-12-23 1996-12-24 輪郭線近似化方法及び輪郭線符号化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950055661A KR100196874B1 (ko) 1995-12-23 1995-12-23 선택적 윤곽선 근사화 장치

Publications (2)

Publication Number Publication Date
KR970057926A KR970057926A (ko) 1997-07-31
KR100196874B1 true KR100196874B1 (ko) 1999-06-15

Family

ID=19443888

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950055661A KR100196874B1 (ko) 1995-12-23 1995-12-23 선택적 윤곽선 근사화 장치

Country Status (6)

Country Link
US (1) US5828790A (ko)
JP (1) JP3894605B2 (ko)
KR (1) KR100196874B1 (ko)
CN (1) CN1107416C (ko)
GB (1) GB2308769B (ko)
IN (1) IN190526B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100219706B1 (ko) * 1997-01-10 1999-09-01 윤종용 정점기반 형상 부호화 및 인접 프레임간 정점예측방법
KR100239302B1 (ko) * 1997-01-20 2000-01-15 전주범 변형된 정점 부호화를 이용한 윤곽선 부호화 방법 및 그 장치
JP4164286B2 (ja) * 2002-04-25 2008-10-15 キヤノン株式会社 図形の線分近似方法、該図形の線分近似方法を実現するためのプログラムおよび図形の線分近似装置
US7920720B2 (en) * 2006-06-26 2011-04-05 Keystream Corporation Computer-implemented method for object creation by partitioning of a temporal graph
US20080260217A1 (en) * 2007-04-23 2008-10-23 Adi Mashiach System and method for designating a boundary of a vessel in an image
CN107317585B (zh) 2011-01-14 2020-09-29 Ge视频压缩有限责任公司 熵编码设备和方法、熵解码设备和方法、及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100235345B1 (ko) * 1994-12-29 1999-12-15 전주범 분할영역에서의 움직임 추정방법 및 장치
KR0181059B1 (ko) * 1995-03-18 1999-05-01 배순훈 물체의 윤곽을 나타내기 위한 윤곽 근사장치
KR100203656B1 (ko) * 1996-04-09 1999-06-15 전주범 윤곽 영상신호 부호화 장치

Also Published As

Publication number Publication date
GB2308769A (en) 1997-07-02
JPH09231377A (ja) 1997-09-05
JP3894605B2 (ja) 2007-03-22
CN1107416C (zh) 2003-04-30
US5828790A (en) 1998-10-27
IN190526B (ko) 2003-08-09
GB9626813D0 (en) 1997-02-12
CN1158051A (zh) 1997-08-27
KR970057926A (ko) 1997-07-31
GB2308769B (en) 1999-11-10

Similar Documents

Publication Publication Date Title
USRE41953E1 (en) Decoding apparatus including a filtering unit configured to determine a pixel value using a weighted average operation
US7181050B1 (en) Method for adapting quantization in video coding using face detection and visual eccentricity weighting
US5832115A (en) Ternary image templates for improved semantic compression
US5710829A (en) System and method for focused-based image segmentation for video signals
US5805221A (en) Video signal coding system employing segmentation technique
JP3038143B2 (ja) 映像機器の物体別形状情報の減縮装置及びその減縮方法並びに多角近似化方法
KR20010022399A (ko) 동일구조특징 매니폴드 투영 정지/비디오 영상 압축 방법
JP3852989B2 (ja) 輪郭線符号化方法及びその装置
EP0985318B1 (en) System for extracting coding parameters from video data
KR100196874B1 (ko) 선택적 윤곽선 근사화 장치
US5774596A (en) Adaptive contour coding method for encoding a contour image in a video signal
EP0734168A2 (en) Apparatus for encoding a moving image signal having a still object
KR100442844B1 (ko) 중심점을이용한객체의외곽선부호화방법및이를이용한부호화장치
JPH08275156A (ja) 映像信号符号化装置
US5896467A (en) Method and apparatus for encoding a contour image of an object in a video signal
EP0741496A2 (en) System and method for focused-based image segmentation for video signals
JP4043067B2 (ja) 輪郭線映像信号符号化装置
KR0180132B1 (ko) 움직임 추정 방식을 사용한 모양 정보 감축 방법 및 장치
KR100195700B1 (ko) 윤곽선 부호기의 특징점 추출방법 및 그 장치
US5915045A (en) Method and apparatus for encoding a contour of an object by adapting a vertex coding technique
KR0159301B1 (ko) 대역 분할 부호화 장치에서의 움직임 추정 방법
JPH0281590A (ja) 動画像符号化方式
JPH0993585A (ja) 動きベクトル検出装置及び動きベクトル検出方法
KR0147947B1 (ko) 개선된 영역분할 및 합병장치
KR100188534B1 (ko) 움직임 추정 방식과 예측 윤곽선을 사용한 모양 정보 감축 방법

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 19951223

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 19951223

Comment text: Request for Examination of Application

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 19981124

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 19990223

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 19990224

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20020129

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20030124

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20040130

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20050121

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20060125

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20070202

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20080201

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20090202

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20100201

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20110201

Start annual number: 13

End annual number: 13

PR1001 Payment of annual fee

Payment date: 20120208

Start annual number: 14

End annual number: 14

FPAY Annual fee payment

Payment date: 20130201

Year of fee payment: 15

PR1001 Payment of annual fee

Payment date: 20130201

Start annual number: 15

End annual number: 15

FPAY Annual fee payment

Payment date: 20140204

Year of fee payment: 16

PR1001 Payment of annual fee

Payment date: 20140204

Start annual number: 16

End annual number: 16

FPAY Annual fee payment

Payment date: 20150120

Year of fee payment: 17

PR1001 Payment of annual fee

Payment date: 20150120

Start annual number: 17

End annual number: 17

EXPY Expiration of term
PC1801 Expiration of term