KR20020095755A - 비디오 코덱의 메모리 액세스 장치 및 방법 - Google Patents

비디오 코덱의 메모리 액세스 장치 및 방법 Download PDF

Info

Publication number
KR20020095755A
KR20020095755A KR1020010033947A KR20010033947A KR20020095755A KR 20020095755 A KR20020095755 A KR 20020095755A KR 1020010033947 A KR1020010033947 A KR 1020010033947A KR 20010033947 A KR20010033947 A KR 20010033947A KR 20020095755 A KR20020095755 A KR 20020095755A
Authority
KR
South Korea
Prior art keywords
memory
clock
video codec
access
sections
Prior art date
Application number
KR1020010033947A
Other languages
English (en)
Other versions
KR100779498B1 (ko
Inventor
황원용
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020010033947A priority Critical patent/KR100779498B1/ko
Publication of KR20020095755A publication Critical patent/KR20020095755A/ko
Application granted granted Critical
Publication of KR100779498B1 publication Critical patent/KR100779498B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 비디오 코덱의 메모리 액세스 장치 및 방법에 관한 것으로, 종래의 비디오 코덱은 실시간 처리를 위해 여러개의 메모리 버퍼를 구비하고 동시에 메모리 액세스가 이루어졌기 때문에 비디오 코덱의 단가를 상승시키게 하는 요인이 되고, 이를 극복하기 위해서 엔코딩이나 디코딩 칩의 내부에 메모리를 내장 시킬 경우는, 칩의 가격 상승 및 전력 소모를 커지게 하는 문제점이 있었다. 따라서, 본 발명은 블록 기반의 비디오 코덱에서 엔코딩 및 디코딩을 수행함에 있어서, 픽셀 클럭을 입력받아 소정 배수의 고속 클럭을 생성하는 PLL부와; 상기 고속 클럭의 구간을 소정개의 구간으로 구분하고, 메모리 액세스가 필요한 코덱 내부의 각 기능 블록들을 상긱 각 고속 클럭 구간에 적절히 할당하여 메모리에 접근할 수 있도록 하는 메모리 제어부 및 코딩 제어부를 포함한 구성에 의해 픽셀 클럭보다 고속의 클럭을 발생시켜, 4개의 메모리 액세스 구간으로 나눈 후 메모리 액세스가 필요한 기능 블록이 상기 각 구간을 점유하게 하여, 하나의 외부 메모리에 의해 빈번한 메모리 액세스를 일정한 픽셀의 입/출력과 동일한 시점에서 구현 함으로써, 칩의 크기 및 제품 단가와 전력 소모를 최소화할 수 있도록 하는 효과가 있다.

Description

비디오 코덱의 메모리 액세스 장치 및 방법{MEMORY ACCESS APPARATUS AND METHOD FOR VIDEO CODEC}
본 발명은 비디오 코덱의 메모리 액세스 장치 및 방법에 관한 것으로, 특히 블록을 기반으로 하는 비디오 코덱에서 다수의 외부 메모리를 사용하지 않고, 1개의 외부 메모리만으로 비디오 코덱의 기능을 수행할 수 있도록 하는 비디오 코덱의 메모리 액세스 장치 및 방법에 관한 것이다.
여기서, 블록을 기반으로 한다는 것은 부호화 단위를 16 ×16 화소의 매크로블록(MB)으로 한다는 것을 의미한다.
즉, 블록 기반의 비디오 코덱은 각 매크로블록(MB)에 대한 움직임 벡터를 추정하여, 움직임 벡터를 이용한 매크로블록(MB) 단위의 움직임 보상 프레임간 예측 방식을 통해 시간적 화면 상관도에 따른 정보압축을 수행하고, 각 매크로블록(MB)을 8 ×8화소의 블록으로 세분하여 이산여현변환(DCT : Discrete Cosine Transform)에 의한 공간적 정보압축을 수행하게 된다.
한편, 상기와 같이 블록을 기반으로 하는 비디오 코덱에서의 기본적인 엔코딩, 디코딩 방법은 일반적으로 도1 및 도2에 도시된 구성에 의한 과정을 거쳐 수행된다.
이하, 도1 및 도2의 기술 구성은 이미 공지된 기술로서 본 발명의 요지를 흐릴 수 있는 각 블록의 상세한 동작에 대해서는 설명을 생략하기로 한다.
먼저, 도1은 종래 비디오 코덱의 엔코딩 장치 구성을 보인 블록도로서, 이에도시된 바와 같이 한 프레임을 매크로블록(MB) 단위로 쪼개고, 또 이 매크로 블록은 8 ×8 블록으로 쪼개져 DCT를 거치고, 모션벡터(MV)를 검출하여 양자화를 한 후 가변장부호화(VLC : Variable Length Code)를 거쳐 엔코딩된다.
다음, 도2는 종래 비디오 코덱의 디코딩 장치 구성을 보인 블록도로서, 이에 도시된 바와 같이 엔코딩의 역순으로 복호화가 수행될 수 있도록 구현되어 있다.
이때, 중요한 것은 DCT 혹은 역DCT(IDCT)를 위해서 8 ×8 블록에 대한 메모리 액세스가 필요하고, 모션벡터(MV) 검출을 위해서도 8 ×8 블록에 대한 메모리 액세스 혹은 16 ×16 매크로블록(MB)에 대한 메모리 액세스가 필요하다.
또 이런 메모리 액세스는 순차적으로 이루어지는 것이 아니라, 실시간 처리를 위해서 동시에 이루어져야 한다.
따라서, 원활한 엔코딩/디코딩을 위해서는 여러 개의 메모리 버퍼(22, 29, 47, 49)가 필요했다.
이는 비디오 코덱의 단가를 상승시키게 하는 요인이 되고, 이를 극복하기 위해서 엔코딩이나 디코딩 칩의 내부에 메모리를 내장 시킬 경우는, 칩의 가격 상승 및 전력 소모를 커지게 하는 문제점이 있었다.
따라서, 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 창출한 것으로, 하나의 외부 메모리를 공동 사용할 수 있도록 함으로써 외부 메모리의 사용을 최소화시키면서 칩의 크기도 줄일 수 있도록 하여, 제품 단가 및 전력 소모를 최소화할 수 있도록 하는 비디오 코덱의 메모리 액세스 장치 및 방법을 제공함에그 목적이 있다.
도 1은 종래 비디오 코덱의 엔코딩 장치 구성을 보인 블록도.
도 2는 종래 비디오 코덱의 디코딩 장치 구성을 보인 블록도.
도 3은 본 발명에 의한 비디오 코덱의 메모리 액세스 방법을 설명하기 위해 보인 클럭의 타이밍도.
도 4는 본 발명에 의한 비디오 코덱의 메모리 액세스 장치를 보인 구성도.
***도면의 주요 부분에 대한 부호의 설명***
100 : PLL 부 200 : 메모리 제어부
300 : 코딩 제어부 400 : 메모리
이와 같은 목적을 달성하기 위한 본 발명은, 블록 기반의 비디오 코덱에서 엔코딩 및 디코딩을 수행함에 있어서, 픽셀 클럭을 입력받아 소정 배수의 고속 클럭을 생성하는 PLL부와; 상기 고속 클럭의 구간을 소정개의 구간으로 구분하고, 메모리 액세스가 필요한 코덱 내부의 각 기능 블록들을 상긱 각 고속 클럭 구간에 적절히 할당하여 메모리에 접근할 수 있도록 하는 메모리 제어부 및 코딩 제어부를 포함하여 구성한 것을 특징으로 한다.
또한, 본 발명은 메모리 액세스가 필요한 각 구성부의 입력으로 사용되는 픽셀 클럭의 정수배에 해당하는 고속의 클럭을 생성하고, 상기 고속 클럭을 상기 각 구성부에서 메모리를 액세스할 수 있도록 하는 소정개의 클럭 구간으로 구분하고, 상기 구분된 각각의 클럭 구간동안 상기 각 구성부에 메모리 액세스 권한을 주어 고속으로 액세스가 가능하도록 하여 하나의 외부 메모리를 공유하도록 이루어진 것을 특징으로 한다.
또한, 본 발명은 외부 메모리로 고속 메모리 1개를 사용하기 위하여, 메모리의 액세스를 위한 구간을 4개의 구간으로 나누어, 각각의 구간동안 칩 내부의 각 기능 블록으로 메모리 액세스 권한을 주어 고속으로 액세스가 가능하도록 하는 특징이 있다.
이하, 본 발명에 따른 일실시예를 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.
일단, 본 발명은 도3 및 도4에 도시한 바와 같이, 픽셀 클럭(Pixel Clock)의 8배의 고속 클럭을 내부 PLL(100)을 이용하여 만들어, 8 픽셀 클럭 구간동안 상기 고속 클럭에 의해 8번의 연속적인 메모리 액세스를 4번 수행하게 한다.
이는 블록을 기반으로 하는 코덱에 있어서 모든 메모리 액세스가 가로 ×세로 8 ×8을 기본으로 하고 있기 때문에 8번의 연속적인 메모리 액세스를 기본 단위로 삼을 수 있는 것이다.
즉, 종래의 경우에는 엔코딩 및 디코딩을 실시간으로 처리하기 위해, 여러개의 메모리를 사용하여 8 픽셀 클럭 동안 각 기능 블록에서 동시에 메모리 액세스가 이루어졌으나, 본 발명에서는 픽셀 클럭의 정수배(4배)의 고속 클럭을 생성하여 소정개(4개)의 메모리 액세스 구간으로 구분하여, 각 구간동안 각 기능 블록에서 하나의 메모리에 순차로 접근하도록 함으로써, 8 픽셀 클럭 구간 동안 동시에 접근한 것과 같은 효과를 얻을 수 있게 되는 것이다.
이때, 상기 4 구간은 프레임 캡쳐, 프레임 디스플레이, DCT 블록 리드/라이트, IDCT 블록 리드/라이트, 탐색 영역 리드(Search area read), DPCM 리드/라이트 기능을 위한 메모리 액세스를 할 수 있게 적절히 할당하여 사용한다.
예를 들어, 프레임 캡쳐와 프레임 디스플레이는 비디오 신호의 블랭크 구간에서는 필요없으므로 사용하지 않고, 액티브(Active) 구간 동안에 메모리 액세스를 해야 하며, 나머지 기능들도 항상 동시에 발생하는 것이 아니고 블록이 인트라-블록인가 아닌가에 따라, 또는 기타 여러가지 변수에 따라 달라지므로 조합하여 쓸 수 있다.
즉, 도4에 도시한 바와 같이 어느 고속 클럭 구간에서 어떤 기능 블록이 메모리 액세스를 하게 하느냐 하는 것은 코딩 제어부(300)와 메모리 제어부(200)에서 결정한다.
코딩 제어부(300)는 필요한 기능을 수행하기 위한 메모리 액세스 요청을 메모리 제어부(200)로 하게 되고, 메모리 제어부(200)는 코딩 제어부(300)에서 요청되어진 부분의 데이터를 리드 혹은 라이트한다.
이때, 도4는 본 발명에 의한 비디오 코덱의 메모리 액세스 장치를 보인 구성도로서, PLL부(100)는 픽셀 클럭을 입력받아 소정 배수의 고속 클럭을 생성하고, 상기 고속 클럭에 의해 메모리 제어부(200) 및 코딩 제어부(300)에서는 상기 고속 클럭의 구간을 소정개의 구간으로 구분하고, 메모리 액세스가 필요한 각 기능 블록들(500∼800)을 각 구간에 적절히 할당하여 메모리(400)에 접근할 수 있도록 제어한다.
다시 말해, 도1 및 도2에 도시된 종래의 기술에서는 메모리 액세스를 위한 다수의 버퍼를 구비하여, 이 버퍼로 외부 메모리의 데이터가 전달되거나 버퍼에 있는 데이터가 외부 메모리로 전달되는 과정이 본 발명에서는 도3에 도시된 구간1∼구간4 동안 고속 클럭에 의해 순차로 메모리 액세스를 하게 되는 것이다.
이상에서 설명한 바와 같이 본 발명 비디오 코덱의 메모리 액세스 장치 및 방법은, 블록을 기반으로 하는 비디오 코덱에 있어서, 픽셀 클럭보다 고속의 클럭을 PLL을 이용하여 발생시켜, 4개의 메모리 액세스 구간으로 나눈 후 메모리 액세스가 필요한 기능 블록이 상기 각 구간을 점유하게 하여, 하나의 외부 메모리에 의해 빈번한 메모리 액세스를 일정한 픽셀의 입/출력과 동일한 시점에서 구현 함으로써, 칩의 크기 및 제품 단가와 전력 소모를 최소화할 수 있도록 하는 효과가 있다.

Claims (4)

  1. 블록 기반의 비디오 코덱에서 엔코딩 및 디코딩을 수행함에 있어서, 픽셀 클럭을 입력받아 소정 배수의 고속 클럭을 생성하는 PLL부와; 상기 고속 클럭의 구간을 소정개의 구간으로 구분하고, 메모리 액세스가 필요한 코덱 내부의 각 기능 블록들을 상기 각 고속 클럭 구간에 할당하여 메모리에 접근할 수 있도록 하는 메모리 제어부 및 코딩 제어부를 포함하여 구성한 것을 특징으로 하는 비디오 코덱의 메모리 액세스 장치.
  2. 블록 기반의 비디오 코덱에서 엔코딩 및 디코딩을 수행함에 있어서, 메모리 액세스가 필요한 각 구성부의 입력으로 사용되는 픽셀 클럭의 정수배에 해당하는 고속의 클럭을 생성하고, 상기 고속 클럭을 상기 각 구성부에서 메모리를 액세스할 수 있도록 하는 소정개의 클럭 구간으로 구분하고, 상기 구분된 각각의 클럭 구간동안 상기 각 구성부에 메모리 액세스 권한을 주어 고속으로 액세스가 가능하도록 하여 하나의 외부 메모리를 공유하도록 이루어진 것을 특징으로 하는 비디오 코덱의 메모리 액세스 방법.
  3. 제2항에 있어서, 상기 픽셀 클럭의 정수배로 생성되는 고속 클럭은, 가로 ×세로가 8 ×8을 기반으로 하는 코덱일 경우, 픽셀 클럭의 8배인 클럭을 생성하도록 이루어진 것을 특징으로 하는 비디오 코덱의 메모리 액세스 방법.
  4. 제2항에 있어서, 상기 고속 클럭을 4개의 구간으로 구분할 경우, 8 픽셀 구간동안 고속 클럭에 의해 8번의 연속적인 메모리 액세스를 4번 수행하게 하는 것을 특징으로 하는 비디오 코덱의 메모리 액세스 방법.
KR1020010033947A 2001-06-15 2001-06-15 비디오 코덱의 메모리 액세스 장치 및 방법 KR100779498B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020010033947A KR100779498B1 (ko) 2001-06-15 2001-06-15 비디오 코덱의 메모리 액세스 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020010033947A KR100779498B1 (ko) 2001-06-15 2001-06-15 비디오 코덱의 메모리 액세스 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20020095755A true KR20020095755A (ko) 2002-12-28
KR100779498B1 KR100779498B1 (ko) 2007-11-27

Family

ID=27709465

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020010033947A KR100779498B1 (ko) 2001-06-15 2001-06-15 비디오 코덱의 메모리 액세스 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100779498B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7725641B2 (en) 2006-11-15 2010-05-25 Samsung Electronics Co., Ltd. Memory array structure and single instruction multiple data processor including the same and methods thereof
KR101097636B1 (ko) * 2008-11-24 2011-12-22 엔비디아 코포레이션 데이터 스트림들의 인코딩시 최적 전력 이용
US8180195B2 (en) 2007-02-27 2012-05-15 Samsung Electronics Co., Ltd. Memory structures and methods for video codec

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100201295B1 (ko) * 1996-10-30 1999-06-15 윤종용 단일 메모리를 이용한 비디오 디코더 디스플레이회로
KR100246027B1 (ko) * 1997-10-07 2000-03-02 구자홍 범용 메모리를 이용한 영상신호 저장 및 독출장치
KR100277679B1 (ko) * 1997-10-24 2001-01-15 정선종 영상부호화및복호화시스템에서의메모리장치
JP2000078521A (ja) * 1998-08-27 2000-03-14 Hitachi Ltd 画像復号表示装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7725641B2 (en) 2006-11-15 2010-05-25 Samsung Electronics Co., Ltd. Memory array structure and single instruction multiple data processor including the same and methods thereof
US8180195B2 (en) 2007-02-27 2012-05-15 Samsung Electronics Co., Ltd. Memory structures and methods for video codec
KR101097636B1 (ko) * 2008-11-24 2011-12-22 엔비디아 코포레이션 데이터 스트림들의 인코딩시 최적 전력 이용

Also Published As

Publication number Publication date
KR100779498B1 (ko) 2007-11-27

Similar Documents

Publication Publication Date Title
US5912676A (en) MPEG decoder frame memory interface which is reconfigurable for different frame store architectures
KR100952861B1 (ko) 디지털 비디오 데이터 처리
US8731044B2 (en) Moving-picture processing apparatus
US6574273B1 (en) Method and apparatus for decoding MPEG video signals with continuous data transfer
CN1937773B (zh) 外部存储装置、存储图像数据的方法及图像处理器
JPH05268590A (ja) 動画像符号化復号化回路
JP3716441B2 (ja) 画像デコーダ
JPH09172601A (ja) 動画像復号器におけるフレームメモリ及びｓｄｒａｍに１フレームの画像信号を記録する方法
EP0602642B1 (en) Moving picture decoding system
JP3544524B2 (ja) 画像処理装置
US10757430B2 (en) Method of operating decoder using multiple channels to reduce memory usage and method of operating application processor including the decoder
KR950703838A (ko) 화상 복호화 방법 및 장치와, 화상 부호화 방법 및 장치(Method and apparatus for decoding image and method and apparatus for encoding image)
KR19980081641A (ko) 동화상 복호 방법 및 동화상 복호 장치
WO2004102971A1 (en) Video processing device with low memory bandwidth requirements
US6850568B1 (en) Method and apparatus for decoding mpeg video signals
KR100779498B1 (ko) 비디오 코덱의 메모리 액세스 장치 및 방법
JP2001186543A (ja) データ符号化装置及び復号化装置
US20010055427A1 (en) Method of memory utilization in a predictive video decoder
KR100891116B1 (ko) 대역폭 인식 움직임 보상 장치 및 그 방법
KR100248085B1 (ko) 영상 관련 데이터를 저장하기 위한 메모리 맵 구조를 가지는 에스디램
KR100281567B1 (ko) 비디오 인코더의 스케쥴링 방법
JP2009272948A (ja) 動画像復号化装置及び動画像復号化方法
KR0123084B1 (ko) 병렬처리를 위한 메모리구조를 갖는 동영상복호화장치
KR100493476B1 (ko) 영상 부호화 회로
CA2258505A1 (en) Video coding method and apparatus with periodic refresh

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20010615

N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20020603

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20060425

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20010615

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20070724

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20071114

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20071120

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20071121

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20100929

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20110920

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20110920

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20121026

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20121026

Start annual number: 6

End annual number: 6

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20141009