KR0178225B1 - 영상기기의 부호화장치 - Google Patents

영상기기의 부호화장치 Download PDF

Info

Publication number
KR0178225B1
KR0178225B1 KR1019950023362A KR19950023362A KR0178225B1 KR 0178225 B1 KR0178225 B1 KR 0178225B1 KR 1019950023362 A KR1019950023362 A KR 1019950023362A KR 19950023362 A KR19950023362 A KR 19950023362A KR 0178225 B1 KR0178225 B1 KR 0178225B1
Authority
KR
South Korea
Prior art keywords
frame
encoding
distortion
distortion value
signal
Prior art date
Application number
KR1019950023362A
Other languages
English (en)
Other versions
KR970009389A (ko
Inventor
김경진
Original Assignee
배순훈
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배순훈, 대우전자주식회사 filed Critical 배순훈
Priority to KR1019950023362A priority Critical patent/KR0178225B1/ko
Publication of KR970009389A publication Critical patent/KR970009389A/ko
Application granted granted Critical
Publication of KR0178225B1 publication Critical patent/KR0178225B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 영상기기의 부호화장치에 관한 것으로, 프레임간의 차분신호를 근거로 하여 부호화하는 영상기기의 부호화장치에 있어서, 현재 프레임과 예측된 프레임간의 차분신호에 대한 왜곡값과 기설정된 왜곡값의 비교에 의거하여 어느 한 부호화 방식을 선택하는 스위칭 제어신호를 제공하는 왜곡신호 처리수단과, 왜곡신호 처리수단의 비교 결과 프레임간 차분신호에 대한 왜곡값이 기설정된 왜곡값보다 작은 경우에 의거하여 부호화하는 제1부호화 수단과, 왜곡신호 처리수단의 비교 결과 상기 프레임간 차분신호에 대한 왜곡값이 기설정된 왜곡값보다 같거나 큰 경우에 의거하여 부호화하는 제2부호화 수단과, 제1,2부호화수단에 의해서 부호화된 데이터를 가변길이 부호화하는 VLC로 이루어짐으로써, 전송채널 용량을 효율적으로 이용하면서도 프레임간 신호대잡음비를 증가시킬 수 있는 효과가 있다.

Description

영상기기의 부호화장치
제1도는 종래의 영상 부호화장치의 개략적인 블록 구성도.
제2도는 본 발명에 따른 영상기기의 부호화장치도.
* 도면의 주요부분에 대한 부호의 설명
220 : 왜곡신호 비교부 240, 260 : 제1,2스위치부
300 : 프레임 형성부 310 : DCT
320, 440 : 양자화부 330 : 역양자화부
340 : 역DCT 350 : 가산기
370 : 움직임 예측부 380 : 움직임 보상부
500 : VLC
본 발명은 영상기기의 부호화장치에 관한 것으로서, 특히 전송채널 용량을 효율적으로 이용하면서도 프레임간 신호대 잡음비를 증가시킬 수 있도록된 영상기기의 부호화장치에 관한 것이다.
일련의 영상신호가 디지털 형태로 표현될 때, 고화질 텔레비젼의 경우에는 방대한 양의 디지털 데이터가 전송되어야 하는데, 이때 사용되는 전송 채널의 사용가능한 주파수 영역은 제한되어 있으므로, 많은 양의 디지털 데이터를 전송하기 위해서는 전송되는 데이터를 압축하여 그 양을 줄일 필요가 있다.
그래서, 이 방대한 데이터를 압축하기 위한 방법으로, 다양한 압축 기법이 있는데, 특히 확률적 부호화 기법과 시간적, 공간적 압축기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 사용되고 있다.
제1도는 종래의 영상기기의 개략적인 블록 구성도로서, 제1도를 참조하면, 프레임 메모리(116)에는 이전프레임이 저장되어 있으며, 현재 입력되는 영상신호가 프레임 형성부(102)에 의해 구성된 프레임이 감산기(104) 및 움직임 예측부(118)로 제공된다.
움직임 예측부(118)는 프레임 형성부(102)에 의해서 형성된 프레임과 프레임 메모리(116)의 이전프레임에 의거하여 움직임을 예측하고 이 예측된 움직임을 움직임 보상부(120)에 의해 이전프레임으로부터 보상받아 가산기(114) 및 감산기(104)로 제공하게 된다.
감산기(104)는 프레임 형성부(102)로부터 제공되는 프레임과 움직임 보상부(120)로부터 제공되는 움직임 변위를 근거로 하여 차분값을 구하고 이를 DCT(106) 및 양자화기(108)에 의해서 DCT된 계수를 양자화하여 역양자화기(110)와 VLC(122)로 제공하게 된다.
역양자화기(110)는 양자화기(108)에 의해 양자화된 계수를 역양자화한 다음 역DCT(112)에 의해서 역DCT로 변환하여 가산기(114)로 제공된다.
이때, 가산기(114)에는 앞서 입력되는 예측된 프레임과 역DCT된 데이터를 합쳐서 이전프레임으로써, 프레임 메모리(116)에 제공하게 된다.
그리고, VLC(122)에서는 양자화된 계수에 대한 런값과 레벨값을 구함과 아울러 발생빈도가 많은 것은 짧은 길이의 부호로, 빈도가 적은 것은 긴길이로 가변길이 부호화를 한 다음 출력버퍼(124)로 제공된다.
출력버퍼(124)에서는 VLC(122)에 의해서 가변길이 부호화된 데이터를 사용가능한 채널용량에 따라 제한된 데이터를 복호기로 출력함과 아울러 이 출력될 데이터량이 많은 경우에는 양자화스텝 사이즈(QP)레벨값을 상승시킨 다음 양자화부(108)로 제공하게 된다.
이에 따라 양자화부(108)는 인가되는 양자화스텝 사이즈(QP)레벨에 의해서 DCT된 계수를 양자화하게 된다.
그러나, 프레임간 움직임 변화가 심한 경우에는 많은 데이터가 출력버퍼(124)에 일시적으로 제공되므로, 이 출력버퍼(124)는 기존의 양자화스텝사이즈(QP)레벨보다 증가된 양자화스텝 사이즈(QP)레벨로서 양자화부(108)를 단속하게 된다.
따라서, 기존의 양자화스텝 사이즈(QP)레벨보다 증가된 양자화스텝 사이즈(QP) 레벨로서 양자화를 실시할 경우에는 프레임내의 화질 변화가 심하게 되며, 또한 프레임의 신호대 잡음비(SNR)도 주어진 채널용량에 대해 적합하지 못한 단점이 발생되었다.
따라서, 본 발명은 상기의 단점을 해결하기 위하여 안출한 것으로, 본 발명의 목적은 양자화스텝 사이즈(QP) 레벨 대신 기설정된 왜곡값과 프레임간의 왜곡값을 근거로 하여 적응적으로 부호화하는 영상기기의 부호화장치를 제공하는데 있다.
상기의 목적을 달성하기 위한 본 발명에 따르면, 이전프레임과 현재프레임간에 의해서 예측된 프레임과 현재 입력되는 프레임간의 차분신호를 근거로 하여 부호화하는 영상기기의 부호화장치에 있어서; 상기 현재 프레임과 예측된 프레임간의 차분신호에 대한 왜곡값과 기설정된 왜곡값의 비교에 의거하여 어느 한 부호화 방식을 선택하는 스위칭 제어신호를 제공하는 왜곡신호 처리수단과; 상기 왜곡신호 처리수단의 비교 결과 상기 프레임간 차분신호에 대한 왜곡값이 기설정된 왜곡값보다 작은 경우에 의거하여 부호화하는 제1부호화 수단과; 상기 왜곡신호 처리수단의 비교 결과 상기 프레임간 차분신호에 대한 왜곡값이 기설정된 왜곡값보다 같거나 큰 경우에 의거하여 부호화하는 제2부호화 수단과; 상기 제1,2부호화수단에 의해서 부호화된 데이터를 가변길이 부호화하는 VLC으로 이루어짐을 특징으로 한다.
이하, 예시된 도면을 참조하여 본 발명의 실시예를 들어 상세히 설명한다.
제2도는 본 발명에 따른 영상기기의 부호화 장치를 도시한 블록구성도이다.
제2도를 참조하면, 본 발명의 영상기기의 부호화장치는 왜곡신호 처리수단, 제1부호화 수단, 제2부호화 수단 및 VLC를 포함한다.
왜곡신호 처리수단은 왜곡신호 비교부(220)와, 제1,2스위칭부(240)(260)로 구성된다.
왜곡신호 비교부(220)는 현재프레임과 예측된 프레임간의 왜곡값과 기설정된 왜곡값(Th)에 의거하여 어느 한 부호화를 선택하기 위한 스위칭 제어신호를 제공하는 왜곡신호 비교부(220)와, 상기 왜곡신호 비교부(220)의 선택제어신호에 의거하여 제1,2부호화 방식중에서 어느 한 부호화 방식을 선택하기 위한 제1,2스위칭부(240)(260)로 구성된다.
제1부호화 수단은 프레임 형성부(300)와, DCT(310), 양자화부(320), 역양자화부(330), 역DCT(340), 가산기(350), 프레임 메모리(360), 움직임 예측부(370), 움직임 보상부(380) 및 감산기(390)로 구성된다.
DCT(310)는 제1스위칭부(240)를 통해 출력되어 입력되는 프레임(현프레임과 예측된 프레임)간의 차분값을 코사인 함수를 이용하여 DCT계수로 변환하여 양자화부(320)로 제공되도록 구성된다.
양자화부(320)는 DCT(310)에 의해 DCT된 계수가 양자화되어 역양자화부(330) 및 VLC(500)로 제공되도록 구성된다.
역양자화부(330)는 양자화부(320)에 의해 양자화된 데이터를 역양자화하여 역DCT(340)로 제공되도록 구성된다.
역DCT(340)는 역양자화부(330)에 의해 역양자화된 데이터를 역DCT된 다음 가산기(350)로 제공되도록 구성된다.
가산기(350)는 역DCT(340)로부터 역DCT된 프레임과 움직임 보상된 움직임 변위를 합쳐서 이전프레임으로 프레임 메모리(360)와 제2부호화수단의 감산기(420)로 제공되도록 구성된다.
프레임 메모리(360)는 가산기(350)로부터 제공되는 이전 프레임이 저장되어 있으며, 움직임 보상을 위하여 상기 프레임 메모리(360)로부터 복원되는 프레임을 움직임 예측부(370)와 움직임 보상부(380)로 제공되도록 구성된다.
움직임 예측부(370)는 입력되는 현재 프레임과 프레임 메모리(360)의 이전프레임에 의거하여 움직임을 예측한 다음 이 예측된 데이터를 움직임 보상부(380)로 제공되도록 구성된다.
움직임 보상부(380)는 움직임 예측부(370)로부터 예측된 데이터와 프레임 메모리(360)의 이전프레임을 근거로 하여 움직임을 보상하고 이 보상된 움직임 변위 즉 2차원 벡터를 가산기(350) 및 감산기(390)로 제공되도록 구성된다.
감산기(390)는 입력되는 현재프레임과 움직임 보상부(380)에 의해 예측된 프레임간의 차분신호를 DCT(310)로 제공되도록 구성된다.
제2부호화 수단은 감산기(420)와, 양자화부(440)등으로 구성된다.
감산기(420)는 입력되는 현재 프레임과 가산기(350)에 의해서 합쳐진 프레임간의 차분신호를 구함과 아울러 이 차분신호를 제2스위칭부(260)를 통해 양자화부(440)로 제공되도록 구성된다.
양자화부(440)는 상기 차분신호에 대한 양자화를 실시하고, 이 양자화된 데이터를 VLC(500)로 제공되도록 구성된다.
VLC(500)는 런값과 레벨값에 대응되는 코드 데이터를 가지는 룩업 테이블을 구비하며, 상기 양자화기(320)(440)중에서 제공되는 런값과 레벨값을 근거로 하여 가변길이 부호화된 코드 데이터를 복호기로 제공되도록 구성된다.
이와 같이 구성된 본 발명을 상세히 설명하면 다음과 같다.
우선, 제1부호화수단에 의해서 부호화된 프레임은 프레임 메모리(360)로 저장된다. 프레임 메모리(360)에서는 저장되어 있던 이전 프레임을 복원하고, 이 복원된 프레임과 입력되는 현재 프레임을 움직임 예측부(370)에 의해서 움직임을 예측하고, 이 예측된 데이터를 움직임 보상부(380)로 제공하게 된다.
움직임 보상부(380)에서는 움직임 예측부(370)로부터 예측된 프레임과 프레임 메모리(360)의 이전프레임을 근거로 하여 움직임을 보상한 결과 데이터를 가산기(350) 및 감산기(390)로 제공하게 된다.
감산기(390)에서는 현재 입력되는 프레임과 움직임이 예측된 프레임간의 차분값을 구한 다음 왜곡신호 비교부(220)로부터 제공되는 스위칭 제어신호를 따라 상기 차분신호를 선택적으로 DCT(310)로 제공하게 된다.
또한, 왜곡신호 비교부(220)에서는 프레임 형성부(300)로부터 제공되는 현재 프레임과 예측된 프레임간의 왜곡값을 구한 다음 기설정된 왜곡값(Th)과 비교하게 된다.
예컨데, 왜곡신호 비교부(220)의 비교 결과, 상기 프레임간 차분신호에 대한 왜곡값이 기설정된 왜곡값보다 작으면, 왜곡신호 비교부(220)에서는 소정의 스위칭 제어신호를 제1,2스위칭부(240)(260)로 제공하게 된다.
따라서, 제1,2스위칭부(240)(260)의 스위치는 고정접점(a)로 절환되므로, 상기 프레임간의 차분신호는 DCT(310)와 양자화부(320)에 의해서 DCT 및 양자화된 다음 역양자화부(330) 및 VLC(500)로 제공된다.
그리고, 역양자화부(330)에서는 양자화부(320)에 의해 양자화된 데이터를 역양자화하여 역DCT(340)로 제공되며, 역DCT(340)에서는 이 역양자화된 데이터를 역DCT를 하여 가산기(350)로 제공된다.
가산기(350)에서는 이전프레임으로부터 움직임이 보상된 움직임 변위와 상기 역DCT된 데이터를 프레임 메모리(360) 및 감산기(420)로 제공하게 된다.
이때, 제2스위칭부(260)의 스위치는 고정접점(a)에 절환되어 있으므로 제2부호화수단에 의해 동작되지 않게 된다. 따라서, VLC(500)는 양자화부(320)로부터 제공되는 양자화된 계수를 가변길이 부호화함과 아울러 이 데이터를 복호기로 출력하게 된다.
이와 반대로, 왜곡신호 비교부(220)의 비교 결과, 상기 프레임간 차분신호에 대한 왜곡값이 기설정된 왜곡값보다 크거나 같으면, 왜곡신호 비교부(220)에서는 이에 대응되는 스위칭 제어신호를 제1,2스위칭부(240)(260)로 제공하게 된다.
즉, 제1스위칭부(240)의 스위치가 고정접점(a)으로 절환된 상태이므로, 상기 예측된 프레임간의 차분신호는 DCT(310)와 양자화부(320)에 의해서 DCT 및 양자화된 다음 역양자화부(330) 및 VLC(500)로 제공된다.
이와 동시에 제1스위칭부(240)의 스위치는 고정접점(b)으로 절환됨과 동시에 다음번째 입력되는 프레임 데이터는 DCT(310)로 제공되지 못하고 이전에 부호화된 영상 프레임이 제2부호화수단의 감산기(420)로 제공된다. 이때, 제2스위칭부(260)의 스위치는 고정접점(a)에서 고정접점(b)로 절환된다.
감산기(420)에서는 현재 입력되는 현재프레임과 상기 가산기(350)로부터 제공되는 프레임간에 차분값을 구한 다음 제2스위칭부(260)를 통해 양자화부(440)로 제공하게 된다.
여기서, 양자화부(440)에서는 현재프레임과 복원된 프레임간의 차분값만을 양자화를 실시한 다음 VLC(500)로 제공하게 된다.
예컨대, VLC(500)에서는 제2부호화수단에 의해 부호화된 데이터 즉, 현재프레임과 복원된 프레임간의 차분신호에 대해서만 양자화를 실시하고 이 양자화된 데이터를 가변길이 부호화하여 복호기로 출력하게 된다.
이상에서 설명한 바와 같이 본 발명은 전송채널 용량을 효율적으로 이용하면서도 프레임간 신호대 잡음비를 증가시킬 수 있는 효과가 있다.

Claims (4)

  1. 이전프레임과 현재프레임간에 의해서 예측된 프레임과 현재 입력되는 프레임간의 차분신호를 근거로 하여 부호화하는 영상기기의 부호화장치에 있어서; 상기 현재 프레임과 예측된 프레임간의 차분신호에 대한 왜곡값과 기설정된 왜곡값의 비교에 의거하여 어느 한 부호화 방식을 선택하는 스위칭 제어신호를 제공하는 왜곡신호 처리수단과; 상기 왜곡신호 처리수단의 비교 결과 상기 프레임간 차분신호에 대한 왜곡값이 기설정된 왜곡값보다 작은 경우에 의거하여 부호화하는 제1부호화 수단과; 상기 왜곡신호 처리수단의 비교 결과 상기 프레임간 차분신호에 대한 왜곡값이 기설정된 왜곡값보다 같거나 큰 경우에 의거하여 부호화하는 제2부호화 수단과; 상기 제1,2부호화수단에 의해서 부호화된 데이터를 가변길이 부호화하는 VLC으로 이루어짐을 특징으로 하는 영상기기의 부호화장치.
  2. 제1항에 있어서, 상기 왜곡신호 처리수단은, 현재프레임과 예측된 프레임간의 왜곡값과 기설정된 왜곡값(Th)에 의거하여 어느 한 부호화를 선택하기 위한 스위칭 제어신호를 제공하는 왜곡신호 비교부(220)와; 상기 왜곡신호 비교부(220)의 선택제어신호에 의거하여 제1,2부호화 방식중에서 어느 한 부호화 방식을 선택하기 위한 제1,2스위칭부(240)(260)로 이루어짐을 특징으로 하는 영상기기의 부호화장치.
  3. 제2항에 있어서, 상기 왜곡신호 비교부(220)의 비교 결과, 상기 프레임간 차분 신호에 대한 왜곡값이 기설정된 왜곡값보다 작으면, 상기 제1,2스위칭부(240)(260)의 스위치가 각각 고정접점(a)로 절환되어 상기 입력되는 영상 프레임이 제1부호화 수단에 의해 부호화됨을 특징으로 하는 영상기기의 부호화장치.
  4. 제2항에 있어서, 상기 왜곡신호 비교부(220)의 비교 결과, 상기 프레임간 차분신호에 대한 왜곡값이 기설정된 왜곡값보다 같거나 크면, 상기 제1,2스위칭부(240)(260)의 스위치가 각각 고정접점(b)로 절환되어 상기 입력되는 영상 프레임이 제2부호화 수단에 의해 부호화됨을 특징으로 하는 영상기기의 부호화장치.
KR1019950023362A 1995-07-31 1995-07-31 영상기기의 부호화장치 KR0178225B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019950023362A KR0178225B1 (ko) 1995-07-31 1995-07-31 영상기기의 부호화장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950023362A KR0178225B1 (ko) 1995-07-31 1995-07-31 영상기기의 부호화장치

Publications (2)

Publication Number Publication Date
KR970009389A KR970009389A (ko) 1997-02-24
KR0178225B1 true KR0178225B1 (ko) 1999-05-01

Family

ID=19422358

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950023362A KR0178225B1 (ko) 1995-07-31 1995-07-31 영상기기의 부호화장치

Country Status (1)

Country Link
KR (1) KR0178225B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100255761B1 (ko) * 1997-12-16 2000-05-01 전주범 영상부호화시스템의부호화모드절환제어장치

Also Published As

Publication number Publication date
KR970009389A (ko) 1997-02-24

Similar Documents

Publication Publication Date Title
KR960010196B1 (ko) 인간의 시각특성을 이용한 디씨(dc) 변환계수 양자화기
KR0155784B1 (ko) 영상데이타의 적응형 가변장 부호화/복호화방법
KR970009408B1 (ko) 인터/인트라 테이블 선택 회로
KR970005831B1 (ko) 적응적 프레임/필드 변환 부호화를 이용한 영상 부호화기
US20050002458A1 (en) Spatial scalable compression
JP2006054902A (ja) 画像符号化方法
KR20050105222A (ko) 비디오 부호화
US5432555A (en) Image signal encoding apparatus using adaptive 1D/2D DCT compression technique
KR0178195B1 (ko) 벡터 양자화 방식을 이용한 영상 신호 부호화 장치
KR19980017213A (ko) 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템
KR0128859B1 (ko) 적응적인 영상부호화 제어장치
KR0178225B1 (ko) 영상기기의 부호화장치
KR970004924B1 (ko) 계층적 부호화를 이용한 개선된 상위계층의 움직임 벡터 전송 장치 및 방법
KR970003100B1 (ko) 적응적으로 강제 인트라 모드를 선택하는 동영상 부호화 방법
KR0181067B1 (ko) 호환성을 갖는 동영상 부호화기
KR100213283B1 (ko) 동영상 부호화기
KR0134505B1 (ko) 적응적 움직임 검출기능을 가진 영상 부호화기
KR100317355B1 (ko) 동화상비디오부호화장치
KR0124157B1 (ko) 영상 부호화 장치
KR0178226B1 (ko) 영상 부호기의 왜곡값 보정방법
KR0130167B1 (ko) 동영상 압축 부호화 장치
KR100196827B1 (ko) 영상부호기의 움직임 벡터 압축방법
KR0124162B1 (ko) 예측 부호화 방법
KR100774455B1 (ko) 실시간 비디오 전송 응용을 위한 비트율 조절장치
JP4140163B2 (ja) 符号化方式変換装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111101

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20121101

Year of fee payment: 15

LAPS Lapse due to unpaid annual fee