KR100196828B1 - 영상부호기의 움직임 벡터 선택방법 - Google Patents

영상부호기의 움직임 벡터 선택방법 Download PDF

Info

Publication number
KR100196828B1
KR100196828B1 KR1019950060946A KR19950060946A KR100196828B1 KR 100196828 B1 KR100196828 B1 KR 100196828B1 KR 1019950060946 A KR1019950060946 A KR 1019950060946A KR 19950060946 A KR19950060946 A KR 19950060946A KR 100196828 B1 KR100196828 B1 KR 100196828B1
Authority
KR
South Korea
Prior art keywords
motion vector
block
difference
motion
current
Prior art date
Application number
KR1019950060946A
Other languages
English (en)
Other versions
KR970057962A (ko
Inventor
박충수
Original Assignee
전주범
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전주범, 대우전자주식회사 filed Critical 전주범
Priority to KR1019950060946A priority Critical patent/KR100196828B1/ko
Publication of KR970057962A publication Critical patent/KR970057962A/ko
Application granted granted Critical
Publication of KR100196828B1 publication Critical patent/KR100196828B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상프레임간의 상관관계를 이용하여 블럭매칭 알고리즘의 성능을 향상시킬 수 있는 영상부호기의 움직임 벡터 선택방법에 관한 것으로, 이를 해결하기 위하여 현재 프레임에 대한 세그멘테이션된 정부를 제공하는 제1단계, 현재 프레임의 현재블럭(Bc)과 인접블럭의 움직임 벡터를 추정하며, 상기 제1단계의 정보를 근거로 하여 현재 블럭(Bc)과 인접블럭 중 동일 영역에 속하는 인접블럭의 움직임 벡터와 현재블럭(Bc)의 움직임 벡터간의 차분을 구하는 제2단계, 상기 차분이 기설정된 임계값보다 크면, 예측오차가 그 다음으로 큰 인접블럭의 움직임 벡터와 현재블럭(Bc)의 움직임 벡터간의 차분을 구하고, 이로부터 구한 차분이 기설정된 임계값보다 작아질 때 까지 상기 움직임 예측을 반복하는 제3단계, 상기 차분이 기설정된 임계값보다 작은 것으로 판정되면, 이 블럭의 움직임 벡터를 현재블럭의 움직임 벡터로서 선택하는 제4단계를 구비함으로써 동일영역에 속하는 블럭은 어느정도 일관성 존재하는 움직임 벡터를 가지게 되며, 그 영향으로 움직임 벡터의 정보량을 감소시킬 수 있을 뿐만 아니라 블럭킹현상을 완화시킬 수 있는 효과가 있다.

Description

영상부호기의 움직임벡터 선택방법
제1도는 일반적인 영상부호기를 개략적으로 도시한 구성도.
제2도는 제1도의 프레임간의 움직임변위정보 추정방법을 설명하기 위하여 도시된 도면.
제3도 내지 제4도는 본 발명의 움직임변위정도 탐색방법을 설명하기 위한 도면.
* 도면의 주요부분에 대한 부호의 설명
110 : 감산기 112 : DCT
114 : 양자화기 116 : VLC
118 : 역양자화기 120 : 역DCT
122 : 가산기 124,320 : 프레임 메모리
126 : 움직임 예측부 128 : 움직임 보상부
130 : 버퍼 340 : 세크멘테이션 처리부
360 : 움직임벡터 선택제어부
본 발명은 영상 부호기에 관한 것으로, 특히 영상 프레임간의 상관관계를 이용하여 블럭매칭 알고리즘의 성능을 향상시킬 수 있도록 된 영상 부호기의 움직임 벡터 선택방법에 관한 것이다.
일련의 영상 프레임(frame)으로 구성된 영상신호가 디지털 형태로 표현될 경우, 상당한 양의 데이터가 전송되어야 한다.
그러나 종래의 전송 채널이 사용가능한 주파수 영역은 제한되어 있으므로, 많은 양의 디지털 데이터를 전송하기 위해서는 전송되는 데이터를 압축하여 그 양을 줄일 필요가 있다.
그래서 도입된 다양한 압축 기법 중에서, 확률적 부호화 기법과 시, 공간적 압축기법을 혼합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.
대부분의 하이브리드 부호화 기법은 움직임 보상 DCPM(차분펄스 부호변조), 2차원 DCT(이산 코사인 변환), DCT계수의 양자화, 엔트로피 부호화기 등을 이용된다.
움직임 보상 DPCM은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라서 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법이다.
즉, 움직임 보상 DPCM은 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라서 현재 프레임을 이전 프레임으로부터 예측함을 의미하며, 상기 예측된 움직임 변위는 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터로 나타낼 수 있다.
블럭단위 움직임 추정기법은 현재 프레임의 화면블럭을 이전 프레임의 화면블럭들과 비교하여 결정된 최적의 정합블럭 움직임 정보를 영상복호기로 제공하면, 영상복호기에서는 영상부호기로부터 전송된 움직임 변위정보를 기초로 하여 원래의 영상으로 복원하게 된다.
제1도는 일반적인 영상부호기를 개략적으로 도시한 블럭 구성도로서, 제1도에 도시된 바와 같이, 감산기(110)와, DCT(112), 양자화기(114), VLC(116), 역양자화기(118), 역DCT(120), 가산기(122), 프레임 메모리(124), 움직임 예측부(126), 움직임 보상부(128) 및 버퍼(130)로 구성되어 있다.
이와 같이 구성된 영상 부호화기에서는, 감산기(110)로 입력되는 현재 프레임과 예측된 프레임간의 차분신호를 구한 후 DCT(112)에 의해서 DCT 계수로 변환 후 양자화기(114)로 제공된다. 양자화기(114)에서는 DCT(112)로부터 제공되는 DCT 계수를 양자화하고, 이 양자화된 계수를 VLC(116)에 의해서 가변길이 부호화한 후 버퍼(130)를 거쳐 영상 복호기로 전송한다. 이어서, 양자화기(114)에 의해서 양자화된 계수를 역양자화기(118)에 의해서 역양자화한 후 역DCT(120)로 제공되면, 역DCT(120)에서는 상기 역양자화한 데이터와 상기 예측된 프레임간의 차분신호를 가산기(122)에 의해서 가산 후 프레임 메모리(124)로 제공된다.
프레임 메모리(124)에서는 가산기(122)로부터 제공되는 프레임을 이전 프레이으로 저장하며, 이로부터 저장되어 있던 이전 프레임은 복원되어 움직임 예측부(126)와 움직임 보상부(128)로 제공된다.
움직임 예측부(126)에서는 현재 입력되는 프레임과 프레임 메모리(124)의 이전 프레임간의 움직임 변위정보를 움직임 보상부(128)로 제공하게 된다. 움직임 보상부(128)에서는 움직임 예측부(126)의 움직임 변위정보와 프레임 메모리(124)의 이전 프레임을 근거로 하여 현재 프레임을 보상하여 이루어진 예측 프레임을 가산기(122) 및 감산기(110)로 제공됨으로써 다음번째 영상 프레임에 대한 부호화를 행할 수 있게 된다.
따라서, 영상 복호기에서는 이미 프레임 메모리(미도시 됨)에 저장되어 있던 프레임과 이후에 입력되는 움직임 변위정보(벡터)를 기초로 하여 영상신호를 복원하게 된다.
제2도는 제1도의 프레임간의 움직임 변위정보 추정방법을 설명하기 위한 것으로, 현재 프레임(t)내의 현재블럭(30)에 대한 움직임 변위정보(벡터)를 예측하기 위하여 프레임 메모리(124)의 이전 프레임(t-1)내에 탐색영역(32)을 설정한다.
그리고, 이전 프레임(t-1)의 탐색영역(32)내에서 현재블럭(30)을 최상측의 좌측에서 우측으로, 상단에서 하단으로 한 화소단위씩 이동하면서 현재블럭(30)과 최적으로 일치하는 최적의 정합블럭을 이전 프레임(t-1)의 탐색영역(32)로부터 탐색하게 된다.
상기 이전 프레임(t-1)로부터 탐색블럭의 위치가 결정되면, 이는 현재블럭(30)이 이동정보를 예측할 수 있게 되는 것이다.
상술된 바와 같이 디지털 영상 부호화에서 인접 프레임(현재, 이전)간의 상관 관계를 이용하기 블럭매칭 알고리즘(Bock Matching Algorithm)이 보편적으로 사용되고 있다.
상기 블럭매칭 알고리즘를 사용할 경우에는 일정한 크기의 탐색영역을정해 놓고, 그 탐색영역내에서 현재블럭과 가장 유사한 형태의 블럭을 찾아냄으로써 예측오차를 최소화시키고자 한다.
그런데, 제2도에 도시된 바와같이 전역탐색(full search)기법을 이용하여 움직임 벡터를 추정하면 탐색영역내에서 예측오차가 가장 적은 움직임 벡터를 찾아낼 수 있으나, 이 움직임 벡터는 물체의 실제 움직임과는 다를 수 있다. 그 결과 같은 물체가 포함되어 있는 인접한 블럭간에도 서로 다른 움직임 벡터를 가질 수 있다.
따라서, 디코딩된 영상에서 블럭킹 인조잡음(blocking artifact)가 나타나게 되며, 그 영향은 압축률이 커질수록 심해진다.
따라서, 본 발명은 상기의 단점들을 해결하기 위하여 안출한 것으로, 본 발명의 목적은 인접블럭간의 상관관계를 이용하여 영상의 블럭킹 인조잡음을 감소시킬 수 있는 영상부호기의 움직임벡터 선택방법을 제공하는데 있다.
상기의 목적을 달성하기 위한 본 발명에 따르면, 블럭매칭 알고리즘을 이용하여 현재 프레임과 이전 프레임간의 움직임 벡터를 예측하는 방법에 있어서, 입력되는 현재 프레임에 대한 세그멘테이션을 행하며, 이로부터 어떤 물체가 어떤 영역에 존재하는지를 구분하여 이에 대한 정보를 제공하는 제1단계와; 상기 현재 프레임의 현재블럭(Bc)과, 인접블럭(B1, B2, B3, B4)의 움직임 벡터를 추정하며, 상기 제1단계의 정보를 근거로 하여 현재블럭(Bc)과 인접블럭(B1, B2, B3, B4)중 동일 영역에 속하는 인접블럭의 움직임 벡터와 현재블럭(Bc)의 움직임 벡터간의 차분을 구하는 제2단계; 상기 비교 결과에 의한 차분이 기설정된 임계값보다 크면, 예측오차가 그 다음으로 큰 인접블럭의 움직임 벡터와 현재블럭(Bc)의 움직임 벡터간의 차분을 구하고, 이로부터 구한 차분이 기설정된 임계값보다 작아질 때 까지 상기 움직임 예측을 반복하는 제3단계; 상기 제3단계에 의해서 현재블럭(Bc)의 움직임 벡터와 인접블럭의 움직임 벡터간의 차분이 기설정된 임계값보다 작은 것으로 판정되면, 이 블럭의 움직임 벡터를 현재블럭의 움직임 벡터로서 선택하는 제4단계로 이루어짐을 특징으로 한다.
이하, 예시된 도면을 참조하여 본 발명을 상세히 설명한다.
제3도는 본 발명에 따른 영상부호기 움직임 벡터 선택방법을 적용한 블럭 구성도이다.
제3도를 참조하면, 입력되는 현재 프레임에 대한 세그멘테이션을 행하며, 이로부터 어떤 물체가 어떤 영역에 존재하는지를 구분하여 이에 대한 정보를 제공하는 제1단계, 상기 현재 프레임의 현재블럭(Bc)과 인접블럭(B1, B2, B3, B4))의 움직임 벡터를 추정하며, 상기 제1단계의 정보를 근거로 하여 현재블럭(Bc)과 인접블럭(B1, B2, B3, B4) 중 동일 영역에 속하는 인접블럭의 움직임 벡터와 현재블럭(Bc)의 움직임 벡터간의 차분을 구하는 제2단계, 상기 비교 결과에 의한 차분이 기설정된 임계값보다 크면, 예측오차가 그 다음으로 큰 인접블럭의 움직임 벡터와 현재블럭(Bc)의 움직임 벡터간의 차분을 구하고, 이로부터 구한 차분이 기설정된 임계값보다 작아 질 때까지 상기 움직임 예측을 반복하는 제3단계, 상기 제3단계에 의해서 현재블럭(Bc)의 움직임 벡터와 인접블럭의 움직임 벡터간의 차분이 기설정된 임계값보다 작은 것으로 판정되면, 이 블럭의 움직임 벡터를 현재블럭의 움직임 벡터로서 선택하는 제4단계로 이루어진다.
또한, 상기 인접블럭은 상기 현재블럭(Bc)위치에 인접된 좌측블럭(제4도의 B4)과, 상기 현재블럭(Bc) 위치에 인접된 상측블럭(제4도의 B2) 및 이 상측블럭(제4도의 B2)의 좌,우측블럭(제4도의 B1,B3)으로 한정한다.
상기와 같이 이루어진 본 발명의 동작을 실시예를 들어 상세히 설명한다.
우선, 입력되는 현재 프레임이 세그멘테이션 처리부(340)로 제공되면, 세그멘테이션 처리부(340)에서는 현재 프레임내에 어떤 물체가 어떤 영역에 존재하는 지를 구분하여 이에 대한 정보 등을 분석하여 움직임벡터 선택제어부(360)로 제공하게 된다.
이와 함께, 프레임 메모리(320)에 저장되어 있던 이전 프레임을 복원하여 움직임벡터 선택제어부(360)로 제공하게 된다. 움직임벡터 선택제어부(360)에서는 세그멘테이션 처리부(340)로부터 제공되는 현재 프레임과 이에 따른 영역정보와 프레임 메모리(320)로부터 복원되는 이전 프레임을 근거로 하여 현재 프레임의현재블럭(Bc)과 인접블럭(B1, B2, B3, B4)의 움직임 벡터를 추정하게 된다.
즉, 세그멘테이션 처리부(340)의 영역정보를 근거로 하여 현재블럭(Bc)과 인접블럭(B1, B2, B3, B4) 중 동일 영역에 속하는 인접블럭의 움직임 벡터와 현재블럭(Bc)의 움직임 벡터간의 차분을 구하게 된다.
상기 현재블럭(Bc)의 움직임 벡터와 인접블럭(예:B2)의 움직임 벡터간의 차분(예:Bc-B2)은 기설정된 임계값보다 크면, 예측오차가 그 다음으로 큰 인접블럭의 움직임 벡터와 현재블럭(Bc)의 움직임 벡터간의 차분을 다시 구한다.
이로부터 구한 차분이 기설정된 임계값보다 작아 질 때까지 상기 움직임 예측을 반복하게 된다.
상기 현재블럭(Bc)의 움직임 벡터와 인접블럭의 움직임 벡터간의 차분이 기설정된 임계값보다 작은 것으로 판정되면, 이 블럭의 움직임 벡터를 현재블럭의 움직임 벡터로 선택함과 더불어 현재블럭의 움직임 벡터와 예측오차를 VLC(제1도 참조)에 의해 가변길이 부호화된 다음 버퍼를 통해 출력되는 것이다.
이상에서 설명한 바와 같이 본 발명은 동일영역에 속하는 블럭은 어느정도 일관성 있는 움직임 벡터를 가지게 되며, 그 영향으로 움직임 벡터의 정보량을 감소시킬 수 있을 뿐만 아니라 블럭킹 현상을 완화시킬 수 있는 효과가 있다.

Claims (1)

  1. 블럭매칭 알고리즘을 이용하여 현재 프레임과 이전 프레임간의 움직임 벡터를 예측하는 방법에 있어서, 입력되는 현재 프레임에 대한 세그멘테이션을 행하며, 이로부터 어떤 물체가 어떤 영역에 존재하는지를 구분하여 이에 대한 정보를 제공하는 제1단계와; 상기 현재 프레임의 현재블럭(Bc)과 인접블럭(B1,B2,B3,B4)의 움직임 벡터를 추정하며, 상기 제1단계의 정보를 근거로 하여 현재블럭(Bc)과 인접블럭(B1,B2,B3,B4)중 동일 영역에 속하는 인접블럭의 움직임 벡터와 현재블럭(Bc)의 움직임 벡터간의 차분을 구하는 제2단계; 상기 비교 결과에 의한 차분이 기설정된 임계값보다 크면, 예측오차가 그 다음으로 큰 인접블럭의 움직임 벡터와 현재블럭(Bc)의 움직임 벡터간의 차분을 구하고, 이로부터 구한 차분이 기설정된 임계값보다 작아질때까지 상기 움직임 예측을 반복하는 제3단계; 상기 제3단계에 의해서 현재블럭(Bc)의 움직임 벡터와 인접블럭의 움직임 벡터간의 차분이 기설정된 임계값보다 작은 것으로 판정되면, 이 블럭의 움직임 벡터를 현재블럭의 움직임 벡터로서 선택하는 제4단계로 이루어짐을 특징으로 하는 영상부호기의 움직임벡터 선택방법.
KR1019950060946A 1995-12-28 1995-12-28 영상부호기의 움직임 벡터 선택방법 KR100196828B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019950060946A KR100196828B1 (ko) 1995-12-28 1995-12-28 영상부호기의 움직임 벡터 선택방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950060946A KR100196828B1 (ko) 1995-12-28 1995-12-28 영상부호기의 움직임 벡터 선택방법

Publications (2)

Publication Number Publication Date
KR970057962A KR970057962A (ko) 1997-07-31
KR100196828B1 true KR100196828B1 (ko) 1999-06-15

Family

ID=19445689

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950060946A KR100196828B1 (ko) 1995-12-28 1995-12-28 영상부호기의 움직임 벡터 선택방법

Country Status (1)

Country Link
KR (1) KR100196828B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040034188A (ko) * 2002-10-21 2004-04-28 엘지전자 주식회사 동영상 디코딩 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040034188A (ko) * 2002-10-21 2004-04-28 엘지전자 주식회사 동영상 디코딩 방법

Also Published As

Publication number Publication date
KR970057962A (ko) 1997-07-31

Similar Documents

Publication Publication Date Title
US11089311B2 (en) Parameterization for fading compensation
US10230962B2 (en) Image coding method and apparatus using spatial predictive coding of chrominance and image decoding method and apparatus
US5886743A (en) Object-by information coding apparatus and method thereof for MPEG-4 picture instrument
KR100750136B1 (ko) 영상의 부호화, 복호화 방법 및 장치
EP1059812B1 (en) Methods and apparatus for context-based inter/intra coding mode selection
KR950005620B1 (ko) 적응 dct/dpcm부호기에 의한 영상신호부호화방법 및 복호화방법
EP1404136B1 (en) Image encoder, image decoder, image encoding method, and image decoding method
KR100619377B1 (ko) 움직임 추정 방법 및 장치
EP1359770B1 (en) Signaling for fading compensation in video encoding
KR100560843B1 (ko) 비디오 부호기에서 적응 움직임 벡터의 탐색 영역을결정하는 방법 및 장치
KR100961760B1 (ko) 이산코사인변환 계수를 참조하는 움직임 추정 방법 및 장치
CA2646538C (en) Two-pass video coding using a measure of predictive power of reference regions
KR100727988B1 (ko) 변환 영역에서의 ｄｃ 계수 예측 방법 및 장치
KR0159370B1 (ko) 물체의 경계를 고려한 영상 부호화방법 및 장치
KR100196828B1 (ko) 영상부호기의 움직임 벡터 선택방법
KR100196827B1 (ko) 영상부호기의 움직임 벡터 압축방법
KR100196839B1 (ko) 영상부호기의 고속 탐색방법
KR100196873B1 (ko) 영상부호기의 움직임변위정보 탐색방법
KR100207397B1 (ko) 영상 부호화 시스템의 움직임 예측장치 및 방법
KR100207396B1 (ko) 영상부호기의 에러 보정방법
KR100335606B1 (ko) 반복적움직임예측/보상을이용한영상부호화기및/또는복호화기
KR0129579B1 (ko) 전처리 필터를 이용한 영상 부호화기
KR0124162B1 (ko) 예측 부호화 방법
KR0153984B1 (ko) 분류 벡터양자화를 이용한 영상 압축방법 및 장치
KR100238891B1 (ko) 개선된 움직임 추정 장치 및 그 추정 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110201

Year of fee payment: 13

LAPS Lapse due to unpaid annual fee