KR0169656B1 - 동영상 부호화기 - Google Patents

동영상 부호화기 Download PDF

Info

Publication number
KR0169656B1
KR0169656B1 KR1019940034884A KR19940034884A KR0169656B1 KR 0169656 B1 KR0169656 B1 KR 0169656B1 KR 1019940034884 A KR1019940034884 A KR 1019940034884A KR 19940034884 A KR19940034884 A KR 19940034884A KR 0169656 B1 KR0169656 B1 KR 0169656B1
Authority
KR
South Korea
Prior art keywords
image
discrete cosine
motion
motion vector
quantizer
Prior art date
Application number
KR1019940034884A
Other languages
English (en)
Other versions
KR960028448A (ko
Inventor
이상일
Original Assignee
배순훈
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배순훈, 대우전자주식회사 filed Critical 배순훈
Priority to KR1019940034884A priority Critical patent/KR0169656B1/ko
Publication of KR960028448A publication Critical patent/KR960028448A/ko
Application granted granted Critical
Publication of KR0169656B1 publication Critical patent/KR0169656B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • H04N19/433Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 의한 동영상 부호화기에서는 부호화과정 중 움직임 추정후 생성되는 움직임벡터를 중심블럭, 인접한 좌,우,상,하,4개의 매크로블럭과 모서리 부분의 4개 매크로블럭으로 이루어진 움직임벡터 이동범위를 설정하는 글로벌블럭과, 그 크기가 16× 16이고, 4개의 8×8 블럭으로 나누어져 1,2,3,4로 구분하여 움직임벡터의 이동범위를 설정하는 로컬블럭으로 나누어서 기입해 놓은 룩업테이블로 작성하여 부호화함으로써 부호화에 의한 비트 발생량을 효율적으로 줄일 수 있으며, 또한 움직임벡터의 위치를 정확하게 알 수 있으므로 복원화질을 높일 수 있는 이점이 있다.

Description

동영상 부호화기
제1도는 일반적인 동영상 부호화기의 구성을 나타낸 블럭도.
제2도는 본 발명에 의한 동영상 부호화기의 구성을 나타낸 블럭도.
제3도는 매크로블럭의 움직임 이동범위를 나타낸 도면.
제4도는 로컬블럭을 설명하기 위한 도면.
제5도는 움직임벡터의 이동예를 나타낸 도면이다.
* 도면의 주요부분에 대한 부호의 설명
30 : 감산기 32 : 이산여현변환부
34 : 양자화기 36 : 가변장부호화기
38 : 역양자화기 40 : 역이산여현변환부
42 : 가산기 44 : 프레임 메모리
46 : 움직임 추정부 48 : 룩업테이블
50 : 움직임 보상부
본 발명은 동영상 부호화기에 관한 것으로서, 특히 부호화과정 중 움직임 추정 후 생성되는 움직임벡터를 룩업테이블(look-up table)로 구성하여 부호화하기 위한 동영상 부호화기에 관한 것이다.
정보는 가장 중요한 자원중의 하나이며 현대를 일컬어 정보화사회라 하는 바, 받아들이고 처리해야 하는 정보의 양이 나날이 늘어나는 추세에서 기존의 전송대역을 효과적으로 이용하기 위해 데이타 압축은 필수 불가결하다.
특히, 디지탈 영상신호는 정보의 표현에 많은 메모리를 필요로 하기 때문에 영상정보 압축은 정보의 저장과 검색, 전송등을 보다 효율적으로 하는 효과를 가진다.
이와 같은 이유에서 영상데이타에 대한 압축기법들이 많이 개발되어 왔는데, 영상데이타 압축기법은 정보의 손실 여부에 따라 손실 부호화와 무손실 부호화기법으로 나눌 수 있으며 정지영상에 존재하는 공간적 중복성을 인트라프레임(intraframe) 부호화와 동영상에 존재하는 시간적 중복성을 이용하는 인터프레임(interframe) 부호화로 나눌 수 있다.
또한, 정보의 손실이 적으며 국제적 표준안이 완성되고 있는 제1세대 부호화 기법과 인간의 시각구조 및 영상의 특성을 이용하는 제2세대 부호화기법으로 나눈다. 제1세대 부호화기법은 PCM(Pulse Code Modulation), 차분PCM(Differential PCM), 델타변조(Delta Modulation) 등의 공간부호화 및 Karhunen-Loeve, 퓨리에, 코사인, Harr, Hadamard, 사인 등의 변환부호화와, 위의 두가지를 결합한 하이브리드 부호화와, 동영상에 이용하는 움직임보상부호화(Motion Compensated Coding) 등이 있다. 제2세대 부호화기법은 피라미드 부호화, 비등방 비정재 예측부호화, 윤곽-텍스쳐에 기반을 둔 기법, 방향분해를 근간으로 하는 부호화기법 등이 있다.
동영상의 전송은 정지영상에 비하여 고려해야 할 사항이 많고 압축효과가 더 두드러지기 때문에 높은 압축율을 얻을 수 있는 기법의 개발은 많은 관심의 대상이다. 현재 개발중인 HDTV 방송시스템이나 MPEG에서는 움직임보상 부호화를 이용한다. 움직임보상 부호화에는 화소순환 알고리즘과 블럭정합 알고리즘이 있으며, 블럭정합 알고리즘이 화소순환 알고리즘에 비해 정확도가 떨어지지만 실시간처리와 하드웨어 구현이 간단하다는 점에서 동영상시스템에 많이 쓰이고 있다. 여기서, 블럭정합 알고리즘은 영상을 일정한 크기의 블럭으로 분할한 후 각각의 블럭에 대한 움직임벡터를 구하고 이 움직임벡터에 의해 얻어진 영상과 원영상과의 예측오차를 이산여현변환한 후, 이산여현변환 계수를 함께 전송하는 기법이다.
일반적으로 널리 사용되는 동영상 부호화기는 움직임 처리를 통하여 시간적 중복성을 제거하고, 이산여현변환을 통하여 공간적인 중복성을 제거함으로써 데이타 압축의 효과를 갖는다.
제1도는 일반적인 동영상 부호화기의 구성을 나타낸 블럭도로서, H.261, MPEG-1, MPEG-2 등의 많은 표준화된 부호화기에서 사용되는 것이다.
제1도를 참조하면, 감산기(10)는 프레임 단위로 입력되는 현재 프레임의 원영상과 이전 프레임의 복원영상에 대한 움직임보상영상을 감산하여 프레임간 차영상을 생성한다.
이산여현변환부(DCT;12)에서는 픽셀간의 상관성을 제거하기 위하여 프레임간 차영상을 예를 들면, 8×8 픽셀의 블럭으로 이산여현변환하여 이산여현변환 계수를 출력한다.
양자화기(Q;14)에서는 이산여현변환부(12)에서 출력되는 프레임간 차영상의 이산여현변환 계수를 소정의 양자화간격으로 양자화하여 출력한다.
가변장부호화기 (VLC;16)에서는 양자화기(14)에서 양자화된 프레임간 차영상을 가변장부호화하여 버퍼 (미도시)를 통해 복호기(미도시)로 전송한다. 즉, 예컨데 8비트로 표현되는 신호들 중에서 빈도가 많은 데이타는 적은 비트로 표현하고, 빈도가 적은 데이타는 많은 비트로 표현함으로써 차영상을 표현하는 전체 비트수를 줄인다.
역양자화기(IQ,18)는 양자화기(14)의 출력단에 연결되며, 양자화된 프레임간 차영상을 양자화기(14)에 입력되기 이전의 상태로 복원한다.
역이산여현변환부(IDCT;20)는 역양자화기 (18)의 출력단에 연결되며, 역양자화기 (18)에서 역양자화된 프레임간 차영상을 이산여현변환부(12)에 입력되기 이전의 상태로 복원한다.
가산기(22)에서는 역이산여변변환부(20)에서 복원된 프레임간 차영상과 움직임보상영상을 가산하여 이전 프레임의 복원영상으로 프레임 메모리 (24)에 저장한다.
움직임 추정부(ME;26)에서는 통상 블럭정합 알고리즘을 사용하며, 입력되는 현재 프레임의 영상과 프레임 메모리(24)에 저장된 이전 프레임의 복원영상간의 유사한 부분을 추정하여 그 위치이동의 결과를 움직임벡터로 출력한다.
움직임 보상부(MC;28)에서는 프레임 메모리(24)에 저장되어 있는 이전 프레임의 복원 영상의 움직임 위치를 움직임벡터에 의하여 보상한 움직임보상영상을 감산기(10)와 가산기 (22)로 각각 출력한다.
그러나, 상술한 종래의 동영상 부호화기에서는 효율적으로 데이터를 압축하기 위한 방편으로서, 시간영역상 데이터 중복성을 제거하기 위하여 움직임추정 및 보상을 통해 데이터를 압축시키는데, 이때 움직임벡터를 정확하게 추정하지 못하는 경우 복원영상의 화질을 떨어뜨리는 문제점이 있다.
따라서 본 발명의 목적은 상술한 문제점을 해결하기 위하여 부호화과정중 움직임 추정후 생성되는 움직임벡터를 룩업테이블로 구성하여 부호화하기 위한 동영상 부호화기를 제공하는데 있다.
상기 목적을 달성하기 위하여 본 발명에 의한 동영상 부호화기는 프레임 단위로 입력되는 현재 프레임의 원영상과 이전 프레임의 복원영상에 대한 움직임보상영상을 감산하여 차영상을 생성하기 위한 감산기와;
상기 감산기에서 출력되는 차영상을 공간영역에서 주파수영역으로 변환하기 위하여 이산여현변환하여 이산여현변환 계수를 출력하기 위한 이산여현변환부;
상기 이산여현변환부에서 출력되는 차영상의 이산여현변환 계수를 소정의 양자화간격으로 양자화하여 출력하기 위한 양자화부;
상기 양자화기에서 양자화된 차영상을 가변장부호화하여 출력하기 위한 가변 장부호화기;
상기 양자화기에서 양자화된 차영상을 상기 양자화기에 입력되기 이전의 상태로 복원하기 위한 역양자화기;
상기 역양자화기에서 역양자화된 차영상을 상기 이산여현변환부에 입력되기 이전의 상태로 복원하기 위한 역이산여현변환부;
상기 역이산여현변환부에서 복원된 차영상과 상기 움직임보상영상을 가산하여 이전 프레임의 복원영상으로 출력하기 위한 가산기;
상기 가산기에서 출력되는 이전 프레임의 복원영상을 프레임 단위로 저장하기 위한 프레임 메모리;
상기 현재 프레임의 원영상과 상기 프레임 메모리에 저장된 이전 프레임의 복원영상간의 유사한 부분을 추정하여 그 위치이동의 결과를 움직임벡터로 출력하기 위한 움직임 추정부;
상기 움직임추정부에서 생성된 움직임벡터를 중심블럭, 인접한 좌,우,상,하,4개의 매크로블럭과 모서리 부분의 4개 매크로블럭으로 이루어진 움직임벡터 이동범위를 설정하는 글로벌블럭과, 그 크기가 16× 16이고, 4개의 8×8블럭으로 나누어져 1,2,3, 4로 구분하여 움직임벡터의 이동범위를 설정하는 로컬블럭으로 나누어서 기입해 놓은 룩업테이블: 및 상기 프레임 메모리에 저장되어 있는 이전 프레임의 복원영상의 움직임 위치를 상기 룩업테이블에서 독출되는 움직임벡터를 이용하여 보상한 움직임보상영상을 상기 감산기와 가산기로 출력하기 위한 움직임 보상부를 포함하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 대하여 상세히 설명하기로 한다.
제2도는 본 발명에 의한 동영상 부호화기의 구성을 나타낸 블럭도이다.
제2도에 도시된 동영상 부호화기는, 감산기(30), 이산여현변환기(DCT;32), 양자화기(Q;34), 가변장부호화기(VLC;36), 역양자화기(IQ;38), 역이산여현변환기(IDCT;40), 가산기(42), 프레임 메모리(44), 움직임 추정부(46), 룩업테이블(48) 및 움직임 보상부(50)로 구성된다.
이어서 제2도의 구성에 따른 동작을 살펴보면 다음과 같다.
여기서, 감산기(30), 이산여현변환기(32), 양자화기(34), 가변장부호화기(36), 역양자화기(38), 역이산여현변환기(40), 가산기(42), 프레임 메모리(44)와 움직임 추정부(46)는 제1도에서와 동일하므로 동작설명은 생략하고, 룩업테이블(48)과 움직임 보상부(50)의 동작을 중점적으로 설명하기로 한다.
룩업테이블(48)은 움직임 추정부(46)에서 움직임 추정에 생성되는 움직임 벡터를 룩업테이블 형태로 바꾸기 위한 것으로서, 움직임 추정에 의해 움직임이 이동한 블럭을 찾아 이동한 블럭을 룩업테이블에 기입한다. 룩업테이블(48)의 예를 다음 표1에 제시하였다.
룩업테이블(48)은 상기 표 1에서와 같이 글로벌(global) 블럭과 로컬(local)블럭으로 나누어진다 여기서, 글로벌 블럭은 움직임벡터의 이동범위를 설정해 놓은 것으로서, 움직임벡터 이동범위는 제3도에 도시된 바와 같이 인접한 좌, 우, 상, 하 4개의 매크로블럭과 모서리 부분의 4개 매크로 블럭으로서, 중심블럭을 비롯하여 9개의 매크로블럭이 된다.
한편, 제4도에 도시된 로컬 블럭은 그 크기가 16×16이고, 4개의 8×8 블럭으로 나누어져 1,2,3,4로 구분하여 움직임벡터의 이동을 정밀하게 파악한다.
상기한 바와 같이 움직임벡터의 위치를 글로벌 블럭과 로컬 블럭에 의해서 선택하면 움직임벡터의 위치가 표 1에서와 가팅 룩업테이블(48)에서 1,2,3‥‥‥36의 값으로 출력된다.
예를 들어, 제5도에서 움직임벡터 A가 화살표 방향으로 이동하였다면 글로벌 블럭에서 1, 로컬 블럭에서 1이 선택되어 룩업테이블(48)에서의 출력값은 5가 된다. 이 5의 값으로 움직임벡터의 위치를 알 수 있다.
상술한 바와 같이 본 발명에 의한 동영상 부호화기에서는 부호화과정 중 움직임 추정후 생성되는 움직임벡터를 룩업테이블로 작성하여 부호화함으로써 부호화에 의한 비트발생량을 효율적으로 줄일 수 있으며, 또한 움직임벡터의 위치를 정확하게 알 수 있으므로 복원화질을 높일 수 있는 이점이 있다.

Claims (1)

  1. 프레임 단위로 입력되는 현재 프레임의 원영상과 이전 프레임의 복원영상에 대한 움직임보상영상을 감산하여 차영상을 생성하기 위한 감산기(30)와; 상기 감산기(30)에서 출력되는 차영상을 공간영역에서 주파수영역으로 변환하기 위하여 이산여현변환하여 이산여현변환 계수를 출력하기 위한 이산여현변환부(32), 상기 이산여현변환부(32)에서 출력되는 차영상의 이산여현변환 계수를 소정의 양자화간격으로 양자화하여 출력하기 위한 양자화기(34), 상기 양자화기 (34)에서 양자화된 차영상을 가변장부호화하여 출력하기 위한 가변장부호화기(36); 상기 양자화기(34)에서 양자화된 차영상을 상기 양자화기에 입력되기 이전의 상태로 복원하기 위한 역양자화기(38); 상기 역 양자화기 (38)에서 역양자화된 차영상을 상기 이산여현변환부(32)에 입력되기 이전의 상태로 복원하기 위한 역이산여현변환부(40); 상기 역이산여현변환부(40)에서 복원된 차영상과 상기 움직임보상영상을 가산하여 이전 프레임의 복원영상으로 출력하기 위한 가산기(42), 상기 가산기(42)에서 출력되는 이전 프레임의 복원영상을 프레임 단위로 저장하기 위한 프레임 메모리(44): 상기 현재 프레임의 원영상과 상기 프레임 메모리 (44)에 저장된 이전 프레임의 복원영상간의 유사한 부분을 추정하여 그 위치이동의 결과를 움직임벡터로 출력하기 위한 움직임 추정부(46); 상기 움직임 추정부(46)에서 생성된 움직임벡터를 중심블럭, 인접한 좌,우,상,하 4개의 매크로블럭과 모서리 부분의 4개 매크로블럭으로 이루어진 움직임벡터 이동범위를 설정하는 글로벌블럭과, 그 크기가 16× 16 이고, 4개의 8×8 블럭으로 나누어져 1,2,3,4로 구분하여 움직임벡터의 이동범위를 설정하는 로컬블럭으로 나누어서 기입해 놓은 룩업테이블(48) 및 상기 프레임 메모리(44)에 저장되어 있는 이전 프레임의 복원영상의 움직임 위치를 상기 룩업테이블(48)에서 독출되는 움직임벡터를 이용하여 보상한 움직임보상영상을 상기 감산기(30)와 가산기(42)로 출력하기 위한 움직임 보상부(50)를 포함하는 것을 특징으로 하는 동영상 부호화기.
KR1019940034884A 1994-12-19 1994-12-19 동영상 부호화기 KR0169656B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019940034884A KR0169656B1 (ko) 1994-12-19 1994-12-19 동영상 부호화기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019940034884A KR0169656B1 (ko) 1994-12-19 1994-12-19 동영상 부호화기

Publications (2)

Publication Number Publication Date
KR960028448A KR960028448A (ko) 1996-07-22
KR0169656B1 true KR0169656B1 (ko) 1999-03-20

Family

ID=19402059

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019940034884A KR0169656B1 (ko) 1994-12-19 1994-12-19 동영상 부호화기

Country Status (1)

Country Link
KR (1) KR0169656B1 (ko)

Also Published As

Publication number Publication date
KR960028448A (ko) 1996-07-22

Similar Documents

Publication Publication Date Title
US6628716B1 (en) Hardware efficient wavelet-based video compression scheme
KR960006762B1 (ko) 화상부호화를 위한 효율적인 2차원 데이타의 주사선택회로
JPH03139988A (ja) イメージ回復方法及び装置
KR100386583B1 (ko) 영상 변환 부호화 장치 및 방법
US6219103B1 (en) Motion-compensated predictive coding with video format conversion
JPH06189290A (ja) 1d/2d dctを用いた映像信号符号化装置
KR100683380B1 (ko) 영상 압축 부호화를 위한 변환 및 역변환 방법 및 장치
US6804299B2 (en) Methods and systems for reducing requantization-originated generational error in predictive video streams using motion compensation
KR19980017213A (ko) 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템
JPH0974569A (ja) 最適動きベクトル決定方法及び装置
KR100364748B1 (ko) 영상 변환 부호화 장치
US6081552A (en) Video coding using a maximum a posteriori loop filter
KR0178221B1 (ko) 픽셀의 평균값을 이용한 개선된 패턴 벡터 부호화 시스템
US5614953A (en) Image signal decoding apparatus having an encoding error compensation
KR100323235B1 (ko) 저 복잡도의 동영상 인코더 장치 및 방법
KR0169656B1 (ko) 동영상 부호화기
KR0169657B1 (ko) 동영상 부호화기
KR0169654B1 (ko) 동영상 부호화기
KR100192784B1 (ko) 영상 부호화기
JP2971094B2 (ja) 画像符号化装置
KR0169653B1 (ko) 동영상 부호화기
KR0181067B1 (ko) 호환성을 갖는 동영상 부호화기
KR0169655B1 (ko) 동영상 부호화기
KR0130167B1 (ko) 동영상 압축 부호화 장치
KR100203638B1 (ko) 반화소 단위 움직임 추정방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111004

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20121002

Year of fee payment: 15

LAPS Lapse due to unpaid annual fee