KR0164830B1 - 역양자화회로 - Google Patents

역양자화회로 Download PDF

Info

Publication number
KR0164830B1
KR0164830B1 KR1019950002005A KR19950002005A KR0164830B1 KR 0164830 B1 KR0164830 B1 KR 0164830B1 KR 1019950002005 A KR1019950002005 A KR 1019950002005A KR 19950002005 A KR19950002005 A KR 19950002005A KR 0164830 B1 KR0164830 B1 KR 0164830B1
Authority
KR
South Korea
Prior art keywords
quantization
multiplier
output
circuit
quantization scale
Prior art date
Application number
KR1019950002005A
Other languages
English (en)
Other versions
KR960033122A (ko
Inventor
김의규
Original Assignee
김광호
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김광호, 삼성전자주식회사 filed Critical 김광호
Priority to KR1019950002005A priority Critical patent/KR0164830B1/ko
Publication of KR960033122A publication Critical patent/KR960033122A/ko
Application granted granted Critical
Publication of KR0164830B1 publication Critical patent/KR0164830B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K19/00—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits
    • H03K19/02—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits using specified components
    • H03K19/173—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits using specified components using elementary logic circuits as components
    • H03K19/1733—Controllable logic circuits
    • H03K19/1737—Controllable logic circuits using multiplexers
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K19/00—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits
    • H03K19/20—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits characterised by logic function, e.g. AND, OR, NOR, NOT circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
압축부호화된 데이타를 복원하는 기술에 관한 것이다.
2. 발명이 해결하고자 하는 기술적 과제
연산을 위한, 별도의 코어를 사용치 않고 보다 간단한 구성의 회로로서 양자화 데이타를 역양자화할 수 있는 역양자화회로를 제공한다.
3. 발명의 해결방법의 요지
양자화 스케일 코드로부터 설정된 두가지 형태의 양자화 스케일을 생성하고 그중 하나를 부호화시 사용된 양자화 스케일 타입에 대응하여 선택 출력하는 양자화 스케일 생성수단과, 상기 선택 출력된 양자화 스케일과 양자화 계수를 승산하는 양자화 계수 처리수단과, 양자화 데이타를 양자화 데이타의 부호와 0여부에 따라 처리하는 양자화 데이타 처리수단과, 상기 처리된 양자화 데이타를 상기 처리된 양자화 계수에 의해 역양자화하는 역양자화 수단을 구비한다.
4. 발명의 중요한 용도
MPEG1 또는 MPEG2 복호화기

Description

역양자화회로
제1도는 종래의 역양자화회로의 블록구성도.
제2도는 본 발명에 따른 역양자화회로의 블록구성도.
제3도는 제2도중 양자화 스케일 변환회로의 상세 블록구성도.
제4도는 MPEG2의 양자화 스케일값에 대한 함수 그래프도.
* 도면의 주요부분에 대한 부호의 설명
38 : 양자화 스케일 생성회로 40 : 양자화계수 처리회로
42 : 양자화 데이타 처리회로 44 : 역양자화회로
본 발명은 압축부호화된 데이타를 복원하는 장치에 관한 것으로, 특히 양자화 데이타를 복원하기 위한 역양자화회로에 관한 것이다.
일반적으로 단위 구간이나 일정 부분의 데이타들을 하나의 대표값으로 나타내는 방법을 양자화라고 한다. 이러한 양자화 기법은 영상신호 압축의 한 기법으로 채용되어 데이타들을 압축하는 방법으로 사용되고 있다. 영상신호 압축부호화의 국제 표준인 MPEG(Moving Picture Expert Group)1과 MPEG2에서 양자화 기법이 사용되고 있으며, 이를 위한 기본적인 양자화 계수도 정의하고 있다. 양자화된 데이타를 복원하기 위해서는 역양자화를 수행해야 하며 MPEG1과 MPEG2의 복호화기에서 정의된 양자화계수를 이용하여 복원할 수 있어야 한다.
종래의 역양자화회로는 제1도에 도시한 바와 같이 사용자가 정의하는 양자화 계수를 저장하기 위한 내부 램(RAM)인 사용자 정의 양자화 계수 램(2)과, 기본적으로 정의되어 있는 양자화 계수를 저장하는 양자화 계수 롬(ROM)(4)과, 양자화 크기를 변화시키기 위한 양자화 스케일(scale) 롬(6)과, 각 메모리로부터 입력되는 양자화 계수에 의해 양자화 데이타에 대한 역양자화를 위한 연상을 수행하는 RISC(Reduced Instruction Set Computer) 코어(core)(8)로 구성된다. 제1도에서 사용자가 정의한 양자화 계수를 사용한 경우에는 사용자 정의 양자화 계수 램(2)의 양자화 계수가 입력된다. 그렇지 않은 경우에는 양자화 계수 롬(4)의 기본적으로 정의된 양자화 계수를 사용하게 된다. 이때 RISC 코어(8)는 선택신호에 의해 사용해야 할 양자화 계수를 선택하게 되며, 선택한 양자화 계수를 양자화 스케일과 승산하여 최종 양자화 계수를 생성한다. 그리고 생성된 계수는 입력되는 양자화 데이타와 승산하여 최종적으로 복원된 역양자화 데이타를 출력한다.
상기한 바와 같이 종래에는 역양자화의 연산에 RISC 코어의 연산장치를 이용하고 있으며 양자화 스케일의 선택을 위해 롬을 사용함으로써 회로의 크기가 커지고 시스템에 적용이 곤란한 문제점이 있었다.
따라서 본 발명의 목적은 보다 간단한 구성의 회로로서 양자화 데이타를 역양자화할 수 있는 역양자화회로를 제공함에 있다.
본 발명의 다른 목적은 연산을 위한 별도의 코어를 필요로 하지 않는 역양자화회로를 제공함에 있다.
이하 본 발명을 첨부한 도면을 참조하여 상세히 설명한다.
제2도는 본 발명에 따른 역양자화회로의 블럭구성도를 보인 것이다.
양자화 스케일 생성회로(38)는 승산기(10)와 양자화 스케일 변환회로(12)와 제1멀티플렉서(14)로 구성되며 양자화 스케일 코드로부터 설정된 두가지 형태의 양자화 스케일을 생성하고 그중 하나를 제1선택신호 SEL1에 따라 선택하여 출력한다. 승산기(10)는 양자화 스케일 코드를 2배하여 제1양자화 스케일을 생성한다. 양자화 스케일 변환회로(12)는 전술한 제1도의 양자화 스케일 롬(6)을 대치한 회로로서 제3도와 같이 구성되며, 양자화 스케일 코드를 미리 설정된 함수에 대응되게 변환하여 제2양자화 스케일을 생성한다. 제1멀티플렉서(14)는 제1, 제2양자화 스케일중 하나를 제1선택신호 SEL1에 의해 선택하여 출력한다. 제1선택신호 SEL1은 스케일 타입(type)을 나타내는 신호 즉, Q-SCALE-TYPE로서, 이 신호는 부호로서 전송된 값이며 부호화시 사용된 양자화 스케일 타입을 나타낸다.
양자화 계수 처리회로(40)는 승산기(16)와 제1래치회로(18)로 구성되며 양자화 스케일 생성회로(38)의 양자화 스케일과 양자화 계수를 승산하여 제1래치회로(18)에 저장한다.
양자화 데인타 처리회로(42)는 승산기(20)와 인버터(22)와 가산기(24)와 부논리곱게이트(26)와 제2멀티플렉서(28)와 제2래치회로(30)로 구성되며 양자화 데이타를 양자화 데이타의 부호(sign)와 0여부에 따라 처리한다. 승산기(20)는 양자화 데이타를 2배한다. 가산기(24)는 승산기(20)의 출력을 제1입력단자 A에 입력하고 승산기(20)의 출력중 최상위비트 MSB를 제2입력단자 B에 입력하는 동시에 인버터(22)에 의해 반전시켜 캐리입력단자 Cin에 입력하여 양자화 데이타의 부호의 음양에 따라 가산한다. 부논리곱게이트(26)는 양자화 데이타를 모두 부논리곱하여 제2선택신호 SEL2로서 출력한다. 제2멀티플렉서(28)는 승산기(20)와 가산기(24)의 출력중 하나를 제2선택신호 SEL2에 의해 선택 출력한다. 제2래치회로(30)는 제2멀티플렉서(28)의 출력을 래치하여 저장한다.
역양자화회로(44)는 승산기(32)와 제산기(34)로 구성되며 양자화 데이타 처리회로(42)의 처리된 양자화 데이타를 양자화 계수 처리회로(40)의 처리된 양자화 계수에 의해 역양자화한다. 승산기(32)는 양자화 데이타 처리회로(42)의 처리된 양자화 데이타를 양자화 계수 처리회로(40)의 처리된 양자화 계수와 승산한다. 제산기(34)는 승산기(32)의 출력을 32로 나눈다.
제3멀티플렉서(36)는 제3선택신호 SEL3에 의해 역양자화회로(44)의 역양자화데이타와 역양자화 처리를 하지 않은 양자화 데이타중 하나를 선택 출력한다. 여기서 제3선택신호 SEL3은 현재의 양자화 데이타에 대한 역양자화 필요 여부를 나타내는 신호이다.
제3도는 제2도중 양자화 스케일 변환회로(12)의 상세 블럭구성도이다. 제3도에서 5비트의 양자화 스케일 코드의 하위 3비트 코드는 그대로 제4멀티플렉서(52)의 입력단자 ×0에 입력되는 동시에 각각 승산기(46,48,50)에 의해 2배, 4배, 8배로 된 후 제4멀티플렉서(52)의 입력단자 ×1, ×2, ×3에 각각 입력된다. 그리고 제5멀티플렉서(54)의 입력단자 ×0, ×1, ×2, ×3에는 각각 0, 8, 16, 24가 입력된다. 또한 제4, 제5멀티플렉서(52,54)는 5비트의 양자화 스케일 코드의 상위 2비트 코드에 따라 입력단자 ×0, ×1, ×2, ×3의 입력중 하나를 선택하여 출력한다. 가산기(56)는 제4, 제5멀티플렉서(52,54)의 출력을 가산하여 양자화 스케일로서 출력한다.
제4도는 MPEG2에서 사용되는 양자화 스케일에 대한 함수 그래프이다.
이하 본 발명의 동작예를 제2도 내지 제4도를 참조하여 상세히 설명한다.
우선 MPEG2의 역양자화 과정은 MPEG1의 역양자화과정을 포함하고 있다. 그러므로 MPEG2의 역양자화 회로를 구성하면 MPEG1의 역양자화도 처리 가능하다. MPEG2에서의 역양자화 연산은 하기 (1)식과 같다.
DIQ={(2×DQ+K)×F×S}/32...........(1)
상기 (1)식에서 DIQ는 역양자화 데이타를 나타내고, DQ는 양자화 데이타를 나타내며, F는 양자화 계수를 나타내며, S는 양자화 스케일을 나타낸다. 또한 K는 0 또는 양자화 데이타의 부호(sign)비트가 된다. 부호비트는 양자화 데이타가 음이면 -1이고, 양이면 1이며, 0이면 0이 된다.
또한 MPEG2는 사용하는 양자화 스케일의 형태가 2가지가 있다. 즉, 양자화 스케일 코드를 단순히 2배한 것과 또 다른 형태의 값이 있다.
제2도의 양자화 스케일 생성회로(38)의 승산기(10)는 양자화 스케일 코드를 2배함으로써 단순 2배값을 생성하는데, 이 값은 MPEG1에서도 사용된다. 또 다른 형태의 값은 양자화 스케일 변환회로(12)에 의해 생성된다.
여기서 양자화 스케일 변환회로(12)에 대하여 보다 상세히 설명하면 다음과 같다. 우선 제4도의 그래프로부터 회로 구현을 위한 하기 (2)-(5)식과 같은 수식을 얻을 수 있다.
χ'=χ (1≤χ 7)...............(2)
χ' =2χ -8 (8≤χ 16)..............(3)
χ'=4χ -16 (16≤χ 24)............(4)
χ'=8χ -24 (24≤χ 32).............(5)
상기 (2)-(5)식에 따라 양자화 스케일 변환회로(12)를 제3도와 같이 구성한 것으로, 입력되는 양자화 스케일 코드를 이용하여 용이하게 제2양자화 스케일을 생성한다. 제4멀티플렉서(52)는 양자화 스케일 코드의 하위 3비트를 각각 1배, 2배, 4배, 8배한 것중 하나를 선택하고, 제5멀티플렉서(54)는 0, 8, 16, 24중 하나를 선택한다, 이때 양자화 스케일 코드의 상위 2비트로서 선택을 하게 되며, 제4, 제5멀티플렉서(52,54)에 의해 선택된 출력은 가산기(56)에 의해 더해져 최종 제2양자화 스케일로 출력된다.
그러면 제1멀티플렉서(14)는 양자화 스케일 변환회로(12)의 출력과 양자화 스케일 코드를 2배한 것중 하나를 전술한 바와 같은 제1선택신호 SEL1에 의해 선택한다. 선택된 양자화 스케일은 승산기(16)에 의해 양자화 계수와 곱해진후 제1래치회로(18)에 래치되어 저장된다.
한편 양자화 데이타는 양자화 데이타 처리회로(42)의 승산기(20)에 의해 2배로 된 후 가산기(24)와 제2멀티플렉서(28)에 인가된다. 가산기(24)는 승산기(20)의 출력에 -1 또는 1을 더한다.
여기서 승산기(20)의 출력을 χ라하고, 가산기(24)의 출력을 ｙ라 할때, 승산기(20)의 출력이 양수인 경우 가산기(24)의 입력단자 B에 입력되는 값은 0이 되고 가산기(24)의 캐리입력단자 Cin에는 인버터(22)에 의해 1이 입력되어 가산기(24)의 출력은 하기 (6)식과 같이 된다.
ｙ=χ +1....................(6)
이와 달리 승산기(20)의 출력이 음수인 경우 가산기(24)의 입력단자 B에 입력되는 수는 -1(1111111111111)이 되고 가산기(24)의 캐리입력단자 Cin에는 0이 입력되어 가산기(24)의 출력은 하기 (7)식과 같이 된다.
ｙ=χ -1...........(7)
또한 제2멀티플렉서(28)는 승산기(20)와 가산기(24)의 출력중 하나를 부논리곱게이트(26)의 출력인 제2선택신호 SEL2에 의해 선택 출력한다. 이때 양자화 데이타가 0이되면 제2선택신호 SEL은 1이 되어 제2멀티플렉서(28)는 승산기(20)의 출력을 그대로 출력하고, 양자화 데이타의 부호가 음수 또는 양수일 경우에는 가산기(24)의 출력을 선택하여 출력한다. 제2멀티플렉서(28)의 출력은 제2래치회로(30)에 래치되어 저장된다.
상기한 바와 같이 제1, 제2래치회로(18,30)에 저장된 데이타는 승산기(32)에 의해 서로 곱해진후 제산기(34)에 의해 32로 나뉘어짐으로써 역양자화 연산이 완료된다.
제3멀티플렉서(36)는 역양자화를 수행하지 않는 데이타에 대해 원래의 데이타를 출력하기 위한 것으로, 제3선택신호 SEL3에 의해 역양자화 처리되지 않은 양자화 데이타와 제산기(34)로부터 출력되는 역양자화 데이타중 하나를 선택한다.
상술한 바와 같이 본 발명은 특정한 코어를 필요로 하지 않으며 양자화 계수를 저장하기 위한 롬도 최소화하였기 때문에 간단한 구성을 가지며 크기를 줄일 수 있는 잇점이 있다.
또한 상기한 바와 같은 본 발명은 MPEG1과 MPEG2에 모두 사용이 가능할 뿐만 아니라 양자화를 이용하는 다른 방식의 영상압축에도 적용이 가능하다.

Claims (2)

  1. MPEG1 또는 MPEG2 방식에 의해 양자화된 데이타를 역양자화하기 위한 역양자화회로에 있어서, 양자화 스케일 코드를 2배하여 제1양자화 스케일을 생성하는 승산기(10)와, 양자화 스케일 코드를 미리 설정된 함수에 대응되게 변환하여 제2양자화 스케일을 생성하는 양자화 스케일 변환회로(12)와, 상기 제1, 제2양자화 스케일중 하나를 부호화시 사용된 스케일 타입에 의해 선택하여 출력하는 제1멀티플렉서(14)와, 상기 제1멀티플렉서(14)의 출력과 양자화 계수를 승산하는 승산기(16)와, 상기 승산기(16)의 출력을 래치하여 저장하는 제1래치회로(18)와, 상기 양자화 데이타를 2배하는 승산기(20)와, 상기 승산기(20)의 출력을 제1입력단자 A에 입력하고 상기 승산기(20)의 출력중 최상위비트 MSB를 제2입력단자 B에 입력하는 동시에 인버터(22)에 의해 반전시켜 캐리입력단자 Cin에 입력하여 양자화 데이타의 부호의 음양에 따라 가산하는 가산기(24)와, 상기 양자화 데이타를 모두 부논리곱하는 부논리곱게이트(26)와, 승산기(20)와 가산기(24)의 출력중 하나를 상기 부논리곱게이트(26)의 출력에 선택 출력하는 제2멀티플렉서(28)와, 상기 제2멀티플렉서(28)의 출력을 래치하여 저장하는 제2래치회로(30)와, 상기 처리된 양자화 데이타를 상기 처리된 양자화 계수와 승산하는 승산기(32)와, 상기 승산기(32)의 출력을 32로 나누는 제산기(34)로 구성하는 것을 특징으로 하는 역양자화회로.
  2. 제3항에 있어서, 상기 양자화 스케일 변환회로(12)가, 상기 5비트의 양자화 스케일 코드의 하위 3비트 코드를 각각 2배, 4배, 8배하는 승산기(46,48,50)와, 상기 양자화 스케일 코드의 하위 3비트 코드와 승산기(46,48,50)의 출력중 하나를 상기 양자화 스케일 코드의 상위 2비트에 따라 선택 출력하는 제4멀티플렉서(52)와, 0, 8, 16, 24중 하나를 상기 양자화 스케일 코드의 상위 2비트에 따라 선택 출력하는 제5멀티플렉서(54)와, 상기 제4, 제5멀티플렉서(52,54)의 출력을 가산하는 가산기(56)로 구성하는 것을 특징으로 하는 역양자화회로.
KR1019950002005A 1995-02-04 1995-02-04 역양자화회로 KR0164830B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019950002005A KR0164830B1 (ko) 1995-02-04 1995-02-04 역양자화회로

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950002005A KR0164830B1 (ko) 1995-02-04 1995-02-04 역양자화회로

Publications (2)

Publication Number Publication Date
KR960033122A KR960033122A (ko) 1996-09-17
KR0164830B1 true KR0164830B1 (ko) 1999-03-20

Family

ID=19407666

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950002005A KR0164830B1 (ko) 1995-02-04 1995-02-04 역양자화회로

Country Status (1)

Country Link
KR (1) KR0164830B1 (ko)

Also Published As

Publication number Publication date
KR960033122A (ko) 1996-09-17

Similar Documents

Publication Publication Date Title
US4829465A (en) High speed cosine transform
RU2460129C2 (ru) Структура преобразования с масштабированными и немасштабированными интерфейсами
JP4560033B2 (ja) ビデオまたはイメージのデータを復号化するための方法
JP2914226B2 (ja) 可逆変換を可能にするディジタル信号の変換符号化方式
US5299025A (en) Method of coding two-dimensional data by fast cosine transform and method of decoding compressed data by inverse fast cosine transform
CA2633897C (en) Transforms with common factors
JP3220598B2 (ja) 可変長符号テーブルおよび可変長符号化装置
KR100246878B1 (ko) 역이산 코사인변환 프로세서, 이산 코사인 변환계수의 매트릭스를 역변환하기 위한 방법 및 그 장치
HU228603B1 (en) Method of zealizing approximation and quantization of discreet cosinus transformation, method of zealizing dequantization and approximation of inverz discreet cosinus transformation; further coder and decoder
US20020044602A1 (en) Dual quantization method and apparatus for minimum error
KR19980044992A (ko) 차동 펄스 부호 변조기를 포함한 양자화/역양자화 회로
Kuroki et al. Lossless image compression by two-dimensional linear prediction with variable coefficients
KR950004936A (ko) 신호변환장치
KR950008637B1 (ko) 부밴드 코딩시스템의 신호처리장치
JP2526505B2 (ja) 画像処理装置
KR0164830B1 (ko) 역양자화회로
JPH06189139A (ja) 画像符号化方式
US4910751A (en) Method and apparatus for reversible compression of information-carrying symbols
US20050196055A1 (en) Method and system for codifying signals that ensure high fidelity reconstruction
US6091855A (en) method and apparatus for encoding signal method and apparatus for decoding signal and recording medium
JP4438655B2 (ja) 符号化装置、復号装置、符号化方法及び復号方法
JP2560987B2 (ja) 画像処理装置
JPS61135286A (ja) 画像デ−タ圧縮装置
JPH0918350A (ja) 符号化復号化装置及び符号化復号化方法
JP2816295B2 (ja) 離散コサイン変換方法および離散コサイン変換回路

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20070830

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee