KR0148153B1 - 비트스터핑 제거장치 - Google Patents

비트스터핑 제거장치

Info

Publication number
KR0148153B1
KR0148153B1 KR1019940012227A KR19940012227A KR0148153B1 KR 0148153 B1 KR0148153 B1 KR 0148153B1 KR 1019940012227 A KR1019940012227 A KR 1019940012227A KR 19940012227 A KR19940012227 A KR 19940012227A KR 0148153 B1 KR0148153 B1 KR 0148153B1
Authority
KR
South Korea
Prior art keywords
data
signal
fsc
msc
output
Prior art date
Application number
KR1019940012227A
Other languages
English (en)
Other versions
KR950035312A (ko
Inventor
문헌희
Original Assignee
김광호
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김광호, 삼성전자주식회사 filed Critical 김광호
Priority to KR1019940012227A priority Critical patent/KR0148153B1/ko
Priority to JP13235295A priority patent/JP2718908B2/ja
Priority to DE1995635710 priority patent/DE69535710T2/de
Priority to US08/454,738 priority patent/US5566192A/en
Priority to EP19950303726 priority patent/EP0685970B1/en
Priority to CN95107135A priority patent/CN1073307C/zh
Publication of KR950035312A publication Critical patent/KR950035312A/ko
Application granted granted Critical
Publication of KR0148153B1 publication Critical patent/KR0148153B1/ko

Links

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H03M7/42Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code using table look-up for the coding or decoding process, e.g. using read-only memory
    • H03M7/425Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code using table look-up for the coding or decoding process, e.g. using read-only memory for the decoding process only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • H04N7/52Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H04N7/54Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal the signals being synchronous
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23611Insertion of stuffing data into a multiplex stream, e.g. to obtain a constant bitrate

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 한 화면의 데이타를 여러개의 처리단위들로 나누어 가변장복호화할때 비트스터핑된 데이타를 제거하여 복호화를 원할히 할 수 있도록 한 비트스터핑 제거장치에 관한 것이다. 이러한 본 발명의 가변장복호화 인터페이스부는 FSC/MSC검출부로 입력된 데이타와 설정값을 비교하여 입력데이타가 FSC인지 MSC인지를 검출한다. 그리고 검출결과에 따라 프레임/MMB번호 래치부로 제어신호를 출력하여 프레임번호 또는 MMB어드레스를 출력시킨다. 판독신호 발생부는 FSC/MSC검출신호와 타이밍 제어부의 제어신호와 가변장복호화부로부터의 요구신호등을 입력받아 FIFO메모리로 출력할 판독신호를 발생시키고, 데이타전송부를 제어하여 가변장복호화부로 영상데이타를 출력한다. 타이밍제어부는 에러발생시 요구신호를 발생시켜 다음 MMB가 나올때까지의 잔여데이타를 제거함으로써 동기를 유지시킨다.

Description

비트스터핑 제거장치
제 1도는 일반적인 영상신호 부호화시스템의 블럭구성도.
제 2도는 일반적인 영상신호 복호화시스템의 블럭구성도.
제 3도는 본 발명의 영상데이타 처리단위예를 나타낸 화면상태도.
제 4도는 비트스터핑을 포함하는 가변장부호포맷 구성도.
제 5도는 본 발명에 따른 가변장복호화장치의 내부데이타 처리관계를 나타낸 블럭구성도.
제 6도는 본 발명의 가변장복호화 인터페이스부의 상세구성을 나타낸 논리회로도.
* 도면의 주요 부분에 대한 부호의 설명
10 : FIFO메모리 20 : 가변장복호화 인터페이스부
21 : 데이터전송부 22 : FSC/MSC검출부
23 : 프레임/MMB번호 래치부 24 : 판독신호 발생부
30 : 가변장복호화부 40 : 타이밍제어부
MUX1-MUX7 : 멀티플렉서 FF1-FF13 : 플립플럽
COMP1,COMP2 : 비교기 AND1-AND3 : 앤드케이트
OR1-OR2 : 오아게이트 NOR : 노아게이트
본 발명은 한 화면의 데이타를 여러개의 처리단위들로 나누어 복호화하는 시스템에서 가변장 부호화하면서 비트스터핑(Bitstuffing)이 되어 있는 경우에 이것을 제거하여 복호화를 원활히 할수 있도록 한 비트스터핑 제거장치에 관한 것이다.
일반적으로 영상신호의 부호화는 신호원 부호화와 엔트로피 부호화로 나눌 수 있다. 신호원 부호화는 영상신호에 내재하는 중복성을 이용하여 영상데이타를 압축하며, DCT나 대역분할 부호화, DPCM(Differential Pulse Code Modulation)등의 방법이 사용된다.
엔트로피 부호화는 신호원 부호화에 의해 압축된 데이타를 통계적인 발생확률에 따라 더욱 압축한다. 그 대표적인 예로 가변장 부호화(Variable Length Coding)를 들 수 있다. 가변장 부호화는 발생빈도가 많은 심볼에 대해서는 짧은 부호를 할당하고, 그렇지 않은 경우는 보다 긴 부호를 할당하여 전체적인 전송률이 적어지도록 하는 방법이다. 이러한 방법은 현재 ISO/CCITT에서 표준화를 추진중인 MPEG(Moving Picture Expert Group)나 최근 미국에서 개발된 HD-TV방식 등의 영상부호화방법에서 일반적으로 사용되고 있다.
디지탈 ATV시스템 DCT 또는 DPCM을 사용하는 신호원 부호화와 가변장 부호화를 결합하여 사용하고 있으며, 데이타처리의 방대함으로 인하여 화면을 여러개의 윈도우로 나누어 처리하게 된다. 이러한 일 예를 제 1도 및 제 2도에 나타냈으며, 제 1도는 영상신호부호화시스템을 나타내고, 제 2도는 영상신호 복호화시스템을 나타낸것으로, 이와같이 화면을 여러개의 윈도우로 나누어 처리하게 되면 개별 원도우의 처리속도를 향상시킬 수 있다
제 1도의 부호화시스템에 입력된 영상데이타는 채널분할부(1)에서 4개의 채널들로 분할되어 제 1내지 제 4신호원 부호화부(2A-2D)로 각각 입력된다. 제 1내지 제 4신호원 부호화부(2A-2D)에서 1차로 압축된 영상데이타는 제 1 내지 제 4가변장 부호화부(3A-3D)로 각각 인가되어 더욱더 압축된다. 즉, 영상데이타를 런(연속되는 0의 갯수)과 레벨(0이 아닌 진폭값)의 쌍으로 묶고, 상기 묶음들에 해당하는 가변장부호를 발생시켜 이것을 각종 헤더 및 기타 데이타의 부호와 연결시켜 주는 것이다. 제 1 내지 제 4가변장 부호화부(3A-3D)에서 부호화된 각 윈도우의 데이타들은 다중화부(4)로 인가되고, 다중화부(4)는 입력된 데이타들을 합쳐 하나의 비트열로 만든 후 이 비트열을 다시 일정한 크기(예;24비트)로 구분하여 FIFO메모리에 기록하게 된다.
제 2도의 복호화시스템에서는 상기와 같이 부호화된 비트열을 FIFO메모리로부터 읽어내어 부호화되기 이전의 영상데이타로 복원하는데, 이 때 상기 비트열을 4개의 윈도우로 분배하여 처리하게 된다. 즉, 입력된 비트열을 역다중화부(5)에서 4개의 채널데이타로 분할하여 제 1 내지 제 4가변장 복호화부(6A-6D)로 인가하고, 제 1 내지 제 4가변장 복호화부(6A-6D)는 이 데이타를 각각 가변장 복호화하여 영상데이타를 신장시키는 것이다. 이 때 제 1 내지 제 4가변장 복호화부(6A-6D)에서 각 순간마다 복호화되는 데이타량은 가변적이므로 필요시마다 FIFO메모리부터 데이타를 읽어내도록 하는 기능이 필요하다. 이것이 궤환루프기능으로, 이 기능이 필요한 이유는 부호들간의 경계를 알 수 없으므로 이전부호들이 복호화되기 전까지는 현재부호들의 길이나 코드를 알 수 없기 때문이다.
상기 제 1 내지 제 4가변장 복호화부(6A-6D)에서 출력된 데이타들은 제 1 내지 제 4신호원 복호화부(7A-7D)로 각각 인가된다. 이 제 1 내지 제 4신호원 복호화부(7A-7D)는 입력된 영상데이타에 대해 제 1도의 신호원 부호화에 대응하는 복호화를 실행하고, 여기서 런길이 복호화(Run Length Decoding)할때 연속된 0의 갯수가 발생될때까지 제 1 내지 제 4가변장 복호화부((6A-6D)의 기능은 정지해야한다. 제 1 내지 제 4신호원 복호화부(7A-7D)에서 복호화된 각 윈도우의 데이타들은 다중화부(8)로 인가되고, 다중화부(8)는 입력된 영상데이타들을 합쳐 하나의 비트열로 출력하게 된다.
그러나 화면을 여러개의 윈도우로 분배하여 처리할때 각 윈도우에서 발생되는 비트들은 시간적으로 변화하므로 복원시 각 윈도우간의 경계를 나타내는 것이 필요하다. 가변장 부호화된 비트열은 가변적인 길이의 부호들이 연속적으로 연결되어 있으므로 전송중에 에러가 발생하면 에러발생부분 이후부터는 가변장 복호화의 동작이 연속적으로 틀린 부호들을 복호화하게 된다. 그러므로 복호화된 데이타에 에러가 발생되고, 심각한 경우에는 궤환루프에 의한 FIFO메모리의 판독동작에 이상을 일으켜 그이후의 동기화가 되지 않는 등의 문제점이 있었다.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 프레임 및 MMB의 시작을 나타내는 부호를 검출하여 이 신호에 의해 FIFO메모리의 데이타판독이 되지 않도록 함으로써 MMB의 끝부분에 채워진 비트스터핑된 데이타를 제거할 수 있도록 한 비트스터핑 제거장치를 제공하는데 있다.
본 발명의 다른 목적은 비트스터핑이 없는 경우에도 에러가 발생하면 요구신호를 강제로 발생시켜 잔여데이타를 제거함으로써 다음 MMB데이타가 나오기 전의 상태로 만들어 동기를 유지할 수 있도록한 비트스터핑 제거장치를 제공하는데 있다.
상기와 같은 목적들을 달성하기 위한 본 발명의 비트스터핑 제거장치는 타이밍제어부의 초기신호와 스타트신호에 따라 영상데이타의 MMB끝부분에 채워진 비트스터핑된 데이타를 제거하고 가변장복호화부로부터 요구신호가 인가될때마다 영상데이타를 출력하는 가변장복호화 인터페이스부와, 가변장복호화 인터페이스부와 가변장복호화부에서 필요로 하는 제어신호들을 발생시키는 타이밍제어부를 구비한다.
이하, 첨부된 제 3도 내지 제 6도를 참조하여 본 발명의 실시예를 상세히 설명하면 다음과 같다.
영상데이타의 부호화 및 복호화를 수행하기 위해서는 화면을 소정크기의 블럭들로 구분하는데, 본 발명에서 정의한 영상데이타의 처리단위예를 제 3도에 나타내었다. 제 3도는 1프레임의 영상데이타를 블럭화한 것으로, 4개의 윈도우로 구분한 경우를 나타낸다. 한 윈도우내에서 가로줄 모양의 블럭을 1슬라이스(Slice)라고 가정하면, 각윈도우는 4개의 슬라이스가 하나로 된 형태의 처리단위들로 나뉘어지며, 이 처리단위를 MMB(Mass of Macro Block)라고 한다. 각 윈도우는 MMB단위로 처리하고 처리된 결과도 MMB단위로 다중화하여 전송한다.
제 3도에서 첫번째 윈도우는 1,5,9,13…의 MMB들로 구성되고, 두번째 윈도우는 2,6,10,14…의 MMB들로 구성되며, 나머지 윈도우들도 이러한 구분이 되어 있다. 전송할때는 MMB1,2,3,4,5…의 순서로 다중화되고, 복호하시에는 다시 위의 역순으로 각 윈도우별로 복원된다. 한편, 윈도우별로 데이타 발생량이 일정하지 않으므로 FIFO메모리에 기록될때 각 MMB단위로 기록되는 비트수의 배수(예;24의 배수)가 되도록 MMB의 끝부분에서 비트스터핑이 행해진다. 또, 데이타 발생량이 적어 언더플로우가 되는 것을 방지하기 위해 일정한 데이타를 추가하는 비트스터핑도 있다. 본 실시예에서는 MMB의 끝부분에 일정갯수의 0비트를 넣는 경우를 의미한다.
제 4도는 이와 같은 비트스터핑을 포함하는 가변장부호포맷을 나타낸 것으로, FIFO메모리에 기록/판독되는 단위는 24비트이고, MMB데이타의 끝부분에 필요에 따라 1-23개의 비트스터핑데이타를 부가시킨 경우이다. 도시된 바와 같이, 32비트의 프레임시작부호(Frame Start Code; 이하 FSC라고 한다)다음에는 4비트의 프레임번호(FN)와 20비트의 버퍼상태정보(BSI)가 차례로 위치한다. 24비트의 MMB시작부호(MMB Start Code;이하 MSC라고 한다)다음에는 8비트의 MMB어드레스(MN)와 양자화레벨(qlevel), 매크로블럭정보(MB info.),MB데이타등이 차례로 위치한다.
상기 매크로블럭정보(MB info.)에는 필드/프레임 결정정보(field/frame), 매크로블럭의 양자화레벨(mquant), 인터/인트라 결정정보(inter/intra), 수평움직임벡터(x MV), 수직움직임벡터(y MV)등이 포함된다. 또, 각 블럭에는 DCT계수(dct_coeff)와 블럭의 끝을 나타내는 부호(EOB)가 포함된다. 여기서, FSC(00000100H), 프레임번호, MSC(000001H) 및 MMB어드레스는 고정된 길이의 부호를 사용한다. 그러나, 다른 부호들은 그 비트수가 경우에 따라 가변되므로 MMB데이타가 24비트의 배수가 되지 않을 때, 비트스터핑데이타(0)를 모자라는 비트수만큼 부가한다.
제 5도는 본 발명에 따른 가변장복호화장치의 내부데이타 처리관계를 나타낸 블럭구성도이다. 도시된 바와 같이, 본 발명은 부호화된 영상데이타를 입력된 순서대로 저장해 두었다가 가변장 복호화 인터페이스부(20)의 판독요구(READ)가 있을때마다 먼저 입력된 데이타부터 출력시키는 FIFO메모리(10)를 구비한다. FIFO메모리(10)의 데이타출력단(DATA)에 연결된 가변장복호화 인터페이스부(20)는 타이밍제어부(40)의 초기신호(INIT)와 스타트신호(STRT)에 따라 MMB끝부분에 채워진 비트스터핑된 데이타를 제거하고, 가변장복호화부(30)로부터 요구신호(RQST)가 인가될때마다 영상데이타를 출력한다. 가변장복호화 인터페이스부(20)의 데이타출력단(DATA)에 연결된 가변장복호화부(30)는 타이밍제어부(40)의 제어신호에 따라 부호화된 영상데이타 및 부가정보를 가변장 복호화한다. 이때 가변장복호화 인터페이스부(20)와 가변장복호화부(30)에는 타이밍제어부(40)가 연결되어, 비트스터핑 제거 및 복호화에 필요한 제어신호들을 발생시킨다.
상기와 같이 구성된 가변장복호화장치에서 복호화기간은 두가지로 구분되는데, MSC,FSC복호화기간은 MSC와 FSC를 찾는 기간이고, MMB복호화기간은 MMB내의 다른 여러가지 헤더데이타 및 영상데이타를 복호화하는 기간으로 구분된다. 이 두 기간은 타이밍제어부(40)로부터 인가되는 스타트신호(STRT)와 초기신호(INIT)에 의해제어된다. MMB복호화기간동안 가변장복호화부(30)는 정해진 알고리즘에 따라 가변장복호화 인터페이스부(20)로 요구신호(RQST)를 내보내며, 정상적인 영상데이타 복호화를 수행한다. 즉, 런/레벨 부호화된 영상데이타 및 부가되는 정보데이타를 가변장 복호화하며, 복호화할 때 필요로 하는 데이타가 필요할때만 요구신호를 내보내는 것이다. 아울러 가지고 있는 데이타를 복호화에 모두 사용하지 않은 경우는 요구신호를 내보내지 않고, 예를들어 연속적인 0을 포함한 런이 있을 경우에 가변장복호화부(30)는 자체적으로 동작을 정지한다.
제 6도는 본 발명의 일실시예로서, 상기 가변장복호화 인터페이스부(20)의 상세구성을 나타낸 논리회로도이다. 도시된 바와 같이, 본 발명의 가변장복호화 인터페이스부는 FIFO메모리(10)에서 판독된 데이타를 판독신호 발생부(24)의 제어신호에 따라 가변장복호화부(30)로 전송하는 데이타전송부(21)를 구비한다. 상기 데이타전송부(21)에 연결된 FSC/MSC검출부(22)에는 타이밍제어부(40)에서 출력된 초기신호(INIT) 및 스타트신호(STRT)와 판독신호 발생부(24)의 제어신호가 인가된다. 이 FSC/MSC검출부(22)는 FIFO메모리(10)로부처 전송된 데이타와 설정된 값을 비교하여 현재 입력되는 데이타가 FSC인지 MSC인지를 판단하고 그에 따라 검출신호를 출력한다.
FSC/MSC검출부(22)에서 출력된 FSC/MSC검출신호는 프레임/MMB번호 래치부(23)와 판독신호 발생부(24)로 각각 인가된다. 프레임/MMB번호 래치부(23)는 상기 FSC/MSC검출신호에 따라 데이타전송부(21)로 부터 인가된 데이타를 래치하여 프레임번호 또는 MMB어드레스가 출력되도록 한다. 또한, 판독신호 발생부(24)는 상기 FSC/MSC검출신호화 타이밍제어부(40)의 스타트신호(STRT) 및 리세트신호(/RST)와 가변장복호화부(30)의 요구신호(RQST)등을 입력받아 FIFO메모리(10)로 출력할 판독신호(READ)를 발생시킨다. 아울러 이 판독신호(READ)를 제어신호로서 데이타전송부(21)와 FSC/MSC검출부 (22)로 각각 출력한다.
상기와 같이 구성된 가변장복호화 인터페이스부의 상세구성 및 동작을 설명하면 다음과 같다.
먼저, FIFO메모리(10)로부터 부호화된 영상데이타가 데이타전송부(21)로 입력되면, 이 데이타는 제 1플립플럽(FF1)에 의해 지연된 후 궤환되는 제 1멀티플렉서(MUX1)의 이전출력데이타와 함께 제 1멀티플렉서(MUX1)로 입력된다. 이때 제 1 내지 제 3멀티플렉서(MUX1-MUX3)는 판독신호 발생부(24)로부터 인가된 제어신호가 고전위일 경우 새로 입력된 데이타를 출력하고, 저전위일 경우에는 현재 출력중인 데이타상태를 그대로 유지한다. 제 1멀티플렉서(MUX1)에서 출력된 데이타는 제 1플립플럽(FF1)을 통해 제 2멀티플렉서(MUS2)로 인가되고, 상기 제 2, 제 3멀티플렉서(MUX2)(MUX3)와 제 2, 제 3플립플럽(FF2)(FF3)은 전술된 것과 동일하게 데이타를 래치하거나 유지하여 입력된 데이타를 계속적으로 가변장복호화부(30)로 전송한다.
MSC,FSC복호화기간동안의 판독신호 발생부(24)의 동작을 설명하면, 타이밍제어부(40)로부터 고전위의 스타트신호(STRT)가 인가되므로 이 신호에 의해 제 11플립플럽(FF11)이 세트된다. 이 제 11플립플럽(FF11)에서 출력된 고전위신호가 오아게이트(OR2)로 인가되면, 다른 조건에 관계없이 오아게이트(OR2)에서는 고전위신호가 출력된다. 이 신호는 제 12플립플럽(FF12)을 거친 후 판독신호(READ)로서 FIFO메모리(10)로 인가되고, FIFO메모리(10)는 저장된 데이타를 순서대로 독출한다. 아울러 고전위의 판독신호(READ)는 제 13플립플럽(FF13)을 통해 멀티플렉서(MUX1-MUX5)들을 제어하여 FIFO메모리(10)로부터 판독된 데이타가 전송되도록 한다. 이때 제 1플립프럽(FF1)에서 출력된 데이타는 비교기(COMP1)(COMP2)로 인가되고, 다른 입력단자에 설정된 값들(000001H00H)과 비교됨으로써 FSC인지 MSC인지의 여부가 검출되어진다.
FSC/MSC검출부(22)의 동작을 좀 더 상세히 설명하면, 비교기(COMP1)로 입력된 데이타와 설정값(00000H)이 같을 경우 비교기(COMP1)에서 출력된 고전위신호는 제 4멀티플렉서(MUX4)와 제 4플립플럽(FF4)을 통해 앤드게이트(AND1)(AND2)로 입력된다. 여기서, 제 4플립플럽(FF4)은 타이밍제어부(40)의 초기신호(INIT)와 스타트신호(STRT)를 부정논리합하는 노아게이트(NOR)의 출력신호에 의해 인에이블된다. 이와 같이 0000 0000 0000 0000 0001의 데이타가 나타난 후에는 바로 다음의 데이타가 0000 0000인지 아닌지의 여부에 따라 FSC와 MSC를 구분하게 된다. 즉, 비교기(COMP2)는 입력된 데이타와 설정값(00H)을 비교하여 같을 경우에는 FSC인 것으로 구분하여 고전위신호를 출력하고, 입력데이타가 설정값(00H)과 다를 경우에는 MSC인 것으로 구분하여 저전위신호를 출력하는 것이다.
FSC가 검출되면, 비교기(COMP2)에서 출력된 고전위신호가 제 5멀티플렉서(MUX5)와 제 6플립플럽(FF6)을 통해 앤드게이트(AND1)로 입력되므로 앤드게이트(AND1)에서는 고전위신호가 출력된다. 프레임/MMB번호 래치부(23)로 입력된 고전위신호는 제 7플립플럽(FF7)을 거쳐 제 6멀티플렉서(MUX6)의 래치동작을 제어하고, 제 6멀티플렉서(MUX6)는 데이타전송부(21)의 제 2플립플럽(FF2)으로부터 입력된 데이타를 제 9플립플럽(FF9)으로 래치하여 프레임번호로서 출력한다. 이때 FSC/MSC검출부(22)의 다른 앤드게이트(AND2)에는 제 6플립플럽(FF6)에서 출력된 고전위신호가 반전된 상태로 입력되므로 앤드게이트(AND2)는 저전위신호를 출력한다. 이 신호는 제 8플립플럽(FF8)을 통해 제 7멀티플렉서(MUX7)를 제어하므로 제 7멀티플렉서(MUX7)는 제 10플립플럽(FF10)으로부터 궤환된 데이타를 출력하여 현재 출력중인 데이타상태를 유지한다.
한편, MSC가 검출되면, 비교기(COMP2)에서 출력된 저전위신호가 제 5멀티플렉서(MUX5)와 제 6플립플럽(FF6)을 통해 앤드게이트(AND1)로 입력되므로 앤드게이트(AND1)는 저전위신호를 출력한다. 상기 저전위신호는 제 7플립플럽(FF7)을 통해 제 6멀티플렉서(MUX6)를 제어하고, 제 6멀티플렉서(MUX6)는 제 9플립플럽(FF9)으로부터 궤환된 데이타를 출력하여 현재의 상태를 유지한다. 이때 다른 앤드게이트(AND2)에는 제 6플립플럽(FF6)에서 출력된 저전위신호가 반전된 상태로 입력되므로 앤드게이트(AND2)는 고전위신호를 출력하여 제 8플립플럽(FF8)을 통해 제 7멀티플렉서(MUX7)를 제어한다. 제 7멀티플렉서(MUX7)는 데이타전송부(21)의 제 2플립플럽(FF2)으로부터 입력된 데이타를 래치하고, 이 데이타는 제 10플립플럽(FF10)을 통해 MMB어드레스, 즉 MMB번호로서 출력된다.
이와 같이 프레임번호 또는 MMB어드레스가 출력될때 판독신호발생부(24)의 제 11플립플럽(FF11)은 오아게이트(OR1)로부터 인가된 고전위신호에 의해 리세트된다. 즉, FSC/MSC검출부(22)에서 000001H의 데이타가 나타난 후 비교기(COMP1)에서 출력된 고전위신호가 앤드게이트(AND1)(AND2)로 입력될때 상기 고전위신호는 오아게이트(OR1)에도 인가된다. 오아게이트(OR1)는 다른 입력신호에 관계없이 고전위신호를 출력하고, 이 신호에 의해 제 11플립플럽(FF11)이 리세트되므로 저전위신호가 오아게이트(OR2)로 인가된다. 이때 제 4플립플럽(FF4)에서 출력된 고전위신호가 제 5플립플럽(FF5)을 거친 후 반전된 상태로 앤드게이트(AND3)로 입력되므로 앤드게이트(AND3)는 가변장복호화부(30)로부터 인가된 요구신호(RQST)에 관계없이 저전위신호를 출력한다. 이 저전위신호는 오아게이트(OR2)로 입력되고, 이로인해 오아게이트(OR2)에는 저전위신호만이 입력되므로 오아게이트(OR2)는 저전위신호를 출력한다. 이 저전위신호는 제 12플립플럽(FF12)을 통해 판독신호(READ)로서 FIFO메모리(10)로 인가되고, FIFO메모리(10)는 데이타 판독동작을 멈추게된다.
따라서, 가변장복호화 인터페이스부(20)는 가변장복호화부(30)에서 요구신호(RQST)를 보낼 경우에는 데이타전송부(21)의 제 3플립플럽(FF3)에 저장된 데이타를 내보내 주지만, 다음 MMB시작전까지 MMB데이타를 판독하지 않음으로써 MMB끝부분에 채워져 있는 비트스터핑된 데이타를 자동적으로 제거하게 된다. FSC나 MSC가 검출되지 않을 경우에는 비교기(COMP1)로부터 저전위신호가 출력되어 반전된 상태로 앤트게이트(AND3)로 입력된다. 그러므로 앤드게이트(AND3)는 가변장복호화부(30)로부터 인가된 요구신호(RQST)를 오아게이트(OR2)및 제 12플립플럽(FF12)을 통해 FIFO메모리(10)로 전송하여 데이타의 판독을 요구한다. MMB내에 버퍼의 언더플로우를 방지하기 위한 비트스터핑이 있는 경우에는 다이밍제어부(40)에서 비트스터핑된 갯수만큼의 요구신호를 강제로 발생시켜 데이타를 읽어내버림으로써 원래의 가변장부호화된 데이타가 원할히 복원되도록 한다. 한편, 비트스터핑이 없더라도 에러가 발생하여 현재 MMB데이타가 정상적으로 복원되지 않는 경우에는 전술된 것과 동일하게 다음 MMB데이타가 나올때까지 잔여데이타를 읽어내 버림으로써 에러발생시 잃어버린 동기를 되찾을 수 있도록 한다.
이상에서와 같이 본 발명은 FSC 및 MSC를 검출하고 이 검출신호를 이용하여 FIFO메모리 판독신호를 발생시키므로 데이타판독이 되지 않도록 하여 MMB의 끝부분에 채워진 비트스터핑된 데이타를 제거할 수 있다. 또, 비트스터핑이 없는 경우에도 에러가 발생하면 데이타 요구신호를 강제로 발생시켜 잔여데이타를 제거하므로 다음 MMB데이타가 나오기 전의 상태로 만들어 동기를 유지할 수 있는 효과가 있다.

Claims (11)

  1. FIFO메모리에서 판독된 영상데이타를 가변장복호화부로 전송하여 복호화하는 장치에 있어서, 타이밍제어부의 초기신호와 스타트신호에 따라 영상데이타의 MMB끝에 채워진 비트스터핑된 데이타를 제거하고 가변장복호화부로터 요구신호가 인가될때마다 영상데이타를 출력하는 가변장복호화 인터페이스부와; 가변장복호화 인터페이스부와 가변장복호화부에서 필요로하는 제어신호들을 발생시키는 타이밍제어부를 포함하는 것을 특징으로 하는 비트스터핑 제거장치.
  2. 제 1항에 있어서, 상기 가변장복호화 인터페이스부는 FIFO메모리에서 판독된 데이타를 판독신호 발생부의 제어신호에 따라 가변장복호화부로 전송하는 데이타전송부와; 타이밍제어부의 초기신호 및 스타트신호와 판독신호 발생부의 제어신호에 따라 FIFO메모리로부터 전송된 데이타와 설정된 값을 비교하여 현재 입력되는 데이타가 FSC인지 MSC인지를 판단하고 검출신호를 출력하는 FSC/MSC검출부와; 상기 FSC/MSC검출신호에 따라 데이타전송부로부터 인가된 데이타를 래치하여 프레임번호 또는 MMB어드레스를 출력하는 프레임/MMB번호 래치부와; 상기 FSC/MSC검출신호와 타이밍제어부의 스타트신호 및 리세트신호와 가변장복호화부의 요구신호등을 입력받아 FIFO메모리로 출력할 판독신호 및 제어신호를 발생시키는 판독신호 발생부로 구성하는 것을 특징으로 하는 비트스터핑 제거장치.
  3. 제 2항에 있어서, 상기 데이타전송부는 판독신호 발생부의 제어신호에 따라 새로 입력된 데이타를 출력하거나 현재의 데이타상태를 그대로 유지하는 제 1 내지 제 3멀티플렉서와; 각 멀티플렉서에서 출력된 데이타를 다른 멀티플렉서로 전송함과 아울러 다시 궤환시키는 제 1 내지 제 3플립플럽으로 구성하는 것을 특징으로 하는 비트스터핑 제거장치.
  4. 제 2항에 있어서, 상기 FSC/MSC검출부는 데이타전송부로부터 입력된 데이타와 설정값을 비교하는 제 1 및 제 2비교기와; 각 비교기에 연결되어 판독신호 발생부의 제어신호에 따라 해당 비교기의 출력데이타를 출력하거나 현재의 데이타상태를 유지하는 제 4 및 제 5멀티플렉서와; 각 멀티플렉서에서 출력된 데이타를 전송 및 궤환시키는 제 4및 제 6플립플럽과 타이밍제어부의 초기신호와 스타트신호를 부정논리합하여 제 4플립플럽을 인에이블시키는 노아게이트와; 제 4플립플럽의 출력데이타를 지연시켜 제 2검출신호로서 판독신호 발생부로 전송하는 제 5플립플럽과; 제 4플립플럽에서 출력된 제 1검출신호와 제 6플립플럽의 출력신호, 상기 제 1검출신호와 반전출력신호를 각각 논리곱하여 프레임/MMB번호 래치부로 출력하는 제 1및 제 2앤드게이트로 구성하는 것을 특징으로 하는 비트스터핑제거장치.
  5. 제 4항에 있어서, 상기 제 1비교기의 설정값은 000001H인 것을 특징으로 하는 비트스터핑 제거장치.
  6. 제 4항에 있어서, 상기 제 2비교기의 설정값은 00H인 것을 특징으로 하는 비트스터핑 제거장치.
  7. 제 6항에 있어서, 상기 제 2비교기는 데이타전송부로부터 입력된 데이타와 설정값이 같을 경우 FSC검출신호를 출력하고, 상기 입력데이타와 설정값이 다를 경우 MSC검출신호를 출력하도록 한 것을 특징으로 하는 비트스터핑 제거장치.
  8. 제 2항에 있어서, 상기 프레임/MMB번호 래치부는 FSC/MSC검출신호를 제 6및 제 7멀티플렉서로 각각 전송하는 제 7 및 제 8프립플럽과; 제7 플립플럽의 FSC/MSC검출신호에 따라 데이타전송부로부터 새로 입력된 데이타를 출력하거나 현재의 데이타상태를 유지하는 제 6멀티플렉서와; 제 6멀티플렉서의 출력데이타를 프레임번호로서 출력하거나 다시 궤환시키는 제 9플립플럽과; 제 8플립플럽의 FSC/MSC검출신호에 따라 데이타전송부로부터 새로 입력된 데이타를 출력하거나 현재의 데이타상태를 유지하는 제 7멀티플렉서와; 제 7멀티플렉서의 출력데이터를 MMB어드레스로서 출력하거나 다시 궤환시키는 제 10플립플럽으로 구성하는 것을 특징으로 하는 비트스터핑 제거장치.
  9. 제 2항에 있어서, 상기 판독신호 발생부는 FSC/MSC검출부의 제 1검출신호와 타이밍제어부의 리세트신호를 논리합하는 제 1검출신호와 타이밍제어부의 리세트신호를 논리합하는 제 1오아게이트와; 타이밍제어부의 스타트신호와 제 1오아게이트의 출력신호에 따라 동작하는 제 11플립플럽과; FSC/MSC검출부의 제 2검출신호와 가변장복호화부 또는 타이밍제어부로 부터의 요구신호를 논리곱하는 앤드게이트와; 상기 앤드게이트와 제 11플립플럽의 출력신호를 논리합하는 제 2오아게이트와; 제 2오아게이트의 출력신호를 판독신호서 FIFO메모리로 출력하는 제 12플립플럽과; 제 12플립플럽에서 출력된 판독신호를 제어신호로서 데이타전송부와 FSC/MSC검출부로 출력하는 제 13플립플럽으로 구성하는 것을 특징으로 하는 비트스터핑 제거장치.
  10. 제 1항에 있어서, 상기 타이밍제어부는 스타트신호와 초기신호를 이용하여 MSC와 FSC를 검출하는 MSC/FSC복호화기간과, MMB내의 다른 여러가지 헤더데이타 및 영상데이타를 복호화하는 MMB복호화기간을 구분하도록 한 것을 특징으로 하는 비트스터핑 제거장치.
  11. 제 1항에 있어서, 상기 타이밍제어부는 MMB내에 언더플로우 방지를 위한 비트스터핑이 있거나 비트스터핑이 없더라도 에러가 발생할 경우 소정갯수의 요구신호를 가변장복화 인터페이스부로 출력하여 비트스터핑된 데이타나 다음 MMB가 나올때가지의 잔여데이타를 제거하도록 한 것을 특징으로 하는 비트스터핑 제거장치.
KR1019940012227A 1994-05-31 1994-05-31 비트스터핑 제거장치 KR0148153B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1019940012227A KR0148153B1 (ko) 1994-05-31 1994-05-31 비트스터핑 제거장치
JP13235295A JP2718908B2 (ja) 1994-05-31 1995-05-30 ビット詰込みされたデータのための可変長復号化装置
DE1995635710 DE69535710T2 (de) 1994-05-31 1995-05-31 Dekodierer variabler Länge für bitgestopfte Daten
US08/454,738 US5566192A (en) 1994-05-31 1995-05-31 Variable-length decoder for bit-stuffed data
EP19950303726 EP0685970B1 (en) 1994-05-31 1995-05-31 Variable-length decoder for bit-stuffed data
CN95107135A CN1073307C (zh) 1994-05-31 1995-05-31 用于装满比特位的数据的可变长译码装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019940012227A KR0148153B1 (ko) 1994-05-31 1994-05-31 비트스터핑 제거장치

Publications (2)

Publication Number Publication Date
KR950035312A KR950035312A (ko) 1995-12-30
KR0148153B1 true KR0148153B1 (ko) 1998-09-15

Family

ID=19384411

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019940012227A KR0148153B1 (ko) 1994-05-31 1994-05-31 비트스터핑 제거장치

Country Status (6)

Country Link
US (1) US5566192A (ko)
EP (1) EP0685970B1 (ko)
JP (1) JP2718908B2 (ko)
KR (1) KR0148153B1 (ko)
CN (1) CN1073307C (ko)
DE (1) DE69535710T2 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0134299B1 (ko) * 1994-07-11 1998-04-29 김광호 가변장디코딩장치의 동기 복원방법 및 장치
KR960020018A (ko) * 1994-11-17 1996-06-17 배순훈 가변길이복호화장치
US6571361B1 (en) 1995-09-29 2003-05-27 Kabushiki Kaisha Toshiba Encoder and decoder
US6493838B1 (en) * 1995-09-29 2002-12-10 Kabushiki Kaisha Toshiba Coding apparatus and decoding apparatus for transmission/storage of information
US6415398B1 (en) * 1995-09-29 2002-07-02 Kabushiki Kaisha Toshiba Coding system and decoding system
FR2743969B1 (fr) * 1996-01-19 1998-04-10 Sgs Thomson Microelectronics Dispositif d'extraction de paramaetres de decodage d'un flux de donnees video codees selon une norme mpeg
US5953375A (en) * 1996-03-21 1999-09-14 Kabushiki Kaisha Toshiba Packing method, recording medium and transmitting and receiving apparatus for variable length data
US7054697B1 (en) * 1996-03-21 2006-05-30 Kabushiki Kaisha Toshiba Recording medium and reproducing apparatus for quantized data
JP3623056B2 (ja) * 1996-09-10 2005-02-23 ソニー株式会社 動画像圧縮装置
US5893094A (en) * 1997-07-25 1999-04-06 Claritech Corporation Method and apparatus using run length encoding to evaluate a database
DE69901665T2 (de) * 1998-05-22 2003-06-26 Koninkl Philips Electronics Nv Schreib/lesegerät zur nachrichtenübertragung mit transpondern, mit ersten und zweiten kodiermitteln
US6563879B1 (en) * 1999-05-17 2003-05-13 Lucent Technologies Inc. Method and apparatus for enabling transmission of variable length encoded data in a low signal to noise ratio environment
US6850568B1 (en) * 2000-01-12 2005-02-01 Sony Corporation Method and apparatus for decoding mpeg video signals
US6459738B1 (en) * 2000-01-28 2002-10-01 Njr Corporation Method and apparatus for bitstream decoding
US6839322B1 (en) * 2000-02-09 2005-01-04 Nortel Networks Limited Method and system for optical routing of variable-length packet data
GB2376856B (en) * 2001-06-21 2004-06-09 Omron Europ B V Signal processing system
JPWO2003003635A1 (ja) * 2001-06-27 2004-10-21 松下電器産業株式会社 無線送信装置及び無線受信装置
DE60214094T2 (de) 2001-07-19 2007-04-12 TransCore Link Logistics Corp., Mississauga Phasennachlaufeinrichtung für linear modulierte Signale
EP1580998A4 (en) * 2002-12-20 2010-09-15 Panasonic Corp METHOD FOR DATA SCREEN FORMAT CONVERSION AND RECORDING METHOD THEREFOR
CN101361140A (zh) * 2007-02-16 2009-02-04 爱德万测试株式会社 测试装置
WO2016082107A1 (zh) * 2014-11-25 2016-06-02 华为技术有限公司 一种共享界面的方法及终端设备
US9716515B2 (en) 2015-12-14 2017-07-25 International Business Machines Corporation Method for detecting end of record in variable length coded bit stream

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3804982A (en) * 1972-08-10 1974-04-16 Texas Instruments Inc Data communication system for serially transferring data between a first and a second location
JPS61158078A (ja) * 1984-12-28 1986-07-17 Sony Corp 情報再生装置
DE3939136A1 (de) * 1989-11-27 1991-05-29 Daimler Benz Ag Verfahren zur decodierung von codierten bilddaten
EP0471118B1 (en) * 1990-08-13 1995-12-20 Matsushita Electric Industrial Co., Ltd. A video signal digital recording and reproducing apparatus
EP0498081B1 (en) * 1991-01-21 1996-09-04 Koninklijke Philips Electronics N.V. Video coder/decoder with shift prevention for correctly decoded signal blocks
US5220325A (en) * 1991-03-28 1993-06-15 At&T Bell Laboratories Hierarchical variable length decoder for digital video data
US5241382A (en) * 1992-04-25 1993-08-31 General Instrument Corporation Digital HDTV data packet format and receiver therefor
KR950004129B1 (ko) * 1992-05-19 1995-04-25 주식회사금성사 가변장 부호 복호기
US5289577A (en) * 1992-06-04 1994-02-22 International Business Machines Incorporated Process-pipeline architecture for image/video processing
US5440345A (en) * 1992-07-17 1995-08-08 Kabushiki Kaisha Toshiba High efficient encoding/decoding system
JP3076462B2 (ja) * 1992-11-09 2000-08-14 松下電器産業株式会社 デジタル・ビデオ・コーダ用のバーサタイルな可変長コーダ
US5386212A (en) * 1992-11-19 1995-01-31 General Instrument Corporation Double buffer scheme for variable length decoder

Also Published As

Publication number Publication date
KR950035312A (ko) 1995-12-30
JPH0879090A (ja) 1996-03-22
US5566192A (en) 1996-10-15
EP0685970A2 (en) 1995-12-06
EP0685970A3 (en) 1996-10-30
CN1073307C (zh) 2001-10-17
DE69535710D1 (de) 2008-04-03
EP0685970B1 (en) 2008-02-20
CN1119377A (zh) 1996-03-27
JP2718908B2 (ja) 1998-02-25
DE69535710T2 (de) 2009-02-12

Similar Documents

Publication Publication Date Title
KR0148153B1 (ko) 비트스터핑 제거장치
KR0134299B1 (ko) 가변장디코딩장치의 동기 복원방법 및 장치
KR970005575B1 (ko) 비트레이트 감소 방법 및 그 회로 장치
US5636279A (en) Scramble apparatus and descramble apparatus
EP1995964A2 (en) Encoder and decoder
KR100203246B1 (ko) 고속의 가변장복호화장치
US7688895B2 (en) Method and/or circuit for binary arithmetic decoding decisions before termination
EP0095560B1 (en) Method for processing image data
EP0745289A1 (en) Syntax-based arithmetic coding for low bit rate videophone
US6055272A (en) Run length encoder
US6185339B1 (en) Bit stream analyzing method and apparatus
US5444490A (en) Television system for transmitting pictures in a digital form
KR20050074812A (ko) 전송 에러가 발생한 지점을 탐지하여 바르게 디코딩된데이터를 복원하는 디코딩 방법 및 그 디코딩 장치
JP2003528475A (ja) ビデオシーケンス内の冗長画像を検出するシステム
JPH0738893A (ja) ディジタルテレビジョン画像の送信又は記憶装置、ビデオレコーダー及び記憶媒体
EP0498081B1 (en) Video coder/decoder with shift prevention for correctly decoded signal blocks
KR0139163B1 (ko) 가변장복호화과정에 적용하는 동기맞춤장치
EP0703675B1 (en) Variable length decoding method and apparatus
JP3971008B2 (ja) 2値形状信号符号化/復号化装置
JP2794899B2 (ja) 符号化装置
EP0578308B1 (en) Television system for transmitting pictures in a digital form
KR0152026B1 (ko) 복호화시의 헤더검출방법 및 그 장치
KR970003803B1 (ko) 디지탈 압축 영상신호의 씨비피 처리 회로
KR0162202B1 (ko) 가변길이복호화방법 및 그 장치
KR0128863B1 (ko) 영상 복호기에서의 데이터 병렬 처리 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090429

Year of fee payment: 12

LAPS Lapse due to unpaid annual fee