KR101247597B1 - Apparatus and method for synchronizing mpeg data in broadcasting system - Google Patents

Apparatus and method for synchronizing mpeg data in broadcasting system Download PDF

Info

Publication number
KR101247597B1
KR101247597B1 KR1020050112975A KR20050112975A KR101247597B1 KR 101247597 B1 KR101247597 B1 KR 101247597B1 KR 1020050112975 A KR1020050112975 A KR 1020050112975A KR 20050112975 A KR20050112975 A KR 20050112975A KR 101247597 B1 KR101247597 B1 KR 101247597B1
Authority
KR
South Korea
Prior art keywords
data
synchronization
byte
mpeg
data block
Prior art date
Application number
KR1020050112975A
Other languages
Korean (ko)
Other versions
KR20070054889A (en
Inventor
고준원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020050112975A priority Critical patent/KR101247597B1/en
Publication of KR20070054889A publication Critical patent/KR20070054889A/en
Application granted granted Critical
Publication of KR101247597B1 publication Critical patent/KR101247597B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4346—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream involving stuffing data, e.g. packets or bytes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H2201/00—Aspects of broadcast communication
    • H04H2201/10—Aspects of broadcast communication characterised by the type of broadcast system
    • H04H2201/11—Aspects of broadcast communication characterised by the type of broadcast system digital multimedia broadcasting [DMB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

본 발명은 방송 시스템의 수신기에서 수신한 멀티미디어 데이터를 동기화하기 위한 장치 및 방법에 관한 것이다.

이를 위해 미리 설정된 크기를 가지는 데이터 블록 단위로 동기 데이터가 삽입된 MPEG 데이터를 입력으로 하고, 상기 입력 MPEG 데이터를 구성하는 각 데이터 블록의 첫 번째 바이트에 대응한 동기 데이터를 검출한다. 그리고 상기 동기 데이터가 검출된 경우, 상기 동기 데이터를 포함하여 미리 설정된 크기를 가지는 데이터 블록의 각 바이트를 내부 메모리에 데이터 블록 별로 할당된 영역에 바이트 디인터리빙 (Byte Deinterleaving)을 위한 저장 순서를 고려하여 순차적으로 기록한다. 상기 동기 데이터가 설정된 횟수만큼 연속하여 각 데이터 블록에 대응하여 상기 내부 메모리에 할당된 영역의 최초 바이트 기록 영역에 기록될 시에 상기 바이트 디인터리빙을 위한 동기화가 이루어졌음을 확인한다.

Figure R1020050112975

지상파 DMB, 지상파 DAB, MPEG 데이터

The present invention relates to an apparatus and method for synchronizing multimedia data received by a receiver of a broadcasting system.

To this end, MPEG data into which synchronization data is inserted is input in units of data blocks having a preset size, and the synchronization data corresponding to the first byte of each data block constituting the input MPEG data is detected. When the synchronization data is detected, considering the storage order for byte deinterleaving in the area allocated to each data block in the internal memory for each byte of the data block having the preset size including the synchronization data Record sequentially. When the synchronization data is recorded in the first byte recording area of the area allocated to the internal memory corresponding to each data block consecutively for a set number of times, it is confirmed that synchronization for the byte deinterleaving is performed.

Figure R1020050112975

Terrestrial DMB, Terrestrial DAB, MPEG Data

Description

방송 시스템에서의 엠팩 데이터 동기화 방법 및 장치{APPARATUS AND METHOD FOR SYNCHRONIZING MPEG DATA IN BROADCASTING SYSTEM}Method and apparatus for synchronizing MPEG data in a broadcasting system {APPARATUS AND METHOD FOR SYNCHRONIZING MPEG DATA IN BROADCASTING SYSTEM}

도 1은 지상파 디지털 오디오 방송 (DAB, Digital Audio Broadcasting)의 수신기를 나타낸 블록도1 is a block diagram showing a receiver of terrestrial digital audio broadcasting (DAB)

도 2는 지상파 디지털 멀티미디어 방송 (DMB, Digital Multimedia Broadcasting)의 수신기를 나타낸 블록도2 is a block diagram illustrating a receiver of terrestrial digital multimedia broadcasting (DMB).

도 3은 지상파 DMB에 이용되는 기본 프레임 구조를 나타낸 도면 3 is a diagram illustrating a basic frame structure used for terrestrial DMB.

도 4는 종래 엠팩 (MPEG, Moving Picture Experts Group) 데이터 동기화 방법을 설명하기 위한 개념도4 is a conceptual diagram illustrating a conventional method of synchronizing Moving Picture Experts Group (MPEG) data;

도 5는 본 발명의 바람직한 실시 예에 따른 MPEG 데이터 동기화 장치를 나타낸 블록도5 is a block diagram illustrating an apparatus for synchronizing MPEG data according to an embodiment of the present invention.

도 6a 및 도 6b는 본 발명의 MPEG 데이터 동기화 방법을 설명하기 위한 개념도6A and 6B are conceptual views illustrating a method of synchronizing MPEG data according to the present invention.

도 7은 본 발명의 바람직한 실시 예에 따른 MPEG 데이터 동기화 방법을 설명하기 위한 흐름도7 is a flowchart illustrating a method of synchronizing MPEG data according to an embodiment of the present invention.

본 발명은 방송 시스템의 수신기에 구비된 데이터 동기화 장치 및 방법에 관한 것으로, 특히 방송 시스템의 수신기에서 수신한 멀티미디어 데이터를 동기화하기 위한 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for synchronizing data provided in a receiver of a broadcasting system, and more particularly, to an apparatus and method for synchronizing multimedia data received from a receiver of a broadcasting system.

지상파 (Territorial) 디지털 멀티미디어 방송 (DMB, Digital Multimedia Broadcasting)은 지상파 디지털 오디오 방송 (DAB, Digital Audio Broadcasting)을 기반으로 하는 것으로, 고음질의 음성 및 데이터를 제공하기 위해 유레카 - 147(Eureka - 147)에 정의된 방송 시스템이다.Territorial Digital Multimedia Broadcasting (DMB) is based on Digital Terrestrial Digital Audio Broadcasting (DAB), which is used by Eureka 147 to provide high quality voice and data. It is defined broadcast system.

지상파 DAB는 디지털 오디오 방송용으로 표준이 제정된 것으로 오디오와 데이터 서비스만을 제공한다. Terrestrial DAB is a standard for digital audio broadcasting that provides only audio and data services.

도 1은 지상파 DAB의 수신기를 간략히 나타낸 블록도이다.1 is a block diagram schematically illustrating a receiver of a terrestrial DAB.

도 1을 참조하면, 지상파 DAB 수신기(100)에서, 안테나로 수신된 신호는 RF 단을 거쳐 복조기(101)에 의해 OFDM 복조 (Orthogonal Frequency-Division Multiplexing demodulation)된다. 상기 복조된 신호는 전송 시 발생하는 에러를 수정하기 위한 타임 디인터리버 (Time Deinterleaver)(103)와 비터비 디코더 (Viterbi Decoder)(105)를 통하여 채널 디코딩(Channel Decoding)된다. 이후, 오디오 신호는 뮤직 캠 (Music cam)(107)을 통하여 출력되고, 데이터 정보는 바로 출력된다. 이러한 지상파 DAB 에 멀티미디어 정보를 수용할 수 있도록 한 것이 지상파 DMB이다. 상기 지상파 DMB는 도 2에서와 같이 비터비 디코더(105) 뒤에 바이트 디인터리버(Byte Deinterleaver)(203)와 RS(Reed Solomon) 디코더(205), MPEG (Moving Picture Experts Group) 디코더(207)를 추가하여 멀티미디어 정보를 처리할 수 있다.Referring to FIG. 1, in the terrestrial DAB receiver 100, a signal received by an antenna is OFDM demodulated (Orthogonal Frequency-Division Multiplexing demodulation) by the demodulator 101 via an RF terminal. The demodulated signal is decoded through a time deinterleaver 103 and a Viterbi decoder 105 for correcting errors occurring in transmission. Thereafter, the audio signal is output through the music cam 107, and the data information is immediately output. Terrestrial DMB allows multimedia information to be accommodated in such terrestrial DAB. The terrestrial DMB includes a byte deinterleaver 203, a RS (Reed Solomon) decoder 205, and a moving picture expert group (MPEG) decoder 207 after the Viterbi decoder 105 as shown in FIG. To process multimedia information.

도 3은 지상파 DMB에 이용되는 기본 프레임 구조를 나타낸 도면이다. 3 is a diagram illustrating a basic frame structure used for terrestrial DMB.

도 3을 참조하면, 지상파 DMB는 지상파 DAB의 기본 프레임(Main Service Channel: MSC)(310)에 204 바이트로 RS 인코딩된 MPEG 데이터(320)를 삽입하는 방식을 이용한다. 이때, 기존 DAB의 표준에서는 도 3에서와 같이 MSC의 시작 위치(MSC sync)(311)는 규정되어 있다. 하지만, 지상파 DMB의 표준에서는 MPEG 데이터의 시작 위치(MPEG sync)(313)와 MSC의 시작 위치(MSC sync)(311)가 일치 되어야 한다는 규정이 없기 때문에 DMB의 MPEG 데이터는 MSC의 임의의 위치에 삽입될 수 있다.
따라서 MSC 시작 위치(311)와 MPEG 데이터(313)의 시작 위치가 동일하지 않을 수 있다. 만약 정확한 MPEG 데이터의 시작 위치를 찾지 못하면 디인터리빙(Deinterleaving)을 수행하는 바이트 디인터리버(203)에서 데이터의 순서를 틀리게 정렬하기 때문에 RS 디코더(205)와 MPEG 디코더(207) 다음 단에서의 모든 정보는 손상된다. 따라서 지상파 DMB 서비스를 이용하여 올바른 멀티미디어 방송을 시청하기 위해서는 기존의 지상파 DAB의 동기화 외에 MPEG 데이터의 정확한 시작 위치를 찾아야 하는 MPEG 동기화부(201)가 바이트 디인터리버(203) 전단에서 필요하게 된다.Referring to FIG. 3, the terrestrial DMB uses a method of inserting the RS-encoded MPEG data 320 into 204 bytes into a main service channel (MSC) 310 of the terrestrial DAB. At this time, in the standard of the existing DAB, the starting position (MSC sync) 311 of the MSC is defined as shown in FIG. However, since the terrestrial DMB standard does not specify that the start position (MPEG sync) 313 of the MPEG data and the start position (MSC sync) 311 of the MSC should be matched, the MPEG data of the DMB is located at an arbitrary position of the MSC. Can be inserted.
Therefore, the start position of the MSC start position 311 and the MPEG data 313 may not be the same. If the start position of the correct MPEG data is not found, the byte deinterleaver 203 performing deinterleaving aligns the data in the wrong order. Therefore, all information in the next stage of the RS decoder 205 and the MPEG decoder 207 Is damaged. Therefore, in order to watch the correct multimedia broadcast using the terrestrial DMB service, the MPEG synchronizer 201 that needs to find the correct starting position of the MPEG data in addition to the conventional terrestrial DAB synchronization is required in front of the byte deinterleaver 203.

한편, 상기 MPEG 데이터(320)는 도 3에 나타낸 바와 같이 204 바이트의 크기를 갖고 있으며, 상기 204 바이트는 188 바이트의 유효정보와 16 바이트의 패리티(Parity) 정보로 구성된다. MPEG 데이터(320)의 204 바이트 중 제일 처음 바이트(321)는 항상 "0x47"의 값을 갖는다. 상기 "0x47"값은 MPEG 데이터(320)가 시작되는 것을 나타내는 것으로, 이하 설명에서는 동기 데이터로 칭한다. 이와 같은 MPEG 데이터(320) 구조를 기반으로 동기화를 수행할 수 있다. Meanwhile, as shown in FIG. 3, the MPEG data 320 has a size of 204 bytes, and the 204 bytes are composed of 188 bytes of valid information and 16 bytes of parity information. The first byte 321 of the 204 bytes of the MPEG data 320 always has a value of "0x47". The value " 0x47 " indicates that the MPEG data 320 starts, which will be referred to as sync data in the following description. Synchronization may be performed based on the structure of the MPEG data 320 as described above.

삭제delete

도 4는 종래 MPEG 데이터 동기화 방법을 설명하기 위한 개념도이다. 여기서 도 2와 동일한 장치는 동일한 참조부호로 나타내었음을 유의해야 한다.4 is a conceptual diagram illustrating a conventional method of synchronizing MPEG data. It should be noted that the same apparatus as in FIG. 2 is indicated by the same reference numeral.

도 4를 참조하면, 비터비 디코더(105)에서 출력된 바이트 단위의 데이터가 MPEG 동기화부(201)에 입력된다. 먼저 "0x47" 검출기(0x47 Detector)(401)에서 "0x47"를 찾고, "0x47"을 찾으면 주기가 204(0~203)인 204 카운터(Counter)(403)가 동작한다. 이후로 데이터가 입력될 때마다 상기 204 카운터(403)가 1씩 증가 하게 된다. 204 카운터(403)가 계속 증가하여 다시 "0"이 되었을 때 입력되는 값이 "0x47"이라면 주기가 N(0 ~ N-1)인 N 카운터(N Counter)(405)가 1씩 증가한다. 이때 N 값은 사용자가 몇 번의 패킷 동안 검사를 반복할지 나타내는 값이다.
일반적으로 3 패킷 동안 연속해서 "0x47"이 맞으면 동기가 맞았다고 볼 수 있다.
따라서 입력되는 데이터에 대해 위와 같은 동작을 계속하고, N 패킷 동안 연속하여 204 바이트마다 "0x47"이 입력되면 MPEG 동기가 맞았다고 판단하여, 비터비 디코더(105)의 출력 데이터를 바이트 디인터리버(203)로 전송한다. 만약 N 패킷 내에서 "0x47"이 204 바이트 간격으로 발생하지 않으면 처음 찾은 "0x47"이 MPEG 데이터의 처음 값이 아니라고 판단하여 재 동기 과정에 들어간다.Referring to FIG. 4, the byte unit data output from the Viterbi decoder 105 is input to the MPEG synchronizer 201. First, a "0x47" detector (0x47 Detector) 401 finds "0x47", and if "0x47" is found, the 204 counter (403) with a period of 204 (0 ~ 203) is operated. Thereafter, whenever the data is input, the 204 counter 403 is incremented by one. 204 When the counter 403 continues to increase and becomes "0" again, if the input value is "0x47", the N counter 405 having a period of N (0 to N-1) is incremented by one. At this time, N value indicates how many packets the user should repeat the inspection.
In general, if "0x47" is correct for 3 consecutive packets, the synchronization is correct.
Therefore, the above operation is continued with respect to the input data, and when "0x47" is input every 204 bytes continuously for N packets, it is determined that the MPEG synchronization is correct, and the output data of the Viterbi decoder 105 is converted into the byte deinterleaver 203. To send). If "0x47" does not occur at intervals of 204 bytes in the N packet, it is determined that the first found "0x47" is not the first value of MPEG data, and then enters the resynchronization process.

상술한 바와 같은 방법은 MPEG 동기를 찾는 기본에는 충실하다. 하지만, 별도의 카운터, 즉 204 카운터(403)와 N 카운터(405)가 필요하기 때문에 로직이 커지게 된다. 또한 N 값 동안 비터비 디코더(105)의 출력에 대해 동기 검사만을 수행하고, N 값 이후에 동기를 찾아서 바이트 디인터리빙을 수행하므로, 동기 검사를 하는 N 패킷 동안의 데이터를 잃어버리게 된다.The method as described above is true to the basics of finding MPEG synchronization. However, since a separate counter, 204 counter 403 and N counter 405, is required, the logic becomes large. In addition, since only the synchronous check is performed on the output of the Viterbi decoder 105 during the N value, and the byte deinterleaving is performed after the N value is found, the data for the N packet during the synchronous check is lost.

따라서 본 발명의 목적은 방송 시스템의 수신기에서 동기 검출과 바이트 디인터리빙을 동시에 수행하는 동기화 방법 및 장치를 제공함에 있다.Accordingly, an object of the present invention is to provide a synchronization method and apparatus for simultaneously performing synchronization detection and byte deinterleaving in a receiver of a broadcasting system.

본 발명의 다른 목적은 방송 시스템의 수신기의 복잡도를 감소시키는 동기화 방법 및 장치를 제공함에 있다.Another object of the present invention is to provide a synchronization method and apparatus for reducing the complexity of a receiver of a broadcasting system.

본 발명의 또 다른 목적은 방송 시스템의 수신기에서 동기 검출 시 폐기되는 데이터가 발생하는 것을 방지할 수 있는 동기화 방법 및 장치를 제공함에 있다.Still another object of the present invention is to provide a synchronization method and apparatus capable of preventing generation of discarded data when synchronization is detected in a receiver of a broadcasting system.

상기 목적을 달성하기 위한 본 발명의 실시 예에 따른 방송 시스템의 수신기에서 MPEG (Moving Picture Experts Group) 데이터의 바이트 디인터리빙을 위한 동기화 방법은, 미리 설정된 크기를 가지는 데이터 블록 단위로 동기 데이터가 삽입된 MPEG 데이터를 입력으로 하는 MPEG 데이터 입력 단계와, 상기 입력 MPEG 데이터를 구성하는 각 데이터 블록의 첫 번째 바이트에 대응한 동기 데이터를 검출하는 동기 데이터 검출 단계와, 상기 동기 데이터가 검출된 경우, 상기 동기 데이터를 포함하여 미리 설정된 크기를 가지는 데이터 블록의 각 바이트를 내부 메모리에 데이터 블록 별로 할당된 영역에 바이트 디인터리빙 (Byte Deinterleaving)을 위한 저장 순서를 고려하여 순차적으로 기록하는 MPEG 데이터 저장 단계 및 상기 동기 데이터가 설정된 횟수만큼 연속하여 각 데이터 블록에 대응하여 상기 내부 메모리에 할당된 영역의 최초 바이트 기록 영역에 기록될 시에 상기 바이트 디인터리빙을 위한 동기화가 이루어졌음을 확인하는 확인 단계를 포함한다.A synchronization method for byte deinterleaving of moving picture expert groups (MPEG) data in a receiver of a broadcasting system according to an embodiment of the present invention for achieving the above object is that the synchronization data is inserted in units of data blocks having a predetermined size. An MPEG data input step of inputting MPEG data, a synchronous data detection step of detecting synchronous data corresponding to the first byte of each data block constituting the input MPEG data, and the synchronous data if the synchronous data is detected MPEG data storage step and synchronization in which each byte of a data block having a predetermined size including data is sequentially recorded in an area allocated for each data block in internal memory in consideration of the storage order for byte deinterleaving Each data in succession the set number of times A confirmation step of confirming that synchronization for the byte deinterleaving has been made when the first byte recording area of the area allocated to the internal memory corresponding to the block is written.

상기 목적을 달성하기 위한 본 발명의 실시 예에 따른 방송 시스템의 수신기에서 MPEG (Moving Picture Experts Group) 데이터의 바이트 디인터리빙을 위한 동기화 장치는, 미리 설정된 크기를 가지는 데이터 블록 단위로 동기 데이터가 삽입된 MPEG 데이터를 입력으로 하고, 상기 입력 MPEG 데이터를 구성하는 각 데이터 블록의 첫 번째 바이트에 대응한 동기 데이터를 검출하는 동기 데이터 검출기와, 상기 동기 데이터 검출기에 의해 동기 데이터가 검출될 시, 바이트 디인터리빙 (Byte Deinterleaving)을 위한 저장 순서를 고려하여 상기 동기 데이터를 포함하여 미리 설정된 크기를 가지는 데이터 블록의 각 바이트를 기록할 메모리 주소를 생성하는 주소 생성기와, 내부 메모리를 구비하고, 상기 내부 메모리에 각 데이터 블록에 대응한 기록 영역을 할당하고, 상기 동기 데이터를 포함하여 미리 설정된 크기를 가지는 데이터 블록의 각 바이트를 상기 주소 생성기에 의해 생성된 메모리 주소에 대응한 상기 내부 메모리의 영역에 기록하며, 각 데이터 블록에 대응하여 할당된 기록 영역의 최초 바이트 기록 영역에 설정된 횟수만큼 연속하여 동기 데이터가 기록될 시 상기 바이트 디인터리빙을 위한 동기화가 이루어졌다고 판단하는 바이트 디인터리버(Byte Deinterleaver)를 포함한다.A synchronization device for byte deinterleaving of Moving Picture Experts Group (MPEG) data in a receiver of a broadcasting system according to an embodiment of the present invention for achieving the above object, wherein synchronization data is inserted in units of data blocks having a predetermined size. A synchronous data detector which takes MPEG data as an input and detects synchronous data corresponding to the first byte of each data block constituting the input MPEG data, and byte deinterleaving when synchronous data is detected by the synchronous data detector. An address generator for generating a memory address for recording each byte of a data block having a predetermined size including the synchronization data in consideration of a storage order for byte deinterleaving, an internal memory, and each of the internal memory Allocate a recording area corresponding to a data block, and synchronize Write each byte of the data block having a predetermined size including data into the area of the internal memory corresponding to the memory address generated by the address generator, and write the first byte of the allocated recording area corresponding to each data block. And a byte deinterleaver for determining that synchronization for the byte deinterleaving has been performed when the synchronization data is continuously recorded the number of times set in the area.

이하 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다. 하기 설명에서 구체적인 특정사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해 제공된 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a detailed description of preferred embodiments of the present invention will be given with reference to the accompanying drawings. It should be noted that the same configurations of the drawings denote the same reference numerals as possible whenever possible. Specific details are set forth in the following description, which is provided to provide a more thorough understanding of the present invention. In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

본 발명은 방송 시스템의 수신기에서 별도의 카운터 없이 검출기와 바이트 디인터리버를 이용하여 MPEG 데이터 동기화를 수행할 수 있는 방법을 제안한다. 이하, 본 발명에 따른 MPEG 데이터 동기 장치를 설명한 후, 그에 따른 MPEG 데이터 동기화 방법을 설명하기로 한다.The present invention proposes a method in which a receiver of a broadcasting system can perform MPEG data synchronization using a detector and a byte deinterleaver without a separate counter. Hereinafter, after describing the MPEG data synchronization device according to the present invention, the MPEG data synchronization method will be described.

도 5는 본 발명의 바람직한 실시 예에 따른 MPEG 데이터 동기화 장치(500)를 나타낸 블록도이다.5 is a block diagram illustrating an MPEG data synchronization apparatus 500 according to a preferred embodiment of the present invention.

도 5를 참조하면, MPEG 데이터 동기화 장치(500)는 수신된 MPEG 데이터의 '0x47' 값을 찾아 데이터의 처음 위치를 찾는 0x47 검출기(501)와, MPEG 데이터의 바이트 디인터리빙을 수행하는 바이트 디인터리버(505)와, 상기 수신된 MPEG 데이터를 상기 바이트 디인터리버(505)의 내부 메모리에 실제 저장할 위치를 결정하는 주소 생성기(503)로 구성된다.Referring to FIG. 5, the MPEG data synchronizing apparatus 500 includes a 0x47 detector 501 which finds a value of '0x47' of received MPEG data and finds an initial position of the data, and a byte deinterleaver that performs byte deinterleaving of MPEG data. 505, and an address generator 503 that determines a location for actually storing the received MPEG data in the internal memory of the byte deinterleaver 505.

삭제delete

도 6a 및 도 6b는 본 발명의 MPEG 데이터 동기화 방법을 설명하기 위한 개념도이다.
도 6a에서 점선으로 표시된 부분은 도 5의 MPEG 데이터 동기화 장치(500) 중 바이트 디인터리버(505)의 메모리 구조를 상세히 나타낸 것이다.
도 6a를 참조하면, 가지(Row)는 12의 주기를 갖고, 각 가지(ROW)는 17 바이트의 차이를 갖는다. 따라서 빗금 친 부분(601)에 상응한 메모리 크기는 204(= 12 x 17) 바이트가 된다. 참조부호 D1, D2, D3은 소정 크기 (204 바이트)를 가지는 MPEG 데이터 블록을 나타낸다. 상기 소정 크기 (204 바이트)를 가지는 MPEG 데이터 블록 D1, D2, D3은 순서대로 0x47 검출기(501)와 바이트 디인터리버(505)에 입력된다. 도 6b는 도 6a의 601 영역을 좀 더 상세히 도시한 도면이다. 도 6b에서는 상기 빗금 친 부분(601)의 메모리 부분을 바이트 단위로 구분하여 나타내었다.6A and 6B are conceptual views illustrating a method of synchronizing MPEG data according to the present invention.
6A illustrates a detailed memory structure of the byte deinterleaver 505 of the MPEG data synchronization apparatus 500 of FIG. 5.
Referring to FIG. 6A, branches have a period of 12, and each branch ROW has a difference of 17 bytes. Thus, the memory size corresponding to hatched portion 601 is 204 (= 12 x 17) bytes. Reference numerals D1, D2, and D3 denote MPEG data blocks having a predetermined size (204 bytes). The MPEG data blocks D1, D2, and D3 having the predetermined size (204 bytes) are input to the 0x47 detector 501 and the byte deinterleaver 505 in order. 6B is a view illustrating region 601 of FIG. 6A in more detail. In FIG. 6B, memory portions of the hatched portion 601 are shown in bytes.

그러면 도 6a 및 도 6b를 이용하여 본 발명에 따른 MPEG 데이터 동기화 방법을 설명하기로 한다. 6A and 6B, a method of synchronizing MPEG data according to the present invention will be described.

우선 비터비 디코더(105)의 출력 데이터인 MPEG 데이터들(D1, D2, D3...) 중 처음 "0x47" 값을 포함하는 MPEG 데이터 블록인 D1을 찾으면, 상기 D1의 첫 번째 바이트를 바이트 디인터리버(505)의 처음 가지의 첫 위치(611)에 기록한다. 다음으로 입력된 D1의 두 번째 바이트는 다음 가지(613)의 첫 위치(613)에 기록된다. 이렇게 계속하여 진행하면, 마지막 가지의 첫 위치(615)에 상기 D1의 12 번째 바이트가 기록될 것이다. 상기 마지막 가지(615)에는 개념적으로 데이터를 기록한다고 하였다. 하지만, 이 위치에는 메모리가 없으므로 실제로 데이터가 기록되지 않고 바이패스(Bypass) 되어 출력된다.First, when MPEG data block D1 including the first "0x47" value is found among the MPEG data D1, D2, D3 ... that are output data of the Viterbi decoder 105, the first byte of the D1 is decoded into a byte decode. The first position 611 of the first branch of the interleaver 505 is recorded. The second byte of the next input D1 is recorded at the first position 613 of the next branch 613. If you continue this way, the 12th byte of D1 will be recorded in the first position 615 of the last branch. The last branch 615 is said to be conceptually recorded data. However, since there is no memory at this location, data is not written but is bypassed and output.

그 후에 입력되는 D1의 13 번째 바이트는 첫 번째 가지의 두 번째 위치(617)에 기록된다. 이와 같은 순서로 입력되는 D1의 바이트를 계속하여 저장하면, 204 번째 데이터는 12 번째 가지의 마지막 위치(619)에 기록된다.
다음에 입력되는 바이트가 "0x47"임을 확인하면, 처음 찾은 "0x47"이 MPEG 데이터의 처음 바이트라 가정할 수 있다. 따라서 계속하여 수신되는 D2의 204 바이트 값들을 두 번째 영역(603) 내에 순차적으로 기록한다.
상기 D2를 구성하는 204 바이트 값들을 두 번째 영역(603)에 모두 기록한 후, "0x47"의 입력을 확인하면, 계속하여 수신한 D3의 204 바이트 값들을 세 번째 영역(605) 내에 순차적으로 기록한다. 즉 바이트 디인터리빙을 위해 MPEG 데이터를 바이트 단위로 기록하면서 동시에 T1, T2, T3 각각에 상응한 지점에서 동기를 검증할 수 있게 된다.The thirteenth byte of D1, which is then input, is written to the second position 617 of the first branch. If the bytes of D1 inputted in this order are stored continuously, the 204th data is recorded at the last position 619 of the 12th branch.
If it is confirmed that the next byte input is "0x47", it can be assumed that the first found "0x47" is the first byte of MPEG data. Therefore, the 204 byte values of D2, which are continuously received, are sequentially recorded in the second area 603.
After all of the 204 byte values constituting the D2 are recorded in the second region 603, when inputting "0x47" is confirmed, the 204 byte values of the received D3 are sequentially recorded in the third region 605. . That is, the MPEG data can be recorded in byte units for byte deinterleaving, and at the same time, the synchronization can be verified at points corresponding to T1, T2, and T3.

예컨대, 바이트 디인터리버(505)에 첫 번째 MPEG 데이터로 D1이 입력되는 경우, 상기 D1의 "0x47"이 검출되면, 첫 번째 영역(601) 내 첫 번째 가지의 첫 번째 위치(611)에 수신한 D1의 첫 번째 바이트가 기록된다. 그 이후 D1의 마지막 바이트가 첫 번째 영역(601) 내에 12 번째 가지의 마지막 위치(619)에 저장될 때까지 상술한 동작은 반복적으로 수행될 것이다.
다음으로 두 번째 MPEG 데이터 D2가 입력되면, 상기 D2의 "0x47"을 검출한 후, 두 번째 영역(603) 내에 첫 번째 가지의 첫 번째 위치에 수신한 D2의 첫 번째 바이트를 기록한다. 그 후 D1의 마지막 바이트, 즉 204 번째 바이트가 두 번째 영역(603) 내 12 번째 가지의 마지막 위치에 저장될 때까지 상술한 동작은 반복적으로 수행될 것이다.For example, when D1 is input to the byte deinterleaver 505 as first MPEG data, when "0x47" of the D1 is detected, the first position 611 of the first branch in the first area 601 is received. The first byte of D1 is written. The above operation will then be performed repeatedly until the last byte of D1 is stored in the last position 619 of the twelfth branch in the first region 601.
Next, when the second MPEG data D2 is input, after detecting "0x47" of the D2, the first byte of the received D2 is recorded in the first position of the first branch in the second region 603. The above operation will then be performed repeatedly until the last byte of D1, ie the 204th byte, is stored at the last position of the 12th branch in the second area 603.

처음 "0x47"을 찾은 이후 204 바이트 뒤에 "0x47"이 들어오지 않는 경우는 두 가지 경우에 해당한다고 예측될 수 있다.
첫 번째는 동기를 잘못 찾은 경우, 즉 처음 찾은 "0x47"이 MPEG 데이터의 처음 바이트가 아닌 경우이고, 두 번째는 원래의 신호는 "0x47"이었지만 잡음으로 인해 신호가 변형되어 잘못 인식된 경우이다.
따라서, 보통 한 번의 판단으로 재 동기 여부를 결정할 수는 없다. 예컨대 소정 횟수 (N)만큼 같은 동작을 반복하여 계속하여 "0x47"이 나오지 않으면, 동기 검출이 잘못되었으므로 재 동기 과정을 수행하여야 한다. 여기서 N은 시스템에 따라 달리 설정할 수 있다. 일반적으로 N이 3인 경우를 가정한다. 한편 본 발명에서는 동기 검출과 디인터리빙을 동시에 수행할 수 있으므로, 계속 동기 검출 과정을 수행할 수도 있다.After finding "0x47" for the first time, "0x47" does not come after 204 bytes.
In the first case, the synchronization is found incorrectly, that is, the first found "0x47" is not the first byte of the MPEG data. In the second case, the original signal is "0x47", but the signal is deformed due to noise and misrecognized.
Therefore, it is not usually possible to determine whether to resynchronize with one judgment. For example, if "0x47" does not come out repeatedly by repeating the same operation for a predetermined number of times (N), the synchronization detection is wrong and a resynchronization process should be performed. Where N can be set differently depending on the system. In general, assume that N is 3. Meanwhile, in the present invention, since the synchronization detection and the deinterleaving can be performed at the same time, the synchronization detection process can be continuously performed.

본 발명은 별도의 카운터가 필요 없이 바이트 디인터리빙을 수행하고, 연속해서 "0x47"을 찾지 못하면 그때 새로운 "0x47"을 찾아서 새롭게 디인터리빙을 시작한다.The present invention performs byte deinterleaving without the need for a separate counter, and if no "0x47" is found in succession, then a new "0x47" is searched to start a new deinterleaving.

삭제delete

도 7은 본 발명의 바람직한 실시 예에 따른 MPEG 데이터 동기화 장치(500)에서의 MPEG 데이터 동기화 방법을 설명하기 위한 흐름도이다.
도 7을 참조하면, MPEG 데이터 동기화 장치(500)는 701단계에서 수신 MPEG 데이터에서 "0x47"을 검출한다. 상기 701단계에서 "0x47"이 검출되면, 703단계로 진행하여 상기 수신 MPEG 데이터에 대해 바이트 디인터리빙을 수행한다. 그러나 "0x47"이 검출되지 않으면, 계속 동기 검출을 위해 "0x47"을 검출하게 된다.7 is a flowchart illustrating a method of synchronizing MPEG data in the apparatus 500 for synchronizing data according to an exemplary embodiment of the present invention.
Referring to FIG. 7, the MPEG data synchronization apparatus 500 detects "0x47" in received MPEG data in step 701. If "0x47" is detected in step 701, the process proceeds to step 703 to perform byte deinterleaving on the received MPEG data. However, if "0x47" is not detected, "0x47" will be detected for synchronous detection.

그런 후 MPEG 데이터 동기화 장치는 705단계에서 바이트 디인터리버(505) 메모리의 소정 위치, 즉 상기 "0x47"을 검출한 후 204 번째 바이트를 기록한 후에 다음 "0x47"을 검출한다. 그러면 동기 검출이 완전하게 맞는지 확인하기 위해 707단계에서 소정 횟수 N이상 예측되는 위치에서 "0x47"가 종확하게 검출되었는지를 확인한다. 만약 N번 이상 "0x47"가 검출되면, 703단계로 진행하여 계속 바이트 디인터리빙을 수행한다. 그렇지 않은 경우, 동기가 잘못되었으므로 701단계로 진행하여 재 동기 과정을 다시 수행하게 된다.Then, the MPEG data synchronization apparatus detects a predetermined position of the byte deinterleaver 505 memory, that is, "0x47" in step 705, and then records the next "0x47" after recording the 204th byte. Then, in step 707, it is checked whether "0x47" is correctly detected at the position predicted by N or more times in order to confirm whether the synchronization detection is completely correct. If "0x47" is detected more than N times, the process proceeds to step 703 to continue byte deinterleaving. Otherwise, since the synchronization is incorrect, the process proceeds to step 701 to perform the resynchronization process again.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐 아니라 이 특허청구의 범위와 균등한 것들에 의해서 정해져야 한다.While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments, but is capable of various modifications within the scope of the invention. Therefore, the scope of the present invention should not be limited by the described embodiments, but should be determined by the scope of the appended claims and equivalents thereof.

상술한 바와 같이 본 발명은 바이트 디인터리버의 메모리 구조를 이용하여 동기 검출을 수행하므로 불필요한 카운터를 제거할 수 있게 되어 장치의 복잡도를 감소시킬 수 있다. 또한 본 발명은 바이트 디인터리빙을 수행하면서 동시에 MPEG 데이터의 동기를 찾을 수 있다. 따라서 동기를 찾는 과정에서 불필요하게 데이터를 폐기하는 것을 방지하여 낭비되는 데이터를 줄일 수 있다.As described above, since the present invention performs synchronization detection using the memory structure of the byte deinterleaver, unnecessary counters can be eliminated, thereby reducing the complexity of the apparatus. The present invention can also find synchronization of MPEG data while performing byte deinterleaving. Therefore, unnecessary data can be discarded in the process of finding synchronization, thereby reducing wasted data.

Claims (10)

방송 시스템의 수신기에서 MPEG (Moving Picture Experts Group) 데이터의 바이트 디인터리빙을 위한 동기화 방법에 있어서, In the synchronization method for byte deinterleaving of MPEG (Moving Picture Experts Group) data in a receiver of a broadcasting system, 미리 설정된 크기를 가지는 데이터 블록 단위로 동기 데이터가 삽입된 MPEG 데이터를 입력으로 하는 MPEG 데이터 입력 단계;An MPEG data input step of inputting MPEG data into which synchronization data is inserted in units of a data block having a preset size; 상기 입력 MPEG 데이터를 구성하는 각 데이터 블록의 첫 번째 바이트에 대응한 동기 데이터를 검출하는 동기 데이터 검출 단계;A synchronization data detection step of detecting synchronization data corresponding to the first byte of each data block constituting the input MPEG data; 상기 동기 데이터가 검출된 경우, 상기 동기 데이터를 포함하여 미리 설정된 크기를 가지는 데이터 블록의 각 바이트를 내부 메모리에 데이터 블록 별로 할당된 영역에 바이트 디인터리빙 (Byte Deinterleaving)을 위한 저장 순서를 고려하여 순차적으로 기록하는 MPEG 데이터 저장 단계; 및When the synchronization data is detected, the respective bytes of the data block having the predetermined size including the synchronization data are sequentially stored in consideration of a storage order for byte deinterleaving in an area allocated to each data block in the internal memory. MPEG data storage step of recording with; And 상기 동기 데이터가 설정된 횟수만큼 연속하여 각 데이터 블록에 대응하여 상기 내부 메모리에 할당된 영역의 최초 바이트 기록 영역에 기록될 시에 상기 바이트 디인터리빙을 위한 동기화가 이루어졌음을 확인하는 확인 단계를 포함함을 특징으로 하는 MPEG 데이터 동기화 방법. A confirmation step of confirming that synchronization for the byte deinterleaving is performed when the synchronization data is recorded in the first byte recording area of the area allocated to the internal memory corresponding to each data block consecutively for a set number of times; MPEG data synchronization method characterized in that. 제 1 항에 있어서, The method of claim 1, 상기 내부 메모리에 데이터 블록 별로 할당된 영역은 복수의 가지 (N)와 각 가지 별로 복수의 위치 (M)로 구성되어 상기 미리 설정된 크기를 가지는 데이터 블록을 구성하는 바이트 수 (N*M)의 기록이 가능한 크기를 가짐을 특징으로 하는 MPEG 데이터 동기화 방법.The area allocated for each data block in the internal memory is composed of a plurality of branches (N) and a plurality of positions (M) for each branch to write the number of bytes (N * M) constituting a data block having the preset size. MPEG data synchronization method characterized in that it has a possible size. 삭제delete 삭제delete 제 1 항에 있어서, The method of claim 1, 상기 동기 데이터가 연속하여 설정된 횟수만큼 검출되지 않은 경우, 상기 동기 데이터 검출 단계 내지 상기 확인 단계를 반복하는 MPEG 데이터 동기화 방법. And repeating the detecting of the synchronous data to the checking step when the synchronous data is not detected a predetermined number of times in succession. 방송 시스템의 수신기에서 MPEG (Moving Picture Experts Group) 데이터의 바이트 디인터리빙을 위한 동기화 장치에 있어서, A synchronization device for byte deinterleaving of moving picture experts group (MPEG) data in a receiver of a broadcasting system, 미리 설정된 크기를 가지는 데이터 블록 단위로 동기 데이터가 삽입된 MPEG 데이터를 입력으로 하고, 상기 입력 MPEG 데이터를 구성하는 각 데이터 블록의 첫 번째 바이트에 대응한 동기 데이터를 검출하는 동기 데이터 검출기;A sync data detector configured to input MPEG data into which sync data is inserted in units of a data block having a preset size and to detect sync data corresponding to the first byte of each data block constituting the input MPEG data; 상기 동기 데이터 검출기에 의해 동기 데이터가 검출될 시, 바이트 디인터리빙 (Byte Deinterleaving)을 위한 저장 순서를 고려하여 상기 동기 데이터를 포함하여 미리 설정된 크기를 가지는 데이터 블록의 각 바이트를 기록할 메모리 주소를 생성하는 주소 생성기; 및When synchronous data is detected by the synchronous data detector, in consideration of the storage order for byte deinterleaving, a memory address for recording each byte of a data block having a preset size including the synchronous data is generated. An address generator; And 내부 메모리를 구비하고, 상기 내부 메모리에 각 데이터 블록에 대응한 기록 영역을 할당하고, 상기 동기 데이터를 포함하여 미리 설정된 크기를 가지는 데이터 블록의 각 바이트를 상기 주소 생성기에 의해 생성된 메모리 주소에 대응한 상기 내부 메모리의 영역에 기록하며, 각 데이터 블록에 대응하여 할당된 기록 영역의 최초 바이트 기록 영역에 설정된 횟수만큼 연속하여 동기 데이터가 기록될 시 상기 바이트 디인터리빙을 위한 동기화가 이루어졌다고 판단하는 바이트 디인터리버(Byte Deinterleaver)를 포함하는 MPEG 데이터 동기화 장치.An internal memory, allocating a recording area corresponding to each data block to the internal memory, and each byte of a data block having a preset size including the synchronization data corresponds to a memory address generated by the address generator A byte which is recorded in an area of the internal memory and judges that synchronization for the byte deinterleaving has been performed when synchronization data has been recorded continuously for the number of times set in the first byte recording area of the recording area allocated corresponding to each data block. MPEG data synchronization device including a deinterleaver. 제 6 항에 있어서,The method of claim 6, 상기 내부 메모리에 데이터 블록 별로 할당된 영역은 복수의 가지 (N)와 각 가지 별로 복수의 위치 (M)로 구성되어 상기 미리 설정된 크기를 가지는 데이터 블록을 구성하는 바이트 수 (N*M)의 기록이 가능한 크기를 가짐을 특징으로 하는 MPEG 데이터 동기화 장치. The area allocated for each data block in the internal memory is composed of a plurality of branches (N) and a plurality of positions (M) for each branch to write the number of bytes (N * M) constituting a data block having the preset size. MPEG data synchronization device characterized in that it has a possible size. 삭제delete 삭제delete 삭제delete
KR1020050112975A 2005-11-24 2005-11-24 Apparatus and method for synchronizing mpeg data in broadcasting system KR101247597B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050112975A KR101247597B1 (en) 2005-11-24 2005-11-24 Apparatus and method for synchronizing mpeg data in broadcasting system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050112975A KR101247597B1 (en) 2005-11-24 2005-11-24 Apparatus and method for synchronizing mpeg data in broadcasting system

Publications (2)

Publication Number Publication Date
KR20070054889A KR20070054889A (en) 2007-05-30
KR101247597B1 true KR101247597B1 (en) 2013-03-26

Family

ID=38276496

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050112975A KR101247597B1 (en) 2005-11-24 2005-11-24 Apparatus and method for synchronizing mpeg data in broadcasting system

Country Status (1)

Country Link
KR (1) KR101247597B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000045627A (en) * 1998-12-30 2000-07-25 김영환 Segment synchronous detector for high definition television and memory share apparatus for de-interleaver
KR20010081320A (en) * 2000-02-12 2001-08-29 구자홍 Synchronizing signal detecting apparatus for digital television

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000045627A (en) * 1998-12-30 2000-07-25 김영환 Segment synchronous detector for high definition television and memory share apparatus for de-interleaver
KR20010081320A (en) * 2000-02-12 2001-08-29 구자홍 Synchronizing signal detecting apparatus for digital television

Also Published As

Publication number Publication date
KR20070054889A (en) 2007-05-30

Similar Documents

Publication Publication Date Title
CN102210143B (en) Sub-channel acquisition in a digital television receiver designed to receive mobile/handheld signals
KR101370889B1 (en) Digital broadcasting system and processing method
KR101208509B1 (en) Digital broadcasting system and processing method
JP5483082B2 (en) Receiving apparatus and method, program, and receiving system
US20100158047A1 (en) Urgent packet transmission/reception apparatus and method for digital broadcast system
KR20070055671A (en) Digital broadcasting system and processing method
US8737432B2 (en) Transmitting and receiving system to transmit and receive AVSB data, and processing methods thereof
US8929444B2 (en) Data communication unit, data communication network and method of decoding
TWI471012B (en) Transmission concept for an access unit stream
US20080025389A1 (en) Method and Apparatus for False Sync Lock Detection in a Digital Media Receiver
US9037934B2 (en) Demultiplexing a packet-based transport stream
KR101247597B1 (en) Apparatus and method for synchronizing mpeg data in broadcasting system
EP2940909A1 (en) Advanced dab fec processing in packet mode utilizing tokens
US7929529B2 (en) Digital broadcasting system and data processing method thereof
BRPI0722371A2 (en) digital broadcast reception apparatus and flow processing method for a digital broadcast reception apparatus
JP3712422B2 (en) Method and apparatus for encoding, transmitting and decoding digital data
KR101304092B1 (en) Method and apparatus for buffering and decoding received data in a receiver of digital video broadcasting system
WO2016203968A1 (en) Broadcast receiver, method, and program
JP2007067532A (en) Digital broadcast receiver
JP3152667B2 (en) Data channel receiver
JP2005286763A (en) Receiving device
KR101012373B1 (en) apparatus and method for processing enhanced data in Enhanced-8VSB transmission system
KR100793963B1 (en) Digital broadcasting system and method for data processing
KR20150011299A (en) transmitting apparatus and receiving apparatus and signal processing method thereof
KR100840565B1 (en) Method for Delineating Packets in Digital Audio/Multimedia Broadcasting DAB/DMB Receiver Systems

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160226

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee