KR100797474B1 - Record-Playback system of Digital Audio and Video Stream - Google Patents

Record-Playback system of Digital Audio and Video Stream Download PDF

Info

Publication number
KR100797474B1
KR100797474B1 KR1020060030104A KR20060030104A KR100797474B1 KR 100797474 B1 KR100797474 B1 KR 100797474B1 KR 1020060030104 A KR1020060030104 A KR 1020060030104A KR 20060030104 A KR20060030104 A KR 20060030104A KR 100797474 B1 KR100797474 B1 KR 100797474B1
Authority
KR
South Korea
Prior art keywords
packet data
pcr
picture
buffer
stream
Prior art date
Application number
KR1020060030104A
Other languages
Korean (ko)
Other versions
KR20070099118A (en
Inventor
임진석
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020060030104A priority Critical patent/KR100797474B1/en
Publication of KR20070099118A publication Critical patent/KR20070099118A/en
Application granted granted Critical
Publication of KR100797474B1 publication Critical patent/KR100797474B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343Extraction or processing of packetized elementary streams [PES]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

본 발명은 타임스탬프가 삽입되지 않은 디지털 스트림을 저장/재생하는 방법 및 장치에 관한 것으로서,The present invention relates to a method and apparatus for storing / playing a digital stream without a time stamp inserted therein.

타임스탬프(Time Starmp)가 삽입되지 않은 스트림 및 상기 스트림으로부터 재생시 필요한 인덱스 정보를 저장하는 저장부와; 상기 저장부에 저장된 재생할 디지털 스트림의 인덱스 정보를 참고하여 재생할 픽처 타입을 선택하고, 상기 픽처에 해당하는 STC(System Time Clock) 초기값을 설정하고, 상기 재생할 비디오/오디오 패킷 데이터의 시작위치를 탐색 및 판독하기 위해 디코딩하기 위해 전송하는 재생부와; 상기 재생부를 통해 전송된 패킷 데이터를 버퍼에 저장하고, 상기 저장된 패킷 데이터를 디코딩하는 디코더부와; 상기 디코더부의 버퍼 상태에 따라, 상기 재생부로부터 전송되는 패킷 데이터의 비트율을 제어하는 신호를 출력하는 제어부를 포함하여 구성되는 디지털 방송 수신기 및 디지털 스트림 저장/재생 방법을 제공한다. 본 발명에 의하면, 디지털 스트림에 타임스탬프를 삽입하여 저장함으로써 발생하는 오류 및 저장공간 낭비를 방지할 수 있는 장점이 있다. A storage unit for storing a stream to which a time stamp is not inserted and index information required for reproduction from the stream; Select a picture type to be played by referring to index information of a digital stream to be stored stored in the storage, set an initial value of a system time clock (STC) corresponding to the picture, and search for a start position of the video / audio packet data to be played. And a playback section for transmitting for decoding for reading; A decoder unit for storing the packet data transmitted through the reproduction unit in a buffer and decoding the stored packet data; And a control unit for outputting a signal for controlling a bit rate of the packet data transmitted from the reproduction unit according to the buffer state of the decoder unit. According to the present invention, there is an advantage of preventing errors and waste of storage space caused by inserting and storing time stamps in a digital stream.

타임스탬프, 버퍼 오버플로우, 데이터 패킷, 디지털 스트림, 방송 수신기 Timestamp, buffer overflow, data packet, digital stream, broadcast receiver

Description

디지털 스트림 저장/재생 방법 및 그를 위한 장치{ Record-Playback system of Digital Audio and Video Stream }Method for storing / playing digital streams and apparatus therefor {Record-Playback system of Digital Audio and Video Stream}

도 1은 본 발명의 적용에 따른 디지털 방송 수신기의 개략적인 내부 구성도.1 is a schematic internal configuration diagram of a digital broadcast receiver according to the application of the present invention;

도 2는 본 발명의 적용에 따른 디지털 스트림 저장/재생 방법을 도시한 흐름도. 2 is a flow chart illustrating a digital stream storage / playback method in accordance with the application of the present invention.

도 3은 본 발명의 적용에 따른 인덱스 정보와 패킷 데이터가 기록장치에 저장된 위치의 상관관계를 나타낸 상태도.Figure 3 is a state diagram showing the correlation between the index information and the position where the packet data is stored in the recording apparatus according to the application of the present invention.

도 4는 본 발명의 적용에 따른 참조 PCR(Program Clock Reference)를 추출하는 방식을 나타낸 상태도. 4 is a state diagram showing a method of extracting a reference PCR (Program Clock Reference) according to the application of the present invention.

도 5는 본 발명에 따른 패킷 데이터 전송에 따른 비디오 버퍼의 상태를 나타낸 그래프. 5 is a graph illustrating a state of a video buffer according to packet data transmission according to the present invention.

본 발명은 디지털 트랜스포트 스트림의 저장/재생 장치에 관한 것으로, 특히 각 트랜스포트 패킷에 타임스탬프를 삽입하지 않고 저장하고, 재생 시 디코더의 클록 복원 및 버퍼 상태 제어를 효율적으로 수행할 수 있는 장치 및 그 방법에 관한 것이다. The present invention relates to an apparatus for storing / reproducing a digital transport stream, and in particular, an apparatus capable of storing the transport without inserting a time stamp in each transport packet and efficiently performing clock recovery and buffer state control of a decoder during reproduction. It's about how.

일반적으로 디지털 비디오의 압축 및 전송 시스템으로 널리 이용되고 있는 MPEG(Moving Picture Expert Group) 시스템 규격의 데이터 포맷은 프로그램 스트림(Program Stream)과 트랜스포트 스트림(Transport Stream)으로 구별된다. In general, the data format of the Moving Picture Expert Group (MPEG) system standard, which is widely used as a digital video compression and transmission system, is divided into a program stream and a transport stream.

상기 프로그램 스트림은 전송시 오류가 적은 저장매체 등에 이용되며, 트랜스포트 스트림은 디지털 방송 등에 이용된다. 이때, 정해진 데이터 패킷 길이를 가지지 않는 프로그램 스트림과 달리, 트랜스포트 스트림은 188 바이트 크기의 일정한 패킷(Packet) 전송 단위를 가진다. The program stream is used for a storage medium having less error in transmission, and the transport stream is used for digital broadcasting. In this case, unlike the program stream having no fixed data packet length, the transport stream has a constant packet transmission unit having a size of 188 bytes.

즉, MPEG의 시스템 규격에 따르면 트랜스포트 패킷은 188 바이트의 일정한 크기의 패킷 구조를 가지며, 일반적인 디지털 방송에서는 이 규격에 따라 디지털 방송을 서비스하고 있다. That is, according to the MPEG system standard, a transport packet has a packet structure of a constant size of 188 bytes. In general digital broadcasting, digital broadcasting is serviced according to this standard.

최근 들어, 하드디스크(HDD)와 같은 대용량의 저장 매체를 이용해 트랜스포트 스트림을 저장하고, 재생할 수 있는 PVR(Personal Video Recorder) 장치가 각광을 받고 있는데, 이러한 추세는 MPEG 규격에 따르는 방송 시스템은 물론 MPEG 규격에서 벗어난 다중화 시스템을 이용하는 방송 시스템을 막론하고 확산되고 있다. Recently, a personal video recorder (PVR) device capable of storing and playing transport streams using a large storage medium such as a hard disk (HDD) has been in the spotlight. It is spreading regardless of a broadcasting system using a multiplexing system that is outside the MPEG standard.

상기 PVR은 단순한 영상 저장과 재생(Record-Play)은 물론, 순간 멈춤과 재연(Slow Forward), 빠른 역 재생(Fast Reverse), 느린 역 재생(Slow Reverse Play), 비선형 재생(Nonlinear Play) 등의 기능을 제공한다. The PVR can be used for simple video recording and playback, as well as for instant pause and slow forward, fast reverse, slow reverse play, nonlinear play, and the like. Provide the function.

종래의 디지털 스트림 저장/재생 장치는 트랜스포트 스트림 패킷에 입력 시점을 나타내는 타임스탬프를 삽입하여, 상기 디지털 스트림을 재생할 경우, 클록 복원 및 재생 비트율 조절 등에 이용한다. Conventional digital stream storage / reproducing apparatus inserts a timestamp indicating an input time point into a transport stream packet, and is used for clock recovery and reproduction bit rate adjustment when reproducing the digital stream.

종래 기술에 따른 디지털 스트림 저장/재생 장치는 타임 스탬프를 삽입 단계에서 발생할 수 있는 디지털 스트림 저장매체의 긁힘 등으로 인한 손상 또는 저장매체의 읽기, 쓰기 동작 중의 에러에 의해 기록된 타임스탬프에 오류가 발생할 경우 비트스트림 버퍼의 언더플로우(underflow) 또는 오버플로어(overflow)를 유발하여 프로그램의 화면 또는 음성이 원활히 재생되지 않는 문제점이 있다. The digital stream storage / playback apparatus according to the prior art may cause an error in a timestamp recorded due to damage due to scratching or the like of a digital stream storage medium that may occur at the time of inserting a timestamp or an error during reading or writing of the storage medium. In this case, there is a problem that the screen or the voice of the program is not reproduced smoothly by causing an underflow or an overflow of the bitstream buffer.

또한, 종래 기술에 따른 디지털 스트림 저장/재생 장치는 타임스탬프 삽입에 따른 저장공간의 증가 문제, 쓰기 또는 읽기 과정 중에 발생할 수 있는 타임스탬프의 오류에 의한 재생불량이 발생하는 문제점이 있다. In addition, the digital stream storage / playback apparatus according to the prior art has a problem of an increase in storage space due to the insertion of a timestamp and a poor playback due to an error of a timestamp that may occur during a writing or reading process.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 디지털 스트림에 타임스탬프를 삽입하여 저장함에 따른 저장공간의 증가문제 및 읽기/쓰기 과정 중에 발생할 수 있는 타임스탬프 오류에 의한 재생 불량 문제를 방지하기 위한 디지털 스트림 저장/재생 방법을 제공함에 있다. SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and an object of the present invention is to increase the storage space by inserting and storing a timestamp in a digital stream, and to play back poorly due to a timestamp error that may occur during a read / write process. The present invention provides a method of storing / playing a digital stream to prevent a problem.

상기한 목적을 달성하기 위한 본 발명에 따른 방송 수신기의 일 특징은, One feature of the broadcast receiver according to the present invention for achieving the above object is,

타임스탬프가 삽입되지 않은 디지털 스트림 및 상기 스트림으로부터 재생시 필요한 인덱스 정보를 저장하는 저장부와; 상기 저장부에 저장된 재생할 디지털 스트림의 인덱스 정보를 참고하여 재생할 픽처 타입을 선택하고, 상기 픽처에 해당하는 STC(System Time Clock) 초기값을 설정하고, 상기 재생할 비디오/오디오 패킷 데이터의 시작위치를 탐색 및 판독하기 위해 디코딩하기 위해 전송하는 재생부와; 상기 재생부를 통해 전송된 패킷 데이터를 버퍼에 저장하고, 상기 저장된 패킷 데이터를 디코딩하는 디코더부와; 상기 디코더부의 버퍼 상태에 따라, 상기 재생부로부터 전송되는 패킷 데이터의 비트율을 제어하는 신호를 출력하는 제어부를 포함하여 구성되는 것이다. A storage unit for storing a digital stream having no time stamp inserted therein and index information required for reproduction from the stream; Select a picture type to be played by referring to index information of a digital stream to be stored stored in the storage, set an initial value of a system time clock (STC) corresponding to the picture, and search for a start position of the video / audio packet data to be played. And a playback section for transmitting for decoding for reading; A decoder unit for storing the packet data transmitted through the reproduction unit in a buffer and decoding the stored packet data; And a controller for outputting a signal for controlling a bit rate of packet data transmitted from the reproduction unit according to the buffer state of the decoder unit.

또한, 상기한 목적을 달성하기 위한 본 발명에 따른 디지털 스트림 저장/재생 방법의 일 특징은, In addition, one feature of the digital stream storage / playback method according to the present invention for achieving the above object,

타임스탬프가 삽입되지 않은 디지털 스트림 및 상기 스트림으로부터 재생시 필요한 인덱스 정보를 저장하는 단계와; 상기 저장된 디지털 스트림을 재생하기 위해 재생모드를 설정하는 단계와; 상기 설정된 모드에 따라, 재생할 픽처에 해당하는 STC(System Time Clock) 초기값을 설정하는 단계와; 상기 재생할 패킷 데이터를 디코딩하기 위해 전송하는 단계와; 상기 전송된 패킷 데이터를 버퍼에 임시 저장하는 단계와; 상기 버퍼 상태에 따라 상기 전송되는 패킷 데이터의 비트율을 제어하는 단계를 포함하여 이루어지는 것이다. Storing a digital stream having no time stamp inserted therein and index information required for reproduction from the stream; Setting a playback mode to play the stored digital stream; Setting an initial value of a system time clock (STC) corresponding to a picture to be reproduced according to the set mode; Transmitting the decoded packet data for decoding; Temporarily storing the transmitted packet data in a buffer; And controlling the bit rate of the transmitted packet data according to the buffer state.

보다 바람직하게, 상기 인덱스 정보는 상기 스트림으로부터 프로그램 접근 단위인 각 픽처의 타입, 해당 픽처의 패킷 데이터의 시작지점인 픽처 인덱스 및 그 픽처의 시스템 클록 정보인 참조 PCR(Program Clock Reference) 값 등을 포함한다. More preferably, the index information includes a type of each picture that is a program access unit from the stream, a picture index that is a start point of packet data of the picture, a reference program clock reference (PCR) value that is system clock information of the picture, and the like. do.

보다 바람직하게, 상기 재생 모드는 단순 영상 저장과 재생(Record-Play), 순간 멈춤과 재연(Pause-Resume), 시간 지연 재생(Time-shifting Play), 빠른 재생(Fast Forward), 느린 재생(Slow Forward), 빠른 역 재생(Fast Reverse), 느린 역 재생(Slow Reverse Play), 비선형 재생(Nonlinear Play)을 포함한다. More preferably, the playback mode is simple video recording and playback (Record-Play), Pause-Resume, Time-shifting Play, Fast Forward, Slow Playback (Slow) Forward, Fast Reverse, Slow Reverse Play, Nonlinear Play.

보다 바람직하게, 상기 STC(System Time Clock) 초기값은 재생하고자하는 픽처의 참조 PCR 값을 이용하여 설정한다. More preferably, the STC initial value is set using a reference PCR value of a picture to be reproduced.

보다 바람직하게, 상기 참조 PCR 인덱스 정보는 저장할 패킷 데이터 입력 시점 이전의 PCR 패킷에 의해 전송된 PCR 값을 나타내는 PCR(ORG) 값과, 다운로드 제어부의 자체 STC 카운터에 PCR(ORG)를 초기화한 이후 저장 패킷 데이터의 입력시점까지 시스템 클록에 의해 증가된 값인 D(PCR) 값의 합으로 계산된다. More preferably, the reference PCR index information is stored after initializing the PCR (ORG) value indicating the PCR value transmitted by the PCR packet before the input of the packet data to be stored and the STC counter of the download control unit. It is calculated as the sum of the D (PCR) values, which is the value incremented by the system clock until the point of time of packet data entry.

보다 바람직하게, 상기 패킷 데이터 전송단계는 오디오 디코더 및 비디오 디코더의 입력 버퍼상태를 참고하여 버퍼가 풀(full) 상태가 될 때까지 전송하고, 상기 버퍼가 풀(full) 상태가 되면 상기 패킷 데이터 전송을 중단하도록 제어한다. More preferably, the packet data transmission step refers to the input buffer state of the audio decoder and the video decoder until the buffer is in a full state, and transmits the packet data when the buffer is in the full state. Control to stop.

보다 바람직하게, 상기 패킷 전송 중단 후, 계속 버퍼 상태를 체크하여 상기 버퍼 상태에 따라 전송 중단을 해제하는 단계를 더 포함한다. More preferably, after stopping the packet transmission, the method may further include checking the buffer status and releasing the interruption according to the buffer status.

본 발명의 다른 목적, 특징 및 이점들은 첨부한 도면을 실시한 예들의 상세한 설명을 통해 명백해질 것이다. Other objects, features and advantages of the present invention will become apparent from the following detailed description of the accompanying drawings.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예의 구성과 그 작용을 설명하며, 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시 예로서 설명되는 것이며, 이것에 의해서 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다. Hereinafter, with reference to the accompanying drawings illustrating the configuration and operation of the embodiment of the present invention, the configuration and operation of the present invention shown in the drawings and described by it will be described by at least one embodiment, By the technical spirit of the present invention described above and its core configuration and operation is not limited.

도 1은 본 발명의 적용에 따른 디지털 방송 수신기의 개략적인 내부 구성도이고, 도 2는 본 발명의 적용에 따른 디지털 스트림 저장/재생 방법을 도시한 흐름 도이다. 1 is a schematic internal configuration diagram of a digital broadcast receiver according to an application of the present invention, and FIG. 2 is a flow diagram illustrating a digital stream storage / reproduction method according to an application of the present invention.

도 1을 보면, 본 발명의 적용에 따른 방송 수신기는, 키입력부(110), 프로그램 필터(120), 제어부(140), 저장부(140), 재생부(150), 디코더부(160)를 포함한다. Referring to FIG. 1, a broadcast receiver according to an embodiment of the present invention includes a key input unit 110, a program filter 120, a control unit 140, a storage unit 140, a playback unit 150, and a decoder unit 160. Include.

키입력부(110)는 사용자에 의해 입력된 프로그램 선택 신호를 수신한다. 상기 입력된 신호는 제어부(130)를 거쳐 프로그램 필터(120)로 전달되고, 상기 신호를 수신한 프로그램 필터(120)는 상기 선택신호에 따라, 해당 프로그램을 필터링하여 저장부(140)에 저장한다. The key input unit 110 receives a program selection signal input by the user. The input signal is transmitted to the program filter 120 through the controller 130, and the program filter 120 receiving the signal filters the corresponding program according to the selection signal and stores the program in the storage 140. .

상기 저장부(140)는 상기 프로그램 필터(120)를 통해 필터링된 패킷 데이터를 타임스탬프 삽입 없이 지정된 위치에 저장한다. 또한, 저장부(140)는 저장되는 패킷 데이터의 참조 PCR과 픽처 인덱스를 추출하여 제어부로 전달함으로써, 재생시 이용하도록 한다. 또한, 상기 저장부(140)는 재생시 디지털 스트림을 디코더부(160)가 디코딩할 수 있는 패킷 단위로 처리한다. The storage unit 140 stores the packet data filtered by the program filter 120 at a designated position without inserting a time stamp. In addition, the storage unit 140 extracts the reference PCR and the picture index of the stored packet data and transfers the extracted picture indexes to the control unit to be used for reproduction. In addition, the storage unit 140 processes the digital stream in packet units that can be decoded by the decoder unit 160 during reproduction.

통상, 상기 저장부(140)에 저장된 비디오 데이터 중 디지털 방송에 의해 전송된 비디오 스트림은 트랜스포트 패킷의 시스템 구조를 가지며, 188 바이트(즉, MPEG 규격의 트랜스포트 패킷) 또는 130 바이트 (DSS 규격의 트랜스포트 패킷)와 같이 여러 가지 패킷 크기를 가진다. 또한, 인터넷 등의 네트워크를 통해 얻어진 비디오 스트림은 트랜스포트 스트림 또는 프로그램 스트림의 시스템 구조를 가지게 된다. 그리고 DVD, VCD의 기존 저장매체에 기록되어 있는 비디오 스트림은 프로그램 스트림의 시스템 구조를 가지게 된다. In general, a video stream transmitted by digital broadcasting among video data stored in the storage 140 has a system structure of a transport packet, and may be 188 bytes (ie, an MPEG standard transport packet) or 130 bytes (DSS standard). Transport packet), and has various packet sizes. In addition, a video stream obtained through a network such as the Internet has a system structure of a transport stream or a program stream. Video streams recorded on existing storage media of DVDs and VCDs have a system structure of program streams.

위에 열거한 디지털 비디오 스트림 이외의 다른 종류의 디지털 비디오 스트림 또한 MPEG 규격 또는, 그와 유사한 패킷 구조와 크기를 가진다면 본 발명에서 제안하는 방법에 의해 재생 가능하게 된다. Other types of digital video streams other than the above-mentioned digital video streams can also be reproduced by the method proposed by the present invention if they have a packet structure and size of the MPEG standard or the like.

제어부(130)는 각 장치의 동작 모드를 설정하거나 장치 간의 유기적인 상태를 제어하는 역할을 한다. The controller 130 sets an operation mode of each device or controls an organic state between the devices.

또한, 제어부(130)는 재생을 시작하고, 사용자에 의해 저장할 프로그램이 선택되면, 저장부에 그 프로그램에 해당하는 PCR PID, 비디오 PID, 오디오 PID를 설정하여 프로그램이 저장되도록 하고, 재생시 선택된 프로그램의 저장 위치 등을 포함하는 인덱스 정보를 탐색하여 재생부(150)에 그 위치를 설정하여 재생되도록 제어한다. In addition, the controller 130 starts playback, and when a program to be stored is selected by the user, the controller 130 sets the PCR PID, video PID, and audio PID corresponding to the program to be stored in the storage unit, and stores the program. Search for index information including the storage location of the control unit and set the location in the playback unit 150 to control playback.

재생부(150)는 제어부(130)가 설정한 관련 정보를 이용하여 해당 프로그램의 데이터 패킷을 업로드함으로써, 디코더부(150)로 전송하여 디지털 스트림을 재생한다. The reproduction unit 150 uploads the data packet of the program using the related information set by the control unit 130, transmits the data packet to the decoder unit 150, and reproduces the digital stream.

재생이 시작되면, 제어부(130)는 키입력부(110)를 통해 입력된 선택신호에 따라 재생모드를 설정한다[S210, S220]. When playback starts, the controller 130 sets the playback mode according to the selection signal input through the key input unit 110 [S210, S220].

상기 재생 모드는 단순 영상 저장과 재생(Record-Play), 순간 멈춤과 재연(Pause-Resume), 시간 지연 재생(Time-shifting Play), 빠른 재생(Fast Forward), 느린 재생(Slow Forward), 빠른 역 재생(Fast Reverse), 느린 역 재생(Slow Reverse Play), 비선형 재생(Nonlinear Play)을 포함하며, 상기 설정된 재생모드에 따라 재생할 픽처의 타입 및 개수가 결정된다. The playback mode is simple video recording and playback (Record-Play), Pause-Resume, Time-shifting Play, Fast Forward, Slow Forward, Slow Fast reverse, slow reverse play, and nonlinear play are included, and the type and number of pictures to be played are determined according to the set playback mode.

제어부(130)는 상기 결정에 따라, 재생할 픽처의 참조 PCR을 디코더부(160)에 설정하여 디코더 STC 카운터를 초기화한다[S230].In response to the determination, the controller 130 sets the reference PCR of the picture to be reproduced in the decoder unit 160 to initialize the decoder STC counter [S230].

제어부(130)는 재생할 픽처의 패킷 데이터 시작 위치를 재생부(140)에 설정하고, 상기 재생부(140)는 설정된 패킷 시작위치로부터 비디오 패킷과 그에 상응하는 오디오 패킷을 업로드하여 디코더부(160)로 전송한다[S240]. The controller 130 sets the packet data start position of the picture to be reproduced in the playback unit 140, and the playback unit 140 uploads a video packet and an audio packet corresponding thereto from the set packet start position, and then the decoder unit 160. Transmit to [S240].

데이터 패킷이 디코더부(160)로 전송되면 버퍼링하기 위해 엘리먼트 스트림(Element Stream: ES) 버퍼가 채워진다. When the data packet is transmitted to the decoder unit 160, an element stream (ES) buffer is filled for buffering.

일반적으로 오디오 디코더는 버퍼를 이용하지 않고, 내부 FIFO(First Input First Output)를 이용하여 디코딩을 진행한다. 그러나 비디오 디코더는 비디오 버퍼에 일정량의 비디오 엘리먼트 스트림(Video Element Stream: VES)를 축적한 이후에 디코딩을 진행한다. 비디오 버퍼에 오버플로우가 발생하지 않기 위해서는 상기 버퍼 상태에 따라 일정한 비트율을 유지하며 스트림을 입력하여야 한다[S250]. In general, the audio decoder does not use a buffer but decodes using an internal first input first output (FIFO). However, the video decoder performs decoding after accumulating a certain amount of video element streams (VESs) in the video buffer. In order to prevent the overflow of the video buffer, a stream must be input while maintaining a constant bit rate according to the buffer state [S250].

상기 버퍼(161)가 풀(full) 상태이면 제어부(130)는 재생부(150)로 전송중단 명령을 내린다[S260, S270]. 상기 재생부(150)는 제어부(130)의 전송중단 명령이 었으면, 재생할 오디오 및 비디오 패킷 데이터를 최대 속도로 전송한다. If the buffer 161 is in a full state, the controller 130 issues a transmission stop command to the playback unit 150 [S260, S270]. The playback unit 150 transmits the audio and video packet data to be reproduced at the maximum speed when the transmission stop command is received by the controller 130.

한편, 버퍼 풀(full) 상태가 해소되면 전송중단 요청을 해지하여 다음 단계를 진행하고, 그렇지 않은 경우 전송중단을 유지한다[S280].On the other hand, if the buffer full state is resolved, the transfer stop request is canceled, and the next step is proceeded. Otherwise, the transfer stop is maintained [S280].

상기 전송중단이 해지되면, 재생이 완료되었는지를 확인하여 재생을 종료한다[S290].When the transmission stop is terminated, the playback is terminated by checking whether the playback is completed [S290].

디코더부(160)는 상기 재생부(150)를 통해 전송된 패킷 데이터를 버퍼에서 버퍼링한 후, 상기 데이터를 디코딩하기 위해 오디오 디코더(162) 및 비디오 디코더(163)로 전송한다. The decoder 160 buffers the packet data transmitted through the playback unit 150 in a buffer and transmits the packet data to the audio decoder 162 and the video decoder 163 to decode the data.

상기 디코더부(160)는 스트림의 종류에 따라, MPEG 또는 DSS 트랜스포트 역다중화기일 수도 있으며, DVD 또는 VCD 프로그램 스트림 디코더일 수도 있다. The decoder 160 may be an MPEG or DSS transport demultiplexer or a DVD or VCD program stream decoder, depending on the type of the stream.

본 발명은 앞서 언급한 디지털 비디오 스트림의 종류에 한정하여 실시 예를 보이고 있으나, 디코더부(160)의 요구에 따라 재생부(150)의 패킷 단위는 달라질 수 있다. The present invention is limited to the above-described types of digital video streams, but the packet unit of the reproduction unit 150 may vary according to the request of the decoder 160.

도 3은 본 발명의 적용에 따른 인덱스 정보와 패킷 데이터가 기록장치에 저장된 위치의 상관관계를 나타낸 상태도이다,3 is a state diagram showing the correlation between the index information and the position where the packet data is stored in the recording apparatus according to the application of the present invention,

(a)는 픽처 인덱스를 나타낸 것이고, (b)는 픽처를 저장하는 저장 매체의 상태를 나타낸 것이다. 인덱스 정보는 픽처 타입, 참조 PCR, 해당 픽처의 비디오 패킷 데이터의 저장위치를 나타내는 인덱스로 구성된다. 픽처 타입은 I(Intra), P(Predictive), B(Bidirectional)의 형태로 표현되며, 각 픽처의 저장위치는 해당픽처(ptr)의 형태로 표현된다. (a) shows the picture index, and (b) shows the state of the storage medium storing the picture. The index information is composed of a picture type, a reference PCR, and an index indicating a storage location of video packet data of the picture. The picture type is expressed in the form of I (Intra), P (Predictive), B (Bidirectional), and the storage location of each picture is expressed in the form of a corresponding picture (ptr).

도 4는 본 발명의 적용에 따른 참조 PCR 추출방식을 나타낸 상태도이다. 4 is a state diagram showing a reference PCR extraction method according to the application of the present invention.

참조 PCR은 도 4와 같이 추출하여 계산한다. 각 픽처에 해당하는 패킷 데이터가 입력되기 전의 PCR 값인 PCR(ORG)와 그 PCR(ORG)로부터 해당 픽처의 패킷 데이터의 입력 시점까지의 시간인 D(PCR)에 의해 다음 수학식 1과 같이 계산된다. Reference PCR is extracted and calculated as shown in FIG. 4. It is calculated as shown in Equation 1 by PCR (ORG), which is a PCR value before packet data corresponding to each picture is input, and D (PCR), which is the time from the PCR (ORG) to the input time of packet data of the picture. .

상기 D(PCR)은 PCR(ORG)를 재생부의 자체 시스템 타임 클록 (System Time Clock : STC) 카운터에 초기값으로 설정하고, 저장할 패킷 데이터를 입력시점까지 STC 클록에 의해 STC 카운터를 증가시켜서 계산한다. The D (PCR) sets PCR (ORG) as an initial value in the regeneration unit's own System Time Clock (STC) counter, and calculates the packet data to be stored by incrementing the STC counter by the STC clock until the input point. .

Figure 112006023254646-pat00001
Figure 112006023254646-pat00001

도 5는 본 발명에 따른 패킷 데이터 전송에 따른 비디오 버퍼의 상태를 나타낸 그래프이다. 5 is a graph illustrating a state of a video buffer according to packet data transmission according to the present invention.

도 5를 참조하면, B는 버퍼의 전체 크기를 나타내며, B1은 디코딩 픽처에 해당하는 비트 량인 d1을 버퍼에서 제거한 후의 버퍼 상태를 나타낸다. Referring to FIG. 5, B represents the total size of the buffer, and B1 represents the buffer state after removing d1, which is an amount of bits corresponding to the decoded picture, from the buffer.

구간 T01 및 T23과 같이, 버퍼 상태가 풀(full)이 되면, 비디오 디코더는 오버플로우를 방지하기 위해 인터럽트를 발생시켜 호스트 프로세서에게 패킷 전송을 중단하도록 요청한다. T01 및 T23 구간에서의 버퍼 풀 상태가 유지되는 것은 전송이 중단되었음을 의미한다. 그 이외의 구간에서는 재생부가 최대 전송 속도로 재생할 패킷 데이터를 비디오 버퍼로 전송하였음을 나타낸다. When the buffer state becomes full, such as the intervals T01 and T23, the video decoder generates an interrupt to request the host processor to stop packet transmission to prevent overflow. Maintaining the buffer pool state in the periods T01 and T23 means that the transmission is stopped. In other sections, the playback unit has transmitted the packet data to be reproduced at the maximum transmission rate to the video buffer.

이와 같이, 본 발명의 저장 매체에서 재생 가능한 디지털 비디오 스트림은 기존의 장치에 의해 188 바이트 단위로 저장된 트랜스포트 스트림, 저장 패킷 단위가 188바이트가 아닌 다른 트랜스포트 스트림, 네트워크를 통해 입력된 타임 스탬프가 존재하지 않는 트랜스포트 스트림, 그리고 저장 매체에 저장된 DVD, VCD의 프로그램 스트림 등을 포함한다. As described above, the digital video stream reproducible in the storage medium of the present invention includes a transport stream stored in units of 188 bytes by a conventional device, a transport stream in which the storage packet unit is not 188 bytes, and a time stamp input through a network. Transport streams that do not exist, and program streams of DVDs, VCDs, and the like stored in the storage medium.

즉, 본 발명은 디지털 비디오 스트림의 패킷 단위를 제한하지 않고 재생할 수 있으며, 비트율 제어에 이용되는 타임 스탬프를 포함하지 않는 비디오 스트림을 재생할 수 있다. That is, the present invention can reproduce without limiting the packet unit of the digital video stream, and can reproduce a video stream that does not include a time stamp used for bit rate control.

또한, 상기 타임 스탬프를 포함하지 않는 비디오 스트림은 디코더의 버퍼 상태에 따라 비트율을 제어함으로써, 비디오 데이터 패킷이 재생될 수 있도록 한다. In addition, the video stream not including the time stamp controls the bit rate according to the buffer state of the decoder, so that the video data packet can be reproduced.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 실시 예에 기재된 내용으로 한정하는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다. Those skilled in the art will appreciate that various changes and modifications can be made without departing from the spirit of the present invention. Therefore, the technical scope of the present invention should not be limited to the contents described in the embodiments, but should be defined by the claims.

이상에서와 같이 본 발명에 따른 디지털 비디오 스트림 저장/재생 방법에 의하면, 다양한 경로를 통해 획득한 디지털 비디오 스트림에 타임 스탬프를 삽입하지 않고 저장함으로써, 저장공간을 절감하는 효과가 있다. As described above, according to the digital video stream storage / reproduction method according to the present invention, there is an effect of saving the storage space by storing the digital video stream obtained through various paths without inserting a time stamp.

또한, 본 발명은 타임스탬프를 사용하지 않고 전송 비트율을 조절함으로써, 타임스탬프의 오류에 의해 야기될 수 있는 문제를 방지하는 효과가 있다. In addition, the present invention has an effect of preventing a problem caused by an error in the time stamp by adjusting the transmission bit rate without using the time stamp.

즉, 저장된 패킷 데이터의 전송중단에 따른 디코더의 언더플로우 및 전송 비트율 초과에 따른 디코더의 오버플로우를 방지하여, 끊김 없이 재생 프로그램의 비디오와 오디오를 원활하게 재현하는 효과가 있다. That is, it is possible to prevent the decoder from overflowing due to the interruption of transmission of the stored packet data and the overflow of the decoder due to exceeding the transmission bit rate, thereby smoothly reproducing the video and audio of the playback program without interruption.

Claims (14)

타임스탬프가 삽입되지 않은 디지털 스트림 및 상기 스트림으로부터 재생시 필요한 인덱스 정보를 저장하는 저장부와;A storage unit for storing a digital stream having no time stamp inserted therein and index information required for reproduction from the stream; 상기 저장부에 저장된 재생할 디지털 스트림의 인덱스 정보를 참고하여 재생할 픽처 타입을 선택하고, 상기 픽처에 해당하는 STC(System Time Clock) 초기값을 설정하고, 상기 재생할 비디오/오디오 패킷 데이터의 시작위치를 탐색 및 판독하기 위해 디코딩하기 위해 전송하는 재생부와;Select a picture type to be played by referring to index information of a digital stream to be stored stored in the storage, set an initial value of a system time clock (STC) corresponding to the picture, and search for a start position of the video / audio packet data to be played. And a playback section for transmitting for decoding for reading; 상기 재생부를 통해 전송된 패킷 데이터를 버퍼에 저장하고, 상기 저장된 패킷 데이터를 디코딩하는 디코더부와;A decoder unit for storing the packet data transmitted through the reproduction unit in a buffer and decoding the stored packet data; 상기 디코더부의 버퍼 상태에 따라, 상기 재생부로부터 전송되는 패킷 데이터의 비트율을 제어하는 신호를 출력하는 제어부를 포함하여 구성되는 디지털 방송 수신기. And a control unit for outputting a signal for controlling a bit rate of packet data transmitted from the reproduction unit according to the buffer state of the decoder unit. 제1항에 있어서, 상기 인덱스 정보는 상기 스트림으로부터 프로그램 접근 단위인 각 픽처의 타입, 해당 픽처의 패킷 데이터의 시작지점인 픽처 인덱스 및 그 픽처의 시스템 클록 정보인 참조 PCR(Program Clock Reference) 값 등을 포함하는 것을 특징으로 하는 디지털 방송 수신기. The method of claim 1, wherein the index information includes a type of each picture that is a program access unit from the stream, a picture index that is a start point of packet data of the picture, and a reference clock value (PCR) that is system clock information of the picture. Digital broadcast receiver comprising a. 제2항에 있어서, 상기 참조 PCR 인덱스 정보에 의해 STC 카운터를 초기화하 여 시스템 클록에 의해 증가시켜서 재생할 비디오/오디오 패킷 디코딩하는 것을 특징으로 하는 디지털 방송 수신기.The digital broadcast receiver as claimed in claim 2, wherein the STC counter is initialized by the reference PCR index information, and decoded by the system clock to decode the video / audio packet. 제3항에 있어서, 상기 참조 PCR 인덱스 정보는 저장할 패킷 데이터 입력 시점 이전의 PCR 패킷에 의해 전송된 PCR 값을 나타내는 PCR(ORG) 값과, 다운로드 제어부의 자체 STC 카운터에 PCR(ORG)를 초기화한 이후 저장 패킷 데이터의 입력시점까지 시스템 클록에 의해 증가된 값인 D(PCR) 값의 합으로 계산되는 것을 특징으로 하는 디지털 방송 수신기. 4. The method of claim 3, wherein the reference PCR index information includes a PCR (ORG) value indicating a PCR value transmitted by a PCR packet before a packet data input time to be stored, and a PCR (ORG) initialized to its own STC counter of a download control unit. And then calculating the sum of the D (PCR) values, which are values increased by the system clock until the input of the stored packet data. 제1항에 있어서, 상기 STC(System Time Clock) 초기값은 재생하고자하는 픽처의 참조 PCR 값을 이용하여 설정하는 것을 특징으로 하는 디지털 방송 수신기. The digital broadcast receiver as claimed in claim 1, wherein the initial value of the system time clock (STC) is set using a reference PCR value of a picture to be reproduced. 제1항에 있어서, 상기 저장부는 상기 스트림 재생시 필요한 인덱스 정보를 제어부로 전달하는 것을 특징으로 하는 디지털 방송 수신기.The digital broadcast receiver as claimed in claim 1, wherein the storage unit transmits index information necessary for playing the stream to a control unit. 제1항에 있어서, 상기 제어부는 상기 디코더부의 입력 버퍼상태를 참고하여, 상기 버퍼가 풀(full) 상태가 될 때까지 재생할 패킷 데이터를 상기 디코더부로 전송하고, 상기 버퍼가 풀(full) 상태가 되면 상기 패킷 데이터의 전송을 중단하는 제어신호를 출력하는 것을 특징으로 하는 디지털 방송 수신기. The method of claim 1, wherein the control unit refers to the input buffer state of the decoder unit, and transmits packet data to be reproduced to the decoder unit until the buffer is full, the buffer is in a full state And outputting a control signal to stop transmission of the packet data. 타임스탬프가 삽입되지 않은 디지털 스트림 및 상기 스트림으로부터 재생시 필요한 인덱스 정보를 저장하는 단계와;Storing a digital stream having no time stamp inserted therein and index information required for reproduction from the stream; 상기 저장된 디지털 스트림을 재생하기 위해 재생모드를 설정하는 단계와;Setting a playback mode to play the stored digital stream; 상기 설정된 모드에 따라, 재생할 픽처에 해당하는 STC(System Time Clock) 초기값을 설정하는 단계와;Setting an initial value of a system time clock (STC) corresponding to a picture to be reproduced according to the set mode; 상기 재생할 패킷 데이터를 디코딩하기 위해 전송하는 단계와;Transmitting the decoded packet data for decoding; 상기 전송된 패킷 데이터를 버퍼에 임시 저장하는 단계와;Temporarily storing the transmitted packet data in a buffer; 상기 버퍼 상태에 따라 상기 전송되는 패킷 데이터의 비트율을 제어하는 단계를 포함하여 이루어지는 디지털 스트림 저장/재생 방법. And controlling the bit rate of the transmitted packet data according to the buffer state. 제8항에 있어서, 상기 인덱스 정보는 프로그램 접근 단위인 각 픽처의 타입, 해당 픽처의 패킷 데이터의 시작지점인 픽처 인덱스 및 그 픽처의 시스템 클록 정보인 참조 PCR(Program Clock Reference) 값 등을 포함하는 것을 특징으로 하는 디지털 스트림 저장/재생 방법. The method of claim 8, wherein the index information includes a type of each picture that is a program access unit, a picture index that is a start point of packet data of the picture, and a reference clock value (PCR) that is system clock information of the picture. Digital stream storage / playback method characterized in that. 제8항에 있어서, 상기 재생 모드는 단순 영상 저장과 재생(Record-Play), 순간 멈춤과 재연(Pause-Resume), 시간 지연 재생(Time-shifting Play), 빠른 재생(Fast Forward), 느린 재생(Slow Forward), 빠른 역 재생(Fast Reverse), 느린 역 재생(Slow Reverse Play), 비선형 재생(Nonlinear Play)을 포함하는 것을 특징으로 하는 디지털 스트림 저장/재생 방법. The method of claim 8, wherein the playback mode is a simple video recording and playback (Record-Play), Pause-Resume, Time-shifting Play, Fast Forward, Slow playback (Slow Forward), Fast Reverse, Slow Reverse Play, Nonlinear Play (Nonlinear Play). 제8항에 있어서, 상기 STC(System Time Clock) 초기값은 재생하고자하는 픽처의 참조 PCR 값을 이용하여 설정하는 것을 특징으로 하는 디지털 스트림 저장/재생 방법. 10. The method of claim 8, wherein the initial STC (System Time Clock) value is set using a reference PCR value of a picture to be reproduced. 제11항에 있어서, 상기 참조 PCR 인덱스 정보는 저장할 패킷 데이터 입력 시점 이전의 PCR 패킷에 의해 전송된 PCR 값을 나타내는 PCR(ORG) 값과, 다운로드 제어부의 자체 STC 카운터에 PCR(ORG)를 초기화한 이후 저장 패킷 데이터의 입력시점까지 시스템 클록에 의해 증가된 값인 D(PCR) 값의 합으로 계산되는 것을 특징으로 하는 디지털 스트림 저장/재생 방법. The method of claim 11, wherein the reference PCR index information is a PCR (ORG) value indicating the PCR value transmitted by the PCR packet before the packet data input time to be stored, and the PCR (ORG) initialized to its own STC counter of the download control unit. And then calculating the sum of the D (PCR) values, which are values increased by the system clock until the input of the stored packet data. 제8항에 있어서, 상기 패킷 데이터 전송단계는 오디오 디코더 및 비디오 디코더의 입력 버퍼상태를 참고하여 버퍼가 풀(full) 상태가 될 때까지 전송하고, 상기 버퍼가 풀(full) 상태가 되면 상기 패킷 데이터 전송을 중단하도록 제어하는 것을 특징으로 하는 디지털 스트림 저장/재생 방법. The method of claim 8, wherein the transmitting of the packet data refers to an input buffer state of an audio decoder and a video decoder until the buffer becomes full, and when the buffer becomes full, the packet is transmitted. Digital stream storage / playback method characterized in that the control to stop the data transmission. 제13항에 있어서, 상기 패킷 전송 중단 후, 계속 버퍼 상태를 체크하여 상기 버퍼 상태에 따라 전송 중단을 해제하는 단계를 더 포함하는 것을 특징으로 하는 디지털 스트림 저장/재생 방법.  15. The method of claim 13, further comprising, after stopping the packet transmission, checking the buffer status continuously and releasing the interruption according to the buffer status.
KR1020060030104A 2006-04-03 2006-04-03 Record-Playback system of Digital Audio and Video Stream KR100797474B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060030104A KR100797474B1 (en) 2006-04-03 2006-04-03 Record-Playback system of Digital Audio and Video Stream

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060030104A KR100797474B1 (en) 2006-04-03 2006-04-03 Record-Playback system of Digital Audio and Video Stream

Publications (2)

Publication Number Publication Date
KR20070099118A KR20070099118A (en) 2007-10-09
KR100797474B1 true KR100797474B1 (en) 2008-01-24

Family

ID=38804621

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060030104A KR100797474B1 (en) 2006-04-03 2006-04-03 Record-Playback system of Digital Audio and Video Stream

Country Status (1)

Country Link
KR (1) KR100797474B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2290654A4 (en) * 2008-05-16 2011-10-12 Sharp Kk Recording apparatus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030063699A (en) * 2002-01-23 2003-07-31 주식회사 엘지이아이 Program recording and reproducing apparatus
KR20040005305A (en) * 2002-07-09 2004-01-16 엘지전자 주식회사 Method for recording a packet encoding time stamp on high density optical disc
KR20040013615A (en) * 2002-08-07 2004-02-14 엘지전자 주식회사 Record-playback system of digital video and audio image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030063699A (en) * 2002-01-23 2003-07-31 주식회사 엘지이아이 Program recording and reproducing apparatus
KR20040005305A (en) * 2002-07-09 2004-01-16 엘지전자 주식회사 Method for recording a packet encoding time stamp on high density optical disc
KR20040013615A (en) * 2002-08-07 2004-02-14 엘지전자 주식회사 Record-playback system of digital video and audio image

Also Published As

Publication number Publication date
KR20070099118A (en) 2007-10-09

Similar Documents

Publication Publication Date Title
US8189988B2 (en) Digital video recorder having hierarchical memories and method for implementing hierarchical memories
KR100546640B1 (en) Digital Video record/playback system and trick playback method
JP3887006B2 (en) Additional information generation method for ensuring continuous reproduction between data strings, recording medium and recording, editing and / or reproducing apparatus for storing this information
JP2011114681A5 (en)
JP4254828B2 (en) Information processing apparatus and method, and program
WO2007137481A1 (en) A multimedia transformation device and method
KR100534291B1 (en) Digital broadcasting writing regenerative apparatus
KR100629093B1 (en) Decoding apparatus and decoding method
KR20010051423A (en) Information processing device, it's method and recording media
KR100797474B1 (en) Record-Playback system of Digital Audio and Video Stream
JPH06165125A (en) Variable transfer rate information reproducing device and its recording medium
JP2002373480A (en) Data-recording method, data recorder and recording medium
JP2001291318A (en) Recording and reproducing device and digital broadcasting receiver
KR100964671B1 (en) Method for playing of digital video stream
JP3126030U (en) Combined recording / reproducing device
JP4217555B2 (en) Communication device, transport stream recording method, program
JP2002232846A (en) Video and audio processor and video and audio processing method
KR100677110B1 (en) Apparatus for recording and/or editing of data ensuring seamless playback between data stream
JP2008199077A (en) Video recording/reproducing method and device
JP2008177874A (en) Recorder, recording method, program, and storage medium
KR100657262B1 (en) Recording medium for storing additional information so as to ensure seamless playback between data stream
KR100532113B1 (en) Appratus for recording and/or playback of data ensuring seamless playback between data stream
JP2005302179A (en) Optical disk recorder
JP2006050078A (en) Data transfer control apparatus and electronic equipment
JP3872672B2 (en) Transport stream playback device, transport stream processing device, transport stream playback method, transport stream processing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20101223

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee