KR100661511B1 - Jitter buffer device for a rtp of the voip system and controlling method therefore - Google Patents

Jitter buffer device for a rtp of the voip system and controlling method therefore Download PDF

Info

Publication number
KR100661511B1
KR100661511B1 KR1020050096180A KR20050096180A KR100661511B1 KR 100661511 B1 KR100661511 B1 KR 100661511B1 KR 1020050096180 A KR1020050096180 A KR 1020050096180A KR 20050096180 A KR20050096180 A KR 20050096180A KR 100661511 B1 KR100661511 B1 KR 100661511B1
Authority
KR
South Korea
Prior art keywords
data
buffer
voice
image
video
Prior art date
Application number
KR1020050096180A
Other languages
Korean (ko)
Inventor
김홍성
Original Assignee
엘지노텔 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지노텔 주식회사 filed Critical 엘지노텔 주식회사
Priority to KR1020050096180A priority Critical patent/KR100661511B1/en
Application granted granted Critical
Publication of KR100661511B1 publication Critical patent/KR100661511B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/28Flow control; Congestion control in relation to timing considerations
    • H04L47/283Flow control; Congestion control in relation to timing considerations in response to processing delays, e.g. caused by jitter or round trip time [RTT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M7/00Arrangements for interconnection between switching centres
    • H04M7/006Networks other than PSTN/ISDN providing telephone service, e.g. Voice over Internet Protocol (VoIP), including next generation networks with a packet-switched transport layer

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

A jitter buffer device for RTP(Real Time Protocol) of a VOIP(Voice over IP) system and a controlling method thereof are provided to improve space efficiency of the jitter buffer by reducing memory usage space by constituting the buffer by separating memory spaces for processing sound data and video data. An input control part(1) separates video or sound VOIP data, and calculates storing position of the separated data and then writes the separated data at a corresponding storing position. A sound data buffer(2) stores sound data per connection in order to remove jitter according to a sound write control signal outputted from the input control part. A video data buffer(3) stores video data to remove jitter according to a video write control signal outputted from the input control part. An output control part(4) reads the video data or sound data from the video data buffer or the sound data buffer, and then transmits the video data or sound data to a destination.

Description

브이오아이피 시스템의 알티피용 지터버퍼장치 및 그 제어방법{Jitter buffer device for a RTP of the VOIP system and controlling method therefore}Jitter buffer device for a RTP of the VOIP system and controlling method therefore}

도 1은 종래 지터 버퍼의 입출력 타이밍을 설명하는 설명도.1 is an explanatory diagram illustrating input and output timing of a conventional jitter buffer.

도 2의 (a-b)는 종래 RTP용 지터버퍼장치를 설명하는 설명도.Fig. 2 (a-b) is an explanatory diagram illustrating a conventional jitter buffer device for RTP.

도 3의 (a-b)는 본 발명 VOIP 시스템의 RTP용 지터버퍼장치를 설명하는 설명도.Figure 3 (a-b) is an explanatory diagram for explaining the jitter buffer device for RTP of the VOIP system of the present invention.

도 4는 도 3의 시스템을 구체적으로 설명하는 설명도.4 is an explanatory diagram specifically illustrating the system of FIG. 3.

도 5는 본 발명의 플로우차트. 5 is a flowchart of the present invention.

<부호의 상세한 설명><Detailed Description of Codes>

1 : 입력제어부 2 : 음성데이터버퍼1: input control unit 2: voice data buffer

3 : 영상데이터버퍼 4 : 출력제어부3: Image data buffer 4: Output control unit

5 : 데이터 수신부 6 : 데이터 분리부5: data receiving unit 6: data separating unit

7 : 음성 라이트위치 산출부 8 : 음성 라이트 제어부7: Voice light position calculation unit 8: Voice light control unit

9 : 영상 라이트위치 산출부 10: 영상 라이트 제어부9: image light position calculating unit 10: image light control unit

11: 음성 리드위치 산출부 12: 음성 리드 제어부11: voice lead position calculator 12: voice lead controller

13: 음성 타이머 14: 영상 리드위치 산출부13: audio timer 14: video lead position calculator

15: 영상 리드 제어부 16: 영상 타이머15: video lead control unit 16: video timer

17: 데이터 다중화부 18: 데이터 출력부 17: data multiplexer 18: data output unit

본 발명은 VOIP 시스템의 RTP용 지터버퍼장치 및 그 제어방법에 관한 것으로, 특히 지터버퍼를 트랙픽특성에 따라 음성데이터와 영상데이터로 나누어 처리되도록 구현하는 VOIP 시스템의 RTP용 지터버퍼장치 및 그 제어방법에 관한 것이다.The present invention relates to a jitter buffer device for RTP and a control method of the VOIP system, and more particularly, to a RTP jitter buffer device and a control method of the VOIP system for implementing the jitter buffer to be divided into audio data and video data according to the traffic characteristics It is about.

일반적으로 VoIP (voice over IP [Internet Protocol]) 시스템은 IP를 사용하여 음성정보를 전달하는 일련의 설비들을 위한 IP 전화기술을 지칭하는 용어이다. 그리고, 상기 VoIP 시스템은 공중교환전화망인 PSTN 처럼 회선에 근거한 전통적인프로토콜들이 아니라, 불연속적인 패킷들 내에 디지털형태로 음성정보를 보낸다는 것을 의미한다. VoIP와 인터넷 전화기술의 주요 장점은 기존 IP 네트워크를 그대로 활용해 전화서비스를 통합 구현함으로써 전화 사용자들이 시내전화 요금만으로 인터넷환경에서 시외 및 국제전화 서비스를 받을 수 있게 된다는 점이다. 또한, 상기 VoIP 시스템은 공중 인터넷 또는 기업내부의 인트라넷상에서 IP를 이용해 음성(소리)과 비디오를 전송하기 위한 표준인 ITU-T H.323 의 사용을 장려하기 위해, VoIP 포럼을 통해 시스코, 보컬텍, 3Com, 넷스피크 등 주요 장비제작회사들이 노력함으로써 이루어졌다. VoIP 포럼은 또한, 디렉토리 서비스 표준을 장려함으로써, 사용자들이 다른 사용자들의 위치를 찾아낼 수 있고, 자동 전화분배와 음성메일을 위한 터치폰 신호의 사용을 가능하게 하였다. In general, VoIP (voice over IP [Internet Protocol]) system is a term referring to IP telephony technology for a series of facilities for transmitting voice information using IP. In addition, the VoIP system means that voice information is transmitted in a digital form in discontinuous packets, rather than a circuit-based traditional protocol such as a public switched telephone network (PSTN). The main advantage of VoIP and Internet telephony technology is that it integrates telephone service by utilizing existing IP network so that telephone users can receive long distance and international telephone service in internet environment with only local call charge. In addition, the VoIP system uses Cisco and Vocaltek through VoIP forums to encourage the use of ITU-T H.323, a standard for transmitting voice and sound over IP over the public Internet or intranets within the enterprise. And major equipment manufacturers such as 3Com and NetSpeak. The VoIP Forum also encouraged directory service standards, enabling users to locate other users and enabling the use of touch phone signals for automatic telephone distribution and voicemail.

그런데, 상기와 같은 VOIP 시스템에서 IP 베이스의 전송 및 교환방식이 현재의 통신 방식의 주류로 자리 잡고 있다. 따라서, 이러한 상황에서 패킷형태가 아닌 음성이나 영상처럼 실시간 전송을 원하는 스트림 형태의 데이터도 폭 넓게 깔린 IP망을 이용한 전송의 필요성이 날로 강해져 가고 있다. 그래서, IETF에서는 RTP(real time protocol, RFC1889) 프로토콜을 제정하여 권고하게 되었고 현재 널리 이용되어 가고 있다. 상기와 같은 RTP는 멀티캐스트 또는 유니캐스트상에서 음성, 화상, 또는 모의 데이터와 같은 실시간 데이터를 전송하는 응용에 적합한 단대 단 트랜스포트 기능을 제공한다. 그런데, 상기 RTP는 자원 예약에 대한 내용은 다루지는 않으며, 특히 QoS 보장, 뒤바뀐 순서의 전송 방지와 같은 기능을 제공하지 않는다. 따라서 트랜스포트의 의미는 실시간 데이터의 특성에 중점을 두어 제정한 표준이라고 할 수 있다. 따라서 사용자 입장에서 끈김이나 지연을 느끼지 못하도록 기능보완을 보완해 주어야 하는데 이것이 지터 버퍼이다. 즉, 상기와 같은 지터버퍼는 도 1에 도시된 바와같이 입력 데이터가 롱텀(long term)에서의 전송 속도가 평균적으로 일정하더라도 단기적으로 보면 수신 시간이 불규칙하게 되나, 지터 버퍼를 통과한 출력 데이터는 약간의 지연 후에 일정한 간격을 유지하면서 출력하게 되어 사용자 입장에서 빈공간이 존재하지 않게 한다.By the way, in the VOIP system as described above, the IP-based transmission and exchange method has become the mainstream of the current communication method. Therefore, in such a situation, the necessity of transmission using an IP network that has a wide range of data in the form of streams for real-time transmission, such as voice or video, rather than packet form, is increasing day by day. Therefore, the IETF enacted and recommended the RTP (real time protocol, RFC1889) protocol and is now widely used. Such RTP provides an end-to-end transport function suitable for applications that transmit real-time data such as voice, video, or mock data over multicast or unicast. However, the RTP does not deal with resource reservation, and in particular, does not provide functions such as guaranteeing QoS and preventing reversed transmission. Therefore, the meaning of transport can be said to be a standard established by focusing on the characteristics of real-time data. Therefore, it is necessary to supplement the function so that the user does not feel persistent or delayed, which is a jitter buffer. That is, as shown in FIG. 1, the jitter buffer has an irregular reception time in the short term even if the input data has a constant transmission rate in a long term. However, the output data passing through the jitter buffer After a slight delay, the output is maintained at a constant interval so that no empty space exists from the user's point of view.

그러면, 상기와 같은 종래 VOIP 시스템의 지터버퍼장치를 도 2을 참고로 살펴보면, 수신지연을 제거하기위해 수신되는 음성 및 영상데이터를 저장시키는 데이터버퍼부(70)와, 상기 데이터버퍼부(70)로 그 수신된 영상 및 음성데이터를 입력저장시키는 입력제어부(71)와, 상기 데이터버퍼부(70)에 저장된 영상 및 음성데이터 를 읽어 목적지로 전송시키는 출력제어부(72)를 포함한다.Then, referring to the jitter buffer device of the conventional VOIP system with reference to FIG. 2, the data buffer unit 70 for storing the received voice and image data to remove the reception delay, and the data buffer unit 70 And an input control unit 71 for inputting and storing the received video and audio data, and an output control unit 72 for reading and transmitting the video and audio data stored in the data buffer unit 70 to a destination.

여기서, 상기 데이터버퍼부(70)는 도 2의 (b)와 같이 Gbe(Giga bit Ethernet) 1 port를 지원하기 위한 구조로 형성될 수 있다.Here, the data buffer unit 70 may be formed in a structure for supporting a Gbe (Giga bit Ethernet) 1 port as shown in FIG.

한편, 상기와 같은 종래 VOIP 시스템의 지터버퍼장치의 동작을 살펴보면, 먼저, 외부 IP망이나 기타 단말기로부터 VOIP시스템의 입력제어부(71)로 영상 혹은 음성데이터가 입력될 경우 상기 입력제어부(71)는 상기 데이터를 데이터버퍼부(70)에 넣어 시간지연을 제거시킨다. 그리고, 상기 데이터버퍼부(70)에 저장된 데이터는 출력제어부(72)에 의해 리드(READ)되어 해당 목적지 예컨대, 외부 IP망이나 기타 장치부로 전송처리된다. Meanwhile, referring to the operation of the jitter buffer device of the conventional VOIP system, first, when the video or audio data is input from the external IP network or other terminal to the input control unit 71 of the VOIP system, the input control unit 71 The data is inserted into the data buffer unit 70 to eliminate time delay. The data stored in the data buffer unit 70 is read by the output control unit 72 and transferred to the corresponding destination, for example, an external IP network or other device unit.

그러나, 상기와 같은 종래 VOIP 시스템의 지터버퍼장치는 데이터버퍼부 즉, 지터 버퍼에서 구현해야 할 버퍼의 크기가 120m sec를 커버해야 한다고 알려져 있는데, 이 버퍼가 크면 클수록 좋을 수도 있으나 구현에 필요한 메모리가 많이 필요하고 또 지연이 아주 심한 것은 보정을 한다고 하더라도 수신 사용자가 심한 지연에 의한 불편을 겪게 되므로 버리는 것과 품질상의 큰 차이가 없다. 따라서 통상 상기와 같은 종래 지터버퍼는 120msec내의 지터를 제거하는 것이 일반적이다. 그러므로, 상기 서비스되는 패킷의 최대 크기는 영상서비스의 경우인데 40byte인데, 영상서비스의 특성은 40byte단위의 패킷이 5msec마다 1개씩 전송되어 평균 속도가 64k bps(40x8x5msec)를 이루기 때문에 이러한 상태에서 필요한 연결당 버퍼수는 24개(120m/5m)의 패킷이 된다. 그런데 상기 Gbe당 최대로 실릴 수 있는 연결 수는 23000개 이므로, 지터버퍼를 구성하기위해서는 40byte 크기의 24 개의 버퍼 단위가 총 23000개 즉 40x8x24x23000= 177Mbit가 필요하다. 그러므로, 상기와 같은 정도 크기의 지터버퍼 메모리는 SRAM으로 구현할 경우 메모리 수나 가격에서 부담이 상당히 크고 DRAM으로 구현할 경우 제어가 복잡하고 memory의 크기를 줄이는 것이 시급하다는 문제점이 있었다. 즉, 상기와 같은 종래 VOIP 시스템의 지터버퍼장치는필요한 memory가 많아 현재의 일반적으로 양산되는 최대 크기 SRAM(32Mbit)를 사용하여 구성할 경우 6개를 사용해야 하기 때문에 가격적인 부담과 공간적인 제약이 따른 다는 문제점이 있다.However, the jitter buffer device of the conventional VOIP system is known that the size of the buffer to be implemented in the data buffer, that is, the jitter buffer should cover 120 m sec. The larger the buffer, the better, but the memory required for the implementation. The need for a lot and the delay is very high, but even if it is corrected, there is no big difference in quality from discarding because the receiving user experiences inconvenience due to the delay. Therefore, the conventional jitter buffer generally removes jitter within 120 msec. Therefore, the maximum size of the service packet is 40 bytes in the case of the video service, the characteristic of the video service is that a packet of 40 bytes unit is transmitted once every 5 msec to achieve an average speed of 64k bps (40x8x5 msec) in this state The number of buffers is 24 packets (120m / 5m). However, since the maximum number of connections per Gbe is 23000, 24 buffer units of 40 bytes are required for a total of 23000, that is, 40x8x24x23000 = 177Mbit to configure the jitter buffer. Therefore, the size of the jitter buffer memory as described above has a problem that the burden on the number of memory or the price is very large when implemented in SRAM, and when implemented in DRAM, the control is complicated and it is urgent to reduce the size of the memory. In other words, the jitter buffer device of the conventional VOIP system has a large amount of memory, and thus requires six to be used when using a current-produced maximum size SRAM (32Mbit). There is a problem.

이에 본 발명은 상기와 같은 제반 문제점을 해결하기 위해 발명된 것으로, 비교적 메모리사용공간이 적은 음성데이터와 비교적 메모리사용공간이 큰 영상데이터를 처리하는 메모리공간을 분리하여 버퍼를 구성하기때문에 메모리사용공간을 상당히 줄일 수 있어 그에 따라 지터버퍼의 공간효율성을 상당히 향상시키는 VOIP 시스템의 RTP용 지터버퍼장치 및 그 제어방법을 제공함에 그 목적이 있다.Accordingly, the present invention has been invented to solve the above-mentioned problems, and since a buffer is formed by separating a memory space for processing voice data having a relatively low memory usage space and a video data having a relatively large memory usage space, a buffer space is used. It is an object of the present invention to provide a jitter buffer device for RTP of a VOIP system and a method of controlling the same, thereby significantly reducing the space efficiency of the jitter buffer.

본 발명의 또다른 목적은 버퍼의 메모리사용 용량을 현저히 줄일 수 있으므로 그에 따라 지터버퍼의 구성비용도 상당히 저감시키는 VOIP 시스템의 RTP용 지터버퍼장치 및 그 제어방법을 제공하는데 있다.It is still another object of the present invention to provide a jitter buffer device for RTP of a VOIP system and a method of controlling the same, which can significantly reduce the memory usage of the buffer and thus significantly reduce the configuration cost of the jitter buffer.

상기와 같은 목적을 달성하기 위한 본 발명은 입력되는 영상 혹은 음성 VOIP 데이터를 분리하고 그 분리된 데이터의 저장위치를 산출한 다음 해당 저장위치로 라이트(WRITE)시키는 입력제어부와, 상기 입력제어부로부터 출력된 음성라이트제어신호에 따라 지터제거를 위해 음성데이터를 연결별로 저장시키는 음성데이터버퍼 와, 상기 입력제어부로부터 출력된 영상라이트제어신호에 따라 지터제거를 위해 영상데이터를 저장시키는 영상데이터버퍼와, 상기 영상데이터버퍼 혹은 음성데이터버퍼로부터 영상 혹은 음성데이터를 리드하여 설정된 목적지로 전송처리하는 출력제어부로 이루어진 VOIP 시스템의 RTP용 지터버퍼장치 및 그 제어방법을 제공한다. The present invention for achieving the above object is an input control unit for separating the video or audio VOIP data to be input, calculate the storage location of the separated data and then write to the corresponding storage location and output from the input control unit; A voice data buffer for storing voice data for each jitter according to the voice light control signal, and a video data buffer for storing the video data for jitter removal according to the image light control signal output from the input controller; A jitter buffer device for an RTP of a VOIP system and a control method thereof comprising an output control unit which reads video or audio data from a video data buffer or an audio data buffer and transfers the image or audio data to a set destination.

본 발명의 다른 특징은 VOIP 시스템의 지터버퍼장치로 데이터가 수신될 경우 현재 입력된 데이터를 영상데이터와 음성데이터로 분리시키는 데이터분리단계와, 상기 데이터분리단계후에 현재 분리된 데이터가 음성데이터일경우 그 분리된 음성데이터를 음성데이터버퍼(34Mbit)에 넣어 지터를 제거한 다음 영상데이터와 다중화하여 해당 목적지로 전송처리하는 음성데이터 처리단계와, 상기 데이터분리단계후에 현재 분리된 데이터가 영상데이터일경우 그 분리된 영상데이터를 영상데이터버퍼(41Mbit)에 넣어 지터를 제거한 다음 음성데이터와 다중화하여 해당 목적지로 전송처리하는 영상데이터 처리단계로 이루어진 VOIP 시스템의 RTP용 지터버퍼장치의 제어방법을 제공한다.Another feature of the present invention is a data separation step of separating the currently input data into video data and audio data when data is received by the jitter buffer device of the VOIP system, and when the data currently separated after the data separation step is audio data. The audio data processing step of removing the jitter by inserting the separated audio data into the voice data buffer (34Mbit), then multiplexing with the video data to be transmitted to the corresponding destination, and if the data currently separated after the data separation step is the video data The present invention provides a control method of a jitter buffer device for an RTP of a VOIP system comprising a video data processing step of inserting separated video data into a video data buffer (41Mbit) to remove jitter, and then multiplexing the audio data and transmitting the same to a corresponding destination.

이하, 본 발명을 첨부된 예시도면에 의거 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

본 발명은 도 3의 (a-b)에 도시된 바와같이 입력되는 영상 혹은 음성 VOIP 데이터를 분리하고 그 분리된 데이터의 저장위치를 산출한 다음 해당 저장위치로 라이트(WRITE)시키는 입력제어부(1)와, 상기 입력제어부(1)로부터 출력된 음성라이트제어신호에 따라 지터제거를 위해 음성데이터를 연결별로 저장시키는 음성데이터버퍼(2)와, 상기 입력제어부(1)로부터 출력된 영상라이트제어신호에 따라 지터제거 를 위해 영상데이터를 저장시키는 영상데이터버퍼(3)와, 상기 영상데이터버퍼(3) 혹은 음성데이터버퍼(2)로부터 영상 혹은 음성데이터를 리드하여 설정된 목적지로 전송처리하는 출력제어부(4)로 이루어진다.The present invention provides an input control unit 1 for separating video or audio VOIP data to be input as shown in FIG. 3 (ab), calculating a storage location of the separated data, and writing to the corresponding storage location. According to the voice light control signal output from the input controller 1, the voice data buffer (2) for storing the audio data for each jitter to remove jitter, and according to the video light control signal output from the input controller (1) An image data buffer (3) for storing image data for jitter removal, and an output control unit (4) for transferring the image or audio data from the image data buffer (3) or the audio data buffer (2) to a set destination. Is made of.

그리고, 상기 입력제어부(1)는 도 4에 도시된 바와같이 외부로부터 데이터를 수신처리하는 데이터 수신부(5)와, 상기 데이터 수신부(5)로 부터 입력받은 데이터를 음성데이터와 영상데이터로 분리해 주는 데이터 분리부(6)와, 상기 음성 데이터 버퍼(2)로부터 음성 저장 위치인 어드레스를 산출하는 음성 라이트위치 산출부(7)와, 상기 음성 라이트위치 산출부(7)로부터 받은 어드레스를 이용하여 상기 데이터 분리부(6)로 부터 받은 음성데이터를 음성 데이터 버퍼(2)에 저장하는 음성 라이트 제어부(8)와, 상기 영상 데이터 버퍼(3)로부터 영상 저장 위치인 어드레스를 산출하는 영상 라이트위치 산출부(9)와, 상기 영상 라이트위치 산출부(9)로부터 받은 어드레스를 이용하여 상기 데이터 분리부(6)로 부터 받은 영상데이터를 영상 데이터 버퍼(3)에 저장하는 영상 라이트 제어부(10)를 포함한다.As shown in FIG. 4, the input controller 1 separates the data received from the outside into data receiving unit 5 and data received from the data receiving unit 5 into audio data and video data. Using the data separating section 6, the voice write position calculator 7 for calculating an address which is a voice storage position from the voice data buffer 2, and the address received from the voice write position calculator 7 Voice light control unit 8 for storing the voice data received from the data separating unit 6 in the voice data buffer 2, and image light position calculation for calculating an address which is an image storage position from the image data buffer 3; An image data received from the data separator 6 in the image data buffer 3 by using the unit 9 and the address received from the image write position calculator 9; And a write control unit 10.

또한, 상기 출력제어부(4)는 상기 음성 데이터 버퍼(2)의 데이터 출력 위치를 산출하는 음성 리드위치 산출부(11)와, 상기 음성 리드위치 산출부(11)로부터 받은 어드레스를 이용하여 상기 음성 데이터 버퍼(2)에 저장된 음성 데이터의 위치를 읽어 내는 음성 리드 제어부(12)와, 상기 음성 리드 제어부(12)에 음성 리드 트리거를 공급하는 음성 타이머(13)와,상기 영상 데이터 버퍼(3)의 데이터 출력 위치를 산출하는 영상 리드위치 산출부(14)와, 상기 영상 리드위치 산출부(14)로부터 받은 어드레스를 이용하여 상기 영상 데이터버퍼(3)에 저장된 영상데이터의 위치를 읽어 내는 영상 리드 제어부(15)와, 상기 영상 리드 제어부(15)에 영상 리드 트리거를 공급하는 영상 타이머(16)와, 상기 음성 리드 제어부(12)와 영상 리드 제어부(15)로 부터 출력된 영상 및 음성데이터를 다중화 하는 데이터 다중화부(17)와, 상기 데이터 다중화(17)로부터 받은 데이터를 설정된 목적지로 출력시키는 데이터 출력부(18)를 포함한다.Further, the output controller 4 uses the voice lead position calculator 11 for calculating the data output position of the voice data buffer 2 and the address received from the voice lead position calculator 11. An audio lead control unit 12 for reading the position of the audio data stored in the data buffer 2, an audio timer 13 for supplying an audio lead trigger to the audio lead control unit 12, and the image data buffer 3 An image read position calculating section 14 for calculating a data output position of the image reading unit and an image read reading position of the image data stored in the image data buffer 3 using an address received from the image reading position calculating section 14; Image control unit 15, an image timer 16 for supplying an image read trigger to the image lead control unit 15, and an image and audio data output from the audio lead control unit 12 and the image lead control unit 15. And a data multiplexer 17 for multiplexing, and a data output unit 18 for outputting data received from the data multiplexer 17 to the specified destination.

여기서, 상기 음성 데이터버퍼(2)는 필요 메모리를 31x8x6x23000=34Mbit로 구성하므로써, 120msec동안 저장되는 패킷수가 6(120msec/20msec)개이고 총 23000개의 연결이 있도록 구성한다. 한편, 상기 영상 데이터버퍼(3)는 필요 메모리를 40x8x24x5400=41Mbit로 구성하므로써, 120msec동안 저장되는 패킷수가 24(120msec/5msec)개이고 총 5400개의 연결이 있도록 구성한다. In this case, the voice data buffer 2 is configured such that the required memory is 31x8x6x23000 = 34Mbit, so that the number of packets stored for 120msec is 6 (120msec / 20msec) and there are 23000 connections in total. On the other hand, the image data buffer 3 is configured by configuring the required memory as 40x8x24x5400 = 41Mbit, so that the number of packets stored for 120msec is 24 (120msec / 5msec) and there are 5400 connections in total.

다음에는 상기와 같은 장치에 적용되는 제어방법을 설명한다. Next, a control method applied to the above apparatus will be described.

본 발명의 방법은 도 5에 도시된 바와같이 초기상태(S1)에서 데이터수신 확인단계(S2)로 진행하여 현재 지터버퍼장치로 데이터가 수신되는 지를 확인한다. 이때, 상기 데이터수신 확인단계(S2)중에 확인한 결과 현재 지터버퍼장치로 데이터가 수신되지 않을 경우에는 현단계를 종료하고 아일들(IDLE)상태로 진행한다. 그러나, 상기 데이터수신 확인단계(S2)중에 확인한 결과 현재 지터버퍼장치로 데이터가 수신될 경우에는 데이터분리단계(S3)로 진행하여 현재 입력된 데이터를 영상데이터와 음성데이터로 분리시킨다. 그리고, 상기 데이터분리단계(S3)후에 데이터 확인단계(S4)로 진행하여 현재 분리된 데이터가 영상데이터인지를 확인한다. 여기서, 상기 데이터 확인단계(S4)중에 확인한 결과 현재 분리된 데이터가 영상데이터가 아닐 경 우 음성데이터이므로 음성데이터 처리단계(S5)로 진행하여 그 분리된 음성데이터를 음성데이터버퍼(34Mbit)에 넣어 지터를 제거한 다음 영상데이터와 다중화하여 해당 목적지로 전송처리한다.As shown in FIG. 5, the method of the present invention proceeds to the data reception confirmation step S2 in the initial state S1 to check whether data is currently received by the jitter buffer device. At this time, if the data is not received by the jitter buffer device as a result of the data reception check step (S2), the current step ends and proceeds to the isle (IDLE) state. However, when the data is received by the jitter buffer device as a result of checking during the data reception confirmation step (S2), the data separation step (S3) is performed to separate the currently input data into video data and audio data. After the data separation step S3, the data checking step S4 is performed to confirm whether the currently separated data is image data. In this case, if the currently separated data is not video data as a result of the data checking step (S4), the process proceeds to the voice data processing step (S5) and puts the separated voice data into the voice data buffer (34Mbit). The jitter is removed and then multiplexed with the image data for transmission to the destination.

그러나, 상기 데이터 확인단계(S4)중에 확인한 결과 현재 분리된 데이터가 영상데이터일경우 영상데이터 처리단계(S6)로 진행하여 그 분리된 영상데이터를 영상데이터버퍼(41Mbit)에 넣어 지터를 제거한 다음 음성데이터와 다중화하여 해당 목적지로 전송처리한다.However, if the checked data during the data checking step (S4) indicates that the currently separated data is the image data, the process proceeds to the image data processing step (S6) to remove the jitter by putting the separated image data into the image data buffer (41Mbit) and then removing the voice. Multiplex the data and transfer it to the destination.

즉, 상기 본 발명은 외부 IP망이나 기타 장치로부터 데이터가 수신될 경우 상기 데이터 입력부(5)는 그 입력된 데이터를 데이터분리부(6)로 입력시킨다. 그러면, 상기 데이터 분리부(6)는 입력된 데이터를 음성데이터와 영상데이터로 분리하여 음성 라이트 제어부(8)와 영상 라이트 제어부(10)로 각기 전달한다. 이때, 상기 음성 라이트위치 산출부(7)는 음성 라이트 제어부(8)로 부터 현재 패킷의 SN(Sequence Number)를 넘겨 받고 음성 데이터 버퍼(2)로부터 현재 버퍼의 데이터가 저장되어 있는 상태에 대한 정보를 받아 데이터 버퍼(2)의 라이트(write) 위치를 산출하여 음성 라이트 제어부(8)로 전달한다. 또한, 상기 음성 라이트 제어부(8)는 데이터 분리부(6)로 부터 받은 데이터를 음성 라이트위치 산출부(7)로 부터 받은 버퍼의 어드레스(address)를 이용하여 음성 데이터 버퍼(2)에 저장시킨다.That is, in the present invention, when data is received from an external IP network or other device, the data input unit 5 inputs the input data to the data separator 6. Then, the data separator 6 separates the input data into voice data and image data, and transmits the input data to the voice light control unit 8 and the image light control unit 10, respectively. At this time, the voice light position calculating unit 7 receives the SN (Sequence Number) of the current packet from the voice light control unit 8 and information on the state in which the data of the current buffer is stored from the voice data buffer 2. Receives the write position of the data buffer 2 to calculate the transfer to the voice write control unit (8). In addition, the voice light control unit 8 stores the data received from the data separating unit 6 in the voice data buffer 2 using the address of the buffer received from the voice light position calculating unit 7. .

한편, 상기 분리된 영상데이터를 위해, 상기 영상 라이트위치 산출부(9)는 영상 라이트 제어부(10)로 부터 현재 패킷의 SN(Sequence Number)를 넘겨 받고 영상 데이터 버퍼(3)로부터 현재 버퍼의 데이터가 저장되어 있는 상태에 대한 정보를 받아 데이터 버퍼(3)의 라이트(write) 위치를 산출하여 영상 라이트 제어부(10)로 전달한다. 또한, 상기 영상 라이트 제어부(10)는 데이터 분리부(6)로 부터 받은 데이터를 영상 라이트위치 산출부(9)로 부터 받은 버퍼의 어드레스(address)를 이용하여 영상 데이터 버퍼(3)에 저장시킨다.Meanwhile, for the separated image data, the image write position calculator 9 receives the SN (Sequence Number) of the current packet from the image write control unit 10 and receives data of the current buffer from the image data buffer 3. Receives the information on the stored state and calculates the write position of the data buffer 3 and transmits it to the image light control unit 10. In addition, the image light control unit 10 stores the data received from the data separating unit 6 in the image data buffer 3 using the address of the buffer received from the image light position calculating unit 9. .

반면에, 음성데이터를 읽어처리할 경우 상기 음성 리드(read)위치 산출부(11)는 음성 데이터 버퍼(2)로부터 현재 버퍼에 데이터가 얼마나 저장 되어 있나 하는 정보를 받아 음성 리드 제어부(12)로 전달 한다. 그리고, 상기 음성 리드 제어부(12)는 음성 타이머(13)로부터 20msec간격의 트리거를 받아 20msec마다 음성 리드위치 산출부(11)에서 알려준 어드레스(address)에 리드 신호를 발생하여 음성 데이터 버퍼(2)의 패킷을 연결별로 하나씩 읽어 낸다. On the other hand, when reading and processing the voice data, the voice read position calculator 11 receives the information from the voice data buffer 2 and how much data is stored in the current buffer to the voice read controller 12. Pass. The voice lead control unit 12 receives a trigger having a 20 msec interval from the voice timer 13 and generates a read signal at an address indicated by the voice lead position calculating unit 11 every 20 msec. Reads one packet per connection.

또한, 상기 영상데이터를 읽어처리할 경우 상기 영상 리드(read)위치 산출부(14)는 음성 데이터 버퍼(3)로부터 현재 버퍼에 데이터가 얼마나 저장 되어 있나 하는 정보를 받아 영상 리드 제어부(15)로 전달 한다. 그리고, 상기 영상 리드 제어부(15)는 영상 타이머(16)로부터 5msec간격의 트리거를 받아 20msec마다 영상 리드위치 산출부(14)에서 알려준 어드레스(address)에 리드 신호를 발생하여 영상 데이터 버퍼(3)의 패킷을 연결별로 하나씩 읽어 낸다. In addition, when the image data is read and processed, the image read position calculator 14 receives the information from the audio data buffer 3 and how much data is stored in the current buffer, to the image read controller 15. Pass. The image read control unit 15 receives a trigger having a 5 msec interval from the image timer 16 and generates a read signal at an address given by the image lead position calculating unit 14 every 20 msec to generate an image data buffer 3. Reads one packet per connection.

한편, 상기 음성 리드 제어부(12)와 영상 리드 제어부(15)에서 각각 읽어낸 데이터는 데이터 다중화부(17)에서 하나의 신호로 합성된 다음 데이터 출력부(18)를 통해 다음 단계로 전달된다.Meanwhile, the data read by the audio lead controller 12 and the image lead controller 15 are synthesized as one signal by the data multiplexer 17 and then transferred to the next step through the data output unit 18.

따라서, 본 발명과 종래 구조간의 큰 차이점은 데이터 버퍼가 트래픽 특성에 따라 음성데이터와 영상 데이터를 분리하여 버퍼를 운용한다는 것이다. 그런데, WCDMA에서 서비스 되는 트래픽은 크게 두 가지인데, 하나는 음성 데이터로서 12.2K bps의 AMR coding된 것으로 하나의 패킷 크기는 31 byte이고 20msec마다 하나의 패킷이 전송되므로 이러한 음성 연결은 최대 23000개가 존재 할 수 있다. 그리고, 또 다른 하나는 영상 데이터인데 64Kbps의 속도이고 40byte크기의 패킷이며 5msec마다 하나씩 전송되므로 이러한 영상 데이터는 연결당 점유 대역이 많아 1개의 GbE의 경우 5400개가 최대 연결이 된다.Therefore, a major difference between the present invention and the conventional structure is that the data buffer operates the buffer by separating the audio data and the video data according to the traffic characteristics. However, there are two main types of traffic serviced in WCDMA, one of which is AMR coded as 12.2K bps as voice data, one packet size is 31 bytes, and one packet is transmitted every 20 msec. can do. The other is video data, which is 64Kbps in speed, 40byte packet, and is transmitted one by one every 5msec. Therefore, such video data has a large occupied band per connection, so 5400 is the maximum connection in one GbE.

따라서, 상기 음성과 영상데이터를 분리하여 필요한 메모리를 산출해 보면 다음과 같다.Therefore, the necessary memory is calculated by separating the audio and video data as follows.

음성데이터 메모리 : 120msec동안 저장되는 패킷수는 6(120msec/20msec)개이고 총 23000개의 연결이 있으므로 필요 메모리는 31x8x6x23000=34Mbit이다. Voice data memory: The number of packets stored during 120msec is 6 (120msec / 20msec) and there are 23000 connections, so the required memory is 31x8x6x23000 = 34Mbit.

영상데이터 메모리 : 120msec동안 저장되는 패킷수는 24(120msec/5msec)개이고 총 5400개의 연결이 있으므로 필요 메모리는 40x8x24x5400=41Mbit이다.Video data memory: The number of packets stored during 120msec is 24 (120msec / 5msec) and there are 5400 connections, so the required memory is 40x8x24x5400 = 41Mbit.

따라서 전체 크기는 34M+41M = 75Mbit가 된다. 이것은 종래의 177M의 42%에 해당되는 것으로 사용 되는메모리를 반 이상 절감할 수 있는 장점이 있다.  Thus, the total size is 34M + 41M = 75Mbit. This is equivalent to 42% of the conventional 177M has the advantage of reducing the memory used more than half.

이상 설명에서와 같이 본 발명은 지터버퍼를 트랙픽특성에 따라 음성데이터와 영상데이터로 나누어 처리되도록 구현하므로써, 비교적 메모리사용공간이 적은 음성데이터와 비교적 메모리사용공간이 큰 영상데이터를 처리하는 메모리공간을 분리하여 버퍼를 구성하기때문에 메모리사용공간을 상당히 줄일 수 있어 그에 따라 지터버퍼의 공간효율성을 상당히 향상시키는 장점을 가지고 있다.As described above, according to the present invention, the jitter buffer is implemented to be divided into audio data and video data according to traffic characteristics, so that the memory space for processing voice data having a relatively low memory footprint and video data having a relatively large memory footprint is processed. Since separate buffers can be used, the memory footprint can be considerably reduced, thus improving the space efficiency of the jitter buffer.

또한, 본 발명에 의하면, 버퍼의 메모리사용 용량을 현저히 줄일 수 있으므로 그에 따라 지터버퍼의 구성비용도 상당히 저감시키는 효과도 있다.Further, according to the present invention, since the memory usage capacity of the buffer can be significantly reduced, the configuration cost of the jitter buffer is also significantly reduced.

Claims (8)

입력되는 영상 혹은 음성 VOIP 데이터를 분리하고 그 분리된 데이터의 저장위치를 산출한 다음 해당 저장위치로 라이트(WRITE)시키는 입력제어부와, 상기 입력제어부로부터 출력된 음성라이트제어신호에 따라 지터제거를 위해 음성데이터를 연결별로 저장시키는 음성데이터버퍼와, 상기 입력제어부로부터 출력된 영상라이트제어신호에 따라 지터제거를 위해 영상데이터를 저장시키는 영상데이터버퍼와, 상기 영상데이터버퍼 혹은 음성데이터버퍼로부터 영상 혹은 음성데이터를 리드하여 설정된 목적지로 전송처리하는 출력제어부로 이루어진 것을 특징으로 하는 VOIP 시스템의 RTP용 지터버퍼장치.An input control unit which separates the input video or audio VOIP data, calculates a storage location of the separated data, and writes to the corresponding storage location, and removes jitter according to the audio light control signal output from the input control unit. An audio data buffer for storing the audio data for each connection, an image data buffer for storing the image data for jitter removal according to the image light control signal output from the input control unit, and an image or audio from the image data buffer or the audio data buffer An jitter buffer device for RTP in a VOIP system, characterized by comprising an output control unit for reading data and transferring the data to a set destination. 제1항에 있어서, 상기 입력제어부는 외부로부터 데이터를 수신처리하는 데이터 수신부와, 상기 데이터 수신부로 부터 입력받은 데이터를 음성데이터와 영상데이터로 분리해 주는 데이터 분리부와, 상기 음성 데이터 버퍼로부터 음성 저장 위치인 어드레스를 산출하는 음성 라이트위치 산출부와, 상기 음성 라이트위치 산출부로부터 받은 어드레스를 이용하여 상기 데이터 분리부로 부터 받은 음성데이터를 음성 데이터 버퍼에 저장하는 음성 라이트 제어부와, 상기 영상 데이터 버퍼로부터 영상 저장 위치인 어드레스를 산출하는 영상 라이트위치 산출부와, 상기 영상 라이트위치 산출부로부터 받은 어드레스를 이용하여 상기 데이터 분리부로 부터 받은 영상데이터를 영상 데이터 버퍼에 저장하는 영상 라이트 제어부를 포함하는 것을 특징으로 하는 VOIP 시스템의 RTP용 지터버퍼장치.The apparatus of claim 1, wherein the input control unit comprises: a data receiver for receiving data from an external source; a data separator for separating data received from the data receiver into audio data and video data; and a voice from the audio data buffer. A voice write position calculator for calculating an address which is a storage position, a voice write controller for storing voice data received from the data separator using an address received from the voice write position calculator, in a voice data buffer, and the image data buffer An image write position calculating unit for calculating an address which is an image storing position from the image writing unit, and an image write control unit storing the image data received from the data separating unit in the image data buffer using the address received from the image writing position calculating unit. Characterized Jitter buffer device for RTP in VOIP systems. 제1항에 있어서, 상기 출력제어부는 상기 음성 데이터 버퍼의 데이터 출력 위치를 산출하는 음성 리드위치 산출부와, 상기 음성 리드위치 산출부로부터 받은 어드레스를 이용하여 상기 음성 데이터 버퍼에 저장된 음성 데이터의 위치를 읽어 내는 음성 리드 제어부와, 상기 음성 리드 제어부에 음성 리드 트리거를 공급하는 음성 타이머와,상기 영상 데이터 버퍼의 데이터 출력 위치를 산출하는 영상 리드위치 산출부와, 상기 영상 리드위치 산출부로부터 받은 어드레스를 이용하여 상기 영상 데이터버퍼에 저장된 영상데이터의 위치를 읽어 내는 영상 리드 제어부와, 상기 영상 리드 제어부에 영상 리드 트리거를 공급하는 영상 타이머와, 상기 음성 리드 제어부와 영상 리드 제어부로 부터 출력된 영상 및 음성데이터를 다중화 하는 데이터 다중화부와, 상기 데이터 다중화로부터 받은 데이터를 설정된 목적지로 출력시키는 데이터 출력부를 포함하는 것을 특징으로 하는 VOIP 시스템의 RTP용 지터버퍼장치.The audio output apparatus of claim 1, wherein the output controller is configured to calculate a data output position of the voice data buffer, and a position of the voice data stored in the voice data buffer using an address received from the voice lead position calculator. A voice readout control unit for reading a voice readout, a voice timer for supplying a voice read trigger to the voice readout control unit, a video readout position calculating unit for calculating a data output position of the video data buffer, and an address received from the video readout position calculating unit. An image read control unit for reading the position of the image data stored in the image data buffer using the image readout, an image timer for supplying the image read trigger to the image read control unit, an image output from the audio lead control unit and the image read control unit, and A data multiplexer which multiplexes voice data, A data output device for a jitter buffer of RTP VOIP system characterized in that it comprises an output unit for the data received from the multiplexed data group to a set destination. 제1항에 있어서, 상기 음성 데이터버퍼는 필요 메모리를 34Mbit로 구성하는 것을 특징으로 하는 VOIP 시스템의 RTP용 지터버퍼장치.The jitter buffer device for RTP of a VOIP system according to claim 1, wherein said voice data buffer comprises 34 Mbits of required memory. 제4항에 있어서, 상기 음성 데이터버퍼는 120msec동안 저장되는 패킷수가 6(120msec/20msec)개이고 총 23000개의 연결이 있도록 구성되는 것을 특징으로 하 는 VOIP 시스템의 RTP용 지터버퍼장치. 5. The jitter buffer device for RTP of a VOIP system according to claim 4, wherein the voice data buffer has 6 (120 msec / 20 msec) packets stored for 120 msec and has a total of 23000 connections. 제1항에 있어서, 상기 영상 데이터버퍼는 필요 메모리를 41Mbit로 구성하는 것을 특징으로 하는 VOIP 시스템의 RTP용 지터버퍼장치.The jitter buffer device for RTP of a VOIP system according to claim 1, wherein the video data buffer comprises 41 Mbits of required memory. 제6항에 있어서, 상기 영상 데이터버퍼는 120msec동안 저장되는 패킷수가 24(120msec/5msec)개이고 총 5400개의 연결이 있도록 구성되는 것을 특징으로 하는 VOIP 시스템의 RTP용 지터버퍼장치. 7. The jitter buffer device for RTP of a VOIP system according to claim 6, wherein the video data buffer has 24 (120 msec / 5 msec) packets stored for 120 msec and has a total of 5400 connections. VOIP 시스템의 지터버퍼장치로 데이터가 수신될 경우 현재 입력된 데이터를 영상데이터와 음성데이터로 분리시키는 데이터분리단계와, 상기 데이터분리단계후에 현재 분리된 데이터가 음성데이터일경우 그 분리된 음성데이터를 음성데이터버퍼(34Mbit)에 넣어 지터를 제거한 다음 영상데이터와 다중화하여 해당 목적지로 전송처리하는 음성데이터 처리단계와, 상기 데이터분리단계후에 현재 분리된 데이터가 영상데이터일경우 그 분리된 영상데이터를 영상데이터버퍼(41Mbit)에 넣어 지터를 제거한 다음 음성데이터와 다중화하여 해당 목적지로 전송처리하는 영상데이터 처리단계로 이루어진 것을 특징으로 하는 VOIP 시스템의 RTP용 지터버퍼장치의 제어방법.When data is received by the jitter buffer device of the VOIP system, a data separation step of separating the currently input data into video data and audio data, and if the data currently separated after the data separation step is voice data, separate the separated voice data. The audio data processing step of removing the jitter in the audio data buffer (34Mbit) and then multiplexing the video data to transfer to the corresponding destination, and if the data currently separated after the data separation step is the video data, the separated video data The control method of the jitter buffer device for the RTP of the VOIP system, characterized in that the image data processing step of removing the jitter in the data buffer (41Mbit) and then multiplexed with the audio data to transfer to the destination.
KR1020050096180A 2005-10-12 2005-10-12 Jitter buffer device for a rtp of the voip system and controlling method therefore KR100661511B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050096180A KR100661511B1 (en) 2005-10-12 2005-10-12 Jitter buffer device for a rtp of the voip system and controlling method therefore

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050096180A KR100661511B1 (en) 2005-10-12 2005-10-12 Jitter buffer device for a rtp of the voip system and controlling method therefore

Publications (1)

Publication Number Publication Date
KR100661511B1 true KR100661511B1 (en) 2006-12-27

Family

ID=37815600

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050096180A KR100661511B1 (en) 2005-10-12 2005-10-12 Jitter buffer device for a rtp of the voip system and controlling method therefore

Country Status (1)

Country Link
KR (1) KR100661511B1 (en)

Similar Documents

Publication Publication Date Title
US6977942B2 (en) Method and a device for timing the processing of data packets
KR100552519B1 (en) system and method for unified messaging system service using voice over Internet protocol
AU759487B2 (en) Apparatus for processing packet, and medium storing packet processing program
US8379631B2 (en) System, method and computer program product for point-to-point bandwidth conservation in an IP network
US7379466B2 (en) In band signal detection and presentation for IP phone
US7457242B2 (en) System for transmitting high quality speech signals on a voice over internet protocol network
US7088739B2 (en) Method and apparatus for creating a packet using a digital signal processor
US7298760B2 (en) System and method for processing audio and video data in a wireless handset
CA2484751A1 (en) Switching architecture with packet encapsulation
JP4515979B2 (en) IP phone
CN101523822A (en) Voice transmission apparatus
US6954460B2 (en) Method and apparatus for compressing packet headers
KR100661511B1 (en) Jitter buffer device for a rtp of the voip system and controlling method therefore
US7545801B2 (en) In-band control mechanism for switching architecture
US6931029B1 (en) System and method for synchronizing with data received over an unreliable asynchronous medium
JP3986729B2 (en) Delay fluctuation absorption control method and multiplexing apparatus using the method
JP3569442B2 (en) Switching center device in mobile communication system
JP3694451B2 (en) Gateway and data transfer method
JP3669660B2 (en) Call system
JP3408215B2 (en) A cell interleaving method in an ATM (Asynchronous Transmission Mode) switching system.
JP2002171282A (en) Method and device for absorbing delay fluctuation at the packet arrival in packet communication
Agrawal et al. To improve the voice quality over IP using channel coding
KR20020073858A (en) Method for Prevention of Data Transmission Delay
EP1274206A1 (en) Buffering in hybrid packet-TDM gateway
JP2007243685A (en) Ip packet apparatus

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121115

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131115

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141119

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee