KR100401227B1

KR100401227B1 - Multimedia Streaming Method

Info

Publication number: KR100401227B1
Application number: KR10-2001-0079776A
Authority: KR
Inventors: 이상희; 이승준
Original assignee: 에스케이 텔레콤주식회사; 엠큐브웍스(주)
Priority date: 2001-12-15
Filing date: 2001-12-15
Publication date: 2003-10-10
Also published as: KR20030049548A

Abstract

본 발명은 멀티미디어 데이터를 수신기쪽으로 송신하는 멀티미디어 스트리밍 서버의 스트리밍 방법에 관한 것으로, 기존의 시스템에서는 채널의 환경이 좋지 않거나 비디오 데이터의 양이 갑자기 많아진 경우 오디오 데이터가 플레이어 쪽에 도착되는 시간이 늦어져 오디오 데이터를 재생할 수 없어지므로, 이를 개선하기 위하여 스트리밍의 초기에 일정시간동안 오디오 데이터만을 미리 어느정도 송신한 후 오디오와 비디오를 정상적으로 송신하여 채널이 나빠지거나 비디오 데이터가 늘어나는 경우에도 오디오는 끊김없이 재생될 수 있도록 함으로써 채널의 대역폭이 좁고 채널특성이 시간에 따라 변하는 무선환경에서도 효과적인 멀티미디어 스트리밍을 가능하게 하는 유용한 발명이다.The present invention relates to a streaming method of a multimedia streaming server for transmitting multimedia data to a receiver. In the conventional system, when the channel environment is poor or the amount of video data suddenly increases, the time for which the audio data arrives at the player is delayed. Since the data cannot be played back, in order to improve this, only audio data is transmitted in advance for a predetermined period of time at the beginning of streaming, and then audio and video can be transmitted normally so that audio can be played back seamlessly even if the channel is bad or video data is increased. This is a useful invention that enables effective multimedia streaming even in a wireless environment where the bandwidth of the channel is narrow and the channel characteristics change over time.

Description

Multimedia Streaming Method

본 발명은 멀티미디어 데이터를 송신하는 멀티미디어 스트리밍 방법에 관한 것으로서, 더욱 상세하게는 채널의 상황이 나빠져도 스트리밍 플레이어에서 오디오 데이터는 끊김없이 재생될 수 있도록 오디오 및 비디오 패킷의 송신 순서 및 시간을 결정하는, 멀티미디어 스트리밍 방법에 관한 것이다.The present invention relates to a multimedia streaming method for transmitting multimedia data, and more particularly, to determine the transmission order and time of audio and video packets so that audio data can be played back seamlessly in a streaming player even if the channel situation worsens. A multimedia streaming method.

도 1은 무선 환경에서 멀티미디어 스트리밍을 위한 일반적인 시스템 구성도를 도시한 것으로, 동 도면에 도시된 바와 같이, 유선망(140)에 접속되어있는 스트리밍 서버(110)는 미리 저장되어 있는 멀티미디어 컨텐츠 혹은 라이브 인코딩 서버(미도시)로부터 수신된 멀티미디어 컨텐츠를 무선망(150)에 접속되어 있는 스트리밍 플레이어(130)로 송신한다.1 is a block diagram of a general system for multimedia streaming in a wireless environment. As shown in the figure, the streaming server 110 connected to the wired network 140 may store multimedia content or live encoding stored in advance. The multimedia content received from the server (not shown) is transmitted to the streaming player 130 connected to the wireless network 150.

상기 무선망(150)과 상기 유선망(140)사이에는 게이트웨이(120)가 있어 주어진 멀티미디어 데이터가 서로 다른 망을 통해 전달될 수 있도록 프로토콜 전환등의 역할을 한다. 많은 경우 상기 스트리밍 서버(110)가 접속되어 있는 상기 유선망(140)의 속도는 충분히 빠르고 안정적이지만, 상기 무선망(150)의 속도는 유선망(140)에 비해 느리고 시간에 따라 변하게 된다. 따라서 일반적으로 유선망(140)에서 무선망(150)쪽으로 나가는 상기 게이트웨이(120)에는 전송 버퍼(121)가 있고, 상기 무선망(150)의 속도가 느려지거나 상기 유선망(140)으로부터 유입되는 데이터의 양이 갑자기 늘어나는 경우 이 전송 버퍼(121)내에 잔류하는 데이터의 양은 점차 많아지게 된다.There is a gateway 120 between the wireless network 150 and the wired network 140 to serve as a protocol switch so that a given multimedia data can be transmitted through different networks. In many cases, the speed of the wired network 140 to which the streaming server 110 is connected is fast and stable enough, but the speed of the wireless network 150 is slower than the wired network 140 and changes with time. Therefore, in general, the gateway 120 exiting from the wired network 140 toward the wireless network 150 has a transmission buffer 121, and the speed of the wireless network 150 is slowed down or that of the data flowing from the wired network 140. When the amount suddenly increases, the amount of data remaining in this transfer buffer 121 gradually increases.

도 2는 일반적인 멀티미디어 스트리밍 방법에 따른 오디오 및 비디오 패킷의 송신 시간의 일 예를 도시한 것이다.2 illustrates an example of a transmission time of an audio and video packet according to a general multimedia streaming method.

대개의 경우 멀티미디어 스트리밍을 위해서는 실시간 전송 프로토콜(real-time tranport protocol : RTP)을 사용하는데, 이 경우 오디오와 비디오 데이터는 각각 서로 다른 패킷이 실리게 되고, 또 각 패킷은 그 패킷내의 데이터가 언제 재생되어야 하는지를 나타내는 타임스탬프를 포함하고 있다. 일반적인 멀티미디어 스트리밍 서버에서는 이 타임스탬프의 정보에 맞추어 각 패킷의 송신 순서 및 시간을 결정한다. 예를 들어 도 2에 도시된 바와 같이 오디오 패킷의 발생주기가 a초 이고, 비디오 패킷의 발생주기가 v초라고 하자. 이 경우 일반적인 스트리밍 서버는 스트리밍을 시작한 후 오디오 패킷은 a초 마다, 비디오 패킷은 v초 마다 스트리밍 플레이어 쪽으로 송신한다.In general, multimedia streaming uses a real-time tranport protocol (RTP), in which case audio and video data have different packets, and each packet plays when the data in that packet is played. It contains a timestamp indicating if it should be. In general multimedia streaming server, the transmission order and time of each packet are determined according to the information of this timestamp. For example, as shown in FIG. 2, the generation period of an audio packet is a second, and the generation period of a video packet is v seconds. In this case, after the streaming server starts streaming, the audio packet is sent to the streaming player every a second and the video packet every v seconds.

대개의 경우처럼 유선망의 전송속도는 충분히 높고 무선망의 전송속도는 제한되어 있다고 가정하자. 이 경우 스트리밍 서버가 도 2의 (a)와 같은 방법으로 송신한다면 플레이어 쪽에서 각 패킷을 수신하는 시간은 도 2의 (b)에 도시한 바와 같이 나타날 것이다.Suppose that the transmission speed of wired network is high enough and the transmission speed of wireless network is limited as usual. In this case, if the streaming server transmits in the same manner as in FIG. 2 (a), the time for receiving each packet at the player side will appear as shown in FIG. 2 (b).

일반적으로 스트리밍 플레이어에서는 첫 패킷을 받으면 바로 플레이를 시작하지 않고 약간의 버퍼링 시간을 갖는다. 편의상 스트리밍 플레이어가 첫 패킷을 받은 후 D초 후에 데이터를 재생하기 시작한다고 가정하자. 그렇다면 첫번째 패킷은 'r1 + D' 초에 재생될 것이고, 따라서 n번째 패킷의 정상적인 재생시간은 'r1 + D + (n-1)*a' 가 될 것이다. 즉, n번째 패킷이 제대로 재생되기 위해서는 그 패킷의 재생시간전에 플레이어 쪽에 도착되어야 하고 이를 식으로 나타내면, 'rn = sn + dn < r1 + D + (n-1)*a'의 조건을 만족해야 한다. 그런데 'r1 = s1+d1'이므로 이 조건은 '(dn-d1) < D + (n-1)*a - (sn-s1)'과 같다.In general, streaming players do not start playing immediately after receiving the first packet, but have some buffering time. For convenience, assume that the streaming player starts playing data after D seconds after receiving the first packet. If so, the first packet will be played in 'r1 + D' seconds, so the normal playback time of the nth packet will be 'r1 + D + (n-1) * a'. In other words, in order for the nth packet to be played properly, it must arrive at the player before the play time of the packet. In this case, the condition 'rn = sn + dn <r1 + D + (n-1) * a' must be satisfied. do. However, since 'r1 = s1 + d1', this condition is equivalent to '(dn-d1) <D + (n-1) * a-(sn-s1)'.

이때, 서버에서 n번째 오디오 패킷의 송신시간 sn와 플레이어에서 그 패킷의 수신시간 rn사이의 지연시간 dn = rn-sn은 주로 유선 및 무선망을 통한 전파지연(propagation delay) pd 에 게이트웨이에서의 지연시간의 합으로 나타난다. 무선망의 속도를 x bits/sec, 게이트웨이의 무선망쪽 전송버퍼내의 데이터의 양을 B bits라고 하면, 게이트웨이에서의 지연시간은 대략 B/x초가 된다. 만일 무선망의 상태가 나빠지면 낮은 프로토콜레벨에서 재전송등이 일어나 지연시간 pd 가 길어지거나 효과적인 데이터 전송속도 x가 낮아지게 된다. 따라서 이 경우 dn이 커지게 되며, 이 값이 너무 커져 위의 조건을 만족하지 못하게 되면 그 패킷은 제시간에 도착하지 못하게 되어 오디오의 재생이 중지되거나 끊김현상이 나타나게 된다. 물론 이러한 현상은 채널상황은 그대로이더라도(즉, pd나 x값은 그대로 이더라도) 유선망에서 유입되는 데이터의 양이 많아져 B값이 커지는 경우에도 dn이 커지게 되어 발생할 수 있다.At this time, the delay time dn = rn-sn between the transmission time sn of the nth audio packet at the server and the reception time rn of the packet at the player is mainly a delay at the gateway at propagation delay pd through wired and wireless networks. It appears as the sum of time. If the speed of the wireless network is x bits / sec and the amount of data in the wireless network side transmission buffer of the gateway is B bits, the delay time at the gateway is approximately B / x seconds. If the state of the wireless network worsens, retransmission occurs at a low protocol level, resulting in a long delay time pd or an effective data rate x lowered. Therefore, in this case, dn becomes large. If this value becomes too large and the above conditions are not satisfied, the packet does not arrive in time, and the reproduction of audio is stopped or dropped. Of course, this phenomenon may occur even if the channel condition remains the same (that is, even if the pd or x value is the same), even when the value of data flowing in the wired network increases and the B value increases.

물론 이와 같은 현상을 방지하기 위해서는 플레이어에서의 초기 지연 시간 D를 높이는 방법이 있을 수 있으나, 이는 초기에 기다리는 시간이 증가되어 사용자가 지루함을 느끼게 되고, 플레이어의 버퍼크기가 커져야 하므로 무선단말과 같이메모리가 한정되어 있는 응용에는 적합하지 않다.Of course, there can be a way to increase the initial delay time D in the player to prevent such a phenomenon, but this increases the initial waiting time, which makes the user feel bored, and the buffer size of the player must be large, such as a wireless terminal, It is not suitable for applications where is limited.

본 발명은 상기와 같은 문제점을 해결하기 위하여 창작된 것으로서, 플레이어에서의 초기 지연시간 D를 증가시키지 않고도 오디오의 끊김현상을 최소화하기 위한 효율적인 멀티미디어 데이터의 스트리밍 전송방법을 제공하고자 하는 것이다.The present invention was created to solve the above problems, and is intended to provide an efficient multimedia data streaming method for minimizing audio dropout without increasing an initial delay time D in a player.

도 1은 무선환경에서 멀티미디어 스트리밍을 위한 일반적인 시스템 구성도를 도시한 것이고,1 illustrates a general system diagram for multimedia streaming in a wireless environment.

도 2는 일반적인 멀티미디어 스트리밍 방법에 따른 각 패킷의 송신 시간의 일 예를 도시한 것이고,2 illustrates an example of a transmission time of each packet according to a general multimedia streaming method.

도 3은 본 발명에 따른 멀티미디어 스트리밍 방법에서의 각 패킷의 송신 시간의 일 예를 도시한 것이고,3 illustrates an example of a transmission time of each packet in the multimedia streaming method according to the present invention.

도 4는 본 발명에 따른 멀티미디어 스트리밍 방법 중 무선 채널의 속도를 미리 아는 경우 스트리밍 서버의 동작의 일 실시예를 순서도로 도시한 것이고,4 is a flowchart illustrating an embodiment of an operation of a streaming server when the speed of a wireless channel is known in advance in the multimedia streaming method according to the present invention.

도 5는 본 발명에 따른 멀티미디어 스트리밍 방법 중 무선 채널의 속도를 모르는 경우 스트리밍 서버의 동작의 일 실시예를 순서도로 도시한 것이다.5 is a flowchart illustrating an embodiment of an operation of a streaming server when the speed of a wireless channel is not known in the multimedia streaming method according to the present invention.

※ 도면의 주요부분에 대한 부호의 설명※ Explanation of code for main part of drawing

110 : 스트리밍 서버 120 : 게이트웨이110: streaming server 120: gateway

121 : 전송 버퍼 130 : 스트리밍 플레이어121: transmission buffer 130: streaming player

140 : 유선망 150 : 무선망140: wired network 150: wireless network

상기와 같은 목적을 달성하기 위하여 본 발명에 따른 멀티미디어 스트리밍 방법은, 일반적인 멀티미디어 데이터 스트리밍 방법에 있어서, 일정시간 동안 먼저 오디오 패킷만을 송신하고, 이 후 상기 일반적인 멀티미디어 데이터 스트리밍 방법에 따라 오디오와 비디오 패킷을 송신함을 특징으로 한다.In order to achieve the above object, the multimedia streaming method according to the present invention, in the general multimedia data streaming method, first transmits only an audio packet for a predetermined time, and then audio and video packets according to the general multimedia data streaming method. Characterized in the transmission box.

상기 일정 시간 동안의 상기 오디오 패킷의 송신 간격 및 순서는 망의 전송속도를 예측하여 결정하도록 함을 특징으로 한다.The transmission interval and the order of the audio packet during the predetermined time may be determined by predicting the transmission speed of the network.

또한, 상기 일정 시간 중에 무선망의 속도를 다시 계산하여 해당 오디오 패킷의 송신 여부, 송신 간격 및 순서를 다시 결정토록 하고, 이와 같이 무선망의 속도를 다시 계산하기 위하여 스트리밍 플레이어로부터 전송된 리포트내의 정보를 이용함을 특징으로 한다.In addition, the speed of the wireless network is recalculated during the predetermined time so as to determine whether the corresponding audio packet is transmitted again, the transmission interval and the order, and the information in the report transmitted from the streaming player in order to recalculate the speed of the wireless network. Characterized by using.

이하, 첨부 도면을 참조하여 본 발명의 바람직한 실시예에 따른 멀티미디어스트리밍 방법에 대하여 상세히 설명하기로 한다.Hereinafter, a multimedia streaming method according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 3은 본 발명에 따른 멀티미디어 스트리밍 방법에서 각 오디오 비디오 패킷의 전송 시간 및 방법의 일 예를 도시한 갓이다.3 is a diagram illustrating an example of a transmission time and a method of each audio video packet in a multimedia streaming method according to the present invention.

먼저, 스트리밍이 시작되면, 스트리밍 서버는 각 패킷의 타임스탬프와는 무관하게 오디오 패킷만을 일정시간(T 초)동안 먼저 송신한다. 이 때, 오디오 패킷의 송신 간격 A는 무선채널의 전송속도 x에 따라 결정한다. 예를 들어 각 오디오 패킷의 길이를 L bits라 하면 'L/A < x' 가 되도록 A를 정한다. 물론 이 구간동안은 비디오 데이터는 전송하지 않으므로 오디오 패킷을 일반적인 경우보다 훨씬 더 자주 보낼 수 있게 된다(즉, A는 도 2의 a보다 작은 값이 된다). 이때, 오디오만을 먼저 전송하는 시간 T는 플레이어에서 오디오와 비디오의 동기화된 재생등을 위해 플레이어에서의 초기 지연시간 D보다 충분히 작게 결정되어야 한다. 이와 같이 오디오만을 먼저 송신하는 기간이 지나가면 정상적인 스트리밍 모드(즉, 도 2의 방법)로 스위칭한다. 즉, 도2의 일반적인 스트리밍 방법과 같이 원래의 송신 간격 a로 오디오를 전송하며, 비디오 패킷도 정상적인 간격 v로 송신하기 시작한다. 이와 같이 본 발명에 따른 스트리밍 방법을 사용하는 경우 n번째 패킷의 송신시간 Sn은 일반적인 경우의 송신시간 sn보다 작아지게 되어, 채널이 어느정도 나빠지거나 송신되는 데이터양이 다소 많아지더라도 패킷이 재생시간전에 도착하도록 함으로써 오디오 재생시 중단 혹은 끊김현상을 최소화할 수 있다.First, when streaming starts, the streaming server first transmits only audio packets for a predetermined time (T seconds) regardless of the time stamp of each packet. At this time, the transmission interval A of the audio packet is determined according to the transmission rate x of the radio channel. For example, if the length of each audio packet is L bits, A is determined so that 'L / A <x'. Of course, no video data is transmitted during this period, so audio packets can be sent much more frequently than usual (i.e., A is smaller than a in FIG. 2). At this time, the time T for transmitting only audio first should be determined to be smaller than the initial delay time D in the player for synchronized playback of audio and video in the player. In this manner, when a period of transmitting only audio first passes, a normal streaming mode (ie, the method of FIG. 2) is switched. That is, as in the general streaming method of FIG. 2, audio is transmitted at the original transmission interval a, and video packets also begin to be transmitted at the normal interval v. As described above, when the streaming method according to the present invention is used, the transmission time Sn of the nth packet is smaller than the transmission time sn of the general case, and even if the channel is worsened to some extent or the amount of data to be transmitted is somewhat higher, By arriving, you can minimize interruptions or dropouts during audio playback.

예를 들어 오디오의 패킷의 길이가 L=800 bits, 패킷 간격이 a=100 msec, 무선전송로의 속도가 x=40 kbps, 플레이어에서의 초기 지연시간이 D=3초인 경우를 가정하면, 일반적인 스트리밍 방법에서는 101번째 패킷의 송신시간 's101 = s1 + 100*0.1'이 되므로 특정 패킷의 상대적 지연시간 (dn-d1)이 3초보다 커지는 경우 그 패킷은 재생될 수 없다. 그런데 본 발명에 따른 방법을 사용하여, 초기 T=1초동안은 최대 전송률로 오디오 만을 전송(즉 A=20msec) 한 후 이 후부터 오디오와 비디오를 정상적으로 전송한다면, 초기 1초동안 오디오 50 패킷을 먼저 보낸 이후 정상적인 스트리밍 모드로 동작하므로 101번째 패킷의 송신시간은 'S101 = s1 + 1 + 50*0.1 = s101 - 4' 가 된다. 즉, 이 경우에는 네트웍에서의 이 패킷의 상대적 지연시간이 7초보다 작기만 하면 이 오디오 패킷은 제시간에 도착하는 셈이므로 정상적으로 재생될 수 있다.For example, suppose that the length of an audio packet is L = 800 bits, the packet interval is a = 100 msec, the wireless transmission speed is x = 40 kbps, and the initial delay time in the player is D = 3 seconds. In the streaming method, since the transmission time of the 101st packet is 's101 = s1 + 100 * 0.1', when the relative delay time (dn-d1) of a specific packet is larger than 3 seconds, the packet cannot be reproduced. However, using the method according to the present invention, if only the audio is transmitted at the maximum transmission rate (i.e., A = 20 msec) during the initial T = 1 second, and then the audio and video are normally transmitted, the audio 50 packet is first transmitted during the initial 1 second. Since it operates in the normal streaming mode after sending, the transmission time of the 101st packet becomes 'S101 = s1 + 1 + 50 * 0.1 = s101-4'. In this case, as long as the relative delay time of this packet in the network is less than 7 seconds, the audio packet arrives in time and can be reproduced normally.

도 4는 도 3을 참조로 상술된 본 발명의 스트리밍 방법의 일 예를 순서도로 도시한 것으로서, 도 1의 스트리밍 서버에 적용된다.FIG. 4 is a flowchart illustrating an example of the streaming method of the present invention described above with reference to FIG. 3, and is applied to the streaming server of FIG. 1.

도 4에 도시된 바와 같이, 멀티미디어 스트리밍을 시작하여(S401), 도 3의 (a)에 도시된 바와 같이 오디오 패킷만을 A 초 간격으로 송신하고 이때 비디오 패킷은 송신하지 않는다(S402).As shown in FIG. 4, multimedia streaming is started (S401), and as shown in FIG. 3A, only audio packets are transmitted at A second intervals, and video packets are not transmitted (S402).

상기와 같이 오디오 스트림을 송신하면서 초기부터 스트리밍 시간을 기산하여 기 설정된 T 초 이상이 흘렀는가를 확인하고(S403), 만일 T 초 이상이 흘렀다고 판단되면 도 2의 (a)에 도시된 바와 같이 정상적인 즉, 기존의 일반적인 스트리밍 모드로 동작토록하여 각 오디오/비디오 패킷의 타임스템프 값의 시간에 따라 해당 패킷을 송신하고(S404), 스트리밍을 완료토록 한다(S405).While transmitting the audio stream as described above, it is determined whether or not the preset T seconds have passed by calculating the streaming time from the beginning (S403). If it is determined that the T seconds or more has passed, the normal as shown in (a) of FIG. That is, it operates in the existing general streaming mode and transmits the corresponding packet according to the time of the timestamp value of each audio / video packet (S404), and completes the streaming (S405).

도 5는 본 발명의 스트리밍 방법의 다른 예를 순서도로 도시한 것으로서, 도1의 스트리밍 서버에 적용되며, 이는 해당 스트리밍 서버에서 무선망의 전송속도를 알기 어려운 경우에 적용되는 순서도이다.5 is a flowchart illustrating another example of the streaming method of the present invention, which is applied to the streaming server of FIG. 1, which is a flowchart applied when it is difficult to know the transmission speed of a wireless network in the streaming server.

도 5에 도시된 바와 같이, 해당 스트리밍 서버에서 멀티미디어 스트리밍을 시작하되(S501), 우선 무선망의 속도를 임의적으로 가정하여 그 값에 맞도록 오디오 패킷의 송신 간격 A1을 결정한 후 이 값에 따라 일부 시간 동안 오디오 패킷만을 송신한다(S502).As shown in FIG. 5, the streaming server starts multimedia streaming (S501). First, randomly assuming the speed of the wireless network, the transmission interval A1 of the audio packet is determined according to the value, and then a portion thereof is determined according to this value. Only audio packets are transmitted during the time (S502).

상기와 같이 A1 간격으로 오디오 패킷만을 송신하는 과정에서 플레이어로부터 피드백 리포트, 예를 들면 RTCP 수신기 리포트(receiver report)가 수신되는가를 판단한 후(S503), 만일 수신되었다면 그 수신된 피드백 리포트의 값으로부터 무선망의 전송속도를 예측하여 새로운 오디오 패킷 송신 간격 A2 값을 계산하고(S504), 그 계산된 A2 초 간격으로 기 설정된 T시간 까지 오디오 패킷만을 송신하고, 비디오 패킷은 송신하지 않도록 한다(S505).After determining whether a feedback report, for example, an RTCP receiver report, is received from the player in the process of transmitting only an audio packet at an A1 interval as described above (S503), if received, wirelessly from the value of the received feedback report. A new audio packet transmission interval A2 value is calculated by predicting the transmission rate of the network (S504), and only the audio packet is transmitted until a preset T time at the calculated A2 second interval, and the video packet is not transmitted (S505).

이어, 상기 단계 S501의 스트리밍 시작 후 상기 기 설정된 시간 T가 지났는가를 판단하는 데(S506), 한편 상기 단계 S503의 판단 시 플레이어로부터 피드백 리포트를 수신하지 못하였을 경우에도 상기 단계 S501의 스트리밍 시작 후 상기 기 설정된 시간 T가 지났는가를 판단하도록 한다(S507).Subsequently, it is determined whether the preset time T has passed after the start of the streaming of the step S501 (S506), and if the feedback report is not received from the player when the determination of the step S503 is made, the streaming after the start of the step S501 is performed. It is determined whether the preset time T has passed (S507).

다음, 상기 단계 S506 또는 상기 단계 S507의 판단 결과, 스트리밍 시작 후 상기 시간 T가 흘렀다고 판단되면 도 2의 (a)에 도시된 바와 같이 정상적인 즉, 기존의 일반적인 스트리밍 모드로 동작토록하여 각 오디오/비디오 패킷의 타임스템프 값의 시간에 따라 해당 패킷을 송신하고(S508), 스트리밍을 완료토록 한다(S509).Next, as a result of the determination of step S506 or step S507, if it is determined that the time T has passed after the start of streaming, as shown in FIG. The packet is transmitted according to the timestamp value of the video packet (S508), and the streaming is completed (S509).

결과적으로 도 5와 같이 본 발명의 순서도에 따르면, 예측계산된 무선망의 속도가 초기에 임의적으로 가정한 무선망의 속도보다 낮은 경우 새로운 오디오 패킷 송신 간격 A2를 A1보다 낮추고, 초기의 임의 가정치보다 높으면 A2를 A1과 같게 하거나 약간 높인다. 이때 예측계산된 값이 초기 임의 가정치보다 일정이상 높을 경우 T시간까지는 오디오 및 비디오 어느 패킷의 송신을 멈출 필요도 있다. 만일 T시간이 되도록 플레이어로부터 아무 리포트를 받지 못한 경우에는 정상적인 스트리밍 모드로 동작한다.As a result, according to the flowchart of the present invention as shown in FIG. 5, when the speed of the predicted calculated wireless network is lower than the speed of the initially assumed wireless network, the new audio packet transmission interval A2 is lower than A1, and the initial random assumption If higher, make A2 equal or slightly higher. At this time, if the predicted value is higher than a certain initial value by a predetermined value, it is necessary to stop transmission of any audio and video packets until T time. If no report is received from the player for T time, it will run in normal streaming mode.

이상 상세히 설명한 바와 같이 본 발명에 따른 멀티미디어 스트리밍 방법은, 통상의 멀티미디어 스트리밍 방법에서 사용하지 않는 오디오 우선 송신 기법을 사용함으로써 무선환경과 같이 대역폭이 제한되고 채널특성이 시간에 따라 변하는 환경에서도 오디오 정보를 끊김없이 재생할 수 있게 하여, 무선 환경에서 뉴스 주문자 생산(News On Demand), 비디오 주문자 생산(Video On Demand), 뮤직 비디오(Music video) 등의 서비스를 효과적으로 구현할 수 있게 하는 유용한 발명이다.As described in detail above, the multimedia streaming method according to the present invention uses audio priority transmission techniques not used in the conventional multimedia streaming method, so that audio information can be obtained even in an environment where bandwidth is limited and channel characteristics change over time, such as a wireless environment. By enabling seamless playback, it is a useful invention to effectively implement services such as News On Demand, Video On Demand, Music video, etc. in a wireless environment.

Claims

In the general multimedia data streaming method of transmitting audio and video packets at regular intervals at the start of streaming,

A first step of transmitting only an audio packet for a predetermined period of time after the initial streaming starts; And

And a second step of transmitting audio and video packets according to the general multimedia streaming method after the preset time elapses.

The method of claim 1,

In the first step, the multimedia streaming method, characterized in that for determining the transmission interval and the order of the transmission of the audio packet for the predetermined time by predicting the transmission speed of the network.

The method of claim 1,

The multimedia streaming method of claim 1, wherein the speed of the wireless network is calculated during the predetermined time to determine whether to transmit an audio packet, a transmission interval and sequence, and the predetermined time.

The method of claim 3, wherein

And recalculation of the speed of the wireless network and the predetermined time is based on the information obtained from the report transmitted from the player.

The method of claim 4, wherein

The report is a multimedia streaming method, characterized in that the receiver report of the real-time transport protocol control protocol (RTP Control Proticol: RTCP).