KR20030049548A - 멀티미디어 스트리밍 방법 - Google Patents

Abstract

본 발명은 멀티미디어 데이터를 수신기쪽으로 송신하는 멀티미디어 스트리밍 서버의 스트리밍 방법에 관한 것으로, 기존의 시스템에서는 채널의 환경이 좋지 않거나 비디오 데이터의 양이 갑자기 많아진 경우 오디오 데이터가 플레이어 쪽에 도착되는 시간이 늦어져 오디오 데이터를 재생할 수 없어지므로, 이를 개선하기 위하여 스트리밍의 초기에 일정시간동안 오디오 데이터만을 미리 어느정도 송신한 후 오디오와 비디오를 정상적으로 송신하여 채널이 나빠지거나 비디오 데이터가 늘어나는 경우에도 오디오는 끊김없이 재생될 수 있도록 함으로써 채널의 대역폭이 좁고 채널특성이 시간에 따라 변하는 무선환경에서도 효과적인 멀티미디어 스트리밍을 가능하게 하는 유용한 발명이다.

Description

멀티미디어 스트리밍 방법{Multimedia Streaming Method}

본 발명은 멀티미디어 데이터를 송신하는 멀티미디어 스트리밍 방법에 관한 것으로서, 더욱 상세하게는 채널의 상황이 나빠져도 스트리밍 플레이어에서 오디오 데이터는 끊김없이 재생될 수 있도록 오디오 및 비디오 패킷의 송신 순서 및 시간을 결정하는, 멀티미디어 스트리밍 방법에 관한 것이다.

도 1은 무선 환경에서 멀티미디어 스트리밍을 위한 일반적인 시스템 구성도를 도시한 것으로, 동 도면에 도시된 바와 같이, 유선망(140)에 접속되어있는 스트리밍 서버(110)는 미리 저장되어 있는 멀티미디어 컨텐츠 혹은 라이브 인코딩 서버(미도시)로부터 수신된 멀티미디어 컨텐츠를 무선망(150)에 접속되어 있는 스트리밍 플레이어(130)로 송신한다.

상기 무선망(150)과 상기 유선망(140)사이에는 게이트웨이(120)가 있어 주어진 멀티미디어 데이터가 서로 다른 망을 통해 전달될 수 있도록 프로토콜 전환등의 역할을 한다. 많은 경우 상기 스트리밍 서버(110)가 접속되어 있는 상기 유선망(140)의 속도는 충분히 빠르고 안정적이지만, 상기 무선망(150)의 속도는 유선망(140)에 비해 느리고 시간에 따라 변하게 된다. 따라서 일반적으로 유선망(140)에서 무선망(150)쪽으로 나가는 상기 게이트웨이(120)에는 전송 버퍼(121)가 있고, 상기 무선망(150)의 속도가 느려지거나 상기 유선망(140)으로부터 유입되는 데이터의 양이 갑자기 늘어나는 경우 이 전송 버퍼(121)내에 잔류하는 데이터의 양은 점차 많아지게 된다.

도 2는 일반적인 멀티미디어 스트리밍 방법에 따른 오디오 및 비디오 패킷의 송신 시간의 일 예를 도시한 것이다.

대개의 경우 멀티미디어 스트리밍을 위해서는 실시간 전송 프로토콜(real-time tranport protocol : RTP)을 사용하는데, 이 경우 오디오와 비디오 데이터는 각각 서로 다른 패킷이 실리게 되고, 또 각 패킷은 그 패킷내의 데이터가 언제 재생되어야 하는지를 나타내는 타임스탬프를 포함하고 있다. 일반적인 멀티미디어 스트리밍 서버에서는 이 타임스탬프의 정보에 맞추어 각 패킷의 송신 순서 및 시간을 결정한다. 예를 들어 도 2에 도시된 바와 같이 오디오 패킷의 발생주기가 a초 이고, 비디오 패킷의 발생주기가 v초라고 하자. 이 경우 일반적인 스트리밍 서버는 스트리밍을 시작한 후 오디오 패킷은 a초 마다, 비디오 패킷은 v초 마다 스트리밍 플레이어 쪽으로 송신한다.

대개의 경우처럼 유선망의 전송속도는 충분히 높고 무선망의 전송속도는 제한되어 있다고 가정하자. 이 경우 스트리밍 서버가 도 2의 (a)와 같은 방법으로 송신한다면 플레이어 쪽에서 각 패킷을 수신하는 시간은 도 2의 (b)에 도시한 바와 같이 나타날 것이다.

일반적으로 스트리밍 플레이어에서는 첫 패킷을 받으면 바로 플레이를 시작하지 않고 약간의 버퍼링 시간을 갖는다. 편의상 스트리밍 플레이어가 첫 패킷을 받은 후 D초 후에 데이터를 재생하기 시작한다고 가정하자. 그렇다면 첫번째 패킷은 'r1 + D' 초에 재생될 것이고, 따라서 n번째 패킷의 정상적인 재생시간은 'r1 + D + (n-1)*a' 가 될 것이다. 즉, n번째 패킷이 제대로 재생되기 위해서는 그 패킷의 재생시간전에 플레이어 쪽에 도착되어야 하고 이를 식으로 나타내면, 'rn = sn + dn < r1 + D + (n-1)*a'의 조건을 만족해야 한다. 그런데 'r1 = s1+d1'이므로 이 조건은 '(dn-d1) < D + (n-1)*a - (sn-s1)'과 같다.

이때, 서버에서 n번째 오디오 패킷의 송신시간 sn와 플레이어에서 그 패킷의 수신시간 rn사이의 지연시간 dn = rn-sn은 주로 유선 및 무선망을 통한 전파지연(propagation delay) pd 에 게이트웨이에서의 지연시간의 합으로 나타난다. 무선망의 속도를 x bits/sec, 게이트웨이의 무선망쪽 전송버퍼내의 데이터의 양을 B bits라고 하면, 게이트웨이에서의 지연시간은 대략 B/x초가 된다. 만일 무선망의 상태가 나빠지면 낮은 프로토콜레벨에서 재전송등이 일어나 지연시간 pd 가 길어지거나 효과적인 데이터 전송속도 x가 낮아지게 된다. 따라서 이 경우 dn이 커지게 되며, 이 값이 너무 커져 위의 조건을 만족하지 못하게 되면 그 패킷은 제시간에 도착하지 못하게 되어 오디오의 재생이 중지되거나 끊김현상이 나타나게 된다. 물론 이러한 현상은 채널상황은 그대로이더라도(즉, pd나 x값은 그대로 이더라도) 유선망에서 유입되는 데이터의 양이 많아져 B값이 커지는 경우에도 dn이 커지게 되어 발생할 수 있다.

물론 이와 같은 현상을 방지하기 위해서는 플레이어에서의 초기 지연 시간 D를 높이는 방법이 있을 수 있으나, 이는 초기에 기다리는 시간이 증가되어 사용자가 지루함을 느끼게 되고, 플레이어의 버퍼크기가 커져야 하므로 무선단말과 같이메모리가 한정되어 있는 응용에는 적합하지 않다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 창작된 것으로서, 플레이어에서의 초기 지연시간 D를 증가시키지 않고도 오디오의 끊김현상을 최소화하기 위한 효율적인 멀티미디어 데이터의 스트리밍 전송방법을 제공하고자 하는 것이다.

도 1은 무선환경에서 멀티미디어 스트리밍을 위한 일반적인 시스템 구성도를 도시한 것이고,

도 2는 일반적인 멀티미디어 스트리밍 방법에 따른 각 패킷의 송신 시간의 일 예를 도시한 것이고,

도 3은 본 발명에 따른 멀티미디어 스트리밍 방법에서의 각 패킷의 송신 시간의 일 예를 도시한 것이고,

도 4는 본 발명에 따른 멀티미디어 스트리밍 방법 중 무선 채널의 속도를 미리 아는 경우 스트리밍 서버의 동작의 일 실시예를 순서도로 도시한 것이고,

도 5는 본 발명에 따른 멀티미디어 스트리밍 방법 중 무선 채널의 속도를 모르는 경우 스트리밍 서버의 동작의 일 실시예를 순서도로 도시한 것이다.

※ 도면의 주요부분에 대한 부호의 설명

110 : 스트리밍 서버 120 : 게이트웨이

121 : 전송 버퍼 130 : 스트리밍 플레이어

140 : 유선망 150 : 무선망

상기와 같은 목적을 달성하기 위하여 본 발명에 따른 멀티미디어 스트리밍 방법은, 일반적인 멀티미디어 데이터 스트리밍 방법에 있어서, 일정시간 동안 먼저 오디오 패킷만을 송신하고, 이 후 상기 일반적인 멀티미디어 데이터 스트리밍 방법에 따라 오디오와 비디오 패킷을 송신함을 특징으로 한다.

상기 일정 시간 동안의 상기 오디오 패킷의 송신 간격 및 순서는 망의 전송속도를 예측하여 결정하도록 함을 특징으로 한다.

또한, 상기 일정 시간 중에 무선망의 속도를 다시 계산하여 해당 오디오 패킷의 송신 여부, 송신 간격 및 순서를 다시 결정토록 하고, 이와 같이 무선망의 속도를 다시 계산하기 위하여 스트리밍 플레이어로부터 전송된 리포트내의 정보를 이용함을 특징으로 한다.

이하, 첨부 도면을 참조하여 본 발명의 바람직한 실시예에 따른 멀티미디어스트리밍 방법에 대하여 상세히 설명하기로 한다.

도 3은 본 발명에 따른 멀티미디어 스트리밍 방법에서 각 오디오 비디오 패킷의 전송 시간 및 방법의 일 예를 도시한 갓이다.

먼저, 스트리밍이 시작되면, 스트리밍 서버는 각 패킷의 타임스탬프와는 무관하게 오디오 패킷만을 일정시간(T 초)동안 먼저 송신한다. 이 때, 오디오 패킷의 송신 간격 A는 무선채널의 전송속도 x에 따라 결정한다. 예를 들어 각 오디오 패킷의 길이를 L bits라 하면 'L/A < x' 가 되도록 A를 정한다. 물론 이 구간동안은 비디오 데이터는 전송하지 않으므로 오디오 패킷을 일반적인 경우보다 훨씬 더 자주 보낼 수 있게 된다(즉, A는 도 2의 a보다 작은 값이 된다). 이때, 오디오만을 먼저 전송하는 시간 T는 플레이어에서 오디오와 비디오의 동기화된 재생등을 위해 플레이어에서의 초기 지연시간 D보다 충분히 작게 결정되어야 한다. 이와 같이 오디오만을 먼저 송신하는 기간이 지나가면 정상적인 스트리밍 모드(즉, 도 2의 방법)로 스위칭한다. 즉, 도2의 일반적인 스트리밍 방법과 같이 원래의 송신 간격 a로 오디오를 전송하며, 비디오 패킷도 정상적인 간격 v로 송신하기 시작한다. 이와 같이 본 발명에 따른 스트리밍 방법을 사용하는 경우 n번째 패킷의 송신시간 Sn은 일반적인 경우의 송신시간 sn보다 작아지게 되어, 채널이 어느정도 나빠지거나 송신되는 데이터양이 다소 많아지더라도 패킷이 재생시간전에 도착하도록 함으로써 오디오 재생시 중단 혹은 끊김현상을 최소화할 수 있다.

예를 들어 오디오의 패킷의 길이가 L=800 bits, 패킷 간격이 a=100 msec, 무선전송로의 속도가 x=40 kbps, 플레이어에서의 초기 지연시간이 D=3초인 경우를 가정하면, 일반적인 스트리밍 방법에서는 101번째 패킷의 송신시간 's101 = s1 + 100*0.1'이 되므로 특정 패킷의 상대적 지연시간 (dn-d1)이 3초보다 커지는 경우 그 패킷은 재생될 수 없다. 그런데 본 발명에 따른 방법을 사용하여, 초기 T=1초동안은 최대 전송률로 오디오 만을 전송(즉 A=20msec) 한 후 이 후부터 오디오와 비디오를 정상적으로 전송한다면, 초기 1초동안 오디오 50 패킷을 먼저 보낸 이후 정상적인 스트리밍 모드로 동작하므로 101번째 패킷의 송신시간은 'S101 = s1 + 1 + 50*0.1 = s101 - 4' 가 된다. 즉, 이 경우에는 네트웍에서의 이 패킷의 상대적 지연시간이 7초보다 작기만 하면 이 오디오 패킷은 제시간에 도착하는 셈이므로 정상적으로 재생될 수 있다.

도 4는 도 3을 참조로 상술된 본 발명의 스트리밍 방법의 일 예를 순서도로 도시한 것으로서, 도 1의 스트리밍 서버에 적용된다.

도 4에 도시된 바와 같이, 멀티미디어 스트리밍을 시작하여(S401), 도 3의 (a)에 도시된 바와 같이 오디오 패킷만을 A 초 간격으로 송신하고 이때 비디오 패킷은 송신하지 않는다(S402).

상기와 같이 오디오 스트림을 송신하면서 초기부터 스트리밍 시간을 기산하여 기 설정된 T 초 이상이 흘렀는가를 확인하고(S403), 만일 T 초 이상이 흘렀다고 판단되면 도 2의 (a)에 도시된 바와 같이 정상적인 즉, 기존의 일반적인 스트리밍 모드로 동작토록하여 각 오디오/비디오 패킷의 타임스템프 값의 시간에 따라 해당 패킷을 송신하고(S404), 스트리밍을 완료토록 한다(S405).

도 5는 본 발명의 스트리밍 방법의 다른 예를 순서도로 도시한 것으로서, 도1의 스트리밍 서버에 적용되며, 이는 해당 스트리밍 서버에서 무선망의 전송속도를 알기 어려운 경우에 적용되는 순서도이다.

도 5에 도시된 바와 같이, 해당 스트리밍 서버에서 멀티미디어 스트리밍을 시작하되(S501), 우선 무선망의 속도를 임의적으로 가정하여 그 값에 맞도록 오디오 패킷의 송신 간격 A1을 결정한 후 이 값에 따라 일부 시간 동안 오디오 패킷만을 송신한다(S502).

상기와 같이 A1 간격으로 오디오 패킷만을 송신하는 과정에서 플레이어로부터 피드백 리포트, 예를 들면 RTCP 수신기 리포트(receiver report)가 수신되는가를 판단한 후(S503), 만일 수신되었다면 그 수신된 피드백 리포트의 값으로부터 무선망의 전송속도를 예측하여 새로운 오디오 패킷 송신 간격 A2 값을 계산하고(S504), 그 계산된 A2 초 간격으로 기 설정된 T시간 까지 오디오 패킷만을 송신하고, 비디오 패킷은 송신하지 않도록 한다(S505).

이어, 상기 단계 S501의 스트리밍 시작 후 상기 기 설정된 시간 T가 지났는가를 판단하는 데(S506), 한편 상기 단계 S503의 판단 시 플레이어로부터 피드백 리포트를 수신하지 못하였을 경우에도 상기 단계 S501의 스트리밍 시작 후 상기 기 설정된 시간 T가 지났는가를 판단하도록 한다(S507).

다음, 상기 단계 S506 또는 상기 단계 S507의 판단 결과, 스트리밍 시작 후 상기 시간 T가 흘렀다고 판단되면 도 2의 (a)에 도시된 바와 같이 정상적인 즉, 기존의 일반적인 스트리밍 모드로 동작토록하여 각 오디오/비디오 패킷의 타임스템프 값의 시간에 따라 해당 패킷을 송신하고(S508), 스트리밍을 완료토록 한다(S509).

결과적으로 도 5와 같이 본 발명의 순서도에 따르면, 예측계산된 무선망의 속도가 초기에 임의적으로 가정한 무선망의 속도보다 낮은 경우 새로운 오디오 패킷 송신 간격 A2를 A1보다 낮추고, 초기의 임의 가정치보다 높으면 A2를 A1과 같게 하거나 약간 높인다. 이때 예측계산된 값이 초기 임의 가정치보다 일정이상 높을 경우 T시간까지는 오디오 및 비디오 어느 패킷의 송신을 멈출 필요도 있다. 만일 T시간이 되도록 플레이어로부터 아무 리포트를 받지 못한 경우에는 정상적인 스트리밍 모드로 동작한다.

이상 상세히 설명한 바와 같이 본 발명에 따른 멀티미디어 스트리밍 방법은, 통상의 멀티미디어 스트리밍 방법에서 사용하지 않는 오디오 우선 송신 기법을 사용함으로써 무선환경과 같이 대역폭이 제한되고 채널특성이 시간에 따라 변하는 환경에서도 오디오 정보를 끊김없이 재생할 수 있게 하여, 무선 환경에서 뉴스 주문자 생산(News On Demand), 비디오 주문자 생산(Video On Demand), 뮤직 비디오(Music video) 등의 서비스를 효과적으로 구현할 수 있게 하는 유용한 발명이다.

Claims (5)

1. 스트리밍 시작 시 오디오 패킷과 비디오 패킷을 각기 일정 간격으로 전송하는 일반적인 멀티미디어 데이터 스트리밍 방법에 있어서,

   초기 스트리밍 시작 후 기 설정된 일정시간 동안 오디오 패킷만을 송신하는 제 1 단계; 및

   상기 기 설정된 시간 경과 후 상기 일반적인 멀티미디어 스트리밍 방법에 따라 오디오와 비디오 패킷을 송신하는 제 2 단계를 포함하여 구성된 것을 특징으로 하는 멀티미디어 스트리밍 방법.
2. 제 1 항에 있어서,

   상기 제 1 단계에서, 상기 기 설정된 시간 동안의 오디오 패킷의 송신 간격 및 순서를 해당 망의 전송속도를 예측하여 결정함을 특징으로 하는 멀티미디어 스트리밍 방법.
3. 제 1 항에 있어서,

   상기 제 1 단계에서, 상기 기 설정된 시간 중에 무선망의 속도를 계산하여 오디오 패킷의 송신 여부, 송신 간격과 순서 및 상기 기 설정된 시간을 다시 결정함을 특징으로 하는 멀티미디어 스트리밍 방법.
4. 제 3 항에 있어서,

   상기 무선망의 속도 및 상기 기 설정된 시간의 재계산은, 플레이어로부터 전송된 리포트내의 정보를 확득하여 그 정보를 근거로 이루어짐을 특징으로 하는 멀티미디어 스트리밍 방법.
5. 제 4 항에 있어서,

   상기 리포트는 실시간 전송 프로토콜 제어 프로토콜(RTP Control Proticol : RTCP)의 수신기 리포트인 것을 특징으로 하는 멀티미디어 스트리밍 방법.