KR100592547B1 - 스트리밍을 위한 패킷 스케줄링 방법 - Google Patents

Abstract

본 발명은 스트리밍 기술에 관한 것으로, 특히 멀티미디어 데이터의 스트리밍을 위한 패킷 스케줄링 방법에 관한 것이다.

상기와 같은 본 발명은 영상데이터 열들을 모션과 텍스쳐 부분 패킷으로 구분하고, 시간적 스케일링에 따라 패킷들의 우선순위를 부여하는 단계, 채널 상황과 단말의 버퍼 상태를 고려하여 소정 우선순위의 임계값을 결정하고, 영상데이터 그룹들 내의 상기 임계값 이하의 우선순위를 갖는 패킷들로 서브 스트림을 구성하는 단계, 상기 구성된 서브 스트림내의 패킷들을 순차적으로 상기 단말로 전송하는 단계를 포함한다.

본 발명에 따른 스케줄링 방법은 향상된 품질의 스트리밍 서비스가 가능하도록 하는 이점이 있다.

비디오 스트리밍, 인터넷, 스케줄링

Description

스트리밍을 위한 패킷 스케줄링 방법{PACKET SCHEDULING METHOD FOR STREAMING MULTIMEDIA}

도 1은 본 발명의 실시예에 따른 패킷 스케줄링이 적용되는 네트워크 구조를 보여주는 도면,

도 2a 내지 도 2d는 본 발명의 실시예에 따른 시간적 스케일링과 우선순위 계층구조를 보여주는 도면,

도 3은 본 발명의 실시예에 따른 큐잉 모델을 보여주는 도면,

도 4는 본 발명의 실시예에 따른 패킷 스케줄링 방법을 보여주는 흐름도,

도 5는 본 발명의 실시예에 따른 서브 스트림의 구성예를 보여주는 도면,

도 6은 본 발명에 따른 패킷 스케줄링 예를 보여주는 도면,

도 7은 본발명의 실시예에 따른 패킷 스케줄링 방법을 유선 네크워크에 적용한 결과값을 보여주는 도면,

도 8은 본 발명의 실시예에 따른 스케줄링 방법을 적용한 결과값의 다른 예를 보여주는 도면,

도 9는 본발명의 실시예에 따른 패킷 스케줄링 방법을 무선 네크워크에 적용한 결과값을 보여주는 도면이다.

본 발명은 스트리밍 기술에 관한 것으로, 특히 멀티미디어 데이터의 스트리밍을 위한 패킷 스케줄링 방법에 관한 것이다.

스트리밍(streaming)이란 전송되는 데이터를 마치 끊임없고 지속적인 물 흐름처럼 처리할 수 있는 기술을 의미한다. 스트리밍 기술은 인터넷의 성장과 함께 더욱더 중요해지고 있는데, 그 이유는 대부분의 사용자들이 대용량 멀티미디어 파일들을 즉시 다운로드할 만큼 빠른 접속회선을 가지고 있지 못하기 때문이다. 스트리밍 기술을 이용하면, 파일이 모두 전송되기 전에라도 클라이언트 브라우저 또는 플러그인이 데이터의 표현을 시작할 수 있다.

특히, 동영상 데이터의 스트리밍 기술은 유선 인터넷 상에서 폭발적으로 수요가 증가하고 있으며 그에 따라 인터넷 영화관이나 인터넷 방송국등 많은 서비스 업체들이 생겨났다. 동영상 데이터의 스트리밍 기술은 실시간 대화형 통신과는 달리, 전송될 영상 데이터가 미리 부호화되어 서버에 저장되며, 사용자의 전송 요구가 있을 때 5 ~ 20 초 정도의 초기 버퍼링 시간을 거쳐 동영상의 재생이 시작된다.

이러한 스트리밍 데이터는 수많은 패킷으로 구성되며, 각 패킷은 디스플레이 시 서비스 품질에 미치는 영향 또는 미리 설정된 데이터의 우선순위(priority)에 따라 여러 단계의 등급을 갖는다. 이러한 등급을 결정하고 결정된 등급에 따라 서 버에서 클라이언트로 스트리밍 데이터를 전송하는 것을 패킷 스케줄링(packet scheduling)이라 한다.

상술한 스트리밍 데이터 스케줄링 방법의 참고 문헌으로, 먼저 [1] P. A. Chou and Z. Miao, "Rate-distortion optimized streaming of packetized media," submitted to IEEE Trans. Multimedia, Feb. 2001에 개시된 'Markov decision process' 방법이 있다. 다음으로 [2] Z. Miao and A. Ortega, "Expected run-time distortion based scheduling for delivery of scalable media, "Int'l Packetvideo Workshop 2002, Apr.2002에 게시된 방법이 있다.

그러나, 상기 참고 문헌 [1]에 개시된 'Markov decision process'은 복잡한 알고리즘을 사용하여 실시간 구현이 강하게 요구되는 스트리밍 기술에 적용하는 것이 어렵다. 상기 참고 문헌 [2]에 개시된 방법은 비디오 화질 열화(distortion)의 기대치를 실시간으로 근사적이고 경험적으로 계산해서 최적의 비디오 패킷을 전송하려는 알고리즘이며, 이를 위하여 패킷 손실율을 실시간으로 측정하는 것이 필요한데, 이는 측정하기가 매우 곤란하며 따라서 측정된 패킷 손실율의 정확도에 따라 알고리즘의 성능이 좌우되는 문제가 있다.

따라서 본 발명의 목적은 상기한 종래 기술의 문제점을 해결하는 방법을 제공함에 있다.

본 발명의 다른 목적은 스트리밍 데이터 서비스의 품질을 향상시킬 수 있는 패킷 스케줄링 방법을 제공함에 있다.

본 발명의 또 다른 목적은 채널 환경과 수신측 버퍼 사이즈를 고려하여 향상된 패킷 스케줄링 방법을 제공함에 있다.

상기와 같은 본 발명의 목적들을 달성하기 위한 본 발명은 N개의 영상데이터 열을 가지는 영상데이터 그룹들로 나뉘는 멀티미디어 데이터를 제공하는 서버와, 상기 서버로부터 수신되는 멀티미디어 데이터를 스트리밍에 의해 디스플레이 하는 단말을 포함하는 네트워크에서, 상기 서버에 의해 영상데이터 열들을 모션과 텍스쳐 부분 패킷으로 구분하여 상기 멀티미디어 데이터의 스트리밍을 위한 패킷 스케줄링을 행하는 방법에 있어서, 시간적 스케일링에 따라 상기 패킷들의 우선순위를 부여하는 단계; 채널 상황과 단말의 버퍼 상태를 고려하여, 소정 주기로 상기 단말로부터 보고되는 데이터 처리량의 변화에 따라 갱신되어지는 우선순위 임계값을 결정하고, 영상데이터 그룹들 내의 상기 임계값 이하의 우선순위를 갖는 패킷들로 서브 스트림을 구성하는 단계; 및 상기 구성된 서브 스트림 내의 패킷들을 순차적으로 상기 단말로 전송하는 단계;를 포함하는 것을 특징으로 한다.

삭제

삭제

삭제

삭제

이하 본 발명의 바람직한 실시예의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 참조번호들 및 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들로 나타내고 있음에 유의해야 한다. 하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

도 1은 본 발명의 실시예에 따른 패킷 스케줄링이 적용되는 네트워크 구조를 보여주는 도면이다. 상기 도 1을 참조하면, 스트리밍 데이터 제공 서버(server)(10)는 부호화(encoding)(또는 엔코딩)된 데이터를 인터넷 등의 네트워크(20)를 통해 클라이언트(40)측에 구비된 버퍼(pre-roll buffer)(30)로 전송한다. 상기 버퍼(30)는 미리 설정된 방법에 따라 수신된 데이터를 클라이언트(40)로 제공한다. 상기 클라이언트(40)는 데이터를 역부호화(decoding)(또는 디코딩) 하여 이를 디스플레이 한다.

하기의 설명에 있어서 용어의 정의는 하기<표 1>과 같다.

영상데이터 그룹 : GOP(Group Of Picture) 영상데이터 열 : GOP를 구성하는 패킷 또는 프레임으로서, 하나의 GOP 는 독립적으로 재생가능한 한 개의 I-frame 과, 이전 데이터를 참조하여 재생하는 N-1 개의 P-frame을 포함한다. MTD : 영상데이터 열의 각 프레임들을 모션 벡터(Motion vector)부분과 텍스쳐(texture)부분으로 구분하여 우선순위를 부여하는 방식. 이하 모션 벡터는 모션으로 약칭함. 시간적 스케일링 : temporal scaling, 주어진 시간에 전송되는 비디오 프레임의 수를 줄임으로써 비디오 비트스트림의 시간적 해상도를 줄이는 방식을 의미한다. 즉, 하나의 GOP를 구성하는 패킷들은 엔코딩시 중요한 패킷과 덜 중요한 패킷으로 구분할 수 있으며, 수신 단말에서는 중요한 패킷들만으로 디코딩하여 멀티미디어 데이터를 디스플레이 하는 것이 가능하다. 서브 스트림 : 본 발명에서 제안하는 서브 스트림의 개념은 각 GOP내에서, 후술하는 소정 알고리즘에 따라 결정된 우선순위 값을 갖는 패킷들로 재구성된 패킷들의 열을 의미한다. EDF : Earliest Deadline First 영상 데이터 열에 있어서 앞서는 패킷이 우선 전송됨을 의미한다. 이하 '최선 패킷 우선'전송이라 함. 수신단 : 소정 서버로부터 멀티미디어 스트리밍 서비스를 받는 클라이언트 단말을 의미한다. video rate : 전체 비디오 데이터의 사이즈를 재생 시간으로 나눈 값. 예를 들어, 60초 분량의 동영상이 있는데, 총 데이터 사이즈가 12메가 비트이면, 비디오 레이트는 12Mbits/60second = 200,000bps임.

이하에서는 먼저 본 발명의 실시예에 따른 시간적 스케일링 및 우선순위 계층구조가 설명될 것이다. 다음에 서브 스트림을 구성하는 스케줄링 방법이 상세히 설명될 것이다. 그 다음에 본 발명을 적용한 실험 결과에 대해 설명할 것이다.

A. 스케일링 및 우선순위 계층구조

도 2a 내지 도 2d는 본 발명의 실시예에 따른 스케일링과 우선순위 계층구조를 보여주는 도면이다. 이하 상기 도 2a 내지 도 2d를 참조하여 설명한다.

프레임 율(frame rate)이 f인 비디오 프레임(frame) 시퀀스(sequence) F_n (n = 0, 1, 2, ...)가 있다고 가정하면, 데이터의 수신단은 t=0에서 수신데이터를 디스플레이하고 총 디스플레이 시간은 t= n/f sec가 된다. 이러한 비디오 프레임은 복수의 영상데이터 그룹(이하 'GOP'라 함)들로 구성된다. 하나의 GOP에서 j 번째 P 프레임은 P_j (j = 1,2,...,N-1)로 표시하기로 한다.

상기 도 2a는 하나의 GOP를 구성하는 프레임들이 스케일링되지 않은 경우를 보여준다.

상기 도 2b에는 MTD방식이 도시되어 있으며, 각 프레임들은 모션(motion) 부분과 텍스쳐(texture) 부분으로 구분하여 I-프레임과 모션 부분들은 계층(Layer) 0으로, P-프레임들의 텍스쳐 부분은 계층 1로 구성된다. 여기서 계층 0은 기본 계층으로써, 확장 계층인 계층 1에 비하여 높은 우선순위를 갖는다.

상기 도 2c는 두 계층 시간적 스케일링 방식을 보여주는 도면이다. 상기 도 2c에서는 계층 0에는 I-프레임과 영상데이터 열중 짝수 번째 프레임들로 구성되고, 계층 1에는 홀수 번째 프레임들로 구성된다.

상기 도 2d에는 상기 MTD 방식과 시간적 스케일링 방식을 조합한 계층 구조가 도시되어 있다. 이를 살펴보면, 계층 0은 I-프레임과 영상데이터 열중 짝수 번째 프레임들의 모션 부분으로 구성된다. 계층 1은 홀수 번째 프레임들의 모션 부분으로 구성된다. 계층 2는 짝수 번째 프레임들의 텍스쳐 부분으로 구성된다. 마지막으로 계층 3은 홀수 번째 프레임들의 텍스쳐 부분으로 구성된다.

상술한 계층 구성 방식에서 우선순위(priority) 또는 중요도(importance level)를 h = 0, 1, ..., H-1이라 하면, h=0 이 가장 높은 우선순위를 갖는다. 따라서, 계층이 낮을수록 높은 우선순위를 갖고, 동일 계층에서는 프레임의 인덱스 번호가 낮을수록 높은 우선순위를 갖는다.

B. 스케줄링 방법

본 발명에 따른 스케줄링 방법의 원리는 채널 상황과 단말의 버퍼 상태를 고 려하여, 소정 알고리즘에 따라 θ 라는 변수를 결정하고, 상기 결정된 θ값을 이용하여 영상데이터 그룹들 내의 우선순위가 높은 패킷들로 서브 스트림을 구성하는 것이다.

하나의 GOP 내의 각 중요도를 갖는 데이터들은 전송을 위해 고정된 크기로 구분된다. 상기 크기의 시퀀스로 확률 프로세스(Random Process) {X_i ^(h); i=0,1,...}을 정의하기로 한다. 여기서 상기 확률 프로세스는 순차적으로 연속되는 GOP 중 i 번째 GOP에서 중요도 h를 가지는 데이터의 크기 시퀀스를 나타낸다. 또한 상기 확률 프로세스의 특성은 와이드 센스 스테이션너리(WSS, Wide Sence Stationary)한 것으로 가정한다. 또한 확률 프로세스의 누적합 S_i ^(θ)(θ = 0, 1, ..., H-1)은 하기 <수학식 1>과 같이 정의된다.

그리고 상기 S_i ^(θ) 의 오토코베리언스(Autocovariance) 는 하기 <수학식 2>로 정의된다.

v^(θ)[k] ≡ 여기서 k = 0,1,...

도 3은 본 발명의 실시예에 따른 큐잉 모델을 보여주는 도면이다.

상기 도 3의 상단은 수신단의 버퍼 상태를 보여주고 있으며, 하단은 수신단의 버퍼 상태를 고려한 큐잉 모델을 보여준다. 상기 도 3에서 Ch는 채널을 의미하며, 유무선 인터넷을 예로 들 수 있다.

본 발명에서 제안하는 서브스트림을 Γ^(θ) 라 하면, 모든 비디오 시퀀스에 대해 각 GOP는 중요도 h = 0 에서 h = θ를 가지는 데이터로 구성된다. 그리고, 하나의 GOP의 길이를 1sec라 하면, 서브스트림 내의 i번째 GOP의 데이터 사이즈는 S_i ^(θ) 로 표현되고, 서브스트림 Γ^(θ) 의 평균 데이터율은 E[S_i ^(θ)]packet/sec로 표현된다. 다음에, 상기 서브 스트림 Γ^(θ) 에 대해 도 3에 도시된 큐잉 모델(queueing model)을 도입한다. 여기서, 큐잉 모델은 입력 프로세스로서 확률적인 서브 스트림 Γ^(θ)를, 채널 대역폭 C와 같은 출력 프로세스를, 버퍼 사이즈 B^(θ)의 고정된 크기의 버퍼를 갖는다. 버퍼 사이즈 B^(θ)는 수신단의 버퍼 상태를 고려하여 매우 신중히 설정되어야 한다. 특히, 상기 B^(θ)는 서브 스트림 Γ^(θ)의 평균 데이터율에 따른 패킷 수로 표현되며, 수신단 버퍼(receiver buffer)에서 서브 스트림 Γ^(θ)의 프리 롤(pre-roll) 기간과도 관련된다.

상술한 B^(θ)는 하기 <수학식 3>에 의해 계산된다.

[packets]

상기 <수학식 3>에서, m_θ 와 k 는 모두 GOP 의 넘버를 의미한다. 하나의 GOP 는 16 개의 프레임(I + 15 P)으로 이루어져 있다고 가정하면, 이때 맨 처음 GOP를 GOP 0 라고 하고, 그 다음 GOP를 GOP 1 이라고 하는 식으로 GOP에 번호를 부여 해 나갈 수 있다. 현재 수신기의 비디오 재생기가 어떤 프레임을 재생하고 있는데 이 프레임이 GOP k 의 프레임이라고 하는 상황을 나타내는 것이 변수 k 이다. 또한 m_θ 도 역시 GOP 번호를 나타내는데 이것은 수신기의 버퍼에 앞으로 재생할 비디오 데이터가 얼마나 미리 저장 되어 있는지를 나타낸다. 따라서, m_θ 는 k 보다 큰 값이다. 만약 현재 수신기 버퍼에 아무런 비디오도 없다면 m_θ 는 k 와 같은 값을 가지게 된다. 만약 현재 수신기 버퍼에 앞으로 한 GOP 분량의 데이터가 있다면 m_θ 는 k+1 이다. 더 구체적으로 들어가서, m_θ 는 중요도 (theta) 의 데이터가 수신단에 오류없이 전달 된 GOP중에 최대 GOP 번호로 정해진다. 그리고 비디오 신호가 일단 수신단에서 재생이 시작되면 주어진 frame per second 값에 따라서 일정한 속도로 프레임들이 재생되며, 이는 또한 일정한 속도로 GOP 들이 재생됨을 의미한다. 그러므로 GOP 의 번호들 m_θ 와 k 는 시간으로 해석 된다.

상기 <수학식 3>에서, B^(θ)는 중요도가 θ보다 작거나 같은 경우만이 고려된다. 즉, GOP 시간이 1초일때, 수신측은 (m_θ - k)의 길이의 큐잉 시간을 갖는 것이다.

상기 도 3의 하단에 도시된 큐잉 모델에 있어서, 서브 스트림 Γ^(θ)의 평균 데이터율 E[S_i ^(θ)]은 채널 대역폭 C보다 작으며, 입력 프로세스는 비디오율 변화량(video rate fluctuation)에 따른 패킷 손실을 격게 된다. 이러한 문제에 대해, 유효 대역폭(effective band) 개념을 적용하기 위해, 서브 스트림 Γ^(θ)의 패킷 손실 확률 ε_p ^(θ)를 하기 <수학식 4>와 같이 정의한다.

여기서,

β는 하기 <수학식 5>로 정의된다.

위에서 언급한 각 확률함수들의 관계는 다음과 같다. 먼저, B^(θ)가 감소하거나, 비디오 변동율이 심해지면, 패킷 손실 확률 ε_p ^(θ)는 증가한다. 또한, Γ^(θ) 의 평균 데이터율 E[S_i ^(θ)]이 커지면, 패킷 손실 확률 ε_p ^(θ)는 증가한다. 그러나, 패킷 손실 확률 ε_p ^(θ)가 [0,1]의 범위에 있도록, 그리고 평균 데이터율 E[S_i ^(θ)]가 C보다 작도록 하여야 한다.

서브 스트림 Γ^(θ) 에서, 하나의 GOP내의 어느 한 모션 부분의 패킷 손실에 따른 디코딩 오류를 확률로서, ε_G ^(θ)로 정의한다. 즉, 큐잉 모델에서, 상기 서브 스트림에 대한 상기 디코딩 오류 확률 ε_G ^(θ)는 하기 <수학식 6>으로 정의된다.

큐잉 이론으로부터, 디코딩 오류 확률 ε_G ^(θ)는 θ의 단조증가 함수임을 알 수 있다. 스케줄링 방법에 있어서, 최적의 θ값을 얻기 위해, 상기 GOP의 디코딩 오류 확률은 운용자가 설정하는 요구값(또는 임계값)과 비교된다.

상기 디코딩 오류 확률 ε_G ^(θ)가 임의의 값 γ보다 작은 값이어야 한다면, 주어진 채널 대역폭 C에서, 서버(10)는 최적의 중요도(optimum importance level) θ₀를 하기 <수학식 7>에 의해 결정한다.

상기 <수학식 7>이 의미하는 바와 같이, 최적의 중요도는 디코딩 오류 확률 ε_G ^(θ)이 임의의 값 γ보다 작은 값이 되는 θ중 가장 큰 값이며, 또한 평균 전송율이 채널 대역폭 C보다 작은 값이 되는 값이어야 한다. 이러한 채널 대역폭에 의한 제한 때문에 상술한 바와 같이, 패킷 손실 확률 ε_p ^(θ)가 [0,1]의 범위에 있도록 해야 한다. 이상적인 경우 θ₀는 정수(integer)이며, 따라서, 서버(10)는 수신단 버퍼(30)의 조절 및 채널대역폭의 최대 이용을 위해, 최적의 중요도가 θ₀ 와 θ₀ + 1 사이에서 변하도록 한다. 특히, θ₀ 대 θ₀ + 1에 대응되는 소요시간(time spent)은 수신단 버퍼(30)의 여유 용량과 관련이 있다. 수신단 버퍼(30)에 여유 공간이 없으면, θ₀ + 1가 선택되고, 여유 공간이 있으면, θ₀이 선택된다. 즉 수신단 버퍼(30)에 저장되어 있는 패킷이 많은 경우는 채널 상황이 좋은 것으로, 저장되어 있는 패킷이 적은 경우는 채널 상황이 좋지 않은 것으로 판단하는 것이다.

θ₀ 가 결정된 경우, 중요도는 두 부류의 우선순위들로 나뉜다. 높은 우선순위(high priority)는 h=0부터 h= θ₀ 까지 이고, 낮은 우선순위(low priority)는 h=θ₀ + 1부터 h = H-1까지이다. 여기서, 높은 우선순위의 패킷들은 먼저 전송되도 록 스케줄링 되고, 상대적으로 낮은 우선순위의 패킷들은 그 다음에 전송되도록 스케줄링 된다. 각 우선순위 내에서 패킷들은 최선 패킷 우선 (EDF, Earliest Deadline First) 방식에 따라 전송된다.

본 발명의 실시예에 따른 스케줄링 방법을 시간에 따라 변하는 채널 환경변화와, 수신단 버퍼(30)의 큐 상태가 고려되도록, 수신단은 주기적으로 처리량(throughput)을 측정하여 측정값을 서버(10)로 보고한다. 상기 측정값을 보고 받은 서버(10)에서, 평균 처리량은 하기 <수학식 8>과 같이 지수적인 가중치 이동 평균(EWMA, Exponentially Weighted Moving Average)에 의해 계산된다.

C ← αC + (1 - α)Y_m

상기 <수학식 8>에서, 0 < α < 1, 이고, Y_m은 수신단으로부터 서버(10)로 새롭게 보고되는 처리량을 의미한다. 패킷 스위칭 네트워크에 있어서, 전송율은 TCP(Transmission Control Protocol)에 적합하도록 계산되며, 이때, 패킷 손실 확률과 알.티.티(RTT, Round Trip Time)의 측정이 필요하다.

채널 처리량(또는 채널 용량)의 변화량을 계산하기 위해, 서버(10)는 Y_m의 분산 σ² _Y를 계산한다. 따라서, 채널 변화량, 즉, 분산 σ² _Y가 커지면 수신단의 디스플레이 품질은 더 낮아질 것이며, 채널 변화량과 비디오율 변화량은 통계적으로 서로 독립하므로 패킷 손실 확률 계산에 필요한 β값은 하기 <수학식 9>와 같이 정의 될 수 있다.

서버(10)에서는 상기 <수학식 9>를 상기 <수학식 4>에 적용하여 패킷 손실 확률을 계산한다.

도 4는 본 발명의 실시예에 따른 패킷 스케줄링 방법을 보여주는 흐름도이다. 이하의 과정은 서버(10)에서 수행된다. 상기 도 4를 참조하면, 401단계에서 상술한 시간적 스케일링(TS) 및 모션부분과 텍스쳐 부분을 구분하는 계층구조가 결정된다. 403단계에서, 상기 <수학식 1>내지 상기 <수학식 9>를 만족하는 최적 θ₀가 결정된다. 405단계에서, 상기 결정된 θ₀에 따라, 서브스트림 Γ^(θ) 가 결정된다. 406단계에서, 서브스트림을 구성하고, 407단계에서, 패킷 배열에 따라 패킷 전송을 시작한다. 서브스트림의 구성과 패킷 전송에 관하여는 후술한다. 앞서 설명한 바와 같이, 시간에 따라 변하는 채널 환경변화와, 수신단 버퍼(30)의 큐 상태가 고려되도록, 수신단은 주기적으로 처리량(throughput)을 측정하여 측정값을 서버(10)로 보고한다. 서버(10)는 상기 측정값을 고려하여 상기 <수학식 7>내지 상기 <수학식 9>에 의해 θ₀를 구하고, 407단계에서, θ₀의 갱신 여부를 판단한다. θ₀가 갱신되면, 상기 405단계로 되돌아가, 갱신된 θ₀값을 적용하여 405,506,407단계를 수행한다.

도 5는 본 발명의 실시예에 따른 서브 스트림의 구성예를 보여주는 도면이다.

상기 도 5를 참조하면, 비디오 시퀀스(video seq.)는 순차적인 GOP로 구성된다. 먼저, θ₀가 0인 경우 서브스트림 은 각 GOP내의 중요도 h = 0인 패킷들로 구성되며, 그 순서는 앞선 GOP 의 패킷이 먼저 배열된다. 다음에 θ₀가 1인 경우, 각 GOP의 중요도 h=0, h=1인 패킷들로 구성되고, 그 순서는 앞선 GOP의 패킷들이 먼저, 높은 중요도를 갖는 h=0인 패킷이 먼저 배열된다. 그 다음에 θ₀가 2인 경우, 각 GOP의 중요도 h=0, h=1, h=2인 패킷들로 구성되고, 그 순서는 앞선 GOP의 패킷들이 먼저 배열되고, 높은 중요도를 갖는 패킷이 먼저 배열된다.

도 6은 본 발명에 따른 패킷 스케줄링 예를 보여주는 도면이다.

상술한 바와 같이 θ₀ 는 주기적으로 갱신되는 값이므로, h=0, h=1의 패킷이 전송된 후 θ₀가 1에서 2로 갱신되면, 서브스트림은 상기 도 θ₀ = 2인 경우와 같이 스케줄링되고, 다음 순서인 h=2 인 패킷부터 전송된다.

C. 실험 데이터

본 발명의 실시예에 따른 스케줄링 방법의 실험조건은 하기와 같다.

- 실시간 비디오 데이터(1670프레임의 토크쇼, 1700프레임의 영화)를 유선 및 무선 채널을 통해 전송

- QCIF 포멧, 15프레임/sec

- UDP를 프로토콜을 사용

- 수신단 버퍼 크기는 프리-롤 시간이 10 sec

- MPEG-4 codec

- GOP = 16프레임(1 I-프레임, 15 P-프레임)

- 유선 네트워크 : 한국(KAIST) - 버클리(Berkeley)간, 인위적인 에러 상황 부가

- 무선 네트워크 : IEEE 802.11

도 7은 본발명의 실시예에 따른 패킷 스케줄링 방법을 유선 네크워크에 적용한 결과값을 보여주는 도면이다. 상기 도 7을 참조하면, SS는 전형적인 순차적 전송(sequential sending)을, EBS는 유효 대역폭 스케줄링(Effective Bandwidth Scheduling)을, EBS(MTD)는 본 발명의 실시예에 따른 모션과 텍스쳐 부분에 차등적인 우선순위를 부여한 경우를, EBS(TS)는 본 발명의 실시예에 따른 시간적 스케일링을 적용한 경우를, EBS(MTD + TS)는 본 발명의 실시예에 따른 모션 부분과 텍스쳐 부분을 구분하고, 시간적 스케일링을 적용한 경우를 의미한다. 상기 EBS(MTD + TS)의 경우 95Kbps 이하에서 다른 방식에 비해 성능이 월등히 뛰어남을 확인할 수 있다.

도 8은 본 발명의 실시예에 따른 스케줄링 방법을 적용한 결과값의 다른 예를 보여주는 도면이다. 상기 도 8의 결과는 SS와 EBS(MTD + TS)를 비교한 결과를 도시하고 있다.

상기 도 8을 참조하면, (a)는 비디오 비트 율(video bit rate)을 , (b)는 채널 대역폭(channel BW)의 변화를 보여준다. 상기 도 8의 (c)를 참조하면, SS 방식의 경우, 중요도 θ₀는 30으로 고정되지만, EBS(MTD + TS) 방식은 채널용량의 변동과 수신단 버퍼(30)의 상태에 따라 적응적으로 변화함을 알 수 있다. 상기 도 8의 (d)는 양 방식의 성능비교(performance)한 것으로, SS 방식의 경우 비디오 비트 율이 급격히 상승하거나, 채널 오류가 심해지면, 성능이 크게 저하됨을 알 수 있다. PSNR[dB]단위로 비교한 양 방식의 성능 차이는 EBS(MTD + TS) 방식이 SS방식에 비해 평균 PSNR이 4.2이상 높음을 볼 수 있다. 상기 도 8의 (E)는 EBS(MTD + TS) 방식을 적용한 경우의 수신단 버퍼 상태를 보여 준다.

도 9는 본발명의 실시예에 따른 패킷 스케줄링 방법을 무선 네크워크에 적용한 결과값을 보여주는 도면이다. 상기 도 9의 (a)는 토크 쇼(Talk Show) 전송의 경우를 보여주며, EBS(MTD + TS) 방식이 SS방식에 비해 평균 PSNR이 8.8이상 높음을 볼 수 있다.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러가지 변형이 가능함은 물론이다. 예를 들어, GOP의 프레임 수, 시간적 스케일링에 있어서 중요 프레임의 결정을 변형할 수 있다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것 들에 의해 정해져야 한다.

상술한 바와 같이 본 발명은 유효 대역폭 기반의 패킷 스케줄링 방법을 제공하며 향상된 품질의 스트리밍 서비스가 가능하도록 하는 이점이 있다.

Claims (7)

1. N개의 영상데이터 열을 가지는 영상데이터 그룹들로 나뉘는 멀티미디어 데이터를 제공하는 서버와, 상기 서버로부터 수신되는 멀티미디어 데이터를 스트리밍에 의해 디스플레이 하는 단말을 포함하는 네트워크에서, 상기 서버에 의해 영상데이터 열들을 모션과 텍스쳐 부분 패킷으로 구분하여 상기 멀티미디어 데이터의 스트리밍을 위한 패킷 스케줄링을 행하는 방법에 있어서,

   시간적 스케일링에 따라 상기 패킷들의 우선순위를 부여하는 단계;

   채널 상황과 단말의 버퍼 상태를 고려하여, 소정 주기로 상기 단말로부터 보고되는 데이터 처리량의 변화에 따라 갱신되어지는 우선순위 임계값을 결정하고, 영상데이터 그룹들 내의 상기 임계값 이하의 우선순위를 갖는 패킷들로 서브 스트림을 구성하는 단계; 및

   상기 구성된 서브 스트림 내의 패킷들을 순차적으로 상기 단말로 전송하는 단계;

   를 포함하는 것을 특징으로 하는 스트리밍을 위한 패킷 스케줄링 방법.
2. 삭제
3. 제 1 항에 있어서, 상기 패킷들의 우선순위는,

   영상 데이터 열 중 I-프레임, 짝수번째 P-프레임의 모션 부분은 가장 높은 우선순위이고, 홀수 번째 P-프레임의 텍스쳐 부분은 가장 낮은 우선순위임을 특징으로 하는 스트리밍을 위한 패킷 스케줄링 방법.
4. 제 1 항에 있어서, 우선순위의 임계값 θ₀는 하기 수학식

   

   에 의해 결정됨을 특징으로 하는 스트리밍을 위한 패킷 스케줄링 방법.

   여기서, θ=0,1,...로써 우선순위를 부여할 패킷수와 같고, γ는 미리 설정된 디코딩 오류 확률의 임계값, ε_G ^(θ)는 디코딩 오류 확률, E[S^(θ)]는 서브스트림의 평균 데이터율, C는 채널 대역폭.
5. 삭제
6. 제 1 항에 있어서, 상기 단말에 수신된 패킷의 손실율 ε_p ^(θ)은 하기 수학식

   

   와,

   

   와,

   

   에 의해 계산됨을 특징으로 하는 스트리밍을 위한 패킷 스케줄링 방법.

   여기서, θ=0,1,...로써 우선순위를 부여할 패킷수와 같고, 임계값, ε_G ^(θ)는 디코딩 오류 확률, E[S^(θ)]는 서브스트림의 평균 데이터율, C는 채널 대역폭, v^(θ)[k]는 확률 프로세스의 누적합인 S^(θ)의 오토코베리언스(Autocovariance)로 v^(θ)[k] ≡

   

   .
7. 제 1 항에 있어서, 상기 단말에 수신된 패킷의 손실율 ε_p ^(θ)은 채널 대역폭의 분산값(σ)을 고려하여, 하기 수학식

   

   와,

   

   와,

   

   에 의해 계산됨을 특징으로 하는 스트리밍을 위한 패킷 스케줄링 방법.

   여기서, θ=0,1,...로써 우선순위를 부여할 패킷수와 같고, 임계값, ε_G ^(θ)는 디코딩 오류 확률, E[S^(θ)]는 서브스트림의 평균 데이터율, C는 채널 대역폭, v^(θ)[k]는 확률 프로세스의 누적합인 S^(θ)의 오토코베리언스(Autocovariance)로 v^(θ)[k] ≡

   

   .

Images