KR101744977B1

KR101744977B1 - 멀티미디어 스트리밍 서비스에서 서비스 품질을 보장하는 방법

Info

Publication number: KR101744977B1
Application number: KR1020100098523A
Authority: KR
Inventors: 박경모; 송재연
Original assignee: 삼성전자주식회사
Priority date: 2010-10-08
Filing date: 2010-10-08
Publication date: 2017-06-08
Also published as: EP2625846A4; EP2625846A2; US20120089743A1; WO2012047060A3; KR20120036703A; WO2012047060A2

Abstract

본 발명은 멀티미디어 시스템에서 송신 장치가 멀티미디어 전송을 수행하는 방법에 있어서, 복수의 표현(representation)들 중 제1 표현에 기초하여 트릭 모드(trick mode) 및 랜덤 억세스(random access) 중 하나를 수행하며, 상기 제1 표현은 상기 복수의 표현들에 관련된 정보를 기반으로 선택되고, 상기 정보는 상기 제1 표현이 상기 복수의 표현들 중 상기 트릭 모드 및 상기 랜덤 억세스 중 어느 하나를 위해 사용 가능함을 지시하고, 상기 제1 표현은 적어도 하나의 독립적으로 디코딩이 가능한 프레임을 포함하고, 상기 적어도 하나의 독립적으로 디코딩이 가능한 프레임은 제2 표현에 포함되는 포인트(point) 정보에 의해 지시됨을 특징으로 한다.

Description

멀티미디어 스트리밍 서비스에서 서비스 품질을 보장하는 방법{METHOD FOR GURANTEEING QUALITY OF SERVICE IN A MULTIMEDIA STREAMING SERVICE}

본 발명은 멀티미디어 서비스 방법 및 장치에 대한 것으로서, 특히 HTTP(Hypertext Transfer Protocol)와 TCP(Transmission control protocol)를 이용하는 멀티미디어 스트리밍 서비스에서 서비스 품질을 보장하는 방법에 대한 것이다.

멀티미디어 스트리밍 서비스의 이용이 급증함에 따라 각종 멀티미디어 스트리밍 서비스에서 발생 될 수 있는 전송 지연 및 비효율적인 자원 활용 상황을 해결하는 방안이 필요하다.

본 발명은 멀티미디어 스트리밍 서비스에서 서비스 품질의 감소를 최소화할 수 있는 방법을 제공한다.

또한 본 발명은 멀티미디어 스트리밍 서비스에서 TRA(Trick mode and Random Access)에 따른 QoS(Quality of Service), QoE(Quality of Experience)의 감소(degradation)를 최소화하기 위한(minimize) 방법을 제공한다.

본 발명의 일 실시예에 따른 방법은; 멀티미디어 시스템에서 송신 장치가 멀티미디어 전송을 수행하는 방법에 있어서, 복수의 표현(representation)들 중 제1 표현에 기초하여 트릭 모드(trick mode) 및 랜덤 억세스(random access) 중 하나를 수행하는 과정을 포함하며, 상기 제1 표현은 상기 복수의 표현들에 관련된 정보를 기반으로 선택되고, 상기 정보는 상기 제1 표현이 상기 복수의 표현들 중 상기 트릭 모드 및 상기 랜덤 억세스 중 어느 하나를 위해 사용 가능함을 지시하고, 상기 제1 표현은 적어도 하나의 독립적으로 디코딩이 가능한 프레임을 포함하고, 상기 적어도 하나의 독립적으로 디코딩이 가능한 프레임은 제2 표현에 포함되는 포인트(point) 정보에 의해 지시됨을 특징으로 한다.

도 1은 멀티미디어 스트리밍 서비스에서 일반적인 TRA의 일 예를 나타낸 도면,
도 2는 본 발명의 실시 예에서 제안하는 TRA에 특성화된 특성을 가지는 representation의 예를 나타낸 도면,
도 3은 본 발명의 실시 예에 따라 representations 간에 서로 참조 index를 가지고 있는 경우를 나타낸 도면,
도 4는 본 발명의 실시 예에 따라 상호 참조(cross-referencing)를 위한 확장된(extended) sidx의 일 예를 나타낸 도면.

하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 이하 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하기로 한다.

본 발명의 실시 예에서는 멀티미디어 스트리밍 서비스에서 기존 표현들(representations) 중 일부의 representation이 선택적으로 TRA(Trick mode and Random Access)에 적합한 특성을 갖도록 하는 방안을 제안한다. 예를 들어 다수의 representations들이 있는 경우, 그 중에서 선택된 몇 개의 representation만 TRA에 적합한 특성을 갖도록 할 수 있다. 여기서 representation은 표현 형태를 의미하며, 예를 들어 낮은 화질의 representation, 높은 화질의 representation 등이 존재할 수 있다. 그리고 상기 여기서 멀티미디어 스트리밍 서비스는 예를 들어 HTTP와 TCP를 이용하는 멀티미디어 서비스를 포함한다.

이하 본 발명의 실시 예에서 제안하는 TRA 방안들을 설명하기로 한다.

< TRA에 특성화(specialized) 특성을 가지는 representation >

먼저 도 1은 멀티미디어 스트리밍 서비스에서 일반적인 TRA의 일 예를 나타낸 도면이다.

도 1에서 도시된 블록들 중 파란색 블록은 RAP(Random Access Point)를 나타낸 것이다. 상기 RAP에서는 독립적으로(independently) 디코딩이 가능하다. 즉 상기 RAP는 IDR(Independently Decoded Refresh) 프레임을 가리킨다. 모든 representation에서 동일한 TRA 성능을 갖기 위해서는 도 1과 같이 동일 구간(period)에서의 RAP의 숫자가 같아야 한다. 하지만 품질(quality)이 높은 representation일수록 RAP의 증가에 따른 부하가 커진다. 하기 <표 1>은 프레임의 종류에 따른 프레임 당 평균 비트 수를 나타낸 것이다.

Foreman 영상(sequence)를 이용한 예에서, I-Frame(Intra frame)이 B-Frame(bidirectional frame)에 비해 약 9배 큰 것을 알 수 있다. TRA로 인한 QoS, QoE 감소를 최소화하기 위해 모든 representation 상의 RAP의 구간 또는 I-Frame의 구간을 짧게 하는 것은 컨텐츠의 크기를 증가시키며, 이는 서버 측에 부하가 된다. 또한 TRA mode에 따른 정도의 차이는 있지만 TRA에 의해 같은 시간 동안 클라이언트가 수신해야 하는 I-Frame 의 수는 증가 된다. 사용자(client)는 제한된 가용 대역폭을 가지고 있기 때문에 수신해야 할 I-Frame의 수는 증가된다.

<TRA에 특성화(specialized) 특성을 가지는 Representation>

도 2는 본 발명의 실시 예에서 제안하는 TRA에 특성화된 특성을 가지는 representation의 예를 나타낸 도면이다.

도 2를 참조하면, Representation 0, 2는 TRA에 특성화된 특성을 가진다. 도 2에서 빨간색 블록은 추가된 RAP 혹은 RAP와 IDR Frame을 나타낸다. 또한 도 2에서는 도 1의 Representation 1,3과 비교를 하였을 때 RAP 혹은 RAP와 IDR frame이 감소한 것을 볼 수 있다. 도 2에서 Representation 3을 수신하던 사용자가 TRA를 할 경우에는 representation 2을 이용하여 TRA를 수행할 수 있을 것이다. 도 2에 도시된 것처럼 Representation 2는 representation 3에 비해 RAP가 더 많고, 비트레이트(Bitrate) 또한 낮다. 따라서 Representation 3를 수신하던 client는 TRA로 인한 지연(delay)를 최소화할 수 있다.

도 3은 본 발명의 실시 예에 따라 representations 간에 서로 참조 index를 가지고 있는 경우를 나타낸 도면이다.

도 3을 참조하면, representation간의 상호 참조(cross-referencing)가 가능한 경우, interaction을 감소시킬 수 있다. 또한 데이터 수신의 중복을 감소시킬 수 있다. 이를 위해 도 4에서와 같이 sidx에 다른 representation의 sidx의 포인트(point) 정보를 가지고 있어야 한다. 여기서 point 정보는 상기에서 언급한 RAP 또는 I-Frame과 같이 독립적으로 복호 가능한 프레임의 시작 지점을 의미한다. 도 4는 본 발명의 실시 예에 따라 상호 참조(cross-referencing)를 위한 확장된(extended) sidx의 일 예를 나타낸 것이다.

< MPD(Media Presentation Descriptiom) 확장 >

본 발명의 실시 예에서 제안하는 방법을 위해서는 Client가 어떤 representation이 TRA에 특화(specialized)되어있는 지 알 수 있어야한다. 하기 <표 2>는 이를 위해 본 발명의 실시 예에서 제안하는 MPD를 나타낸 것이다.

예를 들어 TRArepresentationFlag가 0이면 normal representation이고 TRArepresentationFlag가 1이면 RAP와 Intra period가 짧은 TRA에 특화된 representation이다. 사용자는 MPD의 TRArepresentationFlag를 이용하여 어떤 representation이 TRA에 특화되어 있는 지 알 수 있다. Client는 이를 이용해 적합한 representation을 요청할 수 있다.

< 전송 포맷 확장(Delivery Format Extension) >

다중 RAP들을 위한 세그먼트 인덱스 박스(Segment index box for multiple RAPs)

TRA 모드를 지원하기 위해 각 representation의 'sidx' 박스는 하나 또는 다수개의 RAP들을 표시하기 위하여 각 세그먼트에서 'sidx' 박스로부터 RAP 기능을 제공하는 샘플(sample)의 시작점(바이트 옵셋)과 그 크기들을 가지도록 확장될 것이다. 관련된 알고리즘은 하기 예와 같다.

삭제

관련 변수의 정의는 아래와 같다.

Sample_start_offset : 바이트에서 RAP를 가지는 샘플의 참조 옵셋으로부터 시작 옵셋

Sample_length : RAP에 대한 하나 또는 복수의 샘플들의 바이트 길이

< 상호 참조를 위한 세그먼트 인덱스 박스 >

도 4에 도시된 동작에 대해, Representation은 스위치되는 representation의 'sidx' 옵셋 정보를 가질 필요가 있다. 관련된 알고리즘은 하기 예와 같다.

Box Type: 'sidx

Container: None

Mandatory: No

Quantity: One per Segment Index Box

관련 변수의 정의는 아래와 같다.

REF_Representation_count: 몇 개의 representation에 관한 참조 인덱스를 가지고 있어야 하는지를 의미한다.

ref_Sidx_count: 참조 인덱스의 수를 뜻한다. 즉 representation의 Media segment가 몇 개의 참조 인덱스를 가질 것인 가를 의미한다.

Sidx_position : 컨텐츠 변경을 위한 참조 인덱스의 위치를 의미한다. 경우에 따라서 위치가 아니라 옵셋, 바이트 레인지(byte range)가 될 수도 있다.

Claims

멀티미디어 시스템에서 송신 장치가 멀티미디어 전송을 수행하는 방법에 있어서,
복수의 표현(representation)들에 관련된 정보를 기반으로 상기 복수의 표현들 중에서 선택된 제1 표현에 기초하여 트릭 모드(trick mode) 및 랜덤 억세스(random access) 중 하나를 수행하는 과정을 포함하며,
상기 복수의 표현들에 관련된 정보는 상기 제1 표현이 상기 복수의 표현들 중 상기 트릭 모드 및 상기 랜덤 억세스 중 어느 하나를 위해 사용 가능함을 지시하고,
상기 제1 표현은 적어도 하나의 독립적으로 디코딩이 가능한 제1 프레임을 포함하고,
제2 표현은 상기 적어도 하나의 독립적으로 디코딩이 가능한 제2 프레임과, 상기 제1 표현에 포함된 상기 적어도 하나의 독립적으로 디코딩이 가능한 제1 프레임 중에서 적어도 하나의 독립적으로 디코딩이 가능한 프레임을 지시하는 포인트(point) 정보를 포함하고,
상기 적어도 하나의 독립적으로 디코딩이 가능한 제1 프레임의 개수는 상기 적어도 하나의 독립적으로 디코딩이 가능한 제2 프레임의 개수보다 많은, 방법.
제1항에 있어서,
상기 제1 표현 및 상기 제2 표현 각각은 동일한 컨텐트 컴포넌트(contents component)를 위한 상이한 특성(property)을 가짐을 특징으로 하는 방법.
제1항에 있어서,
상기 포인트 정보는 상기 적어도 하나의 독립적으로 디코딩이 가능한 프레임의 시작 지점(start point) 정보를 포함함을 특징으로 하는 방법.
제1항에 있어서,
상기 적어도 하나의 독립적으로 디코딩이 가능한 프레임은 인트라(intra) 프레임 및 랜덤 억세스 포인트 중 하나를 포함함을 특징으로 하는 방법.
제1항에 있어서,
상기 제2 표현은 상기 트릭 모드 및 상기 랜덤 억세스 중 어느 하나를 위해 사용 가능한 표현들의 개수를 지시하는 정보와, 독립적으로 디코딩이 가능한 프레임들의 개수를 지시하는 정보와, 상기 적어도 하나의 독립적으로 디코딩이 가능한 제1 프레임들 중 컨텐트 컴포넌트 변경을 위해 사용되는 프레임의 위치(position) 정보를 지시하는 정보를 포함함을 특징으로 하는 방법.
제1항에 있어서,
상기 제1 표현의 비트 레이트(bit rate)는 상기 제2 표현의 비트 레이트 보다 낮음을 특징으로 하는 방법.