KR102048480B1

KR102048480B1 - 동적인 네트워크 환경에서 멀티미디어 데이터 특징 정보를 송수신하는 장치 및 방법

Info

Publication number: KR102048480B1
Application number: KR1020120114853A
Authority: KR
Inventors: 박경모; 서덕영; 유성열; 황승오; 이용헌; 송재연
Original assignee: 삼성전자주식회사; 경희대학교 산학협력단
Priority date: 2012-10-11
Filing date: 2012-10-16
Publication date: 2020-01-08
Also published as: KR20140051498A; EP2907281B1; EP2907281A1; EP2907281A4; CN104823420B; JP2015537430A; US20140105132A1; CN104823420A; US10523399B2; WO2014058266A1; JP6521523B2

Abstract

본 발명은 멀티미디어 데이터의 특징 정보를 전송하는 방법에 있어서, 상기 멀티미디어 데이터를 구성하는 미디어 프로세싱 유닛(MPU)에 대응되며, 전송 패킷 별 상대적인 우선순위를 지시하는 서비스품질(QoS_description) 정보 및 자원 예약에 필요한 비트스트림(bitstream_description) 정보 중 적어도 하나를 포함하는 상기 멀티미디어 데이터의 특징 정보(transport characteristic)를 생성하고, 상기 특징 정보를 MPU 헤더에 삽입하여 전달하고, 상기 MPU 헤더로부터 상기 서비스 품질을 획득하여 전송하고, 상기 MPU 헤더로부터 상기 비트스트림 정보를 획득하여 전송한다.

Description

동적인 네트워크 환경에서 멀티미디어 데이터 특징 정보를 송수신하는 장치 및 방법{APPARATUS AND METHOD FOR TRANSMITTING TRANSPORT CHARACTERISTICS OF MULTIMEDIA DATA IN DYNAMIC NETWORK ENVIRONMENT}

본 발명은 멀티미디어 서비스에 대한 것으로, 특히 멀티미디어 데이터의 특징 정보를 송수신하는 장치 및 방법에 관한 것이다.

멀티미디어 서비스란 화상전화와 같은 대화형 서비스, 주문형 비디오(Video On Demand: VOD) 서비스와 같은 스트리밍 서비스, 또는 멀티캐스트 및 브로드캐스트 서비스 등의 서비스를 의미한다. 또한 실시간 멀티미디어 서비스는 서비스의 형태에 따라 대화형 서비스, 인터랙티브 서비스, 스트리밍 서비스로 나눌 수 있으며, 참여하는 사용자의 수에 따라 유니캐스트, 멀티캐스트, 브로드캐스트로 나눌 수도 있다.

IEEE(Institute of Electrical and Electronics Engineers) 802.16(WIMAX; Worldwide Interoperability for Microwave Access), IEEE 802.11e(WiFi TXOP; Wireless Fidelity Transmission Opportunity), 3GPP(3rd Generation Partnership Project) UMTS(Universal Mobile Telecommunications System), 및 3GPP LTE(Long Term Evolution) 표준에서는 멀티미디어 서비스를 위한 자원을 예약하고 예약된 자원을 보장(guarantee)하는 기능이 있다.

또한 실시간 멀티미디어 서비스는 서비스 품질(Quality of Service; QoS)을 보장하기 위하여 다음과 같은 자원 예약 프로토콜을 이용할 수 있다. 대표적으로 IETF(Internet Engineering Task Force; 국제 인터넷 표준화 기구)의 자원 예약 프로토콜인 RSVP(Resource Reservation Protocol)의 tspec(traffic specification; 트래픽 규격), rspec(request specification; 요청 규격), flowspec(flow specification; 플로우 규격)에는 자원 예약 프로토콜에 필요한 파라메터가 정의되어 있으며, 상기 파라메터는 IEEE 802.16, IEEE 802.11e, 3GPP UMTS, 및 3GPP LTE 표준과 호환성이 있다. IEEE 802.16, IEEE 802.11e, 3GPP UMTS, 및 3GPP LTE 표준은 더블 리키 버킷(double leaky bucket) 파라메터로 자원을 예약한다.

도 1은 가변 비트율의 데이터를 더블 리키 버킷 파라메터로 표현하는 과정을 도식화한 도면이다.

도 1을 참조하면, 가변 비트율(Variable BitRate; VBR)의 트래픽은 RSVP의 tspec에 포함된 4개의 파라메터(Rg, Rp, Bp, B)를 이용하여 더블 리키 버킷으로 표시된다.

보장된 비트율(guaranteed bitrate) Rg(101)는 평균적으로 주어지는 비트율이며, 순간적으로 상기 보장된 비트율 Rg(101)을 넘더라도 버퍼에 저장하면 오버플로우(overflow)가 일어나지 않는다. 이때 필요한 버퍼 사이즈(buffer size)는 B(103)로 약속한다. 경우에 따라서, 상기 버퍼 사이즈 B(103)는 보장된 비트율에 대응되는 개념으로서 보장된 버퍼사이즈(guaranteed buffer size) Bg로 표기할 수도 있다. 피크 비트율(peak bitrate) Rp(105) 도 미리 정해질 수 있다. 피크 비트율 Rp(105)는 한 패킷을 보내는 주기 내에 유지된다는 가정에서 피크 비트율에 대한 버퍼 사이즈 Bp(107)는 서비스 데이터 유닛(Service Data Unit SDU)의 최대 크기로 정할 수 있다. 상기 SDU의 최대 크기 값은 보통 최대 전송 유닛(Maximum Transfer Unit MTU)으로 표시할 수 있다.

다음의 표 1은 더블 리키 버킷의 4가지 파라메터를 이용하는 다양한 프로토콜의 예를 나타낸다.

그러므로 상기의 더블 리키 버킷의 파라메터를 이용하여 멀티미디어 데이터의 특징 정보(transport characteristics)를 생성하는 것은 다른 프로토콜과의 호환성 측면에서 유리하다. 일반적으로 이와 같은 자원 예약 프로토콜은 멀티미디어 서비스를 제공하기 위한 서비스 세션의 수립과정에서 설정되며, 서비스가 지속되는 동안, 즉 멀티미디어 콘텐츠 전체에 대하여 데이터를 전송하는 네트워크 상의 종단간(End-to-End)에 설정되는 것을 가정한다. 그러나 서비스의 종단간에 자원을 예약하는 것은 일반적인 개방형의 인터넷 환경에서는 불가능 하다. 또한 중심 망(core network)의 경우 안정적이며 광대역의 전송이 가능한 반면, 종단에 가까워질수록 다수의 사용자 간 자원 공유로 인한 문제가 발생한다. 특히 무선 통신망 및 이동 통신망의 경우에는 사용자의 이동 및 전파의 간섭 등 다양한 이유로 인해 네트워크 환경이 동적으로 변화한다. 이하에서는 상기와 동적으로 변화하는 네트워크 환경을 동적인 네트워크 환경이라 칭한다.

도 2는 모바일 네트워크의 동적인 네트워크 환경 변화를 그래프로 도식화한 도면이다.

도 2를 참조하면, 상기 모바일 네트워크는 일례로IEEE 802.16 환경이 될 수 있으며, 도시된 그래프에서 가로축은 시간(time)을 나타내고 세로축은 해당 시간에 측정된 신호대 간섭 잡음비(Signal to Interference plus Noise Ratio; SINR)(dB)를 나타낸다. 즉 도시된 그래프는 10분간 측정된 SINR 결과를 나타낸다.

또한, 현재 MPEG(Moving Picture Experts Group)에서 표준화가 진행되고 있는 MMT(MPEG Media Transport) 기술이 있다. 상기 MMT 기술에서는 멀티미디어 서비스를 위한 자원을 예약하고 예약된 자원을 보장하기 위한 기능과, 동적인 네트워크 환경에서 멀티미디어 데이터의 특징 정보를 구성하고, 상기 구성한 특징 정보를 송수신하기 위한 기능 등이 논의되고 있으며, 상기 MMT 기술에서는 어셋(Asset) 단위의 전송 특성을 ADC(Asset Delivery Characteristic)를 통해 제공한다.

상기 MMT 기술 내의 어셋은 논리적인 데이터의 실체이며 이는 한 개 또는 그 이상의 미디어 프로세싱 유닛(Media Processing Unit; MPU)으로 구성되어 있다.또한 MMT 어셋은 멀티미디어의 구성 정보 및 전송 특성을 적용하는 가장 큰 데이터 단위이다.

상기 ADC는 상기 MMT 어셋 전송의 QoS 를 위한 장치이며 상기 ADC는 특정 전송 환경의 매개변수 및 QoS 를 위한 매개변수를 나타낸다.

이를 통해 서비스 제공자는 미디어의 특성을 고려한 네트워크 설정이 가능하다.

이와 같은 동적인 네트워크 환경에서는 기존의 RSVP 등을 이용하여 서비스 세션의 시작 시 자원을 예약하면, 예약한 자원을 보장하는 것이 어렵게 된다. 또한 모바일 환경의 특성상 사용자가 이동하게 되면 기지국이 달라지게 되므로 새로운 자원 예약 과정이 필요해진다. 따라서 동적인 네트워크 환경에서 멀티미디어 서비스의 QoS를 보장할 수 있는 방안이 요구된다.

또한 멀티미디어의 특성에 따라 다양하게 변화하는 데이터 율에도 불구 하고, 서비스 세션의 시작 시 자원을 예약하면, 보장된 자원에 대해 쓰이지 않는 자원이 생기게 되며, 상기 쓰이지 않는 자원은 다른 사용자와 공유하기 어렵게 된다. 따라서 동적인 미디어 데이터 특성에 따라 동적으로 자원을 예약 및 할당할 수 있는 방안이 요구된다.

본 발명은 동적인 네트워크 환경에서 멀티미디어 데이터의 특징 정보를 송수신하는 장치 및 방법을 제공한다.

또한 본 발명은 동적인 네트워크 환경에서 MPU 단위 또는 특정 주기의 MPU 단위로 멀티미디어 데이터 특징 정보를 구성하고, 상기 구성한 특징 정보를 송수신하는 장치 및 방법을 제공한다.

본 발명의 일 실시예에 따른 방법은 멀티미디어 데이터의 특징 정보를 전송하는 방법에 있어서, 상기 멀티미디어 데이터를 구성하는 미디어 프로세싱 유닛(MPU)에 대응되며, 전송 패킷 별 상대적인 우선순위를 지시하는 서비스품질(QoS_description) 정보 및 자원 예약에 필요한 비트스트림(bitstream_description) 정보 중 적어도 하나를 포함하는 상기 멀티미디어 데이터의 특징 정보(transport characteristic)를 생성하는 과정과, 상기 특징 정보를 MPU 헤더에 삽입하여 전달하는 과정과, 상기 MPU 헤더로부터 상기 서비스 품질을 획득하여 전송하는 과정과, 상기 MPU 헤더로부터 상기 비트스트림 정보를 획득하여 전송하는 과정을 포함한다.

본 발명의 일 실시예에 따른 장치는 멀티미디어 데이터의 특징 정보를 전송하는 장치에 있어서, 상기 멀티미디어 데이터를 구성하는 미디어 프로세싱 유닛(Media Processing Unit; MPU)에 대응되며, 전송 패킷 별 상대적인 우선순위를 지시하는 서비스품질(QoS_description) 정보 및 자원 예약에 필요한 비트스트림(bitstream_description) 정보 중 적어도 하나를 포함하는 상기 멀티미디어 데이터의 특징 정보(transport characteristic)를 생성하고, 상기 특징 정보를 MPU 헤더에 삽입하여 제어 계층부 및 전송 계층부 각각으로 전달하는 캡슐화 계층부와, 상기 MPU 헤더로부터 상기 서비스 품질을 획득하여 데이터 채널을 통해 전송하는 상기 전송 계층부와, 상기 MPU 헤더로부터 상기 비트스트림 정보를 획득하여 제어 채널을 통해 전송하는 상기 제어 계층부를 포함한다.

본 발명은 작은 시간 단위 또는 특정 주기의 MPU 단위로 멀티미디어 데이터 특징 정보를 구성하여 전송함으로써, 모바일 네트워크와 같이 동적으로 전송환경이 변화하는 상황에서 보다 효과적으로 멀티미디어 서비스를 위한 자원 예약 및 QoS 관리가 가능하다.

또한 본 발명의 동적인 멀티미디어 데이터의 특징에 따라 동적으로 자원을 예약할 수 있다. 또한 상기 동적 자원 예약을 통해 요구되는 자원이서비스 세션의 시작 시 예약되어 보장된 자원보다 작을 경우 발생되는 쓰이지 않는 자원에 대한 공유가 가능하게 된다. 이를 통해 제한된 전송 자원을 보다 효과적으로 사용할 수 있다.

도 1은 가변 비트율의 데이터를 더블 리키 버킷 파라메터로 표현하는 과정을 도식화한 도면,
도 2는 모바일 네트워크의 동적인 네트워크 환경 변화를 그래프로 도식화한 도면,
도 3은 MMT의 캡슐화 계층의 헤더 구조를 도시한 도면,
도 4는 MMT 캡슐화 계층에서 생성된 미디어 데이터의 특징 정보(transport characteristics)를 미디어 전송 서비스 과정에서 활용하는 예를 도시한 도면,
도 5는 본 발명의 실시예에 따라 MMT 서버가 MPU 단위 또는 특정 주기의 MPU 단위의 멀티미디어 데이터 특징 정보를 구성하여 전송하는 과정을 도시한 순서도.

이하 본 발명의 바람직한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

무선 통신망 및 이동 통신망의 경우에는 사용자의 이동 및 전파의 간섭 등 다양한 이유로 인해 네트워크 환경이 동적으로 변화하고, 이처럼 동적인 네트워크 환경에서 멀티미디어 서비스의 QoS를 보장하기 위하여 자원을 예약하는 경우에는 멀티미디어 콘텐츠 전체를 위한 자원을 예약하는 것보다 짧은 단위 또는 특정 주기 단위의 멀티미디어 콘텐츠를 위한 자원을 예약하는 것이 훨씬 효과적이다.

따라서 후술할 본 발명의 실시예에서는 멀티미디어 콘텐츠를 구성하는 세부 단위인 미디어 프로세싱 유닛(Media Processing Unit; MPU) 단위 또는 특정 주기의 MPU 단위로 자원을 예약하기 위해, 상기 MPU에 대한 QoS를 관리하기 위한 보조 정보인 MDC(MPU Delivery Characteristics) 정보를 상기 MPU 헤더에 삽입하는 방법에 대하여 설명하도록 한다. 상기 MPU (또는 작은 시간 단위 및 특정 주기 단위의 멀티미디어 데이터 단위, 일례로 GOP(Group of Picture)) 단위의 전송자원 예약 및 QoS 관리를 위한 보조 정보, 즉 MDC 정보는 MPU 단위 또는 특정 주기의 MPU 단위의 멀티미디어 데이터에 대한 특징 정보이며, 이하에서는 상기 MDC 정보를 구체화하기 위한 구문(syntax)을 하기 표 2를 참조하여 보다 상세히 설명한다. 표 2는 MPU 헤더(header) 구문을 나타내며, 상기 MDC 정보는 MPU 헤더 구문에서 굵은 글씨체로 표시하였다.

표 2에 기재한 각 필드의 이름, 크기 및 각 필드를 표현하는 변수의 종류는 앞서 기술한 바와 같이 실시 예에서의 기능을 고려하여 선택되었으므로 사용자, 운용자의 의도 또는 판례 등에 따라 달라질 수 있다. 그러나 각 필드의 의미는 본 명세서에서 제공하는 정의를 따라야 한다.

Syntax

MPU_Header(){
mpu_length;
header_length;
mpu_sequence_number;
number_of_au;
for(int i=0; i<number_of_au; i++){
au_length;
}
private_header_flag;
if(private_header_flag == 1){
private_header_length
private_header
}
MPU_delivery_characteristic_header_flag;
if(MPU_delivery_characteristic_header_flag== 1){
QoS_descriptor(){
loss_priority;
delay_priority;
class_of_service;
hybrid_sync_indicator;
}
Bitstream_descriptor(){
sustainable_rate;
buffer_size;
peak_rate;
max_MFU_size;
MFU_perid;
}
}
}
MPU_Payload()

또한 하기 표 3을 참조하여 앞서 설명한 표 2에 기재한 MPU 헤더 구문에 포함된 각 필드의 의미(semantics)를 보다 상세히 설명한다. 표 3은 MPU 헤더 구문에 포함된 각 필드의 이름(Element or Attribute Name)과 그 정의(Definition)를 나타내며, 특히 MDC 정보에 해당되는 필드 이름과 그 정의는 굵은 글씨체로 표시하였다.

Element or Attribute Name	Description
mpu_sequence_number	specifies sequence number of MPU in a single MMT Asset. It is incremented by 1 and will be unique within in an MMT Asset
number_of_au	specifies the number of AUs in this MPU
au_length	specifies length of each AU in this MPU
private_header_flag	indicates that there is private_header
private_header_length	specifies the length of private_header
MPU_delivery_characteristic_header_flag	MDC 존재 여부를 나타내는 플래그. 1일 경우, MDC 정보가 뒤따름.
loss_priority	MPU 데이터의 전송 패킷 손실에 대한 특성을 나타냄. - 11: loss priority 0 (Lossless) - 10: loss priority 1 (Lossy, High priority) - 01: loss priority 2 (Lossy, Medium priority) - 00: loss priority 3 (Lossy, Low priority)
delay_priority	MPU 데이터의 지연 민감도에 대한 특성을 나타냄. - 11: high sensitivity: end-to-end delay << 1sec (e.g., VoIP, video-conference) - 10: medium sensitivity: end-to-end delay approx. 1 sec (e.g., live-streaming) - 01: low sensitivity: end-to-end delay < 5~10 sec (e.g., VoD) - 00: don’t care (e.g., FTP, file download)
class_of_service	MPU 데이터의 특성을 비트스트림의 특징으로 구분하여 나타냄. - 111: The Constant Bit Rate (CBR) service class shall guarantee peak bitrate at any time to be dedicated for transmission of the MPU. This class is appropriate for realtime services which require fixed bitrate such as VoIP without silence suppression. - 110: The Real-Time Variable Bit Rate (rt-VBR) service class shall guarantee sustainable bitrate and allow peak bitrate for the MPU with delay constraints over shared channel. This class is appropriate for most realtime services such as video telephony, videoconferencing, streaming service, etc. - 101: The Non-Real-Time Variable Bit Rate (nrt-VBR) service class shall guarantee sustainable birate and allow peak bitrate for the MPU without delay constraint over shared channel such as file downloading. - 100: The Available Bit Rate (ABR) class shall not guarantee any bitrate, but may report available bitrate for feedback control. This class is appropriate for applications which can be adaptive to time-varying bitrate such as video streaming with RTCP feedback. - 011: The Unspecified Bit Rate (UBR) class shall not guarantee any bitrate and shall not indicate congestion. This class is appropriate for interactive applications such as Web browsing. UBR service is equivalent to the common term “best effort service”.
hybrid_sync_indicator	다른 MPU 데이터와의 전송 동기화를 위한 플래그. 1인 경우 다른 MPU와 전송 동기화를 고려할 필요가 없으며, 0인 경우 전송 동기화를 고려하여야 함. - 1 : no dependency. - 0 : dependent on other MPU for synchronization in hybrid delivery.
sustainable_rate	The sustainable_rate defines the minimum bitrate that shall be guaranteed for continuous delivery of the MPU. The sustainable_rate corresponds to drain rate in token bucket model. The sustainable_rate is expressed in kilobits of MFU(or MPU) per second.
buffer_size	The buffer_size defines the maximum buffer size for delivery of the MPU. The buffer absorbs excess instantaneous bitrate higher than the sustainable_rate and the buffer_size shall be large enough to avoid overflow. The buffer_size corresponds to bucket depth in token bucket model. Buffer_size of a CBR(constant bit rate) MPU shall be zero. The buffer_size is expressed in kilobits
peak_rate	The peak_rate defines peak bitrate during continuous delivery of the MPU. The peak_rate is the highest average bit rate during every MFU period. The peak_rate is expressed in kilobits of MFU(or MPU) per second.
MFU_period	The MFU period defines minimum period of MFU during continuous delivery of the MPU. The MFU period is expressed in millisecond.
max_MFU_size	*The max_MFU_size is the maximum size of MFU, which is MFU_periodpeak_rate. The max_MFU_size is expressed in kilobits.**
SubAsset_period	Temporal length of a sub-asset. The SubAssetPeriod is expressed in seconds.

즉 상기 sustainable_rate은 MPU 데이터 전송을 위해 보장되는 최소 비트율을 나타내고, buffer_size는 MPU 데이터 전송을 위한 최대 버퍼 사이즈를 나타내고, peak_rate은 MPU 데이터를 전송하는 동안의 피크 비트율을 나타내고, MFU_period는 MFU(Media Fragment Unit)의 최소 주기를 나타내고, max_MFU_size는 MFU의 최대 사이즈를 나타내고, SubAsset_period는 상기 동적인 멀티미디어 데이터의 특징 정보를 MPU 헤더에 삽입할 특정 주기를 나타낸다.

또한 후술할 본 발명의 실시예에서는 동적인 멀티미디어의 특징을 고려하여 특정 주기로 자원을 예약하기 위해, 상기 특정 주기의 MPU에 대한 QoS를 관리하기 위한 보조 정보인 SubADC(SubAsset Delivery Characteristics) 정보를 상기 MPU 헤더에 삽입하는 방법에 대하여 설명하도록 한다. 상기 특정 주기의 MPU 단위의 전송자원 예약 및 QoS 관리를 위한 보조 정보, 즉 SubADC 정보는 동적인 멀티미디어 데이터에 대한 특징 정보이며, 이하에서는 상기 SubADC 정보를 구체화하기 위한 구문을 하기 표 4를 참조하여 보다 상세히 설명한다. 표 4는 MPU 헤더 구문을 나타내며, 상기 SubADC를 위해 추가된 정보는 MPU 헤더 구문에서 굵은 글씨체로 표시하였다.

표 4에 기재한 각 필드의 이름, 크기 및 각 필드를 표현하는 변수의 종류는 앞서 기술한 바와 같이 실시 예에서의 기능을 고려하여 선택되었으므로 사용자, 운용자의 의도 또는 판례 등에 따라 달라질 수 있다. 그러나 각 필드의 의미는 본 명세서에서 제공하는 정의를 따라야 한다.

Syntax

MPU_Header(){
mpu_length;
header_length;
mpu_sequence_number;
number_of_au;
for(int i=0; i<number_of_au; i++){
au_length;
}
private_header_flag;
if(private_header_flag == 1){
private_header_length
private_header
}
SubAsset_delivery_characteristic_header_flag;
if(SubAsset _delivery_characteristic_header_flag== 1){
QoS_descriptor(){
loss_priority;
delay_priority;
class_of_service;
hybrid_sync_indicator;
}
Bitstream_descriptor(){
sustainable_rate;
buffer_size;
peak_rate;
max_MFU_size;
MFU_perid;
SubAsset_period
}
}
}
MPU_Payload()

또한 하기 표 5는 앞서 설명한 표 4에 기재한 MPU 헤더 구문에 추가로 포함된 각 필드의 의미를 설명하고 있으며, MPU 헤더 구문에 추가로 포함된 각 필드의 의미는 SubAsset_delivery_characteristic_header_flag 필드를 제외하고 앞서 기술한 표 3과 동일하므로 여기서는 그 상세한 설명을 생략한다. 표 5에서는 특히 SubADC를 위한 특정 주기에 대한 정보에 해당되는 필드 이름과 그 정의를 굵은 글씨체로 표시하였다.

Element or Attribute Name	Description
mpu_sequence_number	specifies sequence number of MPU in a single MMT Asset. It is incremented by 1 and will be unique within in an MMT Asset
number_of_au	specifies the number of AUs in this MPU
au_length	specifies length of each AU in this MPU
private_header_flag	indicates that there is private_header
private_header_length	specifies the length of private_header
SubAsset_delivery_characteristic_header_flag	SubADC 존재 여부를 나타내는 플래그. 1일 경우, SubADC 정보가 뒤따름.
loss_priority	MPU 데이터의 전송 패킷 손실에 대한 특성을 나타냄. - 11: loss priority 0 (Lossless) - 10: loss priority 1 (Lossy, High priority) - 01: loss priority 2 (Lossy, Medium priority) - 00: loss priority 3 (Lossy, Low priority)
delay_priority	MPU 데이터의 지연 민감도에 대한 특성을 나타냄. - 11: high sensitivity: end-to-end delay << 1sec (e.g., VoIP, video-conference) - 10: medium sensitivity: end-to-end delay approx. 1 sec (e.g., live-streaming) - 01: low sensitivity: end-to-end delay < 5~10 sec (e.g., VoD) - 00: don’t care (e.g., FTP, file download)
class_of_service	MPU 데이터의 특성을 비트스트림의 특징으로 구분하여 나타냄. - 111: The Constant Bit Rate (CBR) service class shall guarantee peak bitrate at any time to be dedicated for transmission of the MPU. This class is appropriate for realtime services which require fixed bitrate such as VoIP without silence suppression. - 110: The Real-Time Variable Bit Rate (rt-VBR) service class shall guarantee sustainable bitrate and allow peak bitrate for the MPU with delay constraints over shared channel. This class is appropriate for most realtime services such as video telephony, videoconferencing, streaming service, etc. - 101: The Non-Real-Time Variable Bit Rate (nrt-VBR) service class shall guarantee sustainable birate and allow peak bitrate for the MPU without delay constraint over shared channel such as file downloading. - 100: The Available Bit Rate (ABR) class shall not guarantee any bitrate, but may report available bitrate for feedback control. This class is appropriate for applications which can be adaptive to time-varying bitrate such as video streaming with RTCP feedback. - 011: The Unspecified Bit Rate (UBR) class shall not guarantee any bitrate and shall not indicate congestion. This class is appropriate for interactive applications such as Web browsing. UBR service is equivalent to the common term “best effort service”.
hybrid_sync_indicator	다른 MPU 데이터와의 전송 동기화를 위한 플래그. 1인 경우 다른 MPU와 전송 동기화를 고려할 필요가 없으며, 0인 경우 전송 동기화를 고려하여야 함. - 1 : no dependency. - 0 : dependent on other MPU for synchronization in hybrid delivery.
sustainable_rate	The sustainable_rate defines the minimum bitrate that shall be guaranteed for continuous delivery of the MPU. The sustainable_rate corresponds to drain rate in token bucket model. The sustainable_rate is expressed in kilobits of MFU(or MPU) per second.
buffer_size	The buffer_size defines the maximum buffer size for delivery of the MPU. The buffer absorbs excess instantaneous bitrate higher than the sustainable_rate and the buffer_size shall be large enough to avoid overflow. The buffer_size corresponds to bucket depth in token bucket model. Buffer_size of a CBR(constant bit rate) MPU shall be zero. The buffer_size is expressed in kilobits
peak_rate	The peak_rate defines peak bitrate during continuous delivery of the MPU. The peak_rate is the highest average bit rate during every MFU period. The peak_rate is expressed in kilobits of MFU(or MPU) per second.
MFU_period	The MFU period defines minimum period of MFU during continuous delivery of the MPU. The MFU period is expressed in millisecond.
max_MFU_size	*The max_MFU_size is the maximum size of MFU, which is MFU_periodpeak_rate. The max_MFU_size is expressed in kilobits.**
SubAsset_period	Temporal length of a sub-asset. The SubAssetPeriod is expressed in seconds.

한편, 상기 MPU 단위 또는 특정 주기의 MPU 단위의 멀티미디어 데이터에 대한 특징 정보(transport characteristics)는 멀티미디어 컨텐츠의 생성(캡쳐(capture) 또는 그랩(grab)) 과정에서, 또는 사전에 부호화된 멀티미디어 데이터의 캡슐화(encapsulation) 과정에서 생성할 수 있다. 상기 생성된 특징 정보를 전송 과정에서 활용하는 방법은 다음과 같다. 하기에서 소개하는 본 발명의 실시예는 MMT(MPEG(Moving Picture Experts Group) Media Transport)를 기준으로 한다. MMT에서는 내부적으로 기능에 따라 캡슐화 계층(encapsulation layer), 전송 계층(delivery layer), 및 제어 계층(control layer)으로 구문하고 있으므로 후술할 본 발명의 실시예에서는 각 계층에 따라 구분하여 설명하도록 한다.

- MMT 캡슐화 계층(encapsulation layer E layer)

MMT 캡슐화 계층에서는 본 발명에서 제안하는 MPU 단위 또는 특정 주기의 MPU 단위를 결정하는 기능과 상기 단위의 멀티미디어 데이터에 대한 특징 정보를 생성하는 기능을 담당한다.

도 3은 MMT의 캡슐화 계층의 헤더 구조를 도시한 도면이다.

도 3을 참조하면, 하나 이상의 MPU로 구성되는 MMT 어셋(asset)(331,333,335)은 미디어 콘텐츠를 구성하는 개별 콤포넌트(component), 일례로 비디오 콤포넌트 또는 오디오 콤포넌트를 의미하므로, MMT 어셋 별로 멀티미디어 데이터의 특징 정보가 존재한다. 상기 MMT 어셋 단위의 특징 정보는 앞서 기술한 RSVP 등을 이용하여 해당 MMT 어셋의 서비스 세션 수립 과정에서 서비스 전반적인 QoS 관리 및 자원 예약 등에 활용될 수 있다. 다음으로 본 발명에서 제안하는 MPU 단위 또는 특정 주기의 MPU 단위의 특징 정보는 MMT 어셋을 구성하는 하나 이상의 MPU에 대하여 MPU 헤더에 전송 및 QoS 관리를 위한 정보로써 추가된다.

캡슐화 헤더(encapsulator header)(320)는 MMT 아이템(item) 헤더(310)와 MMT 어셋 헤더(300)를 포함할 수 있다. MMT 어셋 헤더(300)는 MMT 어셋 디스크립션(MMT asset description) 필드(301)를 포함한다. 단일 MMT 어셋에 대한 멀티미디어 데이터의 특징 정보는 상기 MMT 어셋 디스크립션 필드(301)에 기술될 수 있다. 따라서 단일 MMT 어셋으로 MMT 아이템이 구성되는 경우, MMT 어셋 헤더(300)의 MMT 어셋 디스크립션 필드(301)에 포함된 멀티미디어 데이터의 특징 정보를 활용할 수 있다.

MMT 아이템은 하나 이상의 MMT 어셋으로 구성될 수 있으므로 MMT 아이템 헤더(310)는 MMT 어셋 리스트(MMT asset list) 필드(311)를 포함한다. 또한 MMT item을 구성하는 각 MMT 어셋들의 관계 정보, 일례로 시간적, 공간적 프리젠테이션(presentation) 정보를 MMT 아이템 구성(MMT item composition) 필드(313) 정보로 제공한다.

- MMT 제어 계층(control layer C layer)

MMT 제어 계층은 MMT 서버와 MMT 클라이언트간의 서비스 디스커버리(service discovery) 정보, QoE(Quality of Experience) 관리 정보 및 DRM(Digital Rights Management) 정보를 교환하는 기능을 담당한다. 서비스 디스커버리 정보의 교환 과정에서는 서비스 세션을 수립하기 위한 네트워크 자원의 예약 과정을 수행할 수 있으므로, MMT 어셋에 포함된 멀티미디어 데이터의 특징 정보를 이용하여 자원 예약 등의 QoS 관리를 수행한다. 앞서 기술한 바와 같이 MMT 어셋 단위의 QoS 제어는 멀티미디어 콘텐츠 전체 단위로 수행되므로 동적인 네트워크 환경에서는 보다 작은 단위인 MPU 단위 또는 특정 주기의 MPU 단위의 QoS 관리 방안이 필요하다.

- MMT 전송 계층(delivery layer D layer)

MMT 전송 계층에서는 캡슐화된 멀티미디어 데이터 패킷을 MMT 서버로부터 MMT 클라이언트로 전송하는 기능 및 단말 내의 계층간 정보 교환(예를 들어, 계층간 인터페이스) 기능을 담당한다. 그러므로 전송 계층에서는 전송 패킷(delivery packet)을 생성한다. 또한 전송 레이어에서는 각 전송 패킷의 QoS를 보장하기 위하여 각 전송 패킷마다 포함되어야 하는 QoS 관련 정보들을 MPU 헤더로부터 획득한다.

도 4는 MMT 캡슐화 계층에서 생성된 미디어 데이터의 특징 정보(transport characteristics)를 미디어 전송 서비스 과정에서 활용하는 예를 도시한 도면이다.

도 4를 참조하면, 본 발명에서 제안하는 MPU 단위 또는 특정 주기의 MPU 단위의 멀티미디어 데이터에 대한 특징 정보, 즉 MDC(MPU Delivery Characteristics) 정보는 MMT 서버(401) 측의 캡슐화 계층(E layer)(403)에서 생성되며, 상기 생성된 정보는 MPU 헤더에 위치한다. 본 발명에서 제안하는 MPU 단위의 미디어 데이터의 특징 정보는 자원 예약에 필요한 정보, 일례로 더블 리키 파라메터 또는 MPU 헤더의 MDC 정보 중 Bitstream_descriptor와, 각 전송 패킷에 포함됨으로써 매 패킷 별로 상대적인 우선순위를 차별화하는 정보, 일례로 MPU 헤더의 MDC 정보 중 QoS_descriptor로 구분된다.

상기 Bitstream_descriptor는 제어 계층(C layer)(405)으로 전달되며,(406) 이를 제어 채널(control channel)을 통한 시그널링(signaling) 또는 프로토콜(일례로RTSP(Real-Time Stream Protocol), SIP(Session Initiation Protocol), etc)을 통해 MMT 클라이언트(402)의 제어 계층(C layer)(409)으로 전달한다.

상기 QoS_descriptor는 제어 계층(C layer)(405)에서 파싱(parsing)한 정보를 전송 계층(D layer)(404)로 전달하여,(407) 이를 매 전송 패킷에 삽입한 뒤 데이터 채널(data channel)을 통해 MMT 클라이언드(402) 및 중간 네트워크 기기로 전달할 수 있으며, 캡슐화 헤더(320)에 직접 접근하여 해당 필드를 파싱함으로써 정보를 획득하고 이를 전송할 수 있다. 이러한 일련의 과정은 MPU 단위 또는 특정 주기의 MPU 단위로 수행되므로 일반적인 MMT 어셋 단위로 수행되는 것과 비교할 때 짧은 시간 단위로 수행될 수 있다.

도 5는 본 발명의 실시예에 따라 MMT 서버가 MPU 단위 또는 특정 주기의 MPU 단위의 멀티미디어 데이터 특징 정보를 구성하여 전송하는 과정을 도시한 순서도이다.

도 5를 참조하면, 501단계에서 MMT 서버는 MPU 단위로 구성되며 전송 패킷 별 상대적인 우선순위를 지시하는 QoS_descriptor 정보 및 자원 예약에 필요한 정보를 지시하는 Bitstream_desctiptor 정보를 포함하는 멀티미디어 데이터 특징정보를 생성하고 503단계로 진행한다. 상기 QoS_descriptor 정보 및 Bitstream_desctiptor 정보는 앞서 표 1 및 표 2를 통해 상세히 설명하였으므로 여기서는 그 설명을 생략한다.

503단계에서 MMT 서버는 상기 생성한 멀티미디어 데이터 특징정보, 일례로 MDC 정보를 MPU 헤더에 삽입하여 전달하고 505단계로 진행한다. 여기서 상기 멀티미디어 데이터 특징정보를 생성하고, MPU 헤더에 삽입하여 전달하는 동작은 캡슐화 계층(403)에서 수행될 수 있으며, 상기 멀티미디어 데이터 특징정보가 삽입된 MPU 헤더는 제어 계층(405) 및 전송 계층(404) 각각으로 전송될 수 있다.

505단계에서 MMT 서버는 상기 멀티미디어 데이터 특징정보가 삽입된 MPU 헤더로부터 QoS_descriptor 정보를 획득하여 MMT 클라이언트에게 전송하고, 507단계에서 MMT 서버는 상기 멀티미디어 데이터 특징정보가 삽입된 MPU 헤더로부터 Bitstream_desctiptor 정보를 획득하여 MMT 클라이언트에게 전송한다. 즉 MMT 서버는 상기 QoS_descriptor 정보를 전송함으로써 해당 멀티미디어 서비스에 대한 QoS를 관리하고, 상기 Bitstream_desctiptor 정보를 전송함으로써 해당 멀티미디어 서비스를 위한 자원을 예약한다. 여기서는 MMT 서버가 505단계를 수행하고 507단계를 수행하는 것을 일례로 설명하였으나 상기 505단계와 507단계는 동시에 수행될 수도 있고, 507단계가 수행된 이후에 505단계가 수행될 수도 있다.

앞서 설명한 도 4 및 도 5가 예시하는 동작 또는 신호의 흐름도는 본 발명의 권리범위를 한정하기 위한 목적이 아님을 유의해야 한다. 즉, 상기 도 4 및 도 5가 설명하는 동작들은 각 계층부에서 동작하는 구성을 예시하는 것일 뿐이며, 반드시 모든 과정이 포함되어야 구현 가능함을 한정하거나, 어느 특정 계층부에 의해 수행되어야만 함을 한정하지 않는다.

앞서 설명한 동작들은 해당 프로그램 코드를 저장한 메모리 장치를 서버 장치 또는 클라이언트 장치 내의 임의의 구성부에 구비함으로써 실현될 수 있다. 즉, 서버 장치 또는 클라이언트 장치의 각 계층부인 캡슐화 계층부(E Layer), 제어 계층부(C Layer), 및 전송 계층부(D Layer)는 메모리 장치 내에 저장된 프로그램 코드를 프로세서 혹은 CPU(Central Processing Unit)에 의해 읽어내어 실행함으로써 앞서 설명한 동작을 실행할 수 있다.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

또한 본 발명의 실시예에 따른 멀티미디어 데이터 특징 정보를 송수신하는 장치 및 방법은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 발명의 그래픽 화면 갱신 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 상기 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다.

따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.

또한 본 발명의 실시예에 따른 멀티미디어 데이터 특징 정보를 송수신하는 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 그래픽 처리 장치가 기설정된 컨텐츠 보호 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 컨텐츠 보호 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 그래픽 처리 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 그래픽 처리 장치의 요청 또는 자동으로 해당 프로그램을 상기 송수신 장치로 전송하는 제어부를 포함할 수 있다.

Claims

멀티미디어 시스템에서 송신 장치의 동작 방법에 있어서,
수신 장치로 제1 데이터 유닛에 관련된 전달 특성 정보를 포함하는 전송 패킷을 송신하는 과정을 포함하며,
상기 전달 특성 정보는 상기 제1 데이터 유닛에 대한 서비스 품질(quality of service: QoS)에 관련되며, 상기 제1 데이터 유닛의 손실에 관련된 정보를 제공하는 엘리먼트와 서비스 클래스를 나타내는 엘리먼트를 포함하며,
상기 서비스 클래스는 피크 비트 레이트(peak bitrate)가 어느 시점에서라도 상기 제1 데이터 유닛의 송신을 위해 전용이 되도록 보장하는 상수 비트 레이트(constant bit rate: CBR) 서비스 클래스(service class) 또는 지속 가능한 비트 레이트를 보장하고 공유 채널을 통해 지연 제한을 가지고 상기 제1 데이터 유닛에 대한 피크 비트 레이트를 허락하는 가변 비트 레이트(variable bit rate: VBR) 서비스 클래스 중 하나인 것을 특징으로 하는 송신 장치의 동작 방법.
제1항에 있어서,
상기 전송 패킷은 상기 전송 패킷이 상기 전달 특성 정보를 포함함을 나타내는 플래그(flag)를 더 포함함을 특징으로 하는 송신 장치의 동작 방법.
제2항에 있어서,
상기 전송 패킷은 상기 제1 데이터 유닛의 일련 번호를 더 포함함을 특징으로 하는 송신 장치의 동작 방법.
삭제
삭제
멀티미디어 시스템에서 수신 장치의 동작 방법에 있어서,
송신 장치로부터 제1 데이터 유닛에 관련된 전달 특성 정보를 포함하는 전송 패킷을 수신하는 과정을 포함하며,
상기 전달 특성 정보는 상기 제1 데이터 유닛에 대한 서비스 품질(quality of service: QoS)에 관련되며, 상기 제1 데이터 유닛의 손실에 관련된 정보를 제공하는 엘리먼트와 서비스 클래스를 나타내는 엘리먼트를 포함하며,
상기 서비스 클래스는 피크 비트 레이트(peak bitrate)가 어느 시점에서라도 상기 제1 데이터 유닛의 송신을 위해 전용이 되도록 보장하는 상수 비트 레이트(constant bit rate: CBR) 서비스 클래스(service class) 또는 지속 가능한 비트 레이트를 보장하고 공유 채널을 통해 지연 제한을 가지고 상기 제1 데이터 유닛에 대한 피크 비트 레이트를 허락하는 가변 비트 레이트(variable bit rate: VBR) 서비스 클래스 중 하나인 것을 특징으로 하는 수신 장치의 동작 방법.
제6항에 있어서,
상기 전송 패킷은 상기 전송 패킷이 상기 전달 특성 정보를 포함함을 나타내는 플래그(flag)를 더 포함함을 특징으로 하는 수신 장치의 동작 방법.
제7항에 있어서,
상기 전송 패킷은 상기 제1 데이터 유닛의 일련 번호를 더 포함함을 특징으로 하는 수신 장치의 동작 방법.
삭제
삭제
멀티미디어 시스템에서 송신 장치에 있어서,
수신 장치로 제1 데이터 유닛에 관련된 전달 특성 정보를 포함하는 전송 패킷을 송신하는 송수신기를 포함하며,
상기 전달 특성 정보는 제2 데이터 유닛에 대한 서비스 품질(quality of service: QoS)에 관련되며, 전달 동안 상기 제2 데이터 유닛에 대한 요구 손실 허용 오차를 나타내는 엘리먼트와 서비스들을 분류하는 엘리먼트를 포함하며,
상기 서비스들을 분류하는 엘리먼트는 피크 비트 레이트(peak bitrate)가 어느 시점에서라도 상기 제2 데이터 유닛의 송신을 위해 전용이 되도록 보장하는 상수 비트 레이트(constant bit rate: CBR) 서비스 클래스(service class)와, 지속 가능한 비트 레이트를 보장하고, 공유 채널을 통해 지연 제한을 가지고 상기 제2 데이터 유닛에 대한 피크 비트 레이트를 허락하는 가변 비트 레이트(variable bit rate: VBR) 서비스 클래스 중 적어도 하나를 나타냄을 특징으로 하는 송신 장치.
제11항에 있어서,
상기 전송 패킷은 상기 전송 패킷이 상기 전달 특성 정보를 포함함을 나타내는 플래그(flag)를 더 포함함을 특징으로 하는 송신 장치.
제12항에 있어서,
상기 전송 패킷은 상기 제1 데이터 유닛의 일련 번호를 더 포함함을 특징으로 하는 송신 장치.
삭제
삭제
멀티미디어 시스템에서 수신 장치에 있어서,
송신 장치로부터 제1 데이터 유닛에 관련된 전달 특성 정보를 포함하는 전송 패킷을 수신하는 송수신기를 포함하며,
상기 전달 특성 정보는 상기 제1 데이터 유닛에 대한 서비스 품질(quality of service: QoS)에 관련되며, 상기 제1 데이터 유닛의 손실에 관련된 정보를 제공하는 엘리먼트와 서비스 클래스를 나타내는 엘리먼트를 포함하며,
상기 서비스 클래스는 피크 비트 레이트(peak bitrate)가 어느 시점에서라도 상기 제1 데이터 유닛의 송신을 위해 전용이 되도록 보장하는 상수 비트 레이트(constant bit rate: CBR) 서비스 클래스(service class) 또는 지속 가능한 비트 레이트를 보장하고 공유 채널을 통해 지연 제한을 가지고 상기 제1 데이터 유닛에 대한 피크 비트 레이트를 허락하는 가변 비트 레이트(variable bit rate: VBR) 서비스 클래스 중 하나인 것을 특징으로 하는 수신 장치.
제16항에 있어서,
상기 전송 패킷은 상기 전송 패킷이 상기 전달 특성 정보를 포함함을 나타내는 플래그(flag)를 더 포함함을 특징으로 하는 수신 장치.
제17항에 있어서,
상기 전송 패킷은 상기 제1 데이터 유닛의 일련 번호를 더 포함함을 특징으로 하는 수신 장치.
삭제
삭제