KR20130138638A - 비트 에러율을 이용한 효과적인 멀티미디어 전송 방법 - Google Patents

비트 에러율을 이용한 효과적인 멀티미디어 전송 방법 Download PDF

Info

Publication number
KR20130138638A
KR20130138638A KR1020120103995A KR20120103995A KR20130138638A KR 20130138638 A KR20130138638 A KR 20130138638A KR 1020120103995 A KR1020120103995 A KR 1020120103995A KR 20120103995 A KR20120103995 A KR 20120103995A KR 20130138638 A KR20130138638 A KR 20130138638A
Authority
KR
South Korea
Prior art keywords
mmt
layer
information
ber
bit error
Prior art date
Application number
KR1020120103995A
Other languages
English (en)
Inventor
조용주
차지훈
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/391,071 priority Critical patent/US9509439B2/en
Priority to PCT/KR2013/005134 priority patent/WO2013187667A1/ko
Priority to KR1020130066484A priority patent/KR102170717B1/ko
Publication of KR20130138638A publication Critical patent/KR20130138638A/ko
Priority to US15/349,709 priority patent/US10181928B2/en
Priority to US16/206,550 priority patent/US10615907B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • H04L1/0011Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding applied to payload information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0002Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0014Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the source coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0033Systems modifying transmission characteristics according to link quality, e.g. power backoff arrangements specific to the transmitter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/004Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0041Arrangements at the transmitter end
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/20Arrangements for detecting or preventing errors in the information received using signal quality detector
    • H04L1/203Details of error rate determination, e.g. BER, FER or WER
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/54Store-and-forward switching systems 
    • H04L12/56Packet switching systems
    • H04L12/5601Transfer mode dependent, e.g. ATM
    • H04L2012/5603Access techniques

Abstract

BER을 이용하여 rate adaptation을 함으로써 효과적인 멀티미디어 전송이 가능하며, BER은 MAC layer에서 신호세기와 모듈레이션 정보(도 6 내지 8)를 이용하여 추정이 가능하며, 아래와 같은 메시지 규격화 하여 서로 다른 무선 네트워크에서 호환적으로 사용할 수 있다.

Description

비트 에러율을 이용한 효과적인 멀티미디어 전송 방법{the utilization of BER(Bit Error Rate) for rate adaptation in MMT D3-LD}
본 발명은 멀티미디어 전송 방법에 관한 것이다.
무선 환경에서는 약한 신호 세기로 인하여 많은 비트 에러가 발생하고 이는 패킷 손실을 초래한다. 실시간 비디오 전송과 관련된 상기와 같은 문제점을 극복하기 위하여 순방향 에러 정정(Forward Error Correction; FEC)을 이용한 레이트 컨트롤(rate control)이 도입되었다.
무선 환경에서 이러한 패킷 손실을 줄이기 위해서는 링크 품질 또는 채널 상태를 추정하는 것이 필요하다. 특히, 실시간 비디오 전송을 위해서는, 실시간으로 무선 채널 용량을 정확히 추정하는 것이 필수적이다. 왜냐하면, 무선 링크 상태(wireless link conditions) 및 링크 품질(link quality)은 간섭(interference), 페이딩(fading), 다중 경로 효과(multi-path effects) 및 이동성(mobility)등에 따라서 변동될 수 있으며, 이러한 변동은 결국 채널 용량에 심한 변화를 주기 때문이다.
즉, 실시간 비디오 전송시 향상된 비디오 품질을 제공하기 위하여 적절한 채널 코딩 레이트를 설정하기 위해서는 무선 채널 상태(channel condition)를 정확하게 추정 또는 예측하는 것은 매우 중요하다.
예를 들어, 사무실내에 설치된 WLAN(IEEE 802.11b) 무선망을 통하여 멀티미디어 컨텐츠 스트림을 시청하는 경우 다른 사무소내에 위치한 액세스 포인트(AP)에 의한 간섭등과 같은 채널 환경의 영향으로 멀티미디어 컨텐츠 스트림에 심각한 왜곡(significant deterioration)이 발생할 수 있다.
종래의 링크 품질 또는 채널 상태를 추정하는 기술로는, 하나 또는 그 이상의 잔류 에러(residue error)(MAC 계층 에러)를 가지는 패킷을 폐기하는 무선 LAN 프로토콜(Conventional Protocol)('CON 프로토콜')이 있는데, 이는 패킷 손실률(PER: Packet Error Rate)을 이용해서 링크 품질 또는 채널용량을 추정한다.
이러한 종래 기술은 비트 에러율(BER: Bit Error Rate)이 아닌 패킷 손실률(PER)을 이용하여 링크 품질 내지 채널용량을 예측하기 때문에, 그 예측의 정확도가 낮아 채널 적응성이 떨어지며, 이로 인하여 바람직한 무선 비디오 품질을 보장하지 못한다는 문제점이 있었다.
본 발명의 목적은 비트 에러율을 이용한 효과적인 멀티미디어 전송 방법을 제공하는 것이다.
본 발명은 상기 과제를 해결하기 위해 서버에서, 복수의 서로 다른 레이어 중에서 비트 에러율 -여기서, 상기 비트 에러율은 PHY 및 MAC 레이어 중 적어도 하나를 포함하는 복수의 서로 다른 레이어 중에서의 부가정보를 이용하여 추정됨-이 추정된 레이어를 지시하는 지시자를 포함하는 메시지를 생성하는 단계를 포함하는 비트 에러율을 이용한 멀티미디어 전송 방법을 제공한다
또한, 상기 생성된 메시지내의 상기 비트 에러율에 근거하여 멀티미디어 데이터의 레이트 컨트롤을 하여 코딩 레이트를 선택하는 단계를 더 포함하는 비트 에러율을 이용한 멀티미디어 전송 방법을 제공한다.
또한, 상기 추정된 BER에 기초하여 상기 코딩 레인트로 채널을 코딩하여 비디오 스트림을 클라이언트로 전송하는 단계를 더 포함하는 비트 에러율을 이용한 멀티미디어 전송 방법을 제공한다.
또한, 상기 부가정보는 신호세기, 모듈레이션 정보 및 주위 무선 traffic 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 비트 에러율을 이용한 멀티미디어 전송 방법을 제공한다.
또한 본 발명은 비트 에러율을 이용하여 채널 상태를 추정하는 방법에 있어서, PHY 및 MAC 레이어 중 적어도 하나를 포함하는 복수의 서로 다른 레이어 중에서 부가정보를 이용하여 상기 비트 에러율을 추정하는 단계 및 메시지에 상기 측정된 상기 비트 에러율 및 상기 추정된 레이어의 지시자를 포함시켜 다른 계층으로 전송하는 단계를 포함하는 채널 상태 추정 방법을 제공한다.
BER을 이용하여 rate adaptation을 함으로써 효과적인 멀티미디어 전송이 가능하며, BER은 MAC layer에서 신호세기와 모듈레이션 정보를 이용하여 추정이 가능하며, 메시지 규격화하여 서로 다른 무선 네트워크에서 호환적으로 사용할 수 있다.
도 1은 MMT 계층 구조를 나타낸 개념도이다.
도 2는 MMT 계층 구조의 각 계층별로 사용되는 단위 정보(또는 데이터 또는 패킷)의 포맷을 나타내는 개념도이다.
도 3은 MMT 패키지 구성의 개념도이다.
도 4은 패킷 손실률(PER)을 rate adaptation에 사용시 발생하는 문제를 도시한다.
도 5는 도 1의 case 1의 BER을 사용할 경우 쓰루풋(Throughput) 향상 관점에서 비교한 개념도이다.
도 6 내지 도 8은 각각 802.11a, 802.11g, WiMax 무선 네트워크의 BER과 SNR의 상관관계를 보여주는 그래프이다.
도 9는 본 발명의 일실시예에 따른 무선망에서의 레이트 어댑테이션(Rate Adaptation)을 설명하기 위한 블록도이다.
도 10은 본 발명의 일실시예에 따른 클라이언트 장치에서 수행되는 무선 채널 상태 추정 방법 및 서버에서 수행되는 무선망에서의 코딩 레이트 조절 방법을 설명하기 위한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 용어의 의미를 다음과 같이 정의한다.
컨텐츠 콤포넌트(content component) 또는 미디어 콤포넌트(media component)는 단일 종류의 미디어(media of a single type) 또는 단일 종류의 미디어의 부분 집합(subset of the media of a single type)으로 정의되며, 예를 들어, 비디오 트랙(video track), 영화 자막(movie subtitles), 또는 비디오 향상계층(enhancement layer of video)이 될 수 있다.
컨텐츠(content)는 컨텐츠 콤포넌트의 집합으로 정의하며, 예를 들어 영화(movie), 노래(song)등이 될 수 있다.
하이브리드 전송(hybrid delievery)은 하나 또는 하나 이상의 컨텐츠 컴포넌트들이 하나 이상의 물리적으로 서로 다른 형태의 망(network)을 통하여 동시에 전송되는 것으로 정의한다.
표현(presentation)은 사용자가 하나의 컨텐츠 컴포넌트 또는 하나의 서비스를 경험(예를 들어 영화 감상)할 수 있도록 하나 또는 하나 이상의 장치들에 의해 수행되는 동작(operation)으로 정의한다.
서비스(service)는 표현(presentation) 또는 저장(storage)을 위해 전송되는 하나 또는 하나 이상의 컨텐츠 컴포넌트로 정의한다.
서비스 정보(service information)는 하나의 서비스, 상기 서비스의 특성(characteristics) 및 컴포넌트들을 기술하는 메타 데이터로 정의한다.
이하에서, 제1 망(network) 또는 제2 망(network)는 방송망(broadcast network), 광대역망(broadband network), 케이블망(cable network), 또는 위성통신망(satellite communication network)을 포함하는 다양한 네트워크를 포함한다.
이하, 하이브리드 전송시 MMT 애셋 단위, 서브스트림 단위, MMT 패키지 단위 또는 MMT 패킷 단위 로 전송될수도 있고 또한 비디오 컨텐츠가 제1 레이어, 제2 레이어와 같이 복수의 레이어로 구성된 경우 레이어 단위로 하이브리드 전송할 수도 있다.
엑세스 유닛(Access Unit; AU)은 가장 작은 데이터 개체로, 시간 정보를 속성으로 가질 수 있다.
디코딩 및 프리젠테이션을 위한 시간 정보가 지정되지 않은 부호화된 미디어 데이터가 관련되면, AU는 정의되지 않는다.
MMT 애셋(MMT Asset)은 동일한 MMT 애셋 ID와 함께 적어도 하나의 MPU로 구성되거나 또는 다른 표준에서 정의된 형식과 함께 특정 데이터 덩어리로 구성되는 논리적 데이터 개체이다. MMT 애셋은 동일한 컴포지션 정보 및 전송 특성이 적용되는 가장 큰 데이터 유닛이다.
MMT 애셋 전송 특성(MMT Asset Delivery Characteristics; MMT-ADC)은 MMT 애셋을 전송하기 위한 QoS 요구에 관련된 서술이다. MMT-ADC는 특정 전송 환경을 알 수 없게 표현된다.
MMT 컴포지션 정보(MMT Composition Information ; MMT CI)는 MMT 애셋간의 공간적 및 시간적 관계를 설명한다.
미디어 프래그먼트 유닛(Media Fragment Unit; MFU)는 일반적인 컨테이너로, 어떠한 특정 코덱에도 독립적이며, 미디어 디코더에 의해 독립적으로 소비될 수 있는 부호화된 미디어 데이터를 수용한다. 이는 엑세스 유닛(AU)보다 작거나 같은 크기를 가지고 전송계층에서 사용될 수 있는 정보를 수용한다.
MMT 패키지(MMT Package)는 논리적으로 구조화된 데이터의 모음으로, 적어도 하나의 MMT 애셋, MMT-컴포지션 정보, MMT-애셋 전송 특성 및 설명적인 정보로 구성된다.
MMT 패킷(MMT packet)은 MMT 프로토콜에 의해 생성 또는 소비되는 데이터의 포멧이다.
MMT 페이로드 포멧(MMT payload format)은 MMT 프로토콜 또는 인터넷 응용 계층 프로토콜(예를들면, RTP)에 의해 전달될 MMT 패키지 또는 MMT 시그날링 메시지의 페이로드를 위한 포멧이다.
MMT 프로세싱 유닛(MMT Processing Unit)은 어떠한 특정 미디어 코덱에도 독립된 일반적인 컨테이너로, 적어도 하나의 AU 및 추가적인 전송 및 소비에 관련된 정보를 수용한다. 비-시간적 데이터를 위하여, MPU는 AU 범위에 속하지 않는 데이터의 부분을 수용한다. MPU는 완전하고 독립적으로 처리될 수 있는 부호화된 미디어 데이터이다. 이러한 맥락에서 처리는 전송을 위한 MMT 패키지로의 캡슐화 또는 패킷화를 의미한다.
비-시간 데이터(Non-timed data)는 시간을 명시하지 않고 소비되는 모든 데이터 요소를 정의한다. 비-시간 데이터는 데이터가 실행되거나 시작될 수 있는 시간 범위를 가질 수 있다.
시간 데이터(timed data)는 디코딩 및 프리젠테이션 되는 특정한 시간과 연관된 데이터 요소를 정의한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 MMT 계층 구조를 나타낸 개념도이다.
도 1을 참조하면, MMT 계층은 캡슐화 계층(Encapsulation layer), 전달 계층(Delivery layer) 및 S 계층(S layer)의 기능 영역(functional area)을 포함한다. MMT 계층은 전송 계층(Transport layer) 위에서 동작한다.
캡슐화 계층(Encapsulation layer; E-layer)은 예를 들어 전송되는 미디어의 패킷화(packetization), 프래그먼테이션(Fragmentation), 동기화(Synchronization), 멀티플렉싱(Multiplexing)등의 기능을 담당할 수 있다.
캡슐화 기능 영역(encapsulation functional area)은 미디어 컨텐츠, MMT 패키지, 그리고 MMT를 준수하는 개체에 의해 처리될 데이터 유닛들의 포멧의 논리적 구조를 정의한다. 적응적 전송을 위해 필수적인 정보를 제공하기 위해 MMT 패키지는 미디어 컨텐츠를 포함하는 컴포넌트들 및 그들간의 관계를 명시한다. 데이터 유닛들의 포멧은 전송 프로토콜의 페이로드로 저장 또는 전송되도록 , 그리고 그들 사이에서 쉽게 변환 되도록 부호화된 미디어를 캡슐화 하기 위해 정의된다.
캡슐화 계층(E-layer)은, 도 1에 도시된 바와 같이, MMT E.1 계층(MMT E.1 Layer), MMT E.2 계층(MMT E.2 Layer) 및 MMT E.3 계층(MMT E.3 Layer)으로 구성될 수 있다.
E.3 계층은 미디어 코덱(A) 계층으로부터 제공된 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)를 캡슐화하여 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 생성한다.
상위 계층으로부터의 부호화된 미디어 데이터는 MFU로 캡슐화된다. 부호화된 미디어의 타입과 값은 MFU를 특정 코덱 기술에 일반적으로 사용될 수 있도록 추상화된다. 이는 하위 계층이 캡슐화된 부호화된 미디어에 접근없이 MFU를 처리할 수 있도록 한다. 하위 계층은 요구되는 부호화된 미디어 데이터를 네트워크나 저장소의 버퍼로부터 불러오고 미디어 디코더로 전송한다. MFU는 상기 작동을 수행하기 위한 충분한 정보 미디어 부분 유닛을 가지고 있다.
MFU는 미디어 디코더에서 독립적으로 소비될 수 있는 데이터 유닛을 싣을 수 있는, 임의의 특정 코덱(codec)에 독립적인, 포맷을 가질 수 있다. MFU는 예를 들어 비디오의 픽춰(picture) 또는 슬라이스(slice)가 될 수 있다.
독립적으로 전송가능하고 디코드할수 있는 하나 또는 한 그룹의 다수 MFU는 MPU를 생성한다. 독립적으로 전송가능하고 실행가능한 비-시간적 미디어 또한 MPU를 생성한다. MPU는 MFU에의 빠른 접근 및 부분적 소비를 가능하게 하는 MFU의 배열 및 패턴과 같은 내부 구조를 기술한다.
E.2 계층은 E.3계층에서 생성된 MPU를 캡슐화하여 MMT 애셋(MMT Asset)을 생성한다.
동일한 소스 컴포넌트로부터의 MPU의 시퀀스는 MMT 애셋을 생성한다. MMT 애셋은 MMT 패키지에 의해 패키지되고, MMT-CI, MMT-TC에 의해 다른 것과 구성되며, MMT 페이로드 포멧에 의해 다른 것과 다중화되고, MMT 프로토콜에 의해 전송된다.
MMT 애셋은 단일의 데이터 소스로부터의 하나 또는 복수의 MPU로 이루어진 데이터 엔티티(data entity)로서, 컴포지션 정보(composition information) 및 전송 특성(transport characteristics)이 정의된 데이터 유닛이다. MMT 애셋은 PES(packetized elementary streams)에 대응될 수 있으며, 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 파일 포맷(File Format), M2TS(MPEG transport stream)등에 대응될 수 있다.
E.1 계층(E.1 Layer)은 E.2 계층에서 생성된 MMT 애셋을 캡슐화하여 MMT 패키지(MMT Package)를 생성한다.
MMT 애셋은 다른 기능적 영역-전송 영역 및 시그날 영역-과 함께 또는 별도로 동일한 사용자 경험의 추후의 응답을 위해 MMT 콤포지션 정보(MMT-composition information;MMT-CI)와 패키지된다. 상기 MMT 패키지 또한 MMT 애셋의 체감 품질을 충족시키도록 각각의 MMT 애셋을 위한 적절한 전송 방법을 선정하는 전송 특성과 함께 패키지된다.
MMT 패키지는 콤포지션 정보(composition information) 및 전송 특성(transport characteristics)과 같은 부가 정보와 함께 하나 또는 복수의 MMT 애셋으로 구성될 수 있다. 콤포지션 정보(composition information)는 MMT 애셋들 사이의 관계(relationship)에 대한 정보를 포함하며, 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다. 전송 특성(transport characteristics)은 MMT 애셋 또는 MMT 패킷의 전송 조건(delivery condition)을 결정하기 위해 필요한 전송 특성 정보를 포함할 수 있으며, 예를 들어 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다. MMT 패키지는 MPEG-2 TS의 프로그램(Program)에 대응될 수 있다.
전달 계층(Delivery layer)은 예를 들어 네트워크를 통해 전송되는 미디어의 네트워크 플로우 멀티플렉싱(Network flow multiplexing), 네트워크 패킷화(Network packetization), QoS 제어 등을 수행할 수 있다.
전달 기능 영역(delivery functional area)은 페이로드의 응용 계층 프로토콜 및 포멧을 정의한다. 본 발명에서 응용 계층 프로토콜은 다중화를 포함하는 멀티미디어의 전송을 위한 종래의 응용 계층 프로토콜에 비하여 MMT 패키지의 전달을 위한 강화된 특징을 제공한다. 페이로드 포멧은 미디어 타입 또는 인코딩 방법을 불문하고 부호화된 미디어 데이터를 전달하도록 정의된다.
전달 계층 (D-layer)은, 도 1에 도시된 바와 같이, MMT D.1 계층(MMT D.1 Layer), MMT D.2 계층(MMT D.2 Layer) 및 MMT D.3 계층(MMT D.3 Layer)으로 구성될 수 있다.
D.1 계층(D.1-layer)은 E.1 계층에서 생성된 MMT 패키지를 받아서 MMT 페이로드 포맷(MMT Payload format)을 생성한다. MMT 페이로드 포맷은 MMT 애셋을 전송하고, 그리고 MMT 애플리케이션 프로토콜 또는 RTP와 같은 다른 기존의 애플리케이션 전송 프로토콜에 의한 소비를 위한 정보를 전송하기 위한 페이로드 포맷이다. MMT 페이로드는 AL-FEC와 같은 정보와 함께 MFU의 프래그먼트를 포함할 수 있다.
D.2 계층(D.2-layer)은 D.1 계층에서 생성된 MMT 페이로드 포맷을 받아서 MMT 전송 패킷(MMT Transport Packet) 또는 MMT 패킷(MMT Packet)를 생성한다. MMT 전송 패킷 또는 MMT 패킷은 MMT를 위한 애플리케이션 전송 프로토콜에 사용되는 데이터 포맷이다.
D.3 계층(D.3-layer)은 교차 계층 설계(cross-layer Design)에 의해 계층간에 정보를 교환할 수 있는 기능을 제공하여 QoS를 지원한다. 예를 들어, D.3 계층은 MAC/PHY 계층의 QoS 파라미터를 이용하여 QoS 제어를 수행할 수 있다.
S 계층(S layer)은 시그널링 기능(signaling function)을 수행한다. 예를 들어 전송되는 미디어의 세션 초기화/제어/관리(session initialization/control/management), 서버 기반 및/또는 클라이언트 기반의 트릭 모드, 서비스 디스커버리(Service discovery), 동기화(Synchronization) 등을 위한 시그널링 기능을 수행할 수 있다.
시그날링 기능 영역(signaling functional area)는 MMT 패키지의 전달 및 소비를 관리하는 메시지의 포멧을 정의한다. 소비 관리를 위한 메시지는 MMT 패키지의 구조를 전송하기 위해 사용되고, 전달 관리를 위한 메시지는 페이로드 포멧의 구조 및 프로토콜의 구성을 전송하기 위해 사용된다.
S 계층(S layer)은, 도 1에 도시된 바와 같이, MMT S.1 계층(MMT S.1 Layer) 및 MMT S.2 계층(MMT S.2 Layer)으로 구성될 수 있다.
S.1 계층은 서비스 디스커버리(Service discovery), 미디어의 세션 초기화/종료(media session initialization/termination), 미디어의 세션 표현/제어(media session presentation/control), 전달(D) 계층 및 캡슐화(E) 계층과의 인터페이스 기능 등을 수행할 수 있다. S.1 계층은 미디어 표현 세션 관리(presentation session management)를 위한 애플리케이션들간의 제어 메시지들의 포맷을 정의할 수 있다.
S.2 계층은 흐름 제어(flow control), 전달 세션 관리(delivery session management), 전달 세션 모니터링(delivery session monitoring), 에러 제어(error control), 하이브리드망 동기화 제어(Hybrid network synchronization control)에 관한 전달 계층(D-layer)의 전달 엔드-포인트들(delivery end-points)간에 교환되는 제어 메시지의 포맷을 정의할 수 있다.
S.2 계층은 전달 계층의 동작을 지원하기 위하여 전달 세션 설정 및 해제(delivery session establishment and release), 전달 세션 모니터링, 흐름 제어, 에러 제어, 설정된 전달 세션에 대한 리소스 예약, 복합 전달 환경하에서의 동기화를 위한 시그널링, 적응적 전달(adaptive delivery)를 위한 시그널링을 포함할 수 있다. 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 즉, S.2 계층은 전술한 바와 같은 전달 계층의 동작을 지원하기 위하여 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 또한, S.2 계층은 전달 계층 및 캡슐화 계층과의 인터페이스 기능을 담당할 수 있다.
도 2는 도 1의 MMT 계층 구조의 각 계층별로 사용되는 단위 정보(또는 데이터 또는 패킷)의 포맷을 나타낸다.
미디어 프래그먼트 유닛(Media Fragment Unit; MFU)(130)는 부호화된 미디어 분할 데이터(coded media fragment data, 132)와 MFUH(Media Fragment Unit Header)(134)로 이루어진다. 미디어 프래그먼트 유닛(130)은 특정 코덱(codec)에 독립적으로 일반 콘테이너 포맷(general container format)을 가지며 미디어 디코더에서 독립적으로 소비될 수 있는 가장 작은 데이터 유닛을 싣는다. MFUH(134)는 미디어 특성-예를 들어 유실 허용한계(loss-tolerance)-과 같은 부가 정보를 포함할 수 있다. MFU)(130)는 예를 들어 비디오의 픽춰(picture) 또는 슬라이스(slice)가 될 수 있다.
미디어 프래그먼트 유닛(Media Fragment Unit; MFU)은 MFU의 범위에서 적응적인 전송을 수행하기 위해 전송 계층에서 AU의 부분을 캡슐화하는 형식을 정의한다. MFU는 AU의 부분이 독립적으로 디코드되거나 폐기될 수 있도록 부호화된 미디어의 일정한 형식을 전송하는데 사용될 수 있다.
MFU는 다른 MFU들로부터 하나의 MFU를 구별하기 위한 식별자를 가지고, 단일 AU내의 MFU들 사이의 일반적인 관계 정보를 가진다. 단일 AU에서의 MFU 사이의 의존 관계가 설명되고, MFU의 관련 우선순위가 그러한 정보들의 부분으로 설명된다. 상기 정보는 하위 전송 계층에서 전송을 다루는데 사용될 수 있다. 예를 들면, 전송 계층은 불충분한 대역폭에서의 QoS 전송을 지원하도록, 폐기해도 되는 MFU들의 전송을 생략할 수 있다.
MPU는 복수의 미디어 프래그먼트 유닛(130)을 포함하는 미디어 프래그먼트 유닛의 집합이다. MPU는 특정 코덱(codec)에 독립적으로 일반 콘테이너 포맷(general container format)을 가지며 액세스 유닛(Access Unit)과 등가의 미디어 데이터를 포함한다. MPU는 시간 데이터 유닛(timed data unit) 또는 비-시간 데이터 유닛(non-timed data unit) 을 가질 수 있다.
MPU는 MMT를 따르는 개체에 의해 독립적이고 완전하게 처리된 데이터이고, 처리는 캡슐화 및 패킷화를 포함한다. MPU는 적어도 하나의 MFU로 구성되거나 다른 표준에 의해 정의된 포멧을 가진 데이터의 부분을 가질 수 있다.
단일 MPU는 적어도 하나의 AU의 진정수(integral number) 또는 비-시간 데이터를 수용할 수 있다. 시간 데이터를 위하여, AU는 적어도 하나의 MFU로부터 전달될 수 있으나, 하나의 AU는 다수의 MPU로 분할될 수 없다. 비-시간 데이터에서, 하나의 MPU는 MMT를 준수하는 개체에 의해 독립적이고 완전하게 처리된 비-시간 데이터의 부분을 수용한다.
MPU는 시퀀스번호 및 이를 다른 MPU와 구분하여주는 연관된 애셋 ID로 MMT 패키지 내에서 유일하게 식별될 수 있다
MPU는 적어도 하나의 임의 접근점을 가진다. MPU 페이로드의 첫 바이트는 항상 임의 접근점으로 시작할 수 있다. 시간 데이터에서, 상기 사실은 MPU 페이로드에서 첫 MFU의 디코딩 순서는 항상 0임을 의미한다. 시간 데이터에서, 각 AU의 프리젠테이션 기간 및 디코딩 순서는 프리젠테이션 시간을 알리기 위해 보내질 수 있다. MPU는 자신의 초기 프리젠테이션 시간을 가지고 있지 않고, 하나의 MPU의 첫 AU의 프리젠테이션 시간은 컴포지션 정보에 기술되어 있을 수 있다. 컴포지션 정보는 MPU의 첫 프리젠테이션 시간을 명시할 수 있다.
MMT 애셋(150)은 복수의 MPU 들로 이루어진 MPU의 집합이다. MMT 애셋(150)은 단일의 데이터 소스로부터의 다수의 MPU(시간(timed) 또는 비-시간(non-timed) 데이터)로 이루어진 데이터 엔티티로서, MMT 애셋 정보(152)는 애셋 패키징 메타데이터(Asset packaging metadata) 및 데이터 타입과 같은 부가 정보를 포함한다. MMT 애셋(150)은 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 FF(File Format), PES(packetized elementary streams), M2TS(MPEG transport stream)등을 포함할 수 있다.
또한 MMT 애셋은 부호화된 미디어 데이터를 가지는 논리적 데이터 개체일 수 있다. MMT 애셋은 MMT 애셋 헤더 및 부호화된 미디어 데이터를 가진다. 부호화된 미디어 데이터는 같은 MMT 애셋 아이디로 집단적으로 참조되는 MPU들의 그룹일 수 있다. MMT 클라이언트와 직접 관련되는 개체로 각각 소비되는 타입의 데이터는 분리된 MMT 애셋일 수 있다. 그러한 데이터 타입들의 예로 MPEG-2 TS, PES, MP4 file, MPEG-U Widget Package, JPEG 파일 들을 들 수 있다.
MMT 애셋의 부호화된 미디어는 시간 데이터 또는 비-시간 데이터 일 수 있다. 시간 데이터는 지정된 시간에 특정 데이터의 동기화된 디코딩 및 프리젠테이션이 요구되는 시청각 미디어 데이터이다. 비-시간 데이터는 서비스의 제공 또는 사용자 상호작용에 따라 임의의 시간에 디코딩되고 제공될 수 있는 데이터 타입의 데이터이다.
서비스 제공자(service provider)는 MMT 애셋들을 통합하여 MMT 애셋들을 공간-시간축상에 두고 멀티미디어 서비스를 생성할 수 있다.
MMT 패키지(160)는 하나 또는 하나 이상의 MMT 애셋(150)을 포함하는 MMT 애셋의 집합이다. MMT 패키지 내의 MMT 애셋들은 다중화되거나 또는 사슬같이 연결(concatenated)될 수 있다.
MMT 패키지는 MMT 애셋 및 구성 정보를 위한 컨테이너 포멧이다. MMT 패키지는 MMT 프로그램을 위한 MMT 애셋 및 구성 정보의 저장소를 제공한다.
MMT 프로그램 제공자는 부호화된 데이터를 MMT 애셋으로 캡슐화하고 MMT 애셋과 그들의 전송 특성의 시간적 및 공간적 레이아웃을 설명하는 것으로 구성 정보를 생성한다. MU 및 MMT 애셋은 D.1 페이로드 포멧으로 직접적으로 전송될 수 있다. 구성 정보는 C.1 프리젠테이션 세션 관리 메시지에 의해 전송될 수 있다. 그러나 MMT 프로그램의 릴레이 또는 추후의 재사용을 허용하는 MMT 프로그램 제공자 및 클라이언트는 MMT 패키지 포멧으로 이를 저장한다.
MMT 패키지를 파싱하는데 있어, MMT 프로그램 제공자는 MMT 애셋이 클라이언트에게 어떤 전송 경로(예를들면, 브로드캐스트 또는 브로드밴드)로 제공될지를 결정한다. MMT 패키지에서의 구성 정보는 전송 관련 정보와 함께 C.1 프리젠테이션 세션 관리 메시지로 전송된다.
클라이언트는 C.1 프리젠테이션 세션 관리 메시지를 수신하여 어떤 MMT 프로그램이 가능하고 어떻게 해당되는 MMT 프로그램을 위한 MMT 애셋을 수신하는지를 알게된다.
MMT 패키지는 D.1페이로드 포멧에 의해 또한 전송될 수 있다. MMT 패키지는 D.1 페이로드 포멧으로 패킷화 되고 전달된다. 클라이언트는 패킷화된 MMT 패키지를 수신하고 이의 전부 또는 일부를 구성하고, 여기서 MMT 프로그램을 소비한다.
MMT 패키지(160)의 패키지 정보(package information)(165)는 구성 정보(Configuration Information)를 포함할 수 있다. 구성 정보(Configuration Information)는 MMT 애셋들의 리스트, 패키지 식별 정보(package identification information), 콤포지션 정보(composition information)(162) 및 전송 특성(transport characteristics)(164)와 같은 부가 정보를 포함할 수 있다. 콤포지션 정보(composition information)(162)는 MMT 애셋(150)들 사이의 관계(relationship)에 대한 정보를 포함한다.
또한, 콤포지션 정보(composition information)(162)는 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다. 콤포지션 정보(composition information)(162)는 MMT 패키지내의 시간적, 공간적, 적응적 관계(relationship)에 대한 정보를 포함할 수 있다.
MMT 패키지의 전송 및 프리젠테이션을 돕는 정보와 같이, MMT에서의 컴포지션 정보(Composition Information)는 MMT 패키지 내의 MMT 애셋 사이의 공간적 및 시간적 관계에 대한 정보를 제공한다.
MMT-CI는 HTML5를 확장하여 그러한 정보를 제공하는 설명적인 언어이다. HTML5가 텍스트 기반 컨텐츠의 페이지기반 프리젠테이션을 설명하도록 설계되었다면, MMT-CI는 주로 소스들간의 공간적인 관계를 표현한다. MMT 애셋들 간의 시간적 관계를 알려주는 표현을 지원하기 위하여, 프리젠테이션 리소스와 같이 MMT 패키지에 있는 MMT 애셋에 관련된 정보, MMT 애셋의 전송 및 소비 순서를 결정하는 시간 정보 및 HTML5에서 다양한 MMT 애셋을 소비하는 미디어 요소들의 추가적인 속성을 가지도록 확장될 수 있다. 자세한 설명은 후술한다.
전송 특성(transport characteristics) 정보(164)는 전송 특성에 대한 정보를 포함하며, 각각의 MMT 애셋(또는 MMT 패킷)의 전송 조건(delivery condition)을 결정하기 위해 필요한 정보를 제공할 수 있다. 전송 특성 정보는 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다.
트래픽 기술 파라미터는 미디어 프래그먼트 유닛(MFU)(130) 또는 MPU에 대한 비트율(bitrate) 정보, 우선 순위(priority) 정보등을 포함할 수 있다. 비트율 정보는 예를 들어 MMT 애셋이 가변 비트율(Variable BitRate; VBR) 또는 고정 비트율(Constant BitRate; CBR)인지 여부에 대한 정보, 미디어 프래그먼트 유닛(MFU)(또는 MPU)에 대해 보장된 비트율(guaranteed bitrate), 미디어 프래그먼트 유닛(MFU)(또는 MPU)에 대한 최대 비트율을 포함할 수 있다. 상기 트래픽 기술 파라미터는 전달 경로상의 서버, 클라이언트, 기타 다른 구성요소들 간에 리소스 예약(resource reservation)을 위해 사용될 수 있으며, 예를 들어 MMT 애셋내의 미디어 프래그먼트 유닛(MFU)(또는 MPU)의 최대 크기 정보를 포함할 수 있다. 상기 트래픽 기술 파라미터는 주기적 또는 비주기적으로 업데이트될 수 있다.
QoS 기술자는 QoS 제어를 위한 정보를 포함하며, 예를 들어 지연(delay) 정보 및 손실 정보(loss information)를 포함할 수 있다. 손실 정보는 예를 들어 MMT 애셋의 전달 손실(delivery loss)이 허용되는지 않되는지에 대한 손실 지시자(loss indicator)를 포함할 수 있다. 예를 들어 손실 지시자가 ‘1’인 경우 ‘lossless’를 나타내고, ‘0’인 경우에는 ‘lossy’를 나타낼 수 있다. 지연(delay) 정보는 MMT 애셋의 전송 지연의 민감도를 구분하는데 사용되는 지연 지시자(delay indicator)를 포함할 수 있다. 지연 지시자는 MMT 애셋의 타입이 대화(conversation), 인터랙티브(interactive), 실시간(real time) 및 비실시간(non-realtime) 인지 여부를 지시할 수 있다.
하나의 컨텐츠(content)는 하나의 MMT 패키지로 이루어질 수 있다. 또는 하나의 컨텐츠(content)는 복수개의 MMT 패키지로 이루어질 수도 있다.
하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 시간적(temporal), 공간적(spatial), 적응적(adaptive) 관계(relationship)를 나타내는 콤포지션 정보(composition information) 또는 구성 정보(configuration information)가 MMT 패키지들 중에 하나의 MMT 패키지 내부에 존재하거나 MMT 패키지 외부에 존재할 수 있다.
예를 들어 하이브리드 전송(hybrid delivery)의 경우 컨텐츠 컴포넌트(content component)들 중 일부는 방송망(broadcast network)을 통해 전송되고 컨텐츠 컴포넌트(content component)들 중 나머지 부분은 광대역망(broadband network)을 통해 전송될 수 있다. 예를 들어 하나의 멀티뷰 서비스를 구성하는 복수의 AV 스트림(audiovisual stream)의 경우 하나의 스트림은 방송망으로 전송되고 다른 스트림은 광대역망으로 전송될 수 있으며, 각각의 AV 스트림은 다중화되고 클라이언트 단말에 개별적으로 수신되어 저장될 수 있다. 또는 예를 들어 위젯(widget)과 같은 애플리케이션 소프트웨어는 광대역망으로 전송되고, AV 스트림(AV 프로그램)은 기존 방송망으로 전달되는 시나리오도 존재할 수 있다.
상기와 같은 멀티뷰 서비스 시나리오 및/또는 위젯(widget) 시나리오의 경우, 복수의 AV 스트림 전체가 하나의 MMT 패키지로 될 수 있으며, 이 경우에는 복수의 스트림 중의 하나는 하나의 클라이언트 단말에만 저장될 수 있고, 스토리지 컨텐츠(storage content)는 MMT 패키지의 부분이 되며, 클라이언트 단말은 콤포지션 정보(composition information) 또는 구성 정보(configuration information)를 재기록 해야하고, 재기록 된 컨텐츠는 서버와 무관한 새로운 MMT 패키지가 된다.
상기와 같은 멀티뷰 서비스 시나리오 및/또는 위젯(widget) 시나리오의 경우, 각각의 AV 스트림이 하나의 MMT 패키지로도 될 수 있으며, 이 경우에는 복수의 MMT 패키지가 하나의 컨텐츠를 구성하게 되며, 스토리지(storage)에는 MMT 패키지 단위로 기록되며, MMT 패키지들간의 관계(relationship)를 나타내는 컴포지션 정보 또는 구성 정보가 필요하다.
하나의 MMT 패키지내에 포함된 컴포지션 정보 또는 구성 정보(configuration information)는 다른 MMT 패키지내의 MMT 애셋을 참조할 수 있으며, 또한 아웃-밴드(out-band) 상황에서 MMT 패키지를 참조하는 MMT 패키지의 외부를 표현할 수 있다.
한편, 서비스 제공자(service provider)에 의해 제공된 MMT 애셋(160)들의 리스트 및 MMT 패키지(160)의 전달을 위해 가능한 경로를 클라이언트 단말에게 알려주기 위하여 MMT 패키지(160)는 제어(C) 계층을 통하여 서비스 디스커버리 정보(Service discovery information)로 번역되어 MMT 제어 메시지에는 서비스 디스커버리를 위한 정보 테이블을 포함할 수 있다.
멀티미디어 컨텐츠를 복수개의 세그먼트로 분할한 서버는 소정의 개수로 분할된 복수개의 세그먼트들에 URL 정보를 할당하고, 각각의 세그먼트들에 대한 URL 정보를 미디어 정보 파일에 저장하여 클라이언트로 전송한다.
상기 미디어 정보 파일은 HTTP 스트리밍을 표준화하는 표준화 기구에 따라서‘미디어 표현 기술(MPD: Media Presentation Description)’ 또는 ‘매니페스트 파일(Manifest file)’등의 다양한 명칭으로 불리어 질 수 있다. 이하에서는 상기 미디어 정보 파일은 미디어 표현 기술(MPD)로 지칭하고 설명한다.
이하 교차 계층 인터페이스에 대하여 설명한다.
교차 계층 인터페이스(Cross Layer Interface; CLI) 는 응용계층 및 MAC/PHY 계층을 포함하는 하위 계층 사이에서 QoS 관련 정보를 교환하는 것으로 QoS를 지원하는 수단을 단일 개체에서 제공한다. 하위 레이어가 네트워크 채널 상태와 같은 상향식 QoS 정보를 제공하는 한편 응용계층은 하향식 QoS정보로 미디어 특성에 관련된 정보를 제공한다..
교차 계층 인터페이스는 응용계층과 IEE802.11 WiFi, IEEE 802.16 WiMAX, 3G, 4G LTE 등을 포함하는 다양한 네트워크 계층 사이에서 통합된 인터페이스를 제공한다. 인기있는 네트워크 표준의 공통된 네트워크 파라미터들은 다양한 네트워크를 통하는 실시간 미디어 어플리케이션의 정적 및 동적 QoS 제어를 위하여 NAM 파라미터로 발췌된다. NAM 파라미터는 비트 에러율인 BER 값을 포함할 수 있다. BER은 PHY 또는 MAC 계층에서 측정될 수 있다. 또한 NAM은 하부 네트워크의 식별, 가능한 비트율, 버퍼상태, 피크 비트율, 서비스 유닛 크기 및 서비스 데이터 유닛 유실율을 제공한다.
두개의 상이한 방법이 NAM을 제공하는 데에 사용될 수 있다. 첫째 방법은 절대적인 값을 제공하는 것이다. 그리고 둘째 방법은 상대적인 값을 제공하는 것이다. 둘째 방법은 접속중에 NAM을 업데이트하는 용도로 사용할 수 있다.
응용계층은 하위 계층에 대한 미디어 특성에 관련된 하향식 QoS 정보를 제공한다. MMT 애셋 레벨 정보 및 패킷 레벨 정보와 같이 두 가지의 하향식 정보가 존재한다. MMT 애셋 정보는 하위 계층에서 용량 교환 및/또는 자원 (재)할당을 위하여 사용된다. 패킷 레벨 하향식 정보는 지원하는 QoS 레벨을 식별하도록 하위 계층을 위하여 모든 패킷의 적절한 필드에 기록되어 있다.
하위 계층은 응용 계층에 상향식 QoS 정보를 제공한다. 하위 계층은 응용 계층에서 빠르고 보다 정확한 QoS 제어를 가능하게 하는 시간에 따라 변하는 네트워크 상태에 관련된 정보를 제공한다. 상향식 정보는 이종의 네트워크 환경을 지원하기 위해 추상화된 형태로 표현된다. 이러한 파라미터들은 하위 계층에서 측정되고, 주기적으로 또는 MMT 어플리케이션의 요청에 따라 응용 계층에서 읽어진다.
도 4는 패킷 손실률(PER)을 rate adaptation에 사용시 발생하는 문제를 도시한다. PER은 하나 이상의 비트에러가 있으면 전체 패킷을 drop하기 때문에 패킷내에 많은 에러가 있었는지를 정확히 판단할 수 없게 된다. 즉, PER측면에서 도 4에서 보여주는 case 1 과 case 2는 동일한 채널 상황으로 판단하게 된다.
Case 1 은case2 보다 좋은 채널 환경(적은 BER)을 보여주지만 PER을 사용할 경우 case1과 case 2는 동일한 채널로 간주하여 rate adaptation에 사용하게 된다.
도 5는 도 4의 case 1의 BER을 사용할 경우 쓰루풋(Throughput) 향상 관점에서 비교한 개념도이다. 도 5에서는 BER을 사용할 경우(도 4의 case 1) throughput 향상을 도출할 수 있다.
위의 case 1을 PER를 이용하여 채널 코딩(블록 코딩)을 할 경우, 도 5에서와 같이 불필요하게 많은 redundant bit(r)을 사용하기 때문에 BER을 이용하여 채널을 추정하여 채널 코딩을 할 때 보다 효율성에서 떨어질 수 밖에 없다.
따라서, BER을 이용하여 rate adaptation을 함으로써 효과적인 멀티미디어 전송이 가능하며, BER은 MAC 계층에서 신호세기와 모듈레이션 정보(도 6 내지 8)를 이용하여 추정이 가능하며, 하기의 표 1 또는 표2 에서 나타나는 실시예와 같이 메시지 규격화 하여 서로 다른 무선 네트워크에서 호환적으로 사용할 수 있다.
실시예 1
비트 수 기술
BER 32 비트 에러율(BER)은 하위계층에서 얻어진다. BER 변수(또는 파라미터)의 첫 비트는 BER이 Phy 또는 MAC 계층 중 어디에서 얻어지는 지를 나타내고(0:Phy 계층, 1:MAC 계층), 그리고 나머지 부분은 BER 값이다. ( Error Rate obtained from underlying layer. 1st bit of BER indicates whether BER is obtained from Phy or MAC (0: Physical layer, 1: MAC layer) and the rest is BER)
본 발명의 일 실시 예에 따르면, BER 변수(또는 파라미터)를 이용하여, 비트 에러율을 PHY 또는 MAC 계층에서 얻는다. PHY 계층에서의 BER을 위해, BER 값은 양의 값으로 제시된다. MAC 계층에서의 BER을 위해 BER 값은 절대값으로 사용될 수 있는 음의 값으로 제시된다. 즉 BER의 MSB(Most significant bit)는 PHY 또는 MAC 계층을 지시하는 플래그이다.
실시예 2
비트 수 기술
Type 8 BER이 Physical 계층 또는 Mac 계층 중 어디에서 얻어지는지를 나타낸다.(Indication whether BER is obtained from Physical Mac layer.)
BER 32 Phy 또는 MAC 계층에서 얻어지는 비트 에러율(Bit Error Rate obtained from Phy or MAC layer.)
Duration 32 BER이 계산되는 밀리초 단위의 기간(Duration in millisecond that a BER computed.)
본 발명의 다른 실시 예에 따르면, Physical 계층 또는 MAC 계층에서 BER을 추정하여 BER 변수(또는 파라미터)를 이용하여 상위 계층으로 전달 가능하다. Type 변수(또는 파라미터)를 이용하여 비트 에러율이 Phy 계층 또는 MAC 계층 중 어디에서 얻어지는지를 나타낸다.
Physical 계층에서는 bit단위로 error check이 가능하므로 정확한 BER값 추정이 가능함. MAC 계층에서는 MAC packet 수신 시 modulation방식, 신호세기, 주위의 무선 traffic 등의 정보를 이용하여 BER을 추정함(physical 계층에 비해 BER값의 정확도는 약간 떨어짐). TYPE 필드는 BER이 어떤 계층에서 전달되는지를 명시한다.
도 6 내지 8은 서로 다른 무선 네트워크 (MAC 계층)에서 신호세기(SNR)와 모듈레이션 방식에 따른 BER 추정을 보여주고 있다.
이렇게 MAC 또는 physical layer에서 전달받은 BER추정치는 아래와 같은 방법을 통해 최적의 비디오/채널 코딩 레이트 또는 최적의 소스/채널 코딩 레이트를 예측할 수 있다.
수식 1
Figure pat00001

Figure pat00002
상기 수식 1을 이용하여 최적의 비디오/채널 코딩 레이트 또는 최적의 소스/채널 코딩 레이트를 구하는 상세한 과정은 본 출원인의 기출원된 한국공개특허 10-2009-0071005를 참조할 수 있다.
서버(150)에서는 상기 채널 코딩 시, LDPC 코드를 이용하여 비디오 프레임의 특성에 따라 차등 레이트를 적용할 수 있다.
패킷의 길이 및 α의 값(아래 설명 참조)에 따라 LDPC 코드의 성능은 변한다(도 8 참조).
또한, 부호화된 비디오 프레임은 종류에 따라 중요도가 서로 다르다. 즉, I frame이 없으면 P 또는 B frame은 복호화할 수 없다. 따라서, I-frame을 포함한 패킷(각 패킷의 길이는 다름)은 클라이언트 단말(100)에서 복호화가 확실한 α값을 적용하여 채널코딩을 한다(즉, 더 많은 redundant bit을 줌으로써 에러에 보다 강하게 한다). 예를 들어, 길이가 800 bit인 I-frame 패킷인 경우, α값을 2.7을 적용하여 채널코딩을 할 수 있다.
I-frame 패킷의 채널 코딩 후, P-frame 패킷은 아래의 수식 3에 따라서 α값을 적용하여 채널 코딩을 한다(수식 5 참조).
수식 3
Figure pat00003
Figure pat00004
Figure pat00005
표 1 <Rate adaptation performance comparison in terms of video quality in dB>
표 1에서 Xmit Rate는 비디오 데이터의 전송율(Transmit Rate)를 의미하며, Operation channel은 비디오 데이터를 전송할 경우 현실적으로 가능한 PSNR 최고치를 나타내며, ORPACLDS는 본 발명의 일실시예에 따른 신호 세기 정보를 포함한 부가 정보를 이용하여 채널 상태를 추정하는 프로토콜을 적용한 경우의 성능을 나타내고, ORPACON는 종래의 WLAN 802.11b 프로토콜을 적용한 경우의 성능을 나타낸다(여기서, ORPA는 Optimal Rate Prediction Architecture를 의미함). 표 1을 참조하면, Phy data rate가 낮은 경우(2 또는 5.5 Mbps인 경우)에는 표 1의 평균 전송률(avg)의 경우 성능을 참조하면, 종래 ORPACON의 성능(30.63 dB, 29.75 dB)에 비하여 본 발명의 일실시예에 따른 ORPACLDS의 성능(30.69dB, 30.11dB)에 큰 차이가 없는 것으로 나타났으나, Phy data rate가 11 Mbps로 높은 경우에는 표 1의 평균 전송률(avg)의 경우 성능을 참조하면, 종래 ORPACON의 성능(23.28 dB)에 비하여 본 발명의 일실시예에 따른 ORPACLDS의 성능(29.47dB)에 6dB 이상의 큰 차이가 있어 크게 성능 개선이 이루어진 것을 알 수 있다.

Claims (5)

  1. 서버에서,
    복수의 서로 다른 레이어 중에서 비트 에러율 -여기서, 상기 비트 에러율은 PHY 및 MAC 레이어 중 적어도 하나를 포함하는 복수의 서로 다른 레이어 중에서의 부가정보를 이용하여 추정됨-이 추정된 레이어를 지시하는 지시자를 포함하는 메시지를 생성하는 단계를 포함하는 비트 에러율을 이용한 멀티미디어 전송 방법.
  2. 제 1 항에 있어서,
    상기 생성된 메시지내의 상기 비트 에러율에 근거하여 멀티미디어 데이터의 레이트 컨트롤을 하여 코딩 레이트를 선택하는 단계를 더 포함하는 비트 에러율을 이용한 멀티미디어 전송 방법.
  3. 제 2 항에 있어서,
    상기 추정된 BER에 기초하여 상기 코딩 레인트로 채널을 코딩하여 비디오 스트림을 클라이언트로 전송하는 단계를 더 포함하는 비트 에러율을 이용한 멀티미디어 전송 방법.
  4. 제 1 항에 있어서,
    상기 부가정보는 신호세기, 모듈레이션 정보 및 주위 무선 트래픽 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 비트 에러율을 이용한 멀티미디어 전송 방법.
  5. 비트 에러율을 이용하여 채널 상태를 추정하는 방법에 있어서,
    PHY 및 MAC 레이어 중 적어도 하나를 포함하는 복수의 서로 다른 레이어 중에서 부가정보를 이용하여 상기 비트 에러율을 추정하는 단계 및
    메시지에 상기 측정된 상기 비트 에러율 및 상기 추정된 레이어의 지시자를 포함시켜 다른 계층으로 전송하는 단계를 포함하는 채널 상태 추정 방법.



KR1020120103995A 2012-06-11 2012-09-19 비트 에러율을 이용한 효과적인 멀티미디어 전송 방법 KR20130138638A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US14/391,071 US9509439B2 (en) 2012-06-11 2013-06-11 Rate adaptation method using bit error rate for multimedia service and apparatus therefor
PCT/KR2013/005134 WO2013187667A1 (ko) 2012-06-11 2013-06-11 멀티미디어 서비스를 위한 비트 에러율을 이용한 레이트 어댑테이션 방법 및 그 장치
KR1020130066484A KR102170717B1 (ko) 2012-06-11 2013-06-11 멀티미디어 서비스를 위한 비트 에러율을 이용한 레이트 어댑테이션 방법 및 그 장치
US15/349,709 US10181928B2 (en) 2012-06-11 2016-11-11 Rate adaptation method using bit error rate for multimedia service and apparatus therefor
US16/206,550 US10615907B2 (en) 2012-06-11 2018-11-30 Rate adaptation method using bit error rate for multimedia service and apparatus therefor

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR1020120062312 2012-06-11
KR20120062312 2012-06-11
KR1020120073678 2012-07-06
KR20120073678 2012-07-06
KR20120101468 2012-09-13
KR1020120101468 2012-09-13

Publications (1)

Publication Number Publication Date
KR20130138638A true KR20130138638A (ko) 2013-12-19

Family

ID=49984304

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020120103995A KR20130138638A (ko) 2012-06-11 2012-09-19 비트 에러율을 이용한 효과적인 멀티미디어 전송 방법
KR1020130066484A KR102170717B1 (ko) 2012-06-11 2013-06-11 멀티미디어 서비스를 위한 비트 에러율을 이용한 레이트 어댑테이션 방법 및 그 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020130066484A KR102170717B1 (ko) 2012-06-11 2013-06-11 멀티미디어 서비스를 위한 비트 에러율을 이용한 레이트 어댑테이션 방법 및 그 장치

Country Status (2)

Country Link
US (3) US9509439B2 (ko)
KR (2) KR20130138638A (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120106520A (ko) * 2011-03-16 2012-09-26 한국전자통신연구원 신호세기정보를 이용한 채널 레이트 예측 방법
TW201505399A (zh) * 2013-03-29 2015-02-01 Vid Scale Inc 早期封包損失檢測及回饋
KR102105656B1 (ko) 2014-01-09 2020-04-28 한국전자통신연구원 Mmt 서비스의 패킷 재전송 방법 및 장치, 재전송 요청 방법 및 장치
WO2015167485A1 (en) * 2014-04-30 2015-11-05 Hewlett-Packard Development Company, L.P. Bit rate determination and prediction
KR20160004858A (ko) * 2014-07-04 2016-01-13 삼성전자주식회사 멀티미디어 통신 시스템에서 패킷 송/수신 장치 및 방법
US9635407B2 (en) * 2014-10-16 2017-04-25 Samsung Electronics Co., Ltd. Method and apparatus for bottleneck coordination to achieve QoE multiplexing gains
KR102174325B1 (ko) * 2015-02-13 2020-11-04 에스케이텔레콤 주식회사 네트워크 적응형 컨텐츠 제공을 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 네트워크 적응형 컨텐츠 제공 장치
US10652904B2 (en) * 2015-07-09 2020-05-12 Telefonaktiebolaget Lm Ericsson (Publ) Technique for controlling radio access nodes
US20170344523A1 (en) * 2016-05-25 2017-11-30 Samsung Electronics Co., Ltd Method and apparatus for presentation customization and interactivity
US10779173B2 (en) 2018-01-30 2020-09-15 Hewlett Packard Enterprise Development Lp Peak data transfer rates

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030097623A1 (en) * 2001-10-24 2003-05-22 Javad Razavilar Method and apparatus for performance optimization and adaptive bit loading for wireless modems with convolutional coder, FEC, CRC and ARQ
US20070033496A1 (en) * 2005-07-14 2007-02-08 Hitachi, Ltd. System and method for adjusting BER/PER to increase network stream-based transmission rates
KR100893863B1 (ko) 2006-09-05 2009-04-20 엘지전자 주식회사 무선 통신 시스템에서의 링크 적응적 데이터 전송 방법
KR101452482B1 (ko) * 2007-11-29 2014-10-21 엘지전자 주식회사 복수의 전송채널을 이용한 데이터 전송방법
KR101012549B1 (ko) 2008-06-10 2011-02-07 한국전자통신연구원 트래픽 특성에 따른 패킷의 집합 통신 방법 및 장치
JP2010187127A (ja) 2009-02-10 2010-08-26 Canon Inc 放送受信装置及びその制御方法
US8238244B2 (en) 2009-08-10 2012-08-07 Micron Technology, Inc. Packet deconstruction/reconstruction and link-control
CN104883305B (zh) 2010-02-12 2018-04-03 泰克莱克股份有限公司 用于进行diameter消息处理器间路由的系统
KR101657312B1 (ko) * 2010-05-01 2016-09-19 삼성전자주식회사 무선 통신 시스템에서의 제어 메시지 송수신 방법 및 장치
KR101753195B1 (ko) * 2010-07-27 2017-07-19 아주대학교산학협력단 통신 시스템에서 세션 연결 제어 장치 및 방법

Also Published As

Publication number Publication date
US20190097752A1 (en) 2019-03-28
US10181928B2 (en) 2019-01-15
US20170063488A1 (en) 2017-03-02
KR102170717B1 (ko) 2020-10-27
KR20130138696A (ko) 2013-12-19
US9509439B2 (en) 2016-11-29
US10615907B2 (en) 2020-04-07
US20150095727A1 (en) 2015-04-02

Similar Documents

Publication Publication Date Title
US10728591B2 (en) Method of configuring and transmitting an MMT transport packet
US10615907B2 (en) Rate adaptation method using bit error rate for multimedia service and apparatus therefor
US9043849B2 (en) Method for linking MMT media and DASH media
US9414123B2 (en) Method for hybrid delivery of MMT package and content and method for receiving content
US9544641B2 (en) Hybrid transmission method through MMT packet format extension
US20150181003A1 (en) Method and apparatus for transmitting and receiving packets in hybrid transmission service of mmt
KR20130108198A (ko) Mmt 패키지화된 svc 비디오 콘텐츠의 하이브리드 전송 방법 및 수신 방법
US20140282799A1 (en) Method for transmitting media data via a heterogeneous ip network independently of a media codec
US20150249835A1 (en) Method for adaptively transmitting fec parity data using cross-layer optimization
KR102098723B1 (ko) Mmt 전송 패킷의 설정 방법 및 전송 방법
KR102026266B1 (ko) 부호화된 미디어 데이터를 전송하는 장치에서의 네트워크 지터 추정 방법
KR20140095445A (ko) 유연한 mmt 애셋 송수신 방법 및 그 장치
KR20130085987A (ko) 이종망 네트워크에서 미디어 프래그먼트 유닛으로 나누어진 액세스 유닛을 가지는 미디어 데이터를 전송하는 방법
KR20130119885A (ko) 네트워크 적응적인 계층적 비디오 전송을 위한 mmt 패킷의 전송 방법 및 장치
KR20130090824A (ko) 이종망 네트워크에서 부호화된 미디어 데이터를 전송하는 시스템에 랜덤 액세스를 지원하는 엠엠티 애셋의 구조, 생성 방법 및 생성 장치
KR20130040144A (ko) 엠엠티 시스템에서의 패킷 전송 장치 및 방법, 및 패킷 수신 장치 및 방법
KR20130040151A (ko) 콤포지션 정보 및 전송 특성 정보가 연동된 미디어 데이터를 이종 ip 네트워크를 통하여 전송하는 방법
WO2014061925A1 (ko) 교차 계층 최적화를 사용한 fec 패리티 데이터의 적응적 전송 방법
KR20130058540A (ko) 하이브리드 전송시 동기화 방법
KR20130058539A (ko) 하이브리드 전송시 동기화 방법