KR20130085987A

KR20130085987A - 이종망 네트워크에서 미디어 프래그먼트 유닛으로 나누어진 액세스 유닛을 가지는 미디어 데이터를 전송하는 방법

Info

Publication number: KR20130085987A
Application number: KR1020130005783A
Authority: KR
Inventors: 배성준
Original assignee: 한국전자통신연구원
Priority date: 2012-01-20
Filing date: 2013-01-18
Publication date: 2013-07-30
Also published as: US20140344875A1

Abstract

본 발명은 미디어 프로세싱 유닛의 구성에 있어서 미디어 프래그먼트 유닛을 구성단위로하여 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 생성함으로써 다양한 미디어 데이터 구조에 대응하는 미디어 데이터 패키징을 할 수 있는 효과를 가진다.

Description

이종망 네트워크에서 미디어 프래그먼트 유닛으로 나누어진 액세스 유닛을 가지는 미디어 데이터를 전송하는 방법{A METHOD OF TRANSPORTING MEDIA DATA WHICH HAS ACCESS UNITS WITH MULTIPLE MEDIA FRAGMENT UNITS IN HETEROGENEOUS IP NETWORK}

본 발명은 미디어 데이터 전송 방법에 관한 것으로서, 보다 상세하게는 부호화된 미디어 데이터를 이종 IP 네트워크(heterogeneous IP network)를 통하여 전송하기 위한 시스템에서 부호화된 미디어 데이터를 전송하는 방법에 관한 것이다.

MPEG-2시스템은 방송망에서 AV(Audio Video) 콘텐츠를 전송하기 위해 필요한 패킷화, 동기화, 멀티플렉싱 등 기능에 대한 표준으로 MPEG-2 TS(Transport Stream) 기술을 표준화했고 현재 널리 쓰여지고 있다. 그러나, 네트워크가 All IP (Internet Protocol) 화된 새로운 환경에서 MPEG-2 TS는 비효율적이다.

이에 새로운 미디어 전송환경과 앞으로 예상되는 미디어 전송환경을 고려하여 부호화된 미디어 데이터를 이종 IP 네트워크(heterogeneous IP network)를 통하여 전송하기 위한 시스템에서의 새로운 미디어 전송 기술이 요구된다.

본 발명의 목적은 SVC 기반 비디오 계층 방식에 대응하여 사용할 수 있는 다양한 미디어 데이터 구조에 대응하는 미디어 데이터 전송 방법을 제공하는 것이다.

또한, 본 발명의 목적은 명시적으로 액세스 유닛(Acess Unit;AU)을 사용하지 않고도 미디어 타임 인스턴스를 받을 수 있는 구조를 제공하는 것이다.

본 발명은 부호화된 미디어 데이터(Coded Media Data)를 전송하기 위한 시스템에서 미디어 데이터를 전송하는 방법에 있어서, 액세스 유닛(Access Unit; AU)을 구성하는 적어도 하나의 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)을 포함하는 미디어 데이터를 제공받는 단계; 및 상기 미디어 프래그먼트 유닛을 구성단위로하여 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 생성하는 단계를 포함하는 미디어 데이터 전송 방법을 제공한다.

상기 미디어 프로세싱 유닛은 동일한 스케일러블 계층에 속한 미디어 프래그먼트 유닛만을 포함할 수 있다.

상기 미디어 프로세싱 유닛이 포함하는 미디어 프래그먼트 유닛의 수는 한 개일 수 있다.

상기 미디어 프로세싱 유닛은 동일한 미디어 타임 인스턴스를 공유하는 적어도 하나의 미디어 프래그먼트 유닛으로 구성되는 미디어 프로세싱 유닛의 서브셋에 관한 정보를 포함할 수 있다.

상기 미디어 프로세싱 유닛은 상기 미디어 프로세싱 유닛이 포함하는 상기 서브셋의 개수를 나타내는 지시자 및 상기 각각의 서브셋의 길이를 나타내는 지시자를 포함할 수 있다.

상기 서브셋은 액세스 유닛일 수 있다.

상기 미디어 프로세싱 유닛은 상기 미디어 프래그먼트 유닛의 전송 및 소비 중 어느 하나에 관련된 정보를 더 포함할 수 있다.

또한 본 발명은 부호화된 미디어 데이터(Coded Media Data)를 전송하기 위한 시스템에서 미디어 데이터를 전송하는 방법에 있어서, 액세스 유닛(Access Unit; AU)을 구성하는 적어도 하나의 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)을 포함하는 미디어 데이터를 제공받는 단계; 및 상기 미디어 프래그먼트 유닛을 구성단위로하여 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 생성하는 단계를 포함하는 미디어 데이터 전송 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.

상기 미디어 프로세싱 유닛은 동일한 스케일러블 계층에 속한 미디어 프래그먼트 유닛만을 포함할 수 있고, 상기 미디어 프로세싱 유닛이 포함하는 미디어 프래그먼트 유닛의 수는 한 개일 수 있다. 상기 미디어 프로세싱 유닛은 동일한 미디어 타임 인스턴스를 공유하는 적어도 하나의 미디어 프래그먼트 유닛으로 구성되는 미디어 프로세싱 유닛의 서브셋에 관한 정보를 포함할 수 있다. 상기 미디어 프로세싱 유닛은 상기 미디어 프로세싱 유닛이 포함하는 상기 서브셋의 개수를 나타내는 지시자 및 상기 각각의 서브셋의 길이를 나타내는 지시자를 포함할 수 있으며, 상기 서브셋은 액세스 유닛일 수 있다. 상기 미디어 프로세싱 유닛은 상기 미디어 프래그먼트 유닛의 전송 및 소비 중 어느 하나에 관련된 정보를 더 포함할 수 있다.

또한 본 발명은 부호화된 미디어 데이터(Coded Media Data)를 전송하기 위한 시스템에 있어서, 액세스 유닛(Access Unit; AU)을 구성하는 적어도 하나의 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)을 포함하는 미디어 데이터를 제공받아 상기 미디어 프래그먼트 유닛을 구성 단위로하여 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 생성하는 패키징부를 포함하는 것을 특징으로 하는 미디어 데이터 전송 장치를 제공한다.

상기 패키징부는 동일한 스케일러블 계층에 속한 미디어 프래그먼트 유닛만을 포함하는 상기 미디어 프로세싱 유닛을 생성할 수 있다.

상기 미디어 프로세싱 유닛은 상기 미디어 프래그먼트 유닛을 하나 포함할 수 있다.

상기 서브셋은 액세스 유닛일 수 있다.

또한 본 발명은 부호화된 미디어 데이터(Coded Media Data)를 전송하기 위한 시스템에서, 미디어 프래그먼트 유닛(Media Fragment Unit)을 기본 단위로 하여 상기 부호화된 미디어 데이터 데이터를 저장하고, 상기 미디어 프래그먼트 유닛은 시간 정보를 가지는 데이터 또는 시간 정보를 가지지 않는 데이터인 것을 특징으로 하는 미디어 프로세싱 유닛(Media Processing Unit) 구조를 제공한다.

상기 미디어 프로세싱 유닛 구조는 동일한 스케일러블 계층에 속한 미디어 프래그먼트 유닛만을 포함할 수 있다.

상기 미디어 프로세싱 유닛 구조가 포함하는 미디어 프래그먼트 유닛의 수는 한 개일 수 있다.

상기 미디어 프로세싱 유닛 구조는 동일한 미디어 타임 인스턴스를 공유하는 적어도 하나의 미디어 프래그먼트 유닛으로 구성되는 미디어 프로세싱 유닛의 서브셋에 관한 정보를 포함할 수 있다.

상기 미디어 프로세싱 유닛구조는 상기 미디어 프로세싱 유닛구조가 포함하는 상기 서브셋의 개수를 나타내는 지시자 및 상기 각각의 서브셋의 길이를 나타내는 지시자를 더 포함할 수 있다.

상기 서브셋은 액세스 유닛일 수 있다.

상기 미디어 프로세싱 유닛 구조는 상기 미디어 프로세싱 유닛 구조에 포함된 상기 미디어 프래그먼트 유닛의 전송 및 소비 중 어느 하나에 관련된 정보를 더 포함할 수 있다.

본 발명에 따른 미디어 데이터를 전송하는 방법은 액세스 유닛을 구성하는 부분데이터를 데이터 단위로 하여 미디어 프로세싱 유닛을 생성함으로써 다양한 미디어 데이터 구조에 대응하는 미디어 데이터 패키징을 할 수 있는 효과를 가진다.

또한, 본 발명에 따른 미디어 데이터를 전송하는 방법은 동일한 미디어 타임 인스턴스를 공유하는 타임 인스턴스 유닛을 사용하여 명시적으로 액세스 유닛을 사용하지 않고도 미디어 타임 인스턴스를 사용할 수 있는 효과를 가진다.

도 1은 MMT 계층 구조를 나타낸 개념도이다.
도 2는 MMT 계층 구조의 각 계층별로 사용되는 단위 정보(또는 데이터 또는 패킷)의 포맷을 나타내는 개념도이다.
도 3은 MMT 패키지 구성의 개념도이다.
도 4는 SVC 기반의 계층적 비디오의 계층구조를 나타낸 도면이다.
도 5는 본 발명의 일 실시 예에 따른 미디어 데이터 전송 장치의 블록도이다.
도 6은 본 발명의 일 실시 예에 따른 미디어 데이터 전송 장치의 작동 순서도이다.
도 7은 본 발명의 일 실시 예에 따른 미디어 데이터 전송 방법이 SVC 콘텐츠를 미디어 유닛에 순차적으로 저장하는 구조를 나타낸 도면이다.
도 8은 본 발명의 일 실시 예에 따른 미디어 데이터 전송 방법이 SVC 콘텐츠를 프로그레시브 다운로드 방식으로 3개의 공간적인 스케일러빌리티를 제공하는 미디어 유닛으로 패키징한 구조를 나타낸 도면이다.
도 9는 본 발명의 일 실시 예에 따른 미디어 데이터 전송 방법이 SVC 콘텐츠를 세밀한 단위를 가지는 미디어 유닛으로 패키징한 구조를 나타낸 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 용어의 의미를 다음과 같이 정의한다.

부호화된 미디어 데이터(Media Data)를 이종 IP 네트워크(heterogeneous IP network)를 통하여 전송하기 위한 시스템은 이하 MMT(MPEG Media Transport) 시스템이라 한다.

컨텐츠 콤포넌트(content component) 또는 미디어 콤포넌트(media component)는 단일 종류의 미디어(media of a single type) 또는 단일 종류의 미디어의 부분 집합(subset of the media of a single type)으로 정의되며, 예를 들어, 비디오 트랙(video track), 영화 자막(movie subtitles), 또는 비디오 향상계층(enhancement layer of video)이 될 수 있다.

컨텐츠(content)는 컨텐츠 콤포넌트의 집합으로 정의하며, 예를 들어 영화(movie), 노래(song)등이 될 수 있다.

표현(presentation)은 사용자가 하나의 컨텐츠 컴포넌트 또는 하나의 서비스를 경험(예를 들어 영화 감상)할 수 있도록 하나 또는 하나 이상의 장치들에 의해 수행되는 동작(operation)으로 정의한다.

서비스(service)는 표현(presentation) 또는 저장(storage)을 위해 전송되는 하나 또는 하나 이상의 컨텐츠 컴포넌트로 정의한다.

서비스 정보(service information)는 하나의 서비스, 상기 서비스의 특성(characteristics) 및 컴포넌트들을 기술하는 메타 데이터로 정의한다.

엑세스 유닛(Access Unit; AU)은 시간 정보를 속성으로 가질 수 있는 가장 작은 데이터 개체다.

디코딩 및 프리젠테이션을 위한 시간 정보가 지정되지 않은 부호화된 미디어 데이터가 관련되면, AU는 정의되지 않는다.

MMT 애셋(MMT Asset)은 동일한 MMT 애셋 ID와 함께 적어도 하나의 MPU로 구성되거나 또는 다른 표준에서 정의된 형식과 함께 특정 데이터 덩어리로 구성되는 논리적 데이터 개체이다. MMT 애셋은 동일한 콤포지션 정보 및 전송 특성이 적용되는 가장 큰 데이터 유닛이다.

MMT 애셋 전송 특성(MMT Asset Delivery Characteristics; MMT-ADC)은 MMT 애셋을 전송하기 위한 QoS 요구에 관련된 서술이다. MMT-ADC는 특정 전송 환경을 알 수 없게 표현된다.

MMT 콤포지션 정보(MMT Composition Information ; MMT CI)는 MMT 애셋간의 공간적 및 시간적 관계를 설명한다.

미디어 프래그먼트 유닛(Media Fragment Unit; MFU)는 일반적인 컨테이너로, 어떠한 특정 코덱에도 독립적이며, 미디어 디코더에 의해 독립적으로 소비될 수 있는 부호화된 미디어 데이터를 수용한다. 이는 엑세스 유닛(AU)보다 작거나 같은 크기를 가지고 전송계층에서 사용될 수 있는 정보를 수용한다.

MMT 패키지(MMT Package)는 논리적으로 구조화된 데이터의 모음으로, 적어도 하나의 MMT 애셋, MMT-콤포지션 정보, MMT-애셋 전송 특성 및 설명적인 정보로 구성된다.

MMT 패킷(MMT packet)은 MMT 프로토콜에 의해 생성 또는 소비되는 데이터의 포맷이다.

MMT 페이로드 포맷(MMT payload format)은 MMT 프로토콜 또는 인터넷 응용 계층 프로토콜(예를들면, RTP)에 의해 전달될 MMT 패키지 또는 MMT 시그날링 메시지의 페이로드를 위한 포맷이다.

미디어 프로세싱 유닛(Media Processing Unit;MPU)은 어떠한 특정 미디어 코덱에도 독립된 일반적인 컨테이너로, 적어도 하나의 AU 및 추가적인 전송 및 소비에 관련된 정보를 수용한다. 비-시간적 데이터를 위하여, MPU는 AU 범위에 속하지 않는 데이터의 부분을 수용한다. MPU는 완전하고 독립적으로 처리될 수 있는 부호화된 미디어 데이터이다. 이러한 맥락에서 처리는 전송을 위한 MMT 패키지로의 캡슐화 또는 패킷화를 의미한다.

비-시간 데이터(Non-timed data)는 시간을 명시하지 않고 소비되는 모든 데이터 요소를 정의한다. 비-시간 데이터는 데이터가 실행되거나 시작될 수 있는 시간 범위를 가질 수 있다.

시간 데이터(timed data)는 디코딩 및 프리젠테이션 되는 특정한 시간과 연관된 데이터 요소를 정의한다.

미디어 데이터(Media data)는 비-시간 데이터(non-timed data) 및 시간 데이터(timed-data) 모두를 포함한 데이터 요소를 의미한다.

미디어 유닛(Media Unit)은 미디어 프래그먼트 유닛(MFU) 또는 미디어 프로세싱 유닛(MPU)를 포함한 컨테이너(container)를 의미한다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 MMT 계층 구조를 나타낸 개념도이다.

도 1을 참조하면, MMT 계층은 캡슐화 계층(Encapsulation layer), 전달 계층(Delivery layer) 및 S 계층(S layer)을 포함한다. MMT 계층은 전송 계층(Transport layer) 위에서 동작한다.

캡슐화 계층(Encapsulation layer; E-layer)은 예를 들어 전송되는 미디어의 패킷화(packetization), 프래그먼테이션(Fragmentation), 동기화(Synchronization), 멀티플렉싱(Multiplexing)등의 기능을 담당할 수 있다.

캡슐화 기능 영역(encapsulation functional area)은 미디어 컨텐츠, MMT 패키지, 그리고 MMT를 준수하는 개체에 의해 처리될 데이터 유닛들의 포맷의 논리적 구조를 정의한다. 적응적 전송을 위해 필수적인 정보를 제공하기 위해 MMT 패키지는 미디어 컨텐츠를 포함하는 컴포넌트들 및 그들간의 관계를 명시한다. 데이터 유닛들의 포맷은 전송 프로토콜의 페이로드로 저장 또는 전송되도록 , 그리고 그들 사이에서 쉽게 변환 되도록 부호화된 미디어를 캡슐화 하기 위해 정의된다.

캡슐화 계층(E-layer)은, 도 1에 도시된 바와 같이, MMT E.1 계층(MMT E.1 Layer), MMT E.2 계층(MMT E.2 Layer) 및 MMT E.3 계층(MMT E.3 Layer)으로 구성될 수 있다.

E.3 계층은 미디어 코덱(A) 계층으로부터 제공된 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)를 캡슐화하여 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 생성한다.

상위 계층으로부터의 부호화된 미디어 데이터는 MFU로 캡슐화된다. 부호화된 미디어의 타입과 값은 MFU를 특정 코덱 기술에 일반적으로 사용될 수 있도록 추상화될 수 있다. 이는 하위 계층이 캡슐화된 부호화된 미디어에 접근없이 MFU를 처리할 수 있도록 한다. 하위 계층은 요구되는 부호화된 미디어 데이터를 네트워크나 저장소의 버퍼로부터 불러오고 미디어 디코더로 전송한다. MFU는 상기 작동을 수행하기 위한 충분한 정보 미디어 부분 유닛을 가지고 있다.

MFU는 미디어 디코더에서 독립적으로 소비될 수 있는 데이터 유닛을 싣을 수 있는, 임의의 특정 코덱(codec)에 독립적인, 포맷을 가질 수 있다. MFU는 예를 들어 비디오의 픽춰(picture) 또는 슬라이스(slice)가 될 수 있다.

독립적으로 전송가능하고 디코드할수 있는 하나 또는 한 그룹의 다수 MFU는 MPU를 생성한다. 독립적으로 전송가능하고 실행가능한 비-시간적 미디어 또한 MPU를 생성한다. MPU는 MFU에의 빠른 접근 및 부분적 소비를 가능하게 하는 MFU의 배열 및 패턴과 같은 내부 구조를 기술한다.

E.2 계층은 E.3계층에서 생성된 MPU를 캡슐화하여 MMT 애셋(MMT Asset)을 생성한다.

MMT 애셋은 단일의 데이터 소스로부터의 하나 또는 복수의 MPU로 이루어진 데이터 엔티티(data entity)로서, 콤포지션 정보(Composition Information; CI) 및 전송 특성(Transport Characteristics; TC)이 정의된 데이터 유닛이며, MMT 페이로드 포맷에 의해 다중화되고, MMT 프로토콜에 의해 전송된다. MMT 애셋은 PES(packetized elementary streams)에 대응될 수 있으며, 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 파일 포맷(File Format), M2TS(MPEG transport stream)등에 대응될 수 있다.

E.1 계층(E.1 Layer)은 E.2 계층에서 생성된 MMT 애셋을 캡슐화하여 MMT 패키지(MMT Package)를 생성한다.

MMT 애셋은 다른 기능적 영역-전송 영역 및 시그날 영역-과 함께 또는 별도로 동일한 사용자 경험의 추후의 응답을 위해 MMT 콤포지션 정보(MMT-composition information;MMT-CI)와 패키지된다. 상기 MMT 패키지 또한 MMT 애셋의 체감 품질을 충족시키도록 각각의 MMT 애셋을 위한 적절한 전송 방법을 선정하는 전송 특성과 함께 패키지된다.

MMT 패키지는 콤포지션 정보(composition information) 및 전송 특성(transport characteristics)과 같은 부가 정보와 함께 하나 또는 복수의 MMT 애셋으로 구성될 수 있다. 콤포지션 정보(composition information)는 MMT 애셋들 사이의 관계(relationship)에 대한 정보를 포함하며, 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다. 전송 특성(transport characteristics)은 MMT 애셋 또는 MMT 패킷의 전송 조건(delivery condition)을 결정하기 위해 필요한 전송 특성 정보를 포함할 수 있으며, 예를 들어 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다. MMT 패키지는 MPEG-2 TS의 프로그램(Program)에 대응될 수 있다.

전달 계층(Delivery layer)은 예를 들어 네트워크를 통해 전송되는 미디어의 네트워크 플로우 멀티플렉싱(Network flow multiplexing), 네트워크 패킷화(Network packetization), QoS 제어 등을 수행할 수 있다.

전달 기능 영역(delivery functional area)은 페이로드의 응용 계층 프로토콜 및 포맷을 정의한다. 본 발명에서 응용 계층 프로토콜은 다중화를 포함하는 멀티미디어의 전송을 위한 종래의 응용 계층 프로토콜에 비하여 MMT 패키지의 전달을 위한 강화된 특징을 제공한다. 페이로드 포맷은 미디어 타입 또는 인코딩 방법을 불문하고 부호화된 미디어 데이터를 전달하도록 정의된다.

전달 계층 (D-layer)은, 도 1에 도시된 바와 같이, MMT D.1 계층(MMT D.1 Layer), MMT D.2 계층(MMT D.2 Layer) 및 MMT D.3 계층(MMT D.3 Layer)으로 구성될 수 있다.

D.1 계층(D.1-layer)은 E.1 계층에서 생성된 MMT 패키지를 받아서 MMT 페이로드 포맷(MMT Payload format)을 생성한다. MMT 페이로드 포맷은 MMT 애셋을 전송하고, 그리고 MMT 애플리케이션 프로토콜 또는 RTP와 같은 다른 기존의 애플리케이션 전송 프로토콜에 의한 소비를 위한 정보를 전송하기 위한 페이로드 포맷이다. MMT 페이로드는 AL-FEC와 같은 정보와 함께 MFU의 프래그먼트를 포함할 수 있다.

D.2 계층(D.2-layer)은 D.1 계층에서 생성된 MMT 페이로드 포맷을 받아서 MMT 전송 패킷(MMT Transport Packet) 또는 MMT 패킷(MMT Packet)를 생성한다. MMT 전송 패킷 또는 MMT 패킷은 MMT를 위한 애플리케이션 전송 프로토콜에 사용되는 데이터 포맷이다.

D.3 계층(D.3-layer)은 교차 계층 설계(cross-layer Design)에 의해 계층간에 정보를 교환할 수 있는 기능을 제공하여 QoS를 지원한다. 예를 들어, D.3 계층은 MAC/PHY 계층의 QoS 파라미터를 이용하여 QoS 제어를 수행할 수 있다.

S 계층(S layer)은 시그널링 기능(signaling function)을 수행한다. 예를 들어 전송되는 미디어의 세션 초기화/제어/관리(session initialization/control/management), 서버 기반 및/또는 클라이언트 기반의 트릭 모드, 서비스 디스커버리(Service discovery), 동기화(Synchronization) 등을 위한 시그널링 기능을 수행할 수 있다.

시그날링 기능 영역(signaling functional area)는 MMT 패키지의 전달 및 소비를 관리하는 메시지의 포맷을 정의한다. 소비 관리를 위한 메시지는 MMT 패키지의 구조를 전송하기 위해 사용되고, 전달 관리를 위한 메시지는 페이로드 포맷의 구조 및 프로토콜의 구성을 전송하기 위해 사용된다.

S 계층(S layer)은, 도 1에 도시된 바와 같이, MMT S.1 계층(MMT S.1 Layer) 및 MMT S.2 계층(MMT S.2 Layer)으로 구성될 수 있다.

S.1 계층은 서비스 디스커버리(Service discovery), 미디어의 세션 초기화/종료(media session initialization/termination), 미디어의 세션 표현/제어(media session presentation/control), 전달(D) 계층 및 캡슐화(E) 계층과의 인터페이스 기능 등을 수행할 수 있다. S.1 계층은 미디어 표현 세션 관리(presentation session management)를 위한 애플리케이션들간의 제어 메시지들의 포맷을 정의할 수 있다.

S.2 계층은 흐름 제어(flow control), 전달 세션 관리(delivery session management), 전달 세션 모니터링(delivery session monitoring), 에러 제어(error control), 하이브리드망 동기화 제어(Hybrid network synchronization control)에 관한 전달 계층(D-layer)의 전달 엔드-포인트들(delivery end-points)간에 교환되는 제어 메시지의 포맷을 정의할 수 있다.

S.2 계층은 전달 계층의 동작을 지원하기 위하여 전달 세션 설정 및 해제(delivery session establishment and release), 전달 세션 모니터링, 흐름 제어, 에러 제어, 설정된 전달 세션에 대한 리소스 예약, 복합 전달 환경하에서의 동기화를 위한 시그널링, 적응적 전달(adaptive delivery)를 위한 시그널링을 포함할 수 있다. 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 즉, S.2 계층은 전술한 바와 같은 전달 계층의 동작을 지원하기 위하여 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 또한, S.2 계층은 전달 계층 및 캡슐화 계층과의 인터페이스 기능을 담당할 수 있다.

도 2는 도 1의 MMT 계층 구조의 각 계층별로 사용되는 단위 정보(또는 데이터 또는 패킷)의 포맷을 나타낸다.

미디어 프래그먼트 유닛(Media Fragment Unit; MFU)(130)은 부호화된 미디어 분할 데이터(coded media fragment data, 132)와 MFUH(Media Fragment Unit Header)(134)로 이루어질 수 있다. 미디어 프래그먼트 유닛(130)은 특정 코덱(codec)에 독립적으로 일반 컨테이너 포맷(general container format)을 가지며 미디어 디코더에서 독립적으로 소비될 수 있는 가장 작은 데이터 유닛을 싣을 수 있다. MFUH(134)는 미디어 특성-예를 들어 유실 허용한계(loss-tolerance)와 같은 부가 정보를 포함할 수 있다. MFU)(130)는 예를 들어 비디오의 픽춰(picture) 또는 슬라이스(slice)가 될 수 있다.

미디어 프래그먼트 유닛(Media Fragment Unit; MFU)은 MFU의 범위에서 적응적인 전송을 수행하기 위해 전송 계층에서 AU의 부분을 캡슐화하는 형식을 정의할 수 있다. MFU는 AU의 부분이 독립적으로 디코드되거나 폐기될 수 있도록 부호화된 미디어의 일정한 형식을 전송하는데 사용될 수 있다.

MFU는 다른 MFU들로부터 하나의 MFU를 구별하기 위한 식별자를 가지고, 단일 AU내의 MFU들 사이의 일반적인 관계 정보를 가질 수 있다. 단일 AU에서의 MFU 사이의 의존 관계가 설명되고, MFU의 관련 우선순위가 그러한 정보들의 부분으로 설명될 수 있다. 상기 정보는 하위 전송 계층에서 전송을 다루는데 사용될 수 있다. 예를 들면, 전송 계층은 불충분한 대역폭에서의 QoS 전송을 지원하도록, 폐기해도 되는 MFU들의 전송을 생략할 수 있다. MFU 구조의 상세한 설명은 후술한다.

MPU는 복수의 미디어 프래그먼트 유닛(130)을 포함하는 미디어 프래그먼트 유닛의 집합이다. MPU는 특정 코덱(codec)에 독립적으로 일반 콘테이너 포맷(general container format)을 가질 수 있으며 액세스 유닛(Access Unit)과 등가의 미디어 데이터를 포함할 수 있다. MPU는 시간 데이터 유닛(timed data unit) 또는 비-시간 데이터 유닛(non-timed data unit) 을 가질 수 있다.

MPU는 MMT를 따르는 개체에 의해 독립적이고 완전하게 처리된 데이터이고, 상기 처리는 캡슐화 및 패킷화를 포함할 수 있다. MPU는 적어도 하나의 MFU로 구성되거나 다른 표준에 의해 정의된 포맷을 가진 데이터의 부분을 가질 수 있다.

단일 MPU는 적어도 하나의 AU의 진정수(integral number) 또는 비-시간 데이터를 수용할 수 있다. 시간 데이터를 위하여, AU는 적어도 하나의 MFU로부터 전달될 수 있으나, 하나의 AU는 다수의 MPU로 분할될 수 없다. 비-시간 데이터에서, 하나의 MPU는 MMT를 준수하는 개체에 의해 독립적이고 완전하게 처리된 비-시간 데이터의 부분을 수용한다.

MPU는 시퀀스번호 및 이를 다른 MPU와 구분하여주는 연관된 애셋 ID로 MMT 패키지 내에서 유일하게 식별될 수 있다

MPU는 적어도 하나의 임의 접근점을 가질 수 있다. MPU 페이로드의 첫 바이트는 항상 임의 접근점으로 시작할 수 있다. 시간 데이터에서, 상기 사실은 MPU 페이로드에서 첫 MFU의 디코딩 순서는 항상 0임을 의미한다. 시간 데이터에서, 각 AU의 프리젠테이션 기간 및 디코딩 순서는 프리젠테이션 시간을 알리기 위해 보내질 수 있다. MPU는 자신의 초기 프리젠테이션 시간을 가지고 있지 않고, 하나의 MPU의 첫 AU의 프리젠테이션 시간은 콤포지션 정보에 기술되어 있을 수 있다. 콤포지션 정보는 MPU의 첫 프리젠테이션 시간을 명시할 수 있다. 상세한 사항은 후술한다.

MMT 애셋(150)은 복수의 MPU들로 이루어진 MPU의 집합이다. MMT 애셋(150)은 단일의 데이터 소스로부터의 다수의 MPU(시간(timed) 또는 비-시간(non-timed) 데이터)로 이루어진 데이터 엔티티로서, MMT 애셋 정보(152)는 애셋 패키징 메타데이터(Asset packaging metadata) 및 데이터 타입과 같은 부가 정보를 포함한다. MMT 애셋(150)은 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 FF(File Format), PES(packetized elementary streams), M2TS(MPEG transport stream)등을 포함할 수 있다.

MMT 애셋(MMT Asset)은 부호화된 미디어 데이터를 수용하는 논리적 데이터 개체이다. MMT 애셋은 MMT 애셋 헤더 및 부호화된 미디어 데이터로 구성될 수 있다. 상기 부호화된 미디어 데이터는 동일한 MMT 애셋 ID로 MPU들의 집합적 참조 그룹이 될 수 있다. MMT 클라이언트에 직접적으로 연결된 개체에 의해 개별적으로 소비될 수 있는 타입의 데이터는 개별적인 MMT 애셋으로 고려될 수 있다. 개별적인 MMT 애셋으로 고려될 수 있는 데이터 타입의 예로 MPEG-2 TS, PES, MP4 file, MPEG-U Widget Package, JPEG file 등을 들 수 있다.

MMT 애셋의 부호화된 미디어는 시간 데이터 또는 비-시간 데이터 일 수 있다. 시간 데이터는 지정된 시간에 특정 데이터의 동기화된 디코딩 및 프리젠테이션이 요구되는 시청각 미디어 데이터이다. 비-시간 데이터는 서비스의 제공 또는 사용자 상호작용에 따라 임의의 시간에 디코딩되고 제공될 수 있는 데이터 타입의 데이터이다.

서비스 제공자(service provider)는 MMT 애셋들을 통합하여 MMT 애셋들을 공간-시간축상에 두고 멀티미디어 서비스를 생성할 수 있다.

MMT 패키지(160)는 하나 또는 하나 이상의 MMT 애셋(150)을 포함하는 MMT 애셋의 집합이다. MMT 패키지 내의 MMT 애셋들은 다중화되거나 또는 사슬같이 연결(concatenated)될 수 있다.

MMT 패키지는 MMT 애셋 및 구성 정보를 위한 컨테이너 포맷이다. MMT 패키지는 MMT 프로그램을 위한 MMT 애셋 및 구성 정보의 저장소를 제공한다.

MMT 프로그램 제공자는 부호화된 데이터를 MMT 애셋으로 캡슐화하고 MMT 애셋과 그들의 전송 특성의 시간적 및 공간적 레이아웃을 설명하는 것으로 구성 정보를 생성한다. MU 및 MMT 애셋은 D.1 페이로드 포맷으로 직접적으로 전송될 수 있다. 구성 정보는 C.1 프리젠테이션 세션 관리 메시지에 의해 전송될 수 있다. 그러나 MMT 프로그램의 릴레이 또는 추후의 재사용을 허용하는 MMT 프로그램 제공자 및 클라이언트는 MMT 패키지 포맷으로 이를 저장한다.

MMT 패키지를 파싱하는데 있어, MMT 프로그램 제공자는 MMT 애셋이 클라이언트에게 어떤 전송 경로(예를들면, 브로드캐스트 또는 브로드밴드)로 제공될지를 결정한다. MMT 패키지에서의 구성 정보는 전송 관련 정보와 함께 C.1 프리젠테이션 세션 관리 메시지로 전송된다.

클라이언트는 C.1 프리젠테이션 세션 관리 메시지를 수신하여 어떤 MMT 프로그램이 가능하고 어떻게 해당되는 MMT 프로그램을 위한 MMT 애셋을 수신하는지를 알게된다.

MMT 패키지는 D.1페이로드 포맷에 의해 또한 전송될 수 있다. MMT 패키지는 D.1 페이로드 포맷으로 패킷화 되고 전달된다. 클라이언트는 패킷화된 MMT 패키지를 수신하고 이의 전부 또는 일부를 구성하고, 여기서 MMT 프로그램을 소비한다.

MMT 패키지(160)의 패키지 정보(package information)(165)는 구성 정보(Configuration Information)를 포함할 수 있다. 구성 정보(Configuration Information)는 MMT 애셋들의 리스트, 패키지 식별 정보(package identification information), 콤포지션 정보(composition information)(162) 및 전송 특성(transport characteristics)(164)와 같은 부가 정보를 포함할 수 있다. 콤포지션 정보(composition information)(162)는 MMT 애셋(150)들 사이의 관계(relationship)에 대한 정보를 포함한다.

또한, 콤포지션 정보(composition information)(162)는 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다. 콤포지션 정보(composition information)(162)는 MMT 패키지내의 시간적, 공간적, 적응적 관계(relationship)에 대한 정보를 포함할 수 있다.

MMT 패키지의 전송 및 프리젠테이션을 돕는 정보와 같이, MMT에서의 콤포지션 정보(Composition Information)는 MMT 패키지 내의 MMT 애셋 사이의 공간적 및 시간적 관계에 대한 정보를 제공한다.

MMT-CI는 HTML5를 확장하여 그러한 정보를 제공하는 설명적인 언어이다. HTML5가 텍스트 기반 컨텐츠의 페이지기반 프리젠테이션을 설명하도록 설계됨에 따라, MMT-CI는 주로 소스들간의 공간적인 관계를 표현한다. MMT 애셋들 간의 시간적 관계를 알려주는 표현을 지원하기 위하여, 프리젠테이션 리소스와 같이 MMT 패키지에 있는 MMT 애셋에 관련된 정보, MMT 애셋의 전송 및 소비 순서를 결정하는 시간 정보 및 HTML5에서 다양한 MMT 애셋을 소비하는 미디어 요소들의 추가적인 속성을 가지도록 확장될 수 있다. 자세한 설명은 후술한다.

전송 특성(transport characteristics) 정보(164)는 전송 특성에 대한 정보를 포함하며, 각각의 MMT 애셋(또는 MMT 패킷)의 전송 조건(delivery condition)을 결정하기 위해 필요한 정보를 제공할 수 있다. 전송 특성 정보는 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다.

트래픽 기술 파라미터는 미디어 프래그먼트 유닛(MFU)(130) 또는 MPU에 대한 비트율(bitrate) 정보, 우선 순위(priority) 정보등을 포함할 수 있다. 비트율 정보는 예를 들어 MMT 애셋이 가변 비트율(Variable BitRate; VBR) 또는 고정 비트율(Constant BitRate; CBR)인지 여부에 대한 정보, 미디어 프래그먼트 유닛(MFU)(또는 MPU)에 대해 보장된 비트율(guaranteed bitrate), 미디어 프래그먼트 유닛(MFU)(또는 MPU)에 대한 최대 비트율을 포함할 수 있다. 상기 트래픽 기술 파라미터는 전달 경로상의 서버, 클라이언트, 기타 다른 구성요소들 간에 리소스 예약(resource reservation)을 위해 사용될 수 있으며, 예를 들어 MMT 애셋내의 미디어 프래그먼트 유닛(MFU)(또는 MPU)의 최대 크기 정보를 포함할 수 있다. 상기 트래픽 기술 파라미터는 주기적 또는 비주기적으로 업데이트될 수 있다.

QoS 기술자는 QoS 제어를 위한 정보를 포함하며, 예를 들어 지연(delay) 정보 및 손실 정보(loss information)를 포함할 수 있다. 손실 정보는 예를 들어 MMT 애셋의 전달 손실(delivery loss)이 허용되는지 않되는지에 대한 손실 지시자(loss indicator)를 포함할 수 있다. 예를 들어 손실 지시자가 '1'인 경우 'lossless'를 나타내고, '0'인 경우에는 'lossy'를 나타낼 수 있다. 지연(delay) 정보는 MMT 애셋의 전송 지연의 민감도를 구분하는데 사용되는 지연 지시자(delay indicator)를 포함할 수 있다. 지연 지시자는 MMT 애셋의 타입이 대화(conversation), 인터랙티브(interactive), 실시간(real time) 및 비실시간(non-realtime) 인지 여부를 지시할 수 있다.

하나의 컨텐츠(content)는 하나의 MMT 패키지로 이루어질 수 있다. 또는 하나의 컨텐츠(content)는 복수개의 MMT 패키지로 이루어질 수도 있다.

하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 시간적(temporal), 공간적(spatial), 적응적(adaptive) 관계(relationship)를 나타내는 콤포지션 정보(composition information) 또는 구성 정보(configuration information)가 MMT 패키지들 중에 하나의 MMT 패키지 내부에 존재하거나 MMT 패키지 외부에 존재할 수 있다.

예를 들어 하이브리드 전송(hybrid delivery)의 경우 컨텐츠 컴포넌트(content component)들 중 일부는 방송망(broadcast network)을 통해 전송되고 컨텐츠 컴포넌트(content component)들 중 나머지 부분은 광대역망(broadband network)을 통해 전송될 수 있다. 예를 들어 하나의 멀티뷰 서비스를 구성하는 복수의 AV 스트림(audiovisual stream)의 경우 하나의 스트림은 방송망으로 전송되고 다른 스트림은 광대역망으로 전송될 수 있으며, 각각의 AV 스트림은 다중화되고 클라이언트 단말에 개별적으로 수신되어 저장될 수 있다. 또는 예를 들어 위젯(widget)과 같은 애플리케이션 소프트웨어는 광대역망으로 전송되고, AV 스트림(AV 프로그램)은 기존 방송망으로 전달되는 시나리오도 존재할 수 있다.

상기와 같은 멀티뷰 서비스 시나리오 및/또는 위젯(widget) 시나리오의 경우, 복수의 AV 스트림 전체가 하나의 MMT 패키지로 될 수 있으며, 이 경우에는 복수의 스트림 중의 하나는 하나의 클라이언트 단말에만 저장될 수 있고, 스토리지 컨텐츠(storage content)는 MMT 패키지의 부분이 되며, 클라이언트 단말은 콤포지션 정보(composition information) 또는 구성 정보(configuration information)를 재기록 해야하고, 재기록 된 컨텐츠는 서버와 무관한 새로운 MMT 패키지가 된다.

상기와 같은 멀티뷰 서비스 시나리오 및/또는 위젯(widget) 시나리오의 경우, 각각의 AV 스트림이 하나의 MMT 패키지로도 될 수 있으며, 이 경우에는 복수의 MMT 패키지가 하나의 컨텐츠를 구성하게 되며, 스토리지(storage)에는 MMT 패키지 단위로 기록되며, MMT 패키지들간의 관계(relationship)를 나타내는 콤포지션 정보 또는 구성 정보가 필요하다.

하나의 MMT 패키지내에 포함된 콤포지션 정보 또는 구성 정보(configuration information)는 다른 MMT 패키지내의 MMT 애셋을 참조할 수 있으며, 또한 아웃-밴드(out-band) 상황에서 MMT 패키지를 참조하는 MMT 패키지의 외부를 표현할 수 있다.

한편, 서비스 제공자(service provider)에 의해 제공된 MMT 애셋(160)들의 리스트 및 MMT 패키지(160)의 전달을 위해 가능한 경로를 클라이언트 단말에게 알려주기 위하여 MMT 패키지(160)는 제어(C) 계층을 통하여 서비스 디스커버리 정보(Service discovery information)로 번역되어 MMT 제어 메시지에는 서비스 디스커버리를 위한 정보 테이블을 포함할 수 있다.

멀티미디어 컨텐츠를 복수개의 세그먼트로 분할한 서버는 소정의 개수로 분할된 복수개의 세그먼트들에 URL 정보를 할당하고, 각각의 세그먼트들에 대한 URL 정보를 미디어 정보 파일에 저장하여 클라이언트로 전송한다.

상기 미디어 정보 파일은 HTTP 스트리밍을 표준화하는 표준화 기구에 따라서‘미디어 표현 기술(MPD: Media Presentation Description)’ 또는 ‘매니페스트 파일(Manifest file)’등의 다양한 명칭으로 불리어 질 수 있다. 이하에서는 상기 미디어 정보 파일은 미디어 표현 기술(MPD)로 지칭하고 설명한다.

이하 교차 계층 인터페이스에 대하여 설명한다.

교차 계층 인터페이스(Cross Layer Interface; CLI) 는 응용계층 및 MAC/PHY 계층을 포함하는 하위 계층 사이에서 QoS 관련 정보를 교환하는 것으로 QoS를 지원하는 수단을 단일 개체에서 제공한다. 하위 레이어가 네트워크 채널 상태와 같은 상향식 QoS 정보를 제공하는 한편 응용계층은 하향식 QoS정보로 미디어 특성에 관련된 정보를 제공한다..

교차 계층 인터페이스는 응용계층과 IEE802.11 WiFi, IEEE 802.16 WiMAX, 3G, 4G LTE 등을 포함하는 다양한 네트워크 계층 사이에서 통합된 인터페이스를 제공한다. 인기있는 네트워크 표준의 공통된 네트워크 파라미터들은 다양한 네트워크를 통하는 실시간 미디어 어플리케이션의 정적 및 동적 QoS 제어를 위하여 NAM 파라미터로 발췌된다. NAM 파라미터는 비트 에러율인 BER 값을 포함할 수 있다. BER은 PHY 또는 MAC 계층에서 측정될 수 있다. 또한 NAM은 하부 네트워크의 식별, 가능한 비트율, 버퍼상태, 피크 비트율, 서비스 유닛 크기 및 서비스 데이터 유닛 유실율을 제공한다.

두개의 상이한 방법이 NAM을 제공하는 데에 사용될 수 있다. 첫째 방법은 절대적인 값을 제공하는 것이다. 그리고 둘째 방법은 상대적인 값을 제공하는 것이다. 둘째 방법은 접속중에 NAM을 업데이트하는 용도로 사용할 수 있다.

응용계층은 하위 계층에 대한 미디어 특성에 관련된 하향식 QoS 정보를 제공한다. MMT 애셋 레벨 정보 및 패킷 레벨 정보와 같이 두 가지의 하향식 정보가 존재한다. MMT 애셋 정보는 하위 계층에서 용량 교환 및/또는 자원 (재)할당을 위하여 사용된다. 패킷 레벨 하향식 정보는 지원하는 QoS 레벨을 식별하도록 하위 계층을 위하여 모든 패킷의 적절한 필드에 기록되어 있다.

하위 계층은 응용 계층에 상향식 QoS 정보를 제공한다. 하위 계층은 응용 계층에서 빠르고 보다 정확한 QoS 제어를 가능하게 하는 시간에 따라 변하는 네트워크 상태에 관련된 정보를 제공한다. 상향식 정보는 이종의 네트워크 환경을 지원하기 위해 추상화된 형태로 표현된다. 이러한 파라미터들은 하위 계층에서 측정되고, 주기적으로 또는 MMT 어플리케이션의 요청에 따라 응용 계층에서 읽어진다.

이하 본 발명의 일 실시 예에 따른 미디어 프로세싱 유닛(Media Processing Unit; MPU) 및 미디어 유닛(Media Unit; M-Unit)에 대하여 설명한다. 미디어 프로세싱 유닛은 미디어 유닛으로 사용될 수 있고 미디어 유닛은 미디어 프로세싱 유닛으로 사용될 수 있다. 이하 M-Unit의 설명은 미디어 프로세싱 유닛(Media Processing Unit; MPU)에도 마찬가지로 적용될 수 있다.

도 4는 3개의 계층(CIF해상도, SD해상도, HD해상도)을 가지는 경우 MFU 및 AU의 관계를 나타내는 도면이다. 이때 하나의 NAL(Network Abstraction Layer)유닛은 하나의 MFU(Media Fragment Unit)에 수용될 수 있다. 도 4의 실시 예에서 NAL 유닛 스트림의 디코딩 순서는 하나의 AU에서는 하위계층(CIF)에서 상위계층(HD)으로 디코딩되고, 첫 AU에서 다음AU로의 순서로 디코딩 된다. 따라서 그림에서의 디코딩 오더와 같이 디코딩 순서를 매길 수 있다. AU1의 1,2 및 3번 MFU가 디코딩되고, AU2의 4,5 및 6번 MFU가 디코딩되며 AU3의 7,8 및 9번 MFU가 순차적으로 디코딩된다.

본 발명의 일 실시 예에 따른 M-Unit은 특정 코덱에 종속되지 않는 일반적인 컨테이너 포맷으로 하나나 둘 이상의 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)을 수용한다. 하나의 M-Unit은 시간정보를 가지는 데이터거나 시간정보를 가지지 않는 데이터인 MFU를 포함하고 있으며, M-Unit이 전송하는 MFU를 위해 추가적으로 전송에 도움을 주기 위한 부가정보나 데이터의 처리(consumption)에 도움을 주기 위한 부가정보를 포함할 수 있다.

M-Unit은 적어도 하나의 AU 전체 단위가 아니라 AU의 부분데이터(fragment)인 MFU 만을 담을 수 있다. 따라서 M-Unit의 최소 구성단위를 AU로 제한하지 않고 하나의 AU의 적어도 하나의 부분데이터(fragments)를 수용하도록 할 수 있다.

또한, M-Unit의 구조디자인을 수정하여 명시적으로 AU를 사용하지 않고도 미디어 타임 인스턴스(media time instances)를 담을 수 있는 구조로 변경할 수 있다.

또는, M-Unit은 특정 코덱에 종속되지 않는 일반적인 컨테이너 포맷으로 하나나 둘 이상의 액세스 유닛(Access Unit; AU)을 담을 수도 있다. 이때 AU는 적어도 하나의 MFU로 구성될 수 있고, 하나의 M-Unit은 시간정보를 가지는 데이터거나 시간정보를 가지지 않는 데이터인 AU 및 M-Unit이 전송하는 AU를 위해 추가적 전송 및 소비에 관련된 정보를 포함할 수 있다. M-Unit은 적어도 하나의 AU 및 동기화와 랜덤 액세스 포인트를 위한 추가적인 정보로 구성될 수 있다.

M-Unit은 MMT 인캡슐레이션 계층에서 프로세싱되기 위한 데이터엔티티이다. 생성된 M-Unit은 인캡슐레이션 계층에서 캡슐화되어 MMT 애셋으로 생성될 수 있다.

이하 본 발명의 일 실시 예에 따른 미디어 유닛의 타임 정보에 대하여 설명한다. M-Unit 구조 내에서 AU를 명시적으로 기술하지 않는 경우 CTS(Composition Timestamp)나 DTS(Decoding Timestamp)와 같은 미디어 타임 인스턴스(Media Time Instance)를 M-Unit이 포함할 필요가 있을 수 있다.

이때, M-Unit 내에서 AU(Access Unit)을 직접적으로 기술하기 보다는, M-Unit 구조(structure)에 미디어 타임 인스턴스(Media Time Instance) 구조(structure)를 기술할 수 있고, M-Unit 내의 미디어 타임 인스턴스의 개수와 각 타임 인스턴스에 해당하는 데이터 구간을 표시하는 것으로 수행될 수 있다.

M-Unit 내의 각각의 타임 인스턴스 (CTS 또는 DTS)를 구분하기 위하여 새로운 개념적인 구분단위를 AU대신 사용할 수 있다. 이 구분단위로 커몬 미디어 타임 인스턴스 유닛(Common Media Time Instance Unit; CMTU)을 사용할 수 있다.

CMTU는 CTS 또는 DTS처럼 동일한 미디어 타임 인스턴스를 공유하는 적어도 하나의 MFU로 구성되는 M-Unit 페이로드의 서브셋으로 구성할 수 있다. 그리고 M-Unit을 구성하는 구성성분을 MFU로 일원화하여 단순화할 수 있다. 이를 통하여 MMT의 계층구조를 훨씬 단순화 하고 직관적으로 만들 수 있다.

본 발명의 일 실시 예에 따른 미디어 데이터의 전송 방법에서 생성되는 미디어 유닛(Media Unit; M-Unit)의 헤더 구조에 대하여 설명한다. AU 대신 CMTU를 사용하여 Media Time Instance를 기술하기 위하여 M-Unit의 헤더정보 중 아래 AU에 해당하는 내용을 다음과 같이 사용할 수 있다. 이때 M-Unit의 헤더는 표1과 같은 필드를 가질 수 있다. 전술한 바와 같이 MPU의 헤더도 표 1과 같은 필드를 가질 수 있다.

표 1에 도시되지는 않았지만, 헤더는 M-Unit에 포함된 AU 또는 CMTU들의 디코딩 오더를 나타내는 decoding order 필드를 가질 수 있다. Decoding order 필드가 명시되어 있지 않다면, AU 또는 CMTU들은 디코딩되는 순서로 배열된다. 또한, 헤더는 subsample_start_id 및 subsample_end_id 필드를 가질 수 있다. AU 또는 CMTU는 적어도 하나의 MFU로 구성되고, MFU는 M-Unit내에서 다른 MFU와 구분하게 하는 시퀀스 아이디를 가진다. subsample_start_id 및 subsample_end_id 필드는 시작 MFU의 시퀀스 아이디와 종료 MFU의 시퀀스 아이디를 나타냄으로써 AU 또는 CMTU를 구성하는 MFU의 연속적인 범위를 나타낼 수 있다.

필드이름	세맨틱스
mu_length	M-Unit의 길이를 나타낸다.
header_length	M-Unit의 헤더 길이를 나타낸다.
rap_flag	M-Unit에 적어도 하나의 랜덤 액세스 포인트인 액세스 유닛이 있음을 나타낸다. M-Unit의 복호화는 항상 M-Unit의 시작에서 일어날 수 있다. 0b: M-Unit에 랜덤 액세스 포인트가 없음을 나타낸다. 1b: M-Unit에 적어도 하나의 랜덤 액세스 포인트인 액세스 유닛이 있음을 나타낸다.
mu_sequence_number	해당 M-Unit의 시퀀스 번호를 나타낸다. 1씩 증가하며, 애셋 스트림에서 고유한 값을 가진다. 이 값은 특정 MU의 재전송을 요청하기 위해 전송 영역에서 사용될 수 있다.
number_of_CMTU	해당 M-Unit에 포함된 CMTU의 개수를 나타낸다.
CMTU_length	해당 M-Unit에 포함된 각각의 CMTU의 길이를 나타낸다.
private_header_flag	해당 M-Unit이 프라이빗 헤더를 가지는지를 나타낸다. 0b: 프라이빗 헤더가 없음. 1b: 프라이빗 헤더를 가짐.
private_header_length	private_header_flag가 1로 세팅되어 있을 때 프라이빗 헤더의 길이를 나타낸다.

도 5는 본 발명의 일 실시 예에 따른 미디어 데이터 전송 장치의 블록도이다. 미디어 데이터 전송 장치(500)는 스트림 분할부(510), 헤더 생성부(520) 및 패키징부(530)를 포함한다. 미디어 데이터 전송 장치(500)는 미디어 데이터를 받고, M-Unit을 생성한다.

스트림 분할부(510)는 미디어 데이터를 MFU단위로 분할하여 패키지부(520)로 전달한다. 헤더 생성부(520)는 M-Unit의 헤더를 생성하고, 헤더의 구조는 전술한 표 1의 헤더구조를 가질 수 있다. 패키징부(530)는 분할된 MFU를 담아 M-Unit을 생성한다.

도 6은 본 발명의 일 실시 예에 따른 미디어 데이터 전송 장치의 작동 순서도이다. 먼저 미디어 데이터 전송 장치(500)가 미디어 데이터를 받는다(S100). 스트림 분할부(510)가 미디어 데이터를 NAL 유닛을 수용하는 MFU 단위로 분할한다(S200). 다음으로, M-Unit 생성 단계이다(S300). 헤더 생성부(520)는 M-Unit의 헤더를 생성하고 패키징부(530)는 분할된 MFU를 담아 M-Unit을 생성한다(S300). M-Unit의 헤더필드는 시간 정보를 포함할 수 있다. 또한 M-Unit은 전술한 바와 같이 추가적 전송 및 소비에 관련된 정보를 포함할 수 있다. 이러한 방식은 MPU에도 적용될 수 있다.

도 7은 본 발명의 일 실시 예에 따른 미디어 데이터 전송 방법이 SVC 콘텐츠를 M-Unit에 순차적으로 저장하는 구조를 나타낸 도면이다. 도 7은 SVC콘텐츠를 M-Unit에 순차적으로 저장하는 구조를 도시하고 있다. 이 경우는 하나의 M-Unit에 복수의 AU를 수용하는 구조이며, M-Unit을 GOP단위나 IDR 주기로 구성하는 예에서 사용할 수 있다. 복수의 액세스 유닛은 GOP나 IDR의 간격을 두고 M-Unit에 수용될 수 있다.

각각의 액세스 유닛은 베이스 레이어(CIF), 인핸스 레이어1(SD) 및 인핸스 레이어2(HD)의 MFU를 순차적으로 저장할 수 있다. 도 7의 실시 예에 따르면, AU1의 1,2 및 3번 MFU가 디코딩되고, AU2의 4,5 및 6번 MFU가 디코딩되며 AU3의 7,8 및 9번 MFU가 순차적으로 디코딩된다. 이러한 M-Unit의 구조는 TCP위에서 청크단위로 전송을 수행하는 프로그레시브 다운로드(progressive download)와 같은 전송환경에서 스케일러블 계층의 구분을 필요로 하지 않는 경우 사용할 수 있다. 이러한 방식은 MPU에도 적용될 수 있다.

도 8은 본 발명의 일 실시 예에 따른 미디어 데이터 전송 방법이 SVC 콘텐츠를 프로그레시브 다운로드 방식으로 3개의 공간적인 스케일러빌리티를 제공하는 M-Unit으로 패키징한 구조를 나타낸 도면이다. 도 8은 프로그레시브 다운로드 방식으로 3개의 공간적인 스케일러빌리티를 제공하는 M-Unit을 도시한다. 동일한 스케일러블 계층에 속해 있는 모든 MFU는 동일한 M-Unit에 포함될 수 있고 각각의 스케일러블 계층은 전용의 M-Unit과 대응될 수 있다.

인핸스 레이어2 HD 계층의 MFU들인 3,6 및 9번의 MFU는 MU3에 포함된다. 마찬가지로, 인핸스 레이어1 SD 계층의 2,5, 및 8번 MFU들은 MU2에 포함되고, 베이스 레이어 CIF 계층의 1,4 및 7번 MFU들은 MU1에 포함된다.

이러한 M-Unit구조를 통하여 수신받는 클라이언트는 적절한 조합의 M-Unit을 다운로드 받음으로써 모든 가능한 스케일러빌러티 계층을 구성할 수 있다. 이러한 방식은 MPU에도 적용될 수 있다.

도 9는 본 발명의 일 실시 예에 따른 미디어 데이터 전송 방법이 SVC 콘텐츠를 세밀한 단위를 가지는 M-Unit으로 패키징한 구조를 나타낸 도면이다. 도 9는 SVC 비디오 비트스트림을 가지고 가장 세밀한 단위로 M-Unit을 구성하는 예를 도시한다. MU1은 1번째 MFU를 포함한다. 마찬가지로, MU2는 2번째 MFU를 가진다. 다른 MU들도 하나의 MFU를 포함한다. 이 경우 각각의 M-Unit은 하나의 단일 MFU를 포함하게 된다. 이 구조는 패킷 에러가 발생하는 UDP 스트리밍(또는 UDP위에서 RTP로 보내는 경우)의 경우 잃어버린 데이터 부분을 최소화 하기 위해 적합한 구조이다. 이러한 방식은 MPU에도 적용될 수 있다.

Claims

부호화된 미디어 데이터(Coded Media Data)를 전송하기 위한 시스템에서 미디어 데이터를 전송하는 방법에 있어서,
액세스 유닛(Access Unit; AU)을 구성하는 적어도 하나의 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)을 포함하는 미디어 데이터를 제공받는 단계; 및
상기 미디어 프래그먼트 유닛을 구성단위로하여 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 생성하는 단계를 포함하는 미디어 데이터 전송 방법.
제 1 항에 있어서,
상기 미디어 프로세싱 유닛은 동일한 스케일러블 계층에 속한 미디어 프래그먼트 유닛만을 포함하는 것을 특징으로 하는 미디어 데이터 전송 방법.
제 1 항에 있어서,
상기 미디어 프로세싱 유닛이 포함하는 미디어 프래그먼트 유닛의 수는 한 개인 것을 특징으로 하는 미디어 데이터 전송 방법.
제 1 항에 있어서,
상기 미디어 프로세싱 유닛은 동일한 미디어 타임 인스턴스를 공유하는 적어도 하나의 미디어 프래그먼트 유닛으로 구성되는 미디어 프로세싱 유닛의 서브셋에 관한 정보를 포함하는 것을 특징으로 하는 미디어 데이터 전송 방법.
제 4 항에 있어서,
상기 미디어 프로세싱 유닛은 상기 미디어 프로세싱 유닛이 포함하는 상기 서브셋의 개수를 나타내는 지시자 및 상기 각각의 서브셋의 길이를 나타내는 지시자를 포함하는 것을 특징으로 하는 미디어 데이터 전송 방법.
제 5 항에 있어서,
상기 서브셋은 액세스 유닛인 것을 특징으로 하는 미디어 데이터 전송 방법.
제 5 항에 있어서,
상기 미디어 프로세싱 유닛은 상기 미디어 프래그먼트 유닛의 전송 및 소비 중 어느 하나에 관련된 정보를 더 포함하는 것을 특징으로 하는 미디어 데이터 전송 방법.
제 1 항 내지 제 7 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
부호화된 미디어 데이터(Coded Media Data)를 전송하기 위한 시스템에 있어서,
액세스 유닛(Access Unit; AU)을 구성하는 적어도 하나의 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)을 포함하는 미디어 데이터를 제공받아 상기 미디어 프래그먼트 유닛을 구성 단위로하여 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 생성하는 패키징부를 포함하는 것을 특징으로 하는 미디어 데이터 전송 장치.
제 9 항에 있어서,
상기 패키징부는 동일한 스케일러블 계층에 속한 미디어 프래그먼트 유닛만을 포함하는 상기 미디어 프로세싱 유닛을 생성하는 것을 특징으로 하는 미디어 데이터 전송 장치.
제 9 항에 있어서,
상기 미디어 프로세싱 유닛은 상기 미디어 프래그먼트 유닛을 하나 포함하는 것을 특징으로 하는 미디어 데이터 전송 장치.
제 9 항 내지 제 11 항 에 있어서,
상기 미디어 프로세싱 유닛은 동일한 미디어 타임 인스턴스를 공유하는 적어도 하나의 미디어 프래그먼트 유닛으로 구성되는 미디어 프로세싱 유닛의 서브셋에 관한 정보를 포함하는 것을 특징으로 하는 미디어 데이터 전송 장치.
제 12 항에 있어서,
상기 미디어 프로세싱 유닛은 상기 미디어 프로세싱 유닛이 포함하는 상기 서브셋의 개수를 나타내는 지시자 및 상기 각각의 서브셋의 길이를 나타내는 지시자를 포함하는 것을 특징으로 하는 미디어 데이터 전송 장치.
제 13 항에 있어서,
상기 서브셋은 액세스 유닛인 것을 특징으로 하는 미디어 데이터 전송 장치.
제 14 항에 있어서,
상기 미디어 프로세싱 유닛은 상기 미디어 프래그먼트 유닛의 전송 및 소비 중 어느 하나에 관련된 정보를 더 포함하는 것을 특징으로 하는 미디어 데이터 전송 장치.
부호화된 미디어 데이터(Coded Media Data)를 전송하기 위한 시스템에서,
미디어 프래그먼트 유닛(Media Fragment Unit)을 기본 단위로 하여 상기 부호화된 미디어 데이터 데이터를 저장하고, 상기 미디어 프래그먼트 유닛은 시간 정보를 가지는 데이터 또는 시간 정보를 가지지 않는 데이터인 것을 특징으로 하는 미디어 프로세싱 유닛(Media Processing Unit) 구조.
제 16 항에 있어서,
상기 미디어 프로세싱 유닛 구조는 동일한 스케일러블 계층에 속한 미디어 프래그먼트 유닛만을 포함하는 것을 특징으로 하는 미디어 유닛 구조.
제 16 항에 있어서,
상기 미디어 프로세싱 유닛 구조가 포함하는 미디어 프래그먼트 유닛의 수는 한 개인 것을 특징으로 하는 미디어 프로세싱 유닛 구조.
제 16 항에 있어서,
상기 미디어 프로세싱 유닛 구조는 동일한 미디어 타임 인스턴스를 공유하는 적어도 하나의 미디어 프래그먼트 유닛으로 구성되는 미디어 프로세싱 유닛의 서브셋에 관한 정보를 포함하는 것을 특징으로 하는 미디어 프로세싱 유닛 구조.
제 19 항에 있어서,
상기 미디어 프로세싱 유닛구조는 상기 미디어 프로세싱 유닛구조가 포함하는 상기 서브셋의 개수를 나타내는 지시자 및 상기 각각의 서브셋의 길이를 나타내는 지시자를 더 포함하는 것을 특징으로 하는 미디어 프로세싱 유닛 구조.
제 20 항에 있어서,
상기 서브셋은 액세스 유닛인 것을 특징으로 하는 미디어 프로세싱 유닛 구조.
제 16 항에 있어서,
상기 미디어 프로세싱 유닛 구조는 상기 미디어 프로세싱 유닛 구조에 포함된 상기 미디어 프래그먼트 유닛의 전송 및 소비 중 어느 하나에 관련된 정보를 더 포함하는 것을 특징으로 하는 미디어 프로세싱 유닛 구조.