KR20210005304A

KR20210005304A - 유연한 ｍｍｔ 애셋 송수신 방법 및 그 장치

Info

Publication number: KR20210005304A
Application number: KR1020210001568A
Authority: KR
Inventors: 권선형; 배성준; 이진영; 윤국진
Original assignee: 한국전자통신연구원
Priority date: 2013-01-24
Filing date: 2021-01-06
Publication date: 2021-01-13
Also published as: US9635394B2; KR20190128138A; US20150296231A1; KR102202143B1; KR20140095445A; KR102045073B1

Abstract

본 발명은 다중 레이어 미디어 데이터의 유연한 MMT 패킷 전송 방법에 관한 것으로, 미디어 액세스 유닛(Access Unit: AU)을 기반으로 생성된 미디어 프로세싱 유닛(Media Processing Unit: MPU)을 기반으로 캡슐화를 수행하여 MMT 애셋(MMT asset)을 생성하는 단계, 상기 MMT 애셋에 관한 MMT 컴포지션 정보(MMT Composition Information: MMT-CI)를 생성하는 단계, 상기 MMT 애셋 및 상기 MMT-CI를 패킷화하여 MMT 패킷을 생성하는 단계, 및 상기 생성된 MMT 패킷을 수신측으로 전송하는 단계를 포함하되, 상기 MMT-CI는 상기 MMT 애셋과 적어도 하나의 다른 MMT 애셋과의 종속성 정보를 포함함을 특징으로 한다. 본 발명에 따르면 다중 레이어 미디어 데이터의 송수신에 있어서, MMT 애셋이 다른 MMT 애셋에 종속되었는지 여부를 알려줄 수 있고, 하이브리드 전송 기반의 MMT 서비스를 제공함에 있어서도 MMT 애셋의 원활한 디코딩을 지원할 수 있다.

Description

유연한 ＭＭＴ 애셋 송수신 방법 및 그 장치{Method and apparatus of transmitting and receiving flexible MMT asset}

본 발명은 다중 레이어 미디어 데이터의 유연한 전송을 위한 것으로, 보다 상세하게는 하이브리드 전송 기반의 MMT(MPEG Media Transport) 서비스에서 유연한 MMT 애셋(asset) 송수신 방법 및 그 장치에 관한 것이다.

MPEG-2의 표준화 이후, 비디오 압축 표준(또는 오디오 압축 표준)은 과거 10년간 MPEG-4, H.264/AVC, SVC(Scalable Video Coding) 등으로 꾸준히 새로운 표준이 개발되었고 또한 각각의 새로운 표준들은 새로운 시장을 형성하면서 MPEG 표준의 활용 영역을 넓혀왔으나, MPEG-2 TS(Transport System)와 같은 전송 기술의 경우 20년 가까운 세월이 흐르는 동안 변함없이 시장에서 디지털방송, 모바일 방송(T-DMB, DVB-H등)등에 널리 사용되고 있으며, 심지어 표준 제정 당시 고려하지 않았던 인터넷을 통한 멀티미디어 전송, 즉 IPTV 서비스에도 널리 활용되고 있는 상황이다.

그러나, MPEG-2 TS가 개발될 때의 멀티미디어 전송환경과 오늘날의 멀티미디어 전송환경은 큰 변화를 겪고 있다. 예컨대, MPEG-2 TS 표준은 제정 당시 ATM 망을 통해 멀티미디어 데이터를 전송하는 것을 고려하여 개발되었으나, 오늘날 이러한 목적으로 이용되는 사례는 거의 찾아보기 힘들어졌다. 또한, MPEG-2 TS 표준 제정 당시 인터넷을 이용한 멀티미디어 전송 등의 요구사항(requirement)이 고려되지 않아 최근의 인터넷을 통한 멀티미디어 전송에 효율적이지 못한 요소들이 존재한다. 따라서, MPEG에서는 변화하는 멀티미디어 환경에 걸맞는 인터넷에서의 멀티미디어 서비스를 고려한 새로운 멀티미디어 전송 표준인 MMT(MPEG Media Transport)의 제정이 매우 중요한 과제로 인식되고 있다.

이와 같이, MMT 표준화가 진행되는 중요한 이유는 20 년전에 만들어진 MPEG2-TS 표준이 최근 IPTV 방송 서비스, 인터넷 환경등에 최적화되어 있지 않기 때문에 최근 다양한 이종망(Heterogeneous Network)에서의 멀티미디어 전송 환경에 최적화된 멀티미디어 전송 국제 표준의 시급한 필요에 의해 MPEG에서 MMT를 새로운 전송 기술 표준으로서 표준화를 진행하고 있는 것이다. 기존의 MPTEG 2 TS의 규격만으로는 방송망과 광대역망을 통한 하이브리드 전송(또는 전달)을 위한 다양한 응용 사례를 충분히 지원할 수 없는 문제점이 있다.

하이브리드 전송 기반의 MMT 서비스에서는 서로 다른 서버들을 활용하여 다중 경로(예를 들어, 다른 채널 또는 네트워크)를 통해 복수의 미디어 데이터를 하나의 클라이언트 장치로 전달할 수 있으며, 이러한 경우에 클라이언트 장치는 수신한 복수 개의 미디어 스트림들을 통합된 형태로 동기화를 맞추면서 서비스할 수 있어야 한다.

하지만, 현재 진행중인 MMT SoCD(Study of Committee Draft)에 따르면, 다중 레이어 미디어 데이터의 모든 레이어는 단일 MPU(Media Processing Unit)에 포함되어야 한다. MMT 애셋은 하나 이상의 MPU들의 묶음으로 생성되므로, 모든 레이어는 단일 MMT 애셋에 속하게 된다. 이 경우 모든 레이어는 하나의 ADC(Asset Delivery Characteristic)만을 가지게 된다. 따라서, 현재 MMT SoCD에 다르면 다중 레이어 각각에 다른 전달 특성(Delivery Characteristic)을 지정하여 다중경로로 전송하는 하이브리드 전송 등을 충분히 지원할 수 없는 문제점이 있다.

본 발명의 기술적 과제는 유연한 MMT 애셋 전송을 지원함에 있다.

본 발명의 다른 기술적 과제는 하이브리드 전송을 지원하기 위한 MMT 애셋의 포맷을 제공함에 있다.

본 발명의 또 다른 기술적 과제는 하이브리드 전송을 지원하기 위한 MMT 컴포지션 정보(Composition Information: CI)를 제공함에 있다.

본 발명의 일 양태에 따르면, MMT(MPEG Media Transport) 시스템에서의 MMT 패킷을 전송하는 장치를 제공한다. 상기 MMT 패킷 전송 장치는 미디어 액세스 유닛(Access Unit: AU)을 기반으로 생성된 미디어 프로세싱 유닛(Media Processing Unit: MPU)을 기반으로 캡슐화를 수행하여 MMT 애셋(MMT asset)을 생성하는 애셋 생성부, 상기 MMT 애셋에 관한 MMT 컴포지션 정보(MMT Composition Information: MMT-CI)를 생성하는 컴포지션 정보 생성부, 상기 MMT 애셋 및 상기 MMT-CI를 패킷화하여 MMT 패킷을 생성하는 패킷화부, 및 상기 생성된 MMT 패킷을 수신측으로 전송하는 전송부를 포함하되, 상기 MMT-CI는 상기 MMT 애셋의 적어도 하나의 다른 MMT 애셋과의 종속성 정보를 포함함을 특징으로 한다.

본 발명의 다른 일 양태에 따르면, MMT(MPEG Media Transport) 시스템에서의 MMT 패킷을 수신하는 장치를 제공한다. 상기 MMT 패킷 수신 장치는 MMT 패킷 전송 장치로부터 MMT 패킷을 수신하는 수신부, 상기 수신한 MMT 패킷을 디패킷화하여 MMT 애셋(MMT asset) 및 상기 MMT 애셋에 관한 MMT 컴포지션 정보(MMT Composition Information: MMT-CI)를 생성하는 MMT 디패킷화부, 및 상기 MMT-CI에 포함된 종속성 정보를 기반으로 상기 MMT 애셋과 적어도 하나의 다른 MMT 애셋과의 종속 관계를 판단하고, 상기 종속 관계를 기반으로 상기 MMT 애셋을 디코딩하는 디코딩부를 포함함을 특징으로 한다.

본 발명의 또 다른 일 양태에 따르면, MMT(MPEG Media Transport) 시스템에서의 MMT 패킷을 수신하는 방법을 제공한다. 상기 MMT 패킷 수신 방법은 송신측으부터 MMT 패킷을 수신하는 단계, 상기 수신한 MMT 패킷을 디패킷화하여 MMT 애셋(MMT asset) 및 상기 MMT 애셋에 관한 MMT 컴포지션 정보(MMT Composition Information: MMT-CI)를 생성하는 단계, 상기 MMT-CI에 포함된 종속성 정보를 기반으로 상기 MMT 애셋과 적어도 하나의 다른 MMT 애셋과의 종속 관계를 판단하는 단계, 및 상기 종속 관계를 기반으로 상기 MMT 애셋을 디코딩하는 단계를 포함함을 특징으로 한다.

본 발명의 또 다른 일 양태에 따르면, MMT(MPEG Media Transport) 시스템에서의 MMT 패킷을 전송하는 방법을 제공한다. 상기 MMT 패킷 전송 방법은 미디어 액세스 유닛(Access Unit: AU)을 기반으로 생성된 미디어 프로세싱 유닛(Media Processing Unit: MPU)을 기반으로 캡슐화를 수행하여 MMT 애셋(MMT asset)을 생성하는 단계, 상기 MMT 애셋에 관한 MMT 컴포지션 정보(MMT Composition Information: MMT-CI)를 생성하는 단계, 상기 MMT 애셋 및 상기 MMT-CI를 패킷화하여 MMT 패킷을 생성하는 단계, 및 상기 생성된 MMT 패킷을 수신측으로 전송하는 단계를 포함하되, 상기 MMT-CI는 상기 MMT 애셋의 적어도 하나의 다른 MMT 애셋과의 종속성 정보를 포함함을 특징으로 한다.

본 발명에 따르면 다중 레이어 미디어 데이터의 송수신에 있어서, MMT 애셋이 다른 MMT 애셋에 종속되었는지 여부를 알려줄 수 있고, 하이브리드 전송 기반의 MMT 서비스를 제공함에 있어서도 MMT 애셋의 원활한 디코딩을 지원할 수 있다.

도 1은 본 발명의 일 예에 따른 MMT 계층 구조를 나타낸 개념도이다.
도 2는 도 1의 MMT 계층 구조의 각 계층별로 사용되는 단위 정보(또는 데이터 또는 패킷)의 포맷을 나타낸다.
도 3은 본 발명의 일 예에 따른 MMT 패키지 구성을 나타낸다.
도 4는 다중 레이어 미디어 데이터에 관한 MMT 애셋들의 예를 나타낸다.
도 5는 다중 미디어 데이터에 관한 MMT 애셋들의 관계를 개략적으로 나타내는 뷰(view)의 예이다.
도 6 내지 도 9는 본 발명의 제1 실시예에 따른 다중 레이어 미디어 데이터에 관한 MMT CI의 예들을 나타낸다.
도 10 내지 도 11은 본 발명의 제2 실시예에 따른 다중 레이어 미디어 데이터에 관한 MMT CI의 예들을 나타낸다.
도 12는 본 발명에 따른 isDpendent 속성 및 depID 속성의 타입의 예를 나타낸다.
도 13은 본 발명의 일 실시예에 따른 MMT 패킷 전송 장치의 구성을 개략적으로 나타낸 블록도의 예이다.
도 14는 본 발명에 따른 MMT 전송 방법을 개략적으로 나타낸 순서도의 예이다.
도 15는 본 발명에 따른 MMT 패킷 수신 장치의 구성을 개략적으로 나타낸 블록도의 예이다.
도 16은 본 발명에 따른 MMT 패킷 수신 방법을 개략적으로 나타낸 순서도의 예이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

이하, 컨텐츠 컴포넌트(content component), 컨텐츠(content), 하이브리드 전송(hybrid delievery), 표현(presentation), 서비스(service), 서비스 정보(service information)의 용어의 의미를 다음과 같이 정의한다.

컨텐츠 컴포넌트(content component) 또는 미디어 컴포넌트(media component)는 단일 종류의 미디어(media of a single type) 또는 단일 종류의 미디어의 부분 집합(subset of the media of a single type)으로 정의되며, 예를 들어, 비디오 트랙(video track), 영화 자막(movie subtitles), 또는 비디오 향상계층(enhancement layer of video)이 될 수 있다.

컨텐츠(content)는 컨텐츠 컴포넌트의 집합으로 정의하며, 예를 들어 영화(movie), 노래(song)등이 될 수 있다.

하이브리드 전송(hybrid delievery)은 하나 또는 그 이상의 컨텐츠 컴포넌트들이 하나 이상의 물리적으로 서로 다른 형태의 망(network)을 통하여 동시에 전송되는 것으로 정의한다.

표현(presentation)은 사용자가 하나의 컨텐츠 컴포넌트 또는 하나의 서비스를 경험(예를 들어 영화 감상)할 수 있도록 하나 또는 하나 이상의 장치들에 의해 수행되는 동작(operation)으로 정의한다.

서비스(service)는 표현(presentation) 또는 저장(storage)을 위해 전송되는 하나 또는 하나 이상의 컨텐츠 컴포넌트로 정의한다.

서비스 정보(service information)는 하나의 서비스, 상기 서비스의 특성(characteristics) 및 컴포넌트들을 기술하는 메타 데이터로 정의한다.

넌 타임드 데이터(Non-timed data)는 시간을 명시하지 않고 소비되는 모든 데이터 요소를 정의한다. 넌 타임드 데이터는 그의 미디어 유닛의 디코딩 및/또는 표현을 위한 고유의 동기화 정보를 가지지 않는 데이터다.

타임드 데이터(timed data)는 그의 미디어 유닛의 디코딩 및/또는 표현을 위한 고유의 동기화 정보를 가는 데이터로, 디코딩 및 프리젠테이션되는 특정한 시간과 연관된 데이터 요소를 정의한다.

엑세스 유닛(Access Unit; AU)은 시간 정보를 가질 수 있는 가장 작은 데이터 개체다.

미디어 프래그먼트 유닛(Media Fragment Unit; MFU)는 어떠한 특정 코덱에도 독립된 일반적인 컨테이너로, 미디어 디코더에 의해 독립적으로 소비될 수 있는 부호화된 미디어 데이터를 수용한다. AU는 타임드 미디어 데이터를 위한 AU의 전부 또는 일부와 같이 미디어 디코더에 의해 독립적으로 디코드 가능한 미디어 데이터 또는 넌 타임드 미디어 데이터를 위한 하나의 파일을 포함한다. 이는 엑세스 유닛(AU)보다 작거나 같은 크기를 가지고 트랜스포트 계층(Transport layer)에서 사용될 수 있는 정보를 수용한다.

미디어 프로세싱 유닛(Media Processing Unit)은 어떠한 특정 미디어 코덱에도 독립된 일반적인 컨테이너로, 독립적으로 디코드 할 수 있는 타임드 또는 넌 타임드 데이터를 위한 일반적 컨테이너이다. 추가적 전달 및 소비에 관련된 정보와 함께 타임드 데이터의 적어도 하나의 AU나 넌 타임드 데이터의 부분을 포함한다. MPU의 프로세싱은 패키지로의 인캡슐레이션 또는 전달을 위한 패킷화를 의미한다. MPU는 완전하고 독립적으로 처리될 수 있는 부호화된 미디어 데이터이다. 단, 스케일러블 비디오 코딩(Scalable Video Coding, SVC) 및 다시점 비디오 코딩(Multiview Video Coding, MVC)을 위해 일부 경우에는 MPU는 미디어 코덱 서버에서 독립적으로 및 완전히 소비되지 않을 수 있다.

MMT 애셋(MMT Asset)은 동일한 MMT 애셋 ID와 함께 적어도 하나의 MPU로 구성되거나 또는 다른 표준에서 정의된 형식과 함께 특정 데이터 덩어리로 구성되는 논리적 데이터 개체이다. MMT 애셋은 동일한 전달 특성으로 데이터를 포함하는 데이터 개체이다.

MMT 애셋 전달 특성(MMT Asset Delivery Characteristics; MMT-ADC)은 MMT 애셋을 전송하기 위한 QoS(Quality of Service) 요구에 관련된 서술이다. MMT-ADC는 특정 전달 환경에 무관한 파라미터로 표현된다.

MMT 컴포지션 정보(MMT Composition Information ; MMT CI)는 MMT 애셋간의 공간적 및 시간적 관계를 설명한다.

MMT 개체(MMT entity)는 MMT 프로파일을 따르는 소프트웨어 또는 하드웨어의 구현이다.

MMT 패킷(MMT packet)은 MMT 프로토콜에 따라 생성 또는 소비되는 데이터의 형식화된 유닛(formatted unit)이다.

MMT 패키지(MMT Package)는 논리적으로 구조화된 데이터의 모음으로, 적어도 하나의 MMT 애셋과, MMT-컴포지션 정보, MMT-애셋 전달 특성 및 설명적인 정보로 구성된다.

MMT 페이로드(MMT payload)는 패키지를 나르거나 MMT 프로토콜이나 인터넷 응용 계층 전송 프로토콜(예를 들어 RTP(Real-Time Transport Protocol)가 있다)을 사용하여 메시지를 시그널링하는 데이터의 형식화된 유닛이다.

MMT 프로토콜은 MMT 페이로드를 IP 네트워크를 통해 전달하기 위한 응용 계층 전송 프로토콜이다.

MMT 페이로드 포맷(MMT payload format)은 MMT 프로토콜 또는 인터넷 응용 계층 프로토콜(예를 들면, RTP)에 의해 전달될 MMT 패키지 또는 MMT 시그널링 메시지의 페이로드를 위한 포맷이다.

이하에서, 제1 망(network) 또는 제2 망(network)은 방송망(broadcast network), 광대역망(broadband network), 케이블망(cable network), 또는 위성통신망(satellite communication network)을 포함하는 다양한 네트워크를 포함한다.

이하, 하이브리드 전송시 MMT 애셋 단위, 서브스트림 단위, MMT 패키지 단위 또는 MMT 패킷 단위로 전송될수도 있고 또한 비디오 컨텐츠가 제1 레이어, 제2 레이어와 같이 복수의 레이어로 구성된 경우 레이어 단위로 하이브리드 전송할 수도 있다.

도 1은 본 발명의 일 예에 따른 MMT 계층 구조를 나타낸 개념도이다.

MMT 계층은 트랜스포트 계층(Transport layer) 상에서 동작하며, 도 1을 참조하면, MMT(Mpeg Media Transport) 계층 구조는 캡슐화 계층(Encapsulation layer), 전달 계층(Delivery layer) 및 시그널링 계층(Signaling layer)의 기능 영역(functional area)을 포함한다.

캡슐화 계층(E-layer)은, 도 1에 도시된 바와 같이, MMT E.1 계층(MMT E.1 Layer), MMT E.2 계층(MMT E.2 Layer) 및 MMT E.3 계층(MMT E.3 Layer)으로 구성될 수 있다.

캡슐화(E) 계층은 스토리지(storage) 장치에 저장되거나 페이로드(payload)로서 전달되도록 하기 위하여 부호화된 미디어 컴포넌트들을 캡슐화하는 포맷을 정의한다. 캡슐화 계층(Encapsulation layer; E-layer)은 예를 들어 전송되는 미디어의 패킷화(packetization), 프래그먼테이션(Fragmentation), 동기화(Synchronization), 멀티플렉싱(Multiplexing)등의 기능을 담당할 수 있다.

다양한 종류의 멀티미디어 컴포넌트들이 캡슐화 계층(E-layer)에서 제공되는 기능에 의하여 전송 및 소비되기 위하여 캡슐화되고 서로 합해질 수 있다. 캡슐화된 미디어 컴포넌트 및 미디어 컴포넌트들의 컨피겨레이션(configurations) 정보는 캡슐화 계층(E-layer)의 기능 영역에서 제공된다.

캡슐화된 미디어 컴포넌트들에 대한 주된 정보는 통합(aggregation), 우선순위(prioritization), 미디어 프래그먼트의 의존성, MPU의 타이밍 정보 및 구조 정보, MMT 애셋(150)의 식별 정보, 초기화 정보 및 코덱 정보를 포함할 수 있다. 미디어 컴포넌트들의 컨피겨레이션(configurations) 정보는 MMT 패키지(160) 및 MMT 애셋(150)의 식별 정보, MMT 애셋(150)의 리스트를 가지는 컨피겨레이션 정보, MMT 패키지(160)내의 MMT 애셋(150)들의 컴포지션 정보(composition information, CI)(162) 및 애셋 전달 특성(Asset Delivery Characteristics, ADC)(164)을 포함할 수 있다.

캡슐화 계층(Encapsulation layer; E-layer)은 미디어 컨텐츠, MMT 패키지, 그리고 MMT 개체(MMT entity)에 의해 처리될 데이터 유닛의 포맷의 논리적 구조와 ISO 기반의 미디어 파일 포멧(ISO base media file format, ISOBMFF)으로의 구현 예를 정의한다. 적응적 전달을 위해 필수적인 정보를 제공하기 위해 MMT 패키지는 미디어 컨텐츠를 포함하는 컴포넌트들 및 그들간의 관계를 명시한다. 데이터 유닛들의 포맷은 저장 또는 전달을 위해 부호화된 미디어를 캡슐화하고, 상기 두 포멧 간에 용이하게 변환되도록 정의된다.

E.3 계층은 미디어 코덱(A) 계층으로부터 제공된 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)을 캡슐화하여 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 생성한다.

상위 계층으로부터의 부호화된 미디어 데이터는 MFU로 캡슐화된다. 부호화된 미디어의 타입 및 값은 MFU를 특정 코덱 기술에 일반적으로 사용될 수 있도록 추상화된다. 이는 하위 계층이 캡슐화된 부호화된 미디어에 접근 없이 MFU를 처리할 수 있게 하며 하위 계층은 요구되는 부호화된 미디어 데이터를 네트워크나 저장소의 버퍼로부터 불러오고 미디어 디코더로 전송한다. MFU는 상기 작동을 수행하기 위한 충분한 정보 미디어 부분 유닛을 가지고 있다.

MFU는 예를 들어 비디오의 픽쳐(picture) 또는 슬라이스(slice)가 될 수 있다. MFU는 임의의 특정 코덱(codec)에 독립적이고 미디어 디코더에서 독립적으로 소비될 수 있는 데이터 유닛을 싣을 수 있는 포맷을 가질 수 있다. 독립적으로 전송가능하고 디코딩할 수 있는 하나 또는 한개 그룹의 복수의 MFU는 MPU를 생성한다. 독립적으로 전송가능하고 실행가능한 비-시간적 미디어 또한 MPU를 생성한다. MPU는 MFU의 배열 및 패턴과 같은 내부 구조를 기술하여 MFU에의 빠른 접근 및 부분적 소비를 가능하게 한다.

E.2 계층은 E.3계층에서 생성된 MPU를 캡슐화하여 MMT 애셋(MMT Asset)을 생성한다.

MMT 애셋은 단일의 데이터 소스로부터의 하나 또는 복수의 MPU로 이루어진 데이터 엔티티(data entity)로서, 컴포지션 정보(Composition Information, CI) 및 애셋 전달 특성(Asset Delivery Characteristics, ADC)이 정의된 데이터 유닛이다. 동일한 소스 컴포넌트로부터의 MPU의 시퀀스는 MMT 애셋을 생성한다. MMT 애셋은 MMT 패키지에 의해 패키지되고, 컴포지션 정보(Composition Information; CI), 전송 특성(Transport Characteristics; TC)에 의해 다른 것과 구성되며, MMT 페이로드 포맷에 의해 다른 것과 다중화되고, MMT 프로토콜에 의해 전송된다.

MMT 애셋은 PES(packetized elementary streams)에 대응될 수 있으며, 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 파일 포맷(File Format), M2TS(MPEG transport stream)등에 대응될 수 있다.

E.1 계층(E.1 Layer)은 E.2 계층에서 생성된 MMT 애셋을 캡슐화하여 MMT 패키지(MMT Package)를 생성한다.

MMT 애셋은 MMT 애셋의 체감 품질을 충족시키도록 각각의 MMT 애셋을 위한 적절한 전달 방법을 선정하는 애셋 전달 특성(Asset Delivery Characteristics, ADC)과 함께 패키지된다. 또한, MMT 애셋은 다른 기능적 영역-트랜스포트 영역 및 시그널 영역-과 함께 또는 별도로 동일한 사용자 경험의 추후의 응답을 위해 MMT 컴포지션 정보(MMT-composition information;MMT-CI)와 패키지된다.

도 3은 본 발명의 일 예에 따른 MMT 패키지 구성을 나타낸다.

도 3을 참조하면, MMT 패키지(160)는 하나의 컴포지션 정보(Composition Information; CI, 162), 적어도 하나의 MMT 애셋(150) 및 각각의 애셋에 관련된 애셋 전달 특성(Asset Delivery characteristics; ADC, 164)을 포함한다. MMT 패키지는 MPEG-2 TS의 프로그램(Program)에 대응될 수 있다.

또한, 패키지의 프로세싱은 MPU 기반으로 적용되고, 애셋은 동일한 애셋 ID를 가진 적어도 하나의 MPU의 집합인바, 하나의 패키지는 하나의 컴포지션 정보, 적어도 하나의 MPU 및 각각의 애셋에 관련된 애셋 전송 특성으로 구성되어 있다고 볼 수도 있다.

애셋은 타임드 또는 넌 타임드 성질을 가진 오디오, 비디오 또는 웹페이지 데이터와 같은 부호화된 미디어 데이터를 캡슐화하는 패키지의 요소가 될 수 있다.

컴포지션 정보(Composition Information)는 MMT 애셋들 사이의 관계(relationship)에 대한 정보를 포함하며, 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다.

애셋 전달 특성(Asset Delivery Characteristics; ADC, 162)은 애셋의 전달을 위한 QoS 요구 및 통계를 나타낸다. 복수의 애셋은 하나의 ADC에 관련될 수 있다. ADC는 애셋의 효과적인 전달을 위해 패키지를 패킷화하는 개체에 의해 MMT 페이로드 및 MMT 프로토콜의 파라미터를 설정하는데 사용될 수 있다. 애셋 전달 특성(162)은 MMT 애셋 또는 MMT 패킷의 전달 조건(delivery condition)을 결정하기 위해 필요한 전달 특성 정보를 포함할 수 있으며, 예를 들어 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다.

전달 계층(Delivery layer; D-layer)은 페이로드 포맷 및 응용 계층 전송 프로토콜을 정의한다. 페이로드 포맷은 미디어 타입 또는 인코딩 방법을 불문하고 부호화된 미디어 데이터를 나를 수 있도록 정의된다. 응용 계층 전송 프로토콜은 멀티플렉싱 및 교차 계층 커뮤니케이션을 포함하는 패키지의 전달을 위한 강화된 특징을 제공한다.

전달 계층 (D-layer)은 트랜스포트 계층(Transport layer)과 캡슐화 계층(E-layer) 사이에서, 네트워크를 통해 전송되는 비디오, 오디오등과 같은 미디어(Media)의 다중화(multiplexing), 패킷 레벨의 통합(aggregation) 및/또는 분할(Fragmentation), 네트워크 패킷화(Network packetization), QoS 제어, 동기화(Synchronization) 기능, 기존의 RTP와 같은 트랜스포트 계층(Transport layer), 기존의 UDP, TCP와 같은 트랜스포트 계층(Transport layer), 캡슐화 계층(E-layer), 시그널링 계층 (S layer)과의 인터페이스 등을 담당한다.

전달 계층(Delivery layer; D-layer)은 예를 들어 네트워크를 통해 전송되는 미디어의 네트워크 플로우 멀티플렉싱(Network flow multiplexing), 네트워크 패킷화(Network packetization), QoS 제어 등을 수행할 수 있다.

전달 계층 (D-layer)은 캡슐화 계층(E-layer)으로부터의 페이로드(payloads)를 핸들링하기 위하여 캡슐화 계층(E-layer)으로부터의 넘어온 서로 다른 타입의 페이로드를 식별한다.

전달 계층 (D-layer)은 서로 다른 망과 서로 다른 채널을 통하여 전달되는 패킷들간의 임시적인 관계(temporal relation)를 다룰 수 있다. 상기 동기화(Synchronization) 기능은 타임스탬프등을 이용한 하이브리드망 동기화를 포함할 수 있다.

전달 계층 (D-layer)은 실시간 미디어 전송을 위해 MMT 전달패킷(MMT delivery packets)의 타이밍 제약(timing constraints)을 다룰 수 있다.

전달 계층 (D-layer)은 전방향 에러 보정(Forward Error Correction) 및 재전송과 같은 MMT 미디어 패킷의 에러 제어를 수행할 수 있다.

전달 계층 (D-layer)은 MMT 미디어 패킷의 흐름 제어를 수행할 수 있다.

전달 계층 (D-layer)은 MMT 미디어패킷의 전달을 위한 소정 레벨의 QoS를 유지하기 위하여 크로스 레이어 디자인(Cross-layer design)을 통하여 하위 계층(MAC, PHY) 뿐만 아니라 다른 MMT 계층과의 인터랙션(interaction)을 수행할 수 있다. 또한, 전달 계층 (D-layer)은 그룹 통신을 수행하기 위한 기능을 제공할 수 있다.

전달 계층 (D-layer)은, 도 1에 도시된 바와 같이, MMT D.1 계층(MMT D.1 Layer), MMT D.2 계층(MMT D.2 Layer) 및 MMT D.3 계층(MMT D.3 Layer)으로 구성될 수 있다.

D.1 계층(D.1-layer)은 E.1 계층에서 생성된 MMT 패키지를 받아서 MMT 페이로드를 생성한다. MMT 페이로드는 MMT 페이로드 포멧으로 구성된다. MMT 페이로드 포멧은 MMT 애셋을 전송하고, MMT 애플리케이션 프로토콜 또는 RTP와 같은 다른 기존의 애플리케이션 전송 프로토콜에 의한 소비를 위한 정보를 전송하기 위한 페이로드의 포맷이다. MMT 페이로드는 AL-FEC와 같은 정보와 함께 MFU의 프래그먼트를 포함할 수 있다.

MMT 페이로드 포멧은 패키지의 컨텐츠 컴포넌트의 패킷화를 위한 일반적인 페이로드 포멧으로 정의된다. MMT 페이로드 포멧은 특정 미디어 코덱에 무관하게 정의되어, MPU와 같이 캡슐화된 어떠한 타입의 미디어도 미디어 컨텐츠의 스트리밍 전달을 지원하는 응용 계층 전송 프로토콜을 위한 페이로드로 패킷화 될 수 있다. MMT 페이로드는 RTP, MMT 및 다른 패킷 전송 프로토콜을 위한 페이로드 포멧으로 사용될 수 있다. MMT 페이로드는 시그널링 메시지를 패킷화하기 위해 사용될 수도 있다.

D.2 계층(D.2-layer, 220)은 D.1 계층에서 생성된 MMT 페이로드를 받아서 MMT 패킷(MMT Packet)을 생성한다. MMT 패킷은 MMT를 위한 애플리케이션 전송 프로토콜에 사용되는 데이터 포맷이다.

D.3 계층(D.3-layer)은 크로스-레이어 디자인(cross-layer Design)에 의해 계층간에 정보를 교환할 수 있는 기능을 제공함으로써 QoS를 지원한다. 예를 들어, D.3 계층은 MAC(Media Acess Control)/PHY(Physical) 계층의 QoS 파라미터를 이용하여 QoS 제어를 수행할 수 있다. MAC/PHY의 QoS파라미터는 예를 들어, 비트율(bitrate), 패킷손실율(packet loss ratio), 예측된 지연(expected delay), 이용 가능한 버퍼 크기 등이 될 수 있다.

시그널링 계층 (S layer)은, 도 1에 도시된 바와 같이, MMT S.1 계층(MMT S.1 Layer) 및 MMT S.2 계층(MMT S.2 Layer)으로 구성될 수 있다.

시그널링 계층(Signaling layer; S layer)은 시그널링 기능(signaling function)을 수행한다. 예를 들어 전송되는 미디어의 세션 초기화/제어/관리(session initialization/control/management), 서버 기반 및/또는 클라이언트 기반의 트릭 모드, 서비스 디스커버리(Service discovery), 동기화(Synchronization) 및 다른 계층, 즉 전달 계층(D-layer) 및 캡슐화 계층(E-layer)과의 인터페이스 기능 등을 위한 시그널링 기능을 수행할 수 있다. 상기 동기화는 하이브리드망에서의 동기화 제어를 포함할 수 있다.

시그널링 계층은 MMT 패키지의 전달 및 소비를 관리하는 메시지의 포맷을 정의한다. 소비 관리를 위한 메시지는 MMT 패키지의 구조를 알리기 위해 사용되고, 전달 관리를 위한 메시지는 페이로드 포맷의 구조 및 프로토콜의 구성을 알리기 위해 사용된다.

S.1 계층은 미디어 표현 세션 관리(presentation session management)를 위한 애플리케이션들간의 제어 메시지들의 포맷을 정의할 수 있다. 상기 표현 세션 관리는 미디어 표현, 세션 관리, 미디어 소비에 요구되는 정보 제공을 위하여 애플리케이션간에 교환된 제어 메시지의 포맷을 정의할 수 있다. S.1 계층은 서비스 디스커버리(Service discovery), 미디어의 세션 초기화/종료(media session initialization/termination), 미디어의 세션 표현/제어(media session presentation/control), 전달(D) 계층 및 캡슐화(E) 계층과의 인터페이스 기능 등을 수행할 수 있다.

S.2 계층(210)은 전달 세션 관리(delivery session management)를 수행할 수 있다. 상기 전달 세션 관리는 전달(D) 계층의 엔드-포인트들(end-points)간에 교환되는 제어 메시지의 포맷을 정의할 수 있다. 상기 전달 세션 관리에서 정의되는 제어 메시지는 흐름 제어(flow control), 전달 세션 관리, 전달 세션 모니터링, 에러 제어(error control), 하이브리드망 동기화 제어등에 사용될 수 있다. S.2 계층(210)은 전달(D) 계층의 동작을 지원하기 위하여 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 상기 전달(D) 계층의 동작을 지원하기 위하여 송신측(sender)와 수신측(receiver)간에 필요한 시그널링은 예를 들어 전달 세션 설정 및 해제(delivery session establishment and release), 전달 세션 관리(모니터링, 흐름 제어, 에러 제어등), 설정된 전달 세션에 대한 리소스 예약, 하이브리드망 동기화를 위한 시그널링, 적응적 전달(adaptive delivery)를 위한 시그널링을 포함할 수 있다. 또한, S.2 계층(210)은 전달(D) 계층 및 캡슐화(E) 계층과의 인터페이스 기능을 담당할 수 있다.

제어 메시지(control message; 또는 제어 정보(control information))는 시그널링 계층 (S layer)에서 생성되어 방송망 및/또는 광대역망을 통하여 전송될 수 있다.

방송망 및 광대역망 모두를 통한 전송을 지원하는 경우, 방송망을 통하여 전송되는 제어 메시지의 기능은 광대역망을 통하여 전송되는 제어 메시지의 기능과 동일할 수 있다. 애플리케이션 및 전송(delivery)의 종류에 따라서 제어 메시지의 신택스(syntax) 및 포맷(format)은 달라질 수 있다. 예를 들어, 하이브리드 전송의 경우, 동일한 공통 제어 정보(common control information)과 동일한 공통 포맷(common format)이 방송망 및 광대역 망 각각으로 전송되는 제어 메시지에 사용될 수 있다. 또는, 하이브리드 전송의 경우, 동일한 공통 제어 정보(common control information)가 방송망 및 광대역망 각각마다 서로 다른 포맷(different format)으로 전송될 수도 있다. 또는, 하이브리드 전송의 경우, 방송망 및 광대역망 각각마다 서로 다른 제어 정보(different control information)와 서로 다른 포맷(different format)으로 전송될 수도 있다.

도 2는 도 1의 MMT 계층 구조의 각 계층별로 사용되는 단위 정보(또는 데이터 또는 패킷)의 포맷을 나타낸다.

미디어 프래그먼트 유닛(Media Fragment Unit; MFU)(130)은 부호화된 미디어 분할 데이터(coded media fragment data, 132)와 MFUH(Media Fragment Unit Header)(134)로 이루어진다. 미디어 프래그먼트 유닛(130)은 특정 코덱(codec)에 독립적으로 일반 컨테이너 포맷(general container format)을 가지며 미디어 디코더에서 독립적으로 소비될 수 있는 가장 작은 데이터 유닛을 싣는다. MFUH(134)는 미디어 특성-예를 들어 유실 허용한계(loss-tolerance)-과 같은 부가 정보를 포함할 수 있다. MFU(130)는 예를 들어 비디오의 픽쳐(picture) 또는 슬라이스(slice)가 될 수 있다.

미디어 프래그먼트 유닛(Media Fragment Unit; MFU)은 MFU의 범위에서 적응적인 전송을 수행하기 위해 트랜스포트 계층에서 AU의 부분을 캡슐화하는 형식을 정의한다. MFU는 AU의 부분이 독립적으로 복호되거나 폐기될 수 있도록 부호화된 미디어의 일정한 형식을 전송하는데 사용될 수 있다.

MFU는 다른 MFU들로부터 하나의 MFU를 구별하기 위한 식별자를 가지고, 단일 AU내의 MFU들 사이의 일반적인 관계 정보를 가진다. 단일 AU에서의 MFU 사이의 의존 관계가 설명되고, MFU의 관련 우선순위가 그러한 정보들의 부분으로 설명된다. 상기 정보는 하위 트랜스포트 계층에서 전송을 다루는데 사용될 수 있다. 예를 들면, 트랜스포트 계층은 불충분한 대역폭에서의 QoS 전송을 지원하도록, 폐기해도 되는 MFU들의 전송을 생략할 수 있다.

MPU는 복수의 미디어 프래그먼트 유닛(130)을 포함하는 미디어 프래그먼트 유닛의 집합이다. MPU는 특정 코덱(codec)에 독립적으로 일반 콘테이너 포맷(general container format)을 가지며 액세스 유닛(Access Unit)과 등가의 미디어 데이터를 포함한다. MPU는 타임드 데이터 유닛(timed data unit) 또는 넌-타임드 데이터 유닛(non-timed data unit) 을 가질 수 있다. MPU는 미디어 프래그먼트 유닛 데이터(media fragment unit data)와 동기화를 위한 타임 스탬프와 같은 부가 정보를 가지는 미디어 프로세싱 유닛 헤더(Media Processing Unit Header; MPUH)를 포함할 수 있다. MPU는 MMT를 따르는 개체에 의해 독립적이고 완전하게 처리된 데이터이고, 처리는 캡슐화 및 패킷화를 포함한다. MPU는 적어도 하나의 MFU로 구성되거나 다른 표준에 의해 정의된 포맷을 가진 데이터의 부분을 가질 수 있다.

MPU는 시퀀스번호 및 이를 다른 MPU와 구분하여주는 연관된 애셋 ID로 MMT 패키지 내에서 유일하게 식별될 수 있다. 단일 MPU는 적어도 하나의 AU의 정수(integral number) 또는 넌-타임드 데이터를 수용할 수 있다. 타임드 데이터를 위하여, AU는 적어도 하나의 MFU로부터 전달될 수 있으나, 하나의 AU는 다수의 MPU로 분할될 수 없다. 넌-타임드 데이터에서, 하나의 MPU는 MMT를 따르는 개체에 의해 독립적이고 완전하게 처리된 넌-타임드 데이터의 부분을 수용한다.

MPU는 적어도 하나의 임의 접근점(Random access point)을 가진다. MPU 페이로드의 첫 바이트는 항상 임의 접근점으로 시작할 수 있다. 타임드 데이터에서, 상기 사실은 MPU 페이로드에서 첫 MFU의 디코딩 순서는 항상 0임을 의미한다. 타임드 데이터에서, 각 AU의 프리젠테이션 기간 및 디코딩 순서는 프리젠테이션 시간을 알리기 위해 보내질 수 있다. MPU는 자신의 초기 프리젠테이션 시간을 가지고 있지 않고, 하나의 MPU의 첫 AU의 프리젠테이션 시간은 컴포지션 정보에 기술되어 있을 수 있다. 컴포지션 정보는 MPU의 첫 프리젠테이션 시간을 명시할 수 있다.

MPU는 MMT 힌트 트랙을 포함할 수 있다. MPU의 패킷화된 전달을 위해, MMT 힌트 트랙(MMT hint track)은 캡슐화된 MPU를 MMT 페이로드 및 MMT 패킷으로 변환하기 위한 정보를 제공할 수 있다.

MMT 힌트 트랙은 MPU의 부분(fragmentation)을 전송부에 암시한다. 이로써 적어도 하나의 MFU는 MMT 페이로드를 생성하기 위해 사용될 수 있다. 미디어 데이터는 전송부에 의해 전송 시점에 MMT 페이로드로 생성되고 전달될 수 있다. 따라서, 저장되는 포멧은 전달시의 포멧과 상이할 수 있다. 이러한 경우, 전송시 미디어 데이터를 추출하고 MMT 페이로드를 생성할 수 있는 동적인 전송부가 요구된다.

MMT 힌트 트랙은 MMT 페이로드 포멧을 사용하는 캡슐화를 위한 MFU의 추출 및 생성을 암시한다. MMT페이로드는 MPU 메타데이터 또는 적어도 하나의 MFU를 포함할 수 있다. MMT 힌트 트랙은 MFU 데이터를 추출하는 방법을 전송부에 암시한다. 프래그멘테이션이 사용되지 않으면 힌트 트랙은 생략될 수 있다.

MMT 힌트 트랙은 샘플의 엔트리 포멧을 나타낼 수 있다. 각 미디어 샘플은 적어도 하나의 MFU에 지정되고, MMT 힌트 트랙의 샘플은 적어도 하나의 MFU를 생성하게 된다.

MMT 힌트 트랙은 다수의 파라미터를 포함한다. 예로, 1의 값을 가지면 다중 레이어 정보가 제공됨을 나타내는 multilayer_flag를 포함할 수 있다. dependency_id는 해당 MFU의 의존성을 나타내는 ID이다. 0의 값이 아니면 적어도 하나의 시간적, 품질적 또는 공간적 해상도 측면에서 적어도 하나의 스케일러빌리티 레벨에 의해 비디오를 향상시킨다. depth_id는 해당 MFU가 비디오의 깊이 데이터(depth data)를 전달하는지를 나타낸다. quality_id는 MFU의 품질 ID이다. 0의 값이 아니면 시간적, 품질적 또는 공간적 해상도의 적어도 한 측면에서 적어도 하나의 스케일러빌리티 레벨에 의해 비디오를 향상 시킨다. temporal_id는 MFU의 시간적 ID이다. 0의 값이 아니면 시간적, 품질적 또는 공간적 해상도의 적어도 한 측면에서 적어도 하나의 스케일러빌리티 레벨에 의해 비디오를 향상시킨다. view_id 는 MFU의 뷰 ID이다. 0의 값이 아니면 시간적, 품질적 또는 공간적 해상도의 적어도 한 측면에서 적어도 하나의 스케일러빌리티 레벨에 의해 비디오를 향상시킨다. 또한 힌트트랙은 스케일러빌리티 차수(scalability dimensions) 정보가 초기 정보에 제공되는 스케일러블 레이어의 아이디를 나타내는 layer_id 파라미터를 가질 수 있다.

MMT 애셋(150)은 복수의 MPU 들로 이루어진다. 즉, MMT 애셋(150)은 MPU들의 집합이다. MMT 애셋(150)은 단일의 데이터 소스로부터의 다수의 MPU(타임드(timed) 또는 넌-타임드(non-timed) 데이터)로 이루어진 데이터 엔티티로서, MMT 애셋 정보(152)는 애셋 패키징 메타데이터(Asset packaging metadata) 및 데이터 타입과 같은 부가 정보를 포함할 수 있다. MMT 애셋(150)은 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 FF(File Format), PES(packetized elementary streams), M2TS(MPEG transport stream)등을 포함할 수 있다.

또한 MMT 애셋은 부호화된 미디어 데이터를 가지는 논리적 데이터 개체일 수 있다. MMT 애셋은 MMT 애셋 헤더 및 부호화된 미디어 데이터를 가진다. 부호화된 미디어 데이터는 같은 MMT 애셋 아이디로 집단적으로 참조되는 MPU들의 그룹일 수 있다. MMT 클라이언트와 직접 관련되는 개체로 각각 소비되는 타입의 데이터는 분리된 MMT 애셋일 수 있다. 그러한 데이터 타입들의 예로 MPEG-2 TS, PES, MP4 file, MPEG-U Widget Package, JPEG 파일 들을 들 수 있다.

MMT 애셋의 부호화된 미디어는 타임드 데이터 또는 비-타임드 데이터 일 수 있다. 타임드 데이터는 지정된 시간에 특정 데이터의 동기화된 디코딩 및 프리젠테이션이 요구되는 시청각 미디어 데이터이다. 비-타임드 데이터는 서비스의 제공 또는 사용자 상호작용에 따라 임의의 시간에 디코딩되고 제공될 수 있는 데이터 타입의 데이터이다.

서비스 제공자(service provider)는 MMT 애셋들을 통합하여 MMT 애셋들을 공간-시간축상에 두고 멀티미디어 서비스를 생성할 수 있다.

MMT 패키지(160)는 하나 또는 하나 이상의 MMT 애셋(150)을 포함하는 MMT 애셋의 집합이다. MMT 패키지 내의 MMT 애셋들은 다중화되거나 또는 사슬같이 연결(concatenated)될 수 있다.

MMT 패키지는 MMT 애셋 및 컨피겨레이션 정보를 위한 컨테이너 포맷이다. MMT 패키지는 MMT 프로그램을 위한 MMT 애셋 및 컨피겨레이션 정보의 저장소를 제공한다.

MMT 프로그램 제공자는 부호화된 데이터를 MMT 애셋으로 캡슐화하고 MMT 애셋과 그들의 전송 특성의 시간적 및 공간적 레이아웃을 설명하는 것으로 컨피겨레이션 정보를 생성한다. MMT 애셋은 D.1 페이로드 포맷으로 직접적으로 전송될 수 있다. 컨피겨레이션 정보는 S.1 프리젠테이션 세션 관리 메시지에 의해 전송될 수 있다. 그러나 MMT 프로그램의 릴레이 또는 추후의 재사용을 허용하는 MMT 프로그램 제공자 및 클라이언트는 MMT 패키지 포맷으로 이를 저장한다.

MMT 패키지를 파싱하는데 있어, MMT 프로그램 제공자는 MMT 애셋이 클라이언트에게 어떤 전송 경로(예를들면, 브로드캐스트 또는 브로드밴드)로 제공될지를 결정한다. MMT 패키지에서의 컨피겨레이션 정보는 전송 관련 정보와 함께 S.1 프리젠테이션 세션 관리 메시지로 전송된다.

클라이언트는 S.1 프리젠테이션 세션 관리 메시지를 수신하여 어떤 MMT 프로그램이 가능하고 어떻게 해당되는 MMT 프로그램을 위한 MMT 애셋을 수신하는지를 알게된다.

MMT 패키지는 D.1페이로드 포맷에 의해 또한 전송될 수 있다. MMT 패키지는 D.1 페이로드 포맷으로 패킷화 되고 전달된다. 클라이언트는 패킷화된 MMT 패키지를 수신하고 이의 전부 또는 일부를 구성하고, 여기서 MMT 프로그램을 소비한다.

MMT 패키지(160)의 패키지 정보(package information)(165)는 컨피겨레이션 정보(Configuration Information)를 포함할 수 있다. 컨피겨레이션 정보(Configuration Information)는 MMT 애셋들의 리스트, 패키지 식별 정보(package identification information), 컴포지션 정보(composition information, CI)(162) 및 애셋 전달 특성(Asset Delivery Characteristics, ADC) (164)과 같은 부가 정보를 포함할 수 있다. 컴포지션 정보(162)는 MMT 애셋(150)들 사이의 관계(relationship)에 대한 정보를 포함한다.

또한, 컴포지션 정보(162)는 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다. 컴포지션 정보(162)는 MMT 패키지내의 시간적, 공간적, 적응적 관계(relationship)에 대한 정보를 포함할 수 있다. 컴포지션 정보(162)는 다중 스크린 환경에서 패키지 전달 최적화 및 표현을 위한 정보를 제공한다. 또한, 컴포지션 정보(162)는 다중스크린 환경에서 애셋을 특정 스크린에 매핑하는 정보를 나타낼 수 있다. MMT 패키지의 전송 및 프리젠테이션을 돕는 정보와 같이, MMT에서의 컴포지션 정보(162)는 MMT 패키지 내의 MMT 애셋 사이의 공간적 및 시간적 관계에 대한 정보를 제공한다.

MMT-CI는 HTML5를 확장하여 그러한 정보를 제공하는 설명적인 언어이다. HTML5가 텍스트 기반 컨텐츠의 페이지기반 프리젠테이션을 설명하도록 설계되었다면, MMT-CI는 주로 소스들간의 공간적인 관계를 표현한다. MMT 애셋들 간의 시간적 관계를 알려주는 표현을 지원하기 위하여, 프리젠테이션 리소스와 같이 MMT 패키지에 있는 MMT 애셋에 관련된 정보, MMT 애셋의 전송 및 소비 순서를 결정하는 시간 정보 및 HTML5에서 다양한 MMT 애셋을 소비하는 미디어 요소들의 추가적인 속성을 가지도록 확장될 수 있다.

애셋 전달 특성(Asset Delivery characteristics) 정보(164)는 전달 특성에 대한 정보를 포함하며, 각각의 MMT 애셋(또는 MMT 패킷)의 전달 조건(delivery condition)을 결정하기 위해 필요한 정보를 제공할 수 있다. 애셋 전달 특성은 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다.

트래픽 기술 파라미터는 미디어 프래그먼트 유닛(MFU)(130) 또는 MPU에 대한 비트율(bitrate) 정보, 우선 순위(priority) 정보등을 포함할 수 있다. 비트율 정보는 예를 들어 MMT 애셋이 가변 비트율(Variable BitRate; VBR) 또는 고정 비트율(Constant BitRate; CBR)인지 여부에 대한 정보, 미디어 프래그먼트 유닛(MFU)(또는 MPU)에 대해 보장된 비트율(guaranteed bitrate), 미디어 프래그먼트 유닛(MFU)(또는 MPU)에 대한 최대 비트율을 포함할 수 있다. 상기 트래픽 기술 파라미터는 전달 경로상의 서버, 클라이언트, 기타 다른 구성요소들 간에 리소스 예약(resource reservation)을 위해 사용될 수 있으며, 예를 들어 MMT 애셋내의 미디어 프래그먼트 유닛(MFU)(또는 MPU)의 최대 크기 정보를 포함할 수 있다. 상기 트래픽 기술 파라미터는 주기적 또는 비주기적으로 업데이트될 수 있다.

QoS 기술자는 QoS 제어를 위한 정보를 포함하며, 예를 들어 지연(delay) 정보 및 손실 정보(loss information)를 포함할 수 있다. 손실 정보는 예를 들어 MMT 애셋의 전달 손실(delivery loss)이 허용되는지 않되는지에 대한 손실 지시자(loss indicator)를 포함할 수 있다. 예를 들어 손실 지시자가 ‘1’인 경우 ‘lossless’를 나타내고, ‘0’인 경우에는 ‘lossy’를 나타낼 수 있다. 지연(delay) 정보는 MMT 애셋의 전송 지연의 민감도를 구분하는데 사용되는 지연 지시자(delay indicator)를 포함할 수 있다. 지연 지시자는 MMT 애셋의 타입이 대화(conversation), 인터랙티브(interactive), 실시간(real time) 및 비실시간(non-realtime) 인지 여부를 지시할 수 있다.

하나의 컨텐츠(content)는 하나의 MMT 패키지로 이루어질 수 있다. 또는 하나의 컨텐츠(content)는 복수개의 MMT 패키지로 이루어질 수도 있다. 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 시간적(temporal), 공간적(spatial), 적응적(adaptive) 관계(relationship)를 나타내는 컴포지션 정보(composition information) 또는 컨피겨레이션 정보(configuration information)가 MMT 패키지들 중에 하나의 MMT 패키지 내부에 존재하거나 MMT 패키지 외부에 존재할 수 있다.

예를 들어 하이브리드 전달(hybrid delivery)의 경우 컨텐츠 컴포넌트(content component)들 중 일부는 방송망(broadcast network)을 통해 전송되고 컨텐츠 컴포넌트(content component)들 중 나머지 부분은 광대역망(broadband network) 또는 다른 방송망을 통해 전송될 수 있다. 예를 들어 하나의 멀티뷰 서비스를 구성하는 복수의 AV 스트림(audiovisual stream)의 경우 하나의 스트림은 방송망으로 전송되고 다른 스트림은 광대역망으로 전송될 수 있으며, 각각의 AV 스트림은 다중화되고 클라이언트 단말에 개별적으로 수신되어 저장될 수 있다. 또는 예를 들어 위젯(widget)과 같은 애플리케이션 소프트웨어는 광대역망으로 전송되고, AV 스트림(AV 프로그램)은 기존 방송망으로 전달되는 시나리오도 존재할 수 있다. 또한, 다른 예에서, 하나의 미디어 컴포넌트는 광대역망으로 전송되고 다른 미디어 컴포넌트는 다른 광대역망으로 전송될 수도 있다.

상기와 같은 멀티뷰 서비스 시나리오 및/또는 위젯(widget) 시나리오의 경우, 복수의 AV 스트림 전체가 하나의 MMT 패키지로 될 수 있으며, 이 경우에는 복수의 스트림 중의 하나는 하나의 클라이언트 단말에만 저장될 수 있고, 스토리지 컨텐츠(storage content)는 MMT 패키지의 부분이 되며, 클라이언트 단말은 컴포지션 정보(composition information) 또는 컨피겨레이션 정보(configuration information)를 재기록 해야하고, 재기록 된 컨텐츠는 서버와 무관한 새로운 MMT 패키지가 될 수 있다.

상기와 같은 멀티뷰 서비스 시나리오 및/또는 위젯(widget) 시나리오의 경우, 각각의 AV 스트림이 하나의 MMT 패키지로도 될 수 있으며, 이 경우에는 복수의 MMT 패키지가 하나의 컨텐츠를 구성하게 되며, 스토리지(storage)에는 MMT 패키지 단위로 기록되며, MMT 패키지들간의 관계(relationship)를 나타내는 컴포지션 정보 또는 컨피겨레이션 정보가 필요하다.

하나의 MMT 패키지내에 포함된 컴포지션 정보 또는 컨피겨레이션 정보(configuration information)는 다른 MMT 패키지내의 MMT 애셋을 참조할 수 있으며, 또한 아웃-밴드(out-band) 상황에서 MMT 패키지를 참조하는 MMT 패키지의 외부를 표현할 수 있다.

한편, 서비스 제공자(service provider)에 의해 제공된 MMT 애셋(160)들의 리스트 및 MMT 패키지(160)의 전달을 위해 가능한 경로를 클라이언트 단말에게 알려주기 위하여 MMT 패키지(160)는 시그널링(S) 계층을 통하여 서비스 디스커버리 정보(Service discovery information)로 번역되어 MMT 제어 메시지에는 서비스 디스커버리를 위한 정보 테이블을 포함할 수 있다.

멀티미디어 컨텐츠를 복수개의 세그먼트로 분할한 서버는 소정의 개수로 분할된 복수개의 세그먼트들에 URL 정보를 할당하고, 각각의 세그먼트들에 대한 URL 정보를 미디어 정보 파일에 저장하여 클라이언트로 전송한다.

상기 미디어 정보 파일은 HTTP 스트리밍을 표준화하는 표준화 기구에 따라서‘미디어 표현 기술(MPD: Media Presentation Description)’ 또는 ‘매니페스트 파일(Manifest file)’등의 다양한 명칭으로 불리어 질 수 있다.

하이브리드 전송 등에 기반한 경우 다중 레이어 미디어 데이터(multi-layered media data)를 다중 경로를 통하여 전송할 수 있다. 하이브리드 전송의 기본 컨셉은 미디어 컴포넌트를 서로 상이한 채널에서 결합시키기 위한 것이다. 하이브리드 전달 기반의 MMT 서비스에서는 서로 다른 서버들을 활용하여 다중 레이어 미디어 데이터를 다중 경로(예를 들어, 다른 채널 또는 네트워크)를 통해 하나의 클라이언트 장치로 전달할 수 있으며, 이러한 경우에 클라이언트 장치는 수신한 복수 개의 미디어 스트림들을 통합된 형태로 동기화를 맞추면서 서비스할 수 있어야 한다. 하지만, 현재 진행중인 MMT 기술에 따르면, 다중 레이어 미디어 데이터의 모든 레이어는 단일 MPU에 포함되어야 한다. MMT 애셋은 하나 이상의 MPU들의 묶음으로 생성되므로, 모든 레이어는 단일 MMT 애셋에 속하게 된다. 이 경우 모든 레이어는 하나의 ADC(Asset Delivery Characteristic)만을 가지게 된다. 따라서, 다중 레이어 각각에 독립적인 전달 특성(Delivery Characteristic)을 지정하여 다중경로로 전송할 수 있는 방안이 요구된다.

다중 레이어 미디어 데이터의 다수의 레이어가 둘 이상의 다른 MMT 애셋에 나누어져 캡슐화되는 것을 허용하는 경우, 하나의 MMT 애셋은 하나의 레이어 혹은 일부(some) 레이어들을 포함할 수 있다.

도 4는 다중 레이어 미디어 데이터에 관한 MMT 애셋들의 예를 나타낸다. 도 4에서는 3 레이어의 SVC(Scalable Vedio Coding) 미디어 데이터를 예를 들고 있다. 3 레이어의 SVS 미디어 데이터는 기본 레이어(base layer), 향상 레이어(enhancement layer) 1 및 향상 레이어 2를 포함한다. 각 레이어는 개별적인(individual) MMT 애셋에 맵핑된다. 예를 들어, MMT 애셋 1은 기본 레이어를 포함하고, MMT 애셋 2는 향상 레이어 1을 포함하며, MMT 애셋 3은 향상 레이어 2를 포함한다. 이 경우 예를 들어 MMT 애셋 2 및 MMT 애셋 3은 적절하게 디코딩되기 위하여 하나 이상의 다른 MMT 애셋을 참조해야 할 수 있다.

도 5는 다중 미디어 데이터에 관한 MMT 애셋들의 관계를 개략적으로 나타내는 뷰(view)의 예이다. 도 5를 참조하면, 비디오 1은 MMT 애셋 1, MMT 애셋 2, MMT 애셋 3을 포함한다. 이 경우 MMT 애셋 3은 MMT 애셋 1 및 MMT 애셋 2에 종속되고, MMT 애셋 2는 MMT 애셋 1에 종속될 수 있다.

본 발명에 따르면, 상기와 같은 MMT 애셋들간의 종속 관계를 MMT CI를 통하여 나타낼 수 있다. 즉, 본 발명에 따른, MMT CI는 MMT 애셋들 간의 종속성을 나타내는 종속성 정보를 포함하며, 상기 종속성 정보는 다음과 같은 적어도 하나의 속성(attribute)을 포함할 수 있다. MMT CI는 XML(eXtensible markup language) 문서(document)로 나타내어질(represented as) 수 있다. XML 문서는 CI 문서라고 불릴 수도 있다. MMT CI는 HTML(Hypertext Markup Language) 5 (또는 HTML n)과 함께 기술될 수 있고, 또는 HTML 5에 의하여 지시될 수 있다. HTML 5는 일반적으로(typically) DOM(Document Object Model) 트리로 분석(parsed into)된다.

제1 실시예

제1 실시예에 따르면, MMT CI는 isDependent 속성과 depID 속성을 포함한다. 다만 상기 속성들의 명칭은 예시로서, 약속에 의하여 달리 정해질 수 있음은 당연하다. 예를 들어, 상기 depID는 depAssetID라 불릴 수도 있다.

isDependent 속성은 해당 미디어 요소(media elemet)가 다른 미디어 요소에 종속되어 있는지 여부를 나타낸다. 즉, isDependent 속성은 해당 MMT 애셋이 다른 MMT 애셋에 종속되어 있는지 여부를 나타낸다. 이는 현재 MMT 애셋의 성공적인 디코딩과 프레젠테이션(presentation)을 보장하기 위함이다. 만약 isDepnedent 속성이 "TRUE"이면, 해당 MMT 애셋을 위하여 반드시 depID 속성이 가리키는 다른 MMT 애셋이 참조되어야 함을 나타낸다. 만약 isDependent 속성이 "FALSE"이면 해당 MMT 애셋을 위하여 다른 MMT 애셋을 참조하지 않음을 나타낸다. 초기설정으로 isDependent는 "FALSE"로 설정될 수 있다. 예를 들어, isDependent 속성은 불 방식(boolen) 타입으로 표현될 수 있다.

depID 속성은 해당 미디어 요소를 위하여 참조되어야 하는 미디어 요소(들)의 ID에 관한 리스트를 나타낸다. 즉, 해당 MMT 애셋을 위하여 참조되어야 하는 MMT 애셋의 ID에 관한 리스트를 나타낸다. 상기 참조되어야 하는 MMT 애셋의 ID는 하나일 수 있고, 또는 둘 이상일 수도 있다. 예를 들어, depID 속성은 상기 isDependent 속싱이 "TRUE"인 경우에만 존재할 수 있다. 또한 예를 들어, depID 속성은 스트링벡터(string vector) 타입으로 표현될 수 있다.

다음 도 6 내지 도 9는 본 발명의 제1 실시예에 따른 다중 레이어 미디어 데이터에 관한 MMT CI의 예들을 나타낸다.

도 6을 참조하면, MMT 애셋 3에 관하여는 isDependent가 "TURE"이므로, MMT 애셋 3은 다른 MMT 애셋에 종속되고, depID는 asset2, asset1을 가리키므로, MMT 애셋 3을 위하여 MMT 애셋 2 및 MMT 애셋 1이 참조된다. MMT 애셋 2에 관하여는 isDependent가 "TRUE"이고, MMT 애셋2를 위하여 MMT 애셋 1이 참조된다. MMT 애셋 1에 관하여는 isDependent가 "False"이므로 MMT 애셋 1은 다른 MMT 애셋에 종속되지 않는다. 즉, MMT 애셋 1을 위하여 다른 MMT 애셋을 참조하지 않는다.

도 7을 참조하면, MMT 애셋 3에 관하여는 isDependent가 "TURE"이므로, MMT 애셋 3은 다른 MMT 애셋에 종속되고, MMT 애셋 3을 위하여 MMT 애셋 2가 참조된다. MMT 애셋 2에 관하여는 isDependent가 "TRUE"이고, MMT 애셋2를 위하여 MMT 애셋 1이 참조된다. MMT 애셋 1에 관하여는 isDependent가 "False"이므로 MMT 애셋 1은 다른 MMT 애셋에 종속되지 않는다.

한편, 도 8 및 도 9에서 MMT CI는 HTML 5에 의하여 지시된다. 예를 들어, HTML 5의 MMT-CI begin 구문에 의하여 MMT-CI가 지시될 수 있다. MMT CI에서 refID 속성은 미디어 요소의 식별자이다. 즉, refID는 해당 MMT 애셋을 식별하기 위한 ID를 나타낸다고 볼 수 있다.

도 8을 참조하면, MMT CI에서, refID가 asset3을 가리키는 MMT 애셋 3에 관하여는 isDependent가 "TURE"이므로, MMT 애셋 3은 다른 MMT 애셋에 종속되고, depID가 asset2, asset1을 가리키므로, MMT 애셋 3을 위하여 MMT 애셋 2 및 MMT 애셋 1이 참조된다. 또한, refID가 asset2를 가리키는 MMT 애셋 2에 관하여는, isDependent가 "TURE"이므로, MMT 애셋 2는 다른 MMT 애셋에 종속되고, depID가 asset1을 가리키므로, MMT 애셋 2를 위하여 MMT 애셋 1이 참조된다.

도 9를 참조하면, MMT CI에서, refID가 asset3을 가리키는 MMT 애셋 3에 관하여는 isDependent가 "TURE"이므로, MMT 애셋 3은 다른 MMT 애셋에 종속되고, depID가 asset2를 가리키므로, MMT 애셋 3을 위하여 MMT 애셋 2가 참조된다. 또한, refID가 asset2를 가리키는 MMT 애셋 2에 관하여는, isDependent가 "TURE"이므로, MMT 애셋 2는 다른 MMT 애셋에 종속되고, depID가 asset1을 가리키므로, MMT 애셋 2를 위하여 MMT 애셋 1이 참조된다.

제2 실시예

제2 실시예에 따르면, MMT CI는 depID 속성을 포함한다. 다만 상기 속성의 명칭은 예시로서, 약속에 의하여 달리 정해질 수 있음은 당연하다.

depID 속성은 해당 MMT 애셋을 위하여 참조되어야 하는 MMT 애셋의 ID에 관한 리스트를 나타낸다. 이는 현재 MMT 애셋의 성공적인 디코딩과 프레젠테이션(presentation)을 보장하기 위함이다. 상기 참조되어야 하는 MMT 애셋의 ID는 하나일 수 있고, 또는 둘 이상일 수도 있다.

일 예로, 만약 해당 MMT 애셋을 위하여 참조되어야 할 다른 MMT 애셋이 없는 경우, 해당 MMT 애셋은 상기 depID 속성을 가지지 않을 수 있다.

다른 예로, 만약 해당 MMT 애셋을 위하여 참조되어야 할 다른 MMT 애셋이 없는 경우, depID 속성은 자기 자신(해당 MMT 애셋)의 ID를 가질 수 있다.

도 10 및 도 12는 본 발명의 제2 실시예에 따른 다중 레이어 미디어 데이터에 관한 MMT CI의 예들을 나타낸다.

도 10을 참조하면, MMT 애셋 2에 관하여는 depID가 존재하므로 MMT 애셋 2는 다른 MMT 애셋에 종속되고, depID가 asset1을 가리키므로 MMT 애셋 2를 위하여 MMT 애셋 1이 참조된다. MMT 애셋 1에 관하여는 depID가 존재하지 않으므로 MMT 애셋 1은 다른 MMT 애셋에 종속되지 않는다. 즉, MMT 애셋 1을 위하여 다른 MMT 애셋을 참조하지 않는다.

도 11을 참조하면, MMT 애셋 2에 관하여는 depID가 asset1을 가리키므로 MMT 애셋 2는 MMT 애셋 1에 종속되고, MMT 애셋 2를 위하여 MMT 애셋 1이 참조된다. MMT 애셋 1에 관하여는 depID가 asset1을 가리키므로 MMT 애셋 1은 다른 MMT 애셋에 종속되지 않는다. 즉, MMT 애셋 1을 위하여 다른 MMT 애셋을 참조하지 않는다.

한편, 본 발명에 따른, MMT CI에 포함되는 MMT 애셋들 간의 종속성(종속 관계)를 나타내는 isDependent 속성 및 depID 속성은 예를 들어 MMT CI에 포함되는 CI 요소의 자요소(child element)인 미디어싱크(MediaSync) 요소에 포함될 수 있다. 이 경우, isDpendent 속성 및 depID 속성의 타입은 다음 도 12와 같이 표현될 수 있다.

도 12를 참조하면, isDependent 속성은 불 방식(boolen) 타입으로 표현될 수 있고, isDependnet 속성은 선택적(optional)으로 사용될 수 있으며, 디폴트 값은 "FALSE"로 설정될 수 있다. 또한 depID 속성은 스트링벡터(string vector) 타입으로 표현될 수 있고, 선택적으로 사용될 수 있다.

도 13은 본 발명의 일 실시예에 따른 MMT 패킷 전송 장치의 구성을 개략적으로 나타낸 블록도의 예이다. 도 13에 도시된 바와 같이, 본 발명에 따른 MMT 패킷 전송 장치는 MPU 생성부(1310), 애셋 생성부(1320), 컴포지션 정보 생성부(1325),패킷화부(1330) 및 전송부(1340)를 포함할 수 있다.

도 13을 참조하면, MPU 생성부(1310)는 미디어 액세스 유닛(AU: Access Unit)을 기반으로 미디어 프로세싱 유닛(MPU: Media Processing Unit)을 생성한다. MPU 생성부(1310)에서의 미디어 프로세싱 유닛 생성 과정은 캡슐화를 통해 E-layer에서 이루어질 수 있다.

애셋 생성부(1320)는 MPU 생성부(1310)에서 생성된 미디어 프로세싱 유닛(MPU)을 기반으로 캡슐화를 수행하여 MMT 애셋을 생성한다. 이 때, 상기 MMT 애셋은 다중 레이어 미디어 데이터의 하나의 레이어 혹은 일부 레이어들을 포함할 수 있다.

컴포지션 정보 생성부는 상기 생성된 MMT 애셋에 관한 다른 MMT 애셋과의 종속성 정보를 포함하는 MMT 컴포지션 정보(MMT-CI)를 생성한다. 상기 MMT-CI는 상기 생성된 MMT 애셋과 연관된 다른 MMT 애셋 간의 종속성을 나타내는 적어도 하나의 속성을 포함할 수 있다. 상기 MMT-CI는 예를 들어 상술한 isDependent 속성과 depID 속성 중 적어도 하나를 포함할 수 있다. 이 경우 상기 MMT-CI는 예를 들어, 도 6 내지 도 12에 도시된 것과 같은 구문을 포함할 수 있다.

패킷화부(1330)는 애셋 생성부(1320)에서 생성된 MMT 애셋과 상기 MMT-CI를 패킷화하여 MMT 패킷을 생성한다. 구체적으로 패킷화부(1330)는 MMT 애셋과 MMT-CI 및 MMT 애셋 전달 특성(MMT-ADC)을 기반으로 MMT 패키지를 생성하고, 생성된 MMT 패키지를 기반으로 MMT 패킷을 생성할 수 있다.

전송부(1340)는 생성된 MMT 패킷을 수신측으로 전송한다.

도 14은 본 발명에 따른 MMT 전송 방법을 개략적으로 나타낸 순서도의 예이다.

도 14을 참조하면, 본 발명에 따른 MMT 패킷 전송 장치는 다중 레이어 미디어 데이터에 관한 둘 이상의 MMT 애셋을 생성한다(S1400). 이 경우 상기 둘 이상의 MMT 애셋 각각은 하나의 레이어 또는 일부의 레이어들을 포함할 수 있다.

MMT 패킷 전송 장치는 상기 둘 이상의 MMT 애셋 각각에 관한 MMT 컴포지션 정보(MMT-CI)들을 생성한다(S1410). 여기서 각 MMT-CI는 MMT 애셋들 간의 종속성을 나타내는 종속성 정보를 포함할 수 있다. 예를 들어, 상기 둘 이상의 MMT 애셋 중 하나를 MMT 애셋 1, 다른 하나를 MMT 애셋 2라 할 경우, 상기 MMT 애셋 1에 관한 MMT-CI는 MMT-CI 1으로, 상기 MMT 애셋 2에 관한 MMT-CI는 MMT-CI 2로 불릴 수 있다. 이 경우 상기 MMT-CI들은 예를 들어 상술한 isDependent 속성과 depID 속성 중 적어도 하나를 포함할 수 있다. 이 경우 상기 MMT-CI들은 예를 들어, 도 6 내지 도 12에 도시된 것과 같은 구문을 포함할 수 있다.

MMT 패킷 전송 장치는 상기 둘 이상의 MMT 애셋과 상기 MMT-CI들을 기반으로 MMT 패킷들을 생성한다(S1420). 상기 MMT 패킷들 각각은 상기 둘 이상의 MMT 애셋들 중 어느 하나의 MMT 애셋과 상기 MMT 애셋에 관한 MMT-CI를 포함한다. 예를 들어, 상기 MMT 패킷들 중 MMT 패킷 1은 상기 MMT 애셋 1 및 MMT-CI 1을 포함할 수 있고, MMT 패킷 2는 상기 MMT 애셋 2 및 MMT-CI 2를 포함할 수 있다.

MMT 패킷 전송 장치는 상기 MMT 패킷들을 다중 경로를 통하여 수신장치로 전송한다(S1430). 이 경우 상기 MMT 패킷들은 서로 다른 경로를 통하여 수신장치로 전송될 수 있다.

도 15은 본 발명에 따른 MMT 패킷 수신 장치의 구성을 개략적으로 나타낸 블록도의 예이다. 도 15에 도시된 바와 같이, 본 발명의 일 실시예에 따른 MMT 패킷 수신 장치는 수신부(1510), MMT 디패킷화부(1120) 및 디코딩부(1130)를 포함할 수 있다.

도 15를 참조하면, 수신부(1510)는 MMT 패킷을 수신한다. 수신부(1510)는 서로 다른 네트워크 또는 채널을 통해 전송되는 MMT 패킷을 수신할 수 있다.

MMT 디패킷화부(1520)는 수신부(1510)에서 수신한 MMT 패킷을 디패킷화하여, MMT 애셋 및 상기 MMT 애셋에 관한 MMT-CI를 획득한다. 이 경우, 상기 MMT-CI는 상기 MMT 애셋의 다른 MMT 애셋에 대한 종속 관계를 나타내는 정보를 포함한다. 상기 MMT-CI는 상기 생성된 MMT 애셋과 연관된 다른 MMT 애셋 간의 종속성을 나타내는 적어도 하나의 속성을 포함할 수 있다. 상기 MMT-CI는 예를 들어 상술한 isDependent 속성과 depID 속성 중 적어도 하나를 포함할 수 있다. 이 경우 상기 MMT-CI는 예를 들어, 도 6 내지 도 12에 도시된 것과 같은 구문을 포함할 수 있다.

디코딩부(1530)는 상기 MMT-CI를 기반으로 상기 MMT 애셋이 다른 MMT 애셋에 종속되었는지 여부를 판단하고, 이를 기반으로 상기 MMT 애셋을 디코딩한다. 디코딩부는 isDependent 속성과 depID 속성 중 적어도 하나를 해석하고, 상기 MMT 애셋이 다른 MMT 애셋에 종속되었는지 여부를 판단할 수 있다. 일 예로, 디코딩부는 상기 isDependent 속성이 "TURE"인 경우에만 상기 depID 속성을 더 해석하고, 상기 MMT 애셋이 어떤 다른 MMT 애셋에 종속되었는지 판단할 수 있다. 또는, 디코딩부는 상기 depID 속성이 존재하는 경우 상기 MMT 애셋이 다른 MMT 애셋에 종속된 것으로 판단하고, 상기 depID 속성이 가리키는 ID를 기반으로, 상기 MMT 애셋이 어떤 다른 MMT 애셋에 종속되었는지 판단할 수도 있다.

예를 들어, 상기 MMT 애셋이 다른 MMT 애셋에 종속된 경우, 디코딩부(1530)은 상기 MMT 애셋을 디코딩함에 있어 상기 다른 MMT 애셋을 참조한다.

상기 isDependent 속성이 "TURE"인 경우에만 상기 depID 속성을 더 해석함

도 16은 본 발명에 따른 MMT 패킷 수신 방법을 개략적으로 나타낸 순서도의 예이다.

도 16을 참조하면, MMT 패킷 수신 장치는 MMT 패킷을 수신한다(S1600). 그리고는, MMT 패킷 수신 장치는 수신된 MMT 패킷에 대해 디패킷화를 수행하여 MMT 애셋 및 MMT-CI를 생성한다(S1610). 그리고, 상기 생성된 MMT-CI를 기반으로 해당 MMT 애셋이 다른 MMT 애셋에 종속되었는지 여부를 판단한다(S1620). 상기 MMT 애셋의 종속 관계를 기반으로, 상기 MMT 애셋을 디코딩한다(S1630). 예를 들어, 상기 MMT 애셋이 다른 MMT 애셋에 종속된 경우, MMT 패킷 수신 장치는 상기 MMT 애셋을 디코딩함에 있어 상기 다른 MMT 애셋을 참조한다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

MMT(MPEG Media Transport) 시스템에서의 MMT 패킷을 전송하는 장치에 있어서,
미디어 액세스 유닛(Access Unit: AU)을 기반으로 생성된 미디어 프로세싱 유닛(Media Processing Unit: MPU)에 기초하여 캡슐화를 수행하여 MMT 애셋(MMT asset)을 생성하는 애셋 생성부;
상기 MMT 애셋에 관한 MMT 컴포지션 정보(MMT Composition Information: MMT-CI)를 생성하는 컴포지션 정보 생성부;
상기 MMT 애셋 및 상기 MMT 컴포지션 정보를 패킷화하여 MMT 패킷을 생성하는 패킷화부; 및
상기 생성된 MMT 패킷을 수신 측으로 전송하는 전송부를 포함하고,
상기 MMT 컴포지션 정보는 상기 MMT 애셋이 적어도 하나의 다른 MMT 애셋에 종속되어 있는지 여부를 나타내는 종속성 정보를 포함하는, MMT 패킷 전송 장치.