KR20130040132A - 이종 ip 네트워크를 통한 미디어 코덱에 독립적인 미디어 데이터 전송 방법 - Google Patents

이종 ip 네트워크를 통한 미디어 코덱에 독립적인 미디어 데이터 전송 방법 Download PDF

Info

Publication number
KR20130040132A
KR20130040132A KR1020120112544A KR20120112544A KR20130040132A KR 20130040132 A KR20130040132 A KR 20130040132A KR 1020120112544 A KR1020120112544 A KR 1020120112544A KR 20120112544 A KR20120112544 A KR 20120112544A KR 20130040132 A KR20130040132 A KR 20130040132A
Authority
KR
South Korea
Prior art keywords
media
mmt
data
unit
encoded
Prior art date
Application number
KR1020120112544A
Other languages
English (en)
Inventor
배성준
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/351,776 priority Critical patent/US20140282799A1/en
Priority to PCT/KR2012/008337 priority patent/WO2013055162A2/ko
Publication of KR20130040132A publication Critical patent/KR20130040132A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP

Abstract

본 발명은 크기를 최소화하고 단순화된 구조의 미디어 유닛의 헤더를 포함하는 부호화된 미디어 분할 데이터 유닛(coded media fragment data unit) 구조로 특정 미디어 코덱에 의존적이지 않고 효율적으로 미디어 스트리밍(streaming)을 전송하기 위한 이종 IP 네트워크를 통한 미디어 데이터 전송 방법을 제공한다.

Description

이종 IP 네트워크를 통한 미디어 코덱에 독립적인 미디어 데이터 전송 방법{A METHOD OF TRANSPORTING MEDIA DATA INDEPENDENT OF MEDIA CODEC THROUGH HETEROGENEOUS IP NETWORK}
본 발명은 미디어 데이터 전송 방법에 관한 것으로서, 보다 상세하게는 부호화된 미디어 데이터를 이종 IP 네트워크(heterogeneous IP network)를 통하여 전송하기 위한 시스템에서의 부호화된 미디어 데이터의 전송 방법에 관한 것이다.
MPEG-2시스템은 방송망에서 AV(Audio Video) 콘텐츠를 전송하기 위해 필요한 패킷화, 동기화, 멀티플렉싱 등 기능에 대한 표준으로 MPEG-2 TS(Transport Stream) 기술을 표준화했고 현재 널리 쓰여지고 있다. 그러나, 네트워크가 All IP (Internet Protocol) 화된 새로운 환경에서 MPEG-2 TS는 비효율적이다.
이에 새로운 미디어 전송환경과 앞으로 예상되는 미디어 전송환경을 고려하여 부호화된 미디어 데이터를 이종 IP 네트워크(heterogeneous IP network)를 통하여 전송하기 위한 시스템에서의 새로운 미디어 전송 기술이 요구된다.
한국 등록 특허 제 0965881 호(비디오 데이터 인코딩 시스템 및 디코딩 시스템, 공개일: 2010.06.16)
부호화된 미디어 데이터(Media Data)를 이종 IP 네트워크(heterogeneous IP network)를 통하여 전송하기 위한 시스템에서, 시스템이 처리하는 부분이 아니라 미디어 인코더가 접근(access) 및 처리(processing)하는 부분인 미디어 유닛(Media Unit)에서 상기 미디어 유닛의 헤더가 복잡한 구조를 가지는 경우 구현이 어렵고, 가용성을 떨어뜨리는 문제점이 있었다.
본 발명의 목적은 특정 미디어 코덱에 의존적이지 않도록 효율적으로 미디어 스트리밍(streaming)을 전송하기 위한 이종 IP 네트워크를 통한 미디어 데이터 전송 방법을 제공하는 것이다.
본 발명은 부호화된 미디어 데이터 전송 하기 위하여, 부호화된 미디어 분할 데이터(coded media fragment data)를 이종 IP 네트워크(heterogeneous IP network)를 통하여 전송하기 위한 시스템에서의 부호화된 미디어 데이터 전송 방법에 있어서, 미디어 코덱 계층으로부터 특정 미디어 코덱에 독립적인 포맷을 가지는 미디어 유닛(Media Unit; MU)을 제공받는 단계; 상기 생성된 미디어 유닛을 캡슐화하여 MMT 애셋(MMT Asset)을 생성하는 단계; 상기 생성된 MMT 애셋을 캡슐화하여 MMT 패키지(MMT Package)를 생성하는 단계; 상기 생성된 MMT 패키지를 받아서 MMT 페이로드 포맷(MMT Payload format)을 생성하는 단계; 및 상기 생성된 MMT 페이로드 포맷을 받아서 MMT 전송 패킷(MMT Transport Packet)을 생성하는 단계를 포함하되, 상기 미디어 유닛은 헤더부 및 데이터부를 포함하고, 상기 데이터부는 부호화된 미디어 분할 데이터(coded media fragment data)를 포함하고, 상기 헤더부는 상기 부호화된 미디어 분할 데이터가 임의 접근이 가능한 시작지점(random access point)을 포함하는지 여부를 나타내는 지시자, 상기 부호화된 미디어 분할 데이터가 부호화된 미디어 데이터(coded media data)의 시작 부분을 포함하는지를 나타내는 지시자 및 상기 부호화된 미디어 분할 데이터가 상기 부호화된 미디어 데이터의 마지막 부분을 포함하는지를 나타내는 지시자를 포함하는 것을 특징으로 하는 부호화된 미디어 데이터 전송 방법을 제공한다.
또한, 상기 헤더부는 상기 부호화된 미디어 분할 데이터가 무손실 전송을 요구하는지를 표기하는 지시자를 더 포함할 수 있다.
또한, 상기 미디어 코덱 계층으로부터 특정 미디어 코덱에 독립적인 포맷을 가지는 미디어 유닛(Media Unit; MU)을 제공받는 단계는, 미디어 코덱 계층으로부터 특정 미디어 코덱에 독립적인 포맷을 가지는 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 제공받는 단계이고; 상기 생성된 미디어 유닛을 캡슐화하여 MMT 애셋(MMT Asset)을 생성하는 단계는, 상기 생성된 미디어 프로세싱 유닛을 캡슐화하여 MMT 애셋(MMT Asset)을 생성하는 단계일 수 있다.
또한, 상기 미디어 코덱 계층으로부터 특정 미디어 코덱에 독립적인 포맷을 가지는 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 제공받는 단계는, 미디어 코덱 계층으로부터 특정 미디어 코덱에 독립적인 포맷을 가지는 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)을 제공받는 단계 및 상기 미디어 프래그먼트 유닛을 캡슐화하여 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 생성하는 단계일 수 있다.
또한, 상기 헤더부는 상기 부호화된 미디어 분할 데이터가 임의 접근이 가능한 시작지점(random access point)을 포함하는지 여부를 나타내는 지시자, 상기 부호화된 미디어 분할 데이터가 액세스 유닛(Access Unit; AU)의 시작 부분을 포함하는지를 나타내는 지시자 및 상기 부호화된 미디어 분할 데이터가 상기 액세스 유닛(Access Unit; AU)의 마지막 부분을 포함하는지를 나타내는 지시자를 포함할 수 있다.
본 발명은 MMT(MPEG Media Transport) 시스템의 경우, 시스템이 처리하는 부분이 아니라 미디어 인코더가 접근(access) 및 처리(processing)하는 미디어 유닛에 있어서, 미디어 인코더가 제공할 수 있는 최소한의 정보로 미디어 유닛의 헤더를 구성함으로써 미디어 인코딩 과정에서 얻을 수 있는 정보를 전달하는 미디어 유닛 헤더의 크기를 최소화하고 미디어 유닛 헤더의 구조를 단순화할 수 있다.
또한, 본 발명은 미디어 유닛 헤더를 미디어의 전송(transport) 및 소비(consume)에 도움을 줄 수 있는 “일반적인”정보로 구성하여 미디어 유닛의 구현을 간단하게 할 수 있다.
또한, 본 발명은 미디어 유닛 헤더를 특정 미디어 코덱에 의존적인 정보를 배제하고 미디어 인코더가 시스템에 전송하는 정보로 구성함으로써, 특정 미디어 코덱에 무관하게 부호화된 미디어 데이터(Media Data)를 이종 IP 네트워크(heterogeneous IP network)를 통하여 전송하기 위한 시스템이 보다 효율적으로 미디어 스트리밍(streaming)을 할 수 있게 한다.
도 1은 MMT 계층 구조를 나타낸 개념도이다.
도 2는 MMT 계층 구조의 각 계층별로 사용되는 단위 정보(또는 데이터 또는 패킷)의 포맷을 나타내는 개념도이다.
도 3은 MMT 패키지 구성의 개념도이다.
도 4는 본 발명의 일 실시 예에 따른 미디어 프래그먼트 유닛(MFU)을 나타낸 표이다.
도 5는 본 발명의 일 실시 예에 따른 미디어 프래그먼트 유닛(MFU) 헤더를 나타낸 표이다.
도 6은 본 발명의 일 실시 예에 따른 부호화된 미디어 분할 데이터를 전송하는 방법을 나타낸 순서도이다.
도 7은 본 발명의 다른 일 실시 예에 따른 부호화된 미디어 분할 데이터를 전송하는 방법을 나타낸 순서도이다.
도 8은 본 발명의 또 다른 일 실시 예에 따른 부호화된 미디어 분할 데이터를 전송하는 방법을 나타낸 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 용어의 의미를 다음과 같이 정의한다.
부호화된 미디어 데이터(Media Data)를 이종 IP 네트워크(heterogeneous IP network)를 통하여 전송하기 위한 시스템은 이하 MMT(MPEG Media Transport) 시스템이라 한다.
컨텐츠 콤포넌트(content component) 또는 미디어 콤포넌트(media component)는 단일 종류의 미디어(media of a single type) 또는 단일 종류의 미디어의 부분 집합(subset of the media of a single type)으로 정의되며, 예를 들어, 비디오 트랙(video track), 영화 자막(movie subtitles), 또는 비디오 향상계층(enhancement layer of video)이 될 수 있다.
컨텐츠(content)는 컨텐츠 콤포넌트의 집합으로 정의하며, 예를 들어 영화(movie), 노래(song)등이 될 수 있다.
표현(presentation)은 사용자가 하나의 컨텐츠 컴포넌트 또는 하나의 서비스를 경험(예를 들어 영화 감상)할 수 있도록 하나 또는 하나 이상의 장치들에 의해 수행되는 동작(operation)으로 정의한다.
서비스(service)는 표현(presentation) 또는 저장(storage)을 위해 전송되는 하나 또는 하나 이상의 컨텐츠 컴포넌트로 정의한다.
서비스 정보(service information)는 하나의 서비스, 상기 서비스의 특성(characteristics) 및 컴포넌트들을 기술하는 메타 데이터로 정의한다.
엑세스 유닛(Access Unit; AU)은 가장 작은 데이터 개체로, 시간 정보를 속성으로 가질 수 있다.
디코딩 및 프리젠테이션을 위한 시간 정보가 지정되지 않은 부호화된 미디어 데이터가 관련되면, AU는 정의되지 않는다.
MMT 애셋(MMT Asset)은 동일한 MMT 애셋 ID와 함께 적어도 하나의 MPU로 구성되거나 또는 다른 표준에서 정의된 형식과 함께 특정 데이터 덩어리로 구성되는 논리적 데이터 개체이다. MMT 애셋은 동일한 컴포지션 정보 및 전송 특성이 적용되는 가장 큰 데이터 유닛이다.
MMT 애셋 전송 특성(MMT Asset Delivery Characteristics; MMT-ADC)은 MMT 애셋을 전송하기 위한 QoS 요구에 관련된 서술이다. MMT-ADC는 특정 전송 환경을 알 수 없게 표현된다.
MMT 컴포지션 정보(MMT Composition Information ; MMT CI)는 MMT 애셋간의 공간적 및 시간적 관계를 설명한다.
미디어 프래그먼트 유닛(Media Fragment Unit; MFU)는 일반적인 컨테이너로, 어떠한 특정 코덱에도 독립적이며, 미디어 디코더에 의해 독립적으로 소비될 수 있는 부호화된 미디어 데이터를 수용한다. 이는 엑세스 유닛(AU)보다 작거나 같은 크기를 가지고 전송계층에서 사용될 수 있는 정보를 수용한다.
MMT 패키지(MMT Package)는 논리적으로 구조화된 데이터의 모음으로, 적어도 하나의 MMT 애셋, MMT-컴포지션 정보, MMT-애셋 전송 특성 및 설명적인 정보로 구성된다.
MMT 패킷(MMT packet)은 MMT 프로토콜에 의해 생성 또는 소비되는 데이터의 포맷이다.
MMT 페이로드 포맷(MMT payload format)은 MMT 프로토콜 또는 인터넷 응용 계층 프로토콜(예를들면, RTP)에 의해 전달될 MMT 패키지 또는 MMT 시그날링 메시지의 페이로드를 위한 포맷이다.
미디어 프로세싱 유닛(Media Processing Unit;MPU)은 어떠한 특정 미디어 코덱에도 독립된 일반적인 컨테이너로, 적어도 하나의 AU 및 추가적인 전송 및 소비에 관련된 정보를 수용한다. 비-시간적 데이터를 위하여, MPU는 AU 범위에 속하지 않는 데이터의 부분을 수용한다. MPU는 완전하고 독립적으로 처리될 수 있는 부호화된 미디어 데이터이다. 이러한 맥락에서 처리는 전송을 위한 MMT 패키지로의 캡슐화 또는 패킷화를 의미한다.
비-시간 데이터(Non-timed data)는 시간을 명시하지 않고 소비되는 모든 데이터 요소를 정의한다. 비-시간 데이터는 데이터가 실행되거나 시작될 수 있는 시간 범위를 가질 수 있다.
시간 데이터(timed data)는 디코딩 및 프리젠테이션 되는 특정한 시간과 연관된 데이터 요소를 정의한다.
미디어 데이터(Media data)는 비-시간 데이터(non-timed data) 및 시간 데이터(timed-data) 모두를 포함한 데이터 요소를 의미한다.
미디어 유닛(Media Unit)은 미디어 프래그먼트 유닛(MFU) 또는 미디어 프로세싱 유닛(MPU)를 포함한 컨테이너(container)를 의미한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 MMT 계층 구조를 나타낸 개념도이다.
도 1을 참조하면, MMT 계층은 캡슐화 계층(Encapsulation layer), 전달 계층(Delivery layer) 및 S 계층(S layer)을 포함한다. MMT 계층은 전송 계층(Transport layer) 위에서 동작한다.
캡슐화 계층(Encapsulation layer; E-layer)은 예를 들어 전송되는 미디어의 패킷화(packetization), 프래그먼테이션(Fragmentation), 동기화(Synchronization), 멀티플렉싱(Multiplexing)등의 기능을 담당할 수 있다.
캡슐화 기능 영역(encapsulation functional area)은 미디어 컨텐츠, MMT 패키지, 그리고 MMT를 준수하는 개체에 의해 처리될 데이터 유닛들의 포맷의 논리적 구조를 정의한다. 적응적 전송을 위해 필수적인 정보를 제공하기 위해 MMT 패키지는 미디어 컨텐츠를 포함하는 컴포넌트들 및 그들간의 관계를 명시한다. 데이터 유닛들의 포맷은 전송 프로토콜의 페이로드로 저장 또는 전송되도록 , 그리고 그들 사이에서 쉽게 변환 되도록 부호화된 미디어를 캡슐화 하기 위해 정의된다.
캡슐화 계층(E-layer)은, 도 1에 도시된 바와 같이, MMT E.1 계층(MMT E.1 Layer), MMT E.2 계층(MMT E.2 Layer) 및 MMT E.3 계층(MMT E.3 Layer)으로 구성될 수 있다.
E.3 계층은 미디어 코덱(A) 계층으로부터 제공된 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)를 캡슐화하여 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 생성한다.
상위 계층으로부터의 부호화된 미디어 데이터는 MFU로 캡슐화된다. 부호화된 미디어의 타입과 값은 MFU를 특정 코덱 기술에 일반적으로 사용될 수 있도록 추상화될 수 있다. 이는 하위 계층이 캡슐화된 부호화된 미디어에 접근없이 MFU를 처리할 수 있도록 한다. 하위 계층은 요구되는 부호화된 미디어 데이터를 네트워크나 저장소의 버퍼로부터 불러오고 미디어 디코더로 전송한다. MFU는 상기 작동을 수행하기 위한 충분한 정보 미디어 부분 유닛을 가지고 있다.
MFU는 미디어 디코더에서 독립적으로 소비될 수 있는 데이터 유닛을 싣을 수 있는, 임의의 특정 코덱(codec)에 독립적인, 포맷을 가질 수 있다. MFU는 예를 들어 비디오의 픽춰(picture) 또는 슬라이스(slice)가 될 수 있다.
독립적으로 전송가능하고 디코드할수 있는 하나 또는 한 그룹의 다수 MFU는 MPU를 생성한다. 독립적으로 전송가능하고 실행가능한 비-시간적 미디어 또한 MPU를 생성한다. MPU는 MFU에의 빠른 접근 및 부분적 소비를 가능하게 하는 MFU의 배열 및 패턴과 같은 내부 구조를 기술한다.
E.2 계층은 E.3계층에서 생성된 MPU를 캡슐화하여 MMT 애셋(MMT Asset)을 생성한다.
MMT 애셋은 단일의 데이터 소스로부터의 하나 또는 복수의 MPU로 이루어진 데이터 엔티티(data entity)로서, 컴포지션 정보(Composition Information; CI) 및 전송 특성(Transport Characteristics; TC)이 정의된 데이터 유닛이며, MMT 페이로드 포맷에 의해 다중화되고, MMT 프로토콜에 의해 전송된다. MMT 애셋은 PES(packetized elementary streams)에 대응될 수 있으며, 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 파일 포맷(File Format), M2TS(MPEG transport stream)등에 대응될 수 있다.
E.1 계층(E.1 Layer)은 E.2 계층에서 생성된 MMT 애셋을 캡슐화하여 MMT 패키지(MMT Package)를 생성한다.
MMT 애셋은 다른 기능적 영역-전송 영역 및 시그날 영역-과 함께 또는 별도로 동일한 사용자 경험의 추후의 응답을 위해 MMT 콤포지션 정보(MMT-composition information;MMT-CI)와 패키지된다. 상기 MMT 패키지 또한 MMT 애셋의 체감 품질을 충족시키도록 각각의 MMT 애셋을 위한 적절한 전송 방법을 선정하는 전송 특성과 함께 패키지된다.
MMT 패키지는 콤포지션 정보(composition information) 및 전송 특성(transport characteristics)과 같은 부가 정보와 함께 하나 또는 복수의 MMT 애셋으로 구성될 수 있다. 콤포지션 정보(composition information)는 MMT 애셋들 사이의 관계(relationship)에 대한 정보를 포함하며, 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다. 전송 특성(transport characteristics)은 MMT 애셋 또는 MMT 패킷의 전송 조건(delivery condition)을 결정하기 위해 필요한 전송 특성 정보를 포함할 수 있으며, 예를 들어 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다. MMT 패키지는 MPEG-2 TS의 프로그램(Program)에 대응될 수 있다.
전달 계층(Delivery layer)은 예를 들어 네트워크를 통해 전송되는 미디어의 네트워크 플로우 멀티플렉싱(Network flow multiplexing), 네트워크 패킷화(Network packetization), QoS 제어 등을 수행할 수 있다.
전달 기능 영역(delivery functional area)은 페이로드의 응용 계층 프로토콜 및 포맷을 정의한다. 본 발명에서 응용 계층 프로토콜은 다중화를 포함하는 멀티미디어의 전송을 위한 종래의 응용 계층 프로토콜에 비하여 MMT 패키지의 전달을 위한 강화된 특징을 제공한다. 페이로드 포맷은 미디어 타입 또는 인코딩 방법을 불문하고 부호화된 미디어 데이터를 전달하도록 정의된다.
전달 계층 (D-layer)은, 도 1에 도시된 바와 같이, MMT D.1 계층(MMT D.1 Layer), MMT D.2 계층(MMT D.2 Layer) 및 MMT D.3 계층(MMT D.3 Layer)으로 구성될 수 있다.
D.1 계층(D.1-layer)은 E.1 계층에서 생성된 MMT 패키지를 받아서 MMT 페이로드 포맷(MMT Payload format)을 생성한다. MMT 페이로드 포맷은 MMT 애셋을 전송하고, 그리고 MMT 애플리케이션 프로토콜 또는 RTP와 같은 다른 기존의 애플리케이션 전송 프로토콜에 의한 소비를 위한 정보를 전송하기 위한 페이로드 포맷이다. MMT 페이로드는 AL-FEC와 같은 정보와 함께 MFU의 프래그먼트를 포함할 수 있다.
D.2 계층(D.2-layer)은 D.1 계층에서 생성된 MMT 페이로드 포맷을 받아서 MMT 전송 패킷(MMT Transport Packet) 또는 MMT 패킷(MMT Packet)를 생성한다. MMT 전송 패킷 또는 MMT 패킷은 MMT를 위한 애플리케이션 전송 프로토콜에 사용되는 데이터 포맷이다.
D.3 계층(D.3-layer)은 교차 계층 설계(cross-layer Design)에 의해 계층간에 정보를 교환할 수 있는 기능을 제공하여 QoS를 지원한다. 예를 들어, D.3 계층은 MAC/PHY 계층의 QoS 파라미터를 이용하여 QoS 제어를 수행할 수 있다.
S 계층(S layer)은 시그널링 기능(signaling function)을 수행한다. 예를 들어 전송되는 미디어의 세션 초기화/제어/관리(session initialization/control/management), 서버 기반 및/또는 클라이언트 기반의 트릭 모드, 서비스 디스커버리(Service discovery), 동기화(Synchronization) 등을 위한 시그널링 기능을 수행할 수 있다.
시그날링 기능 영역(signaling functional area)는 MMT 패키지의 전달 및 소비를 관리하는 메시지의 포맷을 정의한다. 소비 관리를 위한 메시지는 MMT 패키지의 구조를 전송하기 위해 사용되고, 전달 관리를 위한 메시지는 페이로드 포맷의 구조 및 프로토콜의 구성을 전송하기 위해 사용된다.
S 계층(S layer)은, 도 1에 도시된 바와 같이, MMT S.1 계층(MMT S.1 Layer) 및 MMT S.2 계층(MMT S.2 Layer)으로 구성될 수 있다.
S.1 계층은 서비스 디스커버리(Service discovery), 미디어의 세션 초기화/종료(media session initialization/termination), 미디어의 세션 표현/제어(media session presentation/control), 전달(D) 계층 및 캡슐화(E) 계층과의 인터페이스 기능 등을 수행할 수 있다. S.1 계층은 미디어 표현 세션 관리(presentation session management)를 위한 애플리케이션들간의 제어 메시지들의 포맷을 정의할 수 있다.
S.2 계층은 흐름 제어(flow control), 전달 세션 관리(delivery session management), 전달 세션 모니터링(delivery session monitoring), 에러 제어(error control), 하이브리드망 동기화 제어(Hybrid network synchronization control)에 관한 전달 계층(D-layer)의 전달 엔드-포인트들(delivery end-points)간에 교환되는 제어 메시지의 포맷을 정의할 수 있다.
S.2 계층은 전달 계층의 동작을 지원하기 위하여 전달 세션 설정 및 해제(delivery session establishment and release), 전달 세션 모니터링, 흐름 제어, 에러 제어, 설정된 전달 세션에 대한 리소스 예약, 복합 전달 환경하에서의 동기화를 위한 시그널링, 적응적 전달(adaptive delivery)를 위한 시그널링을 포함할 수 있다. 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 즉, S.2 계층은 전술한 바와 같은 전달 계층의 동작을 지원하기 위하여 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 또한, S.2 계층은 전달 계층 및 캡슐화 계층과의 인터페이스 기능을 담당할 수 있다.
도 2는 도 1의 MMT 계층 구조의 각 계층별로 사용되는 단위 정보(또는 데이터 또는 패킷)의 포맷을 나타낸다.
미디어 프래그먼트 유닛(Media Fragment Unit; MFU)(130)은 부호화된 미디어 분할 데이터(coded media fragment data, 132)와 MFUH(Media Fragment Unit Header)(134)로 이루어질 수 있다. 미디어 프래그먼트 유닛(130)은 특정 코덱(codec)에 독립적으로 일반 컨테이너 포맷(general container format)을 가지며 미디어 디코더에서 독립적으로 소비될 수 있는 가장 작은 데이터 유닛을 싣을 수 있다. MFUH(134)는 미디어 특성-예를 들어 유실 허용한계(loss-tolerance)와 같은 부가 정보를 포함할 수 있다. MFU)(130)는 예를 들어 비디오의 픽춰(picture) 또는 슬라이스(slice)가 될 수 있다.
미디어 프래그먼트 유닛(Media Fragment Unit; MFU)은 MFU의 범위에서 적응적인 전송을 수행하기 위해 전송 계층에서 AU의 부분을 캡슐화하는 형식을 정의할 수 있다. MFU는 AU의 부분이 독립적으로 디코드되거나 폐기될 수 있도록 부호화된 미디어의 일정한 형식을 전송하는데 사용될 수 있다.
MFU는 다른 MFU들로부터 하나의 MFU를 구별하기 위한 식별자를 가지고, 단일 AU내의 MFU들 사이의 일반적인 관계 정보를 가질 수 있다. 단일 AU에서의 MFU 사이의 의존 관계가 설명되고, MFU의 관련 우선순위가 그러한 정보들의 부분으로 설명될 수 있다. 상기 정보는 하위 전송 계층에서 전송을 다루는데 사용될 수 있다. 예를 들면, 전송 계층은 불충분한 대역폭에서의 QoS 전송을 지원하도록, 폐기해도 되는 MFU들의 전송을 생략할 수 있다. MFU 구조의 상세한 설명은 후술한다.
MPU는 복수의 미디어 프래그먼트 유닛(130)을 포함하는 미디어 프래그먼트 유닛의 집합이다. MPU는 특정 코덱(codec)에 독립적으로 일반 콘테이너 포맷(general container format)을 가질 수 있으며 액세스 유닛(Access Unit)과 등가의 미디어 데이터를 포함할 수 있다. MPU는 시간 데이터 유닛(timed data unit) 또는 비-시간 데이터 유닛(non-timed data unit) 을 가질 수 있다.
MPU는 MMT를 따르는 개체에 의해 독립적이고 완전하게 처리된 데이터이고, 상기 처리는 캡슐화 및 패킷화를 포함할 수 있다. MPU는 적어도 하나의 MFU로 구성되거나 다른 표준에 의해 정의된 포맷을 가진 데이터의 부분을 가질 수 있다.
단일 MPU는 적어도 하나의 AU의 진정수(integral number) 또는 비-시간 데이터를 수용할 수 있다. 시간 데이터를 위하여, AU는 적어도 하나의 MFU로부터 전달될 수 있으나, 하나의 AU는 다수의 MPU로 분할될 수 없다. 비-시간 데이터에서, 하나의 MPU는 MMT를 준수하는 개체에 의해 독립적이고 완전하게 처리된 비-시간 데이터의 부분을 수용한다.
MPU는 시퀀스번호 및 이를 다른 MPU와 구분하여주는 연관된 애셋 ID로 MMT 패키지 내에서 유일하게 식별될 수 있다
MPU는 적어도 하나의 임의 접근점을 가질 수 있다. MPU 페이로드의 첫 바이트는 항상 임의 접근점으로 시작할 수 있다. 시간 데이터에서, 상기 사실은 MPU 페이로드에서 첫 MFU의 디코딩 순서는 항상 0임을 의미한다. 시간 데이터에서, 각 AU의 프리젠테이션 기간 및 디코딩 순서는 프리젠테이션 시간을 알리기 위해 보내질 수 있다. MPU는 자신의 초기 프리젠테이션 시간을 가지고 있지 않고, 하나의 MPU의 첫 AU의 프리젠테이션 시간은 컴포지션 정보에 기술되어 있을 수 있다. 컴포지션 정보는 MPU의 첫 프리젠테이션 시간을 명시할 수 있다. 상세한 사항은 후술한다.
MMT 애셋(150)은 복수의 MPU들로 이루어진 MPU의 집합이다. MMT 애셋(150)은 단일의 데이터 소스로부터의 다수의 MPU(시간(timed) 또는 비-시간(non-timed) 데이터)로 이루어진 데이터 엔티티로서, MMT 애셋 정보(152)는 애셋 패키징 메타데이터(Asset packaging metadata) 및 데이터 타입과 같은 부가 정보를 포함한다. MMT 애셋(150)은 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 FF(File Format), PES(packetized elementary streams), M2TS(MPEG transport stream)등을 포함할 수 있다.
MMT 애셋(MMT Asset)은 부호화된 미디어 데이터를 수용하는 논리적 데이터 개체이다. MMT 애셋은 MMT 애셋 헤더 및 부호화된 미디어 데이터로 구성될 수 있다. 상기 부호화된 미디어 데이터는 동일한 MMT 애셋 ID로 MPU들의 집합적 참조 그룹이 될 수 있다. MMT 클라이언트에 직접적으로 연결된 개체에 의해 개별적으로 소비될 수 있는 타입의 데이터는 개별적인 MMT 애셋으로 고려될 수 있다. 개별적인 MMT 애셋으로 고려될 수 있는 데이터 타입의 예로 MPEG-2 TS, PES, MP4 file, MPEG-U Widget Package, JPEG file 등을 들 수 있다.
MMT 애셋의 부호화된 미디어는 시간 데이터 또는 비-시간 데이터 일 수 있다. 시간 데이터는 지정된 시간에 특정 데이터의 동기화된 디코딩 및 프리젠테이션이 요구되는 시청각 미디어 데이터이다. 비-시간 데이터는 서비스의 제공 또는 사용자 상호작용에 따라 임의의 시간에 디코딩되고 제공될 수 있는 데이터 타입의 데이터이다.
서비스 제공자(service provider)는 MMT 애셋들을 통합하여 MMT 애셋들을 공간-시간축상에 두고 멀티미디어 서비스를 생성할 수 있다.
MMT 패키지(160)는 하나 또는 하나 이상의 MMT 애셋(150)을 포함하는 MMT 애셋의 집합이다. MMT 패키지 내의 MMT 애셋들은 다중화되거나 또는 사슬같이 연결(concatenated)될 수 있다.
MMT 패키지는 MMT 애셋 및 구성 정보를 위한 컨테이너 포맷이다. MMT 패키지는 MMT 프로그램을 위한 MMT 애셋 및 구성 정보의 저장소를 제공한다.
MMT 프로그램 제공자는 부호화된 데이터를 MMT 애셋으로 캡슐화하고 MMT 애셋과 그들의 전송 특성의 시간적 및 공간적 레이아웃을 설명하는 것으로 구성 정보를 생성한다. MU 및 MMT 애셋은 D.1 페이로드 포맷으로 직접적으로 전송될 수 있다. 구성 정보는 C.1 프리젠테이션 세션 관리 메시지에 의해 전송될 수 있다. 그러나 MMT 프로그램의 릴레이 또는 추후의 재사용을 허용하는 MMT 프로그램 제공자 및 클라이언트는 MMT 패키지 포맷으로 이를 저장한다.
MMT 패키지를 파싱하는데 있어, MMT 프로그램 제공자는 MMT 애셋이 클라이언트에게 어떤 전송 경로(예를들면, 브로드캐스트 또는 브로드밴드)로 제공될지를 결정한다. MMT 패키지에서의 구성 정보는 전송 관련 정보와 함께 C.1 프리젠테이션 세션 관리 메시지로 전송된다.
클라이언트는 C.1 프리젠테이션 세션 관리 메시지를 수신하여 어떤 MMT 프로그램이 가능하고 어떻게 해당되는 MMT 프로그램을 위한 MMT 애셋을 수신하는지를 알게된다.
MMT 패키지는 D.1페이로드 포맷에 의해 또한 전송될 수 있다. MMT 패키지는 D.1 페이로드 포맷으로 패킷화 되고 전달된다. 클라이언트는 패킷화된 MMT 패키지를 수신하고 이의 전부 또는 일부를 구성하고, 여기서 MMT 프로그램을 소비한다.
MMT 패키지(160)의 패키지 정보(package information)(165)는 구성 정보(Configuration Information)를 포함할 수 있다. 구성 정보(Configuration Information)는 MMT 애셋들의 리스트, 패키지 식별 정보(package identification information), 콤포지션 정보(composition information)(162) 및 전송 특성(transport characteristics)(164)와 같은 부가 정보를 포함할 수 있다. 콤포지션 정보(composition information)(162)는 MMT 애셋(150)들 사이의 관계(relationship)에 대한 정보를 포함한다.
또한, 콤포지션 정보(composition information)(162)는 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다. 콤포지션 정보(composition information)(162)는 MMT 패키지내의 시간적, 공간적, 적응적 관계(relationship)에 대한 정보를 포함할 수 있다.
MMT 패키지의 전송 및 프리젠테이션을 돕는 정보와 같이, MMT에서의 컴포지션 정보(Composition Information)는 MMT 패키지 내의 MMT 애셋 사이의 공간적 및 시간적 관계에 대한 정보를 제공한다.
MMT-CI는 HTML5를 확장하여 그러한 정보를 제공하는 설명적인 언어이다. HTML5가 텍스트 기반 컨텐츠의 페이지기반 프리젠테이션을 설명하도록 설계되었다면, MMT-CI는 주로 소스들간의 공간적인 관계를 표현한다. MMT 애셋들 간의 시간적 관계를 알려주는 표현을 지원하기 위하여, 프리젠테이션 리소스와 같이 MMT 패키지에 있는 MMT 애셋에 관련된 정보, MMT 애셋의 전송 및 소비 순서를 결정하는 시간 정보 및 HTML5에서 다양한 MMT 애셋을 소비하는 미디어 요소들의 추가적인 속성을 가지도록 확장될 수 있다. 자세한 설명은 후술한다.
전송 특성(transport characteristics) 정보(164)는 전송 특성에 대한 정보를 포함하며, 각각의 MMT 애셋(또는 MMT 패킷)의 전송 조건(delivery condition)을 결정하기 위해 필요한 정보를 제공할 수 있다. 전송 특성 정보는 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다.
트래픽 기술 파라미터는 미디어 프래그먼트 유닛(MFU)(130) 또는 MPU에 대한 비트율(bitrate) 정보, 우선 순위(priority) 정보등을 포함할 수 있다. 비트율 정보는 예를 들어 MMT 애셋이 가변 비트율(Variable BitRate; VBR) 또는 고정 비트율(Constant BitRate; CBR)인지 여부에 대한 정보, 미디어 프래그먼트 유닛(MFU)(또는 MPU)에 대해 보장된 비트율(guaranteed bitrate), 미디어 프래그먼트 유닛(MFU)(또는 MPU)에 대한 최대 비트율을 포함할 수 있다. 상기 트래픽 기술 파라미터는 전달 경로상의 서버, 클라이언트, 기타 다른 구성요소들 간에 리소스 예약(resource reservation)을 위해 사용될 수 있으며, 예를 들어 MMT 애셋내의 미디어 프래그먼트 유닛(MFU)(또는 MPU)의 최대 크기 정보를 포함할 수 있다. 상기 트래픽 기술 파라미터는 주기적 또는 비주기적으로 업데이트될 수 있다.
QoS 기술자는 QoS 제어를 위한 정보를 포함하며, 예를 들어 지연(delay) 정보 및 손실 정보(loss information)를 포함할 수 있다. 손실 정보는 예를 들어 MMT 애셋의 전달 손실(delivery loss)이 허용되는지 않되는지에 대한 손실 지시자(loss indicator)를 포함할 수 있다. 예를 들어 손실 지시자가 ‘1’인 경우 ‘lossless’를 나타내고, ‘0’인 경우에는 ‘lossy’를 나타낼 수 있다. 지연(delay) 정보는 MMT 애셋의 전송 지연의 민감도를 구분하는데 사용되는 지연 지시자(delay indicator)를 포함할 수 있다. 지연 지시자는 MMT 애셋의 타입이 대화(conversation), 인터랙티브(interactive), 실시간(real time) 및 비실시간(non-realtime) 인지 여부를 지시할 수 있다.
하나의 컨텐츠(content)는 하나의 MMT 패키지로 이루어질 수 있다. 또는 하나의 컨텐츠(content)는 복수개의 MMT 패키지로 이루어질 수도 있다.
하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 시간적(temporal), 공간적(spatial), 적응적(adaptive) 관계(relationship)를 나타내는 콤포지션 정보(composition information) 또는 구성 정보(configuration information)가 MMT 패키지들 중에 하나의 MMT 패키지 내부에 존재하거나 MMT 패키지 외부에 존재할 수 있다.
예를 들어 하이브리드 전송(hybrid delivery)의 경우 컨텐츠 컴포넌트(content component)들 중 일부는 방송망(broadcast network)을 통해 전송되고 컨텐츠 컴포넌트(content component)들 중 나머지 부분은 광대역망(broadband network)을 통해 전송될 수 있다. 예를 들어 하나의 멀티뷰 서비스를 구성하는 복수의 AV 스트림(audiovisual stream)의 경우 하나의 스트림은 방송망으로 전송되고 다른 스트림은 광대역망으로 전송될 수 있으며, 각각의 AV 스트림은 다중화되고 클라이언트 단말에 개별적으로 수신되어 저장될 수 있다. 또는 예를 들어 위젯(widget)과 같은 애플리케이션 소프트웨어는 광대역망으로 전송되고, AV 스트림(AV 프로그램)은 기존 방송망으로 전달되는 시나리오도 존재할 수 있다.
상기와 같은 멀티뷰 서비스 시나리오 및/또는 위젯(widget) 시나리오의 경우, 복수의 AV 스트림 전체가 하나의 MMT 패키지로 될 수 있으며, 이 경우에는 복수의 스트림 중의 하나는 하나의 클라이언트 단말에만 저장될 수 있고, 스토리지 컨텐츠(storage content)는 MMT 패키지의 부분이 되며, 클라이언트 단말은 콤포지션 정보(composition information) 또는 구성 정보(configuration information)를 재기록 해야하고, 재기록 된 컨텐츠는 서버와 무관한 새로운 MMT 패키지가 된다.
상기와 같은 멀티뷰 서비스 시나리오 및/또는 위젯(widget) 시나리오의 경우, 각각의 AV 스트림이 하나의 MMT 패키지로도 될 수 있으며, 이 경우에는 복수의 MMT 패키지가 하나의 컨텐츠를 구성하게 되며, 스토리지(storage)에는 MMT 패키지 단위로 기록되며, MMT 패키지들간의 관계(relationship)를 나타내는 컴포지션 정보 또는 구성 정보가 필요하다.
하나의 MMT 패키지내에 포함된 컴포지션 정보 또는 구성 정보(configuration information)는 다른 MMT 패키지내의 MMT 애셋을 참조할 수 있으며, 또한 아웃-밴드(out-band) 상황에서 MMT 패키지를 참조하는 MMT 패키지의 외부를 표현할 수 있다.
한편, 서비스 제공자(service provider)에 의해 제공된 MMT 애셋(160)들의 리스트 및 MMT 패키지(160)의 전달을 위해 가능한 경로를 클라이언트 단말에게 알려주기 위하여 MMT 패키지(160)는 제어(C) 계층을 통하여 서비스 디스커버리 정보(Service discovery information)로 번역되어 MMT 제어 메시지에는 서비스 디스커버리를 위한 정보 테이블을 포함할 수 있다.
멀티미디어 컨텐츠를 복수개의 세그먼트로 분할한 서버는 소정의 개수로 분할된 복수개의 세그먼트들에 URL 정보를 할당하고, 각각의 세그먼트들에 대한 URL 정보를 미디어 정보 파일에 저장하여 클라이언트로 전송한다.
상기 미디어 정보 파일은 HTTP 스트리밍을 표준화하는 표준화 기구에 따라서‘미디어 표현 기술(MPD: Media Presentation Description)’ 또는 ‘매니페스트 파일(Manifest file)’등의 다양한 명칭으로 불리어 질 수 있다. 이하에서는 상기 미디어 정보 파일은 미디어 표현 기술(MPD)로 지칭하고 설명한다.
이하 교차 계층 인터페이스에 대하여 설명한다.
교차 계층 인터페이스(Cross Layer Interface; CLI) 는 응용계층 및 MAC/PHY 계층을 포함하는 하위 계층 사이에서 QoS 관련 정보를 교환하는 것으로 QoS를 지원하는 수단을 단일 개체에서 제공한다. 하위 레이어가 네트워크 채널 상태와 같은 상향식 QoS 정보를 제공하는 한편 응용계층은 하향식 QoS정보로 미디어 특성에 관련된 정보를 제공한다..
교차 계층 인터페이스는 응용계층과 IEE802.11 WiFi, IEEE 802.16 WiMAX, 3G, 4G LTE 등을 포함하는 다양한 네트워크 계층 사이에서 통합된 인터페이스를 제공한다. 인기있는 네트워크 표준의 공통된 네트워크 파라미터들은 다양한 네트워크를 통하는 실시간 미디어 어플리케이션의 정적 및 동적 QoS 제어를 위하여 NAM 파라미터로 발췌된다. NAM 파라미터는 비트 에러율인 BER 값을 포함할 수 있다. BER은 PHY 또는 MAC 계층에서 측정될 수 있다. 또한 NAM은 하부 네트워크의 식별, 가능한 비트율, 버퍼상태, 피크 비트율, 서비스 유닛 크기 및 서비스 데이터 유닛 유실율을 제공한다.
두개의 상이한 방법이 NAM을 제공하는 데에 사용될 수 있다. 첫째 방법은 절대적인 값을 제공하는 것이다. 그리고 둘째 방법은 상대적인 값을 제공하는 것이다. 둘째 방법은 접속중에 NAM을 업데이트하는 용도로 사용할 수 있다.
응용계층은 하위 계층에 대한 미디어 특성에 관련된 하향식 QoS 정보를 제공한다. MMT 애셋 레벨 정보 및 패킷 레벨 정보와 같이 두 가지의 하향식 정보가 존재한다. MMT 애셋 정보는 하위 계층에서 용량 교환 및/또는 자원 (재)할당을 위하여 사용된다. 패킷 레벨 하향식 정보는 지원하는 QoS 레벨을 식별하도록 하위 계층을 위하여 모든 패킷의 적절한 필드에 기록되어 있다.
하위 계층은 응용 계층에 상향식 QoS 정보를 제공한다. 하위 계층은 응용 계층에서 빠르고 보다 정확한 QoS 제어를 가능하게 하는 시간에 따라 변하는 네트워크 상태에 관련된 정보를 제공한다. 상향식 정보는 이종의 네트워크 환경을 지원하기 위해 추상화된 형태로 표현된다. 이러한 파라미터들은 하위 계층에서 측정되고, 주기적으로 또는 MMT 어플리케이션의 요청에 따라 응용 계층에서 읽어진다.
이하, 부호화된 미디어 데이터(Media Data)를 이종 IP 네트워크(heterogeneous IP network)를 통하여 전송하기 위한 시스템(이하 MMT 시스템이라 한다)에 있어서, 미디어 데이터에 관련하여 미디어 인코더가 제공할 수 있는 정보를 표기하는 지시자를 설명한다.
실시예 #1
본 발명의 일 실시 예에 따른 부호화된 미디어 분할 데이터(coded media fragment data)를 이종 IP 네트워크(heterogeneous IP network)를 통하여 전송하기 위한 방법은 도 6에 도시된 바와 같이 수행될 수 있다. 본 발명의 일 실시 예에 따른 부호화된 미디어 분할 데이터를 전송하는 방법은 미디어 코덱 계층으로부터 특정 미디어 코덱에 독립적인 포맷을 가지는 미디어 유닛(Media Unit; MU)을 제공받는다(S610). 제공받은 미디어 유닛을 캡슐화하여 MMT 애셋(MMT Asset)을 생성한다(S620). 그리고 전술한 바와 같이 MMT 애셋을 캡슐화하여 MMT 패키지(MMT Package)를 생성하고(S630), MMT 패키지를 받아서 MMT 페이로드 포맷(MMT Payload format)을 생성하며(S640), MMT 페이로드 포맷을 받아서 MMT 전송 패킷(MMT Transport Packet)을 생성한다(S650).
본 발명의 일 실시 예에서, 다수의 지시자를 미디어 유닛에 포함시켜 인코더가 인코딩 중에 얻은 정보를 시스템에 전달할 수 있다. 이하 구체적인 실시예를 들어 설명한다. 본 발명의 일실시예에 따른 미디어 인코더가 제공할 수 있는 최소한의 정보로 미디어 데이터에 관련되어 인코더가 미디어 유닛에 생성하는 지시자는 임의접근점(Random Access Point; RAP)을 표기하는 flag_RAP, 부호화된 미디어 데이터의 시작(start)과 끝(end)을 표현하는 flag_start_media 및 flag_end_media를 포함하며, 이에 더하여 부호화된 미디어 분할 데이터 전송시 크리티컬(critical) 여부를 표현하는 flag_lossless 지시자를 포함한다. 여기서, 크리티컬 여부란 미디어 유닛을 전송할 경우 부호화된 미디어 분할 데이터의 비트나 패킷의 손실시 디코더에서의 처리에 심각한 문제를 일으킬 수 있는 데이터인지 여부를 나타낸다. 즉, flag_lossless 지시자가 크리티컬임을 지시하는 경우는 유실 허용 한계가 매우 낮은 데이터임을 나타낸다. 상기 언급한 각 지시자는 필요에 따라 일부 생략되어 사용될 수 있다.
이하 각 지시자에 대하여 상세히 설명한다.
flag_RAP은 부호화된 미디어 분할 데이터가 임의접근점(Random Access Point; RAP)을 가지고 있는지를 나타내는 지시자다. Flag_RAP 지시자의 값이 1이면, 부호화된 미디어 분할 데이터는 임의 접근(Random access)이 가능한 시작지점을 포함하고 있음을 나타낸다. 반대로, Flag_RAP 지시자의 값이 0이면, 부호화된 미디어 분할 데이터는 임의 접근(Random access)이 가능한 시작지점을 가지고 있지 않음을 나타낸다.
flag_start_of_media는 부호화된 미디어 분할 데이터가 동일한 PTS(presentation time stamp)를 공유하는 부호화된 미디어 데이터의 첫 번째 프래그먼트(fragment)를 가지는지 여부를 나타낸다. flag_start_of_media 지시자의 값이 1이면 해당 미디어 유닛에 포함된 부호화된 미디어 분할 데이터는 동일한 PTS를 공유하는 부호화된 미디어 데이터의 첫 번째 프래그먼트를 가짐을 나타낸다. 같은 방식으로, flag_start_of_media 지시자의 값이 1이 아니면, 해당 미디어 유닛에 포함된 부호화된 미디어 분할 데이터의 프래그먼트는 동일한 PTS를 공유하는 부호화된 미디어 데이터의 첫 번째 프래그먼트가 아님을 나타낸다.
flag_end_of_media는 해당 미디어 유닛에 포함된 부호화된 미디어 분할 데이터가 동일한 PTS를 공유하는 부호화된 미디어 데이터의 마지막 프래그먼트를 가지는지 여부를 나타낸다. 즉, flag_end_of_media의 값이 1이면 해당 미디어 유닛에 포함된 부호화된 미디어 분할 데이터는 동일한 PTS를 공유하는 부호화된 미디어 데이터의 마지막 프래그먼트를 가짐을 나타낸다.
본 발명의 일 실시 예에 따르면, 프래그멘테이션(Fragmentation) 되지 않고 단일 부호화된 미디어 데이터로 구성된 미디어 유닛의 지시자 값은 flag_start_of_media == 1, flag_end_of_media==1이다.
flag_lossless는 해당 미디어 유닛에 포함된 부호화된 미디어 분할 데이터가 비트나 패킷의 손실에 크리티컬한지 여부를 나타낸다. flag_lossless 지시자의 값이 1이면, 부호화된 미디어 분할 데이터는 비트나 패킷손실 시 디코더에서의 디코딩 프로세스에 심각한 문제를 일으킬 수 있는 데이터를 포함하고 있음을 나타낸다.
실시예 #2
본 발명의 다른 일 실시 예에 따른 부호화된 미디어 분할 데이터(coded media fragment data)를 이종 IP 네트워크(heterogeneous IP network)를 통하여 전송하기 위한 방법은 도 7에 도시된 바와 같이 진행될 수 있다. 본 발명의 일 실시 예에 따른 부호화된 미디어 데이터를 전송하는 방법은 미디어 코덱 계층으로부터 특정 미디어 코덱에 독립적인 포맷을 가지는 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 제공받는 것으로 시작한다(S710). 제공받은 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 캡슐화하여 MMT 애셋(MMT Asset)을 생성한다(S720). 그리고 전술한바와 같이 MMT 애셋을 캡슐화하여 MMT 패키지(MMT Package)를 생성하고(S730), MMT 패키지를 받아서 MMT 페이로드 포맷(MMT Payload format)을 생성하며(S740), MMT 페이로드 포맷을 받아서 MMT 전송 패킷(MMT Transport Packet)을 생성한다(S750).
본 발명의 일 실시 예에서, 다수의 지시자를 미디어 프로세싱 유닛(MPU)에 포함시켜 인코더가 인코딩 중에 얻은 정보를 시스템에 전달할 수 있다. 이하 구체적인 실시예를 들어 설명한다.
본 발명의 일 실시 예에서, 프로세싱 유닛(Media Processing Unit; MPU)은 헤더부 및 데이터부를 포함한다. 데이터부는 부호화된 미디어 분할 데이터를 포함한다. 헤더부는 부호화된 미디어 분할 데이터가 임의 접근이 가능한 시작지점(random access point)을 포함하는지 여부를 나타내는 flag_RAP 지시자, 상기 부호화된 미디어 분할 데이터가 부호화된 미디어 데이터의 시작 부분을 포함하는지를 나타내는 flag_start_of_media 지시자, 상기 부호화된 미디어 분할 데이터가 부호화된 미디어 데이터의 마지막 부분을 포함하는지를 나타내는 flag_end_of_media 지시자 및 상기 헤더부는 상기 부호화된 미디어 분할 데이터가 무손실 전송을 요구하는지를 표기하는 flag_lossless지시자를 포함한다.
상기 실시 예에 따라 MPU를 생성하는 과정을 설명한다. 본 발명의 일 실시 예에서, 부호화된 미디어 데이터를 부호화된 미디어 분할 데이터로 분할한다. 분할 과정 중 부호화된 미디어 분할 데이터의 시퀀스 번호를 생성한다. 또는, 부호화된 미디어 분할 데이터의 시퀀스 번호를 생성하지 않고 순차적으로 MPU에 삽입할 수도 있다. 인코딩 과정 중에 부호화된 미디어 분할 데이터가 부호화된 미디어 데이터의 첫째 또는 마지막 부호화된 미디어 분할 데이터인지 여부 및 부호화된 미디어 분할 데이터가 임의접근점을 가지는지를 판단할 수 있다.
부호화된 미디어 데이터에서 첫째 부호화된 미디어 분할 데이터를 분리한다. 분리한 부호화된 미디어 분할 데이터가 임의접근점을 가지는지 여부를 판단하고, 분리한 부호화된 미디어 분할 데이터를 MPU에 삽입한다. 부호화된 미디어 분할 데이터이므로 flag_start_media에 생성된 부호화된 미디어 분할 데이터의 시퀀스 번호를 저장한다. 본 발명의 다른 실시 예에서 부호화된 미디어 분할 데이터의 시퀀스 번호가 생성되지 않은 경우 MPU에서 부호화된 미디어 분할 데이터가 삽입되는 상대적인 위치를 저장한다. 그리고 flag_RAP에 임의접근점을 가지는지 여부를 표기한다. 본 발명의 일 실시 예에서 flag_RAP 지시자는 부호화된 미디어 분할 데이터의 시퀀스 번호들을 수용할 수 있다. 본 발명의 다른 일 실시 예에서는 flag_RAP 지시자는 MPU에서 부호화된 미디어 분할 데이터가 삽입되는 상대적 위치를 사용하여, flag_RAP이 왼쪽 비트가 우선순위를 가지는 bslbf(bit string, left bit first)지시자일 때, 생성된 부호화된 미디어 분할 데이터가 임의접근점을 가지면 flag_RAP 의 첫 비트에 1을 저장하고, 임의접근점을 가지지 않는다면 첫 비트에 0을 저장한다. 마찬가지 방법으로 Lossless_flags 값을 유지할 수 있다.
부호화된 미디어 데이터의 다음 부호화된 미디어 분할 데이터에 대하여 위와 같은 단계를 반복한다. 생성된 부호화된 미디어 분할 데이터가 부호화된 미디어 데이터의 마지막 부호화된 미디어 분할 데이터인 경우, MPU의 flag_end_of_media에 생성된 부호화된 미디어 분할 데이터의 시퀀스 번호를 저장한다. 그리고 부호화된 미디어 데이터의 모든 부호화된 미디어 분할 데이터에 대한 인코딩이 종료되었을 때, MPU의 캡슐화를 마친다.
실시예 #3
본 발명의 다른 일 실시 예에 따른 부호화된 미디어 분할 데이터(coded media fragment data)를 이종 IP 네트워크(heterogeneous IP network)를 통하여 전송하기 위한 방법은 도 8에 도시된 바와 같이 진행될 수 있다. 본 발명의 일 실시 예에 따른 부호화된 미디어 데이터를 전송하는 방법은 미디어 코덱 계층으로부터 특정 미디어 코덱에 독립적인 포맷을 가지는 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)을 제공받는다(S810). 제공받은 미디어 프래그먼트 유닛을 캡슐화하여 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 생성한다(S820). 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 캡슐화하여 MMT 애셋(MMT Asset)을 생성한다(S830). 그리고 상술한바와 같이 MMT 애셋을 캡슐화하여 MMT 패키지(MMT Package)를 생성하고(S840), MMT 패키지를 받아서 MMT 페이로드 포맷(MMT Payload format)을 생성하며(S850), MMT 페이로드 포맷을 받아서 MMT 전송 패킷(MMT Transport Packet)을 생성한다(S860).
본 발명의 일 실시 예에서, 다수의 지시자를 미디어 프래그먼트 유닛(MFU)에 포함시켜 인코더가 인코딩 중에 얻은 정보를 시스템에 전달할 수 있다. 이하 구체적인 실시예를 들어 설명한다.
MFU에서의 전술한 미디어 인코더가 제공하는 지시자가 적용되는 예를 설명한다. 전술한 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)은 미디어 인코더 (e.g. 비디오 인코더 또는 오디오 인코더)의 출력으로 사용될 수 있다. 본 발명의 일실시 예에 따른 MFU가 도 4에 나타나 있다. MFU는 헤더부인 MFU 헤더(mfu_header) 필드와 데이터부인 미디어 데이터(media_data) 필드로 이루어질 수 있다.
본 발명의 일 실시 예에 따르면, MFU는 액세스 유닛(Access Unit; AU)를 하나 이상의 부호화된 미디어 분할 데이터로 분리하여 각각의 부분을 각각의 MFU에 분리하여 수용한다. 분리된 AU 데이터는 각 MFU의 미디어 데이터(media_data) 필드 필드로 수용된다. 본 발명의 일 실시 예에 따른 MFU의 헤더 구조가 도 5에 나타나 있다. MFU 헤더(mfu_header) 필드는 미디어 인코더에서 내용을 작성하여 시스템에 넘겨주는 형태로 시스템에 정보를 전달하기 위한 통로로 사용될 수 있다.
이하 본 발명의 일 실시 예에 따른 MFU 헤더의 구문(Syntax)와 의미(semantics)를 설명한다. 본 발명의 일 실시예에 따르면, MFU 헤더의 크기는 단순화(simplicity)를 위해 싱글 바이트(single byte)로 고정된 크기를 가지도록 설계될 수 있다. 즉, MFU 헤더의 크기는 단순화(simplicity)를 위해 single byte로 제한될 수 있다.
또한, 대부분의 미디어 코덱(media codec)에 사용될 수 있고 특정 카테고리의 미디어 코덱에 의존성을 가지는 것을 회피하기 위하여 MFU의 헤더는 미디어 인코더가 제공할 수 있는 최소한의 정보로 구성할 수 있다. 따라서, 본 발명의 일실시예에 따른 MFU 헤더는 헤더 크기를 최소화하고 헤더의 구조를 단순화한다. MFU의 생성은 시스템이 처리하는 것이 아니라 미디어 인코더가 접근/처리(access/processing)하는 것이므로 MFU 헤더가 복잡한 구조를 가지는 경우 구현(implementation)이 어렵고, 가용성을 떨어뜨리기 때문이다. 또한, 미디어 인코더가 가장 잘 알고 있는 정보로써 미디어 전송 및 소비에 도움을 줄 수 있는 일반적인 정보로 MFU 헤더를 구성한다. 또한, MFU 헤더 구성시 특정 미디어나 특정 미디어 코덱에 의존적인(dependent) 정보는 최대한 배제한다.
MFU 헤더의 구조를 도 5를 참조하여 보다 상세히 설명한다. 본 발명의 일 실시 예에 따른 MFU헤더는 도 5에 도시된 바와 같이 flag_RAP, flag_lossless, flag_start_of_AU 및 flag_end_of_AU 지시자와 예약 영역인 reserved를 포함할 수 있다. 상기 네 개의 지시자를 1 바이트 내에서 표현하기 위하여 flag_RAP, flag_lossless, flag_start_of_AU 및 flag_end_of_AU 지시자는 1비트의 공간을 차지하도록 설계한다. 그리고 추후의 사용 확장성을 위하여 4 비트의 예약 영역을 둘 수 있다. 각 지시자는 필요에 따라 일부 생략되어 사용될 수 있다.
이하 각 지시자에 대하여 보다 상세하게 설명한다.
flag_RAP는 MFU가 포함하는 부호화된 미디어 분할 데이터가 임의 접근점(Random Access Point; RAP)을 가지고 있는지를 나타내는 지시자다. Flag_RAP 지시자의 값이 1이면, 해당 MFU에 포함된 부호화된 미디어 분할 데이터는 임의 접근(Random access)이 가능한 시작지점을 포함하고 있음을 나타낸다. 반대로, Flag_RAP 지시자의 값이 0이면, 해당 MFU에 포함된 부호화된 미디어 분할 데이터는 임의 접근(Random access)이 가능한 시작지점을 가지고 있지 않음을 나타낸다.
flag_lossless는 MFU가 포함하는 미디어 데이터가 비트나 패킷의 손실에 크리티컬한지 여부를 나타내는 지시자다. flag_lossless 지시자의 값이 1이면, 해당 MFU에 포함된 부호화된 미디어 분할 데이터는 비트나 패킷손실시 디코더 프로세스에 심각한 문제를 일으킬 수 있는 데이터를 포함하고 있음을 나타낸다.
flag_start_of_AU는 해당 MFU에 포함된 부호화된 미디어 분할 데이터가 동일한 PTS(presentation time stamp)를 공유하는 액세스 유닛(AU)의 첫 번째 프래그먼트(fragment)를 가지는지 여부를 나타낸다. flag_start_of_AU 지시자의 값이 1이면 해당 MFU에 포함된 부호화된 미디어 분할 데이터는 동일한 PTS를 공유하는 AU의 첫 번째 프래그먼트를 가지는 것을 나타낸다. 같은 방식으로, flag_start_of_AU 지시자의 값이 1이 아니면, 해당 MFU에 포함된 부호화된 미디어 분할 데이터의 프래그먼트는 동일한 PTS를 공유하는 AU의 첫 번째 프래그먼트가 아닌 것을 나타낸다.
flag_end_of_AU는 해당 MFU에 포함된 부호화된 미디어 분할 데이터가 동일한 PTS를 공유하는 AU의 마지막 프래그먼트를 가지는지 여부를 나타낸다. 즉, flag_end_of_AU의 값이 1이면 본 MFU에 포함된 부호화된 미디어 분할 데이터는 동일한 PTS를 공유하는 AU의 마지막 프래그먼트를 가짐을 나타낸다. 본 발명의 일 실시 예에서, 프래그멘테이션(Fragmentation) 되지 않고 싱글 AU(Single AU)로 구성된 MFU의 지시자의 값은 flag_start_of_AU == 1, flag_end_of_AU==1이다.
상술한 일 실시 예에서 생성된 MFU는 MPU에 순차적으로 저장되어 MFU의 MFU 시퀀스번호를 할당할 필요 없이 미디어 데이터를 전송할 수 있다. MFU 시퀀스 번호를 할당하지 않아 전송할 데이터의 크기를 줄일 수 있다. MFU 시퀀스 번호란 MFU의 일련번호로 하나의 MPU 사이에서 MFU를 구분짓는 것으로 정의된다.
MFU 시퀀스 번호를 할당하지 않은 경우의 디코더의 작동을 설명한다. 수신측의 디코더는 수신된 MPU를 수신받은 순서로 디캡슐화하여, MPU에 순차적으로 저장된 MFU를 얻는다. 디코더는 MFU의 헤더를 참조하여 임의접근 시작 지점, 미디어데이터의 시작과 끝을 파악하며, 또한 비트나 패킷 손실시 디코더 프로세스에 심각한 문제를 일으킬 수 있는 데이터를 가진 MFU는 재전송을 요구하거나 해당부분의 디코딩을 생략할 수 있다.
본 발명의 다른 일 실시 예에서는, 분리된 AU 조각들의 선후 관계를 나타내는 MFU 시퀀스 번호를 MFU에 별도의 필드를 생성하여 표시할 수도 있다. MFU 헤더(mfu_header)에 별도의 MFU 시퀀스 번호 필드를 사용할 수 있다. 또는, MFU에 MFU 헤더(mfu_header) 필드와 미디어 데이터(media_data) 필드 외에 별도의 MFU 시퀀스 번호 필드를 사용하여 MFU 시퀀스 번호를 MFU마다 저장할 수 있다. 또는 부호화된 미디어 분할 데이터가 수용되는 미디어 데이터(media_data) 필드의 특정 부분에 MFU 시퀀스 번호를 포함시킬 수 있다. 인코더 및 디코더는 MFU 시퀀스 번호를 사용하여 미디어 데이터와 MFU간의 순서가 일치하도록 보장할 수도 있다.
실시예 #4
본 발명의 다른 일 실시 예에 따른 부호화된 미디어 분할 데이터(coded media fragment data)를 이종 IP 네트워크(heterogeneous IP network)를 통하여 전송하기 위한 방법은 도 8에 도시된 바와 같이 수행될 수 있다. 본 발명의 일 실시 예에 따른 부호화된 미디어 데이터를 전송하는 방법은 미디어 코덱 계층으로부터 특정 미디어 코덱에 독립적인 포맷을 가지는 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)을 제공받는다(S810). 제공받은 미디어 프래그먼트 유닛을 캡슐화하여 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 생성한다(S820). 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 캡슐화하여 MMT 애셋(MMT Asset)을 생성한다(S830). 그리고 전술한바와 같이 MMT 애셋을 캡슐화하여 MMT 패키지(MMT Package)를 생성하고(S840), MMT 패키지를 받아서 MMT 페이로드 포맷(MMT Payload format)을 생성하며(S850), MMT 페이로드 포맷을 받아서 MMT 전송 패킷(MMT Transport Packet)을 생성한다(S860).
본 발명의 일 실시 예에서, 다수의 지시자를 미디어 프로세싱 유닛(MPU)에 포함시켜 인코더가 인코딩 중에 얻은 정보를 시스템에 전달할 수 있다. 이하 구체적인 실시예를 들어 설명한다.
본 발명의 다른 일 실시 예에서, MFU에는 부호화된 미디어 분할 데이터 만을 저장하고, MPU에 MFU를 순차적으로 저장하며, MPU의 헤더에 AU의 첫 부호화된 미디어 분할 데이터와 마지막 부호화된 미디어 분할 데이터에 해당되는 MFU를 표기하고, 임의 접근의 시작 지점을 가진 부호화된 미디어 분할 데이터에 해당되는 MFU를 표기할 수 있다.
본 발명의 또 다른 일 실시 예에서는 MFU에 부호화된 미디어 분할 데이터 및 MFU 시퀀스 번호를 저장하고, MPU의 헤더에 AU의 첫 부호화된 미디어 분할 데이터와 마지막 부호화된 미디어 분할 데이터에 해당되는 MFU를 표기하고, 임의 접근의 시작 지점을 가진 부호화된 미디어 분할 데이터에 해당되는 MFU를 표기할 수 있다.
상기 본 발명의 또 다른 실시 예에 대하여 보다 상세히 설명한다. 상기 본 발명의 또 다른 실시 예에서 MFU는 MFU 시퀀스 번호와 부호화된 미디어 분할 데이터를 포함한다. 그리고 MPU는 Subsample_start_id, Subsample_end_id 및 RAP_flags 지시자를 포함할 수 있다.
Subsample_start_id 및 Subsample_end_id는 해당 AU의 MFU들의 범위(range)를 명시한다. Subsample_start_id에 의해 명시된 mfu_sequence_id는 해당 AU에 속하는 MFU의 첫 MFU의 MFU 시퀀스 번호를 표기한다. Subsample_end_id에 의해 명시된 mfu_sequence_id는 해당 AU에 속하는 MFU의 마지막 MFU 시퀀스 번호를 표기한다.
그리고 RAP_flags는 해당 AU가 임의접근점(Random Access Point; RAP)을 가지는지 아닌지 표시한다. AU가 임의접근점을 가지는 경우 RAP_flags는 1의 값을 가질 수 있다. 이는 MPU에 속하는 MFU의 연속된 상대적 순서대로 비트가 1또는 0의 값을 가져 각 MFU가 임의 접근점(Random Access Point; RAP)을 가지는지 여부를 표기하는 방식으로 구현될 수도 있다. 하나의 AU에 속하는 MFU 중에 하나라도 임의접근점을 가진다면, RAP_flags는 0이 아닌 값을 가지고, 모든 MFU가 임의접근점을 가지지 않는다면 RAP_flags는 0의 값을 가진다. 또는 RAP_flags는 MFU 시퀀스 번호를 수용할 수도 있다.
RAP_flags와 같은 방식으로 MPU는 각각의 MFU에 대하여 비트나 패킷 손실시 디코더 처리에 심각한 문제를 일으킬 수 있는 크리티컬 데이터인지 여부를 표기하는 Lossless_flags를 포함할 수 있다. AU가 크리티컬 데이터를 가지는 경우 Lossless_flags는 1의 값을 가질 수 있다. MPU에 속하는 MFU의 연속된 순서대로 비트가 1또는 0의 값을 가져 각 MFU가 크리티컬 데이터를 가지는지 여부를 표기할 수도 있다. 하나의 AU에 속하는 MFU 중에 하나라도 크리티컬 데이터를 가진다면, Lossless_flags는 0이 아닌 값을 가지고, 모든 MFU가 임의접근점을 가지지 않는다면 Lossless_flags는 0의 값을 가진다.
크리티컬 데이터를 가지는지 여부는 MFU 레벨(level)이 아니라 MMT 애셋 레벨에서 또는 MMT 트랜스포트 패킷 레벨에서 표기될 수도 있다. MMT 애셋 레벨에서 데이터 손실의 허용여부를 표기하면서 하나의 애셋에 대해 무손실 전송이 요구됨을 표기하거나, MMT 트랜스포트 패킷 레벨에서 데이터 손실의 허용여부를 표기하며 전송되는 패킷에 대해 무손실 전송을 요구할 수 있다.

Claims (8)

  1. 부호화된 미디어 분할 데이터(coded media fragment data)를 이종 IP 네트워크(heterogeneous IP network)를 통하여 전송하기 위한 시스템에서의 부호화된 미디어 데이터 전송 방법에 있어서,
    미디어 코덱 계층으로부터 특정 미디어 코덱에 독립적인 포맷을 가지는 미디어 유닛(Media Unit; MU)을 제공받는 단계;
    상기 생성된 미디어 유닛을 캡슐화하여 MMT 애셋(MMT Asset)을 생성하는 단계;
    상기 생성된 MMT 애셋을 캡슐화하여 MMT 패키지(MMT Package)를 생성하는 단계;
    상기 생성된 MMT 패키지를 받아서 MMT 페이로드 포맷(MMT Payload format)을 생성하는 단계; 및
    상기 생성된 MMT 페이로드 포맷을 받아서 MMT 전송 패킷(MMT Transport Packet)을 생성하는 단계를 포함하되,
    상기 미디어 유닛은 헤더부 및 데이터부를 포함하고, 상기 데이터부는 부호화된 미디어 분할 데이터(coded media fragment data)를 포함하고, 상기 헤더부는 상기 부호화된 미디어 분할 데이터가 임의 접근이 가능한 시작지점(random access point)을 포함하는지 여부를 나타내는 지시자, 상기 부호화된 미디어 분할 데이터가 부호화된 미디어 데이터(coded media data)의 시작 부분을 포함하는지를 나타내는 지시자 및 상기 부호화된 미디어 분할 데이터가 상기 부호화된 미디어 데이터의 마지막 부분을 포함하는지를 나타내는 지시자를 포함하는 것을 특징으로 하는 부호화된 미디어 데이터 전송 방법.
  2. 제 1 항에 있어서,
    상기 헤더부는 상기 부호화된 미디어 분할 데이터가 무손실 전송을 요구하는지를 표기하는 지시자를 더 포함하는 것을 특징으로 하는 부호화된 미디어 데이터 전송 방법.
  3. 제 1 항에 있어서,
    상기 미디어 코덱 계층으로부터 특정 미디어 코덱에 독립적인 포맷을 가지는 미디어 유닛(Media Unit; MU)을 제공받는 단계는,
    미디어 코덱 계층으로부터 특정 미디어 코덱에 독립적인 포맷을 가지는 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 제공받는 단계이고;
    상기 생성된 미디어 유닛을 캡슐화하여 MMT 애셋(MMT Asset)을 생성하는 단계는,
    상기 생성된 미디어 프로세싱 유닛을 캡슐화하여 MMT 애셋(MMT Asset)을 생성하는 단계인 것을 특징으로 하는 부호화된 미디어 데이터 전송 방법.
  4. 제 1 항에 있어서,
    상기 헤더부는 상기 부호화된 미디어 분할 데이터가 임의 접근이 가능한 시작지점(random access point)을 포함하는지 여부를 나타내는 지시자, 상기 부호화된 미디어 분할 데이터가 액세스 유닛(Access Unit; AU)의 시작 부분을 포함하는지를 나타내는 지시자 및 상기 부호화된 미디어 분할 데이터가 상기 액세스 유닛(Access Unit; AU)의 마지막 부분을 포함하는지를 나타내는 지시자를 포함하는 것을 특징으로 하는 부호화된 미디어 데이터 전송 방법.
  5. 부호화된 미디어 분할 데이터(coded media fragment data)를 이종 IP 네트워크(heterogeneous IP network)를 통하여 전송하기 위한 시스템에서의 부호화된 미디어 데이터 전송 방법에 있어서,
    미디어 코덱 계층으로부터 특정 미디어 코덱에 독립적인 포맷을 가지는 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)을 제공받는 단계;
    상기 미디어 프래그먼트 유닛을 캡슐화하여 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 생성하는 단계;
    상기 생성된 미디어 프로세싱 유닛을 캡슐화하여 MMT 애셋(MMT Asset)을 생성하는 단계;
    상기 생성된 MMT 애셋을 캡슐화하여 MMT 패키지(MMT Package)를 생성하는 단계;
    상기 생성된 MMT 패키지를 받아서 MMT 페이로드 포맷(MMT Payload format)을 생성하는 단계; 및
    상기 생성된 MMT 페이로드 포맷을 받아서 MMT 전송 패킷(MMT Transport Packet)을 생성하는 단계를 포함하되,
    상기 미디어 유닛은 헤더부 및 데이터부를 포함하고, 상기 데이터부는 부호화된 미디어 분할 데이터(coded media fragment data)를 포함하고, 상기 헤더부는 상기 부호화된 미디어 분할 데이터가 임의 접근이 가능한 시작지점(random access point)을 포함하는지 여부를 나타내는 지시자, 상기 부호화된 미디어 분할 데이터가 부호화된 미디어 데이터(coded media data)의 시작 부분을 포함하는지를 나타내는 지시자 및 상기 부호화된 미디어 분할 데이터가 상기 부호화된 미디어 데이터의 마지막 부분을 포함하는지를 나타내는 지시자를 포함하는 것을 특징으로 하는 부호화된 미디어 데이터 전송 방법.
  6. 제 5 항에 있어서,
    상기 헤더부는 상기 부호화된 미디어 분할 데이터가 무손실 전송을 요구하는지를 표기하는 지시자를 더 포함하는 것을 특징으로 하는 부호화된 미디어 데이터 전송 방법.
  7. 제 6 항에 있어서,
    상기 헤더부는 상기 부호화된 미디어 분할 데이터가 임의 접근이 가능한 시작지점(random access point)을 포함하는지 여부를 나타내는 지시자, 상기 부호화된 미디어 분할 데이터가 액세스 유닛(Access Unit; AU)의 시작 부분을 포함하는지를 나타내는 지시자 및 상기 부호화된 미디어 분할 데이터가 상기 액세스 유닛(Access Unit; AU)의 마지막 부분을 포함하는지를 나타내는 지시자를 포함하는 것을 특징으로 하는 부호화된 미디어 데이터 전송 방법.
  8. 제 7 항에 있어서,
    상기 헤더부는 상기 부호화된 미디어 분할 데이터가 무손실 전송을 요구하는지를 표기하는 지시자를 더 포함하는 것을 특징으로 하는 부호화된 미디어 데이터 전송 방법.
KR1020120112544A 2011-10-13 2012-10-10 이종 ip 네트워크를 통한 미디어 코덱에 독립적인 미디어 데이터 전송 방법 KR20130040132A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/351,776 US20140282799A1 (en) 2011-10-13 2012-10-12 Method for transmitting media data via a heterogeneous ip network independently of a media codec
PCT/KR2012/008337 WO2013055162A2 (ko) 2011-10-13 2012-10-12 이종 ip 네트워크를 통한 미디어 코덱에 독립적인 미디어 데이터 전송 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110104853 2011-10-13
KR20110104853 2011-10-13

Publications (1)

Publication Number Publication Date
KR20130040132A true KR20130040132A (ko) 2013-04-23

Family

ID=48440089

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120112544A KR20130040132A (ko) 2011-10-13 2012-10-10 이종 ip 네트워크를 통한 미디어 코덱에 독립적인 미디어 데이터 전송 방법

Country Status (2)

Country Link
US (1) US20140282799A1 (ko)
KR (1) KR20130040132A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150047092A (ko) * 2013-10-23 2015-05-04 한국전자통신연구원 Ｍｍｔ 페이로드 헤더 구성 장치 및 방법
EP3007454A4 (en) * 2013-06-05 2016-06-01 Panasonic Ip Corp America DATA DECODING METHOD, DATA DECODING DEVICE AND DATA TRANSMISSION METHOD
CN105934952A (zh) * 2014-01-09 2016-09-07 三星电子株式会社 用于在多媒体系统中发送和接收媒体数据的方法和装置
WO2017204601A1 (ko) * 2016-05-26 2017-11-30 삼성전자 주식회사 Mmtp 패킷을 송수신하는 방법 및 그 장치

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108347491A (zh) * 2012-01-31 2018-07-31 夏普株式会社 生成装置以及生成方法
KR101484843B1 (ko) 2013-04-19 2015-01-20 삼성전자주식회사 멀티미디어 전송 시스템에서 미디어 전송 패킷 전송 방법 및 장치
RU2677572C2 (ru) * 2013-06-07 2019-01-17 Сони Корпорейшн Устройство и способ передачи потока передачи и устройство обработки
US20150032845A1 (en) * 2013-07-26 2015-01-29 Samsung Electronics Co., Ltd. Packet transmission protocol supporting downloading and streaming
CN106105235B (zh) * 2014-01-09 2020-04-10 三星电子株式会社 在多媒体传输系统中发送媒体数据相关信息的方法和装置
KR102249147B1 (ko) * 2014-03-29 2021-05-07 삼성전자주식회사 복합 네트워크에서 멀티미디어 데이터 관련 정보를 송수신하기 위한 장치 및 방법과 그 구조
US10560514B2 (en) * 2014-03-29 2020-02-11 Samsung Electronics Co., Ltd. Apparatus and method for transmitting and receiving information related to multimedia data in a hybrid network and structure thereof
US10530828B2 (en) * 2014-03-31 2020-01-07 Samsung Electronics Co., Ltd. Method and apparatus for signaling and operation of low delay consumption of media data in MMT
KR102191878B1 (ko) * 2014-07-04 2020-12-16 삼성전자주식회사 멀티미디어 시스템에서 미디어 패킷을 수신하는 방법 및 장치
US9780891B2 (en) * 2016-03-03 2017-10-03 Electronics And Telecommunications Research Institute Method and device for calibrating IQ imbalance and DC offset of RF tranceiver

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6650659B1 (en) * 1998-02-27 2003-11-18 Sony Corporation Data transmitting method
CN105812377B (zh) * 2005-06-27 2019-05-17 考文森无限许可有限责任公司 用于动态丰富媒体场景的传送机制
US9432433B2 (en) * 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US8942289B2 (en) * 2007-02-21 2015-01-27 Microsoft Corporation Computational complexity and precision control in transform-based digital media codec
CN107196941B (zh) * 2010-04-20 2021-09-03 三星电子株式会社 用于传送和接收媒体数据的接口装置和方法
US9247312B2 (en) * 2011-01-05 2016-01-26 Sonic Ip, Inc. Systems and methods for encoding source media in matroska container files for adaptive bitrate streaming using hypertext transfer protocol

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3007454A4 (en) * 2013-06-05 2016-06-01 Panasonic Ip Corp America DATA DECODING METHOD, DATA DECODING DEVICE AND DATA TRANSMISSION METHOD
CN109889888A (zh) * 2013-06-05 2019-06-14 太阳专利托管公司 数据解码方法、数据解码装置及数据发送方法
EP3697100A1 (en) * 2013-06-05 2020-08-19 Sun Patent Trust Data decoding method, data decoding apparatus, and data transmitting method
US11070828B2 (en) 2013-06-05 2021-07-20 Sun Patent Trust Method for decoding data, data decoding device, and method for transmitting data
CN109889888B (zh) * 2013-06-05 2022-04-01 太阳专利托管公司 再现方法、装置及生成方法、装置
KR20150047092A (ko) * 2013-10-23 2015-05-04 한국전자통신연구원 Ｍｍｔ 페이로드 헤더 구성 장치 및 방법
CN105934952A (zh) * 2014-01-09 2016-09-07 三星电子株式会社 用于在多媒体系统中发送和接收媒体数据的方法和装置
US10264299B2 (en) 2014-01-09 2019-04-16 Samsung Electronics Co., Ltd. Method and apparatus for transmitting and receiving media data in multimedia system
CN105934952B (zh) * 2014-01-09 2019-04-19 三星电子株式会社 用于在多媒体系统中发送和接收媒体数据的方法和装置
WO2017204601A1 (ko) * 2016-05-26 2017-11-30 삼성전자 주식회사 Mmtp 패킷을 송수신하는 방법 및 그 장치
US10880586B2 (en) 2016-05-26 2020-12-29 Samsung Electronics Co., Ltd. Method and device for transmitting and receiving MMTP packet

Also Published As

Publication number Publication date
US20140282799A1 (en) 2014-09-18

Similar Documents

Publication Publication Date Title
US10728591B2 (en) Method of configuring and transmitting an MMT transport packet
KR102202143B1 (ko) 유연한 ｍｍｔ 애셋 송수신 방법 및 그 장치
US9043849B2 (en) Method for linking MMT media and DASH media
US9544641B2 (en) Hybrid transmission method through MMT packet format extension
US9414123B2 (en) Method for hybrid delivery of MMT package and content and method for receiving content
KR20130040132A (ko) 이종 ip 네트워크를 통한 미디어 코덱에 독립적인 미디어 데이터 전송 방법
US9967582B2 (en) Hybrid delivery method and reception method for MMT packaged SVC video contents
US20150181003A1 (en) Method and apparatus for transmitting and receiving packets in hybrid transmission service of mmt
KR20130085987A (ko) 이종망 네트워크에서 미디어 프래그먼트 유닛으로 나누어진 액세스 유닛을 가지는 미디어 데이터를 전송하는 방법
KR20130090824A (ko) 이종망 네트워크에서 부호화된 미디어 데이터를 전송하는 시스템에 랜덤 액세스를 지원하는 엠엠티 애셋의 구조, 생성 방법 및 생성 장치
KR102098723B1 (ko) Mmt 전송 패킷의 설정 방법 및 전송 방법
KR102170717B1 (ko) 멀티미디어 서비스를 위한 비트 에러율을 이용한 레이트 어댑테이션 방법 및 그 장치
US20150249835A1 (en) Method for adaptively transmitting fec parity data using cross-layer optimization
KR20130119885A (ko) 네트워크 적응적인 계층적 비디오 전송을 위한 mmt 패킷의 전송 방법 및 장치
KR20130040151A (ko) 콤포지션 정보 및 전송 특성 정보가 연동된 미디어 데이터를 이종 ip 네트워크를 통하여 전송하는 방법
KR20130040144A (ko) 엠엠티 시스템에서의 패킷 전송 장치 및 방법, 및 패킷 수신 장치 및 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid