KR101973544B1

KR101973544B1 - 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치

Info

Publication number: KR101973544B1
Application number: KR1020180136059A
Authority: KR
Inventors: 박경모; 유성열; 황승오; 송재연
Original assignee: 삼성전자주식회사
Priority date: 2011-06-14
Filing date: 2018-11-07
Publication date: 2019-04-30
Also published as: WO2012173389A2; KR20120138608A; JP6743235B2; US10110655B2; JP2019165456A; KR20180061106A; RU2601442C2; US20120320925A1; US10447754B2; JP2017153127A; US10542065B2; KR101918658B1; KR101863410B1; JP2014519789A; AU2012270417B2; EP3917137A1; EP4152730A1; CN103621067B; JP2017130966A; JP6665127B2

Abstract

본 발명은 멀티미디어 시스템에서 미디어 패킷을 수신하는 장치 및 방법에 대한 것으로서, 본 발명의 실시 예에 따른 장치는, 데이터를 송신하도록 구성된 송신기와, 미디어 데이터의 적어도 부분을 포함하는 유닛을 식별하고, 상기 유닛은 상기 유닛의 조각(fragment)인 적어도 하나의 서브 유닛을 포함하고, 상기 유닛은 복호 처리에서 독립적으로 복호될 수 있으며, 상기 미디어 패킷의 페이로드에 상기 유닛의 데이터를 포함하는 상기 미디어 패킷을 송신하도록 구성된 제어기를 포함하며, 상기 서브 유닛은 상기 복호 처리에서 상기 서브 유닛을 근거로 의존적으로 복호될 수 있는 적어도 하나의 연이은 서브 유닛의 수를 지시하는 카운트 정보를 포함하고, 상기 적어도 하나의 연이은 서브 유닛은 상기 복호 처리에서 상기 서브 유닛과 관련되고, 상기 서브 유닛은 상기 유닛 내에서 다른 서브 유닛에 대한 상대적인 우선 순위를 지시하는 정보를 포함한다.

Description

멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치{METHOD AND APPARATUS FOR TRANSMITTING/RECEIVING HYBRID MEDIA CONTENT IN A MULTIMEDIA SYSTEM}

본 발명은 멀티미디어 시스템에서 미디어 컨텐츠를 송수신하는 방법 및 장치 대한 것으로서, 특히 다양한 종류의 미디어를 포함하는 복합 미디어 컨텐츠를 송수신하는 방법 및 장치에 대한 것이다.

멀티미디어 컨텐츠의 증가 및 기술의 발달로 인해 종래 단일 혹은 2개 이상의 멀티미디어 소스들만이 이용되던 시기에서 다양한 종류의 멀티미디어 컨텐츠들을 포함하는 복합 미디어 컨텐츠들(Hybrid Media Contents)이 등장하게 되었다. 일반적으로 상기 복합 미디어 컨텐츠들은 다양한 종류의 멀티미디어 컨텐츠들을 포함한다.

상기 복합 미디어 컨텐츠는 생성 시 개별적인 멀티미디어 컨텐츠들로 분리되어 생성된다.

예를 들면, 비디오를 포함하는 영상, 음성 및 특정 동작 화면을 구성하는 위젯(Widget) 등의 어플리케이션(application)으로 구성된 복합 미디어 컨텐츠는 각 미디어 특성에 맞는 영상 신호 부호화 방법, 음성 신호 부호화 방법과 파일 압축 방법 등을 통하여 각각 생성되며, 각각의 멀티미디어 컨텐츠들은 수신단에서 복합 미디어 컨텐츠로 재구성된다.

이와 같이 종래 복합 미디어 컨텐츠는 송신단에서 다수의 멀티미디어 컨텐츠들로 분리되어 수신단으로 제공된다. 수신단에서는 분리된 다수의 멀티미디어 컨텐츠들을 재구성하여 복합 미디어 컨텐츠를 생성한다. 복합 미디어 컨텐츠의 이용은 상기와 같이 멀티미디어 컨텐츠들의 분리와 재구성 동작이 요구된다. 그러나 복합 미디어 컨텐츠의 이용이 급증하면서 보다 효율적으로 복합 미디어 컨테츠를 생성하고, 송수신하는 방법이 요구된다.

본 발명은 멀티미디어 시스템에서 복합 미디어 컨텐츠를 효율적으로 송수신하는 방법 및 장치에 대한 것이다.

또한 본 발명은 멀티미디어 시스템에서 다양한 멀티미디어 데이터들을 포함하는 복합 미디어 컨텐츠를 생성하는 방법 및 장치를 제공한다.

본 발명의 실시 예에 따라 멀티미디어 시스템에서 미디어 패킷을 송신하는 장치는, 데이터를 송신하도록 구성된 송신기와, 미디어 데이터의 적어도 부분을 포함하는 유닛을 식별하고, 상기 유닛은 상기 유닛의 조각(fragment)인 적어도 하나의 서브 유닛을 포함하고, 상기 유닛은 복호 처리에서 독립적으로 복호될 수 있으며, 상기 미디어 패킷의 페이로드에 상기 유닛의 데이터를 포함하는 상기 미디어 패킷을 송신하도록 구성된 제어기를 포함하며, 상기 서브 유닛은 상기 복호 처리에서 상기 서브 유닛을 근거로 의존적으로 복호될 수 있는 적어도 하나의 연이은 서브 유닛의 수를 지시하는 카운트 정보를 포함하고, 상기 적어도 하나의 연이은 서브 유닛은 상기 복호 처리에서 상기 서브 유닛과 관련되고, 상기 서브 유닛은 상기 유닛 내에서 다른 서브 유닛에 대한 상대적인 우선 순위를 지시하는 정보를 포함한다.

또한 본 발명의 실시 예에 따라 멀티미디어 시스템에서 미디어 패킷을 송신하는 방법은, 미디어 데이터의 적어도 부분을 포함하는 유닛을 식별하는 과정과, 상기 미디어 패킷의 페이로드에 상기 유닛의 데이터를 포함하는 상기 미디어 패킷을 송신하는 과정을 포함하며, 상기 유닛은 상기 유닛의 조각(fragment)인 적어도 하나의 서브 유닛을 포함하고, 상기 유닛은 복호 처리에서 독립적으로 복호될 수 있으며, 상기 서브 유닛은 상기 복호 처리에서 상기 서브 유닛을 근거로 의존적으로 복호될 수 있는 적어도 하나의 연이은 서브 유닛의 수를 지시하는 카운트 정보를 포함하고, 상기 적어도 하나의 연이은 서브 유닛은 상기 복호 처리에서 상기 서브 유닛과 관련되고, 상기 서브 유닛은 상기 유닛 내에서 다른 서브 유닛에 대한 상대적인 우선 순위를 지시하는 정보를 포함한다.

상기한 본 발명의 실시 예에 의하면, 다양한 종류의 멀티미디어 소스들, 즉 멀티미디어 데이터들을 포함하는 복합 컨텐츠를 효율적으로 생성하고, 송수신하는 장치 및 방법을 제공할 수 있다.

또한 본 발명에 의하면, 임의의 크기를 가지는 멀티미디어 데이터를 전송 혹은 저장함에 있어서 적절하게 분할(fragmentation) 할 수 있다.

또한 본 발명에 의하면, 멀티미디어 시스템에서 시간, 중요도, 다양한 기능 정보 중 적어도하나의 정보를 제어 정보로서 포함하는 복호화 단위인 M-Unit의 위치 혹은 전송 시점을 용이하게 식별할 수 있으며, 복합 미디어 컨텐츠의 일 형태인 ASSET의 형식을 적절한 방법으로 효율적으로 알려줄 수 있다.

또한 본 발명에 의하면 멀티미디어 시스템에서 ASSET의 종류를 효율적으로 알려줄 수 있다.

도 1은 본 발명의 실시 예에 따라 MPEG MMT에서 복합 미디어 컨텐츠를 가공하는 계층 구조를 나타낸 도면,
도 2는 본 발명의 실시 예에 따른 M-Unit의 헤더 구성을 나타낸 도면,
도 3은 본 발명의 실시 예에 따른 Asset의 헤더 구성을 나타낸 도면,
도 4는 본 발명의 실시 예에 따라 복합 미디어 컨텐츠를 생성하여 전송하는 송신 장치의 구성을 나타낸 블록도,
도 5는 본 발명의 실시 예에 따라 복합 미디어 컨텐츠를 수신하는 수신 장치의 구성을 나타낸 블록도,
도 6은 본 발명의 실시 예에 따라 비디오 프레임이 다수의 슬라이스들로 구성된 일 예를 나타낸 도면,
도 7은 본 발명의 실시 예에 따른 복합 미디어 컨텐츠를 지원하는 시스템 구조를 나타낸 블록도,
도 8은 본 발명의 실시 예에 따른 MFU의 구성을 나타낸 도면,
도 9는 본 발명의 실시 예에 따른 M-Unit의 구성을 나타낸 도면.

하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 이하 본 발명의 실시 예를 첨부된 도면을 참조하여 설명하면 다음과 같다.

이하 설명될 본 발명의 실시 예들은 본 발명이 적용될 수 있는 기술들 중 하나인 MPEG MMT(MPEG Media Transport: 이하 MMT) 기술을 예로 들어 설명될 것이나, 이 설명이 본 발명의 내용을 제한하지는 않음에 유의하여야 할 것이다.

도 1은 본 발명의 실시 예에 따라 MPEG MMT에서 복합 미디어 컨텐츠를 가공하는 계층 구조를 나타낸 도면으로서, 특히 E 계층의 구조를 나타낸 도면이다.

도 1을 참조하면, E 계층은 E3 계층(105), E2 계층(107), 그리고 E1 계층(109)을 포함하는 세부 계층으로 구성된다.

도 1에서 참조 번호 101과 103은 멀티미디어 데이터를 복호화/부호화하는 미디어 코덱 계층이다. 미디어 코덱(Media Codec (A))(101)과 미디어 코덱(Media Codec(B))(103)은 기능상에 차이가 있다. 예를 들어 설명하면 H.264 코덱(Codec)(도시되지 않음)는 디지털 압축된 영상 등의 멀티미디어 데이터와 함께 그 멀티미디어 데이터의 특성 정보, 복호화에 필요한 시그널링 정보 등을 제어 정보로 제공하는 NAL unit(Network Adaptation Layer)이 부호화기의 출력이며, H.262 코덱(Codec)은 디지털 압축된 영상 등의 멀티미디어 데이터만이 부호화기의 출력이 된다. H.264 부호화는 상기 미디어 코덱(Media Codec (B))(103)에서 수행될 수 있으며, H.262 부호화는 상기 미디어 코덱(Media Codec (A))(101)에서 수행될 수 있다. 그러나 미디어 코덱(Media Codec (A))(101)에서 H.264 부호화를 수행하는 것도 가능하다. 즉 미디어 코덱(Media Codec (B))(103)은 특성 정보, 시그널링 정보 등의 제어 정보가 부가되는 멀티미디어 데이터의 부호화가 가능하며, 미디어 코덱(Media Codec(A))(101)은 멀티미디어 데이터만의 부호화가 가능하다.

도 1에서 MMT E3 계층(105)은 미디어 코덱(Media Codec (A))(101)으로부터 전달된 부호화된 멀티미디어 데이터에 해당 멀티미디어 데이터의 특성 정보, 복호화에 필요한 시그널링 정보 등의 제어 정보를 부가하여 MMT E2 계층(107)으로 전달한다. 이 경우에 MMT E3 계층(105)의 정보는 NAL 유닛 헤더와 NAL 유닛 데이터를 포함하고 추가적 부가 헤더 정보를 포함한다.

본 발명의 실시 예에서 다수의 비디오 슬라이스들로 구성된 비디오 프레임 구조의 일 예는 도 6과 같다. 도 6의 프레임 구조는 동일 시간에 비디오의 한 화면에 표시되는 한 프레임이 다수의 슬라이스 구조로 구성된 예로 예컨대, 비디오의 한 화면이 7 개의 작은 블럭들(슬라이스들)로 부호화된 예를 나타낸 것이다.

즉 도 6에서 참조 번호 601 내지 613은 비디오의 한 화면에 표시되는 프레임을 구성하는 다수의 슬라이스들을 각각 나타낸 것이다. 다수의 슬라이스들(601~613)은 도 6의 예와 같이 먼저 좌측에서 우측 방향으로 배치되고, 프레임이 채워지면서 위에서 아래 방향으로 배치될 수 있다. 다른 예로 한 프레임을 구성하는 다수의 슬라이스들은 좌측(or 우측)에서 우측(or 좌측) 방향 또는 아래(or 위)에서 위(or 아래) 방향의 다양한 조합으로 채워질 수 있다. 그리고 슬라이스들(601~613)의 길이는 각각 다를 수 있다.

상기 도 6과 같은 구조의 프레임을 시간 정보, 중요도, 다양한 기능 정보(예를 들어, 임의 접근 위치 정보) 중 적어도 하나의 정보(이하, "제어 정보")를 포함하는 하나의 구성 단위인 미디어 유닛(Media Unit)(이하, M-Unit)으로 구성하고, 독립적으로 복호화될 수 있는 각각의 슬라이스(601~613)는 미디어 프래그먼트 유닛(Media Fragment Unit)(이하, MFU)으로 구성할 수 있다.

또한 본 발명의 실시 예에서 상기 M-unit은 (데이터가 기록할 데이터 유닛을 종속적으로 갖는) 가장 큰 그룹 프레임(GOP : Group Of Pictures)과 같이 독립적으로 동작하는 단위로 정의할 수 있다.

본 발명의 실시 예에 따르면, MFU 가 하나의 슬라이스에 해당하는 경우 한 프레임이 하나의 M-Unit을 구성한다. 또한 MFU 가 한 프레임에 해당하는 경우에는, M-Unit은 독자적인 복호화 최소 단위인 그룹 프레임(GOP)를 구성한다.

차세대 멀티미디어 방송 시스템을 고려하여, 비디오 프레임은 최소 복호화 단위인 상기 MFU 와, 상기 제어 정보를 포함하는 복호화 단위인 M-Unit으로 구조화될 수 있다. 또한 상기 M-Unit은 단일 MFU, Fragmented MFU, 또는 Group of MFU로도 구성될 수 있다.

그리고 상기 제어 정보를 바탕으로 복호화기에서는 최소 구성 단위별 제어 기능을 보다 효율적으로 제어할 수 있다. 또한 상기 MFU는 MMT E3 계층(105)으로 입력되는 최소 데이터 유닛이며, 상기 M-Unit은 상기 시간 정보 등의 제어 정보를 포함하는 MMT E3 계층(105)의 출력 데이터 유닛이다.

상기와 같이 구조화된 M-Unit을 이용하여, 차세대 멀티미디어 방송 시스템에서 전송 및 저장을 위한 효율적인 미디어 컨텐츠 데이터를 구성할 수 있다.

본 발명의 실시 예에서 MFU는 미디어를 구성하는 최소의 구성단위로 데이터의 구성 정보를 포함하며, 상기 구성 정보는 데이터 조각의 시작, 중간, 끝, 조각되지 않음을 나타내는 인식자와, 미디어 코덱 설정을 위한 설정 정보, 부호화된 미디어 형식 정보 등을 나타내는 데이터의 타입을 나타내는 타입 정보, 상기 데이터 조각의 우선 순위 정보, 상기 데이터 조각의 시작 위치를 나타내는 위치 정보, 상기 데이터 조각의 크기 정보, 계층화 부호화 및 복수 시점 미디어 코덱의 특정 정보를 나타내는 정보 중 적어도 하나를 포함한다. 상기 MFU의 단위 크기는 독립적인 복호화가 가능한 단위 크기를 나타낼 수 있다. 예를 들어, 비디오인 경우, 미디어 코덱의 최소 부호화 단위인 매트로 블록(Macro Block) 부터 Picture, Slice, Access Unit을 데이터 단위로 구분할 수 있다.

도 8은 본 발명의 실시 예에 따른 MFU의 구성을 나타낸 도면이다. 도 8은 MFU의 일 구성 예를 나타낸 것으로서, 하기 1) 내지 9)의 정보는 도 8의 구성에 한정되지 않고, 다양한 형태로 MFU를 구성할 수 있다.

한편 상기 MMT E3 계층(105)에서, 미디어 부호화의 출력 데이터 유닛에 포함되는 단위 정보인 MFU의 구성정보로서, 도 8을 참조하면, 상기 추가적 부가 헤더 정보는 상기 MFU와 관련하여 아래 1) 내지 9)의 정보 중 적어도 하나를 포함하며, 그 정보들은 다음과 같다.

1) MFU의 지시자(indicator) : MFU 의 구성 정보를 표시하게 되며, 이는 MFU 데이터의 분할 여부와 MFU들이 시작 유닛 또는 계속되는 유닛 또는 마지막 유닛임을 나타내는 플래그 정보를 나타낸다.

2) 데이터 타입(type) : MFU 데이터의 타입을 나타내는 것으로, 해당 MFU 데이터의 속성을 나타내는 정보이다. 예를 들어, 미디어 코덱의 설정 정보, 부호화의 움직임 예측 정보, 부호화 데이터, 부호화 데이터의 구성 정보 등에 대한 데이터 타입을 나타낸다.

3)복호화 순서 정보(decoding order number) : 상기 조각난 MFU의 플래그 정보가 계속될 때 사용되며, 여기서 상기 MFU는 사용할 순차 정보인 증가 번호를 갖는다. 또한, 상기 순차 정보인 증가 번호를 활용하여 클라이언트 단말에서 복호화의 순서로 활용될 수 있다

4) 바이트 오프셋 정보(data offset) : 미디어 데이터의 시작인 실제 위치를 지시한다.

5) 길이 정보(length) : 미디어 데이터의 길이를 나타낸다.

6) 우선 순위 정보(P) : MFU의 우선 순위의 값을 나타낸다. 예를 들어 상기 데이터 타입이 "0"이면, 그 MFU는 우선 순위 데이터를 갖지 않는 것임을 나타내며, "1"이면 그 MFU이 우선 순위 데이터를 가짐을 나타낸다. 미디어의 NAL header parameter의 경우, priority를 "1"로 설정하여 제공될 수 있으며, 상기 정보는 단일 미디어 단위 안에서의 조각난 데이터가 우선 순위 데이터임을 나타내며, 이 정보를 손실하는 경우 복호화가 중지될 수 있음을 의미한다.

7) 종속적인 카운트(dependency count) : 독립적으로 복호화가 가능한 단위 내에서 종속적인 MFU 카운트의 값이다. 예를 들어 이 종속적인 카운트 값이 "4"이면, 해당 MFU 데이터는 이후 4 개의 MFU들이 해당 MFU에 종속되어 있음을 나타내는 정보임을 의미한다. 예를 들어, 4개의 연관된 MFU들이 있을 때 첫 번째 MFU는 3의 카운트 값을 가지며, 두 번째 MFU는 2의 값을, 첫 번째 MFU는 1의 값을, 마지막 MFU는 0의 값을 가지게 된다. 이를 통해 해당 MFU 데이터의 오류가 있을 경우 그 오류가 전파되는 정도를 나타낼 수 있다.

8) 다중 계층화된 정보(multi-layered information) : 이 정보는 예를 들어 기본 미디어의 식별자, 계층화 비디오 부호화의 향상 계층(enhanced layer) 미디어의 식별자, 다중 시점 미디어 코딩와 같은 정보를 지시한다. 이 MFU들은 스케일러블 미디어 코딩(scalable media coding) 또는 다중 계층화된 미디어 코딩(multi-layered media coding)의 정보와 관련된다.

9) 미디어 코덱 장치 부가 정보(Mi : Media-codec information) : 이 정보는 예를 들어 해당 미디어 코덱을 이용하여 부호화하는 과정에서 장치에 따라 변경되는 정보를 의미한다. 해당 미디어 코덱의 프로파일과 레벨 정보가 변경되거나 코덱의 종류가 변경되는 경우를 고려하여 해당 정보의 리스트 혹은 확장 정보를 표시한다.

또한 도 1에서 MMT E3 계층(105)은 미디어 코덱(Media Codec (A))(101)으로부터 전달된 부호화된 멀티미디어 데이터에 해당 멀티미디어 데이터의 특성 정보, 복호화에 필요한 시그널링 정보 등의 제어 정보를 부가하여 MMT E2 계층(107)에게 전달하기 위한 M-Unit을 생성하게 된다. 상기에서 언급한 M-Unit에 포함되는 제어 정보의 예는 아래와 같다.

도 9는 본 발명의 실시 예에 따른 M-Unit의 구성을 나타낸 도면이다. 도 9는 M-Unit의 일 구성 예를 나타낸 것으로서, 하기 1) 내지 9)의 정보는 도 9의 구성에 한정되지 않고, 다양한 형태로 M-Unit을 구성할 수 있다.

1) M-Unit 식별자 : M-Unit의 구성 정보를 표시하게 되며, 이는 M-Unit이 단일 MFU, 분할된 MFU, MFU 그룹 및 복수개의 미디어 AU(Access Unit)으로 구성되었는지를 나타내는 플래그 정보를 나타내며, 또한 상기 정보에 추가적으로 M-Unit이 시작 유닛인지 또는 계속되는 유닛인지 또는 마지막 유닛인지를 나타내는 플래그 정보를 나타낸다.

2) 시퀀스 번호 : 상기 플래그 정보가 계속될 때 사용되며, 여기서 상기 M-Unit은 사용할 순차 정보인 증가 번호를 갖는다.

3) 바이트 오프셋 정보 : M-Unit 미디어 데이터의 시작인 실제 위치를 지시하며, 이는 M-Unit의 헤더 정보 길이로 표현될 수 있다..

4) 길이 정보 : M-Unit 미디어 데이터의 길이를 나타낸다.

5) 시간 정보 : M-Unit에 대한 재생 시간 정보를 나타낸다. 상기 시간 정보로는 복호화 시간 정보, 표현 시간 정보 등이 있으며, 표현 방법으로는 네트워크 동기화 시간 정보와 자체 주기를 갖는 시간 정보로 표현 될 수 있다.

6) 임의 접근 위치 정보(RAP, random access point) : 해당 M-Unit에 대한 임의 접근 위치 정보를 나타내며, 상기 정보를 이용하여 비디오 데이터인 경우, 임의 재생 기능을 제공할 수 있다. 상기 임의 접근 위치 정보를 제공하는 경우에는 최소한 1개 이상의 정보를 포함해야 한다. 또한, 최소한 1개 이상의 정보를 포함하는 경우 해당 RAP에 대한 위치 정보를 복수개로 제공할 수 있어야 하며, 경우에 따라서, MFU의 RAP 인식 코드를 삽입하여 해당 위치를 순차적으로 찾는 방법을 제공한다.

7) 초기 정보 구조 정보(initial media codec information) : 미디어 코덱의 초기 설정 값들에 대한 정보를 나타낸다. 해당 구조 정보를 통하여 미디어 코덱의 복호화를 위한 초기 설정을 진행할 수 있다.

8) 복수 MFU 허용 정보 : M-Unit 데이터가 복수 개의 MFU 혹은 단일의 MFU로 구성되었는지를 나타내며, 복수 개인 경우에는 MFU의 개수를 나타낼 수 있어야 한다.

9) M-Unit 내 MFU/AU 번호 : M-Unit 데이터가 복수개의 MFU 혹은 Access Unit으로 구성된 경우, MFU, Access Unit 등과 같은 내부 데이터 단위의 개수를 나타낼 수 있어야 한다. 또한, 해당 MFU 혹은 Access Unit의 접근을 위한 데이터의 해당 위치 정보를 제공할 수 있어야 한다. 또한, 경우에 따라서, 해당 위치 정보 제공을 위한 indicator를 MFU 혹은 Access Unit의 헤더 정보에 추가하여 해당 위치 정보를 순차적으로 검색하여 찾아낼 수 있다.

상기 복수 MFU 허용 정보와 M-Unit 내 MFU/AU 번호는 도 9에서 "counter" 필드(부분)에 포함될 수 있다.

상기한 설명과 같이 MMT E3 계층(105)에서는 미디어 코덱(A)(101)으로부터 전달되는 MFU와 같은 멀티미디어 데이터(소스)에 제어 정보를 부가하여 MMT E2 계층(107)으로 전달하고, MMT E2 계층(107)은 상기 제어 정보가 부가된 적어도 하나의 멀티미디어 데이터(소스)를 취합하여 M-Unit을 구성한다. 본 발명의 실시 예에서 제어 정보라 함은 상기 MFU에 대한 제어 정보와 상기 M-Unit에 대한 제어 정보로 구분되며, 상기 MFU와 상기 M-Unit에 대한 제어 정보의 각각의 구체적인 정보 구성은 상기한 바와 같다.

상기 제어 정보는 헤더 정보에 다양한 형태로 부가될 수 있으며, 아래 설명에서는 M-Unit의 헤더 구성을 예시적으로 설명하기로 한다.

도 1에서 MMT E2 계층(107)은 적어도 하나의 멀티미디어 데이터(소스)로부터 제공되는 다양한 종류의 MFU(Media Fragment Unit)들을 취합하고 M-Unit으로 구성하여 본 발명의 실시 예에 따른 MMT 에셋(Asset) 데이터(이하, 에셋)를 생성한다.

상기 MMT 에셋은 비디오, 오디오, 텍스트, 파일, 위젯 등 다양한 종류의 멀티미디어 소스들, 즉 멀티미디어 데이터들의 속성에 맞는 단위 구조를 입력 받아 복합 미디어 컨텐츠를 구성한 것이다. 상기 Asset은 상기 설명된 NAL Unit 단위의 묶음인 적어도 하나의 MMT M-Unit데이터(즉 M-Unit)을 구별되게 포함하며, MMT E2 계층(107)은 복합 미디어 컨텐츠의 전송에 필요한 정보 혹은 멀티미디어 데이터의 속성 정보를 바탕으로 상기 Asset의 형태로 복합 미디어 컨텐츠를 생성한다. 여기서 상기 "묶음"이라 함은 멀티미디어 시스템에서 부호화/복호화되는 정보의 단위로 이해될 수 있다.

상기에서 언급한 부호화기의 출력인 NAL Unit 데이터에 복합 미디어 컨텐츠의 생성에 필요한 부가 특성 정보를 부가하여 동일 특성 정보 단위로의 묶음 데이터인 M-Unit을 생성한다. 이에 언급되는 부가 특성 정보로는 파일 혹은 위젯(Widget) 데이터 특성인 무손실 정보, 미디어 데이터의 특성인 손실 허용 및 지연 정보 특성을 예로 들 수 있다. 이러한 동일 특성 단위 묶음인 M-Unit을 구성하고 생성하게 된다. 그리고 도 1에서 MMT E1계층(109)은 MMT E2 계층(107)으로부터 전달된 적어도 하나의Asset을 사용자가 이용할 수 있는 MMT 패키지(package)로 구성한다.

도 2는 본 발명의 실시 예에 따른 M-Unit의 헤더 구성을 나타낸 도면이다. 도 2에서 M-Unit의 헤더를 구성하는 각 필드의 설명은 아래와 같다.

M-Unit 식별자(ID)(201) : M-Unit 들을 구별하기 위한 식별자

시퀀스 번호(Sequence Number)(203) : M-Unit 단위의 기능에 따른 순서를 나타내기 위한 번호 표식, 이 정보를 활용하여 전송 손실 재전송 요구 혹은 미디어 배속 재생/ 임의 접근(Random Access) 등 미디어 재생 시간에 따른 순서 재정렬 기능에 활용할 수 있다.

Type(205) : M-Unit의 데이터 타입을 나타낸다. 이러한 데이터 타입 정보를 통해서 데이터 묶음의 특성 정보를 포함하여 나타낼 수 있으며, 손실율을 고려한 파일 특성, 미디어 재생을 위한 지연 정보 등을 포함하여 나타낼 수 있다. 도 2의 헤더(Header)의 뒤에는 도시되지는 않았으나 M-Unit의 데이터가 실리는 Payload가 있어서 비디오, 오디오, 텍스트, 파일, 위젯 등 다양한 소스의 멀티미디어 데이터를 전송할 수 있다. 따라서 Type(205)은 M-Unit 의 header와 함께 전송되는 컨텐츠의 종류를 나타낼 수 있다.

상기 type(205)의 예는 000 : H.264 Video, 001 : AAC- Audio, 002 : Text, 003 : Application, 004 : web pages, 005 : signalling for codec, 006 : signalling for composition, 007 : reserved for future use 등이 될 수 있으며, 복합 미디어 컨텐츠의 제공자가 정해진 범위 내에서 임의의 값을 사용하여 적절한 콘텐츠의 종류를 나타낼 수 있다. 또 다른 예는 000 : H.264 I frame, 001 : H.264 B frame, 002 : H.264 P frame등으로 특정 multimedia의 다양한 소스에 대해서 우선 순위을 부여하는 방법으로 사용될 수 있으며, 상기 우선 순위를 바탕으로 전송시에 QoS를 고려해 줄 수 있다.

FU(Fragment Unit) Flag(207) : 연속된 M-Unit 들에 대한 정보를 나타낸다. 이 Flag 값에 따라 해당 M-Unit이 복합되어 있는지, 분할되어 있는지, 단일 M-Unit인지를 알 수 있다.Time Flag(209) : 해당 M-Unit이 시간 정보를 포함하고 있음을 나타낸다.

GOP(Group Of Picture)(211) : 해당 M-Unit의 GOP 단위 정보가 포함되어 있음을 나타낸다.

상기 GOP가 포함되는 경우에, 상기 GOP의 값은 단일의 AU(Access Unit) 또는 다중 AU들을 가짐을 의미한다.

Mfu-range : 도 2에 도시되지는 않았으나 이 정보는 mfu들의 그룹의 값을 지시한다.

SPS (Spatial Parameter Set) (213) : 공간 파라미터 셋(Spatial Parameter Set) 정보를 포함하고 있음을 나타낸다. Spatial Parameter Set은 해당 M-Unit의 데이터가 표시되는 공간적인 위치 정보를 나타낸다.

PPS(Presentation Parameter Set)(215) : 플레이스테이션 파라미터 셋(Presentation Parameter Set) 정보를 포함하고 있음을 나타낸다. Presentation Parameter Set 정보는 코덱(Codec) 초기화에 필요한 정보로 미디어 코덱의 특정 정보를 포함한다.

또한 SPS와 PPS는 미디어 코딩의 초기화 파라미터 셋의 일반 값을 이용한다.

Sync(217) : 해당 M-Unit이 동기화 제어 정보를 포함하고 있음을 나타낸다. 복수 개의 복합 처리된 M-Unit 들 간의 상호 동기화를 위한 데이터로 예를 들어, 3 차원(3D) 영상을 위한 우측(R) 영상을 위한 M-Unit과 좌측(L) 영상을 위한 M-Unit 간의 동기 표시자(Sync. Marker)로 활용된다. 또한 상기 Sync 정보는 해당 M-Unit들 간의 명령(Command) 정보를 부여 할 수 있다. Command 정보로는 해당 M-Unit들에 대한 제어 정보로 해당 M-unit이 부가, 삭제, 치환, 갱신(ADD, DELETE, REPLACE, UPDATE) 정보 등에 해당 함을 표기할 수 있으며 이러한 정보를 바탕으로 복합 전송망을 통하여 전송되는 동일한 세션에 M-Unit 만을 위한 제어 정보로 사용 될 수 있다.

TC(219) : 전송 특성(Transport Characteristic) 정보를 포함하고 있음을 나타낸다. 해당 M-Unit을 전송하기 위한 데이터 정보를 나타내며 예로는 손실율, 지연 시간, 에러 복구를 위한 패리티 정보, 데이터 전송을 위한 평균 비트율, 최대 비트율을 나타낸다.

RAP(221) : 해당 M-Unit에 임의 접근(Random Access)를 위한 Flag 정보가 포함되어 있음을 나타낸다. 해당 Flag의 유무에 따라 배속 재생 등의 기능 구성을 제공할 수 있다.

상기한 도 2의 M-Unit의 헤더 구성은 일 예를 나타낸 것으로서, 본 발명에서 M-Unit의 헤더 구성이 상기한 구성으로 한정되는 것은 아님에 유의하여야 할 것이다. 예컨대, 본 발명에서 M-Unit의 헤더 구성은 도 2에서 설명한 M-Unit 헤더에 포함되는 다수의 헤더 정보 및/또는 도 1의 MMT E3 계층(105) 설명에서 M-Unit의 생성 시 부가되는 다수의 제어 정보 중에서 적어도 하나의 정보의 조합으로 구성될 수 있다.

도 3은 본 발명의 실시 예에 따른 Asset의 헤더 구성을 나타낸 도면이다.

본 발명의 실시 예에서 Asset은 다양한 멀티미디어 데이터(소스)에 따른 적어도 하나의 M-Unit을 포함하는 구조로 생성되며, Asset은 다양한 멀티미디어 데이터(소스)를 포함하는 데이터 스트림으로 이해될 수 있다. 즉 각 멀티미디어 소스는 M-Unit 으로 생성되고, Asset은 적어도 하나의 M-Unit을 포함한다.

아래 <표 1>은 M-Unit, Asset 그리고 프래그먼트 유닛(FU)의 일 예를 나타낸 것이다.

상기 <표 1>에서 off-set은 상기한 바이트 오프셋 정보를 의미한다.

도 3은 도 1의 E2 계층(107)에서 다양한 종류의 멀티미디어 데이터들을 동일한 속성 정보들의 묶음 데이터인 M-Unit을 입력으로 하여 Asset을 생성할 시에 사용하는 Asset의 헤더 정보의 일 예를 나타낸 것이다.

또한 도 3의 Asset 헤더는 시공간적으로 연속적인 M-Unit들의 단위 묶음을 나타낼 수 있다.

도 3에서 ASSET ID(301)는 해당 연속 데이터들에 대한 식별자를 표시한다. 이는 복합 미디어 컨텐츠를 생성하는 과정에서 해당 ASSET들에 대한 식별 정보로 활용 된다. ASSET Length 정보(303, 305, 307)는 해당 ASSET의 데이터 길이를 나타낸다. 본 발명의 실시 예에서 상기 ASSET Length 정보(303~307)는 UD(Ultira Definition) 비디오 데이터를 고려하여 충분하게 큰 길이를 나타낼 수 있도록 설정된다. 설명의 편의상 세 영역(303~307)에 참조 번호를 구분하여 도시하였으나, 상기 ASSET Length 정보는 하나의 필드로 이해될 수 있다.

도 3에서 Asset type (309) 은 해당 Asset의 데이터 타입을 나타내며, 도 2의 실시 예에서 언급한 M-Unit의 데이터 타입을 동일하게 사용할 수 도 있다. 그러나 multimedia type을 나타내는 방법은 이외에도 다양한 방법이 사용될 수 있다. 예를 들어 첫 째 멀티미디어 소스의 종류를 직접적으로 알려주는 방법이 있다. 이는 근래 오디오 코덱, 비디오 코텍, 혹은 각종application들이 다양하게 profiling 되어서 사용되기 때문에 대표 멀티미디어 소스의 명칭만 가지고는 멀티미디어 source를 정확하게 복호할 수 없는 경우가 발생할 수 있기 때문이다.

일 예로 H.264에는 대략 10여 가지의 profiling 이 존재하여, 단순히 H.264로 ASSET의 종류를 알려주게 되면, 복호 과정에서 오류가 발생할 수도 있다. 또한 MMT 패키지를 구성하는데 다수의 멀티미디어 데이터가 복합화되여(Multiplex) 사용된다면 긴 길이의 ASSET type이 필요하게 된다.

또한 예컨대, 13비트 길이의 ASSET type으로 M-Unit의 데이터 타입을 따르도록 할 수 있으며,, 필요에 따라 확장 Flag를 추가하여 해당 우선 순위(Priority)에 따른 추가 정보를 나타낼 수 있다. 일 예로 "00000000"을 H.264로 하고 H.264의 영상들중 I 프레임은 "001", B 프레임은 "010", P 프레임은 "100"으로 나타낼 수 있다. 상기 우선 순위를 바탕으로 상기 M-Unit들을 전송하는 전송단에서 최대한의 QoS를 보장하기 위한 전송 우선 순위를 고려할 수 있다.

M-Unit 제어 정보 헤더 길이(M-Unit Control Information Header Length)(313) 는 해당 Payload에 나타나는 M-Unit Control Information Header의 길이를 나타내며, 이 길이만큼의 M-Unit Control Information 데이터가 있음을 알 수 있다. M-Unit 제어 정보(M-Unit Control Information)(315)로는 복합 전송 망을 고려한 동기화 정보 및 Asset Command (Add, delete, insert, update, replace) 정보, 해당 Asset 데이터 묶음의 기본 시간 단위인 time scale, 그리고 전송 데이터 묶음을 위한 전송율, 손실율, 지연 허용시간, 최대 비트율, 평균 비트율, QoS 보장 여부 등이 표현되는Transport Characteristic 정보와, 해당 Asset의 데이터 묶음에 담겨있는 M-Unit의 개수, RAP(Random Access Point)의 부가 정보 중 적어도 하나를 포함한다.

상기 도 2, 3의 설명에 있어서 각 실시 예들의 차이를 설명하기 위해서 특정 길이, 즉 1 바이트와 2 바이트의 헤더 길이를 예로 들어 설명했으나 그 외의 다른 길이를 가진 M-Unit/ ASSET 헤더들도 사용될 수 있으며, 길이와 상관없이 본 발명에서 제안한 필드들이 사용된다면 본 발명에서 제안하는 M-Unit/ ASSET의 구성방법을 사용한다 라고 볼 수 있다.

본 발명의 실시 예에서 Asset의 식별자 또는 데이터 타입은 Asset을 구성하는 M-unit이 어떠한 종류의 멀티미디어 데이터(소스)로 구성되어 있는 지 나타낼 수 있다. 예를 들어 Asset이 영상 데이터에 대한 것인지, 오디오 데이터에 대한 것인지 또는 영상, 오디오, 파일, 위젯 등 다수의 멀티미디어 소스를 포함하는 지를 나타낼 수 있다. 그리고 M-unit의 식별자 또는 데이터 타입은 해당 M-Unit에 포함된 데이터, 즉 멀티미디어 소스의 종류가 영상, 오디오, 파일, 위젯 등 어느 것에 해당하는 지를 나타낼 수 있다.

도 7은 본 발명의 실시 예에 따른 복합 미디어 컨텐츠를 지원하는 시스템 구조를 나타낸 블록도이다.

도 7을 참조하면, 데이터 스트림의 구조는 크게, 실시간 방송 및 시간에 밀접한 관계가 있는 실시간 데이터 전송을 위한 스트리밍용 구조(701)와 비실시간적인 데이터 전송을 위한 파일 전송용 구조(703)로 구별된다. 또한, 상기 스트리밍용 구조에서 페이로드(Payload)는 실시간 데이터 전송을 위하여 전송되는 기본 단위로 복합 미디어 컨텐츠의 MMT M-Unit 또는 MMT MFU (Media Fragment Unit) 등으로 구성될 수 있다.

본 발명의 실시 예에서 상기 MFU(705)는 CODEC 혹은 어플리케이션 소스(application source)에서 입력된 멀티미디어 데이터를 처리하는 기본적인 단위이다. 상기 MFU(705)는 비디오 코텍에서는 하나의 화면, 혹은 하나의 화면을 구성할 수 있는 다수의 블록 등이 될 수 있으며, 어플리케이션과 같은 파일에서는 하나의 파일 블록 등이 될 수 있다.

또한 상기 MFU들(705)은 전송 혹은 어플케이션 구동의 기본적인 단위가 되는 MMT 미디어 유닛 (M-unit)(707)으로 구성 될 수 있다. 상기 M-Unit(707)에 대한 예를 영상 멀티미디어 데이터로 설명하면, 영상 멀티미디어 데이터에서 하나의 화면을 구성할 수 있는 데이터를 전송하는 단위인 AU(Assess Unit)들이 여러 개가 모여서 하나의 M-UNIT(707)을 구성할 수 있는데, 상기 M-UNIT(707)의 구성 시에 사용자가 고속 탐색(fast forward) 혹은 영상 검색을 할 수 있도록 하는 것이다.

또한 상기 M-UNIT들(707)은 하나의 MMT Asset(709)으로 구성될 수 있다. 또한, 상기 MMT-Asset(709)은 하나의 독립된 비디오 데이터, 혹은 오디오 데이터, 자막 등등이 될 수 있다. 상기 다양한 종류의 MMT Asset들(709)은 합쳐져서 복합 멀티미디어 컨텐츠를 제공할 수 있는 MMT Package(711)가 될 수 있다.

한편, 상기에서 언급한 파일전송용 데이터 스트림은 비실시간 데이터 전송을 위하여 사용되며, 전송을 위한 기본 단위로는 복합 미디어 컨텐츠의 MMT Asset(709) 또는 MMT Package(711)의 전체 또는 특정 일부 단위를 기본 단위로 구성된다.

상기와 같이 본 발명의 실시 예에 따른 MMT 복합 미디어 컨텐츠를 전송하기 위한 구조에서 복합 미디어 컨텐츠를 부호화한 단위가 MFU(705) 혹은 M-Unit(707)이 될 수 있다. 여기서 상기 MFU(705)는 독자적으로 복호화가 가능한 비디오인 경우, 부호화의 한 프레임 혹은 프레임이 여러 슬라이스(Slice) 구조로 구성된 경우 그 중 한 슬라이스(Slice) 단위를 의미한다. 그리고 상기 M-Unit(707)은 , 독자적으로 복호화가 가능한 비디오인 경우, 부호화의 한 프레임 혹은 독자적으로 복호화가 가능한 부호화 취급 단위인 GOP (Group of Picture) 단위를 의미한다. 복합 미디어의 속성과 서비스를 고려하여 그 MMT 복합 미디어 컨텐츠의 전송 구조가 결정될 수 있다. 상기 Asset(709)은 동일한 미디어 타입으로 구성된 M-Unit들(707)의 연속된 스트림이다. 그리고 상기 Package(711)는 단일 Asset 혹은 복수개의 Asset들의 묶음 형식으로 서비스를 위한 부가 정보 즉, 복합 미디어의 화면 구성 정보 시간, 공간적 배치 순서 및 복합 네트워크 환경을 고려한 전송 환경 정보, 전송 요구 대역폭, 손실 가능 여부, 지연 시간 허용 여부 등이 포함될 수 있다.

도 4은 본 발명의 실시 예에 따라 복합 미디어 컨텐츠를 생성하여 전송하는 송신 장치의 구성을 나타낸 블록도이다.

도 4에서 송신 장치는 멀티미디어 소스 M-Unit 입력부(401), 멀티미디어 소스 식별부(403), 멀티미디어 소스 저장부(405), 전송부(407) 및 제어부(409)를 포함한다.

도 4에서 멀티미디어 소스 M-Unit 입력부(401)는 복합 미디어 컨텐츠를 생성하기 위한 멀티미디어 소스로서 다양한 종류의 멀티미디어 데이터의 묶음인 M-Unit을 입력 받고, 멀티미디어 소스 식별부(403)는 멀티미디어 소스로서 M-Unit단위의 묶음에 식별자(Asset ID)를 부여하고, 멀티미디어 소스가 어떤 종류인지, 예컨대 음성 소스인지, 영상 소스인지, 파일인지, 실행 파일 인지 등등을 식별하고, 해당 식별자(Asset ID)를 부여한다. 여기서 하나의 Asset은 다양한 멀티미디어 소스로 구성된 다수의 M-Unit을 포함할 수 있다. 상기 멀티미디어 소스 저장부(405)에는 본 발명에서 제안된 ASSET의 구성 방법에 따라 생성된 ASSET들이 저장된다. 전송부(407)는 정해진 통신망을 통해 상기 ASSET들을 전송하고, 제어부(409)는 상기한 본 발명의 실시 예에 따라 적어도 하나의 멀티미디어 데이터(소스)로부터 제공되는 다양한 종류의 MFU들을 취합하고 M-Unit으로 구성함은 물론 MFU, M-Unit, 그리고 Asset의 생성과 전송을 위한 전반적인 제어를 수행한다.

도 5는 본 발명의 실시 예에 따라 복합 미디어 컨텐츠를 수신하는 수신 장치의 구성을 나타낸 블록도이다.

도 5에서 수신 장치는 수신부(501), 멀티미디어 소스 판독부(503), 멀티미디어 소스 저장부(505), 표시부(507) 및 제어부(509)를 포함한다.

도 5에서 수신부(501)는 다양한 멀티미디어 데이터(소스)에 따른 - 적어도 하나의 MFU로 구성된 - 적어도 하나의 M-Unit를 포함하는 Asset 을 정해진 통신망을 통해 수신하고, Asset의 헤더 정보와 M-Unit의 헤더 정보는 제어부(509)로 전달되어 복합 미디어 컨텐츠의 수신 제어와 복호에 이용된다. 또한 상기 제어부(509)는 상기 MFU에 대한 제어 정보와 상기 M-Unit에 대한 제어 정보를 이용하여 복합 미디어 컨텐츠의 수신 및 복호와 관련한 전반적인 제어를 수행한다.

또한 멀티미디어 소스 판독부(503)는 Asset 및 M-Unit의 헤더 정보를 각각 수신한 제어부(509)로부터 전달된 제어 정보(여기서 제어 정보는 MFU에 대한 제어 정보를 포함한다)를 근거로 M-Unit 단위의 각 멀티미디어 소스의 데이터 타입을 판독하고, 판독된 각 멀티미디어 소스를 멀티미디어 소스 저장부(505)에 구분하여 저장한다. 도 5에서 제어부(509)는 Asset의 수신과 멀티미디어 소스의 판독 및 복호를 위한 전반적인 제어를 수행하고, 복호된 멀티미디어 소스의 데이터는 표시부(507)를 통해 출력된다.

Claims

멀티미디어 시스템에서 미디어 패킷을 송신하는 장치에 있어서,
데이터를 송신하도록 구성된 송신기; 및
미디어 데이터의 적어도 부분을 포함하는 유닛을 식별하고, 상기 유닛은 상기 유닛의 조각(fragment)인 적어도 하나의 서브 유닛을 포함하고, 상기 유닛은 복호 처리에서 독립적으로 복호될 수 있으며,
상기 미디어 패킷의 페이로드에 상기 유닛의 데이터를 포함하는 상기 미디어 패킷을 송신하도록 구성된 제어기를 포함하며,
상기 서브 유닛은 상기 복호 처리에서 상기 서브 유닛을 근거로 의존적으로 복호될 수 있는 적어도 하나의 연이은 서브 유닛의 수를 지시하는 카운트 정보를 포함하고, 상기 적어도 하나의 연이은 서브 유닛은 상기 복호 처리에서 상기 서브 유닛과 관련되고,
상기 서브 유닛은 상기 유닛 내에서 다른 서브 유닛에 대한 상대적인 우선 순위를 지시하는 정보를 포함하는 송신 장치.
제 1 항에 있어서,
상기 페이로드는,
상기 페이로드가 하나 또는 복수의 완전한 서브 유닛들을 포함하거나, 상기 페이로드가 상기 서브 유닛의 첫 번째 조각을 포함하거나, 상기 페이로드가 상기 서브 유닛의 마지막 조각을 포함하거나, 혹은 상기 페이로드가 상기 첫 번째 조각도 아니고 상기 마지막 조각도 아닌 상기 서브 유닛의 조각을 포함하는 것 중 하나를 지시하는 지시자를 포함하는 송신 장치.
제 1 항에 있어서,
상기 서브 유닛은 상기 서브 유닛의 순서를 지시하는 번호 정보를 포함하는 송신 장치.
제 1 항에 있어서,
상기 카운트 정보와 상기 우선 순위를 지시하는 정보는 상기 서브 유닛의 헤더에 포함되는 송신 장치.
제 1 항에 있어서,
상기 미디어 데이터는 시간 기반 데이터(timed data)를 포함하는 송신 장치.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 서브 유닛은 MFU(Media Fragment Unit)을 포함하는 송신 장치.
멀티미디어 시스템에서 미디어 패킷을 송신하는 방법에 있어서,
미디어 데이터의 적어도 부분을 포함하는 유닛을 식별하는 과정과,
상기 미디어 패킷의 페이로드에 상기 유닛의 데이터를 포함하는 상기 미디어 패킷을 송신하는 과정을 포함하며,
상기 유닛은 상기 유닛의 조각(fragment)인 적어도 하나의 서브 유닛을 포함하고, 상기 유닛은 복호 처리에서 독립적으로 복호될 수 있으며,
상기 서브 유닛은 상기 복호 처리에서 상기 서브 유닛을 근거로 의존적으로 복호될 수 있는 적어도 하나의 연이은 서브 유닛의 수를 지시하는 카운트 정보를 포함하고, 상기 적어도 하나의 연이은 서브 유닛은 상기 복호 처리에서 상기 서브 유닛과 관련되고,
상기 서브 유닛은 상기 유닛 내에서 다른 서브 유닛에 대한 상대적인 우선 순위를 지시하는 정보를 포함하는 송신 방법.
제 7 항에 있어서,
상기 페이로드는,
상기 페이로드가 하나 또는 복수의 완전한 서브 유닛들을 포함하거나, 상기 페이로드가 상기 서브 유닛의 첫 번째 조각을 포함하거나, 상기 페이로드가 상기 서브 유닛의 마지막 조각을 포함하거나, 혹은 상기 페이로드가 상기 첫 번째 조각도 아니고 상기 마지막 조각도 아닌 상기 서브 유닛의 조각을 포함하는 것 중 하나를 지시하는 지시자를 포함하는 송신 방법.
제 7 항에 있어서,
상기 서브 유닛은 상기 서브 유닛의 순서를 지시하는 번호 정보를 포함하는 송신 방법.
제 7 항에 있어서,
상기 카운트 정보와 상기 우선 순위를 지시하는 정보는 상기 서브 유닛의 헤더에 포함되는 송신 방법.
제 7 항에 있어서,
상기 미디어 데이터는 시간 기반 데이터(timed data)를 포함하는 송신 방법.
제 7 항 내지 제 11 항 중 어느 한 항에 있어서,
상기 서브 유닛은 MFU(Media Fragment Unit)을 포함하는 송신 방법.