KR102049039B1 - Method configuring and transmitting mmt transport packet - Google Patents

Method configuring and transmitting mmt transport packet Download PDF

Info

Publication number
KR102049039B1
KR102049039B1 KR1020190013816A KR20190013816A KR102049039B1 KR 102049039 B1 KR102049039 B1 KR 102049039B1 KR 1020190013816 A KR1020190013816 A KR 1020190013816A KR 20190013816 A KR20190013816 A KR 20190013816A KR 102049039 B1 KR102049039 B1 KR 102049039B1
Authority
KR
South Korea
Prior art keywords
mmt
packet
media
sequence number
information
Prior art date
Application number
KR1020190013816A
Other languages
Korean (ko)
Other versions
KR20190018142A (en
Inventor
배성준
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20190018142A publication Critical patent/KR20190018142A/en
Application granted granted Critical
Publication of KR102049039B1 publication Critical patent/KR102049039B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/34Flow control; Congestion control ensuring sequence integrity, e.g. using sequence numbers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/36Flow control; Congestion control by determining packet size, e.g. maximum transfer unit [MTU]
    • H04L65/601
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22Parsing or analysis of headers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/326Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the transport layer [OSI layer 4]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2212/00Encapsulation of packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 명세서는 MMT 페이로드 포맷을 전송하는 MMT 전송 패킷의 구조 및 설정 방법이 개시된다. 본 명세서는 적어도 하나의 MMT 페이로드 포맷 유닛을 포함하고 패킷 스트림에 대한 시퀀스 번호 필드를 포함하도록 상기 MMT 전송 패킷을 설정하며, 상기 시퀀스 번호 필드는 상기 MMT 페이로드 포맷에 포함되는 시퀀스 번호 필드와 일관성(consistency)이 유지됨을 포함한다. 본 발명에 따르면 패킷 시퀀스 번호가 MMT 전송에서 제공되며, MMT 페이로드 포맷이 RTP 위에 사용되는 경우 및 MMT 페이로드 포맷이 MMT 전송 패킷 위에서 사용되는 경우, 동시에 패킷 스트림에 대한 일반 시퀀스 번호 체계를 지원할 수 있다.The present specification discloses a structure and a method of setting an MMT transport packet for transmitting an MMT payload format. The specification sets the MMT transport packet to include at least one MMT payload format unit and to include a sequence number field for a packet stream, wherein the sequence number field is consistent with the sequence number field included in the MMT payload format. (consistency) is maintained. According to the present invention, a packet sequence number is provided in an MMT transmission, and when an MMT payload format is used over an RTP and an MMT payload format is used over an MMT transport packet, it can simultaneously support a general sequence number scheme for a packet stream. have.

Description

MMT 전송 패킷의 설정 방법 및 전송 방법{METHOD CONFIGURING AND TRANSMITTING MMT TRANSPORT PACKET}Setting method and transmission method of MMT transport packet {METHOD CONFIGURING AND TRANSMITTING MMT TRANSPORT PACKET}

본 발명은 MMT(MPEG Media Transport) 전송 패킷에 관한 것으로서, 보다 자세하게는 MMT 전송 패킷을 설정하거나 전송하는 방법 및 장치에 관한 것이다.The present invention relates to a MPEG Media Transport (MMT) transport packet, and more particularly, to a method and apparatus for setting or transmitting an MMT transport packet.

종래의 미디어 프래그먼트 헤더는 시스템이 처리하는 부분이 아니라 미디어 인코더가 접근 및 처리(access/processing)하는 부분이므로 복잡한 구조를 가지는 경우 구현이 어렵고, 가용성을 떨어트리는 문제점이 있었다.Since the conventional media fragment header is a part that is accessed and processed by the media encoder rather than a part that is processed by the system, it has a problem in that it is difficult to implement when the structure has a complicated structure and the availability is reduced.

한국등록특허 "비디오 데이터 인코딩 시스템 및 디코딩 시스템"(등록번호, 0965881, 인용발명1)에서는 비디오 데이터 인코딩 시스템 및 디코딩 시스템을 개시한다. 인용발명1에 따른 비디오 데이터 인코딩 장치는, 소정 신택스에 따라 입력 비디오 데이터를 인코딩하여 제1 비트스트림을 생성하는 제1 인코딩부; 상기 소정 신택스와 다른 신택스에 따라, 입력 비디오 데이터를 인코딩하여 제2 비트스트림을 생성하는 제2 인코딩부; 및 상기 제1 비트스트림 또는 상기 제2 비트스트림을 입력받아, 어떤 신택스에 따라 인코딩된 비트스트림인지를 나타내는 신택스 유형 정보를 포함하는 헤더 정보를 상기 제1 비트스트림 또는 상기 제2 비트스트림에 포함시키는 헤더 정보 생성부를 포함한다. 인용발명1에 따르면, 서로 다른 인코딩 방식에 따라 영상 데이터를 각각 독립적으로 인코딩/디코딩할 수 있고, 서로 다른 인코딩 방식을 함께 이용하여 스케일러블 인코딩/스케일러블 디코딩을 할 수 있다. 인용발명1은 데이터 스트림의 유형 정보, 레이어 유형 정보, 스케일러빌리티 유형 정보를 포함하지만 랜덤 액세스 및 AU에 관한 정보를 포함하지 않는 문제가 있다.Korean Registered Patent "Video Data Encoding System and Decoding System" (Registration No. 0965881, Cited Invention 1) discloses a video data encoding system and decoding system. According to an aspect of the present invention, an apparatus for encoding video data includes: a first encoding unit which encodes input video data according to a predetermined syntax to generate a first bitstream; A second encoder for generating a second bitstream by encoding input video data according to a syntax different from the predetermined syntax; And receiving the first bitstream or the second bitstream, and including header information including syntax type information indicating which syntax bitstream is encoded according to the first bitstream or the second bitstream. It includes a header information generation unit. According to Citation 1, image data may be independently encoded / decoded according to different encoding schemes, and scalable encoding / scalable decoding may be performed using different encoding schemes together. Citation Invention 1 includes the type information of the data stream, the layer type information, and the scalability type information, but does not include information regarding random access and AU.

이외에도 미디어를 인코딩 및 디코딩 하는 장치 및 방법에 관한 미국등록특허 "MOVING PICTURE DECODING DEVICE, SEMICONDUCTOR DEVICE, VIDEO DEVICE, AND MOVING PICTURE DECODING METHOD"(공개번호 2010-0021142, 인용발명2) 및 영상 표준에 있어서 영상을 인코딩하는 장치에 관한 미국공개특허 "Advance macro-block entropy coding for advanced video standard"(공개번호 2008-0260041, 인용발명3)가 공개되었으나 특정 미디어나 코덱에 의존적이지 않으면서 랜덤액세스 관련 정보 및 AU 관련 정보를 전송하고 수신하는 방법이 여전히 요구된다.In addition, U.S. Patents "MOVING PICTURE DECODING DEVICE, SEMICONDUCTOR DEVICE, VIDEO DEVICE, AND MOVING PICTURE DECODING METHOD" (Publication No. 2010-0021142, Cited Invention 2) and the standard U.S. Patent Publication "Advance macro-block entropy coding for advanced video standard" (Publication No. 2008-0260041, Cited Invention 3), which discloses a device that encodes a digital signature, is disclosed but does not depend on a specific media or codec. There remains a need for a method of transmitting and receiving relevant information.

본 발명의 기술적 과제는, 새로운 구조의 MMT 전송 패킷 구조 및 상기 구조를 설정하는 방법 및 장치를 제공함에 있다.An object of the present invention is to provide an MMT transport packet structure having a new structure and a method and apparatus for setting the structure.

본 발명의 일 양태에 따르면, MMT 페이로드 포맷을 전송하는 MMT 전송 패킷을 설정하는 과정은 적어도 하나의 MMT 페이로드 포맷 유닛을 포함하고, 패킷 스트림에 대한 시퀀스 번호 필드를 포함하도록 상기 MMT 전송 패킷을 설정하며, 상기 시퀀스 번호 필드는 상기 MMT 페이로드 포맷에 포함되는 시퀀스 번호 필드와 일관성(consistency)이 유지되는 것을 특징으로 한다.According to an aspect of the present invention, the step of setting an MMT transport packet for transmitting an MMT payload format includes the at least one MMT payload format unit and includes the MMT transport packet so as to include a sequence number field for a packet stream. The sequence number field may be configured to maintain consistency with the sequence number field included in the MMT payload format.

상기 MMT 페이로드 포맷은 RTP 패킷에서 지원되는 시퀀스 번호에 관한 필드를 포함할 수 있다.The MMT payload format may include a field regarding a sequence number supported in an RTP packet.

PTS-동등한(Presentation Time stamp-equivalent)한 기능이 E-계층 기능(E-layer function)을 통해 제공될 수 있다.PTS-equivalent functionality may be provided through an E-layer function.

상기 E-계층 기능이 제공되는 것은 M-유닛일 수 있다.The E-layer function may be provided by an M-unit.

상기 MMT 페이로드 포맷은 MTU 단위로 유닛을 집성하거나 단편화할 수 있다.The MMT payload format may aggregate or fragment units in MTU units.

본 발명의 다른 양태에 따르면, MMT 페이로드 포맷을 전송하는 MMT 전송 패킷의 전송 방법은 적어도 하나의 MMT 페이로드 포맷 유닛을 포함하고, 패킷 스트림에 대한 시퀀스 번호 필드를 포함하도록 상기 MMT 전송 패킷을 설정하는 단계; 및 상기 설정된 MMT 전송 패킷을 전송하는 단계를 포함하며, 상기 시퀀스 번호 필드는 상기 MMT 페이로드 포맷에 포함되는 시퀀스 번호 필드와 일관성(consistency)이 유지될 수 있다.According to another aspect of the present invention, a method of transmitting an MMT transport packet for transmitting an MMT payload format includes at least one MMT payload format unit and sets the MMT transport packet to include a sequence number field for a packet stream. Doing; And transmitting the set MMT transport packet, wherein the sequence number field may maintain consistency with a sequence number field included in the MMT payload format.

상기 MMT 페이로드 포맷은 RTP 패킷에서 지원되는 시퀀스 번호에 관한 필드를 포함할 수 있다.The MMT payload format may include a field regarding a sequence number supported in an RTP packet.

PTS-동등한(Presentation Time stamp-equivalent)한 기능이 E-계층 기능(E-layer function)을 통해 제공될 수 있다.PTS-equivalent functionality may be provided through an E-layer function.

상기 E-계층 기능이 제공되는 것은 M-유닛일 수 있다.The E-layer function may be provided by an M-unit.

상기 MMT 페이로드 포맷은 MTU 단위로 유닛을 집성하거나 단편화할 수 있다.The MMT payload format may aggregate or fragment units in MTU units.

본 발명의 또 다른 양태에 따르면 MMT 전송 패킷은 헤더부 및 적어도 하나의 미디어 프래그먼트 유닛(MFU)을 포함하고, 상기 MFU는 적어도 하나의 MMT 페이로드 포맷 유닛을 포함하고, 상기 헤더부는 패킷 스트림에 대한 시퀀스 번호 필드를 포함하며, 상기 시퀀스 번호 필드는 상기 MMT 페이로드 포맷에 포함되는 시퀀스 번호 필드와 일관성(consistency)이 유지될 수 있다.According to another aspect of the invention the MMT transport packet comprises a header portion and at least one media fragment unit (MFU), the MFU comprises at least one MMT payload format unit, the header portion for the packet stream A sequence number field may be included, and the sequence number field may maintain consistency with a sequence number field included in the MMT payload format.

상기 MMT 페이로드 포맷은 RTP 패킷에서 지원되는 시퀀스 번호에 관한 필드를 포함할 수 있다.The MMT payload format may include a field regarding a sequence number supported in an RTP packet.

PTS-동등한(Presentation Time stamp-equivalent)한 기능이 E-계층 기능(E-layer function)을 통해 제공될 수 있다.PTS-equivalent functionality may be provided through an E-layer function.

상기 E-계층 기능이 제공되는 것은 M-유닛일 수 있다.The E-layer function may be provided by an M-unit.

상기 MMT 페이로드 포맷은 MTU 단위로 유닛을 집성하거나 단편화할 수 있다. The MMT payload format may aggregate or fragment units in MTU units.

본 발명에 따르면 패킷 시퀀스 번호가 MMT 전송에서 제공되며, MMT 페이로드 포맷이 RTP 위에 사용되는 경우 및 MMT 페이로드 포맷이 MMT 전송 패킷 위에서 사용되는 경우, 동시에 패킷 스트림에 대한 일반 시퀀스 번호 체계를 지원할 수 있다.According to the present invention, a packet sequence number is provided in an MMT transmission, and when an MMT payload format is used over an RTP and an MMT payload format is used over an MMT transport packet, it can simultaneously support a general sequence number scheme for a packet stream. have.

도 1은 MMT 계층 구조를 나타낸 개념도이다.
도 2는 MMT 계층 구조의 각 계층별로 사용되는 단위 정보(또는 데이터 또는 패킷)의 포맷을 나타내는 개념도이다.
1 is a conceptual diagram illustrating an MMT hierarchical structure.
2 is a conceptual diagram illustrating a format of unit information (or data or packet) used for each layer of the MMT hierarchical structure.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 이하에서 개시되는 실시 예에 한정되지 않는다. 또한 도면에서 본 발명을 명확하게 개시하기 위해서본 발명과 관계없는 부분은 생략하였으며, 도면에서 동일하거나 유사한 부호들은 동일하거나 유사한 구성요소들을 나타낸다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. Also, in order to clearly disclose the present invention, parts not related to the present invention are omitted, and the same or similar reference numerals in the drawings indicate the same or similar elements.

이하, 용어의 의미를 다음과 같이 정의한다. Hereinafter, the meaning of the term is defined as follows.

컨텐츠 콤포넌트(content component) 또는 미디어 콤포넌트(media component)는 단일 종류의 미디어(media of a single type) 또는 단일 종류의 미디어의 부분 집합(subset of the media of a single type)으로 정의되며, 예를 들어, 비디오 트랙(video track), 영화 자막(movie subtitles), 또는 비디오 향상계층(enhancement layer of video)이 될 수 있다. The content component or media component is defined as a media of a single type or a subset of the media of a single type. , Video tracks, movie subtitles, or a video enhancement layer of video.

컨텐츠(content)는 컨텐츠 콤포넌트의 집합으로 정의하며, 예를 들어 영화(movie), 노래(song)등이 될 수 있다. Content is defined as a set of content components, and may be, for example, a movie or a song.

표현(presentation)은 사용자가 하나의 컨텐츠 컴포넌트 또는 하나의 서비스를 경험(예를 들어 영화 감상)할 수 있도록 하나 또는 하나 이상의 장치들에 의해 수행되는 동작(operation)으로 정의한다. A presentation is defined as an operation performed by one or more devices to allow a user to experience one content component or one service (eg, watch a movie).

서비스(service)는 표현(presentation) 또는 저장(storage)을 위해 전송되는 하나 또는 하나 이상의 컨텐츠 컴포넌트로 정의한다. A service is defined as one or more content components that are transmitted for presentation or storage.

서비스 정보(service information)는 하나의 서비스, 상기 서비스의 특성(characteristics) 및 컴포넌트들을 기술하는 메타 데이터로 정의한다.Service information is defined as metadata describing one service, characteristics and components of the service.

엑세스 유닛(Access Unit; AU)은 가장 작은 데이터 개체로, 시간 정보를 속성으로 가질 수 있다. An access unit (AU) is the smallest data entity and may have time information as an attribute.

디코딩 및 프리젠테이션을 위한 시간 정보가 지정되지 않은 부호화된 미디어 데이터가 관련되면, AU는 정의되지 않는다.If coded media data for which decoding and presentation time information is not specified is relevant, the AU is not defined.

MMT 애셋(MMT Asset)은 동일한 MMT 애셋 ID와 함께 적어도 하나의 MPU로 구성되거나 또는 다른 표준에서 정의된 형식과 함께 특정 데이터 덩어리로 구성되는 논리적 데이터 개체이다. MMT 애셋은 동일한 컴포지션 정보 및 전송 특성이 적용되는 가장 큰 데이터 유닛이다. An MMT asset is a logical data entity consisting of at least one MPU with the same MMT asset ID or a specific chunk of data with a format defined by other standards. The MMT asset is the largest data unit to which the same composition information and transmission characteristics apply.

MMT 애셋 전송 특성(MMT Asset Delivery Characteristics; MMT-ADC)은 MMT 애셋을 전송하기 위한 QoS 요구에 관련된 서술이다. MMT-ADC는 특정 전송 환경을 알 수 없게 표현된다.MMT Asset Delivery Characteristics (MMT-ADC) is a description related to QoS requirements for delivering MMT assets. MMT-ADC is expressed without knowing the specific transmission environment.

MMT 컴포지션 정보(MMT Composition Information ; MMT CI)는 MMT 애셋간의 공간적 및 시간적 관계를 설명한다.MMT Composition Information (MMT CI) describes spatial and temporal relationships between MMT assets.

미디어 프래그먼트 유닛(Media Fragment Unit; MFU)는 일반적인 컨테이너로, 어떠한 특정 코덱에도 독립적이며, 미디어 디코더에 의해 독립적으로 소비될 수 있는 부호화된 미디어 데이터를 수용한다. 이는 엑세스 유닛(AU)보다 작거나 같은 크기를 가지고 전송계층에서 사용될 수 있는 정보를 수용한다.Media Fragment Unit (MFU) is a general container, which is independent of any particular codec, and accommodates encoded media data that can be consumed independently by a media decoder. It has information that is less than or equal to the access unit (AU) and can be used at the transport layer.

MMT 패키지(MMT Package)는 논리적으로 구조화된 데이터의 모음으로, 적어도 하나의 MMT 애셋, MMT-컴포지션 정보, MMT-애셋 전송 특성 및 설명적인 정보로 구성된다.An MMT package is a collection of logically structured data and includes at least one MMT asset, MMT composition information, MMT asset asset, and descriptive information.

MMT 패킷(MMT packet)은 MMT 프로토콜에 의해 생성 또는 소비되는 데이터의 포맷이다.The MMT packet is a format of data generated or consumed by the MMT protocol.

MMT 페이로드 포맷(MMT payload format)은 MMT 프로토콜 또는 인터넷 응용 계층 프로토콜(예를들면, RTP)에 의해 전달될 MMT 패키지 또는 MMT 시그날링 메시지의 페이로드를 위한 포맷이다.The MMT payload format is a format for payload of an MMT package or MMT signaling message to be delivered by an MMT protocol or an internet application layer protocol (eg, RTP).

MMT 프로세싱 유닛(MMT Processing Unit)은 어떠한 특정 미디어 코덱에도 독립된 일반적인 컨테이너로, 적어도 하나의 AU 및 추가적인 전송 및 소비에 관련된 정보를 수용한다. 비-시간적 데이터를 위하여, MPU는 AU 범위에 속하지 않는 데이터의 부분을 수용한다. MPU는 완전하고 독립적으로 처리될 수 있는 부호화된 미디어 데이터이다. 이러한 맥락에서 처리는 전송을 위한 MMT 패키지로의 캡슐화 또는 패킷화를 의미한다.The MMT Processing Unit is a generic container that is independent of any particular media codec and holds at least one AU and information related to additional transmission and consumption. For non-temporal data, the MPU accepts a portion of data that does not fall within the AU range. MPU is encoded media data that can be processed completely and independently. In this context, processing means encapsulation or packetization into an MMT package for transmission.

비-시간 데이터(Non-timed data)는 시간을 명시하지 않고 소비되는 모든 데이터 요소를 정의한다. 비-시간 데이터는 데이터가 실행되거나 시작될 수 있는 시간 범위를 가질 수 있다.Non-timed data defines all data elements that are consumed without specifying time. Non-timed data can have a time range within which the data can be executed or started.

시간 데이터(timed data)는 디코딩 및 프리젠테이션 되는 특정한 시간과 연관된 데이터 요소를 정의한다.Timed data defines data elements associated with a particular time to be decoded and presented.

도 1은 MMT 계층 구조를 나타낸 개념도이다. 1 is a conceptual diagram illustrating an MMT hierarchical structure.

도 1을 참조하면, MMT 계층은 캡슐화 계층(Encapsulation layer), 전달 계층(Delivery layer) 및 S 계층(S layer)을 포함한다. MMT 계층은 전송 계층(Transport layer) 위에서 동작한다. Referring to FIG. 1, the MMT layer includes an encapsulation layer, a delivery layer, and an S layer. The MMT layer operates on a transport layer.

캡슐화 계층(Encapsulation layer; E-layer)은 예를 들어 전송되는 미디어의 패킷화(packetization), 프래그먼테이션(Fragmentation), 동기화(Synchronization), 멀티플렉싱(Multiplexing)등의 기능을 담당할 수 있다. The encapsulation layer (E-layer) may be responsible for, for example, packetization, fragmentation, synchronization, multiplexing, and the like of transmitted media.

캡슐화 기능 영역(encapsulation functional area)은 미디어 컨텐츠, MMT 패키지, 그리고 MMT를 준수하는 개체에 의해 처리될 데이터 유닛들의 포맷의 논리적 구조를 정의한다. 적응적 전송을 위해 필수적인 정보를 제공하기 위해 MMT 패키지는 미디어 컨텐츠를 포함하는 컴포넌트들 및 그들간의 관계를 명시한다. 데이터 유닛들의 포맷은 전송 프로토콜의 페이로드로 저장 또는 전송되도록 , 그리고 그들 사이에서 쉽게 변환 되도록 부호화된 미디어를 캡슐화 하기 위해 정의된다. The encapsulation functional area defines the logical structure of the format of the media content, the MMT package, and the data units to be processed by the MMT compliant entity. In order to provide the necessary information for adaptive delivery, the MMT package specifies the components that contain the media content and the relationships between them. The format of the data units is defined to encapsulate the encoded media to be stored or transmitted in the payload of the transport protocol and to be easily converted between them.

캡슐화 계층(E-layer)은, 도 1에 도시된 바와 같이, MMT E.1 계층(MMT E.1 Layer), MMT E.2 계층(MMT E.2 Layer) 및 MMT E.3 계층(MMT E.3 Layer)으로 구성될 수 있다. Encapsulation layer (E-layer), as shown in Figure 1, MMT E.1 Layer (MMT E.1 Layer), MMT E.2 Layer (MMT E.2 Layer) and MMT E.3 Layer (MMT) E.3 Layer).

E.3 계층은 미디어 코덱(A) 계층으로부터 제공된 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)를 캡슐화하여 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 생성한다.The E.3 layer encapsulates a Media Fragment Unit (MFU) provided from the Media Codec (A) layer to create a Media Processing Unit (MPU).

상위 계층으로부터의 부호화된 미디어 데이터는 MFU로 캡슐화된다. 부호화된 미디어의 타입과 값은 MFU를 특정 코덱 기술에 일반적으로 사용될 수 있도록 추상화될 수 있다. 이는 하위 계층이 캡슐화된 부호화된 미디어에 접근없이 MFU를 처리할 수 있도록 한다. 하위 계층은 요구되는 부호화된 미디어 데이터를 네트워크나 저장소의 버퍼로부터 불러오고 미디어 디코더로 전송한다. MFU는 상기 작동을 수행하기 위한 충분한 정보 미디어 부분 유닛을 가지고 있다.Encoded media data from the upper layer is encapsulated in MFU. The type and value of the encoded media can be abstracted to allow the MFU to be generally used in a particular codec technology. This allows the lower layer to process the MFU without access to the encapsulated encoded media. The lower layer retrieves the required encoded media data from the network or storage buffer and sends it to the media decoder. The MFU has enough information media subunits to perform this operation.

MFU는 미디어 디코더에서 독립적으로 소비될 수 있는 데이터 유닛을 싣을 수 있는, 임의의 특정 코덱(codec)에 독립적인, 포맷을 가질 수 있다. MFU는 예를 들어 비디오의 픽춰(picture) 또는 슬라이스(slice)가 될 수 있다.The MFU may have a format, independent of any particular codec, that can carry data units that can be consumed independently in the media decoder. The MFU can be, for example, a picture or slice of the video.

독립적으로 전송가능하고 디코드할수 있는 하나 또는 한 그룹의 다수 MFU는 MPU를 생성한다. 독립적으로 전송가능하고 실행가능한 비-시간적 미디어 또한 MPU를 생성한다. MPU는 MFU에의 빠른 접근 및 부분적 소비를 가능하게 하는 MFU의 배열 및 패턴과 같은 내부 구조를 기술한다. One or a group of multiple MFUs that can be independently transmitted and decoded create an MPU. Non-temporal media that are independently transportable and executable also create an MPU. MPUs describe internal structures such as the arrangement and pattern of MFUs that allow for quick access and partial consumption of MFUs.

E.2 계층은 E.3계층에서 생성된 MPU를 캡슐화하여 MMT 애셋(MMT Asset)을 생성한다. The E.2 layer encapsulates the MPUs created in the E.3 layer to generate MMT assets.

MMT 애셋은 단일의 데이터 소스로부터의 하나 또는 복수의 MPU로 이루어진 데이터 엔티티(data entity)로서, 컴포지션 정보(Composition Information; CI) 및 전송 특성(Transport Characteristics; TC)이 정의된 데이터 유닛이며, MMT 페이로드 포맷에 의해 다중화되고, MMT 프로토콜에 의해 전송된다. MMT 애셋은 PES(packetized elementary streams)에 대응될 수 있으며, 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 파일 포맷(File Format), M2TS(MPEG transport stream)등에 대응될 수 있다. An MMT asset is a data entity made up of one or more MPUs from a single data source, and is a data unit in which composition information (CI) and transport characteristics (TC) are defined. Multiplexed by load format and transmitted by MMT protocol. MMT assets can correspond to packetized elementary streams (PES), for example video, audio, program information, MPEG-U widgets, JPEG images, MPEG 4 file format, M2TS (MPEG transport stream), etc.

E.1 계층(E.1 Layer)은 E.2 계층에서 생성된 MMT 애셋을 캡슐화하여 MMT 패키지(MMT Package)를 생성한다. The E.1 layer creates an MMT package by encapsulating the MMT asset generated in the E.2 layer.

MMT 애셋은 다른 기능적 영역-전송 영역 및 시그날 영역-과 함께 또는 별도로 동일한 사용자 경험의 추후의 응답을 위해 MMT 콤포지션 정보(MMT-composition information;MMT-CI)와 패키지된다. 상기 MMT 패키지 또한 MMT 애셋의 체감 품질을 충족시키도록 각각의 MMT 애셋을 위한 적절한 전송 방법을 선정하는 전송 특성과 함께 패키지된다.The MMT asset is packaged with MMT composition information (MMT-CI) for later response of the same user experience together or separately with other functional areas—transmission area and signal area. The MMT package is also packaged with a transmission characteristic that selects an appropriate transmission method for each MMT asset to satisfy the haptic quality of the MMT asset.

MMT 패키지는 콤포지션 정보(composition information) 및 전송 특성(transport characteristics)과 같은 부가 정보와 함께 하나 또는 복수의 MMT 애셋으로 구성될 수 있다. 콤포지션 정보(composition information)는 MMT 애셋들 사이의 관계(relationship)에 대한 정보를 포함하며, 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다. 전송 특성(transport characteristics)은 MMT 애셋 또는 MMT 패킷의 전송 조건(delivery condition)을 결정하기 위해 필요한 전송 특성 정보를 포함할 수 있으며, 예를 들어 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다. MMT 패키지는 MPEG-2 TS의 프로그램(Program)에 대응될 수 있다. The MMT package may be composed of one or more MMT assets together with additional information such as composition information and transport characteristics. Composition information includes information about a relationship between MMT assets, and when one content consists of a plurality of MMT packages, it indicates a relationship between a plurality of MMT packages. It may further include information. The transport characteristics may include transmission characteristic information necessary for determining a delivery condition of an MMT asset or an MMT packet, and may include, for example, a traffic description parameter and a QoS descriptor. ) May be included. The MMT package may correspond to a program of MPEG-2 TS.

전달 계층(Delivery layer)은 예를 들어 네트워크를 통해 전송되는 미디어의 네트워크 플로우 멀티플렉싱(Network flow multiplexing), 네트워크 패킷화(Network packetization), QoS 제어 등을 수행할 수 있다.The delivery layer may perform, for example, network flow multiplexing, network packetization, and QoS control of media transmitted through a network.

전달 기능 영역(delivery functional area)은 페이로드의 응용 계층 프로토콜 및 포맷을 정의한다. 본 발명에서 응용 계층 프로토콜은 다중화를 포함하는 멀티미디어의 전송을 위한 종래의 응용 계층 프로토콜에 비하여 MMT 패키지의 전달을 위한 강화된 특징을 제공한다. 페이로드 포맷은 미디어 타입 또는 인코딩 방법을 불문하고 부호화된 미디어 데이터를 전달하도록 정의된다. The delivery functional area defines the application layer protocol and format of the payload. The application layer protocol in the present invention provides enhanced features for the delivery of MMT packages as compared to conventional application layer protocols for the transmission of multimedia including multiplexing. The payload format is defined to carry coded media data regardless of the media type or encoding method.

전달 계층 (D-layer)은, 도 1에 도시된 바와 같이, MMT D.1 계층(MMT D.1 Layer), MMT D.2 계층(MMT D.2 Layer) 및 MMT D.3 계층(MMT D.3 Layer)으로 구성될 수 있다. The transport layer (D-layer), as shown in Figure 1, MMT D.1 Layer (MMT D.1 Layer), MMT D.2 Layer (MMT D.2 Layer) and MMT D.3 Layer (MMT) D.3 Layer).

D.1 계층(D.1-layer)은 E.1 계층에서 생성된 MMT 패키지를 받아서 MMT 페이로드 포맷(MMT Payload format)을 생성한다. MMT 페이로드 포맷은 MMT 애셋을 전송하고, 그리고 MMT 애플리케이션 프로토콜 또는 RTP와 같은 다른 기존의 애플리케이션 전송 프로토콜에 의한 소비를 위한 정보를 전송하기 위한 페이로드 포맷이다. MMT 페이로드는 AL-FEC와 같은 정보와 함께 MFU의 프래그먼트를 포함할 수 있다.The D.1 layer receives the MMT package generated in the E.1 layer and generates an MMT payload format. The MMT payload format is a payload format for carrying MMT assets and for transmitting information for consumption by the MMT application protocol or other existing application transport protocol such as RTP. The MMT payload may include a fragment of the MFU along with information such as AL-FEC.

D.2 계층(D.2-layer)은 D.1 계층에서 생성된 MMT 페이로드 포맷을 받아서 MMT 전송 패킷(MMT Transport Packet) 또는 MMT 패킷(MMT Packet)를 생성한다. MMT 전송 패킷 또는 MMT 패킷은 MMT를 위한 애플리케이션 전송 프로토콜에 사용되는 데이터 포맷이다. The D.2 layer receives the MMT payload format generated in the D.1 layer and generates an MMT transport packet or an MMT packet. The MMT transport packet or MMT packet is a data format used in an application transport protocol for MMT.

D.3 계층(D.3-layer)은 교차 계층 설계(cross-layer Design)에 의해 계층간에 정보를 교환할 수 있는 기능을 제공하여 QoS를 지원한다. 예를 들어, D.3 계층은 MAC/PHY 계층의 QoS 파라미터를 이용하여 QoS 제어를 수행할 수 있다. D.3 layer (D.3-layer) supports QoS by providing the function of exchanging information between layers by cross-layer design. For example, the D.3 layer may perform QoS control using QoS parameters of the MAC / PHY layer.

S 계층(S layer)은 시그널링 기능(signaling function)을 수행한다. 예를 들어 전송되는 미디어의 세션 초기화/제어/관리(session initialization/control/management), 서버 기반 및/또는 클라이언트 기반의 트릭 모드, 서비스 디스커버리(Service discovery), 동기화(Synchronization) 등을 위한 시그널링 기능을 수행할 수 있다. The S layer performs a signaling function. For example, signaling functions for session initialization / control / management of transmitted media, server-based and / or client-based trick modes, service discovery, synchronization, etc. Can be done.

시그날링 기능 영역(signaling functional area)는 MMT 패키지의 전달 및 소비를 관리하는 메시지의 포맷을 정의한다. 소비 관리를 위한 메시지는 MMT 패키지의 구조를 전송하기 위해 사용되고, 전달 관리를 위한 메시지는 페이로드 포맷의 구조 및 프로토콜의 구성을 전송하기 위해 사용된다.The signaling functional area defines the format of the message that manages the delivery and consumption of the MMT package. The message for consumption management is used to transmit the structure of the MMT package, and the message for delivery management is used to transmit the structure of the payload format and the configuration of the protocol.

S 계층(S layer)은, 도 1에 도시된 바와 같이, MMT S.1 계층(MMT S.1 Layer) 및 MMT S.2 계층(MMT S.2 Layer)으로 구성될 수 있다. As illustrated in FIG. 1, the S layer may include an MMT S.1 layer and an MMT S.2 layer.

S.1 계층은 서비스 디스커버리(Service discovery), 미디어의 세션 초기화/종료(media session initialization/termination), 미디어의 세션 표현/제어(media session presentation/control), 전달(D) 계층 및 캡슐화(E) 계층과의 인터페이스 기능 등을 수행할 수 있다. S.1 계층은 미디어 표현 세션 관리(presentation session management)를 위한 애플리케이션들간의 제어 메시지들의 포맷을 정의할 수 있다. S.1 layer includes service discovery, media session initialization / termination of media, media session presentation / control of media, delivery (D) layer and encapsulation (E). The interface function with the layer can be performed. The S.1 layer may define the format of control messages between applications for media presentation session management.

S.2 계층은 흐름 제어(flow control), 전달 세션 관리(delivery session management), 전달 세션 모니터링(delivery session monitoring), 에러 제어(error control), 하이브리드망 동기화 제어(Hybrid network synchronization control)에 관한 전달 계층(D-layer)의 전달 엔드-포인트들(delivery end-points)간에 교환되는 제어 메시지의 포맷을 정의할 수 있다. The S.2 layer is responsible for flow control, delivery session management, delivery session monitoring, error control, and hybrid network synchronization control. It is possible to define the format of the control message exchanged between delivery end-points of the D-layer.

S.2 계층은 전달 계층의 동작을 지원하기 위하여 전달 세션 설정 및 해제(delivery session establishment and release), 전달 세션 모니터링, 흐름 제어, 에러 제어, 설정된 전달 세션에 대한 리소스 예약, 복합 전달 환경하에서의 동기화를 위한 시그널링, 적응적 전달(adaptive delivery)를 위한 시그널링을 포함할 수 있다. 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 즉, S.2 계층은 전술한 바와 같은 전달 계층의 동작을 지원하기 위하여 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 또한, S.2 계층은 전달 계층 및 캡슐화 계층과의 인터페이스 기능을 담당할 수 있다. The S.2 layer supports delivery session establishment and release, delivery session monitoring, flow control, error control, resource scheduling for established delivery sessions, and synchronization in a complex delivery environment to support the behavior of the delivery layer. Signaling for adaptive delivery, and signaling for adaptive delivery. Required signaling may be provided between a sender and a receiver. That is, the S.2 layer may provide signaling required between the sender and the receiver in order to support the operation of the transport layer as described above. In addition, the S.2 layer may be responsible for interfacing with the transport layer and the encapsulation layer.

도 2는 도 1의 MMT 계층 구조의 각 계층별로 사용되는 단위 정보(또는 데이터 또는 패킷)의 포맷을 나타낸다. FIG. 2 illustrates a format of unit information (or data or packet) used for each layer of the MMT hierarchical structure of FIG. 1.

미디어 프래그먼트 유닛(Media Fragment Unit; MFU)(130)은 부호화된 미디어 분할 데이터(coded media fragment data, 132)와 MFUH(Media Fragment Unit Header)(134)로 이루어질 수 있다. 미디어 프래그먼트 유닛(130)은 특정 코덱(codec)에 독립적으로 일반 컨테이너 포맷(general container format)을 가지며 미디어 디코더에서 독립적으로 소비될 수 있는 가장 작은 데이터 유닛을 싣을 수 있다. MFUH(134)는 미디어 특성-예를 들어 유실 허용한계(loss-tolerance)와 같은 부가 정보를 포함할 수 있다. MFU)(130)는 예를 들어 비디오의 픽춰(picture) 또는 슬라이스(slice)가 될 수 있다.The media fragment unit (MFU) 130 may include coded media fragment data 132 and a media fragment unit header (MFUH) 134. The media fragment unit 130 has a general container format independent of a specific codec and may carry the smallest data unit that can be consumed independently in a media decoder. The MFUH 134 may include additional information such as media characteristics-for example, loss-tolerance. MFU) 130 may be, for example, a picture or slice of a video.

미디어 프래그먼트 유닛(Media Fragment Unit; MFU)은 MFU의 범위에서 적응적인 전송을 수행하기 위해 전송 계층에서 AU의 부분을 캡슐화하는 형식을 정의할 수 있다. MFU는 AU의 부분이 독립적으로 디코드되거나 폐기될 수 있도록 부호화된 미디어의 일정한 형식을 전송하는데 사용될 수 있다. The Media Fragment Unit (MFU) may define a format that encapsulates a portion of the AU in the transport layer to perform adaptive transmission in the range of the MFU. The MFU may be used to transmit certain types of encoded media so that portions of the AU can be independently decoded or discarded.

MFU는 다른 MFU들로부터 하나의 MFU를 구별하기 위한 식별자를 가지고, 단일 AU내의 MFU들 사이의 일반적인 관계 정보를 가질 수 있다. 단일 AU에서의 MFU 사이의 의존 관계가 설명되고, MFU의 관련 우선순위가 그러한 정보들의 부분으로 설명될 수 있다. 상기 정보는 하위 전송 계층에서 전송을 다루는데 사용될 수 있다. 예를 들면, 전송 계층은 불충분한 대역폭에서의 QoS 전송을 지원하도록, 폐기해도 되는 MFU들의 전송을 생략할 수 있다. MFU 구조의 상세한 설명은 후술한다.The MFU has an identifier for distinguishing one MFU from other MFUs and may have general relationship information between MFUs in a single AU. The dependencies between the MFUs in a single AU are described, and the relative priority of the MFUs can be described as part of such information. The information can be used to handle the transmission at the lower transport layer. For example, the transport layer may omit the transmission of MFUs that may be discarded to support QoS transmission in insufficient bandwidth. Detailed description of the MFU structure will be given later.

MPU는 복수의 미디어 프래그먼트 유닛(130)을 포함하는 미디어 프래그먼트 유닛의 집합이다. MPU는 특정 코덱(codec)에 독립적으로 일반 콘테이너 포맷(general container format)을 가질 수 있으며 액세스 유닛(Access Unit)과 등가의 미디어 데이터를 포함할 수 있다. MPU는 시간 데이터 유닛(timed data unit) 또는 비-시간 데이터 유닛(non-timed data unit) 을 가질 수 있다.The MPU is a collection of media fragment units including a plurality of media fragment units 130. The MPU may have a general container format independent of a specific codec and may include media data equivalent to an access unit. The MPU may have a timed data unit or a non-timed data unit.

MPU는 MMT를 따르는 개체에 의해 독립적이고 완전하게 처리된 데이터이고, 상기 처리는 캡슐화 및 패킷화를 포함할 수 있다. MPU는 적어도 하나의 MFU로 구성되거나 다른 표준에 의해 정의된 포맷을 가진 데이터의 부분을 가질 수 있다.MPU is data that is independently and completely processed by an entity following the MMT, and the processing may include encapsulation and packetization. An MPU may consist of at least one MFU or have a portion of data having a format defined by another standard.

단일 MPU는 적어도 하나의 AU의 진정수(integral number) 또는 비-시간 데이터를 수용할 수 있다. 시간 데이터를 위하여, AU는 적어도 하나의 MFU로부터 전달될 수 있으나, 하나의 AU는 다수의 MPU로 분할될 수 없다. 비-시간 데이터에서, 하나의 MPU는 MMT를 준수하는 개체에 의해 독립적이고 완전하게 처리된 비-시간 데이터의 부분을 수용한다.A single MPU may accommodate the integral number or non-time data of at least one AU. For time data, an AU may be delivered from at least one MFU, but one AU may not be divided into multiple MPUs. In non-time data, one MPU receives a portion of non-time data that has been independently and completely processed by an entity that complies with the MMT.

MPU는 시퀀스번호 및 이를 다른 MPU와 구분하여주는 연관된 애셋 ID로 MMT 패키지 내에서 유일하게 식별될 수 있다An MPU can be uniquely identified within an MMT package with a sequence number and an associated asset ID that distinguishes it from other MPUs.

MPU는 적어도 하나의 임의 접근점을 가질 수 있다. MPU 페이로드의 첫 바이트는 항상 임의 접근점으로 시작할 수 있다. 시간 데이터에서, 상기 사실은 MPU 페이로드에서 첫 MFU의 디코딩 순서는 항상 0임을 의미한다. 시간 데이터에서, 각 AU의 프리젠테이션 기간 및 디코딩 순서는 프리젠테이션 시간을 알리기 위해 보내질 수 있다. MPU는 자신의 초기 프리젠테이션 시간을 가지고 있지 않고, 하나의 MPU의 첫 AU의 프리젠테이션 시간은 컴포지션 정보에 기술되어 있을 수 있다. 컴포지션 정보는 MPU의 첫 프리젠테이션 시간을 명시할 수 있다. 상세한 사항은 후술한다.The MPU may have at least one random access point. The first byte of the MPU payload can always start with a random access point. In time data, this fact means that the decoding order of the first MFU in the MPU payload is always zero. In the time data, the presentation period and decoding order of each AU can be sent to inform the presentation time. The MPU does not have its initial presentation time, and the presentation time of the first AU of one MPU may be described in the composition information. The composition information may specify the first presentation time of the MPU. Details will be described later.

MMT 애셋(150)은 복수의 MPU들로 이루어진 MPU의 집합이다. MMT 애셋(150)은 단일의 데이터 소스로부터의 다수의 MPU(시간(timed) 또는 비-시간(non-timed) 데이터)로 이루어진 데이터 엔티티로서, MMT 애셋 정보(152)는 애셋 패키징 메타데이터(Asset packaging metadata) 및 데이터 타입과 같은 부가 정보를 포함한다. MMT 애셋(150)은 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 FF(File Format), PES(packetized elementary streams), M2TS(MPEG transport stream)등을 포함할 수 있다. The MMT asset 150 is a collection of MPUs composed of a plurality of MPUs. The MMT asset 150 is a data entity composed of multiple MPUs (timed or non-timed data) from a single data source, and the MMT asset information 152 is an asset packaging metadata (Asset). additional information such as packaging metadata) and data type. MMT asset 150 may include, for example, video, audio, program information, MPEG-U widgets, JPEG images, MPEG 4 FF (File Format), packetized elementary streams (PES), and MPEG transport (M2TS). streams).

MMT 애셋(MMT Asset)은 부호화된 미디어 데이터를 수용하는 논리적 데이터 개체이다. MMT 애셋은 MMT 애셋 헤더 및 부호화된 미디어 데이터로 구성될 수 있다. 상기 부호화된 미디어 데이터는 동일한 MMT 애셋 ID로 MPU들의 집합적 참조 그룹이 될 수 있다. MMT 클라이언트에 직접적으로 연결된 개체에 의해 개별적으로 소비될 수 있는 타입의 데이터는 개별적인 MMT 애셋으로 고려될 수 있다. 개별적인 MMT 애셋으로 고려될 수 있는 데이터 타입의 예로 MPEG-2 TS, PES, MP4 file, MPEG-U Widget Package, JPEG file 등을 들 수 있다.MMT Assets (MMT Assets) are logical data entities that contain encoded media data. The MMT asset may be composed of an MMT asset header and encoded media data. The encoded media data may be a collective reference group of MPUs with the same MMT asset ID. Types of data that can be individually consumed by an entity directly connected to the MMT client may be considered as separate MMT assets. Examples of data types that can be considered as individual MMT assets include MPEG-2 TS, PES, MP4 file, MPEG-U Widget Package, and JPEG file.

MMT 애셋의 부호화된 미디어는 시간 데이터 또는 비-시간 데이터 일 수 있다. 시간 데이터는 지정된 시간에 특정 데이터의 동기화된 디코딩 및 프리젠테이션이 요구되는 시청각 미디어 데이터이다. 비-시간 데이터는 서비스의 제공 또는 사용자 상호작용에 따라 임의의 시간에 디코딩되고 제공될 수 있는 데이터 타입의 데이터이다.The encoded media of the MMT asset may be time data or non-time data. Temporal data is audiovisual media data that requires synchronized decoding and presentation of specific data at specified times. Non-timed data is data of a data type that can be decoded and provided at any time in accordance with the provision of a service or user interaction.

서비스 제공자(service provider)는 MMT 애셋들을 통합하여 MMT 애셋들을 공간-시간축상에 두고 멀티미디어 서비스를 생성할 수 있다. A service provider may create a multimedia service by integrating MMT assets and putting MMT assets on a space-time axis.

MMT 패키지(160)는 하나 또는 하나 이상의 MMT 애셋(150)을 포함하는 MMT 애셋의 집합이다. MMT 패키지 내의 MMT 애셋들은 다중화되거나 또는 사슬같이 연결(concatenated)될 수 있다. The MMT package 160 is a collection of MMT assets including one or more MMT assets 150. MMT assets in an MMT package may be multiplexed or concatenated.

MMT 패키지는 MMT 애셋 및 구성 정보를 위한 컨테이너 포맷이다. MMT 패키지는 MMT 프로그램을 위한 MMT 애셋 및 구성 정보의 저장소를 제공한다.The MMT package is a container format for MMT asset and configuration information. The MMT package provides a repository of MMT assets and configuration information for the MMT program.

MMT 프로그램 제공자는 부호화된 데이터를 MMT 애셋으로 캡슐화하고 MMT 애셋과 그들의 전송 특성의 시간적 및 공간적 레이아웃을 설명하는 것으로 구성 정보를 생성한다. MU 및 MMT 애셋은 D.1 페이로드 포맷으로 직접적으로 전송될 수 있다. 구성 정보는 C.1 프리젠테이션 세션 관리 메시지에 의해 전송될 수 있다. 그러나 MMT 프로그램의 릴레이 또는 추후의 재사용을 허용하는 MMT 프로그램 제공자 및 클라이언트는 MMT 패키지 포맷으로 이를 저장한다.The MMT program provider generates configuration information by encapsulating the encoded data into MMT assets and describing the temporal and spatial layout of the MMT assets and their transmission characteristics. MU and MMT assets can be sent directly in the D.1 payload format. The configuration information may be sent by the C.1 Presentation Session Management message. However, MMT program providers and clients that allow relaying or future reuse of MMT programs store them in MMT package format.

MMT 패키지를 파싱하는데 있어, MMT 프로그램 제공자는 MMT 애셋이 클라이언트에게 어떤 전송 경로(예를들면, 브로드캐스트 또는 브로드밴드)로 제공될지를 결정한다. MMT 패키지에서의 구성 정보는 전송 관련 정보와 함께 C.1 프리젠테이션 세션 관리 메시지로 전송된다.In parsing the MMT package, the MMT program provider determines which transmission path (eg, broadcast or broadband) the MMT asset will be provided to the client. Configuration information in the MMT package is transmitted in a C.1 presentation session management message along with transmission related information.

클라이언트는 C.1 프리젠테이션 세션 관리 메시지를 수신하여 어떤 MMT 프로그램이 가능하고 어떻게 해당되는 MMT 프로그램을 위한 MMT 애셋을 수신하는지를 알게된다.The client receives the C.1 Presentation Session Management message to know which MMT programs are available and how to receive the MMT assets for the corresponding MMT program.

MMT 패키지는 D.1페이로드 포맷에 의해 또한 전송될 수 있다. MMT 패키지는 D.1 페이로드 포맷으로 패킷화 되고 전달된다. 클라이언트는 패킷화된 MMT 패키지를 수신하고 이의 전부 또는 일부를 구성하고, 여기서 MMT 프로그램을 소비한다.The MMT package can also be transmitted by the D.1 payload format. The MMT package is packetized and delivered in D.1 payload format. The client receives the packetized MMT package and configures all or part thereof, where it consumes the MMT program.

MMT 패키지(160)의 패키지 정보(package information)(165)는 구성 정보(Configuration Information)를 포함할 수 있다. 구성 정보(Configuration Information)는 MMT 애셋들의 리스트, 패키지 식별 정보(package identification information), 콤포지션 정보(composition information)(162) 및 전송 특성(transport characteristics)(164)와 같은 부가 정보를 포함할 수 있다. 콤포지션 정보(composition information)(162)는 MMT 애셋(150)들 사이의 관계(relationship)에 대한 정보를 포함한다.The package information 165 of the MMT package 160 may include configuration information. The configuration information may include additional information such as a list of MMT assets, package identification information, composition information 162, and transport characteristics 164. Composition information 162 includes information about a relationship between MMT assets 150.

또한, 콤포지션 정보(composition information)(162)는 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다. 콤포지션 정보(composition information)(162)는 MMT 패키지내의 시간적, 공간적, 적응적 관계(relationship)에 대한 정보를 포함할 수 있다. The composition information 162 may further include information for indicating a relationship between a plurality of MMT packages when one content includes a plurality of MMT packages. Composition information 162 may include information about temporal, spatial and adaptive relations in an MMT package.

MMT 패키지의 전송 및 프리젠테이션을 돕는 정보와 같이, MMT에서의 컴포지션 정보(Composition Information)는 MMT 패키지 내의 MMT 애셋 사이의 공간적 및 시간적 관계에 대한 정보를 제공한다.Like information to assist in the transmission and presentation of the MMT package, Composition Information in the MMT provides information about the spatial and temporal relationships between MMT assets in the MMT package.

MMT-CI는 HTML5를 확장하여 그러한 정보를 제공하는 설명적인 언어이다. HTML5가 텍스트 기반 컨텐츠의 페이지기반 프리젠테이션을 설명하도록 설계되었다면, MMT-CI는 주로 소스들간의 공간적인 관계를 표현한다. MMT 애셋들 간의 시간적 관계를 알려주는 표현을 지원하기 위하여, 프리젠테이션 리소스와 같이 MMT 패키지에 있는 MMT 애셋에 관련된 정보, MMT 애셋의 전송 및 소비 순서를 결정하는 시간 정보 및 HTML5에서 다양한 MMT 애셋을 소비하는 미디어 요소들의 추가적인 속성을 가지도록 확장될 수 있다. 자세한 설명은 후술한다. MMT-CI is an explanatory language that extends HTML5 to provide such information. If HTML5 is designed to describe page-based presentations of text-based content, MMT-CI mainly represents spatial relationships between sources. In order to support the presentation of the temporal relationship between MMT assets, information related to MMT assets in the MMT package, such as presentation resources, time information for determining the order in which the MMT assets are sent and consumed, and various MMT assets are consumed in HTML5. It can be extended to have additional properties of media elements. Detailed description will be described later.

전송 특성(transport characteristics) 정보(164)는 전송 특성에 대한 정보를 포함하며, 각각의 MMT 애셋(또는 MMT 패킷)의 전송 조건(delivery condition)을 결정하기 위해 필요한 정보를 제공할 수 있다. 전송 특성 정보는 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다. The transport characteristics information 164 may include information on transmission characteristics and may provide information necessary for determining a delivery condition of each MMT asset (or MMT packet). The transmission characteristic information may include a traffic description parameter and a QoS descriptor.

트래픽 기술 파라미터는 미디어 프래그먼트 유닛(MFU)(130) 또는 MPU에 대한 비트율(bitrate) 정보, 우선 순위(priority) 정보등을 포함할 수 있다. 비트율 정보는 예를 들어 MMT 애셋이 가변 비트율(Variable BitRate; VBR) 또는 고정 비트율(Constant BitRate; CBR)인지 여부에 대한 정보, 미디어 프래그먼트 유닛(MFU)(또는 MPU)에 대해 보장된 비트율(guaranteed bitrate), 미디어 프래그먼트 유닛(MFU)(또는 MPU)에 대한 최대 비트율을 포함할 수 있다. 상기 트래픽 기술 파라미터는 전달 경로상의 서버, 클라이언트, 기타 다른 구성요소들 간에 리소스 예약(resource reservation)을 위해 사용될 수 있으며, 예를 들어 MMT 애셋내의 미디어 프래그먼트 유닛(MFU)(또는 MPU)의 최대 크기 정보를 포함할 수 있다. 상기 트래픽 기술 파라미터는 주기적 또는 비주기적으로 업데이트될 수 있다.The traffic description parameter may include bitrate information, priority information, or the like for the media fragment unit (MFU) 130 or the MPU. The bitrate information is for example information about whether the MMT asset is Variable BitRate (VBR) or Constant BitRate (CBR), guaranteed bitrate for the Media Fragment Unit (MFU) (or MPU). ), The maximum bit rate for the media fragment unit (MFU) (or MPU). The traffic description parameter may be used for resource reservation between servers, clients, and other components on a delivery path, for example, maximum size information of a media fragment unit (MFU) (or MPU) in an MMT asset. It may include. The traffic description parameter may be updated periodically or aperiodically.

QoS 기술자는 QoS 제어를 위한 정보를 포함하며, 예를 들어 지연(delay) 정보 및 손실 정보(loss information)를 포함할 수 있다. 손실 정보는 예를 들어 MMT 애셋의 전달 손실(delivery loss)이 허용되는지 않되는지에 대한 손실 지시자(loss indicator)를 포함할 수 있다. 예를 들어 손실 지시자가 '1'인 경우 'lossless'를 나타내고, '0'인 경우에는 'lossy'를 나타낼 수 있다. 지연(delay) 정보는 MMT 애셋의 전송 지연의 민감도를 구분하는데 사용되는 지연 지시자(delay indicator)를 포함할 수 있다. 지연 지시자는 MMT 애셋의 타입이 대화(conversation), 인터랙티브(interactive), 실시간(real time) 및 비실시간(non-realtime) 인지 여부를 지시할 수 있다. The QoS descriptor includes information for QoS control and may include, for example, delay information and loss information. The loss information may include, for example, a loss indicator of whether delivery loss of the MMT asset is allowed or not. For example, if the loss indicator is '1', it may represent 'lossless', and if it is '0', it may represent 'lossy'. The delay information may include a delay indicator used to distinguish the sensitivity of the transmission delay of the MMT asset. The delay indicator may indicate whether the type of the MMT asset is conversation, interactive, real time, and non-realtime.

하나의 컨텐츠(content)는 하나의 MMT 패키지로 이루어질 수 있다. 또는 하나의 컨텐츠(content)는 복수개의 MMT 패키지로 이루어질 수도 있다. One content may consist of one MMT package. Alternatively, one content may consist of a plurality of MMT packages.

하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 시간적(temporal), 공간적(spatial), 적응적(adaptive) 관계(relationship)를 나타내는 콤포지션 정보(composition information) 또는 구성 정보(configuration information)가 MMT 패키지들 중에 하나의 MMT 패키지 내부에 존재하거나 MMT 패키지 외부에 존재할 수 있다. When one content consists of a plurality of MMT packages, composition information or composition information indicating temporal, spatial, and adaptive relations between the plurality of MMT packages ( configuration information) may exist inside one MMT package or outside the MMT package.

예를 들어 하이브리드 전송(hybrid delivery)의 경우 컨텐츠 컴포넌트(content component)들 중 일부는 방송망(broadcast network)을 통해 전송되고 컨텐츠 컴포넌트(content component)들 중 나머지 부분은 광대역망(broadband network)을 통해 전송될 수 있다. 예를 들어 하나의 멀티뷰 서비스를 구성하는 복수의 AV 스트림(audiovisual stream)의 경우 하나의 스트림은 방송망으로 전송되고 다른 스트림은 광대역망으로 전송될 수 있으며, 각각의 AV 스트림은 다중화되고 클라이언트 단말에 개별적으로 수신되어 저장될 수 있다. 또는 예를 들어 위젯(widget)과 같은 애플리케이션 소프트웨어는 광대역망으로 전송되고, AV 스트림(AV 프로그램)은 기존 방송망으로 전달되는 시나리오도 존재할 수 있다.For example, in the case of hybrid delivery, some of the content components are transmitted through a broadcast network and the rest of the content components are transmitted through a broadband network. Can be. For example, in the case of a plurality of audio visual streams constituting one multi-view service, one stream may be transmitted to a broadcasting network and the other stream may be transmitted to a broadband network. Can be individually received and stored. Alternatively, there may be a scenario in which application software such as a widget is transmitted to a broadband network and an AV stream (AV program) is transmitted to an existing broadcasting network.

상기와 같은 멀티뷰 서비스 시나리오 및/또는 위젯(widget) 시나리오의 경우, 복수의 AV 스트림 전체가 하나의 MMT 패키지로 될 수 있으며, 이 경우에는 복수의 스트림 중의 하나는 하나의 클라이언트 단말에만 저장될 수 있고, 스토리지 컨텐츠(storage content)는 MMT 패키지의 부분이 되며, 클라이언트 단말은 콤포지션 정보(composition information) 또는 구성 정보(configuration information)를 재기록 해야하고, 재기록 된 컨텐츠는 서버와 무관한 새로운 MMT 패키지가 된다. In the multi-view service scenario and / or widget scenario as described above, the entire plurality of AV streams may be a single MMT package, and in this case, one of the plurality of streams may be stored in only one client terminal. The storage content becomes part of the MMT package, and the client terminal needs to rewrite the composition information or the configuration information, and the rewritten content becomes a new MMT package independent of the server. .

상기와 같은 멀티뷰 서비스 시나리오 및/또는 위젯(widget) 시나리오의 경우, 각각의 AV 스트림이 하나의 MMT 패키지로도 될 수 있으며, 이 경우에는 복수의 MMT 패키지가 하나의 컨텐츠를 구성하게 되며, 스토리지(storage)에는 MMT 패키지 단위로 기록되며, MMT 패키지들간의 관계(relationship)를 나타내는 컴포지션 정보 또는 구성 정보가 필요하다. In the multi-view service scenario and / or widget scenario as described above, each AV stream may be one MMT package, and in this case, a plurality of MMT packages constitute one content, and storage Storage is recorded in MMT package units and requires composition information or configuration information indicating a relationship between MMT packages.

하나의 MMT 패키지내에 포함된 컴포지션 정보 또는 구성 정보(configuration information)는 다른 MMT 패키지내의 MMT 애셋을 참조할 수 있으며, 또한 아웃-밴드(out-band) 상황에서 MMT 패키지를 참조하는 MMT 패키지의 외부를 표현할 수 있다. The composition information or configuration information included in one MMT package may refer to an MMT asset in another MMT package, and may refer to an outside of an MMT package that refers to the MMT package in an out-band situation. I can express it.

한편, 서비스 제공자(service provider)에 의해 제공된 MMT 애셋(160)들의 리스트 및 MMT 패키지(160)의 전달을 위해 가능한 경로를 클라이언트 단말에게 알려주기 위하여 MMT 패키지(160)는 제어(C) 계층을 통하여 서비스 디스커버리 정보(Service discovery information)로 번역되어 MMT 제어 메시지에는 서비스 디스커버리를 위한 정보 테이블을 포함할 수 있다. Meanwhile, in order to inform the client terminal of a list of MMT assets 160 provided by a service provider and a possible path for delivery of the MMT package 160, the MMT package 160 is controlled through a control (C) layer. Translated into service discovery information, the MMT control message may include an information table for service discovery.

멀티미디어 컨텐츠를 복수개의 세그먼트로 분할한 서버는 소정의 개수로 분할된 복수개의 세그먼트들에 URL 정보를 할당하고, 각각의 세그먼트들에 대한 URL 정보를 미디어 정보 파일에 저장하여 클라이언트로 전송한다. The server that divides the multimedia content into a plurality of segments allocates URL information to a plurality of segments divided into a predetermined number, and stores URL information about each segment in a media information file and transmits the URL information to the client.

상기 미디어 정보 파일은 HTTP 스트리밍을 표준화하는 표준화 기구에 따라서'미디어 표현 기술(MPD: Media Presentation Description)' 또는 '매니페스트 파일(Manifest file)'등의 다양한 명칭으로 불리어 질 수 있다. 이하에서는 상기 미디어 정보 파일은 미디어 표현 기술(MPD)로 지칭하고 설명한다. The media information file may be referred to by various names such as 'media presentation description (MPD)' or 'manifest file' according to a standardization mechanism for standardizing HTTP streaming. Hereinafter, the media information file is referred to and described as a media presentation description (MPD).

이하 교차 계층 인터페이스에 대하여 설명한다.The cross-layer interface is described below.

교차 계층 인터페이스(Cross Layer Interface; CLI) 는 응용계층 및 MAC/PHY 계층을 포함하는 하위 계층 사이에서 QoS 관련 정보를 교환하는 것으로 QoS를 지원하는 수단을 단일 개체에서 제공한다. 하위 레이어가 네트워크 채널 상태와 같은 상향식 QoS 정보를 제공하는 한편 응용계층은 하향식 QoS정보로 미디어 특성에 관련된 정보를 제공한다..The Cross Layer Interface (CLI) provides a means for supporting QoS in a single entity by exchanging QoS related information between lower layers including the application layer and the MAC / PHY layer. The lower layer provides bottom-up QoS information such as network channel state, while the application layer provides information related to media characteristics as top-down QoS information.

교차 계층 인터페이스는 응용계층과 IEE802.11 WiFi, IEEE 802.16 WiMAX, 3G, 4G LTE 등을 포함하는 다양한 네트워크 계층 사이에서 통합된 인터페이스를 제공한다. 인기있는 네트워크 표준의 공통된 네트워크 파라미터들은 다양한 네트워크를 통하는 실시간 미디어 어플리케이션의 정적 및 동적 QoS 제어를 위하여 NAM 파라미터로 발췌된다. NAM 파라미터는 비트 에러율인 BER 값을 포함할 수 있다. BER은 PHY 또는 MAC 계층에서 측정될 수 있다. 또한 NAM은 하부 네트워크의 식별, 가능한 비트율, 버퍼상태, 피크 비트율, 서비스 유닛 크기 및 서비스 데이터 유닛 유실율을 제공한다.The cross layer interface provides an integrated interface between the application layer and various network layers including IEE802.11 WiFi, IEEE 802.16 WiMAX, 3G, 4G LTE, etc. Common network parameters of popular network standards are extracted as NAM parameters for static and dynamic QoS control of real-time media applications over various networks. The NAM parameter may include a BER value that is a bit error rate. BER can be measured at the PHY or MAC layer. The NAM also provides the identification of the underlying network, possible bit rates, buffer conditions, peak bit rates, service unit sizes, and service data unit loss rates.

두개의 상이한 방법이 NAM을 제공하는 데에 사용될 수 있다. 첫째 방법은 절대적인 값을 제공하는 것이다. 그리고 둘째 방법은 상대적인 값을 제공하는 것이다. 둘째 방법은 접속중에 NAM을 업데이트하는 용도로 사용할 수 있다.Two different methods can be used to provide the NAM. The first way is to provide an absolute value. And the second is to provide relative values. The second method can be used to update the NAM while connected.

응용계층은 하위 계층에 대한 미디어 특성에 관련된 하향식 QoS 정보를 제공한다. MMT 애셋 레벨 정보 및 패킷 레벨 정보와 같이 두 가지의 하향식 정보가 존재한다. MMT 애셋 정보는 하위 계층에서 용량 교환 및/또는 자원 (재)할당을 위하여 사용된다. 패킷 레벨 하향식 정보는 지원하는 QoS 레벨을 식별하도록 하위 계층을 위하여 모든 패킷의 적절한 필드에 기록되어 있다. The application layer provides top-down QoS information related to media characteristics for lower layers. There are two types of top-down information such as MMT asset level information and packet level information. MMT asset information is used for capacity exchange and / or resource (re) allocation at lower layers. Packet level top down information is recorded in the appropriate field of every packet for the lower layer to identify the QoS level it supports.

하위 계층은 응용 계층에 상향식 QoS 정보를 제공한다. 하위 계층은 응용 계층에서 빠르고 보다 정확한 QoS 제어를 가능하게 하는 시간에 따라 변하는 네트워크 상태에 관련된 정보를 제공한다. 상향식 정보는 이종의 네트워크 환경을 지원하기 위해 추상화된 형태로 표현된다. 이러한 파라미터들은 하위 계층에서 측정되고, 주기적으로 또는 MMT 어플리케이션의 요청에 따라 응용 계층에서 읽어진다.The lower layer provides bottom-up QoS information to the application layer. The lower layer provides information regarding network conditions that change over time, enabling faster and more accurate QoS control at the application layer. Bottom-up information is expressed in an abstracted form to support heterogeneous network environments. These parameters are measured at the lower layer and read at the application layer periodically or at the request of the MMT application.

MMT 전송 패킷(MMT Transport Packet)은 MMT 페이로드 포맷(MMT Payload Format)을 IP(Internet Protocol)망의 전송 프로토콜(transport protocol)을 통해 전송하기 위한 응용 계층(application layer)을 담당한다. 이하에서, 본 발명에 따른 MMT 전송 패킷의 구조에 대해서 설명한다.The MMT transport packet is responsible for an application layer for transmitting the MMT payload format through a transport protocol of an Internet Protocol (IP) network. Hereinafter, the structure of the MMT transport packet according to the present invention will be described.

일 예로, 본 발명에 다르면 하나의 MMT 전송 패킷은 하나의 MMT 페이로드 포맷(또는 MMT 페이로드 포맷 유닛)을 포함할 수 있다. MTU(MMT Transport Unit)단위에 따른 유닛의 집성(aggregation)또는 단편화(fragmentation)은 MMT 페이로드 포맷 계층에 수행될 수 있다.For example, according to the present invention, one MMT transport packet may include one MMT payload format (or MMT payload format unit). Aggregation or fragmentation of units according to MTU (MMT Transport Unit) units may be performed in the MMT payload format layer.

다른 예로, 본 발명에 따르면 MMT 전송 패킷은 존재하는 RTP(Realtime Transport Protocol) 페이로드 포맷에 공통적으로(commonly) 적용 가능한(applicable) 동작(operation)을 수용(accommodate)할 수 있다.As another example, according to the present invention, an MMT transport packet may accept an operation that is commonly applicable to an existing Realtime Transport Protocol (RTP) payload format.

MMT 페이로드 포맷은 RTP 위에서 RTP 페이로드 포맷으로 사용될 수 있고, 동시에, MMT 전송 패킷 위에서 사용될 수 있다. IP 패킷 스트림(stream)에서는 오류확인 또는 복구 등 패킷열에 대한 시퀀스 번호(sequence number)가 요구된다. RTP 패킷은 상기 시퀀스 번호를 위한 시퀀스 번호 필드(sequence number field)를 지원할 수 있다. 또한, MMT 페이로드 포맷이 RTP 위에서 사용되는 경우 RTP의 시퀀스 번호가 활용될 수 있다. 또한, MMT 페이로드 포맷이 MMT 전송 패킷 위에서 사용되는 경우에도 MMT 페이로드 포맷이 RTP 위에서 사용하는 경우와 일관성(consistency)을 유지하기 위해서, MMT 전송 패킷은 패킷 스트림(packet stream)에 대한 일반적인 시퀀스 번호 필드(general sequence number field)를 가질 수 있다. The MMT payload format may be used as an RTP payload format over RTP and at the same time may be used over an MMT transport packet. In the IP packet stream, a sequence number for the packet sequence such as error checking or recovery is required. The RTP packet may support a sequence number field for the sequence number. In addition, when the MMT payload format is used over the RTP, the sequence number of the RTP may be utilized. In addition, even if the MMT payload format is used over the MMT transport packet, in order to maintain consistency with the case where the MMT payload format is used over the RTP, the MMT transport packet has a general sequence number for the packet stream. It may have a field (general sequence number field).

다음 표 1은 MMT 전송 패킷의 일 예를 나타낸다. 다음 표 1의 구성요소에 순서에 한정되는 것은 아니며, 상기 구성요소들은 배타적이지 않고, 다른 구성요소를 더 포함하거나, 하나 또는 그 이상의 구성요소가 삭제될 수도 있다.Table 1 below shows an example of an MMT transport packet. The components of Table 1 are not limited to the order in which the components are not exclusive, and may further include other components or one or more components may be deleted.

Figure 112019012295036-pat00001
Figure 112019012295036-pat00001

여기서, sequence_no는 패킷 스트림의 시퀀스 번호를 나타내며, 패킷당 1씩 증가한다. Here, sequence_no represents the sequence number of the packet stream and increases by 1 per packet.

RTP가 UDP(User Datagram Protocol) 계층 위에서 사용되면서 미디어 스트리밍을 위해 제공하는 가장 큰 두 가지 기능은 패킷 시퀀스 번호와 타임스탬프(timestamp)이다. 여기서, 타임스탬프는 PTS-동등한(Presentation Time Stamp-equivalent)한 기능을 제공하며, MMT에서 PTS는 E-계층 기능(E-layer function), 구체적으로 M-유닛(M-unit)에서 제공될 수 있다. As RTP is used on top of the User Datagram Protocol (UDP) layer, the two largest features provided for media streaming are packet sequence numbers and timestamps. Here, the time stamp provides a PTS-equivalent function, and in the MMT, the PTS may be provided in an E-layer function, specifically, an M-unit. have.

따라서 본 발명에 따르면 패킷 시퀀스 번호가 MMT 전송에서 제공되며, MMT 페이로드 포맷이 RTP 위에 사용되는 경우 및 MMT 페이로드 포맷이 MMT 전송 패킷 위에서 사용되는 경우, 동시에 패킷 스트림에 대한 일반 시퀀스 번호 체계를 지원할 수 있다.Therefore, according to the present invention, when packet sequence number is provided in MMT transmission and MMT payload format is used over RTP and MMT payload format is used over MMT transport packet, it is possible to simultaneously support general sequence number scheme for packet stream. Can be.

상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타낸 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.In the exemplary system described above, the methods are described based on a flowchart as a series of steps or blocks, but the invention is not limited to the order of steps, and certain steps may occur in a different order or concurrently with other steps than those described above. Can be. In addition, those skilled in the art will appreciate that the steps shown in the flowcharts are not exclusive and that other steps may be included or one or more steps in the flowcharts may be deleted without affecting the scope of the present invention.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may make various modifications and changes without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.

Claims (16)

미디어 데이터를 패킷화하여 전송하는 패킷 생성 장치에 있어서,
미디어 프래그먼트 유닛(Media Fragment Unit)을 캡슐화하여 미디어 프로세싱 유닛(Media Processing Unit)을 생성하고, 상기 미디어 프로세싱 유닛을 기반으로 애셋(asset)을 생성하는 캡슐화부; 및
상기 애셋 내에 포함된 미디어 프로세싱 유닛을 패킷화하여 패킷을 생성하는 패킷화부를 포함하되,
상기 패킷화부는, 전송되는 패킷을 카운팅하기 위한 시퀀스 번호 필드를 포함시켜 상기 패킷을 생성하고,
상기 미디어 프로세싱 유닛은 적어도 하나의 임의 접근점을 포함하며,
상기 애셋(asset)은 애셋 헤더(asset header) 및 부호화된 미디어 데이터(encoded media data)를 포함하고, 상기 부호화된 미디어 데이터를 위해 동일한 애셋 ID(Identification)를 갖는 미디어 프로세싱 유닛의 그룹인 것을 특징으로 하는 패킷 생성 장치.
In the packet generating apparatus for packetizing and transmitting the media data,
An encapsulation unit for generating a media processing unit by encapsulating a media fragment unit, and generating an asset based on the media processing unit; And
A packetizer configured to generate a packet by packetizing a media processing unit included in the asset,
The packetizer generates a packet by including a sequence number field for counting a transmitted packet,
The media processing unit comprises at least one random access point,
The asset includes an asset header and encoded media data, and is a group of media processing units having the same asset identification for the encoded media data. Packet generating device.
제 1항에 있어서,
상기 시퀀스 번호 필드는 상기 패킷의 헤더에 포함되는 것을 특징으로 하는 패킷 생성 장치.
The method of claim 1,
And the sequence number field is included in a header of the packet.
제 1 항에 있어서,
상기 시퀀스 번호 필드의 값은 전송되는 패킷당 1씩 증가되는 것을 특징으로 하는 패킷 생성 장치.
The method of claim 1,
And a value of the sequence number field is increased by one for each transmitted packet.
제 1항에 있어서,
상기 패킷 내의 소정 데이터 유닛은 소정 전송 단위 크기로 패킷화되는 것을 특징으로 하는 패킷 생성 장치.
The method of claim 1,
And a predetermined data unit in the packet is packetized in a predetermined transmission unit size.
제 4항에 있어서,
상기 소정 데이터 유닛은 미디어 프로세싱 유닛을 포함하는 것을 특징으로 하는 패킷 생성 장치.
The method of claim 4, wherein
And the predetermined data unit comprises a media processing unit.
제 1항에 있어서,
상기 시퀀스 번호 필드는 패킷 내의 페이로드 포맷(payload format)에 포함되는 시퀀스 번호 필드와 일관성(consistency)이 유지되는 것을 특징으로 하는 패킷 생성 장치.
The method of claim 1,
And the sequence number field maintains consistency with a sequence number field included in a payload format in a packet.
제 1항에 있어서,
PTS-동등한(Presentation Time stamp-equivalent)한 기능이 E-계층 기능(E-layer function)을 통해 제공되는 것을 특징으로 하는 패킷 생성 장치.
The method of claim 1,
Packet generation apparatus, characterized in that PTS-equivalent function is provided through an E-layer function.
제 7 항에 있어서,
상기 E-계층 기능이 제공되는 것은 미디어 프로세싱 유닛인 것을 특징으로 하는 패킷 생성 장치.
The method of claim 7, wherein
And wherein the E-layer function is provided is a media processing unit.
미디어 데이터를 패킷화하여 전송하는 패킷 생성 방법에 있어서,
미디어 프래그먼트 유닛(Media Fragment Unit)을 캡슐화하여 미디어 프로세싱 유닛(Media Processing Unit)을 생성하고, 상기 미디어 프로세싱 유닛을 기반으로 애셋(asset)을 생성하는 단계; 및
상기 애셋 내에 포함된 미디어 프로세싱 유닛을 패킷화하여 패킷을 생성하는 단계를 포함하되,
상기 패킷 생성 단계는, 전송되는 패킷을 카운팅하기 위한 시퀀스 번호 필드를 포함시켜 상기 패킷을 생성하는 단계를 포함하고,
상기 미디어 프로세싱 유닛은 적어도 하나의 임의 접근점을 포함하며,
상기 애셋(asset)은 애셋 헤더(asset header) 및 부호화된 미디어 데이터(encoded media data)를 포함하고, 상기 부호화된 미디어 데이터를 위해 동일한 애셋 ID(Identification)를 갖는 미디어 프로세싱 유닛의 그룹인 것을 특징으로 하는 패킷 생성 방법.
In the packet generation method for packetizing and transmitting the media data,
Encapsulating a media fragment unit to generate a media processing unit, and generating an asset based on the media processing unit; And
Packetizing a media processing unit included in the asset to generate a packet,
The generating a packet comprises generating the packet by including a sequence number field for counting a transmitted packet,
The media processing unit comprises at least one random access point,
The asset includes an asset header and encoded media data, and is a group of media processing units having the same asset identification for the encoded media data. Packet generation method to do.
제 9 항에 있어서,
상기 시퀀스 번호 필드는 상기 패킷의 헤더에 포함되는 것을 특징으로 하는 패킷 생성 방법.
The method of claim 9,
And the sequence number field is included in a header of the packet.
제 9 항에 있어서,
상기 시퀀스 번호 필드의 값은 전송되는 패킷당 1씩 증가되는 것을 특징으로 하는 패킷 생성 방법.
The method of claim 9,
And a value of the sequence number field is increased by one for each packet to be transmitted.
제 9 항에 있어서,
상기 패킷 내의 소정 데이터 유닛은 소정 전송 단위(MTU) 크기로 패킷화되는 것을 특징으로 하는 패킷 생성 방법.
The method of claim 9,
And a predetermined data unit in the packet is packetized in a predetermined transmission unit (MTU) size.
제 12 항에 있어서,
상기 소정 데이터 유닛은 미디어 프로세싱 유닛을 포함하는 것을 특징으로 하는 패킷 생성 방법.
The method of claim 12,
And said predetermined data unit comprises a media processing unit.
제 9 항에 있어서,
상기 시퀀스 번호 필드는 패킷 내의 페이로드 포맷(payload format)에 포함되는 시퀀스 번호 필드와 일관성(consistency)이 유지되는 것을 특징으로 하는 패킷 생성 방법.
The method of claim 9,
And the sequence number field maintains consistency with a sequence number field included in a payload format in a packet.
제 9 항에 있어서,
PTS-동등한(Presentation Time stamp-equivalent)한 기능이 E-계층 기능(E-layer function)을 통해 제공되는 것을 특징으로 하는 패킷 생성 방법.
The method of claim 9,
PTS-Equivalent (Presentation Time stamp-equivalent) function is provided via the E-layer function (E-layer function).
제 15 항에 있어서,
상기 E-계층 기능이 제공되는 것은 미디어 프로세싱 유닛인 것을 특징으로 하는 패킷 생성 방법.
The method of claim 15,
And wherein said E-layer function is provided is a media processing unit.
KR1020190013816A 2011-10-13 2019-02-01 Method configuring and transmitting mmt transport packet KR102049039B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110104858 2011-10-13
KR20110104858 2011-10-13

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020120113533A Division KR101947111B1 (en) 2011-10-13 2012-10-12 Method configuring and transmitting mmt transport packet

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020190149258A Division KR102098723B1 (en) 2011-10-13 2019-11-20 Method configuring and transmitting mmt transport packet

Publications (2)

Publication Number Publication Date
KR20190018142A KR20190018142A (en) 2019-02-21
KR102049039B1 true KR102049039B1 (en) 2020-01-08

Family

ID=48440096

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020120113533A KR101947111B1 (en) 2011-10-13 2012-10-12 Method configuring and transmitting mmt transport packet
KR1020190013816A KR102049039B1 (en) 2011-10-13 2019-02-01 Method configuring and transmitting mmt transport packet
KR1020190149258A KR102098723B1 (en) 2011-10-13 2019-11-20 Method configuring and transmitting mmt transport packet

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020120113533A KR101947111B1 (en) 2011-10-13 2012-10-12 Method configuring and transmitting mmt transport packet

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020190149258A KR102098723B1 (en) 2011-10-13 2019-11-20 Method configuring and transmitting mmt transport packet

Country Status (1)

Country Link
KR (3) KR101947111B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX353196B (en) * 2013-08-12 2018-01-05 Sony Corp Transmission apparatus, transmission method, reception apparatus, and reception method.
KR20150047082A (en) 2013-10-23 2015-05-04 한국전자통신연구원 Apparatus and Method for MMT Payload Header Structure
JP6574426B2 (en) 2014-01-09 2019-09-11 サムスン エレクトロニクス カンパニー リミテッド Method and apparatus for transmitting media data related information in multimedia transmission system
CN109167701B (en) * 2018-08-22 2021-11-05 国电南瑞科技股份有限公司 Consistency checking method, device and system for power distribution automation standardization extension communication protocol

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100153827A1 (en) * 2008-12-15 2010-06-17 Koninklijke Kpn N.V. Multicast With UDP Using Packet Identifier in MPEG Payload
WO2012099423A2 (en) * 2011-01-19 2012-07-26 삼성전자 주식회사 Apparatus and method for configuring a control message in a broadcast system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120324521A1 (en) 2011-06-14 2012-12-20 Samsung Electronics Co., Ltd. Method and apparatus for creating content in a broadcasting system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100153827A1 (en) * 2008-12-15 2010-06-17 Koninklijke Kpn N.V. Multicast With UDP Using Packet Identifier in MPEG Payload
WO2012099423A2 (en) * 2011-01-19 2012-07-26 삼성전자 주식회사 Apparatus and method for configuring a control message in a broadcast system

Also Published As

Publication number Publication date
KR102098723B1 (en) 2020-04-08
KR20130040149A (en) 2013-04-23
KR101947111B1 (en) 2019-02-14
KR20190018142A (en) 2019-02-21
KR20190132323A (en) 2019-11-27

Similar Documents

Publication Publication Date Title
US10728591B2 (en) Method of configuring and transmitting an MMT transport packet
KR102202143B1 (en) Method and apparatus of transmitting and receiving flexible MMT asset
US9043849B2 (en) Method for linking MMT media and DASH media
US9544641B2 (en) Hybrid transmission method through MMT packet format extension
US9414123B2 (en) Method for hybrid delivery of MMT package and content and method for receiving content
US9967582B2 (en) Hybrid delivery method and reception method for MMT packaged SVC video contents
US20150181003A1 (en) Method and apparatus for transmitting and receiving packets in hybrid transmission service of mmt
KR102049039B1 (en) Method configuring and transmitting mmt transport packet
KR102170717B1 (en) Method and apparatus of rate adaptation utilizing ber for multimedia service
KR102026266B1 (en) Estimation method of network jitter for apparatuses transporting coded media data
KR20130040132A (en) A method of transporting media data independent of media codec through heterogeneous ip network
KR20130085987A (en) A method of transporting media data which has access units with multiple media fragment units in heterogeneous ip network
KR20130090824A (en) Mmt asset structures, structing methods and structing apparatuses supporting random access for a system transporting coded media data in heterogeneous ip network
KR20140042719A (en) A method for adaptively transporting fec parity data using cross layer optimization
KR20130119885A (en) Methods of transporting mmt packet for in-network adaptation of layered video
KR20130040151A (en) A method of transporting media data coupled with composition information and transport characteristics through heterogeneous ip network
KR20130040144A (en) Packet transmission apparatus and method, and packet reception apparatus and method in mmt system

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant