WO2013141666A1 - Ｍｍｔ 패키지화된 ｓｖｃ 비디오 콘텐츠의 하이브리드 전송 방법 및 수신 방법 - Google Patents

Ｍｍｔ 패키지화된 ｓｖｃ 비디오 콘텐츠의 하이브리드 전송 방법 및 수신 방법 Download PDF

Info

Publication number
WO2013141666A1
WO2013141666A1 PCT/KR2013/002425 KR2013002425W WO2013141666A1 WO 2013141666 A1 WO2013141666 A1 WO 2013141666A1 KR 2013002425 W KR2013002425 W KR 2013002425W WO 2013141666 A1 WO2013141666 A1 WO 2013141666A1
Authority
WO
WIPO (PCT)
Prior art keywords
mmt
svc video
information
divided
video content
Prior art date
Application number
PCT/KR2013/002425
Other languages
English (en)
French (fr)
Inventor
이충구
이용재
김휘
Original Assignee
(주)휴맥스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)휴맥스 filed Critical (주)휴맥스
Priority to US14/387,244 priority Critical patent/US9967582B2/en
Priority to EP13764464.7A priority patent/EP2830318A4/en
Priority to CN201380021547.3A priority patent/CN104255036A/zh
Publication of WO2013141666A1 publication Critical patent/WO2013141666A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols

Definitions

  • the present invention relates to a method of transmitting and receiving video content, and more particularly, to a method of transmitting MMT packaged video content through a plurality of transmission networks.
  • the MPEG-2 TS when the MPEG-2 TS is developed, the multimedia transmission environment and today's multimedia transmission environment are undergoing major changes.
  • the MPEG-2 TS standard was developed in consideration of transmitting multimedia data through an ATM network at the time of enactment, but it is hard to find a case which is used for this purpose today.
  • the requirements such as multimedia transmission using the Internet were not considered at the time of enactment of the MPEG-2 TS standard, there are elements that are not efficient for multimedia transmission over the recent Internet. Therefore, in the MPEG, the establishment of the MMT (MPEG Multimedia Transport Layer), which is a new multimedia transmission standard considering the multimedia service on the Internet that is suitable for the changing multimedia environment, is recognized as a very important problem.
  • MMT MPEG Multimedia Transport Layer
  • N-screen service is a service that allows users to seamlessly use content such as video, music, games, and data in a converged content consumption environment where various performance terminals such as smartphones and tablet PCs, as well as conventional TVs and PCs, are mixed. .
  • SVC scalable video coding
  • the SVC video content that can provide adaptive video content adaptively according to the performance of the various terminals and the changing network environment is attracting attention, and the heterogeneous network (Heterogeneous Network) by using the SVC video content in the MMT method
  • a plurality of transmission networks may be utilized at the same time.
  • an object of the present invention is to provide a hybrid transmission method of MMT packaged SVC video content having optimal transmission efficiency in various environments by separating and transmitting layers of SVC video content corresponding to the number of transmission networks.
  • Another object of the present invention is to provide a method of receiving SVC video content having optimal transmission efficiency in various environments by receiving and merging layers of SVC video content separately transmitted according to the number of transmission networks. .
  • a hybrid transmission method of SVC video content for achieving the object of the present invention comprises the steps of: the server divides the SVC video content for transmission to the client; And transmitting the divided SVC video contents to the client using a plurality of transmission networks.
  • the divided SVC video contents may include at least one of an MMT asset of a base layer and an MMT asset of an enhanced layer.
  • the MMT asset may include a media processing unit (MPU), and the MPU may include segmentation information of the SVC video content.
  • MPU media processing unit
  • the MPU may include an MMT hint track including partial information of the MPU.
  • the MMT hint track may include segmentation information of the SVC video content.
  • the step of dividing the SVC video content to be transmitted to the client by the server may include generating composition information of the divided SVC video contents by dividing the SVC video content to be transmitted to the client.
  • the composition information includes media type information of MMT assets included in the divided SVC video content referred to by the composition information, wherein the media type may be any one of video, audio, and subtitles. And information indicating whether the MMT assets are a base layer or an enhancement layer.
  • composition information may be included in at least one of package information of an MMT (Mpeg Media Transport) package, a header of an MMT packet, and a payload.
  • MMT Mobile Media Transport
  • the transmitting of the divided SVC video contents may transmit the divided SVC video contents and the composition information to the client when the composition information exists outside the divided SVC video contents.
  • the step of generating composition information by dividing the SVC video content may include: detecting a number of transmission networks through which a server may transmit SVC video content to be transmitted to a client; Dividing the SVC video content to correspond to the detected number of transmission networks; And generating composition information of the divided SVC video contents.
  • the divided SVC video contents may individually form one MMT package.
  • a signaling message for tuning between the divided SVC video contents transmitted to the plurality of transmission networks may be transmitted together with the SVC video contents.
  • the signaling message may have clock relation information for tuning time stamps of different types.
  • a content receiving method for achieving the object of the present invention comprises the steps of receiving the divided SVC video content from a server through a plurality of transmission networks; And merging the divided SVC video contents.
  • Receiving the divided SVC video contents may receive the divided SVC video contents and the composition information from a server when the composition information exists outside the divided SVC video contents.
  • Receiving the divided SVC video contents may generate second composition information indicating a relationship between the received divided content and a part of the received divided contents based on the composition information.
  • Merging the divided SVC video contents may include merging the divided SVC video contents based on composition information included in the divided SVC video contents.
  • the receiving method may further include correcting an error of the received SVC video content.
  • error correction may be performed using received data of another layer.
  • the method may further include receiving a signaling message for synchronizing between the divided SVC video contents.
  • the signaling message may have clock relation information for tuning time stamps of different types.
  • the method may further include generating a system clock using clock relation information of the signaling message.
  • the number of possible transmission networks is detected, and the layers of the SVC video content are appropriately distributed according to the number of transmission networks, thereby transmitting and Can be received. Therefore, hybrid transmission having an optimal transmission efficiency in various environments is possible.
  • FIG. 1 is a conceptual diagram illustrating an MMT hierarchical structure according to an embodiment of the present invention.
  • FIG. 2 illustrates a format of unit information (or data or packet) used for each layer of the MMT hierarchical structure of FIG. 1.
  • FIG 3 is a first exemplary diagram of an MMT package configuration according to an embodiment of the present invention.
  • FIG. 4 is a second exemplary diagram of an MMT package configuration according to an embodiment of the present invention.
  • FIG. 5 is a third exemplary diagram of an MMT package configuration according to an embodiment of the present invention.
  • FIG. 6 is a fourth exemplary diagram of an MMT package configuration according to an embodiment of the present invention.
  • FIG. 7 is a fifth exemplary diagram of an MMT package configuration according to an embodiment of the present invention.
  • FIG. 8 is a sixth exemplary diagram of an MMT package configuration according to an embodiment of the present invention.
  • FIG. 9 is a flowchart of a hybrid delievery method of SVC video content according to an embodiment of the present invention.
  • FIG. 10 is a flowchart of a method of receiving SVC video content according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • Non-timed data defines all data elements that are consumed without specifying time.
  • Non-timed data can have a time range within which the data can be executed or started.
  • Timed data defines data elements associated with a particular time to be decoded and presented.
  • a presentation is defined as an operation performed by one or more devices to allow a user to experience one content component or one service (eg, watch a movie).
  • a service is defined as one or more content components that are transmitted for presentation or storage.
  • Service information is defined as metadata describing one service, characteristics and components of the service.
  • An access unit is the smallest data entity and may have time information as an attribute. If coded media data for which decoding and presentation time information is not specified is relevant, the AU is not defined.
  • the Media Fragment Unit is a general container independent of any particular codec and accommodates encoded media data that can be consumed independently by a media decoder. It has information that is smaller than or equal to the access unit (AU) and can be used in the transport layer.
  • the Media Processing Unit is a generic container that is independent of any particular media codec and holds at least one AU and information related to additional transmission and consumption.
  • the MPU accepts a portion of data that does not fall within the AU range.
  • MPU is encoded media data that can be processed completely and independently.
  • processing means encapsulation or packetization into an MMT package for transmission.
  • SVC scalable video coding
  • MVC multiview video coding
  • the MPU may not be consumed independently and completely at the media codec server.
  • An MMT asset is a logical data entity consisting of at least one MPU with the same MMT asset ID or a specific chunk of data with a format defined by other standards.
  • the MMT asset is the largest data unit to which the same composition information and transmission characteristics apply.
  • MMT Asset Delivery Characteristics is a description related to QoS requirements for delivering MMT assets. MMT-ADC is expressed without knowing the specific transmission environment.
  • MMT Composition Information describes spatial and temporal relationships between MMT assets.
  • An MMT package is a collection of logically structured data and includes at least one MMT asset, MMT composition information, MMT asset asset, and descriptive information.
  • the MMT packet is a format of data generated or consumed by the MMT protocol.
  • the MMT payload format is a format for payload of an MMT package or an MMT signaling message to be delivered by an MMT protocol or an internet application layer protocol (eg, RTP).
  • the content component or media component is defined as a media of a single type or a subset of the media of a single type. , Video tracks, movie subtitles, or a video enhancement layer of video.
  • Content is defined as a set of content components, and may be, for example, a movie or a song.
  • Hybrid delivery is defined as one or more content components being simultaneously transmitted through one or more physically different types of networks, or simultaneously transmitted through one or more physically identical or different networks.
  • the first network or the second network may include various networks including a broadcast network, a broadband network, a cable network, or a satellite communication network. It includes.
  • hybrid transmission when hybrid transmission may be transmitted in MMT asset unit, substream unit, MFU unit, MPU unit, MMT package unit, or MMT packet unit, and the video content is composed of a plurality of layers such as a first layer and a second layer.
  • Hybrid transmission may also be performed on a layer basis.
  • FIG. 1 is a conceptual diagram illustrating an MMT hierarchical structure according to an embodiment of the present invention.
  • an MMT layer includes an encapsulation layer, a delivery layer, and a functional area of a signaling layer.
  • the MMT layer operates on a transport layer.
  • the encapsulation layer defines the logical structure of the format of the data content to be processed by the media content, the MMT package, and the MMT compliant entity.
  • the MMT package specifies the components that contain the media content and the relationships between them.
  • the format of the data units is defined to encapsulate the encoded media to be stored or transmitted in the payload of the transport protocol and to be easily converted between them.
  • the encapsulation layer may be responsible for, for example, packetization, fragmentation, synchronization, multiplexing, and the like of transmitted media. have.
  • Various kinds of multimedia components may be encapsulated and combined with each other for transmission and consumption by the functions provided in the encapsulation layer (E-layer).
  • Encapsulated media components and configuration information of the media components are provided in the functional area of the encapsulation layer (E-layer).
  • the main information about the encapsulated media components is aggregation, priority, media fragment dependence, MPU timing and structure information, MMT asset 150 identification information, initialization information, and codec information. It may include.
  • the configuration information of the media components may include identification information of the MMT package 160 and the MMT asset 150, configuration information having a list of the MMT asset 150, and composition information of the MMT assets 150 in the MMT package 160. (composition information) 162 and delivery characteristics information (164).
  • E-layer The encapsulation layer (E-layer), as shown in Figure 1, MMT E.1 Layer (MMT E.1 Layer), MMT E.2 Layer (MMT E.2 Layer) and MMT E.3 Layer (MMT E.3 Layer).
  • the E.3 layer encapsulates a Media Fragment Unit (MFU) provided from the Media Codec (A) layer to generate a Media Processing Unit (MPU).
  • MFU Media Fragment Unit
  • A Media Codec
  • MPU Media Processing Unit
  • Encoded media data from the upper layer is encapsulated into MFU.
  • the type and value of the encoded media are abstracted to allow the MFU to be generally used in a particular codec technology. This allows the lower layer to process the MFU without accessing the encapsulated encoded media and the lower layer retrieves the required encoded media data from the network or storage buffer and sends it to the media decoder.
  • the MFU has enough information media subunits to perform this operation.
  • the MFU can have a format that is independent of any particular codec and can carry data units that can be consumed independently in the media decoder.
  • the MFU can be, for example, a picture or slice of the video.
  • One or a group of multiple MFUs that can be independently transmitted and decoded generate an MPU.
  • Non-temporal media that are independently transportable and executable also create an MPU.
  • the MPU describes internal structures, such as the arrangement and pattern of the MFU, to enable quick access and partial consumption of the MFU.
  • the E.2 layer encapsulates the MPU created in the E.3 layer to generate an MMT asset.
  • MMT assets are packaged by the MMT package, composed of others by Composition Information (CI), Transport Characteristics (TC), multiplexed by others by the MMT payload format, and transmitted by the MMT protocol. do.
  • CI Composition Information
  • TC Transport Characteristics
  • An MMT asset is a data entity composed of one or a plurality of MPUs from a single data source and is a data unit in which composition information (CI) and transport characteristics (TC) are defined.
  • MMT assets can correspond to packetized elementary streams (PES), for example video, audio, program information, MPEG-U widgets, JPEG images, MPEG 4 file format, M2TS (MPEG transport stream), etc.
  • PES packetized elementary streams
  • the E.1 layer generates an MMT package by encapsulating the MMT asset generated in the E.2 layer.
  • the MMT asset is packaged with MMT composition information (MMT-CI) for later response of the same user experience together or separately with other functional areas—transport area and signal area.
  • MMT-CI MMT composition information
  • the MMT package is also packaged with a transmission characteristic that selects an appropriate transmission method for each MMT asset to satisfy the haptic quality of the MMT asset.
  • the MMT package may be composed of one or a plurality of MMT assets together with additional information such as composition information (CI) and transport characteristics (TC).
  • the MMT package may correspond to a program of MPEG-2 TS.
  • Composition information includes information about a relationship between MMT assets, and when one content consists of a plurality of MMT packages, the composition information indicates a relationship between a plurality of MMT packages. It may further include information.
  • the transport characteristics may include transport characteristic information necessary to determine delivery conditions of an MMT asset or an MMT packet, and may include, for example, a traffic description parameter and a QoS descriptor. ) May be included.
  • the delivery layer defines the application layer protocol and format of the payload.
  • the payload format is defined to carry coded media data regardless of the media type or encoding method.
  • the delivery layer may perform, for example, network flow multiplexing, network packetization, and QoS control of media transmitted through a network.
  • the transport layer is a packet between the transport layer and the encapsulation layer (E-layer), multiplexing of media such as video, audio, etc. transmitted over a network.
  • the transport layer (D-layer) identifies different types of payloads from the encapsulation layer (E-layer) to handle payloads from the encapsulation layer (E-layer).
  • the transport layer may handle the temporal relation between packets transmitted through different networks and different channels.
  • the synchronization function may include hybrid network synchronization using a time stamp or the like.
  • the D-layer may handle timing constraints of MMT delivery packets for real-time media transmission.
  • the D-layer may perform error control of MMT media packets such as forward error correction and retransmission.
  • the transport layer may perform flow control of the MMT media packet.
  • the transport layer interacts with other MMT layers as well as lower layers (MAC, PHY) through a cross-layer design to maintain a certain level of QoS for delivery of MMT media packets. interaction).
  • transport layer may provide a function for performing group communication.
  • the transport layer (D-layer), as shown in Figure 1, MMT D.1 Layer (MMT D.1 Layer), MMT D.2 Layer (MMT D.2 Layer) and MMT D.3 Layer (MMT) D.3 Layer).
  • the D.1 layer receives the MMT package generated in the E.1 layer and generates an MMT payload format.
  • the MMT payload format is a payload format for transmitting MMT assets and for transmitting information for consumption by the MMT application protocol or other existing application transmission protocol such as RTP.
  • the MMT payload may include a fragment of the MFU along with information such as AL-FEC.
  • the D.2-layer receives the MMT payload format generated in the D.1 layer and generates an MMT transport packet or an MMT packet.
  • the MMT transport packet or MMT packet is a data format used for an application transport protocol for MMT.
  • D.3 layer supports QoS by providing the ability to exchange information between layers by cross-layer design.
  • the D.3 layer may perform QoS control using QoS parameters of the MAC / PHY layer.
  • the QoS parameters of the MAC / PHY may be, for example, bitrate, packet loss ratio, expected delay, available buffer size, and the like.
  • the signaling layer performs a signaling function. For example, session initialization / control / management of transmitted media, server-based and / or client-based trick modes, service discovery, synchronization, and other layers, i.e., delivery
  • a signaling function for interfacing with a D-layer and an encapsulation layer (E-layer) may be performed.
  • the synchronization may include synchronization control in a hybrid network.
  • the signaling layer defines the format of the message that manages delivery and consumption of the MMT package.
  • the message for consumption management is used to transmit the structure of the MMT package, and the message for delivery management is used to transmit the structure of the payload format and the configuration of the protocol.
  • the signaling layer may be configured of an MMT S.1 layer and an MMT S.2 layer.
  • the S.1 layer includes service discovery, media session initialization / termination of media, media session presentation / control of media, delivery (D) layer and encapsulation ( E)
  • the interface function with the layer can be performed.
  • the S.1 layer may define the format of control messages between applications for media presentation session management.
  • the presentation session management may define a format of a control message exchanged between applications for providing media presentation, session management, and information required for media consumption.
  • the S.2 layer may perform delivery session management.
  • the delivery session management may be related to flow control, delivery session management, delivery session monitoring, error control, error control, and delivery regarding hybrid network synchronization control. It is possible to define the format of the control message exchanged between delivery end-points of the D-layer.
  • S.2 layer supports delivery session establishment and release, delivery session management (delivery session monitoring, flow control, error control, etc.), resource reservation for established delivery session, It may include signaling for synchronization in a complex delivery environment and signaling for adaptive delivery. Required signaling may be provided between a sender and a receiver. That is, the S.2 layer may provide signaling required between the sender and the receiver in order to support the operation of the transport layer as described above. In addition, the S.2 layer may be responsible for interfacing with the transport layer and the encapsulation layer.
  • the control message or control information may be generated in the signaling layer and transmitted through a broadcasting network and / or a broadband network.
  • the function of the control message transmitted through the broadcast network may be the same as the function of the control message transmitted through the broadband network.
  • the syntax and format of the control message may vary depending on the application and the type of delivery.
  • the same common control information and the same common format may be used for control messages transmitted to the broadcasting network and the broadband network, respectively.
  • the same common control information may be transmitted in different formats for each broadcasting network and broadband network.
  • different control information and different formats may be transmitted for each broadcasting network and broadband network.
  • FIG. 2 illustrates a format of unit information (or data or packet) used for each layer of the MMT hierarchical structure of FIG. 1.
  • the Media Fragment Unit defines a format for encapsulating a part of the AU in the transport layer to perform adaptive transmission in the range of the MFU.
  • the MFU may be used to transmit certain types of encoded media so that portions of the AU can be independently decoded or discarded.
  • the media fragment unit (MFU) 130 includes coded media fragment data 132 and a media fragment unit header (MFUH) 134.
  • the media fragment unit 130 has a general container format independent of a specific codec and carries the smallest data unit that can be consumed independently in a media decoder.
  • the MFUH 134 may include additional information such as media characteristics-for example, loss-tolerance.
  • MFU 130 may be, for example, a picture or slice of a video.
  • the MFU has an identifier for distinguishing one MFU from other MFUs and has general relationship information between MFUs in a single AU.
  • the dependencies between the MFUs in a single AU are described, and the relevant priorities of the MFUs are described as part of such information.
  • the information can be used to handle the transmission in the lower transport layer. For example, the transport layer may omit transmission of MFUs that may be discarded, to support QoS transmission in insufficient bandwidth.
  • the MPU is a collection of media fragment units including a plurality of media fragment units 130.
  • the MPU has a general container format independent of a specific codec and includes media data equivalent to an access unit.
  • the MPU may have a timed data unit or a non-timed data unit.
  • the MPU may include a Media Processing Unit Header (MPUH) having additional information, such as a time stamp for synchronization with media fragment unit data.
  • MPUH Media Processing Unit Header
  • MPU is data that is independently and completely processed by an entity following the MMT, and processing includes encapsulation and packetization.
  • An MPU may consist of at least one MFU or have a portion of data having a format defined by another standard.
  • a single MPU can accept integral or non-time data of at least one AU.
  • an AU may be delivered from at least one MFU, but one AU may not be divided into multiple MPUs.
  • non-time data one MPU receives a portion of non-time data that has been independently and completely processed by an entity following the MMT.
  • the MPU may be uniquely identified in the MMT package by a sequence number and an associated asset ID that distinguishes it from other MPUs.
  • the MPU has at least one random access point.
  • the first byte of the MPU payload can always start with a random access point. In time data, this fact means that the decoding order of the first MFU in the MPU payload is always zero.
  • the presentation period and decoding order of each AU can be sent to inform the presentation time.
  • the MPU does not have its initial presentation time, and the presentation time of the first AU of one MPU may be described in the composition information.
  • the composition information may specify the first presentation time of the MPU.
  • the MPU may include an MMT hint track.
  • an MMT hint track may provide information for converting the encapsulated MPU into an MMT payload and an MMT packet.
  • the MMT hint track implies a fragmentation of the MPU to the transmission.
  • at least one MFU may be used to generate the MMT payload.
  • the media data may be generated and delivered in the MMT payload at the time of transmission by the transmitter.
  • the format to be stored may be different from the format upon delivery.
  • the MMT hint track suggests the extraction and generation of MFU for encapsulation using the MMT payload format.
  • the MMT payload may include MPU metadata or at least one MFU.
  • the MMT hint track implies to the transmitter how to extract MFU data. If fragmentation is not used, the hint track may be omitted.
  • the MMT hint track may indicate the entry format of the sample.
  • Each media sample is assigned to at least one MFU, and a sample of the MMT hint track will generate at least one MFU.
  • the MMT hint track includes a number of parameters. For example, a value of 1 may include multilayer_flag indicating that multi-layer information is provided.
  • dependency_id is an ID indicating dependency of the corresponding MFU.
  • a non-zero value enhances the video by at least one scalability level in terms of at least one temporal, quality or spatial resolution.
  • the depth_id indicates whether the corresponding MFU delivers depth data of the video.
  • quality_id is the quality ID of the MFU.
  • a nonzero value enhances the video by at least one scalability level in at least one aspect of temporal, quality or spatial resolution.
  • temporal_id is a temporal ID of MFU.
  • a non-zero value enhances the video by at least one scalability level in at least one aspect of temporal, quality or spatial resolution.
  • view_id is the view ID of the MFU.
  • a non-zero value enhances the video by at least one scalability level in at least one aspect of temporal, quality or spatial resolution.
  • the hint track may have a layer_id parameter indicating an ID of a scalable layer in which scalability dimension information is provided to initial information.
  • the MMT asset 150 is a collection of MPUs composed of a plurality of MPUs.
  • the MMT asset 150 is a data entity composed of multiple MPUs (timed or non-timed data) from a single data source, and the MMT asset information 152 is an asset packaging metadata (Asset). Additional information such as packaging metadata) and data type.
  • MMT asset 150 may include, for example, video, audio, program information, MPEG-U widgets, JPEG images, MPEG 4 FF (File Format), packetized elementary streams (PES), and MPEG transport (M2TS). streams).
  • the MMT asset may be a logical data entity having encoded media data.
  • the MMT asset has an MMT asset header and encoded media data.
  • the encoded media data may be a group of MPUs collectively referred to by the same MMT asset ID.
  • the type of data consumed as an entity directly related to the MMT client may be a separate MMT asset. Examples of such data types are MPEG-2 TS, PES, MP4 file, MPEG-U Widget Package, JPEG files.
  • the encoded media of the MMT asset may be time data or non-time data.
  • Temporal data is audiovisual media data that requires synchronized decoding and presentation of specific data at specified times.
  • Non-timed data is data of a data type that can be decoded and provided at any time in accordance with the provision of a service or user interaction.
  • a service provider may create a multimedia service by integrating MMT assets and putting MMT assets on a space-time axis.
  • the MMT package 160 is a collection of MMT assets including one or more MMT assets 150.
  • MMT assets in an MMT package may be multiplexed or concatenated.
  • the MMT package is a container format for MMT asset and configuration information.
  • the MMT package provides a repository of MMT asset and configuration information for the MMT program.
  • the MMT program provider generates configuration information by encapsulating the encoded data into MMT assets and describing the temporal and spatial layout of the MMT assets and their transmission characteristics.
  • MU and MMT assets can be sent directly in the D.1 payload format.
  • Configuration information may be sent by the S.1 Presentation Session Management message.
  • MMT program providers and clients that allow relaying or future reuse of MMT programs store them in MMT package format.
  • the MMT program provider determines which transmission path (eg, broadcast or broadband) the MMT asset will be provided to the client.
  • the configuration information in the MMT package is transmitted in the S.1 Presentation Session Management message along with the transmission related information.
  • the client receives the S.1 Presentation Session Management message to learn which MMT programs are available and how to receive MMT assets for the corresponding MMT program.
  • the MMT package can also be transmitted by the D.1 payload format.
  • the MMT package is packetized and delivered in D.1 payload format.
  • the client receives the packetized MMT package and configures all or part of it, where it consumes the MMT program.
  • the package information 165 of the MMT package 160 may include configuration information.
  • the configuration information may include additional information such as a list of MMT assets, package identification information, composition information 162 and transport characteristics 164.
  • Composition information 162 includes information about a relationship between MMT assets 150.
  • composition information 162 may further include information for indicating a relationship between a plurality of MMT packages when one content includes a plurality of MMT packages.
  • Composition information 162 may include information about temporal, spatial and adaptive relations in an MMT package.
  • Composition information provides information for package delivery optimization and presentation in a multi-screen environment. In a multi-screen environment, this can represent information that maps an asset to a specific screen. Detailed description will be described later.
  • Composition Information in the MMT provides information about the spatial and temporal relationships between MMT assets in the MMT package.
  • MMT-CI is an explanatory language that extends HTML5 to provide such information. If HTML5 is designed to describe page-based presentations of text-based content, MMT-CI mainly represents spatial relationships between sources. In order to support the presentation of the temporal relationship between MMT assets, information related to MMT assets in an MMT package, such as presentation resources, time information for determining the order in which MMT assets are sent and consumed, and various MMT assets are consumed in HTML5. It can be extended to have additional properties of media elements.
  • the transport characteristics information 164 may include information on transmission characteristics and may provide information necessary for determining a delivery condition of each MMT asset (or MMT packet).
  • the transmission characteristic information may include a traffic description parameter and a QoS descriptor.
  • the traffic description parameter may include bitrate information, priority information, or the like for the media fragment unit (MFU) 130 or the MPU.
  • the bitrate information is for example information about whether the MMT asset is Variable BitRate (VBR) or Constant BitRate (CBR), guaranteed bitrate for the Media Fragment Unit (MFU) (or MPU). ), The maximum bit rate for the media fragment unit (MFU) (or MPU).
  • the traffic description parameter may be used for resource reservation between servers, clients, and other components on a delivery path, for example, maximum size information of a media fragment unit (MFU) (or MPU) in an MMT asset. It may include.
  • the traffic description parameter may be updated periodically or aperiodically.
  • the QoS descriptor includes information for QoS control and may include, for example, delay information and loss information.
  • the loss information may include, for example, a loss indicator of whether delivery loss of the MMT asset is allowed or not.
  • a loss indicator of '1' may indicate 'lossless', and a '0' indicates 'lossy'.
  • the delay information may include a delay indicator used to distinguish the sensitivity of the transmission delay of the MMT asset.
  • the delay indicator may indicate whether the type of the MMT asset is conversation, interactive, real time, and non-realtime.
  • One content may consist of one MMT package.
  • one content may consist of a plurality of MMT packages.
  • composition information or configuration information indicating temporal, spatial, and adaptive relations between the plurality of MMT packages configuration information may exist inside one MMT package or outside the MMT package.
  • some of the content components are transmitted through a broadcast network and the remaining parts of the content components are transmitted through a broadband network.
  • a broadband network For example, in the case of a plurality of audio visual streams constituting one multi-view service, one stream may be transmitted to a broadcasting network and the other stream may be transmitted to a broadband network, and each AV stream may be multiplexed and transmitted to a client terminal. Can be individually received and stored.
  • application software such as a widget is transmitted to a broadband network and an AV stream (AV program) is transmitted to an existing broadcasting network.
  • the entire plurality of AV streams may be a single MMT package, and in this case, one of the plurality of streams may be stored in only one client terminal.
  • the storage content becomes part of the MMT package, and the client terminal must rewrite the composition information or configuration information, and the rewritten content becomes a new MMT package independent of the server. .
  • each AV stream may be one MMT package, and in this case, a plurality of MMT packages constitute one content, and storage Storage is recorded in MMT package units and requires composition information or configuration information indicating a relationship between MMT packages.
  • Configuration information or configuration information included in one MMT package may refer to an MMT asset in another MMT package, and may also refer to an outside of an MMT package that refers to the MMT package in an out-band situation. I can express it.
  • the content to be transmitted through the MMT scheme may be SVC video content including a base layer and at least one enhanced layer.
  • One SVC video content may be composed of one MMT package, or one SVC video content may be composed of a plurality of MMT packages. That is, a plurality of layers included in the SVC video content may be included in one MMT package or may be separately included in a plurality of MMT packages.
  • composition information or configuration information indicating a relationship between the plurality of MMT packages exists in one MMT package among the MMT packages, or May exist outside the MMT package.
  • some of the content components may be transmitted through a broadcast network, and the remaining parts of the content components may be transmitted through a broadband network.
  • a base layer and one or more enhancement layers constituting one SVC video content may be transmitted to a broadcast network and enhancement layers may be transmitted to a broadband network, or the base layer and at least one enhancement layer may be broadcast networks.
  • one or more other enhancement layers may be transmitted over the broadband network.
  • each of the layers may be multiplexed and individually received and stored at the client terminal.
  • a plurality of layers may be a single MMT package as a whole, in which case one of the plurality of layers may be stored in only one client terminal, and storage content Becomes a part of the MMT package, the client terminal must rewrite the composition information (composition information) or configuration information (configuration information), the re-recorded content is a new MMT package independent of the server.
  • the base layer must be transmitted to the client terminal, and enhancement layers are selected based on at least one of the capabilities of the client terminal or a transmission environment (for example, network bandwidth of the network). It may be stored in the client terminal. Therefore, it can be a new MMT package of the SVC video content suitable for the performance and transmission environment of the terminal.
  • each layer may be composed of one MMT package, and in this case, a plurality of MMT packages constitute one content, and the storage is recorded in MMT package units. And composition information or configuration information indicating a relationship between MMT packages is required.
  • composition information or configuration information included in one MMT package may refer to an MMT asset in another MMT package, and may also refer to the outside of an MMT package that refers to the MMT package in an out-band situation. I can express it. For example, if a base layer, one or more enhancement layers, and composition information are included in one MMT package, and one or more other enhancement layers are included in another MMT package, the composition information is the base layer and the enhancement layer in the same MMT package. In addition, reference may be made to enhancement layers in other MMT packages.
  • composition information may be included in only one MMT package or may be included in each MMT package.
  • an example of configuring an MMT package based on SVC video content according to various embodiments of the present disclosure will be described with reference to FIGS. 3 to 10.
  • hybrid transmission through a broadcast network and a broadband network is illustrated, the scope of the present invention is not limited to hybrid transmission through the broadcast network and a broadband network.
  • a hybrid transmission method according to an embodiment of the present invention a plurality of various networks including a broadcast network, a broadband network, a cable network, or a satellite communication network may be selected. have.
  • each layer included in the SVC video content may configure one MMT asset. Therefore, the relationship between the MMT package and the MMT assets may indicate a relationship between the MMT package and each of the layers.
  • the base layer or enhancement layer is described based on the MMT asset unit to describe the configuration of the MMT package, but the hybrid transmission method of the SVC video content according to an embodiment of the present invention is not limited to the transmission of the MMT asset unit.
  • the data may be transmitted in a substream unit, an MMT package unit, or an MMT packet unit. In this case, the substream, MMT package, or MMT packet may be divided and combined to form each transmission unit.
  • FIG 3 is a first exemplary diagram of an MMT package configuration according to an embodiment of the present invention.
  • FIG. 1 illustrates a case where one SVC video content is composed of one MMT package.
  • the base layer MMT asset 311 and enhancement layer MMT assets 312 and 313, which are some of the content components of the SVC video content are broadcast network 301.
  • the MMT assets 314, 315, and 316 of the enhancement layer, which are transmitted through and which are the remaining parts of the content components of the SVC video content, may be transmitted through the broadband network 302.
  • MMT assets 311, 312, and 313 transmitted through the broadcasting network may be multiplexed (MUX)
  • MMT assets 314, 315, and 316 transmitted through the broadband network may also be multiplexed (MUX). Can be.
  • the MMT assets 311, 312, 313, 314, 315, and 316 which are all content components constituting one content, may be included in one MMT package 331 as a whole.
  • composition information 321 between the MMT assets 311, 312, 313, 314, 315, and 316 may be included in the MMT package 331.
  • the composition information is media type information of MMT assets referenced by the composition information, wherein the media type may be any one of video, audio, and subtitles, media size, number of layers, and the MMT assets based on It may include information indicating at least one of whether it is a layer or an enhancement layer.
  • FIG. 4 is a second exemplary diagram of an MMT package configuration according to an embodiment of the present invention.
  • FIG. 2 illustrates a case where one piece of content includes one MMT package and includes local composition information.
  • the base layer MMT asset 411 and enhancement layer MMT assets 412 and 413 which are some of the content components of the SVC video content, are broadcast network 401.
  • the MMT assets 414, 415, and 416 of the enhancement layer which are transmitted through and which are the remaining parts of the content components of the SVC video content, may be transmitted through the broadband network 402.
  • MMT assets 411, 412, 413 transmitted through the broadcasting network may be multiplexed (MUX), and MMT assets 414, 415, 416 transmitted through the broadband network may also be multiplexed (MUX).
  • MUX multiplexed
  • the MMT assets 411, 412, 413, 414, 415, and 416 which are all content components constituting one content, may be included in one MMT package 431 as a whole.
  • the MMT package 431 may include local composition information 441 indicating a relationship between MMT assets 411, 412, and 413 transmitted through the broadcasting network, and MMT assets transmitted through the broadband network.
  • Local composition information 442 indicating a relationship between 414, 415, and 416 and composition information 421 indicating a relationship between the local composition information 441 and the local composition information 442 may be included.
  • the local composition information is media type information of MMT assets referred to by the local composition information, wherein the media type may be any one of video, audio, and subtitles, size of media, number of layers, and the MMT asset. It may include information indicating at least one of whether they are a base layer or an enhancement layer.
  • FIG. 5 is a third exemplary diagram of an MMT package configuration according to an embodiment of the present invention.
  • FIG. 5 illustrates a case where one piece of content consists of a plurality of MMT packages.
  • the base layer MMT asset 511 and enhancement layer MMT assets 512 and 513 which are some of the content components of the SVC video content, are broadcast network 501.
  • the MMT assets 514, 515, and 516 of the enhancement layer which are transmitted through and are the remaining parts of the content components, may be transmitted through the broadband network 502.
  • MMT assets 511, 512, and 513 transmitted through the broadcasting network may be multiplexed (MUX), and MMT assets 514, 515, and 516 transmitted through the broadband network may also be multiplexed (MUX).
  • MUX multiplexed
  • MMT assets 511, 512, and 513, which are some of the content components, are included in one MMT package 531
  • MMT assets 514 which are the remaining parts of the content components, are included in the MMT package 531
  • 515 and 516 may be included in other MMT packages 532. That is, one SVC video content may be composed of a plurality of MMT packages 531 and 532.
  • the composition information 521 indicating a relationship between the MMT packages 531 and 532 may be included in either the MMT package 531 or the MMT package 532.
  • the composition information is media type information of MMT assets referenced by the composition information, wherein the media type may be any one of video, audio, and subtitles, media size, number of layers, and the MMT assets based on It may include information indicating at least one of whether it is a layer or an enhancement layer.
  • FIG. 6 is a fourth exemplary diagram of an MMT package configuration according to an embodiment of the present invention.
  • the fourth exemplary view illustrates a case where one SVC video content is composed of a plurality of MMT packages and includes local composition information.
  • the base layer MMT asset 611 and enhancement layer MMT assets 612, 613 which are some of the content components of the SVC video content, are broadcast network 601.
  • the MMT assets 614, 615, and 616 of the enhancement layer, which are transmitted through and are the remainder of the content components, may be transmitted through the broadband network 602.
  • MMT assets 611, 612, and 613 transmitted through the broadcasting network may be multiplexed (MUX), and MMT assets 614, 615, and 616 transmitted through the broadband network may also be multiplexed (MUX).
  • MUX multiplexed
  • MMT assets 611, 612, and 613 which are part of content components of SVC video content, are included in one MMT package 631, and MMT asset, which is the remaining part of content components, is included in one MMT package 631.
  • 614, 615, 616 may be included in another MMT package 632. That is, one piece of content may be composed of a plurality of MMT packages 631 and 632.
  • the MMT package 631 may include local composition information 641 indicating a relationship between MMT assets 611, 612, and 613 transmitted through the broadcasting network, and the MMT package 632 may include the broadband.
  • Local composition information 642 indicating a relationship between MMT assets 614, 615, and 616 transmitted through a network may be included.
  • composition information 621 indicating a relationship between the local composition information 641 and 642 may be included in either the MMT package 631 or the MMT package 632.
  • the local composition information is media type information of MMT assets referred to by the local composition information, wherein the media type may be any one of video, audio, and subtitles, size of media, number of layers, and the MMT asset. It may include information indicating at least one of whether they are a base layer or an enhancement layer.
  • FIG. 7 is a fifth exemplary diagram of an MMT package configuration according to an embodiment of the present invention.
  • FIG. 5 illustrates a case where one SVC video content includes a plurality of MMT packages.
  • the base layer MMT asset 711 and the enhancement layer MMT assets 712 and 713 which are some of the content components of the SVC video content, are broadcast network 701.
  • the MMT assets 714, 715, and 716 of the enhancement layer which are transmitted through and which are the remaining parts of the content components, may be transmitted through the broadband network 702.
  • the MMT assets 711, 712, 713 transmitted through the broadcasting network may be multiplexed (MUX), and the MMT assets 714, 715, 716 transmitted through the broadband network may also be multiplexed (MUX). Can be.
  • MUX multiplexed
  • MUX multiplexed
  • MMT assets 711, 712, and 713 which are some of the content components, are included in one MMT package 731
  • MMT assets 714, 715 which are the remaining portions of the content components
  • 716 may be included in another MMT package 732. That is, one SVC video content may be composed of a plurality of MMT packages 731 and 732.
  • composition information 721 indicating a relationship between the MMT packages 731 and 732 may exist outside the MMT packages 731 and 732.
  • the composition information is media type information of MMT assets referenced by the composition information, wherein the media type may be any one of video, audio, and subtitles, media size, number of layers, and the MMT assets based on It may include information indicating at least one of whether it is a layer or an enhancement layer.
  • FIG. 8 is a sixth exemplary diagram of an MMT package configuration according to an embodiment of the present invention.
  • the base layer MMT asset 811 and enhancement layer MMT assets 812 and 813 which are some of the content components of the SVC video content, are broadcast network 801.
  • the MMT assets 814, 815, and 816 of the enhancement layer, which are transmitted through and are the remainder of the content components, may be transmitted through the broadband network 802.
  • the MMT assets 811, 812, and 813 transmitted through the broadcasting network may be multiplexed (MUX), and the MMT assets 814, 815, and 816 transmitted through the broadband network may also be multiplexed (MUX). Can be.
  • MMT assets 811, 812, and 813 which are some of the content components are included in one MMT package 831
  • MMT assets 814 which are the remaining parts of the content components, are included in the MMT package 831
  • 815 and 816 may be included in other MMT packages 832. That is, one piece of content may be composed of a plurality of MMT packages 831 and 832.
  • the MMT package 831 may include local composition information 841 indicating a relationship between MMT assets 811, 812, and 813 transmitted through the broadcasting network, and the MMT package 832 may include the broadband.
  • Local composition information 842 indicating a relationship between MMT assets 814, 815, and 816 transmitted through a network may be included.
  • composition information 821 indicating a relationship between the local composition information 841 and 842 may exist outside the MMT packages 831 and 832.
  • the local composition information is media type information of MMT assets referred to by the local composition information, wherein the media type may be any one of video, audio, and subtitles, size of media, number of layers, and the MMT asset. It may include information indicating at least one of whether they are a base layer or an enhancement layer.
  • a broadcast network, a broadband network, a cable network, or a satellite Multiple may be selected from among various networks including a satellite communication network.
  • one MMT package may configure one SVC video content, or a plurality of package configurations in which a plurality of MMT packages constitute one SVC video content may also be applied.
  • FIG. 9 is a flowchart of a hybrid delievery method of SVC video content according to an embodiment of the present invention.
  • the number of transmission networks capable of transmitting SVC video content from a server to the client is determined based on the current communication situation among various transmission networks, and the SVC video content is partitioned to correspond to the detected number of transmission networks.
  • the SVC video content includes a base layer and at least one enhancement layer
  • the divided content may each include a base layer or at least one enhancement layer. That is, a plurality of layers may be separated and transmitted to correspond to the number of transmission networks.
  • the hybrid delievery method of the SVC video content divides the SVC video content to be transmitted from the server to the client, thereby composing composition information of the divided SVC video contents. information) and transmitting the divided SVC video contents to the client using the transmission network (S940).
  • the step of dividing the SVC video content and generating composition information includes detecting a number of transmission networks through which a server can transmit SVC video content to be transmitted to a client (S910), and transmitting the SVC video content to the detected number of transmission networks.
  • the method may include dividing to correspond to S920 and generating composition information of the divided SVC video contents (S930).
  • the server detects the number of transmission networks capable of transmitting SVC video content for transmission to the client, and detects the number of transmission networks by detecting all transmission networks that can be used for transmitting content.
  • the transmission network a plurality of various networks including a broadcast network, a broadband network, a cable network, or a satellite communication network may be selected.
  • the SVC video content may be divided to correspond to the number of the detected transmission networks.
  • the SVC video content may be divided to correspond to the number of the detected transmission networks.
  • the content may be divided according to the number of transmission networks, and when the characteristics of each transmission network are detected in the detection step S910, the content may be divided based on the characteristics of the transmission network and the number of the transmission networks.
  • the divided contents may be audio information, video information, additional data information, or widget information.
  • the audio information, video information, additional data information, or widget information may be included in one divided content, or may be included in a plurality of divided contents.
  • the content may include at least one MMT asset.
  • Each of the divided contents may include the same number of MMT assets, or may include different numbers of MMT assets based on characteristics of the transmission network.
  • the divided contents may form one MMT package (package) as a whole, and the divided contents may individually form one MMT package.
  • the divided SVC video contents may include at least one of an MMT asset of a base layer and an MMT asset of an enhanced layer.
  • the SVC video content may include one base layer and at least one enhancement layer, and the base layer or enhancement layer may be composed of MMT assets. Therefore, when dividing the SVC video content, the divided SVC video contents may include an MMT asset of a base layer and may include an MMT asset of one or more enhancement layers.
  • the split SVC video content may include both the base layer MMT asset and one or more enhancement layer MMT assets.
  • the content may be divided not only in MMT asset units but also in substream units, MMT package units, or MMT packet units.
  • the video content when the video content is SVC video content composed of a plurality of layers such as a first layer and a second layer, the video content may be divided into hierarchical units.
  • the same number of MMT assets, substreams, MMT packages, or MMT packets may be included in each of the divided contents, or different numbers may be included based on characteristics of the transmission network.
  • step S930 of generating composition information of the divided SVC video contents composition information indicating a relationship between the divided contents may be generated.
  • the composition information may indicate a relationship between the formed MMT packages.
  • the generated composition information may be included in any one of the formed MMT packages or may exist separately.
  • the composition information 162 may be included in package information 165 of an MMT (Mpeg Media Transport) package as shown in FIG. 2.
  • composition information of the SVC video contents may include media type information of MMT assets included in the divided SVC video contents referred to by the composition information, wherein the media type may be any one of video, audio, and subtitles. And information indicating at least one of a size, a number of layers, and whether the MMT assets are a base layer or an enhancement layer.
  • the composition information may include size information of video data (media).
  • the composition information may include information indicating the number of layers included in SVC video content and whether the MMT assets are MMT assets of the base layer or MMT assets of the enhancement layer.
  • the composition information when divided into a substream unit, an MMT package unit, an MMT packet unit, or a layer unit, the composition information may indicate a relationship between each divided content.
  • the composition information may be included in the header 182 or the payload of the MMT packet, may be included in the unit information of another MMT layer structure, or may exist through a separate configuration.
  • the divided contents may constitute one MMT package 331 as a whole, and a composition representing a relationship between the divided contents Information 321 may be included in the MMT package 331.
  • the divided contents may constitute one MMT package 431 as a whole, and local composition information 441, which indicates a relationship between MMT assets included in each of the divided contents, may be used.
  • Composition information 421 indicating a relationship between 442 and the local composition information 441 and 442 may be included in the MMT package 431.
  • the divided contents may constitute one MMT package 531 and 532, and the composition information 521 indicating the relationship between the MMT packages 531 and 532 may be configured as described above.
  • the MMT package 531 may be included in any one of the MMT packages 531 and 532.
  • the divided contents may constitute one MMT package 631 and 632, and each of the MMT packages 631 and 632 may be the respective MMT packages 631.
  • 632 may include local composition information 641, 642 indicating a relationship between MMT assets.
  • composition information 621 indicating a relationship between the local composition information 641 and 642 may be included in an MMT package 631 which is one of the MMT packages 631 and 632.
  • the divided contents may constitute one MMT package 731 and 732, and the composition information 721 indicating a relationship between the MMT packages 731 and 732 may be an MMT. It may be external to packages 731 and 732.
  • the divided contents may constitute one MMT package 831 and 832, and each of the MMT packages 831 and 832 may be configured as the respective MMT packages 831.
  • 832 may include local composition information 841, 842 indicating a relationship between MMT assets included.
  • composition information 821 indicating a relationship between the local composition information 841 and 842 may exist outside the MMT packages 831 and 832.
  • the content is divided based on the MMT asset.
  • the content may be divided into not only an MMT asset but also a substream unit, an MMT package unit, or an MMT packet unit.
  • step S940 of transmitting contents the divided SVC video contents are transmitted to the client using the transmission network.
  • the composition information exists outside the MMT package
  • the divided SVC video contents and the composition information may be transmitted to the client by using the transmission network.
  • each transmission network may transmit the divided content corresponding to the characteristics of each transmission network.
  • FIG. 10 is a flowchart illustrating a content receiving method according to an embodiment of the present invention.
  • the step of receiving the divided SVC video content from a server (S1010) and the partitioning based on composition information included in the divided SVC video contents is performed. Merging the SVC video contents with each other (S1020).
  • the client receives the divided SVC video contents from the server (S1010).
  • the divided contents may be received by using each transmission network corresponding to the characteristics of each transmission network.
  • the content receiving step S1010 may receive the divided contents and the composition information when the composition information exists outside the MMT packages.
  • the client receives only some of the divided contents, the client is based on the received portion of the divided content and composition information, the second composition indicating the relationship between the received portion of the divided content Information can be generated.
  • the divided contents may be a substream, an MMT asset, an MMT package, or an MMT packet.
  • the divided contents are merged based on the composition information or the second composition information.
  • One content component may be transmitted to the broadcasting network and the other content component may be transmitted to the broadband network.
  • one content may be transmitted to a broadcasting network and another content may be transmitted to another broadcasting network.
  • a signaling message may be used to identify the type and location of media components for different types of synchronization of MMT and MPEG-2 TS.
  • the signaling message specifies the address of the media component.
  • the position of the MPEG-2 TS is used.
  • the MPEG-2 TS component has a time stamp based on the STC.
  • the MMT component has a timestamp based on UTC.
  • a clock relation information message is required to synchronize different types of time stamps of the MMT and the MPEG-2 TS.
  • the STC based clock of the MPEG-2 TS may be converted into a UTC based system clock (wall clock) by using clock relation information.
  • the MMT component and the MPEG-2 TS component can be tuned and provided by sharing the same time domain as the system clock.
  • SVC scalable video coding
  • error correction will be described when an error occurs in received data of some layers. It is assumed that there is a transmitter and a receiver, and that the transmitter hybridly transmits SVC video data including the base layer and the first enhancement layer to the receiver.
  • the transmitter transmits the base layer data through the first network, and transmits the first enhancement layer data to the receiver through the second network.
  • the receiver receives the data of the base layer through the first network and the data of the first enhancement layer through the second network. If an error exists in the base layer data received by the receiver, a general error may be corrected using another part of the received base layer data.
  • the receiver when an error that cannot be corrected using only the base layer data occurs, the receiver additionally uses data of the first enhancement layer received through the second network to perform error correction of the base layer data.
  • the receiver since an uncorrectable error occurs in the data of the base layer received through the first network, when the data of the first enhancement layer received through the second network is received without error, the error of the received data of the base layer can be corrected.
  • error correction is possible in the case where an error exists in the data of the enhancement layer and the data of the base layer is received without error.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

전송망의 개수에 상응하여 콘텐츠를 분할하고 전송하는 콘텐츠의 하이브리드 전송(hybrid delievery) 방법이 개시된다. 콘텐츠의 하이브리드 전송(hybrid delievery) 방법은 서버가 클라이언트로 전송할 SVC 비디오 콘텐츠를 분할하여 상기 분할된 SVC 비디오 콘텐츠들의 콤포지션 정보(composition information)를 생성하는 단계 및 상기 분할된 SVC 비디오 콘텐츠들을 복수의 전송망을 이용하여 상기 클라이언트로 전송하는 단계를 포함한다. 따라서, 다양한 전송망을 효율적으로 이용할 수 있다.

Description

ＭＭＴ 패키지화된 ＳＶＣ 비디오 콘텐츠의 하이브리드 전송 방법 및 수신 방법
비디오 콘텐츠의 전송 방법 및 수신 방법에 관한 것으로서, 더욱 상세하게는 MMT 패키지화된 비디오 콘텐츠를 복수의 전송망을 통해 전송하는 방법에 관한 것이다.
MPEG-2의 표준화 이후, 비디오 압축 표준(또는 오디오 압축 표준)은 과거 10년간 MPEG-4, H.264/AVC, SVC(Scalable Video Coding) 등으로 꾸준히 새로운 표준이 개발되었고 또한 각각의 새로운 표준들은 새로운 시장을 형성하면서 MPEG 표준의 활용 영역을 넓혀왔으나, MPEG-2 TS(Transport System)와 같은 전송 기술의 경우 20년 가까운 세월이 흐르는 동안 변함없이 시장에서 디지털방송, 모바일 방송(T-DMB, DVB-H등)등에 널리 사용되고 있으며, 심지어 표준 제정 당시 고려하지 않았던 인터넷을 통한 멀티미디어 전송, 즉 IPTV 서비스에도 널리 활용되고 있는 상황이다.
그러나, MPEG-2 TS가 개발될 때의 멀티미디어 전송환경과 오늘날의 멀티미디어 전송환경은 큰 변화를 겪고 있다. 예컨대, MPEG-2 TS 표준은 제정 당시 ATM 망을 통해 멀티미디어 데이터를 전송하는 것을 고려하여 개발되었으나, 오늘날 이러한 목적으로 이용되는 사례는 거의 찾아보기 힘들어졌다. 또한, MPEG-2 TS 표준 제정 당시 인터넷을 이용한 멀티미디어 전송 등의 요구사항(requirement)이 고려되지 않아 최근의 인터넷을 통한 멀티미디어 전송에 효율적이지 못한 요소들이 존재한다. 따라서, MPEG에서는 변화하는 멀티미디어 환경에 걸맞는 인터넷에서의 멀티미디어 서비스를 고려한 새로운 멀티미디어 전송 표준인 MMT(MPEG Multimedia Transport Layer)의 제정이 매우 중요한 과제로 인식되고 있다.
이와 같이, MMT 표준화가 진행되는 중요한 이유는 20 년전에 만들어진 MPEG2-TS 표준이 최근 IPTV 방송 서비스, 인터넷 환경등에 최적화되어 있지 않기 때문에 최근 다양한 이종망(Heterogeneous Network)에서의 멀티미디어 전송 환경에 최적화된 멀티미디어 전송 국제 표준의 시급한 필요에 의해 MPEG에서 MMT를 새로운 전송 기술 표준으로서 표준화를 진행하고 있는 것이다.
한편, 무선망과 인터넷의 초고속화와 함께 방통융합 환경에서의 비디오를 중심으로 한 멀티미디어 콘텐츠 서비스가 보편화되고 있다. 기존의 TV나 PC 뿐만 아니라 스마트폰, 타플렛 PC 등 다양한 성능의 단말이 혼재하는 융합 콘텐츠 소비 환경에서 비디오, 음악, 게임, 데이터 등의 콘텐츠를 끊김 없이 이용할 수 있는 서비스를 N-스크린 서비스라고 한다.
이러한 다양한 단말기에서 각 단말기에 맞는 다양한 해상도의 콘텐츠를 소비하게 되고, 이동 서비스가 가능해 지면서, 네트워크 환경이 실시간으로 변화하는 콘텐츠 소비환경이 조성되고 있다. 이러한 실시간으로 변하는 소비환경에 적합한 고품질의 콘텐츠를 제공하기 위해서는 기존의 단일 포맷을 지원하는 비디오 부호화 방식으로는 한계가 있다.
이런 측면에서 스케일러블 비디오 부호화(Scalable Video Coding, SVC) 방식에 대한 연구가 활발하게 진행되고 있다. SVC는 다양한 전송 환경 및 단말 성능에 실시간으로 적응 가능하도록 설계되었다. 즉, 단말에 따라 다양하게 요구되는 해상도, 네트워크 상태 등 가변의 이종 소비환경에 적합한 포맷을 지원하는 실시간 적응이 가능한 비디오 부호화 방식이다.
전술한 바와 같이, 다양한 단말기의 성능 및 변화하는 네트워크 환경에 따라 적응적으로 적합한 비디오 콘텐츠를 제공할 수 있는 SVC 비디오 콘텐츠가 주목받고 있으며, 이러한 SVC 비디오 콘텐츠를 MMT 방식으로 다양한 이종망(Heterogeneous Network)을 통해 전송함에 있어서, 동시에 복수의 전송망이 활용될 수 있다.
따라서, 본 발명의 목적은 전송망의 개수에 상응하도록 SVC 비디오 콘텐츠의 계층(Layer)들을 분리하여 전송함으로써 다양한 환경에서 최적의 전송 효율을 갖는 MMT 패키지화된 SVC 비디오 콘텐츠의 하이브리드 전송 방법을 제공하는 것이다.
또한, 본 발명의 다른 목적은 전송망의 개수에 상응하도록 분리하여 전송한 SVC 비디오 콘텐츠의 계층(Layer)들을 수신하고 병합함으로써 다양한 환경에서 최적의 전송 효율을 갖는 SVC 비디오 콘텐츠의 수신 방법을 제공하는 것이다.
본 발명의 목적을 달성하기 위한 SVC 비디오 콘텐츠의 하이브리드 전송 방법은 서버가 클라이언트로 전송할 SVC 비디오 콘텐츠를 분할하는 단계; 및 상기 분할된 SVC 비디오 콘텐츠들을 복수의 전송망을 이용하여 상기 클라이언트로 전송하는 단계를 포함한다.
상기 분할된 SVC 비디오 콘텐츠들은 기저 계층(Base Layer)의 MMT 애셋 및 향상 계층(Enhanced Layer)의 MMT 애셋 중 적어도 하나를 포함할 수 있다.
상기 MMT 애셋은 MPU(Media Processing Uint)을 포함하고, 상기 MPU는 상기 SVC 비디오 컨텐츠의 분할 정보를 포함할 수 있다.
상기 MPU는 상기 MPU의 부분화 정보를 포함하는 MMT 힌트 트랙(MMT hint track)을 포함할 수 있다.
상기 MMT 힌트 트랙은 상기 SVC 비디오 컨텐츠의 분할정보를 포함할 수 있다.
상기 서버가 클라이언트로 전송할 SVC 비디오 콘텐츠를 분할하는 단계는 상기 서버가 클라이언트로 전송할 SVC 비디오 콘텐츠를 분할하여 상기 분할된 SVC 비디오 콘텐츠들의 콤포지션 정보(composition information)를 생성하는 단계를 포함할 수 있다.
상기 콤포지션 정보는 상기 콤포지션 정보가 참조하는 분할된 SVC 비디오 콘텐츠에 포함된 MMT 애셋들의 미디어 타입 정보 - 여기서, 상기 미디어 타입은 비디오, 오디오 및 자막 중 어느 하나일 수 있음- , 미디어의 사이즈, 계층 수 및 상기 MMT 애셋들이 기저 계층인지 향상 계층인지 여부 중 적어도 하나를 나타내는 정보를 포함할 수 있다.
상기 콤포지션 정보는 MMT(Mpeg Media Transport) 패키지(Package)의 패키지 정보, MMT 패킷의 헤더, 및 페이로드 중 적어도 하나에 포함될 수 있다.
상기 분할된 SVC 비디오 콘텐츠들을 전송하는 단계는 상기 콤포지션 정보가 상기 분할된 SVC 비디오 콘텐츠 외부에 존재할 경우, 상기 분할된 SVC 비디오 콘텐츠들 및 상기 콤포지션 정보를 상기 클라이언트로 전송할 수 있다.
상기 SVC 비디오 콘텐츠를 분할하여 콤포지션 정보(composition information)를 생성하는 단계는 서버가 클라이언트로 전송할 SVC 비디오 콘텐츠를 전송할 수 있는 전송망의 개수를 검출하는 단계; 상기 SVC 비디오 콘텐츠를 상기 검출된 전송망의 개수에 상응하도록 분할하는 단계; 및 상기 분할된 SVC 비디오 콘텐츠들의 콤포지션 정보를 생성하는 단계를 포함할 수 있다.
상기 분할된 SVC 비디오 콘텐츠들은 개별적으로 각각 하나의 MMT 패키지(Package)를 형성할 수 있다.
상기 복수의 전송망으로 전송되는 상기 분할된 SVC 비디오 콘텐츠 간에 동조를 위한 시그널링 메시지를 상기 SVC 비디오 컨텐츠와 함께 전송할 수 있다.
상기 시그널링 메시지는 서로 상이한 타입의 타임스탬프를 동조하기 위한 클록 릴레이션 인포메이션(Clock Relation Information)을 가질 수 있다.
또한, 본 발명의 목적을 달성하기 위한 콘텐츠 수신 방법은 서버로부터 분할된 SVC 비디오 콘텐츠들을 복수의 전송망을 통하여 수신하는 단계; 및 상기 분할된 SVC 비디오 콘텐츠들을 병합하는 단계를 포함한다.
상기 분할된 SVC 비디오 콘텐츠들을 수신하는 단계는 상기 콤포지션 정보가 상기 분할된 SVC 비디오 콘텐츠 외부에 존재할 경우, 상기 분할된 SVC 비디오 콘텐츠들 및 상기 콤포지션 정보를 서버로부터 수신할 수 있다.
상기 분할된 SVC 비디오 콘텐츠들을 수신하는 단계는 상기 수신된 분할된 콘텐츠 및 콤포지션 정보를 기반으로 수신된 일부의 분할된 콘텐츠들 간의 관계를 나타내는 제2콤포지션 정보를 생성할 수 있다.
상기 분할된 SVC 비디오 콘텐츠들을 병합하는 단계는 상기 분할된 SVC 비디오 콘텐츠들에 포함된 콤포지션 정보를 기반으로 상기 분할된 SVC 비디오 콘텐츠들을 병합하는 단계를 포함할 수 있다.
상기 수신 방법은 수신한 SVC 비디오 콘텐츠의 에러를 정정하는 단계를 더 포함할 수 있다.
상기 SVC 비디오 콘텐츠의 에러를 정정하는 단계는, 다른 계층의 수신 데이터를 사용하여 에러 정정을 수행할 수 있다.
상기 분할된 SVC 비디오 콘텐츠간의 동조(synchronize)를 위한 시그널링 메시지를 수신하는 단계를 더 포함할 수 있다.
상기 시그널링 메시지는 서로 상이한 타입의 타임스탬프를 동조하기 위한 클록 릴레이션 인포메이션(Clock Relation Information)을 가질 수 있다.
상기 시그널링 메시지의 클록 릴레이션 인포메이션(Clock Relation Information)을 사용하여 시스템 클록(system clock)을 생성하는 단계를 더 포함할 수 있다.
전술한 본 발명의 일 실시예에 따른 MMT 패키지화된 SVC 비디오 콘텐츠의 하이브리드 전송 방법 및 수신 방법에 따르면 가능한 전송망의 개수를 검출하여 상기 전송망의 개수에 상응하도록 SVC 비디오 콘텐츠의 계층들을 적절히 분배하여 전송 및 수신할 수 있다. 따라서, 다양한 환경에서 최적의 전송 효율을 갖는 하이브리드 전송이 가능하다.
도 1은 본 발명의 일 실시예에 따른 MMT 계층 구조를 나타낸 개념도이다.
도 2는 도 1의 MMT 계층 구조의 각 계층별로 사용되는 단위 정보(또는 데이터 또는 패킷)의 포맷을 나타낸다.
도 3은 본 발명의 일 실시예에 따른 MMT 패키지 구성의 제 1 예시도이다.
도 4는 본 발명의 일 실시예에 따른 MMT 패키지 구성의 제 2 예시도이다.
도 5는 본 발명의 일 실시예에 따른 MMT 패키지 구성의 제 3 예시도이다.
도 6은 본 발명의 일 실시예에 따른 MMT 패키지 구성의 제 4 예시도이다.
도 7은 본 발명의 일 실시예에 따른 MMT 패키지 구성의 제 5 예시도이다.
도 8은 본 발명의 일 실시예에 따른 MMT 패키지 구성의 제 6 예시도이다.
도 9는 본 발명의 일 실시예에 따른 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법의 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 SVC 비디오 콘텐츠 수신 방법의 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
이하, 용어의 의미를 다음과 같이 정의한다.
비-시간 데이터(Non-timed data)는 시간을 명시하지 않고 소비되는 모든 데이터 요소를 정의한다. 비-시간 데이터는 데이터가 실행되거나 시작될 수 있는 시간 범위를 가질 수 있다.
시간 데이터(timed data)는 디코딩 및 프리젠테이션 되는 특정한 시간과 연관된 데이터 요소를 정의한다.
표현(presentation)은 사용자가 하나의 컨텐츠 컴포넌트 또는 하나의 서비스를 경험(예를 들어 영화 감상)할 수 있도록 하나 또는 하나 이상의 장치들에 의해 수행되는 동작(operation)으로 정의한다.
서비스(service)는 표현(presentation) 또는 저장(storage)을 위해 전송되는 하나 또는 하나 이상의 컨텐츠 컴포넌트로 정의한다.
서비스 정보(service information)는 하나의 서비스, 상기 서비스의 특성(characteristics) 및 컴포넌트들을 기술하는 메타 데이터로 정의한다.
엑세스 유닛(Access Unit; AU)은 가장 작은 데이터 개체로, 시간 정보를 속성으로 가질 수 있다. 디코딩 및 프리젠테이션을 위한 시간 정보가 지정되지 않은 부호화된 미디어 데이터가 관련되면, AU는 정의되지 않는다.
미디어 프래그먼트 유닛(Media Fragment Unit; MFU)는 어떠한 특정 코덱에도 독립된 일반적인 컨테이너로, 미디어 디코더에 의해 독립적으로 소비될 수 있는 부호화된 미디어 데이터를 수용한다. 이는 엑세스 유닛(AU)보다 작거나 같은 크기를 가지고 트랜스포트 계층(Transport layer)에서 사용될 수 있는 정보를 수용한다.
미디어 프로세싱 유닛(Media Processing Unit)은 어떠한 특정 미디어 코덱에도 독립된 일반적인 컨테이너로, 적어도 하나의 AU 및 추가적인 전송 및 소비에 관련된 정보를 수용한다. 비-시간적 데이터를 위하여, MPU는 AU 범위에 속하지 않는 데이터의 부분을 수용한다. MPU는 완전하고 독립적으로 처리될 수 있는 부호화된 미디어 데이터이다. 이러한 맥락에서 처리는 전송을 위한 MMT 패키지로의 인캡슐레이션 또는 패킷화를 의미한다. 단, 스케일러블 비디오 코딩(Scalable Video Coding, SVC) 및 다시점 비디오 코딩(Multiview Video Coding, MVC)을 위해 일부 경우에는 MPU는 미디어 코덱 서버에서 독립적으로 및 완전히 소비되지 않을 수 있다.
MMT 애셋(MMT Asset)은 동일한 MMT 애셋 ID와 함께 적어도 하나의 MPU로 구성되거나 또는 다른 표준에서 정의된 형식과 함께 특정 데이터 덩어리로 구성되는 논리적 데이터 개체이다. MMT 애셋은 동일한 컴포지션 정보 및 전송 특성이 적용되는 가장 큰 데이터 유닛이다.
MMT 애셋 전송 특성(MMT Asset Delivery Characteristics; MMT-ADC)은 MMT 애셋을 전송하기 위한 QoS 요구에 관련된 서술이다. MMT-ADC는 특정 전송 환경을 알 수 없게 표현된다.
MMT 컴포지션 정보(MMT Composition Information ; MMT CI)는 MMT 애셋간의 공간적 및 시간적 관계를 설명한다.
MMT 패키지(MMT Package)는 논리적으로 구조화된 데이터의 모음으로, 적어도 하나의 MMT 애셋, MMT-컴포지션 정보, MMT-애셋 전송 특성 및 설명적인 정보로 구성된다.
MMT 패킷(MMT packet)은 MMT 프로토콜에 의해 생성 또는 소비되는 데이터의 포맷이다.
MMT 페이로드 포맷(MMT payload format)은 MMT 프로토콜 또는 인터넷 응용 계층 프로토콜(예를 들면, RTP)에 의해 전달될 MMT 패키지 또는 MMT 시그널링 메시지의 페이로드를 위한 포맷이다.
컨텐츠 콤포넌트(content component) 또는 미디어 콤포넌트(media component)는 단일 종류의 미디어(media of a single type) 또는 단일 종류의 미디어의 부분 집합(subset of the media of a single type)으로 정의되며, 예를 들어, 비디오 트랙(video track), 영화 자막(movie subtitles), 또는 비디오 향상계층(enhancement layer of video)이 될 수 있다.
컨텐츠(content)는 컨텐츠 콤포넌트의 집합으로 정의하며, 예를 들어 영화(movie), 노래(song)등이 될 수 있다.
하이브리드 전송(hybrid delievery)은 하나 또는 하나 이상의 컨텐츠 컴포넌트들이 하나 이상의 물리적으로 서로 다른 형태의 망(network)을 통하여 동시에 전송되거나 물리적으로 같은 형태의 망이나 서로 다른 망을 통하여 동시에 전송되는 것으로 정의한다.
이하에서, 제 1 망(network) 또는 제 2 망(network)은 방송망(broadcast network), 광대역망(broadband network), 케이블망(cable network), 또는 위성통신망(satellite communication network)을 포함하는 다양한 네트워크를 포함한다.
이하, 하이브리드 전송시 MMT 애셋 단위, 서브스트림 단위, MFU 단위, MPU 단위, MMT 패키지 단위 또는 MMT 패킷 단위로 전송될 수도 있고 또한 비디오 컨텐츠가 제1 레이어, 제2 레이어와 같이 복수의 레이어로 구성된 경우 레이어 단위로 하이브리드 전송할 수도 있다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시 예에 따른 MMT 계층 구조를 나타낸 개념도이다.
도 1을 참조하면, MMT(Mpeg Media Transport) 계층 구조는 인캡슐레이션 계층(Encapsulation layer), 전달 계층(Delivery layer) 및 시그널링 계층(Signaling layer)의 기능 영역(functional area)을 포함한다. MMT 계층은 트랜스포트 계층(Transport layer) 상에서 동작한다.
인캡슐레이션 계층(Encapsulation layer; E-layer)은 미디어 컨텐츠, MMT 패키지, 그리고 MMT를 준수하는 개체에 의해 처리될 데이터 유닛들의 포맷의 논리적 구조를 정의한다. 적응적 전송을 위해 필수적인 정보를 제공하기 위해 MMT 패키지는 미디어 컨텐츠를 포함하는 컴포넌트들 및 그들간의 관계를 명시한다. 데이터 유닛들의 포맷은 전송 프로토콜의 페이로드로 저장 또는 전송되도록, 그리고 그들 사이에서 쉽게 변환 되도록 부호화된 미디어를 인캡슐레이션 하기 위해 정의된다.
인캡슐레이션 계층(Encapsulation layer; E-layer)은 예를 들어 전송되는 미디어의 패킷화(packetization), 프래그먼테이션(Fragmentation), 동기화(Synchronization), 멀티플렉싱(Multiplexing)등의 기능을 담당할 수 있다.
다양한 종류의 멀티미디어 컴포넌트들이 인캡슐레이션 계층(E-layer)에서 제공되는 기능에 의하여 전송 및 소비되기 위하여 인캡슐레이션되고 서로 합해질 수 있다. 인캡슐레이션된 미디어 컴포넌트 및 미디어 컴포넌트들의 컨피규레이션(configurations) 정보는 인캡슐레이션 계층(E-layer)의 기능 영역에서 제공된다.
인캡슐레이션된 미디어 컴포넌트들에 대한 주된 정보는 통합(aggregation), 우선순위(prioritization), 미디어 프래그먼트의 의존성, MPU의 타이밍 정보 및 구조 정보, MMT 애셋(150)의 식별 정보, 초기화 정보 및 코덱 정보를 포함할 수 있다. 미디어 컴포넌트들의 컨피규레이션(configurations) 정보는 MMT 패키지(160) 및 MMT 애셋(150)의 식별 정보, MMT 애셋(150)의 리스트를 가지는 컨피규레이션 정보, MMT 패키지(160)내의 MMT 애셋(150)들의 컴포지션 정보(composition information)(162) 및 전달 특성(delivery characteristics) 정보(164)를 포함할 수 있다.
인캡슐레이션 계층(E-layer)은, 도 1에 도시된 바와 같이, MMT E.1 계층(MMT E.1 Layer), MMT E.2 계층(MMT E.2 Layer) 및 MMT E.3 계층(MMT E.3 Layer)으로 구성될 수 있다.
E.3 계층은 미디어 코덱(A) 계층으로부터 제공된 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)를 인캡슐레이션하여 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 생성한다.
상위 계층으로부터의 부호화된 미디어 데이터는 MFU로 인캡슐레이션된다. 부호화된 미디어의 타입 및 값은 MFU를 특정 코덱 기술에 일반적으로 사용될 수 있도록 추상화된다. 이는 하위 계층이 인캡슐레이션된 부호화된 미디어에 접근없이 MFU를 처리할 수 있게 하며 하위 계층은 요구되는 부호화된 미디어 데이터를 네트워크나 저장소의 버퍼로부터 불러오고 미디어 디코더로 전송한다. MFU는 상기 작동을 수행하기 위한 충분한 정보 미디어 부분 유닛을 가지고 있다.
MFU는 임의의 특정 코덱(codec)에 독립적이고 미디어 디코더에서 독립적으로 소비될 수 있는 데이터 유닛을 싣을 수 있는 포맷을 가질 수 있다. MFU는 예를 들어 비디오의 픽춰(picture) 또는 슬라이스(slice)가 될 수 있다.
독립적으로 전송가능하고 디코딩할 수 있는 하나 또는 한개 그룹의 복수의 MFU는 MPU를 생성한다. 독립적으로 전송가능하고 실행가능한 비-시간적 미디어 또한 MPU를 생성한다. MPU는 MFU의 배열 및 패턴과 같은 내부 구조를 기술하여 MFU에의 빠른 접근 및 부분적 소비를 가능하게 한다.
E.2 계층은 E.3계층에서 생성된 MPU를 인캡슐레이션하여 MMT 애셋(MMT Asset)을 생성한다.
동일한 소스 컴포넌트로부터의 MPU의 시퀀스는 MMT 애셋을 생성한다. MMT 애셋은 MMT 패키지에 의해 패키지되고, 컴포지션 정보(Composition Information; CI), 전송 특성(Transport Characteristics; TC)에 의해 다른 것과 구성되며, MMT 페이로드 포맷에 의해 다른 것과 다중화되고, MMT 프로토콜에 의해 전송된다.
MMT 애셋은 단일의 데이터 소스로부터의 하나 또는 복수의 MPU로 이루어진 데이터 엔티티(data entity)로서, 컴포지션 정보(Composition Information; CI) 및 전송 특성(Transport Characteristics; TC)이 정의된 데이터 유닛이다. MMT 애셋은 PES(packetized elementary streams)에 대응될 수 있으며, 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 파일 포맷(File Format), M2TS(MPEG transport stream)등에 대응될 수 있다.
E.1 계층(E.1 Layer)은 E.2 계층에서 생성된 MMT 애셋을 인캡슐레이션하여 MMT 패키지(MMT Package)를 생성한다.
MMT 애셋은 다른 기능적 영역-트랜스포트 영역 및 시그널 영역-과 함께 또는 별도로 동일한 사용자 경험의 추후의 응답을 위해 MMT 콤포지션 정보(MMT-composition information;MMT-CI)와 패키지된다. 상기 MMT 패키지 또한 MMT 애셋의 체감 품질을 충족시키도록 각각의 MMT 애셋을 위한 적절한 전송 방법을 선정하는 전송 특성과 함께 패키지된다.
MMT 패키지는 콤포지션 정보(Composition Information; CI) 및 전송 특성(Transport Characteristics; TC)과 같은 부가 정보와 함께 하나 또는 복수의 MMT 애셋으로 구성될 수 있다. MMT 패키지는 MPEG-2 TS의 프로그램(Program)에 대응될 수 있다.
콤포지션 정보(Composition Information)는 MMT 애셋들 사이의 관계(relationship)에 대한 정보를 포함하며, 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다.
전송 특성(Transport Characteristics)은 MMT 애셋 또는 MMT 패킷의 전달 조건(delivery condition)을 결정하기 위해 필요한 전송 특성 정보를 포함할 수 있으며, 예를 들어 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다.
전달 계층(Delivery layer; D-layer)은 페이로드의 응용 계층 프로토콜 및 포맷을 정의한다. 페이로드 포맷은 미디어 타입 또는 인코딩 방법을 불문하고 부호화된 미디어 데이터를 전달하도록 정의된다.
전달 계층(Delivery layer; D-layer)은 예를 들어 네트워크를 통해 전송되는 미디어의 네트워크 플로우 멀티플렉싱(Network flow multiplexing), 네트워크 패킷화(Network packetization), QoS 제어 등을 수행할 수 있다.
전달 계층 (D-layer)은 트랜스포트 계층(Transport layer)과 인캡슐레이션 계층(E-layer) 사이에서, 네트워크를 통해 전송되는 비디오, 오디오등과 같은 미디어(Media)의 다중화(multiplexing), 패킷 레벨의 통합(aggregation) 및/또는 분할(Fragmentation), 네트워크 패킷화(Network packetization), QoS 제어, 동기화(Synchronization) 기능, 기존의 RTP와 같은 트랜스포트 계층(Transport layer), 기존의 UDP, TCP와 같은 트랜스포트 계층(Transport layer), 인캡슐레이션 계층(E-layer), 시그널링 계층 (S layer)과의 인터페이스 등을 담당한다.
전달 계층 (D-layer)은 인캡슐레이션 계층(E-layer)으로부터의 페이로드(payloads)를 핸들링하기 위하여 인캡슐레이션 계층(E-layer)으로부터의 넘어온 서로 다른 타입의 페이로드를 식별한다.
전달 계층 (D-layer)은 서로 다른 망과 서로 다른 채널을 통하여 전달되는 패킷들간의 임시적인 관계(temporal relation)를 다룰 수 있다. 상기 동기화(Synchronization) 기능은 타임스탬프등을 이용한 하이브리드망 동기화를 포함할 수 있다.
전달 계층 (D-layer)은 실시간 미디어 전송을 위해 MMT 전달패킷(MMT delivery packets)의 타이밍 제약(timing constraints)을 다룰 수 있다.
전달 계층 (D-layer)은 전방향 에러 보정(Forward Error Correction) 및 재전송과 같은 MMT 미디어 패킷의 에러 제어를 수행할 수 있다.
전달 계층 (D-layer)은 MMT 미디어 패킷의 흐름 제어를 수행할 수 있다.
전달 계층 (D-layer)은 MMT 미디어패킷의 전달을 위한 소정 레벨의 QoS를 유지하기 위하여 크로스 레이어 디자인(Cross-layer design)을 통하여 하위 계층(MAC, PHY) 뿐만 아니라 다른 MMT 계층과의 인터랙션(interaction)을 수행할 수 있다.
또한, 전달 계층 (D-layer)은 그룹 통신을 수행하기 위한 기능을 제공할 수 있다.
전달 계층 (D-layer)은, 도 1에 도시된 바와 같이, MMT D.1 계층(MMT D.1 Layer), MMT D.2 계층(MMT D.2 Layer) 및 MMT D.3 계층(MMT D.3 Layer)으로 구성될 수 있다.
D.1 계층(D.1-layer)은 E.1 계층에서 생성된 MMT 패키지를 받아서 MMT 페이로드 포맷(MMT Payload format)을 생성한다. MMT 페이로드 포맷은 MMT 애셋을 전송하고, MMT 애플리케이션 프로토콜 또는 RTP와 같은 다른 기존의 애플리케이션 전송 프로토콜에 의한 소비를 위한 정보를 전송하기 위한 페이로드 포맷이다. MMT 페이로드는 AL-FEC와 같은 정보와 함께 MFU의 프래그먼트를 포함할 수 있다.
D.2 계층(D.2-layer)은 D.1 계층에서 생성된 MMT 페이로드 포맷을 받아서 MMT 트랜스포트 패킷(MMT Transport Packet) 또는 MMT 패킷(MMT Packet)를 생성한다. MMT 트랜스포트 패킷 또는 MMT 패킷은 MMT를 위한 애플리케이션 전송 프로토콜에 사용되는 데이터 포맷이다.
D.3 계층(D.3-layer)은 크로스-레이어 디자인(cross-layer Design)에 의해 계층간에 정보를 교환할 수 있는 기능을 제공함으로써 QoS를 지원한다. 예를 들어, D.3 계층은 MAC/PHY 계층의 QoS 파라미터를 이용하여 QoS 제어를 수행할 수 있다. MAC/PHY의 QoS파라미터는 예를 들어, 비트율(bitrate), 패킷손실율(packet loss ratio), 예측된 지연(expected delay), 이용 가능한 버퍼 크기 등이 될 수 있다.
시그널링 계층(Signaling layer; S layer)은 시그널링 기능(signaling function)을 수행한다. 예를 들어 전송되는 미디어의 세션 초기화/제어/관리(session initialization/control/management), 서버 기반 및/또는 클라이언트 기반의 트릭 모드, 서비스 디스커버리(Service discovery), 동기화(Synchronization) 및 다른 계층, 즉 전달 계층(D-layer) 및 인캡슐레이션 계층(E-layer)과의 인터페이스 기능 등을 위한 시그널링 기능을 수행할 수 있다. 상기 동기화는 하이브리드망에서의 동기화 제어를 포함할 수 있다.
시그널링 계층은 MMT 패키지의 전달 및 소비를 관리하는 메시지의 포맷을 정의한다. 소비 관리를 위한 메시지는 MMT 패키지의 구조를 전송하기 위해 사용되고, 전달 관리를 위한 메시지는 페이로드 포맷의 구조 및 프로토콜의 구성을 전송하기 위해 사용된다.
시그널링 계층 (S layer)은, 도 1에 도시된 바와 같이, MMT S.1 계층(MMT S.1 Layer) 및 MMT S.2 계층(MMT S.2 Layer)으로 구성될 수 있다.
S.1 계층은 서비스 디스커버리(Service discovery), 미디어의 세션 초기화/종료(media session initialization/termination), 미디어의 세션 표현/제어(media session presentation/control), 전달(D) 계층 및 인캡슐레이션(E) 계층과의 인터페이스 기능 등을 수행할 수 있다. S.1 계층은 미디어 표현 세션 관리(presentation session management)를 위한 애플리케이션들간의 제어 메시지들의 포맷을 정의할 수 있다. 상기 표현 세션 관리는 미디어 표현, 세션 관리, 미디어 소비에 요구되는 정보 제공을 위하여 애플리케이션간에 교환된 제어 메시지의 포맷을 정의할 수 있다.
S.2 계층은 전달 세션 관리(delivery session management)를 수행할 수 있다. 상기 전달 세션 관리는 흐름 제어(flow control), 전달 세션 관리(delivery session management), 전달 세션 모니터링(delivery session monitoring), 에러 제어(error control), 하이브리드망 동기화 제어(Hybrid network synchronization control)에 관한 전달 계층(D-layer)의 전달 엔드-포인트들(delivery end-points)간에 교환되는 제어 메시지의 포맷을 정의할 수 있다.
S.2 계층은 전달 계층의 동작을 지원하기 위하여 전달 세션 설정 및 해제(delivery session establishment and release), 전달 세션 관리(전달 세션 모니터링, 흐름 제어, 에러 제어 등), 설정된 전달 세션에 대한 리소스 예약, 복합 전달 환경하에서의 동기화를 위한 시그널링, 적응적 전달(adaptive delivery)를 위한 시그널링을 포함할 수 있다. 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 즉, S.2 계층은 전술한 바와 같은 전달 계층의 동작을 지원하기 위하여 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 또한, S.2 계층은 전달 계층 및 인캡슐레이션 계층과의 인터페이스 기능을 담당할 수 있다.
제어 메시지(control message; 또는 제어 정보(control information))는 시그널링 계층 (S layer)에서 생성되어 방송망 및/또는 광대역망을 통하여 전송될 수 있다.
방송망 및 광대역망 모두를 통하여 전송되는 경우, 방송망을 통하여 전송되는 제어 메시지의 기능은 광대역망을 통하여 전송되는 제어 메시지의 기능과 동일할 수 있다. 애플리케이션 및 전송(delivery)의 종류에 따라서 제어 메시지의 신택스(syntax) 및 포맷(format)은 달라질 수 있다. 예를 들어, 하이브리드 전송의 경우, 동일한 공통 제어 정보(common control information)과 동일한 공통 포맷(common format)이 방송망 및 광대역 망 각각으로 전송되는 제어 메시지에 사용될 수 있다. 또는, 하이브리드 전송의 경우, 동일한 공통 제어 정보(common control information)가 방송망 및 광대역망 각각마다 서로 다른 포맷(different format)으로 전송될 수도 있다. 또는, 하이브리드 전송의 경우, 방송망 및 광대역망 각각마다 서로 다른 제어 정보(different control information)와 서로 다른 포맷(different format)으로 전송될 수도 있다.
도 2는 도 1의 MMT 계층 구조의 각 계층별로 사용되는 단위 정보(또는 데이터 또는 패킷)의 포맷을 나타낸다.
미디어 프래그먼트 유닛(Media Fragment Unit; MFU)은 MFU의 범위에서 적응적인 전송을 수행하기 위해 트랜스포트 계층에서 AU의 부분을 인캡슐레이션하는 형식을 정의한다. MFU는 AU의 부분이 독립적으로 디코드되거나 폐기될 수 있도록 부호화된 미디어의 일정한 형식을 전송하는데 사용될 수 있다.
미디어 프래그먼트 유닛(Media Fragment Unit; MFU)(130)는 부호화된 미디어 분할 데이터(coded media fragment data, 132)와 MFUH(Media Fragment Unit Header)(134)로 이루어진다. 미디어 프래그먼트 유닛(130)은 특정 코덱(codec)에 독립적으로 일반 컨테이너 포맷(general container format)을 가지며 미디어 디코더에서 독립적으로 소비될 수 있는 가장 작은 데이터 유닛을 싣는다. MFUH(134)는 미디어 특성-예를 들어 유실 허용한계(loss-tolerance)-과 같은 부가 정보를 포함할 수 있다. MFU)(130)는 예를 들어 비디오의 픽춰(picture) 또는 슬라이스(slice)가 될 수 있다.
MFU는 다른 MFU들로부터 하나의 MFU를 구별하기 위한 식별자를 가지고, 단일 AU내의 MFU들 사이의 일반적인 관계 정보를 가진다. 단일 AU에서의 MFU 사이의 의존 관계가 설명되고, MFU의 관련 우선순위가 그러한 정보들의 부분으로 설명된다. 상기 정보는 하위 트랜스포트 계층에서 전송을 다루는데 사용될 수 있다. 예를 들면, 트랜스포트 계층은 불충분한 대역폭에서의 QoS 전송을 지원하도록, 폐기해도 되는 MFU들의 전송을 생략할 수 있다.
MPU는 복수의 미디어 프래그먼트 유닛(130)을 포함하는 미디어 프래그먼트 유닛의 집합이다. MPU는 특정 코덱(codec)에 독립적으로 일반 콘테이너 포맷(general container format)을 가지며 액세스 유닛(Access Unit)과 등가의 미디어 데이터를 포함한다. MPU는 시간 데이터 유닛(timed data unit) 또는 비-시간 데이터 유닛(non-timed data unit) 을 가질 수 있다. MPU는 미디어 프래그먼트 유닛 데이터(media fragment unit data)와 동기화를 위한 타임 스탬프와 같은 부가 정보를 가지는 미디어 프로세싱 유닛 헤더(Media Processing Unit Header; MPUH)를 포함할 수 있다.
MPU는 MMT를 따르는 개체에 의해 독립적이고 완전하게 처리된 데이터이고, 처리는 인캡슐레이션 및 패킷화를 포함한다. MPU는 적어도 하나의 MFU로 구성되거나 다른 표준에 의해 정의된 포맷을 가진 데이터의 부분을 가질 수 있다.
단일 MPU는 적어도 하나의 AU의 정수(integral number) 또는 비-시간 데이터를 수용할 수 있다. 시간 데이터를 위하여, AU는 적어도 하나의 MFU로부터 전달될 수 있으나, 하나의 AU는 다수의 MPU로 분할될 수 없다. 비-시간 데이터에서, 하나의 MPU는 MMT를 따르는 개체에 의해 독립적이고 완전하게 처리된 비-시간 데이터의 부분을 수용한다.
MPU는 시퀀스번호 및 이를 다른 MPU와 구분하여주는 연관된 애셋 ID로 MMT 패키지 내에서 유일하게 식별될 수 있다.
MPU는 적어도 하나의 임의 접근점(Random access point)을 가진다. MPU 페이로드의 첫 바이트는 항상 임의 접근점으로 시작할 수 있다. 시간 데이터에서, 상기 사실은 MPU 페이로드에서 첫 MFU의 디코딩 순서는 항상 0임을 의미한다. 시간 데이터에서, 각 AU의 프리젠테이션 기간 및 디코딩 순서는 프리젠테이션 시간을 알리기 위해 보내질 수 있다. MPU는 자신의 초기 프리젠테이션 시간을 가지고 있지 않고, 하나의 MPU의 첫 AU의 프리젠테이션 시간은 컴포지션 정보에 기술되어 있을 수 있다. 컴포지션 정보는 MPU의 첫 프리젠테이션 시간을 명시할 수 있다.
MPU는 MMT 힌트 트랙을 포함할 수 있다. MPU의 패킷화된 전달을 위해, MMT 힌트 트랙(MMT hint track)은 인캡슐레이션된 MPU를 MMT 페이로드 및 MMT 패킷으로 변환하기 위한 정보를 제공할 수 있다.
MMT 힌트 트랙은 MPU의 부분(fragmentation)을 전송부에 암시한다. 이로써 적어도 하나의 MFU는 MMT 페이로드를 생성하기 위해 사용될 수 있다. 미디어 데이터는 전송부에 의해 전송 시점에 MMT 페이로드로 생성되고 전달될 수 있다. 따라서, 저장되는 포멧은 전달시의 포멧과 상이할 수 있다. 이러한 경우, 전송시 미디어 데이터를 추출하고 MMT 페이로드를 생성할 수 있는 동적인 전송부가 요구된다.
MMT 힌트 트랙은 MMT 페이로드 포멧을 사용하는 인캡슐레이션을 위한 MFU의 추출 및 생성을 암시한다. MMT페이로드는 MPU 메타데이터 또는 적어도 하나의 MFU를 포함할 수 있다. MMT 힌트 트랙은 MFU 데이터를 추출하는 방법을 전송부에 암시한다. 프래그멘테이션이 사용되지 않으면 힌트 트랙은 생략될 수 있다.
MMT 힌트 트랙은 샘플의 엔트리 포멧을 나타낼 수 있다. 각 미디어 샘플은 적어도 하나의 MFU에 지정되고, MMT 힌트 트랙의 샘플은 적어도 하나의 MFU를 생성하게 된다.
MMT 힌트 트랙은 다수의 파라미터를 포함한다. 예로, 1의 값을 가지면 다중 레이어 정보가 제공됨을 나타내는 multilayer_flag를 포함할 수 있다. dependency_id는 해당 MFU의 의존성을 나타내는 ID이다. 0의 값이 아니면 적어도 하나의 시간적, 품질적 또는 공간적 해상도 측면에서 적어도 하나의 스케일러빌리티 레벨에 의해 비디오를 향상시킨다. depth_id는 해당 MFU가 비디오의 깊이 데이터(depth data)를 전달하는지를 나타낸다. quality_id는 MFU의 품질 ID이다. 0의 값이 아니면 시간적, 품질적 또는 공간적 해상도의 적어도 한 측면에서 적어도 하나의 스케일러빌리티 레벨에 의해 비디오를 향상 시킨다. temporal_id는 MFU의 시간적 ID이다. 0의 값이 아니면 시간적, 품질적 또는 공간적 해상도의 적어도 한 측면에서 적어도 하나의 스케일러빌리티 레벨에 의해 비디오를 향상시킨다. view_id 는 MFU의 뷰 ID이다. 0의 값이 아니면 시간적, 품질적 또는 공간적 해상도의 적어도 한 측면에서 적어도 하나의 스케일러빌리티 레벨에 의해 비디오를 향상시킨다. 또한 힌트트랙은 스케일러빌리티 차수(scalability dimensions) 정보가 초기 정보에 제공되는 스케일러블 레이어의 아이디를 나타내는 layer_id 파라미터를 가질 수 있다.
MMT 애셋(150)은 복수의 MPU 들로 이루어진 MPU의 집합이다. MMT 애셋(150)은 단일의 데이터 소스로부터의 다수의 MPU(시간(timed) 또는 비-시간(non-timed) 데이터)로 이루어진 데이터 엔티티로서, MMT 애셋 정보(152)는 애셋 패키징 메타데이터(Asset packaging metadata) 및 데이터 타입과 같은 부가 정보를 포함할 수 있다. MMT 애셋(150)은 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 FF(File Format), PES(packetized elementary streams), M2TS(MPEG transport stream)등을 포함할 수 있다.
또한 MMT 애셋은 부호화된 미디어 데이터를 가지는 논리적 데이터 개체일 수 있다. MMT 애셋은 MMT 애셋 헤더 및 부호화된 미디어 데이터를 가진다. 부호화된 미디어 데이터는 같은 MMT 애셋 아이디로 집단적으로 참조되는 MPU들의 그룹일 수 있다. MMT 클라이언트와 직접 관련되는 개체로 각각 소비되는 타입의 데이터는 분리된 MMT 애셋일 수 있다. 그러한 데이터 타입들의 예로 MPEG-2 TS, PES, MP4 file, MPEG-U Widget Package, JPEG 파일 들을 들 수 있다.
MMT 애셋의 부호화된 미디어는 시간 데이터 또는 비-시간 데이터 일 수 있다. 시간 데이터는 지정된 시간에 특정 데이터의 동기화된 디코딩 및 프리젠테이션이 요구되는 시청각 미디어 데이터이다. 비-시간 데이터는 서비스의 제공 또는 사용자 상호작용에 따라 임의의 시간에 디코딩되고 제공될 수 있는 데이터 타입의 데이터이다.
서비스 제공자(service provider)는 MMT 애셋들을 통합하여 MMT 애셋들을 공간-시간축상에 두고 멀티미디어 서비스를 생성할 수 있다.
MMT 패키지(160)는 하나 또는 하나 이상의 MMT 애셋(150)을 포함하는 MMT 애셋의 집합이다. MMT 패키지 내의 MMT 애셋들은 다중화되거나 또는 사슬같이 연결(concatenated)될 수 있다.
MMT 패키지는 MMT 애셋 및 컨피규레이션 정보를 위한 컨테이너 포맷이다. MMT 패키지는 MMT 프로그램을 위한 MMT 애셋 및 컨피규레이션 정보의 저장소를 제공한다.
MMT 프로그램 제공자는 부호화된 데이터를 MMT 애셋으로 인캡슐레이션하고 MMT 애셋과 그들의 전송 특성의 시간적 및 공간적 레이아웃을 설명하는 것으로 컨피규레이션 정보를 생성한다. MU 및 MMT 애셋은 D.1 페이로드 포맷으로 직접적으로 전송될 수 있다. 컨피규레이션 정보는 S.1 프리젠테이션 세션 관리 메시지에 의해 전송될 수 있다. 그러나 MMT 프로그램의 릴레이 또는 추후의 재사용을 허용하는 MMT 프로그램 제공자 및 클라이언트는 MMT 패키지 포맷으로 이를 저장한다.
MMT 패키지를 파싱하는데 있어, MMT 프로그램 제공자는 MMT 애셋이 클라이언트에게 어떤 전송 경로(예를들면, 브로드캐스트 또는 브로드밴드)로 제공될지를 결정한다. MMT 패키지에서의 컨피규레이션 정보는 전송 관련 정보와 함께 S.1 프리젠테이션 세션 관리 메시지로 전송된다.
클라이언트는 S.1 프리젠테이션 세션 관리 메시지를 수신하여 어떤 MMT 프로그램이 가능하고 어떻게 해당되는 MMT 프로그램을 위한 MMT 애셋을 수신하는지를 알게된다.
MMT 패키지는 D.1페이로드 포맷에 의해 또한 전송될 수 있다. MMT 패키지는 D.1 페이로드 포맷으로 패킷화 되고 전달된다. 클라이언트는 패킷화된 MMT 패키지를 수신하고 이의 전부 또는 일부를 구성하고, 여기서 MMT 프로그램을 소비한다.
MMT 패키지(160)의 패키지 정보(package information)(165)는 컨피규레이션 정보(Configuration Information)를 포함할 수 있다. 컨피규레이션 정보(Configuration Information)는 MMT 애셋들의 리스트, 패키지 식별 정보(package identification information), 콤포지션 정보(composition information)(162) 및 전송 특성(transport characteristics)(164)와 같은 부가 정보를 포함할 수 있다. 콤포지션 정보(composition information)(162)는 MMT 애셋(150)들 사이의 관계(relationship)에 대한 정보를 포함한다.
또한, 콤포지션 정보(composition information)(162)는 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다. 콤포지션 정보(composition information)(162)는 MMT 패키지내의 시간적, 공간적, 적응적 관계(relationship)에 대한 정보를 포함할 수 있다. 콤포지션 정보(composition information)는 다중 스크린 환경에서 패키지 전달 최적화 및 표현을 위한 정보를 제공한다. 다중스크린 환경에서 애셋을 특정 스크린에 매핑하는 정보를 나타낼 수 있다. 자세한 설명은 후술한다.
MMT 패키지의 전송 및 프리젠테이션을 돕는 정보와 같이, MMT에서의 컴포지션 정보(Composition Information)는 MMT 패키지 내의 MMT 애셋 사이의 공간적 및 시간적 관계에 대한 정보를 제공한다.
MMT-CI는 HTML5를 확장하여 그러한 정보를 제공하는 설명적인 언어이다. HTML5가 텍스트 기반 컨텐츠의 페이지기반 프리젠테이션을 설명하도록 설계되었다면, MMT-CI는 주로 소스들간의 공간적인 관계를 표현한다. MMT 애셋들 간의 시간적 관계를 알려주는 표현을 지원하기 위하여, 프리젠테이션 리소스와 같이 MMT 패키지에 있는 MMT 애셋에 관련된 정보, MMT 애셋의 전송 및 소비 순서를 결정하는 시간 정보 및 HTML5에서 다양한 MMT 애셋을 소비하는 미디어 요소들의 추가적인 속성을 가지도록 확장될 수 있다.
전송 특성(transport characteristics) 정보(164)는 전송 특성에 대한 정보를 포함하며, 각각의 MMT 애셋(또는 MMT 패킷)의 전달 조건(delivery condition)을 결정하기 위해 필요한 정보를 제공할 수 있다. 전송 특성 정보는 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다.
트래픽 기술 파라미터는 미디어 프래그먼트 유닛(MFU)(130) 또는 MPU에 대한 비트율(bitrate) 정보, 우선 순위(priority) 정보등을 포함할 수 있다. 비트율 정보는 예를 들어 MMT 애셋이 가변 비트율(Variable BitRate; VBR) 또는 고정 비트율(Constant BitRate; CBR)인지 여부에 대한 정보, 미디어 프래그먼트 유닛(MFU)(또는 MPU)에 대해 보장된 비트율(guaranteed bitrate), 미디어 프래그먼트 유닛(MFU)(또는 MPU)에 대한 최대 비트율을 포함할 수 있다. 상기 트래픽 기술 파라미터는 전달 경로상의 서버, 클라이언트, 기타 다른 구성요소들 간에 리소스 예약(resource reservation)을 위해 사용될 수 있으며, 예를 들어 MMT 애셋내의 미디어 프래그먼트 유닛(MFU)(또는 MPU)의 최대 크기 정보를 포함할 수 있다. 상기 트래픽 기술 파라미터는 주기적 또는 비주기적으로 업데이트될 수 있다.
QoS 기술자는 QoS 제어를 위한 정보를 포함하며, 예를 들어 지연(delay) 정보 및 손실 정보(loss information)를 포함할 수 있다. 손실 정보는 예를 들어 MMT 애셋의 전달 손실(delivery loss)이 허용되는지 않되는지에 대한 손실 지시자(loss indicator)를 포함할 수 있다. 예를 들어 손실 지시자가 ‘1’인 경우 ‘lossless’를 나타내고, ‘0’인 경우에는 ‘lossy’를 나타낼 수 있다. 지연(delay) 정보는 MMT 애셋의 전송 지연의 민감도를 구분하는데 사용되는 지연 지시자(delay indicator)를 포함할 수 있다. 지연 지시자는 MMT 애셋의 타입이 대화(conversation), 인터랙티브(interactive), 실시간(real time) 및 비실시간(non-realtime) 인지 여부를 지시할 수 있다.
하나의 컨텐츠(content)는 하나의 MMT 패키지로 이루어질 수 있다. 또는 하나의 컨텐츠(content)는 복수개의 MMT 패키지로 이루어질 수도 있다.
하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 시간적(temporal), 공간적(spatial), 적응적(adaptive) 관계(relationship)를 나타내는 콤포지션 정보(composition information) 또는 컨피규레이션 정보(configuration information)가 MMT 패키지들 중에 하나의 MMT 패키지 내부에 존재하거나 MMT 패키지 외부에 존재할 수 있다.
예를 들어 하이브리드 전달(hybrid delivery)의 경우 컨텐츠 컴포넌트(content component)들 중 일부는 방송망(broadcast network)을 통해 전송되고 컨텐츠 컴포넌트(content component)들 중 나머지 부분은 광대역망(broadband network)을 통해 전송될 수 있다. 예를 들어 하나의 멀티뷰 서비스를 구성하는 복수의 AV 스트림(audiovisual stream)의 경우 하나의 스트림은 방송망으로 전송되고 다른 스트림은 광대역망으로 전송될 수 있으며, 각각의 AV 스트림은 다중화되고 클라이언트 단말에 개별적으로 수신되어 저장될 수 있다. 또는 예를 들어 위젯(widget)과 같은 애플리케이션 소프트웨어는 광대역망으로 전송되고, AV 스트림(AV 프로그램)은 기존 방송망으로 전달되는 시나리오도 존재할 수 있다.
상기와 같은 멀티뷰 서비스 시나리오 및/또는 위젯(widget) 시나리오의 경우, 복수의 AV 스트림 전체가 하나의 MMT 패키지로 될 수 있으며, 이 경우에는 복수의 스트림 중의 하나는 하나의 클라이언트 단말에만 저장될 수 있고, 스토리지 컨텐츠(storage content)는 MMT 패키지의 부분이 되며, 클라이언트 단말은 콤포지션 정보(composition information) 또는 컨피규레이션 정보(configuration information)를 재기록 해야하고, 재기록 된 컨텐츠는 서버와 무관한 새로운 MMT 패키지가 된다.
상기와 같은 멀티뷰 서비스 시나리오 및/또는 위젯(widget) 시나리오의 경우, 각각의 AV 스트림이 하나의 MMT 패키지로도 될 수 있으며, 이 경우에는 복수의 MMT 패키지가 하나의 컨텐츠를 구성하게 되며, 스토리지(storage)에는 MMT 패키지 단위로 기록되며, MMT 패키지들간의 관계(relationship)를 나타내는 컴포지션 정보 또는 컨피규레이션 정보가 필요하다.
하나의 MMT 패키지내에 포함된 컴포지션 정보 또는 컨피규레이션 정보(configuration information)는 다른 MMT 패키지내의 MMT 애셋을 참조할 수 있으며, 또한 아웃-밴드(out-band) 상황에서 MMT 패키지를 참조하는 MMT 패키지의 외부를 표현할 수 있다.
SVC 비디오 콘텐츠의 하이브리드 전송 방법
전술한 바와 같이, MMT 방식을 통한 전송의 대상이 되는 콘텐츠는 기저 계층(Base Layer) 및 적어도 하나 이상의 향상 계층(Enhanced Layer)를 포함하는 SVC 비디오 콘텐츠일 수 있다. 하나의 SVC 비디오 콘텐츠는 하나의 MMT 패키지로 이루어질 수 있고, 또는 하나의 SVC 비디오 콘텐츠(content)는 복수개의 MMT 패키지로 이루어질 수도 있다. 즉, SVC 비디오 콘텐츠에 포함된 복수의 계층들이 하나의 MMT 패키지에 포함될 수도 있고, 복수의 MMT 패키지로 분리되어 포함될 수도 있다.
하나의 SVC 비디오 콘텐츠가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지 간의 관계(relationship)를 나타내는 콤포지션 정보(composition information) 또는 구성 정보(configuration information)가 MMT 패키지들 중에 하나의 MMT 패키지 내부에 존재하거나 MMT 패키지 외부에 존재할 수 있다.
하이브리드 전송(hybrid delivery)의 경우 콘텐츠 컴포넌트(content component)들 중 일부는 방송망(broadcast network)을 통해 전송되고 콘텐츠 컴포넌트(content component)들 중 나머지 부분은 광대역망(broadband network)을 통해 전송될 수 있다. 예를 들어, 하나의 SVC 비디오 콘텐츠를 구성하는 기저 계층 및 하나 이상의 향상 계층들 중 기저 계층은 방송망으로 전송되고 향상 계층들은 광대역망으로 전송될 수 있으며, 또는 기저 계층 및 적어도 하나의 향상 계층이 방송망을 통해 전송되고, 하나 이상의 다른 향상 계층이 광대역망을 통해 전송될 수 있다. 여기서, 각각의 계층들은 다중화되고 클라이언트 단말에 개별적으로 수신되어 저장될 수 있다.
상기와 같은 SVC 비디오 콘텐츠의 경우, 복수의 계층들이 전체로서 하나의 MMT 패키지로 될 수 있으며, 이 경우에는 복수의 계층들 중의 하나가 하나의 클라이언트 단말에만 저장될 수 있고, 스토리지 콘텐츠(storage content)는 MMT 패키지의 부분이 되며, 클라이언트 단말은 콤포지션 정보(composition information) 또는 구성 정보(configuration information)를 재기록해야하고, 재기록된 콘텐츠는 서버와 무관한 새로운 MMT 패키지가 된다.
여기서, 기저 계층은 반드시 클라이언트 단말로 전송되어야 하며, 향상 계층들은 상기 클라이언트 단말의 성능(Capabilities)이나 전송 환경(예를 들어, 네트워크의 대역폭(network bandwidth)) 중 적어도 하나를 기반으로 선택되어 일부만이 상기 클라이언트 단말에 저장될 수 있다. 따라서, 단말의 성능 및 전송 환경에 적합한 새로운 SVC 비디오 콘텐츠의 MMT 패키지가 될 수 있다.
상기와 같은 SVC 비디오 콘텐츠의 경우, 각각의 계층들이 각각 하나의 MMT 패키지로 구성될 수도 있으며, 이 경우에는 복수의 MMT 패키지가 하나의 콘텐츠를 구성하게 되며, 스토리지(storage)에는 MMT 패키지 단위로 기록되며, MMT 패키지들간의 관계(relationship)를 나타내는 컴포지션 정보 또는 구성 정보가 필요하다.
하나의 MMT 패키지 내에 포함된 컴포지션 정보 또는 구성 정보(configuration information)는 다른 MMT 패키지 내의 MMT 애셋을 참조할 수 있으며, 또한 아웃-밴드(out-band) 상황에서 MMT 패키지를 참조하는 MMT 패키지의 외부를 표현할 수 있다. 예를 들면, 하나의 MMT 패키지 내에 기저 계층, 하나 이상의 향상 계층 및 콤포지션 정보가 포함되고, 다른 MMT 패키지 내에 하나 이상의 다른 향상 계층이 포함된 경우, 상기 콤포지션 정보는 동일 MMT 패키지 내의 기저 계층과 향상 계층 뿐만아니라, 다른 MMT 패키지 내의 향상 계층 또한 참조할 수 있다.
복수의 MMT 패키지가 존재하는 경우, 상기 콤포지션 정보는 하나의 MMT 패키지에만 포함될 수 있고, 각각의 MMT 패키지 내에 포함될 수도 있다. 이하, 도 3 내지 도 10을 참조하여 본 발명의 다양한 실시예에 따른 SVC 비디오 콘텐츠를 기반으로한 MMT 패키지 구성의 예시를 설명한다.
이하에서 방송망(broadcast network) 및 광대역망(broadband network)을 통한 하이브리드 전송을 예시하였으나, 본 발명의 범위는 상기 방송망(broadcast network) 및 광대역망(broadband network)을 통한 하이브리드 전송에 한정되지 아니하며, 본 발명의 실시예에 따른 하이브리드 전송 방식으로서 방송망(broadcast network), 광대역망(broadband network), 케이블망(cable network), 또는 위성통신망(satellite communication network)을 포함하는 다양한 네트워크들 중 복수가 선택될 수 있다.
또한, 상기 SVC 비디오 콘텐츠가 포함하는 각각의 계층들이 각각 하나의 MMT 애셋을 구성할 수 있다. 따라서, 상기 MMT 패키지와 MMT 애셋들의 관계는 상기 MMT 패키지와 각각의 계층들 간의 관계를 나타낼 수 있다. 이하에서 MMT 패키지의 구성을 설명하기 위해 기저 계층 또는 향상 계층이 MMT 애셋 단위인 것을 기준으로 설명하였으나, 본 발명의 일 실시예에 따른 SVC 비디오 콘텐츠의 하이브리드 전송 방법은 MMT 애셋 단위의 전송에 한정되지 아니하며, 서브스트림 단위, MMT 패키지 단위 또는 MMT 패킷 단위로 전송될 수도 있으며, 이 경우 각각의 전송 단위를 구성하기 위해 서브스트림, MMT 패키지, 또는 MMT 패킷 별로 분할 및 결합 될 수 있다.
도 3은 본 발명의 일 실시예에 따른 MMT 패키지 구성의 제 1 예시도이다.
상기 제 1 예시도는 하나의 SVC 비디오 콘텐츠가 하나의 MMT 패키지로 이루어진 경우를 도시한다. 도 3에 도시된 바와 같이, SVC 비디오 콘텐츠의 콘텐츠 컴포넌트(content component)들 중 일부인 기저 계층의 MMT 애셋(311) 및 향상 계층의 MMT 애셋들(312, 313)은 방송망(broadcast network)(301)을 통해 전송되고 SVC 비디오 콘텐츠의 콘텐츠 컴포넌트(content component)들 중 나머지 부분인 향상 계층의 MMT 애셋들(314, 315, 316)은 광대역망(broadband network)(302)을 통해 전송될 수 있다. 여기서, 상기 방송망을 통해 전송되는 MMT 애셋들(311, 312, 313)은 다중화(MUX)될 수 있고, 상기 광대역망을 통해 전송되는 MMT 애셋들(314, 315, 316)도 다중화(MUX)될 수 있다.
여기서, 하나의 콘텐츠를 구성하는 모든 콘텐츠 컴포넌트들인 MMT 애셋들(311, 312, 313, 314, 315, 316)은 전체로서 하나의 MMT 패키지(331)에 포함될 수 있다. 또한, 상기 MMT 애셋들(311, 312, 313, 314, 315, 316) 간의 콤포지션 정보(321)는 상기 MMT 패키지(331)에 포함될 수 있다.
여기서, 상기 콤포지션 정보는 상기 콤포지션 정보가 참조하는 MMT 애셋들의 미디어 타입 정보 - 여기서, 상기 미디어 타입은 비디오, 오디오 및 자막 중 어느 하나일 수 있음- , 미디어의 사이즈, 계층 수 및 상기 MMT 애셋들이 기저 계층인지 향상 계층인지 여부 중 적어도 하나를 나타내는 정보를 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 MMT 패키지 구성의 제 2 예시도이다.
상기 제 2 예시도는 하나의 콘텐츠가 하나의 MMT 패키지로 이루어지되, 로컬 콤포지션 정보를 포함하는 경우를 도시한다. 도 4에 도시된 바와 같이, SVC 비디오 콘텐츠의 콘텐츠 컴포넌트(content component)들 중 일부인 기저 계층의 MMT 애셋(411) 및 향상 계층의 MMT 애셋들(412, 413)은 방송망(broadcast network)(401)을 통해 전송되고 SVC 비디오 콘텐츠의 콘텐츠 컴포넌트(content component)들 중 나머지 부분인 향상 계층의 MMT 애셋들(414, 415, 416)은 광대역망(broadband network)(402)을 통해 전송될 수 있다. 여기서, 상기 방송망을 통해 전송되는 MMT 애셋들(411, 412, 413)은 다중화(MUX)될 수 있고, 상기 광대역망을 통해 전송되는 MMT 애셋들(414, 415, 416)도 다중화(MUX)될 수 있다.
한편, 하나의 콘텐츠를 구성하는 모든 콘텐츠 컴포넌트들인 MMT 애셋들(411, 412, 413, 414, 415, 416)은 전체로서 하나의 MMT 패키지(431)에 포함될 수 있다. 여기서 상기 MMT 패키지(431)는 상기 방송망을 통해 전송되는 MMT 애셋들(411, 412, 413) 간의 관계를 나타내는 로컬 콤포지션 정보(local composition information)(441), 상기 광대역망을 통해 전송되는 MMT 애셋들(414, 415, 416) 간의 관계를 나타내는 로컬 콤포지션 정보(442) 및 상기 로컬 콤포지션 정보(441)와 로컬 콤포지션 정보(442) 간의 관계를 나타내는 콤포지션 정보(421)를 포함할 수 있다.
여기서, 상기 로컬 콤포지션 정보는 상기 로컬 콤포지션 정보가 참조하는 MMT 애셋들의 미디어 타입 정보 - 여기서, 상기 미디어 타입은 비디오, 오디오 및 자막 중 어느 하나일 수 있음- , 미디어의 사이즈, 계층 수 및 상기 MMT 애셋들이 기저 계층인지 향상 계층인지 여부 중 적어도 하나를 나타내는 정보를 포함할 수 있다.
도 5는 본 발명의 일 실시예에 따른 MMT 패키지 구성의 제 3 예시도이다.
상기 제 5 예시도는 하나의 콘텐츠가 복수개의 MMT 패키지로 이루어진 경우를 도시한다. 도 5에 도시된 바와 같이, SVC 비디오 콘텐츠의 콘텐츠 컴포넌트(content component)들 중 일부인 기저 계층의 MMT 애셋(511) 및 향상 계층의 MMT 애셋들(512, 513)은 방송망(broadcast network)(501)을 통해 전송되고 콘텐츠 컴포넌트(content component)들 중 나머지 부분인 향상 계층의 MMT 애셋들(514, 515, 516)은 광대역망(broadband network)(502)을 통해 전송될 수 있다. 여기서, 상기 방송망을 통해 전송되는 MMT 애셋들(511, 512, 513)은 다중화(MUX)될 수 있고, 상기 광대역망을 통해 전송되는 MMT 애셋들(514, 515, 516)도 다중화(MUX)될 수 있다.
여기서, 콘텐츠 컴포넌트(content component)들 중 일부인 MMT 애셋들(511, 512, 513)이 하나의 MMT 패키지(531)에 포함되고, 콘텐츠 컴포넌트(content component)들 중 나머지 부분인 MMT 애셋들(514, 515, 516)이 다른 MMT 패키지(532)에 포함될 수 있다. 즉, 하나의 SVC 비디오 콘텐츠가 복수개의 MMT 패키지들(531, 532)로 이루어질 수 있다. 또한, 상기 MMT 패키지들(531, 532) 간의 관계를 나타내는 콤포지션 정보(521)는 상기 MMT 패키지(531) 또는 MMT 패키지(532) 중 어느 하나에 포함될 수 있다.
여기서, 상기 콤포지션 정보는 상기 콤포지션 정보가 참조하는 MMT 애셋들의 미디어 타입 정보 - 여기서, 상기 미디어 타입은 비디오, 오디오 및 자막 중 어느 하나일 수 있음- , 미디어의 사이즈, 계층 수 및 상기 MMT 애셋들이 기저 계층인지 향상 계층인지 여부 중 적어도 하나를 나타내는 정보를 포함할 수 있다.
도 6은 본 발명의 일 실시예에 따른 MMT 패키지 구성의 제 4 예시도이다.
상기 제 4 예시도는 하나의 SVC 비디오 콘텐츠가 복수개의 MMT 패키지로 이루어지되, 로컬 콤포지션 정보를 포함하는 경우를 도시한다. 도 6에 도시된 바와 같이, SVC 비디오 콘텐츠의 콘텐츠 컴포넌트(content component)들 중 일부인 기저 계층의 MMT 애셋(611) 및 향상 계층의 MMT 애셋들(612, 613)은 방송망(broadcast network)(601)을 통해 전송되고 콘텐츠 컴포넌트(content component)들 중 나머지 부분인 향상 계층의 MMT 애셋들(614, 615, 616)은 광대역망(broadband network)(602)을 통해 전송될 수 있다. 여기서, 상기 방송망을 통해 전송되는 MMT 애셋들(611, 612, 613)은 다중화(MUX)될 수 있고, 상기 광대역망을 통해 전송되는 MMT 애셋들(614, 615, 616)도 다중화(MUX)될 수 있다.
한편, SVC 비디오 콘텐츠의 콘텐츠 컴포넌트(content component)들 중 일부인 MMT 애셋들(611, 612, 613)이 하나의 MMT 패키지(631)에 포함되고, 콘텐츠 컴포넌트(content component)들 중 나머지 부분인 MMT 애셋들(614, 615, 616)이 다른 MMT 패키지(632)에 포함될 수 있다. 즉, 하나의 콘텐츠가 복수개의 MMT 패키지들(631, 632)로 이루어질 수 있다.
여기서, 상기 MMT 패키지(631)는 상기 방송망을 통해 전송되는 MMT 애셋들(611, 612, 613) 간의 관계를 나타내는 로컬 콤포지션 정보(641)를 포함할 수 있고, 상기 MMT 패키지(632)는 상기 광대역망을 통해 전송되는 MMT 애셋들(614, 615, 616) 간의 관계를 나타내는 로컬 콤포지션 정보(642)를 포함할 수 있다. 또한, 상기 로컬 콤포지션 정보들(641, 642) 간의 관계를 나타내는 콤포지션 정보(621)는 상기 MMT 패키지(631) 또는 MMT 패키지(632) 중 어느 하나에 포함될 수 있다.
여기서, 상기 로컬 콤포지션 정보는 상기 로컬 콤포지션 정보가 참조하는 MMT 애셋들의 미디어 타입 정보 - 여기서, 상기 미디어 타입은 비디오, 오디오 및 자막 중 어느 하나일 수 있음- , 미디어의 사이즈, 계층 수 및 상기 MMT 애셋들이 기저 계층인지 향상 계층인지 여부 중 적어도 하나를 나타내는 정보를 포함할 수 있다.
도 7는 본 발명의 일 실시예에 따른 MMT 패키지 구성의 제 5 예시도이다.
상기 제 5 예시도는 하나의 SVC 비디오 콘텐츠가 복수개의 MMT 패키지로 이루어진 경우를 도시한다. 도 7에 도시된 바와 같이, SVC 비디오 콘텐츠의 콘텐츠 컴포넌트(content component)들 중 일부인 기저 계층의 MMT 애셋(711) 및 향상 계층의 MMT 애셋들(712, 713)은 방송망(broadcast network)(701)을 통해 전송되고 콘텐츠 컴포넌트(content component)들 중 나머지 부분인 향상 계층의 MMT 애셋들(714, 715, 716)은 광대역망(broadband network)(702)을 통해 전송될 수 있다. 여기서, 상기 방송망을 통해 전송되는 MMT 애셋들(711, 712, 713)은 다중화(MUX)될 수 있고, 상기 광대역망을 통해 전송되는 MMT 애셋들(714, 715, 716)도 다중화(MUX)될 수 있다.
여기서, 콘텐츠 컴포넌트(content component)들 중 일부인 MMT 애셋들(711, 712, 713)이 하나의 MMT 패키지(731)에 포함되고, 콘텐츠 컴포넌트(content)들 중 나머지 부분인 MMT 애셋들(714, 715, 716)이 다른 MMT 패키지(732)에 포함될 수 있다. 즉, 하나의 SVC 비디오 콘텐츠가 복수개의 MMT 패키지들(731, 732)로 이루어질 수 있다. 또한, 상기 MMT 패키지들(731, 732) 간의 관계를 나타내는 콤포지션 정보(721)는 상기 MMT 패키지들(731, 732) 외부에 존재할 수 있다.
여기서, 상기 콤포지션 정보는 상기 콤포지션 정보가 참조하는 MMT 애셋들의 미디어 타입 정보 - 여기서, 상기 미디어 타입은 비디오, 오디오 및 자막 중 어느 하나일 수 있음- , 미디어의 사이즈, 계층 수 및 상기 MMT 애셋들이 기저 계층인지 향상 계층인지 여부 중 적어도 하나를 나타내는 정보를 포함할 수 있다.
도 8은 본 발명의 일 실시예에 따른 MMT 패키지 구성의 제 6 예시도이다.
상기 제 6 예시도는 하나의 SVC 비디오 콘텐츠가 복수개의 MMT 패키지로 이루어지되, 로컬 콤포지션 정보를 포함하는 경우를 도시한다. 도 8에 도시된 바와 같이, SVC 비디오 콘텐츠의 콘텐츠 컴포넌트(content component)들 중 일부인 기저 계층의 MMT 애셋(811) 및 향상 계층의 MMT 애셋들(812, 813)은 방송망(broadcast network)(801)을 통해 전송되고 콘텐츠 컴포넌트(content component)들 중 나머지 부분인 향상 계층의 MMT 애셋들(814, 815, 816)은 광대역망(broadband network)(802)을 통해 전송될 수 있다. 여기서, 상기 방송망을 통해 전송되는 MMT 애셋들(811, 812, 813)은 다중화(MUX)될 수 있고, 상기 광대역망을 통해 전송되는 MMT 애셋들(814, 815, 816)도 다중화(MUX)될 수 있다.
한편, 콘텐츠 컴포넌트(content component)들 중 일부인 MMT 애셋들(811, 812, 813)이 하나의 MMT 패키지(831)에 포함되고, 콘텐츠 컴포넌트(content component)들 중 나머지 부분인 MMT 애셋들(814, 815, 816)이 다른 MMT 패키지(832)에 포함될 수 있다. 즉, 하나의 콘텐츠가 복수개의 MMT 패키지들(831, 832)로 이루어질 수 있다.
여기서, 상기 MMT 패키지(831)는 상기 방송망을 통해 전송되는 MMT 애셋들(811, 812, 813) 간의 관계를 나타내는 로컬 콤포지션 정보(841)를 포함할 수 있고, 상기 MMT 패키지(832)는 상기 광대역망을 통해 전송되는 MMT 애셋들(814, 815, 816) 간의 관계를 나타내는 로컬 콤포지션 정보(842)를 포함할 수 있다. 또한, 상기 로컬 콤포지션 정보들(841, 842) 간의 관계를 나타내는 콤포지션 정보(821)는 상기 MMT 패키지들(831, 832) 외부에 존재할 수 있다.
여기서, 상기 로컬 콤포지션 정보는 상기 로컬 콤포지션 정보가 참조하는 MMT 애셋들의 미디어 타입 정보 - 여기서, 상기 미디어 타입은 비디오, 오디오 및 자막 중 어느 하나일 수 있음- , 미디어의 사이즈, 계층 수 및 상기 MMT 애셋들이 기저 계층인지 향상 계층인지 여부 중 적어도 하나를 나타내는 정보를 포함할 수 있다.
상기와 같이 방송망과 광대역망을 이용한 하이브리드 전송의 경우를 도시하였으나, 본 발명의 실시예에 따른 하이브리드 전송 방식으로서 방송망(broadcast network), 광대역망(broadband network), 케이블망(cable network), 또는 위성통신망(satellite communication network)을 포함하는 다양한 네트워크들 중 복수가 선택될 수 있다. 또한 두 개의 전송망에 한정되지 아니하고 셋 이상의 다양한 전송망에 대해서 상기와 같이 하나의 MMT 패키지가 하나의 SVC 비디오 콘텐츠를 구성하거나, 복수의 MMT 패키지가 하나의 SVC 비디오 콘텐츠를 구성하는 다양한 패키지 구성 또한 적용할 수 있을 것이다.
도 9는 본 발명의 일 실시예에 따른 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법의 흐름도이다.
전술한 바와 같이, 다양한 이종(Heterogeneous)의 전송망을 통한 하이브리드 전송이 가능해지고, 방송망 또는 광대역망 이외에도 케이블망(cable network), 또는 위성 통신망(satellite communication network)을 포함하는 다양한 전송망이 발달하였다. 따라서, 다양한 전송망 중 현재의 통신 상황을 기반으로 판단하여 서버로부터 클라이언트로 SVC 비디오 콘텐츠를 전송할 수 있는 전송망의 개수를 검출하고, 상기 검출한 전송망의 개수에 상응하도록 상기 SVC 비디오 콘텐츠를 분할하며, 다양한 방법에 의해 상기 분할된 콘텐츠들 간의 관계를 나타내는 정보를 생성하여 전송함으로써, 가능한 전송망을 최대한 활용하여 최적의 전송 효율을 가지는 SVC 비디오 콘텐츠의 하이브리드 전송 방법이 필요하다. 여기서, SVC 비디오 콘텐츠는 기저 계층 및 적어도 하나의 향상 계층을 포함하므로, 상기 분할된 콘텐츠는 각각 기저 계층 또는 적어도 하나의 향상 계층을 포함할 수 있다. 즉, 복수의 계층들을 상기 전송망의 개수에 상응하도록 분리하여 전송할 수 있다.
도 9에 도시된 바와 같이, 본 발명의 일 실시예에 따른 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법은 서버가 클라이언트로 전송할 SVC 비디오 콘텐츠를 분할하여 상기 분할된 SVC 비디오 콘텐츠들의 콤포지션 정보(composition information)를 생성하는 단계 및 상기 분할된 SVC 비디오 콘텐츠들을 상기 전송망을 이용하여 상기 클라이언트로 전송하는 단계(S940)를 포함할 수 있다. 여기서, 상기 SVC 비디오 콘텐츠를 분할하고 콤포지션 정보를 생성하는 단계는 서버가 클라이언트로 전송할 SVC 비디오 콘텐츠를 전송할 수 있는 전송망의 개수를 검출하는 단계(S910), 상기 SVC 비디오 콘텐츠를 상기 검출된 전송망의 개수에 상응하도록 분할하는 단계(S920) 및 상기 분할된 SVC 비디오 콘텐츠들의 콤포지션 정보(composition information)를 생성하는 단계(S930)를 포함할 수 있다.
서버가 클라이언트로 전송할 SVC 비디오 콘텐츠를 전송할 수 있는 전송망의 개수를 검출하는 단계(S910)에서, 콘텐츠를 전송하기 위해 이용할 수 있는 모든 전송망을 검출하여 상기 전송망의 개수를 검출한다. 상기 전송망으로 방송망(broadcast network), 광대역망(broadband network), 케이블망(cable network), 또는 위성통신망(satellite communication network)을 포함하는 다양한 네트워크들 중 복수가 선택될 수 있다. 또한, 상기 전송망의 개수뿐만 아니라 전송 속도와 같은 각각의 전송망의 특성을 함께 검출할 수 있다.
상기 SVC 비디오 콘텐츠를 상기 검출된 전송망의 개수에 상응하도록 분할하는 단계(S920)에서, 상기 SVC 비디오 콘텐츠를 상기 검출된 전송망의 개수에 상응하도록 분할할 수 있다. 전송망의 개수에 상응하도록 분할하되, 상기 검출 단계(S910)에서 각각의 전송망의 특성을 검출한 경우, 상기 전송망의 특성 및 상기 전송망의 개수를 기반으로 상기 콘텐츠를 분할할 수 있다. 상기 분할된 콘텐츠들은 오디오 정보, 비디오 정보, 부가 데이터 정보, 또는 위젯 정보일 수 있다. 상기 오디오 정보, 비디오 정보, 부가 데이터 정보, 또는 위젯 정보는 각각 하나의 분할된 콘텐츠에 포함될 수 있고, 복수의 분할된 콘텐츠에 포함될 수도 있다.
여기서, 상기 콘텐츠는 적어도 하나의 MMT 애셋(Asset)을 포함할 수 있다. 상기 분할된 콘텐츠들은 각각 동일한 개수의 MMT 애셋(Asset)을 포함할 수도 있고, 상기 전송망의 특성을 기반으로 상이한 개수의 MMT 애셋(Asset)을 포함할 수도 있다. 또한, 상기 분할된 콘텐츠들은 상기 분할된 콘텐츠들 전체가 하나의 MMT 패키지(패키지)를 형성할 수 있고, 상기 분할된 콘텐츠들은 개별적으로 각각 하나의 MMT 패키지(Package)를 형성할 수도 있다.
특히, 상기 분할된 SVC 비디오 콘텐츠들은 기저 계층(Base Layer)의 MMT 애셋 및 향상 계층(Enhanced Layer)의 MMT 애셋 중 적어도 하나를 포함할 수 있다. 전술한 바와 같이, SVC 비디오 콘텐츠는 하나의 기저 계층(Base Layer) 및 적어도 하나의 향상 계층을 포함할 수 있고, 상기 기저 계층 또는 향상 계층은 MMT 애셋으로 구성될 수 있다. 따라서, 상기 SVC 비디오 콘텐츠를 분할하는 경우, 분할된 SVC 비디오 콘텐츠들은 기저 계층의 MMT 애셋을 포함할 수 있고, 하나 이상의 향상 계층의 MMT 애셋을 포함할 수 있다. 또는, 상기 분할된 SVC 비디오 콘텐츠는 기저 계층의 MMT 애셋 및 하나 이상의 향상 계층의 MMT 애셋을 전부 포함할 수도 있다.
상기 콘텐츠는 MMT 애셋 단위 뿐만 아니라, 서브스트림 단위, MMT 패키지 단위 또는 MMT 패킷 단위로 분할될 수 있다. 전술한 바와 같이, 비디오 콘텐츠가 제1 계층, 제2 계층와 같이 복수의 계층로 구성된 SVC 비디오 콘텐츠인 경우 계층 단위로 분할될 수 있다. 상기 MMT 애셋, 서브스트림, MMT 패키지, 또는 MMT 패킷은 각각의 분할된 콘텐츠들에 동일한 개수가 포함될 수도 있고, 상기 전송망의 특성을 기반으로 상이한 개수가 포함될 수도 있다.
분할된 SVC 비디오 콘텐츠들의 콤포지션 정보(composition information)를 생성하는 단계(S930)에서, 상기 분할된 콘텐츠들간의 관계를 나타내는 콤포지션 정보를 생성할 수 있다. 상기 콘텐츠 분할 단계(S920)에서 분할된 콘텐츠들이 개별적으로 각각 하나의 MMT 패키지를 형성한 경우, 상기 콤포지션 정보는 상기 각각 형성된 MMT 패키지들간의 관계를 나타낼 수 있다. 또한, 상기 생성된 콤포지션 정보는 각각 형성된 MMT 패키지들 중 어느 하나에 포함되거나, 별도로 존재할 수 있다. 도 2를 참조하면, 상기 콤포지션 정보(162)는 도 2에 도시된 바와 같이 MMT(Mpeg Media Transport) 패키지(Package)의 패키지 정보(165)에 포함될 수 있다.
특히, SVC 비디오 콘텐츠들의 콤포지션 정보는 상기 콤포지션 정보가 참조하는 분할된 SVC 비디오 콘텐츠에 포함된 MMT 애셋들의 미디어 타입 정보 - 여기서, 상기 미디어 타입은 비디오, 오디오 및 자막 중 어느 하나일 수 있음- , 미디어의 사이즈, 계층 수 및 상기 MMT 애셋들이 기저 계층인지 향상 계층인지 여부 중 적어도 하나를 나타내는 정보를 포함할 수 있다.
상기 미디어 타입 정보를 기반으로 해당하는 MMT 애셋이 비디오 데이터, 오디오 데이터 및 자막 중 어느 타입의 데이터인지를 판단할 수 있다. 또한, 해당하는 MMT 애셋이 비디오 데이터인 경우, 상기 콤포지션 정보는 비디오 데이터(미디어)의 사이즈 정보를 포함할 수 있다. 또한, 상기 콤포지션 정보는 SVC 비디오 콘텐츠에 포함된 계층의 수 및 상기 MMT 애셋들이 기저 계층의 MMT 애셋인지, 향상 계층의 MMT 애셋인지 여부를 나타내는 정보를 포함할 수 있다.
한편, 상기 콘텐츠 분할 단계(S920)에서 서브스트림 단위, MMT 패키지 단위, MMT 패킷 단위, 또는 계층 단위로 분할된 경우, 상기 콤포지션 정보는 각각의 분할된 콘텐츠들 간의 관계를 나타낼 수 있다. 또한 상기 콤포지션 정보는 패키지 정보(165) 뿐만 아니라, MMT 패킷의 헤더(182) 또는 페이로드에 포함될 수도 있고, 다른 MMT 계층 구조의 단위 정보에 포함될 수도 있으며, 별도의 구성을 통해 존재할 수 있다.
보다 구체적으로, 도 3 내지 도 8을 다시 참조하면, 도 3에 도시된 바와 같이 분할된 콘텐츠들은 전체로서 하나의 MMT 패키지(331)를 구성할 수 있고, 상기 분할된 콘텐츠들 간의 관계를 나타내는 콤포지션 정보(321)는 상기 MMT 패키지(331)에 포함될 수 있다.
또한, 도 4에 도시된 바와 같이 분할된 콘텐츠들은 전체로서 하나의 MMT 패키지(431)를 구성할 수 있고, 상기 분할된 콘텐츠 각각이 포함하는 MMT 애셋들 간의 관계를 나타내는 로컬 콤포지션 정보들(441, 442)과 상기 로컬 콤포지션 정보들(441, 442) 간의 관계를 나타내는 콤포지션 정보(421)는 상기 MMT 패키지(431)에 포함될 수 있다.
또한, 도 5에 도시된 바와 같이 분할된 콘텐츠들은 각각 하나씩의 MMT 패키지들(531, 532)을 구성할 수 있고, 상기 MMT 패키지들(531, 532) 간의 관계를 나타내는 콤포지션 정보(521)는 상기 MMT 패키지들(531, 532) 중 어느 하나인 MMT 패키지(531)에 포함될 수 있다.
또한, 도 6에 도시된 바와 같이 분할된 콘텐츠들은 각각 하나씩의 MMT 패키지들(631, 632)를 구성할 수 있고, 상기 각각의 MMT 패키지들(631, 632)은 상기 각각의 MMT 패키지들(631, 632)이 포함한 MMT 애셋들 간의 관계를 나타내는 로컬 콤포지션 정보들(641, 642)을 포함할 수 있다. 또한, 상기 로컬 콤포지션 정보들(641, 642) 간의 관계를 나타내는 콤포지션 정보(621)는 상기 MMT 패키지들(631, 632) 중 어느 하나인 MMT 패키지(631)에 포함될 수 있다.
또한, 도 7에 도시된 바와 같이 분할된 콘텐츠들은 각각 하나씩의 MMT 패키지들(731, 732)을 구성할 수 있고, 상기 MMT 패키지들(731, 732) 간의 관계를 나타내는 콤포지션 정보(721)는 MMT 패키지들(731,732) 외부에 존재할 수 있다.
또한, 도 8에 도시된 바와 같이 분할된 콘텐츠들은 각각 하나씩의 MMT 패키지들(831, 832)을 구성할 수 있고, 상기 각각의 MMT 패키지들(831, 832)은 상기 각각의 MMT 패키지들(831, 832)이 포함한 MMT 애셋들 간의 관계를 나타내는 로컬 콤포지션 정보들(841, 842)을 포함할 수 있다. 또한, 상기 로컬 콤포지션 정보들(841, 842) 간의 관계를 나타내는 콤포지션 정보(821)는 MMT 패키지들(831,832) 외부에 존재할 수 있다.
상기에서 MMT 애셋을 기준으로 콘텐츠를 분할한 경우를 예시하였으나, 전술한 바와 같이 상기 콘텐츠는 MMT 애셋 뿐만 아니라, 서브스트림 단위, MMT 패키지 단위 또는 MMT 패킷 단위로 분할될 수 있다.
콘텐츠들의 전송 단계(S940)에서, 상기 분할된 SVC 비디오 콘텐츠들을 상기 전송망을 이용하여 상기 클라이언트로 전송한다. 상기 콤포지션 정보가 상기 MMT 패키지의 외부에 존재하는 경우, 상기 분할된 SVC 비디오 콘텐츠들 및 상기 콤포지션 정보를 상기 전송망을 이용하여 상기 클라이언트로 전송할 수 있다. 상기 SVC 비디오 콘텐츠가 상기 전송망의 특성을 고려하여 분할된 경우, 상기 각각의 전송망은 상기 각각의 전송망의 특성에 상응하는 분할된 콘텐츠를 전송할 수 있다.
SVC 비디오 콘텐츠의 수신 방법
도 10은 본 발명의 일 실시예에 따른 콘텐츠 수신 방법의 흐름도이다.
도 10에 도시된 바와 같이 본 발명의 일 실시예에 따른 콘텐츠 수신 방법은 서버로부터 분할된 SVC 비디오 콘텐츠을 수신하는 단계(S1010) 및 상기 분할된 SVC 비디오 콘텐츠들에 포함된 콤포지션 정보를 기반으로 상기 분할된 SVC 비디오 콘텐츠들을 병합하는 단계(S1020)를 포함할 수 있다.
상기 콘텐츠들의 수신단계에서는 클라이언트가 서버로부터 분할된 SVC 비디오 콘텐츠들을 수신한다(S1010). 여기서, 상기 콘텐츠가 상기 전송망의 특성을 고려하여 분할된 경우, 상기 각각의 전송망의 특성에 상응하는 각각의 전송망을 이용하여 상기 분할된 콘텐츠들을 수신할 수 있다. 상기 콘텐츠들 수신 단계(S1010)는 콤포지션 정보가 MMT 패키지들 외부에 존재하는 경우, 상기 분할된 콘텐츠들 및 콤포지션 정보를 수신할 수 있다.
상기 클라이언트가 상기 분할된 콘텐츠들 중 일부만을 수신한 경우, 상기 클라이언트는 상기 수신된 일부의 분할된 콘텐츠들 및 콤포지션 정보를 기반으로, 상기 수신된 일부의 분할된 콘텐츠들 간의 관계를 나타내는 제 2 콤포지션 정보를 생성할 수 있다. 여기서, 상기 분할된 콘텐츠들은 서브스트림, MMT 애셋(Asset), MMT 패키지, 또는 MMT 패킷 일 수 있다.
콘텐츠 병합 단계(S1020)에서는 상기 콤포지션 정보 또는 제 2 콤포지션 정보를 기반으로 상기 분할된 콘텐츠들을 병합한다.
하이브리드 전송시 동조 방법
하나의 컨텐츠 컴포넌트는 방송망으로 전송되고 다른 컨텐츠 컴포넌트는 광대역 망으로 전송될 수 있다. 또는, 하나의 컨텐츠는 방송망으로 전송되고 다른 컨텐츠는 또 다른 방송망으로 전송될 수 있다.
하이브리드 전송시 MMT와 MPEG-2 TS의 서로 상이한 타입의 동조(synchronize)를 위한 미디어 컴포넌트의 타입 및 위치를 확인하기 위해 시그널링 메시지를 사용할 수 있다. 시그널링 메시지는 미디어 컴포넌트의 주소를 명시한다. 방송망 채널에서 MPEG-2 TS와 함께 사용되는 상황에서 MPEG-2 TS의 위치가 사용된다.
MPEG-2 TS 컴포넌트는 STC에 기반한 타임스탬프를 갖는다. MMT 컴포넌트는 UTC에 기반한 타임스탬프를 가진다. MMT와 MPEG-2 TS의 서로 상이한 타입의 타임스탬프를 동조(synchronized)하기 위해 클록 릴레이션 인포메이션(Clock Relation Information) 메시지가 요구된다.
MMT에 대응하는 수신기에서, MPEG-2 TS 의 STC 기반 클록은 클록 릴레이션 인포메이션을 사용함에 따라 UTC 기반의 시스템 클록(wall clock) 으로 변환될 수 있다. MMT 컴포넌트 및 MPEG-2 TS 컴포넌트는 시스템 클록과 같은 동일한 타임 도메인을 공유함으로써 동조되어 제공될 수 있다.
하이브리드 전송시 에러 정정 방법
스케일러블 비디오 코딩(SVC) 비디오 데이터를 하이브리드 전송시 일부 계층의 수신 데이터에 에러가 발생한 경우 에러정정을 설명한다. 전송부 및 수신부가 존재하고, 전송부는 기본계층 및 제1 향상계층으로 구성된 SVC 비디오 데이터를 수신부로 하이브리드 전송하는 상황을 가정한다. 전송부는 기본계층 데이터를 제1망을 통해 전송하고, 제1 향상계층 데이터를 제2망을 통해 수신부로 전송한다. 수신부는 제1망을 통해 기본계층의 데이터를 수신하고 제2망을 통해 제1향상계층의 데이터를 수신한다. 수신부가 수신한 기본계층 데이터에 에러가 존재하는 경우 일반적인 에러는 수신한 기본계층 데이터의 다른 부분을 사용하여 에러를 정정할 수 있다. 그러나 기본 계층 데이터 만을 사용하여 정정할 수 없는 에러가 발생한 경우 수신부는 제2망을 통해 수신한 제1 향상 계층의 데이터를 추가로 사용하여 기본계층 데이터의 에러 정정을 수행한다. 이로써 제1망을 통해 수신된 기본 계층의 데이터에 정정할 수 없는 에러가 발생한 경우에도 제 2 망으로 수신된 제1 향상 계층의 데이터가 에러 없이 수신된 경우 기본 계층의 수신 데이터의 에러를 수정할 수 있고, 반대로 향상 계층의 데이터에 에러가 존재하고 기본 계층의 데이터가 에러 없이 수신된 경우에도 마찬가지로 에러정정이 가능하다.

Claims (22)

  1. 서버가 클라이언트로 전송할 SVC 비디오 콘텐츠를 분할하는 단계; 및
    상기 분할된 SVC 비디오 콘텐츠들을 복수의 전송망을 이용하여 상기 클라이언트로 전송하는 단계를 포함하는 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법.
  2. 제 1항에 있어서, 상기 분할된 SVC 비디오 콘텐츠들은
    기저 계층(Base Layer)의 MMT 애셋 및 향상 계층(Enhanced Layer)의 MMT 애셋 중 적어도 하나를 포함하는 것을 특징으로 하는 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법.
  3. 제 2 항에 있어서, 상기 MMT 애셋은 MPU(Media Processing Uint)을 포함하고,
    상기 MPU는 상기 SVC 비디오 컨텐츠의 분할 정보를 포함하는 것을 특징으로 하는 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법.
  4. 제 3 항에 있어서,
    상기 MPU는 상기 MPU의 부분화 정보를 포함하는 MMT 힌트 트랙(MMT hint track)을 포함하는 것을 특징으로 하는 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법.
  5. 제 4 항에 있어서,
    상기 MMT 힌트 트랙은 상기 SVC 비디오 컨텐츠의 분할정보를 포함하는 것을 특징으로 하는 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법.
  6. 제1항에 있어서, 상기 서버가 클라이언트로 전송할 SVC 비디오 콘텐츠를 분할하는 단계는 상기 서버가 클라이언트로 전송할 SVC 비디오 콘텐츠를 분할하여 상기 분할된 SVC 비디오 콘텐츠들의 콤포지션 정보(composition information)를 생성하는 단계를 포함하는 것을 특징으로하는 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법.
  7. 제 6항에 있어서, 상기 콤포지션 정보는
    상기 콤포지션 정보가 참조하는 분할된 SVC 비디오 콘텐츠에 포함된 MMT 애셋들의 미디어 타입 정보 - 여기서, 상기 미디어 타입은 비디오, 오디오 및 자막 중 어느 하나일 수 있음- , 미디어의 사이즈, 계층 수 및 상기 MMT 애셋들이 기저 계층인지 향상 계층인지 여부 중 적어도 하나를 나타내는 정보를 포함하는 것을 특징으로 하는 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법.
  8. 제 6항에 있어서, 상기 콤포지션 정보는
    MMT(Mpeg Media Transport) 패키지(Package)의 패키지 정보, MMT 패킷의 헤더, 및 페이로드 중 적어도 하나에 포함되는 것을 특징으로 하는 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법.
  9. 제 6항에 있어서, 상기 분할된 SVC 비디오 콘텐츠들을 전송하는 단계는
    상기 콤포지션 정보가 상기 분할된 SVC 비디오 콘텐츠 외부에 존재할 경우, 상기 분할된 SVC 비디오 콘텐츠들 및 상기 콤포지션 정보를 상기 클라이언트로 전송하는 것을 특징으로 하는 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법.
  10. 제 6항에 있어서, 상기 SVC 비디오 콘텐츠를 분할하여 콤포지션 정보(composition information)를 생성하는 단계는
    서버가 클라이언트로 전송할 SVC 비디오 콘텐츠를 전송할 수 있는 전송망의 개수를 검출하는 단계;
    상기 SVC 비디오 콘텐츠를 상기 검출된 전송망의 개수에 상응하도록 분할하는 단계; 및
    상기 분할된 SVC 비디오 콘텐츠들의 콤포지션 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법.
  11. 제 1항에 있어서, 상기 분할된 SVC 비디오 콘텐츠들은
    개별적으로 각각 하나의 MMT 패키지(Package)를 형성하는 것을 특징으로 하는 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법.
  12. 제 1 항에 있어서,
    상기 복수의 전송망으로 전송되는 상기 분할된 SVC 비디오 콘텐츠 간에 동조를 위한 시그널링 메시지를 상기 SVC 비디오 컨텐츠와 함께 전송하는 것을 특징으로 하는 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법.
  13. 제 12 항에 있어서,
    상기 시그널링 메시지는 서로 상이한 타입의 타임스탬프를 동조하기 위한 클록 릴레이션 인포메이션(Clock Relation Information)을 가지는 것을 특징으로 하는 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법.
  14. 서버로부터 분할된 SVC 비디오 콘텐츠들을 복수의 전송망을 통하여 수신하는 단계; 및
    상기 분할된 SVC 비디오 콘텐츠들을 병합하는 단계를 포함하는 콘텐츠 수신 방법.
  15. 제 14항에 있어서, 상기 분할된 SVC 비디오 콘텐츠들을 수신하는 단계는
    상기 콤포지션 정보가 상기 분할된 SVC 비디오 콘텐츠 외부에 존재할 경우, 상기 분할된 SVC 비디오 콘텐츠들 및 상기 콤포지션 정보를 서버로부터 수신하는 것을 특징으로 하는 콘텐츠 수신 방법.
  16. 제 14 항에 있어서, 상기 분할된 SVC 비디오 콘텐츠들을 수신하는 단계는
    상기 수신된 분할된 콘텐츠 및 콤포지션 정보를 기반으로 수신된 일부의 분할된 콘텐츠들 간의 관계를 나타내는 제2콤포지션 정보를 생성하는 것을 특징으로 하는 콘텐츠 수신 방법.
  17. 제 14항에 있어서, 상기 분할된 SVC 비디오 콘텐츠들을 병합하는 단계는 상기 분할된 SVC 비디오 콘텐츠들에 포함된 콤포지션 정보를 기반으로 상기 분할된 SVC 비디오 콘텐츠들을 병합하는 단계를 포함하는 것을 특징으로 하는 콘텐츠 수신 방법.
  18. 제 14항에 있어서,
    수신한 SVC 비디오 콘텐츠의 에러를 정정하는 단계를 더 포함하는 것을 특징으로 하는 콘텐츠 수신 방법.
  19. 제 18항에 있어서, 상기 SVC 비디오 콘텐츠의 에러를 정정하는 단계는,
    다른 계층의 수신 데이터를 사용하여 에러 정정을 수행하는 것을 특징으로 하는 콘텐츠 수신 방법.
  20. 제 14 항에 있어서,
    상기 분할된 SVC 비디오 콘텐츠간의 동조(synchronize)를 위한 시그널링 메시지를 수신하는 단계를 더 포함하는 것을 특징으로 하는 콘텐츠 수신 방법.
  21. 제 20 항에 있어서,
    상기 시그널링 메시지는 서로 상이한 타입의 타임스탬프를 동조하기 위한 클록 릴레이션 인포메이션(Clock Relation Information)을 가지는 것을 특징으로 하는 콘텐츠 수신 방법.
  22. 제 21 항에 있어서,
    상기 시그널링 메시지의 클록 릴레이션 인포메이션(Clock Relation Information)을 사용하여 시스템 클록(system clock)을 생성하는 단계를 더 포함하는 것을 특징으로 하는 콘텐츠 수신 방법.
PCT/KR2013/002425 2012-03-23 2013-03-22 Ｍｍｔ 패키지화된 ｓｖｃ 비디오 콘텐츠의 하이브리드 전송 방법 및 수신 방법 WO2013141666A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/387,244 US9967582B2 (en) 2012-03-23 2013-03-22 Hybrid delivery method and reception method for MMT packaged SVC video contents
EP13764464.7A EP2830318A4 (en) 2012-03-23 2013-03-22 TRANSMISSION METHOD AND HYBRID RECEPTION METHOD FOR SVC VIDEO CONTENT EMPTYED IN MMT
CN201380021547.3A CN104255036A (zh) 2012-03-23 2013-03-22 Mmt打包svc视频内容的混合传送方法及接收方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2012-0029669 2012-03-23
KR20120029669 2012-03-23
KR10-2013-0031171 2013-03-22
KR20130031171A KR20130108198A (ko) 2012-03-23 2013-03-22 Ｍｍｔ 패키지화된 ｓｖｃ 비디오 콘텐츠의 하이브리드 전송 방법 및 수신 방법

Publications (1)

Publication Number Publication Date
WO2013141666A1 true WO2013141666A1 (ko) 2013-09-26

Family

ID=49631219

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/002425 WO2013141666A1 (ko) 2012-03-23 2013-03-22 Ｍｍｔ 패키지화된 ｓｖｃ 비디오 콘텐츠의 하이브리드 전송 방법 및 수신 방법

Country Status (5)

Country Link
US (1) US9967582B2 (ko)
EP (1) EP2830318A4 (ko)
KR (1) KR20130108198A (ko)
CN (1) CN104255036A (ko)
WO (1) WO2013141666A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9319721B2 (en) * 2011-10-13 2016-04-19 Electronics And Telecommunications Research Institute Method of configuring and transmitting an MMT transport packet
US8863208B2 (en) * 2012-06-18 2014-10-14 Micropower Technologies, Inc. Synchronizing the storing of streaming video
ES2860323T3 (es) 2012-10-11 2021-10-04 Samsung Electronics Co Ltd Aparato y procedimiento para suministrar y recibir datos multimedia en red híbrida
US11290510B2 (en) * 2012-11-29 2022-03-29 Samsung Electronics Co., Ltd. Method and apparatus for encapsulation of motion picture experts group media transport assets in international organization for standardization base media files
KR101484843B1 (ko) * 2013-04-19 2015-01-20 삼성전자주식회사 멀티미디어 전송 시스템에서 미디어 전송 패킷 전송 방법 및 장치
US20150032845A1 (en) * 2013-07-26 2015-01-29 Samsung Electronics Co., Ltd. Packet transmission protocol supporting downloading and streaming
US10530828B2 (en) * 2014-03-31 2020-01-07 Samsung Electronics Co., Ltd. Method and apparatus for signaling and operation of low delay consumption of media data in MMT
US10887651B2 (en) * 2014-03-31 2021-01-05 Samsung Electronics Co., Ltd. Signaling and operation of an MMTP de-capsulation buffer
KR20160004858A (ko) * 2014-07-04 2016-01-13 삼성전자주식회사 멀티미디어 통신 시스템에서 패킷 송/수신 장치 및 방법
US10085051B2 (en) * 2015-02-13 2018-09-25 Samsung Electronics Co., Ltd. Method and apparatus for converting MMTP stream to MPEG-2TS
KR102126257B1 (ko) * 2015-02-13 2020-06-24 에스케이텔레콤 주식회사 멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치
KR102174325B1 (ko) * 2015-02-13 2020-11-04 에스케이텔레콤 주식회사 네트워크 적응형 컨텐츠 제공을 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 네트워크 적응형 컨텐츠 제공 장치
US10742703B2 (en) * 2015-03-20 2020-08-11 Comcast Cable Communications, Llc Data publication and distribution
KR102519209B1 (ko) 2015-06-17 2023-04-07 한국전자통신연구원 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
KR102153554B1 (ko) 2015-06-17 2020-09-08 한국전자통신연구원 미디어 데이터의 처리를 위한 mmt 장치 및 방법
WO2018221293A1 (ja) 2017-06-01 2018-12-06 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
US11025691B1 (en) 2017-11-22 2021-06-01 Amazon Technologies, Inc. Consuming fragments of time-associated data streams
US10764347B1 (en) 2017-11-22 2020-09-01 Amazon Technologies, Inc. Framework for time-associated data stream storage, processing, and replication
US10878028B1 (en) * 2017-11-22 2020-12-29 Amazon Technologies, Inc. Replicating and indexing fragments of time-associated data streams
US10944804B1 (en) 2017-11-22 2021-03-09 Amazon Technologies, Inc. Fragmentation of time-associated data streams
US10887574B2 (en) 2018-07-31 2021-01-05 Intel Corporation Selective packing of patches for immersive video
US11284134B2 (en) * 2018-08-08 2022-03-22 Comcast Cable Communications, Llc Media content enhancement based on content importance
US11057631B2 (en) 2018-10-10 2021-07-06 Intel Corporation Point cloud coding standard conformance definition in computing environments
US20210245047A1 (en) * 2020-02-10 2021-08-12 Intel Corporation Continuum architecture for cloud gaming

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020021761A1 (en) * 2000-07-11 2002-02-21 Ya-Qin Zhang Systems and methods with error resilience in enhancement layer bitstream of scalable video coding
KR100738930B1 (ko) * 2006-01-06 2007-07-12 에스케이 텔레콤주식회사 이동통신망과 위성 디지털 멀티미디어 방송망의 다중전송을 이용한 위성 디지털 멀티미디어 방송의 화질 개선방법 및 시스템, 그를 위한 장치
KR20090066134A (ko) * 2007-12-18 2009-06-23 한국전자통신연구원 계층적 부호화를 이용한 다중대역 방송 전송/수신 장치 및그 방법
KR20100062811A (ko) * 2008-12-01 2010-06-10 한국전자통신연구원 멀티미디어 콘텐츠 서비스 장치 및 방법
WO2011101201A1 (en) * 2010-02-22 2011-08-25 Alcatel Lucent Method for transmitting video contents from a server to a terminal of a user within service periods of a radio transport channel

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR0211406A (pt) * 2001-07-23 2004-08-17 Thomson Licensing Sa Sistema e método para a difusão de sinais codificados independentemente em canais atsc
US7440764B2 (en) * 2004-02-12 2008-10-21 Motorola, Inc. Method and apparatus for improving throughput in a wireless local area network
US8107571B2 (en) * 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques
CN101102282A (zh) * 2007-08-08 2008-01-09 中兴通讯股份有限公司 一种数据广播业务发送和接收方法
KR20110074823A (ko) * 2008-09-30 2011-07-04 파나소닉 주식회사 3ｄ 영상에 관한 기록매체, 재생장치, 시스템 ｌｓｉ, 재생방법, 안경 및 표시장치
JP2010139322A (ja) * 2008-12-10 2010-06-24 Renesas Electronics Corp 半導体集積回路およびその半導体集積回路のテスト方法
WO2012018339A1 (en) * 2010-08-05 2012-02-09 Thomson Licensing Application of unequal error protection rateless codes in multimedia streaming over multi-path networks
CN101969551B (zh) * 2010-09-26 2014-04-09 中兴通讯股份有限公司 一种交互式网络电视系统中的码流分片方法和系统
CN102098542A (zh) * 2010-12-15 2011-06-15 中兴通讯股份有限公司 一种多媒体数据传输的方法、系统和装置
KR20120084234A (ko) * 2011-01-19 2012-07-27 삼성전자주식회사 Ｍｐｅｇ ｍｅｄｉａ ｔｒａｎｓｐｏｒｔ（ｍｍｔ）에서 ｍｍｔ ａｕ를 전송하는 방법
US9866877B2 (en) * 2011-03-08 2018-01-09 Cox Communications, Inc. Transparent scalable video coding
WO2013108954A1 (ko) * 2012-01-20 2013-07-25 전자부품연구원 하이브리드 전송환경에서 스케일러블 초고해상도 비디오 서비스를 위한 프로그램 구성 정보 송수신 방법, 효율적인 스케일러 계층 정보 전송을 위한 방법 및 스케일러 계층 정보 전송을 위한 장치
KR101501344B1 (ko) * 2012-05-02 2015-03-10 삼성전자주식회사 멀티미디어 서비스 송수신 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020021761A1 (en) * 2000-07-11 2002-02-21 Ya-Qin Zhang Systems and methods with error resilience in enhancement layer bitstream of scalable video coding
KR100738930B1 (ko) * 2006-01-06 2007-07-12 에스케이 텔레콤주식회사 이동통신망과 위성 디지털 멀티미디어 방송망의 다중전송을 이용한 위성 디지털 멀티미디어 방송의 화질 개선방법 및 시스템, 그를 위한 장치
KR20090066134A (ko) * 2007-12-18 2009-06-23 한국전자통신연구원 계층적 부호화를 이용한 다중대역 방송 전송/수신 장치 및그 방법
KR20100062811A (ko) * 2008-12-01 2010-06-10 한국전자통신연구원 멀티미디어 콘텐츠 서비스 장치 및 방법
WO2011101201A1 (en) * 2010-02-22 2011-08-25 Alcatel Lucent Method for transmitting video contents from a server to a terminal of a user within service periods of a radio transport channel

Also Published As

Publication number Publication date
CN104255036A (zh) 2014-12-31
EP2830318A1 (en) 2015-01-28
KR20130108198A (ko) 2013-10-02
US9967582B2 (en) 2018-05-08
US20150201207A1 (en) 2015-07-16
EP2830318A4 (en) 2015-12-02

Similar Documents

Publication Publication Date Title
WO2013141666A1 (ko) Ｍｍｔ 패키지화된 ｓｖｃ 비디오 콘텐츠의 하이브리드 전송 방법 및 수신 방법
WO2013169084A1 (ko) Mmt 패킷 포맷 확장을 통한 하이브리드 전송 방법
WO2013077697A1 (ko) Ｍｍｔ 패키지화 컨텐츠의하이브리드 전송 방법 및 컨텐츠 수신 방법
WO2013077698A1 (ko) Mmt 미디어와 dash 미디어와의 연동 방법
WO2012060581A2 (ko) 미디어 콘텐트 송수신 방법 및 그를 이용한 송수신 장치
WO2013089437A1 (ko) 미디어 컨텐트를 수신하는 장치 및 방법
WO2012011724A2 (ko) 미디어 파일 송수신 방법 및 그를 이용한 송수신 장치
WO2012177041A2 (ko) 미디어 컨텐트 송수신 방법 및 그를 이용한 송수신 장치
WO2013162312A1 (ko) 멀티미디어 전송 시스템을 위한 데이터 송수신 방법 및 장치
WO2011059291A2 (en) Method and apparatus for transmitting and receiving data
WO2013055191A2 (ko) 방송 시스템에서의 제어 메시지 구성 장치 및 방법
WO2013055164A1 (ko) 콘텐츠 디스플레이 방법, 콘텐츠 동기화 방법, 방송 콘텐츠 디스플레이 방법 및 디스플레이 장치
WO2011152675A2 (en) Method and apparatus for adaptive streaming based on plurality of elements for determining quality of content
WO2011105811A2 (en) Method and apparatus for transmitting and receiving data
WO2013025035A9 (ko) 송신 장치, 수신 장치 및 그 송수신 방법
WO2013112027A1 (ko) 부호화된 미디어 데이터를 전송하는 장치에서의 네트워크 지터 추정 방법
WO2012011722A2 (ko) 미디어 송수신 방법 및 그를 이용한 송수신 장치
WO2015126117A1 (ko) 방송 신호 송수신 방법 및 장치
WO2011132883A2 (ko) 인터넷 기반 컨텐츠 송수신 방법 및 그를 이용한 송수신 장치
WO2018174367A1 (ko) 방송 신호 송수신 방법 및 장치
WO2011132879A2 (ko) 인터넷 기반 컨텐츠 송수신 방법 및 그를 이용한 송수신 장치
WO2011132882A2 (ko) 인터넷 기반 컨텐츠 송수신 방법 및 그를 이용한 송수신 장치
WO2013187667A1 (ko) 멀티미디어 서비스를 위한 비트 에러율을 이용한 레이트 어댑테이션 방법 및 그 장치
WO2011132880A2 (ko) 인터넷 기반 컨텐츠 송수신 방법 및 그를 이용한 송수신 장치
WO2011132881A2 (ko) 인터넷 기반 컨텐츠 송수신 방법 및 그를 이용한 송수신 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13764464

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2013764464

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013764464

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14387244

Country of ref document: US