WO2014010830A1 - 엠엠티의 하이브리드 전송 서비스에서 패킷 전송 및 수신 장치 및 방법 - Google Patents

엠엠티의 하이브리드 전송 서비스에서 패킷 전송 및 수신 장치 및 방법 Download PDF

Info

Publication number
WO2014010830A1
WO2014010830A1 PCT/KR2013/005086 KR2013005086W WO2014010830A1 WO 2014010830 A1 WO2014010830 A1 WO 2014010830A1 KR 2013005086 W KR2013005086 W KR 2013005086W WO 2014010830 A1 WO2014010830 A1 WO 2014010830A1
Authority
WO
WIPO (PCT)
Prior art keywords
mmt
packet
information
media
time information
Prior art date
Application number
PCT/KR2013/005086
Other languages
English (en)
French (fr)
Inventor
김창기
유정주
홍진우
서광덕
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020130049304A external-priority patent/KR20140008237A/ko
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/413,494 priority Critical patent/US20150181003A1/en
Publication of WO2014010830A1 publication Critical patent/WO2014010830A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]

Definitions

  • the present invention relates to a packet transmission and reception apparatus and method, and more particularly, to a packet transmission and reception apparatus and method for providing media synchronization in a hybrid transport-based MPEG Media Transport (MMT) service.
  • MMT MPEG Media Transport
  • MMT MPEG Media Transport
  • a plurality of media data can be delivered to one client device through different channels or networks by utilizing different servers.
  • the client device integrates a plurality of received media streams. It should be able to service while keeping the synchronization in sync. This can be effectively satisfied with the Decoding Timestamp (DTS), Presentation Timestamp (PTS), and Program Clock Reference (PCR) -based timing models and RTP timestamp-based timing models of the MPEG-2 system. Hard.
  • DTS Decoding Timestamp
  • PTS Presentation Timestamp
  • PCR Program Clock Reference
  • the media synchronization scheme currently being developed in MMT can support synchronization between media streams generated by the same server, but does not provide accurate synchronization between streams transmitted from different servers in a hybrid transmission environment.
  • the problem of applying the timing model based on DTS, PTS, and PCR provided in the conventional MPEG-2 system is as follows. same.
  • the DTS, PTS and PCR clock values are all generated in accordance with the local system time clock (STC) adopted by the particular transport server. If the DTS, PTS, and PCR clock values for a media stream are being generated from the local STC of server A, the DTS, PTS, and PCR clock values for another stream that needs to be synchronized with this stream are local to server B.
  • STC system time clock
  • the timing model of the MPEG-2 system does not allow synchronization between streams generated and transmitted by different servers.
  • RTP Real-Time Transport Protocol
  • NTP Network Time Protocol
  • the NTP timestamp value generated by the RTP represents a wall-clock corresponding to the sampling time for media samples input in real-time to the encoder, and has a fixed length of 64 bits.
  • RTCP SR Real-Time Transport Control Protocol sender report
  • the periodic delivery of NTP time information in an out-of-band manner can waste network bandwidth, and wastes ports because servers and clients must open separate ports to handle RTCP SR packet streams. The complexity is increased.
  • An object of the present invention for solving the above problems is to propose time information necessary to provide synchronization between media transmitted from different servers in a hybrid transmission environment based on MMT protocol, and use this information as an MPU (Media Processing Unit) of the E-layer.
  • An apparatus and method for transmitting and receiving packets in an MMT hybrid transmission service that records a header part or MMT-CI (Composition Information) is provided.
  • An apparatus for transmitting a packet in the MPEG Media Transport (MMT) system of the present invention for achieving the above object is to provide standard time information associated with the media access unit to provide synchronization of an access unit (AU). It may include a MMT packetizer for recording and generating the MMT packet and a transmission unit for transmitting the generated MMT packet to the receiving side.
  • MMT MPEG Media Transport
  • the MMT packetizer may generate the MMT packet by recording standard time information corresponding to a PTS (Presentation TimeStamp) value of the media access unit included in the MMT packet.
  • PTS Presentation TimeStamp
  • the MMT packetizer may include standard time information corresponding to a PTS value in units of a media processing unit (MPU) generated by encapsulating the media access unit, and includes header or composition information of the media processing unit (MPU).
  • MPU media processing unit
  • the MMT packet may be generated by recording in (MMT-CI: MMT Composition Information).
  • the standard time information may be universal time coordinated (UTC) time information corresponding to a PTS value of the first access unit among a plurality of media access units included in the media processing unit.
  • UTC universal time coordinated
  • the MMT packetizer may allocate the standard time information by adjusting the allocation frequency of the standard time information according to synchronization accuracy, instead of all the media processing unit units.
  • the packet transmission apparatus may use a network time protocol (NTP) format as a format for representing the standard time information.
  • NTP network time protocol
  • the MMT packetizer may vary the NTP timestamp length according to the synchronization accuracy or the resolution of UTC time in expressing the standard time information through the NTP format.
  • the length of the NTP time stamp may have a length of at least one of 32 bits, 48 bits, and 64 bits.
  • the MMT packet may be transmitted in an in-band manner.
  • Whether to generate the standard time information may be determined by determining whether the media stream corresponds to a hybrid transmission environment in which media streams are transmitted and received from different servers belonging to different types of heterogeneous networks.
  • the packet transmission apparatus may generate an image generated by the multiview video encoding in an environment in which left view image information and right view image information generated by multi-view video coding are respectively transmitted from different servers.
  • the standard time information may be transmitted in the MMT packet including the information.
  • the header or the composition information of the media processing unit may include at least one of information related to whether the standard time information is generated, resolution information of an NTP timestamp for representing the standard time information, and actual standard time information according to the resolution. It may include.
  • a method for transmitting a packet in the MPEG Media Transport (MMT) system of the present invention for achieving the above object is to provide standard time information associated with the media access unit to provide synchronization of an access unit (AU).
  • the apparatus for receiving a packet in the MPEG Media Transport (MMT) system of the present invention for achieving the above object includes a receiving unit for receiving an MMT packet from a transmitting side and depacketizing the MMT packet, and included in the MMT packet. And an MMT depacketizer for synchronizing the media access unit based on standard time information associated with the media access unit to provide synchronization of a media access unit (AU).
  • MMT MPEG Media Transport
  • the MMT depacketization unit depacketizes the standard time information included in the header or composition information (MMT-CI) of the media processing unit generated by depacketizing the MMT packet and the obtained standard time information. It may include a synchronization unit for performing the synchronization of the media access unit based on.
  • MMT-CI composition information
  • the packet receiving apparatus may further include a playback unit for playing the synchronized media access unit.
  • the standard time information may be universal time coordinated (UTC) time information corresponding to a PTS value of the first access unit among a plurality of media access units included in the media processing unit.
  • UTC universal time coordinated
  • the header or the composition information of the media processing unit may include at least one of information related to whether the standard time information is generated, resolution information of an NTP timestamp for representing the standard time information, and actual standard time information according to the resolution. It may include.
  • the length of the NTP timestamp for representing the standard time information may have a length of at least one of 32 bits, 48 bits, and 64 bits according to synchronization accuracy or resolution of UTC time.
  • a method for receiving a packet in an MPEG Media Transport (MMT) system of the present invention for achieving the above object includes a receiving step of receiving an MMT packet from a transmitting side and depacketizing the MMT packet into the MMT packet. And an MMT depacketizing step of synchronizing the media access unit based on standard time information associated with the media access unit to provide synchronization of a media access unit (AU).
  • MMT MPEG Media Transport
  • the apparatus and method for transmitting and receiving a packet in the MMT hybrid transmission service of the present invention there is an effect of providing synchronization between different media in a hybrid transmission environment that belongs to one program but is transmitted from different servers.
  • FIG. 1 is a conceptual diagram illustrating an MMT hierarchical structure
  • FIG. 2 is a diagram illustrating a format of unit information (or data or packet) used for each layer of the MMT hierarchical structure of FIG. 1;
  • FIG. 3 is a block diagram showing a system structure for an MMT hybrid transport service
  • FIG. 4 is a block diagram schematically showing the configuration of an MMT packet transmission apparatus according to an embodiment of the present invention.
  • FIG. 5 is a flowchart schematically showing a method of transmitting an MMT packet according to an embodiment of the present invention
  • FIG. 6 is a conceptual diagram illustrating that the synchronization information generation unit of the MMT packet transmission apparatus generates UTC information based on the PTS of the first AU of the MPU according to an embodiment of the present invention
  • FIG. 7 is a conceptual diagram illustrating that the MMT packet transmission apparatus stores the generated UTC information in an MPU header or an MMT-CI according to an embodiment of the present invention
  • FIG. 8 is a block diagram for explaining a 3D video service based on a multi-view video received from different servers using an MMT packet transmission method according to an embodiment of the present invention.
  • FIG. 9 is a block diagram schematically showing the configuration of an MMT packet receiving apparatus according to an embodiment of the present invention.
  • FIG. 10 is a detailed block diagram illustrating an MMT depacketization unit of an MMT packet receiving apparatus according to an embodiment of the present invention
  • FIG. 11 is a flowchart illustrating a method of receiving an MMT packet according to an embodiment of the present invention.
  • the content component or media component is defined as a media of a single type or a subset of the media of a single type. , Video tracks, movie subtitles, or a video enhancement layer of video.
  • Content is defined as a set of content components, and may be, for example, a movie or a song.
  • a presentation is defined as an operation performed by one or more devices to allow a user to experience one content component or one service (eg, watch a movie).
  • a service is defined as one or more content components that are transmitted for presentation or storage.
  • Service information is defined as metadata describing one service, characteristics and components of the service.
  • An access unit is the smallest data entity and may have time information as an attribute.
  • the AU is not defined.
  • An MMT asset is a logical data entity consisting of at least one MPU with the same MMT asset ID or a specific chunk of data with a format defined by other standards.
  • the MMT asset is the largest data unit to which the same composition information and transmission characteristics apply.
  • MMT Asset Delivery Characteristics is a description related to QoS requirements for delivering MMT assets. MMT-ADC is expressed without knowing the specific transmission environment.
  • MMT Composition Information describes spatial and temporal relationships between MMT assets.
  • MFU Media Fragment Unit
  • AU access unit
  • An MMT package is a collection of logically structured data and includes at least one MMT asset, MMT composition information, MMT asset asset, and descriptive information.
  • the MMT packet is a format of data generated or consumed by the MMT protocol.
  • the MMT payload format is a format for payload of an MMT package or MMT signaling message to be delivered by an MMT protocol or an internet application layer protocol (eg, RTP).
  • the MMT Processing Unit is a generic container that is independent of any particular media codec and holds at least one AU and information related to additional transmission and consumption. For non-temporal data, the MPU accepts a portion of data that does not fall within the AU range. MPU is encoded media data that can be processed completely and independently. In this context, processing means encapsulation or packetization into an MMT package for transmission.
  • Non-timed data defines all data elements that are consumed without specifying time.
  • Non-timed data can have a time range within which the data can be executed or started.
  • Timed data defines data elements associated with a particular time to be decoded and presented.
  • FIG. 1 is a conceptual diagram illustrating an MMT hierarchical structure.
  • the MMT layer includes an encapsulation layer, a delivery layer, and an S layer.
  • the MMT layer operates on a transport layer.
  • the encapsulation layer may be responsible for, for example, packetization, fragmentation, synchronization, multiplexing, and the like of transmitted media.
  • the encapsulation functional area defines the logical structure of the format of the media content, the MMT package, and the data units to be processed by the MMT compliant entity.
  • the MMT package specifies the components that contain the media content and the relationships between them.
  • the format of the data units is defined to encapsulate the encoded media to be stored or transmitted in the payload of the transport protocol and to be easily converted between them.
  • Encapsulation layer (E-layer), as shown in Figure 1, MMT E.1 Layer (MMT E.1 Layer), MMT E.2 Layer (MMT E.2 Layer) and MMT E.3 Layer (MMT) E.3 Layer).
  • MMT E.1 Layer MMT E.1 Layer
  • MMT E.2 Layer MMT E.2 Layer
  • MMT E.3 Layer MMT E.3 Layer
  • the E.3 layer encapsulates a Media Fragment Unit (MFU) provided from the Media Codec (A) layer to create a Media Processing Unit (MPU).
  • MFU Media Fragment Unit
  • A Media Codec
  • MPU Media Processing Unit
  • Encoded media data from the upper layer is encapsulated in MFU.
  • the type and value of the encoded media can be abstracted to allow the MFU to be generally used in a particular codec technology. This allows the lower layer to process the MFU without access to the encapsulated encoded media.
  • the lower layer retrieves the required encoded media data from the network or storage buffer and sends it to the media decoder.
  • the MFU has enough information media subunits to perform this operation.
  • the MFU may have a format, independent of any particular codec, that can carry data units that can be consumed independently in the media decoder.
  • the MFU can be, for example, a picture or slice of the video.
  • MFUs One or a group of multiple MFUs that can be independently transmitted and decoded create an MPU.
  • Non-temporal media that are independently transportable and executable also create an MPU.
  • MPUs describe internal structures such as the arrangement and pattern of MFUs that allow for quick access and partial consumption of MFUs.
  • the E.2 layer encapsulates the MPUs created in the E.3 layer to generate MMT assets.
  • An MMT asset is a data entity made up of one or more MPUs from a single data source, and is a data unit in which composition information (CI) and transport characteristics (TC) are defined. Multiplexed by load format and transmitted by MMT protocol.
  • MMT assets can correspond to packetized elementary streams (PES), for example video, audio, program information, MPEG-U widgets, JPEG images, MPEG 4 file format, M2TS (MPEG transport stream), etc.
  • PES packetized elementary streams
  • the E.1 layer creates an MMT package by encapsulating the MMT asset generated in the E.2 layer.
  • the MMT asset is packaged with MMT composition information (MMT-CI) for later response of the same user experience together or separately with other functional areas—transmission area and signal area.
  • MMT-CI MMT composition information
  • the MMT package is also packaged with a transmission characteristic that selects an appropriate transmission method for each MMT asset to satisfy the haptic quality of the MMT asset.
  • the MMT package may be composed of one or more MMT assets together with additional information such as composition information and transport characteristics.
  • Composition information includes information about a relationship between MMT assets, and when one content consists of a plurality of MMT packages, it indicates a relationship between a plurality of MMT packages. It may further include information.
  • the transport characteristics may include transmission characteristic information necessary for determining a delivery condition of an MMT asset or an MMT packet, and may include, for example, a traffic description parameter and a QoS descriptor. ) May be included.
  • the MMT package may correspond to a program of MPEG-2 TS.
  • the delivery layer may perform, for example, network flow multiplexing, network packetization, and QoS control of media transmitted through a network.
  • the delivery functional area defines the application layer protocol and format of the payload.
  • the application layer protocol in the present invention provides enhanced features for the delivery of MMT packages as compared to conventional application layer protocols for the transmission of multimedia including multiplexing.
  • the payload format is defined to carry coded media data regardless of the media type or encoding method.
  • the transport layer (D-layer), as shown in Figure 1, MMT D.1 Layer (MMT D.1 Layer), MMT D.2 Layer (MMT D.2 Layer) and MMT D.3 Layer (MMT) D.3 Layer).
  • the D.1 layer receives the MMT package generated in the E.1 layer and generates an MMT payload format.
  • the MMT payload format is a payload format for carrying MMT assets and for transmitting information for consumption by the MMT application protocol or other existing application transport protocol such as RTP.
  • the MMT payload may include a fragment of the MFU along with information such as AL-FEC.
  • the D.2 layer receives the MMT payload format generated in the D.1 layer and generates an MMT transport packet or an MMT packet.
  • the MMT transport packet or MMT packet is a data format used in an application transport protocol for MMT.
  • D.3 layer supports QoS by providing the function of exchanging information between layers by cross-layer design.
  • the D.3 layer may perform QoS control using QoS parameters of the MAC / PHY layer.
  • the S layer performs a signaling function. For example, signaling functions for session initialization / control / management of transmitted media, server-based and / or client-based trick modes, service discovery, synchronization, etc. Can be done.
  • the signaling functional area defines the format of the message that manages the delivery and consumption of the MMT package.
  • the message for consumption management is used to transmit the structure of the MMT package, and the message for delivery management is used to transmit the structure of the payload format and the configuration of the protocol.
  • the S layer may include an MMT S.1 layer and an MMT S.2 layer.
  • S.1 layer includes service discovery, media session initialization / termination of media, media session presentation / control of media, delivery (D) layer and encapsulation (E).
  • the interface function with the layer can be performed.
  • the S.1 layer may define the format of control messages between applications for media presentation session management.
  • the S.2 layer is responsible for flow control, delivery session management, delivery session monitoring, error control, and hybrid network synchronization control. It is possible to define the format of the control message exchanged between delivery end-points of the D-layer.
  • the S.2 layer supports delivery session establishment and release, delivery session monitoring, flow control, error control, resource scheduling for established delivery sessions, and synchronization in a complex delivery environment to support the behavior of the delivery layer.
  • Signaling for adaptive delivery, and signaling for adaptive delivery. Required signaling may be provided between a sender and a receiver. That is, the S.2 layer may provide signaling required between the sender and the receiver in order to support the operation of the transport layer as described above.
  • the S.2 layer may be responsible for interfacing with the transport layer and the encapsulation layer.
  • FIG. 2 illustrates a format of unit information (or data or packet) used for each layer of the MMT hierarchical structure of FIG. 1.
  • the media fragment unit (MFU) 130 may include coded media fragment data 132 and a media fragment unit header (MFUH) 134.
  • the media fragment unit 130 has a general container format independent of a specific codec and may carry the smallest data unit that can be consumed independently in a media decoder.
  • the MFUH 134 may include additional information such as media characteristics-for example, loss-tolerance.
  • MFU) 130 may be, for example, a picture or slice of a video.
  • the Media Fragment Unit may define a format that encapsulates a portion of the AU in the transport layer to perform adaptive transmission in the range of the MFU.
  • the MFU may be used to transmit certain types of encoded media so that portions of the AU can be independently decoded or discarded.
  • the MFU has an identifier for distinguishing one MFU from other MFUs and may have general relationship information between MFUs in a single AU.
  • the dependencies between the MFUs in a single AU are described, and the relative priority of the MFUs can be described as part of such information.
  • the information can be used to handle the transmission at the lower transport layer.
  • the transport layer may omit the transmission of MFUs that may be discarded to support QoS transmission in insufficient bandwidth. Detailed description of the MFU structure will be given later.
  • the MPU is a collection of media fragment units including a plurality of media fragment units 130.
  • the MPU may have a general container format independent of a specific codec and may include media data equivalent to an access unit.
  • the MPU may have a timed data unit or a non-timed data unit.
  • MPU is data that is independently and completely processed by an entity following the MMT, and the processing may include encapsulation and packetization.
  • An MPU may consist of at least one MFU or have a portion of data having a format defined by another standard.
  • a single MPU may accommodate the integral number or non-time data of at least one AU.
  • an AU may be delivered from at least one MFU, but one AU may not be divided into multiple MPUs.
  • one MPU receives a portion of non-time data that has been independently and completely processed by an entity that complies with the MMT.
  • An MPU may be uniquely identified within an MMT package with a sequence number and an associated asset ID that distinguishes it from other MPUs.
  • the MPU may have at least one random access point.
  • the first byte of the MPU payload can always start with a random access point. In time data, this fact means that the decoding order of the first MFU in the MPU payload is always zero.
  • the presentation period and decoding order of each AU can be sent to inform the presentation time.
  • the MPU does not have its initial presentation time, and the presentation time of the first AU of one MPU may be described in the composition information.
  • the composition information may specify the first presentation time of the MPU. Details will be described later.
  • the MMT asset 150 is a collection of MPUs composed of a plurality of MPUs.
  • the MMT asset 150 is a data entity composed of multiple MPUs (timed or non-timed data) from a single data source, and the MMT asset information 152 is an asset packaging metadata (Asset). Additional information such as packaging metadata) and data type.
  • MMT asset 150 may include, for example, video, audio, program information, MPEG-U widgets, JPEG images, MPEG 4 FF (File Format), packetized elementary streams (PES), and MPEG transport (M2TS). streams).
  • MMT Assets are logical data entities that contain encoded media data.
  • the MMT asset may be composed of an MMT asset header and encoded media data.
  • the encoded media data may be a collective reference group of MPUs with the same MMT asset ID.
  • Types of data that can be individually consumed by an entity directly connected to the MMT client may be considered as separate MMT assets. Examples of data types that can be considered as individual MMT assets include MPEG-2 TS, PES, MP4 file, MPEG-U Widget Package, and JPEG file.
  • the encoded media of the MMT asset may be time data or non-time data.
  • Temporal data is audiovisual media data that requires synchronized decoding and presentation of specific data at specified times.
  • Non-timed data is data of a data type that can be decoded and provided at any time in accordance with the provision of a service or user interaction.
  • a service provider may create a multimedia service by integrating MMT assets and putting MMT assets on a space-time axis.
  • the MMT package 160 is a collection of MMT assets including one or more MMT assets 150.
  • MMT assets in an MMT package may be multiplexed or concatenated.
  • the MMT package is a container format for MMT asset and configuration information.
  • the MMT package provides a repository of MMT assets and configuration information for the MMT program.
  • the MMT program provider generates configuration information by encapsulating the encoded data into MMT assets and describing the temporal and spatial layout of the MMT assets and their transmission characteristics.
  • MU and MMT assets can be sent directly in the D.1 payload format.
  • the configuration information may be sent by the C.1 Presentation Session Management message.
  • MMT program providers and clients that allow relaying or future reuse of MMT programs store them in MMT package format.
  • the MMT program provider determines which transmission path (eg, broadcast or broadband) the MMT asset will be provided to the client.
  • Configuration information in the MMT package is transmitted in a C.1 presentation session management message along with transmission related information.
  • the client receives the C.1 Presentation Session Management message to know which MMT programs are available and how to receive the MMT assets for the corresponding MMT program.
  • the MMT package can also be transmitted by the D.1 payload format.
  • the MMT package is packetized and delivered in D.1 payload format.
  • the client receives the packetized MMT package and configures all or part thereof, where it consumes the MMT program.
  • the package information 165 of the MMT package 160 may include configuration information.
  • the configuration information may include additional information such as a list of MMT assets, package identification information, composition information 162, and transport characteristics 164.
  • Composition information 162 includes information about a relationship between MMT assets 150.
  • composition information 162 may further include information for indicating a relationship between a plurality of MMT packages when one content includes a plurality of MMT packages.
  • Composition information 162 may include information about temporal, spatial and adaptive relations in an MMT package.
  • Composition Information in the MMT provides information about the spatial and temporal relationships between MMT assets in the MMT package.
  • MMT-CI is a descriptive language that extends HTML5 to provide information. If HTML5 is designed to describe a page-based presentation of text-based content, MMT-CI mainly represents spatial relationships between sources. In order to support the presentation of the temporal relationship between MMT assets, information related to MMT assets in an MMT package, such as presentation resources, time information for determining the order in which MMT assets are sent and consumed, and various MMT assets are consumed in HTML5. It can be extended to have additional properties of media elements. Detailed description will be described later.
  • the transport characteristics information 164 may include information on transmission characteristics and may provide information necessary for determining a delivery condition of each MMT asset (or MMT packet).
  • the transmission characteristic information may include a traffic description parameter and a QoS descriptor.
  • the traffic description parameter may include bitrate information, priority information, or the like for the media fragment unit (MFU) 130 or the MPU.
  • the bitrate information is for example information about whether the MMT asset is Variable BitRate (VBR) or Constant BitRate (CBR), the guaranteed bitrate for the Media Fragment Unit (MFU) (or MPU). ), The maximum bit rate for the media fragment unit (MFU) (or MPU).
  • the traffic description parameter may be used for resource reservation between servers, clients, and other components on a delivery path, for example, maximum size information of a media fragment unit (MFU) (or MPU) in an MMT asset. It may include.
  • the traffic description parameter may be updated periodically or aperiodically.
  • the QoS descriptor includes information for QoS control and may include, for example, delay information and loss information.
  • the loss information may include, for example, a loss indicator of whether delivery loss of the MMT asset is allowed or not. For example, if the loss indicator is '1', it may represent 'lossless', and if it is '0', it may represent 'lossy'.
  • the delay information may include a delay indicator used to distinguish the sensitivity of the transmission delay of the MMT asset. The delay indicator may indicate whether the type of the MMT asset is conversation, interactive, real time, and non-realtime.
  • One content may consist of one MMT package.
  • one content may consist of a plurality of MMT packages.
  • composition information or composition information indicating temporal, spatial, and adaptive relations between the plurality of MMT packages may exist inside one MMT package or outside the MMT package.
  • some of the content components are transmitted through a broadcast network and the rest of the content components are transmitted through a broadband network.
  • a broadband network For example, in the case of a plurality of audio visual streams constituting one multi-view service, one stream may be transmitted to a broadcasting network and the other stream may be transmitted to a broadband network, and each AV stream may be multiplexed and transmitted to a client terminal. Can be individually received and stored.
  • application software such as a widget is transmitted to a broadband network and an AV stream (AV program) is transmitted to an existing broadcasting network.
  • the entire plurality of AV streams may be a single MMT package, and in this case, one of the plurality of streams may be stored in only one client terminal.
  • the storage content becomes part of the MMT package, and the client terminal needs to rewrite the composition information or the configuration information, and the rewritten content becomes a new MMT package independent of the server. .
  • each AV stream may be one MMT package, and in this case, a plurality of MMT packages constitute one content, and storage Storage is recorded in MMT package units and requires composition information or configuration information indicating a relationship between MMT packages.
  • composition information or configuration information included in one MMT package may refer to an MMT asset in another MMT package, and may refer to an outside of an MMT package that refers to the MMT package in an out-band situation. I can express it.
  • the MMT package 160 is controlled through a control (C) layer.
  • the MMT control message may include an information table for service discovery.
  • the server that divides the multimedia content into a plurality of segments allocates URL information to a plurality of segments divided into a predetermined number, and stores URL information about each segment in a media information file and transmits the URL information to the client.
  • the media information file may be called various names such as 'Media Presentation Description (MPD)' or 'Manifest file' according to a standardization mechanism for standardizing HTTP streaming.
  • MPD media presentation description
  • MPD media presentation description
  • the cross-layer interface is described below.
  • the Cross Layer Interface provides a means for supporting QoS in a single entity by exchanging QoS related information between lower layers including the application layer and the MAC / PHY layer.
  • the lower layer provides bottom-up QoS information such as network channel state, while the application layer provides information related to media characteristics as top-down QoS information.
  • the cross layer interface provides an integrated interface between the application layer and various network layers including IEE802.11 WiFi, IEEE 802.16 WiMAX, 3G, 4G LTE, etc.
  • Common network parameters of popular network standards are extracted as NAM parameters for static and dynamic QoS control of real-time media applications over various networks.
  • the NAM parameter may include a BER value that is a bit error rate. BER can be measured at the PHY or MAC layer.
  • the NAM also provides the identification of the underlying network, possible bit rates, buffer conditions, peak bit rates, service unit sizes, and service data unit loss rates.
  • the first way is to provide an absolute value.
  • the second is to provide relative values.
  • the second method can be used to update the NAM while connected.
  • the application layer provides top-down QoS information related to media characteristics for lower layers.
  • top-down information such as MMT asset level information and packet level information.
  • MMT asset information is used for capacity exchange and / or resource (re) allocation at lower layers.
  • Packet level top down information is recorded in the appropriate field of every packet for the lower layer to identify the QoS level it supports.
  • the lower layer provides bottom-up QoS information to the application layer.
  • the lower layer provides information regarding network conditions that change over time, enabling faster and more accurate QoS control at the application layer.
  • Bottom-up information is expressed in an abstracted form to support heterogeneous network environments. These parameters are measured at the lower layer and read at the application layer periodically or at the request of the MMT application.
  • the MMT hybrid transmission system includes transmitting apparatuses 310-1, 310-2,..., 310 -N, and networks 320-1, 320-2,. And the receiving device 330.
  • the transmitting apparatus 310-1, 310-2,..., 310 -N generates video, audio and data information and transmits them to the receiving side.
  • the transmitting apparatuses 310-1, 310-2, ..., 310-N generate content such as video, audio, and data, respectively, so that the transmitting apparatus 1 310-1 receives the image information, and the transmitting apparatus.
  • 2 310-2 may transmit the voice information to the receiver by using different networks 320-1, 320-2,..., 320 -N.
  • the transmitting apparatuses 310-1, 310-2, ..., 310-N may be broadcast stations.
  • the transmitting apparatus 310-1, 310-2,..., 310 -N may transmit the media stream or MMT packet through the same network, or may transmit the media stream or MMT packet through different networks.
  • networks 320-1, 320-2,..., 320 -N There may be a plurality of networks 320-1, 320-2,..., 320 -N.
  • network 1 320-1 may be a broadcasting network and network 2 320-2 may be a communication network.
  • the amount of network jitter or delay may be different, so the receiving side for one AV source The time to reach may be different. That is, the networks 320-1, 320-2,..., 320 -N set a reference time within the same network and perform synchronization according to the same criteria, but different networks 320-1, 320- 2, ..., 320-N) may be the case that the synchronization at the receiving side is impossible because the reference time does not exactly match.
  • the receiving device 330 may receive a media stream or an MMT packet transmitted through different networks 320-1, 320-2,..., 320 -N. However, it does not necessarily need to be received through different networks 320-1, 320-2,..., 320 -N. For example, for the same AV source, video information is received from the transmitting device 310-1 through the network 1 320-1, and voice information is received from the transmitting device 310-2 through the network 2 320-2. Can be received.
  • the receiving device 330 may be a terminal capable of wireless or wired communication.
  • the apparatus for transmitting an MMT packet includes an MPU generator 410, a synchronization information generator 415, an asset generator 420, a packetizer 430, and a transmitter. It may include a portion 440.
  • the MPU generating unit 410 generates a media processing unit (MPU) based on a media access unit (AU).
  • the process of generating the media processing unit in the MPU generator 410 may be performed in the E-layer through encapsulation.
  • the synchronization information generation unit 415 generates universal time clock (UTC) time information corresponding to the PTS value of the media access unit (AU) included in the generated MPU.
  • UTC universal time clock
  • UTC time may be obtained by a computer device directly connected with the equipment supplying UTC. You can express UTC time in a timestamp format. At this time, a format that can be used is NTP (Network Time Protocol), which is a standard protocol format.
  • NTP Network Time Protocol
  • NTP can be useful for synchronizing networks and is a standard protocol currently adopted and used in the RTP protocol.
  • the NTP time information used for the current RTP is a reference wall corresponding to the RTP timestamp value read to the local clock at the moment of sampling at the encoder for the access unit (AU) data of audio and video. is the NTP format timestamp.
  • This NTP time information is carried separately in an RTCP Sender Report (SR) packet and periodically transmitted from the server to the client in an out-of-band manner.
  • SR Sender Report
  • the periodic delivery of NTP time information in an out-of-band manner can result in wastage of network bandwidth, and a waste of ports because server and client must open separate ports to handle RTCP SR packet streams. The complexity is increased.
  • the synchronization information generation unit 415 of the MMT packet transmission apparatus generates the UTC time information for each MPU unit generated by the MPU generation unit 410 as timing information of the E-layer of the MMT. can do.
  • the generated UTC time is recorded in the MPU header part or MMT-CI and transmitted to the client in an in-band manner to realize media synchronization in hybrid transmission with low data amount and low complexity.
  • the synchronization information generator 415 may generate UTC time information by extracting UTC time corresponding to the PTS of the first access unit AU among the plurality of media access units AU included in the MPU.
  • the UTC time information may mean a wall clock value corresponding to a PTS value of the first access unit (AU) among a plurality of access units (AU) included in all media processing unit (MPU) data.
  • UTC time information is not necessarily allocated to all media processing units (MPUs), and the allocation frequency of the UTC time information may be adjusted in consideration of synchronization accuracy. That is, when synchronization accuracy is high, UTC time information is generated for every access unit (AU), and when synchronization accuracy is relatively low, it is generated to have one UTC time information for every two or three access units (AU). Can be.
  • the generated UTC time information may vary in length depending on synchronization accuracy or resolution of UTC time.
  • the UTC time information generated by the synchronization information generator 415 may be expressed through an NTP format.
  • the NTP format is used to represent UTC, but does not have a fixed length of 64-bit length used in the conventional RTP scheme, and various NTP timestamp lengths are determined according to required synchronization precision. Can have.
  • the asset generator 420 generates an MMT asset by performing encapsulation based on the media processing unit (MPU) generated by the MPU generator 410.
  • the MMT asset may be generated by inserting UTC time information generated by the synchronization information generator 415 into the MPU header or the MMT-CI.
  • the packetizer 430 generates an MMT packet by packetizing the MMT asset generated by the asset generator 420.
  • the packetizer 430 may generate an MMT package based on a plurality of MMT assets, MMT-CI, and transmission characteristic information, and may generate an MMT packet based on the generated MMT package.
  • the transmitter 440 transmits the generated MMT packet to the receiver.
  • FIG. 5 is a flowchart schematically illustrating a method of transmitting an MMT packet according to an embodiment of the present invention.
  • the MMT packet transmission apparatus may receive a media access unit (AU) (S510).
  • the media access unit (AU) may include video, audio, and data related information, and may be information to be synchronized with the access unit (AU) transmitted from another device.
  • the MMT packet transmission apparatus encapsulates the media access unit (AU) to generate a media processing unit (MPU) (S520).
  • MPU media processing unit
  • a PTS for the first media access unit AU among the media access units AU included in the media processing unit MPU is generated.
  • the generated PTS information is generated by the local clock of the MMT packet transmission device. Therefore, there may be a difference in the clock time and the local clock of the MMT packet transmitted through another network.
  • the MMT packet transmission apparatus determines whether to generate UTC information corresponding to the PTS (S540). For example, the MMT packet transmission apparatus determines a network environment and determines whether the MMT packet transmission device corresponds to a hybrid transmission environment in which media streams are transmitted and received from different servers (or devices) belonging to different types of heterogeneous networks. As a result of determination, UTC time information is required in a hybrid transmission environment, so it is determined to generate UTC information. Otherwise, UTC time information is generated in a transmission environment in which a media stream is transmitted through the same network. Instead, synchronization can only be made using the time information generated by the local clock.
  • the MMT packet transmission apparatus may include information related to generation of UTC time information in the UTC resolution information (UTC_resolution) and transmit the information to the receiver.
  • UTC resolution information When the UTC resolution information is "00", it is determined that UTC information is not generated and UTC information is not included in time-related information of the MMT packet. If the UTC resolution information is not "00", it may be determined that UTC information is generated and transmitted in the MMT packet. If it does not generate UTC information, that is, if the UTC resolution information is "00”, it generates UTC resolution information with a UTC resolution of "00" (S555), and immediately media without inserting a separate time information process related to actual UTC.
  • the MMT asset may be generated by encapsulating the processing unit (MPU) (S570).
  • UTC time information including UTC resolution information is generated and corresponding to the PTS of the first access unit (AU) of the media processing unit (MPU) (S550).
  • the NTP timestamp bit length of the UTC time information may have at least one of 32, 48, and 64 lengths.
  • the MMT packet transmission apparatus may store the generated UTC time information in a header of the media processing unit (MPU) or MMT-CI (S560).
  • the UTC time information is not necessarily stored in the header of the MPU or the MMT-CI, but may be stored in another portion of the MMT packet.
  • the MMT packet transmission apparatus encapsulates the media processing unit (MPU) to generate an MMT asset.
  • FIG. 6 is a conceptual diagram illustrating that the synchronization information generator of the MMT packet transmission apparatus generates UTC information based on the PTS of the first AU of the MPU according to an embodiment of the present invention.
  • the media processing unit may include an MPU header 610 and an MPU payload 620.
  • the MPU header 610 includes information related to data belonging to the MPU payload.
  • the MPU payload 620 may include a plurality of access units 630-1, 630-2,..., 630 -N. Each access unit 630-1, 630-2,..., 630 -N may include PTS information and DTS information.
  • the UTC time information generated according to an embodiment of the present invention is the first access unit 630 among the plurality of access units 630-1, 630-2,..., 630 -N belonging to the media processing unit (MPU). It may be generated based on the PTS information of -1). That is, UTC time information may be generated based on the UTC corresponding to the PTS of the first access unit 630-1.
  • the PTS information for the second and subsequent access units AU may be obtained through the PTS time difference between the access units AU based on the UTC time information of the first access unit AU.
  • UTC time information may be allocated on a media processing unit (MPU) basis.
  • the first access unit (AU) of the i + 1 th media processing unit (MPU) is generated.
  • UTC time information corresponding to the PTS may be generated.
  • UTC time information is not necessarily allocated to all media processing units (MPUs), and an allocation frequency for the media processing units (MPUs) may be determined according to synchronization precision or UTC time precision. Accordingly, the information may be recorded in the header portion of the media processing unit (MPU) data or the MMT-CI generated by the transmitting side on the basis of a certain period and transmitted to the receiving side.
  • FIG. 7 is a conceptual diagram illustrating that the MMT packet transmission apparatus stores the generated UTC information in an MPU header or an MMT-CI according to an embodiment of the present invention.
  • the MMT packet transmission apparatus may include UTC time information in the MPU header 710 or the MMT-CI 730.
  • the UTC time information may include resolution information (UTC: resolution) of the UTC time information and actual UTC information (714), where the actual UTC time information (at least one of UTC_32, UTC_48, and UTC_64) is 32, 48. And 64 bits in length.
  • the resolution information 712 of the UTC time information must be included, and it may be determined whether to include the actual UTC information 714 based on the resolution information 712.
  • NTP timestamp format is used as a format for expressing UTC time information.
  • a fixed 64-bit length is not used as in the prior art, and 32-bit and 48-bit bits are used according to the required synchronization precision. Alternatively, you can optionally use the length of the 64-bit NTP timestamp.
  • Table 1 shows syntax for UTC time information recorded in a header of MMT MPU data.
  • UTC_resolution may be represented by 2 bits and represents the resolution of an NTP timestamp for representing UTC time. If this value is "00", UTC time information does not exist. If this value is " 01 ", the resolution of the NTP timestamp to represent UTC time is 32 bits. When this value is "10”, the resolution of the NTP timestamp to represent UTC time is 48 bits. If this value is " 01 ", the resolution of the NTP timestamp to represent UTC time is 64 bits.
  • UTC_32 means a value indicating UTC time information corresponding to the PTS time of the first access unit (AU) of the media processing unit (MPU) as a 32-bit NTP time stamp.
  • UTC_48 means a value representing UTC time information corresponding to the PTS time of the first access unit (AU) of the media processing unit (MPU) as a 48-bit NTP time stamp.
  • UTC_64 means a value representing UTC time information corresponding to the PTS time of the first access unit (AU) of the media processing unit (MPU) as a 64-bit NTP time stamp.
  • FIG. 8 is a block diagram illustrating a 3D video service based on a multi-view video received from different servers using an MMT packet transmission method according to an embodiment of the present invention.
  • a multiview image generated by multi-view video coding is different from a network 820-1 and 820-2 by different servers 810-1 and 810-2.
  • UTC time information of the present invention may be inserted into each image information for media synchronization. That is, the server 1 810-1 transmits image information related to a left image through a broadcasting network, and the server 2 810-2 transmits image information related to a right image that generates a stereoscopic image together with the left image. Can be sent via In this case, since image information is transmitted through different networks, it may be difficult to render the 3D image in the receiving apparatus 830 because the reference of the local clock does not match.
  • the UTC for the access unit (AU) associated with the right and left video of the 3D video to be reproduced at the same time is Since the same is displayed in different networks, the synchronization in the receiving device 830 can be accurately performed. Therefore, even in a hybrid transmission environment in which the base view video and the additional view video are transmitted from different servers, the reception device 830 may display the 3D image on the display screen in a state where synchronization between the base view video and the additional view video is correctly performed.
  • the apparatus for receiving an MMT packet according to an embodiment of the present invention may include a receiver 910, an MMT depacketizer 920, and a playback unit 930.
  • the receiver 910 receives an MMT packet.
  • the receiver 910 may receive MMT packets transmitted through different networks.
  • the MMT depacketizer 920 depackets the MMT packet received by the receiver 910 to provide synchronization of the media access unit (AU) included in the MMT packet, and the UTC time associated with the media access unit (AU). The synchronization of the access unit AU is performed based on the information.
  • the UTC time information may be included in the header or MMT-CI of the media processing unit (MPU) of the received MMT packet, and the MMT depacketizer 920 may determine the header or MMT-CI of the media processing unit (MPU). Parse the UTC time information.
  • the UTC time information may be information related to UTC time corresponding to a PTS value of the first access unit (AU) among the plurality of media access units (AUs) included in the media processing unit (MPU). Therefore, even if the reference time, region, type, etc. of the network is different, since the UTC time is applied in the same manner, synchronization can be performed using UTC time information.
  • the UTC time information may be expressed in an NTP timestamp format, and may include at least one of resolution information of the NTP timestamp and standard time information according to the resolution.
  • the length of the NTP timestamp may have a length of at least one of 32, 48, and 64 bits depending on the synchronization precision or the resolution of UTC time.
  • media synchronization may be provided using only PTS information.
  • PTS information which is time information based on a local clock. Accordingly, synchronization between media access units (AU) may be performed by utilizing UTC time information.
  • the reproduction unit 930 reproduces the synchronized media access unit (AU) in synchronization with the MMT depacketizer 920.
  • the MMT depacketizer 920 may include a depacketizer 922 and a synchronizer 924.
  • the depacketizer 920 depackets an MMT packet to generate an access unit (AU). That is, depacketize an MMT packet to generate an MMT package, decapsulate it to generate an MMT asset, decapsulate the MMT asset to generate an MMT media processing unit (MPU), and generate an MMT media processing unit (MPU). Create an access unit (AU) based on that.
  • the depacketizer 920 may obtain UTC time information included in a header of the generated media processing unit (MPU) or MMT-CI.
  • the depacketizer 920 may determine the presence or absence of UTC time information by referring to UTC resolution information (UTC_resolution) information. . If there is UTC time information, the depacketizer 920 determines the bit length of the actual UTC information based on the UTC resolution information, and accesses the first of the media processing unit (MPU) through the bit information corresponding to the determined length. Obtain the UTC time corresponding to the PTS for unit AU. However, since UTC time information does not exist in the headers of all media processing units (MPUs), it is necessary to determine the presence or absence of UTC time information based on UTC resolution information.
  • UTC_resolution UTC resolution information
  • the depacketizer 920 may obtain UTC time information for the first access unit (AU) of each media processing unit (MPU), and based on this, UTC time information for another access unit (AU) may also be obtained between PTSs. It can be calculated using the difference. In this manner, UTC time information corresponding to the PTS for each access unit (AU) can be calculated.
  • the synchronizer 920 synchronizes the media access unit (AU) of MMT packets received from different transmission devices based on the obtained UTC time information.
  • FIG. 11 is a flowchart illustrating a method of receiving an MMT packet according to an embodiment of the present invention.
  • the MMT packet receiving apparatus receives an MMT packet (S1110).
  • the MMT packet receiving apparatus depackets the received MMT packet to generate an MMT asset.
  • the generated MMT asset is decapsulated (S1130).
  • UTC time information included in a header of the MMT-CI or the media processing unit (MPU) is obtained.
  • the MMT packet receiving apparatus performs synchronization for each access unit (AU) based on the obtained UTC time information.
  • the MMT packet receiving apparatus reproduces the access unit (AU) in synchronization (S1160).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명의 MMT(MPEG Media Transport) 시스템에서의 패킷을 전송하는 장치는 미디어 액세스 유닛(AU: Access Unit)의 동기화를 제공하기 위해 상기 미디어 액세스 유닛과 관련된 표준 시간 정보를 기록하여 MMT 패킷을 생성하는 MMT 패킷화부 및 상기 생성된 MMT 패킷을 수신측으로 전송하는 전송부를 포함한다. 따라서, 하나의 프로그램에 속하지만 서로 다른 서버로부터 미디어 스트림이 전송되는 하이브리드 전송 환경에서 서로 다른 미디어들 간의 동기화를 제공할 수 있다.

Description

엠엠티의 하이브리드 전송 서비스에서 패킷 전송 및 수신 장치 및 방법
본 발명은 패킷 전송 및 수신 장치 및 방법에 관한 것으로, 보다 상세하게는, 하이브리드 전송 기반의 MMT(MPEG Media Transport) 서비스에서 미디어 동기화를 제공하기 위한 패킷 전송 및 수신 장치 및 방법에 관한 것이다.
MMT(MPEG Media Transport)는 MPEG 시스템 분과(system sub-working group)에서 개발을 시작한 새로운 전송 표준 기술이다.
특히, 하이브리드 전송 기반의 MMT 서비스에서는 서로 다른 서버들을 활용하여 서로 다른 채널 또는 네트워크를 통해 복수의 미디어 데이터를 하나의 클라이언트 장치로 전달할 수 있으며, 이러한 경우에 클라이언트 장치는 수신한 복수 개의 미디어 스트림들을 통합된 형태로 동기화를 맞추면서 서비스할 수 있어야 한다. 이는 기존에 활용되는 미디어 동기화 기법인 MPEG-2 시스템의 DTS(Decoding Timestamp), PTS(Presentation timestamp), PCR(Program Clock Reference) 기반의 타이밍 모델과 RTP 타임스탬프 기반의 타이밍 모델로는 효과적으로 만족시키기가 힘들다. 그리고, 현재 MMT에서 개발 중인 미디어 동기화 기법은 동일한 서버에서 생성된 미디어 스트림들 간의 동기화는 지원이 가능하지만, 하이브리드 전송 환경에서 서로 다른 서버로부터 전송된 스트림들 간에 정확한 동기화를 제공하지는 못한다.
이종의(heterogeneous) 네트워크 환경에 속한 서로 다른 서버들로부터 복수 개의 미디어 데이터들이 전달될 경우에 종래의 MPEG-2 시스템에서 제공하는 DTS, PTS, PCR 기반의 타이밍 모델을 적용할 경우의 문제점은 다음과 같다. DTS, PTS 및 PCR 클럭 값들은 모두 특정 전송 서버에서 채택하는 로컬(local) STC(system time clock)에 맞추어 그 값이 생성된다. 만약 A라는 서버의 로컬 STC로부터 어떤 미디어 스트림을 위한 DTS, PTS 및 PCR 클럭 값들이 생성이 되고 있고, 이 스트림과 동기화가 필요한 또 다른 스트림을 위한 DTS, PTS, PCR 클럭 값들이 B라는 서버의 로컬 STC에서 생성이 될 경우, 서로 다른 STC를 사용하는 서로 다른 서버에서 생성된 스트림들이 공통적으로 활용할 수 있는 시간 정보가 없게 된다. 따라서, MPEG-2 시스템의 타이밍 모델로는 서로 다른 서버에서 생성되어 전송되는 스트림 간의 동기화를 맞추기가 불가능하다. RTP(Real-Time Transport Protocol) 프로토콜 기반의 전송 서비스의 경우 RTP 타임스탬프와 NTP(Network Time Protocol) 타임스탬프를 활용하여 실시간 미디어 스트림 간에 동기화를 제공할 수 있으나, 실시간 서비스 도중에 발생하는 NTP 타임스탬프 정보를 활용하는 원리이므로, 이미 서버의 저장장치에 저장되어 있는 미디어 데이터를 다른 서버에 의해 실시간으로 서비스되고 있는 또 다른 스트림과 동기를 맞추는 것은 사실상 불가능하다. RTP에서 생성되는 NTP 타임스탬프 값은 인코더로 실시간적으로(in real-time) 입력되는 미디어 샘플에 대한 샘플링(sampling) 시간에 해당하는 기준시간(wall-clock)을 나타내고, 64 비트의 고정 길이를 갖는다. 이 NTP 타임스탬프 값은 RTCP SR(Real-Time Transport Control Protocol sender report) 패킷에 별도로 실려서 대역외(out-of-band) 방식으로 서버에서 클라이언트로 주기적으로 전달된다. 대역외 방식으로 NTP 시간 정보를 주기적으로 전달할 경우 네트워크 대역폭의 낭비를 초래할 수 있고, 서버와 클라이언트가 별도의 포트(port)를 오픈하여 RTCP SR 패킷 스트림을 처리해야 하므로 포트의 낭비가 초래되고 구현의 복잡도가 높아지게 된다.
상술한 문제점을 해결하기 위한 본 발명의 목적은 MMT 프로토콜 기반의 하이브리드 전송 환경에서 서로 다른 서버로부터 전송되는 미디어 간의 동기화를 제공하는데 필요한 시간 정보를 제안하고 이 정보를 E-layer의 MPU(Media Processing Unit) 헤더 부분이나 MMT-CI(Composition Information)에 기록하는 MMT 하이브리드 전송 서비스에서 패킷 전송 및 수신 장치 및 방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 MMT(MPEG Media Transport) 시스템에서의 패킷을 전송하는 장치는 미디어 액세스 유닛(AU: Access Unit)의 동기화를 제공하기 위해 상기 미디어 액세스 유닛과 관련된 표준 시간 정보를 기록하여 MMT 패킷을 생성하는 MMT 패킷화부 및 상기 생성된 MMT 패킷을 수신측으로 전송하는 전송부를 포함할 수 있다.
상기 MMT 패킷화부는 상기 MMT 패킷에 포함된 미디어 액세스 유닛의 PTS(Presentation TimeStamp) 값에 대응되는 표준 시간 정보를 기록하여 상기 MMT 패킷을 생성할 수 있다.
상기 MMT 패킷화부는 상기 미디어 액세스 유닛을 캡슐화하여 생성되는 미디어 프로세싱 유닛(MPU: Media Procession Unit) 단위로 PTS 값에 대응되는 표준 시간 정보를 상기 미디어 프로세싱 유닛(MPU)의 헤더(header) 또는 컴포지션 정보(MMT-CI: MMT Composition Information)에 기록하여 상기 MMT 패킷을 생성할 수 있다.
상기 표준 시간 정보는 상기 미디어 프로세싱 유닛에 포함된 복수 개의 미디어 액세스 유닛들 가운데 첫 번째 액세스 유닛이 갖는 PTS 값에 대응되는 UTC(Universal Time Coordinated) 시간 정보일 수 있다.
상기 MMT 패킷화부가 상기 표준 시간 정보를 할당함에 있어서, 모든 미디어 프로세싱 유닛 단위에 대해 할당하지 않고, 상기 표준 시간 정보의 할당 빈도를 동기화 정밀도에 따라 조절하여 할당할 수 있다.
상기 패킷 전송 장치는 상기 표준 시간 정보를 표현하기 위한 포맷으로 NTP(Network Time Protocol) 포맷을 활용할 수 있다.
상기 MMT 패킷화부는 상기 표준 시간 정보를 NTP 포맷을 통해 표현함에 있어서, 동기화 정밀도 또는 UTC 시간의 해상도에 따라 NTP 타임스탬프 길이를 가변시킬 수 있다.
상기 NTP 타임스탬프의 길이는 32 비트, 48 비트 및 64 비트 중 적어도 어느 하나의 길이를 가질 수 있다.
상기 MMT 패킷은 대역내(in-band) 방식으로 전송될 수 있다.
서로 다른 종류의(heterogeneous) 네트워크에 속한 서로 다른 서버로부터 미디어 스트림이 송수신되는 하이브리드 전송 환경에 해당하는지를 판단하여, 상기 표준 시간 정보의 생성 여부가 결정될 수 있다.
상기 패킷 전송 장치는 다시점 비디오 부호화(Multi-view Video Coding)에 의해 생성된 좌시점 영상 정보 및 우시점 영상 정보가 각각 서로 다른 서버로부터 전송되는 환경에서, 상기 다시점 비디오 부호화에 의해 생성된 영상 정보를 포함하는 MMT 패킷에 상기 표준 시간 정보를 포함하여 전송할 수 있다.
상기 미디어 프로세싱 유닛의 헤더 또는 상기 컴포지션 정보는 상기 표준 시간 정보의 생성 여부와 관련된 정보 및 상기 표준 시간 정보를 표현하기 위한 NTP 타임스탬프의 해상도 정보 및 상기 해상도에 따른 실제 표준 시간 정보 중 적어도 어느 하나를 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 MMT(MPEG Media Transport) 시스템에서의 패킷을 전송하는 방법은 미디어 액세스 유닛(AU: Access Unit)의 동기화를 제공하기 위해 상기 미디어 액세스 유닛과 관련된 표준 시간 정보를 기록하여 MMT 패킷을 생성하는 MMT 패킷화 단계 및 상기 생성된 MMT 패킷을 수신측으로 전송하는 전송 단계를 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 MMT(MPEG Media Transport) 시스템에서의 패킷을 수신하는 장치는 MMT 패킷을 송신측으로부터 수신하는 수신부 및 상기 MMT 패킷을 디패킷화하여, 상기 MMT 패킷에 포함된, 미디어 액세스 유닛(AU: Access Unit)의 동기화를 제공하기 위해 상기 미디어 액세스 유닛과 관련된 표준 시간 정보를 기반으로 상기 미디어 액세스 유닛을 동기화하는 MMT 디패킷화부를 포함할 수 있다.
상기 MMT 디패킷화부는 상기 MMT 패킷을 디패킷화하여 생성되는 미디어 프로세싱 유닛의 헤더 또는 컴포지션 정보(MMT-CI)에 포함된 상기 표준 시간 정보를 획득하는 디패킷화부 및 상기 획득된 표준 시간 정보를 기반으로 상기 미디어 액세스 유닛의 동기화를 수행하는 동기화부를 포함할 수 있다.
상기 패킷 수신 장치는 상기 동기화된 미디어 액세스 유닛을 재생하는 재생부를 더 포함할 수 있다.
상기 표준 시간 정보는 상기 미디어 프로세싱 유닛에 포함된 복수 개의 미디어 액세스 유닛들 가운데 첫 번째 액세스 유닛이 갖는 PTS 값에 대응되는 UTC(Universal Time Coordinated) 시간 정보일 수 있다.
상기 미디어 프로세싱 유닛의 헤더 또는 상기 컴포지션 정보는 상기 표준 시간 정보의 생성 여부와 관련된 정보 및 상기 표준 시간 정보를 표현하기 위한 NTP 타임스탬프의 해상도 정보 및 상기 해상도에 따른 실제 표준 시간 정보 중 적어도 어느 하나를 포함할 수 있다.
상기 표준 시간 정보를 표현하기 위한 NTP 타임스탬프의 길이는 동기화 정밀도 또는 UTC 시간의 해상도에 따라 32 비트, 48 비트 및 64 비트 중 적어도 어느 하나의 길이를 가질 수 있다.
상기한 목적을 달성하기 위한 본 발명의 MMT(MPEG Media Transport) 시스템에서의 패킷을 수신하는 방법은 MMT 패킷을 송신측으로부터 수신하는 수신 단계 및 상기 MMT 패킷을 디패킷화하여, 상기 MMT 패킷에 포함된, 미디어 액세스 유닛(AU: Access Unit)의 동기화를 제공하기 위해 상기 미디어 액세스 유닛과 관련된 표준 시간 정보를 기반으로 상기 미디어 액세스 유닛을 동기화하는 MMT 디패킷화 단계를 포함할 수 있다.
본 발명의 MMT 하이브리드 전송 서비스에서 패킷 전송 및 수신 장치 및 방법에 따르면, 하나의 프로그램에 속하지만 서로 다른 서버로부터 미디어 스트림이 전송되는 하이브리드 전송 환경에서 서로 다른 미디어들 간의 동기화를 제공하는 효과가 있다.
도 1은 MMT 계층 구조를 나타낸 개념도,
도 2는 도 1의 MMT 계층 구조의 각 계층별로 사용되는 단위 정보(또는 데이터 또는 패킷)의 포맷을 나타낸 도면,
도 3은 MMT 하이브리드 전송 서비스를 위한 시스템 구조를 나타낸 블록도,
도 4는 본 발명의 일 실시예에 따른 MMT 패킷 전송 장치의 구성을 개략적으로 나타낸 블록도,
도 5는 본 발명의 일 실시예에 따른 MMT 패킷 전송 방법을 개략적으로 나타낸 흐름도,
도 6은 본 발명의 일 실시예에 따른 MMT 패킷 전송 장치의 동기화 정보 생성부가 MPU의 첫 번째 AU의 PTS를 기반으로 UTC 정보를 생성하는 것을 설명하기 위한 개념도,
도 7은 본 발명의 일 실시예에 따른 MMT 패킷 전송 장치가 생성된 UTC 정보를 MPU 헤더 또는 MMT-CI에 저장하는 것을 설명하기 위한 개념도,
도 8은 본 발명의 일 실시예에 따른 MMT 패킷 전송 방법을 활용하여 서로 다른 서버로부터 수신한 다시점 영상을 기반으로 3D 영상 서비스를 제공함을 설명하기 위한 블록도,
도 9는 본 발명의 일 실시예에 따른 MMT 패킷 수신 장치의 구성을 개략적으로 나타낸 블록도,
도 10은 본 발명의 일 실시예에 따른 MMT 패킷 수신 장치의 MMT 디패킷화부를 구체적으로 나타낸 상세블록도,
도 11은 본 발명의 일 실시예에 따른 MMT 패킷 수신 방법을 나타낸 흐름도이다.
이하, 용어의 의미를 다음과 같이 정의한다.
컨텐츠 콤포넌트(content component) 또는 미디어 콤포넌트(media component)는 단일 종류의 미디어(media of a single type) 또는 단일 종류의 미디어의 부분 집합(subset of the media of a single type)으로 정의되며, 예를 들어, 비디오 트랙(video track), 영화 자막(movie subtitles), 또는 비디오 향상계층(enhancement layer of video)이 될 수 있다.
컨텐츠(content)는 컨텐츠 콤포넌트의 집합으로 정의하며, 예를 들어 영화(movie), 노래(song)등이 될 수 있다.
표현(presentation)은 사용자가 하나의 컨텐츠 컴포넌트 또는 하나의 서비스를 경험(예를 들어 영화 감상)할 수 있도록 하나 또는 하나 이상의 장치들에 의해 수행되는 동작(operation)으로 정의한다.
서비스(service)는 표현(presentation) 또는 저장(storage)을 위해 전송되는 하나 또는 하나 이상의 컨텐츠 컴포넌트로 정의한다.
서비스 정보(service information)는 하나의 서비스, 상기 서비스의 특성(characteristics) 및 컴포넌트들을 기술하는 메타 데이터로 정의한다.
엑세스 유닛(Access Unit; AU)은 가장 작은 데이터 개체로, 시간 정보를 속성으로 가질 수 있다.
디코딩 및 프리젠테이션을 위한 시간 정보가 지정되지 않은 부호화된 미디어 데이터가 관련되면, AU는 정의되지 않는다.
MMT 애셋(MMT Asset)은 동일한 MMT 애셋 ID와 함께 적어도 하나의 MPU로 구성되거나 또는 다른 표준에서 정의된 형식과 함께 특정 데이터 덩어리로 구성되는 논리적 데이터 개체이다. MMT 애셋은 동일한 컴포지션 정보 및 전송 특성이 적용되는 가장 큰 데이터 유닛이다.
MMT 애셋 전송 특성(MMT Asset Delivery Characteristics; MMT-ADC)은 MMT 애셋을 전송하기 위한 QoS 요구에 관련된 서술이다. MMT-ADC는 특정 전송 환경을 알 수 없게 표현된다.
MMT 컴포지션 정보(MMT Composition Information ; MMT CI)는 MMT 애셋간의 공간적 및 시간적 관계를 설명한다.
미디어 프래그먼트 유닛(Media Fragment Unit; MFU)는 일반적인 컨테이너로, 어떠한 특정 코덱에도 독립적이며, 미디어 디코더에 의해 독립적으로 소비될 수 있는 부호화된 미디어 데이터를 수용한다. 이는 엑세스 유닛(AU)보다 작거나 같은 크기를 가지고 전송계층에서 사용될 수 있는 정보를 수용한다.
MMT 패키지(MMT Package)는 논리적으로 구조화된 데이터의 모음으로, 적어도 하나의 MMT 애셋, MMT-컴포지션 정보, MMT-애셋 전송 특성 및 설명적인 정보로 구성된다.
MMT 패킷(MMT packet)은 MMT 프로토콜에 의해 생성 또는 소비되는 데이터의 포맷이다.
MMT 페이로드 포맷(MMT payload format)은 MMT 프로토콜 또는 인터넷 응용 계층 프로토콜(예를들면, RTP)에 의해 전달될 MMT 패키지 또는 MMT 시그날링 메시지의 페이로드를 위한 포맷이다.
MMT 프로세싱 유닛(MMT Processing Unit)은 어떠한 특정 미디어 코덱에도 독립된 일반적인 컨테이너로, 적어도 하나의 AU 및 추가적인 전송 및 소비에 관련된 정보를 수용한다. 비-시간적 데이터를 위하여, MPU는 AU 범위에 속하지 않는 데이터의 부분을 수용한다. MPU는 완전하고 독립적으로 처리될 수 있는 부호화된 미디어 데이터이다. 이러한 맥락에서 처리는 전송을 위한 MMT 패키지로의 캡슐화 또는 패킷화를 의미한다.
비-시간 데이터(Non-timed data)는 시간을 명시하지 않고 소비되는 모든 데이터 요소를 정의한다. 비-시간 데이터는 데이터가 실행되거나 시작될 수 있는 시간 범위를 가질 수 있다.
시간 데이터(timed data)는 디코딩 및 프리젠테이션 되는 특정한 시간과 연관된 데이터 요소를 정의한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 MMT 계층 구조를 나타낸 개념도이다.
도 1을 참조하면, MMT 계층은 캡슐화 계층(Encapsulation layer), 전달 계층(Delivery layer) 및 S 계층(S layer)을 포함한다. MMT 계층은 전송 계층(Transport layer) 위에서 동작한다.
캡슐화 계층(Encapsulation layer; E-layer)은 예를 들어 전송되는 미디어의 패킷화(packetization), 프래그먼테이션(Fragmentation), 동기화(Synchronization), 멀티플렉싱(Multiplexing)등의 기능을 담당할 수 있다.
캡슐화 기능 영역(encapsulation functional area)은 미디어 컨텐츠, MMT 패키지, 그리고 MMT를 준수하는 개체에 의해 처리될 데이터 유닛들의 포맷의 논리적 구조를 정의한다. 적응적 전송을 위해 필수적인 정보를 제공하기 위해 MMT 패키지는 미디어 컨텐츠를 포함하는 컴포넌트들 및 그들간의 관계를 명시한다. 데이터 유닛들의 포맷은 전송 프로토콜의 페이로드로 저장 또는 전송되도록 , 그리고 그들 사이에서 쉽게 변환 되도록 부호화된 미디어를 캡슐화 하기 위해 정의된다.
캡슐화 계층(E-layer)은, 도 1에 도시된 바와 같이, MMT E.1 계층(MMT E.1 Layer), MMT E.2 계층(MMT E.2 Layer) 및 MMT E.3 계층(MMT E.3 Layer)으로 구성될 수 있다.
E.3 계층은 미디어 코덱(A) 계층으로부터 제공된 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)를 캡슐화하여 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 생성한다.
상위 계층으로부터의 부호화된 미디어 데이터는 MFU로 캡슐화된다. 부호화된 미디어의 타입과 값은 MFU를 특정 코덱 기술에 일반적으로 사용될 수 있도록 추상화될 수 있다. 이는 하위 계층이 캡슐화된 부호화된 미디어에 접근없이 MFU를 처리할 수 있도록 한다. 하위 계층은 요구되는 부호화된 미디어 데이터를 네트워크나 저장소의 버퍼로부터 불러오고 미디어 디코더로 전송한다. MFU는 상기 작동을 수행하기 위한 충분한 정보 미디어 부분 유닛을 가지고 있다.
MFU는 미디어 디코더에서 독립적으로 소비될 수 있는 데이터 유닛을 싣을 수 있는, 임의의 특정 코덱(codec)에 독립적인, 포맷을 가질 수 있다. MFU는 예를 들어 비디오의 픽춰(picture) 또는 슬라이스(slice)가 될 수 있다.
독립적으로 전송가능하고 디코드할수 있는 하나 또는 한 그룹의 다수 MFU는 MPU를 생성한다. 독립적으로 전송가능하고 실행가능한 비-시간적 미디어 또한 MPU를 생성한다. MPU는 MFU에의 빠른 접근 및 부분적 소비를 가능하게 하는 MFU의 배열 및 패턴과 같은 내부 구조를 기술한다.
E.2 계층은 E.3계층에서 생성된 MPU를 캡슐화하여 MMT 애셋(MMT Asset)을 생성한다.
MMT 애셋은 단일의 데이터 소스로부터의 하나 또는 복수의 MPU로 이루어진 데이터 엔티티(data entity)로서, 컴포지션 정보(Composition Information; CI) 및 전송 특성(Transport Characteristics; TC)이 정의된 데이터 유닛이며, MMT 페이로드 포맷에 의해 다중화되고, MMT 프로토콜에 의해 전송된다. MMT 애셋은 PES(packetized elementary streams)에 대응될 수 있으며, 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 파일 포맷(File Format), M2TS(MPEG transport stream)등에 대응될 수 있다.
E.1 계층(E.1 Layer)은 E.2 계층에서 생성된 MMT 애셋을 캡슐화하여 MMT 패키지(MMT Package)를 생성한다.
MMT 애셋은 다른 기능적 영역-전송 영역 및 시그날 영역-과 함께 또는 별도로 동일한 사용자 경험의 추후의 응답을 위해 MMT 콤포지션 정보(MMT-composition information;MMT-CI)와 패키지된다. 상기 MMT 패키지 또한 MMT 애셋의 체감 품질을 충족시키도록 각각의 MMT 애셋을 위한 적절한 전송 방법을 선정하는 전송 특성과 함께 패키지된다.
MMT 패키지는 콤포지션 정보(composition information) 및 전송 특성(transport characteristics)과 같은 부가 정보와 함께 하나 또는 복수의 MMT 애셋으로 구성될 수 있다. 콤포지션 정보(composition information)는 MMT 애셋들 사이의 관계(relationship)에 대한 정보를 포함하며, 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다. 전송 특성(transport characteristics)은 MMT 애셋 또는 MMT 패킷의 전송 조건(delivery condition)을 결정하기 위해 필요한 전송 특성 정보를 포함할 수 있으며, 예를 들어 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다. MMT 패키지는 MPEG-2 TS의 프로그램(Program)에 대응될 수 있다.
전달 계층(Delivery layer)은 예를 들어 네트워크를 통해 전송되는 미디어의 네트워크 플로우 멀티플렉싱(Network flow multiplexing), 네트워크 패킷화(Network packetization), QoS 제어 등을 수행할 수 있다.
전달 기능 영역(delivery functional area)은 페이로드의 응용 계층 프로토콜 및 포맷을 정의한다. 본 발명에서 응용 계층 프로토콜은 다중화를 포함하는 멀티미디어의 전송을 위한 종래의 응용 계층 프로토콜에 비하여 MMT 패키지의 전달을 위한 강화된 특징을 제공한다. 페이로드 포맷은 미디어 타입 또는 인코딩 방법을 불문하고 부호화된 미디어 데이터를 전달하도록 정의된다.
전달 계층 (D-layer)은, 도 1에 도시된 바와 같이, MMT D.1 계층(MMT D.1 Layer), MMT D.2 계층(MMT D.2 Layer) 및 MMT D.3 계층(MMT D.3 Layer)으로 구성될 수 있다.
D.1 계층(D.1-layer)은 E.1 계층에서 생성된 MMT 패키지를 받아서 MMT 페이로드 포맷(MMT Payload format)을 생성한다. MMT 페이로드 포맷은 MMT 애셋을 전송하고, 그리고 MMT 애플리케이션 프로토콜 또는 RTP와 같은 다른 기존의 애플리케이션 전송 프로토콜에 의한 소비를 위한 정보를 전송하기 위한 페이로드 포맷이다. MMT 페이로드는 AL-FEC와 같은 정보와 함께 MFU의 프래그먼트를 포함할 수 있다.
D.2 계층(D.2-layer)은 D.1 계층에서 생성된 MMT 페이로드 포맷을 받아서 MMT 전송 패킷(MMT Transport Packet) 또는 MMT 패킷(MMT Packet)를 생성한다. MMT 전송 패킷 또는 MMT 패킷은 MMT를 위한 애플리케이션 전송 프로토콜에 사용되는 데이터 포맷이다.
D.3 계층(D.3-layer)은 교차 계층 설계(cross-layer Design)에 의해 계층간에 정보를 교환할 수 있는 기능을 제공하여 QoS를 지원한다. 예를 들어, D.3 계층은 MAC/PHY 계층의 QoS 파라미터를 이용하여 QoS 제어를 수행할 수 있다.
S 계층(S layer)은 시그널링 기능(signaling function)을 수행한다. 예를 들어 전송되는 미디어의 세션 초기화/제어/관리(session initialization/control/management), 서버 기반 및/또는 클라이언트 기반의 트릭 모드, 서비스 디스커버리(Service discovery), 동기화(Synchronization) 등을 위한 시그널링 기능을 수행할 수 있다.
시그날링 기능 영역(signaling functional area)는 MMT 패키지의 전달 및 소비를 관리하는 메시지의 포맷을 정의한다. 소비 관리를 위한 메시지는 MMT 패키지의 구조를 전송하기 위해 사용되고, 전달 관리를 위한 메시지는 페이로드 포맷의 구조 및 프로토콜의 구성을 전송하기 위해 사용된다.
S 계층(S layer)은, 도 1에 도시된 바와 같이, MMT S.1 계층(MMT S.1 Layer) 및 MMT S.2 계층(MMT S.2 Layer)으로 구성될 수 있다.
S.1 계층은 서비스 디스커버리(Service discovery), 미디어의 세션 초기화/종료(media session initialization/termination), 미디어의 세션 표현/제어(media session presentation/control), 전달(D) 계층 및 캡슐화(E) 계층과의 인터페이스 기능 등을 수행할 수 있다. S.1 계층은 미디어 표현 세션 관리(presentation session management)를 위한 애플리케이션들간의 제어 메시지들의 포맷을 정의할 수 있다.
S.2 계층은 흐름 제어(flow control), 전달 세션 관리(delivery session management), 전달 세션 모니터링(delivery session monitoring), 에러 제어(error control), 하이브리드망 동기화 제어(Hybrid network synchronization control)에 관한 전달 계층(D-layer)의 전달 엔드-포인트들(delivery end-points)간에 교환되는 제어 메시지의 포맷을 정의할 수 있다.
S.2 계층은 전달 계층의 동작을 지원하기 위하여 전달 세션 설정 및 해제(delivery session establishment and release), 전달 세션 모니터링, 흐름 제어, 에러 제어, 설정된 전달 세션에 대한 리소스 예약, 복합 전달 환경하에서의 동기화를 위한 시그널링, 적응적 전달(adaptive delivery)를 위한 시그널링을 포함할 수 있다. 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 즉, S.2 계층은 전술한 바와 같은 전달 계층의 동작을 지원하기 위하여 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 또한, S.2 계층은 전달 계층 및 캡슐화 계층과의 인터페이스 기능을 담당할 수 있다.
도 2는 도 1의 MMT 계층 구조의 각 계층별로 사용되는 단위 정보(또는 데이터 또는 패킷)의 포맷을 나타낸다.
미디어 프래그먼트 유닛(Media Fragment Unit; MFU)(130)은 부호화된 미디어 분할 데이터(coded media fragment data, 132)와 MFUH(Media Fragment Unit Header)(134)로 이루어질 수 있다. 미디어 프래그먼트 유닛(130)은 특정 코덱(codec)에 독립적으로 일반 컨테이너 포맷(general container format)을 가지며 미디어 디코더에서 독립적으로 소비될 수 있는 가장 작은 데이터 유닛을 싣을 수 있다. MFUH(134)는 미디어 특성-예를 들어 유실 허용한계(loss-tolerance)와 같은 부가 정보를 포함할 수 있다. MFU)(130)는 예를 들어 비디오의 픽춰(picture) 또는 슬라이스(slice)가 될 수 있다.
미디어 프래그먼트 유닛(Media Fragment Unit; MFU)은 MFU의 범위에서 적응적인 전송을 수행하기 위해 전송 계층에서 AU의 부분을 캡슐화하는 형식을 정의할 수 있다. MFU는 AU의 부분이 독립적으로 디코드되거나 폐기될 수 있도록 부호화된 미디어의 일정한 형식을 전송하는데 사용될 수 있다.
MFU는 다른 MFU들로부터 하나의 MFU를 구별하기 위한 식별자를 가지고, 단일 AU 내의 MFU들 사이의 일반적인 관계 정보를 가질 수 있다. 단일 AU에서의 MFU 사이의 의존 관계가 설명되고, MFU의 관련 우선순위가 그러한 정보들의 부분으로 설명될 수 있다. 상기 정보는 하위 전송 계층에서 전송을 다루는데 사용될 수 있다. 예를 들면, 전송 계층은 불충분한 대역폭에서의 QoS 전송을 지원하도록, 폐기해도 되는 MFU들의 전송을 생략할 수 있다. MFU 구조의 상세한 설명은 후술한다.
MPU는 복수의 미디어 프래그먼트 유닛(130)을 포함하는 미디어 프래그먼트 유닛의 집합이다. MPU는 특정 코덱(codec)에 독립적으로 일반 콘테이너 포맷(general container format)을 가질 수 있으며 액세스 유닛(Access Unit)과 등가의 미디어 데이터를 포함할 수 있다. MPU는 시간 데이터 유닛(timed data unit) 또는 비-시간 데이터 유닛(non-timed data unit) 을 가질 수 있다.
MPU는 MMT를 따르는 개체에 의해 독립적이고 완전하게 처리된 데이터이고, 상기 처리는 캡슐화 및 패킷화를 포함할 수 있다. MPU는 적어도 하나의 MFU로 구성되거나 다른 표준에 의해 정의된 포맷을 가진 데이터의 부분을 가질 수 있다.
단일 MPU는 적어도 하나의 AU의 진정수(integral number) 또는 비-시간 데이터를 수용할 수 있다. 시간 데이터를 위하여, AU는 적어도 하나의 MFU로부터 전달될 수 있으나, 하나의 AU는 다수의 MPU로 분할될 수 없다. 비-시간 데이터에서, 하나의 MPU는 MMT를 준수하는 개체에 의해 독립적이고 완전하게 처리된 비-시간 데이터의 부분을 수용한다.
MPU는 시퀀스 번호 및 이를 다른 MPU와 구분하여주는 연관된 애셋 ID로 MMT 패키지 내에서 유일하게 식별될 수 있다
MPU는 적어도 하나의 임의 접근점을 가질 수 있다. MPU 페이로드의 첫 바이트는 항상 임의 접근점으로 시작할 수 있다. 시간 데이터에서, 상기 사실은 MPU 페이로드에서 첫 MFU의 디코딩 순서는 항상 0임을 의미한다. 시간 데이터에서, 각 AU의 프리젠테이션 기간 및 디코딩 순서는 프리젠테이션 시간을 알리기 위해 보내질 수 있다. MPU는 자신의 초기 프리젠테이션 시간을 가지고 있지 않고, 하나의 MPU의 첫 AU의 프리젠테이션 시간은 컴포지션 정보에 기술되어 있을 수 있다. 컴포지션 정보는 MPU의 첫 프리젠테이션 시간을 명시할 수 있다. 상세한 사항은 후술한다.
MMT 애셋(150)은 복수의 MPU들로 이루어진 MPU의 집합이다. MMT 애셋(150)은 단일의 데이터 소스로부터의 다수의 MPU(시간(timed) 또는 비-시간(non-timed) 데이터)로 이루어진 데이터 엔티티로서, MMT 애셋 정보(152)는 애셋 패키징 메타데이터(Asset packaging metadata) 및 데이터 타입과 같은 부가 정보를 포함한다. MMT 애셋(150)은 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 FF(File Format), PES(packetized elementary streams), M2TS(MPEG transport stream)등을 포함할 수 있다.
MMT 애셋(MMT Asset)은 부호화된 미디어 데이터를 수용하는 논리적 데이터 개체이다. MMT 애셋은 MMT 애셋 헤더 및 부호화된 미디어 데이터로 구성될 수 있다. 상기 부호화된 미디어 데이터는 동일한 MMT 애셋 ID로 MPU들의 집합적 참조 그룹이 될 수 있다. MMT 클라이언트에 직접적으로 연결된 개체에 의해 개별적으로 소비될 수 있는 타입의 데이터는 개별적인 MMT 애셋으로 고려될 수 있다. 개별적인 MMT 애셋으로 고려될 수 있는 데이터 타입의 예로 MPEG-2 TS, PES, MP4 file, MPEG-U Widget Package, JPEG file 등을 들 수 있다.
MMT 애셋의 부호화된 미디어는 시간 데이터 또는 비-시간 데이터 일 수 있다. 시간 데이터는 지정된 시간에 특정 데이터의 동기화된 디코딩 및 프리젠테이션이 요구되는 시청각 미디어 데이터이다. 비-시간 데이터는 서비스의 제공 또는 사용자 상호작용에 따라 임의의 시간에 디코딩되고 제공될 수 있는 데이터 타입의 데이터이다.
서비스 제공자(service provider)는 MMT 애셋들을 통합하여 MMT 애셋들을 공간-시간축상에 두고 멀티미디어 서비스를 생성할 수 있다.
MMT 패키지(160)는 하나 또는 하나 이상의 MMT 애셋(150)을 포함하는 MMT 애셋의 집합이다. MMT 패키지 내의 MMT 애셋들은 다중화되거나 또는 사슬같이 연결(concatenated)될 수 있다.
MMT 패키지는 MMT 애셋 및 구성 정보를 위한 컨테이너 포맷이다. MMT 패키지는 MMT 프로그램을 위한 MMT 애셋 및 구성 정보의 저장소를 제공한다.
MMT 프로그램 제공자는 부호화된 데이터를 MMT 애셋으로 캡슐화하고 MMT 애셋과 그들의 전송 특성의 시간적 및 공간적 레이아웃을 설명하는 것으로 구성 정보를 생성한다. MU 및 MMT 애셋은 D.1 페이로드 포맷으로 직접적으로 전송될 수 있다. 구성 정보는 C.1 프리젠테이션 세션 관리 메시지에 의해 전송될 수 있다. 그러나 MMT 프로그램의 릴레이 또는 추후의 재사용을 허용하는 MMT 프로그램 제공자 및 클라이언트는 MMT 패키지 포맷으로 이를 저장한다.
MMT 패키지를 파싱하는데 있어, MMT 프로그램 제공자는 MMT 애셋이 클라이언트에게 어떤 전송 경로(예를들면, 브로드캐스트 또는 브로드밴드)로 제공될지를 결정한다. MMT 패키지에서의 구성 정보는 전송 관련 정보와 함께 C.1 프리젠테이션 세션 관리 메시지로 전송된다.
클라이언트는 C.1 프리젠테이션 세션 관리 메시지를 수신하여 어떤 MMT 프로그램이 가능하고 어떻게 해당되는 MMT 프로그램을 위한 MMT 애셋을 수신하는지를 알게된다.
MMT 패키지는 D.1페이로드 포맷에 의해 또한 전송될 수 있다. MMT 패키지는 D.1 페이로드 포맷으로 패킷화 되고 전달된다. 클라이언트는 패킷화된 MMT 패키지를 수신하고 이의 전부 또는 일부를 구성하고, 여기서 MMT 프로그램을 소비한다.
MMT 패키지(160)의 패키지 정보(package information)(165)는 구성 정보(Configuration Information)를 포함할 수 있다. 구성 정보(Configuration Information)는 MMT 애셋들의 리스트, 패키지 식별 정보(package identification information), 콤포지션 정보(composition information)(162) 및 전송 특성(transport characteristics)(164)와 같은 부가 정보를 포함할 수 있다. 콤포지션 정보(composition information)(162)는 MMT 애셋(150)들 사이의 관계(relationship)에 대한 정보를 포함한다.
또한, 콤포지션 정보(composition information)(162)는 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다. 콤포지션 정보(composition information)(162)는 MMT 패키지내의 시간적, 공간적, 적응적 관계(relationship)에 대한 정보를 포함할 수 있다.
MMT 패키지의 전송 및 프리젠테이션을 돕는 정보와 같이, MMT에서의 컴포지션 정보(Composition Information)는 MMT 패키지 내의 MMT 애셋 사이의 공간적 및 시간적 관계에 대한 정보를 제공한다.
MMT-CI는 HTML5를 확장하여 정보를 제공하는 설명적인 언어이다. HTML5가 텍스트 기반 컨텐츠의 페이지기반 프리젠테이션을 설명하도록 설계되었다면, MMT-CI는 주로 소스들간의 공간적인 관계를 표현한다. MMT 애셋들 간의 시간적 관계를 알려주는 표현을 지원하기 위하여, 프리젠테이션 리소스와 같이 MMT 패키지에 있는 MMT 애셋에 관련된 정보, MMT 애셋의 전송 및 소비 순서를 결정하는 시간 정보 및 HTML5에서 다양한 MMT 애셋을 소비하는 미디어 요소들의 추가적인 속성을 가지도록 확장될 수 있다. 자세한 설명은 후술한다.
전송 특성(transport characteristics) 정보(164)는 전송 특성에 대한 정보를 포함하며, 각각의 MMT 애셋(또는 MMT 패킷)의 전송 조건(delivery condition)을 결정하기 위해 필요한 정보를 제공할 수 있다. 전송 특성 정보는 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다.
트래픽 기술 파라미터는 미디어 프래그먼트 유닛(MFU)(130) 또는 MPU에 대한 비트율(bitrate) 정보, 우선 순위(priority) 정보 등을 포함할 수 있다. 비트율 정보는 예를 들어 MMT 애셋이 가변 비트율(Variable BitRate; VBR) 또는 고정 비트율(Constant BitRate; CBR)인지 여부에 대한 정보, 미디어 프래그먼트 유닛(MFU)(또는 MPU)에 대해 보장된 비트율(guaranteed bitrate), 미디어 프래그먼트 유닛(MFU)(또는 MPU)에 대한 최대 비트율을 포함할 수 있다. 상기 트래픽 기술 파라미터는 전달 경로상의 서버, 클라이언트, 기타 다른 구성요소들 간에 리소스 예약(resource reservation)을 위해 사용될 수 있으며, 예를 들어 MMT 애셋내의 미디어 프래그먼트 유닛(MFU)(또는 MPU)의 최대 크기 정보를 포함할 수 있다. 상기 트래픽 기술 파라미터는 주기적 또는 비주기적으로 업데이트될 수 있다.
QoS 기술자는 QoS 제어를 위한 정보를 포함하며, 예를 들어 지연(delay) 정보 및 손실 정보(loss information)를 포함할 수 있다. 손실 정보는 예를 들어 MMT 애셋의 전달 손실(delivery loss)이 허용되는지 않되는지에 대한 손실 지시자(loss indicator)를 포함할 수 있다. 예를 들어 손실 지시자가 '1' 인 경우 'lossless'를 나타내고, '0'인 경우에는 'lossy'를 나타낼 수 있다. 지연(delay) 정보는 MMT 애셋의 전송 지연의 민감도를 구분하는데 사용되는 지연 지시자(delay indicator)를 포함할 수 있다. 지연 지시자는 MMT 애셋의 타입이 대화(conversation), 인터랙티브(interactive), 실시간(real time) 및 비실시간(non-realtime) 인지 여부를 지시할 수 있다.
하나의 컨텐츠(content)는 하나의 MMT 패키지로 이루어질 수 있다. 또는 하나의 컨텐츠(content)는 복수개의 MMT 패키지로 이루어질 수도 있다.
하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 시간적(temporal), 공간적(spatial), 적응적(adaptive) 관계(relationship)를 나타내는 콤포지션 정보(composition information) 또는 구성 정보(configuration information)가 MMT 패키지들 중에 하나의 MMT 패키지 내부에 존재하거나 MMT 패키지 외부에 존재할 수 있다.
예를 들어 하이브리드 전송(hybrid delivery)의 경우 컨텐츠 컴포넌트(content component)들 중 일부는 방송망(broadcast network)을 통해 전송되고 컨텐츠 컴포넌트(content component)들 중 나머지 부분은 광대역망(broadband network)을 통해 전송될 수 있다. 예를 들어 하나의 멀티뷰 서비스를 구성하는 복수의 AV 스트림(audiovisual stream)의 경우 하나의 스트림은 방송망으로 전송되고 다른 스트림은 광대역망으로 전송될 수 있으며, 각각의 AV 스트림은 다중화되고 클라이언트 단말에 개별적으로 수신되어 저장될 수 있다. 또는 예를 들어 위젯(widget)과 같은 애플리케이션 소프트웨어는 광대역망으로 전송되고, AV 스트림(AV 프로그램)은 기존 방송망으로 전달되는 시나리오도 존재할 수 있다.
상기와 같은 멀티뷰 서비스 시나리오 및/또는 위젯(widget) 시나리오의 경우, 복수의 AV 스트림 전체가 하나의 MMT 패키지로 될 수 있으며, 이 경우에는 복수의 스트림 중의 하나는 하나의 클라이언트 단말에만 저장될 수 있고, 스토리지 컨텐츠(storage content)는 MMT 패키지의 부분이 되며, 클라이언트 단말은 콤포지션 정보(composition information) 또는 구성 정보(configuration information)를 재기록 해야하고, 재기록 된 컨텐츠는 서버와 무관한 새로운 MMT 패키지가 된다.
상기와 같은 멀티뷰 서비스 시나리오 및/또는 위젯(widget) 시나리오의 경우, 각각의 AV 스트림이 하나의 MMT 패키지로도 될 수 있으며, 이 경우에는 복수의 MMT 패키지가 하나의 컨텐츠를 구성하게 되며, 스토리지(storage)에는 MMT 패키지 단위로 기록되며, MMT 패키지들간의 관계(relationship)를 나타내는 컴포지션 정보 또는 구성 정보가 필요하다.
하나의 MMT 패키지내에 포함된 컴포지션 정보 또는 구성 정보(configuration information)는 다른 MMT 패키지내의 MMT 애셋을 참조할 수 있으며, 또한 아웃-밴드(out-band) 상황에서 MMT 패키지를 참조하는 MMT 패키지의 외부를 표현할 수 있다.
한편, 서비스 제공자(service provider)에 의해 제공된 MMT 애셋(160)들의 리스트 및 MMT 패키지(160)의 전달을 위해 가능한 경로를 클라이언트 단말에게 알려주기 위하여 MMT 패키지(160)는 제어(C) 계층을 통하여 서비스 디스커버리 정보(Service discovery information)로 번역되어 MMT 제어 메시지에는 서비스 디스커버리를 위한 정보 테이블을 포함할 수 있다.
멀티미디어 컨텐츠를 복수개의 세그먼트로 분할한 서버는 소정의 개수로 분할된 복수개의 세그먼트들에 URL 정보를 할당하고, 각각의 세그먼트들에 대한 URL 정보를 미디어 정보 파일에 저장하여 클라이언트로 전송한다.
상기 미디어 정보 파일은 HTTP 스트리밍을 표준화하는 표준화 기구에 따라서'미디어 표현 기술(MPD: Media Presentation Description)' 또는 '매니페스트 파일(Manifest file)' 등의 다양한 명칭으로 불리어 질 수 있다. 이하에서는 상기 미디어 정보 파일은 미디어 표현 기술(MPD)로 지칭하고 설명한다.
이하 교차 계층 인터페이스에 대하여 설명한다.
교차 계층 인터페이스(Cross Layer Interface; CLI) 는 응용계층 및 MAC/PHY 계층을 포함하는 하위 계층 사이에서 QoS 관련 정보를 교환하는 것으로 QoS를 지원하는 수단을 단일 개체에서 제공한다. 하위 레이어가 네트워크 채널 상태와 같은 상향식 QoS 정보를 제공하는 한편 응용계층은 하향식 QoS정보로 미디어 특성에 관련된 정보를 제공한다..
교차 계층 인터페이스는 응용계층과 IEE802.11 WiFi, IEEE 802.16 WiMAX, 3G, 4G LTE 등을 포함하는 다양한 네트워크 계층 사이에서 통합된 인터페이스를 제공한다. 인기있는 네트워크 표준의 공통된 네트워크 파라미터들은 다양한 네트워크를 통하는 실시간 미디어 어플리케이션의 정적 및 동적 QoS 제어를 위하여 NAM 파라미터로 발췌된다. NAM 파라미터는 비트 에러율인 BER 값을 포함할 수 있다. BER은 PHY 또는 MAC 계층에서 측정될 수 있다. 또한 NAM은 하부 네트워크의 식별, 가능한 비트율, 버퍼상태, 피크 비트율, 서비스 유닛 크기 및 서비스 데이터 유닛 유실율을 제공한다.
두개의 상이한 방법이 NAM을 제공하는 데에 사용될 수 있다. 첫째 방법은 절대적인 값을 제공하는 것이다. 그리고 둘째 방법은 상대적인 값을 제공하는 것이다. 둘째 방법은 접속중에 NAM을 업데이트하는 용도로 사용할 수 있다.
응용계층은 하위 계층에 대한 미디어 특성에 관련된 하향식 QoS 정보를 제공한다. MMT 애셋 레벨 정보 및 패킷 레벨 정보와 같이 두 가지의 하향식 정보가 존재한다. MMT 애셋 정보는 하위 계층에서 용량 교환 및/또는 자원 (재)할당을 위하여 사용된다. 패킷 레벨 하향식 정보는 지원하는 QoS 레벨을 식별하도록 하위 계층을 위하여 모든 패킷의 적절한 필드에 기록되어 있다.
하위 계층은 응용 계층에 상향식 QoS 정보를 제공한다. 하위 계층은 응용 계층에서 빠르고 보다 정확한 QoS 제어를 가능하게 하는 시간에 따라 변하는 네트워크 상태에 관련된 정보를 제공한다. 상향식 정보는 이종의 네트워크 환경을 지원하기 위해 추상화된 형태로 표현된다. 이러한 파라미터들은 하위 계층에서 측정되고, 주기적으로 또는 MMT 어플리케이션의 요청에 따라 응용 계층에서 읽어진다.
도 3은 MMT 하이브리드 전송 서비스를 위한 시스템 구조를 나타낸 블록도이다. 도 3에 도시된 바와 같이, MMT 하이브리드 전송 시스템은 송신 장치(310-1, 310-2, ..., 310-N), 네트워크(320-1, 320-2, ..., 320-N) 및 수신 장치(330)를 포함할 수 있다.
도 3을 참조하면, 송신 장치(310-1, 310-2, ..., 310-N)는 복수 개일 수 있다. 송신 장치(310-1, 310-2, ..., 310-N)는 영상, 음성 및 데이터 정보를 생성하여 수신측으로 전송한다. 예컨대, 송신 장치(310-1, 310-2, ..., 310-N)는 영상, 음성 및 데이터와 같은 컨텐츠를 각각 생성하여, 송신 장치 1(310-1)은 영상 정보를, 송신 장치 2(310-2)는 음성 정보를 각각 서로 다른 네트워크(320-1, 320-2, ..., 320-N)를 이용하여 수신측으로 전송할 수 있다. 송신 장치(310-1, 310-2, ..., 310-N)는 방송국일 수 있다. 송신 장치(310-1, 310-2, ..., 310-N)는 동일한 네트워크를 통해 미디어 스트림 또는 MMT 패킷을 전송할 수도 있으나, 서로 다른 네트워크를 통해 미디어 스트림 또는 MMT 패킷을 전송할 수도 있다.
네트워크(320-1, 320-2, ..., 320-N)는 복수 개일 수 있다. 예컨대, 네트워크 1(320-1)는 방송망(broadcating network)이고, 네트워크 2(320-2)는 통신망(communication network)일 수 있다. 네트워크(320-1, 320-2, ..., 320-N)의 종류가 다름으로 해서 네트워크 지터(jitter) 또는 지연(delay)의 양이 다를 수 있고, 따라서 하나의 AV 소스에 대해 수신측에 도달하는 시간을 서로 다를 수 있다. 즉, 네트워크(320-1, 320-2, ..., 320-N)는 동일 네트워크 내에서는 기준 시간을 정해놓고, 동일한 기준에 맞춰 동기화를 수행하나, 서로 다른 네트워크(320-1, 320-2, ..., 320-N)를 통해 미디어 스트림을 전송하는 경우에는 기준 시간이 정확히 일치하지 않기 때문에 수신측에서의 동기화가 불가능한 경우가 발생할 수 있다.
수신 장치(330)는 서로 다른 네트워크(320-1, 320-2, ..., 320-N)를 통해 전송되는 미디어 스트림 또는 MMT 패킷을 수신할 수 있다. 다만, 반드시 서로 다른 네트워크(320-1, 320-2, ..., 320-N)를 통해 수신해야 하는 것은 아니다. 예컨대, 동일한 AV 소스에 대해 영상 정보는 네트워크 1(320-1)을 통해 송신 장치(310-1)로부터 수신하고, 음성 정보는 네트워크 2(320-2)를 통해 송신 장치(310-2)로부터 수신할 수 있다. 수신 장치(330)는 무선 또는 유선 통신을 수행할 수 있는 단말기일 수 있다.
도 4는 본 발명의 일 실시예에 따른 MMT 패킷 전송 장치의 구성을 개략적으로 나타낸 블록도이다. 도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 MMT 패킷 전송 장치는 MPU 생성부(410), 동기화 정보 생성부(415), 애셋 생성부(420), 패킷화부(430) 및 전송부(440)를 포함할 수 있다.
도 4를 참조하면, MPU 생성부(410)는 미디어 액세스 유닛(AU: Access Unit)을 기반으로 미디어 프로세싱 유닛(MPU: Media Processing Unit)을 생성한다. MPU 생성부(410)에서의 미디어 프로세싱 유닛 생성 과정은 캡슐화를 통해 E-layer에서 이루어질 수 있다.
동기화 정보 생성부(415) 생성된 MPU에 포함된 미디어 액세스 유닛(AU)의 PTS 값에 대응되는 UTC(Universal Time Clock) 시간 정보를 생성한다. 여기서, 반드시 UTC 시간 정보를 사용해야만 하는 것은 아니고, 서로 다른 네트워크에서 기준을 삼을 수 있는 다른 표준 시간 정보를 사용하는 것도 가능하다. UTC는 세계 여러 나라에서 사용하는 표준 시간 척도이고, 일반 전화망, 인터넷 망, 위성 통신 시스템, 위성 항법 시스템 등과 같은 다양한 채널을 통해 제공된다. 따라서, 본 발명의 일 실시예에 따르면, UTC를 공급하는 상기 장비와 직접 연결된 컴퓨터 장치에 의해 UTC 시간을 획득할 수 있다. UTC 시간을 타임스탬프 방식으로 표현할 수 있다. 이때, 사용될 수 있는 포맷으로 표준 프로토콜 포맷인 NTP(Network Time Protocol)가 있다. NTP는 네트워크들의 동기화에 유용하게 활용될 수 있고, 현재 RTP 프로토콜에서 채택되어 사용되고 있는 표준 프로토콜이다. 그러나, 현재의 RTP에 사용되는 NTP 시간 정보는 오디오 및 비디오의 액세스 유닛(AU) 데이터에 대한 인코더에서의 샘플링된(capturing) 순간에서의 로컬 클럭에 읽힌 RTP 타임스탬프 값에 대응되는 기준 클러(wall-clock)의 시간을 NTP 포맷 타임스탬프로 표현한 것이다. 이 NTP 시간 정보는 RTCP SR(Sender Report) 패킷에 별도로 실려서 대역외(out-of-band) 방식으로 서버에서 클라이언트로 주기적으로 전달된다. 대역외 방식으로 NTP 시간 정보를 주기적으로 전달할 경우, 네트워크 대역폭의 낭비를 초래할 수 있고, 서버와 클라이언트가 별도의 포트(port)를 오픈하여 RTCP SR 패킷 스트림을 처리해야 하므로 포트의 낭비가 초래되고 구현 복잡도가 높아지게 된다.
따라서, 본 발명의 일 실시예에 따른 MMT 패킷 전송 장치의 동기화 정보 생성부(415)는 MMT의 E-layer의 타이밍 정보로서 MPU 생성부(410)에서 생성된 MPU 단위마다 상기 UTC 시간 정보를 생성할 수 있다. 이때, 생성된 UTC 시간을 MPU 헤더 부분이나 MMT-CI에 기록하여 대역내(in-band) 방식으로 클라이언트로 전송함으로써 낮은 데이터량과 낮은 복잡도로 하이브리드 전송에서의 미디어 동기화를 실현할 수 있다.
동기화 정보 생성부(415)는 MPU 내에 포함된 복수 개의 미디어 액세스 유닛(AU) 중에 첫 번째 액세스 유닛(AU)의 PTS에 대응되는 UTC 시간을 추출하여 UTC 시간 정보를 생성할 수 있다. UTC 시간 정보는 모든 미디어 프로세싱 유닛(MPU) 데이터에 포함된 여러 개의 액세스 유닛(AU) 가운데 첫 번째 액세스 유닛(AU)이 갖는 PTS 값에 해당하는 기준 클럭(wall clock) 값을 의미할 수 있다. 다만, 반드시 모든 미디어 프로세싱 유닛(MPU)에 대해 UTC 시간 정보가 할당되는 것은 아니고, 동기화 정밀도를 고려하여 상기 UTC 시간 정보의 할당 빈도를 조절할 수 있다. 즉, 동기화 정밀도가 높은 경우, 모든 액세스 유닛(AU)마다 UTC 시간 정보를 생성하고, 동기화 정밀도가 상대적으로 낮은 경우, 액세스 유닛(AU) 2개 또는 3개마다 하나의 UTC 시간 정보를 갖도록 생성할 수 있다.
이때, 생성되는 UTC 시간 정보는 동기화 정밀도 또는 UTC 시간의 해상도에 따라 길이가 가변될 수 있다. 동기화 정보 생성부(415)에서 생성되는 UTC 시간 정보는 NTP 포맷을 통해 표현될 수 있다. 본 발명의 일 실시예에 따르면, UTC를 표현함에 있어 NTP 포맷을 사용하되, 기존의 RTP 방식에서 사용되는 64 비트 길이의 고정된 길이를 갖지 않고, 요구되는 동기화 정밀도에 따라 다양한 NTP 타임스탬프 길이를 가질 수 있다.
애셋 생성부(420)는 MPU 생성부(410)에서 생성된 미디어 프로세싱 유닛(MPU)을 기반으로 캡슐화를 수행하여 MMT 애셋을 생성한다. 이때, 동기화 정보 생성부(415)에서 생성된 UTC 시간 정보를 MPU 헤더 또는 MMT-CI에 삽입하여 MMT 애셋을 생성할 수 있다.
패킷화부(430)는 애셋 생성부(420)에서 생성된 MMT 애셋을 패킷화하여 MMT 패킷을 생성한다. 패킷화부(430)는 복수 개의 MMT 애셋과 MMT-CI 및 전송 특성 정보를 기반으로 MMT 패키지를 생성하고, 생성된 MMT 패키지를 기반으로 MMT 패킷을생성할 수 있다.
전송부(440)는 생성된 MMT 패킷을 수신측으로 전송한다.
도 5는 본 발명의 일 실시예에 따른 MMT 패킷 전송 방법을 개략적으로 나타낸 흐름도이다.
도 5를 참조하면, MMT 패킷 전송 장치는 미디어 액세스 유닛(AU)을 입력받을 수 있다(S510). 미디어 액세스 유닛(AU)은 영상, 음성 및 데이터 관련 정보를 포함할 수 있고, 다른 장치에서 전송되는 액세스 유닛(AU)과 동기화될 정보일 수 있다. 액세스 유닛(AU) 입력 후, MMT 패킷 전송 장치는 상기 미디어 액세스 유닛(AU)을 캡슐화하여 미디어 프로세싱 유닛(MPU)을 생성한다(S520). 그리고는, 미디어 프로세싱 유닛(MPU)에 포함된 미디어 액세스 유닛(AU) 중 첫 번째 미디어 액세스 유닛(AU)에 대한 PTS를 생성한다(S530). 이때 생성되는 PTS 정보는 MMT 패킷 전송 장치의 로컬 클럭에 의해 생성된다. 따라서, 다른 네트워크를 통해 전송되는 MMT 패킷의 로컬 클럭과 클럭 시간에 차이가 존재할 수 있다. MMT 패킷 전송 장치는 상기 PTS에 대응하는 UTC 정보를 생성할지 결정한다(S540). 예컨대, MMT 패킷 전송 장치는 네트워크 환경을 파악하여, 서로 다른 종류의(heterogeneous) 네트워크에 속한 서로 다른 서버(또는 장치)로부터 미디어 스트림이 송수신되는 하이브리드 전송 환경에 해당하는지 판단한다. 판단 결과, 하이브리드 전송 환경에 해당하는 경우, UTC 시간 정보가 필요하므로, UTC 정보를 생성하도록 결정하고, 그렇지 않고, 동일 네트워크를 통해서 미디어 스트림이 전송되는 전송 환경에 해당하는 경우에는 UTC 시간 정보를 생성하지 않고, 로컬 클럭에 의해 생성된 시간 정보만을 가지고 동기화를 맞출 수 있다. MMT 패킷 전송 장치는 UTC 시간 정보의 생성 여부와 관련된 정보를 UTC 해상도 정보(UTC_resolution)에 포함시켜 수신측으로 전송할 수 있다. 상기 UTC 해상도 정보가 "00"인 경우, UTC 정보는 생성되지 않고, MMT 패킷의 시간 관련 정보에 UTC 정보는 포함되지 않는 것으로 판단할 수 있다. 상기 UTC 해상도 정보가 "00"이 아닌 경우, UTC 정보가 생성되었고 MMT 패킷 내에 포함되어 전송되는 것으로 판단할 수 있다. UTC 정보를 생성하지 않는 경우, 즉, UTC 해상도 정보가 "00"인 경우, UTC 해상도가 "00"이라는 UTC 해상도 정보를 생성하고(S555), 실제 UTC와 관련된 별도의 시간 정보 삽입 과정 없이 바로 미디어 프로세싱 유닛(MPU)을 캡슐화하여 MMT 애셋을 생성할 수 있다(S570).
UTC 정보가 생성되는 경우, 전술한 바와 같이, UTC 해상도 정보를 포함하고, 미디어 프로세싱 유닛(MPU)의 첫 번째 액세스 유닛(AU)의 PTS에 대응하는 UTC 시간 정보를 생성한다(S550). 이때, UTC 시간 정보의 NTP 타임스탬프 비트 길이는 32, 48 및 64 중 적어도 어느 하나의 길이를 가질 수 있다. 그리고는 MMT 패킷 전송 장치는 상기 생성된 UTC 시간 정보를 미디어 프로세싱 유닛(MPU)의 헤더 또는 MMT-CI에 저장할 수 있다(S560). 상기 UTC 시간 정보는 반드시 MPU의 헤더 또는 MMT-CI에 저장되어야 하는 것은 아니고, MMT 패킷의 다른 부분에 저장될 수 있다. 그리고는, MMT 패킷 전송 장치는 미디어 프로세싱 유닛(MPU)을 캡슐화하여 MMT 애셋을 생성한다(S570).
도 6은 본 발명의 일 실시예에 따른 MMT 패킷 전송 장치의 동기화 정보 생성부가 MPU의 첫 번째 AU의 PTS를 기반으로 UTC 정보를 생성하는 것을 설명하기 위한 개념도이다.
도 6을 참조하면, 미디어 프로세싱 유닛(MPU)은 MPU 헤더(610) 및 MPU 페이로드(620)를 포함할 수 있다. MPU 헤더(610)는 MPU 페이로드에 속한 데이터와 관련된 정보를 포함한다. MPU 페이로드(620)는 복수 개의 액세스 유닛(630-1, 630-2, ..., 630-N)을 포함할 수 있다. 각각의 액세스 유닛(630-1, 630-2, ..., 630-N)은 PTS 정보 및 DTS 정보를 포함할 수 있다.
본 발명의 일 실시예에 따라 생성되는 UTC 시간 정보는 미디어 프로세싱 유닛(MPU)에 속한 복수 개의 액세스 유닛(630-1, 630-2, ..., 630-N) 중 첫 번째 액세스 유닛(630-1)의 PTS 정보를 기반으로 생성될 수 있다. 즉, 첫 번째 액세스 유닛(630-1)의 PTS에 대응되는 UTC를 기반으로 UTC 시간 정보를 생성할 수 있다. 그리고, 두 번째 이후의 액세스 유닛(AU)에 대한 PTS 정보는 첫 번째 액세스 유닛(AU)의 UTC 시간 정보를 기반으로 액세스 유닛(AU) 간의 PTS 시간 차이를 통해 획득할 수 있다. 본 발명의 실시예에 따르면, UTC 시간 정보는 미디어 프로세싱 유닛(MPU) 단위로 할당될 수 있다. 즉, i 번째 미디어 프로세싱 유닛(MPU)의 첫 번째 액세스 유닛(AU)의 PTS에 대응하는 UTC 시간 정보를 생성한 이후, i+1 번째 미디어 프로세싱 유닛(MPU)의 첫 번째 액세스 유닛(AU)의 PTS에 대응하는 UTC 시간 정보를 생성할 수 있다. 다만, 반드시 모든 미디어 프로세싱 유닛(MPU)에 UTC 시간 정보가 할당되야 하는 것은 아니고, 동기화 정밀도 또는 UTC 시간 정밀도에 따라 미디어 프로세싱 유닛(MPU)에 대한 할당 빈도가 결정될 수 있다. 따라서, 일정한 주기를 바탕으로 전송측에서 생성하는 미디어 프로세싱 유닛(MPU) 데이터의 헤더 부분이나 MMT-CI에 상기 정보를 기록하여 수신측으로 전송할 수 있다.
도 7은 본 발명의 일 실시예에 따른 MMT 패킷 전송 장치가 생성된 UTC 정보를 MPU 헤더 또는 MMT-CI에 저장하는 것을 설명하기 위한 개념도이다.
도 7을 참조하면, MMT 패킷 전송 장치는 UTC 시간 정보를 MPU 헤더(710) 또는 MMT-CI(730)에 포함할 수 있다. UTC 시간 정보는 UTC 시간 정보의 해상도 정보(712: UTC_resolution) 및 실제 UTC 정보(714)를 포함할 수 있고, 여기서 실제 UTC 시간 정보(714: UTC_32, UTC_48 및 UTC_64 중 적어도 어느 하나)는 32, 48 및 64 비트의 길이로 표현될 수 있다. 여기서, UTC 시간 정보의 해상도 정보(712)는 반드시 포함되어야 하고, 상기 해상도 정보(712)를 기반으로 실제 UTC 정보(714)의 포함 여부가 결정될 수 있다. 이때, UTC 시간 정보를 표현하기 위한 포맷으로 NTP 타임스탬프 포맷을 사용하는데, 본 발명의 실시예에서는 기존과 같이 고정된 64 비트의 길이를 사용하지 않고, 요구되는 동기화 정밀도에 따라 32비트, 48비트 또는 64 비트의 NTP 타임스탬프의 길이를 선택적으로 사용할 수 있다.
표 1은 MMT MPU 데이터의 헤더에 기록되는 UTC 시간 정보를 위한 신택스(syntax)를 나타낸 것이다.
표 1
Figure PCTKR2013005086-appb-T000001
여기서, UTC_resolution은 2비트로 나타낼 수 있고, UTC 시간을 표현하기 위한 NTP 타임스탬프의 해상도를 나타낸다. 이 값이 "00"인 경우, UTC 시간 정보는 존재하지 않는다. 이값이 "01"일 경우, UTC 시간을 나타내기 위한 NTP 타임스탬프의 해상도는 32비트이다. 이 값이 "10"일 경우, UTC 시간을 나타내기 위한 NTP 타임스탬프의 해상도는 48비트이다. 이 값이 "01"일 경우, UTC 시간을 나타내기 위한 NTP 타임스탬프의 해상도는 64비트이다.
그리고, UTC_32는 미디어 프로세싱 유닛(MPU)의 첫 번째 액세스 유닛(AU)의 PTS 시간에 대응하는 UTC 시간 정보를 32비트의 NTP 타임스탬프로 나타낸 값을 의미한다. 그리고, UTC_48은 미디어 프로세싱 유닛(MPU)의 첫 번째 액세스 유닛(AU)의 PTS 시간에 대응하는 UTC 시간 정보를 48비트의 NTP 타임스탬프로 나타낸 값을 의미한다. 마찬가지로, UTC_64는 미디어 프로세싱 유닛(MPU)의 첫 번째 액세스 유닛(AU)의 PTS 시간에 대응하는 UTC 시간 정보를 64비트의 NTP 타임스탬프로 나타낸 값을 의미한다.
이때, 32비트의 NTP 타임스탬프를 사용하는 경우(UTC_32), 16 비트의 정수 초단위 표현 구간과 16 비트의 소수점 초단위 표현 구간으로 나뉘어지고, 48 비트의 NTP 타임스탬프의 경우(UTC_48), 16 비트의 정수 초단위 표현 구간과 32 비트의 소수점 초단위 표현 구간으로 나뉘어지며, 64 비트의 NTP 타임스탬프의 경우(UTC_64), 32 비트의 정수 초단위 표현 구간과 32 비트의 소수점 초단위 표현 구간으로 나뉘어질 수 있다. 이처럼 요구되는 UTC 시간 정밀도에 따라 NTP 타임스탬프의 해상도를 선택적으로 적용함으로써 NTP 타임스탬프 값에 소요되는 비트의 길이를 대폭 줄일 수 있다. 현재 RTP의 경우, NTP 타임스탬프의 길이가 항상 64 비트로 고정되어 있어서, NTP 타임스탬프의 표현에 소요되는 비트량의 낭비가 많은데, 본 발명의 실시예에 따르면, 이를 현저하게 감소시킬 수 있다.
도 8은 본 발명의 일 실시예에 따른 MMT 패킷 전송 방법을 활용하여 서로 다른 서버로부터 수신한 다시점 영상을 기반으로 3D 영상 서비스를 제공함을 설명하기 위한 블록도이다.
도 8을 참조하면, 다시점 비디오 부호화(Multi-view Video Coding)에 의해 생성된 다시점 영상이 서로 다른 서버(810-1, 810-2)에 의해 서로 다른 네트워크(820-1, 820-2)를 통해 수신 장치(830)로 전송될 수 있다. 이 경우, 미디어 동기화를 위해 본 발명의 UTC 시간 정보를 각각의 영상 정보에 삽입할 수 있다. 즉, 서버 1(810-1)은 좌영상과 관련된 영상 정보를 방송망을 통해 전송하고, 서버 2(810-2)는 상기 좌영상과 함께 스테레오스코픽 영상을 생성하는 우영상과 관련된 영상 정보를 통신망을 통해 전송할 수 있다. 이때, 서로 다른 네트워크를 통해 영상 정보가 전송되기 때문에, 로컬 클럭의 기준이 일치하지 않아 수신 장치(830)에서 3D 영상을 렌더링하는데 어려움이 있을 수 있다. 하지만, 본 발명에 따른 UTC 시간 정보를 MPU 헤더 또는 MMT-CI에 기록한 MMT 패킷을 전송하는 경우, 동일한 시점에 재생되야 하는 3D 영상의 우영상 및 좌영상과 관련된 액세스 유닛(AU)에 대한 UTC는 서로 다른 네트워크에서도 동일하게 표시되기 때문에, 수신 장치(830)에서의 동기화는 정확히 이루어질 수 있다. 따라서, 서로 다른 서버로부터 기준 영상과 부가 영상이 전송되는 하이브리드 전송 환경에서도 수신 장치(830)에서 기준 영상과 부가 영상 간에 동기화가 정확히 이루어진 상태로 3D 영상을 디스플레이 화면에 표시할 수 있다.
도 9는 본 발명의 일 실시예에 따른 MMT 패킷 수신 장치의 구성을 개략적으로 나타낸 블록도이다. 도 9에 도시된 바와 같이, 본 발명의 일 실시예에 따른 MMT 패킷 수신 장치는 수신부(910), MMT 디패킷화부(920) 및 재생부(930)를 포함할 수 있다.
도 9를 참조하면, 수신부(910)는 MMT 패킷을 수신한다. 수신부(910)는 서로 다른 네트워크를 통해 전송되는 MMT 패킷을 수신할 수 있다.
MMT 디패킷화부(920)는 수신부(910)에서 수신한 MMT 패킷을 디패킷화하여, MMT 패킷에 포함된 미디어 액세스 유닛(AU)의 동기화를 제공하기 위해 미디어 액세스 유닛(AU)과 관련된 UTC 시간 정보를 기반으로 액세스 유닛(AU)의 동기화를 수행한다. UTC 시간 정보는 수신된 MMT 패킷의 미디어 프로세싱 유닛(MPU)의 헤더 또는 MMT-CI에 포함되어 있을 수 있고, MMT 디패킷화부(920)는 상기 미디어 프로세싱 유닛(MPU)의 헤더 또는 MMT-CI를 파싱하여 UTC 시간 정보를 획득할 수 있다. UTC 시간 정보는 미디어 프로세싱 유닛(MPU)에 포함된 복수 개의 미디어 액세스 유닛(AU)들 가운데 첫 번째 액세스 유닛(AU)이 갖는 PTS 값에 대응되는 UTC 시간과 관련된 정보일 수 있다. 따라서, 네트워크의 기준 시간, 지역, 종류 등이 다르더라도, UTC 시간은 동일하게 적용되기 때문에 UTC 시간 정보를 이용하여 동기화를 수행할 수 있다. UTC 시간 정보는 NTP 타임스탬프 포맷으로 표현될 수 있고, NTP 타임스탬프의 해상도 정보 및 상기 해상도에 따른 표준 시간 정보 중 적어도 어느 하나를 포함할 수 있다. NTP 타임스탬프의 길이는 동기화 정밀도 또는 UTC 시간의 해상도에 따라 32, 48 및 64 비트 중 적어도 어느 하나의 길이를 가질 수 있다.
수신된 MMT 패킷이 동일 네트워크 또는 기준이 같은 로컬 클럭 시스템을 통해 수신된 경우에는 PTS 정보만으로도 미디어 동기화를 제공할 수 있다. 그러나, 로컬 클럭 시스템의 기준이 다른 시스템을 통해 수신되는 MMT 패킷 간의 동기화는 로컬 클럭에 기반한 시간 정보인 PTS 정보만을 통해서는 이루어질 수 없다. 따라서, UTC 시간 정보를 활용하여 미디어 액세스 유닛(AU) 간의 동기화를 수행할 수 있다.
재생부(930)는 상기 MMT 디패킷화부(920)에서 동기화가 수행된 미디어 액세스 유닛(AU)을 동기를 맞추어 재생한다.
도 10은 본 발명의 일 실시예에 따른 MMT 패킷 수신 장치의 MMT 디패킷화부(920)를 구체적으로 나타낸 상세블록도이다. 도 10에 도시된 바와 같이, 본 발명의 일 실시예에 따른 MMT 디패킷화부(920)는 디패킷화부(922) 및 동기화부(924)를 포함할 수 있다.
도 10을 참조하면, 디패킷화부(920)는 MMT 패킷을 디패킷화하여 액세스 유닛(AU)을 생성한다. 즉, MMT 패킷을 디패킷화하여 MMT 패키지를 생성하고, 이를 디캡슐화하여 MMT 애셋을 생성하며, MMT 애셋을 디캡슐화하여 MMT 미디어 프로세싱 유닛(MPU)을 생성하고, MMT 미디어 프로세싱 유닛(MPU)을 기반으로 액세스 유닛(AU)을 생성한다. 이때, 상기 디패킷화부(920)는 생성되는 미디어 프로세싱 유닛(MPU)의 헤더 또는 MMT-CI에 포함된 UTC 시간 정보를 획득할 수 있다. 다만, 모든 미디어 프로세싱 유닛(MPU) 단위로 상기 UTC 시간 정보가 포함된 것은 아니므로, 상기 디패킷화부(920)는 UTC 해상도 정보(UTC_resolution) 정보를 참조하여, UTC 시간 정보의 유무를 파악할 수 있다. 상기 디패킷화부(920)는 UTC 시간 정보가 존재하는 경우, UTC 해상도 정보를 기반으로 실제 UTC 정보의 비트 길이를 파악하여 파악된 길이만큼의 비트 정보를 통해 미디어 프로세싱 유닛(MPU)의 첫 번째 액세스 유닛(AU)에 대한 PTS에 대응하는 UTC 시간을 획득한다. 다만, UTC 시간 정보가 모든 미디어 프로세싱 유닛(MPU)의 헤더에 존재하는 것은 아니므로, UTC 해상도 정보를 기반으로 UTC 시간 정보의 유무를 파악해야 한다. 디패킷화부(920)는 각 미디어 프로세싱 유닛(MPU)의 첫 번째 액세스 유닛(AU)에 대한 UTC 시간 정보를 획득할 수 있고, 이를 기반으로 다른 액세스 유닛(AU)에 대한 UTC 시간 정보도 PTS간 차이를 이용하여 산출할 수 있다. 이러한 방식을 통해 각각의 액세스 유닛(AU)에 대한 PTS에 대응하는 UTC 시간 정보를 산출할 수 있다.
동기화부(920)는 획득된 UTC 시간 정보를 기반으로 서로 다른 전송 장치로부터 수신한 MMT 패킷의 미디어 액세스 유닛(AU)에 대한 동기화를 수행한다.
도 11은 본 발명의 일 실시예에 따른 MMT 패킷 수신 방법을 나타낸 흐름도이다.
도 11을 참조하면, MMT 패킷 수신 장치는 MMT 패킷을 수신한다(S1110). 그리고는, MMT 패킷 수신 장치는 수신된 MMT 패킷에 대해 디패킷화를 수행하여 MMT 애셋을 생성한다(S1120). 그리고는, 상기 생성된 MMT 애셋을 디캡슐화한다(S1130). 그리고는, MMT-CI 또는 미디어 프로세싱 유닛(MPU)의 헤더에 포함된 UTC 시간 정보를 획득한다(S1140). 그런 다음, MMT 패킷 수신 장치는 획득된 UTC 시간 정보를 기반으로 각각의 액세스 유닛(AU)에 대한 동기화를 수행한다. 마지막으로, MMT 패킷 수신 장치는 액세스 유닛(AU)을 동기를 맞춰서 재생한다(S1160).
이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

  1. MMT(MPEG Media Transport) 시스템에서의 패킷을 전송하는 장치에 있어서,
    미디어 액세스 유닛(AU: Access Unit)의 동기화를 제공하기 위해 상기 미디어 액세스 유닛과 관련된 표준 시간 정보를 기록하여 MMT 패킷을 생성하는 MMT 패킷화부; 및
    상기 생성된 MMT 패킷을 수신측으로 전송하는 전송부를 포함하는 것을 특징으로 하는 MMT 시스템에서의 패킷 전송 장치.
  2. 제 1 항에 있어서, 상기 MMT 패킷화부는
    상기 MMT 패킷에 포함된 미디어 액세스 유닛의 PTS(Presentation TimeStamp) 값에 대응되는 표준 시간 정보를 기록하여 상기 MMT 패킷을 생성하는 것을 특징으로 하는 MMT 시스템에서의 패킷 전송 장치.
  3. 제 2 항에 있어서, 상기 MMT 패킷화부는
    상기 미디어 액세스 유닛을 캡슐화하여 생성되는 미디어 프로세싱 유닛(MPU: Media Procession Unit) 단위로 PTS 값에 대응되는 표준 시간 정보를 상기 미디어 프로세싱 유닛의 헤더(header) 또는 컴포지션 정보(MMT-CI: MMT Composition Information)에 기록하여 상기 MMT 패킷을 생성하는 것을 특징으로 하는 MMT 시스템에서의 패킷 전송 장치.
  4. 제 3 항에 있어서,
    상기 표준 시간 정보는 상기 미디어 프로세싱 유닛에 포함된 복수 개의 미디어 액세스 유닛들 가운데 첫 번째 액세스 유닛이 갖는 PTS 값에 대응되는 UTC(Universal Time Coordinated) 시간 정보인 것을 특징으로 하는 MMT 시스템에서의 패킷 전송 장치.
  5. 제 3 항에 있어서,
    상기 MMT 패킷화부가 상기 표준 시간 정보를 할당함에 있어서, 모든 미디어 프로세싱 유닛 단위에 대해 할당하지 않고, 상기 표준 시간 정보의 할당 빈도를 동기화 정밀도에 따라 조절하여 할당하는 것을 특징으로 하는 MMT 시스템에서의 패킷 전송 장치.
  6. 제 1 항에 있어서,
    상기 표준 시간 정보를 표현하기 위한 포맷으로 NTP(Network Time Protocol) 포맷을 활용하는 것을 특징으로 하는 MMT 시스템에서의 패킷 전송 장치.
  7. 제 6 항에 있어서, 상기 MMT 패킷화부는
    상기 표준 시간 정보를 NTP 포맷을 통해 표현함에 있어서, 동기화 정밀도 또는 UTC 시간의 해상도에 따라 NTP 타임스탬프 길이를 가변시키는 것을 특징으로 하는 MMT 시스템에서의 패킷 전송 장치.
  8. 제 7 항에 있어서,
    상기 NTP 타임스탬프의 길이는 32 비트, 48 비트 및 64 비트 중 적어도 어느 하나의 길이를 갖는 것을 특징으로 하는 MMT 시스템에서의 패킷 전송 장치.
  9. 제 1 항에 있어서,
    상기 MMT 패킷은 대역내(in-band) 방식으로 전송되는 것을 특징으로 하는 MMT 시스템에서의 패킷 전송 장치.
  10. 제 1 항에 있어서,
    서로 다른 종류의(heterogeneous) 네트워크에 속한 서로 다른 서버로부터 미디어 스트림이 송수신되는 하이브리드 전송 환경에 해당하는지를 판단하여, 상기 표준 시간 정보의 생성 여부가 결정되는 것을 특징으로 하는 MMT 시스템에서의 패킷 전송 장치.
  11. 제 1 항에 있어서,
    다시점 비디오 부호화(Multi-view Video Coding)에 의해 생성된 기준 영상 정보 및 부가 영상 정보가 각각 서로 다른 서버로부터 전송되는 환경에서, 상기 다시점 비디오 부호화에 의해 생성된 영상 정보를 포함하는 MMT 패킷에 상기 표준 시간 정보를 포함하여 전송하는 것을 특징으로 하는 MMT 시스템에서의 패킷 전송 장치.
  12. 제 3 항에 있어서,
    상기 미디어 프로세싱 유닛의 헤더 또는 상기 컴포지션 정보는 상기 표준 시간 정보의 생성 여부와 관련된 정보 및 상기 표준 시간 정보를 표현하기 위한 NTP 타임스탬프의 해상도 정보 및 상기 해상도에 따른 실제 표준 시간 정보를 포함하는 것을 특징으로 하는 MMT 시스템에서의 패킷 전송 장치.
  13. MMT(MPEG Media Transport) 시스템에서의 패킷을 전송하는 방법에 있어서,
    미디어 액세스 유닛(AU: Access Unit)의 동기화를 제공하기 위해 상기 미디어 액세스 유닛과 관련된 표준 시간 정보를 기록하여 MMT 패킷을 생성하는 MMT 패킷화 단계; 및
    상기 생성된 MMT 패킷을 수신측으로 전송하는 전송 단계를 포함하는 것을 특징으로 하는 MMT 시스템에서의 패킷 전송 방법.
  14. MMT(MPEG Media Transport) 시스템에서의 패킷을 수신하는 장치에 있어서,
    MMT 패킷을 송신측으로부터 수신하는 수신부; 및
    상기 MMT 패킷을 디패킷화하여, 상기 MMT 패킷에 포함된, 미디어 액세스 유닛(AU: Access Unit)의 동기화를 제공하기 위해 상기 미디어 액세스 유닛과 관련된 표준 시간 정보를 기반으로 상기 미디어 액세스 유닛을 동기화하는 MMT 디패킷화부를 포함하는 것을 특징으로 하는 MMT 시스템에서의 패킷 수신 장치.
  15. 제 14 항에 있어서, 상기 MMT 디패킷화부는
    상기 MMT 패킷을 디패킷화하여 생성되는 미디어 프로세싱 유닛의 헤더 또는 컴포지션 정보(MMT-CI)에 포함된 상기 표준 시간 정보를 획득하는 디패킷화부; 및
    상기 획득된 표준 시간 정보를 기반으로 상기 미디어 액세스 유닛의 동기화를 수행하는 동기화부를 포함하는 것을 특징으로 하는 MMT 시스템에서의 패킷 수신 장치.
  16. 제 14 항에 있어서,
    상기 동기화된 미디어 액세스 유닛을 재생하는 재생부를 더 포함하는 것을 특징으로 하는 MMT 시스템에서의 패킷 수신 장치.
  17. 제 14 항에 있어서,
    상기 표준 시간 정보는 상기 미디어 프로세싱 유닛에 포함된 복수 개의 미디어 액세스 유닛들 가운데 첫 번째 액세스 유닛이 갖는 PTS 값에 대응되는 UTC(Universal Time Coordinated) 시간 정보인 것을 특징으로 하는 MMT 시스템에서의 패킷 수신 장치.
  18. 제 17 항에 있어서,
    상기 미디어 프로세싱 유닛의 헤더 또는 상기 컴포지션 정보는 상기 표준 시간 정보의 생성 여부와 관련된 정보 및 상기 표준 시간 정보를 표현하기 위한 NTP 타임스탬프의 해상도 정보 및 상기 해상도에 따른 실제 표준 시간 정보를 포함하는 것을 특징으로 하는 MMT 시스템에서의 패킷 수신 장치.
  19. 제 18 항에 있어서,
    상기 표준 시간 정보를 표현하기 위한 NTP 타임스탬프의 길이는 동기화 정밀도 또는 UTC 시간의 해상도에 따라 32 비트, 48 비트 및 64 비트 중 적어도 어느 하나의 길이를 갖는 것을 특징으로 하는 MMT 시스템에서의 패킷 수신 장치.
  20. MMT(MPEG Media Transport) 시스템에서의 패킷을 수신하는 방법에 있어서,
    MMT 패킷을 송신측으로부터 수신하는 수신 단계; 및
    상기 MMT 패킷을 디패킷화하여, 상기 MMT 패킷에 포함된, 미디어 액세스 유닛(AU: Access Unit)의 동기화를 제공하기 위해 상기 미디어 액세스 유닛과 관련된 표준 시간 정보를 기반으로 상기 미디어 액세스 유닛을 동기화하는 MMT 디패킷화 단계를 포함하는 것을 특징으로 하는 MMT 시스템에서의 패킷 수신 방법.
PCT/KR2013/005086 2012-07-10 2013-06-10 엠엠티의 하이브리드 전송 서비스에서 패킷 전송 및 수신 장치 및 방법 WO2014010830A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/413,494 US20150181003A1 (en) 2012-07-10 2013-06-10 Method and apparatus for transmitting and receiving packets in hybrid transmission service of mmt

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2012-0074984 2012-07-10
KR20120074984 2012-07-10
KR1020130049304A KR20140008237A (ko) 2012-07-10 2013-05-02 엠엠티의 하이브리드 전송 서비스에서 패킷 전송 및 수신 장치 및 방법
KR10-2013-0049304 2013-05-02

Publications (1)

Publication Number Publication Date
WO2014010830A1 true WO2014010830A1 (ko) 2014-01-16

Family

ID=49916239

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/005086 WO2014010830A1 (ko) 2012-07-10 2013-06-10 엠엠티의 하이브리드 전송 서비스에서 패킷 전송 및 수신 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2014010830A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106664456A (zh) * 2014-04-22 2017-05-10 索尼公司 接收装置、接收方法、传输装置以及传输方法
CN107211186A (zh) * 2015-02-13 2017-09-26 Sk电信有限公司 多视图流媒体服务支持方法以及用于支持该方法的装置
CN113490016A (zh) * 2015-06-17 2021-10-08 韩国电子通信研究院 Mmt方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060039728A (ko) * 2004-11-03 2006-05-09 한국전자통신연구원 오디오/비디오 서비스와 데이터 서비스의 동기화를 위한지상파 디지털멀티미디어방송 송/수신 시스템
US20070147265A1 (en) * 2005-12-23 2007-06-28 Eidson John C Correcting time synchronization inaccuracy caused by internal asymmetric delays in a device
KR20100064283A (ko) * 2008-12-04 2010-06-14 한국전자통신연구원 Ｉｐｔｖ 서비스 망에서의 시각 동기 방법
US20100183000A1 (en) * 2009-01-22 2010-07-22 Hitachi, Ltd. Video delivering system, video delivering device, and synchronization correcting device
KR20110098830A (ko) * 2008-12-19 2011-09-01 톰슨 라이센싱 외부 코프로세서를 포함하는 멀티플렉서에서의 전송 스트림 동기화를 위한 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060039728A (ko) * 2004-11-03 2006-05-09 한국전자통신연구원 오디오/비디오 서비스와 데이터 서비스의 동기화를 위한지상파 디지털멀티미디어방송 송/수신 시스템
US20070147265A1 (en) * 2005-12-23 2007-06-28 Eidson John C Correcting time synchronization inaccuracy caused by internal asymmetric delays in a device
KR20100064283A (ko) * 2008-12-04 2010-06-14 한국전자통신연구원 Ｉｐｔｖ 서비스 망에서의 시각 동기 방법
KR20110098830A (ko) * 2008-12-19 2011-09-01 톰슨 라이센싱 외부 코프로세서를 포함하는 멀티플렉서에서의 전송 스트림 동기화를 위한 방법
US20100183000A1 (en) * 2009-01-22 2010-07-22 Hitachi, Ltd. Video delivering system, video delivering device, and synchronization correcting device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106664456A (zh) * 2014-04-22 2017-05-10 索尼公司 接收装置、接收方法、传输装置以及传输方法
US10681114B2 (en) 2014-04-22 2020-06-09 Sony Corporation Reception apparatus, reception method, transmission apparatus, and transmission method for transmission or reception using a signaling message
CN107211186A (zh) * 2015-02-13 2017-09-26 Sk电信有限公司 多视图流媒体服务支持方法以及用于支持该方法的装置
CN107211186B (zh) * 2015-02-13 2020-03-03 Sk电信有限公司 用于提供多视图流媒体服务的方法和设备
CN113490016A (zh) * 2015-06-17 2021-10-08 韩国电子通信研究院 Mmt方法
CN113490016B (zh) * 2015-06-17 2023-08-22 韩国电子通信研究院 Mmt方法

Similar Documents

Publication Publication Date Title
WO2013169084A1 (ko) Mmt 패킷 포맷 확장을 통한 하이브리드 전송 방법
WO2013077698A1 (ko) Mmt 미디어와 dash 미디어와의 연동 방법
WO2013077697A1 (ko) Ｍｍｔ 패키지화 컨텐츠의하이브리드 전송 방법 및 컨텐츠 수신 방법
US20150181003A1 (en) Method and apparatus for transmitting and receiving packets in hybrid transmission service of mmt
WO2013112027A1 (ko) 부호화된 미디어 데이터를 전송하는 장치에서의 네트워크 지터 추정 방법
WO2012128563A2 (ko) 이종망 기반 연동형 방송콘텐츠 송수신 장치 및 방법
WO2013162312A1 (ko) 멀티미디어 전송 시스템을 위한 데이터 송수신 방법 및 장치
WO2013019042A1 (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법
WO2013141666A1 (ko) Ｍｍｔ 패키지화된 ｓｖｃ 비디오 콘텐츠의 하이브리드 전송 방법 및 수신 방법
WO2014171806A1 (en) Method and apparatus for transmitting media data in multimedia transport system
JP6302274B2 (ja) 送信装置及び受信装置
WO2011059274A2 (en) Adaptive streaming method and apparatus
WO2012121572A2 (ko) 프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법
KR20130078643A (ko) Ｍｍｔ 복합 전달 서비스에서 ｍｍｔ 패킷 스트림 동기화를 위한 ｍｍｔ 제어 계층 시그널링을 이용한 타이밍 정보 제공 방법 및 ｍｍｔ 패킷 스트림 동기화 방법
KR102098723B1 (ko) Mmt 전송 패킷의 설정 방법 및 전송 방법
WO2018174367A1 (ko) 방송 신호 송수신 방법 및 장치
WO2011159093A2 (en) Hybrid delivery mechanism in a multimedia transmission system
WO2012081902A2 (en) Method and system for asynchronous and isochronous data transmission in a high speed video network
WO2014010830A1 (ko) 엠엠티의 하이브리드 전송 서비스에서 패킷 전송 및 수신 장치 및 방법
WO2015194906A1 (ko) 이종망 기반 방송 서비스를 제공하는 방법 및 장치
WO2013055168A1 (ko) 콤포지션 정보 및 전송 특성 정보가 연동된 미디어 데이터를 이종 ip 네트워크를 통하여 전송하는 방법
WO2013187667A1 (ko) 멀티미디어 서비스를 위한 비트 에러율을 이용한 레이트 어댑테이션 방법 및 그 장치
WO2016043432A1 (ko) 멀티미디어의 전송 또는 수신 방법 및 그 장치
WO2013119023A1 (ko) 이종망 네트워크에서 부호화된 미디어 데이터를 전송하는 시스템에 랜덤 액세스를 지원하는 엠엠티 애셋의 구조, 생성 방법 및 생성 장치
WO2013109094A1 (ko) 이종망 네트워크에서 미디어 프래그먼트 유닛으로 나누어진 액세스 유닛을 가지는 미디어 데이터를 전송하는 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13817400

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14413494

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13817400

Country of ref document: EP

Kind code of ref document: A1