WO2013162292A1 - 네트워크 적응적인 계층적 비디오 전송을 위한 mmt 패킷의 전송 방법 및 장치 - Google Patents

네트워크 적응적인 계층적 비디오 전송을 위한 mmt 패킷의 전송 방법 및 장치 Download PDF

Info

Publication number
WO2013162292A1
WO2013162292A1 PCT/KR2013/003535 KR2013003535W WO2013162292A1 WO 2013162292 A1 WO2013162292 A1 WO 2013162292A1 KR 2013003535 W KR2013003535 W KR 2013003535W WO 2013162292 A1 WO2013162292 A1 WO 2013162292A1
Authority
WO
WIPO (PCT)
Prior art keywords
mmt packet
mmt
value
information
nal unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2013/003535
Other languages
English (en)
French (fr)
Inventor
김창기
김태정
유정주
홍진우
서광덕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Priority claimed from KR1020130045496A external-priority patent/KR20130119885A/ko
Publication of WO2013162292A1 publication Critical patent/WO2013162292A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers

Definitions

  • the present invention relates to a method of transmitting and receiving video content, and more particularly, to a method of transmitting an MMT packet.
  • SVC scalable video coding
  • MVC multiview video coding
  • H.264 Advanced Video Coding (AVC) / Multi-view Video Coding (MVC) is a coding method for recording a stream capable of displaying a 3D image.
  • AVC Advanced Video Coding
  • MVC Multi-view Video Coding
  • An object of the present invention for solving the above problems is to provide a method and apparatus for transmitting an MMT packet to determine whether to deliver the MMT packet without fully parsing the MMT packet.
  • An MMT packet generation method for achieving the object of the present invention is a method for generating an MMT packet by the MMT packet transmission device for delivering video data, the extension generated using the information of at least one NAL unit included in the MMT packet Generates an MMT packet containing information.
  • the extension information may be included in a packet header of an MMT packet or a payload header of an MMT payload included in an MMT packet.
  • the extension information may include a TID (Temporal_ID) parameter generated using a temporal level of the at least one NAL unit, a DID (Dependency_ID) parameter generated using a spatial level of the at least one NAL unit, and the at least one NAL unit.
  • TID Temporal_ID
  • DID Dependency_ID
  • the extension information includes a TID_low parameter indicating the smallest value among the temporal levels of the NAL unit included in the MMT packet, a DID_low parameter indicating the smallest value among the spatial levels of the NAL unit included in the MMT packet and the MMT packet.
  • QID_low parameter representing the smallest value among the quality levels of the NAL unit
  • PID_low parameter representing the smallest value among the priority information of the NAL unit included in the MMT packet
  • the largest value of the temporal level of the NAL unit included in the MMT packet is the largest value of the temporal level of the NAL unit included in the MMT packet.
  • TID_high parameter indicating a DID_high parameter indicating the largest value of the spatial level of the NAL unit included in the MMT packet, QID_high parameter indicating the highest value of the quality level of the NAL unit included in the MMT packet and included in the MMT packet
  • PID_high parameters representing the largest value among the priority information of the NAL unit
  • a VID_low parameter indicating at least one of view information of NAL units included in at least one or included in the MMT packet and a VID_high parameter indicating a largest value among view information of NAL units included in the MMT packet. It may include at least one of.
  • the extension information may further include an ML_Type parameter indicating an encoding method of video data included in the MMT packet.
  • the MMT packet may include an MMT packet header, an MMT payload header, and an MMT payload, and the extension information may be located in the MMT packet header or the MMT payload header.
  • the extension information includes a TID_low parameter indicating the smallest value among the temporal levels of the NAL unit included in the MMT packet, a DID_low parameter indicating the smallest value among the spatial levels of the NAL unit included in the MMT packet and the MMT packet.
  • QID_low parameter representing the smallest value among the quality levels of the NAL unit
  • PID_low parameter representing the smallest value among the priority information of the NAL unit included in the MMT packet
  • the largest value of the temporal level of the NAL unit included in the MMT packet is the largest value of the temporal level of the NAL unit included in the MMT packet.
  • TID_high parameter indicating a DID_high parameter indicating the largest value of the spatial level of the NAL unit included in the MMT packet, QID_high parameter indicating the highest value of the quality level of the NAL unit included in the MMT packet and included in the MMT packet
  • PID_high parameters representing the largest value among the priority information of the NAL unit
  • a VID_low parameter indicating at least one of view information of NAL units included in at least one or included in the MMT packet and a VID_high parameter indicating a largest value among view information of NAL units included in the MMT packet. It may include at least one of.
  • the transmission device sets a reference value TID_opt of a temporal level greater than or equal to the value of TID_high, a reference spatial value DID_opt of a set spatial level is greater than or equal to a value of DID_high, and a reference value of a set quality level. It may be performed by delivering the MMT packet when QID_opt is greater than or equal to the value of QID_high and the reference value PID_opt of the set priority information is greater than or equal to the value of PID_low.
  • the transmission apparatus sets a reference value TID_opt of a temporal level smaller than the value of TID_low, sets a reference value DID_opt of a spatial level smaller than a value of DID_low, and sets a reference value QID_opt of a set quality level of QID_low. It may be performed by not transmitting the MMT packet when the reference value PID_opt smaller than the value and the reference value PID_opt of the set priority information is smaller than the value of PID_low.
  • the extended information further includes an ML_type parameter indicating an encoding method of video data included in the MMT packet
  • the transmitting method includes the SVC transmitting video data included in the MMT packet using a value of the ML_type parameter.
  • Scalable Video Coding Scalable Video Coding
  • encoding method comprising the step of confirming that the encoding method, and the step of determining whether the delivery device, the reference value TID_opt of the set temporal level is less than the value of the TID_high and greater than the value of the TID_low
  • the reference value DID_opt of the set spatial level is less than the value of the DID_high and greater than or equal to the value of the DID_low
  • the reference value QID_opt of the set quality level is less than the value of the QID_high and greater than or equal to the value of the QID_low Whether to deliver the MMT packet by examining the NAL unit of the MMT packet Determination can be performed by.
  • the transmitting device is a Media Aware Network Element (MANE), and determining whether to transmit the MMT packet using the data of the MMT packet comprises: arriving at the MMT packet; Parsing the MMT packet header; Obtaining extension information from the MMT packet header; And determining whether to transmit the MMT packet from the extension information.
  • MEM Media Aware Network Element
  • MMT packet transmission apparatus for achieving the object of the present invention, MMT packet transmission apparatus for transmitting video data, MMT packet generation unit; And an MMT packet transmitter, wherein the MMT packet generator generates an MMT packet including extension information generated using information of an MMT payload and at least one NAL unit included in the MMT payload.
  • the MMT packet generator may generate the MMT packet by including the extension information in a packet header of the MMT packet or a payload header of the MMT payload included in the MMT packet.
  • the extension information may include a TID parameter generated using the temporal level of the at least one NAL unit, a DID parameter generated using the spatial level of the at least one NAL unit, and a quality level of the at least one NAL unit. Include at least one of a generated QID parameter and a PID parameter generated using priority information of the at least one NAL unit, or include a VID parameter generated using view information of the at least one NAL unit. Can be.
  • MMT packet transmission apparatus for achieving the object of the present invention, MMT packet transmission apparatus for transmitting video data, including the MMT packet transmission unit for determining whether or not to forward the MMT packet using the extension information of the MMT packet. do.
  • the MMT packet may include an MMT packet header, an MMT payload header, and an MMT payload, and the extension information may be located in an MMT packet header or a payload header of the MMT packet.
  • the extension information includes a TID_low parameter indicating the smallest value among the temporal levels of the NAL unit included in the MMT packet, a DID_low parameter indicating the smallest value among the spatial levels of the NAL unit included in the MMT packet and the MMT packet.
  • QID_low parameter representing the smallest value among the quality levels of the NAL unit
  • PID_low parameter representing the smallest value among the priority information of the NAL unit included in the MMT packet
  • the largest value of the temporal level of the NAL unit included in the MMT packet is the largest value of the temporal level of the NAL unit included in the MMT packet.
  • TID_high parameter indicating a DID_high parameter indicating the largest value of the spatial level of the NAL unit included in the MMT packet, QID_high parameter indicating the highest value of the quality level of the NAL unit included in the MMT packet and included in the MMT packet
  • PID_high parameters representing the largest value among the priority information of the NAL unit
  • a VID_low parameter indicating at least one of view information of NAL units included in at least one or included in the MMT packet and a VID_high parameter indicating a largest value among view information of NAL units included in the MMT packet. It may include at least one of.
  • the transmitting device has a reference value TID_opt of a set temporal level greater than or equal to the value of TID_high, a reference value DID_opt of a set spatial level is greater than or equal to a value of DID_high, and a reference value QID_opt of a set quality level is greater than or equal to a value of QID_high.
  • TID_opt of a set temporal level greater than or equal to the value of TID_high
  • DID_opt of a set spatial level is greater than or equal to a value of DID_high
  • a reference value QID_opt of a set quality level is greater than or equal to a value of QID_high.
  • the transmitting device has a reference value TID_opt of a set temporal level smaller than a value of TID_low, a reference value DID_opt of a set spatial level smaller than a value of DID_low, a reference value QID_opt of a set quality level smaller than a value of QID_low, and sets priority information.
  • TID_opt of a set temporal level smaller than a value of TID_low
  • DID_opt of a set spatial level smaller than a value of DID_low
  • a reference value QID_opt of a set quality level smaller than a value of QID_low
  • the extension information further includes an ML_type parameter indicating an encoding method of video data included in the MMT packet, and the transmitting device uses the value of the ML_type parameter to determine that the video data of the MMT packet is multi-view video. coding)
  • the MMT packet may be delivered when the reference value VID_opt of the set view information is greater than or equal to the VID_high.
  • the transmitting device is a media aware network element (MANE), and the transmitting device further includes a receiving unit for receiving the MMT packet, and the MMT packet transmitting unit is generated by parsing an MMT packet header included in the MMT packet. It may be determined whether the MMT packet is delivered from the information.
  • MEM media aware network element
  • the MMT packet structure for achieving the object of the present invention includes an MMT packet header; And a MMT packet including an MMT payload, wherein the MMT payload includes a payload header, and the MMT packet header or the payload header includes extension information generated using at least one NAL unit. do.
  • a method and apparatus for transmitting an MMT packet according to an embodiment of the present invention described above are adapted to adapt a multi-layer video such as SVC and MVC to a network environment in a media transport service based on an MPEG Media Transport (MPT) system.
  • MPT MPEG Media Transport
  • the MANE can quickly determine the MMT packet to be selected or discarded for delivery to the target terminal among the MMT packets input to the MANE.
  • FIG. 1 is a conceptual diagram illustrating an MMT hierarchical structure according to an embodiment of the present invention.
  • FIG. 2 illustrates a format of unit information (or data or packet) used for each layer of the MMT hierarchical structure of FIG. 1.
  • FIG 3 shows an MMT package configuration according to an embodiment of the present invention.
  • FIG. 4 illustrates the structure of a MANE-based network adaptive SVC and MVC video transmission system according to an embodiment of the present invention.
  • FIG 5 is an internal structure of an MMT packet according to an embodiment of the present invention.
  • 6 is a structure of payload scalability information according to an embodiment of the present invention.
  • FIG. 7 is an algorithm for determining whether to forward, discard, and inspect an inner packet of an MMT packet made in a media aware network element (MANE) according to an embodiment of the present invention.
  • MMT media aware network element
  • FIG. 8 is a flowchart illustrating a delivery order of MMT packets of a MANE according to an embodiment of the present invention.
  • FIG. 9 illustrates an embodiment of an MMT packet header format including extension information for adaptation in a NAME based network according to another embodiment of the present invention.
  • FIG. 10 illustrates an ML_type field indicating a state of a type represented by multilayer information.
  • FIG. 11 illustrates a state in which an MMT packet header format has a format for multilayer information in SVC according to an embodiment of the present invention.
  • FIG. 12 is an algorithm for determining whether to forward, discard, and inspect an internal packet of an MMT packet including SVC video performed in a MANE according to another embodiment of the present invention.
  • FIG. 13 illustrates a work flow applied in a MANE including SVC video in another embodiment of the present invention.
  • FIG. 14 illustrates a state in which an MMT packet header format has a format for multilayer information in MVC according to another embodiment of the present invention.
  • FIG. 15 is an algorithm for determining whether to forward, discard, and inspect an inner packet of an MMT packet including MVC video that is performed in a MANE according to another embodiment of the present invention.
  • FIG. 16 illustrates a work flow applied in a MANE including MVC video in another embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • Non-timed data defines all data elements that are consumed without specifying time.
  • Non timed data is data that does not have unique synchronization information for decoding and / or representation of its media unit.
  • Timed data is data that carries unique synchronization information for decoding and / or representation of its media unit and defines data elements associated with a particular time to be decoded and presented.
  • An access unit is the smallest data entity that can have time information.
  • An MMT asset is a logical data entity consisting of at least one MPU with the same MMT asset ID or a specific chunk of data with a format defined by other standards.
  • An MMT asset is a data entity that contains data with the same transport characteristics.
  • MMT Asset Delivery Characteristics is a description related to a Quality of Service (QoS) request for delivering MMT assets.
  • QoS Quality of Service
  • the MMT-ADC is expressed as a parameter independent of the specific delivery environment.
  • MMT Composition Information describes spatial and temporal relationships between MMT assets.
  • the Media Fragment Unit is a general container independent of any particular codec and accommodates encoded media data that can be consumed independently by a media decoder.
  • the AU includes one file for non-timed media data or media data that can be independently decoded by a media decoder, such as all or part of the AU for timed media data. It has information that is smaller than or equal to the access unit (AU) and can be used in the transport layer.
  • the Media Processing Unit is a generic container that is independent of any particular media codec and is a generic container for timed or non-timed data that can be decoded independently. It includes at least one AU or part of non-timed data in timed data along with information related to further delivery and consumption. Processing of the MPU means packetization for encapsulation or delivery to the package. MPU is encoded media data that can be processed completely and independently. However, for scalable video coding (SVC) and multiview video coding (MVC), in some cases the MPU may not be consumed independently and completely at the media codec server.
  • SVC scalable video coding
  • MVC multiview video coding
  • An MMT entity is an implementation of software or hardware that follows the MMT profile.
  • An MMT packet is a formatted unit of data generated or consumed according to the MMT protocol.
  • An MMT package is a collection of logically structured data and includes at least one MMT asset, MMT-composition information, MMT-asset delivery characteristics, and descriptive information.
  • An MMT payload is a formatted unit of data that carries a package or signals a message using the MMT protocol or the Internet Application Layer Transport Protocol (for example, RTP).
  • the MMT protocol is an application layer transport protocol for delivering MMT payloads over an IP network.
  • the MMT payload format is a format for payload of an MMT package or an MMT signaling message to be delivered by an MMT protocol or an internet application layer protocol (eg, RTP).
  • a presentation is defined as an operation performed by one or more devices to allow a user to experience one content component or one service (eg, watch a movie).
  • a service is defined as one or more content components that are transmitted for presentation or storage.
  • Service information is defined as metadata describing one service, characteristics and components of the service.
  • the content component or media component is defined as a media of a single type or a subset of the media of a single type. , Video tracks, movie subtitles, or a video enhancement layer of video.
  • Content is defined as a set of content components, and may be, for example, a movie or a song.
  • Hybrid delivery is defined as one or more content components being simultaneously transmitted through one or more physically different types of networks, or simultaneously transmitted through one or more physically identical or different networks.
  • the first network or the second network may include various networks including a broadcast network, a broadband network, a cable network, or a satellite communication network. It includes.
  • hybrid transmission when hybrid transmission may be transmitted in MMT asset unit, substream unit, MFU unit, MPU unit, MMT package unit, or MMT packet unit, and the video content is composed of a plurality of layers such as a first layer and a second layer.
  • Hybrid transmission may also be performed on a layer basis.
  • FIG. 1 is a conceptual diagram illustrating an MMT hierarchical structure according to an embodiment of the present invention.
  • an MMT layer includes an encapsulation layer, a delivery layer, and a functional area of a signaling layer.
  • the MMT layer operates on a transport layer.
  • the encapsulation layer is the logical structure of the format of the media content, the MMT package, and the data unit to be processed by the MMT entity and the ISO base media file format. , ISOBMFF).
  • the MMT package specifies the components that contain the media content and their relationships.
  • the format of the data units is defined to encapsulate the encoded media for storage or delivery and to easily convert between the two formats.
  • the encapsulation layer may be responsible for, for example, packetization, fragmentation, synchronization, multiplexing, and the like of transmitted media. have.
  • Various kinds of multimedia components may be encapsulated and combined with each other for transmission and consumption by the functions provided in the encapsulation layer (E-layer).
  • Encapsulated media components and configuration information of the media components are provided in the functional area of the encapsulation layer (E-layer).
  • the main information about the encapsulated media components is aggregation, priority, media fragment dependence, MPU timing and structure information, MMT asset 150 identification information, initialization information, and codec information. It may include.
  • the configuration information of the media components may include identification information of the MMT package 160 and the MMT asset 150, configuration information having a list of the MMT asset 150, and composition information of the MMT assets 150 in the MMT package 160. (composition information) 162 and Asset Delivery Characteristics (ADC) 164.
  • E-layer The encapsulation layer (E-layer), as shown in Figure 1, MMT E.1 Layer (MMT E.1 Layer), MMT E.2 Layer (MMT E.2 Layer) and MMT E.3 Layer (MMT E.3 Layer).
  • the E.3 layer encapsulates a Media Fragment Unit (MFU) provided from the Media Codec (A) layer to generate a Media Processing Unit (MPU).
  • MFU Media Fragment Unit
  • A Media Codec
  • MPU Media Processing Unit
  • Encoded media data from the upper layer is encapsulated into MFU.
  • the type and value of the encoded media are abstracted to allow the MFU to be generally used in a particular codec technology. This allows the lower layer to process the MFU without access to the encapsulated encoded media and the lower layer retrieves the required encoded media data from the network or storage buffer and sends it to the media decoder.
  • the MFU has enough information media subunits to perform this operation.
  • One or a group of multiple MFUs that can be independently transmitted and decoded generate an MPU.
  • Non-temporal media that are independently transportable and executable also create an MPU.
  • the MPU describes internal structures, such as the arrangement and pattern of the MFU, to enable quick access and partial consumption of the MFU.
  • the MFU can have a format that is independent of any particular codec and can carry data units that can be consumed independently in the media decoder.
  • the MFU can be, for example, a picture or slice of the video.
  • the E.2 layer encapsulates the MPU created in the E.3 layer to generate an MMT asset.
  • MMT assets are packaged by the MMT package, composed of others by Composition Information (CI), Transport Characteristics (TC), multiplexed by others by the MMT payload format, and transmitted by the MMT protocol. do.
  • CI Composition Information
  • TC Transport Characteristics
  • An MMT asset is a data entity composed of one or a plurality of MPUs from a single data source, and is a data unit in which composition information (CI) and asset delivery characteristics (ADC) are defined.
  • MMT assets can correspond to packetized elementary streams (PES), for example video, audio, program information, MPEG-U widgets, JPEG images, MPEG 4 file format, M2TS (MPEG transport stream), etc.
  • PES packetized elementary streams
  • the E.1 layer generates an MMT package by encapsulating the MMT asset generated in the E.2 layer.
  • MMT-CI MMT composition information
  • ADCs Asset Delivery Characteristics
  • the MMT package 160 includes one composition information (CI) 162, at least one MMT asset 150, and asset delivery characteristics (ADC) 164 associated with each asset. ).
  • the MMT package may correspond to a program of MPEG-2 TS.
  • processing of the package is applied on an MPU basis, and an asset is a set of at least one MPU having the same asset ID, and one package includes one composition information, at least one MPU, and an asset transmission characteristic associated with each asset. It can be said that it is configured.
  • An asset can be an element of a package that encapsulates encoded media data, such as audio, video, or webpage data with timed or non-timed properties.
  • Composition information includes information about a relationship between MMT assets, and when one content consists of a plurality of MMT packages, the composition information indicates a relationship between a plurality of MMT packages. It may further include information.
  • Asset Delivery Characteristics (ADC) 162 indicate QoS requirements and statistics for asset delivery. Multiple assets may be associated with one ADC.
  • the ADC can be used to set the parameters of the MMT payload and the MMT protocol by the entity packetizing the package for effective delivery of the asset.
  • Asset Delivery Characteristics may include delivery characteristic information necessary to determine delivery conditions of MMT assets or MMT packets, for example, traffic description parameters and QoS. It may include a descriptor (QoS descriptor).
  • a delivery layer defines a payload format and an application layer transport protocol.
  • Payload format is defined to carry coded media data regardless of media type or encoding method.
  • Application layer transport protocols provide enhanced features for package delivery including multiplexing and cross-layer communication.
  • the delivery layer may perform, for example, network flow multiplexing, network packetization, and QoS control of media transmitted through a network.
  • the transport layer is a packet between the transport layer and the encapsulation layer (E-layer), multiplexing of media such as video, audio, etc. transmitted over a network.
  • the transport layer (D-layer) identifies different types of payloads from the encapsulation layer (E-layer) to handle payloads from the encapsulation layer (E-layer).
  • the transport layer (D-layer) may handle the temporal relation between packets transmitted through different networks and different channels.
  • the synchronization function may include hybrid network synchronization using a time stamp or the like.
  • the D-layer may handle timing constraints of MMT delivery packets for real-time media transmission.
  • the D-layer may perform error control of MMT media packets such as forward error correction and retransmission.
  • the transport layer (D-layer) may perform flow control of the MMT media packet.
  • the transport layer (D-layer) interacts with other MMT layers as well as lower layers (MAC, PHY) through a cross-layer design to maintain a certain level of QoS for delivery of MMT media packets. interaction).
  • the transport layer (D-layer) may provide a function for performing group communication.
  • the transport layer (D-layer), as shown in Figure 1, MMT D.1 Layer (MMT D.1 Layer), MMT D.2 Layer (MMT D.2 Layer) and MMT D.3 Layer (MMT) D.3 Layer).
  • the D.1 layer receives the MMT package generated in the E.1 layer and generates an MMT payload.
  • the MMT payload consists of the MMT payload format.
  • the MMT payload format is a format of payload for transmitting MMT assets and for transmitting information for consumption by the MMT application protocol or other existing application transmission protocol such as RTP.
  • the MMT payload may include a fragment of the MFU along with information such as AL-FEC.
  • the MMT payload format is defined as a general payload format for packetization of content components of a package.
  • the MMT payload format is defined irrespective of a particular media codec so that any type of encapsulated media, such as an MPU, can be packetized into a payload for an application layer transport protocol that supports streaming delivery of media content.
  • the MMT payload can be used as payload format for RTP, MMT and other packet transfer protocols.
  • the MMT payload may be used to packetize the signaling message.
  • the D.2 layer receives the MMT payload generated in the D.1 layer and generates an MMT packet.
  • MMT packet is a data format used in the application transport protocol for MMT.
  • D.3 layer supports QoS by providing the ability to exchange information between layers by cross-layer design.
  • the D.3 layer may perform QoS control using QoS parameters of the MAC / PHY layer.
  • the QoS parameters of the MAC / PHY may be, for example, bitrate, packet loss ratio, expected delay, available buffer size, and the like.
  • the signaling layer performs a signaling function. For example, session initialization / control / management of transmitted media, server-based and / or client-based trick modes, service discovery, synchronization, and other layers, i.e., delivery
  • a signaling function for interfacing with a D-layer and an encapsulation layer (E-layer) may be performed.
  • the synchronization may include synchronization control in a hybrid network.
  • the signaling layer defines the format of the message that manages delivery and consumption of the MMT package.
  • the message for consumption management is used to inform the structure of the MMT package, and the message for delivery management is used to inform the structure of the payload format and the configuration of the protocol.
  • the signaling layer may be configured of an MMT S.1 layer and an MMT S.2 layer.
  • the S.1 layer may define the format of control messages between applications for media presentation session management.
  • the presentation session management may define a format of a control message exchanged between applications for providing media presentation, session management, and information required for media consumption.
  • the S.1 layer includes service discovery, media session initialization / termination of media, media session presentation / control of media, delivery (D) layer and encapsulation ( E)
  • the interface function with the layer can be performed.
  • the S.2 layer may perform delivery session management.
  • the delivery session management may be related to flow control, delivery session management, delivery session monitoring, error control, error control, and delivery regarding hybrid network synchronization control. It is possible to define the format of the control message exchanged between delivery end-points of the D-layer.
  • S.2 layer supports delivery session establishment and release, delivery session management (delivery session monitoring, flow control, error control, etc.), resource reservation for established delivery session, It may include signaling for synchronization in a complex delivery environment and signaling for adaptive delivery. Required signaling may be provided between a sender and a receiver. That is, the S.2 layer may provide signaling required between the sender and the receiver in order to support the operation of the transport layer as described above. In addition, the S.2 layer may be responsible for interfacing with the transport layer and the encapsulation layer.
  • the control message or control information may be generated in the signaling layer and transmitted through a broadcasting network and / or a broadband network.
  • the function of the control message transmitted through the broadcast network may be the same as the function of the control message transmitted through the broadband network.
  • the syntax and format of the control message may vary depending on the application and the type of delivery.
  • the same common control information and the same common format may be used for control messages transmitted to the broadcasting network and the broadband network, respectively.
  • the same common control information may be transmitted in different formats for each broadcasting network and broadband network.
  • different control information and different formats may be transmitted for each broadcasting network and broadband network.
  • FIG. 2 illustrates a format of unit information (or data or packet) used for each layer of the MMT hierarchical structure of FIG. 1.
  • the Media Fragment Unit defines a format for encapsulating a part of the AU in the transport layer to perform adaptive transmission in the range of the MFU.
  • the MFU may be used to transmit certain types of encoded media so that portions of the AU can be independently decoded or discarded.
  • the MFU has an identifier for distinguishing one MFU from other MFUs and has general relationship information between MFUs in a single AU.
  • the dependencies between the MFUs in a single AU are described, and the relevant priorities of the MFUs are described as part of such information.
  • the information can be used to handle the transmission in the lower transport layer. For example, the transport layer may omit transmission of MFUs that may be discarded, to support QoS transmission in insufficient bandwidth.
  • the media fragment unit (MFU) 130 includes coded media fragment data 132 and a media fragment unit header (MFUH) 134.
  • the media fragment unit 130 has a general container format independent of a specific codec and carries the smallest data unit that can be consumed independently in a media decoder.
  • the MFUH 134 may include additional information such as media characteristics-for example, loss-tolerance.
  • MFU 130 may be, for example, a picture or slice of a video.
  • the MPU is a collection of media fragment units including a plurality of media fragment units 130.
  • the MPU may have a timed data unit or a non-timed data unit.
  • the MPU may include a Media Processing Unit Header (MPUH) having additional information, such as a time stamp for synchronization with media fragment unit data.
  • MPUH Media Processing Unit Header
  • the MPU has a general container format independent of a specific codec and includes media data equivalent to an access unit.
  • MPU is data that is independently and completely processed by an entity following the MMT, and processing includes encapsulation and packetization.
  • An MPU may consist of at least one MFU or have a portion of data having a format defined by another standard.
  • the MPU may be uniquely identified in the MMT package by a sequence number and an associated asset ID that distinguishes it from other MPUs.
  • a single MPU can accept integral or non-time data of at least one AU.
  • an AU may be delivered from at least one MFU, but one AU may not be divided into multiple MPUs.
  • non-time data one MPU receives a portion of non-time data that has been independently and completely processed by an entity following the MMT.
  • the MPU has at least one random access point.
  • the first byte of the MPU payload can always start with a random access point. In time data, this fact means that the decoding order of the first MFU in the MPU payload is always zero.
  • the presentation period and decoding order of each AU can be sent to inform the presentation time.
  • the MPU does not have its initial presentation time, and the presentation time of the first AU of one MPU may be described in the composition information.
  • the composition information may specify the first presentation time of the MPU.
  • the MPU may include an MMT hint track.
  • an MMT hint track may provide information for converting the encapsulated MPU into an MMT payload and an MMT packet.
  • the MMT hint track implies a fragmentation of the MPU to the transmission.
  • at least one MFU may be used to generate the MMT payload.
  • the media data may be generated and delivered in the MMT payload at the time of transmission by the transmitter.
  • the format to be stored may be different from the format upon delivery.
  • the MMT hint track suggests the extraction and generation of MFU for encapsulation using the MMT payload format.
  • the MMT payload may include MPU metadata or at least one MFU.
  • the MMT hint track implies to the transmitter how to extract MFU data. If fragmentation is not used, the hint track may be omitted.
  • the MMT hint track may indicate the entry format of the sample.
  • Each media sample is assigned to at least one MFU, and a sample of the MMT hint track will generate at least one MFU.
  • the MMT hint track includes a number of parameters. For example, a value of 1 may include multilayer_flag indicating that multi-layer information is provided.
  • dependency_id is an ID indicating dependency of the corresponding MFU.
  • a non-zero value enhances the video by at least one scalability level in terms of at least one temporal, quality or spatial resolution.
  • the depth_id indicates whether the corresponding MFU delivers depth data of the video.
  • quality_id is the quality ID of the MFU.
  • a nonzero value enhances the video by at least one scalability level in at least one aspect of temporal, quality or spatial resolution.
  • temporal_id is a temporal ID of MFU.
  • a non-zero value enhances the video by at least one scalability level in at least one aspect of temporal, quality or spatial resolution.
  • view_id is the view ID of the MFU.
  • a non-zero value enhances the video by at least one scalability level in at least one aspect of temporal, quality or spatial resolution.
  • the hint track may have a layer_id parameter indicating an ID of a scalable layer in which scalability dimension information is provided to initial information.
  • the MMT asset 150 is a collection of MPUs composed of a plurality of MPUs.
  • the MMT asset 150 is a data entity composed of multiple MPUs (timed or non-timed data) from a single data source, and the MMT asset information 152 is an asset packaging metadata (Asset). Additional information such as packaging metadata) and data type.
  • MMT asset 150 may include, for example, video, audio, program information, MPEG-U widgets, JPEG images, MPEG 4 FF (File Format), packetized elementary streams (PES), and MPEG transport (M2TS). streams).
  • the MMT asset may be a logical data entity having encoded media data.
  • the MMT asset has an MMT asset header and encoded media data.
  • the encoded media data may be a group of MPUs collectively referred to by the same MMT asset ID.
  • the type of data consumed as an entity directly related to the MMT client may be a separate MMT asset. Examples of such data types are MPEG-2 TS, PES, MP4 file, MPEG-U Widget Package, JPEG files.
  • the encoded media of the MMT asset may be time data or non-time data.
  • Temporal data is audiovisual media data that requires synchronized decoding and presentation of specific data at specified times.
  • Non-timed data is data of a data type that can be decoded and provided at any time in accordance with the provision of a service or user interaction.
  • a service provider may create a multimedia service by integrating MMT assets and putting MMT assets on a space-time axis.
  • the MMT package 160 is a collection of MMT assets including one or more MMT assets 150.
  • MMT assets in an MMT package may be multiplexed or concatenated.
  • the MMT package is a container format for MMT asset and configuration information.
  • the MMT package provides a repository of MMT asset and configuration information for the MMT program.
  • the MMT program provider generates configuration information by encapsulating the encoded data into MMT assets and describing the temporal and spatial layout of the MMT assets and their transmission characteristics.
  • MMT assets can be sent directly in the D.1 payload format.
  • Configuration information may be sent by the S.1 Presentation Session Management message.
  • MMT program providers and clients that allow relaying or future reuse of MMT programs store them in MMT package format.
  • the MMT program provider determines which transmission path (eg, broadcast or broadband) the MMT asset will be provided to the client.
  • the configuration information in the MMT package is transmitted in the S.1 Presentation Session Management message along with the transmission related information.
  • the client receives the S.1 Presentation Session Management message to learn which MMT programs are available and how to receive MMT assets for the corresponding MMT program.
  • the MMT package can also be transmitted by the D.1 payload format.
  • the MMT package is packetized and delivered in D.1 payload format.
  • the client receives the packetized MMT package and configures all or part of it, where it consumes the MMT program.
  • the package information 165 of the MMT package 160 may include configuration information.
  • Configuration Information includes additional information such as a list of MMT assets, package identification information, composition information 162 and Asset Delivery Characteristics (ADC) 164. can do.
  • Composition information 162 includes information about a relationship between MMT assets 150.
  • composition information 162 may further include information for indicating a relationship between a plurality of MMT packages when one content includes a plurality of MMT packages.
  • Composition information 162 may include information about temporal, spatial and adaptive relations in an MMT package.
  • Composition information provides information for package delivery optimization and presentation in a multi-screen environment. In a multi-screen environment, this can represent information that maps an asset to a specific screen. Detailed description will be described later.
  • Composition Information in the MMT provides information about the spatial and temporal relationships between MMT assets in the MMT package.
  • MMT-CI is an explanatory language that extends HTML5 to provide such information. If HTML5 is designed to describe page-based presentations of text-based content, MMT-CI mainly represents spatial relationships between sources. In order to support the presentation of the temporal relationship between MMT assets, information related to MMT assets in an MMT package, such as presentation resources, time information for determining the order in which MMT assets are sent and consumed, and various MMT assets are consumed in HTML5. It can be extended to have additional properties of media elements.
  • Asset delivery characteristics information 164 may include information on delivery characteristics and may provide information necessary for determining a delivery condition of each MMT asset (or MMT packet).
  • the asset delivery characteristic may include a traffic description parameter and a QoS descriptor.
  • the traffic description parameter may include bitrate information, priority information, or the like for the media fragment unit (MFU) 130 or the MPU.
  • the bitrate information is for example information about whether the MMT asset is Variable BitRate (VBR) or Constant BitRate (CBR), guaranteed bitrate for the Media Fragment Unit (MFU) (or MPU). ), The maximum bit rate for the media fragment unit (MFU) (or MPU).
  • the traffic description parameter may be used for resource reservation between servers, clients, and other components on a delivery path, for example, maximum size information of a media fragment unit (MFU) (or MPU) in an MMT asset. It may include.
  • the traffic description parameter may be updated periodically or aperiodically.
  • the QoS descriptor includes information for QoS control and may include, for example, delay information and loss information.
  • the loss information may include, for example, a loss indicator of whether delivery loss of the MMT asset is allowed or not.
  • a loss indicator of '1' may indicate 'lossless', and a '0' indicates 'lossy'.
  • the delay information may include a delay indicator used to distinguish the sensitivity of the transmission delay of the MMT asset.
  • the delay indicator may indicate whether the type of the MMT asset is conversation, interactive, real time, and non-realtime.
  • One content may consist of one MMT package.
  • one content may consist of a plurality of MMT packages.
  • composition information or configuration information indicating temporal, spatial, and adaptive relations between the plurality of MMT packages configuration information may exist inside one MMT package or outside the MMT package.
  • some of the content components are transmitted through a broadcast network and the remaining parts of the content components are transmitted through a broadband network.
  • a broadband network For example, in the case of a plurality of audio visual streams constituting one multi-view service, one stream may be transmitted to a broadcasting network and the other stream may be transmitted to a broadband network, and each AV stream may be multiplexed and transmitted to a client terminal. Can be individually received and stored.
  • application software such as a widget is transmitted to a broadband network and an AV stream (AV program) is transmitted to an existing broadcasting network.
  • the entire plurality of AV streams may be a single MMT package, and in this case, one of the plurality of streams may be stored in only one client terminal.
  • the storage content becomes part of the MMT package, and the client terminal must rewrite the composition information or configuration information, and the rewritten content becomes a new MMT package independent of the server. .
  • each AV stream may be one MMT package, and in this case, a plurality of MMT packages constitute one content, and storage Storage is recorded in MMT package units and requires composition information or configuration information indicating a relationship between MMT packages.
  • Configuration information or configuration information included in one MMT package may refer to an MMT asset in another MMT package, and may also refer to an outside of an MMT package that refers to the MMT package in an out-band situation. I can express it.
  • SVC Scalable Video Coding
  • MANE Media Aware Network Element
  • an MMT when transmitting multi-layer video such as SVC (Scalable Video Coding) through an IP-network, an MMT generated in the D.1 layer to perform rate adaptation in the network. Provides the header format field of the payload.
  • the delivery layer (D-layer) of the MMT is an application layer protocol including an MMT payload format for transmitting encapsulated media data from one network entity to another network entity. protocol).
  • the MMT payload format defines a logical structure of information containing an MMT package to be carried by the MMT transport protocol.
  • the content targeted for transmission through the MMT scheme may be SVC video content including a base layer and at least one enhanced layer.
  • One SVC video content may be composed of one MMT package, or one SVC video content may be composed of a plurality of MMT packages. That is, a plurality of layers included in the SVC video content may be included in one MMT package or may be separately included in a plurality of MMT packages.
  • FIG. 4 illustrates a structure of a MANE-based network adaptive SVC or MVC video transmission system according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a MANE (Media Aware) for selectively retransmitting an MMT packet received from a multilayer video server 410 and an MMT packet received from a multilayer video server 410 according to a network state.
  • a plurality of MMT packet receiving devices 430 for receiving MMT packets retransmitted from the Network Element 420 and the MANE 430 are shown.
  • FIG. 4 illustrates a structure of a network adaptive SVC video transmission system based on MANE, in which an SVC or MVC encoding technique and a MANE technique are combined. Since transmission of SVC video and transmission of MVC video using MANE according to an embodiment of the present invention have the same structure, transmission of SVC video will be described below. The following description may be applied in a similar manner in the case of transmission of MVC video.
  • the multilayer video server 410 stores SVC video having a total of four layers from L0 to L3.
  • the SVC video layers are delivered to the MANE 420 by a transport protocol, and the MANE 420 is suitable for taking into consideration the quality of the network, the codec capability of the connected target terminal, the display resolution, and the like. Only the layer is extracted and transmitted to each terminal 430.
  • the MMT protocol is applied as a protocol for transmitting the SVC video layers to the MANE 420 in the server 410, information necessary for selecting a network adaptive video layer in the MANE needs to be provided. Therefore, it is necessary to record SVC video layer related information in MMT payload header format and deliver it to MANE. In this case, it is necessary to specify what information is to be recorded in MMT payload header format.
  • the Media Aware Network Element (MANE) 430 is a router or switch of an IP network capable of performing rate adaptation in the network as shown in FIG. According to an embodiment of the present invention, the MANE 430 may obtain signaling from a signaling procedure and a packet payload header to determine whether any packet is dropped or forwarded so that it is no longer transmitted. Decisions and judgments are made based on signaling information.
  • the MANE 430 may be used to reduce the congestion problem of the network.
  • hierarchical video transmission may be used to drop a portion of the video layer in coarse grain adaptation.
  • MANE can drop some of the video data of the upper video layer and consequently reduce the amount of video data transmitted to fit the available bandwidth.
  • layered multicast is only considered for the core network of the streaming pass, but MANE connected to various terminals close to the edge network will reassemble the hierarchical multicast into a packet stream containing only the appropriate video layer. Can be.
  • the MANE must obtain extension information from the MMT packet to determine which packet to drop or pass without inspecting the packet. If scalability information is represented in the MMT payload header, the MANE can efficiently determine whether or not it is worth going forward in the MMT packet.
  • the MMT packet includes an MMT packet header generated in the D.2 layer, an MMT payload header generated in the D.1 layer, and an MMT payload.
  • the MMT payload includes an SVC NAL unit generated at the E layer.
  • the MMT payload header receives an MMT packet including a plurality of aggregated NAL units from a different layer of MANE, and does not completely parse the received MMT packet. It is possible to determine whether to continue delivery or to discard MMT packets without continuing delivery of MMT packets. This approach can be used when a certain video layer is not needed for the current streaming session, and for this operation of the MANE packets arriving at the MANE need to be examined at the MANE.
  • an informative summary of payloads which are hierarchical video data collected in the MMT packet, must be provided to the MANE.
  • specific extension information of the NAL packet is basically embedded.
  • the MMT payload header is configured to include additional extension information in the information of the MMT payload header corresponding to the D.1 layer of the MMT.
  • the appropriate extension information can be obtained by examining the extension information of the NAL unit included in the MMT payload header, without having MANE directly look inside the NAL unit included in the payload of the MMT packet aggregated according to the SVC video coding specification. In this case, it is possible to determine whether to forward the MMT packet, forward it without discard, or examine the inside of the MMT packet.
  • FIG. 6 is a structure of extension information according to an embodiment of the present invention.
  • FIG. 6 shows payload scalability information included in an MMT payload header.
  • Payload extension information includes TID_low, DID_low, QID_low, TID_high, DID_high and QID_high parameters.
  • a structure of syntax constituting extended information will be described with reference to FIG. 6.
  • Payload scalability information is composed of six parameters such as TID_low, DID_low, QID_low, TID_high, DID_high, and QID_high. The individual semantics for these six parameters are shown in FIG. 6.
  • the TID_low parameter represents the smallest TID value among TID values of NAL units aggregated in an MMT packet.
  • the DID_low parameter represents the smallest DID value among the DID values of NAL units aggregated in an MMT packet.
  • the QID_low parameter represents the smallest QID value among QID values of NAL units aggregated in an MMT packet.
  • the TID_high parameter indicates the largest TID value among TID values of NAL units aggregated in an MMT packet.
  • the DID_high parameter represents the largest DID value among the DID values of NAL units aggregated in an MMT packet.
  • the QID_high parameter indicates the largest QID value among QID values of NAL units aggregated in an MMT packet.
  • TID Temporal_ID
  • DID Dependency_ID
  • QID quality_ID
  • the extended information according to an embodiment of the present invention includes TID_low, DID_low, QID_low, TID_high, DID_high, and QID_high parameters, and may include only one of six parameters.
  • the extension information according to an embodiment of the present invention may be composed of a set of (TID_low, DID_low, QID_low) and a set of (TID_high, DID_high, QID_high).
  • the payload extension information according to an embodiment of the present invention may be composed of a set of (TID_low, TID_high), a set of DID_low, a DID_high, and a set of (QID_low, QID_high) or may include only one set. . In addition, it may include a set of various parameters.
  • the MANE forwards or discards an MMT packet including a plurality of aggregated NAL units from different video layers. (discard) or simply to inspect the inside of the MMT packet (inspect).
  • the MANE uses the algorithm of FIG. 7 to determine which MMT packet to drop, forward, or for each (TID) present inside the NAL unit header. , DID, QID) can be determined simply.
  • the algorithm of FIG. 7 compares the (TID_low, DID_low, QID_low) and (TID_high, DID_high, QID_high) values given by NAME with TID_opt, DID_opt and QID_opt values determined as optimal extraction points for layer adaptation.
  • TID_opt, DID_opt, and QID_opt indicate (TID, DID, QID) values corresponding to optimal extraction points determined in MANE in order to adapt to a given network environment.
  • TID_opt, DID_opt and QID_opt are greater than or equal to each of TID_high, DID_high and QID_high recorded in the payload header of the MMT packet.
  • the MANE transmits the corresponding MMT packet to the target terminal.
  • MANE discards the MMT packet without transmitting it if all values of TID_opt, DID_opt and QID_opt are smaller than TID_low, DID_low and QID_low respectively recorded in the payload header of the MMT packet. If both of the above conditions are not satisfied, MANE analyzes the TID, DID and QID values of all NAL units included in the MMT packet individually to determine NAL units to be delivered or discarded.
  • MANE 8 shows a work flow in which the present invention is applied in a MANE.
  • the MMT packet reaches MANE (S100).
  • MANE parses the payload header of the MMT packet (S110).
  • MANE obtains (TID_low, DID_low, QID_low) and (TID_high, DID_high, QID_high) values from the MMT payload header (S120).
  • MANE determines the processing of the MMT packet using the algorithm of FIG. 7 described above.
  • the MMT packet transmission method provides a D.1 layer payload header format field that enables adaptation in a network when transmitting multi-layer video such as SVC over an IP network.
  • the MANE drops and forwards any MMT packet, or each TID present inside the NAL unit header. You can easily decide whether to examine the DID, QID values.
  • the adaptive processing means that the NAL unit to be delivered to the target terminal and the NAL unit not to be delivered are classified based on the TID, DID, and QID values. That is, only NAL units having spatial resolution, frame rate and image quality suitable for delivery to the target terminal are filtered based on TID, DID, and QID values.
  • the MMT packet may be aggregated by multiple SVC NAL units into one MMT packet and transmitted at once.
  • payload scalability information which may represent a plurality of NAL units, may be separately recorded in the payload header of the MMT packet.
  • MANE does not need to analyze the TID, DID and QID values recorded in all NAL unit headers when such payload scalability information is provided in the payload header. That is, according to an embodiment of the present invention, the MANE may quickly determine the MMT packet to be forwarded and the discarded MMT packet to the target terminal by simply referring to only the payload extension information recorded in the payload header. .
  • extension information is generated in the MMT payload header
  • the extension information is present in the MMT packet header to provide the above extension information at the MMT packet header level. It may be.
  • the extension information may be included in the MMT payload.
  • the extension information may be present in a separate MMT packet.
  • FIG. 9 illustrates an embodiment of an MMT header format including extension information for adaptation in a NAME based network according to another embodiment of the present invention.
  • the extended information is represented by multilayer information (ML-Info).
  • the MMT packet header according to another embodiment of the present invention is an ML_type (2 bits) to classify the type of multilayer information carried by the current MMT packet and corresponding multilayer information related to the current SVC and MVC video data. It further includes a flag.
  • the bit length of the multilayer information for SVC is 32 bits, and the bit length of the multilayer information for MVC (Multiview Video Coding) is 20 bits.
  • the multilayer information further includes values of PID_low, PID_high, VID_low, and VID_high related to the PID and the VID.
  • the definition and use of PID_low, PID_high, VID_low and VID_high may be used in a manner similar to the definition and use of the maximum and minimum values of the TID, DID and QID parameters described above
  • packet_id (16 bits) is an integer value assigned to each MMT asset to distinguish a packet of one MMT asset from another packet. Different values are assigned to signaling messages and FEC parity flows.
  • packet_sequence_number (32 bits) is an integer value assigned to each MMT packet, incremented by one from an arbitrary value. The packet_sequence_number starts again from 0 when the maximum value is reached.
  • timestamp (32 bits) represents a time instance of MMT packet delivery.
  • flags (8bits) are header_extension_flag indicating whether header extension field is provided in MMT packet header, service_classifier_flag indicating whether service classification information is provided in MMT packet header, QoS_classifier_flag indicating whether QoS classification information is provided in MMT packet header, flow confirmation information Flow_identifier_flag indicating whether is provided in the MMT packet header, and private_user_data_flag indicating whether personal user data information is provided in the MMT packet header.
  • the flags also include Multilayerinfo_flag indicating whether multilayer information is provided in the MMT packet header. Each flag of Flags may be provided in 1 bit.
  • ML_Info is a variable that depends on the type of multilayer information.
  • the ML_Info field represents multilayer information required for in-network adaptation in MANE.
  • the ML_Info field of the MMT packet is different from the MMT packet including the SVC video data and the MMT packet including the MVC video data. Therefore, the structure of the ML_Info varies according to the type of video data.
  • an ML_type field indicating a state of a type represented by multilayer information will be described with reference to FIG. 10.
  • the ML_type field has a value of 00, it is multilayer information related to the SVC after the ML_type field. It can be seen that the values of (TID_low, DID_low, QID_low, PID_low) and (TID_high, DID_high, QID_high, PID_high) will be provided subsequently. Similarly, multilayer information related to MVC after ML_type field when ML_type field has value of 01. It will be appreciated that the VID_low and VID_high values will be provided subsequently. When the ML_type field has a value of 10, 3D video related multilayer information may be applied to a value appearing after the ML_type field.
  • the ML_type field indicates in which encoding method the video data included in the MMT packet is encoded.
  • the meaning of the value after the ML_Info field has been described according to the value of the ML_type field, the meaning may be different and may be changed to another meaning according to use.
  • FIG. 11 illustrates a state in which an MMT packet header format has a format for multilayer information in SVC according to an embodiment of the present invention.
  • the ML_Info field includes ML-type (2 bit), TID_low (T_low, 3bit), DID_low (D_low, 3bit), QID_low (Q_low, 4bit), and PID_low (P_low, 10bit), TID_high (T_high, 3bit), DID_high (D_high, 3bit), QID_high (Q_high, 4bit) and PID_high (P_high, 6bit) fields, and may be configured by arranging the above fields in the order mentioned. According to another embodiment, the arrangement order of the fields may be changed, and some fields may be omitted.
  • the fields related to the values of TID, DID and QID have the same meaning as the TID_low, DID_low and QID_low parameters and the TID_high, DID_high and QID_high parameters.
  • PID priority identification
  • the PID_low value represents the smallest PID value among the PID values of the NAL units collected in the MMT packet. Therefore, PID_low is the PID value of the highest priority NAL unit.
  • the PID_high value represents the highest PID value among PID values of NAL units aggregated in an MMT packet. Therefore, PID_high is the PID value of the NAL unit with the lowest priority.
  • PID_low and PID_high can be selectively used as needed.
  • FIG. 12 is an algorithm for determining whether to forward, discard, and inspect an internal packet of an MMT packet including SVC video performed in a MANE according to another embodiment of the present invention.
  • TID_opt, DID_opt, QID_opt, and PID_opt represent (TID, DID, QID, PID) values corresponding to optimal extraction points determined in MANE in order to adapt to a given network environment.
  • TID_opt, DID_opt, QID_opt and PID_opt represent (TID, DID, QID, PID) values corresponding to optimal extraction points determined in MANE in order to adapt to a given network environment.
  • MANE discards the corresponding MMT packet without transmitting it if all values of TID_opt, DID_opt, QID_opt and PID_opt are smaller than TID_low, DID_low, QID_low and PID_low recorded in the MMT packet header, respectively. If both of the above conditions are not satisfied, MANE analyzes the TID, DID, QID and PID values of all NAL units included in the MMT packet individually to determine NAL units to be delivered or discarded.
  • the use of the PID is optional, and thus the determination of the PID value may be selectively performed.
  • the determination of the values of the TID, the DID, and the QID may be selectively performed as necessary.
  • only one of the maximum value and the minimum value may be compared with the optimal extraction point to determine whether or not to deliver the MMT packet as needed.
  • FIG. 13 illustrates a work flow applied in a MANE including SVC video in another embodiment of the present invention.
  • the MMT packet reaches the MANE (S200).
  • MANE parses the header of the MMT packet (S210).
  • MANE obtains (TID_low, DID_low, QID_low, PID_low) and (TID_high, DID_high, QID_high, PID_high) values from the MMT packet header (S220).
  • MANE determines the processing of the MMT packet using the algorithm of FIG. 12 described above.
  • MANE determines whether the value of TID_opt is greater than or equal to TID_high, the value of DID_opt is greater than or equal to DID_high, the value of QID_opt is greater than or equal to QID_high, and the value of PID_opt is greater than or equal to PID_high (S230). If the determination result is true, the corresponding MMT packet is transmitted to the target terminal (S240).
  • MANE determines whether all values of TID_opt, DID_opt, QID_opt, and PID_opt are smaller than TID_low, DID_low, QID_low, and PID_low recorded in the MMT packet header, respectively (S250). If the determination result is true, the MANE discards the corresponding MMT packet without transmitting (S260). However, if the determination result is false, that is, if the condition for transmitting the MMT packet is not satisfied and the condition for discarding the MMT packet is not satisfied, the MANE examines the NAL unit inside the MMT packet (S270).
  • V_Info field may be arranged in the order of ML-type (2 bits), VID_low (V_low, 10bit), and VID_high (V_high, 10bit).
  • VID_low and VID_high may be changed, and either may be omitted.
  • View identification (VID) indicates the ID of a view in MVC. Therefore, VID_low has the lowest value among the VIDs of the NAL units belonging to the MMT packet, and VID_high has the highest value among the VIDs of the NAL units belonging to the MMT packet.
  • VID When encoding by H.264 AVC / MVC, a VID is set in an access unit constituting a stream of encoded results. VID allows to identify which view component each Access Unit is in MVC.
  • an Access Unit (Dependent Unit, in the case of a Dependent View) is, for example, a unit in which data of one picture is integrated so as to be accessible by picture units.
  • an MVC header is added to each view component. MVC header includes view_id.
  • FIG. 15 is an algorithm for determining whether to forward, discard, and inspect an inner packet of an MMT packet including MVC video that is performed in a MANE according to another embodiment of the present invention.
  • VID_opt represents a VID value corresponding to an optimal extraction point determined in MANE in order to adapt to a given network environment.
  • MANE transfers the corresponding MMT packet to the target terminal when the VID_opt value is greater than or equal to VID_high recorded in the MMT packet header.
  • MANE discards the MMT packet without transmitting it if the VID_opt value is smaller than VID_low recorded in the MMT packet header. If both of the above conditions are not satisfied, MANE analyzes the VID values of all NAL units included in the MMT packet individually to determine NAL units to be delivered or discarded.
  • MANE examines only if the VID_opt value is greater than or equal to VID_high recorded in the MMT packet header. In this case, the MMT packet may be delivered only to the target terminal. Otherwise, the MMT packet may be discarded without transmitting the MMT packet. Similarly, in the algorithm according to another embodiment of the present invention, MANE examines only if the VID_opt value is smaller than VID_low recorded in the MMT packet header and discards the corresponding MMT packet only when it is applicable. MMT packet can be transmitted without discarding.
  • FIG. 16 illustrates a work flow applied in a MANE including MVC video in another embodiment of the present invention.
  • the MMT packet reaches MANE (S300).
  • MANE parses the header of the MMT packet (S310).
  • MANE obtains VID_low and VID_high values from the MMT packet header (S320).
  • MANE determines the processing of the MMT packet using the algorithm of FIG. 15 described above.
  • MANE determines whether the value of VID_opt is greater than or equal to VID_high (S330). If the determination result is true, the corresponding MMT packet is transmitted to the target terminal (S340).
  • MANE determines whether the value of VID_opt is smaller than the value of VID_low recorded in the MMT packet header in a similar manner to S330 (S350). If the determination result is true, the MANE discards the MMT packet without transmitting (S360). However, if the determination result is false, that is, if the condition for transmitting the MMT packet is not satisfied and the condition for discarding the MMT packet is not satisfied, MANE examines the inside of the MMT packet (S370).
  • step S320 may be performed by the MANE obtaining only the VID_high value from the MMT packet header.
  • step S330 may be performed by examining only the VID_opt value that is greater than or equal to VID_high recorded in the MMT packet header, and only if this is the case, delivers the corresponding MMT packet to the target terminal (S340). It may be discarded without transmitting the MMT packet (S360). That is, the step of S350 may be omitted in the flowchart of FIG. 16.
  • step S320 may be performed by MANE obtaining only the VID_low value from the MMT packet header.
  • step S330 is performed by examining only the VID_opt value smaller than VID_low recorded in the MMT packet header. If this is not the case, the MMT packet is transmitted without discarding (S340), and only when this is the case, the MMT packet is transmitted without transmitting (S360). That is, one determination step may be omitted in the flowchart of FIG. 16.
  • the multi-layer video server 410 controls the transmission of the MMT packet by using the extension information as the MANE controls the transmission of the MMT packet by using the above-described extension information. It may be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

네트워크 적응적인 계층적 비디오 전송을 위한 MMT 패킷의 전송 방법 및 장치
비디오 콘텐츠의 전송 방법 및 수신 방법에 관한 것으로서, 더욱 상세하게는 MMT 패킷의 전송 방법에 관한 것이다.
다양한 단말기에서 각 단말기에 맞는 다양한 해상도의 콘텐츠를 소비하게 되고, 이동 서비스가 가능해 지면서, 네트워크 환경이 실시간으로 변화하는 콘텐츠 소비환경이 조성되고 있다. 이러한 실시간으로 변하는 소비환경에 적합한 고품질의 콘텐츠를 제공하기 위해서는 기존의 단일 포맷을 지원하는 비디오 부호화 방식으로는 한계가 있다.
이런 측면에서 스케일러블 비디오 부호화(Scalable Video Coding, SVC) 및 MVC(Multiview Video Coding)방식에 대한 연구가 활발하게 진행되고 있다. SVC는 다양한 전송 환경 및 단말 성능에 실시간으로 적응 가능하도록 설계되었다. 즉, 단말에 따라 다양하게 요구되는 해상도, 네트워크 상태 등 가변의 이종 소비환경에 적합한 포맷을 지원하는 실시간 적응이 가능한 비디오 부호화 방식이다.
또한, H.264 AVC(Advanced Video Coding)/MVC(Multi-view Video coding)은 3D 화상을 표시할 수 있는 스트림을 기록하기 위한 부호화 방식이다. H.264 AVC/MVC 프로파일 규격에서는, Base view video라고 불리는 화상 스트림과, Dependent view video라고 불리는 화상 스트림이 정의되어 있다. 이하, 적절하게 H.264 AVC/MVC 프로파일 규격을 간단히 MVC라고 한다.
그러한 SVC 또는 MVC 비디오의 전송에 있어서, 네트워크 내의 환경을 고려하여 적응적으로 비디오 데이터를 전송하는 것이 요구된다.
상기한 문제를 해결하기 위한 본 발명의 목적은 MMT 패킷을 완전히 파싱하지 않고도 MMT 패킷의 전달 여부를 결정하는 MMT 패킷의 전송 방법 및 장치를 제공하는 것이다.
본 발명의 목적을 달성하기 위한 MMT 패킷 생성 방법은 비디오 데이터를 전달하는 MMT 패킷 전송 장치가 MMT 패킷을 생성하는 방법에 있어서, MMT 패킷 내에 포함된 적어도 하나의 NAL 유닛의 정보를 사용하여 생성된 확장 정보를 포함하는 MMT 패킷을 생성한다.
상기 확장 정보는 MMT 패킷의 패킷 헤더 또는 MMT 패킷에 포함된 MMT 페이로드의 페이로드 헤더에 포함될 수 있다.
상기 확장 정보는 상기 적어도 하나의 NAL 유닛의 시간적 레벨을 사용하여 생성된 TID(Temporal_ID) 파라미터, 상기 적어도 하나의 NAL 유닛의 공간적 레벨을 사용하여 생성된 DID(Dependency_ID) 파라미터, 상기 적어도 하나의 NAL 유닛의 품질 레벨을 사용하여 생성된 QID(Quality_ID) 파라미터 및 상기 적어도 하나의 NAL 유닛의 우선순위 정보를 사용하여 생성된 PID(Priority_ID) 파라미터 중 적어도 하나를 포함하거나 상기 MMT 패킷에 포함된 적어도 하나의 NAL 유닛의 시점(view) 정보를 사용하여 생성된 VID 파라미터를 포함할 수 있다.
상기 확장정보는 상기 MMT 패킷에 포함된 NAL 유닛의 시간적 레벨 중 가장 작은 값을 나타내는 TID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 공간적 레벨 중 가장 작은 값을 나타내는 DID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 품질 레벨 중 가장 작은 값을 나타내는 QID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 우선순위 정보 중 가장 작은 값을 나타내는 PID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 시간적 레벨 중 가장 큰 값을 나타내는 TID_high 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 공간적 레벨 중 가장 큰 값을 나타내는 DID_high 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 품질 레벨 중 가장 큰 값을 나타내는 QID_high 파라미터 및 상기 MMT 패킷에 포함된 NAL 유닛의 우선순위 정보 중 가장 큰 값을 나타내는 PID_high 파라미터 중 적어도 하나를 포함하거나 상기 MMT 패킷에 포함된 NAL 유닛의 시점(view) 정보 중 가장 작은 값을 나타내는 VID_low 파라미터 및 상기 MMT 패킷에 포함된 NAL 유닛의 시점(view) 정보 중 가장 큰 값을 나타내는 VID_high 파라미터 중 적어도 하나를 포함할 수 있다.
상기 확장 정보는 상기 MMT 패킷이 포함하는 비디오 데이터의 인코딩 방식을 나타내는 ML_Type파라미터를 더 포함할 수 있다.
또한, 본 발명의 목적을 달성하기 위한 MMT 패킷 전송 방법은 비디오 데이터 전송 장치가 MMT 패킷을 전송하는 방법에 있어서, 상기 MMT 패킷에 포함된 확장 정보를 사용하여 상기 MMT 패킷의 전달여부를 결정하는 단계를 포함한다.
상기 MMT 패킷은 MMT 패킷 헤더, MMT 페이로드 헤더 및 MMT 페이로드를 포함하고, 상기 확장 정보는 상기 MMT 패킷 헤더 또는 상기 MMT 페이로드 헤더에 위치할 수 있다.
상기 확장정보는 상기 MMT 패킷에 포함된 NAL 유닛의 시간적 레벨 중 가장 작은 값을 나타내는 TID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 공간적 레벨 중 가장 작은 값을 나타내는 DID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 품질 레벨 중 가장 작은 값을 나타내는 QID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 우선순위 정보 중 가장 작은 값을 나타내는 PID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 시간적 레벨 중 가장 큰 값을 나타내는 TID_high 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 공간적 레벨 중 가장 큰 값을 나타내는 DID_high 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 품질 레벨 중 가장 큰 값을 나타내는 QID_high 파라미터 및 상기 MMT 패킷에 포함된 NAL 유닛의 우선순위 정보 중 가장 큰 값을 나타내는 PID_high 파라미터 중 적어도 하나를 포함하거나 상기 MMT 패킷에 포함된 NAL 유닛의 시점(view) 정보 중 가장 작은 값을 나타내는 VID_low 파라미터 및 상기 MMT 패킷에 포함된 NAL 유닛의 시점(view) 정보 중 가장 큰 값을 나타내는 VID_high 파라미터 중 적어도 하나를 포함할 수 있다.
상기 전달여부를 결정하는 단계는, 상기 전송 장치가 설정된 시간적 레벨의 기준값 TID_opt가 상기 TID_high의 값 보다 크거나 같고, 설정된 공간적 레벨의 기준값 DID_opt가 DID_high의 값 보다 크거나 같으며, 설정된 품질 레벨의 기준값 QID_opt가 QID_high의 값 보다 크거나 같고, 설정된 우선순위 정보의 기준값 PID_opt가 PID_low의 값 보다 크거나 같은 경우에 상기 MMT 패킷을 전달함으로써 수행될 수 있다.
상기 전달여부를 결정하는 단계는, 상기 전송 장치가 설정된 시간적 레벨의 기준값 TID_opt가 상기 TID_low의 값 보다 작고, 설정된 공간적 레벨의 기준값 DID_opt가 DID_low의 값 보다 작으며, 설정된 품질 레벨의 기준값 QID_opt가 QID_low의 값 보다 작고, 설정된 우선순위 정보의 기준값 PID_opt가 PID_low의 값 보다 작은 경우에 상기 MMT 패킷을 전달하지 않음으로써 수행될 수 있다.
상기 확장정보는 상기 MMT 패킷이 포함하는 비디오 데이터의 인코딩 방식을 나타내는 ML_type파라미터를 더 포함하며, 상기 전송 방법은 상기 전송 장치가 상기 ML_type 파라미터의 값을 사용하여 상기 MMT 패킷에 포함된 비디오 데이터는 SVC(Scalable Video Coding) 인코딩 방식으로 인코딩 되었음을 확인하는 단계를 더 포함하고, 상기 전달여부를 결정하는 단계는, 상기 전달 장치가 설정된 시간적 레벨의 기준값 TID_opt가 상기 TID_high의 값 보다 작고 상기 TID_low의 값 보다 크거나 같은 경우, 설정된 공간적 레벨의 기준값 DID_opt가 상기 DID_high의 값 보다 작고 상기 DID_low의 값 보다 크거나 같은 경우 또는 설정된 품질 레벨의 기준값 QID_opt가 상기 QID_high의 값 보다 작고 상기 QID_low의 값 보다 크거나 같은 경우에 상기 MMT 패킷의 NAL 유닛을 조사하여 MMT 패킷의 전달 여부를 판단함으로써 수행될 수 있다.
상기 전송 장치는 MANE(Media Aware Network Element)이고, 상기 MMT 패킷의 데이터를 사용하여 상기 MMT 패킷의 전달여부를 결정하는 단계는, 상기 MANE에 MMT 패킷이 도착하는 단계; 상기 MMT 패킷 헤더를 파싱하는 단계; 상기 MMT 패킷 헤더로부터 확장 정보를 얻는 단계; 및 상기 확장정보로부터 상기 MMT 패킷의 전달 여부를 결정하는 단계를 포함할 수 있다.
또한, 본 발명의 목적을 달성하기 위한 MMT 패킷 전송 장치는 비디오 데이터를 전달하는 MMT 패킷 전송 장치에 있어서, MMT 패킷 생성부; 및 MMT 패킷 전송부를 포함하고, 상기 MMT 패킷 생성부는 MMT 페이로드와 MMT 페이로드 내에 포함된 적어도 하나의 NAL 유닛의 정보를 사용하여 생성된 확장 정보를 포함하는 MMT 패킷을 생성한다.
상기 MMT 패킷 생성부는 상기 확장 정보를 상기 MMT 패킷의 패킷 헤더 또는 상기 MMT 패킷에 포함된 상기 MMT 페이로드의 페이로드 헤더에 포함시켜 상기 MMT 패킷을 생성할 수 있다.
상기 확장 정보는 상기 적어도 하나의 NAL 유닛의 시간적 레벨을 사용하여 생성된 TID 파라미터, 상기 적어도 하나의 NAL 유닛의 공간적 레벨을 사용하여 생성된 DID 파라미터, 상기 적어도 하나의 NAL 유닛의 품질 레벨을 사용하여 생성된 QID 파라미터 및 상기 적어도 하나의 NAL 유닛의 우선순위 정보를 사용하여 생성된 PID 파라미터 중 적어도 하나를 포함하거나 상기 적어도 하나의 NAL 유닛의 시점(view) 정보를 사용하여 생성된 VID 파라미터를 포함할 수 있다.
또한, 본 발명의 목적을 달성하기 위한 MMT 패킷 전송 장치는 비디오 데이터를 전달하는 MMT 패킷 전송 장치에 있어서, 상기 MMT 패킷의 확장 정보를 사용하여 상기 MMT 패킷의 전달여부를 결정하는 MMT 패킷 전송부를 포함한다.
상기 MMT 패킷은 MMT 패킷 헤더, MMT 페이로드 헤더 및 MMT 페이로드를 포함하고, 상기 확장 정보는 상기 MMT 패킷의 MMT 패킷 헤더 또는 페이로드 헤더에 위치할 수 있다.
상기 확장정보는 상기 MMT 패킷에 포함된 NAL 유닛의 시간적 레벨 중 가장 작은 값을 나타내는 TID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 공간적 레벨 중 가장 작은 값을 나타내는 DID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 품질 레벨 중 가장 작은 값을 나타내는 QID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 우선순위 정보 중 가장 작은 값을 나타내는 PID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 시간적 레벨 중 가장 큰 값을 나타내는 TID_high 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 공간적 레벨 중 가장 큰 값을 나타내는 DID_high 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 품질 레벨 중 가장 큰 값을 나타내는 QID_high 파라미터 및 상기 MMT 패킷에 포함된 NAL 유닛의 우선순위 정보 중 가장 큰 값을 나타내는 PID_high 파라미터 중 적어도 하나를 포함하거나 상기 MMT 패킷에 포함된 NAL 유닛의 시점(view) 정보 중 가장 작은 값을 나타내는 VID_low 파라미터 및 상기 MMT 패킷에 포함된 NAL 유닛의 시점(view) 정보 중 가장 큰 값을 나타내는 VID_high 파라미터 중 적어도 하나를 포함할 수 있다.
상기 전송 장치는 설정된 시간적 레벨의 기준값 TID_opt가 상기 TID_high의 값 보다 크거나 같고, 설정된 공간적 레벨의 기준값 DID_opt가 DID_high의 값 보다 크거나 같으며, 설정된 품질 레벨의 기준값 QID_opt가 QID_high의 값 보다 크거나 같고, 설정된 우선순위 정보의 기준값 PID_opt가 PID_high의 값 보다 크거나 같은 경우에 상기 MMT 패킷을 전달할 수 있다.
상기 전송 장치는 설정된 시간적 레벨의 기준값 TID_opt가 상기 TID_low의 값 보다 작고, 설정된 공간적 레벨의 기준값 DID_opt가 DID_low의 값 보다 작으며, 설정된 품질 레벨의 기준값 QID_opt가 QID_low의 값 보다 작고, 설정된 우선순위 정보의 기준값 PID_opt가 PID_low의 값 보다 작은 경우에 상기 MMT 패킷을 전달하지 않을 수 있다.
상기 상기 확장 정보는 상기 MMT 패킷이 포함하는 비디오 데이터의 인코딩 방식을 나타내는 ML_type파라미터를 더 포함하며, 상기 전송 장치는 상기 ML_type 파라미터의 값을 사용하여 상기 MMT 패킷의 비디오 데이터가 MVC(Multi-view Video coding) 인코딩으로 생성된 것을 판단한 경우, 설정된 시점 정보의 기준값 VID_opt가 상기 VID_high보다 크거나 같은 경우에 상기 MMT 패킷을 전달할 수 있다.
상기 전송 장치는 MANE(Media Aware Network Element)이고, 상기 전송 장치는, 상기 MMT 패킷을 수신하는 수신부를 더 포함하고, 상기 MMT 패킷 전송부는 상기 MMT 패킷에 포함된 MMT 패킷 헤더를 파싱하여 생성한 확장 정보로부터 상기 MMT 패킷의 전달 여부를 결정할 수 있다.
또한, 본 발명의 목적을 달성하기 위한 MMT 패킷 구조는 MMT 패킷 헤더; 및 MMT 페이로드를 포함하는 MMT 패킷의 구조에 있어서, 상기 MMT 페이로드는 페이로드 헤더를 포함하고, 상기 MMT 패킷 헤더 또는 상기 페이로드 헤더는 적어도 하나의 NAL 유닛을 사용하여 생성된 확장 정보를 포함한다.
전술한 본 발명의 일 실시예에 따른 MMT 패킷의 전송 방법 및 장치는 MMT(MPEG Media Transport: MPEG 미디어 전송) 시스템 기반의 미디어 전송 서비스에서 SVC 및 MVC와 같은 멀티-레이어 비디오를 네트워크 환경에 적응적으로 전송하기 위해 필요한 확장 정보를 가지는 MMT 패킷의 구조 및 확장 정보를 사용하여 MANE가 MANE에 입력된 MMT 패킷들 가운데 타겟 단말기로 전달하기 위해 선택하거나 혹은 버리게 될 MMT 패킷을 고속으로 결정할 수 있게 하는 효과를 가진다.
도 1은 본 발명의 일 실시예에 따른 MMT 계층 구조를 나타낸 개념도이다.
도 2는 도 1의 MMT 계층 구조의 각 계층별로 사용되는 단위 정보(또는 데이터 또는 패킷)의 포맷을 나타낸다.
도 3은 본 발명의 일 실시예에 따른 MMT 패키지 구성을 나타낸다.
도 4는 본 발명의 일 실시예에 따른 MANE 기반의 네트워크 적응적인 SVC 및 MVC 비디오 전송 시스템의 구조를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 MMT 패킷의 내부 구조이다.
도 6은 본 발명의 일 실시예에 따른 페이로드 스케일러빌리티 정보의 구조이다.
도 7은 본 발명의 일 실시예에 따른 MANE(Media Aware Network Element)에서 이루어지게 되는 MMT 패킷에 대한 전달, 버림, 패킷 내부 조사 여부를 판단하는 알고리듬이다.
도 8은 본 발명의 일 실시예에 따른 MANE의 MMT 패킷의 전달 순서를 나타낸 순서도이다.
도 9는 본 발명의 다른 실시 예에서 NAME 기반 네트워크 내 적응을 위한 확장 정보를 포함하는 MMT 패킷 헤더 포멧의 실시예를 도시한다.
도 10은 멀티 레이어 정보가 표현하는 타입의 상태를 나타내는 ML_type 필드를 설명한다.
도 11은 본 발명의 일 실시 예에 따른 MMT 패킷 헤더 포멧이 SVC에서의 멀티레이어 정보를 위한 포멧을 가진 상태를 도시한다.
도 12는 본 발명의 다른 실시예에 따른 MANE에서 이루어지게 되는 SVC 비디오를 포함한 MMT 패킷에 대한 전달, 버림, 패킷 내부 조사 여부를 판단하는 알고리듬이다.
도 13은 본 발명의 다른 실시 예에서 SVC 비디오를 포함한 MANE 에서 적용되는 작업 흐름도 (work flow)를 나타낸다.
도 14는 본 발명의 다른 실시 예에 따른 MMT 패킷 헤더 포멧이 MVC에서의 멀티레이어 정보를 위한 포멧을 가진 상태를 도시한다.
도 15는 본 발명의 다른 실시예에 따른 MANE에서 이루어지게 되는 MVC 비디오를 포함한 MMT 패킷에 대한 전달, 버림, 패킷 내부 조사 여부를 판단하는 알고리듬이다.
도 16은 본 발명의 다른 실시 예에서 MVC 비디오를 포함한 MANE 에서 적용되는 작업 흐름도(work flow)를 나타낸다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
이하, 용어의 의미를 다음과 같이 정의한다.
논 타임드 데이터(Non-timed data)는 시간을 명시하지 않고 소비되는 모든 데이터 요소를 정의한다. 논 타임드 데이터는 그의 미디어 유닛의 디코딩 및/또는 표현을 위한 고유의 동기화 정보를 가지지 않는 데이터다.
타임드 데이터(timed data)는 그의 미디어 유닛의 디코딩 및/또는 표현을 위한 고유의 동기화 정보를 가는 데이터로, 디코딩 및 프리젠테이션 되는 특정한 시간과 연관된 데이터 요소를 정의한다.
엑세스 유닛(Access Unit; AU)은 시간 정보를 가질 수 있는 가장 작은 데이터 개체다.
MMT 애셋(MMT Asset)은 동일한 MMT 애셋 ID와 함께 적어도 하나의 MPU로 구성되거나 또는 다른 표준에서 정의된 형식과 함께 특정 데이터 덩어리로 구성되는 논리적 데이터 개체이다. MMT 애셋은 동일한 전송 특성으로 데이터를 포함하는 데이터 개체이다.
MMT 애셋 전달 특성(MMT Asset Delivery Characteristics; MMT-ADC)은 MMT 애셋을 전송하기 위한 QoS(Quality of Service) 요구에 관련된 서술이다. MMT-ADC는 특정 전달 환경에 무관한 파라미터로 표현된다.
MMT 컴포지션 정보(MMT Composition Information ; MMT CI)는 MMT 애셋간의 공간적 및 시간적 관계를 설명한다.
미디어 프래그먼트 유닛(Media Fragment Unit; MFU)는 어떠한 특정 코덱에도 독립된 일반적인 컨테이너로, 미디어 디코더에 의해 독립적으로 소비될 수 있는 부호화된 미디어 데이터를 수용한다. AU는 타임드 미디어 데이터를 위한 AU의 전부 또는 일부와 같이 미디어 디코더에 의해 독립적으로 디코드 가능한 미디어 데이터 또는 논 타임드 미디어 데이터를 위한 하나의 파일을 포함한다. 이는 엑세스 유닛(AU)보다 작거나 같은 크기를 가지고 트랜스포트 계층(Transport layer)에서 사용될 수 있는 정보를 수용한다.
미디어 프로세싱 유닛(Media Processing Unit)은 어떠한 특정 미디어 코덱에도 독립된 일반적인 컨테이너로, 독립적으로 디코드 할 수 있는 타임드 또는 논 타임드 데이터를 위한 일반적 컨테이너이다. 추가적 전달 및 소비에 관련된 정보와 함께 타임드 데이터의 적어도 하나의 AU나 논 타임드 데이터의 부분을 포함한다. MPU의 프로세싱은 패키지로의 인캡슐레이션 또는 전달을 위한 패킷화를 의미한다. MPU는 완전하고 독립적으로 처리될 수 있는 부호화된 미디어 데이터이다. 단, 스케일러블 비디오 코딩(Scalable Video Coding, SVC) 및 다시점 비디오 코딩(Multiview Video Coding, MVC)을 위해 일부 경우에는 MPU는 미디어 코덱 서버에서 독립적으로 및 완전히 소비되지 않을 수 있다.
MMT 개체(MMT entity)는 MMT 프로파일을 따르는 소프트웨어 또는 하드웨어의 구현이다.
MMT 패킷(MMT packet)은 MMT 프로토콜에 따라 생성 또는 소비되는 데이터의 형식화된 유닛(formatted unit)이다.
MMT 패키지(MMT Package)는 논리적으로 구조화된 데이터의 모음으로, 적어도 하나의 MMT 애셋과, MMT-컴포지션 정보, MMT-애셋 전달 특성 및 설명적인 정보로 구성된다.
MMT 페이로드(MMT payload)는 패키지를 나르거나 MMT 프로토콜 이나 인터넷 응용 계층 전송 프로토콜(예를 들어 RTP가 있다)을 사용하여 메시지를 시그날링하는 데이터의 형식화된 유닛이다.
MMT 프로토콜은 MMT 페이로드를 IP 네트워크를 통해 전달하기 위한 응용 계층 전송 프로토콜이다.
MMT 페이로드 포맷(MMT payload format)은 MMT 프로토콜 또는 인터넷 응용 계층 프로토콜(예를 들면, RTP)에 의해 전달될 MMT 패키지 또는 MMT 시그널링 메시지의 페이로드를 위한 포맷이다.
표현(presentation)은 사용자가 하나의 컨텐츠 컴포넌트 또는 하나의 서비스를 경험(예를 들어 영화 감상)할 수 있도록 하나 또는 하나 이상의 장치들에 의해 수행되는 동작(operation)으로 정의한다.
서비스(service)는 표현(presentation) 또는 저장(storage)을 위해 전송되는 하나 또는 하나 이상의 컨텐츠 컴포넌트로 정의한다.
서비스 정보(service information)는 하나의 서비스, 상기 서비스의 특성(characteristics) 및 컴포넌트들을 기술하는 메타 데이터로 정의한다.
컨텐츠 콤포넌트(content component) 또는 미디어 콤포넌트(media component)는 단일 종류의 미디어(media of a single type) 또는 단일 종류의 미디어의 부분 집합(subset of the media of a single type)으로 정의되며, 예를 들어, 비디오 트랙(video track), 영화 자막(movie subtitles), 또는 비디오 향상계층(enhancement layer of video)이 될 수 있다.
컨텐츠(content)는 컨텐츠 콤포넌트의 집합으로 정의하며, 예를 들어 영화(movie), 노래(song)등이 될 수 있다.
하이브리드 전송(hybrid delievery)은 하나 또는 하나 이상의 컨텐츠 컴포넌트들이 하나 이상의 물리적으로 서로 다른 형태의 망(network)을 통하여 동시에 전송되거나 물리적으로 같은 형태의 망이나 서로 다른 망을 통하여 동시에 전송되는 것으로 정의한다.
이하에서, 제 1 망(network) 또는 제 2 망(network)은 방송망(broadcast network), 광대역망(broadband network), 케이블망(cable network), 또는 위성통신망(satellite communication network)을 포함하는 다양한 네트워크를 포함한다.
이하, 하이브리드 전송시 MMT 애셋 단위, 서브스트림 단위, MFU 단위, MPU 단위, MMT 패키지 단위 또는 MMT 패킷 단위로 전송될 수도 있고 또한 비디오 컨텐츠가 제1 레이어, 제2 레이어와 같이 복수의 레이어로 구성된 경우 레이어 단위로 하이브리드 전송할 수도 있다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시 예에 따른 MMT 계층 구조를 나타낸 개념도이다.
도 1을 참조하면, MMT(Mpeg Media Transport) 계층 구조는 인캡슐레이션 계층(Encapsulation layer), 전달 계층(Delivery layer) 및 시그널링 계층(Signaling layer)의 기능 영역(functional area)을 포함한다. MMT 계층은 트랜스포트 계층(Transport layer) 상에서 동작한다.
인캡슐레이션 계층(Encapsulation layer; E-layer)은 미디어 컨텐츠, MMT 패키지, 그리고 MMT 개체(MMT entity)에 의해 처리될 데이터 유닛의 포맷의 논리적 구조와 ISO 기반의 미디어 파일 포멧(ISO base media file format, ISOBMFF)으로의 구현예를 정의한다. 적응적 전달을 위해 필수적인 정보를 제공하기 위해 MMT 패키지는 미디어 컨텐츠를 포함하는 컴포넌트들 및 그들간의 관계를 명시한다. 데이터 유닛들의 포맷은 저장 또는 전달을 위해 부호화된 미디어를 인캡슐레이션하고, 상기 두 포멧 간에 용이하게 변환되도록 정의된다.
인캡슐레이션 계층(Encapsulation layer; E-layer)은 예를 들어 전송되는 미디어의 패킷화(packetization), 프래그먼테이션(Fragmentation), 동기화(Synchronization), 멀티플렉싱(Multiplexing)등의 기능을 담당할 수 있다.
다양한 종류의 멀티미디어 컴포넌트들이 인캡슐레이션 계층(E-layer)에서 제공되는 기능에 의하여 전송 및 소비되기 위하여 인캡슐레이션되고 서로 합해질 수 있다. 인캡슐레이션된 미디어 컴포넌트 및 미디어 컴포넌트들의 컨피규레이션(configurations) 정보는 인캡슐레이션 계층(E-layer)의 기능 영역에서 제공된다.
인캡슐레이션된 미디어 컴포넌트들에 대한 주된 정보는 통합(aggregation), 우선순위(prioritization), 미디어 프래그먼트의 의존성, MPU의 타이밍 정보 및 구조 정보, MMT 애셋(150)의 식별 정보, 초기화 정보 및 코덱 정보를 포함할 수 있다. 미디어 컴포넌트들의 컨피규레이션(configurations) 정보는 MMT 패키지(160) 및 MMT 애셋(150)의 식별 정보, MMT 애셋(150)의 리스트를 가지는 컨피규레이션 정보, MMT 패키지(160)내의 MMT 애셋(150)들의 컴포지션 정보(composition information)(162) 및 애셋 전달 특성(Asset Delivery Characteristics, ADC)(164)를 포함할 수 있다.
인캡슐레이션 계층(E-layer)은, 도 1에 도시된 바와 같이, MMT E.1 계층(MMT E.1 Layer), MMT E.2 계층(MMT E.2 Layer) 및 MMT E.3 계층(MMT E.3 Layer)으로 구성될 수 있다.
E.3 계층은 미디어 코덱(A) 계층으로부터 제공된 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)을 인캡슐레이션하여 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 생성한다.
상위 계층으로부터의 부호화된 미디어 데이터는 MFU로 인캡슐레이션된다. 부호화된 미디어의 타입 및 값은 MFU를 특정 코덱 기술에 일반적으로 사용될 수 있도록 추상화된다. 이는 하위 계층이 인캡슐레이션된 부호화된 미디어에 접근 없이 MFU를 처리할 수 있게 하며 하위 계층은 요구되는 부호화된 미디어 데이터를 네트워크나 저장소의 버퍼로부터 불러오고 미디어 디코더로 전송한다. MFU는 상기 작동을 수행하기 위한 충분한 정보 미디어 부분 유닛을 가지고 있다.
독립적으로 전송가능하고 디코딩할 수 있는 하나 또는 한개 그룹의 복수의 MFU는 MPU를 생성한다. 독립적으로 전송가능하고 실행가능한 비-시간적 미디어 또한 MPU를 생성한다. MPU는 MFU의 배열 및 패턴과 같은 내부 구조를 기술하여 MFU에의 빠른 접근 및 부분적 소비를 가능하게 한다.
MFU는 임의의 특정 코덱(codec)에 독립적이고 미디어 디코더에서 독립적으로 소비될 수 있는 데이터 유닛을 싣을 수 있는 포맷을 가질 수 있다. MFU는 예를 들어 비디오의 픽춰(picture) 또는 슬라이스(slice)가 될 수 있다.
E.2 계층은 E.3계층에서 생성된 MPU를 인캡슐레이션하여 MMT 애셋(MMT Asset)을 생성한다.
동일한 소스 컴포넌트로부터의 MPU의 시퀀스는 MMT 애셋을 생성한다. MMT 애셋은 MMT 패키지에 의해 패키지되고, 컴포지션 정보(Composition Information; CI), 전송 특성(Transport Characteristics; TC)에 의해 다른 것과 구성되며, MMT 페이로드 포맷에 의해 다른 것과 다중화되고, MMT 프로토콜에 의해 전송된다.
MMT 애셋은 단일의 데이터 소스로부터의 하나 또는 복수의 MPU로 이루어진 데이터 엔티티(data entity)로서, 컴포지션 정보(Composition Information; CI) 및 애셋 전달 특성(Asset Delivery Characteristics, ADC)이 정의된 데이터 유닛이다. MMT 애셋은 PES(packetized elementary streams)에 대응될 수 있으며, 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 파일 포맷(File Format), M2TS(MPEG transport stream)등에 대응될 수 있다.
E.1 계층(E.1 Layer)은 E.2 계층에서 생성된 MMT 애셋을 인캡슐레이션하여 MMT 패키지(MMT Package)를 생성한다.
MMT 애셋은 다른 기능적 영역-트랜스포트 영역 및 시그널 영역-과 함께 또는 별도로 동일한 사용자 경험의 추후의 응답을 위해 MMT 콤포지션 정보(MMT-composition information;MMT-CI)와 패키지된다. 또한 MMT 애셋은 MMT 애셋의 체감 품질을 충족시키도록 각각의 MMT 애셋을 위한 적절한 전달 방법을 선정하는 애셋 전달 특성(Asset Delivery Characteristics, ADC)과 함께 패키지된다.
도 3을 참조하면, MMT 패키지(160)는 하나의 콤포지션 정보(Composition Information; CI, 162), 적어도 하나의 MMT 애셋(150) 및 각각의 애셋에 관련된 애셋 전달 특성(Asset Delivery characteristics; ADC, 164)을 포함한다. MMT 패키지는 MPEG-2 TS의 프로그램(Program)에 대응될 수 있다.
또한, 패키지의 프로세싱은 MPU 기반으로 적용되고, 애셋은 동일한 애셋 ID를 가진 적어도 하나의 MPU의 집합인바, 하나의 패키지는 하나의 콤포지션 정보, 적어도 하나의 MPU 및 각각의 애셋에 관련된 애셋 전송 특성으로 구성되어 있다고 볼 수도 있다.
애셋은 타임드 또는 논 타임드 성질을 가진 오디오, 비디오 또는 웹페이지 데이터와 같은 부호화된 미디어 데이터를 인캡슐레이션하는 패키지의 요소가 될 수 있다.
콤포지션 정보(Composition Information)는 MMT 애셋들 사이의 관계(relationship)에 대한 정보를 포함하며, 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다.
애셋 전달 특성(Asset Delivery Characteristics; ADC, 162)은 애셋의 전달을 위한 QoS 요구 및 통계를 나타낸다. 복수의 애셋은 하나의 ADC에 관련될 수 있다. ADC는 애셋의 효과적인 전달을 위해 패키지를 패킷화하는 개체에 의해 MMT 페이로드 및 MMT 프로토콜의 파라미터를 설정하는데 사용될 수 있다.
애셋 전달 특성(Asset Delivery Characteristics; ADC)은 MMT 애셋 또는 MMT 패킷의 전달 조건(delivery condition)을 결정하기 위해 필요한 전달 특성 정보를 포함할 수 있으며, 예를 들어 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다.
전달 계층(Delivery layer; D-layer)은 페이로드 포맷 및 응용 계층 전송 프로토콜을 정의한다. 페이로드 포맷은 미디어 타입 또는 인코딩 방법을 불문하고 부호화된 미디어 데이터를 나를 수 있도록 정의된다. 응용 계층 전송 프로토콜은 멀티플렉싱 및 교차 계층 커뮤니케이션을 포함하는 패키지의 전달을 위한 강화된 특징을 제공한다.
전달 계층(Delivery layer; D-layer)은 예를 들어 네트워크를 통해 전송되는 미디어의 네트워크 플로우 멀티플렉싱(Network flow multiplexing), 네트워크 패킷화(Network packetization), QoS 제어 등을 수행할 수 있다. 전달 계층 (D-layer)은 트랜스포트 계층(Transport layer)과 인캡슐레이션 계층(E-layer) 사이에서, 네트워크를 통해 전송되는 비디오, 오디오등과 같은 미디어(Media)의 다중화(multiplexing), 패킷 레벨의 통합(aggregation) 및/또는 분할(Fragmentation), 네트워크 패킷화(Network packetization), QoS 제어, 동기화(Synchronization) 기능, 기존의 RTP와 같은 트랜스포트 계층(Transport layer), 기존의 UDP, TCP와 같은 트랜스포트 계층(Transport layer), 인캡슐레이션 계층(E-layer), 시그널링 계층 (S layer)과의 인터페이스 등을 담당한다.
전달 계층 (D-layer)은 인캡슐레이션 계층(E-layer)으로부터의 페이로드(payloads)를 핸들링하기 위하여 인캡슐레이션 계층(E-layer)으로부터의 넘어온 서로 다른 타입의 페이로드를 식별한다. 전달 계층 (D-layer)은 서로 다른 망과 서로 다른 채널을 통하여 전달되는 패킷들간의 임시적인 관계(temporal relation)를 다룰 수 있다. 상기 동기화(Synchronization) 기능은 타임스탬프등을 이용한 하이브리드망 동기화를 포함할 수 있다.
전달 계층 (D-layer)은 실시간 미디어 전송을 위해 MMT 전달패킷(MMT delivery packets)의 타이밍 제약(timing constraints)을 다룰 수 있다. 전달 계층 (D-layer)은 전방향 에러 보정(Forward Error Correction) 및 재전송과 같은 MMT 미디어 패킷의 에러 제어를 수행할 수 있다. 전달 계층 (D-layer)은 MMT 미디어 패킷의 흐름 제어를 수행할 수 있다. 전달 계층 (D-layer)은 MMT 미디어패킷의 전달을 위한 소정 레벨의 QoS를 유지하기 위하여 크로스 레이어 디자인(Cross-layer design)을 통하여 하위 계층(MAC, PHY) 뿐만 아니라 다른 MMT 계층과의 인터랙션(interaction)을 수행할 수 있다. 또한, 전달 계층 (D-layer)은 그룹 통신을 수행하기 위한 기능을 제공할 수 있다.
전달 계층 (D-layer)은, 도 1에 도시된 바와 같이, MMT D.1 계층(MMT D.1 Layer), MMT D.2 계층(MMT D.2 Layer) 및 MMT D.3 계층(MMT D.3 Layer)으로 구성될 수 있다. D.1 계층(D.1-layer)은 E.1 계층에서 생성된 MMT 패키지를 받아서 MMT 페이로드를 생성한다. MMT 페이로드는 MMT 페이로드 포멧으로 구성된다. MMT 페이로드 포멧은 MMT 애셋을 전송하고, MMT 애플리케이션 프로토콜 또는 RTP와 같은 다른 기존의 애플리케이션 전송 프로토콜에 의한 소비를 위한 정보를 전송하기 위한 페이로드의 포맷이다. MMT 페이로드는 AL-FEC와 같은 정보와 함께 MFU의 프래그먼트를 포함할 수 있다.
MMT 페이로드 포멧은 패키지의 컨텐츠 콤포넌트의 패킷화를 위한 일반적인 페이로드 포멧으로 정의된다. MMT 페이로드 포멧은 특정 미디어 코덱에 무관하게 정의되어, MPU와 같이 인캡슐레이션된 어떠한 타입의 미디어도 미디어 컨텐츠의 스트리밍 전달을 지원하는 응용 계층 전송 프로토콜을 위한 페이로드로 패킷화 될 수 있다. MMT 페이로드는 RTP, MMT 및 다른 패킷 전송 프로토콜을 위한 페이로드 포멧으로 사용될 수 있다. MMT 페이로드는 시그널링 메시지를 패킷화하기 위해 사용될 수도 있다.
D.2 계층(D.2-layer)은 D.1 계층에서 생성된 MMT 페이로드를 받아서 MMT 패킷(MMT Packet)을 생성한다. MMT 패킷은 MMT를 위한 애플리케이션 전송 프로토콜에 사용되는 데이터 포맷이다.
D.3 계층(D.3-layer)은 크로스-레이어 디자인(cross-layer Design)에 의해 계층간에 정보를 교환할 수 있는 기능을 제공함으로써 QoS를 지원한다. 예를 들어, D.3 계층은 MAC/PHY 계층의 QoS 파라미터를 이용하여 QoS 제어를 수행할 수 있다. MAC/PHY의 QoS파라미터는 예를 들어, 비트율(bitrate), 패킷손실율(packet loss ratio), 예측된 지연(expected delay), 이용 가능한 버퍼 크기 등이 될 수 있다.
시그널링 계층(Signaling layer; S layer)은 시그널링 기능(signaling function)을 수행한다. 예를 들어 전송되는 미디어의 세션 초기화/제어/관리(session initialization/control/management), 서버 기반 및/또는 클라이언트 기반의 트릭 모드, 서비스 디스커버리(Service discovery), 동기화(Synchronization) 및 다른 계층, 즉 전달 계층(D-layer) 및 인캡슐레이션 계층(E-layer)과의 인터페이스 기능 등을 위한 시그널링 기능을 수행할 수 있다. 상기 동기화는 하이브리드망에서의 동기화 제어를 포함할 수 있다.
시그널링 계층은 MMT 패키지의 전달 및 소비를 관리하는 메시지의 포맷을 정의한다. 소비 관리를 위한 메시지는 MMT 패키지의 구조를 알리기 위해 사용되고, 전달 관리를 위한 메시지는 페이로드 포맷의 구조 및 프로토콜의 구성을 알리기 위해 사용된다.
시그널링 계층 (S layer)은, 도 1에 도시된 바와 같이, MMT S.1 계층(MMT S.1 Layer) 및 MMT S.2 계층(MMT S.2 Layer)으로 구성될 수 있다.
S.1 계층은 미디어 표현 세션 관리(presentation session management)를 위한 애플리케이션들간의 제어 메시지들의 포맷을 정의할 수 있다. 상기 표현 세션 관리는 미디어 표현, 세션 관리, 미디어 소비에 요구되는 정보 제공을 위하여 애플리케이션간에 교환된 제어 메시지의 포맷을 정의할 수 있다. S.1 계층은 서비스 디스커버리(Service discovery), 미디어의 세션 초기화/종료(media session initialization/termination), 미디어의 세션 표현/제어(media session presentation/control), 전달(D) 계층 및 인캡슐레이션(E) 계층과의 인터페이스 기능 등을 수행할 수 있다.
S.2 계층은 전달 세션 관리(delivery session management)를 수행할 수 있다. 상기 전달 세션 관리는 흐름 제어(flow control), 전달 세션 관리(delivery session management), 전달 세션 모니터링(delivery session monitoring), 에러 제어(error control), 하이브리드망 동기화 제어(Hybrid network synchronization control)에 관한 전달 계층(D-layer)의 전달 엔드-포인트들(delivery end-points)간에 교환되는 제어 메시지의 포맷을 정의할 수 있다.
S.2 계층은 전달 계층의 동작을 지원하기 위하여 전달 세션 설정 및 해제(delivery session establishment and release), 전달 세션 관리(전달 세션 모니터링, 흐름 제어, 에러 제어 등), 설정된 전달 세션에 대한 리소스 예약, 복합 전달 환경하에서의 동기화를 위한 시그널링, 적응적 전달(adaptive delivery)를 위한 시그널링을 포함할 수 있다. 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 즉, S.2 계층은 전술한 바와 같은 전달 계층의 동작을 지원하기 위하여 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 또한, S.2 계층은 전달 계층 및 인캡슐레이션 계층과의 인터페이스 기능을 담당할 수 있다.
제어 메시지(control message; 또는 제어 정보(control information))는 시그널링 계층 (S layer)에서 생성되어 방송망 및/또는 광대역망을 통하여 전송될 수 있다.
방송망 및 광대역망 모두를 통하여 전송되는 경우, 방송망을 통하여 전송되는 제어 메시지의 기능은 광대역망을 통하여 전송되는 제어 메시지의 기능과 동일할 수 있다. 애플리케이션 및 전송(delivery)의 종류에 따라서 제어 메시지의 신택스(syntax) 및 포맷(format)은 달라질 수 있다. 예를 들어, 하이브리드 전송의 경우, 동일한 공통 제어 정보(common control information)과 동일한 공통 포맷(common format)이 방송망 및 광대역 망 각각으로 전송되는 제어 메시지에 사용될 수 있다. 또는, 하이브리드 전송의 경우, 동일한 공통 제어 정보(common control information)가 방송망 및 광대역망 각각마다 서로 다른 포맷(different format)으로 전송될 수도 있다. 또는, 하이브리드 전송의 경우, 방송망 및 광대역망 각각마다 서로 다른 제어 정보(different control information)와 서로 다른 포맷(different format)으로 전송될 수도 있다.
도 2는 도 1의 MMT 계층 구조의 각 계층별로 사용되는 단위 정보(또는 데이터 또는 패킷)의 포맷을 나타낸다.
미디어 프래그먼트 유닛(Media Fragment Unit; MFU)은 MFU의 범위에서 적응적인 전송을 수행하기 위해 트랜스포트 계층에서 AU의 부분을 인캡슐레이션하는 형식을 정의한다. MFU는 AU의 부분이 독립적으로 디코드되거나 폐기될 수 있도록 부호화된 미디어의 일정한 형식을 전송하는데 사용될 수 있다.
MFU는 다른 MFU들로부터 하나의 MFU를 구별하기 위한 식별자를 가지고, 단일 AU내의 MFU들 사이의 일반적인 관계 정보를 가진다. 단일 AU에서의 MFU 사이의 의존 관계가 설명되고, MFU의 관련 우선순위가 그러한 정보들의 부분으로 설명된다. 상기 정보는 하위 트랜스포트 계층에서 전송을 다루는데 사용될 수 있다. 예를 들면, 트랜스포트 계층은 불충분한 대역폭에서의 QoS 전송을 지원하도록, 폐기해도 되는 MFU들의 전송을 생략할 수 있다.
미디어 프래그먼트 유닛(Media Fragment Unit; MFU)(130)은 부호화된 미디어 분할 데이터(coded media fragment data, 132)와 MFUH(Media Fragment Unit Header)(134)로 이루어진다. 미디어 프래그먼트 유닛(130)은 특정 코덱(codec)에 독립적으로 일반 컨테이너 포맷(general container format)을 가지며 미디어 디코더에서 독립적으로 소비될 수 있는 가장 작은 데이터 유닛을 싣는다. MFUH(134)는 미디어 특성-예를 들어 유실 허용한계(loss-tolerance)-과 같은 부가 정보를 포함할 수 있다. MFU)(130)는 예를 들어 비디오의 픽춰(picture) 또는 슬라이스(slice)가 될 수 있다.
MPU는 복수의 미디어 프래그먼트 유닛(130)을 포함하는 미디어 프래그먼트 유닛의 집합이다. MPU는 시간 데이터 유닛(timed data unit) 또는 비-시간 데이터 유닛(non-timed data unit) 을 가질 수 있다. MPU는 미디어 프래그먼트 유닛 데이터(media fragment unit data)와 동기화를 위한 타임 스탬프와 같은 부가 정보를 가지는 미디어 프로세싱 유닛 헤더(Media Processing Unit Header; MPUH)를 포함할 수 있다. MPU는 특정 코덱(codec)에 독립적으로 일반 콘테이너 포맷(general container format)을 가지며 액세스 유닛(Access Unit)과 등가의 미디어 데이터를 포함한다. MPU는 MMT를 따르는 개체에 의해 독립적이고 완전하게 처리된 데이터이고, 처리는 인캡슐레이션 및 패킷화를 포함한다. MPU는 적어도 하나의 MFU로 구성되거나 다른 표준에 의해 정의된 포맷을 가진 데이터의 부분을 가질 수 있다.
MPU는 시퀀스번호 및 이를 다른 MPU와 구분하여주는 연관된 애셋 ID로 MMT 패키지 내에서 유일하게 식별될 수 있다. 단일 MPU는 적어도 하나의 AU의 정수(integral number) 또는 비-시간 데이터를 수용할 수 있다. 시간 데이터를 위하여, AU는 적어도 하나의 MFU로부터 전달될 수 있으나, 하나의 AU는 다수의 MPU로 분할될 수 없다. 비-시간 데이터에서, 하나의 MPU는 MMT를 따르는 개체에 의해 독립적이고 완전하게 처리된 비-시간 데이터의 부분을 수용한다.
MPU는 적어도 하나의 임의 접근점(Random access point)을 가진다. MPU 페이로드의 첫 바이트는 항상 임의 접근점으로 시작할 수 있다. 시간 데이터에서, 상기 사실은 MPU 페이로드에서 첫 MFU의 디코딩 순서는 항상 0임을 의미한다. 시간 데이터에서, 각 AU의 프리젠테이션 기간 및 디코딩 순서는 프리젠테이션 시간을 알리기 위해 보내질 수 있다. MPU는 자신의 초기 프리젠테이션 시간을 가지고 있지 않고, 하나의 MPU의 첫 AU의 프리젠테이션 시간은 컴포지션 정보에 기술되어 있을 수 있다. 컴포지션 정보는 MPU의 첫 프리젠테이션 시간을 명시할 수 있다.
MPU는 MMT 힌트 트랙을 포함할 수 있다. MPU의 패킷화된 전달을 위해, MMT 힌트 트랙(MMT hint track)은 인캡슐레이션된 MPU를 MMT 페이로드 및 MMT 패킷으로 변환하기 위한 정보를 제공할 수 있다.
MMT 힌트 트랙은 MPU의 부분(fragmentation)을 전송부에 암시한다. 이로써 적어도 하나의 MFU는 MMT 페이로드를 생성하기 위해 사용될 수 있다. 미디어 데이터는 전송부에 의해 전송 시점에 MMT 페이로드로 생성되고 전달될 수 있다. 따라서, 저장되는 포멧은 전달시의 포멧과 상이할 수 있다. 이러한 경우, 전송시 미디어 데이터를 추출하고 MMT 페이로드를 생성할 수 있는 동적인 전송부가 요구된다.
MMT 힌트 트랙은 MMT 페이로드 포멧을 사용하는 인캡슐레이션을 위한 MFU의 추출 및 생성을 암시한다. MMT페이로드는 MPU 메타데이터 또는 적어도 하나의 MFU를 포함할 수 있다. MMT 힌트 트랙은 MFU 데이터를 추출하는 방법을 전송부에 암시한다. 프래그멘테이션이 사용되지 않으면 힌트 트랙은 생략될 수 있다.
MMT 힌트 트랙은 샘플의 엔트리 포멧을 나타낼 수 있다. 각 미디어 샘플은 적어도 하나의 MFU에 지정되고, MMT 힌트 트랙의 샘플은 적어도 하나의 MFU를 생성하게 된다.
MMT 힌트 트랙은 다수의 파라미터를 포함한다. 예로, 1의 값을 가지면 다중 레이어 정보가 제공됨을 나타내는 multilayer_flag를 포함할 수 있다. dependency_id는 해당 MFU의 의존성을 나타내는 ID이다. 0의 값이 아니면 적어도 하나의 시간적, 품질적 또는 공간적 해상도 측면에서 적어도 하나의 스케일러빌리티 레벨에 의해 비디오를 향상시킨다. depth_id는 해당 MFU가 비디오의 깊이 데이터(depth data)를 전달하는지를 나타낸다. quality_id는 MFU의 품질 ID이다. 0의 값이 아니면 시간적, 품질적 또는 공간적 해상도의 적어도 한 측면에서 적어도 하나의 스케일러빌리티 레벨에 의해 비디오를 향상 시킨다. temporal_id는 MFU의 시간적 ID이다. 0의 값이 아니면 시간적, 품질적 또는 공간적 해상도의 적어도 한 측면에서 적어도 하나의 스케일러빌리티 레벨에 의해 비디오를 향상시킨다. view_id 는 MFU의 뷰 ID이다. 0의 값이 아니면 시간적, 품질적 또는 공간적 해상도의 적어도 한 측면에서 적어도 하나의 스케일러빌리티 레벨에 의해 비디오를 향상시킨다. 또한 힌트트랙은 스케일러빌리티 차수(scalability dimensions) 정보가 초기 정보에 제공되는 스케일러블 레이어의 아이디를 나타내는 layer_id 파라미터를 가질 수 있다.
MMT 애셋(150)은 복수의 MPU 들로 이루어진 MPU의 집합이다. MMT 애셋(150)은 단일의 데이터 소스로부터의 다수의 MPU(시간(timed) 또는 비-시간(non-timed) 데이터)로 이루어진 데이터 엔티티로서, MMT 애셋 정보(152)는 애셋 패키징 메타데이터(Asset packaging metadata) 및 데이터 타입과 같은 부가 정보를 포함할 수 있다. MMT 애셋(150)은 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 FF(File Format), PES(packetized elementary streams), M2TS(MPEG transport stream)등을 포함할 수 있다.
또한 MMT 애셋은 부호화된 미디어 데이터를 가지는 논리적 데이터 개체일 수 있다. MMT 애셋은 MMT 애셋 헤더 및 부호화된 미디어 데이터를 가진다. 부호화된 미디어 데이터는 같은 MMT 애셋 아이디로 집단적으로 참조되는 MPU들의 그룹일 수 있다. MMT 클라이언트와 직접 관련되는 개체로 각각 소비되는 타입의 데이터는 분리된 MMT 애셋일 수 있다. 그러한 데이터 타입들의 예로 MPEG-2 TS, PES, MP4 file, MPEG-U Widget Package, JPEG 파일 들을 들 수 있다.
MMT 애셋의 부호화된 미디어는 시간 데이터 또는 비-시간 데이터 일 수 있다. 시간 데이터는 지정된 시간에 특정 데이터의 동기화된 디코딩 및 프리젠테이션이 요구되는 시청각 미디어 데이터이다. 비-시간 데이터는 서비스의 제공 또는 사용자 상호작용에 따라 임의의 시간에 디코딩되고 제공될 수 있는 데이터 타입의 데이터이다.
서비스 제공자(service provider)는 MMT 애셋들을 통합하여 MMT 애셋들을 공간-시간축상에 두고 멀티미디어 서비스를 생성할 수 있다.
MMT 패키지(160)는 하나 또는 하나 이상의 MMT 애셋(150)을 포함하는 MMT 애셋의 집합이다. MMT 패키지 내의 MMT 애셋들은 다중화되거나 또는 사슬같이 연결(concatenated)될 수 있다.
MMT 패키지는 MMT 애셋 및 컨피규레이션 정보를 위한 컨테이너 포맷이다. MMT 패키지는 MMT 프로그램을 위한 MMT 애셋 및 컨피규레이션 정보의 저장소를 제공한다.
MMT 프로그램 제공자는 부호화된 데이터를 MMT 애셋으로 인캡슐레이션하고 MMT 애셋과 그들의 전송 특성의 시간적 및 공간적 레이아웃을 설명하는 것으로 컨피규레이션 정보를 생성한다. MMT 애셋은 D.1 페이로드 포맷으로 직접적으로 전송될 수 있다. 컨피규레이션 정보는 S.1 프리젠테이션 세션 관리 메시지에 의해 전송될 수 있다. 그러나 MMT 프로그램의 릴레이 또는 추후의 재사용을 허용하는 MMT 프로그램 제공자 및 클라이언트는 MMT 패키지 포맷으로 이를 저장한다.
MMT 패키지를 파싱하는데 있어, MMT 프로그램 제공자는 MMT 애셋이 클라이언트에게 어떤 전송 경로(예를들면, 브로드캐스트 또는 브로드밴드)로 제공될지를 결정한다. MMT 패키지에서의 컨피규레이션 정보는 전송 관련 정보와 함께 S.1 프리젠테이션 세션 관리 메시지로 전송된다.
클라이언트는 S.1 프리젠테이션 세션 관리 메시지를 수신하여 어떤 MMT 프로그램이 가능하고 어떻게 해당되는 MMT 프로그램을 위한 MMT 애셋을 수신하는지를 알게된다.
MMT 패키지는 D.1페이로드 포맷에 의해 또한 전송될 수 있다. MMT 패키지는 D.1 페이로드 포맷으로 패킷화 되고 전달된다. 클라이언트는 패킷화된 MMT 패키지를 수신하고 이의 전부 또는 일부를 구성하고, 여기서 MMT 프로그램을 소비한다.
MMT 패키지(160)의 패키지 정보(package information)(165)는 컨피규레이션 정보(Configuration Information)를 포함할 수 있다. 컨피규레이션 정보(Configuration Information)는 MMT 애셋들의 리스트, 패키지 식별 정보(package identification information), 콤포지션 정보(composition information)(162) 및 애셋 전달 특성(Asset Delivery Characteristics, ADC) (164)과 같은 부가 정보를 포함할 수 있다. 콤포지션 정보(composition information)(162)는 MMT 애셋(150)들 사이의 관계(relationship)에 대한 정보를 포함한다.
또한, 콤포지션 정보(composition information)(162)는 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다. 콤포지션 정보(composition information)(162)는 MMT 패키지내의 시간적, 공간적, 적응적 관계(relationship)에 대한 정보를 포함할 수 있다. 콤포지션 정보(composition information)는 다중 스크린 환경에서 패키지 전달 최적화 및 표현을 위한 정보를 제공한다. 다중스크린 환경에서 애셋을 특정 스크린에 매핑하는 정보를 나타낼 수 있다. 자세한 설명은 후술한다.
MMT 패키지의 전송 및 프리젠테이션을 돕는 정보와 같이, MMT에서의 컴포지션 정보(Composition Information)는 MMT 패키지 내의 MMT 애셋 사이의 공간적 및 시간적 관계에 대한 정보를 제공한다.
MMT-CI는 HTML5를 확장하여 그러한 정보를 제공하는 설명적인 언어이다. HTML5가 텍스트 기반 컨텐츠의 페이지기반 프리젠테이션을 설명하도록 설계되었다면, MMT-CI는 주로 소스들간의 공간적인 관계를 표현한다. MMT 애셋들 간의 시간적 관계를 알려주는 표현을 지원하기 위하여, 프리젠테이션 리소스와 같이 MMT 패키지에 있는 MMT 애셋에 관련된 정보, MMT 애셋의 전송 및 소비 순서를 결정하는 시간 정보 및 HTML5에서 다양한 MMT 애셋을 소비하는 미디어 요소들의 추가적인 속성을 가지도록 확장될 수 있다.
애셋 전달 특성(Asset Delivery characteristics) 정보(164)는 전달 특성에 대한 정보를 포함하며, 각각의 MMT 애셋(또는 MMT 패킷)의 전달 조건(delivery condition)을 결정하기 위해 필요한 정보를 제공할 수 있다. 애셋 전달 특성은 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다.
트래픽 기술 파라미터는 미디어 프래그먼트 유닛(MFU)(130) 또는 MPU에 대한 비트율(bitrate) 정보, 우선 순위(priority) 정보등을 포함할 수 있다. 비트율 정보는 예를 들어 MMT 애셋이 가변 비트율(Variable BitRate; VBR) 또는 고정 비트율(Constant BitRate; CBR)인지 여부에 대한 정보, 미디어 프래그먼트 유닛(MFU)(또는 MPU)에 대해 보장된 비트율(guaranteed bitrate), 미디어 프래그먼트 유닛(MFU)(또는 MPU)에 대한 최대 비트율을 포함할 수 있다. 상기 트래픽 기술 파라미터는 전달 경로상의 서버, 클라이언트, 기타 다른 구성요소들 간에 리소스 예약(resource reservation)을 위해 사용될 수 있으며, 예를 들어 MMT 애셋내의 미디어 프래그먼트 유닛(MFU)(또는 MPU)의 최대 크기 정보를 포함할 수 있다. 상기 트래픽 기술 파라미터는 주기적 또는 비주기적으로 업데이트될 수 있다.
QoS 기술자는 QoS 제어를 위한 정보를 포함하며, 예를 들어 지연(delay) 정보 및 손실 정보(loss information)를 포함할 수 있다. 손실 정보는 예를 들어 MMT 애셋의 전달 손실(delivery loss)이 허용되는지 않되는지에 대한 손실 지시자(loss indicator)를 포함할 수 있다. 예를 들어 손실 지시자가 ‘1’인 경우 ‘lossless’를 나타내고, ‘0’인 경우에는 ‘lossy’를 나타낼 수 있다. 지연(delay) 정보는 MMT 애셋의 전송 지연의 민감도를 구분하는데 사용되는 지연 지시자(delay indicator)를 포함할 수 있다. 지연 지시자는 MMT 애셋의 타입이 대화(conversation), 인터랙티브(interactive), 실시간(real time) 및 비실시간(non-realtime) 인지 여부를 지시할 수 있다.
하나의 컨텐츠(content)는 하나의 MMT 패키지로 이루어질 수 있다. 또는 하나의 컨텐츠(content)는 복수개의 MMT 패키지로 이루어질 수도 있다.
하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 시간적(temporal), 공간적(spatial), 적응적(adaptive) 관계(relationship)를 나타내는 콤포지션 정보(composition information) 또는 컨피규레이션 정보(configuration information)가 MMT 패키지들 중에 하나의 MMT 패키지 내부에 존재하거나 MMT 패키지 외부에 존재할 수 있다.
예를 들어 하이브리드 전달(hybrid delivery)의 경우 컨텐츠 컴포넌트(content component)들 중 일부는 방송망(broadcast network)을 통해 전송되고 컨텐츠 컴포넌트(content component)들 중 나머지 부분은 광대역망(broadband network)을 통해 전송될 수 있다. 예를 들어 하나의 멀티뷰 서비스를 구성하는 복수의 AV 스트림(audiovisual stream)의 경우 하나의 스트림은 방송망으로 전송되고 다른 스트림은 광대역망으로 전송될 수 있으며, 각각의 AV 스트림은 다중화되고 클라이언트 단말에 개별적으로 수신되어 저장될 수 있다. 또는 예를 들어 위젯(widget)과 같은 애플리케이션 소프트웨어는 광대역망으로 전송되고, AV 스트림(AV 프로그램)은 기존 방송망으로 전달되는 시나리오도 존재할 수 있다.
상기와 같은 멀티뷰 서비스 시나리오 및/또는 위젯(widget) 시나리오의 경우, 복수의 AV 스트림 전체가 하나의 MMT 패키지로 될 수 있으며, 이 경우에는 복수의 스트림 중의 하나는 하나의 클라이언트 단말에만 저장될 수 있고, 스토리지 컨텐츠(storage content)는 MMT 패키지의 부분이 되며, 클라이언트 단말은 콤포지션 정보(composition information) 또는 컨피규레이션 정보(configuration information)를 재기록 해야하고, 재기록 된 컨텐츠는 서버와 무관한 새로운 MMT 패키지가 된다.
상기와 같은 멀티뷰 서비스 시나리오 및/또는 위젯(widget) 시나리오의 경우, 각각의 AV 스트림이 하나의 MMT 패키지로도 될 수 있으며, 이 경우에는 복수의 MMT 패키지가 하나의 컨텐츠를 구성하게 되며, 스토리지(storage)에는 MMT 패키지 단위로 기록되며, MMT 패키지들간의 관계(relationship)를 나타내는 컴포지션 정보 또는 컨피규레이션 정보가 필요하다.
하나의 MMT 패키지내에 포함된 컴포지션 정보 또는 컨피규레이션 정보(configuration information)는 다른 MMT 패키지내의 MMT 애셋을 참조할 수 있으며, 또한 아웃-밴드(out-band) 상황에서 MMT 패키지를 참조하는 MMT 패키지의 외부를 표현할 수 있다.
IP 망을 통한 네트워크 적응적 비디오 전송을 위한 방법으로 SVC (Scalable Video Coding) 부호화 기술과 MANE (Media Aware Network Element) 기술이 있다. SVC 부호화 기술은 입력 비디오를 여러 개의 계층으로 압축함으로써 주어진 네트워크 상태에 적합한 비디오 계층만을 전송할 수 있도록 하는 계층적 비디오 압축 기술이며, MANE은 입력되는 비디오 비트스트림으로부터 전송에 적합한 비디오 데이터 부분만을 추출할 수 있는 지능적인 기능을 탑재한 라우터 혹은 게이트웨이를 의미한다.
본 발명의 일 실시 예에 따른 MMT 패킷 전송 방법은 SVC(Scalable Video Coding)와 같은 멀티-레이어 비디오를 IP-네트워크를 통하여 전송할 때 네트워크 내에서 레이트 적응을 할 수 있도록 D.1계층에서 생성되는 MMT 페이로드의 헤더 포멧 필드를 제공한다. MMT의 전달 계층(Delivery layer, D-layer)은 하나의 네트워크 개체에서 다른 네트워크 개체로 인캡슐레이션된 미디어 데이터를 전송하기 위한 MMT 페이로드 포멧(MMT payload format)을 포함하는 응용 계층 프로토콜(application layer protocol)을 정의한다. MMT 페이로드 포멧은 MMT 전송 프로토콜에 의해 운반될 MMT 패키지를 포함하는 정보의 논리적 구조를 정의한다.
MMT 방식을 통한 전송의 대상이 되는 콘텐츠는 기저 계층(Base Layer) 및 적어도 하나 이상의 향상 계층(Enhanced Layer)를 포함하는 SVC 비디오 콘텐츠일 수 있다. 하나의 SVC 비디오 콘텐츠는 하나의 MMT 패키지로 이루어질 수 있고, 또는 하나의 SVC 비디오 콘텐츠(content)는 복수개의 MMT 패키지로 이루어질 수도 있다. 즉, SVC 비디오 콘텐츠에 포함된 복수의 계층들이 하나의 MMT 패키지에 포함될 수도 있고, 복수의 MMT 패키지로 분리되어 포함될 수도 있다.
도 4는 본 발명의 일 실시예에 따른 MANE 기반의 네트워크 적응적인 SVC 또는 MVC 비디오 전송 시스템의 구조를 나타낸다. 도 4는 적어도 하나의 멀티 레이어 비디오를 포함하는 MMT 패킷을 전송하는 멀티 레이어 비디오 서버(410), 멀티 레이어 비디오 서버(410)로부터 수신한 MMT 패킷을 네트워크 상태에 따라 선택적으로 재전송하는 MANE(Media Aware Network Element, 420) 및 MANE(430)로부터 재전송되는 MMT 패킷을 수신하는 다수의 MMT 패킷 수신 장치(430)을 도시한다.
도 4는 SVC 또는 MVC 부호화 기술과 MANE 기술이 결합되어 이루어지는 MANE 기반의 네트워크 적응적인 SVC 비디오 전송 시스템의 구조를 나타낸다. 본 발명의 일 실시 예에 따른 MANE를 이용하는 SVC 비디오의 전송과 MVC 비디오의 전송은 동일한 구조를 가지므로 이하 SVC 비디오의 전송에 관하여 설명한다. 이하의 설명은 MVC 비디오의 전송의 경우에도 유사한 방식으로 적용될 수 있다.
멀티 레이어 비디오 서버(410)에는 L0~L3까지의 총 4개의 계층을 갖는 SVC 비디오가 저장되어 있다. 상기 SVC 비디오 계층들은 전송 프로토콜에 의해 MANE(420)으로 전달이 되며 MANE(420)은 네트워크의 품질 상태, 연결된 타겟 단말기의 코덱 능력 (codec capability), 디스플레이 해상도 (display resolution) 등을 고려하여 적합한 비디오 계층만을 추출하여 각 단말기(430)로 전달한다. 이때, 서버(410)에서 SVC 비디오 계층들을 MANE(420)으로 전송하기 위한 프로토콜로서 MMT 프로토콜이 적용될 경우에 MANE에서 네트워크 적응적인 비디오 계층을 선택하는데 효율적인 정보가 제공될 필요가 있다. 따라서, SVC 비디오 계층 관련 정보를 MMT 페이로드 헤더 포맷에 기록하여 MANE에게 전달할 필요가 있으며, 이때 어떠한 정보를 MMT 페이로드 헤더 포맷에 기록할지도 명시 해야 할 필요가 있다.
MANE(Media Aware Network Element, 430)는 도 4에 도시된 바와 같이 네트워크 내에서 레이트 적응을 수행할 수 있는 IP 네트워크의 라우터 또는 스위치이다. 본 발명의 일실시 예에 따른 MANE(430)는 어떠한 패킷이 더 이상 전송되지 않도록 드롭(drop)되거나, 앞으로 진행(forward)될지를 시그널링 프로시져(signaling procedure) 및 패킷 페이로드 헤더에서 구할 수 있는 시그널링 정보(signaling information)에 기반하여 결정하고 판단한다.
일정한 대역폭을 제공하는 것이 어려운 패킷 스위치 네트워크(packet-switched network)에서 MANE(430)는 네트워크의 정체(congestion) 문제를 줄이기 위해 사용될 수 있다. 일 실시 예에서, 계층적 비디오 전송은 코어스 그레인(coarse grain) 적응에서 비디오 계층의 일부를 드롭하도록 사용될 수 있다. 파이너 그레인(finer grain) 적응에서, MANE는 상위 비디오 계층의 비디오 데이터의 일부를 드롭하여 결과적으로 이용할 수 있는 대역폭에 적합하도록 전송되는 비디오 데이터의 양을 줄일 수 있다. 일반적으로, 계층적 멀티캐스트(layered multicast)는 스트리밍 패스의 코어 네트워크를 위하여만 고려되나, 엣지 네트워크에 근접한 다양한 터미널들에 연결된 MANE는 적절한 비디오 계층만을 포함하는 패킷 스트림으로 계층적 멀티캐스트를 재조립할 수 있다. 이러한 실시 예에서, MANE는 패킷을 검사(inspection)하지 않고 어떠한 패킷을 드롭하거나 진행(pass) 시킬지를 결정하기 위해 MMT 패킷으로부터 확장 정보를 얻어야 한다. 확장 정보(scalability information)가 MMT 페이로드 헤더에 표현된다면, MANE는 MMT 패킷을 앞으로 진행할 가치가 있는지 없는 지를 효율적으로 결정할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 MMT 패킷의 내부 구조이다. MMT 패킷은 D.2 계층에서 생성되는 MMT 패킷 헤더, D.1 계층에서 생성되는 MMT 페이로드 헤더와 MMT 페이로드를 포함한다. MMT 페이로드는 E 계층에서 생성된 SVC NAL 유닛을 포함한다.
본 발명의 일 실시 예에 따른 MMT 페이로드 헤더는 MANE가 상이한 계층에서 온 복수의 집약된(aggregated) NAL 유닛들을 포함하는 MMT 패킷을 수신하고, 수신한 MMT 패킷을 완전하게 파싱하지 않고도 MMT 패킷의 전달을 계속할지 또는 MMT 패킷의 전달을 계속하지 않고 MMT 패킷을 버릴지를 결정할 수 있게 한다. 이러한 방식은 어떤(certain) 비디오 계층이 현재 스트리밍 세션에 필요하지 않을 때 사용될 수 있으며, MANE의 이러한 작동을 위하여 MANE에 도착하는 패킷은 MANE에서 조사될 필요가 있다.
MANE가 간단히 MMT 패킷의 진행여부를 판단하고 그에 따른 처리를 수행하기 위하여, MMT 패킷에 모인 계층 비디오 데이터인 페이로드들의 확장 정보의 요약(informative summary)이 MANE에 제공되어야 한다. SVC 비트 스트림의 NAL 유닛 헤더에는 NAL 패킷의 특정 확장 정보가 기본적으로 내재되어(buried) 있다.
본 발명의 일 실시 예에 따른 MMT 페이로드 헤더는 MMT의 D.1레이어에 대응되는 MMT 페이로드 헤더의 정보에 추가적인 확장 정보를 포함하여 구성된다. 적절한 확장 정보는 MANE가 SVC 비디오 코딩 규격에 따라 집약되어(aggregated) MMT 패킷의 페이로드에 포함된 NAL 유닛의 내부를 직접 들여다보지 않고도, MMT 페이로드 헤더에 포함된 NAL 유닛의 확장 정보를 조사함으로써, MMT 패킷을 앞으로 전달할지(forward), 전달하지 않고 버릴지(discard) 또는 MMT 패킷의 내부를 조사하여 판단할 지를 판단할 수 있게 한다.
도 6은 본 발명의 일 실시 예에 따른 확장 정보의 구조이다. 도 6에는 MMT 페이로드 헤더에 포함된 페이로드 확장 정보(payload scalability information)가 나타나 있다. 페이로드 확장 정보는 TID_low, DID_low, QID_low, TID_high, DID_high 및 QID_high 파라미터를 포함한다. 도 6을 참조하여 확장 정보를 구성하는 신택스 (syntax)의 구조를 설명한다. 페이로드 스케일러빌리티 정보는 TID_low, DID_low, QID_low, TID_high, DID_high, 및 QID_high 등 총 6개의 파라미터로 구성되어 있다. 이 6개의 파라미터에 대한 개별적인 의미 (semantics)가 도 6에 나타나 있다.
TID_low 파라미터는 MMT 패킷에 집약되어 있는 NAL unit들의 TID 값들 중에서 가장 작은 TID 값을 나타낸다. DID_low 파라미터는 MMT 패킷에 집약되어 있는 NAL 유닛들의 DID 값들 중에서 가장 작은 DID 값을 나타낸다. QID_low 파라미터는 MMT 패킷에 집약되어 있는 NAL 유닛들의 QID 값들 중에서 가장 작은 QID 값을 나타낸다. TID_high 파라미터는 MMT 패킷에 집약되어 있는 NAL 유닛들의 TID 값들 중에서 가장 큰 TID 값을 나타낸다. DID_high 파라미터는 MMT 패킷에 집약되어 있는 NAL 유닛들의 DID 값들 중에서 가장 큰 DID 값을 나타낸다. 그리고 QID_high 파라미터는 MMT 패킷에 집약되어 있는 NAL 유닛들의 QID 값들 중에서 가장 큰 QID 값을 나타낸다
각 파라미터에 대하여 보다 자세히 설명한다. SVC 비디오에서는 NAL(Network Abstraction Layer) 유닛들 간의 시공간적 (spatio-temporal) 관계를 나타내기 위해서 세가지 종류의 계층과 관련된 ID (layer identification)를 사용한다. SVC 비디오에 있어서, 각각의 NAL 유닛의 시간적 레벨은 TID(temporal_ID)에 의해 나타나고, 공간적 레벨은 DID(Dependency_ID)에 의해 나타나며, 품질 레벨은 QID(quality_ID)에 의해 나타난다. 즉, TID(Temporal_ID)는 NAL 유닛의 시간적 레벨(temporal level)을 나타내고, DID(Dependency_ID)는 공간적 레벨 (spatial level)을 나타내며, QID(Qualtiy_ID)는 품질 레벨 (quality level)을 나타낸다. 이러한 확장 계층 정보인 (TID, DID, QID) 값은 각 NAL 유닛의 헤더마다 기록된다.
본 발명의 일 실시 예에 따른 확장 정보는 TID_low, DID_low, QID_low, TID_high, DID_high 및 QID_high 파라미터로 구성되며 6개의 파라미터 중 어느 하나 만을 포함할 수도 있다. 본 발명의 일 실시 예에 따른 확장 정보는 (TID_low, DID_low, QID_low)의 셋과 (TID_high, DID_high, QID_high)의 셋으로 구성될 수도 있다. 또한, 본 발명의 일 실시 예에 따른 페이로드 확장 정보는 (TID_low, TID_high)의 셋, DID_low, DID_high 의 셋 및 (QID_low, QID_high)의 셋으로 구성될 수도 있으며 어느 하나의 셋 만을 포함할 수도 있다. 또한 그외에 다양한 파라미터들의 셋을 포함할 수 있다.
도 7은 본 발명의 일 실시예에 따른 MANE에서 이루어지게 되는 MMT 패킷에 대한 전달, 버림, 패킷 내부 조사 여부를 판단하는 알고리듬이다. 도7의 알고리즘을 참조하면, 상기 TID_low, DID_low, QID_low, TID_high, DID_high 및 QID_high 파라미터를 활용하여 MANE는 상이한 비디오 계층으로부터의 복수의 집성된 NAL 유닛들을 포함하는 MMT 패킷을 전달할지(forward), 버릴지(discard) 또는 MMT 패킷의 내부를 조사할지(inspect)를 간단하게 결정할 수 있다.
도 6의 payload_scalability_information()을 참조하면, MANE는 도7의 알고리듬을 사용하여 네트워크 내 적응을 위해 어떤 MMT 패킷을 드롭할지, 전달할지(forward), 또는 NAL 유닛 헤더의 내부에 존재하는 각각의 (TID, DID, QID) 값을 조사할지를 간단히 결정할 수 있다. 도 7의 알고리듬은 NAME가 주어진 (TID_low, DID_low, QID_low) 및 (TID_high, DID_high, QID_high) 값을 계층 적응을 위한 최적의 추출 포인트로 결정된 TID_opt, DID_opt 및 QID_opt 값과 비교한다.
도 7의 알고리듬에서 TID_opt, DID_opt 및 QID_opt는 주어진 네트워크 환경에 적응하기 위해서 MANE에서 결정된 최적의 추출 포인트(optimal extraction point)에 해당하는 (TID, DID, QID) 값을 나타낸다. MANE는 TID_opt, DID_opt 및 QID_opt의 모든 값이 MMT 패킷의 페이로드 헤더에 기록되어 있는 TID_high, DID_high 및 QID_high 보다 각각 크거나 같을 경우 해당 MMT 패킷을 타겟 단말로 전달하게 된다. MANE는 TID_opt, DID_opt 및 QID_opt의 모든 값이 MMT 패킷의 페이로드 헤더에 기록되어 있는 TID_low, DID_low 및 QID_low 보다 각각 작을 경우 해당 MMT 패킷을 전송하지 않고 버리게 된다. 상기의 2가지 조건을 모두 만족하지 않을 경우, MANE는 MMT 패킷 내부에 포함되어 있는 모든 NAL unit의 TID, DID 및 QID 값을 개별적으로 분석하여, 전달하거나 버리게 될 NAL unit을 판별하게 된다.
도 8은 본 발명이 MANE 에서 적용되는 작업 흐름도 (work flow)를 나타낸다. 먼저 MMT 패킷이 MANE에 도달한다(S100). MANE는 MMT 패킷의 페이로드 헤더를 파싱한다(S110). 그리고 MANE는 MMT 페이로드 헤더로부터 (TID_low, DID_low, QID_low) 및 (TID_high, DID_high, QID_high) 값을 얻는다(S120). 다음으로, MANE는 전술한 도 7의 알고리즘을 사용하여 MMT 패킷의 처리를 결정한다.
전술한 바와 같이 본 발명의 일 실시 예에 따른 MMT 패킷 전송 방법은 IP 네트워크를 통해 SVC와 같은 멀티-레이어 비디오를 전송할 때 네트워크 내 적응을 가능하게 하는 D.1 계층 페이로드 헤더 포멧 필드를 제공한다. 본 발명의 일 실시 예에 따른 MMT 페이로드 헤더 포멧 내에 포함된 페이로드 확장 정보와 함께, MANE은 어떤 MMT 패킷을 드롭하고, 전달하고(forward), 또는 NAL 유닛 헤더의 내부에 존재하는 각각의 TID, DID, QID 값을 조사할지를 간단하게 결정할 수 있다.
일반적으로, MMT 패킷이 하나의 SVC NAL 유닛 만을 포함하여 전송될 경우에는 NAL 유닛 헤더 자체가 MMT 페이로드 헤더의 역할을 하므로 NAL 유닛 헤더에 기록된 (TID, DID, QID) 값이 자동적으로 페이로드 헤더에 기록되어 MANE이 이를 참조할 수 있다. MANE 자체는 기본적으로 도 1에서의 D 계층(D-layer)까지 처리할 수 있는 프로토콜이므로 MMT 페이로드 헤더에 기록되어 있는 TID, DID 및 QID 값을 참조하여 필요한 적응적인 처리를 수행하게 된다. 이때의 적응적 처리는 타겟 단말기로 전달할 NAL 유닛과 전달하지 않을 NAL 유닛을 TID, DID 및 QID 값을 기준으로 구분함을 의미한다. 즉, 타겟 단말로의 전달에 적합한 공간 해상도, 프레임 레이트(frame rate) 및 화질을 갖춘 NAL 유닛만을 TID, DID 및 QID 값을 기준으로 필터링 (filtering)하는 것이다.
한편, MMT 패킷은 SVC NAL unit 여러 개를 하나의 MMT 패킷에 집약 (aggregation) 시켜서 한꺼번에 전송할 수 있다. 개별적인 NAL unit의 크기가 매우 작은 경우에는 많은 개수의 NAL unit을 하나의 MMT 패킷에 집약시킬 경우 다수의 MMT 패킷 생성에 따른 오버헤드를 대폭적으로 줄일 수 있다. 이 경우에는 도 6에 도시된 바와 같이 다수의 NAL 유닛들을 대표할 수 있는 페이로드 확장 정보 (payload scalability information)를 MMT 패킷의 페이로드 헤더에 별도로 기록할 수 있다. MANE에서는 이러한 페이로드 스케일러빌리티 정보가 페이로드 헤더에 포함되어 제공될 경우 모든 NAL 유닛 헤더에 기록되어 있는 TID, DID 및 QID 값을 일일이 분석할 필요가 없다. 즉 본 발명의 일 실시 예에 따라 MANE는 페이로드 헤더에 기록되어 있는 페이로드 확장 정보만을 간단히 참조하여 타겟 단말기로 전달시킬 (forward) MMT 패킷과 버리게 될 (discard) MMT 패킷을 고속으로 결정할 수 있다.
이상에서 설명한 본 발명은 일련의 기능 블록들을 기초로 설명되고 있지만, 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
즉, 전술한 본 발명의 실시 예들은 확장 정보가 MMT 페이로드 헤더에 생성되는 것을 설명하고 있으나, 다른 실시 예에서 확장 정보는 MMT 패킷 헤더에 존재하여 전술한 확장 정보를 MMT 패킷 헤더 레벨에서 제공할 수도 있다. 또 다른 실시 예에서 확장 정보는 MMT 페이로드에 포함되어 있을 수도 있다. 또 다른 실시 예에서 확장 정보는 별도의 MMT 패킷에 존재할 수도 있을 것이다.
도 9는 본 발명의 다른 실시 예에서 NAME 기반 네트워크 내 적응을 위한 확장 정보를 포함하는 MMT 헤더 포멧의 실시예를 도시한다. 도 9에서 확장정보는 멀티레이어 정보(multilayer information, ML-Info)로 나타나 있다. 본 발명의 다른 실시 예에 따른 MMT 패킷 헤더는 현재의 MMT 패킷에 의해 운반되는 멀티레이어 정보의 타입과 그에 상응하고 현재 SVC 및 MVC 비디오 데이터에 관련되는 멀티레이어 정보를 분류하기 위해 ML_type(2비트) 플래그를 더 포함한다. SVC를 위한 멀티레이어 정보의 비트길이는 32비트이고, MVC(Multiview Video Coding)를 위한 멀티레이어 정보의 비트길이는 20비트이다. 멀티레이어 정보는 PID와 VID에 관련된 PID_low, PID_high, VID_low 및 VID_high의 값을 더 포함한다. PID_low, PID_high, VID_low 및 VID_high의 정의와 사용은 전술한 TID, DID 및 QID 파라미터들의 최대값 및 최소값에 대한 정의 및 그 사용과 유사한 방식으로 사용될 수 있다.
도 9를 참조하여 멀티레이어 정보를 반영하기 위한 본 발명의 다른 실시 예에 따른 MMT 패킷 헤더 포멧의 신택스와 시맨틱스를 설명한다.
packet_id(16bits)는 하나의 MMT 애셋의 패킷을 다른 패킷과 구별하기 위해 각각의 MMT 애셋에 지정되는 인티저 값이다. 서로 다른 값이 시그널링 메시지와 FEC 패리티 플로우(FEC parity flows)에 지정된다. packet_sequence_number(32bits)는 임의의 값으로부터 하나씩 증가하며 각각의 MMT 패킷에 지정되는 인티저 값이다. packet_sequence_number는 최대값을 도과하면 0부터 다시 시작한다. timestamp(32bits)는 MMT 패킷 전달의 타임 인스턴스를 나타낸다. flags(8bits)는 header extension 필드가 MMT 패킷 헤더에 제공되는 지를 나타내는 header_extension_flag, 서비스 분류 정보가 MMT 패킷 헤더에 제공되는 지를 나타내는 service_classifier_flag, QoS 분류 정보가 MMT 패킷 헤더에 제공되는 지를 나타내는 QoS_classifier_flag, 플로우 확인 정보가 MMT 패킷 헤더에 제공되는 지를 나타내는 flow_identifier_flag, 및 개인 사용자 데이터 정보가 MMT 패킷 헤더에 제공되는지를 나타내는 private_user_data_flag를 포함한다. 또한, flags는 멀티레이어 정보가 MMT 패킷 헤더에 제공되는지를 나타내는 Multilayerinfo_flag를 포함한다. Flags의 각 flag는 1비트로 제공될 수 있다.
ML_Info는 멀티레이어 정보의 타입에 좌우되는 변수이다. ML_Info필드는 MANE에서의 네트워크내 적응을 위해 필요한 멀티레이어 정보를 나타낸다. 본 발명의 다른 실시 예에 따른 MMT 패킷의 ML_Info 필드는 SVC 비디오 데이터를 담은 MMT 패킷의 경우와, MVC 비디오 데이터를 담은 MMT 패킷의 경우가 상이하므로 비디오 데이터의 종류에 따라 ML_Info의 구성은 달라진다. 먼저, 도 10을 참조하여 멀티 레이어 정보가 표현하는 타입의 상태를 나타내는 ML_type 필드를 설명한다.
도10을 참조하면, ML_type필드가 00의 값을 가질 경우 ML_type필드 이후에 SVC에 관련된 멀티레이어 정보인. (TID_low, DID_low, QID_low, PID_low) 및 (TID_high, DID_high, QID_high, PID_high) 값이 뒤따라 제공될 것이라는 것을 알 수 있다. 마찬가지로, ML_type필드가 01의 값을 가질 경우 ML_type필드 이후에 MVC에 관련된 멀티레이어 정보. VID_low 및 VID_high 값이 뒤따라 제공될 것이라는 것을 알 수 있다. ML_type필드가 10의 값을 가질 경우 ML_type필드 이후에 나타나는 값은 3D 비디오 관련 멀티레이어 정보가 적용될 수 있다. 즉, ML_type필드는 MMT 패킷에 포함된 비디오 데이터가 어떠한 인코딩 방식으로 인코딩 되었는지를 나타낸다. ML_type필드의 값에 따라 ML_Info필드 이후의 값이 가지는 의미에 대하여 설명하였으나, 의미하는 바는 상이 할 수 있고, 사용에 따라 다른 의미로 변경되어 사용될 수 있다.
도 11은 본 발명의 일 실시 예에 따른 MMT 패킷 헤더 포멧이 SVC에서의 멀티레이어 정보를 위한 포멧을 가진 상태를 도시한다. 도 11과 같이 SVC 비디오 데이터를 담은 MMT 패킷 헤더 포멧에서 ML_Info 필드는 ML-type(2 bit), TID_low(T_low, 3bit), DID_low(D_low, 3bit), QID_low(Q_low, 4bit), PID_low(P_low, 10bit), TID_high(T_high, 3bit), DID_high(D_high, 3bit), QID_high(Q_high, 4bit) 및 PID_high(P_high, 6bit) 필드를 포함하고, 상기 필드들이 언급된 순서로 배열됨으로써 구성될 수 있다. 다른 실시 예에서 사용에 따라 상기 필드들의 배열 순서는 변경될 수 있으며, 일부 필드는 생략될 수 있다.
도 11에서 TID, DID 및 QID의 값에 관련된 필드들은 전술한 TID_low, DID_low 및 QID_low 파라미터와 TID_high, DID_high 및 QID_high파라미터와 같은 의미를 가진다. PID(priority identification)는 NAL 유닛의 우선순위를 나타내며 값이 작을수록 우선순위가 높음을 의미한다. PID_low값은 MMT 패킷에 집약되어있는 NAL 유닛들의 PID 값들 중에서 가장 작은 PID 값을 나타낸다. 따라서 PID_low는 가장 높은 우선순위를 가진 NAL 유닛의 PID 값이다. PID_high값은 MMT 패킷에 집약되어있는 NAL 유닛들의 PID 값들 중에서 가장 높은 PID 값을 나타낸다. 따라서 PID_high는 가장 낮은 우선순위를 가진 NAL 유닛의 PID 값이다. PID_low 및 PID_high는 필요에 따라 선택적으로 사용할 수 있다.
도 12는 본 발명의 다른 실시예에 따른 MANE에서 이루어지게 되는 SVC 비디오를 포함한 MMT 패킷에 대한 전달, 버림, 패킷 내부 조사 여부를 판단하는 알고리듬이다. 도 12의 알고리듬에서 TID_opt, DID_opt, QID_opt 및 PID_opt는 주어진 네트워크 환경에 적응하기 위해서 MANE에서 결정된 최적의 추출 포인트(optimal extraction point)에 해당하는 (TID, DID, QID, PID) 값을 나타낸다. MANE는 TID_opt, DID_opt, QID_opt 및 PID_opt의 모든 값이 MMT 패킷 헤더에 기록되어 있는 TID_high, DID_high, QID_high 및 PID_high 보다 각각 크거나 같을 경우 해당 MMT 패킷을 타겟 단말로 전달하게 된다. MANE는 TID_opt, DID_opt, QID_opt 및 PID_opt의 모든 값이 MMT 패킷 헤더에 기록되어 있는 TID_low, DID_low, QID_low 및 PID_low 보다 각각 작을 경우 해당 MMT 패킷을 전송하지 않고 버리게 된다. 상기의 2가지 조건을 모두 만족하지 않을 경우, MANE는 MMT 패킷 내부에 포함되어 있는 모든 NAL 유닛의 TID, DID, QID 및 PID 값을 개별적으로 분석하여, 전달하거나 버리게 될 NAL 유닛을 판별하게 된다.
본 발명의 또 다른 실시 예에서, 전술한 바와 같이 PID의 사용여부는 선택적인바 PID값의 판별은 선택적으로 수행될 수 있다. 또한 필요에 따라 TID, DID 및 QID의 값의 판별도 선택적으로 수행될 수 있다. 또한, 필요에 따라 최대값 및 최소값 중 어느 하나의 값만을 최적의 추출 포인트와 비교하여 MMT 패킷의 전달 여부를 결정할 수도 있다.
도 13은 본 발명의 다른 실시 예에서 SVC 비디오를 포함한 MANE 에서 적용되는 작업 흐름도 (work flow)를 나타낸다. 먼저 MMT 패킷이 MANE에 도달한다(S200). MANE는 MMT 패킷의 헤더를 파싱한다(S210). 그리고 MANE는 MMT 페킷 헤더로부터 (TID_low, DID_low, QID_low, PID_low) 및 (TID_high, DID_high, QID_high, PID_high) 값을 얻는다(S220). 다음으로, MANE는 전술한 도 12의 알고리즘을 사용하여 MMT 패킷의 처리를 결정한다.
즉, MANE는 TID_opt의 값이 TID_high보다 크거나 같고, DID_opt의 값이 DID_high보다 크거나 같고, QID_opt의 값이 QID_high보다 크거나 같으며 PID_opt의 값이 PID_high 보다 크거나 같은 지를 판단한다(S230). 판단결과가 참인 경우 해당 MMT 패킷을 타겟 단말로 전송한다(S240).
판단결과가 거짓인 경우 MANE는 S230과 유사한 방식으로, TID_opt, DID_opt, QID_opt 및 PID_opt의 모든 값이 MMT 패킷 헤더에 기록되어 있는 TID_low, DID_low, QID_low 및 PID_low 보다 모두 각각 작은지를 판단한다(S250). 판단결과가 참인 경우 MANE는 해당 MMT 패킷을 전송하지 않고 버린다(S260). 그러나 판단 결과가 거짓인 경우, 즉 MMT 패킷이 전송되는 조건을 만족하지도 않고, MMT 패킷을 버리는 조건도 만족하지 않은 경우 MANE는 MMT 패킷의 내부의 NAL 유닛을 조사한다(S270).
도 14는 본 발명의 다른 실시 예에 따른 MMT 패킷 헤더 포멧이 MVC에서의 멀티레이어 정보를 위한 포멧을 가진 상태를 도시한다. 도 14와 같이 MVC 비디오 데이터를 담은 MMT 패킷 페더 포멧에서 ML_Info 필드는 ML-type(2 bit), VID_low(V_low, 10bit), VID_high(V_high, 10bit)의 순으로 배치될 수 있다. 다른 실시 예에서 VID_low와 VID_high의 순서는 변경될 수 있고 어느 하나는 생략될 수 있다. VID(view identification)는 MVC에서 뷰(view)의 ID를 나타낸다. 따라서, VID_low는 MMT 패킷에 속한 NAL유닛의 VID 중에서 가장 낮은 값을 가지고, VID_high는 MMT 패킷에 속한 NAL유닛의 VID 중에서 가장 높은 값을 가진다.
모든 시점(view)의 비디오의 전송이 필요가 없을 때 VID 값을 활용하여 MANE에서 필터링 할 수 있다. H.264 AVC/MVC 에 의한 인코드 시, 인코드 결과의 스트림을 구성하는 Access Unit에는 VID가 설정된다. VID는 MVC에서 각 Access Unit이 어느 view component의 유닛인지를 식별할 수 있도록 한다. MVC에서 Access Unit(Dependent view의 경우, Dependent Unit)은 픽처 단위에 의한 액세스가 가능하게 되도록, 예를 들어 1매의 픽처의 데이터를 통합한 유닛이다. H.264 AVC/MVC 프로파일 규격에 의한 인코드 시 각각의 view component에는 MVC 헤더가 부가된다. MVC 헤더에는 view_id 가 포함된다.
도 15는 본 발명의 다른 실시예에 따른 MANE에서 이루어지게 되는 MVC 비디오를 포함한 MMT 패킷에 대한 전달, 버림, 패킷 내부 조사 여부를 판단하는 알고리듬이다. 도 15의 알고리듬에서 VID_opt 주어진 네트워크 환경에 적응하기 위해서 MANE에서 결정된 최적의 추출 포인트(optimal extraction point)에 해당하는 VID 값을 나타낸다. MANE는 VID_opt 값이 MMT 패킷 헤더에 기록되어 있는 VID_high 크거나 같을 경우 해당 MMT 패킷을 타겟 단말로 전달하게 된다. MANE는 VID_opt 값이 MMT 패킷 헤더에 기록되어 있는 VID_low 보다 작을 경우 해당 MMT 패킷을 전송하지 않고 버리게 된다. 상기의 2가지 조건을 모두 만족하지 않을 경우, MANE는 MMT 패킷 내부에 포함되어 있는 모든 NAL 유닛의 VID 값을 개별적으로 분석하여, 전달하거나 버리게 될 NAL 유닛을 판별하게 된다.
도 15에 도시된 알고리즘과 달리 본 발명의 또 다른 실시 예에 따른 MVC 비디오를 포함한 MMT 패킷의 전달 여부를 판단하는 알고리즘에서 MANE는 VID_opt 값이 MMT 패킷 헤더에 기록되어 있는 VID_high 보다 크거나 같은 지만 조사하여 이에 해당될 경우에만 해당 MMT 패킷을 타겟 단말로 전달하고 그렇지 않은 경우에는 MMT 패킷을 전송하지 않고 버릴 수 있다. 마찬가지로, 본 발명의 또 다른 실시 예에 따른 알고리즘에서 MANE는 VID_opt 값이 MMT 패킷 헤더에 기록되어 있는 VID_low 보다 작은지만 조사하여 이에 해당될 경우에만 해당 MMT 패킷을 전송하지 않고 버리며, 해당되지 않는 경우에는 MMT 패킷을 버리지 않고 전송할 수 있다.
도 16은 본 발명의 다른 실시 예에서 MVC 비디오를 포함한 MANE 에서 적용되는 작업 흐름도(work flow)를 나타낸다. 먼저 MMT 패킷이 MANE에 도달한다(S300). MANE는 MMT 패킷의 헤더를 파싱한다(S310). 그리고 MANE는 MMT 페킷 헤더로부터 VID_low 및 VID_high 값을 얻는다(S320). 다음으로, MANE는 전술한 도 15의 알고리즘을 사용하여 MMT 패킷의 처리를 결정한다.
즉, MANE는 VID_opt의 값이 VID_high보다 크거나 같은 지를 판단한다(S330). 판단결과가 참인 경우 해당 MMT 패킷을 타겟 단말로 전송한다(S340).
판단결과가 거짓인 경우 MANE는 S330과 유사한 방식으로, VID_opt의 값이 MMT 패킷 헤더에 기록되어 있는 VID_low의 값 보다 작은지를 판단한다(S350). 판단결과가 참인 경우 MANE는 해당 MMT 패킷을 전송하지 않고 버린다(S360). 그러나 판단 결과가 거짓인 경우, 즉 MMT 패킷이 전송되는 조건을 만족하지도 않고, MMT 패킷을 버리는 조건도 만족하지 않은 경우 MANE는 MMT 패킷의 내부를 조사한다(S370).
또 다른 실시 예에서, S320단계는 MANE가 MMT 페킷 헤더로부터 VID_high 값만을 얻는 것으로 수행될 수 있다. 이러한 경우 S330단계는 VID_opt 값이 MMT 패킷 헤더에 기록되어 있는 VID_high 보다 크거나 같은 지만 조사하는 것으로 수행될 수 있고, 이에 해당될 경우에만 해당 MMT 패킷을 타겟 단말로 전달하고(S340), 그렇지 않은 경우에는 MMT 패킷을 전송하지 않고 버릴 수 있다(S360). 즉, 도 16의 순서도에서 S350의 단계가 생략될 수 있다.
마찬가지로, 본 발명의 또 다른 실시 예에서, S320단계는 MANE가 MMT 페킷 헤더로부터 VID_low값만을 얻는 것으로 수행될 수 있다. 이러한 경우 S330단계는 VID_opt 값이 MMT 패킷 헤더에 기록되어 있는 VID_low 보다 작은지만 조사하는 것으로 수행된다. 이에 해당되지 않는 경우에는 MMT 패킷을 버리지 않고 전송하며(S340), 이에 해당될 경우에만 해당 MMT 패킷을 전송하지 않고 버린다(S360). 즉, 도 16의 순서도에서 판단단계 하나가 생략될 수 있다.
전술한 실시 예들의 조합은 전술한 실시 예에 한정되는 것이 아니며, 구현 및/또는 필요에 따라 전술한 실시 예들 뿐만 아니라 다양한 형태의 조합이 제공될 수 있다.
즉, 전술한 본 발명의 실시 예들과 같이 MANE가 전술한 확장 정보를 사용하여 MMT 패킷의 전송을 제어하는 것과 같이 멀티-레이어 비디오 서버(410)가 확장정보를 사용하여 MMT 패킷의 전송을 제어할 수도 있다.
전술한 실시 예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
전술한 실시 예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (23)

  1. 비디오 데이터를 전달하는 MMT 패킷 전송 장치가 MMT 패킷을 생성하는 방법에 있어서,
    MMT 패킷 내에 포함된 적어도 하나의 NAL 유닛의 정보를 사용하여 생성된 확장 정보를 포함하는 MMT 패킷을 생성하는 것을 특징으로 하는 MMT 패킷 생성 방법.
  2. 제 1 항에 있어서,
    상기 확장 정보는 MMT 패킷의 패킷 헤더 또는 MMT 패킷에 포함된 MMT 페이로드의 페이로드 헤더에 포함되는 것을 특징으로 하는 MMT 패킷 생성 방법.
  3. 제 1 항에 있어서,
    상기 확장 정보는 상기 적어도 하나의 NAL 유닛의 시간적 레벨을 사용하여 생성된 TID(Temporal_ID) 파라미터, 상기 적어도 하나의 NAL 유닛의 공간적 레벨을 사용하여 생성된 DID(Dependency_ID) 파라미터, 상기 적어도 하나의 NAL 유닛의 품질 레벨을 사용하여 생성된 QID(Quality_ID) 파라미터 및 상기 적어도 하나의 NAL 유닛의 우선순위 정보를 사용하여 생성된 PID(Priority_ID) 파라미터 중 적어도 하나를 포함하거나 상기 MMT 패킷에 포함된 적어도 하나의 NAL 유닛의 시점(view) 정보를 사용하여 생성된 VID 파라미터를 포함하는 것을 특징으로 하는 MMT 패킷 생성 방법.
  4. 제 1 항에 있어서,
    상기 확장정보는 상기 MMT 패킷에 포함된 NAL 유닛의 시간적 레벨 중 가장 작은 값을 나타내는 TID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 공간적 레벨 중 가장 작은 값을 나타내는 DID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 품질 레벨 중 가장 작은 값을 나타내는 QID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 우선순위 정보 중 가장 작은 값을 나타내는 PID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 시간적 레벨 중 가장 큰 값을 나타내는 TID_high 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 공간적 레벨 중 가장 큰 값을 나타내는 DID_high 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 품질 레벨 중 가장 큰 값을 나타내는 QID_high 파라미터 및 상기 MMT 패킷에 포함된 NAL 유닛의 우선순위 정보 중 가장 큰 값을 나타내는 PID_high 파라미터 중 적어도 하나를 포함하거나 상기 MMT 패킷에 포함된 NAL 유닛의 시점(view) 정보 중 가장 작은 값을 나타내는 VID_low 파라미터 및 상기 MMT 패킷에 포함된 NAL 유닛의 시점(view) 정보 중 가장 큰 값을 나타내는 VID_high 파라미터 중 적어도 하나를 포함하는 것을 특징으로 하는 MMT 패킷 생성 방법.
  5. 제 3항 또는 제 4 항에 있어서,
    상기 확장 정보는 상기 MMT 패킷이 포함하는 비디오 데이터의 인코딩 방식을 나타내는 ML_Type파라미터를 더 포함하는 것을 특징으로 하는 MMT 패킷 생성 방법.
  6. 비디오 데이터 전송 장치가 MMT 패킷을 전송하는 방법에 있어서,
    상기 MMT 패킷에 포함된 확장 정보를 사용하여 상기 MMT 패킷의 전달여부를 결정하는 단계를 포함하는 것을 특징으로 하는 MMT 패킷 전송 방법
  7. 제 6 항에 있어서,
    상기 MMT 패킷은 MMT 패킷 헤더, MMT 페이로드 헤더 및 MMT 페이로드를 포함하고,
    상기 확장 정보는 상기 MMT 패킷 헤더 또는 상기 MMT 페이로드 헤더에 위치하는 것을 특징으로 하는 MMT 패킷 전송 방법.
  8. 제 6 항에 있어서,
    상기 확장정보는 상기 MMT 패킷에 포함된 NAL 유닛의 시간적 레벨 중 가장 작은 값을 나타내는 TID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 공간적 레벨 중 가장 작은 값을 나타내는 DID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 품질 레벨 중 가장 작은 값을 나타내는 QID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 우선순위 정보 중 가장 작은 값을 나타내는 PID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 시간적 레벨 중 가장 큰 값을 나타내는 TID_high 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 공간적 레벨 중 가장 큰 값을 나타내는 DID_high 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 품질 레벨 중 가장 큰 값을 나타내는 QID_high 파라미터 및 상기 MMT 패킷에 포함된 NAL 유닛의 우선순위 정보 중 가장 큰 값을 나타내는 PID_high 파라미터 중 적어도 하나를 포함하거나 상기 MMT 패킷에 포함된 NAL 유닛의 시점(view) 정보 중 가장 작은 값을 나타내는 VID_low 파라미터 및 상기 MMT 패킷에 포함된 NAL 유닛의 시점(view) 정보 중 가장 큰 값을 나타내는 VID_high 파라미터 중 적어도 하나를 포함하는 것을 특징으로 하는 MMT 패킷 전송 방법.
  9. 제 8 항에 있어서, 상기 전달여부를 결정하는 단계는,
    상기 전송 장치가 설정된 시간적 레벨의 기준값 TID_opt가 상기 TID_high의 값 보다 크거나 같고, 설정된 공간적 레벨의 기준값 DID_opt가 DID_high의 값 보다 크거나 같으며, 설정된 품질 레벨의 기준값 QID_opt가 QID_high의 값 보다 크거나 같은 경우에 상기 MMT 패킷을 전달함으로써 수행되는 것을 특징으로 하는 MMT 패킷 전송 방법.
  10. 제 8 항에 있어서, 상기 전달여부를 결정하는 단계는,
    상기 전송 장치가 설정된 시간적 레벨의 기준값 TID_opt가 상기 TID_low의 값 보다 작고, 설정된 공간적 레벨의 기준값 DID_opt가 DID_low의 값 보다 작으며, 설정된 품질 레벨의 기준값 QID_opt가 QID_low의 값 보다 작고, 설정된 우선순위 정보의 기준값 PID_opt가 PID_low의 값 보다 작은 경우에 상기 MMT 패킷을 전달하지 않음으로써 수행되는 것을 특징으로 하는 MMT 패킷 전송 방법.
  11. 제 8 항에 있어서,
    상기 확장정보는 상기 MMT 패킷이 포함하는 비디오 데이터의 인코딩 방식을 나타내는 ML_type파라미터를 더 포함하며,
    상기 전송 방법은 상기 전송 장치가 상기 ML_type 파라미터의 값을 사용하여 상기 MMT 패킷에 포함된 비디오 데이터는 SVC(Scalable Video Coding) 인코딩 방식으로 인코딩 되었음을 확인하는 단계를 더 포함하고,
    상기 전달여부를 결정하는 단계는,
    상기 전달 장치가 설정된 시간적 레벨의 기준값 TID_opt가 상기 TID_high의 값 보다 작고 상기 TID_low의 값 보다 크거나 같은 경우, 설정된 공간적 레벨의 기준값 DID_opt가 상기 DID_high의 값 보다 작고 상기 DID_low의 값 보다 크거나 같은 경우 또는 설정된 품질 레벨의 기준값 QID_opt가 상기 QID_high의 값 보다 작고 상기 QID_low의 값 보다 크거나 같은 경우에 상기 MMT 패킷의 NAL 유닛을 조사하여 MMT 패킷의 전달 여부를 판단함으로써 수행되는 것을 특징으로 하는 MMT 패킷 전송 방법.
  12. 제 6항에 있어서,
    상기 전송 장치는 MANE(Media Aware Network Element)이고,
    상기 MMT 패킷의 데이터를 사용하여 상기 MMT 패킷의 전달여부를 결정하는 단계는,
    상기 MANE에 MMT 패킷이 도착하는 단계;
    상기 MMT 패킷 헤더를 파싱하는 단계;
    상기 MMT 패킷 헤더로부터 확장 정보를 얻는 단계; 및
    상기 확장정보로부터 상기 MMT 패킷의 전달 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 MMT 패킷 전송 방법.
  13. 비디오 데이터를 전달하는 MMT 패킷 전송 장치에 있어서,
    MMT 패킷 생성부; 및
    MMT 패킷 전송부를 포함하고,
    상기 MMT 패킷 생성부는 MMT 페이로드와 MMT 페이로드 내에 포함된 적어도 하나의 NAL 유닛의 정보를 사용하여 생성된 확장 정보를 포함하는 MMT 패킷을 생성하는 것을 특징으로 하는 MMT 패킷 전송 장치.
  14. 제 13 항에 있어서,
    상기 MMT 패킷 생성부는 상기 확장 정보를 상기 MMT 패킷의 패킷 헤더 또는 상기 MMT 패킷에 포함된 상기 MMT 페이로드의 페이로드 헤더에 포함시켜 상기 MMT 패킷을 생성하는 것을 특징으로 하는 MMT 패킷 전송 장치.
  15. 제 13 항에 있어서,
    상기 확장 정보는 상기 적어도 하나의 NAL 유닛의 시간적 레벨을 사용하여 생성된 TID 파라미터, 상기 적어도 하나의 NAL 유닛의 공간적 레벨을 사용하여 생성된 DID 파라미터, 상기 적어도 하나의 NAL 유닛의 품질 레벨을 사용하여 생성된 QID 파라미터 및 상기 적어도 하나의 NAL 유닛의 우선순위 정보를 사용하여 생성된 PID 파라미터 중 적어도 하나를 포함하거나 상기 적어도 하나의 NAL 유닛의 시점(view) 정보를 사용하여 생성된 VID 파라미터를 포함하는 것을 특징으로 하는 MMT 페이로드 전송 장치.
  16. 비디오 데이터를 전달하는 MMT 패킷 전송 장치에 있어서,
    상기 MMT 패킷의 확장 정보를 사용하여 상기 MMT 패킷의 전달여부를 결정하는 MMT 패킷 전송부를 포함 하는 것을 특징으로 하는 MMT 패킷 전송 장치
  17. 제 16 항에 있어서,
    상기 MMT 패킷은 MMT 패킷 헤더, MMT 페이로드 헤더 및 MMT 페이로드를 포함하고,
    상기 확장 정보는 상기 MMT 패킷의 MMT 패킷 헤더 또는 페이로드 헤더에 위치하는 것을 특징으로 하는 MMT 패킷 전송 장치.
  18. 제 16 항에 있어서,
    상기 확장정보는 상기 MMT 패킷에 포함된 NAL 유닛의 시간적 레벨 중 가장 작은 값을 나타내는 TID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 공간적 레벨 중 가장 작은 값을 나타내는 DID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 품질 레벨 중 가장 작은 값을 나타내는 QID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 우선순위 정보 중 가장 작은 값을 나타내는 PID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 시간적 레벨 중 가장 큰 값을 나타내는 TID_high 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 공간적 레벨 중 가장 큰 값을 나타내는 DID_high 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 품질 레벨 중 가장 큰 값을 나타내는 QID_high 파라미터 및 상기 MMT 패킷에 포함된 NAL 유닛의 우선순위 정보 중 가장 큰 값을 나타내는 PID_high 파라미터 중 적어도 하나를 포함하거나 상기 MMT 패킷에 포함된 NAL 유닛의 시점(view) 정보 중 가장 작은 값을 나타내는 VID_low 파라미터 및 상기 MMT 패킷에 포함된 NAL 유닛의 시점(view) 정보 중 가장 큰 값을 나타내는 VID_high 파라미터 중 적어도 하나를 포함하는 것을 특징으로 하는 MMT 패킷 전송 장치.
  19. 제 18 항에 있어서,
    상기 전송 장치는 설정된 시간적 레벨의 기준값 TID_opt가 상기 TID_high의 값 보다 크거나 같고, 설정된 공간적 레벨의 기준값 DID_opt가 DID_high의 값 보다 크거나 같으며, 설정된 품질 레벨의 기준값 QID_opt가 QID_high의 값 보다 크거나 같은 경우에 상기 MMT 패킷을 전달하는 것을 특징으로 하는 MMT 패킷 전송 장치.
  20. 제 18 항에 있어서,
    상기 전송 장치는 설정된 시간적 레벨의 기준값 TID_opt가 상기 TID_low의 값 보다 작고, 설정된 공간적 레벨의 기준값 DID_opt가 DID_low의 값 보다 작으며, 설정된 품질 레벨의 기준값 QID_opt가 QID_low의 값 보다 작고, 설정된 우선순위 정보의 기준값 PID_opt가 PID_low의 값 보다 작은 경우에 상기 MMT 패킷을 전달하지 않는 것을 특징으로 하는 MMT 패킷 전송 장치.
  21. 제 18 항에 있어서,
    상기 상기 확장 정보는 상기 MMT 패킷이 포함하는 비디오 데이터의 인코딩 방식을 나타내는 ML_type파라미터를 더 포함하며,
    상기 전송 장치는 상기 ML_type 파라미터의 값을 사용하여 상기 MMT 패킷의 비디오 데이터가 MVC(Multi-view Video coding) 인코딩으로 생성된 것을 판단한 경우, 설정된 시점 정보의 기준값 VID_opt가 상기 VID_high보다 크거나 같은 경우에 상기 MMT 패킷을 전달하는 것을 특징으로 하는 MMT 패킷 전송 장치.
  22. 제 16항에 있어서,
    상기 전송 장치는 MANE(Media Aware Network Element)이고,
    상기 전송 장치는,
    상기 MMT 패킷을 수신하는 수신부를 더 포함하고,
    상기 MMT 패킷 전송부는 상기 MMT 패킷에 포함된 MMT 패킷 헤더를 파싱하여 생성한 확장 정보로부터 상기 MMT 패킷의 전달 여부를 결정하는 것을 특징으로 하는 MMT 패킷 전송 장치.
  23. MMT 패킷 헤더; 및 MMT 페이로드를 포함하는 MMT 패킷의 구조에 있어서,
    상기 MMT 페이로드는 페이로드 헤더를 포함하고,
    상기 MMT 패킷 헤더 또는 상기 페이로드 헤더는 적어도 하나의 NAL 유닛을 사용하여 생성된 확장 정보를 포함하는 것을 특징으로 하는 MMT 패킷 구조.
PCT/KR2013/003535 2012-04-24 2013-04-24 네트워크 적응적인 계층적 비디오 전송을 위한 mmt 패킷의 전송 방법 및 장치 Ceased WO2013162292A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20120042873 2012-04-24
KR10-2012-0042873 2012-04-24
KR1020130045496A KR20130119885A (ko) 2012-04-24 2013-04-24 네트워크 적응적인 계층적 비디오 전송을 위한 mmt 패킷의 전송 방법 및 장치
KR10-2013-0045496 2013-04-24

Publications (1)

Publication Number Publication Date
WO2013162292A1 true WO2013162292A1 (ko) 2013-10-31

Family

ID=49483510

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/003535 Ceased WO2013162292A1 (ko) 2012-04-24 2013-04-24 네트워크 적응적인 계층적 비디오 전송을 위한 mmt 패킷의 전송 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2013162292A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105900446A (zh) * 2014-01-17 2016-08-24 索尼公司 通信装置、通信数据生成方法和通信数据处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060114080A (ko) * 2005-04-27 2006-11-06 삼성전자주식회사 멀티미디어 스트리밍 서비스 시스템 및 방법
KR20100065017A (ko) * 2008-12-05 2010-06-15 한국전자통신연구원 Ｈ.264 ｓｖｃ 데이터의 계층적 부호화를 이용한 ｍｐｅｇ-2 ｔｓ 파일 포맷 장치 및 그 방법
KR20110061505A (ko) * 2009-12-01 2011-06-09 삼성전자주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
WO2012011732A2 (ko) * 2010-07-20 2012-01-26 한국전자통신연구원 스케일러빌리티 및 뷰 정보를 제공하는 스트리밍 서비스를 위한 방법 및 장치
WO2012050405A2 (ko) * 2010-10-16 2012-04-19 엘지전자 주식회사 디지털 수신기 및 디지털 수신기에서의 3d 컨텐트 처리방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060114080A (ko) * 2005-04-27 2006-11-06 삼성전자주식회사 멀티미디어 스트리밍 서비스 시스템 및 방법
KR20100065017A (ko) * 2008-12-05 2010-06-15 한국전자통신연구원 Ｈ.264 ｓｖｃ 데이터의 계층적 부호화를 이용한 ｍｐｅｇ-2 ｔｓ 파일 포맷 장치 및 그 방법
KR20110061505A (ko) * 2009-12-01 2011-06-09 삼성전자주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
WO2012011732A2 (ko) * 2010-07-20 2012-01-26 한국전자통신연구원 스케일러빌리티 및 뷰 정보를 제공하는 스트리밍 서비스를 위한 방법 및 장치
WO2012050405A2 (ko) * 2010-10-16 2012-04-19 엘지전자 주식회사 디지털 수신기 및 디지털 수신기에서의 3d 컨텐트 처리방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105900446A (zh) * 2014-01-17 2016-08-24 索尼公司 通信装置、通信数据生成方法和通信数据处理方法
CN105900446B (zh) * 2014-01-17 2019-11-05 索尼公司 通信装置、通信数据生成方法和通信数据处理方法
US10820024B2 (en) 2014-01-17 2020-10-27 Saturn Licensing Llc Communication apparatus, communication data generation method, and communication data processing method
US11284135B2 (en) 2014-01-17 2022-03-22 Saturn Licensing Llc Communication apparatus, communication data generation method, and communication data processing method

Similar Documents

Publication Publication Date Title
WO2013141666A1 (ko) Ｍｍｔ 패키지화된 ｓｖｃ 비디오 콘텐츠의 하이브리드 전송 방법 및 수신 방법
WO2013077697A1 (ko) Ｍｍｔ 패키지화 컨텐츠의하이브리드 전송 방법 및 컨텐츠 수신 방법
WO2013169084A1 (ko) Mmt 패킷 포맷 확장을 통한 하이브리드 전송 방법
WO2013077698A1 (ko) Mmt 미디어와 dash 미디어와의 연동 방법
WO2012060581A2 (ko) 미디어 콘텐트 송수신 방법 및 그를 이용한 송수신 장치
WO2013162312A1 (ko) 멀티미디어 전송 시스템을 위한 데이터 송수신 방법 및 장치
WO2014171790A1 (en) Method and apparatus for controlling media delivery in multimedia transport network
WO2013089437A1 (ko) 미디어 컨텐트를 수신하는 장치 및 방법
KR20180028426A (ko) 미디어 데이터를 송수신하기 위한 인터페이스 장치 및 방법
WO2012177041A2 (ko) 미디어 컨텐트 송수신 방법 및 그를 이용한 송수신 장치
WO2013055191A2 (ko) 방송 시스템에서의 제어 메시지 구성 장치 및 방법
WO2012011724A2 (ko) 미디어 파일 송수신 방법 및 그를 이용한 송수신 장치
EP2577486A2 (en) Method and apparatus for adaptive streaming based on plurality of elements for determining quality of content
WO2013112027A1 (ko) 부호화된 미디어 데이터를 전송하는 장치에서의 네트워크 지터 추정 방법
WO2012011722A2 (ko) 미디어 송수신 방법 및 그를 이용한 송수신 장치
KR20130119885A (ko) 네트워크 적응적인 계층적 비디오 전송을 위한 mmt 패킷의 전송 방법 및 장치
WO2018174367A1 (ko) 방송 신호 송수신 방법 및 장치
KR102098723B1 (ko) Mmt 전송 패킷의 설정 방법 및 전송 방법
WO2013187667A1 (ko) 멀티미디어 서비스를 위한 비트 에러율을 이용한 레이트 어댑테이션 방법 및 그 장치
WO2013162292A1 (ko) 네트워크 적응적인 계층적 비디오 전송을 위한 mmt 패킷의 전송 방법 및 장치
WO2013055168A1 (ko) 콤포지션 정보 및 전송 특성 정보가 연동된 미디어 데이터를 이종 ip 네트워크를 통하여 전송하는 방법
WO2013109094A1 (ko) 이종망 네트워크에서 미디어 프래그먼트 유닛으로 나누어진 액세스 유닛을 가지는 미디어 데이터를 전송하는 방법
WO2014116060A1 (ko) 유연한 ｍｍｔ 애셋 송수신 방법 및 그 장치
WO2016003247A1 (ko) 멀티미디어 통신 시스템에서 패킷 송/수신 장치 및 방법
WO2013119023A1 (ko) 이종망 네트워크에서 부호화된 미디어 데이터를 전송하는 시스템에 랜덤 액세스를 지원하는 엠엠티 애셋의 구조, 생성 방법 및 생성 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13780831

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13780831

Country of ref document: EP

Kind code of ref document: A1