WO2012099421A2 - 멀티미디어 데이터 패킷을 송신하는 방법 및 장치 - Google Patents

멀티미디어 데이터 패킷을 송신하는 방법 및 장치 Download PDF

Info

Publication number
WO2012099421A2
WO2012099421A2 PCT/KR2012/000503 KR2012000503W WO2012099421A2 WO 2012099421 A2 WO2012099421 A2 WO 2012099421A2 KR 2012000503 W KR2012000503 W KR 2012000503W WO 2012099421 A2 WO2012099421 A2 WO 2012099421A2
Authority
WO
WIPO (PCT)
Prior art keywords
information
multimedia data
data packet
packet
label
Prior art date
Application number
PCT/KR2012/000503
Other languages
English (en)
French (fr)
Other versions
WO2012099421A3 (ko
Inventor
박경모
황승오
송재연
서덕영
이용헌
Original Assignee
삼성전자 주식회사
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사, 경희대학교 산학협력단 filed Critical 삼성전자 주식회사
Priority to EP12736632.6A priority Critical patent/EP2667624A4/en
Priority to JP2013550407A priority patent/JP2014509473A/ja
Priority to CN201280009606.0A priority patent/CN103380626B/zh
Priority to AU2012207717A priority patent/AU2012207717B2/en
Priority to US13/980,520 priority patent/US9560171B2/en
Publication of WO2012099421A2 publication Critical patent/WO2012099421A2/ko
Publication of WO2012099421A3 publication Critical patent/WO2012099421A3/ko
Priority to US14/935,911 priority patent/US9906631B2/en
Priority to US15/888,781 priority patent/US20180159964A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/54—Store-and-forward switching systems 
    • H04L12/56—Packet switching systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/80—Actions related to the user profile or the type of traffic
    • H04L47/805—QOS or priority aware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/03—Protocol definition or specification 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385—Channel allocation; Bandwidth allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]

Definitions

  • the present invention relates to a method and apparatus for transmitting a multimedia data packet, and more particularly, to a method and apparatus for adaptively transmitting a multimedia data packet according to a QoS scheme.
  • Multimedia services are interactive services such as video telephony, streaming services such as video on demand (VOD) services, and services such as multicast and broadcast services.
  • Real-time multimedia services can be divided into interactive services, interactive services, and streaming services, depending on the type of service.
  • the real-time multimedia service may be divided into unicast, multicast, and broadcast according to the number of users participating.
  • a method of providing a quality of service (QoS) in a network can be broadly classified into a BE (best effort) method, a per class QoS (QoS) method, and a per flow QoS (QoS) method. have.
  • the BE scheme does not provide any support for QoS.
  • the QoS method by class is a method of processing according to importance in the middle of the network by varying the importance of each packet. That is, the QoS method for each class is a method of controlling QoS according to the importance of the packet, that is, the priority, regardless of which flow the packet belongs to.
  • the priority includes a loss priority, a delay priority, and the like.
  • the QoS method for each flow is a method of reserving resources for each stream. That is, a method of reserving a resource (eg, bit rate, buffer state) or QoS (delay, loss rate, etc.) for each flow.
  • a resource eg, bit rate, buffer state
  • QoS delay, loss rate, etc.
  • the flow refers to a stream required for one service. For example, the video stream, audio stream, and text stream required to provide on-demand video services become separate flows.
  • the UMTS (3G) of 3GPP is standardized to support QoS by class and QoS by flow.
  • an interface between a media layer, which is a higher layer, and a network, which is a lower layer, is required.
  • each packet is different for each video packet when using Moving Picture Experts Group (MPEG) -2 and H.264 or in particular, scalable video coding (SVC).
  • MPEG Moving Picture Experts Group
  • SVC scalable video coding
  • IPv6 IPv6
  • the packet switching method reads 5 parameters (5 turples: recipient address, sender address, port number of corresponding service in receiver, port number of corresponding service in transmitter, and protocol used) in IPv6 header.
  • the payload of the video packet must read header data that identifies the importance of the packet. This approach not only takes a lot of processing time per packet, but also violates protocol layer independence, meaning that routers only need to read the packet's IP header and be able to process the packet.
  • QoS quality of service
  • scalable video coding (SVC) technology or multi-view video coding (MVC) technology which is currently being standardized, is based on the H.264 / Advanced Video Coding (AVC) standard.
  • AVC Advanced Video Coding
  • NALU network abstraction layer unit
  • FIG. 1 is a diagram for explaining a video coding layer (or a video coding layer (VCL)) and a network abstraction layer (NAL) in H.264 / AVC.
  • VCL video coding layer
  • NAL network abstraction layer
  • a Network Abstraction Layer (VCL) 110 between a video coding layer (VCL) 110 that handles the video encoding process itself and a subsystem 130 that transmits and stores the encoded information.
  • NAL 120 is defined so that the video coding layer (VCL) and the network abstraction layer (NAL) are separated.
  • the NAL 120 processes the coded data 111 generated in the VCL and information of a parameter set or Supplemental Enhancement Information (SEI) and the like 113 in a NAL unit (NALU).
  • SEI Supplemental Enhancement Information
  • the NAL unit is divided into a VCL NAL unit 123 and a non VCL NAL unit 125.
  • the VCL NAL unit 123 is a NAL unit corresponding to the encoded data 111 generated in the VCL
  • the non-VCL NAL unit 125 is a NAL unit corresponding to information of a parameter set or SEI 113. .
  • the NAL unit basically includes a NAL header and a raw byte sequence payload (RBSP), which is a data portion generated as a result of video compression in the VCL.
  • RBSP raw byte sequence payload
  • FIG. 2 is a diagram for describing a format of an NAL unit.
  • the NAL unit 200 includes a NAL header 210 and a NAL payload 240.
  • NAL header 210 generally has a size of 1 to 5 bytes.
  • the NAL header 210 includes NALU type information 220 for indicating the type of NAL unit and layer identification information 230 for identifying a layer of compressed original data included in the NALU payload. ).
  • the NALU type information 220 includes a 1-bit fixed bit (F) field 221, a 2-bit NRI (nal_ref_idc) field 222 which is a flag indicating whether or not it is a reference picture, and an identifier indicating the type of a NAL unit. 5 bits NALU Type field 223 is included.
  • the layer identification information 230 may include, for example, a combination of priority, spatial layering level, temporal layering level, and / or quality layering level. That is, the layer identification information 230 is an 8-bit Priority field (hereinafter referred to as P) 231 for indicating a priority so that the layer of the compressed original data can be identified, and the spatial layering level. 3 to 8 bit Dependency_id (dependency ID) field (hereinafter referred to as D) 232, and 3 to 8 bit Temporal_level (temporal level) field to indicate temporal layering level (hereinafter, 233, and / or a Quality level level (hereinafter referred to as Q) 234 of 2 to 8 bits to indicate the quality layering level.
  • P 8-bit Priority field
  • D Dependency ID
  • Q Temporal_level
  • the format of the NALU is equally used in MVC (Multi-view Video Coding).
  • view identification information for identifying a view instead of the layer identification information 230 may be included in the NAL header together with the NALU type information 220.
  • both the layer identification information 230 and the view identification information of the NAL header must be parsed.
  • the layer identification information 230 has a size of 4 bytes or less, and all the values of P (231), D (232), T (233), and Q (234) must be known through parsing of the NAL header 210.
  • the layer to which the corresponding NAL unit belongs can be determined.
  • parsing all of the NAL header 210 to know the values of P (231), D (232), T (233), and Q (234) of the NAL header 210 burdens the processor and increases the cost of the system. It can cause an increase.
  • the NAL header 210 includes a NRI field 222 and a Priority field (P) 231 as well as packets such as layer identification information 230 such as the D 232, the T 233, and the Q 234.
  • layer identification information 230 such as the D 232, the T 233, and the Q 234.
  • D 232, T 233, and Q 234 a packet having '1' as the value of D 232 and '1' as the value of T 233.
  • the superiority and priority of the two packets cannot be distinguished.
  • NAL network abstraction layer
  • the present invention provides a method and apparatus for providing an adaptive multimedia service when providing a multimedia service.
  • the present invention provides a method and apparatus for providing a multimedia service through a media abstraction layer that abstracts various media elements so that information of an application layer may be utilized in a lower network layer.
  • the present invention provides a method and apparatus for providing a multimedia service through a media abstraction layer that provides specific importance information for a lower layer based on the understanding at the MPEG level.
  • the present invention provides a method and apparatus for providing a multimedia service that includes information generated through the media abstraction layer in an IP header to facilitate access to necessary information by simple processing in a lower layer.
  • a method for transmitting a multimedia data packet includes generating media abstraction layer (MAL) information regarding multimedia data to be transmitted, generating a multimedia data packet including the MAL information, and generating the generated multimedia data packet. Sending a data packet to the network entity.
  • MAL media abstraction layer
  • a method for forwarding a multimedia data packet by an entity on a network may include receiving a multimedia packet including media abstraction layer information (MAL) information from a transmitting device, and receiving the multimedia packet according to the received MAL information. Forwarding the multimedia packet.
  • MAL media abstraction layer information
  • the apparatus for transmitting a multimedia data packet includes a media abstraction layer unit for generating media abstraction layer (MAL) information about the multimedia data to be transmitted, and generates a multimedia data packet including the MAL information, And a packet generator for transmitting the generated multimedia data packet to the network entity.
  • MAL media abstraction layer
  • the network entity device for forwarding the multimedia data packet provided by the present invention, receiving a multimedia packet including media abstraction layer information (MAL) information from the transmitting device, and forwarding the multimedia packet according to the received MAL information It includes a forwarding policy decision unit.
  • MAL media abstraction layer information
  • the present invention can provide a multimedia service by providing a media abstraction layer applicable to all multimedia data, reflecting the importance or priority of media data, resource reservation status, network status, or user requirements.
  • the present invention provides a simplified header structure so that the device receiving the IP packet does not have to parse fields corresponding to the flow label every time, thereby enabling efficient use of the resource of the receiving device.
  • FIG. 1 is a diagram for explaining a video coding layer and a network abstraction layer in H.264 / AVC.
  • FIG. 2 is a diagram for explaining a format in NAL units.
  • FIG. 3 is a diagram illustrating a configuration of a transmitting apparatus according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a method of including MAL information in an IP packet according to an embodiment of the present invention.
  • FIG. 5 is a diagram for explaining a structure of an IP packet header including MAL information according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a configuration of a MANE according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a configuration of a receiving apparatus according to an embodiment of the present invention.
  • a network abstraction layer used in MPEG-4 / AVC (Advanced Video Coding (H.264), Scalable Video Coding (SVC), Multi-view Video Coding (MVC), etc.), which are standards for video data.
  • NAL Network Abstraction Layer
  • the existing NAL header 210 includes various information indicating the importance of a video packet.
  • the NAL header used in the SVC includes layer recognition information 230 that can recognize a temporal layer, a spatial layer, and a quality layer
  • the NAL header used in the MVC includes information indicating a view number. It is.
  • the information included in the NAL header is information generated by being abstracted from a top-down interface transferred from an upper protocol layer to a lower protocol layer and may indicate the importance of a corresponding packet. According to the state of the packet service can be adaptively provided.
  • the present invention defines the identifier "media classifier” and "label” in order to extend the concept of the NAL to all media.
  • the "media separator” is responsible for providing abstracted priority information so that priority information of the media can be utilized without specific understanding of the media in the lower protocol layer.
  • the "label” is an identifier for distinguishing each stream (for example, a video stream or an audio stream).
  • MAL Media Abstraction Layer
  • MAL information data related information abstracted from the MAL may be referred to as MAL information.
  • the transmitting apparatus (server or terminal) generates the MAL information and includes the packet in the header of the packet and transmits the packet.
  • the network entity (router or base station, etc.) uses the MAL information to determine the importance or resource reservation of the packet. And transmit the packet accordingly.
  • FIG. 3 is a diagram illustrating a configuration of a transmitting device 300 according to an embodiment of the present invention.
  • the transmission apparatus 300 of the present invention includes a media data supply unit 301, a media abstraction layer unit 302, and a packet generator 303.
  • the transmission device 300 may be, for example, a server that provides a multimedia service.
  • the media abstraction layer unit 302 receives one IP packet from the media data supply unit 301 (308), generates MAL information, and delivers it to the packet generator 303 (310).
  • the media abstraction layer unit 302 transmits the IP packet received from the media data supply unit 301 to the packet generator 303 (309).
  • the MAL information on the media data generated by the media abstraction layer unit 302 may include media identifier information and label information.
  • the media identifier information may be used to recognize abstracted importance information of the media packet in a lower network
  • the label information may be used for the lower network to identify the packet.
  • the packet generator 303 generates a packet using the received MAL information 310 and the IP packet 309 from the media abstraction layer unit 302, and transmits the generated packet through the network 313.
  • Media identifier information and label information included in the MAL information may be included in a header of an IP packet or a packet header of another lower protocol.
  • the media identifier of the audio data stream is 1
  • the media identifier of the character data stream is 2
  • the media identifier of the video data stream is 3
  • the server and the terminal are previously promised (or set).
  • the priority for the stream in which the media separator is set is also promised between the transmitting side, the network entity, and the receiving side.
  • the packet when the transmitting side wants to transmit a video data packet, the packet is generated and transmitted by setting the media identifier information to 3 in the packet.
  • the network entity eg, a router
  • the network entity may recognize the QoS class of the received packet through the media identifier information (ie, 3) of the received packet. Thereafter, the network entity may determine whether to forward the packet in consideration of the network state and the forwarding policy of the QoS class.
  • the label of the audio data stream is 1, the label of the text data stream is 2, and the label of the video data stream is 3, and the appointment is set in advance (or set) between the server and the terminal.
  • the packet when the transmitting side wants to transmit the video data packet, the packet is set and the label information is set to 3 to generate and transmit the packet. Then, the network entity (for example, the router) may recognize the importance, priority, or resource reservation information of the received packet through the label information (ie, 3) of the received packet. Thereafter, the network entity may transmit the packet in consideration of network status and importance, priority, or resource reservation information of the received packet.
  • the network entity for example, the router
  • the network entity may transmit the packet in consideration of network status and importance, priority, or resource reservation information of the received packet.
  • the label for each data stream and the importance, priority, or resource reservation information according to the label may be set in a call setup process between a transmitter, a receiver, and a network entity.
  • MAL information which is media abstraction layer information proposed by the present invention will be described.
  • the MAL information is used to allow the lower-level network entities to recognize the abstracted QoS class of the media and to recognize the loss and delay importance, priority, or resource reservation information of the data packet.
  • the information is included in the packet in the form of a label (ie tag).
  • the MAL information format proposed by the present invention may be used together with other existing protocol standards, for example, an IP header, a transmission control protocol (TCP) and a user datagram protocol (UDP) header, and an RTP header protocol.
  • the table that summarizes the values of each label value is called a label table (LT). If a call setup process between a transmitting and receiving network such as a broadcasting network is impossible, a method of transmitting LT at periodic time intervals such as Program Map Tables (PMT) of the MPEG-2 system may be used.
  • PMT Program Map Tables
  • the MAL information may be classified into a media identifier format for class QoS scheme and a label format for stream QoS scheme.
  • the media is abstracted based on the requirements for the loss rate and the transmission delay and included in the form of a delimiter without a resource reservation process for providing a service between a transmitter and a receiver.
  • the MAL abstracts the QoS class according to the transmission delay and loss requirements of each stream. Format determines the media separator value.
  • the audio stream may be of higher importance than the video stream.
  • the media identifier value at this time may be inserted into a TOS (Type Of Service) field of the IPv4 header or a TC (Traffic Class) field of the IPv6 header.
  • TOS Type Of Service
  • TC Traffic Class
  • the base layer must be of high importance for the three layers (base layer, advanced 1 layer, and advanced 2 layer), and priority arrival must be guaranteed over other layers. Therefore, the QoS class is assigned with low transmission delay and packet loss.
  • the high layer 1 and the high layer 2 each allocate a lower class of QoS than the base layer. As shown in the above example, if the size of the media identifier is set to 2 bits, the QoS class is differentiated into 11 for the base layer, 10 for the high level 1 layer, and 01 for the high level 2 layer.
  • resource reservation is made for each stream and for this purpose, label information is included in the corresponding flow.
  • label information is included in the corresponding flow. For example, assuming that a resource of 300 kbps is reserved for a flow having a label value of 1, a label value generated in a sender and included in a packet is 1, and the network entity checks a label value included in the packet.
  • the flow is transmitted using a resource of 300kbps corresponding to the label value 1 using the LT received in the call setup process and the label value of the packet.
  • the resources currently available may also be considered.
  • the resource reservation may be made for each session. That is, label information may be configured in stream units or session units according to whether a resource reservation is made in a stream unit or a session unit to support label switching when establishing a call between a transmission and reception network.
  • the resource reservation process and label information setting may be promised in advance in a call setup process between a transmitter and a receiver.
  • the label format of the present invention may be configured to be compatible with the label format supported by the MPLS.
  • the existing NAL header defined in the SVC may not be transmitted.
  • the information that does not change during one session among the contents of the existing RTP header and the UDP header may be included in the label.
  • the label switching is a technique for routing a third (3 rd ) layer packet in the second (2 nd ) layer, and by applying a separate label to a data packet instead of an IP address to implement switching using the added label. This is how switching is possible.
  • FIG. 4 is a diagram illustrating a method of including MAL information in an IP packet according to an embodiment of the present invention.
  • a virtual header for an MAL packet is defined.
  • Content included in the virtual header is to be included in a packet header (for example, an IP packet header) of a lower layer, and the virtual header 420 is internally divided into a media identifier header 421 and a label header 422. .
  • the media identifier header 421 may be applied when a lower layer uses a QoS scheme for each class, and its length may vary according to system configuration. In consideration of compatibility with the QoS protocol of each lower layer, about 3 to 6 bits are preferable.
  • the media identifier header 421 may be inserted into the TOS field 411 of the IPv4 header 410 or inserted into the TC field 431 of the IPv6 header 430.
  • the label header 422 may be applied when the lower layer uses a flow-based QoS scheme.
  • a total of 8 bits of the label header 422 is composed of 7 bits including the number of the label and 1 bit of the extension flag bit for extension if necessary.
  • the label header 422 may be inserted into an extended IP header 413 of the IPv4 header 410 or inserted into a flow label field 433 of the IPv6 header 430.
  • FIG. 5 is a diagram for explaining a structure of an IP packet header including MAL information according to an embodiment of the present invention.
  • FIG. 5 illustrates a method of simplifying a header by removing an identically repeated portion of a UDP header and an RTP header among a plurality of packets to be applied to a real time media stream, and including this information in the LT.
  • Reference numerals 510, 530, and 540 denote IPv4 packets
  • reference numeral 550 denotes IPv6 packets
  • an example of generating label information by simplifying a UDP header and an RTP header in each packet denoted.
  • Reference numeral 510 denotes a media packet for the transmission of real-time media data, such as an on-demand video service.
  • Reference numeral 560 denotes a UDP header and reference numeral 570 denotes an RTP header.
  • the field to be noted is the NALH field at 520, which represents a NAL header, and as described in FIG. 2, the NAL header includes information indicating the importance or priority of the packet.
  • fields 511, 512, 514, 515, 518, 519, and 520 that are identically repeated in the UDP header 560 and the RTP header 570 of the reference number 520 packet are gathered into one label.
  • Fields 513, 516, 517, inserted into information (flow label field) 531, which can vary from packet to packet, are arranged behind the flow label field 531.
  • the Length field 532 overlaps with a Length field (not shown) included in the IP header. Therefore, the Length field 532 can be omitted.
  • the TS field 534 is a time stamp, and if the generation of media data is periodic, the time stamp information can be known by calculation at the receiving side, and thus can be omitted.
  • the reference numeral 540 packet indicates that the duplicated Length field 532 and the TS field 534 that can be calculated by the receiving side are omitted from the reference number 530 packet.
  • the reference number 550 packet illustrates an IPv6 packet.
  • IPv6 header 551 there is a 24-bit flow label field. By using this field, the MAL information of the present invention can be included in the IPv6 header. .
  • the receiving side should parse all the fields.
  • the header is simplified as shown in FIG. 5, the fields corresponding to the flow labels do not need to be parsed every time.
  • the MAL information defined in the present invention has been described so far. Using such MAL information, it is possible to provide a service that guarantees QoS by class and QoS by flow using abstracted importance or priority without understanding media stream.
  • a network entity that understands media importance or priority information and performs forwarding using the media is called a media aware network element (MANE).
  • a network entity that forwards a received media packet such as a router, a media access control (MAC) layer of IEEE 802 series, and a broadcast multicast service center (BMSC) of 3GPP, may be included in the MAL information. It can operate as a MANE (Media Aware Network Element) that can be adaptively forwarded according to the importance of the packet according to the included media identifier information. For example, in a router using a DiffServ (Differentiated Service) routing method, if a data exceeds the buffer, the low priority packet is discarded. To this end, the media identifier value of the MAL information is checked.
  • DiffServ Differentiated Service
  • the network entity adaptively processes a packet using importance information included in an IP header, that is, a media identifier value, regardless of which service the received packet belongs to. For example, if a media delimiter value of an audio packet is 11, a base layer video packet media delimiter value is 10, a media delimiter value of an advanced 1 layer video packet is 01, and a media delimiter value of an advanced 2 layer video packet is 00.
  • the network entity needs to discard any one of the packets due to network condition or overflow of the router buffer, the network entity discards the packet according to the media identifier value.
  • packets are discarded in the order of the high layer 2 video packet, the high layer 1 video packet, the base layer video packet, and finally the audio packet.
  • a packet is put in a queue determined according to importance information written in an IP header. Normally, priority is set in four steps, and there may be a difference in the method of handling the packet loss and the speed of the packet leaving the queue for each queue.
  • a label value which is a media identifier
  • QoS bit rate, loss rate, delay, etc.
  • the determination of the predetermined resource may be determined according to a resource corresponding to the corresponding label by searching a resource reservation table stored in advance for each stream in the corresponding network entity. For example, if the QoS for the audio stream is set to Unsolicited Guaranteed Service (UGS) in IEEE 802.16, a predetermined QoS requirement is guaranteed accordingly. Therefore, the resource reservation table is stored in the network entity until the corresponding service ends. That is, when a packet is received from the transmitter, the label of the packet is checked, the QoS requirement of the stream of the label is searched in the resource reservation table, and a service is provided according to the resource accordingly.
  • UMS Unsolicited Guaranteed Service
  • FIG. 6 is a diagram illustrating a configuration of a MANE 600 according to an embodiment of the present invention.
  • the forwarding policy determination unit 609 of the MANE 600 receives a packet from the transmitter 606, the packet is adaptively forwarded according to the forwarding policy (610).
  • the forwarding policy depends on the media identifier value included in the MAL information of the received packet.
  • the MANE 600 When the MANE 600 supports QoS for each service class, the MANE 600 checks the class of the media identifier value of the corresponding packet and determines whether to forward the corresponding packet accordingly. On the other hand, if the MANE 600 supports QoS per flow (i.e., stream), the label value is checked, and the resource allocated to the corresponding label stored in the resource reservation table 602 is checked (query-605). In operation 610, the server determines the available resource information of the available resource determination unit 604 (query-608, receives the inquiry result-607), and determines a forwarding policy in the available resources to forward the packet (610). .
  • QoS per flow i.e., stream
  • the server determines the available resource information of the available resource determination unit 604 (query-608, receives the inquiry result-607), and determines a forwarding policy in the available resources to forward the packet (610).
  • FIG. 7 is a diagram illustrating a configuration of a receiving apparatus 700 according to an embodiment of the present invention.
  • the receiving device 700 illustrated by FIG. 7 may be, for example, a user equipment.
  • the reception apparatus 700 includes a decoder 704 for each stream, a receiver 702 for receiving a signal, and a controller 706 for controlling the decoder 704. .
  • the decoder 704 may include as many buffers (not shown) as necessary.
  • the controller 706 may check the label and identify the decoder 704 suitable for the packet. In addition, if the packet received by the receiver 702 does not have a label, the controller 706 may check the decoder 704 for decoding the media packet by reading a TCP or UDP header.
  • FIGS. 3 to 7 the flow chart of the configuration, operation or signal illustrated in FIGS. 3 to 7 is not intended to limit the scope of the present invention. That is, the configurations and operations described with reference to FIGS. 3 to 7 merely illustrate configurations that operate in the apparatus, and do not necessarily limit the implementation to be performed by all the processes or to be performed separately.
  • the above-described operations can be realized by providing a memory device storing the corresponding program code to any component in a network entity device such as the transmitting device 300, the receiving device 700, or the MANE 600. That is, components of a network entity device such as the transmitting device 300, the receiving device 700, or the MANE 600 may be implemented by a processor or a central processing unit (CPU) that reads and executes program codes stored in the memory device. .
  • a processor or a central processing unit (CPU) that reads and executes program codes stored in the memory device.

Abstract

본 발명은 멀티미디어 데이터 패킷을 송신하는 방법 및 장치에 관한 것으로, 멀티미디어 데이터 패킷을 송신하는 방법에 있어서, 전송할 멀티미디어 데이터에 관한 정보를 추상화하는 미디어 추상화 계층(MAL) 정보를 생성하는 과정과, 상기 MAL 정보를 포함하는 멀티미디어 데이터 패킷을 생성하는 과정과, 생성된 멀티미디어 데이터 패킷을 네트워크 엔터티로 송신하는 과정을 포함하는 멀티미디어 데이터 패킷을 송신하는 방법을 제공한다.

Description

멀티미디어 데이터 패킷을 송신하는 방법 및 장치
본 발명은 멀티미디어 데이터 패킷을 송신하는 방법 및 장치에 관한 것으로서, 특히 QoS 방식에 따라 적응적으로 멀티미디어 데이터 패킷을 송신하는 방법 및 장치에 관한 것이다.
멀티미디어 서비스란 화상전화와 같은 대화형 서비스, 주문형 비디오(Video On Demand: VOD) 서비스와 같은 스트리밍 서비스와, 멀티캐스트 및 브로드캐스트 서비스 등의 서비스를 말한다. 실시간 멀티미디어 서비스는 서비스의 형태에 따라 대화형 서비스, 인터랙티브 서비스, 스트리밍 서비스로 나눌 수 있다. 또한, 실시간 멀티미디어 서비스는 참여하는 사용자의 수에 따라 유니캐스트, 멀티캐스트, 브로드캐스트로 나눌 수도 있다.
멀티 미디어 서비스를 제공하기 위하여 네트워크에서 QoS(Quality of Service)를 제공하는 방식은 크게 BE(Best Effort) 방식, 클래스 별 QoS(per class QoS) 방식, 플로우 별 QoS(per flow QoS) 방식으로 나눌 수 있다.
먼저, BE 방식에서는 QoS를 위해 아무 지원도 하지 않는다.
클래스 별 QoS 방식은 패킷마다 중요도를 달리하여 네트워크 중간에서 중요도에 따라 처리하는 방식이다. 즉, 클래스 별 QoS 방식은 해당 패킷이 어떤 플로우에 속하느냐와 상관 없이 해당 패킷의 중요도, 즉, 우선 순위에 따라 QoS 제어를 하는 방식이다. 클래스 별 QoS 방식을 지원하기 위해서는 송신측과 수신측 간의 자원 예약이 필요 없다. 참고로, 상기 우선 순위에는 손실 우선 순위(loss priority), 지연 우선 순위(delay priority) 등이 있다.
플로우 별 QoS 방식은 스트림(stream)별로 자원을 예약하는 방식이다. 즉, 플로우 별로 자원(예를 들어, 비트 레이트, 버퍼 상태) 또는 QoS(지연, 손실율 등)을 예약하는 방식이다. 여기서, 플로우란 하나의 서비스를 위해 필요한 스트림을 말한다. 예를 들어, 주문형 비디오 서비스를 제공하기 위해 필요한 비디오 스트림, 오디오 스트림, 및 텍스트 스트림이 각각 별개의 플로우가 된다.
IEEE 802.16(WiBRO, WIMAX), LTE(Long Term Evolution)는 물론이고, 3GPP의 UMTS(3G)에서도 클래스 별 QoS 방식과 플로우 별 QoS 방식을 지원하는 것으로 표준화되어 있다. 그러나, 상기 QoS 방식을 사용하기 위해서는 상위 계층인 미디어 계층과 하위 계층인 네트워크간 인터페이스가 필요하다.
MPEG(Moving Picture Experts Group)-2와 H.264를 이용하거나 특히 스케일러블 비디오 부호화(Scalable Video Coding: SVC)를 이용할 때 비디오 패킷마다 패킷 별 중요도는 서로 다르다. 비디오 서비스의 QoS를 효과적으로 제어하기 위해서는 이러한 패킷 별 중요도의 차이가 식별될 수 있어야 한다. IPv6에서는 패킷 별 중요도를 식별하기 위하여 패킷 스위칭 방식에서는 IPv6 헤더에서 5 인자(5 turples: 수신자 주소, 송신자 주소, 수신자 내 해당 서비스의 포트번호, 송신기 내의 해당 서비스의 포트번호, 사용하는 프로토콜)를 읽은 이후 다시 비디오 패킷의 페이로드에서 패킷의 중요도를 식별하는 헤더 데이터를 읽어야 한다. 이러한 방식은 패킷마다 처리 시간이 많이 걸릴 뿐만 아니라 프로토콜 계층의 독립성을 위반하게 한다.즉, 라우터에서는 패킷의 IP 헤더만 읽고 패킷의 처리가 가능하여야 하는데 그렇지 못하게 된다.
패킷 별 중요도가 쉽게 식별될 수 있으면 라우터에서 QoS(Quality of Service) 제어가 원활하게 수행될 수 있다. 일 예로, 네트워크 상태가 나쁠 경우 상기 패킷 별 중요도에 따라 중요하지 않은 패킷부터 버릴 수 있다.
한편, 현재 표준화가 진행 중인 스케일러블 비디오 부호화(Scalable Video Coding: SVC) 기술이나 멀티-뷰 비디오 부호화(Multi-view Video Coding: MVC) 기술은 H.264/AVC(Advanced Video Coding) 표준에 기초하고 있다. 그리고 부호화된 데이터의 비트열의 구성에 있어서도 H.264/AVC의 네트워크 추상 계층 단위(Network Abstraction Layer Unit: NALU)의 포맷이 사용된다.
도 1은 H.264/AVC에 있어서의 비디오 코딩 계층(또는 동영상 부호화 처리층, Video Coding Layer: VCL)과 네트워크 추상 계층(NAL)을 설명하기 위한 도면이다.
H.264/AVC 에서는 동영상 부호화 처리 자체를 다루는 비디오 코딩 계층(Video Coding Layer: VCL)(110)과 상기 부호화된 정보를 전송하고 저장하는 하위 시스템(130) 사이에 네트워크 추상 계층(Network Abstraction Layer: NAL)(120)이 정의되어 있어서, 비디오 코딩 계층(VCL)과 네트워크 추상 계층(NAL)이 분리되어 있다.
VCL에서 생성된 부호화 데이터(111)를 H.264/AVC 파일 포맷(131), RTP(Real-time Transport Protocol)(133), 또는 MPEG-2 시스템(135)과 같은 하위 시스템의 비트열로 매핑하기 위하여, NAL(120)에서는 상기 VCL에서 생성된 부호화 데이터(111) 및 파라미터 세트 또는 SEI(Supplemental Enhancement Information) 등(113)의 정보를 NAL 단위(NAL Unit: NALU)로 처리한다.
상기 NAL 단위는 VCL NAL 단위(123)와 비(non) VCL NAL 단위(125)로 나뉜다. 상기 VCL NAL 단위(123)는 상기 VCL에서 생성된 부호화 데이터(111)에 해당하는 NAL 단위이며, 상기 비 VCL NAL 단위(125)는 파라미터 세트 또는 SEI 등(113)의 정보에 해당하는 NAL 단위이다.
상기 NAL 단위는 기본적으로 NAL 헤더와, VCL에서 동영상 압축의 결과로 생성된 데이터 부분인 RBSP(Raw Byte Sequence Payload)를 포함한다.
도 2는 NAL 단위의 포맷을 설명하기 위한 도면이다.
도 2를 참조하면, NAL 단위(200)는 NAL 헤더(210)와 NAL 페이로드(240)를 포함한다.
NAL 헤더(210)는 일반적으로 1 내지 5 바이트의 크기를 갖는다. NAL 헤더(210)는 NAL 단위의 종류를 지시하기 위한 NALU 유형(Type) 정보(220)와 NALU 페이로드에 포함되는 압축된 원본 데이터의 계층을 식별하기 위한 계층 식별 정보(Layer Identification Information)(230)를 포함한다.
상기 NALU 유형 정보(220)는 1 비트의 고정 비트(F) 필드(221), 참조 픽쳐인지 여부를 표시하는 플래그인 2 비트의 NRI(nal_ref_idc) 필드(222), NAL 단위의 종류를 표시하는 식별자인 5 비트의 NALU Type 필드(223)를 포함한다.
상기 계층 식별 정보(230)는 예를 들어, 우선순위, 공간계층화 레벨, 시간계층화 레벨, 및/또는 품질계층화 레벨의 조합을 포함할 수 있다. 즉, 상기 계층 식별 정보(230)는 압축된 원본 데이터의 계층을 식별할 수 있도록 우선 순위를 나타내기 위한 8 비트의 Priority(프라이어리티) 필드(이하, P로 칭한다)(231), 공간 계층화 레벨을 나타내기 위한 3 내지 8 비트의 Dependency_id(디펜던시 아이디) 필드(이하, D로 칭한다)(232), 시간 계층화 레벨을 나타내기 위한 3 내지 8 비트의 Temporal_level(템포럴 레벨) 필드(이하, T로 칭한다)(233), 및/또는 품질계층화 레벨을 나타내기 위한 2 내지 8 비트의 Quality_level(퀄리티 레벨) 필드(이하, Q로 칭한다)(234)를 포함할 수 있다.
참고로 상기 NALU의 포맷은 MVC(Multi-view Video Coding)에서도 동일하게 이용된다. 다만, MVC에서는 NAL 헤더에 NALU 유형 정보(220)와 함께 상기 계층 식별 정보(230) 대신 뷰(View)를 식별하기 위한 뷰 식별 정보(View Identification Information)가 포함될 수 있다.
상술한 현재의 SVC 또는 MVC에 따른 NAL 단위 포맷에 의하면, NAL 단위의 계층이나 뷰를 식별하기 위해서는 NAL 헤더의 계층 식별 정보(230)나 뷰 식별 정보를 모두 파싱(parsing)하여야 한다. 특히, 계층 식별 정보(230)는 4 바이트 이하의 크기를 가지며, NAL 헤더(210)의 파싱을 통해 P(231), D(232), T(233), Q(234)의 값을 모두 알아야만, 해당 NAL 단위가 속한 계층을 판별할 수 있다. 하지만, NAL 헤더(210)의 P(231), D(232), T(233), Q(234)값을 알기 위하여 NAL 헤더(210)를 모두 파싱하는 것은 프로세서에 부담을 주며 시스템의 비용을 증가시키는 원인이 될 수 있다.
또한, NAL 헤더(210)에는 NRI 필드(222) 및 Priority 필드(P)(231)를 비롯하여 상기 D(232), T(233), Q(234)와 같은 계층 식별 정보(230)와 같이 패킷의 중요도를 식별할 수 있는 다양한 정보들을 포함하는데, 이 정보들 간의 관계가 정의되어 있지 않으므로 이를 활용하는데 어려움이 있다. 예를 들어, 계층 식별 정보 D(232), T(233), Q(234)에 관하여, D(232)의 값으로 ‘1’을 갖는 패킷과 T(233)의 값으로 ‘1’을 갖는 패킷이 존재할 때, 부호 과정의 예측 관계에 대한 이해(understanding)가 없을 경우, 상기 두 패킷의 우선순위 상의 우열을 구분할 수 없다.
또한, 현재의 네트워크 추상 계층(NAL)은 오직 비디오 서비스에 국한되어 설계되어 있다. 따라서, 오디오, 비디오, 텍스트, 사용자 인터페이스와 같이 다양한 미디어 구성요소가 결합되는 향후의 미디어 서비스를 위하여, 미디어 구성요소의 종류에 관계없이 추상화(abstraction)가 가능한 미디어 추상화 계층의 도입이 필요하다.
본 발명은 멀티미디어 서비스 제공 시 적응적인 멀티미디어 서비스를 제공하기 위한 방법 및 장치를 제공한다.
또한, 본 발명은 다양한 미디어 요소를 추상화 함으로써 응용계층의 정보를 하위 네트워크 계층에서 활용할 수 있도록 하는 미디어 추상 계층을 통해 멀티미디어 서비스를 제공하기 위한 방법 및 장치를 제공한다.
또한, 본 발명은 MPEG 레벨에서의 이해를 바탕으로 하위 계층을 위한 구체적인 중요도 정보를 제공하는 미디어 추상화 계층을 통해 멀티미디어 서비스를 제공하기 위한 방법 및 장치를 제공한다.
또한, 본 발명은 미디어 추상화 계층을 통해 생성된 정보를 IP 헤더에 포함시킴으로서 하위 계층에서의 간단한 처리만으로 필요한 정보에의 접근이 용이하게 하는 멀티미디어 서비스를 제공하기 위한 방법 및 장치를 제공한다.
본 발명이 제공하는 멀티미디어 데이터 패킷을 송신하는 방법은, 전송할 멀티미디어 데이터에 관한 미디어 추상화 계층(MAL) 정보를 생성하는 과정과, 상기 MAL 정보를 포함하는 멀티미디어 데이터 패킷을 생성하는 과정과, 생성된 멀티미디어 데이터 패킷을 상기 네트워크 엔터티로 송신하는 과정을 포함한다.
또한, 본 발명이 제공하는 네트워크 상의 엔터티가 멀티미디어 데이터 패킷을 포워딩하는 방법은, 송신 장치로부터 미디어 추상화 계층 정보(MAL) 정보를 포함하는 멀티미디어 패킷을 수신하는 과정과, 상기 수신한 MAL 정보에 따라 상기 멀티미디어 패킷을 포워딩하는 과정을 포함한다.
또한, 본 발명이 제공하는 멀티미디어 데이터 패킷을 송신하는 장치는, 전송할 멀티미디어 데이터에 관한 미디어 추상화 계층(MAL) 정보를 생성하는 미디어 추상화 계층부와, 상기 MAL 정보를 포함하는 멀티미디어 데이터 패킷을 생성하고, 생성된 멀티미디어 데이터 패킷을 상기 네트워크 엔터티로 송신하는 패킷 생성부를 포함한다.
또한, 본 발명이 제공하는 멀티미디어 데이터 패킷을 포워딩하는 네트워크 엔터티 장치는, 송신 장치로부터 미디어 추상화 계층 정보(MAL) 정보를 포함하는 멀티미디어 패킷을 수신하고, 상기 수신한 MAL 정보에 따라 상기 멀티미디어 패킷을 포워딩하는 포워딩 정책 결정부를 포함한다.
본 발명은 모든 멀티 미디어 데이터에 적용 가능한 미디어 추상화 계층을 제공하여 미디어 데이터의 중요도 또는 우선 순위, 자원 예약 상태, 네트워크 상태나 또는 사용자의 요구 조건을 반영하여 멀티 미디어 서비스를 제공할 수 있다.
또한, 본 발명은 간소화된 헤더 구조를 제공하여 IP 패킷을 수신한 장치가 플로우 라벨에 해당하는 필드들을 매번 파싱하지 않아도 되게 하므로, 수신 장치의 효율적 자원 활용이 가능하다.
도 1은 H.264/AVC에 있어서의 비디오 코딩 계층과 네트워크 추상 계층을 설명하기 위한 도면.
도 2는 NAL 단위의 포맷을 설명하기 위한 도면.
도 3은 본 발명의 일 실시예에 따른 송신 장치의 구성을 나타내는 도면.
도 4는 본 발명의 일 실시예에 따른 MAL 정보를 IP 패킷에 포함하는 방식을 설명하기 위한 도면.
도 5는 본 발명의 일 실시예에 따른 MAL 정보를 포함하는 IP 패킷 헤더의 구조를 설명하기 위한 도면.
도 6은 본 발명의 일 실시예에 따른 MANE의 구성을 나타내는 도면.
도 7은 본 발명의 일 실시예에 따른 수신 장치의 구성을 나타내는 도면.
이하, 본 발명의 실시예를 도면과 함께 상세히 설명한다. 본 발명을 설명함에 있어서 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.
본 발명의 바람직한 실시예에서는 비디오 데이터를 위한 표준들인 MPEG-4/AVC(Advanced Video Coding, H.264), SVC(Scalable Video Coding), MVC(Multi-view Video Coding) 등에서 사용하고 있는 네트워크 추상화 계층(Network Abstraction Layer: NAL)의 개념을 보완하고 이를 비디오 데이터뿐 아니라 다른 미디어(오디오, 그래픽, 문자 등) 데이터 서비스에 적용할 수 있다.
도 2에서 설명한 바와 같이 기존의 NAL 헤더(210)에는 비디오 패킷의 중요도를 표시하는 다양한 정보가 포함되어 있다. 또한, SVC에서 사용되는 NAL 헤더에는 시간적 계층, 공간적 계층, 품질 계층을 인식할 수 있는 계층 인식 정보(230)가 포함되어 있고, MVC에서 사용되는 NAL 헤더에는 뷰(view) 번호를 나타내는 정보가 포함되어 있다.
상기 NAL 헤더에 포함되는 정보들은 상위 프로토콜 계층에서 하위 프로토콜 계층으로 전달되는 하향(top-down) 인터페이스에서 추상화되어 생성되는 정보들로서 해당 패킷의 중요도를 나타낼 수 있어서, 상기 정보들에 따라 네트워크 상태 또는 단말의 상태에 따라 적응적으로 패킷 서비스가 제공될 수 있다.
본 발명은 상기 NAL의 개념을 모든 미디어에 확장하기 위하여 “미디어 구분자(classifier)”와 “라벨”이라는 식별자(identifier)를 정의한다. 본 발명에서 상기 “미디어 구분자”는 미디어가 갖는 우선순위 정보를 하위 프로토콜 계층에서 미디어에 대한 구체적인 이해 없이 활용 가능하도록 추상화된 우선순위 정보를 제공하는 기능을 담당한다. 상기 “라벨”은 각각의 스트림(예를 들어, 비디오 스트림 또는 오디오 스트림 등)을 구별하기 위한 식별자이다.
또한, 본 발명에서는 전송할 미디어 데이터에 관련된 정보를 추상화하는 하향(Top-down) 인터페이스인 미디어 추상화 계층(Media Abstraction Layer; MAL)을 제안한다. 이하의 설명에서 상기 MAL 에서 추상화된 데이터 관련 정보는 MAL 정보라고 칭해질 수 있다.
한편, 본 발명에서 송신 장치(서버 또는 단말)는 상기 MAL 정보를 생성하여 패킷의 헤더에 포함하여 송신하고, 네트워크 엔터티(라우터 또는 기지국 등)는 상기 MAL 정보를 이용하여 패킷의 중요도 또는 자원 예약 상태를 식별하고 그에 따라 패킷을 송신할 수 있다.
도 3은 본 발명의 일 실시예에 따른 송신 장치(300)의 구성을 나타내는 도면이다.
도 3을 참조하면, 본 발명의 송신 장치(300)는 미디어 데이터 공급부(301)와, 미디어 추상화 계층부(302) 및 패킷 생성부(303)를 포함한다. 여기서, 송신 장치(300)는 일예로 멀티미디어 서비스를 제공하는 서버가 될 수 있다.
미디어 추상화 계층부(302)는 하나의 IP 패킷을 미디어 데이터 공급부(301)로부터 전달받고(308), MAL 정보를 생성하여 패킷 생성부(303)로 전달한다(310). 그리고, 상기 미디어 추상화 계층부(302)는 상기 미디어 데이터 공급부(301)로부터 전달 받은 상기 IP 패킷을 상기 패킷 생성부(303)로 전달한다(309).
이 때, 미디어 추상화 계층부(302)에서 생성되는 해당 미디어 데이터에 대한 MAL 정보는 미디어 구분자 정보 및 라벨 정보를 포함할 수 있다. 상술한 바와 같이, 상기 미디어 구분자 정보는 하위 네트워크에서 상기 미디어 패킷의 추상화된 중요도 정보를 인식하는 데 사용될 수 있고, 상기 라벨 정보는 하위 네트워크가 상기 패킷을 식별하는 데 사용될 수 있다.
패킷 생성부(303)는 미디어 추상화 계층부(302)부터 상기 수신한 MAL 정보(310)와 IP 패킷(309)를 이용하여 패킷을 생성하고, 상기 생성된 패킷을 네트워크(313)를 통하여 전송한다. 상기 MAL 정보 내 포함된 미디어 구분자 정보 및 라벨 정보는 IP 패킷의 헤더 또는 다른 하위 프로토콜의 패킷 헤더에 포함될 수 있다.
도 3에 도시된 바와같은 구성에 따라 패킷을 송신하는 경우를 예를 들어 설명하면 다음과 같다.
먼저, MAL에서 생성되는 미디어 구분자를 이용하는 클래스 별 QoS 방식을 설명한다.
오디오 데이터 스트림의 미디어 구분자가 1, 문자 데이터 스트림의 미디어 구분자가 2, 비디오 데이터 스트림의 미디어 구분자가 3으로, 서버와 단말간에 미리 약속(또는 설정)되었다고 가정한다. 또한, 상기 미디어 구분자가 설정된 스트림에 대한 우선 순위도 송신측, 네트워크 엔터티, 수신측 사이에서 약속되었다고 가정한다.
이 경우, 송신측에서 비디오 데이터 패킷을 송신하고자 하면 해당 패킷에 미디어 구분자 정보를 3으로 설정하여 패킷을 생성하여 송신한다. 네트워크 엔터티(예를 들어, 라우터)는 상기 수신한 패킷의 미디어 구분자 정보(즉, 3)를 통하여 상기 수신한 패킷의 QoS 클래스를 인식할 수 있다. 이후, 상기 네트워크 엔터티는 네트워크 상태와 QoS 클래스의 포워딩 정책을 고려하여 패킷의 포워딩 여부를 결정할 수 있다.
다음으로 상기 MAL에서 생성되는 라벨 정보를 이용하는 플로우 별(즉, 스트림 별) QoS 방식을 설명한다.
오디오 데이터 스트림의 라벨이 1, 문자 데이터 스트림의 라벨이 2, 비디오 데이터 스트림의 라벨이 3으로, 서버와 단말간에 미리 약속(또는, 설정)되었다고 가정한다.
이 경우, 송신측에서 비디오 데이터 패킷을 송신하고자 하면, 해당 패킷에 라벨 정보를 3으로 설정하여 패킷을 생성하여 송신한다. 그러면 네트워크 엔터티(예를 들어, 라우터)는 상기 수신한 패킷의 라벨 정보(즉, 3)를 통하여 상기 수신한 패킷의 중요도, 우선 순위 또는 자원 예약 정보 등을 인식할 수 있다. 이후, 상기 네트워크 엔터티는 네트워크 상태와 상기 수신한 패킷의 중요도, 우선 순위 또는 자원 예약 정보를 고려하여 패킷을 송신할 수 있다.
상기 데이터 스트림 별 라벨과 상기 라벨에 따른 중요도, 우선 순위 또는 자원 예약 정보 등은 송신측과 수신측, 그리고 네트워크 엔터티 간의 호 설정 과정에서 설정될 수 있을 것이다.
이하에서는 본 발명에서 제안하는 미디어 추상화 계층 정보인 MAL 정보에 대하여 설명한다.
MAL 정보는 하위 계층의 네트워크 엔터티가 해당 미디어의 추상화된 QoS 클래스를 구분할 수 있도록 하기 위한 미디어 구분자 정보와, 데이터 패킷의 손실 중요도 및 지연 중요도, 우선 순위, 또는 자원 예약 정보를 인식할 수 있도록 하기 위한 정보를 라벨(즉, 꼬리표)의 형식으로 패킷에 포함된다. 한편, 본 발명에서 제안하는 MAL 정보 포맷이 기존의 다른 프로토콜 표준, 예를 들어, IP 헤더, TCP(Transmission Control Protocol) 및 UDP(User Datagram Protocol) 헤더, RTP 헤더 프로토콜과 함께 사용할 수 있다.
상기 MAL 정보를 이용하여 미디어 서비스를 제공하기 위해서는 송수신측 네트워크 간 호 설정 과정이 필요하다. 즉, 상기 호 설정 과정을 통하여 각 네트워크 엔터티들은 라벨 값이 의미하는 바를 상호 약속하게 된다.
각 라벨 값이 의미하는 값을 정리한 테이블을 라벨 테이블(Label Table, LT)라고 한다. 방송 망과 같이 송수신측 네트워크 간의 호설정 과정이 불가능한 경우, MPEG-2 시스템의 PMT(Program Map Tables)와 같이 주기적인 시간 간격으로 LT를 전송하는 방법을 사용할 수 있다.
한편, 본 발명의 바람직한 실시예에서 MAL 정보는 클래스 별 QoS 방식을 위한 미디어 구분자 포맷과 스트림 별 QoS 방식을 위한 라벨 포맷으로 구분될 수 있다.
클래스 별 QoS 방식의 경우, 송신측과 수신측 간의 서비스 제공을 위한 자원 예약 과정 없이, 손실율 및 전송 지연에 대한 요구사항을 기반으로 해당 미디어를 추상화하고 이를 구분자의 형식으로 포함한다.
예를 들어, 하나의 미디어 서비스가 하나의 비디오 스트림과 오디오 스트림 그리고 자막 지원을 위한 텍스트 스트림으로 구성되는 경우, MAL에서는 각 스트림의 전송 지연 및 손실 요구사항에 따라 QoS 클래스를 추상화 하여 이를 구분하기 위한 형식으로 미디어 구분자 값을 결정한다. 선택적으로, 비디오 스트림보다 오디오 스트림의 중요도가 더 높을 수 있다. 후술되는 도 4에서 설명되는 것과 같이 이 때의 미디어 구분자 값은 IPv4 헤더의 TOS(Type Of Service) 필드 또는 IPv6 헤더의 TC(Traffic Class) 필드에 삽입될 수 있다. 일 예로, 상기 미디어 구분자 값의 크기를 2 비트로 설정하였다면 11, 10, 01, 00의 순서대로 패킷 별 중요도를 차별화한다. 즉, 오디오 패킷에는 11, 텍스트 패킷에는 10, 비디오 패킷에는 01의 미디어 구분자 값을 삽입할 수 있다.
다음으로 단일 스트림을 구성하는 다수의 서브 스트림에 대하여 서로 다른 미디어 구분자를 적용하는 예는 다음과 같다.
SVC와 같이 비디오 스트림을 서로 다른 우선순위의 계층으로 구분할 수 있는 경우, 3개의 계층(기본 계층, 고급 1계층, 고급 2계층)에 대하여 기본 계층은 중요도가 높고, 다른 계층보다 우선 도착이 보장되어야 하므로 전송 지연과 패킷 손실이 작은 QoS 클래스를 할당한다. 고급 1계층과 고급 2계층은 각각 기본 계층 보다 낮은 등급의 QoS 클래스를 할당 한다. 상술된 예제와 같이 미디어 구분자의 크기를 2bit로 설정하였다면 기본 계층은 11, 고급 1계층은 10, 고급 2계층은 01로 QoS 클래스를 차별화 한다.
플로우 별 QoS 방식의 경우, 스트림 별로 자원 예약이 이루어지며 이를 위하여 해당 플로우에 라벨 정보를 포함한다. 일 예로, 라벨 값이 1로 설정된 플로우에 대해서는 300kbps의 자원이 예약되었다고 가정할 때, 송신측에서 생성되어 패킷에 포함된 라벨 값이 1이고, 네트워크 엔터티에서 상기 패킷에 포함된 라벨 값을 확인한 경우, 호 설정 과정에서 전달 받은 LT와 상기 패킷의 라벨 값을 이용하여 라벨 값 1에 해당하는 300kbps의 자원을 사용하여 해당 플로우를 송신하게 된다. 선택적으로, 이 경우 현재 가용한 자원도 함께 고려될 수 있다.
또한, 상기 자원 예약은 세션 별로 이루어 질 수 있다. 즉, 송수신 네트워크 간의 호 설정 시에 라벨 스위칭을 지원하기 위하여 자원 예약이 이루어진 단위가 스트림 단위 인지 또는 세션 단위 인지에 따라서, 스트림 단위 또는 세션 단위로 라벨 정보가 구성될 수 있다.
또한, 상기 자원 예약 과정 및 라벨 정보 설정은 송신측과 수신측 간의 호 설정 과정에서 미리 약속될 수 있다. 이때, 네트워크 엔터티에서 멀티 프로토콜 라벨 스위칭 (Multi Protocol Label Switching: MPLS)을 지원할 때, 본 발명의 라벨 포맷을 상기 MPLS에서 지원하는 라벨 포맷과의 호환성을 갖도록 구성할 수 있다. 이 경우 수신측이 MPLS 방식의 라벨과 호환성을 가지는 본 발명의 라벨을 인식할 수 있다면 SVC에서 정의된 기존의 NAL 헤더는 전송하지 않아도 무방하다. 또한, 기존의 RTP 헤더, UDP 헤더의 내용 중에 하나의 세션 동안 변하지 않는 정보는 라벨에 포함시킬 수 있다. 상기 라벨 스위칭이란 세 번째(3rd) 계층 패킷을 두 번째(2nd) 계층에서 라우팅하는 기술로서, 데이터 패킷에 IP 주소 대신 별도의 라벨을 부가하여 상기 부가된 라벨을 이용하여 스위칭을 구현함으로써 고속 스위칭이 가능하도록 한 방식이다.
다음으로 상기 MAL 정보를 송신하는 방식에 대하여 설명한다.
도 4는 본 발명의 일 실시예에 따른 MAL 정보를 IP 패킷에 포함하는 방식을 설명하기 위한 도면이다.
도 4를 참조하면, 본 발명의 일 실시예에서 정의한 MAL 정보 포맷에서는 MAL 패킷을 위한 가상 헤더를 정의한다. 상기 가상 헤더에 포함된 내용은 하위 계층의 패킷 헤더(일 예로 IP 패킷 헤더)에 포함되기 위한 것이며, 상기 가상 헤더(420)는 내부적으로 미디어 구분자 헤더(421)와 라벨 헤더(422)로 구분된다.
상기 미디어 구분자 헤더(421)는 하위 계층이 클래스 별 QoS 방식을 사용할 때 적용될 수 있으며, 그 길이는 시스템 설정에 따라 달라질 수 있다. 하위 계층의 클래스 별 QoS 프로토콜과의 호환을 고려하면, 3 내지 6 비트(bit) 정도가 바람직하다. 미디어 구분자 헤더(421)는 IPv4 헤더(410)의 TOS 필드(411)에 삽입되거나, IPv6 헤더(430)의 TC 필드(431)에 삽입될 수 있다.
라벨 헤더(422)는 하위 계층이 플로우 별 QoS 방식을 사용할 때 적용될 수 있다. 총 8 비트 크기의 라벨 헤더(422)는 라벨의 번호를 포함하는 7 비트와 필요시 확장을 위한 확장 플래그 비트 1 비트로 구성된다. 상기 라벨 헤더(422)는 IPv4 헤더(410)의 확장 헤더(extended IP header)(413)에 삽입되거나, IPv6 헤더(430)의 플로우 라벨(flow label) 필드(433)에 삽입될 수 있다.
도 5는 본 발명의 일 실시예에 따른 MAL 정보를 포함하는 IP 패킷 헤더의 구조를 설명하기 위한 도면이다.
도 5에서 설명되는 예는 실시간 미디어 스트림에 적용하기 위하여 복수의 패킷 들 중 UDP 헤더와 RTP 헤더에서 동일하게 반복되는 부분을 제거하고 이러한 정보를 LT에 포함시킴으로써 헤더를 간략화하는 방식을 나타낸다. 참조 번호 510, 530, 540은 IPv4 패킷이며, 참조 번호 550은 IPv6 패킷인데, 각각의 패킷에서 UDP 헤더 및 RTP 헤더를 간략화하여 라벨 정보를 생성하는 예를 나타낸다.
참조번호 510은 주문형 비디오 서비스와 같은 실시간 미디어 데이터의 전송을 위한 미디어 패킷을 나타낸다. 참조 번호 560은 UDP 헤더를 나타내고, 참조 번호 570은 RTP 헤더를 나타낸다.
실시간 미디어 서비스의 경우 하나의 세션 당 통상적으로 매 초마다 수십 또는 수백의 패킷들이 전송되는데, 실시간 미디어 스트림의 특성상 송신되는 미디어 패킷의 헤더들에는 하나의 세션 동안 전송되는 패킷들마다 동일하게 반복되는 필드들이 포함된다. 참조 번호 511, 512, 514, 515, 518, 519, 520 필드들은 매 패킷마다 동일하게 반복되는 필드들이고, 참조 번호 513, 516, 517의 필드들은 매 패킷마다 달라지는 필드인데(물론, 경우에 따라서는 동일하거나 다른 필드와 중복될 수도 있다), 이 필드들에 대한 자세한 설명은 본 발명의 본질을 흐릴 수 있으므로 생략한다.
주목될 필드는 참조 번호 520의 NALH 필드로서 이는 NAL 헤더(header)를 나타내며, 도 2에서 설명된 바와 같이 NAL 헤더에는 패킷의 중요도, 또는 우선 순위를 표시하는 정보가 포함된다.
참조 번호 530의 패킷에서는, 참조 번호 520 패킷의 UDP 헤더(560) 및 RTP 헤더(570)에서 동일하게 반복되는 필드들(511, 512, 514, 515, 518, 519, 520)이 모아져 하나의 라벨 정보(플로우 라벨 필드)(531)로 삽입되고, 패킷마다 달라질 수 있는 필드들(513, 516, 517)은 상기 플로우 라벨 필드(531) 뒤에 배열된다.
참조 번호 530의 패킷에서 Length 필드(532)는 IP 헤더 내에 포함된 Length 필드(미도시)와 중복된다. 따라서 상기 Length 필드(532)는 생략이 가능하다. 또한, TS 필드(534)는 Time Stamp(타임 스탬프)로서, 미디어 데이터의 생성이 주기적이라면 Time Stamp 정보는 수신측에서의 계산에 의하여 알 수 있고 따라서 생략이 가능하다.
참조 번호 540 패킷은 상기 참조 번호 530 패킷에서 중복된 Length 필드(532) 및 수신측에서 계산 가능한 TS 필드(534)가 생략된 패킷 것을 나타낸다.
참조 번호 550 패킷은 IPv6 패킷을 도시한 것인데, IPv6 헤더(551)에는 24비트 길이의 flow label(플로우 라벨) 필드가 있으며, 이 필드를 이용함으로써 IPv6 헤더에 본 발명의 MAL 정보를 포함시킬 수 있다.
기존의 간소화되지 않은 헤더를 이용할 경우 수신측에서는 모든 필드들을 파싱해야 하나 상기 도 5와 같이 헤더를 간소화할 경우 플로우 라벨에 해당하는 필드들을 매번 파싱할 필요가 없다는 이점이 있다.
지금까지 본 발명에서 정의한 MAL 정보에 대하여 설명하였다. 이러한 MAL 정보를 이용하면 미디어 스트림에 관한 이해 없이 추상화된 중요도 또는 우선 순위 등을 이용하여 클래스 별 QoS 및 플로우 별 QoS를 보장하는 서비스를 제공할 수 있다.
한편, MPEG 기술에서 미디어의 중요도 또는 우선순위 정보를 이해하고 이를 활용하여 포워딩을 수행하는 네트워크 엔터티를 미디어 인식 네트워크 요소(Media Aware Network Element: MANE)라고 한다. 상기 MANE 의 동작을 살펴보면, 일 예로 라우터, IEEE 802 시리즈의 MAC(Media Access Control) 계층, 3GPP의 BMSC(Broadcast Multicast Service Center)와 같이 수신한 미디어 패킷을 포워딩(forwarding)하는 네트워크 엔터티는 MAL 정보에 포함되는 미디어 구분자 정보에 따라 패킷의 중요도 별로 적응적으로 포워딩할 수 있는 MANE(Media Aware Network Element)로 동작할 수 있다. 일 예로 DiffServ(Differentiated Service; 차별화 서비스) 라우팅 방식을 사용하는 라우터에서는 데이터가 버퍼를 초과하면 우선 순위가 낮은 패킷부터 버리게 된다. 이를 위하여 MAL 정보의 미디어 구분자 값을 확인하게 된다.
클래스 별 QoS 방식의 경우, 상기 네트워크 엔터티는 수신한 패킷이 어떤 서비스에 속하는 패킷인지와 무관하게 IP 헤더에 포함되어 있는 중요도 정보, 즉, 미디어 구분자 값을 이용하여 패킷을 적응적으로 처리한다. 일 예로, 오디오 패킷의 미디어 구분자 값이 11, 기본계층 비디오 패킷 미디어 구분자 값이 10, 고급 1계층 비디오 패킷의 미디어 구분자 값이 01, 고급 2계층 비디오 패킷의 미디어 구분자 값이 00으로 수신된 경우에, 상기 네트워크 엔터티가 네트워크 상태 또는 라우터 버퍼의 초과로 인하여 상기 패킷들 중 어느 하나를 버려야 할 경우, 상기 네트워크 엔터티는 상기 미디어 구분자 값에 따라 패킷을 버리게 된다. 즉, 고급 2계층 비디오 패킷, 고급 1계층 비디오 패킷, 기본 계층 비디오 패킷, 마지막으로 오디오 패킷 순으로 패킷들을 버리게 된다. 예를 들어, IEEE 802.11e 표준에서는 IP 헤더에 쓰여있는 중요도 정보에 따라 정해진 큐(Queue)에 패킷을 넣는다. 보통 4단계로 우선순위가 설정되며 해당 큐 별로 큐를 빠져나가는 패킷의 속도와 패킷 손실을 처리하는 방식에 차이가 있을 수 있다.
플로우 별 QoS 방식의 경우, 미디어 식별자인 라벨 값을 확인하고 상기 라벨 값에 따라 미리 결정된 자원을 이용하여 QoS(비트 율과 손실 율 및 지연 등)를 지원한다. 상기 미리 결정된 자원의 결정은 해당 네트워크 엔터티에 스트림 별로 미리 저장된 자원 예약 테이블을 검색하여 해당 라벨에 대응하는 자원에 따라 결정될 수 있다. 일 예로 IEEE 802.16에서 오디오 스트림에 대한 QoS가 UGS(Unsolicited Guaranteed Service)로 정해져 있다면, 그에 따라 미리 결정된 QoS 요건을 보장한다. 따라서, 상기 자원 예약 테이블은 해당 서비스가 끝날 때까지 네트워크 엔터티에 보관된다. 즉, 송신측으로부터 패킷이 수신되면 해당 패킷의 라벨을 확인하여, 해당 라벨의 스트림의 QoS 요건을 자원 예약 테이블에서 검색하여 그에 따른 자원에 따라 서비스가 제공된다.
도 6은 본 발명의 일 실시예에 따른 MANE(600)의 구성을 나타내는 도면이다.
도 6을 참조하면, MANE(600)의 포워딩 정책 결정부(609)가 송신측으로부터 패킷을 수신하면(606) 포워딩 정책에 따라 패킷을 적응적으로 포워딩한다(610). 상기 포워딩 정책은 수신한 패킷의 MAL 정보에 포함된 미디어 구분자 값에 따라 달라진다.
상기 MANE(600)가 서비스 클래스 별 QoS를 지원하는 경우, 해당 패킷의 미디어 구분자 값의 클래스를 확인하고 그에 따라 해당 패킷의 포워딩 여부를 결정한다. 한편, 상기 MANE(600)가 플로우 별(즉, 스트림 별) QoS를 지원하는 경우에는, 라벨 값을 확인하고, 자원 예약 테이블(602)에 저장된 해당 라벨에 할당된 자원을 확인하고(조회-605, 조회 결과 수신-611), 가용 자원 판단부(604)의 가용 자원 정보를 확인하고(조회-608, 조회 결과 수신-607) 가용한 자원 내에서 포워딩 정책을 결정하여 패킷을 포워딩한다(610).
도 7은 본 발명의 일 실시예에 따른 수신 장치(700)의 구성을 나타내는 도면이다.
도 7에 의해 예시되는 수신 장치(700)는 일 예로 사용자 단말(User Equipment)이 될 수 있다.
도 7를 참조하면, 수신 장치(700)는 각 스트림 별로 복호부(704)를 구비하며, 또한 신호를 수신하는 수신부(702)와 상기 복호부(704)를 제어하는 제어부(706)를 구비한다. 상기 복호부(704)는 필요한 만큼의 버퍼(미도시)를 포함하 수 있다.
상기 제어부(706)은 상기 수신부(702)에서 수신한 패킷에 라벨이 포함되어 있다면 상기 라벨을 확인하고 해당 패킷에 맞는 복호부(704)를 확인할 수 있다. 또한, 상기 제어부(706)은 상기 수신부(702)에서 수신한 패킷에 라벨이 없다면 TCP 또는 UDP 헤더를 읽어서 미디어 패킷의 복호를 위한 복호부(704)를 확인할 수 있다.
상기 도 3 내지 도 7이 예시하는 구성, 동작 또는 신호의 흐름도는 본 발명의 권리범위를 한정하기 위한 목적이 아님을 유의해야 한다. 즉, 상기 도 3 내지 도 7이 설명하는 구성과 동작들은 각기 장치에서 동작하는 구성을 예시하는 것일 뿐이며, 반드시 모든 과정이 포함되어야 구현 가능함을 한정하거나, 개별적으로 수행되어야만 함을 한정하지 않는다.
앞서 설명한 동작들은 해당 프로그램 코드를 저장한 메모리 장치를 송신 장치(300), 수신 장치(700)또는 MANE(600)와 같은 네트워크 엔터티 장치 내의 임의의 구성부에 구비함으로써 실현될 수 있다. 즉, 송신 장치(300), 수신 장치(700) 또는 MANE(600) 와 같은 네트워크 엔터티 장치의 구성부는 메모리 장치 내에 저장된 프로그램 코드를 읽어서 실행하는 프로세서 혹은 CPU(Central Processing Unit)에 의해 구현될 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (28)

  1. 멀티미디어 데이터 패킷의 송신 방법에 있어서,
    전송할 멀티미디어 데이터에 관한 정보를 추상화하는 미디어 추상화 계층(MAL) 정보를 생성하는 과정과,
    상기 MAL 정보를 포함하는 멀티미디어 데이터 패킷을 생성하는 과정과,
    상기 멀티미디어 데이터 패킷을 네트워크 엔터티로 송신하는 과정을 포함하는 멀티미디어 데이터 패킷의 송신 방법.
  2. 제1항에 있어서,
    상기 MAL 정보는 미디어 구분자 정보를 포함하며,
    상기 미디어 구분자 정보는 클래스 별 QoS(Quality of Service) 방식의 경우, 상기 멀티미디어 데이터 패킷의 중요도를 나타내는 것을 특징으로 하는 멀티미디어 데이터 패킷의 송신 방법.
  3. 제2항에 있어서,
    상기 미디어 구분자 정보는 IPv4 패킷 헤더의 TOS(Type Of Service) 필드 및 IPv6 패킷 헤더의 TC(Traffic Class) 필드 중 어느 하나에 포함되는 것을 특징으로 하는 멀티미디어 데이터 패킷의 송신 방법.
  4. 제1항에 있어서,
    상기 MAL 정보는 라벨 정보를 포함하며,
    상기 라벨 정보는 스트림 별 QoS(Quality of Service) 방식의 경우, 해당 스트림의 자원 예약을 나타내는 미리 결정된 라벨 값을 포함하는 것을 특징으로 하는 멀티미디어 데이터 패킷의 송신 방법.
  5. 제4항에 있어서,
    상기 라벨 정보는 IPv4 패킷 헤더의 확장 필드 및 IPv6 패킷 헤더의 TC 필드 중 어느 하나에 포함되는 것을 특징으로 하는 멀티미디어 데이터 패킷의 송신 방법.
  6. 제1항에 있어서,
    상기 MAL 정보는 라벨 정보를 포함하며,
    상기 라벨 정보는 상기 멀티 미디어 데이터 패킷에서 UDP 헤더 및 RTP 헤더에서 동일하게 반복되는 부분을 플로우 라벨로 치환하여 생성되는 것을 특징으로 하는 멀티미디어 데이터 패킷의 송신 방법.
  7. 네트워크 상의 엔터티가 멀티미디어 데이터 패킷을 포워딩(forwarding)하는 방법에 있어서,
    송신 장치로부터 멀티미디어 데이터에 관한 정보를 추상화하는 미디어 추상화 계층(MAL) 정보를 포함하는 멀티미디어 데이터 패킷을 수신하는 과정과,
    상기 수신한 MAL 정보에 따라 상기 멀티미디어 데이터 패킷을 포워딩하는 과정을 포함하는 멀티미디어 데이터 패킷의 포워딩 방법.
  8. 제7항에 있어서,
    상기 MAL 정보는 미디어 구분자 정보를 포함하며,
    상기 미디어 구분자 정보는 클래스 별 QoS(Quality of Service) 방식의 경우, 상기 멀티미디어 데이터 패킷의 중요도를 나타내는 것을 특징으로 하는 멀티미디어 데이터 패킷의 포워딩 방법.
  9. 제8항에 있어서,
    상기 멀티미디어 데이터 패킷을 포워딩하는 과정은,
    상기 미디어 구분자 정보에 포함된 미디어 구분자 값에 대응하는 상기 멀티미디어 데이터 패킷의 중요도에 따라 상기 멀티미디어 데이터 패킷을 포워딩하는 것을 특징으로 하는 멀티미디어 데이터 패킷의 포워딩 방법.
  10. 제9항에 있어서,
    상기 미디어 구분자 정보는, IPv4 패킷 헤더의 TOS(Type Of Service) 필드 및 IPv6 패킷 헤더의 TC(Traffic Class) 필드 중 어느 하나에 포함되는 것을 특징으로 하는 멀티미디어 데이터 패킷의 포워딩 방법.
  11. 제7항에 있어서,
    상기 MAL 정보는 라벨 정보를 포함하며,
    상기 라벨 정보는 스트림 별 QoS(Quality of Service)방식의 경우, 해당 스트림의 자원 예약을 나타내는 미리 결정된 라벨 값을 포함하는 것을 특징으로 하는 멀티미디어 데이터 패킷의 포워딩 방법.
  12. 제11항에 있어서,
    상기 멀티미디어 데이터 패킷을 포워딩하는 과정은,
    상기 라벨 값에 대응하여 미리 예약된 자원을 고려하여 상기 멀티미디어 데이터 패킷을 포워딩하는 것을 특징으로 하는 멀티미디어 데이터 패킷의 포워딩 방법.
  13. 제12항에 있어서,
    상기 라벨 정보는 IPv4 패킷 헤더의 확장 필드 및 IPv6 패킷 헤더의 TC 필드 중 어느 하나에 포함되는 것을 특징으로 하는 멀티미디어 데이터 패킷의 포워딩 방법.
  14. 제11항에 있어서,
    상기 라벨 정보는 상기 멀티미디어 데이터 패킷에서 UDP 헤더 및 RTP 헤더에서 동일하게 반복되는 부분을 플로우 라벨로 치환하여 생성되는 것을 특징으로 하는 멀티미디어 데이터 패킷의 포워딩 방법.
  15. 멀티미디어 데이터 패킷의 송신 장치에 있어서,
    전송할 멀티미디어 데이터에 관한 정보를 추상화하는 미디어 추상화 계층(MAL) 정보를 생성하는 미디어 추상화 계층부와,
    상기 MAL 정보를 포함하는 멀티미디어 데이터 패킷을 생성하고, 생성된 멀티미디어 데이터 패킷을 네트워크 엔터티로 송신하는 패킷 생성부를 포함하는 멀티미디어 데이터 패킷의 송신 장치.
  16. 제15항에 있어서,
    상기 MAL 정보는 미디어 구분자 정보를 포함하며,
    상기 미디어 구분자 정보는 클래스 별 QoS(Quality of Service) 방식의 경우, 상기 멀티미디어 데이터 패킷의 중요도를 나타내는 것을 특징으로 하는 멀티미디어 데이터 패킷의 송신 장치.
  17. 제16항에 있어서,
    상기 미디어 구분자 정보는 IPv4 패킷 헤더의 TOS(Type Of Service) 필드 및 IPv6 패킷 헤더의 TC(Traffic Class) 필드 중 어느 하나에 포함되는 것을 특징으로 하는 멀티미디어 데이터 패킷의 송신 장치.
  18. 제15항에 있어서,
    상기 MAL 정보는 라벨 정보를 포함하며,
    상기 라벨 정보는 스트림 별 QoS(Quality of Service) 방식의 경우, 해당 스트림의 자원 예약을 나타내는 미리 결정된 라벨 값을 포함하는 것을 특징으로 하는 멀티미디어 데이터 패킷의 송신 장치.
  19. 제18항에 있어서,
    상기 라벨 정보는 IPv4 패킷 헤더의 확장 필드 및 IPv6 패킷 헤더의 TC 필드 중 어느 하나에 포함되는 것을 특징으로 하는 멀티미디어 데이터 패킷의 송신 장치.
  20. 제15항에 있어서,
    상기 MAL 정보는 라벨 정보를 포함하며,
    상기 라벨 정보는 상기 멀티 미디어 데이터 패킷에서 UDP 헤더 및 RTP 헤더에서 동일하게 반복되는 부분을 플로우 라벨로 치환하여 생성되는 것을 특징으로 하는 멀티미디어 데이터 패킷의 송신 장치.
  21. 멀티미디어 데이터 패킷을 포워딩(forwarding)하는 네트워크 엔터티 장치에 있어서,
    송신 장치로부터 멀티미디어 데이터에 관한 정보를 추상화하는 미디어 추상화 계층(MAL) 정보를 포함하는 멀티미디어 데이터 패킷을 수신하고, 상기 수신한 MAL 정보에 따라 상기 멀티미디어 데이터 패킷을 포워딩하는 포워딩 정책 결정부를 포함하는 네트워크 엔터티 장치.
  22. 제21항에 있어서,
    상기 MAL 정보는 미디어 구분자 정보를 포함하며,
    상기 미디어 구분자 정보는 클래스 별 QoS(Quality of Service) 방식의 경우, 상기 멀티미디어 데이터 패킷의 중요도를 나타내는 미리 결정된 라벨 값을 포함하는 것을 특징으로 하는 네트워크 엔터티 장치.
  23. 제22항에 있어서,
    상기 포워딩 정책 결정부는 상기 라벨 값에 대응하는 패킷의 중요도에 따라 상기 멀티미디어 패킷을 포워딩하는 것을 특징으로 하는 네트워크 엔터티 장치.
  24. 제23항에 있어서,
    상기 미디어 구분자 정보는,
    IPv4 패킷 헤더의 TOS(Type Of Service) 필드 및 IPv6 패킷 헤더의 TC(Traffic Class) 필드 중 어느 하나에 포함되는 것을 특징으로 하는 네트워크 엔터티 장치.
  25. 제21항에 있어서,
    상기 MAL 정보는 라벨 정보를 포함하며,
    상기 라벨 정보는 스트림 별 QoS(Quality of Service) 방식의 경우, 해당 스트림의 자원 예약을 나타내는 미리 결정된 라벨 값을 포함하는 것을 특징으로 하는 네트워크 엔터티 장치.
  26. 제25항에 있어서,
    상기 네트워크 엔터티 장치는 상기 라벨 값에 대응하여 미리 예약된 자원에 대한 정보를 포함하는 자연 예약 테이블을 더 포함하며,
    상기 포워딩 정책 결정부는, 상기 라벨 값에 대응하여 미리 예약된 자원을 고려하여 상기 멀티미디어 데이터 패킷을 포워딩 하는 것을 특징으로 하는 네트워크 엔터티 장치.
  27. 제26항에 있어서,
    상기 라벨 정보는 IPv4 패킷 헤더의 확장 필드 및 IPv6 패킷 헤더의 TC 필드 중 어느 하나에 포함되는 것을 특징으로 하는 네트워크 엔터티 장치.
  28. 제27항에 있어서,
    상기 라벨 정보는 상기 멀티미디어 데이터 패킷에서 UDP 헤더 및 RTP 헤더에서 동일하게 반복되는 부분을 플로우 라벨로 치환하여 생성되는 것을 특징으로 하는 네트워크 엔터티 장치.
PCT/KR2012/000503 2011-01-19 2012-01-19 멀티미디어 데이터 패킷을 송신하는 방법 및 장치 WO2012099421A2 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
EP12736632.6A EP2667624A4 (en) 2011-01-19 2012-01-19 METHOD AND DEVICE FOR TRANSMITTING A MULTIMEDIA DATA PACKAGE
JP2013550407A JP2014509473A (ja) 2011-01-19 2012-01-19 マルチメディアデータパケットを送信する方法及び装置
CN201280009606.0A CN103380626B (zh) 2011-01-19 2012-01-19 用于发送多媒体数据封包的方法和装置
AU2012207717A AU2012207717B2 (en) 2011-01-19 2012-01-19 Method and apparatus for transmitting a multimedia data packet
US13/980,520 US9560171B2 (en) 2011-01-19 2012-01-19 Method and apparatus for transmitting a multimedia data packet
US14/935,911 US9906631B2 (en) 2011-01-19 2015-11-09 Method and apparatus for transmitting a multimedia data packet
US15/888,781 US20180159964A1 (en) 2011-01-19 2018-02-05 Method and apparatus for transmitting a multimedia data packet

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110005606A KR20120084202A (ko) 2011-01-19 2011-01-19 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
KR10-2011-0005606 2011-01-19

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/980,520 A-371-Of-International US9560171B2 (en) 2011-01-19 2012-01-19 Method and apparatus for transmitting a multimedia data packet
US14/935,911 Continuation US9906631B2 (en) 2011-01-19 2015-11-09 Method and apparatus for transmitting a multimedia data packet

Publications (2)

Publication Number Publication Date
WO2012099421A2 true WO2012099421A2 (ko) 2012-07-26
WO2012099421A3 WO2012099421A3 (ko) 2012-12-06

Family

ID=46516254

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/000503 WO2012099421A2 (ko) 2011-01-19 2012-01-19 멀티미디어 데이터 패킷을 송신하는 방법 및 장치

Country Status (7)

Country Link
US (3) US9560171B2 (ko)
EP (1) EP2667624A4 (ko)
JP (2) JP2014509473A (ko)
KR (1) KR20120084202A (ko)
CN (1) CN103380626B (ko)
AU (1) AU2012207717B2 (ko)
WO (1) WO2012099421A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016060415A1 (ko) * 2014-10-12 2016-04-21 엘지전자 주식회사 Xml 서브타이틀의 트릭 플레이를 위한 방송 신호 송수신 방법 및 장치

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120084202A (ko) * 2011-01-19 2012-07-27 삼성전자주식회사 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
DE102013021157A1 (de) 2013-12-10 2015-06-25 Unify Gmbh & Co. Kg Verfahren und Telekommunikationsanordnung zum Übertragen von Mediendaten mit unterschiedlichen Medientypen über ein dienstgütesensitives Netzwerk
US11134254B2 (en) * 2014-04-25 2021-09-28 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method
KR102380285B1 (ko) 2015-10-14 2022-03-30 삼성전자주식회사 멀티미디어 시스템에서 패킷을 송/수신하는 방법 및 장치
KR102207453B1 (ko) * 2015-10-30 2021-01-25 에스케이텔레콤 주식회사 Mmt 패킷 구성 장치 및 mmt 패킷 구성 방법
CN107968768A (zh) * 2016-10-19 2018-04-27 中兴通讯股份有限公司 媒体流的发送、接收方法及装置、系统、视频中继
EP3808041A1 (en) 2018-06-14 2021-04-21 Nokia Solutions and Networks Oy Flow-specific fast rerouting of source routed packets
EP3808042A1 (en) * 2018-06-14 2021-04-21 Nokia Solutions and Networks Oy Flexible label value encoding in label switched packet networks
WO2019239172A1 (en) 2018-06-14 2019-12-19 Nokia Solutions And Networks Oy Path compression in routing of source routed packets
CN110198279B (zh) * 2019-04-16 2022-05-20 腾讯科技（深圳）有限公司 一种转发媒体包的方法及转发服务器

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6434606B1 (en) * 1997-10-01 2002-08-13 3Com Corporation System for real time communication buffer management
US6449255B1 (en) * 1999-04-26 2002-09-10 Cisco Technology, Inc. Method and apparatus for managing packets using a real-time feedback signal
US6775280B1 (en) * 1999-04-29 2004-08-10 Cisco Technology, Inc. Methods and apparatus for routing packets using policy and network efficiency information
US7383320B1 (en) * 1999-11-05 2008-06-03 Idom Technologies, Incorporated Method and apparatus for automatically updating website content
JP2002141945A (ja) * 2000-11-06 2002-05-17 Sony Corp データ送信装置、およびデータ送信方法、並びにプログラム記憶媒体
GB0027071D0 (en) * 2000-11-06 2000-12-20 Nokia Networks Oy Data transmission
US7295532B2 (en) * 2001-08-17 2007-11-13 Ixi Mobile (R & D), Ltd. System, device and computer readable medium for providing networking services on a mobile device
US20030069963A1 (en) * 2001-09-27 2003-04-10 Nikil Jayant System and method of quality of service signaling between client and server devices
US20030103459A1 (en) * 2001-11-16 2003-06-05 Connors Dennis P. Method and implementation for a flow specific modified selective-repeat ARQ communication system
US7881658B2 (en) * 2002-10-10 2011-02-01 Znl Enterprises, Llc Method and apparatus for entertainment and information services delivered via mobile telecommunication devices
KR100992002B1 (ko) 2002-12-04 2010-11-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 계층화된 미디어 비트스트림의 패킷화
US7525994B2 (en) * 2003-01-30 2009-04-28 Avaya Inc. Packet data flow identification for multiplexing
JP2007525889A (ja) * 2004-02-03 2007-09-06 ノキア コーポレイション エンドツーエンドＱｏＳを提供する方法及び装置
US8259706B2 (en) * 2006-02-28 2012-09-04 Genband Us Llc Multistage prioritization of packets within a session over internet protocol (SOIP) network
US8159980B2 (en) 2006-10-03 2012-04-17 Nokia Corporation PS network with CS service enabling functionality
CN101543018B (zh) * 2007-01-12 2012-12-26 庆熙大学校产学协力团 网络提取层单元的分组格式、使用该格式的视频编解码算法和装置以及使用该格式进行IPv6标签交换的QoS控制算法和装置
US8548261B2 (en) * 2007-04-11 2013-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
KR100912545B1 (ko) * 2007-09-21 2009-08-18 한국전자통신연구원 패킷 처리 장치 및 방법
KR101001024B1 (ko) * 2007-12-18 2010-12-14 한국전자통신연구원 비디오 멀티캐스팅 서비스에서 정보 보안 유지 방법 및장치
JP4591503B2 (ja) * 2007-12-26 2010-12-01 日産自動車株式会社 空気圧監視装置
US20090190471A1 (en) * 2008-01-10 2009-07-30 Mahendran Arungundram C Method and Apparatus for Optimized Session Setup with Network-Initiated QoS Policy Control
US20110085551A1 (en) * 2008-06-17 2011-04-14 Avinash Sridhar Staggercasting method and apparatus using type of service (tos) information
WO2009154656A1 (en) 2008-06-17 2009-12-23 Thomson Licensing Network abstraction layer (nal)-aware multiplexer with feedback
WO2010142335A1 (en) * 2009-06-10 2010-12-16 Telefonaktiebolaget Lm Ericsson (Publ) Performance monitoring in a communication network
EP2509359A4 (en) * 2009-12-01 2014-03-05 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR TRANSMITTING A MULTIMEDIA DATA PACKET USING LAYER OPTIMIZATION
US9615056B2 (en) * 2010-02-10 2017-04-04 Oovoo, Llc System and method for video communication on mobile devices
KR101744355B1 (ko) * 2011-01-19 2017-06-08 삼성전자주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
KR20120084202A (ko) * 2011-01-19 2012-07-27 삼성전자주식회사 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
KR20140092935A (ko) * 2011-08-18 2014-07-24 브이아이디 스케일, 인크. 패킷 차등화를 위한 방법 및 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016060415A1 (ko) * 2014-10-12 2016-04-21 엘지전자 주식회사 Xml 서브타이틀의 트릭 플레이를 위한 방송 신호 송수신 방법 및 장치

Also Published As

Publication number Publication date
JP2014509473A (ja) 2014-04-17
KR20120084202A (ko) 2012-07-27
CN103380626B (zh) 2018-02-23
EP2667624A2 (en) 2013-11-27
JP6353120B2 (ja) 2018-07-04
AU2012207717A2 (en) 2013-09-12
EP2667624A4 (en) 2014-10-08
CN103380626A (zh) 2013-10-30
US20160065643A1 (en) 2016-03-03
WO2012099421A3 (ko) 2012-12-06
AU2012207717A1 (en) 2013-08-22
US20130301656A1 (en) 2013-11-14
US9906631B2 (en) 2018-02-27
US9560171B2 (en) 2017-01-31
AU2012207717B2 (en) 2016-06-23
JP2017158208A (ja) 2017-09-07
US20180159964A1 (en) 2018-06-07

Similar Documents

Publication Publication Date Title
WO2012099421A2 (ko) 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
WO2011068355A2 (ko) 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
WO2012173396A2 (en) Method and apparatus for transmitting data packet of multimedia service using media characteristics
WO2013055176A1 (en) Apparatus and method for transmitting multimedia data in hybrid network
WO2011132937A2 (en) Interface apparatus and method for transmitting and receiving media data
US11316799B2 (en) Method and apparatus for transmitting a multimedia data packet using cross-layer optimization
CN111526323B (zh) 一种全景视频的处理方法和装置
KR102060410B1 (ko) 멀티미디어 데이터 패킷을 수신하는 방법 및 장치
KR102014882B1 (ko) 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
CN110149306B (zh) 一种媒体数据的处理方法及装置
CN111030995B (zh) 一种基于视联网的视频信息处理方法及装置
CN111683268B (zh) 一种监控数据显示方法、装置、设备及介质
CN110740354A (zh) 一种视频数据的处理方法和系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12736632

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 13980520

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2013550407

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012736632

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2012207717

Country of ref document: AU

Date of ref document: 20120119

Kind code of ref document: A