WO2012099417A2 - 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치 - Google Patents

상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치 Download PDF

Info

Publication number
WO2012099417A2
WO2012099417A2 PCT/KR2012/000499 KR2012000499W WO2012099417A2 WO 2012099417 A2 WO2012099417 A2 WO 2012099417A2 KR 2012000499 W KR2012000499 W KR 2012000499W WO 2012099417 A2 WO2012099417 A2 WO 2012099417A2
Authority
WO
WIPO (PCT)
Prior art keywords
information
packet
nal
media data
network
Prior art date
Application number
PCT/KR2012/000499
Other languages
English (en)
French (fr)
Other versions
WO2012099417A3 (ko
Inventor
황승오
박경모
송재연
서덕영
권용일
Original Assignee
삼성전자 주식회사
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사, 경희대학교 산학협력단 filed Critical 삼성전자 주식회사
Priority to AU2012207713A priority Critical patent/AU2012207713B2/en
Priority to EP12736439.6A priority patent/EP2667623A4/en
Priority to US13/980,485 priority patent/US9584441B2/en
Priority to JP2013550406A priority patent/JP2014509113A/ja
Priority to CN2012800140472A priority patent/CN103430562A/zh
Publication of WO2012099417A2 publication Critical patent/WO2012099417A2/ko
Publication of WO2012099417A3 publication Critical patent/WO2012099417A3/ko
Priority to US15/441,662 priority patent/US10630603B2/en
Priority to US16/848,098 priority patent/US11316799B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/80—Actions related to the user profile or the type of traffic
    • H04L47/805—QOS or priority aware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/54—Store-and-forward switching systems 
    • H04L12/56—Packet switching systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H04L43/0829—Packet loss
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0888—Throughput
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/325—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the network layer [OSI layer 3], e.g. X.25
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385—Channel allocation; Bandwidth allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Definitions

  • the present invention relates to a method and apparatus for transmitting a multimedia data packet. More particularly, the present invention relates to a method and apparatus for transmitting a multimedia data packet through cross layer optimization.
  • Multimedia services are interactive services such as video telephony, streaming services such as Video On Demand (VOD) services, and multicast and broadcast services.
  • the real-time multimedia service may be divided into an interactive service, an interactive service, and a streaming service according to the type of service.
  • the real-time multimedia service can be divided into unicast, multicast, and broadcast according to the number of users participating.
  • a method of providing a quality of service (QoS) in a network is largely divided into a BE (best effort) method, a per class QoS (QoS) method, and a per flow QoS (QoS) method.
  • the BE scheme means no support for QoS.
  • the QoS method of each class is a method of processing according to importance in the middle of the network by varying the importance of each packet. That is, the QoS method for each class is a method of controlling QoS according to the importance of the packet, that is, the priority, regardless of which flow the packet belongs to. In order to support class-specific QoS schemes, resource reservation between transmitting and receiving sides is not necessary. For reference, the priority includes loss priority, delay priority, and the like.
  • the QoS method of each flow is a method of reserving resources for each stream. That is, a method of reserving a resource (eg, bit rate, buffer state) or QoS (delay, loss rate, etc.) for each flow.
  • the flow refers to a stream required for one service. For example, a video stream, an audio stream, and a text stream required to provide on-demand video services become separate flows.
  • the UMTS (3G) of 3GPP is standardized to support QoS by class and QoS by flow.
  • an interface between a media layer, which is a higher layer, and a network, which is a lower layer, is required.
  • RTP Real-time Transport Protocol
  • RTP Real Time Transport Protocol
  • RTP Real Time Transport Protocol
  • each packet is different for each video packet when using Moving Picture Experts Group (MPEG) -2 and H.264 or in particular, scalable video coding (SVC).
  • MPEG Moving Picture Experts Group
  • SVC scalable video coding
  • IPv6 IPv6
  • the packet switching method reads 5 parameters (5 turples: recipient address, sender address, port number of corresponding service in receiver, port number of corresponding service in transmitter, and protocol used) in IPv6 header. Afterwards, the payload of the video packet must read header data that identifies the importance of the packet. This approach not only takes much processing time per packet but also violates the protocol layer independence.
  • the router should read only the IP header of the packet and process the packet.
  • quality of service (QoS) control can be smoothly performed in the router. For example, if the network condition is bad, packets that are not important may be discarded according to the importance of each packet.
  • scalable video coding (SVC) technology and multi-view video coding (MVC) technology which are currently being standardized, are based on the H.264 / AVC standard.
  • the format of the network abstraction layer unit (NALU) of H.264 / AVC is also used in the configuration of the bit string of the encoded data.
  • FIG. 1 shows a video coding layer (VCL) and a network abstraction layer (NAL) in H.264 / AVC.
  • VCL video coding layer
  • NAL network abstraction layer
  • a network abstraction layer (VC) 110 between a video coding layer (VCL) 110 that handles a video encoding process itself and a subsystem 130 that transmits and stores the encoded information.
  • NAL 120 is defined so that the VCL layer and the NAL layer are separated. Meanwhile, the NAL 120 may map the encoded data 111 generated in the VCL to a bit string of a sub-system such as the H.264 / AVC file format 131, the RTP 133, and the MPEG-2 system 135. It is processed as NAL Unit (NAL Unit: NALU) in.
  • the NAL unit is divided into a VCL NAL unit 121 and a non-VCL NAL unit 123.
  • the VCL NAL unit 121 is a NAL unit corresponding to the encoded data 111 generated in the VCL
  • the non-VCL NAL unit 123 is a NAL unit corresponding to the parameter set, SEI, and the like.
  • the NAL unit basically includes a NAL header and a raw byte sequence payload (RBSP) which is a result data portion of video compression generated by the VCL.
  • RBSP raw byte sequence payload
  • the NAL unit 200 includes a NAL header 210 and a NAL payload 240.
  • NAL header 210 generally has a size of 1-5 bytes.
  • the NAL header 210 includes a NALU type information 220 for indicating the type of the NAL unit and a layer of the compressed original data included in the NAL unit payload (priority, spatial layering level, temporal layering level, and And / or layer identification information 230 for identifying a combination of quality layering levels).
  • the NAL unit type information 220 includes a fixed bit (F) field 221, a NRI (nal_ref_idc) field 222 which is a flag indicating whether the reference picture is a reference picture, and a NALU Type field which is an identifier indicating the type of the NAL unit. 230.
  • the layer identification information 230 includes a Priority field (P) 231 for indicating a priority so as to identify a layer of compressed original data, and a Dependency_id field (D) 232 for indicating a spatial layering level. ), A Temporal_level field (T) 233 for indicating a temporal layering level, and / or a Quality_level field (Q) 234 for indicating a quality layering level.
  • P Priority field
  • D Dependency_id field
  • T Temporal_level field
  • Q Quality_level field
  • the format of the NALU is also used in MVC.
  • view identification information for identifying a view instead of the layer identification information 230 may be included in the NAL header together with the NAL unit type information 220.
  • both the layer identification information 230 and the view identification information of the NAL header must be parsed.
  • the layer identification information 230 has a size of 2-4 bytes, and through the parsing of the NAL header 210, all of the values of P (231), D (232), T (233), and Q (234) are obtained. It is necessary to know the layer to which the corresponding NAL unit belongs. However, parsing all of the NAL header 210 to know the values of P (231), D (232), T (233), and Q (234) of the NAL header 210 burdens the processor and increases the cost of the system. It can cause an increase.
  • the NAL unit header 210 includes information for identifying the importance of the packet, such as the Priority field (P) 231.
  • P Priority field
  • the router since the router reads only the IP header and processes the packet, the router cannot read the importance identification information included in the NAL unit header. Therefore, it is necessary to include the importance identification information in the IP header so that the router can read the information that can identify the importance.
  • the present invention provides a method and apparatus for adaptively providing a multimedia service according to media data, a network state, a user's request, and the like when providing a multimedia service.
  • the present invention provides an integrated network abstraction layer that can exchange information with an application layer and underlying network entities.
  • the present invention provides a method and apparatus for abstracting the states and transmitting and receiving between entities in order to provide a multimedia service according to a state of a media data, a network state, and a user's request state.
  • B-NAL upstream network abstraction layer information
  • the apparatus for transmitting a multimedia data packet according to the present invention determines the quality of the media data according to the register for receiving uplink network abstraction layer information (B-NAL) information from the network entity, and the received B-NAL information; And a media data generator for generating media data having the determined quality, and a packet generator for generating a packet for the generated media data and transmitting the packet to the network entity.
  • B-NAL uplink network abstraction layer information
  • the multimedia service can be provided by reflecting the importance or priority of media data, resource reservation status, network status, or user requirements.
  • VCL video coding layer
  • NAL network abstraction layer
  • FIG. 2 is a diagram illustrating a format in NAL units
  • FIG. 3 illustrates an apparatus and method for transmitting a multimedia data packet according to the present invention
  • FIG. 4 is a diagram illustrating a method of including T-NAL information in an IP packet according to an embodiment of the present invention
  • FIG. 5 illustrates an example of generating an optimal IP packet header by including T-NAL information in an IP packet according to an embodiment of the present invention
  • FIG. 6 illustrates an example of a B-NAL information format for each stream according to an embodiment of the present invention
  • FIG. 7 is a diagram illustrating an example of operation according to a configuration of a network entity (MANE) device according to an embodiment of the present invention.
  • MEM network entity
  • a network abstraction layer used in MPEG-4 / AVC (Advanced Video Coding, H.264), SVC (Scalable Video Coding), MVC (Multi-view Video Coding), etc.
  • AVC Advanced Video Coding, H.264
  • SVC Scalable Video Coding
  • MVC Multi-view Video Coding
  • NAL applies to services not only video data but also other media (audio, graphics, text, etc.) data.
  • the existing NAL unit header 210 includes information indicating the importance of the video packet.
  • the header of the SVC NAL unit includes the layer recognition information 230 for recognizing the temporal layer, the spatial layer, and the quality layer, and the MVC header includes information indicating a view number.
  • the information is generated by being abstracted from a top-down interface transferred from an upper protocol layer to a lower protocol layer and may indicate the importance of a corresponding packet to be adaptive according to a network state or a terminal state according to the information.
  • Packet service may be provided.
  • the present invention defines an identifier called "label" to extend the concept of NAL to all media.
  • the "label” is an identifier for distinguishing each stream (for example, a video stream or an audio stream).
  • the present invention proposes a T-NAL layer that is a top-down interface that abstracts information related to media data to be transmitted, and a B-NAL layer that is a bottom-up interface that abstracts information related to network status. do.
  • data related information abstracted in the T-NAL layer may be referred to as T-NAL information
  • network state information abstracted in the B-NAL layer may be referred to as B-NAL information.
  • the transmitting device (server or terminal) generates the T-NAL information and includes the packet in the header of the packet and transmits the packet.
  • the network entity (router or base station, etc.) uses the T-NAL information to transmit the packet. Or identify the resource reservation status and transmit the packet accordingly.
  • the network entity may generate the B-NAL information, and the transmitting device may adaptively transmit a packet in consideration of the current network state according to the B-NAL information.
  • the transmitting device 300 may be a server or a terminal.
  • the transmitter 300 includes a media data supply unit 301, a packet generator 303, a cross layer optimization (CLO) unit 302, which is a unique configuration for the present invention, and B-. NAL register 304 is included.
  • CLO cross layer optimization
  • the B-NAL register 304 receives and stores the B-NAL information 310 from the network 313.
  • the B-NAL information is generally network state information generated by a network entity.
  • the B-NAL information may be control information suitable for controlling QoS quality information or media data requested by the user terminal. For example, if the terminal state of the user is inappropriate to receive a high quality QoS service, the user may request a low quality packet service. And if a certain medium has a large impact on the delay and loss of a transport packet, such information can be obtained from the B-NAL register 304.
  • the B-NAL information may be information generated by the user terminal at the request of the user. However, for convenience of description, in the following description, the B-NAL information will be described assuming network state information.
  • the CLO unit 302 reads B-NAL information stored in the B-NAL register 304 or transmitted in a B-NAL packet and adaptively determines the quality of media data to be transmitted, and at least one of the media data to be transmitted.
  • the media data supply unit 301 is requested to the above access unit (AU) (305), and the media data is received from the media data supply unit (305) (306).
  • the CLO unit 302 transmits the media data to be transmitted through the one IP packet to the packet generator 303 (309).
  • the CLO 302 generates T-NAL information, that is, label information for the media data, and transmits the generated information to the packet generator 303 (308).
  • the label information may be used by a lower network to recognize the importance, priority or resource reservation status of the packet.
  • the packet generator 303 generates a packet including the received label information and transmits the generated packet through the network 313 (311).
  • the label information may be included in a header of an IP packet or a packet header of another subprotocol.
  • the label of the terminal and the audio data stream is set to 1, the label of the text data stream is set to 2, and the label of the video data stream is set to 3.
  • the label for each data stream and the importance, priority, or natural reservation information according to the label may be set in a call setup process between a transmitter, a receiver, and a
  • the B-NAL information may be taken into account when the transmitting side transmits the video packet. That is, the transmission order of the video packet may be adaptively changed in consideration of the network state, which is B-NAL information.
  • T-NAL information which is downlink interface information proposed by the present invention.
  • the T NAL information is included in the packet in the form of a label (ie, a tag) so that lower-layer network entities can recognize the loss importance and delay importance or priority of the media data packet or natural reservation information.
  • a label ie, a tag
  • the T-NAL information format proposed by the present invention can be used together with other existing protocol standards, for example, IP header, TCP and UDP header, and RTP header protocol.
  • IP header, TCP and UDP header, and RTP header protocol for example, IP header, TCP and UDP header, and RTP header protocol.
  • T-NAL information has a format for a QoS scheme for each class and a format for a QoS scheme for each stream.
  • priority information or priority information for distinguishing importance of packets of a corresponding stream is included in the form of a label.
  • one video stream is divided into an I frame stream, a B frame stream, and a P frame stream, and a label value is determined in a format for this classification.
  • the audio stream may be more important than the video stream.
  • the label value at this time may be inserted into the TOS field of the IPv4 header or the TC field of the IPv6 header.
  • the importance of each packet is differentiated in the order of 11, 10, 01, 00. That is, a label value of 11 can be inserted into an audio packet, 10 into a base layer video packet, 01 into an enhancement 1 layer video packet, and 00 into an enhancement 2 layer video packet.
  • an image may be divided into a base layer image, an enhancement 1 layer image, and an enhancement 2 layer image.
  • resource reservation is made for each stream and for this purpose, label information is included in the corresponding flow. For example, assuming that a resource of 300 kbps is reserved for a flow having a label value of 1, a label value generated in a sender and included in a packet is 1, and the network entity checks a label value included in the packet. The flow is transmitted using a resource of 300 kbps corresponding to the label value 1. In this case, however, currently available resources should be considered together.
  • the resource reservation may be made for each session.
  • resource reservation may be made, that is, label information may be configured in units of streams or sessions.
  • the resource reservation process and the label value setting may be previously promised in the call setup process between the transmitting and receiving sides.
  • the label format of the present invention may be configured to be compatible with the label format supported by the MPLS.
  • the existing NAL header defined in the SVC may not be transmitted.
  • information that does not change during one session among the contents of the existing RTP header and UDP header may be included in the label.
  • the label switching is a technique for routing three-layer packets in the second layer, and adds a separate label to a data packet instead of an IP address and implements switching by viewing the label to enable high-speed switching.
  • FIG. 4 shows a scheme of including T-NAL information in an IP packet according to an embodiment of the present invention.
  • a virtual header for a NAL packet is defined.
  • the content included in the virtual header is to be included in a packet header (for example, an IP packet header) of a lower layer, and the types of the virtual header are a short NAL header 421 and a long NAL header. header 420.
  • the short NAL header 421 may be applied when a lower layer uses a QoS scheme for each class.
  • the length of the short NAL header 421 may vary depending on a system configuration, but is preferably about 2 bits.
  • the short NAL header 421 may be inserted into the TOS field 411 of the IPv4 header 410 or inserted into the TC field 404 of the IPv6 header 430.
  • the long NAL header 420 may be applied when the lower layer uses a flow-based QoS scheme, the length may vary depending on the system configuration, but 1-2 bytes is appropriate.
  • the long NAL header 420 may be inserted into an extension header 413 of the IPv4 header 410 or into a flow label field 433 of the IPv6 header 430.
  • FIG. 5 illustrates an example of generating an optimal IP packet header by including T-NAL information in an IP packet according to an embodiment of the present invention.
  • the example described in FIG. 5 is a method of simplifying the header by removing the same repeated portions of the UDP and RTP headers among the plurality of packets to be applied to the real time media stream.
  • Reference numerals 510, 530, and 540 denote IPv4 packets
  • reference numeral 550 denotes IPv6 packets
  • Reference numeral 510 denotes a media packet for the transmission of real-time media data, such as an on-demand video service.
  • Reference numeral 560 denotes a UDP header and reference numeral 570 denotes an RTP header.
  • fields 511, 512, 514, 515, 518, 519, and 520 are the same repeated fields.
  • the field to be noted is the NALH field at 520, which represents the NAL header, and as described in FIG. 2, the NAL header includes information indicating the importance or priority of the packet.
  • fields 513, 516, and 517 are fields that vary for every packet. However, in some cases, the same or different fields may overlap. Detailed description of the function of the fields will be omitted.
  • the packet of the reference number 530 collects the same repeated fields in the UDP header 560 and the RTP header 570 of the reference number 520 packet and inserts them into one label information (flow label field) 531. Are arranged behind the flow label field 531.
  • the Length field 532 overlaps the Length field (not shown) included in the IP header. Therefore, the Length field 532 can be omitted.
  • the TS field 534 is a time stamp, and if the generation of media data is periodic, this information can be known by calculation at the receiving side and can be omitted.
  • the reference numeral 540 packet indicates that a duplicate Length field 532 and a TS field 534 that can be calculated by the receiving side are omitted from the reference number 530 packet.
  • the reference numeral 550 packet shows an IPv6 packet, and the IPv6 header has a 24-bit flow label field 551. Using this field, the label information of the present invention can be included in the IPv6 header.
  • the receiving side should parse all the fields.
  • the header is simplified as shown in FIG. 5, the fields corresponding to the flow label need not be parsed every time.
  • B-NAL information which is uplink interface information proposed by the present invention will be described.
  • the B-NAL information of the present invention is generally network state information generated by a network entity of a lower layer.
  • the B-NAL information may be QoS quality information generated and requested by the user terminal.
  • B-NAL information is network state information.
  • the network state information may include an available bit rate, a packet loss ratio, a delay, or a jitter.
  • the status of the router buffer or the reception buffer may be further included. For example, delay and packet loss rate measured as a result of RTCP, a real-time control packet transmission protocol, or a medium access control (MAC) layer of a wireless local area network (WLAN) or a third generation partnership project (3GPP) RAN May be included. Update the B-NAL register with the most accurate status information.
  • the B-NAL information may be generated for each stream or for each service (or session).
  • an entity including a B-NAL register may be provided as a separate B-NAL register for each session.
  • the B-NAL register It may be configured per stream.
  • the B-NAL packet may be transmitted per session or stream even when the B-NAL packet is transmitted.
  • the first is to use absolute values. Taking the available bit rate as an example, the available bit rate is written in Mbps.
  • the second method is to display the relative value of the reference value. For example, when a call is set, a resource reservation of 1 Mbps is made. If the current available bit rate is 800 kbps, the available bit rate is displayed as "80%”.
  • the third is to use the rate of change of the information. That is, it is a method of displaying how much change has been made to the corresponding information at the previous time.
  • the B-NAL information may be stored in a B-NAL register of an application system in an upper layer entity, and the B-NAL register may be configured for one service or for a plurality of streams constituting one service. have. Instead of using the B-NAL register, the B-NAL packet may be transmitted per session or stream even when the B-NAL packet is transmitted.
  • the B-NAL information may be generated periodically or aperiodically. If the B-NAL information is generated periodically in the lower layer, the B-NAL information can be periodically checked in the upper layer. If the B-NAL information is generated aperiodically, the upper layer will also check aperiodically. In this case, when an upper layer generates an interrupt indicating that new contents are stored in the B-NAL register, the B-NAL information stored in the B-NAL register can be confirmed.
  • the fields of the B-NAL provide an API for updating or returning status. This operates on parameters suitable for the QoS information or media control described above.
  • Each parameter has the API and can be updated or returned individually.
  • Each parameter is shaped according to its characteristics. For example, when expressing a bit rate, it is stored in a positive representation format (unsigned integer type), and parameters that require floating point are also stored according to the format. According to the session or stream of the media, it has an ID field to distinguish a register and distinguishes each. It also has an updated cycle field and contains updated cycle information.
  • This field can be adjusted according to the data correction period of the media data supply, and the network updates the register according to the value of this field. If this field is not set, the network updates the B-NAL register once and does not renew when establishing an initial session. At this time, the CLO does not control for QoS and operates like the best-effort. In the aperiodic operation, the periodic fields are all filled with 1 to distinguish them. In this method, an interrupt is generated when the B-NAL information parameter is updated.
  • FIG. 6 shows an example of a B-NAL information format for each stream according to an embodiment of the present invention.
  • B-NAL information is generated for each stream to display label information of the corresponding stream, and an available bitrate parameter 611 for the stream of the corresponding label.
  • the packet loss rate parameter 613, the delay and jitter parameter 615, and the like, may be included.
  • the label information includes an update cycle and session or flow ID information.
  • T-NAL information and B-NAL information defined in the present invention have been described.
  • CLO is possible using such T-NAL information and B-NAL information.
  • the cross-layer optimization refers to a media data service performed by a media network entity operating by recognizing a network state to perform video coding (network-aware video coding) and recognizing information about a media stream, that is, importance or priority.
  • a media aware network element MANE in MPEG.
  • MANE media aware network element
  • a network entity that forwards received media packets such as a router, a MAC layer of the IEEE802 series, and a BMSC of 3GPP, can adaptively forward packets according to the importance of packets according to the label information of the T-NAL information.
  • Network element For example, in a router using the diffServ routing method, if the data exceeds the buffer, the low priority packet is discarded. For this purpose, the label value of T-NAL is checked.
  • the packet is adaptively processed using importance information included in the IP header, that is, a label value, regardless of which service the received packet belongs to. For example, if the label value of the audio packet is 11, the base layer video packet label value is 10, the label value of the enhancement layer 1 video packet is 01, and the label value of the enhancement layer 2 video packet is 00, network status or router If one of the packets is to be discarded due to the overflow of the buffer, the packet is discarded according to the label value. That is, packets are discarded in the order of the enhancement layer 2 video packet, the enhancement layer 1 video packet, the base layer video packet, and finally the audio packet.
  • importance information included in the IP header that is, a label value, regardless of which service the received packet belongs to. For example, if the label value of the audio packet is 11, the base layer video packet label value is 10, the label value of the enhancement layer 1 video packet is 01, and the label value of the enhancement layer 2 video packet is 00, network status or router If one of the packets is to be discarded due to the over
  • the IEEE802.11e standard puts packets in a queue determined according to the importance information written in the IP header.
  • priority is set in four steps, and there may be a difference in the method of handling the packet loss and the speed of the packet leaving the queue for each queue.
  • the label value is checked and the QoS (bit rate, loss rate, delay, etc.) is supported by using a predetermined resource according to the label value.
  • the determination of the predetermined resource may be determined according to a resource corresponding to the corresponding label by searching a resource reservation table stored in advance for each stream in the corresponding network entity.
  • UMS Unsolicited Guaranteed Service
  • a predetermined QoS requirement is guaranteed accordingly. Therefore, the resource reservation table is stored in the network entity until the corresponding service ends. That is, when a packet is received from the transmitter, the label of the packet is checked, the QoS requirement of the stream of the label is searched in the resource reservation table, and a service is provided according to the resource accordingly.
  • FIG. 7 shows an example of an operation according to the configuration of a network entity (MANE) device according to an embodiment of the present invention.
  • MEM network entity
  • the MANE 701 includes a resource reservation table 702, a forwarding policy determiner 711, and an available resource determiner 708.
  • the forwarding policy decision unit 709 of the MANE 701 When the forwarding policy decision unit 709 of the MANE 701 receives the packet from the transmitting side (706), it forwards the packet adaptively according to the forwarding policy.
  • the forwarding policy depends on the label value included in the T-NAL information of the received packet.
  • the MANE 701 If the MANE 701 supports QoS for each class, it checks the class of the packet and determines whether to forward the packet accordingly. On the other hand, when supporting QoS for each stream, the label value is checked, the resources allocated to the corresponding label stored in the resource reservation table 702 are checked (705, 711), and the available resource information of the available resource determination unit 704 is received. In step 707, the packet is forwarded by determining a forwarding policy within available resources.
  • the receiver has a decoder for each stream, and secures as many buffers as necessary for the decoder. If the received packet includes a label, the label may be checked and a decoder suitable for the packet may be checked. If the packet does not have a label, it can read the RTP header and check the decoder for decoding the media packet.
  • a B-NAL register may exist at the sender.
  • the B-NAL packet transmitted from the MANE or the receiving side updates the B-NAL information in the B-NAL register of the transmitting application layer through signaling.
  • the sender reads the B-NAL register periodically or aperiodically and adaptively transmits the media data. For example, if the available bit rate is 54 Mbps, but the user enters the shadow area and the available bit rate decreases to 2 Mbps and the packet loss rate increases, this network status information will be delivered to and stored in the B-NAL register.
  • the transmitter may transmit the lowest layer video in SVC and transmit as many FEC packets as necessary to overcome the loss of the packet.
  • the receiving side when the receiving side requests media quality, it configures a B-NAL register at the receiving side, receives B-NAL information from the network, and has an appropriate quality of service for the next transmission packet according to the B-NAL information. You can request
  • the sender sets the maximum QoS and transmits the packet, and transmits the packet according to the required QoS at the branch point where the path of the packet is branched.
  • the receiving side may view its own B-NAL information and determine the receiving capability to selectively receive the distributed service at the branch point.
  • the channel state change of HSDPA channel is 3GPP.
  • MANE such as a broadcast center (BMSC) may have a B-NAL register.
  • BMSC broadcast center
  • the available bit rate is 5 Mbps
  • the user proceeds to the shadow area
  • the available bit rate is reduced to 2 Mbps
  • the packet loss rate is increased
  • this network state information is recorded in the B-NAL register of MANE.
  • the MANE can forward only the low layer video of the SVC and generate and transmit as many FEC packets as necessary to overcome the loss rate.
  • the sum of the transmitted media data and the FEC packet should be within 2 Mbps.
  • Random access may request data from the server when receiving a new broadcast or multicast connection, and receive data required for initial call setup in a 1: 1 communication.
  • the server may periodically transmit information required for random access. For a service that lasts 24 hours, a defined default T NAL is defined.
  • the user request QoS is recognized as a UI (User Interface) provided by the user side application layer.
  • the requirement is recorded in the B-NAL register of the transmitting side through signaling.
  • the requirement is recorded in the B-NAL register of MANE which manages traffic input to the user terminal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Environmental & Geological Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명에 따른 멀티미디어 데이터 패킷을 송신하는 방법은, 네트워크 엔터티로부터 상향 네트워크 추상화 계층 정보(B-NAL) 정보를 수신하는 과정과, 상기 수신된 B-NAL 정보에 따라 미디어 데이터의 품질을 결정하고, 상기 결정된 품질을 가지는 미디어 데이터를 생성하는 과정과, 상기 생성된 미디어 데이터에 대한 패킷을 생성하여 송신하는 과정을 포함한다.

Description

상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
본 발명은 멀티미디어 데이터 패킷을 송신하는 방법 및 장치에 관한 것이다. 더 상세하게는 본 발명은 상호 계층 최적화를 통하여 멀티미디어 데이터 패킷을 송신하는 방법 및 장치에 관한 것이다.
멀티미디어 서비스란 화상전화와 같은 대화형 서비스, 주문형 비디오(Video On Demand: VOD) 서비스와 같은 스트리밍 서비스와, 멀티캐스트 및 브로드캐스트 서비스를 말한다. 한편, 실시간 멀티미디어 서비스는 서비스의 형태에 따라 대화형 서비스, 인터랙티브 서비스, 스트리밍 서비스로 나눌 수 있다. 또한, 실시간 멀티미디어 서비스는 참여하는 사용자의 수에 따라 유니캐스트, 멀티캐스트, 브로드캐스트로 나눌 수 있다.
멀티 미디어 서비스를 제공하기 위하여 네트워크에서 QoS(Quality of Service)를 제공하는 방식은 크게 BE(Best Effort) 방식, 클래스 별 QoS(per class QoS) 방식, 플로우 별 QoS(per flow QoS) 방식으로 나누어진다. BE 방식은 QoS를 위해 아무 지원을 하지 않는 것을 의미한다.
상기 클래스 별 QoS 방식은 패킷마다 중요도를 달리하여 네트워크 중간에서 중요도에 따라 처리하는 방식이다. 즉, 클래스 별 QoS 방식은 해당 패킷이 어떤 플로우에 속하느냐와 상관 없이 해당 패킷의 중요도, 즉, 우선 순위에 따라 QoS 제어를 하는 방식이다. 클래스 별 QoS 방식을 지원하기 위해서는 송수신 측 간의 자원 예약이 필요가 없다. 참고로 상기 우선 순위에는 손실 우선 순위(loss priority), 지연 우선 순위(delay priority) 등이 있다.
상기 플로우별 QoS 방식은 스트림별로 자원을 예약하는 방식이다. 즉, 플로우 별로 자원(예를 들어, 비트 레이트, 버퍼 상태) 또는 QoS(지연, 손실율 등)을 예약하는 방식이다. 상기 플로우란 하나의 서비스를 위해 필요한 스트림을 말한다. 예를 들어, 주문형 비디오 서비스를 제공하기 위해 필요한 비디오 스트림, 오디오 스트림, 텍스트 스트림이 각각 별개의 플로우가 된다.
IEEE 802.16 (WiBRO, WIMAX), LTE(Long Term Evolution)는 물론이고, 3GPP의 UMTS(3G)에서도 클래스 별 QoS 방식과 플로우 별 QoS 방식을 지원하는 것으로 표준화되어 있다. 그러나, 상기 QoS 방식을 사용하기 위해서는 상위 계층인 미디어 계층과 하위 계층인 네트워크간 인터페이스가 필요하다.
종래 RTP(Real-time Transport Protocol) 및 RTCP(Real Time Transport Protocol)는 하위계층을 고려하지 않고 서비스 종단(end to end)에서 누적되는 정보를 이용하여 네트워크 자원 또는 QoS를 측정하는 것을 표현한다. 이에 종래 RTP 및 RTCP에서는 전송을 담당하는 네트워크 부분을 블랙박스로 두기 때문에 어떠한 변화가 있는지 정확하게 알아내기 힘들다. 따라서 정확한 QoS 제어를 위하여 하위 계층에서 직접 올라오는 인터페이스를 사용해야 한다.
MPEG(Moving Picture Experts Group)-2와 H.264를 이용하거나 특히 스케일러블 비디오 부호화(Scalable Video Coding: SVC)를 이용할 때 비디오 패킷마다 패킷 별 중요도는 서로 다르다. 비디오 서비스의 QoS를 효과적으로 제어하기 위해서는 이러한 패킷 별 중요도의 차이가 식별될 수 있어야 한다. IPv6에서는 패킷 별 중요도를 식별하기 위하여 패킷 스위칭 방식에서는 IPv6 헤더에서 5 인자(5 turples: 수신자 주소, 송신자 주소, 수신자 내 해당 서비스의 포트번호, 송신기 내의 해당 서비스의 포트번호, 사용하는 프로토콜)를 읽은 이후 다시 비디오 패킷의 페이로드에서 패킷의 중요도를 식별하는 헤더 데이터를 읽어야 한다. 이러한 방식은 패킷마다 처리 시간이 많이 걸릴 뿐만 아니라 프로토콜 계층의 독립성을 위반하게 된다.
즉, 라우터에서는 패킷의 IP 헤더만 읽고 패킷의 처리가 가능하여야 하는데 그렇지 못하게 된다. 그런데 패킷 별 중요도가 쉽게 식별될 수 있으면 라우터에서 QoS(Quality of Service) 제어가 원활하게 수행될 수 있다. 일 예로, 네트워크 상태가 나쁠 경우 상기 패킷 별 중요도에 따라 중요하지 않은 패킷부터 버릴 수 있다.
한편, 현재 표준화가 진행 중인 스케일러블 비디오 부호화(Scalable Video Coding: SVC) 기술이나 멀티-뷰 비디오 부호화(Multi-view Video Coding: MVC) 기술은 H.264/AVC 표준에 기초하고 있다. 그리고 부호화된 데이터의 비트열의 구성에 있어서도 H.264/AVC의 네트워크 추상 계층 단위(Network Abstraction Layer Unit: NALU)의 포맷이 사용된다.
도 1은 H.264/AVC에 있어서의 비디오 코딩 계층(Video Coding Layer: VCL)과 네트워크 추상 계층(NAL)을 보이고 있다.
H.264/AVC에서는 동영상 부호화 처리 자체를 다루는 비디오 부호화 계층(Video Coding Layer: VCL)(110)과 상기 부호화된 정보를 전송하고 저장하는 하위 시스템(130) 사이에 네트워크 추상 계층(Network Abstraction Layer: NAL)(120)이 정의되어 있어서, VCL 계층과 NAL 계층이 분리되어 있다. 한편, VCL에서 생성된 부호화 데이터(111)를 H.264/AVC 파일 포맷(131), RTP(133), MPEG-2 시스템(135)과 같은 하위 시스템의 비트열로 매핑하기 위하여 NAL(120)에서 NAL 단위(NAL Unit: NALU)로 처리된다.
상기 NAL 단위는 VCL NAL 단위(121)와 비 VCL NAL 단위(123)로 나뉜다. 상기 VCL NAL 단위(121)는 상기 VCL에서 생성된 부호화 데이터(111)에 상당하는 NAL 단위이며, 상기 비 VCL NAL 단위(123)는 상기 파라미터 세트, SEI 등에 해당하는 NAL 단위이다. 한편, 상기 NAL 단위는 기본적으로 NAL 헤더와, VCL에서 생성된 동영상 압축의 결과 데이터 부분인 RBSP(Raw Byte Sequence Payload)로 구성된다.
도 2는 NAL 단위의 포맷을 보이고 있다.
도 2를 참조하면, NAL 단위(200)는 NAL 헤더(210)와 NAL 페이로드(240)를 포함한다.
NAL 헤더(210)는 일반적으로 1-5 바이트의 크기를 갖는다.
NAL 헤더(210)는 NAL 단위의 종류를 지시하기 위한 NALU 유형(Type) 정보(220)와 NAL 단위 페이로드에 포함되는 압축된 원본 데이터의 계층(우선순위, 공간계층화 레벨, 시간계층화 레벨, 및/또는 품질계층화 레벨의 조합)을 식별하기 위한 계층 식별 정보(Layer Identification Information)(230)를 포함한다. 그리고 상기 NAL 단위 유형 정보(220)는 고정 비트(F) 필드(221), 참조 픽쳐인지 여부를 표시하는 플래그인 NRI(nal_ref_idc) 필드(222), NAL 단위의 종류를 표시하는 식별자인 NALU Type 필드(230)를 포함한다.
또한, 상기 계층 식별 정보(230)는 압축된 원본 데이터의 계층을 식별할 수 있도록 우선 순위를 나타내기 위한 Priority 필드(P)(231), 공간 계층화 레벨을 나타내기 위한 Dependency_id 필드(D)(232), 시간 계층화 레벨을 나타내기 위한 Temporal_level 필드(T)(233), 및/또는 품질계층화 레벨을 나타내기 위한 Quality_level 필드(Q)(234)를 포함한다.
참고로 상기 NALU의 포맷은 MVC에서도 동일하게 이용된다. 다만, MVC에서는 NAL 헤더에 NAL 단위 유형 정보(220)와 함께 상기 계층 식별 정보(230) 대신 뷰(View)를 식별하기 위한 뷰 식별 정보(View Identification Information)가 포함될 수 있다.
상술한 현재의 SVC 또는 MVC에 따른 NAL 단위 포맷에 의하면, NAL 단위의 계층이나 뷰를 식별하기 위해서는 NAL 헤더의 계층 식별 정보(230)나 뷰 식별 정보를 모두 파싱(parsing)하여야 한다. 특히, 계층 식별 정보(230)는 2-4 바이트의 크기를 가지며, NAL 헤더(210)의 파싱을 통해 P(231), D(232), T(233), Q(234)의 값을 모두 알아야만, 해당 NAL 단위가 속한 계층을 판별할 수 있다. 하지만, NAL 헤더(210)의 P(231), D(232), T(233), Q(234)값을 알기 위하여 NAL 헤더(210)를 모두 파싱하는 것은 프로세서에 부담을 주며 시스템의 비용을 증가시키는 원인이 될 수 있다.
또한, NAL 단위 헤더(210)에는 Priority 필드(P)(231) 등과 같이 패킷의 중요도를 식별할 수 있는 정보가 포함되어 있다. 그러나, 라우터는 IP 헤더만을 읽고 패킷을 처리하기 때문에 NAL 단위 헤더에 포함된 상기 중요도 식별 정보를 읽을 수 없다. 따라서, 상기 중요도를 식별할 수 있는 정보를 라우터가 읽을 수 있도록 중요도 식별 정보를 IP 헤더에 포함시킬 필요가 있다.
본 발명은 멀티미디어 서비스 제공 시 미디어 데이터, 네트워크 상태, 사용자의 요구 등에 따라 적응적으로 멀티미디어 서비스를 제공하기 위한 방법 및 장치를 제공한다.
본 발명은 응용계층과 하위 네트워크 엔터티와 정보를 교환할 수 있는 통합 네트워크 추상 계층을 제공한다.
본 발명은 미디어 데이터의 상태, 네트워크 상태, 사용자의 요구 상태에 따라 멀티미디어 서비스를 제공하기 위해서 상기 상태들을 추상화하여 엔터티들 간의 송수신하는 방법 및 장치를 제공한다.
본 발명에 따른 멀티미디어 데이터 패킷을 송신하는 방법은, 네트워크 엔터티로부터 상향 네트워크 추상화 계층 정보(B-NAL) 정보를 수신하는 과정과, 상기 수신된 B-NAL 정보에 따라 미디어 데이터의 품질을 결정하고, 상기 결정된 품질을 가지는 미디어 데이터를 생성하는 과정과, 상기 생성된 미디어 데이터에 대한 패킷을 생성하여 송신하는 과정을 포함한다.
또한 본 발명에 따른 멀티미디어 데이터 패킷을 송신하는 장치는, 네트워크 엔터티로부터 상향 네트워크 추상화 계층 정보(B-NAL) 정보를 수신하는 레지스터와, 상기 수신된 B-NAL 정보에 따라 미디어 데이터의 품질을 결정하고, 상기 결정된 품질을 가지는 미디어 데이터를 생성하는 미디어 데이터 생성부와, 상기 생성된 미디어 데이터에 대한 패킷을 생성하여 상기 네트워크 엔터티로 송신하는 패킷 생성부를 포함한다.
본 발명의 구성에 따른 대표적인 효과는 다음과 같다.
본 발명에서는 모든 멀티 미디어 데이터에 적용 가능한 통합 네트워크 추상화 계층을 제공하여 미디어 데이터의 중요도 또는 우선 순위, 자원 예약 상태, 네트워크 상태나 또는 사용자의 요구 조건을 반영하여 멀티 미디어 서비스를 제공할 수 있다.
또한 상위 프로토콜 계층과 하위 프로토콜 계층 간의 정보 교환을 위하여 정보를 추상화할 수 있는 통합 네트워크 추상화 계층을 제공하여 상호 계층 최적화를 통하여 통신 자원을 효율적으로 사용할 수 있다.
도 1은 H.264/AVC에 있어서의 비디오 코딩 계층(Video Coding Layer: VCL)과 네트워크 추상 계층(NAL)을 나타낸 도면,
도 2는 NAL 단위의 포맷을 나타낸 도면,
도 3은 본 발명에 따른 멀티미디어 데이터 패킷을 송신하는 장치 및 방법을 나타낸 도면,
도 4는 본 발명의 실시예에 따른 T-NAL 정보를 IP 패킷에 포함하는 방식을 나타낸 도면,
도 5는 본 발명의 실시예에 따른 T-NAL 정보를 IP 패킷에 포함하여 최적의 IP 패킷 헤더를 생성하는 일 예를 나타낸 도면,
도 6은 본 발명의 실시예에 따른 스트림 별 B-NAL 정보 포맷의 일 예를 나타낸 도면,
도 7은 본 발명의 실시예에 따른 네트워크 엔터티(MANE) 장치의 구성에 따른 동작의 일 예를 나타낸 도면.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다. 사용되는 용어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 사용자, 운용자의 의도 또는 판례 등에 따라 달라질 수 있다. 그러므로 후술하는 실시예들에서 사용된 용어의 의미는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 당업자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.
본 발명의 상세한 설명에 앞서 본 발명의 기본 개념을 설명한다.
본 발명에서는 비디오 데이터를 위한 표준들인 MPEG-4/AVC(Advanced Video Coding, H.264), SVC(Scalable Video Coding), MVC(Multi-view Video Coding) 등에서 사용하고 있는 네트워크 추상화 계층(Network Abstraction Layer: NAL)의 개념을 비디오 데이터뿐 아니라 다른 미디어(오디오, 그래픽, 문자 등) 데이터에 서비스에 적용한다.
도 2에서 설명한 바와 같이 설명한 바와 같이 기존의 NAL 단위 헤더(210)에는 비디오 패킷의 중요도를 표시하는 정보가 포함되어 있다. 또한, SVC NAL 단위의 헤더에는 시간적 계층, 공간적 계층, 품질 계층을 인식할 수 있는 계층 인식 정보(230)가 포함되어 있고, MVC 헤더에는 뷰(view) 번호를 나타내는 정보가 포함되어 있다.
상기 정보들은 상위 프로토콜 계층에서 하위 프로토콜 계층으로 전달되는 하향(top-down) 인터페이스에서 추상화되어 생성되는 정보들로서 해당 패킷의 중요도를 나타낼 수 있어서 상기 정보들에 따라 네트워크 상태 또는 단말의 상태에 따라 적응적으로 패킷 서비스가 제공될 수 있다.
본 발명은 상기 NAL의 개념을 모든 미디어에 확장하기 위하여 "라벨"이라는 식별자(identifier)를 정의한다. 본 발명에서 상기 "라벨"은 각각의 스트림(예를 들어, 비디오 스트림 또는 오디오 스트림 등)을 구별하기 위한 식별자이다.
또한, 본 발명에서는 전송할 미디어 데이터에 관련된 정보를 추상화하는 하향(Top-down) 인터페이스인 T-NAL 계층과, 네트워크 상태와 관련된 정보를 추상화하는 상향(Bottom-up) 인터페이스인 B-NAL 계층을 제안한다. 이하의 설명에서 상기 T-NAL 계층에서 추상화된 데이터 관련 정보는 T-NAL 정보라고 칭해질 수 있으며, 상기 B-NAL 계층에서 추상화된 네트워크 상태 정보는 B-NAL 정보라고 칭해질 수 있다.
한편, 본 발명에서 송신 장치(서버 또는 단말)는 상기 T-NAL 정보를 생성하여 패킷의 헤더에 포함하여 송신하고, 네트워크 엔터티(라우터 또는 기지국 등)는 상기 T-NAL 정보를 이용하여 패킷의 중요도 또는 자원 예약 상태를 식별하고 그에 따라 패킷을 송신할 수 있다. 또한, 상기 네트워크 엔터티는 상기 B-NAL 정보를 생성하고 상기 송신 장치는 상기 B-NAL 정보에 따라 현재의 네트워크 상태를 고려하여 적응적으로 패킷을 송신할 수 있다.
이하에서 본 발명에 대하여 상세히 설명한다.
도 3은 본 발명에 따른 멀티미디어 데이터 패킷을 송신하는 장치 및 방법을 보이고 있다. 상기 송신 장치(300)는 서버 또는 단말이 될 수 있다.
도 3을 참조하면, 송신 장치(300)는 미디어 데이터 공급부(301), 패킷 생성부(303), 본 발명을 위한 특유한 구성인 상호계층최적화(Cross Layer Optimization : CLO)부(302)와 B-NAL 레지스터(304)를 포함한다.
먼저, B-NAL 레지스터(304)는 네트워크(313)로부터 B-NAL 정보(310)를 수신하여 저장한다. 상기 B-NAL 정보는 네트워크 엔터티가 생성한 네트워크 상태 정보가 되는 것이 일반적이다. 그러나 경우에 따라서는 상기 B-NAL 정보는 사용자 단말이 요청하는 QoS 품질 정보 또는 미디어 데이터를 제어하는데 적합한 제어 정보가 될 수 있다. 예를 들어, 사용자의 단말기 상태가 고품질 QoS의 서비스를 제공받기에 부적절한 경우 사용자는 저품질의 패킷 서비스를 요청할 수 있다. 그리고 특정 미디어는 전송 패킷의 지연과 손실에 영향이 클 경우 이 같은 정보를 B-NAL 레지스터(304)에서 얻을 수 있다. 이 경우 상기 B-NAL 정보는 상기 사용자의 요청에 따라 사용자 단말에 의하여 생성된 정보가 될 수도 있을 것이다. 다만, 설명의 편의상 이하의 설명에서 B-NAL 정보는 네트워크 상태 정보로 가정하여 설명할 것이다.
CLO부(302)는 상기 B-NAL 레지스터(304)에 저장된, 또는 B-NAL 패킷으로 전송된 B-NAL 정보를 읽고 전송할 미디어 데이터의 품질을 적응적으로 결정하고, 상기 전송할 미디어 데이터를 적어도 하나 이상의 액세스 단위(Access Unit: AU)로 미디어 데이터 공급부(301)에게 요청하고(305), 상기 미디어 데이터 공급부(305)로부터 미디어 데이터를 수신한다(306).
이후, CLO부(302)는 하나의 IP 패킷을 통하여 전송될 미디어 데이터를 패킷 생성부(303)로 전달한다(309). 이 때, CLO(302)는 해당 미디어 데이터에 대한 T-NAL 정보, 즉, 라벨 정보를 생성하여 패킷 생성부(303)에게 전달한다(308). 상술한 바와 같이 상기 라벨 정보는 하위 네트워크가 상기 패킷의 중요도, 우선 순위 또는 자원 예약 상태를 인식하는 데 사용될 수 있다.
패킷 생성부(303)는 상기 수신한 라벨 정보를 포함하여 패킷을 생성하고 상기 생성된 패킷을 네트워크(313)를 통하여 전송한다(311). 상기 라벨 정보는 IP 패킷의 헤더 또는 다른 하위 프로토콜의 패킷 헤더에 포함될 수 있다.
상기 도 3의 구성에 따라 패킷을 송신하는 경우를 예를 들어 설명하면 다음과 같다.
단말과 오디오 데이터 스트림의 라벨이 1, 문자 데이터 스트림의 라벨이 2, 비디오 데이터 스트림의 라벨이 3으로 설정되었다고 가정한다. 또한, 상기 라벨이 설정된 스트림에 대한 우선 순위도 송신측, 네트워크 엔터티, 수신측 사이에서 설정되었다고 가정한다. 만일 송신측에서 비디오 데이터 패킷을 송신하고자 할 경우 해당 패킷에 라벨 정보를 3으로 설정하여 패킷을 생성하여 송신한다. 그러면 네트워크 엔터티(예를 들어, 라우터)는 상기 수신한 패킷의 라벨 정보(=3)를 통하여 상기 수신한 패킷의 중요도, 우선 순위 또는 자원 예약 정보 등을 인식할 수 있다. 이후, 상기 네트워크 엔터티는 네트워크 상태와 상기 수신한 패킷의 중요도, 우선 순위 또는 자원 예약 정보를 고려하여 패킷을 송신할 수 있다. 한편, 상기 데이터 스트림 별 라벨과 상기 라벨에 따른 중요도, 우선 순위 또는 자연 예약 정보 등은 송신측과 수신측, 그리고 네트워크 엔터티 간의 호 설정 과정에서 설정될 수 있을 것이다.
또한, 상기 송신측에서 상기 비디오 패킷을 송신할 때 상기 B-NAL 정보를 고려할 수도 있다. 즉, B-NAL 정보인 네트워크 상태를 고려하여 상기 비디오 패킷의 송신 순위도 적응적으로 변경할 수 있을 것이다.
이하에서는 본 발명에서 제안하는 하향 인터페이스 정보인 T-NAL 정보에 대하여 설명한다.
T NAL 정보는 하위 계층의 네트워크 엔터티가 해당 미디어 데이터 패킷의 손실 중요도 및 지연 중요도 또는 우선 순위, 또는 자연 예약 정보를 인식할 수 있도록 하기 위한 정보를 라벨(즉, 꼬리표)의 형식으로 패킷에 포함된다. 한편, 본 발명에서 제안하는 T-NAL 정보 포맷이 기존의 다른 프로토콜 표준, 예를 들어, IP 헤더, TCP 및 UDP 헤더, RTP 헤더 프로토콜과 함께 사용할 수 있다. 상기 T-NAL 정보를 이용하여 미디어 서비스를 제공하기 위해서는 송수신측 네트워크 간 호 설정 과정이 필요하다. 즉, T-NAL 정보가 상기 호 설정 과정을 통하여 각 엔터티들이 라벨 값이 의미하는 바를 상호 약속하게 된다.
한편, 본 발명에서 T-NAL 정보는 클래스 별 QoS 방식을 위한 포맷과 스트림별 QoS 방식을 위한 포맷이 달리 정의된다.
클래스 별 QoS 방식의 경우, 송수신 측 간의 서비스 제공을 위한 자원 예약이 필요하지 않기 때문에 해당 스트림의 패킷들에 대한 중요도를 구별하기 위한 중요도 정보 또는 우선 순위 정보를 라벨의 형식으로 포함하도록 한다. 예를 들어, 하나의 비디오 스트림을 I 프레임 스트림, B 프레임 스트림, P 프레임 스트림으로 구분하고 이러한 구분을 위한 형식으로 라벨 값을 결정한다. 참고로 비디오 스트림보다 오디오 스트림의 중요도가 더 높을 수 있다. 후술되는 도 4에서 설명되는 것과 같이 이 때의 라벨 값은 IPv4 헤더의 TOS 필드 또는 IPv6 헤더의 TC 필드에 삽입될 수 있다. 일 예로, 상기 라벨 값의 크기를 2bit 로 설정하였다면 11, 10, 01, 00의 순서대로 패킷 별 중요도를 차별화한다. 즉, 오디오 패킷에는 11, 기본 계층 비디오 패킷에는 10, 향상1 계층 비디오 패킷에는 01, 향상 2계층 비디오 패킷에는 00의 라벨 값을 삽입할 수 있다. 참고로 SVC에서 영상은 기본 계층 영상, 향상 1 계층 영상, 향상 2 계층 영상으로 나누어질 수 있다.
플로우 별 QoS 방식의 경우, 스트림 별로 자원 예약이 이루어지며 이를 위하여 해당 플로우에 라벨 정보를 포함한다. 일 예로, 라벨 값이 1로 설정된 플로우에 대해서는 300kbps의 자원이 예약되었다고 가정할 때, 송신측에서 생성되어 패킷에 포함된 라벨 값이 1이고, 네트워크 엔터티에서 상기 패킷에 포함된 라벨 값을 확인한 경우 라벨 값 1에 해당하는 300kbps의 자원을 사용하여 해당 플로우를 송신하게 된다. 다만, 이 경우 현재 가용한 자원이 함께 고려되어야 한다. 한편, 상기 자원 예약은 세션 별로도 이루어 질 수 있다. 또한, 송수신 네트워크 간의 호 설정 시에 라벨 스위칭을 지원하기 위하여 자원 예약이 이루어진 즉, 스트림 단위 또는 세션 단위로 라벨 정보를 구성할 수 있다.
또한, 상기 자원 예약 과정 및 라벨 값 설정은 송수신 측 간의 호 설정 과정에서 사전 약속될 수 있다. 참고로 네트워크 엔터티에서 멀티 프로토콜 라벨 스위칭 (Multi Protocol Label Switching: MPLS)을 지원할 때, 본 발명의 라벨 포맷을 상기 MPLS에서 지원하는 라벨 포맷과 호환성이 갖도록 구성할 수도 있다. 이 경우 수신측이 MPLS 방식의 라벨과 호환성을 가지는 본 발명의 라벨을 인식할 수 있다면 SVC에서 정의된 기존의 NAL 헤더는 전송하지 않아도 무방하다. 또한 기존의 RTP 헤더, UDP 헤더의 내용중에 하나의 세션동안 변하지 않는 정보는 라벨에 포함할 수 있다. 참고로 상기 라벨 스위칭이란 3계층 패킷을 2계층에서 라우팅하는 기술로서, 데이터 패킷에 IP 주소 대신 별도의 라벨을 부가하고 상기 라벨을 보고 스위칭을 구현하여 고속 스위칭이 가능하도록 한 방식이다.
이하에서는 상기 T-NAL 정보를 송신하는 방식에 대하여 설명한다.
도 4는 본 발명의 실시예에 따른 T-NAL 정보를 IP 패킷에 포함하는 방식을 보이고 있다.
본 발명에서 정의한 T NAL 정보 포맷에서는 NAL 패킷을 위한 가상 헤더가 정의된다. 상기 가상 헤더에 포함된 내용은 하위 계층의 패킷 헤더(일 예로 IP 패킷 헤더)에 포함되기 위한 것이며, 상기 가상 헤더의 종류는 짧은 NAL 헤더(ST NAL header)(421)와 긴 NAL 헤더(LT NAL header)(420)가 있다.
상기 짧은 NAL 헤더(421)는 하위 계층이 클래스 별 QoS 방식을 사용할 때 적용될 수 있으며, 그 길이는 시스템 설정에 따라 달라질 수 있지만 2bit 정도가 바람직하다. 짧은 NAL 헤더(421)는 IPv4 헤더(410)의 TOS 필드(411)에 삽입되거나, IPv6 헤더(430)의 TC 필드(404)에 삽입될 수 있다.
한편, 긴 NAL 헤더(420)는 하위 계층이 플로우별 QoS 방식을 사용할 때 적용될 수 있으며, 그 길이는 시스템 설정에 따라 달라질 수 있지만 1-2 바이트 정도가 적당하다. 또한, 상기 긴 NAL 헤더(420)는 IPv4 헤더(410)의 확장 헤더(413)에 삽입되거나, IPv6 헤더(430)의 플로우 라벨(flow label) 필드(433)에 삽입될 수 있다.
도 5는 본 발명의 실시예에 따른 T-NAL 정보를 IP 패킷에 포함하여 최적의 IP 패킷 헤더를 생성하는 일 예를 보이고 있다.
도 5에서 설명되는 예는 실시간 미디어 스트림에 적용하기 위하여 복수의 패킷 들 중 UDP와 RTP 헤더에서 동일하게 반복되는 부분을 제거하여 헤더를 간략화하는 방식이다. 참조 번호 510, 530, 540은 IPv4 패킷이며, 참조 번호 550은 IPv6 패킷인데, 각각의 패킷에서 UDP 헤더 및 RTP 헤더를 간략화하여 라벨 정보를 생성하는 예를 나타낸다.
참조번호 510은 주문형 비디오 서비스와 같은 실시간 미디어 데이터의 전송을 위한 미디어 패킷을 나타낸다. 참조 번호 560은 UDP 헤더를 나타내고, 참조 번호 570은 RTP 헤더를 나타낸다.
통상 실시간 미디어 서비스의 경우 하나의 세션 당 통상적으로 매 초당 수십 또는 수백의 패킷들이 전송되는데, 실시간 미디어 스트림의 특성 상 송신되는 미디어 패킷의 헤더들에는 하나의 세션 동안 전송되는 패킷들마다 동일하게 반복되는 필드들이 포함된다. 참조 번호 511, 512, 514, 515, 518, 519, 520 필드들이 동일하게 반복되는 필드들이다. 주목할 필드는 참조 번호 520의 NALH 필드로서 이는 NAL 헤더를 나타내며, 도 2에서 설명된 바와 같이 NAL 헤더에는 패킷의 중요도, 또는 우선 순위를 표시하는 정보가 포함된다. 한편, 참조 번호 513, 516, 517의 필드들은 매 패킷마다 달라지는 필드이다. 그러나 경우에 따라서는 동일하거나 다른 필드와 중복될 수도 있다. 상기 필드들의 기능에 대한 구체적인 설명은 생략한다.
참조 번호 530의 패킷은 참조 번호 520 패킷의 UDP 헤더(560) 및 RTP 헤더(570)에서 동일하게 반복되는 필드들을 모아 하나의 라벨 정보(플로우 라벨 필드)(531)로 삽입하고, 패킷마다 달라지는 필드들은 상기 플로우 라벨 필드(531) 뒤에 배열된 것을 나타낸다.
한편, 참조 번호 530의 패킷에서 Length 필드(532)는 IP 헤더 내에 포함된 Length 필드(미도시됨)와 중복된다. 따라서 상기 Length 필드(532)는 생략이 가능하다. 또한, TS 필드(534)는 Time Stamp로서 미디어 데이터의 생성이 주기적이라면 이 정보는 수신측에서 계산에 의하여 알 수 있고 따라서 생략이 가능하다. 참조 번호 540 패킷은 상기 참조 번호 530 패킷에서 중복된 Length 필드(532) 및 수신측에서 계산 가능한 TS 필드(534)를 생략한 것을 나타낸다. 한편, 참조 번호 550 패킷은 IPv6 패킷을 도시한 것인데, IPv6 헤더에는 24비트 길이의 flow label 필드(551)가 있으며 이 필드를 이용하면 IPv6 헤더에 본 발명의 라벨 정보를 포함시킬 수 있다.
기존의 간소화되지 않은 헤더를 이용할 경우 수신측에서는 모든 필드들을 파싱해야 하나 상기 도 5와 같이 헤더를 간소화할 경우 플로우 라벨에 해당하는 필드들을 매 번 파싱할 필요가 없는 이점이 있다.
이하에서 본 발명에서 제안한 상향 인터페이스 정보인 B-NAL 정보에 대하여 설명한다.
본 발명의 B-NAL 정보는 하위 계층의 네트워크 엔터티가 생성하는 네트워크 상태 정보가 되는 것이 일반적이다. 그러나 앞서 설명한 것처럼 경우에 따라서는 상기 B-NAL 정보는 사용자 단말이 생성하여 요청하는 QoS 품질 정보가 될 수도 있다. 다만, 이하에서는 B-NAL 정보가 네트워크 상태 정보임을 가정하여 설명할 것이다.
상기 네트워크 상태 정보는 가용 비트율(available bitrate), 패킷 손실율(Packet Loss Ratio), 지연(Delay) 또는 지터(Jitter) 등을 포함할 수 있다. 상기 정보들 외에도 라우터 버퍼 또는 수신 버퍼의 상태 정도 등이 더 포함될 수 있다. 일 예로 실시간 제어 패킷 전송 프로토콜인 RTCP의 결과로 측정된 지연과 패킷 손실율, 또는, WLAN(Wireless Local Area Network)의 MAC(Medium Access Control) 계층이나 3GPP(3rd Generation Partnership Project) RAN에서 측정된 결과가 포함될 수 있다. 이 중 가장 정확한 상태 정보로 이용하여 B-NAL register를 갱신한다.
또한, 상기 B-NAL 정보는 스트림 별 또는 서비스(또는 세션) 별로 생성될 수 있다. 서비스(세션) 단위로 생성되는 경우에는 B-NAL 레지스터를 포함하는 엔터티는 세션 별로 별도의 B-NAL 레지스터로 구비할 것이고, B-NAL 정보가 스트림 단위로 설정되는 경우에는 상기 B-NAL 레지스터는 스트림 별로 구성될 수 있다. B-NAL 레지스터를 이용하는 대신에 B-NAL 패킷을 전송하는 경우에도 세션별 또는 스트림별로 B-NAL 패킷을 전송할 수 있다.
한편, 상기 네트워크 상태 정보를 구성하는 상기 정보들을 나타내는 방식은 크게 3가지가 있다. 첫 번째는 절대 값을 사용하는 방식이다. 가용 비트율을 예로 들어 설명하면 가용 비트율을 Mbps단위로 쓰는 것이다. 두 번째는 기준값에 대한 상대 값으로 표시하는 방식이며, 일 예로 호 설정 시 1Mbps의 자원 예약을 하였는데, 현재 가용 비트율이 800kbps라면 가용 비트율의 표시를 "80%"로 표시하는 방식이다. 세 번째는 해당 정보의 변화율을 사용하는 방식이다. 즉, 이전 시점의 해당 정보에 대하여 어느 정도 변화하였는가를 표시하는 방식이다.
상기 B-NAL 정보는 상위 계층 엔터티 내에서 응용 시스템의 B-NAL 레지스터에 저장될 수 있으며, 상기 B-NAL 레지스터는 하나의 서비스 별로 구성되거나, 하나의 서비스를 구성하는 다수의 스트림별로 구성될 수 있다. B-NAL 레지스터를 이용하는 대신에 B-NAL 패킷을 전송하는 경우에도 세션별 또는 스트림별로 B-NAL 패킷을 전송할 수 있다.
또한, 상기 B-NAL 정보는 주기적 또는 비주기적으로 생성될 수 있다. 만일 하위 계층에서 B-NAL 정보가 주기적으로 생성된다면 상위 계층에서도 정기적으로 B-NAL 정보를 확인할 수 있다. 상기 B-NAL 정보가 비주기적으로 생성된다면 상위 계층에서도 비주기적으로 확인할 것이다. 이 경우 상위 계층에서는 B-NAL 레지스터에 새로운 내용이 저장되었다는 인터럽트(interrupt)를 발생시키면 상기 B-NAL 레지스터에 저장된 B-NAL 정보를 확인할 수 있다.
이하에서는 상기 B-NAL 정보를 갱신하고, 정보 이용을 위해 반환하여 가져가는 방식에 대하여 설명한다. B-NAL의 필드에는 상태를 갱신하거나 반환하는 API를 제공한다. 이것은 상기 설명한 QoS 정보 또는 미디어 제어에 적합한 파라메터들에 대해 동작한다. 각 파라메터들은 상기 API를 가지며 개별적 갱신 혹은 반환이 가능하다. 각 파라메터는 특성에 맞게 형태를 갖는다. 예를 들어 비트율을 표현할때는 양수형 표현 형식(unsigned integer 형)으로 저장되며, 부동 소수점이 필요한 파라메터 또한 형식에 맞게 저장한다. 상기 미디어의 세션이나 스트림에 따라, 레지스터를 구분하기 위해 ID 필드를 가지며 각각을 구분한다. 또한 갱신되는 주기 필드를 가지며 갱신되는 주기정보를 담는다. 이 필드는 미디어 데이터 공급부의 데이터 보정 주기에 따라 맞출 수 있으며, 네트워크는 이 필드의 값에 따라 레지스터를 갱신한다. 만약 이 필드가 세팅되지 않은 값이면, 네트워크는 초기 세션을 성립할 때 한번 B-NAL레지스터를 갱신하며 재 갱신하지 않는다. 이때 CLO부는 QoS를 위해 제어하지 않으며 최선(Best-effort)처럼 동작한다. 상기 비주기 방식의 동작에서는 주기필드를 모두 1로 채워서 구분 짖는다. 이 방식에서는 B-NAL정보 파라메터의 갱신 시 인터럽트를 발생시킨다.
도 6은 본 발명의 실시예에 따른 스트림 별 B-NAL 정보 포맷의 일 예를 보이고 있다.
도 6의 참조 번호 610, 620, 630, 640에서 볼 수 있듯이 B-NAL 정보가 스트림 별로 생성되어 해당 스트림의 라벨 정보가 표시되고, 해당 라벨의 스트림에 대한 가용 비트율(Available bitrate parameter)(611), 패킷 손실율(packet lossrate parameter)(613), 지연 및 지터 파라미터(delay and or jitter parameter)(615) 등이 포함된 것을 볼 수 있다. 라벨 정보에는 갱신 주기와 세션 혹은 플로우 ID 정보가 실린다.
지금까지 본 발명에서 정의한 T-NAL 정보와 B-NAL 정보에 대하여 설명하였다. 이러한 T-NAL 정보와 B-NAL 정보를 이용하면 CLO가 가능하다. 상기 상호 계층 최적화란 네트워크 상태를 인식하여 비디오 부호화를 수행하고(network-aware video coding), 미디어 스트림에 관한 정보, 즉, 중요도 또는 우선 순위 등을 인식하여 동작하는 미디어 네트워크 엔터티에 의하여 미디어 데이터 서비스를 제공하는 것을 말한다. 참고로 상기 미디어 스트림에 관한 정보를 이용하여 서비스하는 엔터티를 MPEG에서는 미디어 인식 네트워크 요소(Media Aware Network Element: MANE)라고 한다. 이하에서도 "MANE"라는 용어를 사용하여 설명한다.
이하에서는 상기 본 발명에 따른 네트워크 엔터티, 즉, MANE의 동작을 설명한다.
라우터, IEEE802 시리즈의 MAC 계층, 3GPP의 BMSC와 같이 수신한 미디어 패킷을 포워딩(fowading)하는 네트워크 엔터티는 T-NAL 정보의 라벨 정보에 따라 패킷의 중요도 별로 적응적으로 포워딩할 수 있다는 MANE(Media Aware Network Element)로 동작할 수 있다. 일 예로 diffServ 라우팅 방식을 사용하는 라우터에서는 데이터가 버퍼를 초과하면 우선 순위가 낮은 패킷부터 버리게 된다. 이를 위하여 T-NAL의 라벨 값을 확인하게 된다.
클래스 별 QoS 방식의 경우 수신한 패킷이 어떤 서비스에 속하는 패킷인지와 무관하게 IP 헤더에 포함되어 있는 중요도 정보, 즉, 라벨 값을 이용하여 패킷을 적응적으로 처리한다. 일 예로, 오디오 패킷의 라벨 값이 11, 기본계층 비디오 패킷 라벨 값이 10, 향상1 계층 비디오 패킷의 라벨 값이 01, 향상 2계층 비디오 패킷의 라벨 값이 00으로 수신된 경우, 네트워크 상태 또는 라우터 버퍼의 초과로 인하여 상기 패킷들 중 어느 하나를 버려야 할 경우, 상기 라벨 값에 따라 패킷을 버리게 된다. 즉, 향상 2계층 비디오 패킷, 향상 1계층 비디오 패킷, 기본 계층 비디오 패킷, 마지막으로 오디오 패킷 순으로 패킷을 버리게 된다. 참고로 IEEE802.11e 표준에서는 IP 헤더에 쓰여있는 중요도 정보에 따라 정해진 큐(Queue)에 패킷을 넣는다. 보통 4단계로 우선순위가 설정되며 해당 큐 별로 큐를 빠져나가는 패킷의 속도와 패킷 손실을 처리하는 방식이 차이가 있을 수 있다.
플로우 별 QoS 방식의 경우, 라벨 값을 확인하고 상기 라벨 값에 다라 미리 결정된 자원을 이용하여 QoS(비트율과 손실율 및 지연 등)를 지원한다. 상기 미리 결정된 자원의 결정은 해당 네트워크 엔터티에 스트림 별로 미리 저장된 자원 예약 테이블을 검색하여 해당 라벨에 대응하는 자원에 따라 결정될 수 있다. 일 예로 IEEE802.16에서 오디오 스트림에 대한 QoS가 UGS(Unsolicited Guaranteed Service)로 정해져 있다면, 그에 따라 미리 결정된 QoS 요건을 보장한다. 따라서, 상기 자원 예약 테이블은 해당 서비스가 끝날 때까지 네트워크 엔터티에 보관된다. 즉, 송신측으로부터 패킷이 수신되면 해당 패킷의 라벨을 확인하여, 해당 라벨의 스트림의 QoS 요건을 자원 예약 테이블에서 검색하여 그에 따른 자원에 따라 서비스가 제공된다.
도 7은 본 발명의 실시예에 따른 네트워크 엔터티(MANE) 장치의 구성에 따른 동작의 일 예를 보이고 있다.
MANE(701)는 자원 예약 테이블(702), 포워딩 정책 결정부(711), 가용 자원 판단부(708)를 포함한다.
MANE(701)의 포워딩 정책 결정부(709)가 송신측으로부터 패킷을 수신하면(706) 포워딩 정책에 따라 패킷을 적응적으로 포워딩한다. 상기 포워딩 정책은 수신한 패킷의 T-NAL 정보에 포함된 라벨 값에 따라 달라진다.
해당 MANE(701)가 클래스 별 QoS를 지원하는 경우 해당 패킷의 클래스를 확인하고 그에 따라 해당 패킷의 포워딩 여부를 결정한다. 한편, 스트림 별 QoS를 지원하는 경우 라벨 값을 확인하고, 자원 예약 테이블(702)에 저장된 해당 라벨에 할당된 자원을 확인하고(705, 711) 가용 자원 판단부(704)의 가용 자원 정보를 수신하고(707) 가용한 자원 내에서 포워딩 정책을 결정하여 패킷을 포워딩한다(710)
이하에서는 본 발명의 실시예에 따라 수신측의 동작을 간단히 설명한다.
수신측은 각 스트림 별로 복호기를 구비하고, 해당 복호기에서 필요한 만큼의 버퍼를 확보한다. 만일 수신한 패킷에 라벨이 포함되어 있다면 상기 라벨을 확인하고 해당 패킷에 맞는 복호기를 확인할 수 있다. 만일 해당 패킷에 라벨이 없다면 RTP 헤더를 읽고 미디어 패킷의 복호를 위한 복호기를 확인할 수 있다.
이하에서는 상기 B-NAL 정보를 수신하여 저장할 수 있는 B-NAL 레지스터가 위치하는 엔터티에 대하여 설명한다.
먼저 미디어 서비스가 1:1 화상전화나 VOD와 같은 유니캐스트 서비스일 경우, 송신측에 B-NAL 레지스터가 존재할 수 있다. 이 때 MANE이나 수신측으로부터 전송 되는 B-NAL 패킷은 시그널링을 통하여 송신측 응용 계층의 B-NAL 레지스터에 B-NAL 정보를 업데이트한다. 이 경우 송신측은 주기 또는 비주기적으로 B-NAL 레지스터를 읽어서 적응적으로 미디어 데이터를 전송하게 된다. 일 예로 가용 비트율일 54Mbps인데 사용자가 음영 지역으로 진입하여 가용 비트율이 2Mbps로 낮아지고 패킷 손실율이 증가할 경우에는 이러한 네트워크 상태 정보가 B-NAL 레지스터에 전달되어 저장될 것이다. 이 경우 송신측은 SVC에서 가장 낮은 계층의 영상을 전송하고, 상기 패킷의 손실 극복을 위하여 필요한 만큼의 FEC 패킷을 전송할 수 있다.
한편, 수신측이 미디어 품질을 요청하는 경우에는 수신측에 B-NAL 레지스터를 구성하고, 네트워크로부터 B-NAL 정보를 수신하고 상기 B-NAL 정보에 따라 다음 시간의 전송 패킷에 대하여 적절한 품질의 QoS를 요청할 수 있다.
반면, 다자간 화상전화(화상회의) 서비스와 같은 멀티캐스트/브로드캐스트 패킷의 경우 송신측은 해당 패킷을 최대 QoS를 설정하여 송신하고, 패킷의 경로가 분기되는 분기점에서 필요한 QoS에 따라 전달되도록 한다. 또는 수신측이 자기 자신의 B-NAL정보를 보고 수신 능력을 판단하여 분기점의 분산된 서비스를 선택적으로 수신한다. 일 예로, 10Mbps의 SVC HDTV 서비스가 VDSL에 연결된 HDTV와 HSDPA에 연결된 휴대전화에 동시에 서비스되고 있는 경우를 가정하고 두 가지 경로가 나누어지는 경로에 MANE가 있다고 생각하면, HSDPA 채널의 채널 상태변화가 3GPP의 방송 센터(BMSC)와 같은 MANE가 B-NAL 레지스터를 구비할 수도 있다. 상기 예에서 가용 비트율이 5Mbps이고 사용자가 음영 지역으로 진행하여 가용 비트율일 2Mbps까지 감소하고 패킷손실율이 커졌다면, 이러한 네트워크 상태 정보는 MANE의 B-NAL 레지스터에 기록된다. 이 경우 MANE는 이에 따라 SVC의 낮은 계층 영상만 포워딩하고 손실율 극복을 위해 필요한 만큼의 FEC 패킷을 생성하여 전송할 수 있다. 이때 전송되는 미디어 데이터와 상기 FEC 패킷의 합이 2Mbps 이내가 되어야 할 것이다.
랜덤 엑세스(Random access)는 만일 새로 브로드캐스트 또는 멀티캐스트에 연결한 경우에는 서버에 요청하여 초기 호설정에 필요한 데이터를 1:1 통신으로 받을 수 있다. 또는 서버가 정기적으로 랜덤 엑세스에 필요한 정보를 전송할 수 있다. 24시간 계속되는 서비스라면 정해진 디폴트 T NAL이 정의되어 있으면 된다.
한편, 사용자가 패킷의 QoS를 요구하는 경우, 상기 사용자 요구 QoS는 사용자측 응용계층이 제공하는 UI(User Interface)로 인식된다. 유니캐스트인 경우에는 상기 요구 사항은 시그널링을 통해 송신측 B-NAL 레지스터에 기록되고, 멀티캐스트인 경우에는 사용자 단말에 입력되는 트래픽을 관리하는 MANE의 B-NAL 레지스터에 기록된다. 사용자의 요구 사항이 네트워크가 제공할 수 있는 QoS 범위를 초과 때에는 네트워크가 제공할 수 있는 범위까지로 서비스를 제한한다. 반면 사용자의 요구사항이 네트워크가 제공할 수 있는 범위보다 적으면 사용자의 요구대로 서비스를 제공한다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허 청구의 범위뿐만 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (11)

  1. 멀티미디어 데이터 패킷을 송신하는 방법에 있어서,
    네트워크 엔터티로부터 상향 네트워크 추상화 계층 정보(B-NAL) 정보를 수신하는 과정과,
    상기 수신된 B-NAL 정보에 따라 미디어 데이터의 품질을 결정하고, 상기 결정된 품질을 가지는 미디어 데이터를 생성하는 과정과,
    상기 생성된 미디어 데이터에 대한 패킷을 생성하여 송신하는 과정을 포함하는 멀티미디어 데이터 패킷 송신 방법.
  2. 제 1 항에 있어서, 상기 B-NAL 정보는,
    상기 네트워크 엔터티가 생성한 네트워크 상태 정보임을 특징으로 하는 멀티미디어 데이터 패킷 송신 방법.
  3. 제 1 항에 있어서, 상기 B-NAL 정보는,
    단말이 요청하는 서비스 품질 정보 및 제어 정보 중 적어도 하나임을 특징으로 하는 멀티미디어 데이터 패킷 송신 방법.
  4. 제 1 항에 있어서, 상기 패킷은,
    상기 생성된 미디어 데이터와 상기 생성된 미디어 데이터에 대한 라벨 정보를 포함함을 특징으로 하는 멀티미디어 데이터 패킷 송신 방법.
  5. 제 4 항에 있어서, 상기 라벨 정보는,
    하위 네트워크에서 상기 패킷의 중요도, 우선 순위 및 자원 예약 상태 중 적어도 하나를 인식하는데 이용되는 정보임을 특징으로 하는 멀티미디어 데이터 패킷 송신 방법.
  6. 멀티미디어 데이터 패킷을 송신하는 장치에 있어서,
    네트워크 엔터티로부터 상향 네트워크 추상화 계층 정보(B-NAL) 정보를 수신하는 레지스터와,
    상기 수신된 B-NAL 정보에 따라 미디어 데이터의 품질을 결정하고, 상기 결정된 품질을 가지는 미디어 데이터를 생성하는 미디어 데이터 생성부와,
    상기 생성된 미디어 데이터에 대한 패킷을 생성하여 상기 네트워크 엔터티로 송신하는 패킷 생성부를 포함하는 멀티미디어 데이터 패킷 송신 장치.
  7. 제 6 항에 있어서, 상기 미디어 데이터 생성부,
    상기 수신된 B-NAL 정보에 따라 미디어 데이터의 품질을 결정하는 상호 계층 최적화부와,
    상기 결정된 품질을 가지는 미디어 데이터를 생성하는 미디어 데이터 공급부를 포함하는 멀티미디어 데이터 패킷 송신 장치.
  8. 제 6 항에 있어서, 상기 B-NAL 정보는,
    상기 네트워크 엔터티가 생성한 네트워크 상태 정보임을 특징으로 하는 멀티미디어 데이터 패킷 송신 장치.
  9. 제 6 항에 있어서, 상기 B-NAL 정보는,
    단말이 요청하는 서비스 품질 정보 및 제어 정보 중 적어도 하나임을 특징으로 하는 멀티미디어 데이터 패킷 송신 장치.
  10. 제 6 항에 있어서, 상기 패킷은,
    상기 생성된 미디어 데이터와 상기 생성된 미디어 데이터에 대한 라벨 정보를 포함함을 특징으로 하는 멀티미디어 데이터 패킷 송신 장치.
  11. 제 10 항에 있어서, 상기 라벨 정보는,
    하위 네트워크에서 상기 패킷의 중요도, 우선 순위 및 자원 예약 상태 중 적어도 하나를 인식하는데 이용되는 정보임을 특징으로 하는 멀티미디어 데이터 패킷 송신 장치.
PCT/KR2012/000499 2011-01-19 2012-01-19 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치 WO2012099417A2 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
AU2012207713A AU2012207713B2 (en) 2011-01-19 2012-01-19 Method and apparatus for transmitting a multimedia data packet using cross-layer optimization
EP12736439.6A EP2667623A4 (en) 2011-01-19 2012-01-19 METHOD AND APPARATUS FOR TRANSMITTING A MULTIMEDIA DATA PACKET USING INTERLAYER OPTIMIZATION
US13/980,485 US9584441B2 (en) 2011-01-19 2012-01-19 Method and apparatus for transmitting a multimedia data packet using cross-layer optimization
JP2013550406A JP2014509113A (ja) 2011-01-19 2012-01-19 相互階層最適化を用いた、マルチメディアデータパケットを送信する方法及び装置
CN2012800140472A CN103430562A (zh) 2011-01-19 2012-01-19 使用跨层优化发送多媒体数据封包的方法和装置
US15/441,662 US10630603B2 (en) 2011-01-19 2017-02-24 Method and apparatus for transmitting a multimedia data packet using cross-layer optimization
US16/848,098 US11316799B2 (en) 2011-01-19 2020-04-14 Method and apparatus for transmitting a multimedia data packet using cross-layer optimization

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0005262 2011-01-19
KR1020110005262A KR101744355B1 (ko) 2011-01-19 2011-01-19 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/980,485 A-371-Of-International US9584441B2 (en) 2011-01-19 2012-01-19 Method and apparatus for transmitting a multimedia data packet using cross-layer optimization
US15/441,662 Continuation US10630603B2 (en) 2011-01-19 2017-02-24 Method and apparatus for transmitting a multimedia data packet using cross-layer optimization

Publications (2)

Publication Number Publication Date
WO2012099417A2 true WO2012099417A2 (ko) 2012-07-26
WO2012099417A3 WO2012099417A3 (ko) 2012-11-22

Family

ID=46516250

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/000499 WO2012099417A2 (ko) 2011-01-19 2012-01-19 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치

Country Status (7)

Country Link
US (3) US9584441B2 (ko)
EP (1) EP2667623A4 (ko)
JP (1) JP2014509113A (ko)
KR (1) KR101744355B1 (ko)
CN (2) CN109905729B (ko)
AU (1) AU2012207713B2 (ko)
WO (1) WO2012099417A2 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120084202A (ko) * 2011-01-19 2012-07-27 삼성전자주식회사 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
KR101744355B1 (ko) 2011-01-19 2017-06-08 삼성전자주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
US9300584B1 (en) * 2012-03-27 2016-03-29 Cisco Technology, Inc. Expanded quality of service processing of multiprotocol label switching (MPLS) packets
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
CN109076260A (zh) * 2016-05-05 2018-12-21 华为技术有限公司 视频业务的传输方法和装置
KR102041996B1 (ko) * 2017-05-31 2019-11-07 한국전자통신연구원 이동 통신 시스템에서의 통신 방법 및 장치
CN114979086A (zh) * 2021-02-25 2022-08-30 华为云计算技术有限公司 流媒体传输方法及装置
CN115250383A (zh) * 2021-04-27 2022-10-28 华为技术有限公司 一种流媒体数据传输的方法及相关设备

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496510B1 (en) * 1997-11-14 2002-12-17 Hitachi, Ltd. Scalable cluster-type router device and configuring method thereof
JP2002141945A (ja) 2000-11-06 2002-05-17 Sony Corp データ送信装置、およびデータ送信方法、並びにプログラム記憶媒体
US7027523B2 (en) 2001-06-22 2006-04-11 Qualcomm Incorporated Method and apparatus for transmitting data in a time division duplexed (TDD) communication system
JP2003152544A (ja) * 2001-11-12 2003-05-23 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
EP1454250A4 (en) 2001-12-15 2010-08-25 Thomson Licensing SYSTEM AND METHOD FOR MODIFYING A VIDEO DATA FLOW BASED ON A CLIENT OR NETWORK ENVIRONMENT
JP4150951B2 (ja) 2002-02-19 2008-09-17 ソニー株式会社 動画配信システム、動画配信装置および方法、並びにプログラム
JP4381749B2 (ja) 2002-09-19 2009-12-09 パナソニック株式会社 無線通信装置及び無線通信方法
KR100992002B1 (ko) 2002-12-04 2010-11-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 계층화된 미디어 비트스트림의 패킷화
JP4100182B2 (ja) * 2003-01-30 2008-06-11 松下電器産業株式会社 通信端末装置及びその制御方法
CN101668215A (zh) * 2003-02-18 2010-03-10 诺基亚有限公司 图像解码方法
JP2005204157A (ja) * 2004-01-16 2005-07-28 Nippon Telegr & Teleph Corp <Ntt> ストリームフィルタリングシステムとコンテンツ配信システムおよびストリームフィルタリング方法ならびにプログラム
CN100362782C (zh) * 2004-08-24 2008-01-16 华为技术有限公司 对丢失数据单元进行恢复的方法
KR20060122663A (ko) * 2005-05-26 2006-11-30 엘지전자 주식회사 영상신호의 엔코딩 및 디코딩에서의 픽처 정보를 전송하고이를 이용하는 방법
US7747921B2 (en) * 2005-08-05 2010-06-29 Sony Corporation Systems and methods for transmitting data over lossy networks
CN101313578B (zh) * 2005-09-26 2011-10-19 韩国电子通信研究院 用于在可伸缩视频编码中定义和重构感兴趣区域的方法和装置
KR100724825B1 (ko) * 2005-11-17 2007-06-04 삼성전자주식회사 스케일러블 비디오 코딩에서 다차원 스케일러빌리티에 따른 조건적 접근제어를 위한 스케일러블 비디오 비트스트림 암복호화 방법 및 암복호화 시스템
KR100770849B1 (ko) * 2006-02-17 2007-10-26 삼성전자주식회사 무선 페이딩 환경에서의 압축된 비디오 정합 장치 및 방법
KR101330631B1 (ko) * 2006-08-21 2013-11-18 삼성전자주식회사 통신 환경에 대한 정보를 이용한 데이터 전송 방법 및 장치
KR100785078B1 (ko) * 2006-09-07 2007-12-12 삼성전자주식회사 설정환경 알림 기능을 구비한 호스트장치 및 그 방법
US8630355B2 (en) * 2006-12-22 2014-01-14 Qualcomm Incorporated Multimedia data reorganization between base layer and enhancement layer
CN101543018B (zh) * 2007-01-12 2012-12-26 庆熙大学校产学协力团 网络提取层单元的分组格式、使用该格式的视频编解码算法和装置以及使用该格式进行IPv6标签交换的QoS控制算法和装置
KR101125846B1 (ko) 2007-03-23 2012-03-28 삼성전자주식회사 패킷 기반의 영상 프레임 전송 방법 및 장치
CN101558589B (zh) 2007-05-14 2015-11-25 三星电子株式会社 用于发送广播的方法和设备、用于接收广播的方法和设备
KR20090004659A (ko) * 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
CN101785218B (zh) 2007-08-22 2015-10-07 Lg电子株式会社 在无线通信系统中分配无线资源的方法
US8259575B2 (en) 2007-10-17 2012-09-04 Samsung Techwin Co., Ltd. Internet network apparatus and method of transferring data using the same
KR100919216B1 (ko) 2007-11-14 2009-09-28 (주)씨디네트웍스 데이터 송신 방법, 수신 방법 및 그 장치
WO2009154656A1 (en) * 2008-06-17 2009-12-23 Thomson Licensing Network abstraction layer (nal)-aware multiplexer with feedback
CN101753546B (zh) * 2008-12-16 2012-10-31 中国移动通信集团公司 一种数据包传送方法及装置
CN102342127A (zh) 2009-01-28 2012-02-01 诺基亚公司 用于视频编码和解码的方法和装置
US8223705B2 (en) 2009-03-02 2012-07-17 Mitsubishi Electric Research Laboratories, Inc. Method for optimizing performance in multi-cell OFDMA networks
US20130272121A1 (en) * 2012-04-17 2013-10-17 Cygnus Broadband, Inc. Systems and methods for application-aware admission control in a communication network
WO2011068355A2 (ko) * 2009-12-01 2011-06-09 삼성전자 주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
US20130003579A1 (en) * 2010-01-28 2013-01-03 Thomson Licensing Llc Method and apparatus for parsing a network abstraction-layer for reliable data communication
EP2529502A1 (en) * 2010-01-28 2012-12-05 Thomson Licensing A method and apparatus for retransmission decision making
US9131033B2 (en) * 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
US8190677B2 (en) * 2010-07-23 2012-05-29 Seawell Networks Inc. Methods and systems for scalable video delivery
US9264720B2 (en) * 2010-10-08 2016-02-16 Samsung Electronics Co., Ltd Apparatus and method for multimedia service
KR101744355B1 (ko) * 2011-01-19 2017-06-08 삼성전자주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None

Also Published As

Publication number Publication date
EP2667623A4 (en) 2015-03-18
JP2014509113A (ja) 2014-04-10
US10630603B2 (en) 2020-04-21
AU2012207713A1 (en) 2013-08-29
US20130286885A1 (en) 2013-10-31
CN109905729A (zh) 2019-06-18
KR101744355B1 (ko) 2017-06-08
CN103430562A (zh) 2013-12-04
KR20120083992A (ko) 2012-07-27
AU2012207713A2 (en) 2013-11-14
WO2012099417A3 (ko) 2012-11-22
US20200244593A1 (en) 2020-07-30
AU2012207713B2 (en) 2016-05-12
EP2667623A2 (en) 2013-11-27
CN109905729B (zh) 2021-07-30
US20170163561A1 (en) 2017-06-08
US11316799B2 (en) 2022-04-26
AU2012207713A8 (en) 2013-09-26
US9584441B2 (en) 2017-02-28

Similar Documents

Publication Publication Date Title
WO2011068355A2 (ko) 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
WO2012099417A2 (ko) 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
WO2012173396A2 (en) Method and apparatus for transmitting data packet of multimedia service using media characteristics
WO2012099421A2 (ko) 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
WO2011132937A2 (en) Interface apparatus and method for transmitting and receiving media data
WO2013055176A1 (en) Apparatus and method for transmitting multimedia data in hybrid network
WO2014014269A1 (ko) 멀티미디어 데이터의 전송 특징 정보 전달 방법 및 장치
CN101741752B (zh) 视频流传输的方法、装置和系统
KR102060410B1 (ko) 멀티미디어 데이터 패킷을 수신하는 방법 및 장치
KR102014882B1 (ko) 멀티미디어 데이터 패킷을 송신하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12736439

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 2013550406

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13980485

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012736439

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2012207713

Country of ref document: AU

Date of ref document: 20120119

Kind code of ref document: A