WO2016035923A1 - 영상 스트림 제공 방법 및 시스템과 중계 장치 - Google Patents

영상 스트림 제공 방법 및 시스템과 중계 장치 Download PDF

Info

Publication number
WO2016035923A1
WO2016035923A1 PCT/KR2014/009610 KR2014009610W WO2016035923A1 WO 2016035923 A1 WO2016035923 A1 WO 2016035923A1 KR 2014009610 W KR2014009610 W KR 2014009610W WO 2016035923 A1 WO2016035923 A1 WO 2016035923A1
Authority
WO
WIPO (PCT)
Prior art keywords
layer level
video stream
maximum
network
receiving terminal
Prior art date
Application number
PCT/KR2014/009610
Other languages
English (en)
French (fr)
Inventor
나영태
박수환
오보리
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Publication of WO2016035923A1 publication Critical patent/WO2016035923A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42684—Client identification by a unique number or address, e.g. serial number, MAC address, socket ID
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6338—Control signals issued by server directed to the network components or client directed to network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6371—Control signals issued by the client directed to the server or network components directed to network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64707—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless for transferring content from a first network to a second network, e.g. between IP and wireless

Definitions

  • the present invention relates to a method and system for providing a video stream and a relay device. More specifically, the present invention relates to a video stream providing method and system and a relay apparatus for providing a video stream including different video stream data for each of a plurality of layers.
  • VoIP Voice over internet Protocol
  • real-time streaming services such as professional baseball live streaming for mobile devices are also being activated.
  • a scalable video codec may be used to transmit a video stream to a plurality of users.
  • a scalable video codec such as H.264 SVC can transmit one video stream composed of multiple layers.
  • a transmitting device transmits one video stream to a relay device, and a plurality of receiving terminals connect to the relay device to receive the video stream.
  • the relay apparatus In order to provide an image stream using a plurality of layers, such as a scalable image codec, the relay apparatus must perform a process such as filtering.
  • the relay apparatus may perform a filtering process to select a layer for transmission for each receiving terminal.
  • the relay device must be composed of a plurality of layers for the filtering process to parse all or almost all of the video stream data transmitted from the transmitting device.
  • Technical problem to be solved by an embodiment of the present invention is an image that can remove or reduce the computational cost required for parsing (parsing) in the service for providing a video stream including different video stream data for a plurality of layers It is to provide a stream providing method and system and a relay device.
  • the technical problem to be solved by an embodiment of the present invention is a video stream providing method and system and a relay device that can improve the performance of the relay device in a service for providing a video stream including different video stream data for each of a plurality of layers To provide.
  • a video stream providing method according to the first aspect (ASPECT) of the method for providing a video stream including different video stream data for each of a plurality of layers (Layer), the first network Receiving from the transmitting apparatus the maximum transmittable layer level determined based on the state; Receiving from the first receiving terminal a first maximum receivable layer level determined based on the second state of the network; Receiving a second maximum receivable layer level determined from the second receiving terminal based on the second network state; And relaying the video stream using the maximum transmittable layer level, the first maximum receivable layer level, and the second maximum receivable layer level.
  • ASPECT first aspect
  • the relaying may be performed at the first maximum receivable layer level.
  • the video stream may be relayed to the first receiving terminal, and the video stream may be relayed to the second receiving terminal at the second maximum receivable layer level.
  • the relaying may be performed at the first maximum receivable layer level.
  • the video stream may be relayed to the first receiving terminal, and the video stream may be relayed to the second receiving terminal at the maximum transmittable layer level.
  • the first network is a network between the transmitting device and the relay device, and the first network state is packet loss, jitter, and delay in the first network. Can be determined using at least one of.
  • the second a network is a network between the first receiving terminal and the relay device
  • the second b network is a network between the second receiving terminal and the relay device
  • the second a network state is the second network.
  • the packet loss, jitter and delay in the 2a network may be determined using at least one of the packet loss, jitter and delay in the second network.
  • the video stream may be generated to include different video stream data for each of the plurality of layers by using a scalable video codec (SVC).
  • SVC scalable video codec
  • the relaying may include: receiving the maximum transmittable layer level and the first maximum reception without performing a filtering process for selecting a layer for the video stream relay for each receiving terminal;
  • the video stream may be relayed using a possible layer level and the second maximum receivable layer level.
  • a video stream providing system which provides a video stream including different video stream data for each of a plurality of layers.
  • a relay device for providing a communication channel; And a transmitting device for transmitting the maximum transmittable layer level for transmitting the video stream to the relay device based on a first network state, and transmitting the video stream to the relay device, wherein the relay device includes a second network.
  • a reception layer level receiver which receives a first maximum receivable layer level determined based on a state from a first receiving terminal, and receives a second maximum receivable layer level determined based on a second network state from a second receiving terminal; And a video stream relay unit configured to relay the video stream using a maximum transmittable layer level, the first maximum receivable layer level, and the second maximum receivable layer level.
  • the transmitting device obtains information about the first maximum receivable layer level and the second maximum receivable layer level, and the first maximum receivable layer level and the second maximum receivable.
  • the maximum transmittable layer level may be determined to be the same as the highest level and transmitted to the relay device.
  • a relay apparatus for providing an image stream including different image stream data for each of a plurality of layers, the first network state
  • a transmission layer level receiver configured to receive the maximum transmittable layer level determined based on the first transmission layer level
  • Receive layer level for receiving from the first receiving terminal a first maximum receivable layer level determined based on the 2a network state, and receiving a second maximum receivable layer level determined based on the 2b network state from the second receiving terminal.
  • ASPECT computer program according to the fourth aspect (ASPECT) of the present invention for achieving the above technical problem is combined with hardware, to provide a video stream comprising different video stream data for each of a plurality of layers (Layer), Receiving from the transmitting apparatus the maximum transmittable layer level determined based on the first network condition; Receiving from the first receiving terminal a first maximum receivable layer level determined based on the second state of the network; Receiving a second maximum receivable layer level determined from the second receiving terminal based on the second network state; And relaying the video stream by using the maximum transmittable layer level, the first maximum receivable layer level, and the second maximum receivable layer level. It may be.
  • a relay device in a service for providing an image stream including different image stream data for each of a plurality of layers, may remove or reduce an operation cost required for parsing.
  • FIG. 1 is a block diagram of a system for providing a video stream according to an embodiment of the present invention.
  • FIGS. 2 and 3 illustrate a method in which a scalable video codec technology provides a video stream having a different quality for each receiving terminal by using a plurality of layers.
  • FIG. 4 is a diagram illustrating an example of a communication channel provided for each layer by a relay device.
  • FIG. 5 is a flowchart illustrating a video stream providing method according to another embodiment of the present invention.
  • FIG. 6 is a diagram for explaining a first network.
  • FIG. 7 is a diagram for describing a second network.
  • FIG. 8 is a flowchart illustrating a specific application of a video stream providing method according to another embodiment of the present invention.
  • FIG. 9 is a block diagram illustrating a relay apparatus according to another embodiment of the present invention.
  • FIG. 10 is another configuration diagram of a relay device according to another embodiment of the present invention.
  • FIG. 1 is a block diagram of a system for providing a video stream according to an embodiment of the present invention.
  • a video stream providing system includes a transmitting device 100 and a relay device 200, and includes a plurality of receiving terminals 300 receiving a video stream. Can be.
  • the transmitting device 100 transmits an image stream to the relay device 200.
  • the relay device 200 may transmit the video stream received from the transmitting device 100 to the plurality of receiving terminals 300.
  • the transmitting device 100 may transmit to the plurality of receiving terminals 300 through the relay device 200.
  • Each of the receiving terminals 310, 320, and 330 included in the receiving terminals 300 may receive a video stream through the relay device 200.
  • the video stream system according to an embodiment of the present invention does not exclude the application even when there is only one receiving terminal.
  • the video stream providing system can be used more effectively in a service for providing a video stream using a plurality of layers 10 such as a scalable video codec (SVC). have.
  • SVC scalable video codec
  • the video stream system provides a video stream providing service using the scalable video codec described above, rather than a video streaming service in which a user selects any one of low quality, medium quality, and high quality to receive an image stream. Can be applied more effectively.
  • the video streaming service in which the user selects one of low, medium, and high quality to provide a video stream, provides high quality video stream data when the user selects high quality, and the video is interrupted when the network environment is not good. This happens.
  • the video stream system does not select the quality of the video, but provides the video streaming by adjusting the quality of the video in real time or periodically in consideration of the network environment, thereby reducing the quality of the video. Even if the video is interrupted rarely.
  • FIGS. 2 and 3 illustrate a method in which a scalable video codec technology provides a video stream having a different quality for each receiving terminal using a plurality of layers 10.
  • the plurality of layers 10 may have two to eight or more layers, but the first layer 11, the second layer 12, the third layer 13, and the fourth layer in FIGS. 2 and 3.
  • the case of including the layer 14 will be described as an example.
  • the transmitting device 100 transmits an image stream to the receiving terminal through the relay device 200 using the first layer 11 to the fourth layer 14.
  • the receiving terminal may receive the first video stream data 21 using the first layer 11.
  • the receiving terminal may receive the first video stream data 21 and the second video stream data 22 using the first layer 11 and the second layer 12.
  • the receiving terminal may use the first layer 11, the second layer 12, and the third layer 13 to transmit the first video stream data 21, the second video stream data 22, and the third video stream. Data 23 may be received.
  • the receiving terminal uses the first layer 11, the second layer 12, the third layer 13, and the fourth layer 14 to transmit the first image stream data 21 and the second image stream data ( 22) the third video stream data 23 and the fourth video data may be received.
  • the receiving terminal when the receiving terminal receives only the first image stream data 21 using the first layer 11, the receiving terminal selects the first layer 11 and the second layer 12 rather than the quality of the received image.
  • the quality of the received video may be better.
  • the first layer 11 is higher than the quality of the received image.
  • the first image stream data 21, the second image stream data 22, and the third image stream data 23 are received using the second layer 12 and the third layer 13. You can see that the quality of the image is better.
  • first image stream data 21, the second image stream data 22, and the third image data are received using the first layer 11, the second layer 12, and the third layer 13.
  • the first image stream data 21 and the second image stream using the first layer 11, the second layer 12, the third layer 13, and the fourth layer 14 than the quality of the received image.
  • the receiving terminal may receive a higher quality image when receiving more image stream data using the upper layer than when receiving only the first image stream data 21 using the first layer 11. Can be.
  • a scalable video codec technique generates and encodes a first video stream data 21, a second video stream data 22, a third video stream data 23, and a fourth video stream data 24. Do it. That is, the data obtained by combining the first video stream data 21, the second video stream data 22, the third video stream data 23, and the fourth video stream data 24 is the best in the video using the scalable video codec technology. It may be the same as the data encoded at the resolution. Although the first video stream data 21 can reproduce an image using only the first video stream data 21, the video quality such as resolution is poor. As the video stream data received using the upper layer is added, the first video stream data 21 is closer to the highest video quality. Can lose.
  • transmitting or receiving a video stream at the n-th layer level means “transmitting or receiving a video stream using the n-th layer and sublayers of the n-th layer.” Include.
  • the transmitting device 100 transmits an image stream 32 at the level of the fourth layer 14 to the first receiving terminal 310 through the relay device 200
  • the first layer 11 may be used.
  • FIG. 4 is a diagram illustrating an example of a communication channel provided for each layer by the relay apparatus 200.
  • the relay device 200 may set a channel 40 corresponding to each layer.
  • the relay device 200 provides a channel 1 41, which is a communication channel for transmitting the first video stream data 21 using the first layer 11.
  • the relay apparatus 200 provides a channel 2 42, which is a communication channel for transmitting the second image stream data 22 using the second layer 12.
  • the relay apparatus 200 provides a channel 3 43, which is a communication channel for transmitting the third image stream data 23 using the third layer 13.
  • the relay apparatus 200 provides a channel 4 44, which is a communication channel for transmitting the fourth image stream data 24 using the fourth layer 14.
  • the relay device 200 may include the first channel 41 and the second channel.
  • the video stream is relayed through the 42 and third channels 43.
  • FIGS. 1 to 4 may be applied to a video stream providing method according to another exemplary embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a video stream providing method according to another embodiment of the present invention.
  • a receiving terminal will be described with an example that a first receiving terminal 310, a second receiving terminal 320, and a third receiving terminal 330 exist.
  • the scope of application of the present invention is not limited to three receiving terminals, and it is obvious that all of them may be applied even when one receiving terminal, two receiving terminals, and three or more receiving terminals exist.
  • the transmitter 100 determines the state of the first network 61 (S505).
  • the first network 61 will be described with reference to FIG. 6.
  • FIG. 6 is a diagram for explaining the first network 61.
  • the first network 61 refers to a network between the transmitting device 100 and the relay device 200.
  • the transmitter 100 may determine the state of the first network 61 using at least one of packet loss, jitter, and delay in the first network 61. .
  • the state of the first network 61 may be determined based on various performance factors such as hardware specifications, bandwidth, and load of data processing of the transmitting apparatus 100 and the relay apparatus 200.
  • the transmitter 100 determines a layer level capable of transmitting the video stream as much as possible based on the identified state of the first network 61.
  • the transmitting device 100 transmits the determined maximum transmittable layer level to the relay device 200 (S510).
  • the relay device 200 receives the maximum transmittable layer level from the transmitter 100 and registers the maximum transmittable layer level of the transmitter 100 (S515).
  • the first receiving terminal 310 determines the state of the second a network 71a (S520).
  • the second receiving terminal 320 detects the state of the second b network 71b (S535).
  • the third receiving terminal 330 determines the state of the second c network 71c (S550).
  • the second a network 71a, the second b network 71b, and the second c network 71c are networks included in the second network 71.
  • the 2a network 71a, the 2b network 71b, and the 2c network 71c included in the second network 71 and the second network 71 will be described with reference to FIGS. 7 and 8.
  • FIG. 7 is a diagram for describing the second network 71.
  • the second network 71 refers to a network between the relay device 200 and the receiving terminal.
  • the second network 71 includes a second a network 71a, a second b network 71b, and a second c network 71c.
  • the network between the relay device 200 and the first receiving terminal 310 is referred to as a second a network 71a.
  • the network between the relay device 200 and the second receiving terminal 320 is referred to as a second b network 71b.
  • the network between the relay device 200 and the third receiving terminal 330 is referred to as a second c network 71c.
  • Each receiving terminal transmits its respective second network 71 state information (2a network 71a, 2b network 71b, 2c network 71c) to packet loss, jitter and It can be determined using at least one of the delays.
  • the state of the second network 71 may determine the network state based on various performance factors such as hardware specifications, bandwidth, and load of data processing of the transmitting device 100 and the relay device 200.
  • the first receiving terminal 310 may be configured by considering packet loss, jitter, delay, hardware specifications, bandwidth, and / or data processing load in the network between the relay apparatus 200 and the first receiving terminal 310.
  • the state of 2a network 71a can be grasped.
  • the second receiving terminal 320 may consider the packet loss, jitter, delay, hardware specification, bandwidth, and / or data processing load, etc. in the network between the relay device 200 and the second receiving terminal 320. 71b) Know the status.
  • the third receiving terminal 330 may consider packet loss, jitter, delay, hardware specification, bandwidth and / or data processing load, etc. in the network between the relay device 200 and the third receiving terminal 330.
  • the state of the network 71c can be grasped.
  • the first receiving terminal 310 is the maximum receivable layer level at which the first receiving terminal 310 can receive an image stream using the identified state 2a network 71a. 1 Determine the maximum receivable layer level. The first receiving terminal 310 transmits the determined first maximum receivable layer level to the relay device 200 (S525).
  • the relay device 200 registers a first maximum receivable layer level that is the maximum receivable layer level of the first receiving terminal 310 (S530).
  • the second receiving terminal 320 determines the second maximum receivable layer level, which is the maximum receivable layer level at which the second receiving terminal 320 can receive the video stream, using the identified state of the 2b network 71b. do.
  • the second receiving terminal 320 transmits the determined second maximum receivable layer level to the relay device 200 (S540).
  • the relay device 200 registers a second maximum receivable layer level that is the maximum receivable layer level of the second receiving terminal 320 (S545).
  • the third receiving terminal 330 determines the third maximum receivable layer level, which is the maximum receivable layer level at which the third receiving terminal 330 can receive the video stream, using the identified state of the second c network 71c. do.
  • the third receiving terminal 330 transmits the determined third maximum receivable layer level to the relay device 200 (S555).
  • the relay device 200 registers a third maximum receivable layer level, which is the maximum receivable layer level of the third receiving terminal 330 (S560).
  • the relay device 200 relays the video stream using the registered maximum transmittable layer level, the first maximum receivable layer level, the second maximum receivable layer level, and the third maximum receivable layer level (S265).
  • the relay apparatus 200 may move to the first maximum receivable layer level.
  • the video stream is relayed to the first receiving terminal 310.
  • the relay device 200 relays the video stream to the second receiving terminal 320 at the second maximum receivable layer level.
  • the relay device 200 relays the video stream to the third receiving terminal 330 at the third maximum receivable layer level.
  • the video stream is relayed to the specific transmittable layer level.
  • FIG. 8 is a flowchart illustrating a specific application of a video stream providing method according to another embodiment of the present invention.
  • the maximum transmittable layer level of the transmitting device 100 is the third layer (S510a).
  • the first maximum receivable layer level of the first receiving terminal 310 is the first layer (S525a).
  • the second maximum receivable layer level of the second receiving terminal 320 is the third layer (S540a).
  • the third maximum receivable layer level of the third receiving terminal 330 is the fourth layer (S555a).
  • the relay device 200 may include a maximum transmittable layer level (third layer), a first maximum receivable layer level (first layer), a second maximum receivable layer level (third layer), and a third maximum receivable layer level.
  • the video stream is relayed using the (fourth layer).
  • the relay device 200 may receive a maximum of a first maximum receivable layer (first layer) and a second maximum receivable layer level (third layer) that are at or below a maximum transmittable layer level (third layer). Relay video stream at layer level.
  • the relay device 200 relays the video stream to the first receiving terminal 310 at the first layer level (S565a).
  • the relay device 200 relays the video stream to the third receiving terminal 330 at the third layer level (S565b). That is, the relay device 200 relays the video stream to the third receiving terminal 330 by using the first layer, the second layer, and the third layer.
  • the relay device 200 is at the maximum transmittable layer level.
  • the video stream is relayed to the third receiving terminal 330.
  • the relay device 200 relays the video stream to the third receiving terminal 330 at the third layer level (S565c).
  • the relay device 200 receives the third reception at the third layer level.
  • the video stream is relayed to the terminal 330. Since all receiving terminals do not require a level above the third layer, the fourth layer is not used. Therefore, the relay device 200 may drop the communication channel 4 allocated to the fourth layer and may not temporarily use it.
  • the transmitting apparatus 100 sets the maximum transmittable layer level to a third layer level, which is a layer level corresponding to the highest level among the maximum receivable layers of each receiving terminal. It may transmit to the relay device 200.
  • FIG. 9 is a block diagram illustrating a relay apparatus 200 according to another embodiment of the present invention.
  • the relay device 200 may include a transmission layer level receiver 210, a reception layer level receiver 220, a transmission and reception layer level register 230, and an image stream relay unit ( 240).
  • the transmission layer level receiver 210 may receive the maximum transmittable layer level of the transmitter 100 from the transmitter 100.
  • the reception layer level receiver 220 may receive a maximum reception layer level for each terminal from the transmitter 100.
  • the transmit / receive layer level register 230 registers the maximum transmittable layer level received by the transmit layer level receiver 210. In addition, the transceiving layer level register 230 registers the maximum receivable layer level for each terminal.
  • the video stream relay 240 relays the video stream to each terminal using the maximum transmittable layer level registered in the transmit / receive layer level register 230 and the maximum receivable layer level for each terminal.
  • relay device 200 For more detailed information about the relay device 200 according to another embodiment of the present invention can be understood with reference to the contents of the video stream providing system and method described with reference to FIGS.
  • FIG 10 is another configuration diagram of the relay apparatus 200 according to another embodiment of the present invention.
  • the relay device 200 may have a configuration shown in FIG. 10.
  • the relay device 200 may include a processor 1 for executing instructions, a memory 2 such as RAM, a storage 3 for storing program data, a network interface 4 for transmitting and receiving data with an external device, and a processor 1. ) And a data bus 5 connected to the memory 2 to become a data movement path.
  • the relay device 200 may remove or reduce an operation cost required for parsing.
  • a process such as filtering is required.
  • Processes such as filtering require the parsing of all or nearly all data.
  • the present invention does not require parsing or only needs to perform parsing up to the channel level. Therefore, the present invention can reduce the computational cost required for parsing and the like and improve the performance of the relay apparatus 200.
  • Each component of FIG. 9 may refer to software or hardware such as a field-programmable gate array (FPGA) or an application-specific integrated circuit (ASIC).
  • FPGA field-programmable gate array
  • ASIC application-specific integrated circuit
  • the components are not limited to software or hardware, and may be configured to be in an addressable storage medium and may be configured to execute one or more processors.
  • the functions provided in the above components may be implemented by more detailed components, or may be implemented as one component that performs a specific function by combining a plurality of components.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Power Engineering (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

본 발명의 실시예에 따른 영상 스트림 제공 방법은 복수 개의 레이어(Layer)마다 서로 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 방법에 있어서, 제1 네트워크 상태에 기반하여 결정된 최대 송신 가능 레이어 수준을 송신 장치로부터 수신하는 단계; 제2a 네트워크 상태에 기반하여 결정된 제1 최대 수신 가능 레이어 수준을 제1 수신 단말로부터 수신하는 단계; 제2b 네트워크 상태에 기반하여 결정된 제2 최대 수신 가능 레이어 수준을 제2 수신 단말로부터 수신하는 단계; 및 상기 최대 송신 가능 레이어 수준, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준을 이용하여 상기 영상 스트림을 중계하는 단계를 포함할 수 있다.

Description

영상 스트림 제공 방법 및 시스템과 중계 장치
본 발명은 영상 스트림 제공 방법 및 시스템과 중계 장치에 관한 것이다. 보다 상세하게는, 본 발명은 복수 개의 레이어(Layer)마다 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 영상 스트림 제공 방법 및 시스템과 중계 장치에 관한 것이다.
모바일 디바이스의 발전과 모바일 네트워크의 발전으로 인하여 모바일 디바이스를 이용하여 여러 사용자 간에 영상을 실시간으로 주고 받는 모바일 VoIP(Voice over internet Protocol) 서비스가 활성화되고 있다. 또한, 모바일 디바이스를 대상으로 프로 야구 생중계 등과 같은 실시간 스트리밍 서비스도 활성화되고 있다.
영상 스트림(Video Stream)을 다수의 사용자에게 전송하기 위해 스케일러블 영상 코덱(SVC, Scalable Video Codec)을 사용할 수 있다. H.264 SVC와 같은 스케일러블 영상 코덱은 하나의 영상 스트림을 다수의 레이어로 구성하여 전송할 수 있다.
스케일러블 영상 코덱을 이용한 영상 스트림 제공 기술은 송신 장치가 하나의 영상 스트림을 중계 장치로 전송하고, 복수의 수신 단말은 중계 장치로 접속을 하여 영상 스트림을 수신하는 방식으로 동작한다.
스케일러블 영상 코덱 등과 같이 다수의 레이어를 이용하여 영상 스트림을 제공하기 위해서는 중계 장치가 필터링(Filtering) 등의 과정을 수행하여야 한다.
구체적으로, 각 수신 단말 별로 전송을 위한 레이어를 선택하기 위하여 중계 장치가 필터링 과정을 수행할 수 있다. 중계 장치는 필터링 과정을 위하여 다수의 레이어로 구성하여 송신 장치로부터 전송된 영상 스트림 데이터를 모두 또는 거의 대부분 파싱(Parsing)하여야 한다.
본 발명의 일 실시예가 해결하고자 하는 기술적 과제는 복수 개의 레이어 마다 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 서비스에서 중계 장치가 파싱(Parsing) 등에 소요되는 연산 비용을 제거하거나 감소시킬 수 있는 영상 스트림 제공 방법 및 시스템과 중계 장치를 제공하는 것이다.
또한, 본 발명의 일 실시예가 해결하고자 하는 기술적 과제는 복수 개의 레이어 마다 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 서비스에서 중계 장치의 성능을 향상시킬 수 있는 영상 스트림 제공 방법 및 시스템과 중계 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 제1 태양(ASPECT)에 따른 영상 스트림 제공 방법은 복수 개의 레이어(Layer)마다 서로 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 방법에 있어서, 제1 네트워크 상태에 기반하여 결정된 최대 송신 가능 레이어 수준을 송신 장치로부터 수신하는 단계; 제2a 네트워크 상태에 기반하여 결정된 제1 최대 수신 가능 레이어 수준을 제1 수신 단말로부터 수신하는 단계; 제2b 네트워크 상태에 기반하여 결정된 제2 최대 수신 가능 레이어 수준을 제2 수신 단말로부터 수신하는 단계; 및 상기 최대 송신 가능 레이어 수준, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준을 이용하여 상기 영상 스트림을 중계하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 최대 송신 가능 레이어 수준이 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준 이상인 경우에는, 상기 중계하는 단계는, 상기 제1 최대 수신 가능 레이어 수준으로 상기 제1 수신 단말로 영상 스트림을 중계하고, 상기 제2 최대 수신 가능 레이어 수준으로 상기 제2 수신 단말로 영상 스트림을 중계할 수 있다.
일 실시예에 따르면, 상기 최대 송신 가능 레이어 수준이 상기 제1 최대 수신 가능 레이어 수준 이상이고 상기 제2 최대 수신 가능 레이어 수준 미만인 경우에는, 상기 중계하는 단계는, 상기 제1 최대 수신 가능 레이어 수준으로 상기 제1 수신 단말로 영상 스트림을 중계하고, 상기 최대 송신 가능 레이어 수준으로 상기 제2 수신 단말로 영상 스트림을 중계할 수 있다.
일 실시예에 따르면, 상기 제1 네트워크는 상기 송신 장치와 상기 중계 장치 간의 네트워크이며, 상기 제1 네트워크 상태는 상기 제1 네트워크에서의 패킷 로스(Packet Loss), 지터(Jitter) 및 지연(Delay) 중 적어도 하나를 이용하여 파악할 수 있다.
일 실시예에 따르면, 상기 제2a 네트워크는 상기 제1 수신 단말과 상기 중계 장치 간의 네트워크이며, 상기 제2b 네트워크는 상기 제2 수신 단말과 상기 중계 장치 간의 네트워크이며, 상기 제2a 네트워크 상태는 상기 제2a 네트워크에서의 패킷 로스, 지터, 지연 중 적어도 하나를 이용하여 파악하고, 상기 제2b 네트워크 상태는 상기 제2b 네트워크에서의 패킷 로스, 지터 및 지연 중 적어도 하나를 이용하여 파악할 수 있다.
일 실시예에 따르면, 상기 영상 스트림은, 스케일러블 영상 코덱(SVC, Scalable Video Codec)을 이용하여 상기 복수 개의 레이어 마다 서로 다른 영상 스트림 데이터가 포함되도록 생성한 것일 수 있다.
일 실시예에 따르면, 상기 중계하는 단계는, 각 수신 단말 별로 상기 영상 스트림 중계를 위한 레이어를 선택하기 위한 필터링(Filtering) 과정을 수행하지 않고 상기 수신한 최대 송신 가능 레이어 수준, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준을 이용하여 상기 영상 스트림을 중계할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 제2 태양(ASPECT)에 따른 영상 스트림 제공 시스템은 복수 개의 레이어(Layer)마다 서로 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 시스템에 있어서, 각 레이어별 통신 채널을 제공하는 중계 장치; 및 제1 네트워크 상태에 기반하여 상기 영상 스트림 송신을 위한 최대 송신 가능 레이어 수준을 상기 중계 장치로 전송하고, 상기 중계 장치로 상기 영상 스트림를 송신하는 송신 장치를 포함하고, 상기 중계 장치는, 제2a 네트워크 상태에 기반하여 결정된 제1 최대 수신 가능 레이어 수준을 제1 수신 단말로부터 수신하고, 제2b 네트워크 상태에 기반하여 결정된 제2 최대 수신 가능 레이어 수준을 제2 수신 단말로부터 수신하는 수신 레이어 수준 수신부 및 상기 최대 송신 가능 레이어 수준, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준을 이용하여 상기 영상 스트림을 중계하는 영상 스트림 중계부를 포함할 수 있다.
일 실시예에 따르면, 상기 송신 장치는, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준에 관한 정보를 획득하며, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준 중 최고 수준이 상기 송신 가능 레이어 수준 보다 낮은 경우, 상기 최대 송신 가능 레이어 수준을 상기 최고 수준과 동일하게 결정하여 상기 중계 장치로 전송할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 제3 태양(ASPECT)에 따른 중계 장치는 복수 개의 레이어(Layer)마다 서로 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 중계 장치에 있어서, 제1 네트워크 상태에 기반하여 결정된 최대 송신 가능 레이어 수준을 송신 장치부터 수신하는 송신 레이어 수준 수신부; 제2a 네트워크 상태에 기반하여 결정된 제1 최대 수신 가능 레이어 수준을 제1 수신 단말로부터 수신하고, 제2b 네트워크 상태에 기반하여 결정된 제2 최대 수신 가능 레이어 수준을 제2 수신 단말로부터 수신하는 수신 레이어 수준 수신부; 및 상기 최대 송신 가능 레이어 수준, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준을 이용하여 상기 영상 스트림을 중계하는 영상 스트림 중계부를 포함할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 제4 태양(ASPECT)에 따른 컴퓨터 프로그램은 하드웨어와 결합되어, 복수 개의 레이어(Layer)마다 서로 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 방법에 있어서, 제1 네트워크 상태에 기반하여 결정된 최대 송신 가능 레이어 수준을 송신 장치로부터 수신하는 단계; 제2a 네트워크 상태에 기반하여 결정된 제1 최대 수신 가능 레이어 수준을 제1 수신 단말로부터 수신하는 단계; 제2b 네트워크 상태에 기반하여 결정된 제2 최대 수신 가능 레이어 수준을 제2 수신 단말로부터 수신하는 단계; 및 상기 최대 송신 가능 레이어 수준, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준을 이용하여 상기 영상 스트림을 중계하는 단계를 포함하는, 영상 스트림 제공 방법을 수행하기 위하여 매체에 저장된 것일 수 있다.
본 발명의 일 실시예에 따르면, 복수 개의 레이어 마다 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 서비스에서 중계 장치가 파싱(Parsing) 등에 소요되는 연산 비용을 제거하거나 감소시킬 수 있다.
또한, 본 발명의 일 실시예에 따르면, 복수 개의 레이어 마다 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 서비스에서 중계 장치의 성능을 향상시킬 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 영상 스트림 제공 시스템의 구성도이다.
도 2 및 도 3은 스케일러블 영상 코덱 기술이 복수 개의 레이어를 이용하여 수신 단말 별로 서로 다른 품질의 영상 스트림을 제공하는 방법을 설명하는 도면이다.
도 4는 중계 장치가 각 레이어별로 제공하는 통신 채널의 일 예를 나타내는 도면이다.
도 5는 본 발명의 다른 실시예에 따른 영상 스트림 제공 방법에 관한 흐름도이다.
도 6은 제1 네트워크를 설명하기 위한 도면이다.
도 7은 제2 네트워크를 설명하기 위한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 영상 스트림 제공 방법의 구체적인 적용 일 예를 설명하기 위한 흐름도이다.
도 9는 본 발명의 또 다른 실시예에 따른 중계 장치를 나타내는 블록도이다.
도 10은 본 발명의 또 다른 실시예에 따른 중계 장치의 다른 구성도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함될 수 있다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 일 실시예에 따른 영상 스트림 제공 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 스트림 제공 시스템은 송신 장치(100) 및 중계 장치(200)를 포함하며, 영상 스트림을 제공 받는 복수 개의 수신 단말들(300)을 포함할 수 있다.
송신 장치(100)는 중계 장치(200)로 영상 스트림을 전송한다.
중계 장치(200)는 송신 장치(100)로부터 전송 받은 영상 스트림을 복수 개의 수신 단말들(300)로 전송할 수 있다.
즉, 송신 장치(100)는 중계 장치(200)를 통하여 복수 개의 수신 단말들(300)로 전송할 수 있다.
수신 단말들(300)에 포함된 각각의 수신 단말(310, 320, 330)은 중계 장치(200)를 통하여 영상 스트림을 전송 받을 수 있다.
본 발명의 일 실시예에 따른 영상 스트림 시스템은 수신 단말이 하나뿐인 경우에도 적용을 배제하는 것은 아니다.
본 발명의 일 실시예에 따른 영상 스트림 제공 시스템은 스케일러블 영상 코덱(SVC, Scalable Video Codec)과 같이 복수 개의 레이어(10)(Layer)를 이용하여 영상 스트림을 제공하는 서비스에서 보다 효과적으로 이용될 수 있다.
즉, 본 발명의 일 실시예에 따른 영상 스트림 시스템은 사용자가 저화질, 중화질, 고화질 중 어느 하나를 선택하여 영상 스트림을 제공받는 영상 스트리밍 서비스보다는, 상기 설명한 스케일러블 영상 코덱을 이용한 영상 스트림 제공 서비스에 보다 효과적으로 적용될 수 있다.
사용자가 저화질, 중화질, 고화질 중 어느 하나를 선택하여 영상 스트림을 제공받는 영상 스트리밍 서비스는, 사용자가 고화질을 선택한 경우 고화질의 영상 스트림 데이터를 제공하며, 네트워크 환경이 좋지 못한 상황에서는 영상이 끊기는 상황이 발생한다.
그러나, 본 발명의 일 실시예에 따른 영상 스트림 시스템은 사용자가 영상의 품질을 선택하는 것이 아니라 네트워크 환경을 고려하여 실시간 또는 주기적으로 영상의 품질을 조절하여 영상 스트리밍을 제공하므로, 영상의 품질이 떨어지더라도 영상이 끊기는 상황은 거의 발생하지 않는다.
도 2 및 도 3은 스케일러블 영상 코덱 기술이 복수 개의 레이어(10)를 이용하여 수신 단말 별로 서로 다른 품질의 영상 스트림을 제공하는 방법을 설명하는 도면이다.
복수 개의 레이어(10)는 2개 내지 8개 또는 그 이상의 레이어를 가질 수 있으나, 도 2 및 도 3에서는 제1 레이어(11), 제2 레이어(12), 제3 레이어(13) 및 제4 레이어(14)를 포함하는 경우를 예로 들어 설명한다.
송신 장치(100)는 제1 레이어(11) 내지 제4 레이어(14)를 이용하여 중계 장치(200)를 통하여 수신 단말에게 영상 스트림을 전송한다.
수신 단말은 제1 레이어(11)를 이용하여 제1 영상 스트림 데이터(21)를 수신할 수 있다. 또는, 수신 단말은 제1 레이어(11) 및 제2 레이어(12)를 이용하여 제1 영상 스트림 데이터(21) 및 제2 영상 스트림 데이터(22)를 수신할 수 있다.
또는, 수신 단말은 제1 레이어(11), 제2 레이어(12) 및 제3 레이어(13)를 이용하여 제1 영상 스트림 데이터(21), 제2 영상 스트림 데이터(22) 및 제3 영상 스트림 데이터(23)를 수신할 수 있다. 또는, 수신 단말은 제1 레이어(11), 제2 레이어(12), 제3 레이어(13) 및 제4 레이어(14)를 이용하여 제1 영상 스트림 데이터(21), 제2 영상 스트림 데이터(22), 제3 영상 스트림 데이터(23) 및 제4 영상 데이터를 수신할 수 있다.
도 3을 참조하면, 수신 단말이 제1 레이어(11)를 이용하여 제1 영상 스트림 데이터(21)만을 수신하는 경우 제공 받은 영상의 품질보다 제1 레이어(11) 및 제2 레이어(12)를 이용하여 제1 영상 스트림 데이터(21) 및 제2 영상 스트림 데이터(22)를 수신하는 경우 제공 받은 영상의 품질이 더 좋은 것을 알 수 있다.
또한, 제1 레이어(11) 및 제2 레이어(12)를 이용하여 제1 영상 스트림 데이터(21) 및 제2 영상 스트림 데이터(22)를 수신하는 경우 제공 받은 영상의 품질보다 제1 레이어(11), 제2 레이어(12) 및 제3 레이어(13)를 이용하여 제1 영상 스트림 데이터(21), 제2 영상 스트림 데이터(22) 및 제3 영상 스트림 데이터(23)를 수신하는 경우 제공 받은 영상의 품질이 더 좋은 것을 알 수 있다.
또한, 제1 레이어(11), 제2 레이어(12) 및 제3 레이어(13)를 이용하여 제1 영상 스트림 데이터(21), 제2 영상 스트림 데이터(22) 및 제3 영상 데이터를 수신하는 경우 제공 받은 영상의 품질보다 제1 레이어(11), 제2 레이어(12), 제3 레이어(13) 및 제4 레이어(14)를 이용하여 제1 영상 스트림 데이터(21), 제2 영상 스트림 데이터(22), 제3 영상 스트림 데이터(23) 및 제4 영상 스트림 데이터(24)를 수신하는 경우 제공 받은 영상의 품질이 더 좋은 것을 알 수 있다.
즉, 수신 단말은 제1 레이어(11)를 이용하여 제1 영상 스트림 데이터(21)만을 수신하는 경우보다, 상위 레이어까지 이용하여 더 많은 영상 스트림 데이터를 수신하는 경우 보다 높은 품질의 영상을 제공 받을 수 있다.
구체적으로, 스케일러블 영상 코덱 기술로 영상을 제1 영상 스트림 데이터(21), 제2 영상 스트림 데이터(22), 제3 영상 스트림 데이터(23) 및 제4 영상 스트림 데이터(24)를 생성하며 인코딩을 한다. 즉, 제1 영상 스트림 데이터(21), 제2 영상 스트림 데이터(22), 제3 영상 스트림 데이터(23) 및 제4 영상 스트림 데이터(24)를 합한 데이터는 스케일러블 영상 코덱 기술이 영상을 최고 해상도로 인코딩한 데이터와 동일할 수 있다. 제1 영상 스트림 데이터(21)는 제1 영상 스트림 데이터(21) 만으로 영상을 재생할 수 있지만 해상도 등 영상 품질이 떨어지며, 상위 레이어를 이용하여 수신하는 영상 스트림 데이터가 더해질수록 최고 해상도의 영상 품질에 가까워 질 수 있다.
본 발명의 명세서 전반에서 사용되는 "제n 레이어 수준으로 영상 스트림을 전송 또는 수신한다"고 하는 것은, "제n 레이어 및 제n 레이어의 하위 레이어를 이용하여 영상 스트림을 전송 또는 수신"하는 의미를 포함한다.
즉, 송신 장치(100)가 중계 장치(200)를 통하여 제1 수신 단말(310)에게 제3 레이어(13) 수준으로 영상 스트림을 전송(31)한다고 하면, 제1 레이어(11)를 이용하여 전송하는 제1 영상 스트림 데이터(21), 제2 레이어(12)를 이용하여 전송하는 제2 영상 스트림 데이터(22) 및 제3 레이어(13)를 이용하여 전송하는 제3 영상 스트림 데이터(23)를 포함하여 전송한다는 것을 의미한다.
다른 예를 들면, 송신 장치(100)가 중계 장치(200)를 통하여 제1 수신 단말(310)에게 제4 레이어(14) 수준으로 영상 스트림을 전송(32)한다고 하면, 제1 레이어(11)를 이용하여 전송하는 제1 영상 스트림 데이터(21), 제2 레이어(12)를 이용하여 전송하는 제2 영상 스트림 데이터(22), 제3 레이어(13)를 이용하여 전송하는 제3 영상 스트림 데이터(23) 및 제4 레이어(14)를 이용하여 전송하는 제4 영상 스트림 데이터(24)를 포함하여 전송한다는 것을 의미한다.
도 4는 중계 장치(200)가 각 레이어별로 제공하는 통신 채널의 일 예를 나타내는 도면이다.
중계 장치(200)는 각 레이어별로 대응되는 채널(40)을 설정할 수 있다.
도 4를 참조하면, 중계 장치(200)는 제1 레이어(11)를 이용하여 제1 영상 스트림 데이터(21)를 전송하기 위한 통신 채널인 채널1(41)을 제공한다. 또한, 중계 장치(200)는 제2 레이어(12)를 이용하여 제2 영상 스트림 데이터(22)를 전송하기 위한 통신 채널인 채널2(42)을 제공한다.
또한, 중계 장치(200)는 제3 레이어(13)를 이용하여 제3 영상 스트림 데이터(23)를 전송하기 위한 통신 채널인 채널3(43)을 제공한다. 또한, 중계 장치(200)는 제4 레이어(14)를 이용하여 제4 영상 스트림 데이터(24)를 전송하기 위한 통신 채널인 채널4(44)를 제공한다.
즉, 예를 들어, 송신 장치(100)가 중계 장치(200)를 통하여 제3 레이어 수준으로 수신 단말로 영상 스트림을 제공하는 경우, 중계 장치(200)는 제1 채널(41), 제2 채널(42) 및 제3 채널(43)을 통하여 영상 스트림을 중계한다.
본 발명의 일 실시예에 따른 영상 스트림 제공 시스템의 동작은 본 발명의 다른 실시예에 따른 영상 스트림 제공 방법을 참조하여 이해할 수 있다.
마찬가지로 도 1 내지 4를 설명한 내용도 본 발명의 다른 실시예에 따른 영상 스트림 제공 방법에 적용될 수 있다.
도 5는 본 발명의 다른 실시예에 따른 영상 스트림 제공 방법에 관한 흐름도이다.
도 5에서는 발명의 이해를 돕기 위하여 수신 단말이 제1 수신 단말(310), 제2 수신 단말(320) 및 제3 수신 단말(330)이 존재하는 것을 예로 들어 설명한다. 그러나, 본 발명의 적용 범위는 수신 단말이 세 개인 것에 한정되는 것은 아니며, 한 개의 수신 단말, 두 개의 수신 단말 및 세 개 이상의 수신 단말이 존재하는 경우에도 모두 적용될 수 있음은 당연하다.
도 5를 참조하면, 송신 장치(100)가 제1 네트워크(61) 상태를 파악한다(S505).
제1 네트워크(61)는 도 6을 참조하여 설명한다.
도 6은 제1 네트워크(61)를 설명하기 위한 도면이다.
도 6을 참조하면, 제1 네트워크(61)는 송신 장치(100)와 중계 장치(200)간 네트워크를 의미한다. 송신 장치(100)는 제1 네트워크(61) 상태를 제1 네트워크(61)에서의 패킷 로스(Packet Loss), 지터(Jitter) 및 지연(Delay) 중 적어도 어느 하나의 정보를 이용하여 파악할 수 있다.
또는, 제1 네트워크(61) 상태는 송신 장치(100) 및 중계 장치(200)의 하드웨어 스펙, 대역폭, 데이터 처리의 부하 정도 등 다양한 성능 요소를 기반으로 네트워크 상태를 파악될 수 있다.
다시 도 5를 참조하면, 송신 장치(100)는 파악된 제1 네트워크(61) 상태에 기반하여 영상 스트림을 최대한 송신 가능한 레이어 수준을 결정한다. 송신 장치(100)는 결정된 최대 송신 가능 레이어 수준을 중계 장치(200)에 전송한다(S510).
중계 장치(200)는, 송신 장치(100)로부터 최대 송신 가능 레이어 수준을 수신하고, 송신 장치(100)의 최대 송신 가능 레이어 수준을 등록한다(S515).
제1 수신 단말(310)은 제2a 네트워크(71a) 상태를 파악한다(S520). 제2 수신 단말(320)은 제2b 네트워크(71b) 상태를 파악한다(S535). 제3 수신 단말(330)은 제2c 네트워크(71c) 상태를 파악한다(S550).
제2a 네트워크(71a), 제2b 네트워크(71b) 및 제2c 네트워크(71c)는 제2 네트워크(71)에 포함되는 네트워크이다.
제2 네트워크(71) 및 제2 네트워크(71)에 포함되는 제2a 네트워크(71a), 제2b 네트워크(71b) 및 제2c 네트워크(71c)에 관하여 도 7 및 8을 참조하여 설명한다.
도 7은 제2 네트워크(71)를 설명하기 위한 도면이다.
도 7을 참조하면, 제2 네트워크(71)는 중계 장치(200)와 수신 단말 간의 네트워크를 의미한다.
도 7에서 제2 네트워크(71)는 제2a 네트워크(71a), 제2b 네트워크(71b) 및 제2c 네트워크(71c)를 포함한다.
구체적으로, 중계 장치(200)와 제1 수신 단말(310) 간 네트워크를 제2a 네트워크(71a)라 한다. 또한, 중계 장치(200)와 제2 수신 단말(320) 간 네트워크를 제2b 네트워크(71b)라 한다. 중계 장치(200)와 제3 수신 단말(330) 간 네트워크를 제2c 네트워크(71c)라 한다.
각 수신 단말은 각각의 제2 네트워크(71) 상태 정보(제2a 네트워크(71a), 제2b 네트워크(71b), 제2c 네트워크(71c))를 제2 네트워크(71)에서의 패킷 로스, 지터 및 지연 중 적어도 어느 하나를 이용하여 파악할 수 있다.
또는, 제2 네트워크(71) 상태는 송신 장치(100) 및 중계 장치(200)의 하드웨어 스펙, 대역폭, 데이터 처리의 부하 정도 등 다양한 성능 요소를 기반으로 네트워크 상태를 파악될 수 있다.
구체적으로, 제1 수신 단말(310)은 중계 장치(200)와 제1 수신 단말(310) 간 네트워크에서의 패킷 로스, 지터, 지연, 하드웨어 스펙, 대역폭 및/또는 데이터 처리 부하 등을 고려하여 제2a 네트워크(71a) 상태를 파악할 수 있다.
제2 수신 단말(320)은 중계 장치(200)와 제2 수신 단말(320) 간 네트워크에서의 패킷 로스, 지터, 지연, 하드웨어 스펙, 대역폭 및/또는 데이터 처리 부하 등을 고려하여 제2b 네트워크(71b) 상태를 파악할 수 있다.
마찬가지로, 제3 수신 단말(330)은 중계 장치(200)와 제3 수신 단말(330) 간 네트워크에서의 패킷 로스, 지터, 지연, 하드웨어 스펙, 대역폭 및/또는 데이터 처리 부하 등을 고려하여 제2c 네트워크(71c) 상태를 파악할 수 있다.
되돌아가 도 5를 참조하면, 제1 수신 단말(310)은 파악된 제2a 네트워크(71a) 상태를 이용하여 제1 수신 단말(310)이 영상 스트림을 수신할 수 있는 최대 수신 가능 레이어 수준인 제1 최대 수신 가능 레이어 수준을 결정한다. 제1 수신 단말(310)은 결정된 제1 최대 수신 가능 레이어 수준을 중계 장치(200)에 전송한다(S525).
중계 장치(200)는 제1 수신 단말(310)의 최대 수신 가능 레이어 수준인 제1 최대 수신 가능 레이어 수준을 등록한다(S530).
제2 수신 단말(320)은 파악된 제2b 네트워크(71b) 상태를 이용하여 제2 수신 단말(320)이 영상 스트림을 수신할 수 있는 최대 수신 가능 레이어 수준인 제2 최대 수신 가능 레이어 수준을 결정한다. 제2 수신 단말(320)은 결정된 제2 최대 수신 가능 레이어 수준을 중계 장치(200)에 전송한다(S540).
중계 장치(200)는 제2 수신 단말(320)의 최대 수신 가능 레이어 수준인 제2 최대 수신 가능 레이어 수준을 등록한다(S545).
제3 수신 단말(330)은 파악된 제2c 네트워크(71c) 상태를 이용하여 제3 수신 단말(330)이 영상 스트림을 수신할 수 있는 최대 수신 가능 레이어 수준인 제3 최대 수신 가능 레이어 수준을 결정한다. 제3 수신 단말(330)은 결정된 제3 최대 수신 가능 레이어 수준을 중계 장치(200)에 전송한다(S555).
중계 장치(200)는 제3 수신 단말(330)의 최대 수신 가능 레이어 수준인 제3 최대 수신 가능 레이어 수준을 등록한다(S560).
중계 장치(200)는 등록된 최대 송신 가능 레이어 수준, 제1 최대 수신 가능 레이어 수준, 제2 최대 수신 가능 레이어 수준 및 제3 최대 수신 가능 레이어 수준을 이용하여 영상 스트림을 중계한다(S265).
구체적으로 등록된 최대 송신 가능 레이어 수준이 제1 최대 수신 가능 레이어 수준, 제2 최대 수신 가능 레이어 수준 및 제3 최대 수신 가능 레이어 수준 이상인 경우, 중계 장치(200)는 제1 최대 수신 가능 레이어 수준으로 제1 수신 단말(310)로 영상 스트림을 중계한다. 또한, 중계 장치(200)는 제2 최대 수신 가능 레이어 수준으로 제2 수신 단말(320)로 영상 스트림을 중계한다. 또한, 중계 장치(200)는 제3 최대 수신 가능 레이어 수준으로 제3 수신 단말(330)로 영상 스트림을 중계한다.
다른 예를 들면, 최대 송신 가능 레이어 수준 보다 높은 특정 단말의 최대 수신 가능 레이어 수준이 존재하는 경우, 해당 특정 단말로는 최대 송신 가능 레이어 수준으로 영상 스트림을 중계한다.
도 8을 참조하여 보다 구체적인 예를 들어 설명한다.
도 8은 본 발명의 다른 실시예에 따른 영상 스트림 제공 방법의 구체적인 적용 일 예를 설명하기 위한 흐름도이다.
도 5와 함께 도 8을 참조하면, 송신 장치(100)의 최대 송신 가능 레이어 수준이 제3 레이어이다(S510a). 제1 수신 단말(310)의 제1 최대 수신 가능 레이어 수준은 제1 레이어이다(S525a).
제2 수신 단말(320)의 제2 최대 수신 가능 레이어 수준은 제3 레이어이다(S540a).
제3 수신 단말(330)의 제3 최대 수신 가능 레이어 수준은 제4 레이어이다(S555a).
중계 장치(200)는 최대 송신 가능 레이어 수준(제3 레이어), 제1 최대 수신 가능 레이어 수준(제1 레이어), 제2 최대 수신 가능 레이어 수준(제3 레이어) 및 제3 최대 수신 가능 레이어 수준(제4 레이어)을 이용하여 영상 스트림을 중계한다.
즉, 중계 장치(200)는 최대 송신 가능 레이어 수준(제3 레이어) 이하의 수준인 제1 최대 수신 가능 레이어(제1 레이어) 및 제2 최대 수신 가능 레이어 수준(제3 레이어)는 최대 수신 가능 레이어 수준으로 영상 스트림을 중계한다.
구체적으로, 중계 장치(200)는 제1 레이어 수준으로 제1 수신 단말(310)로 영상 스트림을 중계한다(S565a).
또한, 중계 장치(200)는 제3 레이어 수준으로 제3 수신 단말(330)로 영상 스트림을 중계한다(S565b). 즉, 중계 장치(200)는 제1 레이어, 제2 레이어 및 제3 레이어를 이용하여 제3 수신 단말(330)로 영상 스트림을 중계한다.
다만, 제3 수신 단말(330)의 제3 최대 수신 가능 레이어 수준(제4 레이어)은 최대 송신 가능 레이어 수준(제3 레이어)을 초과하는 바, 중계 장치(200)는 최대 송신 가능 레이어 수준으로 제3 수신 단말(330)로 영상 스트림을 중계한다.
즉, 중계 장치(200)는 제3 레이어 수준으로 제3 수신 단말(330)로 영상 스트림을 중계한다(S565c).
만약, 제3 수신 단말(330)의 제3 최대 수신 가능 레이어 수준이 제3 레이어이고, 최대 송신 가능 레이어 수준이 제4 레이어인 경우에는, 중계 장치(200)는 제3 레이어 수준으로 제3 수신 단말(330)로 영상 스트림을 중계한다. 모든 수신 단말이 제3 레이어 이상의 수준을 요구하고 있지 않는 바, 제4 레이어는 사용되지 않는다. 따라서, 중계 장치(200)는 제4 레이어에 할당된 통신 채널 4를 드랍(Drop)하여 일시적으로 사용하지 않을 수 있다.
또는, 이러한 경우 최대 송신 가능 레이어 수준이 4일 필요는 없으므로, 송신 장치(100)가 각 수신 단말의 최대 수신 가능 레이어 중 최고 수준에 해당하는 레이어 수준인 제3 레이어 수준으로 최대 송신 가능 레이어 수준을 중계 장치(200)로 전송할 수 있다.
도 9는 본 발명의 또 다른 실시예에 따른 중계 장치(200)를 나타내는 블록도이다.
도 9를 참조하면, 본 발명의 또 다른 실시예에 따른 중계 장치(200)는 송신 레이어 수준 수신부(210), 수신 레이어 수준 수신부(220), 송수신 레이어 수준 등록부(230) 및 영상 스트림 중계부(240)를 포함한다.
송신 레이어 수준 수신부(210)는 송신 장치(100)의 최대 송신 가능 레이어 수준을 송신 장치(100)로부터 수신할 수 있다.
수신 레이어 수준 수신부(220)는 각 단말 별 최대 수신 가능 레이어 수준을 송신 장치(100)로부터 수신할 수 있다.
송수신 레이어 수준 등록부(230)는 송신 레이어 수준 수신부(210)에서 수신한 최대 송신 가능 레이어 수준을 등록한다. 또한, 송수신 레이어 수준 등록부(230)는 각 단말 별 최대 수신 가능 레이어 수준을 등록한다.
영상 스트림 중계부(240)는 송수신 레이어 수준 등록부(230)에 등록된 최대 송신 가능 레이어 수준 및 각 단말 별 최대 수신 가능 레이어 수준을 이용하여 각 단말로 영상 스트림을 중계한다.
본 발명의 또 다른 실시예에 따른 중계 장치(200)에 관한 보다 구체적인 내용은 도 1 내지 8을 참조하여 설명한 영상 스트림 제공 시스템 및 방법에 관한 내용을 참조하여 이해할 수 있다.
도 10은 본 발명의 또 다른 실시예에 따른 중계 장치(200)의 다른 구성도이다.
중계 장치(200)는 도 10에 도시된 구성을 가질 수도 있다.
중계 장치(200)는 명령어를 수행하는 프로세서(1), RAM과 같은 메모리(2), 프로그램 데이터가 저장되는 스토리지(3), 외부 장치와의 데이터 송수신을 위한 네트워크 인터페이스(4), 프로세서(1) 및 메모리(2)와 연결되어 데이터 이동 통로가 되는 데이터 버스(5)를 포함할 수 있다.
본 발명의 실시예에 따르면, 복수 개의 레이어 마다 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 서비스에서 중계 장치(200)가 파싱(Parsing) 등에 소요되는 연산 비용을 제거하거나 감소시킬 수 있다.
즉, 기존에는 복수 개의 레이어 마다 다른 영상 스트림 데이터를 포함하는 영상 스트림을 각 단말로 제공하기 위해서는 필터링 등의 과정이 필요하다. 필터링과 같은 과정을 위해서는 모든 데이터 또는 거의 모드 데이터를 파싱(Parsing)할 필요성이 있다. 그러나, 본 발명은 파싱이 필요 없거나 채널 정도까지만 파싱을 수행하면 된다. 따라서, 본 발명은 파싱 등에 소요되는 연산 비용을 감소시키고 중계 장치(200)의 성능을 향상시킬 수 있다.
도 9의 각 구성요소는 소프트웨어(software) 또는, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)를 의미할 수 있다. 그렇지만 상기 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성요소들 안에서 제공되는 기능은 더 세분화된 구성요소에 의하여 구현될 수 있으며, 복수의 구성요소들을 합하여 특정한 기능을 수행하는 하나의 구성요소로 구현할 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (17)

  1. 복수 개의 레이어(Layer)마다 서로 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 방법에 있어서,
    제1 네트워크 상태에 기반하여 결정된 최대 송신 가능 레이어 수준을 송신 장치로부터 수신하는 단계;
    제2a 네트워크 상태에 기반하여 결정된 제1 최대 수신 가능 레이어 수준을 제1 수신 단말로부터 수신하는 단계;
    제2b 네트워크 상태에 기반하여 결정된 제2 최대 수신 가능 레이어 수준을 제2 수신 단말로부터 수신하는 단계; 및
    상기 최대 송신 가능 레이어 수준, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준을 이용하여 상기 영상 스트림을 중계하는 단계를 포함하는, 영상 스트림 제공 방법.
  2. 제1 항에 있어서,
    상기 최대 송신 가능 레이어 수준이 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준 이상인 경우에는,
    상기 중계하는 단계는,
    상기 제1 최대 수신 가능 레이어 수준으로 상기 제1 수신 단말로 영상 스트림을 중계하고,
    상기 제2 최대 수신 가능 레이어 수준으로 상기 제2 수신 단말로 영상 스트림을 중계하는, 영상 스트림 제공 방법.
  3. 제1 항에 있어서,
    상기 최대 송신 가능 레이어 수준이 상기 제1 최대 수신 가능 레이어 수준 이상이고 상기 제2 최대 수신 가능 레이어 수준 미만인 경우에는,
    상기 중계하는 단계는,
    상기 제1 최대 수신 가능 레이어 수준으로 상기 제1 수신 단말로 영상 스트림을 중계하고,
    상기 최대 송신 가능 레이어 수준으로 상기 제2 수신 단말로 영상 스트림을 중계하는, 영상 스트림 제공 방법.
  4. 제1 항에 있어서,
    상기 제1 네트워크는 상기 송신 장치와 상기 중계 장치 간의 네트워크이며,
    상기 제1 네트워크 상태는 상기 제1 네트워크에서의 패킷 로스(Packet Loss), 지터(Jitter) 및 지연(Delay) 중 적어도 하나를 이용하여 파악하는, 영상 스트림 제공 방법.
  5. 제1 항에 있어서,
    상기 제2a 네트워크는 상기 제1 수신 단말과 상기 중계 장치 간의 네트워크이며, 상기 제2b 네트워크는 상기 제2 수신 단말과 상기 중계 장치 간의 네트워크이며,
    상기 제2a 네트워크 상태는 상기 제2a 네트워크에서의 패킷 로스, 지터 및 지연 중 적어도 하나를 이용하여 파악하고, 상기 제2b 네트워크 상태는 상기 제2b 네트워크에서의 패킷 로스, 지터 및 지연 중 적어도 하나를 이용하여 파악하는, 영상 스트림 제공 방법.
  6. 제1 항에 있어서,
    상기 영상 스트림은,
    스케일러블 영상 코덱(SVC, Scalable Video Codec)을 이용하여 상기 복수 개의 레이어 마다 서로 다른 영상 스트림 데이터가 포함되도록 생성한 것인, 영상 스트림 제공 방법.
  7. 제1 항에 있어서,
    상기 중계하는 단계는,
    각 수신 단말 별로 상기 영상 스트림 중계를 위한 레이어를 선택하기 위한 필터링(Filtering) 과정을 수행하지 않고 상기 수신한 최대 송신 가능 레이어 수준, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준을 이용하여 상기 영상 스트림을 중계하는, 영상 스트림 제공 방법.
  8. 복수 개의 레이어(Layer)마다 서로 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 시스템에 있어서,
    각 레이어별 통신 채널을 제공하는 중계 장치; 및
    제1 네트워크 상태에 기반하여 상기 영상 스트림 송신을 위한 최대 송신 가능 레이어 수준을 상기 중계 장치로 전송하고, 상기 중계 장치로 상기 영상 스트림를 송신하는 송신 장치를 포함하고,
    상기 중계 장치는,
    제2a 네트워크 상태에 기반하여 결정된 제1 최대 수신 가능 레이어 수준을 제1 수신 단말로부터 수신하고, 제2b 네트워크 상태에 기반하여 결정된 제2 최대 수신 가능 레이어 수준을 제2 수신 단말로부터 수신하는 수신 레이어 수준 수신부 및
    상기 최대 송신 가능 레이어 수준, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준을 이용하여 상기 영상 스트림을 중계하는 영상 스트림 중계부를 포함하는, 영상 스트림 시스템.
  9. 제8 항에 있어서,
    상기 송신 장치는,
    상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준에 관한 정보를 획득하며,
    상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준 중 최고 수준이 상기 송신 가능 레이어 수준 보다 낮은 경우,
    상기 최대 송신 가능 레이어 수준을 상기 최고 수준과 동일하게 결정하여 상기 중계 장치로 전송하는, 영상 스트림 제공 시스템.
  10. 제8 항에 있어서,
    상기 최대 송신 가능 레이어 수준이 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준 이상인 경우에는,
    상기 중계 장치는,
    상기 제1 최대 수신 가능 레이어 수준으로 상기 제1 수신 단말로 영상 스트림을 중계하고,
    상기 제2 최대 수신 가능 레이어 수준으로 상기 제2 수신 단말로 영상 스트림을 중계하는, 영상 스트림 제공 시스템.
  11. 제8 항에 있어서,
    상기 최대 송신 가능 레이어 수준이 상기 제1 최대 수신 가능 레이어 수준 이상이고 상기 제2 최대 수신 가능 레이어 수준 미만인 경우에는,
    상기 중계 장치는,
    상기 제1 최대 수신 가능 레이어 수준으로 상기 제1 수신 단말로 영상 스트림을 중계하고,
    상기 최대 송신 가능 레이어 수준으로 상기 제2 수신 단말로 영상 스트림을 중계하는, 영상 스트림 제공 시스템.
  12. 복수 개의 레이어(Layer)마다 서로 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 중계 장치에 있어서,
    제1 네트워크 상태에 기반하여 결정된 최대 송신 가능 레이어 수준을 송신 장치로부터 수신하는 송신 레이어 수준 수신부;
    제2a 네트워크 상태에 기반하여 결정된 제1 최대 수신 가능 레이어 수준을 제1 수신 단말로부터 수신하고, 제2b 네트워크 상태에 기반하여 결정된 제2 최대 수신 가능 레이어 수준을 제2 수신 단말로부터 수신하는 수신 레이어 수준 수신부; 및
    상기 최대 송신 가능 레이어 수준, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준을 이용하여 상기 영상 스트림을 중계하는 영상 스트림 중계부를 포함하는, 중계 장치.
  13. 제12 항에 있어서,
    상기 최대 송신 가능 레이어 수준이 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준 이상인 경우에는,
    상기 영상 스트림 중계부는,
    상기 제1 최대 수신 가능 레이어 수준으로 상기 제1 수신 단말로 영상 스트림을 중계하고,
    상기 제2 최대 수신 가능 레이어 수준으로 상기 제2 수신 단말로 영상 스트림을 중계하는, 중계 장치.
  14. 제12 항에 있어서,
    상기 최대 송신 가능 레이어 수준이 상기 제1 최대 수신 가능 레이어 수준 이상이고 상기 제2 최대 수신 가능 레이어 수준 미만인 경우에는,
    상기 중계 서버는,
    상기 제1 최대 수신 가능 레이어 수준으로 상기 제1 수신 단말로 영상 스트림을 중계하고,
    상기 최대 송신 가능 레이어 수준으로 상기 제2 수신 단말로 영상 스트림을 중계하는, 중계 장치.
  15. 제12 항에 있어서,
    상기 제1 네트워크는 상기 송신 장치와 상기 중계 장치 간의 네트워크이며,
    상기 제1 네트워크 상태는 상기 제1 네트워크에서의 패킷 로스(Packet Loss), 지터(Jitter) 및 지연(Delay) 중 적어도 하나를 이용하여 파악하는, 중계 장치.
  16. 제12 항에 있어서,
    상기 제2a 네트워크는 상기 제1 수신 단말과 상기 중계 장치 간의 네트워크이며, 상기 제2b 네트워크는 상기 제2 수신 단말과 상기 중계 장치 간의 네트워크이며,
    상기 제2a 네트워크 상태는 상기 제2a 네트워크에서의 패킷 로스, 지터 및 지연 중 적어도 하나를 이용하여 파악하고, 상기 제2b 네트워크 상태는 상기 제2b 네트워크에서의 패킷 로스, 지터 및 지연 중 적어도 하나를 이용하여 파악하는, 중계 장치.
  17. 복수 개의 레이어(Layer)마다 서로 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 있어서,
    상기 영상 스트림 제공 방법은,
    제1 네트워크 상태에 기반하여 결정된 최대 송신 가능 레이어 수준을 송신 장치로부터 수신하는 과정;
    제2a 네트워크 상태에 기반하여 결정된 제1 최대 수신 가능 레이어 수준을 제1 수신 단말로부터 수신하는 과정;
    제2b 네트워크 상태에 기반하여 결정된 제2 최대 수신 가능 레이어 수준을 제2 수신 단말로부터 수신하는 과정; 및
    상기 최대 송신 가능 레이어 수준, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준을 이용하여 상기 영상 스트림을 중계하는 과정을 포함하는, 컴퓨터로 읽을 수 있는 기록 매체.
PCT/KR2014/009610 2014-09-05 2014-10-14 영상 스트림 제공 방법 및 시스템과 중계 장치 WO2016035923A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0119115 2014-09-05
KR1020140119115A KR101682627B1 (ko) 2014-09-05 2014-09-05 영상 스트림 제공 방법 및 시스템과 중계 장치

Publications (1)

Publication Number Publication Date
WO2016035923A1 true WO2016035923A1 (ko) 2016-03-10

Family

ID=55438765

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/009610 WO2016035923A1 (ko) 2014-09-05 2014-10-14 영상 스트림 제공 방법 및 시스템과 중계 장치

Country Status (4)

Country Link
US (1) US20160073173A1 (ko)
KR (1) KR101682627B1 (ko)
CN (1) CN105635738B (ko)
WO (1) WO2016035923A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180059210A (ko) * 2016-11-25 2018-06-04 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
KR20180091381A (ko) 2017-02-06 2018-08-16 삼성전자주식회사 다면체에 기반한 vr 이미지를 제공하는 전자 장치 및 그 이미지의 제공 방법
KR102442089B1 (ko) 2017-12-20 2022-09-13 삼성전자주식회사 이미지의 관심 영역의 위치에 따라 이미지를 다면체에 매핑하는 장치 및 그 영상 처리 방법
KR102275296B1 (ko) * 2018-04-12 2021-07-12 주식회사 큐램 스트리밍에서의 전송속도 제어방법 및 이를 위한 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050052531A (ko) * 2002-10-15 2005-06-02 코닌클리케 필립스 일렉트로닉스 엔.브이. Ｉｐ 네트워크를 통해 스캐일 가능한 코드화된 비디오를전송하기 위한 시스템 및 방법
KR20090080261A (ko) * 2008-01-21 2009-07-24 파이로웍스(주) 스트리밍 중계장치, 사용자 단말장치 및 스트리밍 서비스중계방법
KR20100050912A (ko) * 2008-11-06 2010-05-14 연세대학교 산학협력단 계층화된 데이터를 전송하는 데이터 전송 장치 및 데이터 전송 방법
KR20110077647A (ko) * 2009-12-30 2011-07-07 경희대학교 산학협력단 릴레이 장치 및 이 릴레이 장치에서의 데이터 패킷의 전송 방법
KR20130106531A (ko) * 2012-03-20 2013-09-30 고려대학교 산학협력단 데이터 전송 방법 및 장치, 그리고 데이터 수신 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7313814B2 (en) * 2003-04-01 2007-12-25 Microsoft Corporation Scalable, error resilient DRM for scalable media
US20060007943A1 (en) * 2004-07-07 2006-01-12 Fellman Ronald D Method and system for providing site independent real-time multimedia transport over packet-switched networks
CN101015191A (zh) * 2004-07-09 2007-08-08 高通股份有限公司 用于对内容进行分层以在数据网络中进行调度传送的系统
US20060023748A1 (en) * 2004-07-09 2006-02-02 Chandhok Ravinder P System for layering content for scheduled delivery in a data network
CN101547356B (zh) * 2008-03-24 2011-07-27 展讯通信（上海）有限公司 视频码流收发、转发方法及设备
ES2742286T3 (es) * 2010-03-25 2020-02-13 Massachusetts Inst Technology Codificación de red segura para transmisión por secuencias de vídeo, inalámbrica de multirresolución
KR101728000B1 (ko) * 2010-11-25 2017-05-02 주식회사 케이티 스케일러블 비디오 코딩을 적용하여 방송 서비스를 제공하는 방법 및 시스템
CN102186072B (zh) * 2011-04-20 2013-03-20 上海交通大学 用于可伸缩视频流的多速率组播通信的优化传输方法
KR102327617B1 (ko) * 2013-04-08 2021-11-17 지이 비디오 컴프레션, 엘엘씨 효율적인 다-시점/계층 코딩을 허용하는 코딩 개념
CN103313054B (zh) * 2013-05-22 2016-05-04 中国科学院声学研究所 可伸缩视频编码svc视频的传输调度方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050052531A (ko) * 2002-10-15 2005-06-02 코닌클리케 필립스 일렉트로닉스 엔.브이. Ｉｐ 네트워크를 통해 스캐일 가능한 코드화된 비디오를전송하기 위한 시스템 및 방법
KR20090080261A (ko) * 2008-01-21 2009-07-24 파이로웍스(주) 스트리밍 중계장치, 사용자 단말장치 및 스트리밍 서비스중계방법
KR20100050912A (ko) * 2008-11-06 2010-05-14 연세대학교 산학협력단 계층화된 데이터를 전송하는 데이터 전송 장치 및 데이터 전송 방법
KR20110077647A (ko) * 2009-12-30 2011-07-07 경희대학교 산학협력단 릴레이 장치 및 이 릴레이 장치에서의 데이터 패킷의 전송 방법
KR20130106531A (ko) * 2012-03-20 2013-09-30 고려대학교 산학협력단 데이터 전송 방법 및 장치, 그리고 데이터 수신 방법

Also Published As

Publication number Publication date
KR101682627B1 (ko) 2016-12-05
US20160073173A1 (en) 2016-03-10
CN105635738B (zh) 2019-10-11
KR20160029498A (ko) 2016-03-15
CN105635738A (zh) 2016-06-01

Similar Documents

Publication Publication Date Title
WO2012118258A1 (en) Communication method of terminals and access point for uplink mu-mimo channel access
WO2012115385A2 (en) Apparatus and method for providing universal plug and play service based on wi-fi direct connection in portable terminal
WO2010120078A2 (en) Channel adaptive video transmission method, apparatus using the same, and system providing the same
WO2012015234A9 (en) Apparatus and method for controlling session connection in communication system
EP2427997A2 (en) System and method for providing phone related services to devices using upnp on a home network
WO2016035923A1 (ko) 영상 스트림 제공 방법 및 시스템과 중계 장치
WO2013137634A1 (en) Multimedia data processing apparatus and method of terminal
WO2010143910A2 (ko) 최적의 전송 프로토콜 선택 방법 및 그 장치
WO2011111947A2 (en) Apparatus and method for scheduling of adaptive grant and polling service in a broadband wireless access system
WO2012050293A1 (en) Method and apparatus for sharing contents using information of group change in content oriented network environment
WO2012081902A2 (en) Method and system for asynchronous and isochronous data transmission in a high speed video network
WO2016060430A1 (ko) 이동 통신 네트워크에서 음성 품질 향상 방법 및 장치
WO2018128226A1 (ko) 이종 네트워크상에서의 컨텐츠 전송 방법 및 이를 위한 장치
WO2016129966A1 (ko) 저지연 생방송 컨텐츠 제공을 위한 프로그램을 기록한 기록매체 및 장치
WO2016021773A1 (ko) Qos 보장 영상 스트림 방법 및 시스템과 송신 서버
WO2016003234A1 (ko) 멀티미디어 시스템에서 정보를 송수신하는 방법 및 장치
WO2021085984A1 (ko) 복수의 upf 인스턴스들을 포함하는 upf 노드가 qos 모니터링을 수행하는 방법 및 상기 방법을 수행하는 upf 노드
WO2017131332A1 (ko) 기능 분리된 코어 네트워크에서 하향링크 패킷 전송방법
WO2020256484A1 (ko) 네트워크장치 및 네트워크장치에서 수행되는 엣지서비스 검색 방법
WO2012030156A2 (ko) 무선 통신 시스템에서 단말의 접속 제어 정보 설정 방법 및 장치
WO2017115907A1 (ko) 송신 장치 및 다종 네트워크 환경에서 동적 경로 상태를 측정하는 방법
WO2014054909A1 (ko) 이동통신 시스템에서 컨텐츠 제공 방법 및 장치
WO2016108509A1 (en) Method and apparatus for allocating server in wireless communication system
WO2017123059A1 (ko) 소프트웨어 정의 네트워크 기반 이동통신 시스템에서 제어 메시지 전송 방법 및 장치
EP3777205A1 (en) Method and apparatus for controlling streaming of multimedia data in a network

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14901324

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14901324

Country of ref document: EP

Kind code of ref document: A1