KR101682627B1 - 영상 스트림 제공 방법 및 시스템과 중계 장치 - Google Patents

영상 스트림 제공 방법 및 시스템과 중계 장치 Download PDF

Info

Publication number
KR101682627B1
KR101682627B1 KR1020140119115A KR20140119115A KR101682627B1 KR 101682627 B1 KR101682627 B1 KR 101682627B1 KR 1020140119115 A KR1020140119115 A KR 1020140119115A KR 20140119115 A KR20140119115 A KR 20140119115A KR 101682627 B1 KR101682627 B1 KR 101682627B1
Authority
KR
South Korea
Prior art keywords
layer level
video stream
maximum
network
receiving terminal
Prior art date
Application number
KR1020140119115A
Other languages
English (en)
Other versions
KR20160029498A (ko
Inventor
나영태
박수환
오보리
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020140119115A priority Critical patent/KR101682627B1/ko
Priority to PCT/KR2014/009610 priority patent/WO2016035923A1/ko
Priority to CN201410598561.6A priority patent/CN105635738B/zh
Priority to US14/529,392 priority patent/US20160073173A1/en
Publication of KR20160029498A publication Critical patent/KR20160029498A/ko
Application granted granted Critical
Publication of KR101682627B1 publication Critical patent/KR101682627B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42684—Client identification by a unique number or address, e.g. serial number, MAC address, socket ID
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6338—Control signals issued by server directed to the network components or client directed to network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6371—Control signals issued by the client directed to the server or network components directed to network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64707—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless for transferring content from a first network to a second network, e.g. between IP and wireless

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Power Engineering (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

본 발명의 실시예에 따른 영상 스트림 제공 방법은 복수 개의 레이어(Layer)마다 서로 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 방법에 있어서, 제1 네트워크 상태에 기반하여 결정된 최대 송신 가능 레이어 수준을 송신 장치로부터 수신하는 단계; 제2a 네트워크 상태에 기반하여 결정된 제1 최대 수신 가능 레이어 수준을 제1 수신 단말로부터 수신하는 단계; 제2b 네트워크 상태에 기반하여 결정된 제2 최대 수신 가능 레이어 수준을 제2 수신 단말로부터 수신하는 단계; 및 상기 최대 송신 가능 레이어 수준, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준을 이용하여 상기 영상 스트림을 중계하는 단계를 포함할 수 있다.

Description

영상 스트림 제공 방법 및 시스템과 중계 장치{Method and System for Providing Video Stream, and Relaying Apparatus}
본 발명은 영상 스트림 제공 방법 및 시스템과 중계 장치에 관한 것이다. 보다 상세하게는, 본 발명은 복수 개의 레이어(Layer)마다 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 영상 스트림 제공 방법 및 시스템과 중계 장치에 관한 것이다.
모바일 디바이스의 발전과 모바일 네트워크의 발전으로 인하여 모바일 디바이스를 이용하여 여러 사용자 간에 영상을 실시간으로 주고 받는 모바일 VoIP(Voice over internet Protocol) 서비스가 활성화되고 있다. 또한, 모바일 디바이스를 대상으로 프로 야구 생중계 등과 같은 실시간 스트리밍 서비스도 활성화되고 있다.
영상 스트림(Video Stream)을 다수의 사용자에게 전송하기 위해 스케일러블 영상 코덱(SVC, Scalable Video Codec)을 사용할 수 있다. H.264 SVC와 같은 스케일러블 영상 코덱은 하나의 영상 스트림을 다수의 레이어로 구성하여 전송할 수 있다.
스케일러블 영상 코덱을 이용한 영상 스트림 제공 기술은 송신 장치가 하나의 영상 스트림을 중계 장치로 전송하고, 복수의 수신 단말은 중계 장치로 접속을 하여 영상 스트림을 수신하는 방식으로 동작한다.
스케일러블 영상 코덱 등과 같이 다수의 레이어를 이용하여 영상 스트림을 제공하기 위해서는 중계 장치가 필터링(Filtering) 등의 과정을 수행하여야 한다.
구체적으로, 각 수신 단말 별로 전송을 위한 레이어를 선택하기 위하여 중계 장치가 필터링 과정을 수행할 수 있다. 중계 장치는 필터링 과정을 위하여 다수의 레이어로 구성하여 송신 장치로부터 전송된 영상 스트림 데이터를 모두 또는 거의 대부분 파싱(Parsing)하여야 한다.
본 발명의 일 실시예가 해결하고자 하는 기술적 과제는 복수 개의 레이어 마다 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 서비스에서 중계 장치가 파싱(Parsing) 등에 소요되는 연산 비용을 제거하거나 감소시킬 수 있는 영상 스트림 제공 방법 및 시스템과 중계 장치를 제공하는 것이다.
또한, 본 발명의 일 실시예가 해결하고자 하는 기술적 과제는 복수 개의 레이어 마다 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 서비스에서 중계 장치의 성능을 향상시킬 수 있는 영상 스트림 제공 방법 및 시스템과 중계 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 제1 태양(ASPECT)에 따른 영상 스트림 제공 방법은 복수 개의 레이어(Layer)마다 서로 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 방법에 있어서, 제1 네트워크 상태에 기반하여 결정된 최대 송신 가능 레이어 수준을 송신 장치로부터 수신하는 단계; 제2a 네트워크 상태에 기반하여 결정된 제1 최대 수신 가능 레이어 수준을 제1 수신 단말로부터 수신하는 단계; 제2b 네트워크 상태에 기반하여 결정된 제2 최대 수신 가능 레이어 수준을 제2 수신 단말로부터 수신하는 단계; 및 상기 최대 송신 가능 레이어 수준, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준을 이용하여 상기 영상 스트림을 중계하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 최대 송신 가능 레이어 수준이 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준 이상인 경우에는, 상기 중계하는 단계는, 상기 제1 최대 수신 가능 레이어 수준으로 상기 제1 수신 단말로 영상 스트림을 중계하고, 상기 제2 최대 수신 가능 레이어 수준으로 상기 제2 수신 단말로 영상 스트림을 중계할 수 있다.
일 실시예에 따르면, 상기 최대 송신 가능 레이어 수준이 상기 제1 최대 수신 가능 레이어 수준 이상이고 상기 제2 최대 수신 가능 레이어 수준 미만인 경우에는, 상기 중계하는 단계는, 상기 제1 최대 수신 가능 레이어 수준으로 상기 제1 수신 단말로 영상 스트림을 중계하고, 상기 최대 송신 가능 레이어 수준으로 상기 제2 수신 단말로 영상 스트림을 중계할 수 있다.
일 실시예에 따르면, 상기 제1 네트워크는 상기 송신 장치와 상기 중계 장치 간의 네트워크이며, 상기 제1 네트워크 상태는 상기 제1 네트워크에서의 패킷 로스(Packet Loss), 지터(Jitter) 및 지연(Delay) 중 적어도 하나를 이용하여 파악할 수 있다.
일 실시예에 따르면, 상기 제2a 네트워크는 상기 제1 수신 단말과 상기 중계 장치 간의 네트워크이며, 상기 제2b 네트워크는 상기 제2 수신 단말과 상기 중계 장치 간의 네트워크이며, 상기 제2a 네트워크 상태는 상기 제2a 네트워크에서의 패킷 로스, 지터, 지연 중 적어도 하나를 이용하여 파악하고, 상기 제2b 네트워크 상태는 상기 제2b 네트워크에서의 패킷 로스, 지터 및 지연 중 적어도 하나를 이용하여 파악할 수 있다.
일 실시예에 따르면, 상기 영상 스트림은, 상기 스케일러블 영상 코덱(SVC, Scalable Video Codec)을 이용하여 상기 복수 개의 레이어 마다 서로 다른 영상 스트림 데이터가 포함되도록 생성한 것일 수 있다.
일 실시예에 따르면, 상기 중계하는 단계는, 각 수신 단말 별로 상기 영상 스트림 중계를 위한 레이어를 선택하기 위한 필터링(Filtering) 과정을 수행하지 않고 상기 수신한 최대 송신 가능 레이어 수준, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준을 이용하여 상기 영상 스트림을 중계할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 제2 태양(ASPECT)에 따른 영상 스트림 제공 시스템은 복수 개의 레이어(Layer)마다 서로 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 시스템에 있어서, 각 레이어별 통신 채널을 제공하는 중계 장치; 및 제1 네트워크 상태에 기반하여 상기 영상 스트림 송신을 위한 최대 송신 가능 레이어 수준을 상기 중계 장치로 전송하고, 상기 중계 장치로 상기 영상 스트림를 송신하는 송신 장치를 포함하고, 상기 중계 장치는, 제2a 네트워크 상태에 기반하여 결정된 제1 최대 수신 가능 레이어 수준을 제1 수신 단말로부터 수신하고, 제2b 네트워크 상태에 기반하여 결정된 제2 최대 수신 가능 레이어 수준을 제2 수신 단말로부터 수신하는 수신 레이어 수준 수신부 및 상기 최대 송신 가능 레이어 수준, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준을 이용하여 상기 영상 스트림을 중계하는 영상 스트림 중계부를 포함할 수 있다.
일 실시예에 따르면, 상기 송신 장치는, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준에 관한 정보를 획득하며, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준 중 최고 수준이 상기 송신 가능 레이어 수준 보다 낮은 경우, 상기 최대 송신 가능 레이어 수준을 상기 최고 수준과 동일하게 결정하여 상기 중계 장치로 전송할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 제3 태양(ASPECT)에 따른 중계 장치는 복수 개의 레이어(Layer)마다 서로 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 중계 장치에 있어서, 제1 네트워크 상태에 기반하여 결정된 최대 송신 가능 레이어 수준을 송신 장치부터 수신하는 송신 레이어 수준 수신부; 제2a 네트워크 상태에 기반하여 결정된 제1 최대 수신 가능 레이어 수준을 제1 수신 단말로부터 수신하고, 제2b 네트워크 상태에 기반하여 결정된 제2 최대 수신 가능 레이어 수준을 제2 수신 단말로부터 수신하는 수신 레이어 수준 수신부; 및 상기 최대 송신 가능 레이어 수준, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준을 이용하여 상기 영상 스트림을 중계하는 영상 스트림 중계부를 포함할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 제4 태양(ASPECT)에 따른 컴퓨터 프로그램은 하드웨어와 결합되어, 복수 개의 레이어(Layer)마다 서로 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 방법에 있어서, 제1 네트워크 상태에 기반하여 결정된 최대 송신 가능 레이어 수준을 송신 장치로부터 수신하는 단계; 제2a 네트워크 상태에 기반하여 결정된 제1 최대 수신 가능 레이어 수준을 제1 수신 단말로부터 수신하는 단계; 제2b 네트워크 상태에 기반하여 결정된 제2 최대 수신 가능 레이어 수준을 제2 수신 단말로부터 수신하는 단계; 및 상기 최대 송신 가능 레이어 수준, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준을 이용하여 상기 영상 스트림을 중계하는 단계를 포함하는, 영상 스트림 제공 방법을 수행하기 위하여 매체에 저장된 것일 수 있다.
본 발명의 일 실시예에 따르면, 복수 개의 레이어 마다 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 서비스에서 중계 장치가 파싱(Parsing) 등에 소요되는 연산 비용을 제거하거나 감소시킬 수 있다.
또한, 본 발명의 일 실시예에 따르면, 복수 개의 레이어 마다 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 서비스에서 중계 장치의 성능을 향상시킬 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 영상 스트림 제공 시스템의 구성도이다.
도 2 및 도 3은 스케일러블 영상 코덱 기술이 복수 개의 레이어를 이용하여 수신 단말 별로 서로 다른 품질의 영상 스트림을 제공하는 방법을 설명하는 도면이다.
도 4는 중계 장치가 각 레이어별로 제공하는 통신 채널의 일 예를 나타내는 도면이다.
도 5는 본 발명의 다른 실시예에 따른 영상 스트림 제공 방법에 관한 흐름도이다.
도 6은 제1 네트워크를 설명하기 위한 도면이다.
도 7은 제2 네트워크를 설명하기 위한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 영상 스트림 제공 방법의 구체적인 적용 일 예를 설명하기 위한 흐름도이다.
도 9는 본 발명의 또 다른 실시예에 따른 중계 장치를 나타내는 블록도이다.
도 10은 본 발명의 또 다른 실시예에 따른 중계 장치의 다른 구성도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함될 수 있다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 일 실시예에 따른 영상 스트림 제공 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 스트림 제공 시스템은 송신 장치(100) 및 중계 장치(200)를 포함하며, 영상 스트림을 제공 받는 복수 개의 수신 단말들(300)을 포함할 수 있다.
송신 장치(100)는 중계 장치(200)로 영상 스트림을 전송한다.
중계 장치(200)는 송신 장치(100)로부터 전송 받은 영상 스트림을 복수 개의 수신 단말들(300)로 전송할 수 있다.
즉, 송신 장치(100)는 중계 장치(200)를 통하여 복수 개의 수신 단말들(300)로 전송할 수 있다.
수신 단말들(300)에 포함된 각각의 수신 단말(310, 320, 330)은 중계 장치(200)를 통하여 영상 스트림을 전송 받을 수 있다.
본 발명의 일 실시예에 따른 영상 스트림 시스템은 수신 단말이 하나뿐인 경우에도 적용을 배제하는 것은 아니다.
본 발명의 일 실시예에 따른 영상 스트림 제공 시스템은 스케일러블 영상 코덱(SVC, Scalable Video Codec)과 같이 복수 개의 레이어(10)(Layer)를 이용하여 영상 스트림을 제공하는 서비스에서 보다 효과적으로 이용될 수 있다.
즉, 본 발명의 일 실시예에 따른 영상 스트림 시스템은 사용자가 저화질, 중화질, 고화질 중 어느 하나를 선택하여 영상 스트림을 제공받는 영상 스트리밍 서비스보다는, 상기 설명한 스케일러블 영상 코덱을 이용한 영상 스트림 제공 서비스에 보다 효과적으로 적용될 수 있다.
사용자가 저화질, 중화질, 고화질 중 어느 하나를 선택하여 영상 스트림을 제공받는 영상 스트리밍 서비스는, 사용자가 고화질을 선택한 경우 고화질의 영상 스트림 데이터를 제공하며, 네트워크 환경이 좋지 못한 상황에서는 영상이 끊기는 상황이 발생한다.
그러나, 본 발명의 일 실시예에 따른 영상 스트림 시스템은 사용자가 영상의 품질을 선택하는 것이 아니라 네트워크 환경을 고려하여 실시간 또는 주기적으로 영상의 품질을 조절하여 영상 스트리밍을 제공하므로, 영상의 품질이 떨어지더라도 영상이 끊기는 상황은 거의 발생하지 않는다.
도 2 및 도 3은 스케일러블 영상 코덱 기술이 복수 개의 레이어(10)를 이용하여 수신 단말 별로 서로 다른 품질의 영상 스트림을 제공하는 방법을 설명하는 도면이다.
복수 개의 레이어(10)는 2개 내지 8개 또는 그 이상의 레이어를 가질 수 있으나, 도 2 및 도 3에서는 제1 레이어(11), 제2 레이어(12), 제3 레이어(13) 및 제4 레이어(14)를 포함하는 경우를 예로 들어 설명한다.
송신 장치(100)는 제1 레이어(11) 내지 제4 레이어(14)를 이용하여 중계 장치(200)를 통하여 수신 단말에게 영상 스트림을 전송한다.
수신 단말은 제1 레이어(11)를 이용하여 제1 영상 스트림 데이터(21)를 수신할 수 있다. 또는, 수신 단말은 제1 레이어(11) 및 제2 레이어(12)를 이용하여 제1 영상 스트림 데이터(21) 및 제2 영상 스트림 데이터(22)를 수신할 수 있다.
또는, 수신 단말은 제1 레이어(11), 제2 레이어(12) 및 제3 레이어(13)를 이용하여 제1 영상 스트림 데이터(21), 제2 영상 스트림 데이터(22) 및 제3 영상 스트림 데이터(23)를 수신할 수 있다. 또는, 수신 단말은 제1 레이어(11), 제2 레이어(12), 제3 레이어(13) 및 제4 레이어(14)를 이용하여 제1 영상 스트림 데이터(21), 제2 영상 스트림 데이터(22), 제3 영상 스트림 데이터(23) 및 제4 영상 데이터를 수신할 수 있다.
도 3을 참조하면, 수신 단말이 제1 레이어(11)를 이용하여 제1 영상 스트림 데이터(21)만을 수신하는 경우 제공 받은 영상의 품질보다 제1 레이어(11) 및 제2 레이어(12)를 이용하여 제1 영상 스트림 데이터(21) 및 제2 영상 스트림 데이터(22)를 수신하는 경우 제공 받은 영상의 품질이 더 좋은 것을 알 수 있다.
또한, 제1 레이어(11) 및 제2 레이어(12)를 이용하여 제1 영상 스트림 데이터(21) 및 제2 영상 스트림 데이터(22)를 수신하는 경우 제공 받은 영상의 품질보다 제1 레이어(11), 제2 레이어(12) 및 제3 레이어(13)를 이용하여 제1 영상 스트림 데이터(21), 제2 영상 스트림 데이터(22) 및 제3 영상 스트림 데이터(23)를 수신하는 경우 제공 받은 영상의 품질이 더 좋은 것을 알 수 있다.
또한, 제1 레이어(11), 제2 레이어(12) 및 제3 레이어(13)를 이용하여 제1 영상 스트림 데이터(21), 제2 영상 스트림 데이터(22) 및 제3 영상 데이터를 수신하는 경우 제공 받은 영상의 품질보다 제1 레이어(11), 제2 레이어(12), 제3 레이어(13) 및 제4 레이어(14)를 이용하여 제1 영상 스트림 데이터(21), 제2 영상 스트림 데이터(22), 제3 영상 스트림 데이터(23) 및 제4 영상 스트림 데이터(24)를 수신하는 경우 제공 받은 영상의 품질이 더 좋은 것을 알 수 있다.
즉, 수신 단말은 제1 레이어(11)를 이용하여 제1 영상 스트림 데이터(21)만을 수신하는 경우보다, 상위 레이어까지 이용하여 더 많은 영상 스트림 데이터를 수신하는 경우 보다 높은 품질의 영상을 제공 받을 수 있다.
구체적으로, 스케일러블 영상 코덱 기술로 영상을 제1 영상 스트림 데이터(21), 제2 영상 스트림 데이터(22), 제3 영상 스트림 데이터(23) 및 제4 영상 스트림 데이터(24)를 생성하며 인코딩을 한다. 즉, 제1 영상 스트림 데이터(21), 제2 영상 스트림 데이터(22), 제3 영상 스트림 데이터(23) 및 제4 영상 스트림 데이터(24)를 합한 데이터는 스케일러블 영상 코덱 기술이 영상을 최고 해상도로 인코딩한 데이터와 동일할 수 있다. 제1 영상 스트림 데이터(21)는 제1 영상 스트림 데이터(21) 만으로 영상을 재생할 수 있지만 해상도 등 영상 품질이 떨어지며, 상위 레이어를 이용하여 수신하는 영상 스트림 데이터가 더해질수록 최고 해상도의 영상 품질에 가까워 질 수 있다.
본 발명의 명세서 전반에서 사용되는 "제n 레이어 수준으로 영상 스트림을 전송 또는 수신한다"고 하는 것은, "제n 레이어 및 제n 레이어의 하위 레이어를 이용하여 영상 스트림을 전송 또는 수신"하는 의미를 포함한다.
즉, 송신 장치(100)가 중계 장치(200)를 통하여 제1 수신 단말(310)에게 제3 레이어(13) 수준으로 영상 스트림을 전송(31)한다고 하면, 제1 레이어(11)를 이용하여 전송하는 제1 영상 스트림 데이터(21), 제2 레이어(12)를 이용하여 전송하는 제2 영상 스트림 데이터(22) 및 제3 레이어(13)를 이용하여 전송하는 제3 영상 스트림 데이터(23)를 포함하여 전송한다는 것을 의미한다.
다른 예를 들면, 송신 장치(100)가 중계 장치(200)를 통하여 제1 수신 단말(310)에게 제4 레이어(14) 수준으로 영상 스트림을 전송(32)한다고 하면, 제1 레이어(11)를 이용하여 전송하는 제1 영상 스트림 데이터(21), 제2 레이어(12)를 이용하여 전송하는 제2 영상 스트림 데이터(22), 제3 레이어(13)를 이용하여 전송하는 제3 영상 스트림 데이터(23) 및 제4 레이어(14)를 이용하여 전송하는 제4 영상 스트림 데이터(24)를 포함하여 전송한다는 것을 의미한다.
도 4는 중계 장치(200)가 각 레이어별로 제공하는 통신 채널의 일 예를 나타내는 도면이다.
중계 장치(200)는 각 레이어별로 대응되는 채널(40)을 설정할 수 있다.
도 4를 참조하면, 중계 장치(200)는 제1 레이어(11)를 이용하여 제1 영상 스트림 데이터(21)를 전송하기 위한 통신 채널인 채널1(41)을 제공한다. 또한, 중계 장치(200)는 제2 레이어(12)를 이용하여 제2 영상 스트림 데이터(22)를 전송하기 위한 통신 채널인 채널2(42)을 제공한다.
또한, 중계 장치(200)는 제3 레이어(13)를 이용하여 제3 영상 스트림 데이터(23)를 전송하기 위한 통신 채널인 채널3(43)을 제공한다. 또한, 중계 장치(200)는 제4 레이어(14)를 이용하여 제4 영상 스트림 데이터(24)를 전송하기 위한 통신 채널인 채널4(44)를 제공한다.
즉, 예를 들어, 송신 장치(100)가 중계 장치(200)를 통하여 제3 레이어 수준으로 수신 단말로 영상 스트림을 제공하는 경우, 중계 장치(200)는 제1 채널(41), 제2 채널(42) 및 제3 채널(43)을 통하여 영상 스트림을 중계한다.
본 발명의 일 실시예에 따른 영상 스트림 제공 시스템의 동작은 본 발명의 다른 실시예에 따른 영상 스트림 제공 방법을 참조하여 이해할 수 있다.
마찬가지로 도 1 내지 4를 설명한 내용도 본 발명의 다른 실시예에 따른 영상 스트림 제공 방법에 적용될 수 있다.
도 5는 본 발명의 다른 실시예에 따른 영상 스트림 제공 방법에 관한 흐름도이다.
도 5에서는 발명의 이해를 돕기 위하여 수신 단말이 제1 수신 단말(310), 제2 수신 단말(320) 및 제3 수신 단말(330)이 존재하는 것을 예로 들어 설명한다. 그러나, 본 발명의 적용 범위는 수신 단말이 세 개인 것에 한정되는 것은 아니며, 한 개의 수신 단말, 두 개의 수신 단말 및 세 개 이상의 수신 단말이 존재하는 경우에도 모두 적용될 수 있음은 당연하다.
도 5를 참조하면, 송신 장치(100)가 제1 네트워크(61) 상태를 파악한다(S505).
제1 네트워크(61)는 도 6을 참조하여 설명한다.
도 6은 제1 네트워크(61)를 설명하기 위한 도면이다.
도 6을 참조하면, 제1 네트워크(61)는 송신 장치(100)와 중계 장치(200)간 네트워크를 의미한다. 송신 장치(100)는 제1 네트워크(61) 상태를 제1 네트워크(61)에서의 패킷 로스(Packet Loss), 지터(Jitter) 및 지연(Delay) 중 적어도 어느 하나의 정보를 이용하여 파악할 수 있다.
또는, 제1 네트워크(61) 상태는 송신 장치(100) 및 중계 장치(200)의 하드웨어 스펙, 대역폭, 데이터 처리의 부하 정도 등 다양한 성능 요소를 기반으로 네트워크 상태를 파악될 수 있다.
다시 도 5를 참조하면, 송신 장치(100)는 파악된 제1 네트워크(61) 상태에 기반하여 영상 스트림을 최대한 송신 가능한 레이어 수준을 결정한다. 송신 장치(100)는 결정된 최대 송신 가능 레이어 수준을 중계 장치(200)에 전송한다(S510).
중계 장치(200)는, 송신 장치(100)로부터 최대 송신 가능 레이어 수준을 수신하고, 송신 장치(100)의 최대 송신 가능 레이어 수준을 등록한다(S515).
제1 수신 단말(310)은 제2a 네트워크(71a) 상태를 파악한다(S520). 제2 수신 단말(320)은 제2b 네트워크(71b) 상태를 파악한다(S535). 제3 수신 단말(330)은 제2c 네트워크(71c) 상태를 파악한다(S550).
제2a 네트워크(71a), 제2b 네트워크(71b) 및 제2c 네트워크(71c)는 제2 네트워크(71)에 포함되는 네트워크이다.
제2 네트워크(71) 및 제2 네트워크(71)에 포함되는 제2a 네트워크(71a), 제2b 네트워크(71b) 및 제2c 네트워크(71c)에 관하여 도 7 및 8을 참조하여 설명한다.
도 7은 제2 네트워크(71)를 설명하기 위한 도면이다.
도 7을 참조하면, 제2 네트워크(71)는 중계 장치(200)와 수신 단말 간의 네트워크를 의미한다.
도 7에서 제2 네트워크(71)는 제2a 네트워크(71a), 제2b 네트워크(71b) 및 제2c 네트워크(71c)를 포함한다.
구체적으로, 중계 장치(200)와 제1 수신 단말(310) 간 네트워크를 제2a 네트워크(71a)라 한다. 또한, 중계 장치(200)와 제2 수신 단말(320) 간 네트워크를 제2b 네트워크(71b)라 한다. 중계 장치(200)와 제3 수신 단말(330) 간 네트워크를 제2c 네트워크(71c)라 한다.
각 수신 단말은 각각의 제2 네트워크(71) 상태 정보(제2a 네트워크(71a), 제2b 네트워크(71b), 제2c 네트워크(71c))를 제2 네트워크(71)에서의 패킷 로스, 지터 및 지연 중 적어도 어느 하나를 이용하여 파악할 수 있다.
또는, 제2 네트워크(71) 상태는 송신 장치(100) 및 중계 장치(200)의 하드웨어 스펙, 대역폭, 데이터 처리의 부하 정도 등 다양한 성능 요소를 기반으로 네트워크 상태를 파악될 수 있다.
구체적으로, 제1 수신 단말(310)은 중계 장치(200)와 제1 수신 단말(310) 간 네트워크에서의 패킷 로스, 지터, 지연, 하드웨어 스펙, 대역폭 및/또는 데이터 처리 부하 등을 고려하여 제2a 네트워크(71a) 상태를 파악할 수 있다.
제2 수신 단말(320)은 중계 장치(200)와 제2 수신 단말(320) 간 네트워크에서의 패킷 로스, 지터, 지연, 하드웨어 스펙, 대역폭 및/또는 데이터 처리 부하 등을 고려하여 제2b 네트워크(71b) 상태를 파악할 수 있다.
마찬가지로, 제3 수신 단말(330)은 중계 장치(200)와 제3 수신 단말(330) 간 네트워크에서의 패킷 로스, 지터, 지연, 하드웨어 스펙, 대역폭 및/또는 데이터 처리 부하 등을 고려하여 제2c 네트워크(71c) 상태를 파악할 수 있다.
되돌아가 도 5를 참조하면, 제1 수신 단말(310)은 파악된 제2a 네트워크(71a) 상태를 이용하여 제1 수신 단말(310)이 영상 스트림을 수신할 수 있는 최대 수신 가능 레이어 수준인 제1 최대 수신 가능 레이어 수준을 결정한다. 제1 수신 단말(310)은 결정된 제1 최대 수신 가능 레이어 수준을 중계 장치(200)에 전송한다(S525).
중계 장치(200)는 제1 수신 단말(310)의 최대 수신 가능 레이어 수준인 제1 최대 수신 가능 레이어 수준을 등록한다(S530).
제2 수신 단말(320)은 파악된 제2b 네트워크(71b) 상태를 이용하여 제2 수신 단말(320)이 영상 스트림을 수신할 수 있는 최대 수신 가능 레이어 수준인 제2 최대 수신 가능 레이어 수준을 결정한다. 제2 수신 단말(320)은 결정된 제2 최대 수신 가능 레이어 수준을 중계 장치(200)에 전송한다(S540).
중계 장치(200)는 제2 수신 단말(320)의 최대 수신 가능 레이어 수준인 제2 최대 수신 가능 레이어 수준을 등록한다(S545).
제3 수신 단말(330)은 파악된 제2c 네트워크(71c) 상태를 이용하여 제3 수신 단말(330)이 영상 스트림을 수신할 수 있는 최대 수신 가능 레이어 수준인 제3 최대 수신 가능 레이어 수준을 결정한다. 제3 수신 단말(330)은 결정된 제3 최대 수신 가능 레이어 수준을 중계 장치(200)에 전송한다(S555).
중계 장치(200)는 제3 수신 단말(330)의 최대 수신 가능 레이어 수준인 제3 최대 수신 가능 레이어 수준을 등록한다(S560).
중계 장치(200)는 등록된 최대 송신 가능 레이어 수준, 제1 최대 수신 가능 레이어 수준, 제2 최대 수신 가능 레이어 수준 및 제3 최대 수신 가능 레이어 수준을 이용하여 영상 스트림을 중계한다(S265).
구체적으로 등록된 최대 송신 가능 레이어 수준이 제1 최대 수신 가능 레이어 수준, 제2 최대 수신 가능 레이어 수준 및 제3 최대 수신 가능 레이어 수준 이상인 경우, 중계 장치(200)는 제1 최대 수신 가능 레이어 수준으로 제1 수신 단말(310)로 영상 스트림을 중계한다. 또한, 중계 장치(200)는 제2 최대 수신 가능 레이어 수준으로 제2 수신 단말(320)로 영상 스트림을 중계한다. 또한, 중계 장치(200)는 제3 최대 수신 가능 레이어 수준으로 제3 수신 단말(330)로 영상 스트림을 중계한다.
다른 예를 들면, 최대 송신 가능 레이어 수준 보다 높은 특정 단말의 최대 수신 가능 레이어 수준이 존재하는 경우, 해당 특정 단말로는 최대 송신 가능 레이어 수준으로 영상 스트림을 중계한다.
도 8을 참조하여 보다 구체적인 예를 들어 설명한다.
도 8은 본 발명의 다른 실시예에 따른 영상 스트림 제공 방법의 구체적인 적용 일 예를 설명하기 위한 흐름도이다.
도 5와 함께 도 8을 참조하면, 송신 장치(100)의 최대 송신 가능 레이어 수준이 제3 레이어이다(S510a). 제1 수신 단말(310)의 제1 최대 수신 가능 레이어 수준은 제1 레이어이다(S525a).
제2 수신 단말(320)의 제2 최대 수신 가능 레이어 수준은 제3 레이어이다(S540a).
제3 수신 단말(330)의 제3 최대 수신 가능 레이어 수준은 제4 레이어이다(S555a).
중계 장치(200)는 최대 송신 가능 레이어 수준(제3 레이어), 제1 최대 수신 가능 레이어 수준(제1 레이어), 제2 최대 수신 가능 레이어 수준(제3 레이어) 및 제3 최대 수신 가능 레이어 수준(제4 레이어)을 이용하여 영상 스트림을 중계한다.
즉, 중계 장치(200)는 최대 송신 가능 레이어 수준(제3 레이어) 이하의 수준인 제1 최대 수신 가능 레이어(제1 레이어) 및 제2 최대 수신 가능 레이어 수준(제3 레이어)는 최대 수신 가능 레이어 수준으로 영상 스트림을 중계한다.
구체적으로, 중계 장치(200)는 제1 레이어 수준으로 제1 수신 단말(310)로 영상 스트림을 중계한다(S565a).
또한, 중계 장치(200)는 제3 레이어 수준으로 제3 수신 단말(330)로 영상 스트림을 중계한다(S565b). 즉, 중계 장치(200)는 제1 레이어, 제2 레이어 및 제3 레이어를 이용하여 제3 수신 단말(330)로 영상 스트림을 중계한다.
다만, 제3 수신 단말(330)의 제3 최대 수신 가능 레이어 수준(제4 레이어)은 최대 송신 가능 레이어 수준(제3 레이어)을 초과하는 바, 중계 장치(200)는 최대 송신 가능 레이어 수준으로 제3 수신 단말(330)로 영상 스트림을 중계한다.
즉, 중계 장치(200)는 제3 레이어 수준으로 제3 수신 단말(330)로 영상 스트림을 중계한다(S565c).
만약, 제3 수신 단말(330)의 제3 최대 수신 가능 레이어 수준이 제3 레이어이고, 최대 송신 가능 레이어 수준이 제4 레이어인 경우에는, 중계 장치(200)는 제3 레이어 수준으로 제3 수신 단말(330)로 영상 스트림을 중계한다. 모든 수신 단말이 제3 레이어 이상의 수준을 요구하고 있지 않는 바, 제4 레이어는 사용되지 않는다. 따라서, 중계 장치(200)는 제4 레이어에 할당된 통신 채널 4를 드랍(Drop)하여 일시적으로 사용하지 않을 수 있다.
또는, 이러한 경우 최대 송신 가능 레이어 수준이 4일 필요는 없으므로, 송신 장치(100)가 각 수신 단말의 최대 수신 가능 레이어 중 최고 수준에 해당하는 레이어 수준인 제3 레이어 수준으로 최대 송신 가능 레이어 수준을 중계 장치(200)로 전송할 수 있다.
도 9는 본 발명의 또 다른 실시예에 따른 중계 장치(200)를 나타내는 블록도이다.
도 9를 참조하면, 본 발명의 또 다른 실시예에 따른 중계 장치(200)는 송신 레이어 수준 수신부(210), 수신 레이어 수준 수신부(220), 송수신 레이어 수준 등록부(230) 및 영상 스트림 중계부(240)를 포함한다.
송신 레이어 수준 수신부(210)는 송신 장치(100)의 최대 송신 가능 레이어 수준을 송신 장치(100)로부터 수신할 수 있다.
수신 레이어 수준 수신부(220)는 각 단말 별 최대 수신 가능 레이어 수준을 송신 장치(100)로부터 수신할 수 있다.
송수신 레이어 수준 등록부(230)는 송신 레이어 수준 수신부(210)에서 수신한 최대 송신 가능 레이어 수준을 등록한다. 또한, 송수신 레이어 수준 등록부(230)는 각 단말 별 최대 수신 가능 레이어 수준을 등록한다.
영상 스트림 중계부(240)는 송수신 레이어 수준 등록부(230)에 등록된 최대 송신 가능 레이어 수준 및 각 단말 별 최대 수신 가능 레이어 수준을 이용하여 각 단말로 영상 스트림을 중계한다.
본 발명의 또 다른 실시예에 따른 중계 장치(200)에 관한 보다 구체적인 내용은 도 1 내지 8을 참조하여 설명한 영상 스트림 제공 시스템 및 방법에 관한 내용을 참조하여 이해할 수 있다.
도 10은 본 발명의 또 다른 실시예에 따른 중계 장치(200)의 다른 구성도이다.
중계 장치(200)는 도 10에 도시된 구성을 가질 수도 있다.
중계 장치(200)는 명령어를 수행하는 프로세서(1), RAM과 같은 메모리(2), 프로그램 데이터가 저장되는 스토리지(3), 외부 장치와의 데이터 송수신을 위한 네트워크 인터페이스(4), 프로세서(1) 및 메모리(2)와 연결되어 데이터 이동 통로가 되는 데이터 버스(5)를 포함할 수 있다.
본 발명의 실시예에 따르면, 복수 개의 레이어 마다 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 서비스에서 중계 장치(200)가 파싱(Parsing) 등에 소요되는 연산 비용을 제거하거나 감소시킬 수 있다.
즉, 기존에는 복수 개의 레이어 마다 다른 영상 스트림 데이터를 포함하는 영상 스트림을 각 단말로 제공하기 위해서는 필터링 등의 과정이 필요하다. 필터링과 같은 과정을 위해서는 모든 데이터 또는 거의 모드 데이터를 파싱(Parsing)할 필요성이 있다. 그러나, 본 발명은 파싱이 필요 없거나 채널 정도까지만 파싱을 수행하면 된다. 따라서, 본 발명은 파싱 등에 소요되는 연산 비용을 감소시키고 중계 장치(200)의 성능을 향상시킬 수 있다.
도 9의 각 구성요소는 소프트웨어(software) 또는, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)를 의미할 수 있다. 그렇지만 상기 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성요소들 안에서 제공되는 기능은 더 세분화된 구성요소에 의하여 구현될 수 있으며, 복수의 구성요소들을 합하여 특정한 기능을 수행하는 하나의 구성요소로 구현할 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (17)

  1. 중계 장치가, 복수 개의 레이어(Layer)마다 서로 다른 영상 스트림 데이터를 포함하는 영상 스트림을 송신 장치로부터 수신하여 하나 이상의 수신 단말에 제공하는 방법에 있어서,
    상기 중계 장치가, 제1 네트워크 상태에 기반하여 상기 송신 장치가 결정한 최대 송신 가능 레이어 수준을 상기 송신 장치로부터 수신하는 단계;
    상기 중계 장치가, 제2a 네트워크 상태에 기반하여 제1 수신 단말이 결정한 제1 최대 수신 가능 레이어 수준을 상기 제1 수신 단말로부터 수신하는 단계;
    상기 중계 장치가, 제2b 네트워크 상태에 기반하여 제2 수신 단말이 결정한 제2 최대 수신 가능 레이어 수준을 상기 제2 수신 단말로부터 수신하는 단계; 및
    상기 중계 장치가, 상기 최대 송신 가능 레이어 수준, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준을 이용하여 상기 영상 스트림을 중계하는 단계를 포함하되,
    상기 중계하는 단계는,
    각 수신 단말 별로 상기 영상 스트림 중계를 위한 레이어를 선택하기 위한 필터링(Filtering) 과정을 수행하지 않고, 상기 최대 송신 가능 레이어 수준, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준을 이용하여 상기 영상 스트림을 중계하는, 영상 스트림 제공 방법.
  2. 제1 항에 있어서,
    상기 최대 송신 가능 레이어 수준이 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준 이상인 경우에는,
    상기 중계하는 단계는,
    상기 제1 최대 수신 가능 레이어 수준으로 상기 제1 수신 단말로 영상 스트림을 중계하고,
    상기 제2 최대 수신 가능 레이어 수준으로 상기 제2 수신 단말로 영상 스트림을 중계하는, 영상 스트림 제공 방법.
  3. 제1 항에 있어서,
    상기 최대 송신 가능 레이어 수준이 상기 제1 최대 수신 가능 레이어 수준 이상이고 상기 제2 최대 수신 가능 레이어 수준 미만인 경우에는,
    상기 중계하는 단계는,
    상기 제1 최대 수신 가능 레이어 수준으로 상기 제1 수신 단말로 영상 스트림을 중계하고,
    상기 최대 송신 가능 레이어 수준으로 상기 제2 수신 단말로 영상 스트림을 중계하는, 영상 스트림 제공 방법.
  4. 제1 항에 있어서,
    상기 제1 네트워크는 상기 송신 장치와 상기 중계 장치 간의 네트워크이며,
    상기 제1 네트워크 상태는 상기 제1 네트워크에서의 패킷 로스(Packet Loss), 지터(Jitter) 및 지연(Delay) 중 적어도 하나를 이용하여 파악하는, 영상 스트림 제공 방법.
  5. 제1 항에 있어서,
    상기 제2a 네트워크는 상기 제1 수신 단말과 상기 중계 장치 간의 네트워크이며, 상기 제2b 네트워크는 상기 제2 수신 단말과 상기 중계 장치 간의 네트워크이며,
    상기 제2a 네트워크 상태는 상기 제2a 네트워크에서의 패킷 로스, 지터 및 지연 중 적어도 하나를 이용하여 파악하고, 상기 제2b 네트워크 상태는 상기 제2b 네트워크에서의 패킷 로스, 지터 및 지연 중 적어도 하나를 이용하여 파악하는, 영상 스트림 제공 방법.
  6. 제1 항에 있어서,
    상기 영상 스트림은,
    스케일러블 영상 코덱(SVC, Scalable Video Codec)을 이용하여 상기 복수 개의 레이어 마다 서로 다른 영상 스트림 데이터가 포함되도록 생성한 것인, 영상 스트림 제공 방법.
  7. 삭제
  8. 복수 개의 레이어(Layer)마다 서로 다른 영상 스트림 데이터를 포함하는 영상 스트림을 제공하는 시스템에 있어서,
    각 레이어별 통신 채널을 제공하는 중계 장치; 및
    제1 네트워크 상태에 기반하여 상기 영상 스트림 송신을 위한 최대 송신 가능 레이어 수준을 결정하고, 상기 결정된 최대 송신 가능 레이어 수준을 상기 중계 장치로 전송하고, 상기 중계 장치로 상기 영상 스트림를 송신하는 송신 장치를 포함하고,
    상기 중계 장치는,
    제2a 네트워크 상태에 기반하여 제1 수신 단말이 결정한 제1 최대 수신 가능 레이어 수준을 상기 제1 수신 단말로부터 수신하고, 제2b 네트워크 상태에 기반하여 제2 수신 단말이 결정한 제2 최대 수신 가능 레이어 수준을 상기 제2 수신 단말로부터 수신하는 수신 레이어 수준 수신부 및
    상기 최대 송신 가능 레이어 수준, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준을 이용하여 상기 영상 스트림을 중계하는 영상 스트림 중계부를 포함하되,
    상기 영상 스트림 중계부는,
    각 수신 단말 별로 상기 영상 스트림 중계를 위한 레이어를 선택하기 위한 필터링(Filtering) 과정을 수행하지 않고, 상기 최대 송신 가능 레이어 수준, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준을 이용하여 상기 영상 스트림을 중계하는 것인, 영상 스트림 제공 시스템.
  9. 제8 항에 있어서,
    상기 송신 장치는,
    상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준에 관한 정보를 획득하며,
    상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준 중 최고 수준이 상기 송신 가능 레이어 수준 보다 낮은 경우,
    상기 최대 송신 가능 레이어 수준을 상기 최고 수준과 동일하게 결정하여 상기 중계 장치로 전송하는, 영상 스트림 제공 시스템.
  10. 제8 항에 있어서,
    상기 최대 송신 가능 레이어 수준이 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준 이상인 경우에는,
    상기 중계 장치는,
    상기 제1 최대 수신 가능 레이어 수준으로 상기 제1 수신 단말로 영상 스트림을 중계하고,
    상기 제2 최대 수신 가능 레이어 수준으로 상기 제2 수신 단말로 영상 스트림을 중계하는, 영상 스트림 제공 시스템.
  11. 제8 항에 있어서,
    상기 최대 송신 가능 레이어 수준이 상기 제1 최대 수신 가능 레이어 수준 이상이고 상기 제2 최대 수신 가능 레이어 수준 미만인 경우에는,
    상기 중계 장치는,
    상기 제1 최대 수신 가능 레이어 수준으로 상기 제1 수신 단말로 영상 스트림을 중계하고,
    상기 최대 송신 가능 레이어 수준으로 상기 제2 수신 단말로 영상 스트림을 중계하는, 영상 스트림 제공 시스템.
  12. 복수 개의 레이어(Layer)마다 서로 다른 영상 스트림 데이터를 포함하는 영상 스트림을 송신 장치로부터 수신하여 하나 이상의 수신 단말에 제공하는 중계 장치에 있어서,
    제1 네트워크 상태에 기반하여 상기 송신 장치가 결정한 최대 송신 가능 레이어 수준을 상기 송신 장치로부터 수신하는 송신 레이어 수준 수신부;
    제2a 네트워크 상태에 기반하여 제1 수신 단말이 결정한 제1 최대 수신 가능 레이어 수준을 상기 제1 수신 단말로부터 수신하고, 제2b 네트워크 상태에 기반하여 제2 수신 단말이 결정한 제2 최대 수신 가능 레이어 수준을 상기 제2 수신 단말로부터 수신하는 수신 레이어 수준 수신부; 및
    상기 최대 송신 가능 레이어 수준, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준을 이용하여 상기 영상 스트림을 중계하는 영상 스트림 중계부를 포함하되,
    상기 영상 스트림 중계부는,
    각 수신 단말 별로 상기 영상 스트림 중계를 위한 레이어를 선택하기 위한 필터링(Filtering) 과정을 수행하지 않고, 상기 최대 송신 가능 레이어 수준, 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준을 이용하여 상기 영상 스트림을 중계하는 것인, 중계 장치.
  13. 제12 항에 있어서,
    상기 최대 송신 가능 레이어 수준이 상기 제1 최대 수신 가능 레이어 수준 및 상기 제2 최대 수신 가능 레이어 수준 이상인 경우에는,
    상기 영상 스트림 중계부는,
    상기 제1 최대 수신 가능 레이어 수준으로 상기 제1 수신 단말로 영상 스트림을 중계하고,
    상기 제2 최대 수신 가능 레이어 수준으로 상기 제2 수신 단말로 영상 스트림을 중계하는, 중계 장치.
  14. 제12 항에 있어서,
    상기 최대 송신 가능 레이어 수준이 상기 제1 최대 수신 가능 레이어 수준 이상이고 상기 제2 최대 수신 가능 레이어 수준 미만인 경우에는,
    상기 중계 장치는,
    상기 제1 최대 수신 가능 레이어 수준으로 상기 제1 수신 단말로 영상 스트림을 중계하고,
    상기 최대 송신 가능 레이어 수준으로 상기 제2 수신 단말로 영상 스트림을 중계하는, 중계 장치.
  15. 제12 항에 있어서,
    상기 제1 네트워크는 상기 송신 장치와 상기 중계 장치 간의 네트워크이며,
    상기 제1 네트워크 상태는 상기 제1 네트워크에서의 패킷 로스(Packet Loss), 지터(Jitter) 및 지연(Delay) 중 적어도 하나를 이용하여 파악하는, 중계 장치.
  16. 제12 항에 있어서,
    상기 제2a 네트워크는 상기 제1 수신 단말과 상기 중계 장치 간의 네트워크이며, 상기 제2b 네트워크는 상기 제2 수신 단말과 상기 중계 장치 간의 네트워크이며,
    상기 제2a 네트워크 상태는 상기 제2a 네트워크에서의 패킷 로스, 지터 및 지연 중 적어도 하나를 이용하여 파악하고, 상기 제2b 네트워크 상태는 상기 제2b 네트워크에서의 패킷 로스, 지터 및 지연 중 적어도 하나를 이용하여 파악하는, 중계 장치.
  17. 하드웨어와 결합되어,
    제1 항 내지 제6 항 중 어느 한 항의 방법을 수행하기 위하여 저장매체에 저장된 컴퓨터프로그램.
KR1020140119115A 2014-09-05 2014-09-05 영상 스트림 제공 방법 및 시스템과 중계 장치 KR101682627B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020140119115A KR101682627B1 (ko) 2014-09-05 2014-09-05 영상 스트림 제공 방법 및 시스템과 중계 장치
PCT/KR2014/009610 WO2016035923A1 (ko) 2014-09-05 2014-10-14 영상 스트림 제공 방법 및 시스템과 중계 장치
CN201410598561.6A CN105635738B (zh) 2014-09-05 2014-10-30 视频流提供方法及系统和中继装置
US14/529,392 US20160073173A1 (en) 2014-09-05 2014-10-31 Video stream providing method and system and relay apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140119115A KR101682627B1 (ko) 2014-09-05 2014-09-05 영상 스트림 제공 방법 및 시스템과 중계 장치

Publications (2)

Publication Number Publication Date
KR20160029498A KR20160029498A (ko) 2016-03-15
KR101682627B1 true KR101682627B1 (ko) 2016-12-05

Family

ID=55438765

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140119115A KR101682627B1 (ko) 2014-09-05 2014-09-05 영상 스트림 제공 방법 및 시스템과 중계 장치

Country Status (4)

Country Link
US (1) US20160073173A1 (ko)
KR (1) KR101682627B1 (ko)
CN (1) CN105635738B (ko)
WO (1) WO2016035923A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180059210A (ko) * 2016-11-25 2018-06-04 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
KR20180091381A (ko) 2017-02-06 2018-08-16 삼성전자주식회사 다면체에 기반한 vr 이미지를 제공하는 전자 장치 및 그 이미지의 제공 방법
KR102442089B1 (ko) 2017-12-20 2022-09-13 삼성전자주식회사 이미지의 관심 영역의 위치에 따라 이미지를 다면체에 매핑하는 장치 및 그 영상 처리 방법
KR102275296B1 (ko) * 2018-04-12 2021-07-12 주식회사 큐램 스트리밍에서의 전송속도 제어방법 및 이를 위한 시스템

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050275752A1 (en) * 2002-10-15 2005-12-15 Koninklijke Philips Electronics N.V. System and method for transmitting scalable coded video over an ip network
US7313814B2 (en) * 2003-04-01 2007-12-25 Microsoft Corporation Scalable, error resilient DRM for scalable media
US20060007943A1 (en) * 2004-07-07 2006-01-12 Fellman Ronald D Method and system for providing site independent real-time multimedia transport over packet-switched networks
CN101015191A (zh) * 2004-07-09 2007-08-08 高通股份有限公司 用于对内容进行分层以在数据网络中进行调度传送的系统
US20060023748A1 (en) * 2004-07-09 2006-02-02 Chandhok Ravinder P System for layering content for scheduled delivery in a data network
KR101008356B1 (ko) * 2008-01-21 2011-01-14 최태암 스트리밍 중계장치, 사용자 단말장치 및 스트리밍 서비스중계방법
CN101547356B (zh) * 2008-03-24 2011-07-27 展讯通信（上海）有限公司 视频码流收发、转发方法及设备
KR100978355B1 (ko) * 2008-11-06 2010-08-30 연세대학교 산학협력단 계층화된 데이터를 전송하는 데이터 전송 장치 및 데이터 전송 방법
KR101082544B1 (ko) * 2009-12-30 2011-11-10 경희대학교 산학협력단 릴레이 장치 및 이 릴레이 장치에서의 데이터 패킷의 전송 방법
EP2550806B1 (en) * 2010-03-25 2019-05-15 Massachusetts Institute of Technology Secure network coding for multi-resolution wireless video streaming
KR101728000B1 (ko) * 2010-11-25 2017-05-02 주식회사 케이티 스케일러블 비디오 코딩을 적용하여 방송 서비스를 제공하는 방법 및 시스템
CN102186072B (zh) * 2011-04-20 2013-03-20 上海交通大学 用于可伸缩视频流的多速率组播通信的优化传输方法
KR101331259B1 (ko) * 2012-03-20 2013-11-20 고려대학교 산학협력단 데이터 전송 방법 및 장치, 그리고 데이터 수신 방법
CN117956141A (zh) * 2013-04-08 2024-04-30 Ge视频压缩有限责任公司 多视图解码器
CN103313054B (zh) * 2013-05-22 2016-05-04 中国科学院声学研究所 可伸缩视频编码svc视频的传输调度方法

Also Published As

Publication number Publication date
KR20160029498A (ko) 2016-03-15
CN105635738B (zh) 2019-10-11
WO2016035923A1 (ko) 2016-03-10
CN105635738A (zh) 2016-06-01
US20160073173A1 (en) 2016-03-10

Similar Documents

Publication Publication Date Title
US10069719B2 (en) Method and apparatus for multipath media delivery
US10205971B2 (en) Media data live broadcast method, device, and system
US8982761B2 (en) Method, apparatus, and system for carrying out multimedia service in wireless local area
CN109068187B (zh) 实时流量传送系统和方法
US7817625B2 (en) Method of transmitting data in a communication system
US20130346562A1 (en) Data transmission method and apparatus for mobile terminal
CN111147893B (zh) 一种视频自适应方法、相关设备以及存储介质
KR101682627B1 (ko) 영상 스트림 제공 방법 및 시스템과 중계 장치
US20150358376A1 (en) Method, Apparatus and System for Transmitting Media Data
CN104661050A (zh) 一种流媒体数据传输方法、装置及系统
KR20170101192A (ko) 링크 인식 스트리밍 적응
US10243837B2 (en) Enabling split sessions across hybrid public safety and LTE networks
US9787743B2 (en) Method, system and apparatus for the transmission and adaption of data
Saleh et al. Improving QoS of IPTV and VoIP over IEEE 802.11 n
Ahmedin et al. A survey of multimedia streaming in LTE cellular networks
US10798141B2 (en) Multiplexing data
JP4636510B2 (ja) 通信放送連携システムにおける端末のレート制御方法、端末、システム及びプログラム
EP4358591A1 (en) Data transmission method and related device
KR102088294B1 (ko) 미디어 클라이언트로부터의 수신 상태정보에 기반한 적응적 미디어 전달 방법 및 이를 이용하는 장치
Sarker et al. Improving the interactive real time video communication with network provided congestion notification
JP6119220B2 (ja) メディア通信装置及びメディア通信システム
WO2017074811A1 (en) Multiplexing data
WO2014077268A1 (ja) パケット転送制御装置、パケット転送制御方法およびプログラム
Siddiqi Improving the quality of streaming video through dynamic chrominance adjustment
Sakthisudhan et al. Comparative Analysis of Video Streaming Services in H. 323 Application layered protocol coexisting of WLAN with Wireless Broadband Standard networks

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right