KR20220158275A - 네트워크에서 스트리밍되는 콘텐츠를 클라이언트 디바이스의 플레이어에서 재생하기 위한 방법 - Google Patents

네트워크에서 스트리밍되는 콘텐츠를 클라이언트 디바이스의 플레이어에서 재생하기 위한 방법 Download PDF

Info

Publication number
KR20220158275A
KR20220158275A KR1020227037206A KR20227037206A KR20220158275A KR 20220158275 A KR20220158275 A KR 20220158275A KR 1020227037206 A KR1020227037206 A KR 1020227037206A KR 20227037206 A KR20227037206 A KR 20227037206A KR 20220158275 A KR20220158275 A KR 20220158275A
Authority
KR
South Korea
Prior art keywords
segment
player
quality level
network
abr
Prior art date
Application number
KR1020227037206A
Other languages
English (en)
Inventor
히바 유세프
알렉산드르 스토렐리
악셀 델마
Original Assignee
스트림루트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스트림루트 filed Critical 스트림루트
Publication of KR20220158275A publication Critical patent/KR20220158275A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1834—Distributed file systems implemented based on peer-to-peer networks, e.g. gnutella
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5681—Pre-fetching or pre-delivering data based on network characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/632—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing using a connection between clients on a wide area network, e.g. setting up a peer-to-peer communication via Internet for retrieving video segments from the hard-disk of other client devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Computer And Data Communications (AREA)

Abstract

본 발명은 클라이언트 디바이스(11)의 플레이어에서 네트워크(1)에서 스트리밍되는 콘텐츠를 재생하기 위한 방법으로서, 상기 콘텐츠는 복수 개의 품질 레벨에서 이용가능한 세그멘트들의 시퀀스를 포함하고, 상기 플레이어는 상기 세그멘트의 품질 레벨을 상기 플레이어의 ABR(Adaptive BitRate) 로직에 따라서, 세그멘트 수신 레이트를 나타내는 적어도 하나의 파라미터의 함수로서 선택하도록 구성되며, 상기 클라이언트 디바이스(11)는 상기 세그멘트를 네트워크(1) 내에서 전송되도록 적응된 포맷으로 저장하기 위한 제 1 버퍼(M1)를 포함하고, 상기 방법은, 상기 클라이언트 디바이스(11)의 처리 유닛(110)에 의하여, (a) 상기 플레이어로부터 제 1 품질 레벨에서의 현재 세그멘트에 대한 요청을 수신하는 단계; (b) 상기 플레이어의 ABR 로직을 예측하는 모델을 사용하여, 상기 요청된 현재 세그멘트가 상기 제 1 버퍼 메모리(M1)로부터 제공된 이후에 상기 플레이어가 자신의 ABR 로직에 따라서 다음 세그멘트를 제 2 품질 레벨에서 요청할 것이라고 결정하는 단계; (c) 상기 다음 세그멘트가 상기 제 2 품질 레벨에서 상기 제 1 버퍼 메모리(M1)에 존재하지 않으면, 상기 다음 세그멘트를 상기 제 2 품질 레벨에서 네트워크(1)로부터 페치하는 단계를 수행하는 것을 포함하는, 콘텐츠 재생 방법에 관한 것이다.

Description

네트워크에서 스트리밍되는 콘텐츠를 클라이언트 디바이스의 플레이어에서 재생하기 위한 방법
본 발명은, 예를 들어 피어-투-피어 네트워크에서 스트리밍되는 콘텐츠를 재생하기 위한 방법에 관한 것이다.
"스트리밍"은, 즉 클라이언트 디바이스에 의해서 인터넷으로부터 복원되는 동안에 이루어지는 인터넷 "다이렉트(direct)" 오디오 또는 비디오 스트림 재생 기법을 나타낸다. 따라서, 이것은 오디오 또는 비디오 콘텐츠를 재생할 수 있게 되기 이전에 모든 데이터가 복원되도록 요구되는 다운로드의 반대이다.
스트리밍의 경우, 콘텐츠를 저장하는 것이 일시적이고 부분적인데, 그 이유는 데이터가 클라이언트의 버퍼(통상적으로 랜덤 액세스 메모리) 내에 연속적으로 다운로드되고, 그 프로세서에 의해서 즉시 분석되며 출력 인터페이스(스크린 및/또는 라우드스피커)로 신속하게 전송되며, 그 후에 새로운 데이터로 교체되기 때문이다.
전통적으로, 콘텐츠는 스트리밍 서버(콘텐츠 전송 네트워크, 또는 CDN라고 불림)에 의해서 제공된다. 콘텐츠에 액세스하기를 소망하는 클라이언트는 그로부터 제 1 세그멘트를 복원하려는 요청을 전송한다(세그멘트의 경우, 이것은 일반적으로 수 초의 재생에 대응하는 콘텐츠의 데이터 블록인 것으로 의도됨). 콘텐츠의 시작이 재생되게 하기에 충분한 데이터가 버퍼 내에 존재하면, 재생이 시작된다. 백그라운드에서는, 버퍼에 콘텐츠의 잔여 부분을 끊김이 없이 공급하기 위해서 스트림 다운로드가 계속된다.
그러나, 많은 수의 클라이언트가 동일한 콘텐츠를 동시에 재생하기를 소망하는 경우에는 이러한 접근법이 한계를 가진다는 것에 주의한다: 서버는 포화 상태가 된 것이 발견되어, 콘텐츠를 재생이 원활하게 이루어지기 위한 충분한 레이트로 콘텐츠를 제공할 수 없게 되고, 끊김이 발생한다.
최근에는, 각각의 클라이언트가 다른 클라이언트에 대한 서버로서의 역할을 수행하고, 이들이 피어라고 불리는 "피어-투-피어"(P2P) 기법에 기반한 대안적인 전략이 제안되었다. 콘텐츠를 재생하기 시작한 피어는 자신이 이미 수신한 세그멘트를 다른 이에게 전달할 수 있고, 이것이 계속되며, 따라서 관심 클라이언트들의 숫자와 무관하게 브로드캐스트가 쉬워진다. 이러한 전략은 국제 출원 제 WO 2012/154287에 설명된다.
그러나, 대부분의 플레이어는 ABR(Adaptive BitRate)이라고 알려진 것을 구현하고 있고, 이것은 P2P와 조합되면 문제가 되는 것이 밝혀졌다.
ABR의 일반적인 사상은 복원된 세그멘트의 품질을 피어의 "용량(capacity)" 에 따라서 자동으로 변경할 수 있게 하는 것이다. 더 구체적으로 설명하면, 각각의 세그멘트는 수 개의 비트레이트, 즉 데이터 레이트에 대응하는 수 개의 품질 레벨에서 이용가능하다. 더 양호한 품질의 세그멘트가 더 양호한 해상도, 더 적은 압축, 초당 더 많은 프레임 등을 가지고 있고, 결과적으로 더 낮은 품질인 동일한 세그멘트보다 더 크며, 따라서 더 높은 데이터 레이트를 지원하는 것이 필요하다는 것이 꼭 이해되어야 한다.
ABR 스트리밍 도중에, 각각의 세그멘트에 대하여 알고리즘이 선택될 수 있는 최선의 품질을 주어진 로직("ABR 로직"이라고 불림)에 따라서, 일반적으로 관찰된 대역폭 및/또는 버퍼 충진 레이트인 두 개의 기준들을 고려하면서 자동으로 결정한다.
첫 번째 경우에, 추정된 대역폭이 더 높은 품질을 지원하기에 충분하다고 알고리즘이 판정한다면, 알고리즘은 클라이언트에게 이러한 품질로 전환하도록 명령할 것이다(또는 대역폭이 너무 낮다면 더 낮은 품질로 전환하도록 명령함). 두 번째 경우에, 원리는 버퍼 메모리를 상이한 간격으로 분할하는 것이고, 각각의 간격은 버퍼 메모리의 충진이 증가하기 때문에 점점 더 높은 품질에 대응한다(또는 충진이 감소한다면 점점 낮은 품질에 대응함).
양자 모두의 경우에, ABR 알고리즘이 P2P 스트리밍 콘텍스트에서 사용될 기본적인 비호환성을 가지지 않는 경우에도, ABR 알고리즘이 간단한 스트리밍 시나리오, 즉 모든 세그멘트들이 콘텐츠 서버로부터의 요청에 따라 취출되는 시나리오에서 동작하도록 설계되었다는 것이 문제이다.
그러나, 실제로 P2P 스트리밍은 바람직하게도 P2P 세그멘트를 플레이어가 이들을 실제로 요청하기 이전에 전용 P2P 캐시 내에 다운로드 함으로써 "사전-페칭(pre-fetching)"(또는 "사전-버퍼링(pre-buffering)")을 수행한다. 사실상, P2P 스트리밍의 목적은 원본 콘텐츠 서버로부터 가능한 요청하지 않는 것이다(그리고 원본 콘텐츠 서버를 마지막 안식처로서 요청함): 세그멘트로부터 이러한 서버로의 직접적인 요청은 비디오 버퍼 내에 세그멘트가 더 이상 존재하지 않고 재생이 끊길("재-버퍼링(re-buffering)" 위험이 존재하는 경우에만, 그렇지 않으면 P2P 네트워크에 최대의 카운트가 존재할 경우에만 이루어진다.
따라서 좌측, 플레이어의 관점에서 볼 때는 극단적으로 높은 명목 대역폭(apparent bandwidth)이 남겨지는데, 그 이유는 세그멘트들이 요청된 이후에 일 초 미만에 P2P 캐시로부터 버퍼 메모리 내로 로딩될 수 있기 때문이다. 추가적으로, 비디오 버퍼의 충진 레이트가 인위적으로 높아진다.
그러면, 네트워크 용량 및 지원할 필요가 있을 수 있는 품질과 무관하게, 현재 품질이 최대 품질이 아닌 경우에 ABR의 제어되지 않은 판정이 품질을 높이게 된다.
스트림의 품질에서의 불안정한 발진 또는 심지어 재생의 반복된 인터럽트, 및 콘텐츠 서버로의 다수의 불필요한 요청을 피하기 위하여, 출원 제 FR1903195 및 제 EP20305202에서는 세그멘트를 플레이어에 전달하기 이전에 ABR 알고리즘을 제어하기 위한 인위적 응답 지연을 도입하는 것 및 플레이어의 ABR 로직에 접근하지 않고서 최적 응답 지연을 어떻게 선택하는지가 제안되었다.
이러한 방법은 매우 만족스럽지만, 여전히 개선될 수 있다.
사실상, 보통의 사전-페치 프로세스는 P2P 캐시가 현재 비트레이트에서의 세그멘트의 목록을 유지하도록 하고, ABR 로직이 통제되는 경우에도, ABR이 다른 비트레이트로 스위칭될 때마다 이러한 세그멘트는 폐기될 것이고, 세그멘트의 다른 목록이 새로운 비트레이트에서 패치되어야 한다. 자주 일어난다면, 이러한 시나리오는 P2P 리소스를 비효율적으로 소모하게 되고, CDN으로부터 더 많은 데이터를 요청하는 희생이 초래된다.
더욱이, 대역폭 상태가 좋지 않은 경우, 이것은 P2P 네트워크 자체도 충분히 양호하지 않은 경우 CDN으로 스위칭하는 경우에 생길 수 있는 재생 오류(playback corruption)에 기인하여 경험의 질(quality of experience; QoE)이 나빠지게 할 수도 있다.
그러므로, P2P 스트리밍 콘텍스트에서의 임의의 ABR 알고리즘에서의 더 효율적이고 범용적이고 신뢰가능산 사전-페치 전략을 가진다면 바람직할 것이다.
본 발명은 이러한 상황을 개선시킨다.
이러한 목적을 위하여, 본 발명은 제 1 양태에 따르면, 클라이언트 디바이스의 플레이어에서 네트워크에서 스트리밍되는 콘텐츠를 재생하기 위한 방법으로서, 상기 콘텐츠는 복수 개의 품질 레벨에서 이용가능한 세그멘트들의 시퀀스를 포함하고, 상기 플레이어는 상기 세그멘트의 품질 레벨을 상기 플레이어의 ABR 로직에 따라서, 세그멘트 수신 레이트를 나타내는 적어도 하나의 파라미터의 함수로서 선택하도록 구성되며, 상기 클라이언트 디바이스는 상기 세그멘트를 네트워크 내에서 전송되도록 적응된 포맷으로 저장하기 위한 제 1 버퍼를 포함하고, 상기 방법은, 상기 클라이언트 디바이스의 처리 유닛에 의하여, (a) 상기 플레이어로부터 제 1 품질 레벨에서의 현재 세그멘트에 대한 요청을 수신하는 단계; (b) 상기 플레이어의 ABR 로직을 예측하는 모델을 사용하여, 상기 요청된 현재 세그멘트가 상기 제 1 버퍼 메모리로부터 제공된 이후에 상기 플레이어가 자신의 ABR 로직에 따라서 다음 세그멘트를 제 2 품질 레벨에서 요청할 것이라고 결정하는 단계; 및 (c) 상기 다음 세그멘트가 상기 제 2 품질 레벨에서 상기 제 1 버퍼 메모리에 존재하지 않으면, 상기 다음 세그멘트를 상기 제 2 품질 레벨에서 네트워크로부터 페치하는 단계를 수행하는 것을 포함하는, 콘텐츠 재생 방법을 제공한다.
본 발명의 바람직하고 비한정적인 특징들은 다음과 같다:
상기 단계 (b)는, 상기 제 2 품질 레벨을 상기 플레이어의 ABR 로직을 예측하는 모델을 사용하여 상기 세그멘트 수신 레이트를 나타내는 적어도 하나의 파라미터의 함수로서 예측하는 것을 포함한다.
상기 제 2 품질 레벨은 사전에 규정되고, 상기 단계 (b)는, 요청된 현재 세그멘트를 상기 최적 응답 지연의 만료시에 제공하면 상기 플레이어가 자신의 ABR 로직에 따라서 다음 세그멘트를 상기 제 2 품질 레벨에서 요청하게 되도록, 최적 응답 지연을 상기 플레이어의 ABR 로직을 예측하는 모델의 함수로서 추정하는 것을 포함한다.
상기 모델은, 세그멘트 수신 레이트를 나타내는 측정된 파라미터의 벡터를 상기 플레이어에 의하여 자신의 ABR 로직에 따라서 후속 선택된 대응하는 품질 레벨과 각각 연관시키는 훈련 예들의 데이터베이스로부터 훈련된다.
상기 ABR 로직은 세그멘트 수신 레이트를 나타내는 상기 적어도 하나의 파라미터의 제 1 함수에 의하여 규정되고, 상기 모델은 상기 제 1 함수를 근사화한다.
상기 클라이언트 디바이스는, 세그멘트를 상기 플레이어에 의하여 재생되도록 적응된 포맷으로 저장하기 위한 제 2 버퍼를 더 포함하고,
상기 현재 세그멘트는 단계 (c)에서 상기 제 2 버퍼로 제공된다.
요청된 현재 세그멘트는 상기 추정된 최적 응답 지연의 만료시에 제 1 버퍼로부터 제공된다.
세그멘트 수신 레이트를 나타내는 상기 파라미터는 상기 제 2 버퍼의 버퍼 레벨 및/또는 대역폭이다.
상기 단계 (c)는, 상기 다음 세그멘트가 상기 제 2 품질 레벨에서 상기 제 1 버퍼 메모리에 적어도 부분적으로, 바람직하게는 전체적으로 존재한다면, 다음 두 번째 세그멘트에 대해서 단계 (b) 및 단계 (c)를 다시 수행하는 것을 포함한다.
상기 단계 (c)는 상기 다음 세그멘트가 상기 제 2 품질 레벨에서 상기 제 버퍼 메모리에 부분적으로만 존재한다면, 상기 다음 세그멘트를 상기 제 2 품질 레벨에서 상기 네트워크의 콘텐츠 서버로부터 직접 페치하는 것을 포함한다.
상기 방법은, 제 2 품질 레벨에서의 다음 세그멘트에 대한 요청이 상기 플레이어로부터 수신된다고 검증하는 추가 단계 (d)를 포함한다.
제 2 양태에 따르면, 본 발명은 네트워크에서 스트리밍되는 콘텐츠를 플레이어에서 재생하기 위한 디바이스로서, 상기 콘텐츠는 복수 개의 품질 레벨에서 이용가능한 세그멘트들의 시퀀스를 포함하고, 상기 플레이어는, 상기 세그멘트의 품질 레벨을 세그멘트 수신 레이트를 나타내는 적어도 하나의 파라미터의 함수로서 상기 플레이어의 ABR 로직에 따라서 선택하도록 구성되며, 상기 클라이언트 디바이스는 세그멘트를 네트워크 내에서 전송되도록 적응된 포맷으로 저장하기 위한 제 1 버퍼를 포함하고, 상기 클라이언트 디바이스는 처리 유닛을 포함하고, 상기 처리 유닛은, (a) 상기 플레이어로부터 제 1 품질 레벨에서의 현재 세그멘트에 대한 요청을 수신하는 것; (b) 상기 플레이어의 ABR 로직을 예측하는 모델을 사용하여, 상기 요청된 현재 세그멘트가 상기 제 1 버퍼 메모리로부터 제공된 이후에 상기 플레이어가 자신의 ABR 로직에 따라서 다음 세그멘트를 제 2 품질 레벨에서 요청할 것이라고 결정하는 것; 및 (c) 상기 다음 세그멘트가 상기 제 2 품질 레벨에서 상기 제 1 버퍼 메모리에 존재하지 않으면, 상기 다음 세그멘트를 상기 제 2 품질 레벨에서 네트워크로부터 페치하는 것을 구현하는, 디바이스를 제공한다.
제 3 및 제 4 양태에 따르면, 본 발명은 네트워크에서 스트리밍되는 콘텐츠를 클라이언트 디바이스의 플레이어에서 재생하기 위하여, 제 1 양태에 따른 방법을 실행하기 위한 코드 명령을 포함하는 컴퓨터 프로그램 제품; 및 네트워크에서 스트리밍되는 콘텐츠를 클라이언트 디바이스의 플레이어에서 재생하기 위하여, 제 1 양태에 따른 방법을 실행하기 위한 코드 명령을 포함하는 컴퓨터 프로그램 제품이 저장된 컴퓨터-판독가능 매체를 제공한다.
본 발명의 전술된 목적 및 다른 목적, 특징 및 장점은 그 예시적 실시형태의 후속하는 상세한 설명에서 명백해질 것이고, 상세한 설명은 다음과 같은 첨부 도면과 함께 정독되어야 한다:
- 도 1은 본 발명에 따르는 방법을 구현하기 위한 아키텍처를 나타낸다;
- 도 2는 본 발명에 따르는 방법의 바람직한 실시형태를 예시한다.
아키텍처
도 1을 참조하면, 본 발명은 네트워크(1) 내에서(바람직하게는 클라이언트 디바이스(11, 12)의 피어-투-피어 네트워크(10) 내에서) 스트리밍되는 콘텐츠를, 바람직하게는 전용 훈련 방법에 따라서 훈련된, 클라이언트 디바이스(11)의 플레이어의 ABR 로직을 예측하기 위한 훈련된 모델을 사용하여 재생하기 위한 방법에 관한 것이다.
네트워크(1)는 본 명세서에서 대규모 원격 통신 네트워크이고, 특히 인터넷이다. 이러한 네트워크(1)는 클라이언트 디바이스(11, 12)의 피어-투-피어 네트워크(10)를 포함한다. 각각의 클라이언트 디바이스(11, 12)는 통상적으로, 네트워크(1)에 연결되며 프로세서와 같은 데이터 처리 유닛(110), 콘텐츠를 재생하기 위한 인터페이스, 및 랜덤 액세스 메모리 및/또는 대량 메모리와 같은 저장 유닛을 가지는, 스마트 폰, PC, 태블릿 등과 같은 개인용 컴퓨팅 디바이스이다.
재생은 플레이어, 다시 말해서 데이터 처리 유닛(110)에 의해 실행되는 애플리케이션에 의해서 구현되는데, 이것은 변하는 속성을 가질 수 있는, 예를 들어 전용 애플리케이션, 특히 HTML5와 호환가능한 인터넷 브라우저, 운영 체제 모듈 등일 수 있다. 플레이어가 명칭 및 버전에 의해서 규정될 수 있다는 것에 주의한다.
후속하는 발명을 실시하기 위한 구체적인 내용에서, 플레이어는 "그 자체(as is)"이고, 즉 이러한 프로세스를 구현하기 위하여, 또는 심지어 P2P 스트리밍을 위해서 변경되지 않는다고 가정할 것이다. 특히, 플레이어는 적응적 비트레이트(ABR) 로직을 구현하고, 다르게 말하면 플레이될 상기 콘텐츠는 복수 개의 품질 레벨에서 이용가능한 세그멘트들의 시퀀스를 포함하고, 플레이어는 어떤 품질 레벨을 요청할지를 이러한 ABR 로직에 따라서 자율적으로 결정할 수 있다. 다양한 품질 레벨은 상이한 비트레이트, 다시 말해서 단위 시간별(그리고 따라서 세그멘트별) 데이터의 가변 볼륨에 대응한다. 더 양호한 품질 콘텐츠가 더 높은 비트레이트를 요구한다는 것이 쉽게 이해된다.
ABR 로직의 개념에 관한 추가적인 세부사항이 후속하여 제공될 것인데, 제공 방법의 콘텍스트에서 ABR 로직이 반드시 제어가능하거나 심지어 알려져 있을 필요는 없다는 것이 이해되어야 한다: 본 발명의 방법은 완전히 범용적이고 임의의 기준들에 기반한 임의의 ABR 로직을 구현하는 임의의 플레이어에도 적응될 수 있다. ABR 로직이 미리 규정된다는 것과 클라이언트 소프트웨어(후술됨)는 이것을 수행하기만 한다는 것이 가정될 것이다.
더욱이, 클라이언트 디바이스(11)(및 더 자세하게는 그 저장 유닛)은 통상적으로 랜덤 액세스 메모리의 두 구역인 두 개의 버퍼(M1 및 M2)를 가지는데, 이들 각각은 콘텐츠의 전부 또는 일부를 일시적으로 저장(후술되는 바와 같은 상이한 방식으로)할 수 있다(일시적이라는 것은, 세그멘트들이 재생된 직후에 이러한 메모리로부터 삭제된다는 것을 의미한다: 이들은 다이렉트 다운로드에 대한 경우에서와 같이 장기간 저장되지 않는다). 앞으로 알 수 있는 바와 같이, 브라우저를 통해 재생하는 바람직한 경우에, 모든 세그멘트들은 통상적으로 가장 늦은 경우에도 비디오가 그 안에서 재생된 브라우저 또는 탭이 닫힐 때에 삭제된다(즉, 버퍼가 다시 초기화됨).
제 1 버퍼(M1)는 "피어-투-피어 캐시"라고 불린다. 이것은 세그멘트를 소위 "원시(raw)" 포맷하에 저장한다. 원시 세그멘트라는 것은, 네트워크(1) 내에서, 특히 피어-투-피어 네트워크(10) 내에서 전송되도록 적응되지만, 디바이스(11)에서 재생되기 위하여 적응되지는 않은 포맷을 가리킨다.
제 2 버퍼(M2)는 "비디오 버퍼"라고 불린다. 이것은 세그멘트를 소위 "변환된(converted)" 포맷하에 저장한다. 변환된 세그멘트라는 것은, 원시 세그멘트로부터 디바이스(11)에서 재생하도록 적응되지만, 피어-투-피어 네트워크(10) 내에서 전송하도록 적응되지 않은 포맷하에 변환되는 것을 의미한다.
도입부에서 설명된 바와 같이, 이러한 디바이스(11, 12)는 피어-투-피어 네트워크(10)의 "피어"("노드"라고도 불림)이다.
"피어-투-피어 네트워크(10)의 클라이언트 디바이스(11, 12)"라는 것은, 피어-투-피어 네트워크 프로토콜에 의해서 네트워크(1) 내에 연결된 디바이스를 의미한다. 다르게 말하면, 각각의 피어에 대한 데이터 처리 유닛이 특정 프로그램("피어 에이전트(peer agent; PA)"라고 불리는 클라이언트 소프트웨어)을 구현하고, 이것은 피어-투-피어를 사용하기 위하여 플레이어와 통합되거나(예를 들어 웹 브라우저의 확장으로서), 전용 애플리케이션이거나, 또는 심지어 임의의 다른 소프트웨어(예를 들어 인터넷 액세스 박스의 운영 체제, 또는 멀티미디어 박스, 즉 "셋톱 박스(set-top box)") 내에 임베딩될 수 있다. 본 발명의 방법은 주로 이러한 클라이언트 소프트웨어를 통하여 구현된다. 후속하는 발명을 실시하기 위한 구체적인 내용에서, 독립적으로 동작하는 동안에 플레이어에 세그멘트들을 제공하기 위하여 클라이언트 소프트웨어가 플레이어와 통신하는 상태라는 것이 가정될 것이다. 더 자세히 말하면, 플레이어의 역할은 그 자체로서 재생하는 것, 즉 세그멘트의 렌더링인 반면에, 클라이언트 소프트웨어의 역할은 플레이어를 위해서 세그멘트를 획득하는 것일 뿐이고, 클라이언트 소프트웨어는 플레이어의 동작을, 그리고 특히 자신의 ABR 로직을 거친다.
설명된 바와 같이, 피어-투-피어 네트워크, 또는 P2P는 네트워크(1) 내의 탈중앙화된 서브-네트워크이고, 데이터는 중앙 서버를 통해서 전달되지 않고 피어-투-피어 네트워크(10)의 두 개의 클라이언트 디바이스(11, 12) 사이에서 직접 전송될 수 있다. 따라서, 이것은 모든 클라이언트 디바이스(11, 12)가 클라이언트 및 서버의 양자 모두의 역할을 수행하게 한다. 따라서, 피어(11, 12)는 "시더(seeder)"(또는 데이터 공급자) 및/또는 "리처(leecher)"(또는 데이터 수신기)로서 규정된다.
특히 오디오 또는 비디오 콘텐츠, 즉 일부 길이의 미디어인 상기 콘텐츠는 피어-투-피어 네트워크(10)에 연결된 서버(2)의 데이터 저장 수단 내에 저장된 세그멘트들의 시퀀스("재생목록(playlist)"이라고 불림)를 포함한다. 세그멘트는, 통상적으로 콘텐츠의 1초 또는 2초인 미리 결정된 길이를 가지지만, 이것은 1초 미만으로부터 약 10 초까지의 범위를 가질 수 있다. 주어진 콘텐츠의 모든 세그멘트는 일반적으로 동일한 길이를 가진다.
서버(2)는, 바람직하게는 네트워크(1) 내에 존재하고 피어-투-피어 네트워크(10)에 연결되는 콘텐츠 서버이다. 다르게 말하면, 이것은 다양한 콘텐츠의 세그멘트를 주어진 스트리밍 프로토콜에 따라서 제공하는, 인터넷 네트워크(1)의 하나의(또는 그 이상의) 서버(들)이다. 예를 들어, 세그멘트들이 "m3u8" 재생목록 파일 내에 나열된 "ts"개의 파일인 HLS("HTTP Live Streaming")이 언급될 것이다. HLS는 콘텐츠에 대한 MPEG2 또는 단편화된(fragmented) MP4 포맷을 수반한다. DASH, 부드러운 스트리밍, 또는 HDS 스트리밍 프로토콜도 역시 언급될 것이다. 원시 세그멘트는 WebRTC 타입의 프로토콜을 통하여 피어들 사이에서 공유될 수 있다.
서버(2)는, 피어가 최초에(서버(2)로부터 이러한 피어(11, 12)로의 첫 번째 전송 이전에) 콘텐츠를 가지지 않는다면 세그멘트들의 일차 소스이다. 콘텐츠는 처음부터 서버(2)에 온전히 저장되어 있거나(전술된 VOD의 경우), 실시간으로 생성되는데(라이브 스트리밍의 경우), 후자의 경우에는 콘텐츠를 구성하는 세그멘트들의 목록이 시간이 지남에 따라서 동적으로 변한다.
라이브 스트리밍은 "라이브(live)" 이벤트, 동시에 발생되는 예를 들어 콘서트, 회합, 스포츠 이벤트, 비디오 게임 등과 연관된 콘텐츠를 실시간으로 브로드캐스트하도록 제안한다. 이미 온전하게 존재하는 콘텐츠를 필름과 같은 스트리밍하는 것에 관하여, 라이브 스트리밍 브로드캐스트 콘텐츠는 실제로는 연관된 이벤트가 일어날 때에 점진적으로 생성된다. 기술적으로, TV에서의 라이브 이벤트의 경우에서와 같이, 이러한 콘텐츠는 일부 지연을 가지고 브로드캐스트될 수밖에 없는데, 사용자는 이러한 지연이 가능한 작아지기를 바란다. 이러한 지연은 통상적으로는 약 1 분이지만, 약 20 초까지 줄어들 수 있다. 이를 통하여, 오직 몇 개(최대 10 개)의 세그멘트의 재생목록만이 각각의 순간에 이용가능하고, 이러한 목록의 세그멘트는 턴오버(turnover)에 따라서 동적으로 갱신된다: 이벤트가 일어남에 따라 새로운 세그멘트인 "에이지(age)"가 생성되고, 클라이언트에 의하여 수신되고 플레이되며(기대된 지연의 종료 시에), 최종적으로는 목록에서 빠져나온다.
후자의 경우에(라이브 스트리밍), 콘텐츠는 연속 스트림인 것처럼 보여야 한다. 이를, 세그멘트들의 시퀀스는 동적이고, 즉 규칙적으로 업데이트된다. 새로운 세그멘트가 생성될 때마다, 이것이 시퀀스의 끝에 추가되고, 및 시퀀스의 첫 번째 세그멘트(가장 오래됨)가 삭제된다. 다른 것들 모두는 FIFO("first in, first out") 목록에 관련될 수 있는 턴오버 메커니즘에 따라서 오프셋된다. 목록의 첫 번째 세그멘트(가장 오래된 것)는 "라이브(live)" 또는 "과거(past)" 세그멘트일 수 있다. "라이브" 세그멘트는 재생 에지(playing edge)에 있는 세그멘트이고, 따라서 세그멘트들은 재생되자마자 재생목록에서 삭제된다. "과거" 세그멘트는, 콘텐츠가, 예를 들어 DVR(Digital Video Recorder)과 같이 일부 지연을 가지고, 그리고 최대 2 시간의 지연을 가지는 라이브 스트리밍을 허용하는 다른 플랫폼에 의해서 재생되도록 콘텐츠 서버(2)가 허용하는 경우에 존재한다.
본 발명의 방법은 임의의 콘텍스트에서도 구현될 수 있다.
피어-투-피어 네트워크(10)는 "추적기(tracker)"라고 불리는 피어 관리 서버(3)에도 연결된다. 추적기(3)는 데이터 처리 수단 및 저장 수단을 가진다. 이것은 피어들(11, 12) 사이의 교환을 조율하지만(클라이언트 디바이스들(11, 12) 각각에 의해서 구현된 클라이언트 소프트웨어를 제어함으로써), 이것은 데이터 전송에는 직접적으로 수반되지 않고 파일의 복제본을 가지지 않는다.
전술된 바와 같이, 클라이언트 디바이스(11)(또는 다른 클라이언트 디바이스(12))의 처리 유닛(110)에 의하거나, 피어 관리 서버(3)에 의해서 직접적으로, 플레이어의 ABR 로직을 예측하기 위하여 모델을 훈련하기 위한 전용 방법이 구현될 수 있다.
후술되는 바와 같이, 훈련을 수행하는 장비는 플레이어에게 이미 제공된 복수 개의 훈련 세그멘트에 연관된 데이터(상기 훈련 세그멘트가 플레이어에 요청되었을 때에 측정된 세그멘트 수신 레이트를 나타내는 파라미터들의 벡터 및 플레이어에 의하여 자신의 ABR 로직에 따라서 후속 선택된 대응하는 품질 레벨의 쌍)로 이루어진 훈련 데이터베이스를 저장해야 한다.
플레이어의 타입 및 버전만큼 많은 모델(및 데이터베이스)이 존재할 수 있고, 주어진 플레이어에 대한 모델이 클라이언트 디바이스(11, 12) 또는 서버(3)에 의하여 학습되고 각각의 클라이언트 디바이스(11, 12)에서의 이러한 특정 플레이어의 ABR 로직을 예측하기 위하여 모든 클라이언트 디바이스(11, 12)로 제공될 수 있다는 것에 주의한다(서버(3)로부터 직접적으로 제공되거나 P2P 메시지로서 전파됨). 각각의 클라이언트 디바이스(11, 12)가 자신이 구현하는 플레이어에 대응하는 모델만을 수신하도록(그리고, 주어진 플레이어의 새로운 버전이 존재하면 이전의 모델을 제거하도록) 선택할 수 있다는 것에 주의한다.
ABR 로직
전술된 바와 같이, 클라이언트 디바이스(11)의 플레이어는 세그멘트의 품질 레벨을 세그멘트 수신 레이트를 나타내는 적어도 하나의 파라미터의 함수로서, 플레이어의 ABR 로직에 따라서 선택하도록 구성된다.
임의의 경우에, ABR 로직은 선택될 품질 레벨(비트레이트)을 세그멘트들의 수신 레이트를 나타내는 상기 적어도 하나의 파라미터의 함수로서 계산할 수 있게 하는 제 1 함수를 사용하여 규정될 수 있다. 더 자세히 말하면, 상기 제 1 함수는 수신된 각각의 세그멘트에서 플레이어에 의해 일반적으로 호출되고, 출력은 다음 세그멘트가 요청될 품질 레벨이다. 상기 출력이 특히 정수 레벨 번호로서 표현되거나(예를 들어 1 및 L 사이로 표현되는데 1은 최악의 품질을 나타내고 L은 최선의 품질을 나타내거나 그 반대의 경우도 성립됨), 비트레이트 값으로서(가능한 비트레이트 값들 중에서 선택된 이산 값, 또는 연속적인 비트레이트 값으로서) 직접적으로 표현될 수 있다는 것에 주의한다. 상기 제 1 함수는 "블랙 박스(black box)"라고 가정된다.
세그멘트 수신 레이트를 나타내는 상기 파라미터가 모니터링된 파라미터라는 것이 이해되는데, 이들은 세그멘트를 "충분히 고속으로(fast enough)" 수신하기 위한 디바이스(11) 및/또는 네트워크(10)의 용량을 예시하는 임의의 파라미터일 수 있다. 언급된 바와 같이, 공지된 ABR 로직은 일반적으로, 파라미터로서 제 2 버퍼 메모리(M2)의 버퍼 레벨(값들, 즉 초, 또는 세그멘트들의 개수, 또는 레이트로 표시됨) 및/또는 대역폭(즉 관찰된 데이터 수신 레이트)을 사용한다.
다르게 말하면, 플레이어는 대역폭 및/또는 버퍼 레벨을 모니터링하고, 결과적으로 요구된 세그멘트의 품질 레벨을 변경할지 여부에 대해서 결정한다.
디바이스 능력(CPU/GPU 부하 및 디코딩 능력, 이용가능한 메모리, 스크린 크기 등을 포함함) 및/또는 사용자의 지리적 위치와 같은 다른 파라미터들도 가끔 고려된다.
따라서, ABR 로직의 세 가지 주된 클래스들이 존재한다:
- 버퍼-기반 ABR 로직에 대한 "BB" 클래스;
- 레이트-기반 ABR 로직에 대한 "RB" 클래스;
- 하이브리드(버퍼-레이트-기반) ABR 로직에 대한 "H" 클래스.
더 많은 클래스가 존재할 수 있다는 것에 주의한다. 후속하는 명세서는 이러한 세 가지 클래스를 가지는 예를 취할 것이지만, 당업자는 본 발명의 방법이 가능한 ABR 로직 클래스들의 임의의 세트에 한정되지 않는다는 것을 이해할 것이다.
ABR 로직을 예측하는 모델
본 발명의 방법은 ABR 로직을 예측하는, 즉 ABR 로직을 규정하는 전술된 제 1 함수를 ABR 로직의 실제 클래스와 무관하게 근사화하는 모델을 사용한다.
상기 모델은 미리 규정될 수 있지만, 바람직하게는 머신 출원 제 EP20305202에 제안된 바와 같은 머신 러닝(machine learning; ML) 알고리즘이 모델을 훈련시키기 위하여 사용될 수 있다.
수학적으로, 임의의 주어진 세그멘트에 대하여(플레이어에 의하여 요청되고 수신되면)에 대하여 파라미터들의 벡터가 구축될 수 있고, 파라미터들의 벡터는, 상기 주어진 세그멘트가 플레이어에 의하여 거의 ABR 로직에 따라서 후속 선택된 대응하는 품질 레벨과 연관된 플레이어에 의해 요청되었을 때에(즉, 세그멘트
Figure pct00001
에 대한 "입력 벡터"
Figure pct00002
) 측정된 세그멘트 수신 레이트를 나타낸다(즉, "스칼라 출력"
Figure pct00003
,
Figure pct00004
은 세그멘트
Figure pct00005
에 대한 비트레이트 판정임).
사상은, 임의의 가능한 ABR 클래스 및 로직, 예컨대 세그멘트
Figure pct00006
이 요청되는 버퍼 레벨
Figure pct00007
, 세그멘트 크기
Figure pct00008
, 세그멘트 다운로드 시간
Figure pct00009
, 세그멘트
Figure pct00010
의 측정된 대역폭
Figure pct00011
, 이전의 세그멘트에 대한 측정된 대역폭
Figure pct00012
등을 망라하기 위하여, 입력 벡터
Figure pct00013
내에 세그멘트 수신 레이트를 나타내는 임의의 가능한 파라미터를 포함시키는 것이다.
입력 벡터
Figure pct00014
및 대응하는 스칼라 출력
Figure pct00015
의 쌍이 훈련 예(training example)라고 불리고, 훈련 예들의 데이터베이스가 모델을 훈련시키기 위해서 머신 러닝 알고리즘을 훈련하기 위하여 구축될 수 있다. 전술된 바와 같이, 각각의 훈련 예는 주어진 세그멘트(훈련 세그멘트라고 불릴 수 있음)의 플레이어에 의한 실제 수신에 대응한다. 다르게 말하면, 각각의 훈련 예는 훈련 세그멘트가 플레이어에 의해 수신되었을 때 측정된 세그멘트 수신 레이트를 나타내는 파라미터들의 벡터, 및 다음 세그멘트를 요청하기 위하여 플레이어에 의하여 자신의 ABR 로직에 따라서 후속 선택된 대응하는 품질 레벨을 연관시킨다.
상기 모델은 입력 및 출력의 관계, 특히 각각의 입력 벡터
Figure pct00016
에 대하여 값
Figure pct00017
이
Figure pct00018
에 가능한 가깝도록 모델 파라미터의 벡터
Figure pct00019
로 파라미터화된 "가설(hypothesis)"
Figure pct00020
로서 규정될 수 있다.
따라서, 세그멘트 수신 레이트를 나타내는 현재 파라미터를 실시간으로 측정하고, 현재 입력 벡터
Figure pct00021
를 생성함으로써, 다음 세그멘트가 플레이어에 의해 요청될 비트레이트인 출력
Figure pct00022
를 예측하기 위하여 가설
Figure pct00023
가 사용될 수 있다.
따라서, 본 발명의 방법은 바람직하게도, 모델을, 세그멘트 수신 레이트를 나타내는 측정된 파라미터의 벡터를(즉, 플레이어에 의해서 요청되었을 때에 주어진 세그멘트에 대해서 측정됨) 플레이어에 의하여 자신의 ABR 로직에 따라서 후속 선택된(다음 세그멘트를 요청할 때에) 대응하는 품질 레벨과 각각 연관시키는 훈련 예들의 상기 데이터베이스로부터 훈련시키는 최초 단계(a0)를 포함한다.
임의의 타입의 모델 및 임의의 종류의 머신 러닝 알고리즘이 사용될 수 있다는 것에 주의한다.
바람직하게는, 모델은 상기 제 1 함수를 근사화하는 선형 함수(선형 회귀)이고, 선형 최소 제곱(linear least square; LLS) 기법, 특히 정규 최소 제곱(ordinary least square; OLS) 기법에 의해 학습되지만, 당업자는 다른 모델(특히 다항식, 비선형 등) 및 다른 머신 러닝 기법(베이지안(Bayesian), k-최근접 이웃, 지원 벡터 머신 등)을 사용할 수 있다.
전술된 바와 같이, 단계(a0)는 클라이언트(11)에 의해서 국지적으로, 또는 서버(3)에서 중앙화된 방식으로 수행될 수 있다. 어떠한 경우에서도, 훈련 예는 훈련 데이터베이스를 구성하기 위하여 네트워크(1) 내에서 송신될 수 있다. 예를 들어, 원시 데이터는 서버(3)에서 다양한 클라이언트(11, 12)로부터 수집될 수 있고, 거기에서 처리된 훈련 데이터(예컨대, 훈련 매트릭스 X 및 훈련 벡터 Y)가 구축되고 되전송될 수 있다.
더 나아가, 앞서 언급된 출원 제 EP20305202에서 이미 설명된 바와 같이, 단계(a0)는 리던던트 피쳐를 안전하게 제거하고 플레이어에 의해 구현되는 것과 같은 ABR 로직의 실제 입력만을 유지하기 위하여(BB, RB 및 H 클래스의 ABR 로직은 상이한 입력 변수를 사용함), ABR 로직의 각각의 클래스마다 하나씩 복수 개의 모델을 훈련시키는 것(병렬적으로)을 포함하는 것이 바람직하다. 본 발명의 예에서는, 3 개의 모델이 훈련되도록 K=3 개의 클래스(BB, RB 및 H)가 존재한다.
주어진 플레이어에 대하여, K 개의 모델 중 하나만이 실제로 참이라는 것에 주의한다(즉, 플레이어의 ABR 로직을 적합하게 예측함). 그러므로, 단계(a0)는 바람직하게는, 특히 상기 테스트 세트에서의 카테고리 정확도(categorical accuracy)를 점검하기 위한 테스트 세트를 구축함으로써(즉 일부 쌍(
Figure pct00024
,
Figure pct00025
)을 유지함), 적절한 모델을 선택하기 위하여 K 개의 모델을 검증하는 것을 더 포함한다.
마지막으로, 선택된 모델은 대량으로 사용되기 위해서 임의의 디바이스(11, 12)와 공유될 수 있다. 이러한 모델을 피어들 사이에서 전파하는 것은 서버(3)로부터 또는 P2P에 의해서 직접적으로 수행될 수 있다. 모델을 수신하는 임의의 피어가 이것을 테스트하고 및/또는 새로운 훈련 단계(a0)를 재시작함으로써 이것을 정제할 수 있다는 것에 주의한다.
ABR의 제어
후속하는 발명을 실시하기 위한 구체적인 내용에서, 다른 디바이스(12) 및/또는 서버(2)로부터 콘텐츠를 취출하려고 시도하고 있는 클라이언트 디바이스(11)에 중점을 두는데, 즉 제 1 버퍼 메모리(M1)는 가능하다면 해당 콘텐츠를 구성하는 시퀀스의 서브-시퀀스인 적어도 하나의 원시 세그멘트를 적어도 하나의 품질 레벨에서 이미 저장하고 있다.
플레이어에 대하여 적절한 모델(즉 상기 플레이어의 ABR 로직을 예측함)이 이미 훈련되고, 선택되며, 디바이스(11)에게 이용가능하다는 것이 가정된다.
그러면 이러한 방법은 디바이스(11)의 처리 수단(110)에 의해서 세그멘트("현재 세그멘트"라고 불림), 실무에서는 제 2 버퍼 메모리(M2) 내에 들어갈 다음 세그멘트에 대한 요청을 수신하는 단계 (a)를 구현하는 것으로써 시작된다(반드시 플레이될 다음 세그멘트여야 하는 것은 아니고, 일반적으로는 버퍼링된 앞선 세그멘트들이 존재함). 상기 요청은 플레이어에 의해 수신되고, 요청된 세그멘트에 대해서 요구되는 품질 레벨, 즉 "제 1 품질 레벨"이라고 불리는 비트레이트(ABR 로직을 적용함에 의함)를 규정한다.
상기 세그멘트가 이러한 스테이지에서, 적어도 부분적으로(즉 적어도 하나의 단편으로서), 플레이어에 의해 요구된 제 1 품질에서 제 1 버퍼(M1) 내에서 이용가능하다는 것이 가정된다. 이러한 세그멘트 / 세그멘트 단편이 다른 품질이었다면, 이들은, 시간이 없어지고 있기 때문에 일반적으로는 콘텐츠 서버(2)로부터 직접적으로 다시 취출되어야 할 것이다.
단계 (a)는 필요한 경우, 세그멘트 수신 레이트를 나타내는 상기 적어도 하나의 파라미터를 "측정(measurement)"하는 것을 포함한다.
후속하는 단계 (b)에서는, 플레이어가 상기 요청된 현재 세그멘트가 제 1 버퍼 메모리(M1)로부터 제공된 이후에, 자신의 ABR 로직에 따라서 다음 세그멘트(현재 세그멘트에 대한 것이고, 즉 현재 세그멘트가 세그멘트
Figure pct00026
이라면 세그멘트
Figure pct00027
임)를 제 2 품질 레벨에서 요청할 것이라고 결정하기 위하여 이러한 훈련된 모델이 사용된다.
여기에서 "결정"하는 것은 넓은 의미로 이해되어야 하고, 간단하게는 다음 ABR 판정에 대해서 알 수 있다는 것을 의미한다. 이러한 단계는 오직 "수동적(passive)"이어서, 즉 클라이언트(11)가 ABR 로직을 제어하려고 시도하지 않고 단지 이것을 이해하기만 할 수도 있고, 또는 "능동적(active)"일 수도 있는데, 이것은 "의도된(intended)" 제 2 품질 레벨이 존재한다는 것을 의미한다. 이러한 후자의 경우에, 플레이어가 자신의 ABR 로직에 따라서 다음 세그멘트를 제 2 품질 레벨에서 요청할 것이라고 결정하는 것은, 이러한 제 2 품질에 양호하게(in fine) 도달되었거나, 적어도 그러기 위해서 시도한다는 것을 보장하게 된다는 것을 의미한다. 본 발명은 임의의 케이스로 한정되지 않을 것이고, 단계 (c)의 종료 시에 제 2 품질 레벨, 즉 다음 세그멘트에 대한 품질 레벨이 적어도 추정되기만 하면 족하다.
"수동적" 실시형태에서는 제 2 품질 레벨이 알려지지 않을 수도 있고, 따라서 단계 (b)가 이러한 모델을 사용하여 상기 제 2 품질 레벨을 예측하는 것만을 포함한다. 제 2 품질 레벨이 제 1 품질 레벨과 같을 수 있다는 것에 주의한다.
더 유리한 "능동적" 실시형태에서는, 출원 제 FR1903195에서 제안된 바와 같이, 제 2 품질 레벨은 설명된 바와 같이 플레이어의 ABR 로직을 응답 지연을 사용하여 능동적으로 제어하여 달성하려는 목표일 수 있다.
그러므로, 이러한 바람직한 실시형태에서는 상기 제 2 품질 레벨이 미리 규정되고, 단계 (b)는, 요청된 현재 세그멘트를 상기 최적 응답 지연의 만료 시에 제공하면 플레이어가 자신의 ABR 로직에 따라서 다음 세그멘트를 상기 제 2 품질 레벨에서 요청하게 되도록, 이러한 제 2 품질 레벨에 대해서 최적 응답 지연을 추정하는 것을 포함한다.
다르게 말하면, ABR 로직이 다음 세그멘트를 제 2 품질 레벨에서 요청하게 "강제(force)"하기 위하여 ABR 로직을 제어하려는 것이 의도이다. 최적 응답 지연이란, ABR 로직이 제 2 품질 레벨을 요청하게 하기 위해서 적합한 응답 지연을 의미한다(따라서 최적 응답 지연은 반드시 고유한 것이어야 하는 것이 아니고, 일반적으로 최적 응답 지연의 "범위(range)"가 존재한다). 수학적으로, 다음 세그멘트
Figure pct00028
에 대하여,
Figure pct00029
이 요청될 것으로 기대되는 제 2 품질 레벨이 되도록 모델의 입력 벡터
Figure pct00030
를 트리거링해야 한다.
이러한 목적을 위해서, 응답 지연 및 모델의 입력 변수 사이의 관계를 이해하는 것이 가장 중요하다: p가 세그멘트 지속기간이고(일반적으로 고정됨)
Figure pct00031
이 현재 세그멘트
Figure pct00032
에 대해 적용할 응답 지연인 경우, 다음이 성립한다:
-
Figure pct00033
인데, 이것은 버퍼가 재생함에 의하여 점진적으로 비워질 것이기 때문이다BB-모델 및 H-모델에 대해서 유용함);
-
Figure pct00034
인데, 이것은 지연이 다운로드 시간으로 전환될 수 있고(세그멘트가 이미 제 1 버퍼(M1) 내에 다운로드되었기 때문에 실제 전송 시간은 거의 0임),
Figure pct00035
이 흔히 거의 일정하기 때문이다(RB-모델 및 H-모델에 대해서 유용함).
입력 벡터
Figure pct00036
의 다른 파라미터는 현재 벡터
Figure pct00037
의 측정치 및 파라미터로부터 추정될 수 있다.
Figure pct00038
을 계산하기 위하여 추정된 일부 파라미터가
Figure pct00039
로부터 추정되었을 수 있고, 그들의 값이 정정되었을 수 있다는 것에 주의한다(
Figure pct00040
이 측정될 수 있음).
출원 제 EP20305202는
Figure pct00041
이 되도록 입력 벡터
Figure pct00042
을 결정하기 위해서 모델을 어떻게 효율적으로 "반전(reverse)"할지를 설명한다. 이러한 최적화 문제를 풀어내는 것이 당업자의 이해 범위 안에 속한다는 것이 이해되어야 한다.
P2P 네트워크로부터 취출된 것이 요청된 세그멘트의 단편일뿐인 경우에(세그멘트가 불완전한 방식으로 이용가능하다고 말할 수 있음), 바람직하게는, 최적 응답 지연의 단편만이 실제로 적용되어야 한다는 사실을 반영하기 위하여, 추정된 최적 응답 지연이 단편의 길이에 따라서 변경된다. 사실상, 제 2 버퍼(M2)에는 완전한 세그멘트만이 제공되고 단편은 제공되지 않을 수 있으며, 이러한 사상은 제 1 버퍼(M1) 내에서 이러한 세그멘트를 완료시킬(취출을 종료할) 시간에 대응하는 암시적 대기 지연이 이미 존재할 것이라는 사실을 반영하면서, 더 짧은 응답 지연 이후에 세그멘트를 온전하게 제공하는 것이다. 따라서, 단계 (b)는 추정된 최적 응답 지연을 세그멘트를 취출하는 것을 종료하기 위하여 필요한 추정된 지속기간의 함수로서 변경하는 것을 포함할 수 있다.
예를 들어, 공식
Figure pct00043
을 적용할 수 있는데, 여기에서
Figure pct00044
는 변경된 최적 응답 지연이고
Figure pct00045
은 세그멘트를 취출하는 것을 종료하기 위하여 필요한 추정된 시간이다. 그러므로, 전체 세그멘트를 전달하기 이전에 시간
Figure pct00046
동안 대기하고
Figure pct00047
를 적용하는 것은
Figure pct00048
을 적용하는 것과 등가이고, 따라서 전체 지연은 동일하게 유지된다.
적용되는 임의의 응답 지연이 없는 "수동적" 실시형태에서는, 잔여 시간
Figure pct00049
이
Figure pct00050
을 계산하기 위한 다운로드 시간으로서 직접 사용될 수 있다.
"능동적" 실시형태가 "최적" 응답 지연의 경우로 한정되지 않는다는 것에 주의한다. 다르게 말하면, 최적의 것이 아닌 응답 지연이 실제로 적용될 수 있고(예를 들어, 잔여 시간
Figure pct00051
이 최적 응답 지연보다 길었거나, 상이한 응답 지연을 사용할 임의의 다른 이유 때문에 - 응답 지연은 심지어 미리 결정될 수 있음), 이러한 경우에 단계 (b)는, 적용될 것이고 모델의 입력 변수에 대한 상기 실제 응답 지연의 영향을 고려할 실제 응답 지연을 결정한 이후에, 이러한 모델을 사용하여 "실제" 제 2 품질 레벨을 예측하는 것을 여전히 포함할 수 있다.
사전-페치
매우 비정상적인 방식으로, 본 발명의 방법은, 상기 다음 세그멘트가 상기 제 2 품질 레벨에서 제 1 버퍼 메모리(M1)에 존재하지 않으면, 이것을 네트워크(1)로부터 페치하는 단계 (c)를 포함한다(즉, 적어도 하나의 세그멘트만큼 앞서있기 때문에 "사전-페치(pre-fetching)"을 수행함).
다르게 말하면, 다음 세그멘트가 일반적으로 제 1 품질 레벨에서 페치되어야 하는 반면에(여전히 현재 품질임), 여기에서는 대역폭을 절약하기 위하여 제 2 품질 레벨로의 전환이 예상된다. 사실상, 세그멘트가 제 1 품질 레벨에서 페치되었다면, 제 1 메모리(M1)는 제 2 품질 레벨이 제 1 품질 레벨과 다른 경우에는 이것을 폐기해야 할 것이다. 제 2 품질 레벨이 사전에 고려되기 때문에, 대역폭이 절약된다.
"페치(fetching)"라는 용어를 통하여, 후술되는 바와 같이 네트워크(1)로부터 상기 세그멘트를 다운로드에 의하여, 다른 피어(12)로부터 및/또는 콘텐츠 서버(2)로부터 P2P 캐시(M1)로 획득한다는 것을 의미한다. 특히 제 2 품질 레벨이 제 1 품질 레벨과 동일하다면, 추가적인 동작이 필요요하지 않도록 상기 다음 세그멘트가 실제로 이미 전체적으로 다운로드되었을 수 있다는 것에 주의해야 하지만(후술되는 "F-HIT"의 경우), 어떠한 경우에서도 단계 (c)는 상기 다음 세그멘트가 적어도 상기 제 2 품질 레벨에서 제 1 버퍼 메모리(M1) 내에서 이용가능한지 여부를 점검하는 것을 포함할 수 있다.
바람직하게는, 단계 (c)는 다음 세 가지 경우를 포함한다:
- MISS: 다음 세그멘트가 제 1 메모리(M1) 내에 (전혀) 존재하지 않음, 즉 페치되어야 함;
- F-HIT(완전 일치): 다음 세그멘트가 전체적으로 제 1 메모리(M1) 내에 존재함, 즉 이것이 이미 페치되었음;
- P-HIT(부분 일치): 다음 세그멘트가 제 1 메모리(M1) 내에 부분적으로만 존재함, 즉 페치가 진행중임.
MISS의 경우, 단계 (c)는 상기 다음 세그멘트를 상기 제 2 품질에서 네트워크(1)로부터 페치하는 것을 포함한다. 이것을 콘텐츠 서버(2)로부터 요청하는 것이 필요할 수 있다는 것에 주의하는데, 하지만 우리는 여전히 P2P를 사용할 시간이 있을 수 있다.
F-HIT의 경우, 모든 것이 완벽하고(페치가 필요하지 않음), 따라서 다음 두 번째 세그멘트
Figure pct00052
가 고려될 수 있다: 단계 (b) 및 단계 (c)가 상기 다음 두 번째 세그멘트에 대해서 반복될 수 있고(즉 상기 다음 세그멘트가 제 1 버퍼 메모리(M1)로부터 제공된 이후에, 플레이어가 자신의 ABR 로직에 따라서 다음 두 번째 세그멘트를 제 3 품질 레벨에서 요청할 것이라고 플레이어의 ABR 로직을 예측하는 모델을 사용하여 결정한다; 그리고, 만일 상기 다음 두 번째 세그멘트가 상기 제 3 품질 레벨에서 제 1 버퍼 메모리(M1)에 존재하지 않으면, 상기 다음 두 번째 세그멘트를 상기 제 3 품질 레벨에서 네트워크(1)로부터 페치한다), 그리고 다음 세 번째 세그멘트 등에 대해서도 반복될 수 있다.
케이스 P-HIT의 경우, 여러 옵션이 존재한다:
- 첫 번째 가능성은 특별히 아무 것도 하지 않는 것이고, 즉 세그멘트가 적절한 품질 레벨에서 다운로드되고 있다고 여기고(대역폭이 낭비되지 않을 것임), 단지 다운로드가 완료되기를 대기한다. 따라서, 단계 (b)가 다음 세그멘트를 가지고(새로운 "현재" 세그멘트로서) 다음에 발생할 때에, 추가적인 응답 지연이 잔여 다운로드 시간
Figure pct00053
을 고려할 것이다;
- 두 번째 가능성은 콘텐츠 서버(2)로부터 세그멘트의 나머지를 직접 완료하는 것이다. 이러한 옵션은 두 가지 이유 때문에 바람직하다:
O 이것은 때때로 콘텐츠 서버(2)(CDN 측정치)에 대하여 측정치를 업데이트한다,
O 이것은 다음 세그멘트를 더 양호하게 제어함으로써 응답 지연 작업을 개선하고, 즉 세그멘트가 플레이어에 의해서 단계 (a)의 다음 발생까지 완료될 것(즉, 제 1 메모리(M1)에서 완전히 이용가능해짐)이 보장되고, 따라서 임의의 필요한 응답 지연
Figure pct00054
이 적용될 수 있으며, 따라서 후속 세그멘트들의 ABR 제어 및 사전-페치의 부드러운 작업이 유지된다.
동시에, 단계 (c)는 현재 세그멘트(세그멘트
Figure pct00055
)를 요청에 응답하여 제 1 버퍼(M1)로부터 제공하는 것을 포함한다.
임의의 응답 지연이 적용되어야 하는 경우(특히, 최적 응답 지연이 단계 (b)에서 추정된 경우), 상기 세그멘트는 상기 응답 지연의 만료 시에 제공되는 것이 바람직하다. "상기 응답 시간의 만료 시에 제공됨(provided at expiration of said response time)"이란, 응답 지연의 종료 이전에 플레이어가 이것을 가지지 않는다는 것을 의미한다(후술되는 바와 같이, 최적으로는 만료시에 가지게 되거나, 심지어 일부 경우에는 그 이후에 가지게 됨). 가장 흔한 경우로, 세그멘트는 응답 지연이 만료할 때에 갑자기 송신되지만, 이것을 디바이스(11) 내에서 "스트리밍(stream)"하는 것, 즉 마지막 조각이 최적 응답 지연이 만료될 때(가장 빠른 경우에) 송신되도록 이것을 제 1 버퍼(M1)로부터 점진적으로(조각별로) 송신하는 것도 충분히 가능하다는 것이 이해될 것이다(그러면, 최적 응답 지연이 "세그멘트의 마지막 비트의 송신 시간 "이 된다). 사실상, 완전한 세그멘트만이 플레이가능하지만, 일부 플레이어는 세그멘트의 서브-세그멘트를 수용할 수 있다. 세그멘트가 완전히 수신되지 않는 한 이것은 플레이어에 의해 이용가능해지지 않고, 따라서 제공된 것으로 간주되지 않기 때문에 이러한 점진적 송신이 아무것도 바꾸지 않지만, 대역폭 측정이 용이해지게 할 수 있다는 것에 주의한다.
세그멘트의 단편만이 제 1 버퍼(M1) 내에서 이용가능하고 응답 시간이 세그멘트를 복원하는 것을 종료하기 위하여 필요한 추정된 지속기간에 따라서 변경된 경우에, 일반적으로 해당 세그멘트는 변경된 응답 시간의 종료 시에 단계 (b)로 역시 공급된다. 전술된 바와 같이, 이러한 공급이 단편화될 수 있지만, 완전한 세그멘트의 서브-세그멘트(완전히 다운로드된 세그멘트로부터 획득된 세그멘트의 연속 조각에 대응함)와 불완전한 세그멘트(가장 흔하게는 이질적인 조각에 대응하는 데이터의 특정 부분들만이 다운로드되었음)가 혼동되어서는 안 된다. 다운로드가 기대된 것보다 길게 걸린다면, 변경된 응답 지연이 만료된 이후까지 세그멘트가가 완전히 이용가능하지 않을 수 있도록, 제 1 버퍼(M1) 내에서 완전히 이용가능한 세그멘트만이(단편이 아님) 요청에 응답하여 제공될 수 있다. 따라서, 설명된 바와 같이, 완전한 세그멘트는 가장 빠른 경우에 변경된 최적 응답 지연의 만료 시에 제공지만(즉 그 이전에는 제공되지 않음), 가능하게는 그 이후에 제공된다. 실무상, 완전한 세그멘트는 다음의 두 가지 조건이 만족되는 경우에 제공된다: 세그멘트가 완전히 이용가능하고(그 다운로드가 완료됨), 및 변경된 최적 응답 지연이 만료될 것.
모든 경우에, 세그멘트는 바람직하게는 제 2 버퍼(M2)로 제공되고, 따라서 단계 (c)는 상기 세그멘트를 재생하기에 적합한 포맷으로 변환하는 것을 포함할 수 있다. 이것은 원시 세그멘트를 변환된 세그멘트로 변환하는 것으로 이루어지는데, 원시 세그멘트가 아니라 변환된 세그멘트가 디바이스(11)의 플레이어에 의해서 판독될 수 있다.
예를 들어, 플레이어가 HTML5 호환가능 브라우저의 빌트인 플레이어라면, 변환은 세그멘트의 비디오 데이터를 브라우저의 미디어 소스 확장(Media Source Extension) API를 사용하여 주입하는 것으로 이루어진다
자연적으로, 단계 (c)는 바람직하게는, 세그멘트들이 경신될 필요가 있도록, 제 2 버퍼 메모리(M2) 내에) 저장된 이전의 세그멘트(예를 들어, 세그멘트
Figure pct00056
이지만, 그보다 더 오래된 세그멘트일 수도 있음)를 동시에 재생하는 것을 포함한다. 단계 (c)에서 취출된 세그멘트는 순서에 따라 곧 독출될 것이다.
이제 재생이 계속되는 한, 단계 (a) 내지 단계 (c)를 반복할 수 있다: 다음 세그멘트는 이제 새로운 현재 세그멘트가 되고, 제 2 품질 레벨은 이제 새로운 제 1 품질 레벨이 된다(상기 제 2 품질 레벨을 예측된 바에 따라 강제한 최적 응답 지연을 적용하기 때문일 수 있음)
다르게 말하면, 단계 (a)가 새롭게 일어나는 것은 플레이어로부터 제 2 품질 레벨에서의 다음 세그멘트에 대한 요청을 수신하는 것으로 이루어진다. 다시 말하건대, 플레이어가 자신의 ABR 로직에 따라서 다음 세그멘트(즉 세그멘트
Figure pct00057
)를 제 3 품질 레벨에서 요청할 것이라는 것이 결정될 수 있고, 특히 새로운 최적 응답 지연이 추정된 후에 적용될 수 있고(요청된 다음 세그멘트를 상기 새로운 최적 응답 지연의 만료시에 제공하면 플레이어가 자신의 ABR 로직에 따라서 다음 세그멘트를 상기 제 3 품질 레벨에서 요청하게 되도록), 이러한 방식으로 계속된다.
이러한 방법이 단계 (c)의 종료 시에 예측을 검증하기 위한 단계 (d)를 포함할 수 있다는 것에 주의한다. 다르게 말하면, 제 2 품질 레벨에서의 다음 세그멘트에 대한 요청이 플레이어로부터 수신되는 것이 검증된다. 이러한 단계 (d)는 통상적으로, 다음 세그멘트에 대한 요청이 실제로 수신되는 단계 (a)가 다음에 일어날 때에 포함된다. 검증은 예측된/의도된 제 2 품질 레벨을 다음 세그멘트에 대해서 실제로 요청된(ABR 로직에 의하여) 품질 레벨과 비교하는 것을 간단하게 수반한다.
디바이스 및 컴퓨터 프로그램 제품
제 2 양태에 따르면, 본 발명은 콘텐츠(클라이언트 디바이스(11, 12)의 피어-투-피어 네트워크(10)에서 스트리밍됨)를, 상기 세그멘트의 품질 레벨을 상기 플레이어의 ABR(Adaptive BitRate) 로직에 따라서, 세그멘트 수신 레이트를 나타내는 적어도 하나의 파라미터의 함수로서 선택하도록 구성되는 디바이스(11)의 플레이어에서 재생하기 위한 전술된 방법을 수행하기 위한 디바이스(11)에 관련된다.
이러한 디바이스(11)는 설명된 바와 같이:
- 세그멘트를 네트워크(1), 특히 피어-투-피어 네트워크(10) 내에서 전송되도록 적응된 포맷으로 저장하기 위한 제 1 버퍼(M1)(P2P 캐시);
- 바람직하게는, 세그멘트를 플레이어에 의하여 재생되도록 적응된 포맷으로 저장하기 위한 제 2 버퍼(M2)(비디오 버퍼); 및
- 처리 유닛(110)을 포함한다.
처리 유닛(110), 통상적으로 프로세서는 다음 단계를 구현할 것이다:
(a) 플레이어로부터 제 1 품질 레벨에서의 현재 세그멘트에 대한 요청을 수신하는 단계;
(b) 플레이어가 상기 요청된 현재 세그멘트가 제 1 버퍼 메모리(M1)로부터 제공된 이후에 자신의 ABR 로직에 따라서 다음 세그멘트를 제 2 품질 레벨에서 플레이어의 ABR 로직을 예측하는 모델을 사용하여 요청할 것이라고 결정하는 단계;
(c) 상기 다음 세그멘트가 상기 제 2 품질 레벨에서 제 1 버퍼 메모리(M1)에 존재하지 않으면, 상기 다음 세그멘트를 상기 제 2 품질 레벨에서 네트워크(1)로부터 페치하는 단계.
제 3 및 제 4 양태에서, 본 발명은, 본 발명의 제 1 양태에 따른, 클라이언트 디바이스(11)의 플레이어에서 클라이언트 디바이스(11, 12)의 피어-투-피어 네트워크(10)에서 스트리밍되는 콘텐츠를 재생하기 위한 방법을 실행하기 위한(특히 디바이스(11)의 데이터 처리 유닛(110) 에서) 코드 명령을 포함하는 컴퓨터 프로그램 제품 및 이러한 컴퓨터 프로그램 제품이 제공된 컴퓨터 장비(디바이스(11)의 메모리)에 의해 판독가능한 저장 수단에 관한 것이다.

Claims (14)

  1. 클라이언트 디바이스(11)의 플레이어에서 네트워크(1)에서 스트리밍되는 콘텐츠를 재생하기 위한 방법으로서,
    상기 콘텐츠는 복수 개의 품질 레벨에서 이용가능한 세그멘트들의 시퀀스를 포함하고,
    상기 플레이어는 상기 세그멘트의 품질 레벨을 상기 플레이어의 ABR(Adaptive BitRate) 로직에 따라서, 세그멘트 수신 레이트를 나타내는 적어도 하나의 파라미터의 함수로서 선택하도록 구성되며,
    상기 클라이언트 디바이스(11)는 상기 세그멘트를 네트워크(1) 내에서 전송되도록 적응된 포맷으로 저장하기 위한 제 1 버퍼(M1)를 포함하고,
    상기 방법은, 상기 클라이언트 디바이스(11)의 처리 유닛(110)에 의하여,
    (a) 상기 플레이어로부터 제 1 품질 레벨에서의 현재 세그멘트에 대한 요청을 수신하는 단계;
    (b) 상기 플레이어의 ABR 로직을 예측하는 모델을 사용하여, 상기 요청된 현재 세그멘트가 상기 제 1 버퍼 메모리(M1)로부터 제공된 이후에 상기 플레이어가 자신의 ABR 로직에 따라서 다음 세그멘트를 제 2 품질 레벨에서 요청할 것이라고 결정하는 단계;
    (c) 상기 다음 세그멘트가 상기 제 2 품질 레벨에서 상기 제 1 버퍼 메모리(M1)에 존재하지 않으면, 상기 다음 세그멘트를 상기 제 2 품질 레벨에서 네트워크(1)로부터 페치하는 단계를 수행하는 것을 포함하는, 콘텐츠 재생 방법.
  2. 제 1 항에 있어서,
    상기 단계 (b)는, 상기 플레이어의 ABR 로직을 예측하는 모델을 사용하여 상기 세그멘트 수신 레이트를 나타내는 적어도 하나의 파라미터의 함수로서 상기 제 2 품질 레벨을 예측하는 것을 포함하는, 콘텐츠 재생 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 제 2 품질 레벨은 사전에 규정되고,
    상기 단계 (b)는, 요청된 현재 세그멘트를 최적 응답 지연의 만료시에 제공하면 상기 플레이어가 자신의 ABR 로직에 따라서 다음 세그멘트를 상기 제 2 품질 레벨에서 요청하게 되도록, 상기 플레이어의 ABR 로직을 예측하는 모델의 함수로서 최적 응답 지연을 추정하는 것을 포함하는, 콘텐츠 재생 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 모델은,
    세그멘트 수신 레이트를 나타내는 측정된 파라미터의 벡터를 상기 플레이어에 의하여 자신의 ABR 로직에 따라서 후속 선택된 대응하는 품질 레벨과 각각 연관시키는 훈련 예들의 데이터베이스로부터 훈련된, 콘텐츠 재생 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 ABR 로직은 세그멘트 수신 레이트를 나타내는 상기 적어도 하나의 파라미터의 제 1 함수에 의하여 규정되고,
    상기 모델은 상기 제 1 함수를 근사화하는, 콘텐츠 재생 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 클라이언트 디바이스(11)는, 세그멘트를 상기 플레이어에 의하여 재생되도록 적응된 포맷으로 저장하기 위한 제 2 버퍼(M2)를 더 포함하고,
    단계 (c)는 요청된 현재 세그멘트를 상기 제 1 버퍼 메모리(M1)로부터 상기 제 2 버퍼(M2)로 제공하는 것을 포함하는, 콘텐츠 재생 방법.
  7. 제 3 항 및 제 6 항에 있어서,
    상기 요청된 현재 세그멘트는 상기 추정된 최적 응답 지연의 만료시에 제 1 버퍼 메모리(M1)로부터 제공되는, 콘텐츠 재생 방법.
  8. 제 6 항 또는 제 7 항에 있어서,
    세그멘트 수신 레이트를 나타내는 상기 파라미터는 상기 제 2 버퍼(M2)의 버퍼 레벨 및/또는 대역폭인, 콘텐츠 재생 방법.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 단계(c)는, 상기 다음 세그멘트가 상기 제 2 품질 레벨에서 상기 제 1 버퍼 메모리(M1)에 적어도 부분적으로, 바람직하게는 전체적으로 존재한다면, 다음 두 번째 세그멘트에 대해서 단계(b) 및 단계(c)를 다시 수행하는 것을 포함하는, 콘텐츠 재생 방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 단계 (c)는, 상기 다음 세그멘트가 상기 제 2 품질 레벨에서 상기 제 1 버퍼 메모리(M1)에 부분적으로만 존재한다면, 상기 다음 세그멘트를 상기 제 2 품질 레벨에서 상기 네트워크(1)의 콘텐츠 서버(2) 로부터 직접 페치하는 것을 포함하는, 콘텐츠 재생 방법.
  11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 방법은,
    제 2 품질 레벨에서의 다음 세그멘트에 대한 요청이 상기 플레이어로부터 수신된다고 검증하는 추가 단계 (d)를 포함하는, 콘텐츠 재생 방법.
  12. 네트워크(1)에서 스트리밍되는 콘텐츠를 플레이어에서 재생하기 위한 디바이스로서,
    상기 콘텐츠는 복수 개의 품질 레벨에서 이용가능한 세그멘트들의 시퀀스를 포함하고,
    상기 플레이어는, 상기 세그멘트의 품질 레벨을 세그멘트 수신 레이트를 나타내는 적어도 하나의 파라미터의 함수로서 상기 플레이어의 ABR(Adaptive BitRate) 로직에 따라서 선택하도록 구성되며,
    클라이언트 디바이스(11)는 세그멘트를 네트워크(1) 내에서 전송되도록 적응된 포맷으로 저장하기 위한 제 1 버퍼(M1)를 포함하고,
    상기 클라이언트 디바이스(11)는 처리 유닛(110)을 포함하고, 상기 처리 유닛은,
    (a) 상기 플레이어로부터 제 1 품질 레벨에서의 현재 세그멘트에 대한 요청을 수신하는 것;
    (b) 상기 플레이어의 ABR 로직을 예측하는 모델을 사용하여, 상기 요청된 현재 세그멘트가 상기 제 1 버퍼 메모리(M1)로부터 제공된 이후에 상기 플레이어가 자신의 ABR 로직에 따라서 다음 세그멘트를 제 2 품질 레벨에서 요청할 것이라고 결정하는 것;
    (c) 상기 다음 세그멘트가 상기 제 2 품질 레벨에서 상기 제 1 버퍼 메모리(M1)에 존재하지 않으면, 상기 다음 세그멘트를 상기 제 2 품질 레벨에서 네트워크(1)로부터 페치하는 것을 구현하는, 콘텐츠 재생 디바이스.
  13. 프로그램이 컴퓨터에서 실행될 때, 네트워크(1)에서 스트리밍되는 콘텐츠를 클라이언트 디바이스(11)의 플레이어에서 재생하기 위하여, 제 1 항 내지 제 11 항 중 어느 한 항에 따른 방법을 실행하기 위한 코드 명령을 포함하는 컴퓨터 프로그램 제품.
  14. 네트워크(1)에서 스트리밍되는 콘텐츠를 클라이언트 디바이스(11)의 플레이어에서 재생하기 위하여, 제 1 항 내지 제 11 항 중 어느 한 항에 따른 방법을 실행하기 위한 코드 명령을 포함하는 컴퓨터 프로그램 제품이 저장된 컴퓨터-판독가능 매체.
KR1020227037206A 2020-03-26 2021-03-25 네트워크에서 스트리밍되는 콘텐츠를 클라이언트 디바이스의 플레이어에서 재생하기 위한 방법 KR20220158275A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20315054.5 2020-03-26
EP20315054.5A EP3886451A1 (en) 2020-03-26 2020-03-26 Method for playing on a player of a client device a content streamed in a network
PCT/EP2021/057832 WO2021191389A1 (en) 2020-03-26 2021-03-25 Method for playing on a player of a client device a content streamed in a network

Publications (1)

Publication Number Publication Date
KR20220158275A true KR20220158275A (ko) 2022-11-30

Family

ID=70482548

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227037206A KR20220158275A (ko) 2020-03-26 2021-03-25 네트워크에서 스트리밍되는 콘텐츠를 클라이언트 디바이스의 플레이어에서 재생하기 위한 방법

Country Status (7)

Country Link
US (2) US11743540B2 (ko)
EP (1) EP3886451A1 (ko)
JP (1) JP2023520648A (ko)
KR (1) KR20220158275A (ko)
AU (1) AU2021243727A1 (ko)
CA (1) CA3171520A1 (ko)
WO (1) WO2021191389A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4080891A1 (en) * 2021-04-20 2022-10-26 Streamroot Method for playing on a player of a client device a content streamed in a network

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8375140B2 (en) * 2008-12-04 2013-02-12 Google Inc. Adaptive playback rate with look-ahead
WO2012154287A2 (en) 2011-02-28 2012-11-15 Bittorrent, Inc. Peer-to-peer live streaming
US9756100B2 (en) * 2013-03-15 2017-09-05 Echostar Technologies L.L.C. Placeshifting of adaptive media streams
JP6419848B2 (ja) * 2014-06-30 2018-11-07 ディッシュ テクノロジーズ エル．エル．シー．ＤＩＳＨ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｌ．Ｌ．Ｃ． 帯域幅最適化のための適応的データセグメント配信調停
US10271112B2 (en) * 2015-03-26 2019-04-23 Carnegie Mellon University System and method for dynamic adaptive video streaming using model predictive control
FR3034943B1 (fr) * 2015-04-07 2017-04-14 Streamroot Inc Procede de lecture en continu sur un equipement client d'un contenu diffuse au sein d'un reseau pair a pair
GB2548789B (en) 2016-02-15 2021-10-13 V Nova Int Ltd Dynamically adaptive bitrate streaming
US10034033B2 (en) * 2016-07-28 2018-07-24 Cisco Technology, Inc. Predictive media distribution system
US10728305B2 (en) * 2018-07-24 2020-07-28 At&T Intellectual Property I, L.P. Adaptive bitrate streaming techniques
FR3094597B1 (fr) 2019-03-27 2021-06-11 Streamroot Procédé de diffusion de contenus en streaming dans un réseau pair à pair

Also Published As

Publication number Publication date
US20210306705A1 (en) 2021-09-30
JP2023520648A (ja) 2023-05-18
AU2021243727A1 (en) 2022-10-20
US20230396845A1 (en) 2023-12-07
CA3171520A1 (en) 2021-09-30
US11743540B2 (en) 2023-08-29
EP3886451A1 (en) 2021-09-29
WO2021191389A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
KR102472155B1 (ko) 피어 투 피어(Peer to peer, P2P) 네트워크에서 스트리밍 콘텐츠를 방송하는 방법
CN110198495B (zh) 一种视频下载和播放的方法、装置、设备和存储介质
JP2010517365A (ja) プレフィックス・キャッシングに支援された、サービス品質を意識するピアツーピアのビデオ・オン・デマンド
US11925862B2 (en) Method for playing on a player of a client device a content streamed in a network
CN110022498B (zh) 一种实现码率切换的方法及装置
CN110809167A (zh) 一种视频播放方法、装置、电子设备及存储介质
US20220191260A1 (en) Method for playing on a player of a client device a content streamed in a network
US20230396845A1 (en) Method for playing on a player of a client device a content streamed in a network
US20220337897A1 (en) Method for playing on a player of a client device a content streamed in a network
US11637881B2 (en) Method for playing on a player of a client device a content streamed in a network