KR102521753B1 - 네트워크에서 스트리밍되는 콘텐츠를 클라이언트 디바이스의 플레이어에서 재생하기 위한 방법 - Google Patents
네트워크에서 스트리밍되는 콘텐츠를 클라이언트 디바이스의 플레이어에서 재생하기 위한 방법 Download PDFInfo
- Publication number
- KR102521753B1 KR102521753B1 KR1020227032265A KR20227032265A KR102521753B1 KR 102521753 B1 KR102521753 B1 KR 102521753B1 KR 1020227032265 A KR1020227032265 A KR 1020227032265A KR 20227032265 A KR20227032265 A KR 20227032265A KR 102521753 B1 KR102521753 B1 KR 102521753B1
- Authority
- KR
- South Korea
- Prior art keywords
- segment
- player
- quality level
- abr
- training
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 239000000872 buffer Substances 0.000 claims abstract description 63
- 238000012549 training Methods 0.000 claims abstract description 63
- 230000004044 response Effects 0.000 claims abstract description 52
- 239000013598 vector Substances 0.000 claims abstract description 45
- 230000006870 function Effects 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 14
- 230000003044 adaptive effect Effects 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012417 linear regression Methods 0.000 claims description 7
- 238000013488 ordinary least square regression Methods 0.000 claims description 6
- 239000012634 fragment Substances 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000007306 turnover Effects 0.000 description 2
- 230000009118 appropriate response Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
- A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/632—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing using a connection between clients on a wide area network, e.g. setting up a peer-to-peer communication via Internet for retrieving video segments from the hard-disk of other client devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/64322—IP
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Computer And Data Communications (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
본 발명은 네트워크(1)에서 스트리밍되는 콘텐츠를 클라이언트 디바이스(11)의 플레이어에서 재생하기 위한 방법으로서, 상기 콘텐츠는 복수 개의 품질 레벨에서 이용가능한 세그멘트들의 시퀀스를 포함하고, 상기 플레이어는 상기 세그멘트의 품질 레벨을 상기 플레이어의 ABR(Adaptive BitRate) 로직에 따라서, 세그멘트 수신 레이트를 나타내는 적어도 하나의 파라미터의 함수로서 선택하도록 구성되며, 상기 클라이언트 디바이스(11)는 세그멘트를 네트워크(1) 내에서 전송되도록 적응된 포맷으로 저장하기 위한 제 1 버퍼(M1)를 포함하고, 상기 방법은, 상기 클라이언트 디바이스(11)의 처리 유닛(110)에 의하여, (a) 상기 플레이어로부터 제 1 품질 레벨에서의 현재 세그멘트에 대한 요청을 수신하는 단계; (b) 제 2 품질 레벨에 대하여, 최적 응답 지연을, 요청된 현재 세그멘트를 상기 최적 응답 지연의 만료 시에 제공하는 것이, 세그멘트 수신 레이트를 나타내는 측정된 파라미터의 벡터를 상기 플레이어에 의하여 자신의 ABR 로직에 따라서 후속 선택된 대응하는 품질 레벨과 각각 연관시키는 훈련 예들의 데이터베이스로부터 훈련된 모델의 함수로서, 상기 플레이어가 자신의 ABR 로직에 따라서 다음 세그멘트를 상기 제 2 품질 레벨에서 요청하게 하도록 추정하는 단계; 및 (c) 요청된 현재 세그멘트를 제 1 버퍼 메모리(M1)로부터 상기 추정된 최적 응답 지연의 만료 시에 제공하는 단계를 수행하는 것을 포함하는, 콘텐츠 재생 방법에 관한 것이다.
Description
본 발명은, 예를 들어 피어-투-피어 네트워크에서 스트리밍되는 콘텐츠를 재생하기 위한 방법에 관한 것이다.
"스트리밍"은, 즉 클라이언트 디바이스에 의해서 인터넷으로부터 복원되는 동안에 이루어지는 인터넷 "다이렉트(direct)" 오디오 또는 비디오 스트림 재생 기법을 나타낸다. 따라서, 이것은 오디오 또는 비디오 콘텐츠를 재생할 수 있게 되기 이전에 모든 데이터가 복원되도록 요구되는 다운로드와 상반된다.
스트리밍의 경우, 콘텐츠를 저장하는 것이 일시적이고 부분적인데, 그 이유는 데이터가 클라이언트의 버퍼(통상적으로 임의 접근 메모리) 내에 연속적으로 다운로드되고, 그 프로세서에 의해서 즉시 분석되며 출력 인터페이스(스크린 및/또는 라우드스피커)로 신속하게 전송되며, 그 후에 새로운 데이터로 교체되기 때문이다.
전통적으로, 콘텐츠는 스트리밍 서버에 의하여 제공된다. 콘텐츠에 액세스하기를 소망하는 클라이언트는 그로부터 제 1 세그멘트를 복원하려는 요청을 전송한다(세그멘트의 경우, 이것은 일반적으로 수 초의 재생에 대응하는 콘텐츠의 데이터 블록인 것으로 의도됨). 콘텐츠의 시작이 재생되게 하기에 충분한 데이터가 버퍼 내에 존재하면, 재생이 시작된다. 백그라운드에서는, 버퍼에 콘텐츠의 잔여 부분을 끊김이 없이 공급하기 위해서 스트림 다운로드가 계속된다.
그러나, 많은 수의 클라이언트가 동일한 콘텐츠를 동시에 재생하기를 소망하는 경우에는 이러한 접근법이 한계를 가진다는 것에 주의한다: 서버는 포화 상태가 된 것이 발견되어, 콘텐츠를 재생이 원활하게 이루어지기 위한 충분한 레이트로 콘텐츠를 제공할 수 없게 되고, 끊김이 발생한다.
최근에는, 각각의 클라이언트가 다른 클라이언트에 대한 서버로서의 역할을 수행하고, 이들이 피어라고 불리는 "피어-투-피어"(P2P) 기법에 기반한 대안적인 전략이 제안되었다. 콘텐츠를 재생하기 시작한 피어는 자신이 이미 수신한 세그멘트를 다른 이에게 전달할 수 있고, 이것이 계속되며, 따라서 관심 클라이언트들의 숫자와 무관하게 브로드캐스트가 쉬워진다. 이러한 전략은 국제 출원 제WO 2012/154287에 설명된다.
그러나, 대부분의 플레이어는 ABR(Adaptive BitRate)이라고 알려진 것을 구현하고 있고, 이것은 P2P와 조합되면 문제가 되는 것이 밝혀졌다.
ABR의 일반적인 아이디어는 복원된 세그멘트의 품질을 피어의 "용량(capacity)" 에 따라서 자동으로 변경할 수 있게 하는 것이다. 더 구체적으로 설명하면, 각각의 세그멘트는 수 개의 비트레이트, 즉 데이터 레이트에 대응하는 수 개의 품질 레벨에서 이용가능하다. 더 양호한 품질의 세그멘트가 더 양호한 해상도, 더 적은 압축, 초당 더 많은 프레임 등을 가지고 있고, 결과적으로 더 낮은 품질인 동일한 세그멘트보다 더 크며, 따라서 더 높은 데이터 레이트를 지원하는 것이 필요하다는 것이 꼭 이해되어야 한다.
ABR 스트리밍 도중에, 각각의 세그멘트에 대하여 알고리즘이 선택될 수 있는 최선의 품질을 주어진 로직("ABR 로직"이라고 불림)에 따라서, 일반적으로 관찰된 대역폭 및/또는 버퍼 충진 레이트(buffer filling rate)인 두 개의 기준들을 고려하면서 자동으로 결정한다.
첫 번째 경우에, 추정된 대역폭이 더 높은 품질을 지원하기에 충분하다고 알고리즘이 판정한다면, 알고리즘은 클라이언트에게 이러한 품질로 전환하도록 명령할 것이다(또는 대역폭이 너무 낮다면 더 낮은 품질로 전환하도록 명령함). 두 번째 경우에, 원리는 버퍼 메모리를 상이한 간격으로 분할하는 것이고, 각각의 간격은 버퍼 메모리의 충진이 증가하기 때문에 점점 더 높은 품질에 대응한다(또는 충진이 감소한다면 점점 낮은 품질에 대응함).
양자 모두의 경우에, ABR 알고리즘이 P2P 스트리밍 콘텍스트에서 사용될 기본적인 비호환성을 가지지 않는 경우에도, ABR 알고리즘이 간단한 스트리밍 시나리오, 즉 모든 세그멘트들이 콘텐츠 서버로부터의 요청에 따라 취출되는 시나리오에서 동작하도록 설계되었다는 것이 문제이다.
그러나, 실제로 P2P 스트리밍은 바람직하게도 P2P 세그멘트를 리더가 이들을 실제로 요청하기 이전에 전용 P2P 캐시 내에 다운로드 함으로써 "사전-버퍼링(pre-buffering)"을 수행한다. 사실상, P2P 스트리밍의 목적은 원본 콘텐츠 서버에 가능한 요청하지 않는 것이다(그리고 원본 콘텐츠 서버를 마지막 안식처로서 요청함): 세그멘트로부터 이러한 서버로의 직접적인 요청은 비디오 버퍼 내에 세그멘트가 더 이상 존재하지 않고 재생이 끊길("리-버퍼링(re-buffering)" 위험이 존재하는 경우에만, 그렇지 않으면 P2P 네트워크에 최대의 카운트가 존재할 경우에만 이루어진다.
따라서 플레이어의 관점에서 볼 때는 극단적으로 높은 명목 대역폭(apparent bandwidth)이 남겨지는데, 그 이유는 세그멘트들이 요청된 이후에 일 초 미만에 P2P 캐시로부터 버퍼 메모리 내로 로딩될 수 있기 때문이다. 추가적으로, 비디오 버퍼의 충진 레이트가 인위적으로 높아진다.
그러면, 네트워크 용량 및 지원할 필요가 있을 수 있는 품질과 무관하게, 현재 품질이 최대 품질이 아닌 경우에 ABR의 제어되지 않은 판정이 품질을 높이게 한다.
스트림의 품질에서의 불안정한 발진 또는 심지어 재생의 반복된 인터럽트, 및 콘텐츠 서버로의 다수의 불필요한 요청을 피하기 위하여, 출원 제 FR1903195에서는 세그멘트를 플레이어에 전달하기 이전에 ABR 알고리즘을 제어하기 위한 인위적 응답 지연을 도입하는 것이 제안되었다.
이러한 방법은 매우 만족스럽지만, 적절한 응답 지연을 찾는 것은 섬세한 작업일 수 있다. 일면으로, 너무 길면 플레이어 버퍼가 고갈되고, 원치 않는 리버퍼링 이벤트가 생길 수 있다. 또한, 이것은 ABR이 이용가능한 대역폭이 낮다고 잘못 믿고서 더 낮은 콘텐츠 품질로 전환하게 한다. 반면에, 너무 짧으면 ABR가 이용가능한 대역폭이 지원할 수 없는 과도한 품질로 전환되게 되고 결과적으로 리버퍼링 이벤트가 초래된다.
최적 지연은 구현된 ABR 로직에 강하게 의존하고, 따라서 이러한 로직을 우선 이해하고(즉 ABR이 어떻게 "동작하는지(work)"에 대해서 알게 되고), 그 후에 이에 따라서 응답 지연을 변경하는 것이 매우 중요하다. 불행하게도, ABR 로직은 흔히 플레이어에 특정하고 액세스가능성이 아주 높지 않으며, 심지어 변경가능성이 적다는 것이 문제이다.
그러므로, P2P 스트리밍 콘텍스트에서의 임의의 ABR 알고리즘을 제어하기 위한, 더 범용적이고 신뢰가능하며 애그노스틱한(agnostic) 방법을 가진다면 바람직할 것이다.
본 발명은 이러한 상황을 개선시킨다.
이러한 목적을 위하여, 본 발명은 제 1 양태에 따라서, 네트워크에서 스트리밍되는 콘텐츠를 클라이언트 디바이스의 플레이어에서 재생하기 위한 방법으로서, 상기 콘텐츠는 복수 개의 품질 레벨에서 이용가능한 세그멘트들의 시퀀스를 포함하고, 상기 플레이어는 상기 세그멘트의 품질 레벨을 상기 플레이어의 ABR(Adaptive BitRate) 로직에 따라서, 세그멘트 수신 레이트를 나타내는 적어도 하나의 파라미터의 함수로서 선택하도록 구성되며, 상기 클라이언트 디바이스는 세그멘트를 네트워크 내에서 전송되도록 적응된 포맷으로 저장하기 위한 제 1 버퍼를 포함하고, 상기 방법은, 상기 클라이언트 디바이스의 처리 유닛에 의하여,
(a) 상기 플레이어로부터 제 1 품질 레벨에서의 현재 세그멘트에 대한 요청을 수신하는 단계;
(b) 요청된 현재 세그멘트를 상기 최적 응답 지연의 만료 시에 제공하는 것이 세그멘트 수신 레이트를 나타내는 측정된 파라미터의 벡터를 상기 플레이어에 의하여 자신의 ABR 로직에 따라서 후속 선택된 대응하는 품질 레벨과 각각 연관시키는 훈련 예들의 데이터베이스로부터 훈련된 모델의 함수로서 상기 플레이어가 자신의 ABR 로직에 따라서 다음 세그멘트를 제 2 품질 레벨에서 요청하게 하도록, 제 2 품질 레벨에 대하여 최적 응답 지연을 추정하는 단계;
(c) 요청된 현재 세그멘트를 제 1 버퍼 메모리로부터 상기 추정된 최적 응답 지연의 만료 시에 제공하는 단계를 수행하는 것을 포함하는, 콘텐츠 재생 방법을 제공한다.
본 발명의 바람직하고 비한정적인 특징들은 다음과 같다:
상기 ABR 로직은 세그멘트 수신 레이트를 나타내는 상기 적어도 하나의 파라미터의 제 1 함수에 의하여 규정되고, 상기 모델은 상기 제 1 함수를 근사화한다.
상기 클라이언트 디바이스는, 세그멘트를 상기 플레이어에 의하여 재생되도록 적응된 포맷으로 저장하기 위한 제 2 버퍼를 더 포함하고, 상기 현재 세그멘트는 단계 (c)에서 상기 제 2 버퍼로 제공된다.
세그멘트 수신 레이트를 나타내는 상기 파라미터는 상기 제 2 버퍼의 버퍼 레벨 및/또는 대역폭이다.
주어진 세그멘트에 대하여, 세그멘트 수신 레이트를 나타내는 측정된 파라미터의 벡터는 적어도,
- 상기 주어진 세그멘트가 상기 플레이어에 의해 요청되었던 제 2 버퍼의 버퍼 레벨,
- 세그멘트 크기 및/또는 세그멘트 다운로드 시간 및/또는 세그멘트 비트레이트, 및
- 상기 주어진 세그멘트에 대해 측정된 대역폭을 포함한다.
이러한 방법은, 모델을, 세그멘트 수신 레이트를 나타내는 측정된 파라미터의 벡터를 상기 플레이어에 의하여 자신의 ABR 로직에 따라서 후속 선택된 대응하는 품질 레벨과 각각 연관시키는 훈련 예들의 데이터베이스로부터 훈련시키는 사전 단계 (a0)를 포함한다.
상기 모델은 모델 파라미터의 벡터에 의하여 파라미터화된 제 1 함수의 선형 회귀이고, 단계 (a0)는 상기 모델 파라미터의 벡터를 정규 최소 제곱(Ordinary Least Square) 기법을 사용하여 결정하는 것을 포함한다.
단계 (a0)는, 훈련 매트릭스를 세그멘트 수신 레이트를 나타내는 측정된 파라미터의 벡터 모두로부터 훈련 벡터를 구축하고, 훈련 벡터를 상기 플레이어에 의하여 자신의 ABR 로직에 따라 후속 선택된 대응하는 품질 레벨 모두로부터 구축하는 것, 및 상기 훈련 파라미터를 상기 훈련 매트릭스 및 상기 훈련 벡터에서의 표준 방정식(normal equation)을, 바람직하게는 공식 
(X는 훈련 매트릭스이고, Y는 훈련 벡터이며, 
는 모델 파라미터의 벡터)에 따라, 사용함으로써 결정하는 것을 포함 한다.
단계 (a0)는, ABR 로직의 복수 개의 클래스 각각에 대하여, 상기 클래스에 연관된 모델을 훈련시키는 것을 포함한다.
단계 (a0)는, 복수 개의 훈련된 모델을 검증하는 것, 및 이들 중 하나를 상기 플레이어의 ABR 로직을 적합하게 예측하는 모델로서 선택하는 것을 포함한다.
상기 방법은, 제 2 품질 레벨에서의 다음 세그멘트에 대한 요청이 상기 플레이어로부터 수신된다고 검증하는 추가 단계 (d)를 포함한다.
단계 (d)는, 제 2 품질 레벨에서의 다음 세그멘트에 대한 요청이 상기 플레이어로부터 수신된다는 것이 주어진 횟수동안 검증되지 않으면, 훈련 예들의 상기 데이터베이스로부터의 상기 모델의 새로운 훈련을 트리거링하는 것을 포함한다.
제 2 양태에 따르면, 본 발명은 네트워크에서 스트리밍되는 콘텐츠를 플레이어에서 재생하기 위한 디바이스로서, 상기 콘텐츠는 복수 개의 품질 레벨에서 이용가능한 세그멘트들의 시퀀스를 포함하고, 상기 플레이어는 상기 세그멘트의 품질 레벨을 상기 플레이어의 ABR(Adaptive BitRate) 로직에 따라서, 세그멘트 수신 레이트를 나타내는 적어도 하나의 파라미터의 함수로서 선택하도록 구성되며, 클라이언트 디바이스는 세그멘트를 네트워크 내에서 전송되도록 적응된 포맷으로 저장하기 위한 제 1 버퍼를 포함하고, 상기 클라이언트 디바이스는,
(a) 상기 플레이어로부터 제 1 품질 레벨에서의 현재 세그멘트에 대한 요청을 수신하는 것;
(b) 제 2 품질 레벨에 대하여, 최적 응답 지연을, 요청된 현재 세그멘트를 상기 최적 응답 지연의 만료 시에 제공하는 것이, 세그멘트 수신 레이트를 나타내는 측정된 파라미터의 벡터를 상기 플레이어에 의하여 자신의 ABR 로직에 따라서 후속 선택된 대응하는 품질 레벨과 각각 연관시키는 훈련 예들의 데이터베이스로부터 훈련된 모델의 함수로서, 상기 플레이어가 자신의 ABR 로직에 따라서 다음 세그멘트를 상기 제 2 품질 레벨에서 요청하게 하도록 추정하는 것;
(c) 요청된 현재 세그멘트를 제 1 버퍼 메모리로부터 상기 추정된 최적 응답 지연의 만료 시에 제공하는 것을 구현하는 처리 유닛을 포함하는, 콘텐츠 재생 디바이스를 제공한다.
제 3 및 제 4 양태에 따르면, 본 발명은 네트워크에서 스트리밍되는 콘텐츠를 클라이언트 디바이스의 플레이어에서 재생하기 위하여, 제 1 양태에 따른 방법을 실행하기 위한 코드 명령을 포함하는 컴퓨터 프로그램 제품; 및 네트워크에서 스트리밍되는 콘텐츠를 클라이언트 디바이스의 플레이어에서 재생하기 위하여, 제 1 양태에 따른 방법을 실행하기 위한 코드 명령을 포함하는 컴퓨터 프로그램 제품이 저장된 컴퓨터-독출가능 매체를 제공한다.
본 발명의 전술된 목적 및 다른 목적, 특징 및 장점은 그 예시적 실시형태의 후속하는 상세한 설명에서 명백해질 것이고, 상세한 설명은 다음과 같은 첨부 도면과 함께 정독되어야 한다:
- 도 1은 본 발명에 따르는 방법을 구현하기 위한 아키텍처를 나타낸다;
- 도 2는 본 발명에 따르는 방법의 바람직한 실시형태를 예시한다.
- 도 1은 본 발명에 따르는 방법을 구현하기 위한 아키텍처를 나타낸다;
- 도 2는 본 발명에 따르는 방법의 바람직한 실시형태를 예시한다.
아키텍처
도 1을 참조하면, 본 발명은 네트워크(1) 내에서(바람직하게는 클라이언트 디바이스(11, 12)의 피어-투-피어 네트워크(10) 내에서) 스트리밍되는 콘텐츠를, 바람직하게는 전용 훈련 방법에 따라서 훈련된, 클라이언트 디바이스(11)의 플레이어의 ABR 로직을 예측하기 위한 훈련된 모델을 사용하여 재생하기 위한 방법에 관한 것이다.
네트워크(1)는 본 명세서에서 대규모 원격 통신 네트워크이고, 특히 인터넷이다. 이러한 네트워크(1)는 클라이언트 디바이스(11, 12)의 피어-투-피어 네트워크(10)를 포함한다. 각각의 클라이언트 디바이스(11, 12)는 통상적으로, 네트워크(1)에 연결되며 프로세서와 같은 데이터 처리 유닛(110), 콘텐츠를 재생하기 위한 인터페이스, 및 임의 접근 메모리 및/또는 대량 메모리와 같은 저장 유닛을 가지는, 스마트 폰, PC, 태블릿 등과 같은 개인용 컴퓨팅 디바이스이다.
재생은 플레이어, 다시 말해서 데이터 처리 유닛(110)에 의해 실행되는 애플리케이션에 의해 구현되는데, 이것은 변하는 속성을 가질 수 있는, 예를 들어 전용 애플리케이션, 특히 HTML5와 호환가능한 인터넷 브라우저, 운영 체제 모듈 등일 수 있다. 플레이어가 명칭 및 버전에 의해서 규정될 수 있다는 것에 주의한다.
후속하는 발명을 실시하기 위한 구체적인 내용에서, 플레이어는 "그 자체(as is)"이고, 즉 이러한 프로세스를 구현하기 위하여, 또는 심지어 P2P 스트리밍을 위해서 변경되지 않는다고 가정할 것이다. 특히, 플레이어는 적응적 비트레이트(ABR) 로직을 구현하고, 다르게 말하면 플레이될 상기 콘텐츠는 복수 개의 품질 레벨에서 이용가능한 세그멘트들의 시퀀스를 포함하고, 플레이어는 어떤 품질 레벨을 요청할지를 이러한 ABR 로직에 따라서 자율적으로 결정할 수 있다. 다양한 품질 레벨은 상이한 비트레이트, 다시 말해서 단위 시간별(그리고 따라서 세그멘트별) 데이터의 가변 볼륨에 대응한다. 더 양호한 품질 콘텐츠가 더 높은 비트레이트를 요구한다는 것이 쉽게 이해된다.
ABR 로직의 개념에 관한 추가적인 세부사항이 후속하여 제공될 것인데, 제공 방법의 콘텍스트에서 ABR 로직이 반드시 제어가능하거나 심지어 알려져 있을 필요는 없다는 것이 이해되어야 한다: 본 발명의 방법은 완전히 범용적이고 임의의 기준들에 기반한 임의의 ABR 로직을 구현하는 임의의 플레이어에도 적응될 수 있다. ABR 로직이 미리 규정된다는 것과 클라이언트 소프트웨어(후술됨)는 이것을 수행하기만 한다는 것이 가정될 것이다.
더욱이, 클라이언트 디바이스(11)(및 더 자세하게는 그 저장 유닛)는 통상적으로 임의 접근 메모리의 두 구역인 두 개의 버퍼(M1 및 M2)를 가지는데, 이들 각각은 콘텐츠의 전부 또는 일부를 일시적으로 저장(후술되는 바와 같은 상이한 방식으로)할 수 있다(일시적이라는 것은, 세그멘트들이 재생된 직후에 이러한 메모리로부터 삭제된다는 것을 의미한다: 이들은 다이렉트 다운로드에 대한 경우에서와 같이 장기간 저장되지 않는다). 앞으로 알 수 있는 바와 같이, 브라우저를 통해 재생하는 바람직한 경우에, 모든 세그멘트들은 통상적으로 가장 늦은 경우에도 비디오가 그 안에서 재생된 브라우저 또는 탭이 닫힐 때에 삭제된다(즉, 버퍼가 다시 초기화됨).
제 1 버퍼(M1)는 "피어-투-피어 캐시"라고 불린다. 이것은 세그멘트를 소위 "원시(raw)" 포맷 하에 저장한다. 원시 세그멘트라는 것은, 네트워크(1) 내에서, 특히 피어-투-피어 네트워크(10) 내에서 전송되도록 적응되지만, 디바이스(11)에서 재생되기 위하여 적응되지는 않은 포맷을 가리킨다.
제 2 버퍼(M2)는 "비디오 버퍼"라고 불린다. 이것은 세그멘트를 소위 "변환된(converted)" 포맷 하에 저장한다. 변환된 세그멘트라는 것은, 원시 세그멘트로부터 디바이스(11)에서 재생하도록 적응되지만, 피어-투-피어 네트워크(10) 내에서 전송하도록 적응되지 않은 포맷 하에 변환되는 것을 의미한다.
도입부에서 설명된 바와 같이, 이러한 디바이스(11, 12)는 피어-투-피어 네트워크(10)의 "피어"("노드"라고도 불림)이다.
"피어-투-피어 네트워크(10)의 클라이언트 디바이스(11, 12)"라는 것은, 피어-투-피어 네트워크 프로토콜에 의해서 네트워크(1) 내에 연결된 디바이스를 의미한다. 다르게 말하면, 각각의 피어에 대한 데이터 처리 유닛이 특정 프로그램("피어 에이전트(peer agent; PA)"라고 불리는 클라이언트 소프트웨어)을 구현하고, 이것은 피어-투-피어를 사용하기 위하여 플레이어와 통합되거나(예를 들어 웹 브라우저의 확장으로서), 전용 애플리케이션이거나, 또는 심지어 임의의 다른 소프트웨어(예를 들어 인터넷 액세스 박스의 운영 체제, 또는 멀티미디어 박스, 즉 "셋-톱 박스(set-top box)") 내에 임베딩될 수 있다. 본 발명의 방법은 주로 이러한 클라이언트 소프트웨어를 통하여 구현된다. 후속하는 발명을 실시하기 위한 구체적인 내용에서, 독립적으로 동작하는 동안에 플레이어에 세그먼트들을 제공하기 위하여 클라이언트 소프트웨어가 플레이어와 통신하는 상태라는 것이 가정될 것이다. 더 자세히 말하면, 플레이어의 역할은 그 자체로서 재생하는 것, 즉 세그멘트의 렌더링인 반면에, 클라이언트 소프트웨어의 역할은 리더를 위해서 세그멘트를 획득하는 것일 뿐이고, 클라이언트 소프트웨어는 플레이어의 동작을, 그리고 특히 자신의 ABR 로직을 거친다.
설명된 바와 같이, 피어-투-피어 네트워크, 또는 P2P는 네트워크(1) 내의 탈중앙화된 서브-네트워크이고, 데이터는 중앙 서버를 통해서 전달되지 않고 피어-투-피어 네트워크(10)의 두 개의 클라이언트 디바이스(11, 12) 사이에서 직접 전송될 수 있다. 따라서, 이것은 모든 클라이언트 디바이스(11, 12)가 클라이언트 및 서버의 양자 모두의 역할을 수행하게 한다. 따라서, 피어(11, 12)는 "시더(seeder)"(또는 데이터 공급자) 및/또는 "리처(leacher)"(또는 데이터 수신기)로서 규정된다.
특히 오디오 또는 비디오 콘텐츠, 즉 일부 길이의 미디어인 상기 콘텐츠는 피어-투-피어 네트워크(10)에 연결된 서버(2)의 데이터 저장 수단 내에 저장된 세그멘트들의 시퀀스("재생목록(playlist)"이라고 불림)를 포함한다. 세그멘트는, 통상적으로 콘텐츠의 1초 또는 2초인 미리 결정된 길이를 가지지만, 이것은 1초 미만으로부터 약 10 초까지의 범위를 가질 수 있다. 주어진 콘텐츠의 모든 세그멘트는 일반적으로 동일한 길이를 가진다.
서버(2)는, 바람직하게는 네트워크(1) 내에 존재하고 피어-투-피어 네트워크(10)에 연결되는 콘텐츠 서버이다. 다르게 말하면, 이것은 다양한 콘텐츠의 세그멘트를 주어진 스트리밍 프로토콜에 따라서 제공하는, 인터넷 네트워크(1)의 하나의(또는 그 이상의) 서버(들)이다. 예를 들어, 세그멘트들이 "m3u8" 재생목록 파일 내에 나열된 "ts"개의 파일인 HLS("HTTP Live Streaming")이 언급될 것이다. HLS는 콘텐츠에 대한 MPEG2 또는 단편화된(fragmented) MP4 포맷을 수반한다. DASH, 부드러운 스트리밍, 또는 HDS 스트리밍 프로토콜도 역시 언급될 것이다. 원시 세그멘트는 WebRTC 타입의 프로토콜을 통하여 피어들 사이에서 공유될 수 있다.
서버(2)는, 피어가 최초에(서버(2)로부터 이러한 피어(11, 12)로의 첫 번째 전송 이전에) 콘텐츠를 가지지 않는다면 세그멘트들의 일차 소스이다. 콘텐츠는 처음부터 서버(2)에 온전히 저장되어 있거나(전술된 VOD의 경우), 실시간으로 생성되는데(라이브 스트리밍의 경우), 후자의 경우에는 콘텐츠를 구성하는 세그멘트들의 목록이 시간이 지남에 따라서 동적으로 변한다.
라이브 스트리밍은 "라이브(live)" 이벤트, 동시에 발생되는 예를 들어 콘서트, 회합, 스포츠 이벤트, 비디오 게임 등과 연관된 콘텐츠를 실시간으로 브로드캐스트하도록 제안한다. 이미 온전하게 존재하는 콘텐츠를 필름과 같은 스트리밍하는 것에 관하여, 라이브 스트리밍 브로드캐스트 콘텐츠는 실제로는 연관된 이벤트가 일어날 때에 점진적으로 생성된다. 기술적으로, TV에서의 라이브 이벤트의 경우에서와 같이, 이러한 콘텐츠는 일부 지연을 가지고 브로드캐스트될 수밖에 없는데, 사용자는 이러한 지연이 가능한 작아지기를 바란다. 이러한 지연은 통상적으로는 약 1 분이지만, 약 20 초까지 줄어들 수 있다. 이를 통하여, 오직 몇 개(최대 10 개)의 세그멘트의 재생목록만이 각각의 순간에 이용가능하고, 이러한 목록의 세그멘트는 턴오버(turnover)에 따라서 동적으로 갱신된다: 이벤트가 일어남에 따라 새로운 세그멘트인 "에이지(age)"가가 생성되고, 클라이언트에 의하여 수신되고 플레이되며(기대된 지연의 종료 시에), 최종적으로는 목록에서 빠져나온다.
후자의 경우에(라이브 스트리밍), 콘텐츠는 연속 스트림인 것처럼 보여야 한다. 이를, 세그멘트들의 시퀀스는 동적이고, 즉 규칙적으로 업데이트된다. 새로운 세그멘트가 생성될 때마다, 이것이 시퀀스의 끝에 추가되고, 및 시퀀스의 첫 번째 세그멘트(가장 오래됨)가 삭제된다. 다른 것들 모두는 FIFO 목록에 관련될 수 있는 턴오버 메커니즘에 따라서 오프셋된다. 목록의 첫 번째 세그멘트(가장 오래된 것)는 "라이브(live)" 또는 "과거(past)" 세그멘트일 수 있다. "라이브" 세그멘트는 재생 에지(playing edge)에 있는 세그멘트이고, 따라서 세그멘트들은 재생되자마자 재생목록으로부터 삭제된다. "과거" 세그멘트는, 콘텐츠가, 예를 들어 DVR(Digital Video Recorder)과 같이 일부 지연을 가지고, 그리고 최대 2 시간의 지연을 가지는 라이브 스트리밍을 허용하는 다른 플랫폼에 의해서 재생되도록 콘텐츠 서버(2)가 허용하는 경우에 존재한다.
본 발명의 방법은 임의의 콘텍스트에서도 구현될 수 있다.
피어-투-피어 네트워크(10)에는 "추적기(tracker)"라고 불리는 피어 관리 서버(3)도 연결된다. 추적기(3)는 데이터 처리 수단 및 저장 수단을 가진다. 이것은 피어들(11, 12) 사이의 교환을 조율하지만(클라이언트 디바이스들(11, 12) 각각에 의해서 구현된 클라이언트 소프트웨어를 제어함으로써), 이것은 데이터 전송에는 직접적으로 수반되지 않고 파일의 복제본을 가지지 않는다.
전술된 바와 같이, 클라이언트 디바이스(11)(또는 다른 클라이언트 디바이스(12))의 처리 유닛(110)에 의하거나, 피어 관리 서버(3)에 의해서 직접적으로, 플레이어의 ABR 로직을 예측하기 위하여 모델을 훈련하기 위한 전용 방법이 구현될 수 있다.
후술되는 바와 같이, 훈련을 수행하는 장비는 플레이어에게 이미 제공된 복수 개의 훈련 세그멘트에 연관된 데이터(상기 훈련 세그멘트가 플레이어에 요청되었을 때에 측정된 세그멘트 수신 레이트를 나타내는 파라미터들의 벡터 및 플레이어에 의하여 자신의 ABR 로직에 따라서 후속 선택된 대응하는 품질 레벨의 쌍)로 이루어진 훈련 데이터베이스를 저장해야 한다.
플레이어의 타입 및 버전만큼 많은 모델(및 데이터베이스)이 존재할 수 있고, 주어진 플레이어에 대한 모델이 클라이언트 디바이스(11, 12) 또는 서버(3)에 의하여 학습되고 각각의 클라이언트 디바이스(11, 12)에서의 이러한 특정 플레이어의 ABR 로직을 예측하기 위하여 모든 클라이언트 디바이스(11, 12)로 제공될 수 있다는 것에 주의한다(서버(3)로부터 직접적으로 제공되거나 P2P 메시지로서 전파됨). 각각의 클라이언트 디바이스(11, 12)가 자신이 구현하는 플레이어에 대응하는 모델만을 수신하도록(그리고, 주어진 플레이어의 새로운 버전이 존재하면 이전의 모델을 제거하도록) 선택할 수 있다는 것에 주의한다.
ABR 로직
전술된 바와 같이, 클라이언트 디바이스(11)의 플레이어는 세그멘트의 품질 레벨을 세그멘트 수신 레이트를 나타내는 적어도 하나의 파라미터의 함수로서, 플레이어의 ABR 로직에 따라서 선택하도록 구성된다.
임의의 경우, ABR 로직은 선택될 품질 레벨(비트레이트)을 세그먼트들의 수신 레이트를 나타내는 상기 적어도 하나의 파라미터의 함수로서 계산할 수 있게 하는 제 1 함수에 의해 규정될 수 있다. 더 자세히 말하면, 상기 제 1 함수는 수신된 각각의 세그멘트에서 플레이어에 의해 일반적으로 호출되고, 출력은 다음 세그멘트가 요청될 품질 레벨이다. 상기 출력이 특히 정수 레벨 번호로서 표현되거나(예를 들어 1 및 L 사이로 표현되는데 1은 최악의 품질을 나타내고 L은 최선의 품질을 나타내거나 그 반대의 경우도 성립됨), 비트레이트 값으로서(가능한 비트레이트 값들 중에서 선택된 이산 값, 또는 연속적인 비트레이트 값으로서) 직접적으로 표현될 수 있다는 것에 주의한다. 상기 제 1 함수는 "블랙 박스(black box)"라고 가정된다.
세그멘트 수신 레이트를 나타내는 상기 파라미터가 모니터링된 파라미터라는 것이 이해되는데, 이들은 세그멘트를 "충분히 고속으로(fast enough)" 수신하기 위한 디바이스(11) 및 / 또는 네트워크(10)의 용량을 예시하는 임의의 파라미터일 수 있다. 언급된 바와 같이, 공지된 ABR 로직은 일반적으로, 파라미터로서 제 2 버퍼 메모리(M2)의 버퍼 레벨(값들, 즉 초, 또는 세그멘트들의 개수, 또는 레이트로 표시됨) 및/또는 대역폭(즉 관찰된 데이터 수신 레이트)을 사용한다.
다르게 말하면, 플레이어는 대역폭 및/또는 버퍼 레벨을 모니터링하고, 결과적으로 요구된 세그멘트의 품질 레벨을 변경할지 여부에 대해서 결정한다.
디바이스 능력(CPU/GPU 부하 및 디코딩 능력, 이용가능한 메모리, 스크린 크기 등을 포함함) 및/또는 사용자의 지리적 위치와 같은 다른 파라미터들도 가끔 고려된다.
따라서, ABR 로직의 세 가지 주된 클래스들이 존재한다:
- 버퍼-기반 ABR 로직에 대한 "BB" 클래스;
- 레이트-기반 ABR 로직에 대한 "RB" 클래스;
- 하이브리드(버퍼-레이트-기반) ABR 로직에 대한 "H" 클래스.
더 많은 클래스가 존재할 수 있다는 것에 주의한다. 후속하는 명세서는 이러한 세 가지 클래스를 가지는 예를 취할 것이지만, 당업자는 본 발명의 방법이 가능한 ABR 로직 클래스들의 임의의 세트에 한정되지 않는다는 것을 이해할 것이다.
모델을 훈련시키기
본 발명의 방법은 ABR 로직을 예측하는, 즉 ABR 로직을 규정하는 전술된 제 1 함수를 ABR 로직의 실제 클래스와 무관하게 근사화하는 모델을 훈련시키기 위하여 머신 러닝(ML) 알고리즘을 사용하도록 제안한다.
수학적으로, 임의의 주어진 세그멘트에 대하여(플레이어에 의하여 요청되고 수신되면), 플레이어에 의하여 자신의 ABR 로직에 따라서 후속 선택된 대응하는 품질 레벨(즉, "스칼라 출력")과 연관된, 상기 주어진 세그멘트가 플레이어에 의해서 요청되었을 때 측정된 세그멘트 수신 레이트를 나타내는 파라미터들의 벡터(즉 "입력 벡터")가 구축될 수 있다.
아이디어는, 임의의 가능한 ABR 클래스 및 로직을 망라하기 위해서, 세그멘트 수신 레이트를 나타내는 임의의 가능한 파라미터를 입력 벡터 내에 포함시키는 것이다.
다르게 말하면, 바람직하게는 하나 이상의 콘텐츠의 연속 세그멘트인 M 개의 세그멘트를 고려할 때, 각각의 세그멘트 
에 대하여 
개의 피쳐의 입력 벡터 
및 스칼라 출력 
이 존재하는데, 예를 들어 다음이 성립한다:
- 
: 세그멘트 
이 요청되는 버퍼 레벨;
- 
: 세그멘트 크기;
- 
: 세그멘트 다운로드 시간;
- 
: 세그멘트 
의 측정된 대역폭;
- 
: 이전의 세그멘트에 대한 측정된 대역폭.
- 
: 마지막 세그멘트(존재한다면)에 대한 측정된 대역폭;
- 
: 세그멘트 
의 비트레이트 결정.
입력 벡터 
및 대응하는 스칼라 출력 
의 쌍이 훈련 예(training example)이라고 불리고, 훈련 예들의 데이터베이스가 모델을 훈련시키기 위해서 머신 러닝 알고리즘을 훈련하기 위하여 구축될 수 있다. 전술된 바와 같이, 각각의 훈련 예는 주어진 세그멘트(훈련 세그멘트라고 불릴 수 있음)의 플레이어에 의한 실제 수신에 대응한다. 다르게 말하면, 각각의 훈련 예는 훈련 세그멘트가 플레이어에 의해 수신되었을 때 측정된 세그멘트 수신 레이트를 나타내는 파라미터들의 벡터, 및 다음 세그멘트를 요청하기 위하여 플레이어에 의하여 자신의 ABR 로직에 따라서 후속 선택된 대응하는 품질 레벨을 연관시킨다.
상기 모델은 입력 및 출력의 관계, 특히 각각의 입력 벡터 
에 대하여 값 
이 
에 가능한 가깝도록 모델 파라미터의 벡터 
로 파라미터화된 "가설(hypothesis)" 
로서 규정될 수 있다.
따라서, 세그멘트 수신 레이트를 나타내는 현재 파라미터를 실시간으로 측정하고, 현재 입력 벡터 
를 생성함으로써, 다음 세그멘트가 플레이어에 의해 요청될 비트레이트인 출력 
을 예측하기 위하여 가설 
가 사용될 수 있다.
따라서, 본 발명의 방법은 바람직하게도, 모델을, 세그멘트 수신 레이트를 나타내는 측정된 파라미터의 벡터를(즉, 플레이어에 의해서 요청되었을 때에 주어진 세그멘트에 대해서 측정됨) 플레이어에 의하여 자신의 ABR 로직에 따라서 후속 선택된(다음 세그멘트를 요청할 때에) 대응하는 품질 레벨과 각각 연관시키는 훈련 예들의 상기 데이터베이스로부터 훈련시키는 최초 단계 (a0)를 포함한다.
임의의 타입의 모델 및 임의의 종류의 머신 러닝 알고리즘이 사용될 수 있다는 것에 주의한다.
바람직하게는, 모델은 상기 제 1 함수를 근사화하는 선형 함수(선형 회귀)이고, 선형 최소 제곱(linear least square; LLS) 기법, 특히 정규 최소 제곱(ordinary least square; OLS) 기법에 의해 학습되지만, 당업자는 다른 모델(특히 다항식, 비선형 등) 및 다른 머신 러닝 기법(베이지안(Bayesian), k-최근접 이웃, 지원 벡터 머신 등)을 사용할 수 있다.
선형 회귀의 경우에는,
OLS 기법을 적용하기 위하여, 훈련 데이터베이스는 다음의 쌍(X, Y)으로서 표현될 수 있다:
- 바람직하게는
이 되도록, 세그멘트 수신 레이트를 나타내는 측정된 파라미터의 모든 벡터로부터 구축된 차원 
의 훈련 매트릭스 X
- 바람직하게는
이 되도록, 자신의 ABR 로직에 따라서 플레이어에 의해 후속 선택된 모든 대응하는 품질 레벨로부터 구축된 차원 
의 훈련 벡터 Y.
각각의 벡터 
앞의 매트릭스 내의 "1"은 
의 표현에서 제 1 오프셋 항 
를 가지도록 허용한다는 것에 주의한다.
그로부터, 
의 값이 다음 표준 방정식을 사용함으로써 간단하게 추정될 수 있다.
여기에서 
는 X의 무어-펜로즈(Moore-Penrose) 의사역행렬이다.
전술된 바와 같이, 단계 (a0)는 클라이언트(11)에 의해서 국지적으로, 또는 서버(3)에서 중앙화된 방식으로 수행될 수 있다. 어떠한 경우에서도, 훈련 예는 훈련 데이터베이스를 구성하기 위하여 네트워크(1) 내에서 송신될 수 있다. 예를 들어, 원시 데이터는 서버(3)에서 다양한 클라이언트(11, 12)로부터 수집될 수 있고, 거기에서 처리된 훈련 데이터(예컨대, 훈련 매트릭스 X 및 훈련 벡터 Y)가 구축되고 되전송될 수 있다.
ABR 클래스
앞서 제공된 모델은 애그노스틱하고 범용적이며, 이것은 모델이 임의의 클래스에 적용될 수 있다는 것을 의미한다.
그러나, BB, RB 및 H 클래스의 ABR 로직은 상이한 입력 변수를 사용한다. 그러므로, 더 많은 변수(특히 비사용 또는 리던던트 변수)를 훈련 집합 내에 추가하면, 모델이 학습된 데이터에 크게 의존하게 되어 정확하게 학습할 능력을 상실하게 하는, 모델의 과다근사화(overfitting)가 초래될 수 있다.
ABR의 클래스를 알게 됨으로써, 리던던트 피쳐를 안전하게 제거하고 플레이어에 의해 구현되는 ABR 로직의 실제 입력만을 유지함으로써, 이러한 문제점을 다루는 것이 가능해진다.
이러한 목적을 위해서, 단계 (a0)는 바람직하게도 복수 개의 모델을 ABR 로직의 각각의 클래스에 대해서 하나씩 훈련시키는 것(병렬적으로)을 포함한다. 본 발명의 예에서는, K=3 개의 클래스(BB, RB 및 H)가 존재하여 3 개의 모델이 훈련된다:
- BB-모델은 버퍼-기반 ABR 로직에 대한 것이다. 이것은 
만을 입력으로서(훈련 예의 버퍼 레벨) 사용하여 훈련되고, 즉 "단순화된(simplified)" 훈련 매트릭스로서 
이다.
- RB-모델은 레이트-기반 ABR 로직에 대한 것이다. 이것은 
, 
,…, 
만을 입력으로서(측정된 대역폭) 사용하여 훈련되고, 즉 "단순화된" 훈련 매트릭스로서 
이다.
- H-모델은 버퍼-레이트-기반 ABR 알고리즘에 대한 것이다. 이것은 버퍼 레벨 및 대역폭 측정치 양자 모두를 입력으로서(즉 X의 적어도 열 1 및 열 4 내지 열 n을 훈련 매트릭스로서, 가능하게는 전체 매트릭스 X로서) 사용하여 훈련된다. 열 2 및 열 3이 후술될 특수한 용도를 가질 수 있다는 것에 주의한다.
OLS를 사용한 선형 회귀의 바람직한 실시형태에서, 각각의 모델 
는 표준 방정식 
를 사용하여 (
는 전술된 클래스에 대응하는 단순화된 훈련 매트릭스임) 상이한 가설 
를 제안할 수 있다.
주어진 플레이어에 대하여, K 개의 모델 중 하나만이 실제로 참이라는 것에 주의한다(즉 플레이어의 ABR 로직을 적합하게 예측함). 그러므로, 단계 (a0)는 바람직하게는, 특히 상기 테스트 세트에서의 카테고리 정확도(categorical accuracy)를 점검하기 위한 테스트 세트를 구축함으로써(즉 일부 쌍 (
, 
)을 유지함), 적절한 모델을 선택하기 위하여 K 개의 모델을 검증하는 것을 더 포함한다.
마지막으로, 선택된 모델은 대량으로 사용되기 위해서 임의의 디바이스(11, 12)와 공유될 수 있다. 이러한 모델을 피어들 사이에서 전파하는 것은 서버(3)로부터 또는 P2P에 의해서 직접적으로 수행될 수 있다. 모델을 수신하는 임의의 피어가 이것을 테스트하고 및/또는 새로운 훈련 단계 (a0)를 재시작함으로써 이것을 정제할 수 있다는 것에 주의한다.
ABR의 제어
후속하는 발명을 실시하기 위한 구체적인 내용에서, 다른 디바이스(12) 및 / 또는 서버(2)로부터 콘텐츠를 취출하려고 시도하고 있는 클라이언트 디바이스(11)에 중점을 두는데, 즉 제 1 버퍼 메모리(M1)는 가능하다면 해당 콘텐츠를 구성하는 시퀀스의 서브-시퀀스인 적어도 하나의 원시 세그멘트를 적어도 하나의 품질 레벨에서 이미 저장하고 있다.
플레이어에 대하여 적절한 모델(즉 상기 플레이어의 ABR 로직을 예측함)이 이미 훈련되고, 선택되며, 디바이스(11)에게 이용가능하다는 것이 가정된다.
그러면 이러한 방법은 디바이스(11)의 처리 수단(110)에 의해서 세그멘트("현재 세그멘트"라고 불림), 실무에서는 제 2 버퍼 메모리(M2) 내에 들어갈 다음 세그멘트에 대한 요청을 수신하는 단계 (a)를 구현하는 것으로써 시작된다(반드시 플레이될 다음 세그멘트여야 하는 것은 아니고, 일반적으로는 버퍼링된 앞선 세그멘트들이 존재함). 상기 요청은 플레이어에 의해 수신되고, 요청된 세그멘트에 대해서 요구되는 품질 레벨, 즉 "제 1 품질 레벨"이라고 불리는 비트레이트(ABR 로직을 적용함에 의함)를 규정한다.
상기 세그멘트가 이러한 스테이지에서, 적어도 부분적으로(즉 적어도 하나의 단편으로서), 플레이어에 의해 요구된 제 1 품질에서 제 1 버퍼(M1) 내에서 이용가능하다는 것이 가정된다. 이러한 세그멘트 / 세그멘트 단편이 다른 품질이었다면, 이들은, 시간이 없어지고 있기 때문에 일반적으로는 콘텐츠 서버(2)로부터 직접적으로 다시 취출되어야 할 것이다.
단계 (a)는 필요한 경우, 세그멘트 수신 레이트를 나타내는 상기 적어도 하나의 파라미터를 "측정(measurement)"하는 것을 포함한다.
후속하는 단계 (b)에서, 훈련된 모델은, 제 2 품질 레벨(제 1 품질 레벨과 같을 수 있음)에 대하여, 요청된 현재 세그멘트를 상기 최적 응답 지연의 만료 시에 제공하면 플레이어가 자신의 ABR 로직에 따라서 다음 세그멘트를 상기 제 2 품질 레벨에서 요청하게 되도록, 최적 응답 지연을 추정하기 위하여 사용된다.
다르게 말하면, ABR 로직이 다음 세그멘트를 제 2 품질 레벨에서 요청하게 "강제(force)"하기 위하여 ABR 로직을 제어하려는 것이 의도이다. 최적 응답 지연이란, ABR 로직이 제 2 품질 레벨을 요청하게 하기 위해서 적합한 응답 지연을 의미한다(따라서 최적 응답 지연은 반드시 고유한 것이어야 하는 것이 아니고, 일반적으로 최적 응답 지연의 "범위(range)"가 존재한다). 수학적으로, 다음 세그멘트 
에 대하여, 
이 요청될 것으로 기대되는 제 2 품질 레벨이 되도록 입력 벡터 
을 트리거링해야 한다.
이러한 목적을 위해서, 응답 지연 및 모델의 입력 변수 사이의 관계를 이해하는 것이 가장 중요하다: p는 세그멘트 지속기간이고(일반적으로 고정됨), 
은 현재 세그멘트 
에 대해 적용할 응답 지연인 경우, 다음이 성립한다:
- 버퍼가 재생에 의하여 점진적으로 비워질 것이기 때문에 
이고, 다르게 말하면 
이다(BB-모델 및 H-모델에 대해서 유용함);
- 지연이 다운로드 시간으로 전환될 수 있고(실제 전송 시간은 세그멘트가 제 1 버퍼(M1) 내에 이미 다운로드되었기 때문에 거의 0임), 
이 흔히 일정하기 때문에 
이고, 다르게 말하면 
이다(RB-모델 및 H-모델에 대하여 유용함).
입력 벡터 
의 다른 파라미터는 현재 벡터 
의 측정치 및 파라미터로부터 추정될 수 있다: 예를 들어 
은 흔히 상수이고, 간단히 바꿔쓰면 
이다. 결과적으로, 
이 
으로서 표현될 수 있다.
진행할 단순한 첫 번째 방법은 
의 가능한 값을 적절한 입력 벡터 
에 도달할 때까지 반복적으로 시도하는 것일 것이다. 
의 복수 개의 적절한 값이 발견되면, 가장 큰 것이 최적 응답 지연으로서 선택되는 것이 바람직하다.
이러한 최적화 문제를 풀어내는 것이 당업자의 이해 범위 안에 속한다는 것이 이해되어야 한다.
선형 회귀의 바람직한 경우에, 입력은 일반적으로 피쳐들의 벡터이고 예측된 출력은 스칼라이다. 역 선형 회귀를 사용한다는 것은 다음 두 가지를 의미할 수 있다:
- 하나의 출력을 초래하는 피쳐들 모두의 오직 하나의 조합이 공식 
을 사용하여 예측된다; 여기에서 
는 
의 의사역행렬이다(즉 
임).
- 또는, 다음 연립 방정식 중 하나의 방정식을 고름으로써, 오직 하나의 피쳐가 모델, 출력 및 피쳐를 사용하여 예측된다:
피쳐들 중 나머지가 이미 공지되거나 측정되었고, 이들을 응답 지연을 사용하여 제어할 수 없기 때문에, 두 번째 접근법은 소망되는 버퍼 레벨(
) 및 대역폭(
)인 두 개의 피쳐만이 일반적으로 예측되어야 하면 되므로 매우 효과적이다.
모든 나머지 피쳐들이 미리 알려져 있는 것으로 가정된다면, 전술된 방정식 집단이 하나의 피쳐만을 예측하도록 허용한다는 것에 주의한다. 이것은 복수 개의 피쳐들이 동시에 예측될 필요가 있는 하이브리드 모델에 대해서는 반드시 참인 것이 아니다. 이러한 특정한 경우에 대하여, 문제는 다음의 최적화 문제로서 공식화될 수 있다:
뉴턴의 방법(Newton's method), 선형 프로그래밍(linear programming; LP) 또는 반전 강화 학습(inverse reinforcement learning)을 위한 피쳐 구조와 같은 상이한 기법들이 이러한 문제를 풀기 위해서 사용될 수 있다.
단계 (b)의 종료 시에, 최적 응답 지연이 추정될 것으로 가정된다.
P2P 네트워크로부터 취출된 것이 요청된 세그멘트의 단편일뿐인 경우에(세그멘트가 불완전한 방식으로 이용가능하다고 말할 수 있음), 바람직하게는, 최적 응답 지연의 단편만이 실제로 적용되어야 한다는 사실을 반영하기 위하여, 추정된 최적 응답 지연이 단편의 길이에 따라서 변경된다. 사실상, 제 2 버퍼(M2)에는 완전한 세그멘트만이 제공되고 단편은 제공되지 않을 수 있으며, 이러한 사상은 제 1 버퍼(M1) 내에서 이러한 세그멘트를 완료시킬(취출을 종료할) 시간에 대응하는 암시적 대기 지연이 이미 존재할 것이라는 사실을 반영하면서, 더 짧은 응답 지연 이후에 세그멘트를 온전하게 제공하는 것이다. 따라서, 단계 (b)는 추정된 최적 응답 지연을 세그멘트를 취출하는 것을 종료하기 위하여 필요한 추정된 지속기간의 함수로서 변경하는 것을 포함할 수 있다.
예를 들어, 공식 
를 적용할 수 있는데, 여기에서 
는 변경된 최적 응답 지연이고 
는 세그멘트를 취출하는 것을 종료하기 위하여 필요한 추정된 시간이다. 그러므로, 전체 세그멘트를 전달하기 이전에 시간 
동안 대기하고 
를 적용하는 것은 
을 적용하는 것과 등가이고, 따라서 전체 지연은 동일하게 유지된다.
단계 (c)에서, 상기 요구된 세그멘트는 요청에 응답하여 제 1 버퍼(M1)로부터, 상기 추정된 최적 응답 지연의 만료 시에 제공된다. "상기 응답 시간의 만료 시에 제공됨(provided at the expiration of said response time)"이란, 최적 응답 지연의 종료 이전에 플레이어가 이것을 가지지 않는다는 것을 의미한다(후술되는 바와 같이, 최적으로는 만료시에 가지게 되거나, 심지어 일부 경우에는 그 이후에 가지게 됨). 가장 흔한 경우로, 세그멘트는 응답 지연이 만료할 때에 갑자기 송신되지만, 이것을 디바이스(11) 내에서 "스트리밍(stream)"하는 것, 즉 마지막 조각이 최적 응답 지연이 만료될 때(가장 빠른 경우에) 송신되도록 이것을 제 1 버퍼(M1)로부터 점진적으로(조각별로) 송신하는 것도 충분히 가능하다는 것이 이해될 것이다(그러면, 최적 응답 지연이 "세그멘트의 마지막 비트의 송신 시간 "이 된다). 사실상, 완전한 세그멘트만이 독출가능하지만, 일부 플레이어는 세그멘트의 서브-세그멘트를 수용할 수 있다. 세그멘트가 완전히 수신되지 않는 한 이것은 플레이어에 의해 이용가능해지지 않고, 따라서 제공된 것으로 간주되지 않기 때문에 이러한 점진적 송신이 아무것도 바꾸지 않지만, 대역폭 측정이 용이해지게 할 수 있다는 것에 주의한다.
세그멘트의 단편만이 제 1 버퍼(M1) 내에서 이용가능하고 응답 시간이 세그멘트를 복원하는 것을 종료하기 위하여 필요한 추정된 지속기간에 따라서 변경된 경우에, 일반적으로 해당 세그멘트는 변경된 응답 시간의 종료 시에 단계 (b)로 역시 공급된다. 전술된 바와 같이, 이러한 공급이 단편화될 수 있지만, 완전한 세그멘트의 서브-세그멘트(완전히 다운로드된 세그멘트로부터 획득된 세그멘트의 연속 조각에 대응함)와 불완전한 세그멘트(가장 흔하게는 이질적인 조각에 대응하는 데이터의 특정 부분들만이 다운로드되었음)가 혼동되어서는 안 된다. 다운로드가 기대된 것보다 길게 걸린다면, 변경된 응답 지연이 만료된 이후까지 세그멘트가가 완전히 이용가능하지 않을 수 있도록, 제 1 버퍼(M1) 내에서 완전히 이용가능한 세그멘트만이(단편이 아님) 요청에 응답하여 제공될 수 있다. 따라서, 완전한 세그멘트는 가장 빠른 경우에 변경된 최적 응답 지연의 만료 시에 제공되지만(즉 그 이전에는 제공되지 않음), 가능하게는 그 이후에 제공된다. 실무상, 완전한 세그멘트는 다음의 두 가지 조건이 만족되는 경우에 제공된다: 세그멘트가 완전히 이용가능하고(그 다운로드가 완료됨), 및 변경된 최적 응답 지연이 만료될 것.
모든 경우에, 세그멘트는 바람직하게는 제 2 버퍼(M2)로 제공되고, 따라서 단계 (c)는 상기 세그멘트를 재생하기에 적합한 포맷으로 변환하는 것을 포함할 수 있다. 이것은 원시 세그멘트를 변환된 세그멘트로 변환하는 것으로 이루어지는데, 원시 세그멘트가 아니라 변환된 세그멘트가 디바이스(11)의 플레이어에 의해서 독출될 수 있다.
예를 들어, 플레이어가 HTML5 호환가능 브라우저의 빌트인 플레이어라면, 변환은 세그멘트의 비디오 데이터를 브라우저의 미디어 소스 확장(Media Source Extension) API를 사용하여 주입하는 것으로 이루어진다.
자연적으로, 단계 (c)는 바람직하게는, 세그멘트들이 경신될 필요가 있도록, 제 2 버퍼 메모리(M2) 내에 저장된 이전의 세그멘트를 동시에 재생하는 것을 포함한다. 단계 (c)에서 취출된 세그멘트가 곧 순서대로 독출될 것이다.
이제 재생이 계속되는 한 단계 (a) 내지 단계 (c)를 반복할 수 있다: 다음 세그멘트는 이제 새로운 현재 세그멘트가 되고, 제 2 품질 레벨은 이제 새로운 제 1 품질 레벨이 된다(상기 제 2 품질 레벨을 예측된 바에 따라 강제한 최적 응답 지연을 적용하기 때문임)
다르게 말하면, 단계 (a)가 새롭게 일어나는 것은 플레이어로부터 제 2 품질 레벨에서의 다음 세그멘트에 대한 요청을 수신하는 것으로 이루어진다. 다시 말하건대, 이제 새로운 최적 응답 지연이 추정되고 적용되는 등이 일어난다(요청된 다음 세그멘트를 상기 새로운 최적 응답 지연의 만료 시에 제공하는 것이 플레이어로 하여금 자신의 ABR 로직에 따라서 다음 세그멘트를 주어진 제 3 품질 레벨에서 요청하게 하도록).
제 2 품질 레벨이 제 1 품질 레벨과 다르면, 사용자가 불편을 느끼지 않도록 세그멘트들이 이제 요구된 새로운 품질 레벨에 따라서 P2P 네트워크(10)로부터 로딩될 것이라는 점에 주의한다.
이러한 방법이 단계 (c)의 종료 시에 예측을 검증하기 위한 단계 (d)를 포함할 수 있다는 것에 주의한다. 다르게 말하면, 제 2 품질 레벨에서의 다음 세그멘트에 대한 요청이 플레이어로부터 수신되는 것이 검증된다. 이러한 단계 (d)는 통상적으로, 다음 세그멘트에 대한 요청이 실제로 수신되는 단계 (a)가 다음에 일어날 때에 포함된다. 검증은 예측된 제 2 품질 레벨을 다음 세그멘트에 대해서 실제로 요청된(ABR 로직에 의하여) 품질 레벨과 비교하는 것을 간단하게 수반한다.
예를 들어 플레이어의 ABR 로직이 모르는 사이에 갱신되었기 때문에 검증이 실패하면(즉, 다음 세그멘트가 제 2 품질과 다른 품질에서 요청되면), 모델을 재훈련하는 것, 즉 단계 (a0)를 다시 수행하는 것이 결정될 수 있다. 상기 재훈련이, 예를 들어 주어진 개수의(바람직하게는 연속적인) 오예측이 있는 경우에만(그리고 하나의 오차만이 아님) 트리거링될 수 있다는 것에 주의한다. 상기 재훈련을 트리거링하기 위해서 추가적인 조건이 설정될 수 있는 것이 제외되지 않는다는 것에 주의한다.
모델이 현재의(또는 방금 수신한) 클라이언트 디바이스(11)에 의해 훈련되지 않은 경우에, 새로운 훈련은 클라이언트 디바이스(11) 자체에 의해 실행되거나(그리고 새로운 모델이 전술된 바와 같이 다른 피어로 전파될 수 있음, 또는 피어 및/또는 서버 중 하나에 의한 모델을 새로운 훈련을 트리거링하기 위한 정보가 다른 피어 및/또는 서버(3)로 전송될 수 있고, 그 후에 새로운 모델이 클라이언트 디바이스(11)로 되전송될 수 있다.
디바이스 및 컴퓨터 프로그램 제품
제 2 양태에 따르면, 본 발명은 콘텐츠(클라이언트 디바이스(11, 12)의 피어-투-피어 네트워크(10)에서 스트리밍됨)를, 상기 세그멘트의 품질 레벨을 상기 플레이어의 ABR(Adaptive BitRate) 로직에 따라서, 세그멘트 수신 레이트를 나타내는 적어도 하나의 파라미터의 함수로서 선택하도록 구성되는 디바이스(11)의 플레이어에서 재생하기 위한 전술된 방법을 수행하기 위한 디바이스(11)에 관련된다.
이러한 디바이스(11)는 전술된 바와 같이:
- 세그멘트를 피어-투-피어 네트워크(10) 내에서 전송되도록 적응된 포맷으로 저장하기 위한 제 1 버퍼(M1)(P2P 캐시);
- 바람직하게는, 세그멘트를 플레이어에 의하여 재생되도록 적응된 포맷으로 저장하기 위한 제 2 버퍼(M2)(비디오 버퍼); 및
- 처리 유닛(110)을 포함한다.
통상적으로 프로세서인 처리 유닛(110)은 다음 단계를 구현한다:
(a) 상기 플레이어로부터 제 1 품질 레벨에서의 현재 세그멘트에 대한 요청을 수신하는 단계;
(b) 요청된 현재 세그멘트를 상기 최적 응답 지연의 만료 시에 제공하는 것이, 세그멘트 수신 레이트를 나타내는 측정된 파라미터의 벡터를 상기 플레이어에 의하여 자신의 ABR 로직에 따라서 후속 선택된 대응하는 품질 레벨과 각각 연관시키는 훈련 예들의 데이터베이스로부터 훈련된 모델의 함수로서, 상기 플레이어가 자신의 ABR 로직에 따라서 다음 세그멘트를 상기 제 2 품질 레벨에서 요청하게 하도록, 제 2 품질 레벨에 대하여 최적 응답 지연을 추정하는 단계;
(c) 요청된 현재 세그멘트를 제 1 버퍼 메모리(M1)로부터 상기 추정된 최적 응답 지연의 만료 시에 제공하는 단계(특히 제 2 메모리(M2) 내에 저장됨으로써 플레이어로 단계).
제 3 및 제 4 양태에서, 본 발명은, 본 발명의 제 1 양태에 따른, 클라이언트 디바이스(11)의 플레이어에서 클라이언트 디바이스(11, 12)의 피어-투-피어 네트워크(10)에서 스트리밍되는 콘텐츠를 재생하기 위한 방법을 실행하기 위한(특히 디바이스(11)의 데이터 처리 유닛(110) 에서) 코드 명령을 포함하는 컴퓨터 프로그램 제품 및 이러한 컴퓨터 프로그램 제품이 제공된 컴퓨터 장비(디바이스(11)의 메모리)에 의해 판독가능한 저장 수단에 관한 것이다.
Claims (15)
- 네트워크(1)에서 스트리밍되는 콘텐츠를 클라이언트 디바이스(11)의 플레이어에서 재생하기 위한 방법으로서,
상기 콘텐츠는 복수 개의 품질 레벨에서 이용가능한 세그멘트들의 시퀀스를 포함하고,
상기 플레이어는 상기 세그멘트의 품질 레벨을 상기 플레이어의 ABR(Adaptive BitRate) 로직에 따라서, 세그멘트 수신 레이트를 나타내는 적어도 하나의 파라미터의 함수로서 선택하도록 구성되며,
상기 클라이언트 디바이스(11)는 세그멘트를 네트워크(1) 내에서 전송되도록 적응된 포맷으로 저장하기 위한 제 1 버퍼(M1)를 포함하고,
상기 방법은, 상기 클라이언트 디바이스(11)의 처리 유닛(110)에 의하여,
(a0) 세그멘트 수신 레이트를 나타내는 측정된 파라미터의 벡터를 상기 플레이어에 의하여 자신의 ABR 로직에 따라서 후속 선택된 대응하는 품질 레벨과 각각 연관시키는 훈련 예들의 데이터베이스로부터, 모델을 훈련시키는 단계;
(a) 상기 플레이어로부터 제 1 품질 레벨에서의 현재 세그멘트에 대한 요청을 수신하는 단계;
(b) 요청된 현재 세그멘트를 최적 응답 지연의 만료 시에 제공하는 것이, 세그멘트 수신 레이트를 나타내는 측정된 파라미터의 벡터를 상기 플레이어에 의하여 자신의 ABR 로직에 따라서 후속 선택된 대응하는 품질 레벨과 각각 연관시키는 훈련 예들의 데이터베이스로부터 훈련된 모델의 함수로서, 상기 플레이어가 자신의 ABR 로직에 따라서 다음 세그멘트를 제 2 품질 레벨에서 요청하게 하도록, 제 2 품질 레벨에 대하여 최적 응답 지연을 추정하는 단계; 및
(c) 요청된 현재 세그멘트를 제 1 버퍼 메모리(M1)로부터 상기 추정된 최적 응답 지연의 만료 시에 제공하는 단계를 수행하는 것을 포함하는, 콘텐츠 재생 방법. - 제 1 항에 있어서,
상기 ABR 로직은 세그멘트 수신 레이트를 나타내는 상기 적어도 하나의 파라미터의 제 1 함수에 의하여 규정되고,
상기 모델은 상기 제 1 함수를 근사화하는, 콘텐츠 재생 방법. - 제 1 항 또는 제 2 항에 있어서,
상기 클라이언트 디바이스(11)는, 세그멘트를 상기 플레이어에 의하여 재생되도록 적응된 포맷으로 저장하기 위한 제 2 버퍼(M2)를 더 포함하고,
상기 현재 세그멘트는 단계 (c)에서 상기 제 2 버퍼(M2)로 제공되는, 콘텐츠 재생 방법. - 제 3 항에 있어서,
세그멘트 수신 레이트를 나타내는 상기 파라미터는 상기 제 2 버퍼(M2)의 버퍼 레벨 및/또는 대역폭인, 콘텐츠 재생 방법. - 제 4 항에 있어서,
주어진 세그멘트에 대하여, 세그멘트 수신 레이트를 나타내는 측정된 파라미터의 벡터는 적어도,
- 상기 주어진 세그멘트가 상기 플레이어에 의해 요청되었던 제 2 버퍼(M2)의 버퍼 레벨,
- 세그멘트 크기 및/또는 세그멘트 다운로드 시간 및/또는 세그멘트 비트레이트, 및
- 상기 주어진 세그멘트에 대해 측정된 대역폭을 포함하는, 콘텐츠 재생 방법. - 삭제
- 제 2 항에 있어서,
상기 모델은 모델 파라미터의 벡터에 의하여 파라미터화된 제 1 함수의 선형 회귀이고,
단계 (a0)는 상기 모델 파라미터의 벡터를 정규 최소 제곱(Ordinary Least Square) 기법을 사용하여 결정하는 것을 포함하는, 콘텐츠 재생 방법. - 제 7 항에 있어서,
단계 (a0)는,
세그멘트 수신 레이트를 나타내는 측정된 파라미터의 벡터 모두로부터 훈련 매트릭스를 구축하고, 상기 플레이어에 의하여 자신의 ABR 로직에 따라 후속 선택된 대응하는 품질 레벨 모두로부터 훈련 벡터를 구축하는 것, 및
상기 훈련 매트릭스 및 상기 훈련 벡터에서 표준 방정식(normal equation)을 공식- X는 훈련 매트릭스이고, Y는 훈련 벡터이며,
는 모델 파라미터의 벡터임 - 에 따라 사용함으로써, 상기 모델 파라미터를 결정하는 것을 포함하는, 콘텐츠 재생 방법.
- 제 1 항 또는 제 2 항에 있어서,
단계 (a0)는, ABR 로직의 복수 개의 클래스 각각에 대하여, 상기 클래스에 연관된 모델을 훈련시키는 것을 포함하는, 콘텐츠 재생 방법. - 제 9 항에 있어서,
단계 (a0)는,
복수 개의 훈련된 모델을 검증하는 것, 및
이들 중 하나를 상기 플레이어의 ABR 로직을 적합하게 예측하는 모델로서 선택하는 것을 포함하는, 콘텐츠 재생 방법. - 제 1 항 또는 제 2 항에 있어서,
상기 방법은,
제 2 품질 레벨에서 다음 세그멘트에 대한 요청이 상기 플레이어로부터 수신되는 것을 검증하는 추가 단계 (d)를 포함하는, 콘텐츠 재생 방법. - 제 11 항에 있어서,
단계 (d)는,
제 2 품질 레벨에서 다음 세그멘트에 대한 요청이 상기 플레이어로부터 수신되는 것이 주어진 횟수동안 검증되지 않으면, 훈련 예들의 상기 데이터베이스로부터의 상기 모델의 새로운 훈련을 트리거링하는 것을 포함하는, 콘텐츠 재생 방법. - 네트워크(1)에서 스트리밍되는 콘텐츠를 플레이어에서 재생하기 위한 디바이스로서,
상기 콘텐츠는 복수 개의 품질 레벨에서 이용가능한 세그멘트들의 시퀀스를 포함하고,
상기 플레이어는 상기 세그멘트의 품질 레벨을 상기 플레이어의 ABR(Adaptive BitRate) 로직에 따라서, 세그멘트 수신 레이트를 나타내는 적어도 하나의 파라미터의 함수로서 선택하도록 구성되며,
클라이언트 디바이스(11)는 세그멘트를 네트워크(1) 내에서 전송되도록 적응된 포맷으로 저장하기 위한 제 1 버퍼(M1)를 포함하고,
상기 클라이언트 디바이스(11)는,
(a0) 세그멘트 수신 레이트를 나타내는 측정된 파라미터의 벡터를 상기 플레이어에 의하여 자신의 ABR 로직에 따라서 후속 선택된 대응하는 품질 레벨과 각각 연관시키는 훈련 예들의 데이터베이스로부터, 모델을 훈련시키는 것;
(a) 상기 플레이어로부터 제 1 품질 레벨에서의 현재 세그멘트에 대한 요청을 수신하는 것;
(b) 요청된 현재 세그멘트를 최적 응답 지연의 만료 시에 제공하는 것이, 세그멘트 수신 레이트를 나타내는 측정된 파라미터의 벡터를 상기 플레이어에 의하여 자신의 ABR 로직에 따라서 후속 선택된 대응하는 품질 레벨과 각각 연관시키는 훈련 예들의 데이터베이스로부터 훈련된 모델의 함수로서, 상기 플레이어가 자신의 ABR 로직에 따라서 다음 세그멘트를 제 2 품질 레벨에서 요청하게 하도록, 제 2 품질 레벨에 대하여 최적 응답 지연을 추정하는 것; 및
(c) 요청된 현재 세그멘트를 제 1 버퍼 메모리(M1)로부터 상기 추정된 최적 응답 지연의 만료 시에 제공하는 것을 구현하는 처리 유닛(110)을 포함하는, 콘텐츠 재생 디바이스. - 프로그램이 컴퓨터에서 실행될 때, 네트워크(1)에서 스트리밍되는 콘텐츠를 클라이언트 디바이스(11)의 플레이어에서 재생하기 위하여, 제 1 항 또는 제 2 항에 따른 방법을 실행하기 위한 코드 명령을 포함하는, 컴퓨터로 판독가능한 기록 매체에 저장된 컴퓨터 프로그램.
- 네트워크(1)에서 스트리밍되는 콘텐츠를 클라이언트 디바이스(11)의 플레이어에서 재생하기 위하여, 제 1 항 또는 제 2 항에 따른 방법을 실행하기 위한 코드 명령을 포함하는 컴퓨터 프로그램 제품이 저장된 컴퓨터-독출가능 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP20305202.2A EP3873097A1 (en) | 2020-02-28 | 2020-02-28 | Method for playing on a player of a client device a content streamed in a network |
| EP20305202.2 | 2020-02-28 | ||
| PCT/EP2021/054477 WO2021170594A1 (en) | 2020-02-28 | 2021-02-23 | Method for playing on a player of a client device a content streamed in a network |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220130837A KR20220130837A (ko) | 2022-09-27 |
| KR102521753B1 true KR102521753B1 (ko) | 2023-04-13 |
Family
ID=69845298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227032265A KR102521753B1 (ko) | 2020-02-28 | 2021-02-23 | 네트워크에서 스트리밍되는 콘텐츠를 클라이언트 디바이스의 플레이어에서 재생하기 위한 방법 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US11426655B2 (ko) |
| EP (1) | EP3873097A1 (ko) |
| JP (1) | JP2023515003A (ko) |
| KR (1) | KR102521753B1 (ko) |
| AU (1) | AU2021225331B9 (ko) |
| CA (1) | CA3168479C (ko) |
| WO (1) | WO2021170594A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3873097A1 (en) | 2020-02-28 | 2021-09-01 | Streamroot | Method for playing on a player of a client device a content streamed in a network |
| CN116635397A (zh) * | 2020-11-19 | 2023-08-22 | F.I.S.-菲博利佳意大利合成面料股份公司 | 改进的制备群勃龙和/或醋酸群勃龙的方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140281006A1 (en) | 2013-03-15 | 2014-09-18 | DISH Digital L.L.C. | Placeshifting of adaptive media streams |
| US20180035147A1 (en) | 2016-07-28 | 2018-02-01 | Cisco Technology, Inc. | Predictive Media Distribution System |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8375140B2 (en) | 2008-12-04 | 2013-02-12 | Google Inc. | Adaptive playback rate with look-ahead |
| CA2828489C (en) | 2011-02-28 | 2019-09-24 | Bittorrent, Inc. | Sharing content according to a protocol for peer-to-peer live streaming |
| CA2949380C (en) | 2014-06-30 | 2019-11-19 | Echostar Technologies Llc | Adaptive data segment delivery arbitration for bandwidth optimization |
| US10271112B2 (en) | 2015-03-26 | 2019-04-23 | Carnegie Mellon University | System and method for dynamic adaptive video streaming using model predictive control |
| FR3034943B1 (fr) * | 2015-04-07 | 2017-04-14 | Streamroot Inc | Procede de lecture en continu sur un equipement client d'un contenu diffuse au sein d'un reseau pair a pair |
| JP5973616B1 (ja) * | 2015-04-15 | 2016-08-23 | 西日本電信電話株式会社 | 受信端末及びその映像取得方法 |
| JP6609468B2 (ja) * | 2015-12-07 | 2019-11-20 | 日本放送協会 | 受信装置、再生時刻制御方法、及びプログラム |
| GB2548789B (en) * | 2016-02-15 | 2021-10-13 | V Nova Int Ltd | Dynamically adaptive bitrate streaming |
| US10179290B2 (en) * | 2016-07-21 | 2019-01-15 | Sony Interactive Entertainment America Llc | Method and system for accessing previously stored game play via video recording as executed on a game cloud system |
| US10187681B2 (en) * | 2016-12-01 | 2019-01-22 | The Directv Group, Inc. | Enhanced streaming source change |
| US10728305B2 (en) * | 2018-07-24 | 2020-07-28 | At&T Intellectual Property I, L.P. | Adaptive bitrate streaming techniques |
| FR3094597B1 (fr) | 2019-03-27 | 2021-06-11 | Streamroot | Procédé de diffusion de contenus en streaming dans un réseau pair à pair |
| EP3873097A1 (en) | 2020-02-28 | 2021-09-01 | Streamroot | Method for playing on a player of a client device a content streamed in a network |
-
2020
- 2020-02-28 EP EP20305202.2A patent/EP3873097A1/en active Pending
- 2020-07-27 US US16/939,580 patent/US11426655B2/en active Active
-
2021
- 2021-02-23 WO PCT/EP2021/054477 patent/WO2021170594A1/en active Application Filing
- 2021-02-23 KR KR1020227032265A patent/KR102521753B1/ko active IP Right Grant
- 2021-02-23 CA CA3168479A patent/CA3168479C/en active Active
- 2021-02-23 AU AU2021225331A patent/AU2021225331B9/en not_active Expired - Fee Related
- 2021-02-23 JP JP2022549062A patent/JP2023515003A/ja active Pending
-
2022
- 2022-08-25 US US17/895,663 patent/US11925862B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140281006A1 (en) | 2013-03-15 | 2014-09-18 | DISH Digital L.L.C. | Placeshifting of adaptive media streams |
| US20180035147A1 (en) | 2016-07-28 | 2018-02-01 | Cisco Technology, Inc. | Predictive Media Distribution System |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023515003A (ja) | 2023-04-12 |
| US11426655B2 (en) | 2022-08-30 |
| AU2021225331B2 (en) | 2022-12-22 |
| US20210268375A1 (en) | 2021-09-02 |
| AU2021225331B9 (en) | 2023-01-19 |
| CA3168479A1 (en) | 2021-09-02 |
| AU2021225331A1 (en) | 2022-09-22 |
| CA3168479C (en) | 2023-09-19 |
| EP3873097A1 (en) | 2021-09-01 |
| WO2021170594A1 (en) | 2021-09-02 |
| KR20220130837A (ko) | 2022-09-27 |
| US20220401836A1 (en) | 2022-12-22 |
| US11925862B2 (en) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102472155B1 (ko) | 피어 투 피어(Peer to peer, P2P) 네트워크에서 스트리밍 콘텐츠를 방송하는 방법 | |
| CN110198495B (zh) | 一种视频下载和播放的方法、装置、设备和存储介质 | |
| US12108115B2 (en) | Method for playing on a player of a client device a content streamed in a network | |
| US11925862B2 (en) | Method for playing on a player of a client device a content streamed in a network | |
| CN110022498B (zh) | 一种实现码率切换的方法及装置 | |
| US20220191260A1 (en) | Method for playing on a player of a client device a content streamed in a network | |
| WO2016185998A1 (ja) | Ａｂｒ配信方式のコンテンツ配信の配信制御装置および配信制御方法 | |
| US20220337897A1 (en) | Method for playing on a player of a client device a content streamed in a network | |
| US11637881B2 (en) | Method for playing on a player of a client device a content streamed in a network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |