KR20220024655A - 콘텐츠 전달을 위한 레이턴시 관리 - Google Patents

콘텐츠 전달을 위한 레이턴시 관리 Download PDF

Info

Publication number
KR20220024655A
KR20220024655A KR1020227001672A KR20227001672A KR20220024655A KR 20220024655 A KR20220024655 A KR 20220024655A KR 1020227001672 A KR1020227001672 A KR 1020227001672A KR 20227001672 A KR20227001672 A KR 20227001672A KR 20220024655 A KR20220024655 A KR 20220024655A
Authority
KR
South Korea
Prior art keywords
media program
playback
media
latency
program
Prior art date
Application number
KR1020227001672A
Other languages
English (en)
Inventor
마틴 볼터스
커트 크라우스
Original Assignee
돌비 인터네셔널 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 인터네셔널 에이비 filed Critical 돌비 인터네셔널 에이비
Publication of KR20220024655A publication Critical patent/KR20220024655A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/2625—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for delaying content or additional data distribution, e.g. because of an extended sport event
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 문서는 전달 채널을 통한 미디어 콘텐츠의 재생을 위한 방법을 개시한다. 전달 채널은 일반적으로 오디오 또는 비디오 프로그램을 사용자(수신기)에게 전달(송신)하는 채널을 지칭할 수 있다. 미디어 콘텐츠는 일반적으로 연속적인 미디어 프로그램을 포함할 수 있다. 특히, 미디어 콘텐츠 내의 특정 미디어 프로그램에 대해, 그러한 특정 미디어 프로그램에 대한 각각의 콘텐츠 타입이 또한 제공된다. 방법은 재생 레이턴시에 대한 미디어 프로그램의 민감도의 표시를 수신하는 것을 포함할 수 있다. 방법은 미디어 프로그램의 적어도 일부를 수신하는 것을 더 포함할 수 있다. 방법은 재생 레이턴시에 대한 미디어 프로그램의 민감도의 표시에 기초하여 미디어 프로그램의 재생을 적응시키는 것을 더 포함할 수 있다.

Description

콘텐츠 전달을 위한 레이턴시 관리
관련 출원에 대한 상호 참조
본 출원은 다음의 우선권 출원: 2019년 7월 17일자로 출원된 미국 가출원 제62/875,063호(참조: D18140USP1) 및 2019년 7월 17일자로 출원된 EP 출원 제19186801.7호(참조: D18140EP)의 우선권을 주장하며, 이에 따라 이들 출원은 본 명세서에 참조로 통합된다.
기술 분야
본 문서는 콘텐츠 전달을 위한 레이턴시 관리에 관한 것이다. 특히, 본 문서는 전통적인 "24/7" 브로드캐스트 채널(또는 연속적인 프로그램을 갖는 임의의 채널) 및 IP 네트워크를 통한 그것의 전달에 관한 것이다.
일반적으로, 전통적인 "24/7" 브로드캐스트 채널은 통상적으로 뉴스, 영화, 광고, 에피소드, (라이브) 게임 쇼, 라이브 스포츠 등과 같은 연속 프로그램으로 구성된다. 일반적으로, 그러한 브로드캐스트 채널에서, 올바른 프로그램을 올바른 시간에 전송하는 것은 특정 (프로그램) 스케줄러를 통해 자동화된다.
IP 네트워크를 통한 A/V 콘텐츠(들)의 전달의 많은 과제 중 하나는 레이턴시이다. 일반적으로, 소비자는 라이브 브로드캐스트(예를 들어, 스포츠, 라이브 게임 쇼 등)의 낮은 전달 레이턴시에 가치를 둔다. 그러나, IP 네트워크를 통해 낮은 레이턴시를 달성하는 것은 일반적으로 항상 가능하지는 않으며, 통상적으로 오퍼레이터에 대해 (비트레이트) 비용을 초래한다. 또한, 낮은 레이턴시 스트리밍은 통상적으로 재생 디바이스에서 더 작은 버퍼가 사용됨을 의미하기 때문에, 낮은 레이턴시 스트리밍은 높은 레이턴시 스트리밍에 비해 (예를 들어, 네트워크 접속의 지터(jitter)에 의해 야기되는) 버퍼 언더런(underrun)을 겪을 가능성이 더 크다는 것이 잘 알려져 있다.
오늘날, 레이턴시는 일반적으로 스트림과 연관되고, 주어진 스트림에 대해 시간(적어도 기간)에 걸쳐 일정한 것으로 간주된다. 그러나, 브로드캐스트 채널 상의 (라이브 스포츠와 같은) 소수의 프로그램만이 레이턴시에 민감한 반면, (영화와 같은) 다른 프로그램은 레이턴시에 민감하지 않다.
따라서, 주로 (라이브 스포츠와 같은) 낮은 레이턴시를 필요로 하는 프로그램에 대해 낮은 레이턴시 스트리밍이 필요하며, 프로그램이 (영화와 같이) 레이턴시에 민감하지 않을 때 더 높은 레이턴시로 전환하는 것이 가능하다.
상기 문제점(및 사용 사례) 중 일부 또는 전부를 고려하여, 본 개시는 각각의 독립 청구항의 특징을 갖는, 전달 채널을 통한 미디어 콘텐츠의 재생을 위한 방법 및 디바이스, 및 전달 채널을 통한 미디어 콘텐츠의 전달을 위한 시스템을 제안한다.
광범위한 양태로서, 본 개시는 전달 채널을 통한 미디어 콘텐츠의 재생을 위한 방법을 제공한다. 전달 채널은 일반적으로 오디오 또는 비디오 프로그램을, 예를 들어 브로드캐스트, 멀티캐스트 또는 유니캐스트 방식으로 사용자(수신기)에게 전달(송신)하는 채널을 지칭할 수 있다. 예를 들어, 그러한 전달 채널은 (전통적인) "24/7" 브로드캐스트 채널일 수 있다. 미디어 콘텐츠는 일반적으로 뉴스, 영화, 광고, 에피소드, (라이브) 게임 쇼, 라이브 스포츠 등과 같은 연속적인 미디어 프로그램을 포함할 수 있다. 특히, 미디어 콘텐츠 내의 특정 미디어 프로그램에 대해, 그러한 특정 미디어 프로그램에 대한 각각의 콘텐츠 타입이 또한 미디어 콘텐츠와 함께 제공된다. 통상의 기술자에 의해 이해되고 인식되는 바와 같이, 콘텐츠 타입은 임의의 적합한 방식으로 표현되고 전달될 수 있다. 예를 들어, 콘텐츠 타입은 미디어 프로그램의 비트스트림의 헤더 내의 또는 프로그램을 수반하는 메타데이터 내의 특정 또는 추가 필드를 사용하여 표현되거나 표시될 수 있다. 다른 예로서, 콘텐츠 타입은 룩업 테이블(lookup table)을 사용하여 표시될 수 있다. 유사하게, 콘텐츠 타입은 미디어 프로그램의 전달과 함께 실시간으로 전달(송신)될 수 있거나 미디어 프로그램의 전달 전에 공유될 수 있다. 미디어 콘텐츠는 미디어 스트림에서 운반되고 통신 네트워크, 예를 들어 인터넷 프로토콜 기반 네트워크를 통해 콘텐츠 전달 서버로부터 사용자 디바이스로 전달될 수 있다.
특히, 방법은 (예를 들어, 사용자 디바이스, 수신기 또는 재생 디바이스에서) 재생 레이턴시(미디어 프로그램에 대한 타겟 레이턴시라고도 함)에 대한 미디어 프로그램의 민감도의 표시(indication)를 수신하는 것(단계)을 포함할 수 있다. 구체적으로, 재생 레이턴시에 대한 미디어 프로그램의 민감도는 미디어 프로그램의 콘텐츠 타입과 연관된다. 즉, 재생 레이턴시에 대한 미디어 프로그램의 민감도는 미디어 프로그램의 콘텐츠 타입에 기초하여 설정된다. 그러나, 원하는 재생 레이턴시에 영향을 미치는 다른 인자가 존재할 수 있다. 예를 들어, 라이브 스포츠는 일반적으로 낮은 레이턴시를 선호할 수 있지만, 서비스 오퍼레이터는 낮은 레이턴시가 매우 중요한 스포츠 프로그램(주요 이벤트의 최종 경기)과 덜 중요한 게임에 대해 중요하지 않은 스포츠 프로그램을 구별하기를 원할 수 있다. 따라서, 재생 레이턴시에 대한 미디어 프로그램의 민감도의 표시에 기초하여 미디어 프로그램의 재생을 적응시키는 것(adapting)은 타겟 재생 레이턴시를 결정하기 위해 다른 인자가 고려되는 것도 배제하지 않아야 한다.
방법은 미디어 프로그램의 적어도 일부를 수신하는 것을 추가로 포함할 수 있다. 통상의 기술자에 의해 이해되고 인식되는 바와 같이, 미디어 프로그램의 일부는 일반적으로, 예를 들어, 미디어 프로그램의 표현 및/또는 전달 방법/메커니즘에 의존하는 미디어 프로그램의 특정 수의 프레임(픽처, 데이터의 청크 등)을 지칭한다. 방법은 또한 미디어 프로그램의 재생을 재생 레이턴시에 대한 그의 민감도의 표시에 기초하여 적응시키는 것을 추가로 포함할 수 있다.
일부 예에서, 재생 레이턴시에 대한 미디어 프로그램의 민감도의 다른 표시가 수신되고, 동일한 미디어 프로그램의 재생이 수신된 표시에 기초하여 점진적으로 적응된다. 이것은 복수의 타겟 레이턴시가 재생 디바이스에 순차적으로 제공되도록 여러 번 반복될 수 있다. 민감도의 다수의 표시를 이용하는 것은, 예를 들어, 프로그램 사이의 타겟 레이턴시의 점프로 인해 드롭아웃(dropout)을 야기하거나 사용자 경험에 다른 해로운 영향을 미칠 수 있는 전이로서 후속 또는 다른 프로그램으로의 전이 전에 재생 특성을 점진적으로 관리하기 위해 사용될 수 있다. 따라서, 단일 표시에 기초하는 타겟 레이턴시의 단일 점프에 더하여, 특정 기간에 걸친 미디어 프로그램의 재생의 적응이 제안된다. 이것은 서버 측에서 타겟 레이턴시를 점진적으로(다수의 단계에서) 변경할 수 있고, 따라서 재생 레이턴시 표시의 수신된 시퀀스에 의해 수신기(디코더) 측에서 적응 속도를 원격으로 제어하는 것을 가능하게 한다.
일부 예에서, 미디어 프로그램의 재생의 적응은, 예를 들어, 수신기 또는 재생 디바이스에서 미디어 프로그램의 버퍼링을 적응시키는 것을 포함할 수 있다. 특히, 미디어 프로그램의 재생을 적응시키는 단계는 미디어 프로그램 데이터가 재생되기 전에 (재생 디바이스에서) 버퍼링되는 미디어 프로그램 데이터의 양을 적응시키는 것을 포함할 수 있다. 통상의 기술자에 의해 인식되는 바와 같이, (재생 디바이스에서의) 버퍼링 메커니즘은 애플리케이션 레벨에서, 시스템 레벨에서, 또는 임의의 다른 적합한 방식으로 구현될 수 있다. 재생 레이턴시에 대한 미디어 프로그램의 민감도의 변화에 대한 다수의 증분 표시는 예를 들어 프로그램 사이의 타겟 레이턴시의 점프로 인해 드롭아웃을 야기하거나 사용자 경험에 다른 해로운 영향을 미칠 수 있는 전이로서 후속 또는 다른 프로그램으로의 전이 전에 수신기 버퍼 레벨을 점진적으로 관리하기 위해 적용될 수 있다.
일부 예에서, 재생 레이턴시에 대한 미디어 프로그램의 민감도의 표시는 미디어 프로그램 데이터가 재생되기 전에 허용 가능한 레이턴시의 정성적 표시 또는 정량적 표시를 포함할 수 있다. 예로서, 레이턴시의 정성적 표시는 사용자에 대한 레이턴시에 대한 재생 미디어 프로그램의 민감도, 예를 들어, 프로그램 뷰어(들)에게 더 긴 레이턴시가 눈에 띄는지 그리고/또는 짧은 레이턴시가 눈에 띄는 아티팩트(들)(예를 들어, 지터, 프레임 드롭 등)를 야기하는지와 관련될 수 있다. 일부 경우에서, 이러한 정성적 표시는 간단히 "높음", "중간" 또는 "낮음"으로서 표현될 수 있다. 한편, 레이턴시의 정량적 표시는 예를 들어 허용 가능한 최대 또는 타겟 레이턴시(예를 들어, 5 초)일 수 있다.
일부 예에서, 미디어 프로그램의 재생의 적응은 미디어 프로그램에 대한 재생 속도를 적응시키는 것을 포함할 수 있다. 일부 경우에서, 미디어 프로그램의 재생 속도는 예를 들어 초당 프레임의 수(fps)로서 표현될 수 있다. 예를 들어, 프로그램을 재생하는 정상 속도가 20 fps인 경우, 재생의 속도를 배가시키는 것은 프로그램이 40 fps로 재생된다는 것을 의미할 것이다.
일부 예에서, 미디어 프로그램의 재생은 수신된 미디어 프로그램의 콘텐츠를 수정하는 것을 포함할 수 있다. 특히, 재생 레이턴시에 대한 미디어 프로그램의 민감도의 표시가 전달 채널의 이전 또는 후속 미디어 프로그램에 대해 변경되는 경우, 수신된 미디어 프로그램의 콘텐츠가 수정될 수 있다. 일반적으로, 일부 경우에서, 이것은 재생 디바이스(예를 들어, 재생 디바이스의 애플리케이션)가 예를 들어 따라잡기 위해 미디어 프로그램의 일부 또는 완전한 세그먼트(프레임)를 스킵할 수 있다는 것을 의미한다. 일부 다른 경우에서, 재생 디바이스(예를 들어, 재생 디바이스의 애플리케이션)는 속도를 늦추기 위해, 예를 들어 약간의 "무음" 또는 반복적인 세그먼트 또는 프레임을 삽입할 필요가 있을 수 있다. 그러한 변경은 통상적으로 시청자의 눈에 띄고, 따라서 일부 경우/시나리오에서는 덜 바람직한 것으로 간주될 수 있다.
일부 예에서, (예를 들어, 프레임 또는 세그먼트에 관하여) 추가적인 콘텐츠가 현재 미디어 프로그램에 삽입될 수 있다. 특히, 현재 미디어 프로그램이 이전 미디어 프로그램에 비해 더 큰 레이턴시를 허용하거나 후속 미디어 프로그램이 현재 미디어 프로그램에 비해 더 큰 레이턴시를 허용하는 경우, 추가적인 콘텐츠(들)의 삽입이 수행될 수 있다. 일부 경우에서, 이는 재생 디바이스에서의 버퍼 크기가 확대되어야 하고 버퍼가 적절히 채워질 수 있음을 의미할 수 있다.
일부 다른 예에서, (예를 들어, 프레임 또는 세그먼트에 관하여) 콘텐츠는 현재 미디어 프로그램에서 스킵될 수 있다. 특히, 콘텐츠(들)의 스킵은 현재 미디어 프로그램이 이전 미디어 프로그램에 비해 더 작은 레이턴시를 요구하거나 후속 미디어 프로그램이 현재 미디어 프로그램에 비해 더 작은 레이턴시를 요구하는 경우에 수행될 수 있다. 일부 경우에서, 이는 재생 디바이스에서의 버퍼 크기가 감소되어야 하고 버퍼가 적절히 비워질 수 있음을 의미할 수 있다.
일부 예에서, 미디어 프로그램은 복수의 연속적인 세그먼트를 포함하는 것으로 간주될 수 있다. 세그먼트화는 예를 들어, 미디어 프로그램을 수신기에 송신하기 위해 적용되는 전송 모드 또는 전송 포맷에 의존할 수 있다. 즉, 이 경우, 미디어 플레이어의 내부 처리는 세그먼트와 관련하여 조직화될 수 있다. 대응적으로, 미디어 프로그램의 재생의 적응은 미디어 프로그램 데이터가 재생되기 전에 버퍼링된 세그먼트의 수를 적응시키는 것을 포함할 수 있다. 선택적으로, 미디어 프로그램의 적어도 하나의 세그먼트는 위에서 예시된 바와 같이, 필요한 경우 스킵되거나 반복될 수 있다.
일부 예에서, 미디어 프로그램의 재생의 적응은 미디어 프로그램에 대한 (예를 들어, 재생 디바이스에서의 미디어 플레이어의) 재생 모드를 전환하는 것을 포함할 수 있다. 통상의 기술자에 의해 이해되고 인식되는 바와 같이, 재생 모드는 예를 들어 미디어 플레이어가 미디어 프로그램을 출력하는 상이한 방식과 관련될 수 있다. 예를 들어, 하나의 재생 모드에서, 미디어 플레이어는 전체 (전송 포맷) 세그먼트가 수신될 때까지 미디어 프로그램을 처리하거나 출력하는 것을 대기하는 반면, 다른 재생 모드에서, 미디어 플레이어는 디코딩을 위해 충분한 미디어 데이터를 수신하자마자 재생한다. 따라서, 낮은 타겟 레이턴시에 대한 표시를 수신할 때, 재생 모드는 낮은 레이턴시 요건에 대응하는 모드로, 예를 들어, 전체 세그먼트의 수신을 대기하지 않고 가능한 한 빨리 미디어 데이터를 출력하는 것으로 전환될 수 있다.
일부 예에서, 재생 레이턴시에 대한 미디어 프로그램의 민감도의 표시는 미디어 프로그램과 연관된 대역외 메타데이터에서 운반될 수 있다. 이러한 메타데이터는, 예를 들어, ISO IEC 23009-1에 따른 미디어 프로그램 디스크립션(MPD) 또는 통상의 기술자에 의해 인식되는 바와 같은 임의의 다른 적절한 메타데이터에서 운반될 수 있다. 메타데이터는 많은 상이한 방식으로, 예를 들어, 재생 디바이스의 시작 시에, 전달 채널로 전환할 때, 미디어 스트림에 처음 액세스할 때, 그리고/또는 전달 채널 내의 새로운 미디어 프로그램의 시작 시에 판독되는 구성 파일로서 재생 디바이스에 제공될 수 있다. 이러한 목적을 위해, 재생 디바이스는 구성 파일을 또는 통신 네트워크를 통해 재생 디바이스에 대해 액세스 가능한 구성 파일에 대한 링크를 제공받을 수 있다.
일부 예에서, 재생 레이턴시에 대한 미디어 프로그램의 민감도의 표시는 전달 채널을 통한 전달을 위해 연속적인 미디어 프로그램에 대한 (프로그램) 스케줄러에 의해 생성될 수 있다. (프로그램) 스케줄러는 콘텐츠 전달 시스템의 네트워크 측에(예를 들어, 브로드캐스터 또는 오퍼레이터 측에, 또는 독립형 엔티티로서) 상주할 수 있다. 선택적으로, 스케줄러는 또한 민감도의 표시를 임의의 적합한 방식을 통해 미디어 프로그램의 메타데이터에 추가/삽입하는 것을 담당할 수 있다. 그러나, 다른 적합한 엔티티(기능 블록), 예를 들어 더 상류에 위치하는 네트워크 엔티티가 미디어 프로그램의 메타데이터에 민감도의 표시를 추가하기 위해 사용될 수 있다. 임의의 경우에, 후속 단계 또는 엔티티(특히 다중화 및 세그먼트화 단계)가 또한 이 메타데이터를 (명시적으로) 지원해야 한다.
일부 예에서, 방법은, 인코더 측에서, 미디어 프로그램에 대한 인코딩 모드를 적응시키는 것을 더 포함할 수 있다. 통상의 기술자에 의해 이해되고 인식되는 바와 같이, 인코딩 모드를 적응시키는 것은, 예를 들어, 레이턴시 임계 콘텐츠에 대해서는 감소된 프레임 크기로 콘텐츠를 인코딩하고, 레이턴시에 민감하지 않은 콘텐츠에 대해서는 더 긴 프레임 지속기간으로 다시 전환하는 것을 의미할 수 있다. 특히, 인코딩 모드는 재생 레이턴시에 대한 미디어 프로그램의 민감도에 따라 적응될 수 있다.
일부 예에서, 재생 레이턴시에 대한 미디어 프로그램의 민감도의 변화의 표시는 대역내 이벤트를 통해 시그널링될 수 있다. 예를 들어, 이러한 대역내 이벤트는 ISO IEC 23009-1에 따라 정의될 수 있다. 이어서, 재생 레이턴시에 대한 미디어 프로그램의 민감도의 변화를 시그널링하는 대역내 이벤트의 수신은 재생 디바이스로 하여금 미디어 프로그램에 대한 메타데이터(예를 들어, MPD)를 재판독하게 하고 본 개시에서 제안된 바와 같이 미디어 프로그램과 연관된 미디어 스트림의 내부 처리를 재구성하게 할 수 있다.
일부 예에서, 재생 레이턴시에 대한 미디어 프로그램의 민감도는 특정 미디어 프로그램의 시작에 앞서(시작 전에) 시그널링될 수 있다. 그러한 경우에, 재생 디바이스(예를 들어, 재생 디바이스의 플레이어)가 사전에 준비(예를 들어, 버퍼의 준비, 재생 모드의 적응 등)를 미리 시작할 수 있는 것이 가능하여, (상이한 레이턴시의) 미디어 프로그램의 끊김 없는 시청 경험을 즐길 수 있다.
일부 예에서, 미디어 프로그램의 재생의 적응은 미디어 프로그램의 시작에 비동기적일 수 있다. 예를 들어, 재생 디바이스의 플레이어 애플리케이션은 레이턴시 민감 프로그램이 시작되기 전에 또는 후에, 즉 미디어 프로그램의 시작에 관계없이 비동기(또는 단지 느슨하게 동기화된) 방식으로 더 낮은 레이턴시로 전환할 수 있다. 선택적으로, 미디어 프로그램의 재생의 적응은 또한 이전 미디어 프로그램의 재생을 적응시키는 것을 포함할 수 있다.
다른 광범위한 양태로서, 전달 채널을 통한 미디어 콘텐츠의 재생을 위한 디바이스가 제공된다. 전달 채널은 일반적으로 오디오 또는 비디오 프로그램을, 예를 들어 브로드캐스트 또는 멀티캐스트 방식으로 사용자(수신기)에게 전달(송신)하는 채널을 지칭할 수 있다. 예를 들어, 그러한 전달 채널은 (전통적인) "24/7" 브로드캐스트 채널일 수 있다. 미디어 콘텐츠는 일반적으로 뉴스, 영화, 광고, 에피소드, (라이브) 게임 쇼, 라이브 스포츠 등과 같은 연속 미디어 프로그램을 포함할 수 있다. 특히, 미디어 콘텐츠 내의 특정 미디어 프로그램에 대해, 그러한 특정 미디어 프로그램에 대한 각각의 콘텐츠 타입이 또한 제공된다. 통상의 기술자에 의해 이해되고 인식되는 바와 같이, 콘텐츠 타입은 임의의 적절한 방식으로 표현되고 전달될 수 있다. 예를 들어, 콘텐츠 타입은 미디어 프로그램의 헤더 내의 특정 또는 추가 필드를 이용하여 표현되거나 표시될 수 있다. 다른 예로서, 콘텐츠 타입은 룩업 테이블을 이용하여 표시될 수 있다. 유사하게, 콘텐츠 타입은 미디어 프로그램의 전달과 함께 실시간으로 전달(송신)될 수 있거나, 미디어 프로그램의 전달 전에 공유될 수 있다. 일반적으로, 디바이스는 임의의 이전 방법 단계를 수행하도록 구성될 수 있다.
특히, 디바이스는 재생 레이턴시에 대한 미디어 프로그램의 민감도의 표시를 수신하기 위한 수신기를 포함할 수 있다. 더 구체적으로는, 재생 레이턴시에 대한 미디어 프로그램의 민감도는 미디어 프로그램의 콘텐츠 타입과 연관될 수 있다. 디바이스는 미디어 스트림을 통해 미디어 프로그램의 적어도 일부를 수신하기 위한 수신기를 더 포함할 수 있다. 미디어 프로그램의 일부는 일반적으로, 예를 들어 미디어 프로그램의 표현 및/또는 전달에 의존하는 미디어 프로그램의 특정 수의 프레임(픽처, 데이터의 청크 등)을 지칭한다. 통상의 기술자에 의해 인식되는 바와 같이, 미디어 프로그램의 민감도의 표시를 수신하기 위한 수신기 및 미디어 프로그램을 수신하기 위한 수신기는, 예를 들어, 단일 비트스트림에 패키징되는 두 타입의 정보(즉, 민감도의 표시 및 미디어 프로그램)를 수신 및 구별할 수 있는 하나의 단일 물리적 수신기로서 구현될 수 있다. 다시 말해서, 미디어 프로그램의 민감도의 표시를 수신하기 위한 수신기 및 미디어 프로그램을 수신하기 위한 수신기는 논리적으로 분리될 수 있지만, 반드시 물리적으로 분리될 필요는 없다. 두 타입의 정보는 단일 물리적 수신기에서 수신될 수 있다. 예를 들어, 단지 하나의 물리적 수신기가 미디어 프로그램의 민감도의 표시 및 미디어 프로그램 둘 다를 수신하는 역할을 할 수 있다. 그러한 경우에서, 디바이스는 동일한 물리적 수신기에서 수신될 수 있는 상이한 입력 신호를 분리하기 위한 적합한 메커니즘을 포함할 수 있다. 일부 예에서, 수신기는 인터넷 프로토콜(IP) 기반 통신 네트워크를 통해 정보를 수신하도록 배열된다. 상이한 물리적 계층(무선 또는 유선, 구리, 섬유) 및 애플리케이션 프로토콜(UDP, TCP, http 등)이 재생 레이턴시에 대한 미디어 프로그램의 민감도를 운반하는 메타데이터 및/또는 미디어 스트림의 전달을 위해 사용될 수 있다. 통신 네트워크는 때때로 콘텐츠 전달 네트워크라고도 한다.
디바이스는 미디어 콘텐츠를 재생하기 위한 재생 유닛을 더 포함할 수 있다. 재생 유닛은 예를 들어 미디어 콘텐츠의 재생을 위해 소정의 적합한 애플리케이션을 호출할 수 있다. 디바이스는 또한 미디어 프로그램의 재생을 재생 레이턴시에 대한 그의 민감도의 수신된 표시에 기초하여 적응시키기 위한 제어기를 더 포함할 수 있다.
일부 예에서, 디바이스의 재생 유닛(예를 들어, 미디어 플레이어)은 미디어 프로그램의 수신된 세그먼트에 대한 버퍼를 포함할 수 있다. 한편, 일부 경우에 버퍼는 예를 들어 운영 체제에 의해 제공되고, 이어서 재생 유닛은 임의의 적절한 방식을 이용하여 그 버퍼에 액세스하고 이용하도록 구성될 수 있는 것도 가능하다. 버퍼는 예를 들어 메모리(저장) 블록으로서 또는 통상의 기술자에 의해 인식되는 바와 같이 임의의 다른 적절한 방식으로 구현될 수 있다. 또한, 제어기는 재생 레이턴시에 대한 민감도의 표시에 기초하여 프로그램 데이터가 재생되기 전에 버퍼링된 프로그램 데이터의 양을 적응시키도록 구성될 수 있다.
일부 예에서, 디바이스는 추가 미디어 콘텐츠를 삽입하거나 미디어 콘텐츠를 제거하기 위해, 수신된 미디어 프로그램의 콘텐츠를 적응시키도록 구성된 미디어 콘텐츠 수정기를 더 포함할 수 있다. 일부 경우에서, 미디어 콘텐츠 수정기는 현재 미디어 프로그램에 (예를 들어, 프레임 또는 세그먼트에 관하여) 추가 콘텐츠를 삽입/추가하도록 구성될 수 있다. 예를 들어, 현재 미디어 프로그램이 이전 미디어 프로그램에 비해 더 큰 레이턴시를 허용하거나 후속 미디어 프로그램이 현재 미디어 프로그램에 비해 더 큰 레이턴시를 허용하는 경우, 추가 콘텐츠(들)의 삽입이 수행될 수 있다. 일부 다른 예에서, 미디어 콘텐츠 수정기는 특정 콘텐츠(또는 그 일부)를 스킵 또는 제거하도록 구성될 수 있다. 예를 들어, 이것은 현재 미디어 프로그램이 이전 미디어 프로그램에 비해 더 작은 레이턴시를 요구하거나 후속 미디어 프로그램이 현재 미디어 프로그램에 비해 더 작은 레이턴시를 요구하는 경우에 수행될 수 있다.
일부 예에서, 재생 레이턴시에 대한 미디어 프로그램의 민감도의 표시를 수신하기 위한 수신기는, 예를 들어, 위에 예시된 바와 같이, 재생 레이턴시에 대한 민감도의 표시(또는 그러한 민감도의 변화)가 어떻게 그리고 어디서 재생 디바이스에 전달되는지에 따라, 미디어 프로그램의 메타데이터를 디코딩하거나 대역내 이벤트를 수신하도록 구성될 수 있다. 메타데이터의 예는 ISO IEC 23009-1에 따른 MPD일 수 있고, 대역내 이벤트의 예는 ISO IEC 23009-1에 따라 정의된 대역내 이벤트일 수 있다.
또 다른 광범위한 양태로서, 전달 채널을 통한 미디어 콘텐츠의 전달을 위한 시스템이 제공된다. 전달 채널은 일반적으로 오디오 또는 비디오 프로그램을, 예를 들어 브로드캐스트 또는 멀티캐스트 방식으로 사용자(수신기)에게 전달(송신)하는 채널을 지칭할 수 있다. 예를 들어, 이러한 전달 채널은 (전통적인) "24/7" 브로드캐스트 채널일 수 있다. 미디어 콘텐츠는 일반적으로 뉴스, 영화, 광고, 에피소드, (라이브) 게임 쇼, 라이브 스포츠 등과 같은 연속적인 미디어 프로그램을 포함할 수 있다. 특히, 미디어 콘텐츠 내의 특정 미디어 프로그램에 대해, 그러한 특정 미디어 프로그램에 대한 각각의 콘텐츠 타입이 또한 제공된다. 통상의 기술자에 의해 이해되고 인식되는 바와 같이, 콘텐츠 타입은 임의의 적절한 방식으로 표현되고 전달될 수 있다. 예를 들어, 콘텐츠 타입은 미디어 프로그램의 헤더 내의 특정 또는 추가 필드를 이용하여 표현되거나 표시될 수 있다. 다른 예로서, 콘텐츠 타입은 룩업 테이블을 이용하여 표시될 수 있다. 유사하게, 콘텐츠 타입은 미디어 프로그램의 전달과 함께 실시간으로 전달(송신)될 수 있거나 미디어 프로그램의 전달 전에 공유될 수 있다. 시스템은 콘텐츠 전달 서버 및 콘텐츠 제공자 서버와 같은 다른 컴포넌트를 포함할 수 있다.
특히, 시스템은 전달 채널을 통한 연속적인 전달을 위해 미디어 프로그램을 스케줄링하는 스케줄러를 포함할 수 있다. 일반적으로, 스케줄링 프로세스는 전달 채널의 적절한 시간을 미디어 프로그램에 스케줄링(할당)하는 것을 포함할 수 있다. 통상의 기술자에 의해 인식되는 바와 같이, 미디어 프로그램의 스케줄링은 프로그램 어젠다, 프로그램의 중요성 및/또는 긴급성 등과 같은 상이한 상황 및/또는 요건에 따라 수행될 수 있다. 시스템은 임의의 적절한 방식으로 연속적인 미디어 스트림에 미디어 프로그램을 패키징(캡슐화)하도록 구성되는 적어도 하나의 패키저(packager)(또는 캡슐화기)를 더 포함할 수 있다. 특히, 패키저는 미디어 스트림에 재생 레이턴시에 대한 미디어 프로그램의 민감도의 각각의 표시를 추가하도록 구성될 수 있다. 위에 예시된 바와 같이, 재생 레이턴시에 대한 미디어 프로그램의 민감도는 미디어 프로그램의 콘텐츠 타입과 연관된다.
일부 예에서, 패키저는, 예를 들어, 레이턴시 임계 콘텐츠에 대해 감소된 세그먼트 지속기간에서 미디어 프로그램을 인코딩하고 레이턴시에 민감하지 않은 콘텐츠에 대해 더 긴 세그먼트 지속기간으로 다시 전환하는 것에 의해, 재생 레이턴시에 대한 미디어 프로그램의 민감도에 따라 미디어 프로그램에 대한 인코딩 모드를 추가로 적응시키도록 구성될 수 있다.
일부 예에서, 패키저는, 예를 들어, 위에 예시된 바와 같이, 재생 레이턴시에 대한 민감도의 표시가 어떻게 그리고 어디서 재생 디바이스에 전달되는지에 따라, 재생 레이턴시에 대한 미디어 프로그램의 민감도의 표시를 미디어 프로그램의 메타데이터에 또는 대역내 이벤트에 추가로 삽입하도록 구성될 수 있다. 메타데이터의 예는 ISO IEC 23009-1에 따른 MPD일 수 있고, 대역내 이벤트의 예는 ISO IEC 23009-1에 따라 정의된 대역내 이벤트일 수 있다.
본 개시의 다른 양태는 적어도 하나의 프로세서를 포함하는 프로그래밍가능 컴퓨터 또는 전용 하드웨어 상에서 실행하기 위한 컴퓨터 소프트웨어 명령어를 구현하는 컴퓨터 소프트웨어, 컴퓨터 프로그램 제품 또는 임의의 미디어 또는 데이터에 관한 것으로, 명령어는 적어도 하나의 프로세서로 하여금 이 문서에 개시된 방법 단계, 특히 이 문서에 제시된 바와 같은 개시된 방법 중 임의의 것을 수행하게 한다.
개시된 장치의 구현은 하나 이상의 프로세서, 하나 이상의 주문형 집적 회로(ASIC) 및/또는 하나 이상의 필드 프로그래머블 게이트 어레이(FPGA)를 사용하는 것을 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 장치의 구현은 또한 소프트웨어 프로그래밍 가능 프로세서와 같은 다른 전통적인 그리고/또는 맞춤화된 하드웨어를 사용하는 것을 포함할 수 있다.
디바이스/장치 특징은 많은 방식으로 상호교환될 수 있다는 것이 인식될 것이다. 특히, 개시된 디바이스의 상세는, 통상의 기술자가 인식하는 바와 같이, 방법으로서 구현될 수 있고 그 반대도 가능하다. 또한, 상기 양태는, 명시적으로 개시되지 않더라도, 많은 방식으로 조합될 수 있다. 통상의 기술자는 이러한 양태 및 특징/단계의 조합이 명시적으로 배제되는 모순을 생성하지 않는 한 가능하다는 것을 이해할 것이다.
본 발명의 다른 실시예 및 추가 실시예가 이하의 논의의 과정 동안 그리고 첨부 도면을 참조하여 명백해질 것이다.
본 개시의 실시예는 첨부 도면을 참조하여 예시적인 방식으로 아래에 설명된다. 도면에서:
도 1은 매체 콘텐츠의 예를 개략적으로 도시한다.
도 2는 매체 콘텐츠의 전달을 위한 시스템의 예를 개략적으로 도시한다.
도 3은 본 발명의 실시예에 따른 미디어 콘텐츠의 재생을 위한 디바이스의 예를 개략적으로 도시한다.
도 4는 본 발명의 실시예에 따른 미디어 콘텐츠의 재생을 위한 방법의 예를 개략적으로 도시한다.
도 1은 본 발명의 실시예에 따른 매체 콘텐츠 스트림(100)의 일부의 예를 개략적으로 도시한다. 미디어 콘텐츠 스트림(100)은 일반적으로 연속적인(상이한) 미디어 프로그램(101 내지 106)을 포함할 수 있다. 예를 들어, 도 1에 도시된 예에서, 매체 콘텐츠 스트림(100)은, 기간 t1 내지 t2 내에서, 라이브 스포츠 프로그램(101)(예를 들어, 풋볼 경기); 기간 t2 내지 t3 내에서, 광고 프로그램(102); 기간 t3 내지 t4 내에서, 뉴스 프로그램(103); 기간 t4 내지 t5 내에서, 영화 프로그램(104); 기간 t5 내지 t6 내에서, 다른 뉴스 프로그램(105); 및 기간 t6 내지 t7 내에서, 라이브 게임 쇼 프로그램(106)을 포함할 수 있다. 도 1은 "24/7" 방식으로 연속적으로 동작할 수 있는 미디어 콘텐츠 전달 채널의 일부만을 도시한다.
통상의 기술자에 의해 인식되는 바와 같이, 미디어 콘텐츠 스트림(100)은 상이한 기간에 다른 미디어 프로그램을 포함할 수 있고, 도 1에 도시된 바와 같은 미디어 콘텐츠 스트림(100)은 예시의 목적을 위한 일례일 뿐이다. 특히, 미디어 콘텐츠 스트림(100)은 콘텐츠 전달 네트워크(도 1에 도시되지 않음)의 전달 채널을 통해 콘텐츠 배포자로부터 전달될 수 있다. 전달 채널은 일반적으로 오디오 또는 비디오 프로그램을 브로드캐스트, 멀티캐스트 또는 유니캐스트 방식으로, 또는 심지어 (주문형 비디오(VOD)와 같은) 점대점 방식으로 최종 사용자(수신기/시청자)에게 전달(송신)하는 채널(예를 들어, 무선 또는 유선 채널)을 지칭할 수 있다. 예를 들어, 이러한 전달 채널은, 통상의 기술자에 의해 이해되고 인식되는 바와 같이, (전통적인) "24/7" 브로드캐스트 채널 또는 임의의 다른 적절한 채널(들)일 수 있다. 그 후, 시청자(재생 디바이스)는 수신된 미디어 프로그램(들)을 적절한 방식으로(예를 들어, 적절한 플레이어 애플리케이션의 사용, 적절한 코덱의 호출 등) 재생할 수 있다.
더욱이, 미디어 콘텐츠 스트림(100)의 전달을 용이하게 하기 위해, 미디어 콘텐츠 스트림(100) 내의 특정 미디어 프로그램에 대해 특정 미디어 프로그램에 대한 콘텐츠 타입(도 1에 도시되지 않음)이 제공될 수 있다. 일반적으로, 미디어 프로그램의 콘텐츠 타입은 뉴스, 스포츠, 쇼, 영화 등과 같은 다수의 콘텐츠 클래스로 미디어 프로그램의 광범위한 카테고리화를 제공한다. 콘텐츠 타입은 미디어 프로그램을 생성한 콘텐츠 제공자에 의해 설정될 수 있거나, 콘텐츠 전달 네트워크의 오퍼레이터에 의해 설정될 수 있다. 통상의 기술자에 의해 이해되고 인식되는 바와 같이, 콘텐츠 타입은 임의의 적절한 방식으로 표현되고 전달될 수 있다. 예를 들어, 콘텐츠 타입은 미디어 프로그램의 헤더 내의 특정 또는 추가 필드를 이용하여 표현되거나 표시될 수 있다. 다른 예로서, 콘텐츠 타입은 룩업 테이블을 이용하여 표시될 수 있다. 유사하게, 콘텐츠 타입은 실시간으로 미디어 프로그램의 전달과 함께 전달(송신)될 수 있거나, 미디어 프로그램의 전달 전에 공유될 수 있다.
추가적으로, 재생 레이턴시(타겟 레이턴시라고도 지칭됨)에 대한 특정 미디어 프로그램의 민감도의 표시가 추가로 제공될 수 있다. 특히, 재생 레이턴시에 대한 미디어 프로그램의 민감도는 미디어 프로그램 데이터가 재생되기 전에 허용가능하고 미디어 프로그램의 콘텐츠 타입과 연관되는 레이턴시의 정성적 표시 또는 정량적 표시일 수 있다.
미디어 프로그램에 대한 타겟 레이턴시를 결정하는 핵심 요소는 콘텐츠 타입이다. 즉, 콘텐츠 타입은 타겟 레이턴시의 지정에 영향을 미치고/지배한다. 그러나, 콘텐츠 타입으로부터 타겟 레이턴시의 표시를 얻는 특정 단계가 존재할 수 있는데, 이는 그러한 매핑이 항상 명백한 것은 아니기 때문이다. 예를 들어, 콘텐츠 배포자는 상이한 축구 경기에 대한 상이한 타겟 레이턴시를 해당 축구 경기의 중요성에 기초하여 선택할 수 있다. (비-라이브 콘텐츠와 같은) 다른 콘텐츠 타입이 존재하며, 콘텐츠 배포자는 추가 조정/미세 조정 없이 타겟 레이턴시에 대한 고정된 디폴트 값을 선택할 수 있다. 그러나, 다른 경우에서, 프로그램 스케줄을 생성하는 인간은 그러한 디폴트 값으로부터 벗어나도록 선택할 수 있다(예를 들어, 월드 챔피언십에서의 최종 축구 경기는 가장 낮은 가능한 레이턴시를 얻는 반면, 다른 축구 경기는 그러한 적극적으로 낮은 수를 타겟으로 하지 않을 것이다). 따라서, 미디어 프로그램의 타겟 레이턴시는 콘텐츠 타입에 기초하여 결정되지만, 콘텐츠 타입에 따라 배타적으로 설정되지는 않는다.
재생 디바이스 측에서, 미디어 프로그램의 적어도 일부 및 미디어 프로그램에 대한 타겟 레이턴시가 수신된다. 미디어 프로그램의 일부는 일반적으로, 예를 들어, 미디어 프로그램의 표현 및/또는 전달 방법/메커니즘에 따라, 미디어 프로그램의 특정 수의 프레임(픽처, 데이터의 청크 등)을 지칭한다. 다음으로, 미디어 프로그램의 재생은 그의 타겟 레이턴시에 기초하여 적응된다. 타겟 레이턴시는 단일 단계에서 (예를 들어, 낮음에서 높음으로) 변경될 수 있고, 재생 디바이스 내의 미디어 플레이어는 그에 따라 적응될 수 있다. 또한, 예를 들어, 버퍼 레벨 및/또는 재생 속도를 따라잡거나 늦추기 위해, 특정 기간에 걸친 재생 디바이스 내의 미디어 플레이어의 적응이 제안된다. 수신 측의 재생 적응 알고리즘은, 타겟 레이턴시의 점프가 너무 심한 경우 바람직하지 않은 방식으로 작동할 수 있는 타겟 레이턴시의 업데이트와 주어진 타겟 레이턴시 사이에서 보간하기 위한 주어진 특성을 가질 수 있다. 따라서, 서버 측에서 표시된 타겟 레이턴시를 점진적으로(다수의 단계에서) 변경하고, 따라서, 예를 들어, 상이한 타겟 레이턴시를 갖는 다른 프로그램으로의 전이 전에 적응 속도를 원격으로 제어하고 수신기 측에서 버퍼 레벨을 관리할 수 있다. 따라서, 타겟 레이턴시의 단일 점프에 더하여, 특정 기간에 걸쳐 배열된 다수의 단계에 걸친 미디어 프로그램의 재생의 적응이 제안된다. 후자의 경우, 시그널링된 타겟 레이턴시는 재생 레이턴시에 대한 다수의 순차적 표시에서 서버에 의해 점진적으로 변경된다.
도 2는 매체 콘텐츠의 전달을 위한 시스템(200)의 예를 개략적으로 도시한다. 미디어 콘텐츠는 도 1에 도시된 바와 같이 101-106에 도시된 바와 같은 연속 미디어 프로그램을 포함할 수 있다. 도 2의 예에서, 시스템(200)은 예를 들어 상이한 미디어 프로그램(예로서, 도 1에 도시된 바와 같이 101-106에 도시된 바와 같은 미디어 프로그램)의 준비 및 제공을 위한 서비스(콘텐츠) 제공자(210)를 포함할 수 있다. 어떠한 제한도 없이 예로서, 콘텐츠 제공자(210)는 오퍼레이터, 비디오 프로그램 플랫폼, 또는 통상의 기술자에 의해 인식되는 바와 같은 임의의 다른 적절한 제공자일 수 있다. 특히, 일부 경우에서, 프로그램은 스포츠, 라이브 게임 쇼 등과 같은 라이브(실시간) 프로그램(211)일 수 있다. 일부 다른 경우에서, 프로그램은 광고, 영화 등과 같은 비실시간 프로그램(212)일 수 있다. 그러한 비실시간 프로그램(212)은 프로그램의 시작 전에 준비(생성)될 수 있다.
이용 가능한 프로그램(211 및 212)은 실시간으로 또는 미리 시스템(200)의 스케줄러(220)에 전달/송신될 수 있다. 통상의 기술자에 의해 이해되고 인식되는 바와 같이, 스케줄러(220)는 예를 들어 독립형 애플리케이션, 제어기의 기능 블록으로서, 또는 임의의 다른 적절한 방식으로 구현될 수 있다. 스케줄러(220)는 콘텐츠 제공자(210)에 (적절한 무선, 유선 등의 방식으로) 접속 가능한 컴퓨터 또는 서버에 상주할 수 있다. 스케줄러는 콘텐츠 배포 시스템의 일부일 수 있다.
스케줄러(220)는 전달 채널을 통한 연속적인 전달을 위해 미디어 프로그램을 스케줄링하도록 구성될 수 있다. 통상의 기술자에 의해 인식되는 바와 같이, 미디어 프로그램의 스케줄링은 프로그램 어젠다, 프로그램의 우선순위 등과 같은 상이한 상황 및/또는 요건에 따라 수행될 수 있다. 일반적으로, 스케줄링 프로세스는 전달 채널의 적절한 시간 자원을, 예를 들어 전달 채널의 특성에 기초하여 미디어 프로그램에 스케줄링(할당)하는 것을 포함할 수 있다. 이어서, 스케줄링된 미디어 프로그램은 적당한 인터페이스(221)를 통해, 예를 들어 인코더, 패키저, 세그먼터, 암호화기, 및/또는 매니페스트 생성기(이들 기능은 약간 상이한 순서로 나타날 수 있고 더 적은 처리 단계로 결합될 수 있음)(230)로 전달/통과되어 임의의 적당한 방식으로 연속 미디어 스트림으로 미디어 프로그램을 패키징/인코딩할 수 있다. 이어서, 패키징된 미디어 프로그램(즉, 미디어 콘텐츠)은 적절한 네트워크 접속(231), 예를 들어 IP 접속을 통해 최종 사용자의 재생 디바이스(240)로 전달(예를 들어, 브로드캐스트)될 수 있다. 인코딩/디코딩은 오디오 및/또는 비디오 인코딩/디코딩과 같은 임의의 미디어 콘텐츠의 각각의 처리를 지칭할 수 있다.
미디어 프로그램을 적절하게 스케줄링하고 전달하는 것 외에도, 스케줄러(220)는 또한 적절한 인터페이스(222)를 통해 적어도 하나의 패키저(230)와 같은 다운스트림 디바이스(들)에 재생 레이턴시에 대한 미디어 프로그램의 민감도를 표시하는 것을 담당할 수 있다. 유사하게, 적어도 하나의 패키저(230)는 그에 따라 적절한 네트워크 접속(232)을 통해 적절한 방식으로 최종 사용자의 재생 디바이스(240)에 재생 레이턴시에 대한 미디어 프로그램의 민감도의 표시를 전파할 수 있다.
특히, 일부 경우에서, 패키저(230)는 재생 레이턴시에 대한 미디어 프로그램의 민감도의 표시를 비트스트림 내의 미디어 프로그램 자체와 함께 패키징(다중화)하도록 구성될 수 있다. 예를 들어, 재생 레이턴시에 대한 미디어 프로그램의 민감도의 표시는 미디어 프로그램의 메타데이터 내에 패키저(230)에 의해 패키징(캡슐화)될 수 있다. 메타데이터의 예는 ISO IEC 23009-1에 따른 MPD일 수 있다. 게다가, 재생 레이턴시에 대한 민감도의 표시와 같은 메타데이터의 변경은 대역내 이벤트를 통해 시그널링될 수 있다. 이와 같이 구성되면, 미디어 프로그램 및 민감도의 표시를 각각 전달하기 위해 사용되는 2개의 논리적 (네트워크) 접속(231 및 232)은 반드시 분리될 필요는 없으며, 따라서 미디어 프로그램 및 민감도의 표시 모두를 재생 디바이스(240)로 전달하기 위해 하나의 적절한 접속만이 사용될 수 있다.
일부 경우에서, 패키저(230)는, 예를 들어, 레이턴시 임계 콘텐츠에 대한 감소된 세그먼트 지속기간에서 미디어 프로그램을 인코딩하고 레이턴시에 민감하지 않은 콘텐츠에 대한 더 긴 세그먼트 지속기간으로 다시 전환하는 것에 의해, 재생 레이턴시에 대한 미디어 프로그램의 각각의 민감도에 따라 미디어 프로그램에 대한 인코딩 모드를 추가로 적응시키도록 구성될 수 있다.
통상의 기술자에 의해 이해되고 인식되는 바와 같이, 재생 디바이스(240)는 통상적으로, 나중에 더 상세히 설명될 수신기(들), 버퍼(들), 프로세서, 디스플레이/모니터, 스피커 등과 같은 하나 이상의 적합한 컴포넌트를 포함한다. 특히, 수신된 미디어 콘텐츠를 적절히 재생하기 위해, 재생 디바이스(240)는 통상적으로, 특히 미디어 프로그램의 원하는 레이턴시를 지원하도록 그의 재생 체인(예를 들어, 애플리케이션, 코덱, 버퍼 등)을 셋업할 필요가 있다. 특히, 상이한 경우에 따라, 셋업은 레이턴시를 감소(또는 증가)시키기 위해 재생 디바이스에 버퍼링되는 세그먼트(또는 프레임)의 수를 감소(또는 증가)시키는 것을 포함할 수 있다. 더욱이, 셋업은 또한 (사용되는 전송 포맷과 같은) 상이한 경우에 따라 특정(예를 들어, 낮은 레이턴시) 재생 모드로 전환하는 것을 포함할 수 있다. 낮은 레이턴시 모드의 예는 ISO/IEC 23000-19에 지정된 바와 같은 CMAF(Common Media Application Format)에 기초하는 ETSI TS 103 285 V1.3.1에 지정된 낮은 레이턴시 프레젠테이션일 수 있다.
도 3은 본 발명의 실시예에 따른 미디어 콘텐츠의 재생을 위한 디바이스(300)의 예를 개략적으로 도시한다. 디바이스(300)는 도 2의 재생 디바이스(240)에 대응할 수 있다. 전달 채널에 의해 제공되는 미디어 콘텐츠는 연속 미디어 프로그램을 포함하는 도 1의 매체 콘텐츠(100)에 대응하거나 유사할 수 있으며, 미디어 프로그램과 연관된 각각의 콘텐츠 타입을 갖는다.
특히, 디바이스(300)는 재생 레이턴시에 대한 미디어 프로그램의 민감도의 표시를 수신하기 위한 수신기(301)를 포함할 수 있다. 재생 레이턴시에 대한 미디어 프로그램의 민감도는 미디어 프로그램의 콘텐츠 타입과 연관된다. 위에 예시된 바와 같이, 민감도의 표시는 디바이스(300)에 의해 수신되기 전에 도 2의 스케줄러(220)에 의해 스케줄링되고 도 2의 적어도 하나의 패키저(230)에 의해 패키징될 수 있다. 민감도의 표시가 패키저 측에서 어떻게 패키징(인코딩)되는지에 따라, 수신기(301)는 또한 그러한 표시를 적절히 언패키징(추출 또는 디코딩)하도록 구성될 수 있다. 예를 들어, 민감도의 표시가 (ISO IEC 23009-1에 따른 MPD와 같은) 메타데이터에 있는 경우, 수신기(301)는 그러한 메타데이터로부터 표시를 추출하도록 구성될 수 있다. 일부 예에서, 메타데이터는 시작 시에, 전달 채널로 전환할 때, 미디어 스트림에 처음 액세스할 때, 및/또는 전달 채널 내에서의 새로운 미디어 프로그램의 시작 시에 수신기(301)에 의해 판독되는 구성 파일로서 제공된다.
디바이스(300)는 미디어 프로그램의 적어도 일부를 수신하기 위한 수신기(302)를 추가로 포함할 수 있다. 미디어 프로그램의 일부는 일반적으로, 예를 들어, 미디어 프로그램의 표현 및/또는 전달에 따라, 미디어 프로그램의 특정 수의 프레임(픽처, 데이터의 청크 등)을 지칭한다.
통상의 기술자에 의해 인식되는 바와 같이, 미디어 프로그램의 민감도의 표시(즉, 타겟 레이턴시)를 수신하기 위한 수신기(301) 및 미디어 프로그램을 수신하기 위한 수신기(302)는 두 입력(즉, 민감도의 표시 및 미디어 프로그램)을 수신하고 구별할 수 있는 하나의 단일 수신기로서 구현될 수 있다. 즉, 미디어 프로그램의 민감도의 표시를 수신하기 위한 수신기(301) 및 미디어 프로그램을 수신하기 위한 수신기(302)는 논리적으로 분리될 수 있지만 반드시 물리적으로 분리될 필요는 없다. 두 입력은 단일의 물리적 수신기에서 수신될 수 있다. 예를 들어, 하나의 물리적 수신기만이 미디어 프로그램의 민감도의 표시 및 미디어 프로그램 둘 다를 수신하는 역할을 할 수 있다. 이러한 경우에, 디바이스(300)는 동일한 물리적 수신기에서 수신될 수 있는 상이한 입력 신호를 분리하기 위한 적절한 메커니즘을 포함할 수 있다.
디바이스(300)는 미디어 콘텐츠의 미디어 프로그램을 재생하기 위한 재생 유닛(310)을 더 포함할 수 있다. 재생 유닛(310)은 예를 들어 통상의 기술자에 의해 인식되는 바와 같이 미디어 콘텐츠의 재생을 위한 소정의 적절한 애플리케이션(및 선택적으로 적절한 코덱)을 호출할 수 있다. 일부 경우에서, 디바이스의 재생 유닛은 미디어 프로그램의 수신된 세그먼트를 저장하고 액세스하기 위한 버퍼(315)를 포함할 수 있다. 한편, 일부 경우에서 버퍼는 예를 들어 운영 체제에 의해 제공되고, 이어서 재생 유닛은 임의의 적절한 방식을 이용하여 그 버퍼에 액세스하고 이를 이용하도록 구성될 수 있는 것도 가능하다. 버퍼(315)는 통상의 기술자에 의해 인식되는 바와 같이 예를 들어 메모리(저장) 블록으로서 또는 임의의 다른 적절한 방식으로 구현될 수 있다.
디바이스(300)는 또한, 미디어 프로그램의 재생을 재생 레이턴시에 대한 그의 민감도의 수신된 표시에 기초하여 적응시키기 위한 제어기(320)를 더 포함할 수 있다. 일부 경우에서, 제어기(320)는 재생 레이턴시에 대한 민감도의 표시에 기초하여 프로그램 데이터가 재생되기 전에 버퍼링된 프로그램 데이터의 양을 적응시키도록 구성될 수 있다. 특히, 재생 디바이스(300)에 대한 변경은 비동기 방식으로 행해질 수 있다. 즉, (예를 들어, 디바이스(300)의 플레이어 애플리케이션에서의) 재생은 레이턴시에 민감한 프로그램이 시작되기 전에 또는 후에 (예를 들어, 제어기(320)에 의해) 더 낮은 레이턴시로 전환될 수 있다. 어느 경우든, 재생이 더 높은 레이턴시의 재생으로부터 더 낮은 레이턴시의 재생으로 따라잡거나 그의 레이턴시를 증가시키는 것이 요구된다. 제어기(320)는 타겟 레이턴시의 원하지 않는 심한 점프를 회피하기 위해 현재 타겟 레이턴시와 새롭게 수신된 타겟 레이턴시 사이에서 보간하기 위한 재생 적응 알고리즘을 포함할 수 있다.
일부 경우에서, 디바이스(300)는 또한 추가 미디어 콘텐츠를 삽입하거나 미디어 콘텐츠를 제거하기 위해 수신된 미디어 프로그램의 콘텐츠를 적응시키도록 구성된 미디어 콘텐츠 수정기(330)를 더 포함할 수 있다. 특히, 미디어 콘텐츠 수정기(330)는 현재 미디어 프로그램에 (예를 들어, 프레임 또는 세그먼트의 관점에서) 추가 콘텐츠를 삽입/추가하도록 구성될 수 있다. 추가 콘텐츠는 예를 들어 "무음"(비어 있는) 세그먼트 또는 반복 세그먼트일 수 있다. 예를 들어, 현재 미디어 프로그램이 이전 미디어 프로그램에 비해 더 큰 레이턴시를 허용하거나 후속 미디어 프로그램이 현재 미디어 프로그램에 비해 더 큰 레이턴시를 허용하는 경우, 추가 콘텐츠(들)의 삽입이 수행될 수 있다. 일부 다른 예에서, 미디어 콘텐츠 수정기(330)는 특정 콘텐츠(또는 그 일부)를 스킵 또는 제거하도록 구성될 수 있다. 예를 들어, 이것은 현재 미디어 프로그램이 이전 미디어 프로그램에 비해 더 작은 레이턴시를 요구하거나 후속 미디어 프로그램이 현재 미디어 프로그램에 비해 더 작은 레이턴시를 요구하는 경우에 수행될 수 있다. 그러나, 일부 경우에서, 콘텐츠를 추가하거나 제거하는 그러한 변경은 시청자에 의해 인지가능할 수 있고, 따라서 덜 바람직한 것으로 간주될 수 있다.
대안적으로 또는 추가적으로, 제어기(320)(또는 디바이스(300)의 소정의 다른 컴포넌트)는 따라잡거나 레이턴시를 증가시키기 위해 재생 속도를 실시간보다 더 빠르거나 더 느리게 제어하도록 구성될 수 있다. 예를 들어, 재생 유닛(310)은 오디오에 대한 피치 정정과 종종 결합되는, 재생 속도를 변경할 수 있는 알고리즘을 포함할 수 있다. 통상적으로, 재생 속도를 변경하는 것은 오디오 신호의 피치를 변경하지 않고 행해져야 한다. 일반적으로, 재생 속도에서의 10%-20%의 차이는 보통 시청자에게 현저하지 않은/불쾌하지 않은 것으로 간주된다. 따라서, 더 높은 레이턴시(예를 들어, 25초)로부터 더 낮은 레이턴시(예를 들어, 2초)로 가기 위한 전이 기간은 약 230초, 거의 4분 동안 재생을 (예를 들어, 10%) 가속하도록 요구할 수 있다. 이러한 경우에서, 이는 또한, 단기 프로그램(예를 들어, 광고)의 경우, 전이 기간이 실제 콘텐츠보다 더 길기 때문에 레이턴시를 변경할 가능성이 더 적다는 것을 의미한다.
더욱이, (예를 들어, 플레이어가 디코딩할 데이터의 누락으로 인해 재생을 중단할 필요가 있는 경우에) 리버퍼링 이벤트를 방지하기 위해, 특히 작은 세그먼트에서 큰 세그먼트로 전환할 때(낮은 레이턴시에서 높은 레이턴시로 전환할 때), 디바이스(300)는 그러한 변화를 미리 통지받아야 한다. 예를 들어, ISO/IEC 23009-1에 정의된 바와 같은 대역내 이벤트는 그러한 시그널링을 위해 사용될 수 있다. 전술한 바와 같이, 동일하거나 상이한 대역내 이벤트는 또한 레이턴시에 대한 민감도의 변화에 관해 플레이어에게 알리는 데 사용될 수 있다. 예를 들어, 대역내 이벤트가 또한 MPD의 변화를 시그널링하는 데 사용될 수 있다. 그러한 대역내 이벤트를 수신하는 경우에, 플레이어는 재생 레이턴시에 대한 민감도의 변화와 같은 프로그램 메타데이터의 변화를 결정하기 위해 다시 MPD에 액세스할 수 있다.
도 3에서, 디바이스(300) 내의 각각의 유닛/컴포넌트 사이의 상호접속은 간결성을 위해 생략된다는 점에 유의해야 한다. 통상의 기술자에 의해 이해되고 인식되는 바와 같이, 디바이스(300)는 필요한 경우에 디바이스(300) 내의 유닛/컴포넌트 사이에 (내부) 메시지를 교환하기 위한 그러한 상호접속을 포함하고/하거나 제공할 수 있다. 다른 유닛/컴포넌트도 디바이스(300)의 성공적인 동작을 위해 디바이스(300) 내에 존재할 수 있지만, 이들은 도 3에 도시되지 않을 수 있다는 점에도 유의해야 한다. 그러한 유닛/컴포넌트는 예를 들어 재생된 프로그램을 디스플레이하기 위한 디스플레이/모니터, 오디오를 출력하기 위한 하나 이상의 스피커 등을 포함할 수 있지만, 이에 한정되지 않는다.
도 4는 본 발명의 실시예에 따른 미디어 콘텐츠의 재생을 위한 방법(400)의 예를 개략적으로 도시한다. 방법(400)은 예를 들어 도 3의 재생 디바이스(300)에 의해 수행될 수 있다. 미디어 콘텐츠는 연속 미디어 프로그램을 포함하는 도 1의 매체 콘텐츠(100)에 대응하거나 유사할 수 있으며, 미디어 프로그램과 연관된 각각의 콘텐츠 타입을 갖는다.
특히, 방법(300)은 재생 레이턴시에 대한 미디어 프로그램의 민감도의 표시를 수신하는 단계 S410을 포함할 수 있다. 특히, 재생 레이턴시에 대한 미디어 프로그램의 민감도는 미디어 프로그램의 콘텐츠 타입과 연관된다. 방법(400)은 미디어 프로그램의 적어도 일부를 수신하는 단계 S420을 더 포함할 수 있다. 마지막으로, 방법(400)은 또한 미디어 프로그램의 재생을 재생 레이턴시에 대한 그의 민감도의 표시에 기초하여 적응시키는 단계 S430을 포함할 수 있다.
위에서 설명된 장치(디바이스) 특징은 간결함의 이유로, 그러나 명시적으로 설명되지 않을 수 있는 각각의 방법 특징에 대응한다는 점에 유의해야 한다. 본 문서의 개시는 이러한 방법 특징으로도 확장하는 것으로 간주된다. 특히, 본 개시는 위에서 설명된 디바이스를 동작시키는 방법, 및/또는 이 디바이스의 각각의 요소를 제공하고/하거나 배열하는 것에 관련되는 것으로 이해된다.
개시된 실시예는 하드웨어 및/또는 소프트웨어 구성을 이용하여 많은 방식으로 구현될 수 있다는 점에도 유의해야 한다. 예를 들어, 개시된 실시예는 전용 하드웨어 및/또는 실행 가능한 소프트웨어와 연관된 하드웨어를 이용하여 구현될 수 있다. 도면 내의 컴포넌트 및/또는 요소는 단지 예일 뿐이고, 임의의 하드웨어, 하드웨어와 조합된 소프트웨어, 펌웨어, 내장 로직 컴포넌트, 또는 본 개시의 특정 실시예를 구현하는 2개 이상의 그러한 컴포넌트의 조합의 이용 및 기능의 범위를 제한하지 않는다.
설명 및 도면은 본 개시의 원리를 예시할 뿐이라는 점에 더 유의해야 한다. 이 분야의 통상의 기술자는 본 명세서에 명시적으로 설명되거나 도시되지는 않았지만 본 발명의 원리를 구현하고 본 발명의 사상 및 범위 내에 포함되는 다양한 배열을 구현할 수 있을 것이다. 또한, 본 개시에 개설된 모든 예 및 실시예는 주로 독자가 제안된 방법의 원리를 이해하는 데 도움을 주기 위한 설명 목적만을 위한 것으로 명시적으로 의도된다. 또한, 본 발명의 원리, 양태 및 실시예뿐만 아니라, 그것의 특정 예를 제공하는 본 명세서의 모든 설명은 그것의 등가물을 포함하는 것으로 의도된다.
본 개시의 다양한 양태는 다음의 열거된 예시적인 실시예(EEE)로부터 인식될 수 있다.
1. 전달 채널을 통한 미디어 콘텐츠의 재생을 위한 방법으로서,
상기 미디어 콘텐츠는 각각의 콘텐츠 타입을 갖는 연속적인 미디어 프로그램을 포함하고, 상기 방법은:
재생 레이턴시에 대한 미디어 프로그램의 민감도의 표시를 수신하는 것 - 재생 레이턴시에 대한 미디어 프로그램의 상기 민감도는 상기 미디어 프로그램의 상기 콘텐츠 타입과 연관됨 -;
상기 미디어 프로그램의 적어도 일부를 수신하는 것;
상기 미디어 프로그램의 상기 재생을 재생 레이턴시에 대한 그의 민감도의 상기 표시에 기초하여 적응시키는 것을 포함하는, 방법.
2. EEE 1에 있어서, 상기 미디어 프로그램의 상기 재생을 적응시키는 것은 상기 미디어 프로그램의 버퍼링을 적응시키는 것, 특히 미디어 프로그램 데이터가 재생되기 전에 버퍼링되는 상기 미디어 프로그램 데이터의 양을 적응시키는 것을 포함하는, 방법.
3. EEE 1 또는 2에 있어서, 재생 레이턴시에 대한 미디어 프로그램의 상기 민감도의 상기 표시는 상기 미디어 프로그램 데이터가 재생되기 전에 허용 가능한 레이턴시의 정성적 표시를 포함하는, 방법.
4. 임의의 이전의 EEE에 있어서, 상기 미디어 프로그램의 상기 재생을 적응시키는 것은 상기 미디어 프로그램에 대한 재생 속도를 적응시키는 것을 포함하는, 방법.
5. 임의의 이전 EEE에 있어서, 상기 미디어 프로그램의 상기 재생을 적응시키는 것은 재생 레이턴시에 대한 상기 미디어 프로그램의 민감도의 상기 표시가 상기 전달 채널의 이전 또는 후속 미디어 프로그램에 대해 변경되는 경우에 상기 수신된 미디어 프로그램의 상기 콘텐츠를 수정하는 것을 포함하는, 방법.
6. EEE 5에 있어서, 현재 미디어 프로그램이 상기 이전 미디어 프로그램에 비해 더 큰 레이턴시를 허용하거나 상기 후속 미디어 프로그램이 상기 현재 미디어 프로그램에 비해 더 큰 레이턴시를 허용하는 경우에 추가 콘텐츠가 상기 현재 미디어 프로그램에 삽입되는, 방법.
7. EEE 5에 있어서, 현재 미디어 프로그램이 상기 이전 미디어 프로그램에 비해 더 작은 레이턴시를 요구하거나 상기 후속 미디어 프로그램이 상기 현재 미디어 프로그램에 비해 더 작은 레이턴시를 요구하는 경우에 상기 현재 미디어 프로그램에서 콘텐츠가 스킵되는, 방법.
8. EEE 6 또는 7에 있어서, 미디어 프로그램은 복수의 연속적인 세그먼트를 포함하고, 상기 미디어 프로그램의 상기 재생을 적응시키는 것은 상기 미디어 프로그램 데이터가 재생되기 전에, 버퍼링된 세그먼트의 수를 적응시키는 것을 포함하며, 선택적으로 상기 미디어 프로그램의 적어도 하나의 세그먼트가 스킵되거나 반복되는, 방법.
9. 임의의 이전 EEE에 있어서, 상기 미디어 프로그램의 상기 재생을 적응시키는 것은 재생 디바이스의 미디어 플레이어에서 상기 미디어 프로그램에 대한 재생 모드를 전환하는 것을 포함하는, 방법.
10. 임의의 이전의 EEE에 있어서, 재생 레이턴시에 대한 미디어 프로그램의 상기 민감도의 다른 표시가 수신되고, 상기 미디어 프로그램의 상기 재생은 상기 수신된 표시에 기초하여 점진적으로 적응되는, 방법.
11. 임의의 이전 EEE에 있어서, 재생 레이턴시에 대한 미디어 프로그램의 상기 민감도의 상기 표시는 상기 전달 채널을 통한 전달을 위해 상기 연속적인 미디어 프로그램에 대해 스케줄러에 의해 생성되고, 선택적으로 상기 미디어 프로그램의 메타데이터에 추가되는, 방법.
12. 임의의 이전 EEE에 있어서, 재생 레이턴시에 대한 상기 미디어 프로그램의 상기 민감도에 따라 상기 미디어 프로그램에 대한 인코딩 모드를 적응시키는 것을 추가로 포함하는, 방법.
13. 임의의 이전 EEE에 있어서, 재생 레이턴시에 대한 미디어 프로그램의 상기 민감도의 변화의 상기 표시는 예를 들어 ISO IEC 23009-1에 따라 대역내 이벤트를 통해 시그널링되는, 방법.
14. EEE 13에 있어서, 재생 레이턴시에 대한 미디어 프로그램의 상기 민감도는 상기 미디어 프로그램의 시작 전에 시그널링되는, 방법.
15. EEE 14에 있어서, 상기 미디어 프로그램의 상기 재생을 적응시키는 것은 상기 미디어 프로그램의 상기 시작과 비동기적이고, 선택적으로 상기 이전 미디어 프로그램의 상기 재생을 적응시키는 것을 포함하는, 방법.
16. 전달 채널을 통한 미디어 콘텐츠의 재생을 위한 디바이스로서,
상기 미디어 콘텐츠는 각각의 콘텐츠 타입을 갖는 연속적인 미디어 프로그램을 포함하고, 상기 디바이스는:
재생 레이턴시에 대한 미디어 프로그램의 민감도의 표시를 수신하기 위한 수신기 - 재생 레이턴시에 대한 미디어 프로그램의 상기 민감도는 상기 미디어 프로그램의 콘텐츠 타입과 연관됨 -;
상기 미디어 프로그램의 적어도 일부를 수신하기 위한 수신기;
상기 미디어 콘텐츠를 재생하기 위한 재생 유닛; 및
상기 미디어 프로그램의 상기 재생을 재생 레이턴시에 대한 그의 민감도의 상기 수신된 표시에 기초하여 적응시키기 위한 제어기를 포함하는, 디바이스.
17. EEE 16에 있어서, 상기 재생 유닛은 상기 미디어 프로그램의 수신된 세그먼트에 대한 버퍼를 포함하고, 상기 제어기는 버퍼링된 프로그램 데이터의 양을 재생 레이턴시에 대한 민감도의 상기 표시에 기초하여 상기 프로그램 데이터가 재생되기 전에 적응시키는, 디바이스.
18. EEE 16 또는 17에 있어서, 추가적인 미디어 콘텐츠를 삽입하거나 미디어 콘텐츠를 제거하기 위해 상기 수신된 미디어 프로그램의 콘텐츠를 적응시키는 미디어 콘텐츠 수정기를 더 포함하는, 디바이스.
19. EEE 16 내지 18 중 어느 하나에 있어서, 재생 레이턴시에 대한 미디어 프로그램의 상기 민감도의 표시를 수신하기 위한 상기 수신기는 상기 미디어 프로그램의 메타데이터를 디코딩하는 것 및 대역내 이벤트를 수신하는 것 중 적어도 하나를 수행하도록 구성되는, 디바이스.
20. 전달 채널을 통한 미디어 콘텐츠의 전달을 위한 시스템으로서,
상기 미디어 콘텐츠는 각각의 콘텐츠 타입을 갖는 연속적인 미디어 프로그램을 포함하고, 상기 시스템은:
상기 전달 채널을 통한 연속적인 전달을 위해 상기 미디어 프로그램을 스케줄링하는 스케줄러;
상기 미디어 프로그램을 연속적인 미디어 스트림에 패키징하는 적어도 하나의 패키저를 포함하고, 상기 패키저는 재생 레이턴시에 대한 상기 미디어 프로그램의 민감도의 표시를 상기 미디어 스트림에 추가하도록 구성되고, 재생 레이턴시에 대한 미디어 프로그램의 상기 민감도는 상기 미디어 프로그램의 상기 콘텐츠 타입과 연관되는, 시스템.
21. EEE 20에 있어서, 상기 패키저는 재생 레이턴시에 대한 상기 미디어 프로그램의 상기 민감도에 따라 상기 미디어 프로그램에 대한 인코딩 모드를 적응시키도록 구성되는, 시스템.
22. EEE 20 또는 21에 있어서, 상기 패키저는 재생 레이턴시에 대한 상기 미디어 프로그램의 상기 민감도의 상기 표시를 상기 미디어 프로그램의 메타데이터에 패키징하는 것 및 재생 레이턴시의 변화를 대역내 이벤트를 통해 시그널링하는 것 중 적어도 하나를 수행하도록 구성되는, 시스템.

Claims (16)

  1. 전달 채널을 통한 미디어 콘텐츠의 재생(playback)을 위한 방법으로서,
    상기 미디어 콘텐츠는 각각의 콘텐츠 타입을 갖는 연속적인 미디어 프로그램을 포함하고, 상기 방법은:
    재생 레이턴시에 대한 미디어 프로그램의 민감도의 표시를 수신하는 것 - 재생 레이턴시에 대한 미디어 프로그램의 상기 민감도는 상기 미디어 프로그램의 상기 콘텐츠 타입과 연관됨 -;
    상기 미디어 프로그램의 적어도 일부를 수신하는 것;
    상기 미디어 프로그램의 상기 재생을 재생 레이턴시에 대한 그의 민감도의 상기 표시에 기초하여 적응시키는 것(adapting)을 포함하고,
    상기 미디어 프로그램의 상기 재생을 적응시키는 것은 미디어 프로그램 데이터가 재생되기 전에 버퍼링되는 상기 미디어 프로그램 데이터의 양을 적응시키기 위해, 재생 레이턴시에 대한 상기 미디어 프로그램의 민감도의 상기 표시가 상기 전달 채널의 이전 또는 후속 미디어 프로그램에 대해 변경되는 경우, 상기 미디어 프로그램에 대한 재생 속도를 적응시키는 것을 포함하는, 방법.
  2. 제1항에 있어서, 재생 레이턴시에 대한 미디어 프로그램의 상기 민감도의 상기 표시는 상기 미디어 프로그램 데이터가 재생되기 전에 허용 가능한 레이턴시의 정성적 표시를 포함하는, 방법.
  3. 제1항 또는 제2항에 있어서, 상기 미디어 프로그램의 상기 재생을 적응시키는 것은 재생 레이턴시에 대한 상기 미디어 프로그램의 민감도의 상기 표시가 상기 전달 채널의 이전 또는 후속 미디어 프로그램에 대해 변경되는 경우에 상기 수신된 미디어 프로그램의 콘텐츠를 수정하는 것을 포함하는, 방법.
  4. 제3항에 있어서, 현재 미디어 프로그램이 상기 이전 미디어 프로그램에 비해 더 큰 레이턴시를 허용하는 경우 또는 상기 후속 미디어 프로그램이 상기 현재 미디어 프로그램에 비해 더 큰 레이턴시를 허용하는 경우, 추가 콘텐츠가 상기 현재 미디어 프로그램에 삽입되거나,
    상기 현재 미디어 프로그램이 상기 이전 미디어 프로그램에 비해 더 작은 레이턴시를 요구하거나 상기 후속 미디어 프로그램이 상기 현재 미디어 프로그램에 비해 더 작은 레이턴시를 요구하는 경우, 상기 현재 미디어 프로그램에서 콘텐츠가 스킵되는, 방법.
  5. 제4항에 있어서, 미디어 프로그램은 복수의 연속적인 세그먼트를 포함하고, 상기 미디어 프로그램의 상기 재생을 적응시키는 것은 상기 미디어 프로그램 데이터가 재생되기 전에 버퍼링된 세그먼트의 수를 적응시키는 것을 포함하며, 선택적으로 상기 미디어 프로그램의 적어도 하나의 세그먼트가 스킵되거나 반복되는, 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 미디어 프로그램의 상기 재생을 적응시키는 것은 재생 디바이스의 미디어 플레이어에서 상기 미디어 프로그램에 대한 재생 모드를 전환하는 것을 포함하는, 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 재생 레이턴시에 대한 미디어 프로그램의 상기 민감도의 상기 표시는 상기 전달 채널을 통한 전달을 위해 상기 연속적인 미디어 프로그램에 대해 스케줄러에 의해 생성되고, 선택적으로 상기 미디어 프로그램의 메타데이터에 추가되는, 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 재생 레이턴시에 대한 미디어 프로그램의 상기 민감도의 변화의 상기 표시는 예를 들어 ISO IEC 23009-1에 따라 대역내 이벤트를 통해 시그널링되는, 방법.
  9. 제8항에 있어서, 재생 레이턴시에 대한 미디어 프로그램의 상기 민감도는 상기 미디어 프로그램의 시작 전에 시그널링되는, 방법.
  10. 제9항에 있어서, 상기 미디어 프로그램의 상기 재생을 적응시키는 것은 상기 미디어 프로그램의 상기 시작과 비동기적이고, 선택적으로 상기 이전 미디어 프로그램의 상기 재생을 적응시키는 것을 포함하는, 방법.
  11. 전달 채널을 통한 미디어 콘텐츠의 재생을 위한 디바이스로서,
    상기 미디어 콘텐츠는 각각의 콘텐츠 타입을 갖는 연속적인 미디어 프로그램을 포함하고, 상기 디바이스는:
    재생 레이턴시에 대한 미디어 프로그램의 민감도의 표시를 수신하기 위한 수신기 - 재생 레이턴시에 대한 미디어 프로그램의 상기 민감도는 상기 미디어 프로그램의 상기 콘텐츠 타입과 연관됨 -;
    상기 미디어 프로그램의 적어도 일부를 수신하기 위한 수신기;
    상기 미디어 콘텐츠를 재생하기 위한 재생 유닛; 및
    상기 미디어 프로그램의 상기 재생을 재생 레이턴시에 대한 그의 민감도의 상기 수신된 표시에 기초하여 적응시키기 위한 제어기를 포함하고,
    상기 재생 유닛은 상기 미디어 프로그램의 수신된 세그먼트에 대한 버퍼를 포함하고, 상기 제어기는 재생 레이턴시에 대한 상기 미디어 프로그램의 민감도의 상기 표시가 적응시킬 상기 전달 채널의 이전 또는 후속 미디어 프로그램에 대해 변경되는 경우에 상기 미디어 프로그램에 대한 재생 속도를 적응시킴으로써, 버퍼링된 프로그램 데이터의 양을 상기 프로그램 데이터가 재생되기 전에 적응시키는, 디바이스.
  12. 제11항에 있어서, 추가적인 미디어 콘텐츠를 삽입하거나 미디어 콘텐츠를 제거하기 위해 상기 수신된 미디어 프로그램의 콘텐츠를 적응시키는 미디어 콘텐츠 수정기를 더 포함하는, 디바이스.
  13. 제11항 또는 제12항에 있어서, 재생 레이턴시에 대한 미디어 프로그램의 상기 민감도의 표시를 수신하기 위한 상기 수신기는 상기 미디어 프로그램의 메타데이터를 디코딩하는 것 및 대역내 이벤트를 수신하는 것 중 적어도 하나를 수행하도록 구성되는, 디바이스.
  14. 전달 채널을 통한 미디어 콘텐츠의 전달을 위한 시스템으로서,
    상기 미디어 콘텐츠는 각각의 콘텐츠 타입을 갖는 연속적인 미디어 프로그램을 포함하고, 상기 시스템은:
    상기 전달 채널을 통한 연속적인 전달을 위해 상기 미디어 프로그램을 스케줄링하는 스케줄러;
    상기 미디어 프로그램을 연속적인 미디어 스트림에 패키징하는 적어도 하나의 패키저(packager)를 포함하고, 상기 패키저는 재생 레이턴시에 대한 상기 미디어 프로그램의 상기 민감도의 표시를 상기 미디어 스트림에 추가하도록 구성되고, 재생 레이턴시에 대한 미디어 프로그램의 상기 민감도는 상기 미디어 프로그램의 상기 콘텐츠 타입과 연관되는, 시스템.
  15. 제14항에 있어서, 재생 레이턴시에 대한 상기 미디어 프로그램의 상기 민감도에 따라 상기 미디어 프로그램에 대한 인코딩 모드를 적응시키는 것을 추가로 포함하는, 시스템.
  16. 제14항 또는 제15항에 있어서, 상기 패키저는 재생 레이턴시에 대한 상기 미디어 프로그램의 상기 민감도의 상기 표시를 상기 미디어 프로그램의 메타데이터에 패키징하는 것 및 재생 레이턴시의 변화를 대역내 이벤트를 통해 시그널링하는 것 중 적어도 하나를 수행하도록 구성되는, 시스템.
KR1020227001672A 2019-07-17 2020-07-15 콘텐츠 전달을 위한 레이턴시 관리 KR20220024655A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962875063P 2019-07-17 2019-07-17
EP19186801 2019-07-17
US62/875,063 2019-07-17
EP19186801.7 2019-07-17
PCT/EP2020/070042 WO2021009255A1 (en) 2019-07-17 2020-07-15 Latency management for content delivery

Publications (1)

Publication Number Publication Date
KR20220024655A true KR20220024655A (ko) 2022-03-03

Family

ID=71575408

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227001672A KR20220024655A (ko) 2019-07-17 2020-07-15 콘텐츠 전달을 위한 레이턴시 관리

Country Status (7)

Country Link
US (1) US20220256236A1 (ko)
EP (1) EP4000275A1 (ko)
JP (1) JP7372354B2 (ko)
KR (1) KR20220024655A (ko)
CN (1) CN114080816A (ko)
BR (1) BR112021025587A2 (ko)
WO (1) WO2021009255A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230046801A (ko) * 2021-09-30 2023-04-06 삼성전자주식회사 디스플레이 장치 및 그 동작 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004019530A1 (en) * 2002-02-15 2004-03-04 Visible World, Inc. System and method for seamless switching through buffering
US7289451B2 (en) * 2002-10-25 2007-10-30 Telefonaktiebolaget Lm Ericsson (Publ) Delay trading between communication links
US20050166135A1 (en) 2004-01-05 2005-07-28 Burke David G. Apparatus, system and method for synchronized playback of data transmitted over an asynchronous network
US8341282B2 (en) * 2006-11-21 2012-12-25 Verizon Patent And Licensing Inc. Hybrid buffer management
US20080232763A1 (en) * 2007-03-15 2008-09-25 Colin Brady System and method for adjustment of video playback resolution
US8468571B2 (en) * 2007-12-21 2013-06-18 General Instrument Corporation Enabling trick plays during VBR playback of a CBR transmitted media file
CN101466034A (zh) * 2008-12-25 2009-06-24 华为技术有限公司 发送、播放流媒体数据的方法和装置及流媒体点播系统
CN101583025B (zh) * 2009-06-11 2011-05-11 中兴通讯股份有限公司 一种流媒体播放方法及装置
TWI501580B (zh) * 2009-08-07 2015-09-21 Dolby Int Ab 資料串流的鑑別
US9086995B2 (en) * 2012-10-04 2015-07-21 Sony Computer Entertainment America, LLC Method and apparatus for improving decreasing presentation latency
US9306987B2 (en) 2014-04-29 2016-04-05 Cisco Technology, Inc. Content message for video conferencing
KR102389312B1 (ko) 2014-07-08 2022-04-22 삼성전자주식회사 멀티미디어 데이터를 전송하는 방법 및 장치
CN105429984B (zh) * 2015-11-27 2019-03-15 刘军 媒体播放方法、设备及音乐教学系统
CN108235136B (zh) * 2018-03-15 2021-06-01 青岛海信传媒网络技术有限公司 一种数据播放方法及终端设备

Also Published As

Publication number Publication date
WO2021009255A1 (en) 2021-01-21
WO2021009255A9 (en) 2021-03-25
US20220256236A1 (en) 2022-08-11
JP7372354B2 (ja) 2023-10-31
EP4000275A1 (en) 2022-05-25
JP2022542767A (ja) 2022-10-07
CN114080816A (zh) 2022-02-22
BR112021025587A2 (pt) 2022-02-01

Similar Documents

Publication Publication Date Title
KR101343172B1 (ko) 다중-코딩된 콘텐츠 교체
AU2013248891B2 (en) Method and system for inserting content into streaming media at arbitrary time points
US9538257B2 (en) System and method for seamless switching through buffering
US9124947B2 (en) Averting ad skipping in adaptive bit rate systems
US11722711B2 (en) System and method for data stream fragmentation
US8402485B2 (en) Advertisement inserting VOD delivery method and VOD server
US8411569B2 (en) Method of splicing encoded multimedia data streams
WO2004019530A1 (en) System and method for seamless switching through buffering
CN109792546B (zh) 从服务器向客户端设备传送视频内容的方法
US20220286720A1 (en) Systems and methods for localized adaptive content distribution
AU2013283255A1 (en) Provision of a personalized media content
CN113727199A (zh) 一种hls切片快速起播方法
KR20220024655A (ko) 콘텐츠 전달을 위한 레이턴시 관리
RU2789776C1 (ru) Управление временем задержки для доставки контента
CN113132806B (zh) 一种播放终端及其节目播放方法
EP4195626A1 (en) Streaming media content as media stream to a client system
WO2022177875A1 (en) Dynamic supplemental content for recorded content