KR20190021250A - 트릭-플레이 재생 동안 오디오 콘텐트를 제공하기 위한 방법들 및 시스템들 - Google Patents

트릭-플레이 재생 동안 오디오 콘텐트를 제공하기 위한 방법들 및 시스템들 Download PDF

Info

Publication number
KR20190021250A
KR20190021250A KR1020187037237A KR20187037237A KR20190021250A KR 20190021250 A KR20190021250 A KR 20190021250A KR 1020187037237 A KR1020187037237 A KR 1020187037237A KR 20187037237 A KR20187037237 A KR 20187037237A KR 20190021250 A KR20190021250 A KR 20190021250A
Authority
KR
South Korea
Prior art keywords
content
audio content
playback device
display
segments
Prior art date
Application number
KR1020187037237A
Other languages
English (en)
Other versions
KR102054654B1 (ko
Inventor
윌리엄 프란츠
에릭 윌리엄 그랩
Original Assignee
디빅스, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디빅스, 엘엘씨 filed Critical 디빅스, 엘엘씨
Publication of KR20190021250A publication Critical patent/KR20190021250A/ko
Application granted granted Critical
Publication of KR102054654B1 publication Critical patent/KR102054654B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Transfer Between Computers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Abstract

본 발명의 실시예들에 따라 트릭-플레이 모드 동안 오디오 콘텐트의 재생을 제공하기 위한 방법들 및 시스템들이 개시된다. 미디어 콘텐트는 오디오 콘텐트 및 비디오 콘텐트를 포함한다. 오디오 콘텐트는 세그먼트들로 분할되고 비디오 콘텐트는 프레임들을 포함한다. 동기화 정보는 오디오 콘텐트의 세그먼트들의 각각의 표시 시간과 비디오 콘텐트의 이미지들과 연관된 하나 이상의 프레임들의 표시 시간을 연관시킨다. 트릭-플레이 모드가 요청될 때, 표시할 비디오 콘텐트로부터의 다음 프레임이 결정된다. 동기화 정보는 다음 프레임과 연관된 오디오 콘텐트의 세그먼트들을 결정하기 위해 사용된다. 오디오 콘텐트의 결정된 세그먼트들은 트릭-플레이 모드로 디스플레이된다.

Description

트릭-플레이 재생 동안 오디오 콘텐트를 제공하기 위한 방법들 및 시스템들
본 발명은 일반적으로 적응적 스트림에 관한 것이고, 특히 재생의 트릭-플레이 모드 동안 오디오 콘텐트를 제공할 수 있는 스트리밍 시스템들에 관한 것이다.
스트리밍 미디어라는 용어는 재생 디바이스상에 미디어의 재생을 말하고, 미디어는 서버상에 저장되고 재생 동안 네트워크를 통해 재생 디바이스로 계속 전송된다. 일반적으로, 재생 디바이스는 재생 디바이스가 미디어의 다음 부분의 수신 전에 모든 버퍼링된 미디어의 재생을 완료하기 때문에 재생의 중단을 방지하기 위해 재생 동안 임의의 주어진 시간에 버퍼에 충분한 양의 미디어를 저장한다. 적응적 비트 레이트 스트리밍 또는 적응적 스트리밍은 실시간으로 현재 스트리밍 상태들(예를 들면, 사용자의 네트워크 대역폭 및 CPU 용량)을 검출하는 것 및 그에 따라 스트리밍된 미디어의 양을 조정하는 것을 포함한다. 일반적으로, 소스 미디어는 다수의 비트레이트들로 인코딩되고, 재생 디바이스 또는 클라이언트는 이용 가능한 자원들에 따라 상이한 인코딩들을 스트리밍하는 것 사이에서 스위칭한다.
적응적 스트리밍 해결책들은 일반적으로 서버와 재생 디바이스간에 미디어를 스트리밍하기 위해, RFC 2616으로서 인터넷 엔지니어링 태스크 포스 및 월드와이드 웹 컨소시엄에 의해 공개된 하이퍼텍스트 전송 프로토콜(Hypertext Transfer Protocol; HTTP), 또는 RFC 2326으로서 인터넷 엔지니어링 태스크 포스에 의해 공개된 실시간 스트리밍 프로토콜(Real Time Streaming Protocol; RTSP)을 이용한다. HTTP는 재생 디바이스가 파일 내 바이트 범위를 요청하게 하는 무상태 프로토콜이다. HTTP는 무상태로서 칭해지는데, 이는 서버가 정보를 요청하는 재생 디바이스의 상태 또는 재생 디바이스로부터 수신된 요청들에 응답하기 위해 재생 디바이스에 의해 요청된 바이트 범위들에 관한 정보를 기록하도록 요청되지 않기 때문이다. RTSP는 스트리밍 미디어 서버들을 제어하기 위해 사용된 네트워크 제어 프로토콜이다. 재생 디바이스들은 미디어 파일들의 재생을 제어하기 위해 미디어를 스트리밍하는 서버로 "재생" 및 "정지"와 같은 제어 명령들을 발행한다. RTSP가 이용될 때, 미디어 서버는 각각의 클라이언트 디바이스의 상태를 기록하고 클라이언트 디바이스들로부터 수신된 명령들 및 클라이언트의 상태에 기초하여 스트리밍할 미디어를 결정한다.
적응적 스트리밍 시스템들에서, 소스 미디어는 일반적으로 실제 비디오 및 오디오 데이터를 포함하는 다수의 대안적인 스트림들을 지시하는 상위 레벨 인덱스 파일로서 미디어 서버상에 저장된다. 각각의 스트림은 일반적으로 하나 이상의 컨테이너 파일들에 저장된다. 상이한 적응적 스트리밍 솔루션들은 일반적으로 상이한 인덱스 및 미디어 컨테이너들을 이용한다. 월드 와이드 웹 컨소시엄에 의해 개발된 동기식 멀티미디어 통합 언어(Synchronized Multimedia Integration Language; SMIL)은 워싱턴주 레드몬드의 마이크로소프트사에 의해 개발된 IIS 스무스 스트리밍(Smooth Streaming) 및 캘리포니아주, 새너제이의 어도비 시스템즈사에 의해 개발된 플래시 동적 스트리밍을 포함하는 몇개의 적응적 스트리밍 솔루션들을 생성하기 위해 이용된다. 캘리포니아주, 쿠퍼티노의 애플 컴퓨터사에 의해 개발된 HTTP 적응적 비트레이트 스트리밍은 확장형 M3U 플레이리스트 파일(.M3U8)를 사용하는 인덱스 파일들을 구현하고, 이는 일반적으로 미디어 콘텐트 파일을 식별하는 URI들의 리스트를 포함하는 텍스트 파일이다. 가장 일반적으로 사용된 미디어 컨테이너 포맷들은 MPEG-4 파트 14(즉 ISO/IEC 14496-14)에서 지정된 MP4 컨테이너 포맷 및 MPEG-2 파트 1(즉, ISO/IEC 표준 13818-1)에서 지정된 MPEG 전송 스트림(TS) 컨테이너이다. MP4 컨테이너 포맷은 IIS 스무스 스트리밍 및 플래시 동적 스트리밍에서 이용된다. TS 컨테이너는 HTTP 적응적 비트레이트 스트리밍에서 사용된다.
마트로스카 컨테이너는 프랑스 오손느의 마트로스카 비영리 조직에 의한 개방된 표준 프로젝트로서 개발된 미디어 컨테이너이다. 마트로스카 컨테이너는 확장성 생성 언어(Extensible Markup Language; XML)의 2진 파생어인 확장성 2진 메타 언어(Extensible Binary Meta Language; EBML)에 기초한다. 마트로스카 컨테이너의 디코딩은 많은 소비자 전자(CE) 디바이스들에 의해 지원된다. 캘리포니아, 샌디에이고의 DivX, LLC에 의해 개발된 DivX 플러스 파일 포맷은 마트로스카 컨테이터 포맷의 확장을 이용한다(즉, 마트로스카 컨테이너 포맷에 기초하지만, 마트로스카 포맷 내에 지정되지 않은 요소들을 포함하는).
인터넷을 통해 미디어 콘텐트의 전달을 위한 일관된 수단을 제공하기 위해, 국제 표준화 기구(International Organization for Standardization; ISO) 및 국제전기기술위원회(International Electronical Committee; IEC)는 HTTP 동적 적응적 스트리밍(Dynamic Adaptive Streaming over HTTP; DASH) 표준을 제안했다. DASH 표준은 HTTP를 사용하여 MPEG 콘텐트의 전달을 위해 콘텐트의 설명 및 미디어 콘텐트에 대한 포맷들을 지정한다. DASH에 따라서, 표시를 위한 미디어 콘텐트의 각각의 성분은 하나 이상의 스트림들에 저장된다. 스트림들의 각각은 세그먼트들로 분할된다. 미디어 표시 기술(Media Presentation Description; MPD)은 스트림의 각각의 세그먼트들에 대한 정보 및 재생 동안 미디어 콘텐트를 표시하기 위해 필요한 다른 정보를 포함하는 데이터 구조이다. 재생 디바이스는 재생을 위한 적응적 비트 레이트 스트리밍을 사용하여 미디어 콘텐트의 구성 요소들을 획득하기 위해 MPD를 사용한다.
콘텐트가 적응적으로 스트리밍될 수 있는 레이턴시가 향상되었기 때문에, 스포팅 이벤트들 및 콘서트들과 같은 라이브 이벤트들의 스트리밍은 대중적이 되기 시작했다. 이러한 형태의 콘텐트에서, 콘텐트의 오디오 부분은 사용자에게 관심이 있을 수 있는 부분들의 표시를 제공할 수 있다. 이와 같이, 사용자들은 관심이 있는 콘텐트의 부분들을 찾기 위해 미디어 콘텐트를 검색할 때 오디오 큐들(audio cues)을 사용하기를 원할 수 있다. 그러나, 가장 관습적인 재생 디바이스들은 되감기, 빨리 감기와 같은 트릭-플레이 특징들의 사용 동안 오디오 콘텐트의 재생을 제공하지 않고 관심 콘텐트를 찾기를 탐색하지 않는다. 본 발명의 일부 실시예들에 따라 트릭-플레이 모드에서 재생 동안 오디오 콘텐트의 재생을 제공하기 위한 방법들 및 시스템들이 개시된다.
본 발명의 목적은 트릭-플레이 재생 동안 오디오 콘텐트를 제공하기 위한 방법들 및 시스템들을 제공하는 것이다.
본 발명의 일부 실시예들에 따라, 재생 디바이스는 다음의 방식으로 오디오 콘텐트를 트릭-플레이 재생에 제공하기 위한 프로세스를 수행하도록 구성되고, 재생 디바이스는 재생 디바이스의 버퍼에 미디어 콘텐트의 비디오 콘텐트 부분의 프레임들 및 오디오 콘텐트 부분의 세그먼트들을 저장한다. 동기화 정보는 재생 디바이스의 메모리에 저장된다. 동기화 정보는 오디오 콘텐트 부분의 하나 이상의 세그먼트들의 각각의 표시 시간을 비디오 콘텐트의 하나 이상의 프레임들의 표시 시간과 연관시킨다. 재생 디바이스는 트릭-플레이 모드에서 미디어 콘텐트의 재생을 위한 명령들을 수신한다. 표시할 다음 프레임은 트릭-플레이 모드에 기초하여 재생 디바이스에 의해 결정된다. 다음 프레임과 연관된 오디오 콘텐트의 각각의 세그먼트는 메모리에 저장된 동기화 정보로부터 결정된다. 재생 디바이스는 트릭-플레이 모드에서 재생 동안 다음 프레임과 연관된 오디오 콘텐트의 세그먼트들의 각각을 표시한다.
일부 실시예들에 따라, 결정된 다음 프레임이 재생 디바이스의 디스플레이상에 표시된다. 이들 실시예들 중 일부에 따라, 다음 프레임과 연관된 오디오 콘텐트의 각각의 세그먼트는 다음 프레임의 표시와 동시에 표시된다. 이들 실시예들 중 일부 다른 것에 따라, 재생 디바이스는 오디오 콘텐트의 연관된 세그먼트들의 결정에 응답하여 다음 프레임과 연관된 오디오 콘텐트의 각각의 세그먼트를 대기 행렬(queue)에 추가하고, 다음 프레임과 연관된 오디오 콘텐트의 각각의 세그먼트는 대기 행렬에 기초하여 표시되고 재생 디바이스의 디스플레이상에 비디오 콘텐트로부터 다음 프레임의 표시에 관계 없다.
일부 실시예들에 따라, 재생 디바이스는 비디오 콘텐트로부터 다음 프레임의 표시 시간을 나타내는 비디오 콘텐트에 대한 스크러버(scrubber)의 디스플레이를 생성하고 디스플레이상의 이미지의 표시 위에 비디오 콘텐트에 대한 스크러버의 디스플레이를 오버레이한다. 다수의 실시예들에 따라, 재생 디바이스는 다음 프레임과 연관된 오디오 콘텐트의 각각의 세그먼트의 표시 시간을 나타내는 오디오 콘텐트에 대한 스크러버의 디스플레이를 생성하고, 디스플레이상의 이미지의 표시 위에 오디오 콘텐트에 대한 스크러버의 디스플레이를 오버레이한다. 다수의 실시예들에 따라, 오디오 콘텐트에 대한 스크러버는 디스플레이에서 비디오 콘텐트에 대한 스크러버로부터 분리된다.
다수의 실시예들에 따라, 오디오 콘텐트 부분의 세그먼트들에 대한 데이터, 비디오 콘텐트의 복수의 프레임들에 대한 데이터, 및 동기화 정보는 적응적 비트레이트 스트리밍을 사용하여 네트워크를 통해 콘텐트 제공자 시스템으로부터 재생 디바이스에 수신된다. 다수의 이들 실시예들에 따라, 데이터를 수신하는 것은 다음의 방식으로 수행된다. 재생 디바이스는 네트워크를 통해 콘텐트 제공자 시스템으로부터 상위 레벨 인덱스 파일을 수신한다. 상위 레벨 인덱스 파일들은 비디오 콘텐트의 대안적인 스트림들로서, 복수의 대안적인 스트림들의 적어도 일 부분이 상이한 최대 비트레이트들에서 인코딩되는, 상기 비디오 콘텐트의 대안적인 스트림들 및 오디오 콘텐트의 적어도 하나의 스트림을 식별한다. 재생 디바이스는 재생 디바이스와 콘텐트 제공자 시스템 사이의 네트워크 대역폭에 기초하여 대안적인 스트림들을 사용하여 콘텐트 제공자로부터 비디오 콘텐트의 부분들을 요청하고, 요청들에 응답하여 비디오 콘텐트의 요청된 부분들을 재생 디바이스에서 수신한다. 재생 디바이스는 수신된 비디오 콘텐트의 부분들로부터 비디오 콘텐트의 프레임들을 생성하고 버퍼에 복수의 프레임들을 저장한다. 재생 디바이스는 또한 콘텐트 제공자 시스템으로부터 오디오 콘텐트의 적어도 하나의 스트림들로부터의 오디오 콘텐트의 부분들을 요청하고, 오디오 콘텐트의 요청된 부분들을 수신하고, 수신된 오디오 콘텐트의 부분들로부터 오디오 콘텐트의 세그먼트들을 생성하고, 오디오 콘텐트의 세그먼트들을 버퍼에 저장한다. 재생 디바이스는 상위 레벨 인덱스 파일의 정보에 기초하여 콘텐트 제공자 시스템으로부터 동기화 정보를 획득하고 재생 디바이스의 메모리에 동기화 정보를 저장한다. 이들 실시예들의 일부에 따라, 동기화 정보는 상위 레벨 인덱스 파일로부터 동기화 정보를 포함하는 파일에 대한 포인터를 판독하고, 재생 디바이스를 사용하여 콘텐트 제공자 시스템으로부터 파일을 요청하고, 재생 디바이스에서 요청된 파일을 수신함으로써 획득된다.
도 1은 본 발명의 일 실시예에 따라 적응적 비트레이트 스트리밍 시스템의 네트워크도.
도 2는 재생 디바이스에서 처리 시스템과 같은 처리 시스템의 구성 요소들의 블록도.
도 3은 본 발명의 일 실시예에 따라 인코딩 시스템, 및/또는 콘텐트 제공자 시스템에서 처리 시스템과 같은 처리 시스템을 도시하는 도면.
도 4는 본 발명의 일 실시예에 따라 세그먼트들로 나눠지는 오디오 데이터의 적어도 하나의 스트림 및 프레임들을 포함하는 비디오 콘텐트의 적어도 하나의 스트림을 포함하는 미디어 콘텐트의 스트림들을 인코딩하고 오디오 콘텐트의 하나 이상의 세그먼트들을 비디오 콘텐트의 프레임과 연관시키는 동기화 데이터를 생성하도록 인코딩 시스템에 의해 수행된 프로세스의 흐름도.
도 5는 본 발명의 일 실시예에 따라 미디어 콘텐트에 대한 동기화 정보뿐만 아니라 미디어 콘텐트의 오디오 및 비디오 콘텐트를 획득하기 위해 재생 디바이스에 의해 수행된 프로세스의 흐름도.
도 6은 본 발명의 일 실시예에 따라 적응적 비트레이트 스트리밍을 사용하여 미디어 콘텐트에 대한 동기화 정보뿐만 아니라 미디어 콘텐트에 대한 오디오 및 비디오 콘텐트를 획득하기 위해 재생 디바이스에 의해 수행된 프로세스의 흐름도.
도 7은 본 발명의 일 실시예에 따라 트릭-플레이 모드에서 미디어 콘텐트의 재생 동안 오디오 콘텐트를 제공하기 위해 재생 디바이스에 의해 수행된 프로세스에 대한 흐름도.
도 8은 본 발명의 일 실시예에 따라 트릭-플레이 모드 동안 오디오 콘텐트를 제공하는 재생 동안 디스플레이의 스크린 샷을 도시하는 도면.
지금 도면들로 돌아오면, 본 발명의 일부 실시예들에 따라 트릭-플레이 모드에서 비디오 콘텐트의 재생 동안 오디오 콘텐트의 재생을 제공하는 방법들 및 시스템들이 도시된다. 이러한 논의의 목적을 위해, 트릭-플레이 모드는 비디오 콘텐트가 의도된 표시 시간에 따라 비디오 콘텐트의 순차적인 표시와 다른 방식으로 표시되는 모드이다. 트릭-플레이 모드들의 예들은 되감기, 빨리 감기, 및 탐색을 포함하지만 그로 한정되지 않는다. 일부 실시예들에 따라, 트릭-플레이 모드는 재생 디바이스가 특정한 트릭-플레이 모드를 나타내는 명령을 사용자로부터 수신하는 것에 의해 나타내진다. 재생 디바이스는 이후 다음에 디스플레이할 비디오 콘텐트의 이미지 및 이미지와 연관된 비디오 콘텐트의 프레임을 결정함으로써 트릭 모드 플레이를 시작한다. 여러 실시예들에서, 재생 디바이스는 이후 프레임과 연관된 오디오 콘텐트의 하나 이상의 세그먼트들을 결정한다. 이미지는 이후 재생 디바이스의 디스플레이상에 표시되고 오디오 콘텐트의 세그먼트는 재생 디바이스의 오디오 시스템을 통해 표시된다.
일부 실시예들에 따라, 오디오 콘텐트의 세그먼트는 단지 연관된 프레임(들)이 표시되는 한에서만 표시된다. 일부 다른 실시예들에 따라, 오디오 데이터의 세그먼트의 전체는 표시될 현재 프레임에 관계 없이 재생된다. 다수의 이들 실시예들에 따라, 재생할 오디오 콘텐트의 세그먼트들의 대기 행렬은 유지되고 세그먼트들은 디스플레이되는 프레임들에 상관없이 순차적인 순서로 대기 행렬로부터 재생된다. 다수의 이들 실시예들에 따라, 오디오 콘텐트의 세그먼트가 종료하고 현재 프레임과 연관된 오디오 콘텐트가 표시될 때, 표시될 현재 프레임이 결정되고, 이는 가청의 콘텐트의 이전 세그먼트가 표시되는 동안 표시되는 프레임들과 연관되는 대기 행렬에서 오디오 콘텐트의 세그먼트들이 스킵되게 할 수 있다. 일부 실시예들에 따라, 하나 이상의 가청의 세그먼트의 표시가 프레임 종료들과 연관될 때, 프레임(들)이 여전히 표시되는 경우, 프레임(들)과 연관된 하나 이상의 오디오 세그먼트들의 표시는 반복된다.
일부 실시예들에 따라, 비디오 콘텐트의 프레임들과 오디오 데이터의 세그먼트들의 연관을 나타내는 동기화 정보는 인코딩 디바이스에 의해 생성된다. 일부 실시예들에 따라, 동기화 정보는 언어 코멘터리 및/또는 대화에 비디오 표시 시간들을 연관시키는 서브타이틀 트랙 또는 폐쇄된 캡션 트랙(closed caption track)으로부터 결정될 수 있다. 이들 실시예들 중 몇몇에 따라, 동기화 정보는 오디오 및/또는 비디오 콘텐트를 저장하는 파일들에 저장된다. 다수의 다른 실시예들에 따라, 동기화 정보는 미디어 콘텐트와 연관된 인덱스 파일에 저장된다. 동기화 정보는 재생의 시작시에 검색되고 트릭-플레이 모드가 요청될 때 사용을 위해 저장될 수 있다.
다수의 실시예들에 따라, 트릭-플레이 모드 동안 오디오 재생을 제공하는 재생 디바이스는 미디어 콘텐트를 획득하기 위해 적응적 비트레이트 스트리밍을 사용한다. 이들 실시예들 중 일부에 따라, 미디어 콘텐트는 DASH 표준들에 따라 스트림들에 저장된다. 그러나, 당업자는 마트로스카(MKV) 컨테이너 파일 포맷과 같지만 그로 한정되지 않는 포맷들이 본 발명을 벗어나지 않고 미디어 콘텐트의 스트림들을 저장하기 위해 사용될 수 있는 것을 인식할 것이다.
본 발명의 일부 실시예들에 따라 적응적 비트레이트 스트리밍 시스템의 성능은 비디오의 부분이 인트라-프레임인 순간 디코더 리프레시(Instantaneous Decoder Refresh; IDR) 프레임과 함께 시작하는 단일(또는 적어도 하나의) 폐쇄 집단 픽처들(closed group of pictures; GOP)로서 각각의 스트림에 인코딩되는 방식으로 대안적인 스트림들의 각각에 소스 비디오의 각각의 부분을 인코딩함으로써 상다히 향상될 수 있다. 재생 디바이스는 클러스터의 재생의 완료에서 정상 재생 동안 사용된 대안적인 스트림들 사이에서 스위칭할 수 있고, 클러스터가 획득되는 스트림과 관계 없이, 클러스터에서 제 1 프레임은 클러스터 소자 내에 포함된 인코딩된 미디어와 다른 임의의 인코딩된 미디어를 참조하지 않고 디코딩될 수 있는 IDR 프레임일 것이다.
다수의 실시예들에서, 재생 디바이스는 상위 레벨 인덱스 파일 또는 매니페스트 파일로부터 이용 가능한 스트림들의 각각과 연관된 정보를 획득하고, 미디어의 재생시 이용할 하나 이상의 스트림들을 선택한다. 재생 디바이스는 이후 하나 이상의 비트 스트림들 또는 스트림들을 포함하는 컨테이너 파일들로부터 헤더 정보를 획득할 수 있고, 파일 헤더들 및/또는 매니페스트 파일은 스트림들의 디코딩에 관한 정보를 제공할 수 있다. 재생 디바이스는 또한 관련된 컨테이너 파일들 내에 저장된 인코딩된 미디어를 인덱싱하는 인덱스 정보를 요청할 수 있다. 오디오 콘텐트의 세그먼트들을 비디오 콘텐트의 프레임들과 연관시키는 메타데이터를 포함하지만 그로 한정되지 않는 인덱스 정보는 상위 레벨 인덱스에서 또는 별개의 인덱스 파일들에서 컨테이너 파일들과 별개로 컨테이너 파일들 내에 저장될 수 있다. 인덱스 정보는 재생 디바이스가 서버로부터 HTTP를 통해 컨테이너 파일 내 GOP들에 대응하는 바이트 범위들을 요청하게 할 수 있다. 재생 디바이스는 본 발명의 다양한 실시예들에 따라 상위 레벨 인덱스 파일이 수신될 때 인덱스 정보에서 메타데이터 정보를 획득하거나, 상위 레벨 인덱스 파일이 수신된 후 인덱스 정보를 저장하는 파일들을 요청하거나, 또는 인덱스 정보를 저장하는 컨테이너 파일의 부분들을 요청할 수 있다. 재생 디바이스는 일부 실시예들에 따라 대안적인 스트림들로부터 미디어 콘텐트의 부분들을 요청하기 위해 인덱스 정보를 사용한다. 네트워크 상태들에 의해 지원될 수 있는 비트레이트에 인코딩되는 미디어 콘텐트를 갖는 스트림으로부터 인코딩된 콘텐트의 부분들을 요청하는 재생 디바이스에 의해 재생이 계속된다.
본 발명의 일부 실시예들에 따라 적응적 비트레이트 스트리밍을 사용하여 트릭-플레이 모드들 동안 오디오 재생 및 트릭-플레이 모드에서 미디어 콘텐트의 재생을 제공하는 적응적 비트레이트 스트리밍 시스템들에서 사용을 위한 소스 비디오의 인코딩이 이하에 더 논의된다.
적응적 스트리밍 시스템 아키텍처
지금 도 1로 돌아와서, 본 발명의 일 실시예에 따라 트릭-플레이 모드에서 재생 동안 오디오 재생을 제공하는 재생 디바이스들을 포함하는 적응적 스트리밍 시스템이 도시된다. 적응적 스트리밍 시스템(10)은 소스 미디어를 다수의 대안적인 스트림들로서 인코딩하도록 구성된 소스 인코더(12)를 포함한다. 예시된 실시예에서, 소스 인코더는 서버이다. 다른 실시예들에서, 소스 인코더는 소스 미디어(비디오, 오디오, 및/또는 서브타이틀들을 포함하지만 그로 한정되지 않음)의 트랜스코딩을 수행하기 위한 프로세서 및 충분한 자원들을 포함하는 임의의 처리 디바이스일 수 있다. 일반적으로, 소스 인코딩 서버(12)는 스트림들 및/또는 메타데이터 정보를 포함하는 복수의 컨테이너 파일들에 대한 상위 레벨 인덱스를 생성하고,적어도 복수의 컨테이너 파일들은 대안적인 스트림들이다. 대안적인 스트림들은 동일한 미디어 콘텐트를 상이한 방식들로 인코딩하는 스트림들이다. 많은 경우들에서, 대안적인 스트림들은 상이한 최대 비트레이트들에서 미디어 콘텐트(예컨대 비디오 콘텐트 및/또는 오디오 콘텐트이지만, 그로 한정되지 않음)를 인코딩한다. 다수의 실시예들에서, 비디오 콘텐트의 대안적인 스트림들은 상이한 해상도들 및/또는 상이한 프레임 레이트들로 인코딩된다. 상위 레벨 인덱스 파일 및 컨테이너 파일들은 HTTP 서버(14)로 업로드된다. 다양한 재생 디바이스들이 이후 인터넷과 같은 네트워크(16)를 통해 상위 레벨 인덱스 파일, 다른 인덱스 파일들, 및/또는 컨테이너 파일들의 부분들을 요청하기 위해 HTTP 또는 다른 적절한 무상태 프로토콜을 사용할 수 있다.
도시된 실시예에서, 재생 디바이스들은 개인용 컴퓨터들(18), CE 플레이어들, 및 이동 전화들(20)을 포함한다. 다른 실시예들에서, 재생 디바이스들은 DVD 플레이어들, 블루-레이 플레이어들, 텔레비전들, 셋 탑 박스들, 비디오 게임 콘솔들, 태블릿들, 및 HTTP를 통해 서버에 접속하고 인코딩된 미디어를 재생할 수 있는 다른 디바이스들과 같은 소비자 전자 장치들을 포함할 수 있다. 특정한 아키텍처가 도 1에 도시되지만, 재생 디바이스들이 본 발명의 실시예들에 따라 상위 레벨 인덱스 파일 및 컨테이너 파일들의 부분들을 요청하게 하는, 종래의 스트리밍을 수행하고 적응적 비트레이트 스트리밍을 수행하지 않는 시스템들을 포함하는 다양한 아키텍처들 중 임의의 것이 이용될 수 있다.
재생 디바이스
본 발명의 실시예들에 따라 방법들 및 구성 시스템들을 제공하는 일부 프로세스들은 재생 디바이스에 의해 실행된다. 본 발명의 일 실시예에 따라 프로세스들을 수행할 수 있는 재생 디바이스의 관련 구성 요소들이 도 2에 도시된다. 당업자는 본 발명의 설명된 실시예들로부터 벗어나지 않고 간결함을 위해 생략되는 다른 구성요소들을 포함할 수 있다. 재생 디바이스(200)는 프로세서(205), 비휘발성 메모리(210), 및 휘발성 메모리(215)를 포함한다. 프로세서(205)는 프로세서, 마이크로프로세서, 제어기, 또는 메모리에 저장된 데이터를 조작하기 위해 휘발성 메모리(215) 또는 비휘발성 메모리(210)에 저장된 명령들을 수행하는 프로세서들, 마이크로프로세서, 및/또는 제어기들의 조합이다. 비휘발성 메모리(210)는 본 발명의 실시예들에 따른 프로세스들을 포함하는 프로세스들을 수행하도록 재생 디바이스(200)를 구성하기 위해 이용된 프로세서 명령들 및/또는 이용되는 프로세스들에 대한 데이터를 저장할 수 있다. 일부 실시예들에 따라, 이들 명령들은 재생 디바이스상에 미디어 콘텐트의 재생을 수행하는 재생 애플리케이션에 포함된다. 다양한 실시예들에 따라, 재생 디바이스 소프트웨어 및/또는 펌웨어는 특정 애플리케이션에 적절한 다양한 비일시적 컴퓨터 판독 가능한 매체들 중 임의의 것에 저장될 수 있다.
서버들
본 발명의 실시예들에 따라 방법들 및 시스템들을 제공하기 위한 일부 프로세스들은 HTTP 서버; 소스 인코딩 서버; 및/또는 로컬 및 네트워크 시간 서버들에 의해 실행된다. 본 발명의 실시예들에 따라 이들 프로세스들 중 하나 이상을 수행하는 서버의 관련 구성 요소들이 도 3에 도시된다. 당업자는 서버가 본 발명의 설명된 실시예들로부터 벗어나지 않고 간략함을 위해 생략되는 다른 구성 요소들을 포함할 수 있다는 것을 인식할 것이다. 서버(300)는 프로세서(305), 비휘발성 메모리(310), 및 휘발성 메모리(315)를 포함한다. 프로세서(305)는 프로세서, 마이크로프로세서, 제어기, 또는 메모리에 저장된 데이터를 조작하기 위해 휘발성 메모리(315) 및 비휘발성 메모리(310)에 저장된 명령들을 수행하는 프로세서들, 마이크로프로세서, 및/또는 제어기들의 조합이다. 비휘발성 메모리(310)는 본 발명의 실시예들에 따라 프로세스들을 포함하는 프로세스들을 수행하도록 서버(300)를 구성하기 위해 이용된 프로세서 명령들 및/또는 이용되는 프로세스들에 대한 데이터를 저장할 수 있다. 일부 실시예들에 따라, 미디어 콘텐트의 인코딩을 수행하기 위한 명령들은 인코딩 애플리케이션의 부분이다. 다양한 실시예들에 따라, 서버 소프트웨어 및/또는 펌웨어는 특정한 애플리케이션에 적절한 다양한 비일시적 컴퓨터 판독 가능한 매체들 중 임의의 것에 저장될 수 있다. 특정한 서버가 도 3에 도시되지만, 임의의 수의 프로세스들을 수행하도록 구성된 다양한 서버 중 임의의 것이 본 발명의 실시예들에 따라 이용될 수 있다.
대안적인 스트림들에 가청의 및 비디오 콘텐트의 스트림들 및 동기화 정보의 인코딩
일부 실시예들에 따라, 트릭-플레이 모드에서 재생 동안 가청 콘텐트를 제공하는 재생 디바이스는 비디오 콘텐트 및 오디오 콘텐트를 포함하는 미디어 콘텐트; 및 적응적 비트레이트 스트리밍을 사용하여 콘텐트 제공자 시스템으로부터 비디오 콘텐트의 프레임들에 오디오 콘텐트의 세그먼트들을 연관시키는 동기화 정보를 수신한다. 적응적 비트레이트 스트리밍을 통해 미디어 콘텐트를 제공하기 위해 요청된 데이터를 제공하기 위해, 오디오 콘텐트 및 비디오 콘텐트는 스트림들에 인코딩될 수 있고, 오디오 콘텐트 및 비디오 콘텐트에 대한 동기화 정보는 정보가 재생 디바이스에 제공될 수 있는 방식으로 생성 및 저장될 수 있다. 일부 실시예들에 따라, 오디오 콘텐트는 특정한 최대 비트레이트에서 하나의 스트림에 인코딩되고; 비디오 콘텐트는 상이한 네트워크 트래픽 상태들을 경험하는 상이한 재생 디바이스들에 의해 사용을 위해 변하는 최대 비트레이트들, 해상도들, 종횡비들 등에서 인코딩되는 다수의 스트림들로 인코딩된다. 일부 다른 실시예들에 따라, 오디오 콘텐트는 변하는 최대 비트레이트에서 다수의 스트림들에 인코딩되고; 비디오 콘텐트는 상이한 네트워크 트래픽 상태들을 경험하는 상이한 재생 디바이스들에 의한 사용을 위해 변하는 최대 비트레이트들, 해상도들, 종횡비들 등에서 인코딩되는 다수의 스트림들로 인코딩된다. 다수의 실시예들에서, 비디오 콘텐트는 재생 동안 트릭-플레이 모드들을 제공할 때 사용을 위해 비디오 콘텐트의 특정한 부분들만을 포함하는 트릭-플레이 스트림들로 또한 인코딩될 수 있다.
일부 실시예들에 따라, 동기화 정보는 상위 레벨 인덱스 파일에 저장된 인덱스 정보에 포함된다. 다수의 실시예들에 따라, 동기화 정보는 상위 레벨 인덱스 파일에 의해 지시된 인덱스 파일에 저장된다. 다수의 실시예들에 따라, 동기화 정보는 오디오 콘텐트 및/또는 비디오 콘텐트의 스트림들의 부분들을 저장하는 파일들 내 메타데이터로서 저장될 수 있다. 일부 실시예들에 따라, 동기화 정보는 언어 코멘터리 및 대화에 비디오 표시 시간을 연관시키는 서브타이틀 트랙 또는 폐쇄 캡션 트랙으로부터 결정될 수 있다. 본 발명의 일 실시예에 따라 동기화 정보 뿐만 아니라 오디오 콘텐트 및 비디오 콘텐트를 포함하는 미디어 콘텐트를 인코딩하기 위한 인코더 서버 시스템에 의해 수행된 프로세스가 도 4에 도시된다.
프로세스(400)는 인코딩될 미디어 콘텐트의 수신에 의해 시작한다(405). 미디어 콘텐트는 오디오 콘텐트 및 비디오 콘텐트를 포함한다. 본 발명의 일부 실시예들에 따라, 오디오 콘텐트는 세그먼트들로 분할되고 비디오 콘텐트는 프레임들을 포함하고, 각각의 프레임은 비디오 콘텐트의 하나 이상의 이미지들에 대한 정보를 제공한다. 프로세스(400)는 이후 오디오 콘텐트 및 비디오 콘텐트를 스트림들로 인코딩한다(410). 다수의 실시예들에 따라, 오디오 콘텐트는 특정한 최대 비트레이트에서 하나의 스트림에 인코딩되고; 비디오 콘텐트는 상이한 네트워크 트래픽 상태들을 경험하는 상이한 재생 디바이스들에 의해 사용을 위한 변하는 최대 비트레이트들, 해상도들, 종횡비들 등에서 인코딩되는 다수의 스트림들로 인코딩된다. 일부 다른 실시예들에 따라, 오디오 콘텐트는 변하는 최대 비트레이트에서 다수의 스트림들에 인코딩되고; 비디오 콘텐트는 상이한 네트워크 트래픽 상태들을 경험하는 상이한 재생 디바이스들에 의해 사용을 위한 변하는 최대 비트레이트들, 해상도들, 종횡비들 등에서 인코딩되는 다수의 스트림들로 인코딩된다. 다수의 실시예들에서, 비디오 콘텐트는 또한 재생 동안 트릭-플레이 모드들을 제공할 때 사용을 위해 비디오 콘텐트의 특정한 부분들만을 포함하는 트릭-플레이 스트림들로 또한 인코딩될 수 있다.
프로세스(400)는 가청 콘텐트의 부분들 중 적어도 일부의 표시 시간을 비디오 콘텐트의 특정한 프레임들의 표시 시간과 연관시키는 동기화 정보를 획득한다(415). 일부 실시예들에 따라, 동기화 정보는 미디어 콘텐트와 함께 수신될 수 있다. 다수의 실시예들에 따라, 동기화 정보는 인코더 서버 시스템에 의해 생성될 수 있다. 다수의 실시예들에 따라, 동기화 정보는 인코더 동기화 서버의 운영자의 입력으로서 수신될 수 있다. 동기화 정보는 이후 미디어 콘텐트에 대한 인덱스 정보로서 인코딩될 수 있다(420).
프로세스(400)는 미디어 콘텐트에 대한 컨테이너 파일들 및 인덱스 파일들을 생성한다(425). 일부 실시예들에 따라, 각각의 스트림(오디오 및 비디오 콘텐트 양쪽 모두의)은 세그먼트들로 분할되고, 각각의 세그먼트는 별개의 컨테이너 파일에 배치된다. 다수의 실시예들에 따라, 오디오 데이터는 오디오 콘텐트의 각각의 식별된 부분이 단일 세그먼트이고 별개의 컨테이터 파일에 저장되도록 분할된다. 다수의 실시예들에 따라, 인덱스 정보는 상위 레벨 인덱스 파일에 배치된다. 다수의 실시예들에 따라, 인덱스 정보는 상위 레벨 인덱스 파일에 의해 지시되는 하나 이상의 인덱스 파일들에 배치된다. 또한 일부 다른 실시예들에서, 동기화 정보를 포함하는 인덱스 정보는 메타데이터로서 컨테이너 파일들에 저장된다. 일부 특정 실시예들에서, 오디오 데이터의 특정 부분에 대한 동기화 정보는 오디오 데이터의 특정 부분을 포함하는 세그먼트를 저장하는 컨테이너 파일에 메타데이터로서 저장된다.
본 발명의 일 실시예에 따라 오디오 콘텐트, 비디오 콘텐트, 및 동기화 정보를 포함하는 미디어 콘텐트의 대안적인 스트림들을 인코딩하는 일 실시예가 상기에 설명되지만, 당업자는 스트림들을 인코딩하기 위한 다른 프로세스들이 본 발명의 일부 실시예들에 따라 수행될 수 있다는 것을 인식할 것이다.
트릭-플레이 모드에서 오디오 데이터를 제공하는 것을 포함하는 미디어 콘텐트의 재생
본 발명의 일부 실시예들에 따라, 재생 디바이스는 트릭 플레이 모드에서 재생 동안 오디오 콘텐트를 제공한다. 이를 행하기 위해, 재생 디바이스는 부분들로 분할되는 오디오 콘텐트, 프레임과 각각 연관되는 이미지들을 포함하는 비디오 콘텐트, 및 오디오 콘텐트의 일 부분의 표시 시간을 오디오 콘텐트의 이미지들에 대한 프레임의 표시 시간과 연관시키는 동기화 데이터를 저장한다. 본 발명의 일 실시예에 따라 오디오 콘텐트, 비디오 콘텐트, 및 동기화 정보를 획득하기 위한 프로세스가 도 5에 도시된다.
프로세스(500)는 오디오 콘텐트 및 비디오 콘텐트를 포함하는 미디어 콘텐트를 수신한다(505). 본 발명의 일부 실시예들에 따라, 미디어 콘텐트는 적응적 비트레이트 스트리밍을 통해 수신된다. 일부 다른 실시예들에 따라, 미디어 콘텐트는 메모리로부터 판독되 수 있다. 또 다른 실시예들에 따라, 미디어 콘텐트는 미디어 콘텐트를 저장하는 비일시적 미디어로부터 판독된다. 비디오 콘텐트는 이미지들을 포함한다. 이미지들의 각각은 이미지를 형성하기 위한 정보를 제공하는 프레임과 연관된다. 오디오 콘텐트는 대략 비디오 콘텐트의 프레임과 연관된 이미지들의 재생 지속 기간 이하인 재생 지속 기간을 갖는 세그먼트들로 분할된다. 오디오 콘텐트 및 비디오 콘텐트는 미디어 콘텐트가 재생 디바이스에 의해 디코딩될 때 재생을 위해 버퍼에 저장된다(510).
동기화 정보는 프로세스(500)에서 수신된다(515). 동기화 정보는 오디오 콘텐트의 하나 이상의 부분들의 표시 시간(들)을 비디오 콘텐트의 이미지들에 대한 프레임의 표시에 연관시킨다. 일부 실시예들에 따라, 동기화 정보는 오디오 콘텐트의 각각의 부분에 대한 동기화 정보를 포함한다. 일부 다른 실시예들에서, 동기화 정보는 오디오 데이터의 적어도 일 부분을 비디오 데이터의 각각의 프레임과 연관시킨 동기화 정보를 포함한다. 또 다른 실시예들에 따라, 동기화 정보는 단지 오디오 데이터의 특정 부분들을 비디오 데이터의 특정 프레임들과 연관시킬 수 있다. 수신된 동기화 정보는 재생 동안 사용을 위해 및 특히 본 발명의 일부 실시예들에 따라 트릭-플레이 모드에서 오디오 콘텐트의 재생 동안 사용을 위해 메모리에 저장된다(520).
트릭-플레이 모드에서 오디오 콘텐트의 재생을 제공할 때 사용을 위해 미디어 콘텐트를 획득하기 위한 다양한 프로세스들이 도 5를 참조하여 상기에 논의되지만, 당업자는 미디어 콘텐트를 획득하기 위한 다른 프로세스들이 본 발명의 다양한 실시예들에 따라 수행될 수 있다는 것을 인식할 것이다.
본 발명의 일부 특정한 실시예들에 따라, 재생 디바이스는 적응적 비트 레이트 스트림을 사용하는 트릭-플레이 모드에서 오디오 콘텐트의 재생을 제공할 때 사용을 위한 미디어 콘텐트를 획득할 수 있다. 본 발명의 일 실시예에 따라 트릭-플레이 모드에서 오디오 콘텐트의 재생을 제공할 때 사용을 위한 오디오 콘텐트, 비디오 콘텐트, 및 동기화 정보를 획득하기 위한 프로세스가 도 6에 도시된다.
프로세스(600)에서, 재생 디바이스는 콘텐트 제공자 시스템으로부터 인덱스 파일을 수신한다(605). 재생 디바이스는 콘텐트 제공자 시스템으로부터 오디오 콘텐트 및 비디오 콘텐트의 부분들을 요청하기 위해 인덱스 파일을 사용한다(630). 본 발명의 일부 실시예들에 따라, 재생 디바이스는 재생 디바이스와 콘텐트 제공자 시스템 사이에 네트워크를 통한 통신들을 위한 네트워크 대역폭을 모니터링하고; 측정된 대역폭에 따라 조절될 수 있는 가장 높은 최대 비트레이트들에서 인코딩되는 오디오 및 비디오 콘텐트의 스트림들을 선택한다. 스트림을 선택하고 재생을 시작하고 적응적 비트레이트 스트리밍을 사용하여 미디어 콘텐트를 획득하기 위한 방법들 및 시스템들은 또한 발명의 명칭이 "하이퍼텍스트 전송 프로토콜을 사용하여 스트리밍을 시작할 때 이용 가능한 대역폭을 결정하고 초기 스트림 선택을 수행하기 위한 방법들 및 시스템들(Systems and Methods for Determining Available Bandwidth and Performing Initial Stream Selection When Commencing Streaming Using Hypertext Transfer Protocol)"인 미국 특허 출원 번호 제 13/251,061 호 및 발명의 명칭이 "다상 적응적 비트레이트 스트리밍을 수행하기 위한 방법들 및 시스템들(Systems and Methods for Perfoming Multiphase Adaptive Bitrate Streaming)"인 미국 특허 출원 번호 제 13/339,992 호에 의해 더 상세히 개시되고, 상기 개시들은 그들의 전체로 여기에 참조로서 통합된다. 오디오 및 비디오 콘텐트의 요청된 부분들은 재생 디바이스에 의해 수신된다(635). 오디오 및 비디오 콘텐트들은 이후 재생에 의해 수신된 부분들로부터 준비되고(640), 클라이언트 애플리케이션에 의해 표시(645)를 위해 저장하기 위해 재생 디바이스의 버퍼에 제공된다. 당업자는 오디오 및 비디오 콘텐트의 요청(630), 수신(635), 생성(640), 및 제공은 미디어 콘텐트의 모든 오디오 및 비디오 콘텐트들이 적응적 비트레이트 스트리밍 프로세스들에 따라 재생 디바이스에 의해 수신될 때까지 반복적으로 수행될 수 있다는 것을 주의할 것이다.
재생 디바이스는 또한 비디오 콘텐트의 프레임들의 표시에 오디오 콘텐트의 세그먼트들의 표시와 연관시키는 동기화 정보를 획득한다(650). 일부 실시예들에 따라, 동기화 정보는 상위 레벨 인덱스 파일이 적응적 비트레이트 스트리밍 프로세스의 초기 스타트-업 동안 시스템에 수신될 때 상위 레벨 인덱스 파일로부터 판독될 수 있다. 일부 다른 실시예들에 따라, 재생 디바이스는 상위 레벨 인덱스 파일로부터 인덱스 파일에 대한 포인터를 판독하고; 적응적 비트레이트 스트리밍 프로세스의 초기 스타트-업 동안 콘텐트 제공자 시스템으로부터 인덱스 파일을 요청 및 수신한다. 또 다른 실시예들에 따라, 동기화 정보는 오디오 및/또는 비디오 콘텐트들의 스트리밍 동안 메타데이터로서 수신된다. 일부 실시예들에 따라, 동기화 정보는 비디오 표시 시간들을 언어 코멘터리 및/또는 대화에 연관시키는 서브타이틀 트랙 또는 폐쇄 캡션 트랙으로부터 결정될 수 있다. 동기화 정보는 이후 재생 동안 사용을 위해 메모리의 데이터 구조로서 동기화를 저장할 수 있는 클라이언트 재생 애플리케이션(655)에 제공된다.
적응적 비트레이트 스트리밍을 사용하는 트릭-플레이 모드에서 오디오 콘텐트의 재생을 제공할 때 사용을 위한 미디어 콘텐트를 획득하기 위한 프로세스가 도 6을 참조하여 상기에 논의되지만, 당업자는 미디어 콘텐트를 획득하기 위한 다른 프로세스들이 본 발명의 다수의 실시예들에 따라 수행될 수 있다는 것을 인식할 것이다.
트릭-플레이 모드 동안 가청의 재생의 제공
때때로 미디어 표시에서 가청의 콘텐트는 사용자에게 관심이 있을 수 있는 미디어 콘텐트의 일 부분을 나타낼 수 있다. 예를 들면, 스포츠 이벤트의 미디어 콘텐트는 경기들의 실황 해설의 가청 콘텐트를 포함할 수 있다. 사용자는 콘텐트에서 관심의 이벤트를 찾기 위해 트릭-플레이를 사용하면서 이러한 해설로부터 스코어 또는 중요한 경기와 같은 관심 있는 콘텐트의 부분을 찾을 수 있다. 이와 같이, 일부 재생 시스템들은 사용자 경험을 향상시키기 위해 트릭-플레이 모드 동안 재생 동안 가청 콘텐트를 제공하기를 원할 수 있다. 본 발명의 일 실시예들에 따라 트릭-플레이 모드 동안 가청 재생을 제공하기 위해 재생 디바이스에 의해 수행된 프로세스는 도 7에 도시된다.
프로세스(700)에서, 재생 디바이스는 트릭-플레이 모드에서 미디어 콘텐트를 표시하기 위한 요청을 수신한다(705). 일부 실시예들에 따라, 트릭-플레이 모드들은 빠른 감기, 되감기, 전방 탐색(forward seek), 및 후방 탐색(backward seek)을 포함할 수 있지만, 그로 한정되지 않는다. 다수의 실시예들에 따라, 트릭-플레이 모드 명령은 입력/출력(I/O) 디바이스를 통해 입력으로서 수신된다. 본 발명의 다양한 실시예들에 따라 I/O 디바이스들의 예들은 키보드, 마우스, 터치 스크린 등을 포함하지만 그로 한정되지 않는다. 재생 디바이스는 명령에 의해 개시된 현재 트릭-플레이 모드에 기초하여 비디오 콘텐트의 표시할 다음 프레임을 결정한다(710). 본 발명의 일부 실시예들에 따라, 표시할 다음 프레임은 채용되는 트릭-플레이 모드 및 트릭-플레이 모드의 선택된 속도에 기초한다. 일부 다른 실시예들에 따라, 다른 프레임은 탐색 모드에서 표시된 미리 결정된 이미지들과 같지만 그로 한정되지 않는 표시할 이미지들의 미리 결정된 리스트에 기초하여 결정될 수 있다.
재생 디바이스는 재생 디바이스에 의해 저장된 동기화 정보를 사용하여 다음 프레임과 연관된 오디오 콘텐트의 세그먼트(들)를 결정한다(712). 표시할 다음 프레임과 연관된 오디오 콘텐트의 세그먼트(들)는 표시되는 비디오 콘텐트의 현재 프레임과 연관된 오디오 콘텐트의 세그먼트들에 대해 비교된다(715). 다음 프레임과 연관된 오디오 콘텐트의 세그먼트(들)가 표시되는 현재 프레임과 연관된 오디오 콘텐트의 세그먼트(들)와 동일한 경우, 표시되는 현재 오디오 세그먼트(들)는 재생을 위해 사용된다(730). 일부 실시예들에 따라, 현재 오디오 콘텐트의 사용은 제 2 시간에 오디오 콘텐트의 현재 세그먼트들을 표시하는 것을 포함할 수 있다. 다른 실시예들에서, 현재 오디오 세그먼트의 사용은 전체 세그먼트 및/또는 오디오 데이터의 현재 세그먼트에 후속하는 세그먼트들이 표시되도록 허용하는 것을 포함할 수 있다. 다음 프레임은 이후 표시를 위한 버튼으로부터 획득된다(735). 다음 프레임과 연관된 오디오 콘텐트의 세그먼트(들)가 표시되는 현재 프레임과 연관된 오디오 콘텐트의 세그먼트(들)과 상이한 경우, 재생 디바이스는 오디오 콘텐트를 저장하는 버퍼(들)로부터 다음 프레임과 연관된 오디오 콘텐트의 세그먼트(들)을 획득한다. 당업자는 오디오 세그먼트(들)의 표시의 지속 기간이 프레임의 표시 시간과 상이할 수 있다는 것을 인식할 것이다. 따라서, 재생할 오디오 세그먼트들의 대기 행렬이 유지될 수 있고 획득된 오디오 세그먼트들은 대기 행렬에 추가된다(727).
다음 프레임은 디스플레이 디바이스를 사용하여 표시되고, 가청의 세그먼트들은 오디오 시스템을 사용하여 표시된다(735). 다수의 실시예들에 따라, 오디오 세그먼트들은 대기 행렬에 의해 제공된 순서로 표시된다. 이들 실시예들 중 일부에 따라, 대기 행렬은 오디오 세그먼트가 재생 동안 오디오 세그먼트를 다시 표시하거나 프레임 연관된 오디오 세그먼트가 변할 때까지 후속 세그먼트들을 제공하는 것을 요구하는 다수의 세그먼트들과 연관될 때의 표시들을 제공할 수 있다.
일부 실시예들에 따라, 전체 표시 시간을 참조하여 현재 표시된 오디오 세그먼트의 표시 시간 및 전체 표시 시간을 참조하여 표시되는 현재 이미지의 표시 시간을 나타내는 "스크러버들"의 디스플레이는 표시되는 이미지 및 현재 오디오 세그먼트를 나타내기 위해 생성된다. 본 발명의 일 실시예에 따라 비디오 및 오디오 콘텐트들의 표시 시간들을 나타내는 스크러버들을 갖는 오디오 콘텐트와 함께 재생 동안 디스플레이의 일 예가 도 8에 도시된다. 디스플레이(800)는 현재 비디오 스크러버상의 도트에 의해 나타내진 표시 시간을 갖는 비디오 콘텐트의 프레임을 보여준다(805). 오디오 시스템을 통해 표시되는 오디오 콘텐트의 표시 시간은 오디오 스크러버상에 보여진다(810). 도 8에서 이해될 수 있는 바와 같이, 트릭-플레이 모드에서 이미지들의 표시 시간과 오디오 세그먼트들의 표시 사이에 1 대 1 대응이 존재하지 않고, 비디오 스크러버(805) 및 오디오 스크러버(810)는 사용자가 원하는 콘텐트의 표시를 찾게 하기 위해 표시되는 오디오 콘텐트와 비디오 콘텐트 사이의 표시 시간의 차이를 알기에 유용하다.
도 7로 돌아오면, 현재 이미지 및 이미지와 연관된 오디오 세그먼트가 표시된다(745). 일부 실시예들에 따라, 이미지가 표시되고 있고 이미지와 연관된 프레임이 변화들을 표시하고 있을 때 오디오 세그먼트가 표시되고 있는 동안 이미지의 프레임과 연관된 오디오 콘텐트가 재생된다. 일부 다른 실시예들에 따라, 표시할 오디오 콘텐트의 대기 행렬이 유지되고 오디오 콘텐트는 트릭-플레이 모드에 표시되는 이미지들과 관계 없이 대기 행렬에 따라 재생된다. "스크러버들"을 제공하는 실시예들에 따라, 생성된 "스커러버들"의 디스플레이는 표시되는 이미지상에 오버레이된다(750).
재생 디바이스는 이후 트릭-플레이 모드가 완료되는지의 여부를 결정한다(755). 일부 실시예들에 따라, 트릭-플레이 모드의 완료의 표시는 정상 재생의 재개를 나타내는 입력 명령의 수신일 수 있다. 다른 실시예들에 따라, 트릭 플레이의 완료의 표시는 미디어 콘텐트의 미리 결정된 부분에 도달하는 것일 수 있다. 트릭-플레이 모드가 완료될 경우, 프로세스(700)는 종료하고 종래의 재생이 재개된다. 재생 모드가 완료되지 않는 경우, 프로세스(700)는 표시할 다음 프레임의 결정으로부터 반복하고, 현재 프레임으로서 이전에 결정된 다음 프레임을 사용한다.
본 발명의 일 실시예에 따라 트릭-플레이 모드 동안 오디오 재생을 제공하기 위한 다양한 프로세스들이 도 7을 참조하여 상기에 설명되지만, 다른 프로세스들이 본 발명의 실시예들에 따라 트릭-플레이 모드 동안 오디오 재생을 제공하기 위해 재생 디바이스에 의해 수행될 수 있다.
본 발명이 일부 특정한 양태들에서 설명되었지만, 다수의 추가의 변경들 및 변동들이 당업자들에 명백할 것이다. 따라서, 본 발명은 본 발명의 범위 및 정신으로부터 벗어나지 않고 그들이 준수하는 특별한 표준 내에서 지정된 것들을 넘어서는 특징들을 지원하는 인코더들 및 디코더들을 이용하는 것과 같은 구현에서 다양한 변경들을 포함하여, 구체적으로 설명된 것과 다르게 실행될 수 있다는 것이 이해될 것이다. 따라서, 본 발명의 실시예들은 예시적이지만 제한적이 아닌 모든 점들에서 고려되어야 한다.

Claims (20)

  1. 미디어 콘텐트의 재생 동안 트릭-플레이 모드에서 오디오 콘텐트의 재생을 제공하는 방법에 있어서,
    재생 디바이스의 버퍼에 미디어 콘텐트의 오디오 콘텐트 부분의 복수의 세그먼트들을 저장하는 단계;
    상기 재생 디바이스의 버퍼에 미디어 콘텐트의 비디오 콘텐트 부분의 복수의 프레임들을 저장하는 단계;
    상기 재생 디바이스의 메모리에 동기화 정보를 저장하는 단계로서, 상기 동기화 정보는 상기 오디오 콘텐트 부분의 상기 복수의 세그먼트들 중 하나 이상의 각각의 표시 시간을 상기 비디오 콘텐트의 상기 복수의 프레임들 중 하나 이상의 프레임들의 표시 시간과 연관시키는, 상기 동기화 정보를 저장하는 단계;
    상기 재생 디바이스의 트릭-플레이 모드에서 상기 미디어 콘텐트의 재생을 위한 명령을 수신하는 단계;
    상기 재생 디바이스를 사용하여 상기 트릭-플레이 모드에 기초하여 상기 복수의 프레임들로부터 표시할 다음 프레임을 결정하는 단계;
    상기 메모리에 저장된 상기 동기화 정보로부터 상기 다음 프레임과 연관된 상기 오디오 콘텐트의 상기 복수의 세그먼트들로부터의 각각의 세그먼트를 결정하는 단계; 및
    상기 재생 디바이스를 사용하여 상기 트릭-플레이 모드에서 재생 동안 상기 다음 프레임과 연관된 오디오 콘텐트의 상기 복수의 세그먼트들의 세그먼트들의 각각을 표시하는 단계를 포함하는, 미디어 콘텐트의 재생 동안 트릭-플레이 모드에서 오디오 콘텐트의 재생을 제공하는 방법.
  2. 제 1 항에 있어서,
    상기 재생 디바이스의 디스플레이상에 상기 다음 프레임을 표시하는 단계를 더 포함하는, 미디어 콘텐트의 재생 동안 트릭-플레이 모드에서 오디오 콘텐트의 재생을 제공하는 방법.
  3. 제 2 항에 있어서,
    상기 다음 프레임과 연관된 상기 오디오 콘텐트의 상기 복수의 세그먼트들의 각각의 세그먼트의 표시는 상기 다음 프레임의 표시와 동시에 수행되는, 미디어 콘텐트의 재생 동안 트릭-플레이 모드에서 오디오 콘텐트의 재생을 제공하는 방법.
  4. 제 2 항에 있어서,
    상기 재생 디바이스를 사용하여 상기 프레임과 연관된 상기 복수의 세그먼트들의 각각의 결정에 응답하여 상기 다음 프레임과 연관된 상기 오디오 콘텐트의 상기 복수의 세그먼트들의 각각의 세그먼트를 대기 행렬(queue)에 추가하는 단계를 더 포함하고,
    상기 다음 프레임과 연관된 상기 복수의 세그먼트들의 각각의 세그먼트는 상기 대기 행렬에 기초하여 표시되고 상기 재생 디바이스의 상기 디스플레이상에 상기 비디오 콘텐트로부터의 상기 다음 프레임의 표시에 관계없는, 미디어 콘텐트의 재생 동안 트릭-플레이 모드에서 오디오 콘텐트의 재생을 제공하는 방법.
  5. 제 2 항에 있어서,
    상기 재생 디바이스를 사용하여 상기 비디오 콘텐트로부터 상기 다음 프레임의 표시 시간을 나타내는 상기 비디오 콘텐트에 대한 스크러버(scrubber)의 디스플레이를 생성하는 단계; 및
    상기 디스플레이상의 상기 이미지의 상기 표시 위에 상기 비디오 콘텐트에 대한 상기 스크러버의 상기 디스플레이를 오버레이하는 단계를 더 포함하는, 미디어 콘텐트의 재생 동안 트릭-플레이 모드에서 오디오 콘텐트의 재생을 제공하는 방법.
  6. 제 2 항에 있어서,
    상기 재생 디바이스를 사용하여 상기 다음 프레임과 연관된 상기 오디오 콘텐트의 각각의 세그먼트의 표시 시간을 나타내는 상기 오디오 콘텐트에 대한 스크러버의 디스플레이를 생성하는 단계; 및
    상기 디스플레이상의 상기 이미지의 상기 표시 위에 상기 오디오 콘텐트에 대한 상기 스크러버의 상기 디스플레이를 오버레이하는 단계를 더 포함하는, 미디어 콘텐트의 재생 동안 트릭-플레이 모드에서 오디오 콘텐트의 재생을 제공하는 방법.
  7. 제 6 항에 있어서,
    상기 오디오 콘텐트에 대한 상기 스크러버는 상기 디스플레이에서 상기 비디오 콘텐트에 대한 스크러버로부터 분리되는, 미디어 콘텐트의 재생 동안 트릭-플레이 모드에서 오디오 콘텐트의 재생을 제공하는 방법.
  8. 제 1 항에 있어서,
    상기 오디오 콘텐트 부분의 상기 복수의 세그먼트들에 대한 데이터, 상기 비디오 콘텐트의 상기 복수의 프레임들에 대한 데이터, 및 상기 동기화 정보를 적응적 비트레이트 스트리밍을 사용하여 네트워크를 통해 콘텐트 제공자 시스템으로부터 상기 재생 디바이스에서 수신하는 단계를 더 포함하는, 미디어 콘텐트의 재생 동안 트릭-플레이 모드에서 오디오 콘텐트의 재생을 제공하는 방법.
  9. 제 8 항에 있어서,
    상기 오디오 콘텐트 부분의 상기 복수의 세그먼트들에 대한 상기 데이터, 상기 비디오 콘텐트의 상기 복수의 프레임들에 대한 데이터, 및 상기 동기화 정보를 적응적 비트레이트 스트리밍을 사용하여 네트워크를 통해 콘텐트 제공자 시스템으로부터 상기 재생 디바이스에서 수신하는 단계는:
    네트워크를 통해 상기 재생 디바이스에서 상기 콘텐트 제공자 시스템으로부터 상위 레벨 인덱스 파일을 수신하는 단계로서, 상기 상위 레벨 인덱스 파일들은 비디오 콘텐트의 복수의 대안적인 스트림들을 식별하고 상기 복수의 대안적인 스트림들의 적어도 일 부분은 상이한 최대 비트레이트들 및 오디오 콘텐트의 적어도 하나의 스트림으로 인코딩되는, 상기 상위 레벨 인덱스 파일을 수신하는 단계;
    상기 재생 디바이스와 상기 콘텐트 제공자 시스템 사이의 네트워크 대역폭에 기초하여 상기 재생 디바이스를 사용하여 상기 콘텐트 제공자 시스템으로부터의 상기 복수의 대안적인 스트림들로부터 상기 비디오 콘텐트의 부분들을 요청하는 단계;
    상기 요청들에 응답하여 상기 재생 디바이스에서 상기 비디오 콘텐트의 상기 요청된 부분들을 수신하는 단계;
    상기 재생 디바이스에 의해 수신된 상기 비디오 콘텐트의 부분들로부터 상기 재생 디바이스에서 상기 비디오 콘텐트의 상기 복수의 프레임들을 생성하는 단계;
    상기 재생 디바이스의 버퍼에 상기 복수의 프레임들을 저장하는 단계;
    상기 재생 디바이스를 사용하여 상기 콘텐트 제공자 시스템으로부터의 상기 오디오 콘텐트의 적어도 하나의 스트림으로부터 상기 오디오 콘텐트의 부분들을 요청하는 단계;
    상기 재생 디바이스에서 상기 오디오 콘텐트의 상기 요청된 부분들을 수신하는 단계;
    상기 재생 디바이스를 사용하여 수신된 상기 오디오 콘텐트의 부분들로부터 상기 오디오 콘텐트의 상기 복수의 세그먼트들을 생성하는 단계;
    상기 재생 디바이스의 버퍼에 상기 오디오 콘텐트의 상기 복수의 세그먼트들을 저장하는 단계;
    상기 상위 레벨 인덱스 파일의 정보에 기초하여 상기 재생 디바이스를 사용하여 상기 콘텐트 제공자 시스템으로부터 상기 동기화 정보를 획득하는 단계; 및
    상기 재생 디바이스의 메모리에 상기 동기화 정보를 저장하는 단계를 포함하는, 미디어 콘텐트의 재생 동안 트릭-플레이 모드에서 오디오 콘텐트의 재생을 제공하는 방법.
  10. 제 9 항에 있어서,
    상기 동기화 정보를 획득하는 단계는:
    상기 재생 디바이스를 사용하여 상기 상위 레벨 인덱스 파일로부터 상기 동기화 정보를 포함하는 파일에 대해 포인터를 판독하는 단계;
    상기 재생 디바이스를 사용하여 상기 콘텐트 제공자 시스템으로부터 상기 파일을 요청하는 단계; 및
    상기 재생 디바이스에서 상기 요청된 파일을 수신하는 단계를 포함하는, 미디어 콘텐트의 재생 동안 트릭-플레이 모드에서 오디오 콘텐트의 재생을 제공하는 방법.
  11. 재생 디바이스에 있어서,
    메모리;
    네트워크 인터페이스; 및
    상기 메모리에 저장된 명령들을 판독하는 프로세서로서, 상기 명령들은 상기 프로세서에:
    상기 재생 디바이스의 버퍼에 미디어 콘텐트의 오디오 콘텐트 부분의 복수의 세그먼트들을 저장하고,
    상기 재생 디바이스의 버퍼에 미디어 콘텐트의 비디오 콘텐트 부분의 복수의 프레임들을 저장하고,
    메모리에 동기화 정보를 저장하고, 상기 동기화 정보는 상기 오디오 콘텐트 부분의 상기 복수의 세그먼트들 중 하나 이상의 각각의 표시 시간을 상기 비디오 콘텐트의 상기 복수의 프레임들 중 하나 이상의 프레임의 표시 시간과 연관시키고,
    트릭-플레이 모드에서 상기 미디어 콘텐트의 재생을 위한 명령을 수신하고,
    상기 트릭-플레이 모드에 기초하여 상기 복수의 이미지들로부터 표시할 다음 프레임을 결정하고,
    상기 메모리에 저장된 상기 동기화 정보로부터 상기 다음 프레임과 연관된 상기 오디오 콘텐트의 상기 복수의 세그먼트들로부터 각각의 세그먼트를 결정하고,
    상기 재생 디바이스를 사용하여 상기 트릭-플레이 모드에서 재생 동안 상기 다음 프레임과 연관된 오디오 콘텐트의 상기 복수의 세그먼트들의 상기 세그먼트들의 각각을 표시하도록 지시하는, 재생 디바이스.
  12. 제 11 항에 있어서,
    상기 명령들은 또한 상기 프로세서에 상기 재생 디바이스의 디스플레이상에 상기 다음 프레임을 표시하도록 지시하는, 재생 디바이스.
  13. 제 12 항에 있어서,
    상기 다음 프레임과 연관된 상기 오디오 콘텐트의 상기 세그먼트들의 각각의 표시는 상기 다음 프레임의 상기 표시와 동시에 수행되는, 재생 디바이스.
  14. 제 12 항에 있어서,
    상기 명령들은 또한 상기 프로세서에:
    상기 세그먼트들의 각각이 상기 다음 프레임과 연관된다는 결정에 응답하여 상기 다음 프레임과 연관된 상기 오디오 콘텐트의 세그먼트들의 각각을 대기 행렬에 추가하도록 지시하고,
    상기 세그먼트들의 각각의 표시는 상기 대기 행렬에 기초하고 상기 재생 디바이스의 상기 디스플레이상에 상기 비디오 콘텐트로부터의 상기 다음 프레임의 표시와 관계 없는, 재생 디바이스.
  15. 제 12 항에 있어서,
    상기 명령들은 또한 상기 프로세서에:
    상기 비디오 콘텐트로부터 상기 다음 프레임의 표시 시간을 나타내는 상기 비디오 콘텐트에 대한 스크러버의 디스플레이를 생성하고,
    상기 디스플레이상의 상기 다음 프레임의 상기 표시 위에 상기 비디오 콘텐트에 대한 상기 스크러버의 상기 디스플레이를 오버레이하도록 지시하는, 재생 디바이스.
  16. 제 12 항에 있어서,
    상기 명령들은 또한 상기 프로세서에:
    각각의 세그먼트가 표시될 때 상기 오디오 콘텐트의 다음 프레임과 연관된 각각의 세그먼트의 표시 시간을 나타내는 상기 오디오 콘텐트에 대한 스크러버의 디스플레이를 생성하고,
    상기 디스플레이상의 상기 이미지의 상기 표시 위에 상기 오디오 콘텐트에 대한 상기 스크러버의 상기 디스플레이를 오버레이하도록 지시하는, 재생 디바이스.
  17. 제 16 항에 있어서,
    상기 오디오 콘텐트에 대한 상기 스크러버는 상기 디스플레이에서 상기 비디오 콘텐트에 대한 스크러버와 분리되는, 재생 디바이스.
  18. 제 11 항에 있어서,
    상기 명령들은 또한 상기 프로세서에:
    적응적 비트레이트 스트리밍을 사용하여 네트워크를 통해 콘텐트 제공자 시스템으로부터 상기 오디오 콘텐트 부분의 상기 복수의 세그먼트들에 대한 데이터, 상기 비디오 콘텐트의 상기 복수의 프레임들에 대한 데이터, 및 상기 동기화 정보를 수신하도록 지시하는, 재생 디바이스.
  19. 제 18 항에 있어서,
    상기 적응적 비트레이트 스트리밍을 사용하여 네트워크를 통해 콘텐트 제공자 시스템으로부터 상기 오디오 콘텐트 부분의 상기 복수의 세그먼트들에 대한 상기 데이터, 상기 비디오 콘텐트의 상기 복수의 프레임들에 대한 상기 데이터, 및 상기 동기화 정보를 수신하기 위한 명령들은 또한 상기 처리 시스템에:
    네트워크를 통해 상기 콘텐트 제공자 시스템으로부터 상위 레벨 인덱스 파일을 수신하고, 상기 상위 레벨 인덱스 파일들은 비디오 콘텐트의 복수의 대안적인 스트림들을 식별하고, 상기 복수의 대안적인 스트림들의 적어도 일 부분은 상이한 최대 비트레이트들 및 오디오 콘텐트의 적어도 하나의 스트림으로 인코딩되고,
    상기 재생 디바이스와 상기 콘텐트 제공자 시스템 사이의 네트워크 대역폭에 기초하여 상기 콘텐트 제공자 시스템으로부터의 상기 복수의 대안적인 스트림으로부터 상기 비디오 콘텐트의 부분들을 요청하고,
    상기 비디오 콘텐트의 상기 요청된 부분들을 수신하고,
    수신된 상기 비디오 콘텐트의 부분들로부터 상기 비디오 콘텐트의 상기 복수의 프레임들을 생성하고,
    버퍼에 상기 복수의 이미지들을 저장하고,
    상기 콘텐트 제공자 시스템으로부터의 상기 오디오 콘텐트의 적어도 하나의 스트림들로부터 상기 오디오 콘텐트의 부분들을 요청하고,
    상기 오디오 콘텐트의 상기 요청된 부분들을 수신하고;
    수신된 상기 오디오 콘텐트의 부분들로부터 상기 오디오 콘텐트의 상기 복수의 세그먼트들을 생성하고,
    상기 재생 디바이스의 버퍼에 상기 오디오 콘텐트의 상기 복수의 세그먼트들을 저장하고,
    상기 상위 레벨 인덱스 파일의 정보에 기초하여 상기 콘텐트 제공자 시스템으로부터 상기 동기화 정보를 획득하고,
    상기 재생 디바이스의 상기 메모리에 상기 동기화 정보를 저장하도록 지시하는, 재생 디바이스.
  20. 프로세서 명령들을 포함하는 비일시적 기계 판독가능한 매체로서, 프로세서에 의한 명령들의 실행은 상기 프로세서가 프로세스를 수행하게 하는, 상기 비일시적 기계 판독 가능한 매체에 있어서,
    상기 프로세스는:
    버퍼에 미디어 콘텐트의 오디오 콘텐트 부분의 복수의 세그먼트들을 저장하고;
    버퍼에 미디어 콘텐트의 비디오 콘텐트 부분의 복수의 프레임들을 저장하고;
    메모리에 동기화 정보를 저장하고, 상기 동기화 정보는 상기 오디오 콘텐트 부분의 상기 복수의 세그먼트들 중 하나 이상의 각각의 표시 시간과 상기 비디오 콘텐트의 상기 복수의 프레임들 중 하나 이상의 프레임들의 표시 시간을 연관시키고,
    트릭-플레이 모드에서 상기 미디어 콘텐트의 재생을 위한 명령을 수신하고,
    상기 트릭-플레이 모드에 기초하여 상기 복수의 이미지들로부터 표시할 이미지를 결정하고,
    표시될 이미지와 연관된 상기 비디오 콘텐트의 프레임을 결정하고,
    상기 메모리에 저장된 상기 동기화 정보로부터 상기 이미지의 상기 프레임과 연관된 상기 오디오 콘텐트의 상기 복수의 세그먼트들로부터의 각각의 세그먼트를 결정하고,
    상기 트릭-플레이 모드에서 재생 동안 상기 프레임과 연관된 상기 오디오 콘텐트의 상기 복수의 세그먼트들의 상기 세그먼트들의 각각을 표시하는 것을 포함하는, 비일시적 기계 판독 가능한 매체.
KR1020187037237A 2016-05-24 2017-05-04 트릭-플레이 재생 동안 오디오 콘텐트를 제공하기 위한 방법들 및 시스템들 KR102054654B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/163,370 2016-05-24
US15/163,370 US10231001B2 (en) 2016-05-24 2016-05-24 Systems and methods for providing audio content during trick-play playback
PCT/US2017/031097 WO2017205028A1 (en) 2016-05-24 2017-05-04 Systems and methods for providing audio content during trick-play playback

Publications (2)

Publication Number Publication Date
KR20190021250A true KR20190021250A (ko) 2019-03-05
KR102054654B1 KR102054654B1 (ko) 2019-12-11

Family

ID=60411825

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187037237A KR102054654B1 (ko) 2016-05-24 2017-05-04 트릭-플레이 재생 동안 오디오 콘텐트를 제공하기 위한 방법들 및 시스템들

Country Status (7)

Country Link
US (4) US10231001B2 (ko)
EP (1) EP3465460B1 (ko)
JP (2) JP2019517219A (ko)
KR (1) KR102054654B1 (ko)
CN (1) CN109937448B (ko)
ES (1) ES2949432T3 (ko)
WO (1) WO2017205028A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10231001B2 (en) 2016-05-24 2019-03-12 Divx, Llc Systems and methods for providing audio content during trick-play playback
US10389785B2 (en) * 2016-07-17 2019-08-20 Wei-Chung Chang Method for adaptively streaming an audio/visual material
US11627350B2 (en) * 2016-12-30 2023-04-11 Tivo Solutions Inc. Advanced trick-play modes for streaming video
US11303689B2 (en) * 2017-06-06 2022-04-12 Nokia Technologies Oy Method and apparatus for updating streamed content
CN111510755A (zh) * 2019-01-30 2020-08-07 上海哔哩哔哩科技有限公司 音视频的切换方法、装置、计算机设备及可读存储介质
CN112637659B (zh) * 2020-04-15 2023-03-14 西安诺瓦星云科技股份有限公司 媒体音频播放方法、装置和系统
US11818189B2 (en) * 2021-01-06 2023-11-14 Tencent America LLC Method and apparatus for media streaming
US20230106679A1 (en) * 2021-10-06 2023-04-06 Lifecast Incorporated Image Processing Systems and Methods
CN115062168A (zh) * 2022-06-28 2022-09-16 北京字跳网络技术有限公司 媒体内容展示方法、装置、设备及存储介质
CN116233472B (zh) * 2023-05-08 2023-07-18 湖南马栏山视频先进技术研究院有限公司 一种音频视频同步的方法和云端处理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060269221A1 (en) * 2005-05-18 2006-11-30 Matsushita Electric Industrial Co., Ltd Content reproduction apparatus
US20120278842A1 (en) * 1999-03-30 2012-11-01 Howard Look Television Viewer Interface System
US20140282262A1 (en) * 2013-03-15 2014-09-18 General Instrument Corporation Devices and methods for providing navigation images associated with adaptive bit rate video content
US20150131966A1 (en) * 2013-11-11 2015-05-14 Motorola Mobility Llc Three-dimensional audio rendering techniques

Family Cites Families (237)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953485A (en) 1992-02-07 1999-09-14 Abecassis; Max Method and system for maintaining audio during video control
US5400401A (en) 1992-10-30 1995-03-21 Scientific Atlanta, Inc. System and method for transmitting a plurality of digital services
JP2707950B2 (ja) 1993-07-30 1998-02-04 ソニー株式会社 ディジタル画像情報処理装置
US5596564A (en) 1993-10-08 1997-01-21 Matsushita Electric Industrial Co., Ltd. Information recording medium and apparatus and method for recording and reproducing information
JPH07327029A (ja) 1994-05-31 1995-12-12 Fujitsu Ltd 暗号化通信システム
JP2842796B2 (ja) 1994-12-06 1999-01-06 富士通株式会社 動画像の暗号化処理方法及び装置及び暗号化された動画像の復号化処理方法及び装置
US6009237A (en) 1995-02-24 1999-12-28 Hitachi Ltd. Optical disk and optical disk reproduction apparatus
US6002834A (en) 1995-02-24 1999-12-14 Hitachi, Ltd. Optical disk having table relating sector address and time and optical disk reproducing apparatus
TW430785B (en) 1995-04-14 2001-04-21 Toshiba Corp Interactively broadcasting recording-media and its regeneration system
US5813010A (en) 1995-04-14 1998-09-22 Kabushiki Kaisha Toshiba Information storage and information transmission media with parental control
WO1997007504A1 (fr) 1995-08-21 1997-02-27 Matsushita Electric Industrial Co., Ltd. Disque optique multimedia capable de creer des situations tout a fait inattendues sur la base de l'interactivite, appareil et procede de reproduction de ce disque
TW436777B (en) 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
TW385431B (en) 1995-09-29 2000-03-21 Matsushita Electric Ind Co Ltd A method and an apparatus for encoding a bitstream with plural possible searching reproduction paths information useful in multimedia optical disk
US5751280A (en) 1995-12-11 1998-05-12 Silicon Graphics, Inc. System and method for media stream synchronization with a base atom index file and an auxiliary atom index file
CA2237293A1 (en) 1995-12-29 1997-07-10 Scientific-Atlanta, Inc. Method and apparatus for providing conditional access in connection-oriented, interactive networks with a multiplicity of service providers
US6957350B1 (en) 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
WO1997046027A1 (en) 1996-05-29 1997-12-04 Sarnoff Corporation Preserving synchronization of audio and video presentation
US6065050A (en) 1996-06-05 2000-05-16 Sun Microsystems, Inc. System and method for indexing between trick play and normal play video streams in a video delivery system
JP3148648B2 (ja) 1996-08-08 2001-03-19 松下電器産業株式会社 磁気記録再生方法および磁気記録再生装置
US5805700A (en) 1996-10-15 1998-09-08 Intel Corporation Policy based selective encryption of compressed video data
US5893062A (en) 1996-12-05 1999-04-06 Interval Research Corporation Variable rate video playback with synchronized audio
FI106071B (fi) 1997-03-13 2000-11-15 Nokia Mobile Phones Ltd Mukautuva suodatin
MY124583A (en) 1997-03-19 2006-06-30 Sony Corp Video data decoding apparatus and method and video signal reproduction apparatus and method
US6654933B1 (en) 1999-09-21 2003-11-25 Kasenna, Inc. System and method for media stream indexing
US6970564B1 (en) 1998-07-13 2005-11-29 Sony Corporation Data multiplexing device, program distribution system, program transmission system, pay broadcast system, program transmission method, conditional access system, and data reception device
FI103003B1 (fi) 1997-06-13 1999-03-31 Nokia Mobile Phones Ltd Suodatusmenetelmä, suodatin ja matkaviestinpääte
KR100242448B1 (ko) 1997-06-28 2000-02-01 윤종용 디지털 비디오 디스크 고속 재생 제어장치 및 방법
US6594699B1 (en) 1997-10-10 2003-07-15 Kasenna, Inc. System for capability based multimedia streaming over a network
US6057832A (en) 1997-12-02 2000-05-02 V Soft Ltd. Method and apparatus for video-on-demand with fast play capability
JP4186242B2 (ja) 1997-12-26 2008-11-26 ソニー株式会社 画像信号処理装置及び画像信号処理方法
US6751623B1 (en) 1998-01-26 2004-06-15 At&T Corp. Flexible interchange of coded multimedia facilitating access and streaming
US7809138B2 (en) 1999-03-16 2010-10-05 Intertrust Technologies Corporation Methods and apparatus for persistent control and protection of content
JPH11289512A (ja) * 1998-04-03 1999-10-19 Sony Corp 編集リスト作成装置
JPH11355719A (ja) * 1998-06-05 1999-12-24 Sony Corp 記録再生装置、記録再生方法、および提供媒体
US6320905B1 (en) 1998-07-08 2001-11-20 Stream Machine Company Postprocessing system for removing blocking artifacts in block-based codecs
US7457415B2 (en) 1998-08-20 2008-11-25 Akikaze Technologies, Llc Secure information distribution system utilizing information segment scrambling
US6931531B1 (en) 1998-09-02 2005-08-16 Matsushita Electric Industrial Co., Ltd. Image object recording, compression, and encryption method and system
US6351538B1 (en) 1998-10-06 2002-02-26 Lsi Logic Corporation Conditional access and copy protection scheme for MPEG encoded video data
CN1165165C (zh) 1998-10-12 2004-09-01 松下电器产业株式会社 信息记录介质及用于记录或再现数据的装置和方法
CA2289958C (en) 1998-11-19 2003-01-21 Tomoyuki Okada Information recording medium, apparatus and method for recording or reproducing data thereof
US6236764B1 (en) 1998-11-30 2001-05-22 Equator Technologies, Inc. Image processing circuit and method for reducing a difference between pixel values across an image boundary
EP1021048A3 (en) 1999-01-14 2002-10-02 Kabushiki Kaisha Toshiba Digital video recording system and its recording medium
AU2515800A (en) 1999-01-26 2000-08-07 Infolio, Inc. Universal mobile id system and method for digital rights management
JP3433125B2 (ja) 1999-01-27 2003-08-04 三洋電機株式会社 動画像再生装置
WO2000046803A1 (fr) 1999-02-05 2000-08-10 Kabushiki Kaisha Toshiba Procede permettant de creer des trains de donnees et procede permettant d'effectuer des suppressions partielles
DE19906449C1 (de) 1999-02-16 2000-08-10 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Erzeugen eines verschlüsselten Nutzdatenstroms und Verfahren und Vorrichtung zum Abspielen eines verschlüsselten Nutzdatenstroms
DE19906450C1 (de) 1999-02-16 2000-08-17 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Erzeugen eines verschlüsselten Nutzdatenstroms und Verfahren und Vorrichtung zum Entschlüsseln eines verschlüsselten Nutzdatenstroms
JP3805985B2 (ja) 1999-02-18 2006-08-09 株式会社東芝 ストリームデータの情報記憶媒体、その記録方法、再生方法、記録装置および再生装置
US6415031B1 (en) 1999-03-12 2002-07-02 Diva Systems Corporation Selective and renewable encryption for secure distribution of video on-demand
WO2000055854A1 (fr) 1999-03-17 2000-09-21 Kabushiki Kaisha Toshiba Procede d'enregistrement de donnees en fluxet de leur structure
EP1039468A3 (en) 1999-03-19 2000-10-04 Deutsche Thomson-Brandt Gmbh Method for implementing trickplay modes in a data stream recorder
US8689265B2 (en) * 1999-03-30 2014-04-01 Tivo Inc. Multimedia mobile personalization system
BR0006128A (pt) 1999-05-14 2001-03-27 Koninkl Philips Electronics Nv Processos e meios de conversão para converter um fluxo em pacote de sinais de informação, e para converter um fluxo de sinais de informação, sistema para armazenamento e recuperação de um fluxo em pacote de sinais de informaçào fluxo em pacote de sinais de informação, processo para transmitir um fluxo em pacote de sinais de informação , e, sinal incluindo um fluxo serial de sinais de informação e sinais de pacote de marca de tempo
US6912513B1 (en) 1999-10-29 2005-06-28 Sony Corporation Copy-protecting management using a user scrambling key
US7151832B1 (en) 1999-11-18 2006-12-19 International Business Machines Corporation Dynamic encryption and decryption of a stream of data
US6792047B1 (en) 2000-01-04 2004-09-14 Emc Corporation Real time processing and streaming of spliced encoded MPEG video and associated audio
ATE387775T1 (de) 2000-01-21 2008-03-15 Sony Corp Daten-identifizierungs-system
JP2001209583A (ja) 2000-01-26 2001-08-03 Sony Corp データ記録再生器およびセーブデータ処理方法、並びにプログラム提供媒体
JP4599740B2 (ja) 2000-04-21 2010-12-15 ソニー株式会社 情報処理装置および方法、記録媒体、プログラム、並びに記録媒体
US7088911B2 (en) 2000-04-26 2006-08-08 Sony Corporation Recording apparatus and method, playback apparatus and method, and recording medium therefor
GB2362532B (en) 2000-05-15 2004-05-05 Nokia Mobile Phones Ltd Video coding
US6829781B1 (en) * 2000-05-24 2004-12-07 At&T Corp. Network-based service to provide on-demand video summaries of television programs
KR100448452B1 (ko) 2000-06-09 2004-09-13 엘지전자 주식회사 고밀도 광 기록매체의 메뉴 지원방법
US6871006B1 (en) 2000-06-30 2005-03-22 Emc Corporation Processing of MPEG encoded video for trick mode operation
KR20040041082A (ko) 2000-07-24 2004-05-13 비브콤 인코포레이티드 멀티미디어 북마크와 비디오의 가상 편집을 위한 시스템및 방법
US7373422B1 (en) 2000-08-04 2008-05-13 Oracle International Corporation Techniques for supporting multiple devices in mobile applications
US6704024B2 (en) 2000-08-07 2004-03-09 Zframe, Inc. Visual content browsing using rasterized representations
WO2002017637A1 (fr) 2000-08-25 2002-02-28 Matsushita Electric Industrial Co., Ltd. Procede de transmission de donnees et procede de relais de donnees
US6453115B1 (en) 2000-08-31 2002-09-17 Keen Personal Media, Inc. Digital video recording system which generates an index data structure for displaying a video stream in trickplay mode
US7242772B1 (en) 2000-09-07 2007-07-10 Eastman Kodak Company Encryption apparatus and method for synchronizing multiple encryption keys with a data stream
US7212726B2 (en) 2000-09-15 2007-05-01 International Business Machines Corporation System and method of processing MPEG streams for file index insertion
US6920181B1 (en) 2000-09-19 2005-07-19 Todd Porter Method for synchronizing audio and video streams
US7031393B2 (en) 2000-10-20 2006-04-18 Matsushita Electric Industrial Co., Ltd. Block distortion detection method, block distortion detection apparatus, block distortion removal method, and block distortion removal apparatus
JP2002278597A (ja) * 2001-03-21 2002-09-27 Sanyo Electric Co Ltd オーディオ再生装置
US7450641B2 (en) 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
US7130316B2 (en) 2001-04-11 2006-10-31 Ati Technologies, Inc. System for frame based audio synchronization and method thereof
US7110664B2 (en) 2001-04-20 2006-09-19 Front Porch Digital, Inc. Methods and apparatus for indexing and archiving encoded audio-video data
US7065213B2 (en) 2001-06-29 2006-06-20 Scientific-Atlanta, Inc. In a subscriber network receiving digital packets and transmitting digital packets below a predetermined maximum bit rate
CN100470654C (zh) 2001-07-23 2009-03-18 松下电器产业株式会社 将信息记录到信息记录介质的装置及方法
JP4145586B2 (ja) 2001-07-24 2008-09-03 セイコーエプソン株式会社 画像処理装置及び画像処理プログラム、並びに画像処理方法
US20030044166A1 (en) 2001-08-31 2003-03-06 Stmicroelectronics, Inc. System for multiplexing video data streams in a digital video recorder and method of operating the same
US6931071B2 (en) 2001-08-31 2005-08-16 Stmicroelectronics, Inc. Apparatus and method for synchronizing video and audio MPEG streams in a video playback device
AU2002323591A1 (en) 2001-09-05 2003-03-18 Emblaze Systems Ltd. Method for reducing blocking artifacts
KR100424762B1 (ko) 2001-09-06 2004-03-30 삼성전자주식회사 영상 데이터 제공 시스템 및 방법
US6983079B2 (en) 2001-09-20 2006-01-03 Seiko Epson Corporation Reducing blocking and ringing artifacts in low-bit-rate coding
US7432940B2 (en) * 2001-10-12 2008-10-07 Canon Kabushiki Kaisha Interactive animation of sprites in a video production
US20030077071A1 (en) 2001-10-23 2003-04-24 Shu Lin Fast forward trick mode and reverse trick mode using an information file
JP2003152698A (ja) 2001-11-15 2003-05-23 Nippon Hoso Kyokai <Nhk> コンテンツ利用制御送信方法、コンテンツ利用制御受信方法およびコンテンツ利用制御送信装置、コンテンツ利用制御受信装置ならびにコンテンツ利用制御送信プログラム、コンテンツ利用制御受信プログラム
AU2002347635B2 (en) 2001-11-29 2008-04-24 Godo Kaisha Ip Bridge 1 Coding distortion removal method and video encoding end decoding methods
EP2320661B8 (en) 2001-11-29 2015-09-02 Godo Kaisha IP Bridge 1 Coding distortion removal method
US20040037421A1 (en) 2001-12-17 2004-02-26 Truman Michael Mead Parital encryption of assembled bitstreams
US8027470B2 (en) 2002-01-02 2011-09-27 Sony Corporation Video slice and active region based multiple partial encryption
US7065651B2 (en) 2002-01-16 2006-06-20 Microsoft Corporation Secure video card methods and systems
JP2003230089A (ja) 2002-01-31 2003-08-15 Toshiba Corp 情報記憶媒体及び情報記録装置
US7116894B1 (en) 2002-05-24 2006-10-03 Digeo, Inc. System and method for digital multimedia stream conversion
US7174021B2 (en) 2002-06-28 2007-02-06 Microsoft Corporation Systems and methods for providing secure server key operations
AU2003268037A1 (en) 2002-07-30 2004-02-16 Digital Interactive Streams, Inc. Digital content security system and method
US20040022391A1 (en) 2002-07-30 2004-02-05 O'brien Royal Digital content security system and method
US7167560B2 (en) 2002-08-08 2007-01-23 Matsushita Electric Industrial Co., Ltd. Partial encryption of stream-formatted media
MXPA04004148A (es) 2002-09-05 2005-07-05 Lg Electronics Inc Medio de grabacion, que tiene estructura de datos para adminstrar reproduccion de imagenes fijas ahi grabadas y metodos y aparatos para grabacion y reproduccion.
WO2004023480A1 (en) 2002-09-06 2004-03-18 Lg Electronics Inc. Recording medium having data structure for managing reproduction of still images recorded thereon and recording and reproducing methods and apparatuses
JP2004112176A (ja) * 2002-09-17 2004-04-08 Pioneer Electronic Corp 情報処理装置、その方法、そのプログラム、そのプログラムを記録した記録媒体、および、再生装置
US20050144468A1 (en) 2003-01-13 2005-06-30 Northcutt J. D. Method and apparatus for content protection in a personal digital network environment
US7020287B2 (en) 2002-09-30 2006-03-28 Sony Corporation Method and system for key insertion for stored encrypted content
US7295673B2 (en) 2002-10-23 2007-11-13 Divx, Inc. Method and system for securing compressed digital video
KR20040039852A (ko) 2002-11-05 2004-05-12 주식회사 디지털앤디지털 프레임 인덱스를 이용한 트릭 플레이 구현방법
US8572408B2 (en) 2002-11-05 2013-10-29 Sony Corporation Digital rights management of a digital device
RU2334285C2 (ru) 2002-11-20 2008-09-20 Эл Джи Электроникс Инк. Носитель записи со структурой данных для управления воспроизведением записанных на нем данных и способы и устройства записи и воспроизведения
US7227901B2 (en) 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
WO2004080081A1 (en) 2003-03-03 2004-09-16 Koninklijke Philips Electronics N.V. Video encoding
US7007170B2 (en) 2003-03-18 2006-02-28 Widevine Technologies, Inc. System, method, and apparatus for securely providing content viewable on a secure device
US6995311B2 (en) 2003-03-31 2006-02-07 Stevenson Alexander J Automatic pitch processing for electric stringed instruments
DE602004027799D1 (de) 2003-04-10 2010-08-05 Panasonic Corp Informationsaufzeichnungsmedium, einrichtung und verfahren zum aufzeichnen von informationen in einem informationsaufzeichnungsmedium
JP4902935B2 (ja) 2003-05-08 2012-03-21 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び記録媒体
KR20040096718A (ko) 2003-05-10 2004-11-17 삼성전자주식회사 멀티미디어 데이터 재생장치, 오디오 데이터 수신방법 및오디오 데이터 구조
KR100492567B1 (ko) 2003-05-13 2005-06-03 엘지전자 주식회사 이동통신 시스템의 ｈｔｔｐ 기반 비디오 스트리밍 장치및 방법
US7424501B2 (en) 2003-06-30 2008-09-09 Intel Corporation Nonlinear filtering and deblocking applications utilizing SIMD sign and absolute value operations
JP4411879B2 (ja) 2003-07-01 2010-02-10 株式会社ニコン 信号処理装置、信号処理プログラム、および電子カメラ
KR101081729B1 (ko) 2003-07-07 2011-11-08 로비 솔루션스 코포레이션 저작권 침해를 제어하고 쌍방향 컨텐츠를 인에이블시키기 위한 재프로그램가능한 보안
US20050013494A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation In-loop deblocking filter
US7382879B1 (en) 2003-07-23 2008-06-03 Sprint Communications Company, L.P. Digital rights management negotiation for streaming media over a network
JP2005057435A (ja) 2003-08-01 2005-03-03 Sony Corp クライアント機器及びクライアント機器におけるコンテンツ処理方法、並びにコンテンツ提供システム
DE602004031625D1 (de) 2003-08-07 2011-04-14 Pervenio Ltd Server zum bestimmen und speichern von mobilgerät-leistungsmerkmalen
JP2005086362A (ja) * 2003-09-05 2005-03-31 Matsushita Electric Ind Co Ltd データ多重化方法、データ送信方法およびデータ受信方法
US7853980B2 (en) 2003-10-31 2010-12-14 Sony Corporation Bi-directional indices for trick mode video-on-demand
JP4537083B2 (ja) 2004-01-28 2010-09-01 キヤノン株式会社 データ処理装置及びその制御方法
US9094699B2 (en) 2004-02-05 2015-07-28 Broadcom Corporation System and method for security key transmission with strong pairing to destination client
US7546641B2 (en) 2004-02-13 2009-06-09 Microsoft Corporation Conditional access to digital rights management conversion
US20070208571A1 (en) 2004-04-21 2007-09-06 Pierre-Anthony Stivell Lemieux Audio Bitstream Format In Which The Bitstream Syntax Is Described By An Ordered Transversal of A Tree Hierarchy Data Structure
US7539248B2 (en) 2004-04-29 2009-05-26 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7400679B2 (en) 2004-04-29 2008-07-15 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7397853B2 (en) 2004-04-29 2008-07-08 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7477749B2 (en) 2004-05-12 2009-01-13 Nokia Corporation Integrity protection of streamed content
US8600217B2 (en) 2004-07-14 2013-12-03 Arturo A. Rodriguez System and method for improving quality of displayed picture during trick modes
CN1989564A (zh) 2004-08-17 2007-06-27 松下电器产业株式会社 信息记录媒体、数据区别装置、以及数据再生装置
US20060093320A1 (en) * 2004-10-29 2006-05-04 Hallberg Bryan S Operation modes for a personal video recorder using dynamically generated time stamps
US7957535B2 (en) 2005-01-18 2011-06-07 Panasonic Corporation Data storing method, data playback method, data recording device, data playback device, and recording medium
US7349886B2 (en) 2005-03-25 2008-03-25 Widevine Technologies, Inc. Securely relaying content using key chains
CN102005228B (zh) 2005-04-07 2013-04-10 松下电器产业株式会社 记录方法和再现装置
KR100677026B1 (ko) 2005-04-07 2007-02-01 (주)아이티너스 코리아 영상 신호 송수신 시스템 및 이에 사용되는 보안 모듈
US8683066B2 (en) 2007-08-06 2014-03-25 DISH Digital L.L.C. Apparatus, system, and method for multi-bitrate content streaming
EP1908303A4 (en) 2005-07-01 2011-04-06 Sonic Solutions METHOD, DEVICE AND SYSTEM FOR USE IN MULTIMEDIA SIGNAL CODING
US8799757B2 (en) 2005-07-01 2014-08-05 Microsoft Corporation Synchronization aspects of interactive multimedia presentation management
JP4321550B2 (ja) 2005-08-31 2009-08-26 ソニー株式会社 情報処理装置、情報記録媒体製造装置、情報記録媒体、および方法、並びにコンピュータ・プログラム
US20070067472A1 (en) 2005-09-20 2007-03-22 Lsi Logic Corporation Accurate and error resilient time stamping method and/or apparatus for the audio-video interleaved (AVI) format
US20070083467A1 (en) 2005-10-10 2007-04-12 Apple Computer, Inc. Partial encryption techniques for media data
US7991891B2 (en) 2006-02-02 2011-08-02 Microsoft Corporation Version-specific content searching
KR20070096406A (ko) * 2006-03-24 2007-10-02 엘지전자 주식회사 디지털 멀티미디어 파일의 변속 재생 제어방법
US8219553B2 (en) * 2006-04-26 2012-07-10 At&T Intellectual Property I, Lp Methods, systems, and computer program products for managing audio and/or video information via a web broadcast
US7414550B1 (en) 2006-06-30 2008-08-19 Nvidia Corporation Methods and systems for sample rate conversion and sample clock synchronization
US8446963B2 (en) * 2006-07-12 2013-05-21 Mediatek Inc. Method and system for synchronizing audio and video data signals
JP5052514B2 (ja) 2006-07-12 2012-10-17 パナソニック株式会社 音声復号装置
EP1879347B1 (en) * 2006-07-14 2012-05-30 Sony Europe Limited System and method of audio/video streaming
US8224041B2 (en) 2006-07-19 2012-07-17 Panasonic Corporation Media data processing apparatus and media data processing method
US8856371B2 (en) 2006-08-07 2014-10-07 Oovoo Llc Video conferencing over IP networks
US7743161B2 (en) 2006-10-10 2010-06-22 Ortiva Wireless, Inc. Digital content buffer for adaptive streaming
TW200820783A (en) 2006-10-25 2008-05-01 Realtek Semiconductor Corp Apparatus and method for deblock filtering
US20080131075A1 (en) * 2006-12-01 2008-06-05 The Directv Group, Inc. Trick play dvr with audio pitch correction
US8243924B2 (en) 2007-06-29 2012-08-14 Google Inc. Progressive download or streaming of digital media securely through a localized container and communication protocol proxy
CN100536574C (zh) * 2007-07-10 2009-09-02 中国传媒大学 一种快速播放多媒体信息的系统和方法
US8677397B2 (en) 2007-09-20 2014-03-18 Visible World, Inc. Systems and methods for media packaging
US10277956B2 (en) 2007-10-01 2019-04-30 Cabot Communications Method and apparatus for streaming digital media content and a communication system
US20090106082A1 (en) 2007-10-23 2009-04-23 Senti Thad E System and method to facilitate targeted advertising
JP5513400B2 (ja) 2007-11-16 2014-06-04 ソニック アイピー， インコーポレイテッド マルチメディアファイルのための階層的で簡略なインデックス構造体
US8169916B1 (en) 2007-11-23 2012-05-01 Media Melon, Inc. Multi-platform video delivery configuration
US8131875B1 (en) 2007-11-26 2012-03-06 Adobe Systems Incorporated Device profile assignment based on device capabilities
US8479229B2 (en) * 2008-02-29 2013-07-02 At&T Intellectual Property I, L.P. System and method for presenting advertising data during trick play command execution
WO2009109976A2 (en) 2008-03-05 2009-09-11 Webtview Ltd. Distributing internet channels to a media viewer
CN101540645A (zh) 2008-03-21 2009-09-23 华为技术有限公司 动态内容分发方法和装置
US20090249081A1 (en) 2008-03-31 2009-10-01 Kabushiki Kaisha Toshiba-1 Shibaura 1-Chomominatoku Storage device encryption and method
US8379851B2 (en) 2008-05-12 2013-02-19 Microsoft Corporation Optimized client side rate control and indexed file layout for streaming media
WO2009149364A2 (en) 2008-06-06 2009-12-10 Deluxe Digital Studios, Inc. Methods and systems for use in providing playback of variable length content in a fixed length framework
CN101662689B (zh) * 2008-08-25 2011-07-06 华为技术有限公司 交互电视频道切换方法及系统、音视频流发送方法及装置
CN101426179A (zh) 2008-09-22 2009-05-06 深圳华为通信技术有限公司 业务激活的方法和业务提供的方法以及终端设备和服务器
EP2180664A1 (en) 2008-10-22 2010-04-28 Vivendi Mobile Entertainment System and method for accessing multi-media content via a mobile terminal
US8788079B2 (en) 2010-11-09 2014-07-22 Vmware, Inc. Monitoring audio fidelity and audio-video synchronization
US8463108B2 (en) * 2009-01-06 2013-06-11 Microsoft Corporation Client-side ad insertion during trick mode playback
CN102792291B (zh) 2009-08-17 2015-11-25 阿卡麦科技公司 基于http的流分发的方法和系统
US9203816B2 (en) 2009-09-04 2015-12-01 Echostar Technologies L.L.C. Controlling access to copies of media content by a client device
US20110096828A1 (en) 2009-09-22 2011-04-28 Qualcomm Incorporated Enhanced block-request streaming using scalable encoding
US8473558B2 (en) 2009-09-22 2013-06-25 Thwapr, Inc. Progressive registration for mobile media sharing
CN101674486B (zh) * 2009-09-29 2013-05-08 深圳市融创天下科技股份有限公司 一种流媒体音视频同步方法及系统
US10264029B2 (en) 2009-10-30 2019-04-16 Time Warner Cable Enterprises Llc Methods and apparatus for packetized content delivery over a content delivery network
US8930991B2 (en) 2009-11-19 2015-01-06 Gregory Philpott System and method for delivering content to mobile devices
US8539535B2 (en) * 2009-11-30 2013-09-17 Time Warner Cable Enterprises Llc Methods and apparatus for supporting VOD requests in a system with hierarchical content stores
CA2782825C (en) 2009-12-04 2016-04-26 Divx, Llc Elementary bitstream cryptographic material transport systems and methods
US9038116B1 (en) 2009-12-28 2015-05-19 Akamai Technologies, Inc. Method and system for recording streams
US20110296048A1 (en) 2009-12-28 2011-12-01 Akamai Technologies, Inc. Method and system for stream handling using an intermediate format
DK2526671T3 (en) 2010-01-18 2017-02-27 ERICSSON TELEFON AB L M (publ) METHODS AND DEVICES FOR HTTP MEDIA FLOW DISTRIBUTION
US20110179185A1 (en) 2010-01-20 2011-07-21 Futurewei Technologies, Inc. System and Method for Adaptive Differentiated Streaming
EP3333741B1 (en) 2010-02-17 2019-07-31 Verimatrix, Inc. Systems and methods for securing content delivered using a playlist
EP2362651A1 (en) 2010-02-19 2011-08-31 Thomson Licensing Multipath delivery for adaptive streaming
EP2360923A1 (en) 2010-02-24 2011-08-24 Thomson Licensing Method for selectively requesting adaptive streaming content and a device implementing the method
US8655156B2 (en) * 2010-03-02 2014-02-18 Cisco Technology, Inc. Auxiliary audio transmission for preserving synchronized playout with paced-down video
US8819116B1 (en) 2010-03-08 2014-08-26 Amazon Technologies, Inc. Providing services using a device capabilities service
EP2375680A1 (en) 2010-04-01 2011-10-12 Thomson Licensing A method for recovering content streamed into chunk
US9043484B2 (en) 2010-04-02 2015-05-26 Disney Enterprises, Inc. Streaming playback and dynamic ad insertion
US9137278B2 (en) 2010-04-08 2015-09-15 Vasona Networks Inc. Managing streaming bandwidth for multiple clients
WO2011153475A1 (en) 2010-06-04 2011-12-08 Skype Ireland Technologies Holdings Limited Server-assisted video conversation
AU2010202741B1 (en) 2010-06-30 2010-12-23 Brightcove Inc. Dynamic chunking for media streaming
US20130080267A1 (en) 2011-09-26 2013-03-28 Unicorn Media, Inc. Single-url content delivery
KR101670850B1 (ko) 2010-07-20 2016-10-31 톰슨 라이센싱 트릭 모드 작동 동안 컨텐츠 표현을 위한 방법
US8782268B2 (en) 2010-07-20 2014-07-15 Microsoft Corporation Dynamic composition of media
US9319448B2 (en) 2010-08-10 2016-04-19 Qualcomm Incorporated Trick modes for network streaming of coded multimedia data
US8677428B2 (en) 2010-08-20 2014-03-18 Disney Enterprises, Inc. System and method for rule based dynamic server side streaming manifest files
US8640181B1 (en) * 2010-09-15 2014-01-28 Mlb Advanced Media, L.P. Synchronous and multi-sourced audio and video broadcast
JP5400009B2 (ja) 2010-09-27 2014-01-29 ルネサスエレクトロニクス株式会社 トランスコード装置及びトランコード方法並びにプログラム
US8736700B2 (en) 2010-09-30 2014-05-27 Apple Inc. Techniques for synchronizing audio and video data in an image signal processing system
KR101175014B1 (ko) 2010-10-18 2012-08-17 에스비리모티브 주식회사 이차 전지
WO2012059376A1 (en) 2010-11-02 2012-05-10 Telefonaktiebolaget L M Ericsson (Publ) Methods and devices for media description delivery
US9264750B2 (en) 2010-12-23 2016-02-16 Verizon Patent And Licensing Inc. Advertising insertion for playback of video streams on user devices
WO2012094171A1 (en) * 2011-01-05 2012-07-12 Divx, Llc. Adaptive bitrate streaming of media stored in matroska container files using hypertext transfer protocol
US8914534B2 (en) 2011-01-05 2014-12-16 Sonic Ip, Inc. Systems and methods for adaptive bitrate streaming of media stored in matroska container files using hypertext transfer protocol
CN103053170B (zh) * 2011-02-14 2017-03-29 艾科星科技公司 用以在串流重放期间提供特技播放的系统和方法
EP2509073A1 (en) 2011-04-07 2012-10-10 EVS International (Swiss) Sàrl Time-stretching of an audio signal
US8849950B2 (en) 2011-04-07 2014-09-30 Qualcomm Incorporated Network streaming of video data using byte range requests
US9646141B2 (en) 2011-06-22 2017-05-09 Netflix, Inc. Fast start of streaming digital media playback with deferred license retrieval
BR112013032846A2 (pt) 2011-06-28 2017-02-21 Ericsson Telefon Ab L M técnica para gerenciar o tráfego de mídia de transmissão em uma entidade de rede
US8832297B2 (en) 2011-06-29 2014-09-09 Sonic Ip, Inc. Systems and methods for performing multiphase adaptive bitrate streaming
US20130007200A1 (en) 2011-06-30 2013-01-03 Divx, Llc Systems and methods for determining available bandwidth and performing initial stream selection when commencing streaming using hypertext transfer protocol
CN103650451B (zh) 2011-07-07 2016-10-19 瑞典爱立信有限公司 网络容量优化的自适应http流播
US9887852B2 (en) 2011-08-11 2018-02-06 Intel Corporation Methods for switching between a MBMS download and an HTTP-based delivery of DASH formatted content over an IMS network
US8787570B2 (en) * 2011-08-31 2014-07-22 Sonic Ip, Inc. Systems and methods for automatically genenrating top level index files
US20130141643A1 (en) 2011-12-06 2013-06-06 Doug Carson & Associates, Inc. Audio-Video Frame Synchronization in a Multimedia Stream
JP2013126184A (ja) * 2011-12-15 2013-06-24 Sharp Corp コンテンツ再生装置、その制御方法および制御プログラム、並びにコンテンツ表示制御装置
EP2611051B1 (en) * 2011-12-29 2014-06-04 Thomson Licensing Method for synchronizing media services
JP5879169B2 (ja) 2012-03-26 2016-03-08 日本放送協会 字幕同期再生装置およびそのプログラム
US20130336379A1 (en) 2012-06-13 2013-12-19 Divx, Llc System and Methods for Encoding Live Multimedia Content with Synchronized Resampled Audio Data
US9762955B2 (en) * 2012-11-16 2017-09-12 At&T Mobility Ii Llc Substituting alternative media for presentation during variable speed operation
US9100687B2 (en) * 2013-05-31 2015-08-04 Sonic Ip, Inc. Playback synchronization across playback devices
US9407858B2 (en) 2014-01-20 2016-08-02 Custom Solutions Group, LLC Voiceover system and method
EP2963892A1 (en) * 2014-06-30 2016-01-06 Thomson Licensing Method and apparatus for transmission and reception of media data
US9923942B2 (en) * 2014-08-29 2018-03-20 The Nielsen Company (Us), Llc Using messaging associated with adaptive bitrate streaming to perform media monitoring for mobile platforms
US10264269B2 (en) * 2014-10-13 2019-04-16 Apple Inc. Metadata hints to support best effort decoding for green MPEG applications
US9516291B2 (en) * 2014-12-01 2016-12-06 The Board Of Trustees Of The Leland Stanford Junior University Television systems incorporating separate A/V processing systems and television displays
US10034035B2 (en) * 2014-12-10 2018-07-24 DISH Technologies L.L.C. Methods, devices and systems for audiovisual synchronization with multiple output devices
US10231001B2 (en) 2016-05-24 2019-03-12 Divx, Llc Systems and methods for providing audio content during trick-play playback

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120278842A1 (en) * 1999-03-30 2012-11-01 Howard Look Television Viewer Interface System
US20060269221A1 (en) * 2005-05-18 2006-11-30 Matsushita Electric Industrial Co., Ltd Content reproduction apparatus
US20140282262A1 (en) * 2013-03-15 2014-09-18 General Instrument Corporation Devices and methods for providing navigation images associated with adaptive bit rate video content
US20150131966A1 (en) * 2013-11-11 2015-05-14 Motorola Mobility Llc Three-dimensional audio rendering techniques

Also Published As

Publication number Publication date
US10231001B2 (en) 2019-03-12
US11546643B2 (en) 2023-01-03
US20170347136A1 (en) 2017-11-30
US10701417B2 (en) 2020-06-30
CN109937448B (zh) 2021-02-09
US11044502B2 (en) 2021-06-22
JP7078697B2 (ja) 2022-05-31
JP2021040342A (ja) 2021-03-11
JP2019517219A (ja) 2019-06-20
EP3465460A1 (en) 2019-04-10
WO2017205028A1 (en) 2017-11-30
ES2949432T3 (es) 2023-09-28
US20220046296A1 (en) 2022-02-10
EP3465460B1 (en) 2023-06-14
US20190208239A1 (en) 2019-07-04
KR102054654B1 (ko) 2019-12-11
CN109937448A (zh) 2019-06-25
US20200351530A1 (en) 2020-11-05
EP3465460A4 (en) 2019-10-30

Similar Documents

Publication Publication Date Title
US11546643B2 (en) Systems and methods for providing audio content during trick-play playback
US11895348B2 (en) Systems and methods for providing variable speeds in a trick-play mode
KR102191317B1 (ko) 하이퍼텍스트 전송 프로토콜을 사용한 마트로스카 컨테이너 파일들에 저장된 미디어의 적응적 비트레이트 스트리밍
US9197685B2 (en) Systems and methods for fast video startup using trick play streams

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant