KR102085192B1 - 렌더링 시간 제어 - Google Patents

렌더링 시간 제어 Download PDF

Info

Publication number
KR102085192B1
KR102085192B1 KR1020157004747A KR20157004747A KR102085192B1 KR 102085192 B1 KR102085192 B1 KR 102085192B1 KR 1020157004747 A KR1020157004747 A KR 1020157004747A KR 20157004747 A KR20157004747 A KR 20157004747A KR 102085192 B1 KR102085192 B1 KR 102085192B1
Authority
KR
South Korea
Prior art keywords
content stream
chunk
content
control device
requested
Prior art date
Application number
KR1020157004747A
Other languages
English (en)
Other versions
KR20150048735A (ko
Inventor
이봉 르걀레
크리스토퍼 하우쓴
앙또니 로렁
Original Assignee
인터디지털 씨이 페이튼트 홀딩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터디지털 씨이 페이튼트 홀딩스 filed Critical 인터디지털 씨이 페이튼트 홀딩스
Publication of KR20150048735A publication Critical patent/KR20150048735A/ko
Application granted granted Critical
Publication of KR102085192B1 publication Critical patent/KR102085192B1/ko

Links

Images

Classifications

    • H04L65/4084—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H04L65/4076—
    • H04L65/608—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H04L67/2842—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/289—Intermediate processing functionally located close to the data consumer application, e.g. in same machine, in same home or in same sub-network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6543—Transmission by server directed to the client for forcing some client operations, e.g. recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

제2 디바이스(6) 상에서의 제2 콘텐츠 스트림의 렌더링 시간을 제어하기 위한 방법이 제공되는데 - 제2 콘텐츠 스트림은 청크들로 구성되고, 각각의 청크는 데이터 패킷들을 포함함 -, 이 방법은, a) 제2 디바이스(6)로부터 제2 콘텐츠 스트림의 청크의 요청을 수신하는 단계; b) 제1 디바이스(4) 상에서 렌더링되는 제1 콘텐츠 스트림의 재생 위치에 기초하여, 이 요청된 청크의 제2 위치를 결정하는 단계; c) 서버(18)로부터 이 요청된 청크의 패킷들을 수신하는 단계; 및 d) 이 요청된 청크가 제2 디바이스(6)로 전달되어야 하는 전달 시간(ToD)에 제2 디바이스(6)로 요청된 청크를 전달하는 단계를 포함하고, 이 전달 시간(ToD)은 이 제2 위치의 함수이다.

Description

렌더링 시간 제어{RENDERING TIME CONTROL}
본 발명은 일반적으로 상이한 소스들로부터 비롯되고/되거나 상이한 전송 프로토콜들을 이용하여 전송되며 적어도 하나의 렌더링 디바이스 상에서 복구되는 콘텐츠 스트림들의 처리에 관한 것이다.
보다 구체적으로는, 본 발명은 이러한 콘텐츠 스트림들의 동기화를 다루며, 특히 메인 디스플레이 상에서 렌더링되는 관련 콘텐츠와 완전히 동기화되도록 보조 디스플레이 상에서의 콘텐츠의 렌더링 시간을 제어하는 것을 다룬다. 특히, 본 발명은, 예를 들어 스마트폰과 같은 개인용 디바이스 상에서 그리고 TV 세트 상에서 관련 콘텐츠가 동시에 렌더링되는 제2 스크린 텔레비전(TV) 상황에서의 애플리케이션을 발견한다.
따라서, 본 발명은 콘텐츠의 렌더링 시간을 제어하기 위한 방법 및 디바이스에 관한 것이다. 또한, 본 발명은 본 발명의 방법을 구현하는 컴퓨터 프로그램에 관한 것이다.
이 섹션에 설명되는 접근법들은 추구될 수 있지만, 반드시 이전에 구상되거나 추구되었던 접근법들은 아니다. 그러므로, 여기서 달리 표시되지 않는 한, 이 섹션에 설명되는 접근법들은 본 출원의 청구범위에 대한 종래 기술이 아니며, 이 섹션에 포함되는 것에 의해 종래 기술로 인정되지 않는다.
방송 및 광대역 IP 네트워크들의 상보적인 특성은, 각각의 네트워크의 강점(strengths)이 개인화된 TV 서비스들을 제공하도록 레버리징되는 하이브리드 전달 모델을 가능하게 하였다. 이러한 전달 모델은 이미 TV 풍경에서 다수의 배우들에 의해 이용되고 있다. 소비자 장비의 제조자들은, 인터넷 비디오, 확장된 프로그램 가이드 및 캐치업 TV에 대한 광대역 액세스를 통합하는 "커넥티드 TV(Connected TVs)"를 제공하고 있다.
HbbTV(Hybrid Broadcast Broadband TV) 및 YouView와 같은 발의안들은 하이브리드 방송 광대역 서비스들의 제공에 대한 표준화된 접근법을 정의하도록 시도하는 방송사업자들, 콘텐츠 제공자들 및 인터넷 서비스 제공자들을 함께 화합하였다. 최초의 HbbTV 서비스가 2009년 12월에 런칭되었지만, 현재의 하이브리드 TV 서비스 배치는 아직 미디어 콘텐츠의 전달을 위해 인터넷의 완전한 잠재력을 이용하지 않으며, 추가의 혁신을 위한 상당한 잠재력이 남아 있다.
롱테일 및 주문형 콘텐츠를 위해 광대역 전달을 이용하며 대중적인 프로그램의 대규모 배포를 위해 방송 전달을 이용함으로써, 결합된 전달 모델은 다수의 가입자들에 대해 개인화된 부가 가치 TV 서비스들을 제공하도록 잘 구성되어 있다.
태블릿 또는 스마트폰과 같은 컴패니언 단말기들은 TV 방송에 링크되는 개인화된 콘텐츠의 소비를 위한 "TV 버디(TV buddies)"로서 잘 정착되고 있다.
C. Howson 등의 게시물인 "Second Screen TV Synchronization"(2011 IEEE International Conference on Consumer Electronics)에서, 제2 스크린 사용 케이스들이 구상되는데, 여기서 방송 프로그램들에 링크된 대체 오디오 또는 비디오 콘텐츠는 광대역을 통해 반송되고, 그에 따라 방송 네트워크 대역폭에 대한 부담을 완화하며 개인화를 가능하게 한다.
이러한 서비스의 일례는, TV 세트 상에 디스플레이되는 방송 비디오를 동반하도록 핸드헬드 디바이스 상에서 선호되는 오디오 사운드트랙을 선택하는 가능성을 사용자에게 제공한다. 메인 음성 및 비디오 컴포넌트들은 방송 네트워크를 통해 전달되는 한편, 수개의 다른 언어는 인터넷을 통해 주문형으로 입수가능하다.
다른 이러한 서비스는, 사용자가, TV 세트 상에 디스플레이되는 방송 콘텐츠와 함께, 광대역으로 전달되는 스포츠 또는 음악 이벤트의 대체 뷰를 선택하고 이를 자신의 태블릿 상에 렌더링할 수 있게 한다.
이러한 제2 스크린 서비스들의 사용자 경험이 받아들여지는 경우, 광대역 및 방송 네트워크들을 통해 별도로 전달되는 미디어 컴포넌트들은 정확한 동기화로 렌더링될 필요가 있다.
기존의 하이브리드 TV 서비스들은 대화형 애플리케이션들을 위한 트리거 메커니즘들을 이용하지만, 이들은, 예를 들어 인터넷을 통해 전달되는 대체 사운드 트랙이 자동으로 정확하게 방송 비디오 컴포넌트와 동기화되는 것을 허용하는 기술들을 통합하지는 않는다.
상기 인용된 논문은, 광대역 및 방송 네트워크들을 통해 독립적으로 전달되는 콘텐츠 컴포넌트들의 렌더링이 사용자 디바이스들에서 동기화될 수 있게 하는, 개인화된 제2 스크린 TV 서비스의 배치를 위한 시스템을 제안한다. 이 논문에 개시된 솔루션은, 방송 네트워크를 통해 그리고 몇몇 경우에는 광대역 네트워크를 통해 또한 전달되는 미디어 컴포넌트들의 각각의 그룹과 연관된 보조 컴포넌트 타임라인의 추가에 기초한다. 이 타임라인 컴포넌트는 각각의 이벤트에 관련된 동기화 정보를 전달하고, 미디어 컴포넌트들의 프리젠테이션을 정렬하는데 이용된다.
예를 들어 오디오 워터마킹 및 오디오 핑거프린팅과 같이, 다소 정확하게 2개의 렌더러를 동기화하는 것을 허용하는 다른 기술들도 또한 존재한다.
그러나, 이미 존재하는 기술들은, 메인 스크린 디바이스와 공유되는 시간 기준을 관리하도록 되어 있는 플레이어를 제2 스크린 디바이스가 포함하는 것을 요구한다.
본 발명은 이러한 상황을 개선하기 위한 솔루션을 제안한다.
따라서, 본 발명은, 제2 디바이스 상에서의 제2 콘텐츠 스트림의 렌더링 시간을 제어하기 위한 방법으로서 - 이 제2 콘텐츠 스트림은 청크들로 구성되고, 각각의 청크는 제2 콘텐츠 스트림의 개별적으로 액세스가능한 부분에 대응하고, 각각의 청크는 데이터 패킷들을 포함함 -,
제어 디바이스에 의해 수행되는,
a) 제2 디바이스로부터 제2 콘텐츠 스트림의 청크의 요청을 수신하는 단계;
b) 제1 디바이스 상에서 렌더링되는 제1 콘텐츠 스트림의 재생 위치에 기초하여, 제2 콘텐츠 스트림에서의 이 요청된 청크의 제2 위치를 결정하는 단계;
c) 서버(18)로부터 요청된 청크의 패킷들을 수신하는 단계; 및
d) 제2 콘텐츠 스트림의 제2 디바이스 렌더링이 제1 콘텐츠 스트림의 제1 디바이스 렌더링과 동기화되도록 이 요청된 청크가 제2 디바이스로 전달되어야 하는 전달 시간에 제2 디바이스로 요청된 청크를 전달하는 단계 - 이 전달 시간은 이 제2 위치의 함수임 -
를 포함하는 방법을 제공한다.
따라서, 본 발명에서, 제2 디바이스 상에서의 렌더링 시간은, 적시에 이 제2 디바이스로 제2 콘텐츠 스트림의 데이터를 전달함으로써 제어된다. 이 방법은 제2 디바이스의 플레이어 애플리케이션의 어떠한 특정한 특징도 요구하지 않는다.
결과적으로, 본 발명의 방법은 비디오 플레이어를 구현하는 임의의 디바이스 상의 제2 스크린 서비스의 배치를 허용한다.
또한, 이 방법은 광대역 네트워크를 통해 복수의 단말기로 전달되는 상이한 비디오 스트림들의 렌더링 시간을 제어하는데 이용될 수 있다.
바람직하게는, 전달하는 단계는 적응적 스트리밍 프로토콜을 이용한다.
보다 구체적으로는, 이 프로토콜은 예를 들어 HTTP(HyperText Transfer Protocol) 적응적 스트리밍 프로토콜이다.
이 경우, 제2 콘텐츠 스트림의 각각의 청크는 별개의 URI에 의해 개별적으로 액세스가능하다.
유리하게는, 이 방법은, 제어 디바이스에 의해 수행되는,
e) 요청된 청크의 최종 패킷을 제외한 요청된 청크의 이들 패킷들을 제2 디바이스(6)로 송신하는 단계; 및
f) 요청된 청크의 이 최종 패킷을 버퍼링하는 단계
를 더 포함하고,
전달하는 단계 d)는 전달 시간에 제2 디바이스로 요청된 청크의 이 최종 패킷을 전달하는 단계를 포함한다.
적응적 스트리밍의 경우에, 제2 디바이스가 요청된 청크의 최종 패킷을 수신하는 때는 이 청크의 렌더링의 시작을 결정하므로, 이 최종 패킷의 제2 디바이스로의 전달 시간은 이 디바이스에 의한 청크의 렌더링 시간을 강제한다.
유리하게는, 이 방법은, 제2 디바이스에 의한 요청된 청크의 처리에 필요한 시간을 결정하는 추가의 단계를 포함한다.
따라서, 이 처리 시간은 요청된 청크의 최종 패킷의 수신과 이 청크의 렌더링의 시작 사이의 시간이다. 이 처리 시간은 각각의 플레이어 타입에 특정된다.
바람직하게는, 요청된 청크가 단계 d)에서 전달 시간에 전달될 수 없는 경우, 이 방법은,
g) 이 요청된 청크를 폐기하는 단계; 및
h) 제2 콘텐츠 스트림에서 이 요청된 청크에 후속하는 청크에 대해 단계 b) 내지 d)를 반복하는 단계
를 더 포함한다.
본 발명의 특정 실시예에서, 제1 콘텐츠 스트림과 제2 콘텐츠 스트림은 동일한 콘텐츠를 반송한다.
이는, 광대역 네트워크의 경우에 복수의 단말기가 동시에 동일한 콘텐츠를 렌더링하는 것을 보증하는 것이 필요할 때 특히 흥미롭다.
또한, 본 발명은, 제2 콘텐츠 스트림의 제2 디바이스 렌더링이 제1 콘텐츠 스트림의 제1 디바이스 렌더링과 동기화되도록 제2 디바이스 상에서의 제2 콘텐츠 스트림의 렌더링 시간을 제어하기 위한 제어 디바이스를 제공하는데, 이 제어 디바이스는 본 발명의 방법의 단계들을 수행하도록 되어 있다.
제1 실시예에 따르면, 제어 디바이스는 홈 게이트웨이 또는 셋톱 박스이다.
제2 실시예에 따르면, 제어 디바이스는 프록시 서버이다.
예를 들어, 프록시 서버는, 예를 들어 동일한 영역에서의 모든 사용자가 동시에 이벤트를 발견하는 것을 보증하도록 광대역 네트워크를 통해 복수의 단말기로 전달되는 비디오 스트림들의 렌더링 시간을 제어한다. 그러한 경우, 렌더링 시간은 최근의 것에 대해 모든 단말기를 동기화하도록 선택될 수 있다. 또한, 라이브 이벤트의 오디오 코멘트 또는 텍스트 기술(textual description)에 대한 이 라이브 이벤트의 비디오 렌더링의 동기화를 결정하는 것이 가능하다. 단말기들이 이동 중에 있는 경우, 렌더링은 단말기들이 특정 위치에 도달할 때 시작할 수 있다.
본 발명에 따른 방법은 프로그래머블 장치 상에서 소프트웨어로 구현될 수 있다. 이 방법은 하드웨어나 소프트웨어 단독으로 또는 이들의 조합으로 구현될 수 있다.
본 발명이 소프트웨어로 구현될 수 있기 때문에, 본 발명은 임의의 적합한 캐리어 매체 상에서 프로그래머블 장치로의 제공을 위해 컴퓨터 판독가능 코드로서 구현될 수 있다. 캐리어 매체는, 플로피 디스크, CD-ROM, 하드 디스크 드라이브, 자기 테이프 디바이스 또는 고체 상태 메모리 디바이스 등과 같은 저장 매체를 포함할 수 있다.
따라서, 본 발명은, 컴퓨터가 본 발명의 방법을 수행할 수 있게 하기 위한 컴퓨터 실행가능 명령어들을 포함하는 컴퓨터 판독가능 프로그램을 제공한다. 도 3의 다이어그램이 이러한 컴퓨터 프로그램의 일반적인 알고리즘의 예를 예시한다.
본 발명은 제한이 아니라 예로서 첨부 도면들에서 예시되며, 동일한 참조번호는 유사한 엘리먼트를 지칭한다.
도 1은 본 발명에 따른 방법을 구현하는 시스템의 일 실시예의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 제어 디바이스의 개략도이다.
도 3은 본 발명의 일 실시예에 따른 방법의 단계들을 도시한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 전달 시간의 계산을 나타내는 타임라인이다.
도 1을 참조하면, 본 발명의 바람직한 실시예에 따른 동기화 시스템(2)의 개략도가 도시되어 있다.
동기화 시스템(2)은, 사용자의 집에 위치하는, 메인 디바이스(4)로 지칭되는 제1 디바이스, 및 보조 디바이스(6)로 지칭되는 제2 디바이스를 포함한다. 메인 디바이스(4)는 예를 들어 사용자에 대한 메인 디스플레이를 구성하는 TV 세트인 한편, 보조 디바이스(6)는 예를 들어 스마트폰, PC 랩톱 또는 태블릿이다. 보조 디바이스는 비디오 플레이어를 포함하고, 사용자에 의해 제2 스크린 디바이스로서 사용된다.
메인 디바이스(4) 상에 디스플레이되는 콘텐츠는 방송 네트워크를 통해 오리지널 콘텐츠 서버(도시되지 않음)로부터 수신된다. 이러한 방송 콘텐츠(예를 들어, DVB-T 또는 DVB-C 멀티미디어 스트림)를 수신하기 위해서, 메인 디바이스(4)는 안테나(8)에 링크된다. 또한, 메인 디바이스(4)는, 홈 네트워크(10)를 통해, 인터넷(14)에 접속된 홈 게이트웨이(12)에 접속된다.
메인 디바이스(4) 상에 디스플레이되는 콘텐츠는 원격 또는 로컬 오디오 및/또는 비디오 서버, 비디오 파일, DVD, 블루레이 디스크 등으로부터의 스트리밍과 같이 임의의 로컬 또는 원격 소스에 의해 또한 제공될 수 있다. 이를 위해, 메인 디바이스(4)는 로컬 콘텐츠 소스(16), 예를 들어 DVD 및/또는 블루레이 리더에 또한 접속된다.
메인 디바이스(4)는 오디오/비디오 데이터, 및 이 메인 디바이스(4) 상에서 렌더링되는 TV 프로그램 내의 현재 재생 위치의 식별을 허용하는 연관된 메타데이터를 수신한다.
보조 디바이스(6)도 홈 네트워크(10)에 또한 접속된다. 따라서, 이 보조 디바이스는, 홈 게이트웨이(12) 및 인터넷(14)을 통해, 오리지널 콘텐츠 서버의 콘텐츠에 관련된 콘텐츠를 포함하는 상보적인(complementary) 콘텐츠 서버(18)에 접속된다.
상보적인 콘텐츠 서버(18)는, 비디오 데이터 패킷들을 포함하는 청크들로 구성된 보조 콘텐츠 스트림을 홈 게이트웨이(12)를 통해 보조 디바이스(6)로 제공할 수 있다.
예를 들어, 상보적인 서비스에 대한 액세스는 방송 네트워크로부터 수신되는 방송 스트림에 임베딩된 정보 덕분에 홈 게이트웨이(12)에 의해 보조 디바이스(6)에 제공된다.
다른 실시예에서, 상보적인 콘텐츠 서버(18)에 의해 제공되는 보조 콘텐츠는 사용자에 의해 용이하게 식별되는 웹 사이트로부터 보조 디바이스(6)에 액세스가능한데, 그 이유는 그것이 메인 디바이스(4) 상에서 수신되는 방송 콘텐츠와 밀결합되기 때문이다. 이 웹 사이트는 오리지널 콘텐츠 서버로부터 제공되는 메인 콘텐츠를 생성한 스튜디오의 웹 사이트 또는 방송 제공자의 웹 사이트일 수 있다. 웹 사이트는, 예를 들어 보조 콘텐츠 스트림의 청크들에 대한 URI(Uniform Resource Identifiers), 캡션, 마커, 비디오 해상도, 인코딩 비트 레이트 및 사용된 코덱을 상세화함으로써 이용가능한 스트림들을 기술하는 매니페스트 파일(manifest file)에 대한 URL(Uniform Resource Locator)을 제공한다. 이 매니페스트 파일은 DASH(Dynamic Adaptive Streaming over HTTP)에서 미디어 프리젠테이션 기술(MPD: Media Presentation Description)로 지칭된다. 다른 매니페스트 파일들이 예를 들어 Adobe, Apple 및 Microsoft로부터의 사유(proprietary) 적응적 스트림 솔루션들에서 이용된다.
사용자의 집의 이들 장비들을 사용하여, 오리지널 콘텐츠 서버로부터 비롯되며 메인 디바이스(4)에 의해 렌더링될 제1 멀티미디어 스트림, 및 상보적인 서버(18)로부터 비롯되며 보조 디바이스(6)에 의해 렌더링될 제2 멀티미디어 스트림을 사용자가 수신하는 것이 가능하다.
사용자는 양쪽 디바이스(4, 6)에서 동시에 관련 콘텐츠를 수신하기를 희망할 수 있다. 예를 들어, 사용자는, 메인 디바이스(4) 상에 디스플레이되는 메인 콘텐츠와 함께, 스포츠 또는 음악 이벤트의 대체 뷰를 수신하고 이를 보조 디바이스(6) 상에 렌더링하기를 희망할 수 있다.
여기서, 보조 디바이스(6)에 의해 렌더링되는 오디오/비디오 상보적인 콘텐츠는 적응적 HTTP 스트리밍에서 상보적인 콘텐츠 서버(18)로부터 홈 게이트웨이(12)로 전달된다.
본 발명의 동기화 시스템(2), 보다 구체적으로는 홈 게이트웨이(12)는 양쪽 콘텐츠를 디바이스들(4, 6) 상에 동시에 렌더링하기 위해서 이들 콘텐츠의 완전한 동기화를 가능하게 한다.
실제로, 홈 게이트웨이(12)는, 홈 네트워크(10)에 접속된 모든 디바이스에 액세스할 수 있으며 모든 착신 및/또는 발신 인터넷 트래픽을 라우팅할 수 있으므로, 특권 상황(privileged situation)을 갖는다.
바람직하게는, 홈 게이트웨이(12)는 투명한 프록시 모드로 구성된다. 이러한 구성에서, 홈 게이트웨이(12)는 홈 디바이스들(4, 6)의 어떠한 특정한 구성 없이 인터넷 통신을 인터셉트할 수 있다. 홈 게이트웨이는 웹 서비스로부터 비롯되거나 이 웹 서비스로 바쳐지는(dedicated) 데이터를 분석하거나 수정할 수 있다.
도 2에 도시된 바와 같이, 홈 게이트웨이(12)는, 메인 디바이스(4) 상에서 렌더링되는 메인 콘텐츠 스트림의 메인 타이밍 위치, 즉 재생 위치를 식별하기 위한 식별 모듈(22)을 포함한다.
따라서, 식별 모듈(22)은 메인 디바이스(4)로부터의 정보를 검색할 수 있다. 메인 디바이스(4) 상에서 렌더링되는 TV 프로그램 내의 수신된 메인 타이밍 위치 외에, 식별 모듈(22)은 방송 스트림에서 전달되는 모든 메타데이터에 응할 수 있다. 이들 메타데이터 중에서, 식별 모듈(22)은, 메인 디바이스(4) 상에서 현재 소비되는 TV 프로그램에 연관된 제2 뷰를 제공하는 웹 서비스에 대한 액세스를 허용하는 URL을 식별할 수 있다.
홈 게이트웨이(12)는, 보조 디바이스 렌더링이 메인 디바이스 렌더링과 동기화되도록, 상보적인 콘텐츠 서버(18)로부터 송신되는 보조 콘텐츠 스트림의 다음 청크가 보조 디바이스(6)로 전달되어야 하는 전달 시간을 전술한 메인 타이밍 위치를 이용하여 결정하기 위한 결정 모듈(24)을 또한 포함한다.
홈 게이트웨이(12)는 비디오 콘텐츠를 저장하기 위한 버퍼(26), 및 적응적 HTTP 스트리밍을 이용하여 비디오 콘텐츠를 보조 디바이스(6)로 전달하기 위한 전달 모듈(28)을 더 포함한다.
도 3은 바람직한 실시예에 따른 본 발명의 방법의 단계들을 도시한 흐름도이다.
사용자가 제2 뷰 서비스를 선택할 때, 단계(32)에서, 매니페스트 파일을 획득하기 위해서 홈 게이트웨이(12)를 통해 상보적인 콘텐츠 서버(18)로 HTTP Get 요청이 송신된다.
간접적으로(즉, 메타데이터가 매니페스트 URL을 검색하기 위한 정보를 제공함) 또는 직접적으로(즉, 매니페스트 URL이 메타데이터에 표시됨) 예를 들어 EPG(Electronic Program Guide)를 이용하여 대역외에서(out-of-band), 또는 예를 들어 워터마킹 데이터 또는 문헌 WO 2012/049305에 정의된 바와 같은 타임라인 컴포넌트를 이용하여 대역내에서(in-band) 전달되는 TV 프로그램의 메타데이터가 홈 게이트웨이에 제공되었으므로, 이 매니페스트 파일에 대한 URL은 홈 게이트웨이(12)에 의해 공지된다.
단계(34)에서, 서버(18)는 이 요청의 수신을 확인응답한다. 단계(36)에서, 이 서버는 매니페스트 파일을 송신한다.
단계(38)에서, 홈 게이트웨이(12)는, 매니페스트 파일이 상보적인 서버(18)에 의해 송신될 때 이 매니페스트 파일을 인터셉트하여 포워딩한다. 이 기술 매니페스트 파일에 포함된 정보를 이용하여, 홈 게이트웨이(12)는 보조 콘텐츠의 비디오 청크들을 요청할 수 있다.
단계(40)에서, 보조 디바이스(6)는 매니페스트 파일의 수신을 확인응답한다.
일단 보조 디바이스가 매니페스트 파일, 즉 DASH 용어에서의 MPD를 해석하였으면, 단계(42)에서, 보조 디바이스 플레이어는 상보적인 서버(18)로 HTTP Get 요청을 송신한다. 보조 콘텐츠 스트림을 방송 TV 프로그램과 동기화하기 위한 어떠한 표시도 갖지 않으면, 보조 디바이스는 서버(18)로부터 보조 스트림의 제1 청크를 요청한다.
단계(44)에서, 이러한 HTTP 요청은 홈 게이트웨이(12)에 의해 인터셉트된다. 메인 디바이스(4)에 의해 렌더링되는 TV 프로그램의 현재 위치를 수신하고, 인터셉트된 매니페스트 파일을 통해 비디오 청크들의 크기를 가지면, 홈 게이트웨이(12)는 메인 디바이스 렌더링과 동기화되도록 재생될 다음 청크에 대한 오프셋을 계산한다. 홈 게이트웨이는 상보적인 콘텐츠 서버(18)로 바쳐지는 새로운 HTTP Get 요청을 생성한다. 예를 들어, 렌더링될 다음 청크가 인덱스 100인 것으로 고려된다.
상보적인 콘텐츠는, 각각의 청크 위치가 잘 식별되는 단일 파일로 또는 각각의 청크에 각각 대응하는 일련의 파일들로 상보적인 서버(18) 상에 저장될 수 있다. 제1 경우에, 클라이언트가 청크를 요청할 때, 클라이언트는 HTTP Get 요청에서 바이트 범위를 표시할 것이다. 제2 경우에, 클라이언트는 단지 원하는 청크를 포함하는 파일을 요청하면 된다.
단계(46)에서, 상보적인 콘텐츠 서버(18)는 청크 요청의 수신을 확인응답한다. 그런 다음, 단계(48)에서, 상보적인 콘텐츠 서버는 제1 경우에는 HTTP 부분 콘텐츠 응답으로 또는 제2 경우에는 OK 응답으로 이 청크 요청에 대해 응답한다.
이러한 타입의 응답은, 상보적인 서버(18)가 리소스에 대한 GET 요청을 이행하였음을 나타낸다. 이 응답은 서빙되는 바이트 수를 나타내는 Content-Range 또는 Content-length 헤더 필드를 포함한다. 예를 들어, 청크 번호 100은 124832 바이트의 크기를 가질 수 있다.
여기서, 청크는, 도 3에서 부분 1, 부분 2, ..., 부분 n으로 명명되며 세그먼트들로도 지칭되는 수개의 TCP 패킷들의 형태로 전달된다.
요청된 비디오 청크는, 일단 이 청크가 보조 디바이스(6)로 완전히 전달되면 디스플레이될 수 있다. 다시 말하면, 이는, 보조 디바이스(6) 상에서의 비디오의 렌더링은 이 디바이스가 이 비디오의 다음 청크의 최종 바이트를 수신할 때의 시간에 종속함을 의미한다. 보조 디바이스(6)로의 이 최종 바이트의 전달을 제어함으로써, 본 발명은 메인 디바이스(4)에 대해 제2 뷰의 동기화를 허용한다.
보다 구체적으로는, 패킷 헤더들 각각을 분석함으로써, 홈 게이트웨이(12)는 상보적인 콘텐츠 서버(18)에 의해 전달된 바이트 수를 계산한다.
수신 시간(ToR: time of reception)에, 최종 데이터 패킷(도 3에서 부분 n)이 홈 게이트웨이(12)에 도달할 때, 단계(50)에서, 이 최종 데이터 패킷은 홈 게이트웨이(12)에 의해 결정되는 전달 시간(ToD: time of delivery)까지 이 홈 게이트웨이(12)에 의해 버퍼링된다. 버퍼링의 지속기간은 대기 시간(WT: waiting time)으로 지칭된다.
단계(52)에서, 적시에 홈 게이트웨이(12)에 의한 보조 디바이스(6)로의 비디오 청크의 최종 부분의 전달이 행해져, 보조 디바이스 플레이어가 다음에 메인 디바이스(4)와 동기화하여 렌더링을 런칭하게 된다.
도 4에서, T0은, 비디오 청크의 렌더링이 메인 디바이스(4) 상에 현재 디스플레이되는 콘텐츠와 완전히 동기화되기 시작해야 할 때의 시간이다. 청크의 최종 패킷은, 청크가 렌더링되어야 하는 때에서 홈 게이트웨이(12)와 보조 디바이스(6) 사이의 전송으로 인한 지연(일반적으로 홈 네트워크에서 무시할 수 있음) 및 보조 디바이스(6)에 의한 처리의 지속기간(PT)을 뺀 시간에 홈 게이트웨이(12)에 의해 보조 디바이스(6)로 송신된다.
보조 디바이스(6)에 의한 이러한 처리 시간(PT)은 이 디바이스에서의 비디오 플레이어의 타입에 특정된다. 렌더링 시간을 정확하게 제어하기 위해서, 홈 게이트웨이(12)는 비디오 렌더러로서 사용되는 브라우저 플러그인을 자동으로 식별한다. 각각의 상업적인 솔루션은 그 고유의 플레이어를 사용한다. Silverlight 및 QuickTime은 Microsoft 및 Apple의 적응적 스트리밍 솔루션들 각각에 대한 이러한 플레이어들의 2가지 예이다. 상이한 솔루션들은, 이들이 DASH 표준을 따를지라도, 예를 들어 미디어 포맷, 즉 비디오 코덱, 이용가능한 비트 레이트 및 오디오/비디오 파일 URL을 기술하는 매니페스트 파일의 그 고유의 포맷을 이용한다. 스트리밍의 시작 이전에 단계(32)에서 보조 디바이스(6)에 의해 요청되는 매니페스트 파일의 분석은, 어느 적응적 기술 및 그에 따라 어느 플레이어가 이용되는지를 홈 게이트웨이(12)가 결정하는 것을 허용한다.
특정예로서, 보조 디바이스(6)에서의 플레이어는 HTML5(HyperText Markup Language 5) 비디오 플레이어이다. 이 버전의 HTML 언어는 플러그인이 실행되는 것을 요구하지 않음으로써 비디오 성능을 개선하는 것을 목표로 하며, HTML의 이전의 버전으로 가능하지 않았던 웹 페이지 상에서의 비디오와 다른 엘리먼트들 사이의 상호작용을 생성하는 것을 가능하게 한다. 또한, HTML5의 이용은, 비디오 청크들을 검색하기 위해서 단계(32)에서 보조 디바이스에 의해 송신된 HTTP Get 내에 제공된 정보를 통해 식별될 수 있다.
다수의 사용 케이스에서, 이는 단말기에서 사용되는 플러그인 타입을 고려하지 않고 처리 시간을 근사화하기에 충분할 수 있다.
청크의 최종 부분이 완전한 동기화를 보장하는 적시에 전달될 수 없도록 청크의 송신 중에 문제가 발생하는 경우, 홈 게이트웨이(12)는 먼저 현재 청크를 폐기하고, 상보적인 콘텐츠 서버(18)로 다음 청크를 요청한다.
청크의 완전한 수신 이후에, 단계(54)에서, 보조 디바이스 플레이어는 상보적인 서버(18)로 HTTP Get 요청을 송신한다. 청크의 인덱스에 대한 어떠한 표시도 갖지 않으면, 이 보조 디바이스 플레이어는 서버(18)로부터 보조 스트림의 제2 청크를 요청한다.
단계(56)에서, 이 HTTP 요청은 홈 게이트웨이(12)에 의해 인터셉트되고, 이 홈 게이트웨이가 상보적인 콘텐츠 서버(18)에 대하여 인덱스 101을 갖는 청크에 대한 새로운 HTTP Get 요청을 생성한다.
본 발명의 바람직한 실시예들로 현재 고려되는 것이 예시되고 설명되었지만, 본 발명의 실제 범위로부터 벗어나지 않으면서 다양한 다른 변형들이 이루어질 수 있으며 등가물들이 대체될 수 있다는 것이 통상의 기술자에 의해 이해될 것이다. 추가적으로, 여기에 설명된 독창적인 중심 개념으로부터 벗어나지 않으면서 본 발명의 교시에 대해 특정 상황을 적응시키기 위해 다수의 변형들이 이루어질 수 있다. 또한, 본 발명의 실시예는 전술한 모든 특징을 포함하지 않을 수도 있다. 그러므로, 본 발명은 개시된 특정 실시예들로 제한되지는 않고, 본 발명은 첨부된 청구항들의 범위 내에 있는 모든 실시예를 포함하는 것으로 의도된다.
"포함하다(comprise)", "포함하다(include)", "통합하다(incorporate)", "포함하다(contain)", "이다(is)" 및 "갖다(have)"와 같은 표현들은 이 설명 및 그 연관된 청구항들을 해석할 때 배타적이지 않은 방식으로 해석되어야 한다, 즉 존재하는 것으로 명시적으로 정의되지 않은 다른 항목 또는 컴포넌트를 허용하는 것으로 해석되어야 한다. 또한, 단수에 대한 언급은 복수에 대한 언급으로 해석되거나 그 반대일 수 있다.
통상의 기술자라면, 본 발명의 범위로부터 벗어나지 않으면서, 개시되고/되거나 청구된 다양한 실시예들이 결합될 수 있으며, 이 설명에 개시된 다양한 파라미터들이 수정될 수 있다는 것을 손쉽게 인식할 것이다.
예를 들어, 전술한 설명에서, 본 발명에 따른 동기화는 홈 게이트웨이에 의해 수행되었다. 그러나, 본 발명의 방법은 유리하게는 셋톱 박스에 의해 구현될 수 있다.
그 외에, 전술한 설명은 사용자의 집 애플리케이션에 대해 본 발명을 이용하는 것에 관한 것이지만, 본 발명은 유리하게는 예를 들어 공항, 철도역, 병원 등과 같은 공공 건물에서의 제2 스크린 애플리케이션에 이용될 수 있다.
또한, 본 발명은 광대역 네트워크를 통해 전달되는 상이한 비디오 스트림들의 렌더링 시간을 제어하기 위해서 프록시 서버에 의해 적용될 수 있다. 이러한 제어는, 예를 들어 동일한 영역에서의 모든 사용자가 동시에 이벤트를 발견하는 것을 보증하는데 필요할 수 있다.
프록시 디바이스는, 이 프록시 디바이스가 서빙하는 단말기들의 요청들을 분석함으로써 이 프록시 디바이스가 현재 관리하는 스트림들을 식별할 수 있다. 웹 서버로부터 HTTP 적응적 스트리밍 모드에서 전달되는 제1 스트림을 소비하고 있는 제1 단말기가 고려된다. 제2 단말기가 동일한 이벤트의 제2 스트림을 요청할 때, 프록시 서버는 제1 단말기로 현재 전달되는 청크의 타이밍 위치를 체크한다. 제1 단말기에서 이용되는 플레이어 타입을 인지함으로써, 프록시 서버는 이 제1 단말기 상에서 현재 렌더링되는 콘텐츠의 시간 위치를 결정할 수 있다. 결과적으로, 제2 단말기로 오디오/비디오 콘텐츠를 전달하기 위해서 본 발명의 방법을 적용함으로써, 양쪽 단말기들 상에 디스플레이되는 콘텐츠가 동기화되는 것이 보증된다. 동일한 동기화 메커니즘이 2개보다 많은 단말기들에 대해 명백히 적용될 수 있다.

Claims (10)

  1. 제2 디바이스(6) 상에서의 제2 콘텐츠 스트림의 렌더링 시간을 제어하기 위해, 제어 디바이스(12)에 의해 수행되는 방법으로서 - 상기 제2 콘텐츠 스트림은 청크들로 구성되고, 각각의 청크는 상기 제2 콘텐츠 스트림의 개별적으로 액세스가능한 부분에 대응하고, 각각의 청크는 데이터 패킷들을 포함함 -,
    a) 상기 제2 디바이스(6)로부터 상기 제2 콘텐츠 스트림의 다음 청크의 요청을 수신하는 단계(42);
    b) 콘텐츠 서버(18)로부터 상기 요청된 다음 청크의 패킷들을 수신하는 단계(48);
    c) 상기 제어 디바이스(12)에 연결된 제1 디바이스(4) 상에서 렌더링되고 있는 제1 콘텐츠 스트림의 재생 위치를 식별하는 단계; 및
    d) 상기 제2 콘텐츠 스트림의 상기 요청된 다음 청크의 상기 제2 디바이스(6)로의 전달 시간(ToD)을 이용하여, 상기 제2 콘텐츠 스트림의 렌더링 시간과 상기 제1 콘텐츠 스트림의 렌더링 시간을 동기화하는 단계 - 상기 전달 시간(ToD)은 상기 제1 디바이스(4) 상에서 렌더링되는 상기 제1 콘텐츠 스트림의 재생 위치에 의존함-
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 동기화하는 단계는 적응적 스트리밍 프로토콜을 이용하는 방법.
  3. 제1항 또는 제2항에 있어서,
    e) 상기 제어 디바이스(12)에 의해, 상기 요청된 다음 청크의 최종 패킷을 제외한 상기 요청된 다음 청크의 상기 패킷들을 상기 제2 디바이스(6)로 송신하는 단계(48); 및
    f) 상기 제어 디바이스(12)에 의해, 상기 요청된 다음 청크의 상기 최종 패킷을 버퍼링하는 단계(50)
    를 더 포함하고,
    상기 동기화하는 단계 c)는 상기 전달 시간(ToD)에 상기 제2 디바이스(6)로 상기 요청된 다음 청크의 상기 최종 패킷을 전달하는 단계(52)를 포함하는 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 제2 디바이스(6)에 의한 상기 요청된 다음 청크의 처리에 필요한 시간(PT)을 결정하는 단계를 포함하는 방법.
  5. 제1항 또는 제2항에 있어서,
    상기 요청된 다음 청크가 상기 전달 시간(ToD)에 전달될 수 없는 경우,
    f) 상기 요청된 다음 청크를 폐기하는 단계; 및
    g) 상기 제2 콘텐츠 스트림에서 상기 요청된 다음 청크에 후속하는 청크에 대해 단계 b) 내지 d)를 반복하는 단계
    를 더 포함하는 방법.
  6. 제1항 또는 제2항에 있어서,
    상기 제1 콘텐츠 스트림과 상기 제2 콘텐츠 스트림은 동일한 콘텐츠를 반송하는 방법.
  7. 제2 디바이스(6) 상에서의 제2 콘텐츠 스트림의 렌더링 시간을 제어하기 위한 제어 디바이스(12)로서 - 상기 제2 콘텐츠 스트림은 청크들로 구성되고, 각각의 청크는 상기 제2 콘텐츠 스트림의 개별적으로 액세스가능한 부분에 대응하고, 각각의 청크는 데이터 패킷들을 포함함 -, 상기 제어 디바이스(12)는,
    a) 상기 제2 디바이스(6)로부터 상기 제2 콘텐츠 스트림의 다음 청크의 요청을 수신하고;
    b) 콘텐츠 서버(18)로부터 상기 요청된 다음 청크의 패킷들을 수신하고;
    c) 상기 제어 디바이스(12)에 연결된 제1 디바이스(4) 상에서 렌더링되고 있는 제1 콘텐츠 스트림의 재생 위치를 식별하고; 그리고
    d) 상기 제2 콘텐츠 스트림의 상기 요청된 다음 청크의 상기 제2 디바이스(6)로의 전달 시간(ToD)을 이용하여, 상기 제2 콘텐츠 스트림의 렌더링 시간과 상기 제1 콘텐츠 스트림의 렌더링 시간을 동기화하도록 - 상기 전달 시간(ToD)은 상기 제1 디바이스(4) 상에서 렌더링되는 상기 제1 콘텐츠 스트림의 재생 위치에 의존함-
    되어 있는 제어 디바이스.
  8. 제7항에 있어서,
    상기 제어 디바이스(12)는 홈 게이트웨이 또는 셋톱 박스인 제어 디바이스.
  9. 제7항에 있어서,
    상기 제어 디바이스(12)는 프록시 서버인 제어 디바이스.
  10. 컴퓨터가 제1항 또는 제2항의 방법을 수행할 수 있게 하기 위한 컴퓨터 실행가능 명령어들을 포함하는 프로그램이 기록된 컴퓨터 판독가능한 기록 매체.
KR1020157004747A 2012-08-30 2013-08-28 렌더링 시간 제어 KR102085192B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12306035.2A EP2704449A1 (en) 2012-08-30 2012-08-30 Rendering time control
EP12306035.2 2012-08-30
PCT/EP2013/067749 WO2014033140A1 (en) 2012-08-30 2013-08-28 Rendering time control

Publications (2)

Publication Number Publication Date
KR20150048735A KR20150048735A (ko) 2015-05-07
KR102085192B1 true KR102085192B1 (ko) 2020-03-05

Family

ID=47008433

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157004747A KR102085192B1 (ko) 2012-08-30 2013-08-28 렌더링 시간 제어

Country Status (9)

Country Link
US (1) US10057624B2 (ko)
EP (2) EP2704449A1 (ko)
JP (1) JP6359539B2 (ko)
KR (1) KR102085192B1 (ko)
CN (1) CN104604245B (ko)
HK (1) HK1212128A1 (ko)
TW (1) TWI577186B (ko)
WO (1) WO2014033140A1 (ko)
ZA (1) ZA201500837B (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150271225A1 (en) * 2014-03-18 2015-09-24 Qualcomm Incorporated Transport accelerator implementing extended transmission control functionality
FR3019428A1 (fr) 2014-03-31 2015-10-02 Orange Dispositif et procede de commande a distance de la restitution de contenus multimedia
FR3029376B1 (fr) * 2014-11-28 2016-12-30 B<>Com Procede de traitement d'une requete de livraison de donnees, dispositif, module proxy, terminal client et programme d'ordinateur associes
US10397289B2 (en) 2015-06-09 2019-08-27 Arris Enterprises Llc HTTP live streaming (HLS) video client synchronization
US20160364553A1 (en) * 2015-06-09 2016-12-15 Intel Corporation System, Apparatus And Method For Providing Protected Content In An Internet Of Things (IOT) Network
SE541208C2 (en) * 2016-07-04 2019-04-30 Znipe Esports AB Methods and nodes for synchronized streaming of a first and a second data stream
US11509972B2 (en) 2019-07-09 2022-11-22 Dolby International Ab Method and device for personalization of media data for playback

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110063503A1 (en) 2009-07-06 2011-03-17 Brand Steven M Synchronizing secondary content to a multimedia presentation
WO2011092244A1 (en) * 2010-01-27 2011-08-04 Koninklijke Kpn N.V. Method, system and device for synchronization of media streams
US20120144445A1 (en) 2010-12-03 2012-06-07 General Instrument Corporation Method and apparatus for distributing video

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6609167B1 (en) * 1999-03-17 2003-08-19 Adaptec, Inc. Host and device serial communication protocols and communication packet formats
US6771644B1 (en) * 1999-09-17 2004-08-03 Lucent Technologies Inc. Program insertion in real time IP multicast
US6751213B1 (en) * 1999-12-24 2004-06-15 Cypress Semiconductor Corporation Token over ethernet protocol
US7712125B2 (en) * 2000-09-08 2010-05-04 Ack Ventures Holdings, Llc Video interaction with a mobile device and a video device
JP2003061095A (ja) * 2001-08-08 2003-02-28 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像符号化方法
JP2004254122A (ja) * 2003-02-20 2004-09-09 Toppan Printing Co Ltd 情報配信装置、情報配信方法、およびプログラム
JP4306355B2 (ja) * 2003-07-16 2009-07-29 ソニー株式会社 コンテンツ提供システム、コンテンツの提供方法、及びテレビジョン装置
US7940663B2 (en) * 2004-07-20 2011-05-10 Qualcomm Incorporated Mitigating ACK/NACK errors in MIMO/SIC/HARQ
US7627890B2 (en) 2006-02-21 2009-12-01 At&T Intellectual Property, I,L.P. Methods, systems, and computer program products for providing content synchronization or control among one or more devices
US20090300673A1 (en) * 2006-07-24 2009-12-03 Nds Limited Peer- to- peer set-top box system
US7743161B2 (en) 2006-10-10 2010-06-22 Ortiva Wireless, Inc. Digital content buffer for adaptive streaming
US20120233644A1 (en) * 2007-06-05 2012-09-13 Bindu Rama Rao Mobile device capable of substantially synchronized sharing of streaming media with other devices
KR101398135B1 (ko) * 2007-08-31 2014-05-20 엘지전자 주식회사 방송과 부가정보 데이터를 출력하는 방법 및 그 휴대단말기
EP2043323A1 (en) 2007-09-28 2009-04-01 THOMSON Licensing Communication device able to synchronise the received stream with that sent to another device
JP5241846B2 (ja) * 2007-10-23 2013-07-17 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ 終端端末のグループの同期方法およびシステム
JP5529033B2 (ja) 2007-12-05 2014-06-25 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ 端末の出力を同期させる方法およびシステム
GB0807990D0 (en) * 2008-05-02 2008-06-11 Pace Micro Tech Plc Peer to peer broadcast content synchronisation
JP2010081262A (ja) * 2008-09-25 2010-04-08 Sony Corp 情報処理装置、情報処理方法、情報処理システム、およびプログラム
US20120014445A1 (en) * 2010-07-16 2012-01-19 Sharp Laboratories Of America, Inc. System for low resolution power reduction using low resolution data
US8736700B2 (en) * 2010-09-30 2014-05-27 Apple Inc. Techniques for synchronizing audio and video data in an image signal processing system
BR112013008587B1 (pt) 2010-10-15 2021-09-21 Interdigital Ce Patent Holdings Método para processar dados de multimídia em um dispositivo de recepção, e dispositivo de recepção
EP2646936B1 (en) * 2011-01-11 2018-11-07 Apple Inc. Real-time or near real-time streaming
US20120200774A1 (en) 2011-02-07 2012-08-09 Ehlers Sr Gregory Allen Audio and video distribution system with latency delay compensator
CN102256177A (zh) 2011-07-20 2011-11-23 程旭 多媒体出版物在机顶盒与智能终端间同步的方法及装置
TWI540886B (zh) * 2012-05-23 2016-07-01 晨星半導體股份有限公司 音訊解碼方法及音訊解碼裝置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110063503A1 (en) 2009-07-06 2011-03-17 Brand Steven M Synchronizing secondary content to a multimedia presentation
WO2011092244A1 (en) * 2010-01-27 2011-08-04 Koninklijke Kpn N.V. Method, system and device for synchronization of media streams
US20120144445A1 (en) 2010-12-03 2012-06-07 General Instrument Corporation Method and apparatus for distributing video

Also Published As

Publication number Publication date
CN104604245B (zh) 2019-01-22
JP6359539B2 (ja) 2018-07-18
EP2704449A1 (en) 2014-03-05
CN104604245A (zh) 2015-05-06
TWI577186B (zh) 2017-04-01
KR20150048735A (ko) 2015-05-07
US20150229986A1 (en) 2015-08-13
ZA201500837B (en) 2017-04-26
US10057624B2 (en) 2018-08-21
HK1212128A1 (en) 2016-06-03
EP2891323B1 (en) 2018-10-24
JP2015534312A (ja) 2015-11-26
TW201409998A (zh) 2014-03-01
EP2891323A1 (en) 2015-07-08
WO2014033140A1 (en) 2014-03-06

Similar Documents

Publication Publication Date Title
KR102085192B1 (ko) 렌더링 시간 제어
US9699521B2 (en) Method for transceiving media files and device for transmitting/receiving using same
EP3425921B1 (en) Method and apparatus for transmitting and receiving adaptive streaming mechanism-based content
EP2499793B1 (en) Adaptive streaming method and apparatus
KR102303582B1 (ko) 웹 콘텐츠에 대한 파일 트랙들을 사용하여 미디어 데이터를 프로세싱
KR102499231B1 (ko) 수신 장치, 송신 장치 및 데이터 처리 방법
KR20110053179A (ko) 데이터 전송 방법 및 장치
KR20150048669A (ko) 양방향 서비스를 처리하는 장치 및 방법
CN107925798B (zh) 接收设备、发送设备和数据处理方法
CN107534792B (zh) 接收设备、发送设备以及数据处理方法
KR101710452B1 (ko) 멀티미디어 전송 시스템에서 서비스 발견 정보를 송수신하는 방법 및 장치와 이를 위한 파일 구조

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right