KR101764033B1 - 주요 미디어 콘텐츠와 보조 콘텐츠의 병렬 피드의 시간 동기화 - Google Patents

주요 미디어 콘텐츠와 보조 콘텐츠의 병렬 피드의 시간 동기화 Download PDF

Info

Publication number
KR101764033B1
KR101764033B1 KR1020157001673A KR20157001673A KR101764033B1 KR 101764033 B1 KR101764033 B1 KR 101764033B1 KR 1020157001673 A KR1020157001673 A KR 1020157001673A KR 20157001673 A KR20157001673 A KR 20157001673A KR 101764033 B1 KR101764033 B1 KR 101764033B1
Authority
KR
South Korea
Prior art keywords
asset
media
information
signatures
time
Prior art date
Application number
KR1020157001673A
Other languages
English (en)
Other versions
KR20150032721A (ko
Inventor
바흐반 간디
베네디토 제이. 주니어. 폰세카
Original Assignee
제너럴 인스트루먼트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제너럴 인스트루먼트 코포레이션 filed Critical 제너럴 인스트루먼트 코포레이션
Publication of KR20150032721A publication Critical patent/KR20150032721A/ko
Application granted granted Critical
Publication of KR101764033B1 publication Critical patent/KR101764033B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6581—Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephonic Communication Services (AREA)

Abstract

주요 장치의 동작과 연관된 방식으로 보조 장치를 동작시키는 방법이 개시되며, 이 방법은 상기 주요 장치에 의해 출력되는 미디어 자산에 대응하는 제1 정보를 획득하는 단계; 상기 제1 정보를 처리하여 로컬 미디어 서명 정보를 결정하는 단계; 서버에 의한 수신을 위해 상기 제1 정보를 전송하는 단계; 상기 서버로부터 보조 정보를 수신하는 단계 - 상기 보조 정보는 상기 미디어 자산의 각각의 부분들에 각각 대응하는 복수의 자산 미디어 서명들을 포함함 -; 상기 로컬 미디어 서명 정보의 적어도 하나의 부분과 상기 자산 미디어 서명들 중 적어도 하나 사이의 시간 기반 상관성을 결정하려고 시도하는 단계; 및 상기 보조 장치로부터 시간 관련 자산 스트림들의 하나 이상의 부분을 출력하는 단계 - 상기 하나 이상의 부분은 상기 상관성에 기초하여 적어도 간접적으로 결정됨 -를 포함한다.

Description

주요 미디어 콘텐츠와 보조 콘텐츠의 병렬 피드의 시간 동기화{TIME-SYNCHRONIZING A PARALLEL FEED OF SECONDARY CONTENT WITH PRIMARY MEDIA CONTENT}
본 발명은 일반적으로 동기화에 관한 것으로서, 구체적으로는 보조 장치와 미디어 콘텐츠의 시간 동기화에 관한 것이다.
이동 장치의 사용자에게 향상된 종합 시청 경험을 제공하기 위해, 디스플레이 장치 상의 미디어 콘텐츠(예로서, 텔레비전 프로그램들)의 시청자들은 그들이 시청하고 있는 미디어 콘텐츠에 대한 추가 정보에 액세스하기를 원할 수 있다. 이동 장치와 디스플레이 장치 간의 직접 통신의 부재시에, 이동 장치는 정확한 시간 종속 정보를 제공하기 위해 디스플레이 장치 상의 미디어 콘텐츠와 동기화되는 것이 필요하다.
위의 사항들 및 기타 사항들이 본 발명에 의해 다루어지며, 본 발명은 명세서, 도면 및 청구범위를 참조함으로써 이해될 수 있다. 본 발명의 양태들에 따르면, 주요 장치의 동작과 연관된 방식으로 보조 장치를 동작시키는 방법이 제공되며, 이 방법은 상기 주요 장치에 의해 출력되는 미디어 자산(media asset)에 대응하는 제1 정보를 획득하는 단계; 상기 제1 정보를 처리하여 로컬 미디어 서명 정보(media-signature information)를 결정하는 단계: 서버에 의한 수신을 위해 상기 제1 정보를 전송하는 단계; 상기 서버로부터 보조 정보를 수신하는 단계 - 상기 보조 정보는 상기 미디어 자산의 각각의 부분들에 대응하는 복수의 자산 미디어 서명들을 포함함 -; 상기 로컬 미디어 서명 정보의 적어도 하나의 부분과 상기 자산 미디어 서명들 중 적어도 하나 사이의 시간 기반 상관성을 결정하려고 시도하는 단계; 및 상기 보조 장치로부터 시간 관련 자산 스트림들의 하나 이상의 부분을 출력하는 단계 - 상기 하나 이상의 부분은 상기 상관성에 기초하여 적어도 간접적으로 결정됨 - 를 포함한다.
본 발명의 다른 양태들에 따르면, 주요 장치 상에서 시청 가능한 주요 콘텐츠와 이동 장치 상에서 제시되는(presented) 보조 콘텐츠를 동기화하는 방법이 제공되며, 이 방법은 주요 장치에 의해 출력되는 미디어 자산에 대응하는 제1 정보를 획득하는 단계; 상기 제1 정보를 처리하여 로컬 미디어 서명 정보를 결정하는 단계; 서버에 의한 수신을 위해 상기 제1 정보를 전송하는 단계; 상기 서버로부터 보조 정보를 수신하는 단계 - 상기 보조 정보는 상기 미디어 자산의 각각의 부분들에 각각 대응하는 복수의 자산 미디어 서명들을 포함함 -; 상기 로컬 미디어 서명 정보의 적어도 하나의 부분과 상기 자산 미디어 서명들 중 적어도 하나 사이의 시간 기반 상관성을 결정하려고 시도하는 단계; 및 상기 보조 장치로부터 시간 관련 자산 스트림들의 하나 이상의 부분을 출력하는 단계 - 상기 하나 이상의 부분은 상기 상관성에 기초하여 적어도 간접적으로 결정됨 -를 포함한다.
본 발명의 추가 양태들에 따르면, 주요 장치 상에서 시청 가능한 주요 콘텐츠와 이동 장치 상에서 제시되는 보조 콘텐츠를 동기화하는 방법이 제공되며, 이 방법은 이동 장치의 하나 이상의 입력 장치를 이용하여 비디오 샘플 및 오디오 샘플 중 적어도 하나를 주기적으로 캡처하는 단계 - 비디오 샘플 및 오디오 샘플 중 상기 적어도 하나는 미디어 자산을 출력하는 주요 장치로부터 취해짐 -; 상기 이동 장치 상의 로컬 미디어 서명 생성기로부터 로컬 미디어 서명들을 생성하는 단계; 상기 미디어 자산과 관련된 하나 이상의 자산 미디어 서명을 수신하는 단계 - 상기 자산 미디어 서명들은 상기 미디어 자산의 시간 길이에 실질적으로 걸침(substantially span) -; 상기 이동 장치 상에서 상기 하나 이상의 자산 미디어 서명을 저장하는 단계; 상기 로컬 미디어 서명들과 상기 자산 미디어 서명들을 상관시키는 단계; 상기 로컬 미디어 서명들과 상기 자산 미디어 서명들 간의 매치(match)에 기초하여 시간 기준을 설정하는 단계; 및 상기 시간 기준을 주기적으로 갱신하는 단계를 포함한다.
첨부된 청구항들은 본 발명의 특징들을 구체적으로 설명하지만, 본 발명은 그의 목적들 및 장점들과 함께, 첨부 도면들과 관련하여 이루어지는 아래의 상세한 설명으로부터 최상으로 이해될 수 있다.
도 1은 본 발명을 실시할 수 있는 예시적인 통신 시스템의 블록도이다.
도 2는 도 1의 보조 장치의 예시적인 내부 하드웨어 컴포넌트들을 나타내는 블록도이다.
도 3은 미디어 자산 정보를 추출 및 저장하는 병렬 자산 스트림 생성기를 포함하는 예시적인 서버의 블록도이다.
도 4는 자산 정보의 개략적 표현이다.
도 5는 도 1의 통신 시스템(100)의 컴포넌트들을 더 나타내는 블록도이다.
도 6은 도 5의 다양한 컴포넌트들의 블록도이다.
도 7a 및 7b는 도 1의 통신 시스템(100)의 하나 이상의 컴포넌트에 의해 수행될 수 있는, 미디어 자산과 자산 스트림들의 병렬 피드를 시간 동기화하기 위한 예시적인 방법의 흐름도를 함께 형성한다.
동일한 참조 번호들이 동일한 요소들을 지칭하는 도면들을 참조하면, 본 발명은 적절한 환경에서 구현되는 것으로 도시된다. 아래의 설명은 본 발명의 실시예들에 기초하며, 본 명세서에서 명확히 설명되지 않는 대안적인 실시예들과 관련하여 본 발명을 한정하는 것으로 간주되지 않아야 한다.
도 1에는 예시적인 통신 시스템(100)이 제공된다. 적어도 일부 실시예들에서, 통신 시스템(100)은 주요 미디어 콘텐츠의 스트림과 관련 자산들의 병렬 피드(101)를 시간 동기화하기 위한 방법을 제공하도록 구성된다. 통신 시스템(100)은 미디어 소스(102), 주요 장치(104), 서버 장치(106), 및 이동 장치(108)와 같은 보조 장치를 포함한다. 예시적인 미디어 소스(102)는 케이블 텔레비전 채널, 위성 텔레비전 채널, 인터넷 비디오 피드(Internet video feeds) 등과 같은 주요 미디어 콘텐츠(110)의 다양한 소스들 중 하나 이상을 포함할 수 있다. 미디어 소스(102)는 텔레비전 방송국, 인터넷 웹사이트 등과 같은 다양한 소스들로부터 주요 미디어 콘텐츠(110)를 통신한다. 주요 미디어 콘텐츠(110)는 하나 이상의 미디어 자산(109)(예로서, 미디어 프로그램들)을 포함한다. 미디어 소스(102)는 통신 링크(105)와 같은 하나 이상의 통신 링크를 통해 주요 미디어 콘텐츠(110)를 텔레비전 상에서의 시청을 위해 셋톱 박스와 같은 하나 이상의 주요 장치(104)로 통신한다. 게다가, 미디어 자산들(109)은 공개적으로 또는 비공개적으로 이용 가능할 수 있는 라이브(선형) 또는 기록된(비선형) 주요 미디어 콘텐츠(110)를 포함할 수 있다.
서버(106)는 미디어 자산들(109)과 관련된 미디어 자산 정보(112)를 수신 및 생성하는 것 중 적어도 하나를 행하도록 구성된다. 미디어 자산 정보(112)는 시간 관련 자산 스트림들(312)(도 3 참조), 마이크 서명들의 시퀀스들 및 카메라 서명들의 시퀀스들을 포함할 수 있는 자산 미디어 서명들(111)의 시퀀스들과 같은 시간 관련 정보에 대한 링크들 또는 포인터들을 포함할 수 있다. 미디어 소스(102)는 통신 링크(115)와 같은 하나 이상의 통신 링크를 통해 미디어 자산 정보(112)를 서버(106)로 통신할 수 있다. 적어도 일부 실시예들에서, 주요 미디어 콘텐츠(110)는 서버(106)로 통신되며, 서버(106)는 주요 미디어 콘텐츠(110)를 이용하여 미디어 자산 정보(112)를 생성한다. 적어도 일부 다른 실시예들에서, 미디어 자산 정보(112)는 제2 서버(도시되지 않음)에서 도출되거나 제2 서버에 의해 획득되어 서버(106)로 통신될 수 있다. 서버는 통신 링크(117)와 같은 하나 이상의 통신 링크를 이용하여 이동 장치(108)와 통신할 수 있다.
서버(106)는 메모리 부분(118), 메모리 부분(118)과 통신하는 프로세서 부분(120), 및 프로세서 부분(120)과 통신 링크들(115, 117)을 인터페이스하기 위한 하나 이상의 입출력 인터페이스(도시되지 않음)를 포함한다. 프로세서 부분(120)은 통신 링크(115)를 통해 미디어 소스(102)와 그리고 통신 링크(117)를 통해 이동 장치(108)와 통신할 수 있다. 통신 시스템(100) 내의 컴포넌트들 간의 통신은 유선 및 무선 기술들 양자를 포함할 수 있다. 도 1에는 일부 예시적인 통신 링크들이 도시되지만, 도시되지 않은 다양한 다른 통신 링크들이 제공될 수 있다. 메모리 부분(118)은 미디어 자산 정보(112)와 같은 정보를 저장하고 서버(106)의 필요한 기능들의 실행을 지원할 수 있는 랜덤 액세스 메모리, 판독 전용 메모리, 하드 드라이브, 디스크 드라이브 등과 같은 다양한 타입의 저장 매체를 포함할 수 있다. 게다가, 메모리 부분(118)은 자산 서명 데이터베이스(308)(도 3 참조)를 포함한다.
도 2는 본 실시예에 따른 이동 장치(108)와 같은 이동 장치의 예시적인 내부 컴포넌트들(200)을 나타낸다. 도 2에 도시된 바와 같이, 컴포넌트들(200)은 하나 이상의 무선 송수신기(202), 프로세서 부분(204)(예로서, 마이크로프로세서, 마이크로컴퓨터, 주문형 집적 회로 등), 메모리 부분(206), 하나 이상의 출력 장치(208) 및 하나 이상의 입력 장치(210)를 포함한다. 적어도 일부 실시예들에서, 디스플레이와 같은 하나 이상의 출력 장치(208) 및 키패드 또는 터치 센서와 같은 하나 이상의 입력 장치(210)를 포함하는 사용자 인터페이스가 존재한다. 내부 컴포넌트들(200)은 추가적인 또는 향상된 기능을 위해 보조 컴포넌트들 또는 액세서리들에 대한 직접 접속을 제공하기 위한 컴포넌트 인터페이스(212)를 더 포함할 수 있다. 내부 컴포넌트들(200)은 바람직하게는 이동 장치(108)를 휴대 가능하게 하면서 다른 내부 컴포넌트들에 전력을 제공하기 위한 배터리와 같은 전원(214)도 포함한다. 내부 컴포넌트들(200) 모두는 하나 이상의 내부 통신 링크(232)(예로서, 내부 버스)를 통해 서로 결합되고 서로 통신할 수 있다.
도 2의 실시예에서, 무선 송수신기들(202)은 구체적으로 셀룰러 송수신기(203) 및 와이파이 송수신기(205)를 포함한다. 더 구체적으로, 셀룰러 송수신기(203)는 셀 타워들(도시되지 않음)에 대하여 3G, 4G, 4G-LTE 등과 같은 셀룰러 통신을 수행하도록 구성되지만, 다른 실시예들에서 셀룰러 송수신기(203)는 대신에 또는 추가로 임의의 다양한 다른 셀룰러 기반 통신 기술들, 예를 들어 (AMPS를 이용하는) 아날로그 통신, (CDMA, TDMA, GSM, iDEN, GPRS, EDGE 등을 이용하는) 디지털 통신 또는 (UMTS, WCDMA, LTE, IEEE 802.16 등을 이용하는) 차세대 통신 또는 이들의 변형을 이용하도록 구성될 수 있다.
이와 달리, 와이파이 송수신기(205)는 액세스 포인트들과 IEEE 802.11 (a, b, g 또는 n) 표준에 따라 와이파이 통신을 수행하도록 구성되는 무선 근거리 네트워크 송수신기(205)이다. 다른 실시예들에서, 와이파이 송수신기(205)는 대신에 (또는 추가로) 일부 타입들의 피어 투 피어(peer-to-peer)(예로서, 와이파이 피어 투 피어) 통신들과 같이 와이파이 통신들 내에 포함되는 것으로 일반적으로 이해되는 다른 타입의 통신을 수행할 수 있다. 또한, 다른 실시예들에서, 와이파이 송수신기(205)는 예를 들어 HomeRF(무선 주파수), 홈 노드 B(3G 펨토셀), 블루투스, 또는 적외선 기술과 같은 다른 무선 통신 기술들과 같은 애드혹 통신 기술들을 이용하는 무선 송수신기들을 포함하는 논-셀룰러 무선 통신(non-cellular wireless communication)들을 위해 구성되는 하나 이상의 다른 무선 송수신기로 교체되거나 그들에 의해 보완될 수 있다. 따라서, 본 실시예에서는 이동 장치(108)가 2개의 무선 송수신기(203, 205)를 갖지만, 본 발명은 어떠한 임의 수의 통신 기술들을 이용하는 어떠한 임의 수의 무선 송수신기들이 존재하는 다양한 실시예들을 포함하는 것을 의도한다.
이동 장치(108)의 내부 컴포넌트들(200) 중 다른 컴포넌트들과 관련된 무선 송수신기들(202)의 예시적인 동작은 다양한 형태를 취할 수 있으며, 예를 들어 무선 신호들의 수신시에 내부 컴포넌트들이 통신 신호들을 검출하고, 송수신기(202)가 통신 신호들을 복조하여, 무선 신호들에 의해 전송된 음성 또는 데이터와 같은 착신 정보(incoming information)를 복구하는 동작을 포함할 수 있다. 송수신기(202)로부터 착신 정보를 수신한 후, 프로세서(204)는 하나 이상의 출력 장치(208)를 위해 착신 정보를 포맷팅한다. 또한, 무선 신호들의 전송을 위해, 프로세서(204)는 입력 장치들(210)에 의해 활성화될 수 있거나 활성화되지 않을 수 있는 발신 정보(outgoing information)의 포맷팅을 수행하며, 통신 신호들로의 변조를 위해 발신 정보를 무선 송수신기들(202) 중 하나 이상으로 전송한다. 무선 송수신기들(202)은 변조된 신호들을 무선 (그리고 아마도 또한 유선) 통신 링크들을 통해 서버(106)와 같은 다른 장치들 및 하나 이상의 콘텐츠 제공자 웹사이트로 (또한 아마도 셀 타워, 액세스 포인트, 다른 서버, 또는 다양한 원격 장치 중 임의의 것으로) 전송한다.
실시예에 따라, 내부 컴포넌트들(200)의 입력 및 출력 장치들(208, 210)은 다양한 비주얼, 오디오 또는 기계 출력들을 포함할 수 있다. 예를 들어, 출력 장치들(208)은 액정 디스플레이 및 발광 다이오드 지시기와 같은 하나 이상의 비주얼 출력 장치(216), 스피커, 알람 또는 버저와 같은 하나 이상의 오디오 출력 장치(218), 또는 진동 메커니즘과 같은 하나 이상의 기계 출력 장치(220)를 포함할 수 있다. 비주얼 출력 장치들(216)은 특히 비디오 스크린을 포함할 수 있다. 또한, 예를 들어, 입력 장치들(210)은 광 센서(예로서, 카메라(223))와 같은 하나 이상의 비주얼 입력 장치(222), 마이크(225)와 같은 하나 이상의 오디오 입력 장치(224), 및 플립 센서, 키보드, 키패드, 선택 버튼, 내비게이션 클러스터(navigation cluster), 터치 패드, 터치 스크린, 용량성 센서, 모션 센서 및 스위치와 같은 하나 이상의 기계 입력 장치(226)를 포함할 수 있다. 입력 장치들(210) 중 하나 이상을 작동시킬 수 있는 액션들은 버튼들 또는 다른 액추에이터들의 물리적 작동을 포함할 뿐만 아니라, 예를 들어 (이동 장치(108)가 개방 또는 폐쇄 위치를 가질 수 있는 경우) 이동 장치(108)의 개방, 장치(108)의 잠금 해제, 모션을 작동시키기 위한 장치(108)의 이동, 위치 결정 시스템(location-positioning system)을 작동시키기 위한 장치(108)의 이동 및 장치(108)의 조작도 포함할 수 있다.
도 2에 도시된 바와 같이, 이동 장치(108)의 내부 컴포넌트들(200)은 다양한 타입의 센서들(228) 중 하나 이상을 포함할 수 있다. 센서들(228)은 예를 들어, 근접 센서(광 검출 센서, 초음파 송수신기 또는 적외선 송수신기), 터치 센서, 고도 센서, 예를 들어 글로벌 포지셔닝 시스템 수신기를 포함할 수 있는 측위 회로(location circuit), 삼각 측량 수신기(triangulation receiver), 가속도계, 경사 센서, 자이로스코프, 또는 이동 장치(108)의 현재 위치 또는 사용자-장치 인터페이스(운반 모드)를 식별할 수 있는 임의의 다른 정보 수집 장치를 포함할 수 있다. 센서들(228)은 입력 장치들(210)과 별개인 것으로 간주되는 도 2의 목적들을 위한 것이지만, 다른 실시예들에서는 입력 장치들(210) 중 하나 이상이 센서들(228) 중 하나 이상을 구성하는 것으로 (그리고 그 반대로) 간주될 수도 있다는 것이 가능하다. 게다가, 본 실시예에서 입력 장치들(210)이 출력 장치들(208)과 별개인 것으로 도시되는 경우에도, 일부 실시예들에서는 하나 이상의 장치가 입력 장치(210) 및 출력 장치(208) 양자로서 사용된다는 것을 인식해야 한다. 예를 들어, 터치 스크린을 사용하는 실시예들에서, 터치 스크린은 비주얼 출력 장치(216) 및 기계 입력 장치(226) 양자를 구성하는 것으로 간주될 수 있다.
내부 컴포넌트들(200)의 메모리 부분(206)은 임의의 다양한 형태의 하나 이상의 메모리 장치(예를 들어, 판독 전용 메모리, 랜덤 액세스 메모리, 정적 랜덤 액세스 메모리, 동적 랜덤 액세스 메모리 등)를 포함할 수 있으며, 프로세서(204)에 의해 데이터를 저장 및 검색하는 데 사용될 수 있다. 일부 실시예들에서, 메모리 부분(206)은 단일 장치에서 프로세서 부분(204)과 통합될 수 있지만(예를 들어, 메모리를 포함하는 처리 장치 또는 메모리 내의 프로세서(processor-in-memory)), 그러한 단일 장치는 여전히 통상적으로 별개의 섹션들을 갖고, 이 섹션들은 상이한 처리 및 메모리 기능들을 수행하며, 개별 장치들로서 간주될 수 있다.
메모리 부분(206)에 의해 저장되는 데이터는 운영 체제, 애플리케이션 및 정보 데이터, 예로서 데이터베이스를 포함할 수 있지만, 이에 한정될 필요는 없다. 각각의 운영 체제는 통신 장치(108)의 기본 기능들, 예로서 내부 컴포넌트들(200) 사이에 포함된 다양한 컴포넌트들 간의 상호작용, 무선 송수신기들(202) 또는 컴포넌트 인터페이스(212)를 통한 외부 장치들과의 통신, 및 메모리 부분(206)으로의 그리고 그로부터의 애플리케이션들 및 데이터의 저장 및 검색을 제어하는 실행 가능 코드를 포함한다. 게다가, 이동 장치(108)는 하나 이상의 애플리케이션을 포함할 수 있다. 각각의 애플리케이션은 운영 체제를 이용하여 통신 장치(108)를 위한 더 구체적인 기능, 예를 들어 파일 시스템 서비스, 및 메모리 부분(206)에 저장된 보호 및 비보호 데이터의 처리를 제공하는 실행 가능 코드를 포함할 수 있다. 정보 데이터는 통신 장치(108)의 기능들을 수행하기 위해 운영 체제 또는 애플리케이션에 의해 참조 또는 조작될 수 있는 실행 불가 코드 또는 정보이다. 하나의 그러한 애플리케이션은 본 명세서에서 설명되는 방법들을 수행하기 위해 제공되는 도 1에 도시된 바와 같은 클라이언트 애플리케이션(132)이다.
클라이언트 애플리케이션(132)은 이동 전화, 태블릿, 랩탑 등과 같은 임의의 다양한 타입의 이동 장치 상에서 동일 또는 유사한 기능들을 수행할 수 있는 다양한 클라이언트 애플리케이션 중 임의의 것을 나타내는 것을 의도한다. 클라이언트 애플리케이션(132)은 프로세서 부분(204) 상에서 동작하는 소프트웨어 기반 애플리케이션으로서, 구체적으로는 이동 장치(108)와 통신 시스템(100)의 컴포넌트들 중 하나 이상의 다른 컴포넌트 간의 인터페이스를 제공하도록 구성된다. 게다가, 클라이언트 애플리케이션(132)은 카메라(223) 및 마이크(225)와 같은 입력 및 출력 장치들(210, 208) 중 하나 이상의 장치의 동작을 관리한다. 또한, 클라이언트 애플리케이션(132)은 이동 장치(108)의 사용자가 (도 5 및 6과 관련하여 더 상세히 설명되는 바와 같이) 이동 장치(108) 상에서 미디어 자산 정보(112)를 획득하기 위한 요청과 같은 다양한 액션들을 시작하는 것을 가능하게 하는 비주얼 인터페이스(예를 들어, 디스플레이 스크린)(도시되지 않음)와 연계하여 동작한다. 클라이언트 애플리케이션(132)은 다양한 형태를 취할 수 있으며, 실시예에 따라, 다양한 운영 체제들 및 장치들 상에서 동작하고, 그들과 통신하도록 구성될 수 있다. 본 명세서에서 이동 장치(108)에 의해 수행되는 것으로 설명되는 다양한 프로세스들은 실시예에 따라서는 특히 클라이언트 애플리케이션(132)의 동작에 따라 또는 다른 애플리케이션들에 따라 수행될 수 있다는 것을 이해해야 한다.
이제, 도 3을 참조하면, 서버(106)는 주요 미디어 콘텐츠(110)(오디오, 비디오, 텍스트 정보)(예로서, MPEG-2 TS)를 수신하고, 미디어 자산 정보(112)를 추출하고, 미디어 자산 정보(112)를 저장할 수 있는 복수의 모듈을 갖는 병렬 자산 스트림 생성기(302)를 포함한다. 이러한 모듈들은 서버(106)에 포함된 추가 모듈들에 의해 이용되는 정보를 제공한다. 구체적으로, 병렬 자산 스트림 생성기(302)는 자산 연관 모듈(asset association module)(304), 미디어 자산 서명 생성기(306), 편집 인터페이스(307) 및 자산 서명 데이터베이스(308)를 포함한다. 미디어 자산 서명 생성기(306)는 미디어 콘텐츠(110) 및 미디어 자산 정보(112)를 수신하도록 구성된다. 미디어 자산 서명 생성기(306)는 미디어 자산(109)의 시간 범위(time span)를 커버하는 자산 미디어 서명들(111)(예로서, ms(tk))을 생성한다. 자산 미디어 서명들(111)은 하나 이상의 미디어 자산(109)에 대한 비디오 또는 오디오 서명들을 포함할 수 있다. 자산 연관 모듈(304)은 시간 관련 자산 스트림들(312)(예로서, p1(tk)...pn(tk))의 세트들을 생성한다. 시간 관련 자산 스트림들(312)은 편집 인터페이스(307)를 통해 수동으로 입력되거나 편집될 수 있다. 게다가, 시간 관련 자산 스트림들(312)은 우선순위화될 수 있다. 자산 미디어 서명들(111) 및 시간 관련 자산 스트림들(312)이 생성됨에 따라, 그들은 후술하는 바와 같이 서버(106) 내의 다른 모듈들에 의한 사용을 위해 자산 서명 데이터베이스(308)에 저장된다.
도 4는 시간 관련 자산 스트림들(312)의 예시적인 표현이다. 자산 스트림(312)은 그것을 주요 미디어 콘텐츠(110)의 식별자에 결합하는 ID에 의해 식별된다. 이것은 주요 미디어 콘텐츠(110)와 대응하는 자산 스트림들(312) 간의 맵핑을 가능하게 한다. 일반적으로, 하나 이상의 대응하는 자산 스트림(312)이 존재할 수 있다. 각각의 자산 스트림(312)은 시간의 함수이며, 자산 스트림 pi(tk)로서 식별될 수 있다. 이 경우, 그것은 소비되는 주요 미디어 콘텐츠(312)로부터의 상대 시간 오프셋이다. 특정 자산 스트림 pi(tk)의 가시성 및 우선순위를 설명하는 일반적인 스트림 정보가 존재한다. 각각의 순간(tk)에, 관련 자산 세트(402)(미디어 자산들의 세트)가 노출된다. 자산 세트(402) 내의 각각의 미디어 자산(109)은 자산 타입(assetType)에 의해 식별되는 미디어 자산(109)의 타입(예로서, 이미지, 비디오, 음악 또는 문서), 미디어 자산(109)의 지속기간 또는 미디어 자산(109)의 우선순위 또는 상대적 중요성과 같은 미디어 자산(109)에 관한 정보를 갖는다. 게다가, 그것은 특정 미디어 자산(109)이 검색될 수 있는 장소에 대한 정보(예로서, 위치_url(location_url))도 포함한다. 자산 스트림(312)의 이러한 예시적인 표현은 미디어 자산 정보(112)가 시간 관련 방식으로 주요 미디어 콘텐츠(110)와 결합되는 것을 가능하게 한다.
도 5는 도 1의 통신 시스템(100)의 컴포넌트들 및 그들 간의 상관 관계들의 추가적인 도해(500)를 제공한다. 구체적으로, 이동 장치(108)의 클라이언트 애플리케이션(132)의 다양한 양태들이 주요 장치(104), 서버(106), 및 이동 장치(108)의 다른 부분들과 상호작용하는 것으로 도시된다. 도시된 바와 같이, 클라이언트 애플리케이션(132)은 로컬 미디어 서명 생성기(502), 병렬 피드 클라이언트 제어기(504), (클라이언트 캐싱 데이터베이스(508)와 통신하는) 클라이언트 캐싱 모듈(506), 시간 동기화기(510), 스트림 선택기 모듈(512) 및 병렬 피드 소비자 모듈(514)을 포함할 수 있다. 게다가, 서버(106)는 다양한 모듈, 즉 미디어 탐색 서비스 모듈(516), 병렬 피드 서비스 모듈(518) 및 EPG 서비스 모듈(520)을 갖는 하나 이상의 애플리케이션을 포함할 수 있다. 이러한 컴포넌트들 중 하나 이상은 도 3과 관련하여 전술한 바와 같이 병렬 자산 스트림 생성기(302)와 통신할 수 있다. 구체적으로, 병렬 피드 서비스 모듈(518)은 자산 서명 데이터베이스(308)와 통신한다.
이동 장치(108) 및 클라이언트 애플리케이션(132)은 로컬 미디어 서명 생성기(502)를 이용하여, 하나 이상의 로컬 미디어 샘플(522)로부터 하나 이상의 로컬 미디어 서명(521)을 생성한다. 로컬 미디어 샘플(522)은 보조 장치(108)의 사용자에 의해 주요 장치(104) 상에서 시청되는 주요 미디어 콘텐츠(110), 특히 미디어 자산들(109)로부터 획득된다. 로컬 미디어 샘플(522)은 이동 장치(108)의 하나 이상의 입력 장치(210)를 이용하여 획득되는 비디오 또는 오디오 샘플을 포함할 수 있다. 적어도 일부 실시예들에서, 사용자는 카메라(223)를 이용하여, 주요 장치(104) 상에 표시된 미디어 자산(109)(프로그램)의 원시 비디오 샘플(523)을 획득할 수 있다. 대안으로서 또는 추가로, 사용자는 마이크(225)를 이용하여, 미디어 자산(109)의 원시 오디오 샘플(524)을 획득할 수 있다. 원시 비디오 샘플(523)은 비디오 서명 프로세서(526)를 이용하여 처리된다. 비디오 서명 프로세서(526)는 원시 비디오 샘플(523)을 분석하고, 특징적인 로컬 비디오 특징들(528)을 식별하도록 구성된다. 또한, 원시 오디오 샘플(524)은 오디오 서명 프로세서(530)를 이용하여 처리되며, 오디오 서명 프로세서(530)는 원시 오디오 샘플(524)을 분석하고, 특징적인 로컬 오디오 특징들(532)을 식별하도록 구성된다. 로컬 미디어 서명 생성기(502)는 로컬 비디오 특징들(528) 및 로컬 오디오 특징들(532)을 수집하고, 하나 이상의 로컬 미디어 서명(521)을 작성하도록 구성되는 로컬 서명 작성기(534)를 더 포함한다. 게다가, 로컬 서명 작성기(534), 및 적어도 간접적으로는 로컬 미디어 샘플들(522)의 획득 및 처리를 제어하기 위한 미디어 서명 수집 제어기(538)가 제공된다.
로컬 미디어 서명 생성기(502)가 적어도 하나의 로컬 미디어 서명(521)을 생성하면, 로컬 미디어 서명(521)은 서버(106)로 통신되고, 미디어 탐색 서비스 모듈(516)에 의해 수신된다. 미디어 탐색 서비스 모듈(516)은 유한 시간 윈도(finite time window) ms'[tn, tm]에 걸쳐 로컬 미디어 서명(521)을 상관시키고, 미디어 자산 ID(539)는 물론, 로컬 미디어 서명(521)이 미디어 자산(109)의 시간 범위 내에 나타나는 시점도 발견한다. 이어서, 병렬 피드 서비스 모듈(518)은 클라이언트 캐싱 데이터베이스(508) 상의 저장을 위해 미디어 자산 ID(539)를 연관된 미디어 자산 정보(112), 관련 자산 미디어 서명들(111) 및 시간 관련 자산 스트림들(312)과 함께 이동 장치(108) 상의 클라이언트 캐싱 모듈(506)로 전송한다.
병렬 피드 클라이언트 제어기(504)는 시간 관련 자산 스트림들(312)의 적시 프레젠테이션(timely presentation)을 제어한다. 시간 동기화기(510)는 병렬 피드 클라이언트 제어기(504)가 사용자에 의해 시청되는 미디어 자산(109)에 대한 시간 관련 자산 스트림들(312)의 프레젠테이션을 위한 정확한 타이밍을 유지하는 것을 보증한다. 정확한 타이밍을 유지하기 위해, 시간 동기화기(510)는 로컬 미디어 서명 생성기(502)로부터 유한 시간 윈도를 갖는 로컬 미디어 서명(521)을 주기적으로 수신하고, 그것을 병렬 피드 서비스 모듈(518)로부터 수신된 자산 미디어 서명들(111)에 대해 상관시키며, 여기서, 자산 미디어 서명들(111)은 미디어 자산(109)의 전체 시간 길이에 걸친다. 로컬 미디어 서명(521)이 자산 미디어 서명(111)과 매칭되는 경우, 병렬 피드 클라이언트 제어기(504)는 필요한 경우에 내부 시간 기준을 조정하여, 자산 미디어 서명(111)과 관련된 시간과 매칭시킬 수 있다. 매칭 프로세스 동안, 시간 동기화기(510)는 먼저 로컬 미디어 서명(521)을 최종 동기화 시점 근처의 시점들에서 저장된 자산 미디어 서명(111)과 매칭시키려고 시도한다. 사용자가 미디어 스트림을 빨리 진행시키거나, 거꾸로 진행시키거나, 중지하거나, 다른 포인트로 점프하는 경우에 발생할 수 있는 상태인 최종 동기화 시점 근처에서의 매칭의 실패가 발생하는 경우, 시간 동기화기(510)는 로컬 미디어 서명(521)을 저장된 자산 미디어 서명(111)의 나머지 시점들에 매칭시키려고 시도한다. 로컬 미디어 서명(521)이 임의의 시점에서의 자산 미디어 서명(111)과 매칭되지 않는 경우, 병렬 피드 클라이언트 제어기(504)는 장애 상태 또는 상정된 미디어 자산(109)을 새로운 미지의 미디어 자산(109)으로 변경한 사용자에 의한 채널 변경을 통지받는다. 스트림 선택기 모듈(512)은 클라이언트 캐싱 모듈(506)과 통신하여, 어느 자산 스트림(312)을 병렬 피드 소비자 모듈(514)로 통신할지를 식별한다. 병렬 피드 소비자 모듈(514)은 스트림 선택기 모듈(512)에 의해 선택된 자산 스트림(312)을 병렬 피드 링크(515)를 통해 보조 장치(108)의 하나 이상의 출력(208)으로 통신한다.
도 6은 도 5의 클라이언트 애플리케이션(132)의 블록도를 제공한다. 구체적으로, 로컬 미디어 서명 생성기(502), 병렬 피드 클라이언트 제어기(504), 미디어 탐색 서비스 모듈(516) 및 시간 동기화기(510)가 도시된다. 서버(106)로부터 이동 장치(108)로 병렬 피드를 제공하기 위해, 병렬 피드 클라이언트 제어기(504)는 시간 동기화기(510)를 초기화하도록 지시된다. 시간 동기화기(510)는 로컬 오디오 특징들(532) 및 로컬 비디오 특징들(528) 양자를 포함하는 하나 이상의 로컬 미디어 서명(521)을 제공하기 위해 요청을 미디어 서명 생성기(502)로 통신한다. 이러한 초기화 단계 동안, 미디어 서명들(521)이 연속 수집 간격(540)으로 취해지고, 미디어 자산 ID(539)를 획득하기 위해 (전술한 바와 같은) 미디어 탐색 서비스(516)로 전송된다.
미디어 자산(110)이 식별되고, 미디어 자산 정보(112), 자산 미디어 서명들(111) 및 시간 관련 자산 스트림들(312)을 이동 장치(108)로 통신하기 위해 병렬 피드(101)가 시작된 후에, 시간 동기화기(510)는 로컬 오디오 특징들(532)만을 포함하는 추가적인 로컬 미디어 서명들(521)을 요청한다. 시간 동기화기(510)는 특정 (비연속) 수집 간격들(542)(ci1,..., cin) 동안 로컬 미디어 서명들(521)을 제공하기 위해 요청을 미디어 서명 생성기(502)로 통신하며, 여기서, 로컬 미디어 서명들(521)은 로컬 오디오 특징들(532)만을 포함한다. 로컬 미디어 서명들(521)을 로컬 오디오 특징들(532)만으로 제한하고, 수집 간격들을 제한함으로써, 이동 장치(108) 상에서의 처리 및 대역폭 부담이 제한되고, 이는 배터리 수명 및 응답 시간을 개선할 수 있다. 적어도 일부 실시예들에서, 로컬 미디어 서명들(521)은 로컬 비디오 특징들(528)도 포함할 수 있다.
로컬 미디어 서명들(521)을 수집하기 위한 특정 수집 간격들(542)은 현재 시청되는 미디어 자산(109)에 대한 가장 대표적인 간격들을 포함하도록 선택된다. 특정 수집 간격들(542)은 병렬 피드 서비스 모듈(518)에 의해, 시간 동기화기(510)에 의해 또는 병렬 피드 클라이언트 제어기(504)에 의해 선택된다. 특정 수집 간격들(542)은 각각의 시점에서 미디어 자산(109)을 특성화하는 현저한(salient) 로컬 오디오 특징들(532)을 포함하도록 선택된다. 예를 들어, 미디어 자산(109)이 시간 T1과 T2 사이에 특정 멜로디 또는 노트들의 시퀀스를 포함하고, 시간 T2와 T3 사이에 침묵(silence)을 포함하고, 시간 T3과 T4 사이에 여성 음성(female speech)을 포함하고, 시간 T4와 T5 사이에 다른 침묵 간격을 포함하고, 시간 T5와 T6 사이에 총성(gun shot)을 포함하는 경우, 수집 간격들(542)은 시간 간격 T1-T2, T3-T4 및 T5-T6 중 하나 이상을 포함하고, 시간 간격 T2-T3 및 T4-T5를 배제할 것인데, 그 이유는 그들이 현저한 로컬 오디오 특징들(532)을 포함하지 않는 것으로 알려지기 때문이다. 수집 간격들(542)은 오디오 정보를 포함하는 시간 간격들의 서브세트를 포함할 수 있으며, 이는 로컬 오디오 샘플들(524)이 장치(108)에 의해 수집되는 기간들을 더 최소화하기 위해 가장 현저한 로컬 오디오 특징들(532)을 갖는 시간 간격들만을 포함한다. 제공되는 예에서, 시간 간격 T1-T2 내의 멜로디 및 T5-T6 사이의 총성은 여성 음성을 포함하는 시간 간격 T3-T4보다 더 현저한 로컬 오디오 특징들(532)인 것으로 간주될 수 있다. 수집 간격들(542)을 결정하는 병렬 피드 서비스 모듈(518), 시간 동기화기(510) 및 병렬 피드 클라이언트 제어기(504) 중 적어도 하나는 로컬 오디오 특징들(532)을 추출하고 그들을 이용하여 미디어 자산(109)으로부터의 로컬 미디어 샘플들(522)의 각각의 부분을 분류하는 디지털 신호 처리 알고리즘을 포함한다. 예를 들어, 시간 간격 내에 포함된 오디오 에너지를 계산하는 알고리즘들을 이용하여, 시간 간격이 주로 침묵을 포함하는지를 결정할 수 있다. 예를 들어, 오디오 기간 내에 음악의 존재를 결정할 수 있는 공지 알고리즘들을 이용하여, 시간 간격이 멜로디를 포함하는지를 결정할 수 있다.
가장 현저한 시간 간격들의 결정은 미디어 서명들(111) 자체로부터 수행될 수도 있다. 예를 들어, 일부 오디오 미디어 서명 알고리즘들은 스펙트로그램(spectrogram)의 피크들에 기초하여 그리고 그들의 시간 관계에 기초하여 미디어 서명들(111)을 생성한다. 초당 피크들의 수 및 그들의 평균 진폭은 시간 간격이 얼마나 현저한지를 결정하기 위한 척도로 간주될 수 있다. 연속적으로가 아니라, 가장 대표적인 간격들 동안에만 생성된 로컬 오디오 특징들(532)의 포함으로 한정되는 로컬 미디어 서명들(521)의 수집은 마이크(225)에서의 오디오의 연속 기록을 방해하며, 이는 잠재적으로 사용자의 프라이버시 문제를 제기할 수 있다. 가장 현재 분석된 로컬 미디어 서명(521)이 사용자에 의해 시청될 것으로 생각되는 미디어 자산(109)에 대한 자산 미디어 서명들(111)과 매칭되지 않는 경우, 시간 동기화기(510)는 로컬 오디오 특징들(532) 및 로컬 비디오 특징들(528) 양자를 포함할 수 있거나 연속 수집 간격(540)에서 취해지는 로컬 오디오 특징들(532)만을 포함할 수 있는 자산 미디어 서명들(111)의 완전한 세트를 요청한다. 이어서, 현재의 로컬 미디어 서명(521)이 자산 미디어 서명들(111)의 완전한 세트와 비교된다. 매치가 발견되지 않는 경우, 자산 미디어 서명들(111)의 완전한 세트는 재식별을 위해 미디어 탐색 서비스 모듈(516)로 전송되며, 병렬 피드 소비자 모듈(514)은 새로운 미디어 자산(109)이 식별되고 동기화될 때까지 시간 관련 자산 스트림들(312)의 전송을 연기한다.
도 7a 및 7b는 도 1의 통신 시스템(100)의 하나 이상의 컴포넌트에 의해 수행될 수 있는 주요 미디어 콘텐츠의 스트림과 관련 자산들의 병렬 피드를 시간 동기화하기 위한 예시적인 방법을 나타내는 흐름도(700)를 제공한다. 구체적으로, 도시된 바와 같이, 방법은 이동 장치(108)가 카메라(223) 또는 마이크(225)를 이용하여 주요 미디어 콘텐츠(110)로부터 원시 비디오 샘플(523) 또는 원시 오디오 샘플(524)을 캡처하는 단계 702에서 시작된다. 단계 704에서, 로컬 미디어 서명 생성기(502)는 원시 비디오 샘플(523) 또는 원시 오디오 샘플(524)을 처리하여, 로컬 미디어 서명(521)을 형성한다. 이어서, 로컬 미디어 서명(521)은 단계 706에서의 분석을 위해 서버(106)로 전송된다.
구체적으로, 로컬 미디어 서명(521)은 서버(106)의 미디어 탐색 서비스 모듈(516)로 전송되며, 로컬 미디어 서명(521)은 다양한 미디어 자산(109)을 표현하는 자산 미디어 서명들(111)과 비교된다. 특정 미디어 자산(109)에 대한 매치가 발견되는 경우, 미디어 자산(109)의 미디어 자산 ID(539)는 병렬 피드 서비스 모듈(518)로 전송된다. 단계 708에서, 이동 장치(108)는 병렬 피드 서비스 모듈(518)로부터 미디어 자산 정보(112), 시간 관련 자산 스트림들(312), 자산 미디어 서명들(111)의 시퀀스, 마이크 서명들의 시퀀스 및 카메라 서명들의 시퀀스를 수신한다.
적어도 하나의 다른 실시예에서, 마이크 서명들의 시퀀스 및 카메라 서명들의 시퀀스는 단계 708에서 설명되는 바와 같이 이동 장치(108)에 제공되지 않는다. 대신, 단계 708을 대체할 단계 712 및 단계 714에 도시된 바와 같이, 그것들은 이동 장치(108)에서 생성된다. 구체적으로, 단계 712에서 수신된 미디어 자산 정보(112)는 시간 관련 자산 스트림들(312) 및 자산 미디어 서명들(111)의 시퀀스만을 포함한다. 단계 714에서, 이동 장치(108)는 마이크 서명들의 시퀀스 및 카메라 서명들의 시퀀스를 생성한다. 일 실시예에서, 마이크 서명들의 시퀀스는 스펙트로그램 내의 초당 피크들의 수의 계산을 통해 자산 미디어 서명(111)으로부터 추출된다. 카메라 서명들의 시퀀스는 초당 장면 컷들의 수(the number of scene cuts per second)의 계산을 통해 자산 미디어 서명(111)으로부터 추출된다. 단계 708 또는 단계 714의 종료시에, 미디어 자산 정보(112), 시간 관련 자산 스트림들(312), 자산 미디어 서명들(111)의 시퀀스, 마이크 서명들의 시퀀스 및 카메라 서명들의 시퀀스가 이동 장치(108) 상의 클라이언트 캐싱 데이터베이스(508)에 저장된다.
도 7b의 단계 718에서, 이동 장치(108)는 로컬 미디어 서명(521)과 부합되는 미디어 자산(109) 내의 순간(시점)을 결정하기 위해 로컬 미디어 서명(521)을 국지적으로 저장된 자산 미디어 서명들(111)의 시퀀스와 상관시킨다. 그 순간은 이동 장치(108)와 미디어 자산(109) 간의 동기화를 설정 및 유지하는 데 사용된다. 전술한 바와 같이, 단계 718 동안, 이동 장치(108)는 먼저 로컬 미디어 서명(521)을 최종 동기화 시점 근처의 시간 사례들(time instances)에서 저장된 자산 미디어 서명(111)과 매칭시키려고 시도한다. 사용자가 미디어 스트림을 빨리 진행시키거나, 거꾸로 진행시키거나, 중지하거나, 다른 포인트로 점프하는 경우에 발생할 수 있는 상태인 최종 동기화 시점 근처에서의 매칭의 실패가 발생하는 경우, 이동 장치(108)는 로컬 미디어 서명(521)을 저장된 자산 미디어 서명(111)의 나머지 시점들과 매칭시키려고 시도한다. 단계 720에서, 로컬 미디어 서명(521)이 최종 동기화 시점 근처에서도 국지적으로 저장된 자산 미디어 서명들(111)의 어떠한 다른 시점에서도 발견되지 않은 경우, 동기화에 실패하였으며, 프로세스는 단계 702로 복귀하며, 여기서, 새로운 원시 비디오 또는 원시 오디오 샘플들(523, 524)을 획득한다. 단계 718에서 동기화가 이루어지는 경우, 프로세스는 단계 722로 이동하며, 여기서는 계산된 순간에 대응하는 현재의 시간 관련 자산 스트림들(312)이 사용자에 의한 시청을 위해 이동 장치(108) 상의 애플리케이션에 의해 제시될 수 있다. 단계 724에서, 시간 관련 정보의 다음 세트를 제시하도록 이동 장치(108)를 준비시키기 위해, 시스템은 미래의 시간 관련 정보를 검색할 수 있다.
전술한 바와 같이, 마이크 서명들의 하나 이상의 시퀀스 및 카메라 서명들의 시퀀스들도 장치(108) 내에 저장될 수 있다. 이러한 서명들은 미디어 자산(109)으로부터 후속 원시 비디오 샘플들(523) 또는 원시 오디오 샘플들(524)을 캡처하기 위해 적절한 캡처 장치(마이크(225) 또는 카메라(223))가 활성화될 때 수집 간격들(542) 및 각각의 수집 간격(542) 내의 허용 가능 캡처 기간들을 지시하는 정보를 포함할 수 있다. 단계 726에서, 서명들을 분석하여, 다음 수집 간격(542)에 도달하였는지를 확인한다. 다음 수집 간격(542)에 아직 도달하지 않은 경우, 프로세스는 단계 722로 복귀하고, 시간 관련 자산 스트림들(312)의 동기화된 프레젠테이션이 최종 동기화시에 타이밍을 시작한 로컬 클럭(local clock)에 기초하여 계속된다. 다음 수집 간격(542)에 도달한 경우, 프로세스는 단계 728로 이동하며, 여기서 마이크 서명들의 시퀀스들에 의해 그리고 카메라 서명들의 시퀀스들에 의해 허용 가능한 것으로 지시되는 수집 간격(542) 내의 기간들에서 미디어 자산(109)으로부터 후속 오디오 샘플들(524) 또는 비디오 샘플들(523)이 획득된다. 단계 730에서, 로컬 미디어 서명들(521)이 샘플들(523, 524)에 대해 생성되어, 단계 718에서의 갱신된 상관성 분석이 클라이언트 애플리케이션(132)과 미디어 자산(109)의 재생 간의 동기화를 검증하는 것을 가능하게 한다.
본 발명의 원리들을 적용할 수 있는 많은 가능한 실시예를 고려할 때, 도면들과 관련하여 본 명세서에서 설명된 실시예들은 단지 예시적인 것을 의도하며, 본 발명의 범위를 한정하는 것으로 간주되지 않아야 한다는 것을 인식해야 한다. 따라서, 본 명세서에서 설명되는 바와 같은 발명은 모든 그러한 실시예들을 아래의 청구항들 및 그들의 균등물들의 범위 내에 속할 수 있는 것으로 간주한다.

Claims (22)

  1. 주요 장치의 동작과 연관된 방식으로 보조 장치를 동작시키는 방법으로서,
    (a) 상기 주요 장치에 의해 출력되는 미디어 자산(media asset)에 대응하는 제1 정보를 획득하는 단계;
    (b) 상기 제1 정보를 처리하여 로컬 미디어 서명 정보(local media-signature information)를 결정하는 단계:
    (c) 서버에 의한 수신을 위해 상기 제1 정보를 전송하는 단계;
    (d) 상기 서버로부터 보조 정보를 수신하는 단계 - 상기 보조 정보는 상기 미디어 자산의 각각의 부분들에 각각 대응하는 복수의 자산 미디어 서명(asset-media signature)을 포함함 -;
    (e) 상기 로컬 미디어 서명 정보의 적어도 하나의 부분과 상기 자산 미디어 서명들 중 적어도 하나 사이의 시간 기반 상관성(time-based correlation)을 결정하고, 상기 복수의 자산 미디어 서명에 적어도 부분적으로 기초하여, 상기 미디어 자산이 더 이상 상기 주요 장치에 의한 출력이 아닌지 여부를 더 결정하는 단계; 및
    (f) 상기 보조 장치로부터 시간 관련 자산 스트림들(time-relevant asset streams)의 하나 이상의 부분을 출력하는 단계 - 상기 하나 이상의 부분은 상기 상관성에 기초하여 적어도 간접적으로 결정됨 -
    를 포함하고,
    단계 (a), (b) 및 (e)가 각각 주기적으로 반복되며, 각각의 반복된 단계 (e)는, 상기 보조 장치에서, 상기 제1 정보와 상기 복수의 자산 미디어 서명들의 제1 서브세트 - 상기 제1 서브세트는 최종 동기화 시점에 가까운 하나 이상의 시점에 대응함 - 와 비교하여 상기 하나 이상의 시점에서 상기 제1 정보와 상기 복수의 자산 미디어 서명들의 상기 제1 서브세트의 하나 이상과의 매치(match)를 식별하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 보조 정보는 상기 미디어 자산의 각각의 부분들과 연관된 상기 시간 관련 자산 스트림들에 대한 링크들 또는 포인터들 중 하나 이상을 포함하는 방법.
  3. 제2항에 있어서,
    상기 시간 관련 자산 스트림들의 상기 하나 이상의 부분은 상기 보조 장치에 의해 병렬 피드(parallel feed)로서 수신되는 방법.
  4. 제1항에 있어서, 상기 제1 정보는 적어도 하나의 오디오 샘플을 포함하는 방법.
  5. 제1항에 있어서,
    상기 복수의 자산 미디어 서명들을 포함하는 상기 수신된 보조 정보를 저장하는 단계를 더 포함하는 방법.
  6. 제5항에 있어서,
    상기 보조 장치는 셀폰, 개인 휴대 단말기(personal digital assistant) 및 태블릿 컴퓨터 장치로 이루어지는 그룹으로부터 선택되는 이동 장치인 방법.
  7. 제1항에 있어서,
    단계 (e) 동안:
    매치가 발견되지 않는 경우, 상기 제1 정보를 자산 미디어 서명들의 제2 서브세트와 비교하는 단계
    를 더 포함하는 방법.
  8. 제1항에 있어서,
    상기 획득은 상기 보조 장치의 적어도 하나의 입력 장치에 의해 수행되며, 상기 적어도 하나의 입력 장치는 카메라 및 마이크(microphone)로 이루어지는 그룹으로부터 선택되는 방법.
  9. 제1항에 있어서,
    상기 보조 정보는 사용자 프라이버시를 향상시키고 배터리 소비를 줄이기 위해 상기 제1 정보의 획득을 수행할 각각의 시간들을 각각 식별하는 복수의 데이터 부분을 더 포함하는 방법.
  10. 제1항에 있어서,
    상기 보조 장치의 입력 장치는 상기 보조 정보에서 식별된 수집 간격들 동안 상기 제1 정보의 획득을 유발하도록 활성화되는 방법.
  11. 제1항에 있어서,
    상기 보조 장치에 저장되는 바와 같은 상기 복수의 자산 미디어 서명에 적어도 부분적으로 기초하여, 상기 제1 정보의 획득을 수행할 동안의 하나 이상의 수집 간격들을 결정하는 단계를 더 포함하는 방법.
  12. 제11항에 있어서,
    상기 보조 장치의 입력 장치는 상기 하나 이상의 수집 간격들에서 상기 제1 정보의 획득을 유발하도록 활성화되는 방법.
  13. 제1항에 있어서,
    상기 결정 단계 (e)는, 상기 자산 미디어 서명들에 적어도 부분적으로 기초하여, 상기 주요 장치에 의해 출력되는 제1 미디어 자산이 상기 주요 장치에 의해 출력되는 제2 미디어 자산으로 변경되었는지 및 장애가 발생하였는지 여부 중 적어도 하나를 결정하는 단계를 더 포함하는 방법.
  14. 제1항에 있어서,
    상기 수신된 보조 정보는 미디어 서명들의 제1 시퀀스, 마이크 서명들의 제2 시퀀스 및 카메라 서명들의 제3 시퀀스 중 적어도 하나를 더 포함하는 방법.
  15. 제1항에 있어서,
    오디오 샘플 정보만을 포함하는 하나 이상의 자산 미디어 서명들을 포함하는 제3 정보가 획득되고,
    상기 보조 정보는 상기 미디어 서명들의 제1 시퀀스를 포함하는 방법.
  16. 제1항에 있어서,
    단계 (e)의 상기 결정이 상기 로컬 미디어 서명의 적어도 하나의 부분과 상기 자산 미디어 서명들 중 적어도 하나 간의 시간 대응(time correspondence)을 생성할 때까지 단계 (a), (b), (c), (d) 및 (e)가 반복되고, 단계 (f)가 수행되지 않는 방법.
  17. 제14항에 있어서,
    단계 (f)에 이어서:
    상기 마이크 서명들의 제2 시퀀스 또는 상기 카메라 서명들의 제3 시퀀스로부터 결정된 시간들에서 미래의 시간 관련 자산 스트림들을 검색하여, 갱신된 자산 미디어 서명들을 획득하는 단계를 더 포함하는 방법.
  18. 이동 장치로서,
    외부 장치에 의해 출력되는 주요 콘텐츠에 대응하는 제1 정보를 주기적으로 및 반복적으로 획득하는 입력 장치 - 상기 제1 정보는 비디오 또는 오디오 정보를 포함함 -;
    상기 입력 장치에 적어도 간접적으로 결합되는 처리 장치 - 상기 처리 장치는 상기 제1 정보에 적어도 부분적으로 기초하여 로컬 미디어 서명 정보를 주기적으로 및 반복적으로 생성(develop)하도록 구성됨 -;
    서버에서 발신되는(originating) 통신 신호들을 수신하도록 구성되는 무선 송수신기 - 상기 통신 신호들은 상기 주요 콘텐츠의 각각의 부분들에 각각 대응하는 복수의 시간 관련 자산 미디어 서명을 포함하는 보조 정보의 하나 이상의 부분을 포함함 -;
    상기 보조 정보의 하나 이상의 부분을 저장하도록 구성되는 메모리 장치; 및
    상기 이동 장치로부터 시간 관련 자산 스트림들의 하나 이상의 부분을 출력하는 출력 장치 - 상기 하나 이상의 부분은 시간 기반 상관성에 기초하여 적어도 간접적으로 결정됨 -
    를 포함하고,
    상기 처리 장치는 상기 미디어 서명 정보의 적어도 하나의 부분과 상기 시간 관련 자산 미디어 서명들 중 적어도 하나 간의 상기 시간 기반 상관성을 주기적으로 및 반복적으로 결정하도록 더 구성되고, 각각의 반복된 결정은, 상기 이동 장치에서, 상기 제1 정보와 상기 복수의 시간 관련 자산 미디어 서명들의 제1 서브세트 - 상기 제1 서브세트는 최종 동기화 시점에 가까운 하나 이상의 시점에 대응함 - 와 비교하여 상기 하나 이상의 시점에서 상기 제1 정보와 상기 복수의 시간 관련 자산 미디어 서명들의 상기 제1 서브세트의 하나 이상과의 매치(match)를 식별하고, 상기 복수의 시간 관련 자산 미디어 서명에 적어도 부분적으로 기초하여, 상기 주요 콘텐츠가 더 이상 상기 외부 장치에 의한 출력이 아닌지 여부를 더 결정하고,
    상기 처리 장치는 상기 무선 송수신기 및 상기 메모리 장치 각각에 적어도 간접적으로 더 결합되는 이동 장치.
  19. 제18항에 있어서,
    상기 이동 장치는 셀폰, 개인 휴대 단말기, 이동 컴퓨터 장치 및 태블릿 컴퓨터 장치로 이루어지는 그룹으로부터 선택되고,
    상기 입력 장치는 마이크 및 카메라로 이루어지는 그룹으로부터 선택되는 이동 장치.
  20. 주요 장치 상에서 시청 가능한 주요 콘텐츠와 이동 장치 상에서 제시되는(presented) 보조 콘텐츠를 동기화하는 방법으로서,
    (a) 주요 장치에 의해 출력되는 미디어 자산에 대응하는 제1 정보를 획득하는 단계;
    (b) 상기 제1 정보를 처리하여 로컬 미디어 서명 정보를 결정하는 단계;
    (c) 서버에 의한 수신을 위해 상기 제1 정보를 전송하는 단계;
    (d) 상기 서버로부터 보조 정보를 수신하는 단계 - 상기 보조 정보는 상기 미디어 자산의 각각의 부분들에 각각 대응하는 복수의 자산 미디어 서명들을 포함함 -;
    (e) 상기 로컬 미디어 서명 정보의 적어도 하나의 부분과 상기 자산 미디어 서명들 중 적어도 하나 사이의 시간 기반 상관성을 결정하고, 상기 복수의 자산 미디어 서명에 적어도 부분적으로 기초하여, 상기 미디어 자산이 더 이상 상기 주요 장치에 의한 출력이 아닌지 여부를 더 결정하는 단계; 및
    (f) 상기 이동 장치로부터 시간 관련 자산 스트림들의 하나 이상의 부분을 출력하는 단계 - 상기 하나 이상의 부분은 상기 상관성에 기초하여 적어도 간접적으로 결정됨 -
    를 포함하고,
    단계 (a), (b) 및 (e)가 각각 주기적으로 반복되며, 각각의 반복된 단계 (e)는, 상기 이동 장치에서, 상기 제1 정보와 상기 복수의 자산 미디어 서명들의 제1 서브세트 - 상기 제1 서브세트는 최종 동기화 시점에 가까운 하나 이상의 시점에 대응함 - 와 비교하여 상기 하나 이상의 시점에서 상기 제1 정보와 상기 복수의 자산 미디어 서명들의 상기 제1 서브세트의 하나 이상과의 매치(match)를 식별하는 단계를 포함하는 방법.
  21. 주요 장치 상에서 시청 가능한 주요 콘텐츠와 이동 장치 상에서 제시되는 보조 콘텐츠를 동기화하는 방법으로서,
    이동 장치의 하나 이상의 입력 장치를 이용하여 비디오 샘플 및 오디오 샘플 중 적어도 하나를 주기적으로 및 반복적으로 캡처하는 단계 - 비디오 샘플 및 오디오 샘플 중 상기 적어도 하나는 미디어 자산을 출력하는 주요 장치로부터 취해짐 -;
    상기 이동 장치 상의 로컬 미디어 서명 생성기로부터 로컬 미디어 서명들을 생성하는 단계;
    상기 미디어 자산과 관련된 하나 이상의 자산 미디어 서명을 수신하는 단계 - 상기 자산 미디어 서명들은 상기 미디어 자산의 시간 길이에 실질적으로 걸침(substantially span) -;
    상기 이동 장치 상에서 상기 하나 이상의 자산 미디어 서명을 저장하는 단계;
    상기 로컬 미디어 서명들과 상기 자산 미디어 서명들을 주기적으로 및 반복적으로 상관시키는 단계 - 각각의 반복된 상관은, 상기 이동 장치에서, 상기 로컬 미디어 서명의 하나 이상과 상기 하나 이상의 자산 미디어 서명들의 제1 서브세트 - 상기 제1 서브세트는 최종 동기화 시점에 가까운 하나 이상의 시점에 대응함 - 와 비교하여 상기 하나 이상의 시점에서 상기 로컬 미디어 서명의 하나 이상과 상기 하나 이상의 자산 미디어 서명들의 제1 서브세트의 하나 이상과의 매치(match)를 식별하는 단계를 포함함 -;
    상기 로컬 미디어 서명들과 상기 자산 미디어 서명들 간의 매치에 기초하여 시간 기준을 설정하는 단계; 및
    상기 시간 기준을 주기적으로 갱신하고, 상기 하나 이상의 자산 미디어 서명에 적어도 부분적으로 기초하여, 상기 주요 콘텐츠가 더 이상 상기 주요 장치에 의한 출력이 아닌지 여부를 더 결정하는 단계
    를 포함하는 방법.
  22. 삭제
KR1020157001673A 2012-06-26 2013-06-26 주요 미디어 콘텐츠와 보조 콘텐츠의 병렬 피드의 시간 동기화 KR101764033B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/533,309 2012-06-26
US13/533,309 US9118951B2 (en) 2012-06-26 2012-06-26 Time-synchronizing a parallel feed of secondary content with primary media content
PCT/US2013/047815 WO2014004623A1 (en) 2012-06-26 2013-06-26 Time-synchronizing a parallel feed of secondary content with primary media content

Publications (2)

Publication Number Publication Date
KR20150032721A KR20150032721A (ko) 2015-03-27
KR101764033B1 true KR101764033B1 (ko) 2017-08-01

Family

ID=48948482

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157001673A KR101764033B1 (ko) 2012-06-26 2013-06-26 주요 미디어 콘텐츠와 보조 콘텐츠의 병렬 피드의 시간 동기화

Country Status (6)

Country Link
US (1) US9118951B2 (ko)
EP (1) EP2865192B1 (ko)
KR (1) KR101764033B1 (ko)
CN (1) CN104813675B (ko)
BR (1) BR112014032523B1 (ko)
WO (1) WO2014004623A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2763376B1 (en) * 2013-01-31 2018-02-21 Samsung Electronics Co., Ltd Method and device for providing service
US20140229975A1 (en) * 2013-02-14 2014-08-14 Cox Communications, Inc. Systems and Methods of Out of Band Application Synchronization Across Devices
US10775877B2 (en) 2013-03-19 2020-09-15 Arris Enterprises Llc System to generate a mixed media experience
US10585546B2 (en) 2013-03-19 2020-03-10 Arris Enterprises Llc Interactive method and apparatus for mixed media narrative presentation
US10506282B2 (en) * 2013-10-21 2019-12-10 Synamedia Limited Generating media signature for content delivery
US10223530B2 (en) 2013-11-13 2019-03-05 Proofpoint, Inc. System and method of protecting client computers
CN105940679B (zh) * 2014-01-31 2019-08-06 交互数字Ce专利控股公司 用于同步两个电子设备处的回放的方法和装置
KR102166423B1 (ko) * 2014-03-05 2020-10-15 삼성전자주식회사 디스플레이 장치, 서버 장치 및 디스플레이 장치의 이벤트 정보 제공 방법
WO2016018077A1 (ko) * 2014-07-30 2016-02-04 엘지전자 주식회사 방송 전송 장치, 방송 수신 장치, 방송 전송 장치의 동작 방법 및 방송 수신 장치의 동작 방법
FR3044508A1 (fr) * 2015-11-27 2017-06-02 Orange Procede de synchronisation d'un flux audio alternatif
US20210344989A1 (en) * 2018-10-12 2021-11-04 Gustavo Neiva de Medeiros Crowdsourced Video Description via Secondary Alternative Audio Program
KR102310360B1 (ko) * 2020-01-20 2021-10-08 (주)뮤직몹 재생 데이터의 싱크 처리시스템
WO2022093550A1 (en) 2020-10-29 2022-05-05 Arris Enterprises Llc System and method for the utilization of a low-latency video source
US11678003B2 (en) * 2021-06-21 2023-06-13 Charter Communications Operating, Llc Media playback synchronization on multiple systems

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5436653A (en) 1992-04-30 1995-07-25 The Arbitron Company Method and system for recognition of broadcast segments
US7930546B2 (en) 1996-05-16 2011-04-19 Digimarc Corporation Methods, systems, and sub-combinations useful in media identification
US6246803B1 (en) 1998-12-27 2001-06-12 The University Of Kansas Real-time feature-based video stream validation and distortion analysis system using color moments
CA2310769C (en) 1999-10-27 2013-05-28 Nielsen Media Research, Inc. Audio signature extraction and correlation
US6990453B2 (en) 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
CA2421775C (en) 2000-09-08 2013-03-12 Kargo Inc. Video interaction
AU2003223748A1 (en) 2002-04-25 2003-11-10 Neuros Audio, Llc Apparatus and method for identifying audio
US8151178B2 (en) * 2003-06-18 2012-04-03 G. W. Hannaway & Associates Associative media architecture and platform
AU2003272483A1 (en) 2003-09-12 2005-04-27 Nielsen Media Research, Inc. Digital video signature apparatus and methods for use with video program identification systems
WO2005041109A2 (en) 2003-10-17 2005-05-06 Nielsen Media Research, Inc. Methods and apparatus for identifiying audio/video content using temporal signal characteristics
US7756337B2 (en) * 2004-01-14 2010-07-13 International Business Machines Corporation Method and apparatus for reducing reference character dictionary comparisons during handwriting recognition
KR20060135794A (ko) 2004-02-26 2006-12-29 미디어 가이드, 인코포레이티드 방송 오디오 또는 비디오 프로그래밍 신호의 자동 검출 및식별 방법, 및 장치
US20060253894A1 (en) * 2004-04-30 2006-11-09 Peter Bookman Mobility device platform
US8185543B1 (en) 2004-11-10 2012-05-22 Google Inc. Video image-based querying for video content
US7757270B2 (en) * 2005-11-17 2010-07-13 Iron Mountain Incorporated Systems and methods for exception handling
DK1826932T3 (da) 2006-02-22 2011-10-17 Media Evolution Technologies Inc Fremgangsmåde og apparatur til generering af digitale audiosignaturer
WO2007103938A2 (en) 2006-03-06 2007-09-13 Veveo, Inc. Methods and systems for selecting and presenting content based on learned user preferences
WO2007143202A2 (en) * 2006-06-02 2007-12-13 Nicolas Kernene Broadband gaming system and method
US20080187188A1 (en) * 2007-02-07 2008-08-07 Oleg Beletski Systems, apparatuses and methods for facilitating efficient recognition of delivered content
US7983915B2 (en) 2007-04-30 2011-07-19 Sonic Foundry, Inc. Audio content search engine
US8213521B2 (en) 2007-08-15 2012-07-03 The Nielsen Company (Us), Llc Methods and apparatus for audience measurement using global signature representation and matching
US20090083781A1 (en) 2007-09-21 2009-03-26 Microsoft Corporation Intelligent Video Player
WO2009102885A1 (en) 2008-02-12 2009-08-20 Phone Through, Inc. Systems and methods for enabling interactivity among a plurality of devices
KR100964439B1 (ko) * 2008-04-28 2010-06-16 에스케이 텔레콤주식회사 이동통신 방송 시스템 및 방송 컨텐츠와 부가 정보의 동기방법
US9367544B2 (en) * 2008-06-18 2016-06-14 Gracenote, Inc. Method for efficient database formation and search on media devices acting synchronously with television programming
US7925590B2 (en) 2008-06-18 2011-04-12 Microsoft Corporation Multimedia search engine
US20110041154A1 (en) 2009-08-14 2011-02-17 All Media Guide, Llc Content Recognition and Synchronization on a Television or Consumer Electronics Device
US9508080B2 (en) * 2009-10-28 2016-11-29 Vidclx, Llc System and method of presenting a commercial product by inserting digital content into a video stream
US8751942B2 (en) * 2011-09-27 2014-06-10 Flickintel, Llc Method, system and processor-readable media for bidirectional communications and data sharing between wireless hand held devices and multimedia display systems
US9814977B2 (en) * 2010-07-13 2017-11-14 Sony Interactive Entertainment Inc. Supplemental video content on a mobile device
KR101763593B1 (ko) * 2010-08-24 2017-08-01 엘지전자 주식회사 컨텐츠 동기화 방법 및 그 방법을 채용한 사용자 단말기
US8640181B1 (en) * 2010-09-15 2014-01-28 Mlb Advanced Media, L.P. Synchronous and multi-sourced audio and video broadcast
US9043386B2 (en) * 2010-10-06 2015-05-26 Hbr Labs Inc. System and method for synchronizing collaborative form filling
US8631473B2 (en) 2011-07-06 2014-01-14 Symphony Advanced Media Social content monitoring platform apparatuses and systems
KR20120072198A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 맞춤형 서비스 제공 시스템 및 방법
US9477734B2 (en) 2011-05-10 2016-10-25 Microsoft Technology Licensing, Llc Data synch notification using a notification gateway
US9160837B2 (en) * 2011-06-29 2015-10-13 Gracenote, Inc. Interactive streaming content apparatus, systems and methods
US20110289532A1 (en) * 2011-08-08 2011-11-24 Lei Yu System and method for interactive second screen
US20140359748A1 (en) * 2011-12-16 2014-12-04 British Telecommunications Public Limited Company Network terminal validation
US9215065B2 (en) * 2012-02-17 2015-12-15 Cbs Interactive Inc. Media player security for full length episodes
US9703932B2 (en) * 2012-04-30 2017-07-11 Excalibur Ip, Llc Continuous content identification of broadcast content
US8943021B2 (en) * 2012-08-03 2015-01-27 Home Box Office, Inc. System and method for assistive caption, video description, and audio distribution

Also Published As

Publication number Publication date
KR20150032721A (ko) 2015-03-27
US20130346631A1 (en) 2013-12-26
BR112014032523B1 (pt) 2022-08-02
WO2014004623A1 (en) 2014-01-03
CN104813675B (zh) 2019-04-09
CN104813675A (zh) 2015-07-29
BR112014032523A2 (pt) 2017-06-27
EP2865192A1 (en) 2015-04-29
EP2865192B1 (en) 2021-04-21
US9118951B2 (en) 2015-08-25

Similar Documents

Publication Publication Date Title
KR101764033B1 (ko) 주요 미디어 콘텐츠와 보조 콘텐츠의 병렬 피드의 시간 동기화
CN108600773B (zh) 字幕数据推送方法、字幕展示方法、装置、设备及介质
US11812073B2 (en) Identifying media on a mobile device
KR101878279B1 (ko) 비디오 원격 해설 동기화 방법 및 시스템, 그리고 단말 장치
US9330431B2 (en) System and method for synchronizing, merging, and utilizing multiple data sets for augmented reality application
US8588824B2 (en) Transferring media context information based on proximity to a mobile device
CN108737908A (zh) 一种媒体播放方法、装置及存储介质
KR20110005861A (ko) 보조 장치로부터 매체 북마크들을 생성하기 위한 시스템 및 방법
KR20160070805A (ko) Ｔｖ 프로그램 식별 방법, 장치, 단말기, 서버, 및 시스템
CN108900855B (zh) 直播内容录制方法、装置、计算机可读存储介质及服务器
KR20080051823A (ko) 디지털방송데이터를 이용한 휴대단말 사용자 관심정보수집방법 및 장치
US20120331514A1 (en) Method and apparatus for providing image-associated information
CN102833595A (zh) 一种信息传送的方法及装置
JP2013247544A (ja) 携帯端末装置
CN109587497B (zh) Flv流的音频数据传输方法、装置和系统
JP5063045B2 (ja) 通信端末装置、映像表示システムおよび制御プログラム
JP2003216609A (ja) 情報検索システムおよび方法
JP2008219608A (ja) コンテンツ付随情報表示方法およびコンテンツ付随情報表示装置ならびにそのプログラムと記録媒体
US20130044994A1 (en) Method and Arrangement for Transferring Multimedia Data
KR101673020B1 (ko) 데이터 요청 방법 및 장치와 데이터 획득 방법 및 장치
JP2006115292A (ja) 嗜好場面取得装置及び嗜好場面取得システム
JP2015060612A (ja) 情報処理装置
JP2008124744A (ja) 情報処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant