KR20150127238A - 미디어 콘텐츠에 대응하는 모바일 콘텐츠를 제시하기 위한 방법들, 시스템들 및 미디어 - Google Patents

미디어 콘텐츠에 대응하는 모바일 콘텐츠를 제시하기 위한 방법들, 시스템들 및 미디어 Download PDF

Info

Publication number
KR20150127238A
KR20150127238A KR1020157028591A KR20157028591A KR20150127238A KR 20150127238 A KR20150127238 A KR 20150127238A KR 1020157028591 A KR1020157028591 A KR 1020157028591A KR 20157028591 A KR20157028591 A KR 20157028591A KR 20150127238 A KR20150127238 A KR 20150127238A
Authority
KR
South Korea
Prior art keywords
images
channel
image
audio
television program
Prior art date
Application number
KR1020157028591A
Other languages
English (en)
Other versions
KR102128115B1 (ko
Inventor
앤트 오즈타스켄트
야로슬라브 보로비치
데이비드 싱글턴
팀보 드라이슨
Original Assignee
구글 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 인코포레이티드 filed Critical 구글 인코포레이티드
Publication of KR20150127238A publication Critical patent/KR20150127238A/ko
Application granted granted Critical
Publication of KR102128115B1 publication Critical patent/KR102128115B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

미디어 콘텐츠에 대응하는 모바일 콘텐츠를 제시하기 위한 방법들, 시스템들 및 미디어가 제공된다. 일부 구현들에서, 미디어 콘텐츠에 관한 정보를 제공하기 위한 방법이 제공되며, 방법은, 텔레비전 프로그램을 제공하는 채널을 결정하는 단계; 텔레비전 프로그램에 관한 이미지들이 제시되게 하는 단계 ―이미지들은 채널 및 시간 파라미터에 기초하여 선택됨―; 이미지의 사용자 선택을 수신하는 단계; 하나 또는 그 초과의 이미지 인식 기술들을 이용하여 선택된 이미지 내 엔티티를 식별하는 단계; 식별된 엔티티에 적어도 부분적으로 기초하여 검색 질의를 생성하는 단계; 생성된 검색 질의에 응답하는 검색 결과들을 획득하는 단계; 및 이미지의 사용자 선택을 수신하는 것에 응답하여, 검색 결과들 중 적어도 하나가 모바일 디바이스에 제시되게 하는 단계를 포함한다.

Description

미디어 콘텐츠에 대응하는 모바일 콘텐츠를 제시하기 위한 방법들, 시스템들 및 미디어 {METHODS, SYSTEMS, AND MEDIA FOR PRESENTING MOBILE CONTENT CORRESPONDING TO MEDIA CONTENT}
[0001] 본 출원은 2013년 3월 14일 출원된 미국 특허 출원 제13/827,413호를 우선권으로 주장하며, 이로써 이 특허 출원은 전체가 본원에 인용에 의해 포함된다.
[0002] 개시된 청구대상은 미디어 콘텐츠에 대응하는 모바일 콘텐츠를 제시하기 위한 방법들, 시스템들 및 미디어에 관한 것이다.
[0003] 텔레비전 프로그램을 시청하는 동안, 시청자는 종종 텔레비전 프로그램에 관련한 정보에 관심을 갖는다. 예를 들어, 시청자는 다큐멘터리에서 보여지는 로케이션들에 관해 또는 영화에서 본 배우에 관한 추가 정보에 대해 검색하길 원할 수 있다.
[0004] 검색 엔진들은 시청자가 웹페이지들, 이미지들, 비디오 콘텐츠, 및 오디오 콘텐츠를 포함하는 리소스들에 대해 인터넷을 통해 검색하도록 허용한다. 전형적인 검색 엔진은 검색어들을 입력하기 위한 웹 페이지를 제공하며, 검색어들은 시청자에 의해 입력된다. 특정 검색어들에 대해 수행된 검색 결과들이 시청자에게 제공된다. 게다가, 모바일 디바이스들의 도래로, 모바일 검색 엔진들의 이용이 증가되었다. 예를 들어, 모바일 디바이스를 이용하여, 시청자는 텔레비전 프로그램을 시청하면서 검색을 수행하고 인터넷 콘텐츠를 둘러볼 수 있다.
[0005] 그러나, 텍스트-기반 검색 엔진들은 해당 사용자에게 어느 정도 제한될 수 있다. 일 예로, 사용자가 영화에 나오는 특정 배우 이름을 알고 특정 배우에 관한 추가 정보를 얻길 원할 경우, 사용자는, 영화의 이름을 (예를 들어, 프로그램 가이드로부터, 온라인 텔레비전 가이던스 웹사이트로부터, 인쇄된 가이드로부터 등으로) 찾아내고 모바일 검색 엔진에 이를 입력함으로써 영화에 대해 검색함으로써, 이 정보를 얻는 것을 시도할 수 있다. 이후 사용자는, 영화에 관한 정보를 포함하는 웹페이지를 찾기 위해 검색 결과들(예를 들어, 영화들 및 텔레비전 프로그램들에 관한 정보를 포함하는 온라인 웹사이트)로 클릭해나가, 웹페이지에 액세스하고, 특정 배우에 관한 정보를 찾기 위해 웹페이지를 철저히 조사한다. 사용자가 웹페이지 상에서 배우를 찾는 것이 가능한 경우, 사용자는 특정 배우에 관한 웹사이트상의 다른 페이지에 액세스하여 특정 배우에 관한 원하는 정보를 찾기 위해 이 페이지를 훑어본다. 이는 사용자에게는 시간 소모적인 절차이다. 게다가 이는 사용자로 하여금 텔레비전 프로그램의 상당 부분을 놓치게 하거나 이런 절차를 통해 이러한 정보를 얻기 위해 텔레비전 프로그램을 중단하게 할 수 있다.
[0006] 따라서, 미디어 콘텐츠에 대응하는 모바일 콘텐츠를 제시하기 위한 메커니즘이 요망된다.
[0007] 미디어 콘텐츠에 대응하는 모바일 콘텐츠를 제시하기 위한 방법들, 시스템들, 및 미디어가 제공된다.
[0008] 개시된 청구대상의 일부 구현들에 따라, 미디어 콘텐츠와 관련한 정보를 제공하기 위한 방법이 제공되며, 이 방법은, 하드웨어 프로세서를 이용하여, 텔레비전 프로그램을 제공하는 채널을 결정하는 단계; 하드웨어 프로세서를 이용하여, 텔레비전 프로그램에 관한 복수의 이미지들이 제시되게 하는 단계 ―복수의 이미지들은 채널 및 시간 파라미터에 기초하여 선택됨―; 하드웨어 프로세서를 이용하여, 복수의 이미지들로부터의 이미지의 사용자 선택을 수신하는 단계; 하드웨어 프로세서를 이용하여, 하나 또는 그 초과의 이미지 인식 기술들을 이용하여 선택된 이미지 내 엔티티를 식별하는 단계; 하드웨어 프로세서를 이용하여, 식별된 엔티티에 적어도 부분적으로 기초하여 검색 질의를 생성하는 단계; 하드웨어 프로세서를 이용하여, 생성된 검색 질의에 응답하는 복수의 검색 결과들을 획득하는 단계; 및 하드웨어 프로세서를 이용하여, 이미지의 사용자 선택을 수신하는 것에 응답하여, 복수의 검색 결과들 중 적어도 하나를 제시하게 하는 단계를 포함한다.
[0009] 개시된 청구대상의 일부 구현들에 따라, 미디어 콘텐츠에 관한 정보를 제공하기 위한 시스템이 제공되며, 이 시스템은, 텔레비전 프로그램을 제공하는 채널을 결정하고; 텔레비전 프로그램과 관련된 복수의 이미지들이 제시되게 하고 ―복수의 이미지들은 채널 및 시간 파라미터에 기초하여 선택됨―; 복수의 이미지들로부터의 이미지의 사용자 선택을 수신하고; 하나 또는 그 초과의 이미지 인식 기술들을 이용하여 선택된 이미지 내 엔티티를 식별하고; 식별된 엔티티에 적어도 부분적으로 기초하여 검색 질의를 생성하고; 생성된 검색 질의에 응답하여 복수의 검색 결과들을 획득하고; 그리고 이미지의 사용자 선택을 수신하는 것에 응답하여, 복수의 검색 결과들 중 적어도 하나가 모바일 디바이스에 제시되게 하도록 구성된, 하드웨어 프로세서를 포함한다.
[0010] 개시된 청구대상의 일부 구현들에 따라, 프로세서에 의해 실행될 때, 프로세서로 하여금, 미디어 콘텐츠에 관한 정보를 제공하기 위한 방법을 수행하게 하는 컴퓨터 실행가능한 명령들을 포함하는 비일시적 컴퓨터-판독가능 매체가 제공된다. 방법은,
텔레비전 프로그램을 제공하는 채널을 결정하는 단계; 텔레비전 프로그램과 관련된 복수의 이미지들을 제시되게 하는 단계, ―복수의 이미지들은 채널 및 시간 파라미터에 기초하여 선택됨―; 복수의 이미지들로부터의 이미지의 사용자 선택을 수신하는 단계; 하나 또는 그 초과의 이미지 인식 기술들을 이용하여 선택된 이미지 내 엔티티를 식별하는 단계; 식별된 엔티티에 적어도 부분적으로 기초하여 검색 질의를 생성하는 단계; 생성된 검색 질의에 응답하여 복수의 검색 결과들을 획득하는 단계; 및 이미지의 사용자 선택을 수신하는 것에 응답하여, 복수의 검색 결과들 중 적어도 하가가 모바일 디바이스에 제시되게 하는 단계를 포함한다.
[0011] 개시된 청구대상의 일부 구현들에 따라, 미디어 콘텐츠에 관한 정보를 제공하기 위한 시스템이 제공된다. 시스템은, 텔레비전 프로그램을 제공하는 채널을 결정하기 위한 수단; 텔레비전 프로그램과 관련된 복수의 이미지들을 제시되게 하기 위한 수단 ―복수의 이미지들은 채널 및 시간 파라미터에 기초하여 선택됨―; 복수의 이미지들로부터의 이미지의 사용자 선택을 수신하기 위한 수단; 하나 또는 그 초과의 이미지 인식 기술들을 이용하여 선택된 이미지 내 엔티티를 식별하기 위한 수단; 식별된 엔티티에 적어도 부분적으로 기초하여 검색 질의를 생성하기 위한 수단; 생성된 검색 질의에 응답하여 복수의 검색 결과들을 획득하기 위한 수단; 및 이미지의 사용자 선택을 수신하는 것에 응답하여, 복수의 검색 결과들 중 적어도 하나가 모바일 디바이스에 제시되게 하기 위한 수단을 포함한다.
[0012] 일부 구현들에서, 시스템은 모바일 디바이스로부터 텔레비전 프로그램에 대응하는 오디오 데이터를 수신하기 위한 수단을 더 포함하며, 채널은 수신된 오디오 데이터에 기초하여 결정된다.
[0013] 일부 구현들에서, 시스템은 오디오 데이터의 오디오 핑거프린트를 획득하기 위한 수단을 더 포함한다.
[0014] 일부 구현들에서, 시스템은 수신된 오디오 데이터로부터 오디오 핑거프린트를 생성하기 위한 수단을 더 포함한다.
[0015] 일부 구현들에서, 시스템은, 복수의 텔레비전 채널들 각각으로부터 오디오 스트림을 추출하기 위한 수단; 복수의 텔레비전 채널들 각각에 대해, 복수의 텔레비전 채널들 중 하나에 대응하는 추출된 오디오 스트림의 적어도 일부로부터 적어도 하나의 오디오 핑거프린트를 생성하기 위한 수단; 및 채널에 의해 인덱싱되는 데이터베이스에 적어도 하나의 오디오 핑거프린트를 저장하기 위한 수단을 더 포함한다.
[0016] 일부 구현들에서, 시스템은, 오디오 핑거프린트를 적어도 하나의 저장된 오디오 핑거프린트와 비교하기 위한 수단; 및 비교에 기초하여 텔레비전 프로그램을 식별하기 위한 수단을 더 포함한다.
[0017] 일부 구현들에서, 시스템은, 복수의 텔레비전 채널들 각각으로부터 복수의 프로그래밍 이미지들을 추출하기 위한 수단; 및 채널 및 시간에 의해 인덱싱되는 데이터베이스에 복수의 프로그래밍 이미지를 저장하기 위한 수단을 더 포함한다.
[0018] 일부 구현들에서, 시스템은, 복수의 이미지들을 획득하기 위해 결정된 채널 및 시간 파라미터를 이용하기 위한 수단을 더 포함하며, 복수의 이미지들은 복수의 추출된 프로그래밍 이미지들의 서브세트이다.
[0019] 일부 구현들에서, 시스템은, 선택된 이미지 내 관심 영역의 제 2 사용자 선택을 수신하기 위한 수단 및 하나 또는 그 초과의 이미지 인식 기술들을 이용하여 관심 영역 내 엔티티를 식별하기 위한 수단을 포함한다.
[0020] 일부 구현들에서, 시스템은, 안면 인식 기술을 이용하여 선택된 이미지 내 복수의 안면들을 검출하기 위한 수단; 복수의 검출된 안면들로부터 안면을 선택하도록 모바일 디바이스를 프롬프팅하기 위한 수단; 및 선택된 안면과 연관된 엔티티를 식별하기 위한 수단을 더 포함한다.
[0021] 일부 구현들에서, 시스템은, 결정된 채널 및 타이밍 파라미터에 기초하여 텔레비전 프로그램을 결정하기 위해 가이던스 데이터를 액세스하기 위한 수단; 텔레비전 프로그램에 관한 프로그램 정보를 수신하기 위한 수단; 및 수신된 정보를 이용하여 선택된 이미지 내 엔티티를 식별하기 위한 수단을 더 포함한다.
[0022] 개시된 청구대상의 다양한 목적들, 특징들 및 잇점들은, 동일한 참조 부호들이 동일한 엘리먼트들을 식별하는 하기 도면들과 관련하여 고려할 때, 개시된 청구대상의 하기 상세한 설명을 참조로 보다 완전히 인식될 수 있다.
[0023] 도 1은, 개시된 청구대상의 일부 구현들에 따라, 미디어 콘텐츠에 기초하여 검색 결과들을 제시하기 위한 프로세스의 예시적 예를 도시한다.
[0024] 도 2는, 개시된 청구대상의 일부 구현들에 따라, 오디오 데이터에 기초하여 채널 및 다른 프로그램 정보를 결정하고 오디오 데이터와 연관된 스크린샷들을 송신하기 위한 프로세스의 예시적 예를 도시한다.
[0025] 도 3은, 개시된 청구대상의 일부 구현들에 따라, 클라이언트 애플리케이션의 사용자에 의해 선택된 이미지로부터 식별된 엔티티를 포함하는 검색 질의를 생성하기 위한 프로세스의 예시적 예를 도시한다.
[0026] 도 4는, 개시된 청구대상의 일부 구현들에 따라, 미디어 콘텐츠, 예컨대 텔레비전 프로그램을 제공하는 디바이스, 및 클라이언트 애플리케이션의 개시시, 텔레비전 프로그램에 관한 다수의 이미지들, 이미지를 선택하기 위한 인터페이스들, 및 이미지에서 식별된 엔티티에 관한 검색 결과들을 제공하는 모바일 디바이스의 예시적 예를 도시한다.
[0027] 도 5는, 개시된 청구대상의 일부 구현들에 따라, 미디어 콘텐츠에 대응하는 콘텐츠, 예컨대 검색 결과들을 제공하기 위한 본원에 개시된 메커니즘들의 구현들에 적합한 예시적 시스템의 개략도를 도시한다.
[0028] 도 6은, 개시된 청구대상의 일부 구현들에 따라 이용될 수 있는 도 5의 컴퓨팅 디바이스들 중 하나 및 서버의 상세한 예를 도시한다.
[0029] 개시된 청구대상의 일부 구현들에 따라, 미디어 콘텐츠에 해당하는 모바일 콘텐츠를 제시하기 위한 메커니즘들이 제공된다.
[0030] 일부 구현들에서, 이들 메커니즘들은 오디오 데이터 또는 하나 또는 그 초과의 프로그램들에 관한 임의의 다른 적절한 미디어 데이터를 수신할 수 있다. 예를 들어, 모바일 디바이스상의 클라이언트 애플리케이션 론칭(launching)에 응답하여, 이들 메커니즘들은 오디오 입력 디바이스(예를 들어, 마이크로폰)을 활서화시키는 것 및 디스플레이 디바이스상에서 현재 제시되고 있는 텔레비전 프로그램에 대응하는 오디오 데이터를 캡처하는 것을 포함하는 채널 검출 모드에 진입할 수 있다. 보다 특정한 예에서, 오디오 핑거프린트 또는 임의의 다른 적절한 디지털 표현은 수신된 오디오 데이터로부터 생성될 수 있으며, 오디오 핑거프린트는 오디오 데이터의 동일한 또는 유사한 부분들을 식별하는데 이용될 수 있다.
[0031] 오디오 데이터를 수신하는 것에 응답하여, 메커니즘들은 텔레비전 프로그램을 제공하는 채널을 식별할 수 있다. 예를 들어, 오디오 데이터 및/또는 오디오 핑거프린트 수신시, 메커니즘들은 다른 저장된 표현들(예를 들어, 다른 오디오 핑거프린트들, 다른 오디오 데이터, 등)에 대해 오디오 데이터를 비교하여 채널을 식별할 수 있다.
[0032] 일부 구현들에서는, 오디오 데이터가 캡처되지 않을 수도 있음을 주목해야 한다. 예를 들어, 채널 검출 모드는, 미디어 플레이백 디바이스(모바일 디바이스에 연결됨)가 현재 튜닝하는 채널을 검출하기 위해 클라이언트 애플리케이션을 이용함으로써 채널을 식별하는 것을 포함할 수 있다. 또 다른 예에서, 모바일 디바이스가 코드들, 예컨대 적외선 코드들 또는 코드 시퀀스들을 미디어 플레이백 디바이스에 송신하기 위한 송신기를 포함할 경우, 채널 검출 모드는 모바일 디바이스의 사용자가 선택한 마지막 채널을 결정함으로써 채널을 식별하는 것을 포함할 수 있다. 이 예에서, 모바일 디바이스 및 사용자 입력 디바이스(예를 들어, 리모트 컨트롤)가 통신 네트워크를 통해 연결될 때, 채널 검출 모드는 사용자가 선택한 마지막 채널에 대한 질의를 사용자 입력 디바이스에 송신함으로써 채널을 식별하는 것을 포함할 수 있다. 또 다른 예에서, 클라이언트 애플리케이션은 선택을 위한 채널들의 리스트를 모바일 디바이스의 사용자에게 제시할 수 있다. 이 예에서, 클라이언트 애플리케이션은, 모바일 디바이스의 사용자로 하여금, 사용자가 미디어 플레이백 디바이스(모바일 디바이스에 연결될 수도 있고 연결되지 않을 수도 있음)를 통해 시청하고 있는 특정 채널을 표시하도록 허용할 수 있다.
[0033] 오디오 데이터와 연관된 채널 정보 또는 임의의 다른 적절한 프로그램 정보를 이용하여, 메커니즘들은 프로그램과 관련한 다수의 이미지들을 획득할 수 있다. 예를 들어, 이들 메커니즘들은 이미지들(예를 들어, 프로그래밍 콘텐츠의 스크린샷들)의 데이터베이스를 액세스하는 것 및 식별된 채널 및 시간 파라미터(예를 들어, 마지막 N 분들)에 대응하는 다수의 이미지들을 획득하는 것을 포함하는 스크린샷 브라우징 모드를 입력할 수 있다. 이후 이미지들은 클라이언트 애플리케이션의 사용자에 의한 선택 및 리뷰를 위해 모바일 디바이스상에서 실행되는 클라이언트 애플리케이션으로 다시 송신될 수 있다. 이 예에서, 클라이언트 애플리케이션은 특정 시간 기간 내에 채널에 의해 제시되는 장면들을 포함하는 다수의 이미지들을 사용자에게 제시할 수 있다.
[0034] 이미지들 중 하나에 대한 사용자 선택을 수신하는 것에 응답하여, 메커니즘들은 검색 질의를 생성할 수 있다. 예를 들어, 선택된 이미지를 수신하는 것에 응답하여, 이들 메커니즘들은 선택된 이미지(예를 들어, 사람, 로케이션, 랜드마크, 오브젝트 등)의 엔티티를 식별하는 것 및 식별된 엔티티에 적어도 부분적으로 기초하여 검색 질의를 생성하는 것을 포함하는 결과 디스플레이 모드를 입력할 수 있다. 보다 특정한 예에서, 메커니즘들은 선택된 이미지 using 하나 또는 그 초과의 이미지 인식 기술들(예를 들어, 이미지 인식, 광학 캐릭터 인식, 안면 인식, 등)을 이용하여 선택된 이미지 내 하나 또는 그 초과의 엔티티들을 식별할 수 있다. 다른 보다 특정한 예에서, 메커니즘들은 선택된 이미지 내 관심 영역을 수신할 수 있고 하나 또는 그 초과의 엔티티들이 관심 영역내에서 식별될 수 있다. 관심 영역은, 예를 들어, 특정 안면, 특정 랜드마크 등을 포함하는 사용자-정의 영역을 포함할 수 있다.
[0035] 검색 질의 생성시, 메커니즘들은 검색을 수행하여 식별된 엔티티를 포함하는 검색 질의에 응답하는 검색 결과들을 획득할 수 있다. 검색 결과들은, 예를 들어, 검색 질의의 용어들에 응답하는 웹페이지들과 연관된 URL(uniform re소스 locator)들을 포함할 수 있다. 일부 구현들에서, 메커니즘들은 사용자에게의 제시를 위해 클라이언트 애플리케이션에 송신할 검색 결과들 중 적어도 하나를 선택할 수 있다. 일부 구현들에서, 메커니즘들은 사용자에게의 제시를 위해 클라이언트 애플리케이션에 검색 결과들 모두를 송신할 수 있다. 대안적으로, 메커니즘들은 모바일 디바이스상에서 실행되는 적절한 웹 브라우징 애플리케이션에 대해 선택된 검색 결과(예를 들어, 최상부 검색 결과)와 연관된 페이지를 자동으로 열 수 있다. 엔티티 정보를 포함하는 대답, 요약된 엔티티 정보, 식별된 엔티티에 대응하는 링크들의 세트, 식별된 엔티티에 대응하는 뉴스 정보 등과 같은 임의의 적절한 콘텐츠가 모바일 디바이스에 제공될 수 있음을 주목해야 한다.
[0036] 본원에 설명된 구현들이 일반적으로 텔레비전 프로그램에 대응하는 모바일 콘텐츠를 제공하는 것과 관련되지만, 이는 단지 예시적인 것임을 주목해야 한다. 텔레비전 프로그램이 생방송되는 미디어 콘텐츠일 수 있는데 반해, 메커니즘들은 레코딩된 콘텐츠, 오버-더-탑(over-the-top) 콘텐츠 등에 대응하는 모바일 콘텐츠를 제공하도록 구현될 수 있다.
[0037] 이들 메커니즘들은 다양한 애플리케이션들에서 이용될 수 있다. 예를 들어, 이들 메커니즘들은 디스플레이 디바이스상에 제시되는 미디어 콘텐츠와 상호작용할 기회를 사용자에게 제공하는데 이용될 수 있다. 다른 예에서, 이들 메커니즘들은 검색 엔진에 텍스트-기반 검색 질의를 입력하지 않고도, 제시된 미디어 콘텐츠와 연관된 추가의 정보를 모바일 디바이스 사용자에게 제공하는데 이용될 수 있다. 또 다른 예에서, 스크린샷들 및 이후 엔티티-관련 정보는 본원에 설명된 메커니즘들을 구현하는 클라이언트 애플리케이션을 론칭하는 것에 응답하여 사용자에게 자동으로 제시될 수 있다.
[0038] 도 1로 가서, 개시된 청구대상의 일부 구현들에 따라, 미디어 콘텐츠에 기초하여 검색 결과들을 제시하기 위한 프로세스의 예시적 예(100)가 도시된다. 105에서, 컴퓨팅 디바이스는 미디어 콘텐츠에 기초한 검색 결과들을 제시하는 클라이언트 애플리케이션을 로딩할 수 있다. 컴퓨팅 디바이스는 모바일 디바이스(예를 들어, 셀룰러 텔레폰, 스마트폰, 테블릿 컴퓨팅 디바이스, 웨어러블 컴퓨팅 디바이스, 등)일 수 있다.
[0039] 미디어 콘텐츠가 다양한 소스들로부터의 하나 또는 그 초과의 프로그램들, 예컨대 무선으로(over-the-air) 방송된 프로그램들, 케이블 텔레비전 제공자에 의해 방송된 프로그램들, 텔레폰 텔레비전 제공자에 의해 방송된 프로그램들, 위성 텔레비전 제공자에 의해 방송된 프로그램들, 온-디멘드 프로그램들, 오버-더-탑(over-the-top) 프로그램들, 인터넷 콘텐츠, 스트리밍 프로그램들, 레코딩된 프로그램들 등을 포함할 수 있다는 것을 주목해야 한다.
[0040] 110에서, 일단 클라이언트 애플리케이션이 로딩되면, 클라이언트 애플리케이션은 채널 검출 모드에 진입할 수 있고, 이는 현재 제시되고 있는 텔레비전 프로그래밍의 오디오 샘플을 획득함으로써 시작될 수 있는다. 예를 들어, 클라이언트 애플리케이션은 컴퓨팅 디바이스, 예컨대 마이크로 폰에 커플링된 오디오 입력 디바이스를 활성화시킬 수 있으며, 오디오 입력 디바이스는 오디오 샘플 또는 제시된 텔레비전 프로그램과 연관된 임의의 다른 적절한 오디오 데이터를 캡처하고 레코딩한다. 다른 예에서, 클라이언트 애플리케이션은 오디오 매칭 서비스로의 송신을 위한 오디오 데이터를 저장하기 위한 사용자를 수신할 수 있다.
[0041] 일부 구현들에서, 클라이언트 애플리케이션은, 자신의 환경(surroundings)으로부터 오디오를 캡처하고, 제시된 프로그램과 연관된 필터링된 오디오 데이터 또는 오디오 핑거프린트를 추출하기 위한 적절한 필터들 및/또는 다른 오디오 인핸스먼트들(enhancements)을 이용하는 오디오 입력 디바이스를 활성화시킬 수 있다. 예를 들어, 오디오 샘플의 사일런트(silent) 부분들은 오디오 샘플의 파일 크기를 감소시키기 위해 제거될 수 있다. 다른 예에서, 왜곡(distortion)을 갖는 오디오 샘플의 부분들은 오디오 샘플의 파일 크기를 감소시키기 위해 제거될 수 있다. 또 다른 예에서, 적어도 오디오 샘플의 일부가 제시된 품질을 갖는 오디오 데이터를 포함하지 않는다고 결정하는 것에 응답하여, 클라이언트 애플리케이션은 또 다른 오디오 샘플을 레코딩하도록 클라이언트 애플리케이션의 사용자를 프롬프팅할 수 있다.
[0042] 일부 구현들에서, 215에서, 컴퓨팅 디바이스상에서 실행되는 클라이언트 애플리케이션은 임의의 적절한 오디오 핑거프린팅 기술을 이용하여 오디오 샘플의 오디오 핑거프린트를 생성할 수 있다. 오디오 핑거프린트는 수신된 오디오 샘플로부터 생성된 디지털 표현일 수 있고, 오디오 핑거프린트는 오디오 데이터의 동일한 도는 유사한 부분들을 식별하는데 이용될 수 있다. 대안적으로, 클라이언트 애플리케이션은 오디오 핑거프린트를 생성하는 검색 시스템에 텔레비전 프로그램과 연관된 오디오 샘플을 송신할 수 있다.
[0043] 120에서, 클라이언트 애플리케이션은 분석을 위해 획득된 오디오 샘플 및/또는 오디오 핑거프린트를 송신할 수 있다. 예를 들어, 클라이언트 애플리케이션 론칭 및 오디오 입력 디바이스 활성화 시, 클라이언트 애플리케이션은 매칭 서비스(예를 들어, 오디오 핑거프린트 매치 서비스)를 액세스하는 검색 시스템에 오디오 샘플 및/또는 오디오 핑거프린트를 자동으로 스트리밍할 수 있다. 앞서 설명된 것처럼, 클라이언트 애플리케이션은 검색 시스템에 오디오 샘플을 스트리밍할 수 있으며, 검색 시스템은 오디오 샘플에 대응하는 오디오 핑거프린트를 생성하고 분석을 위해 오디오 핑거프린트를 오디오 핑거프린트 매치 서비스에 송신한다.
[0001] 일부 구현들에서, 오디오 샘플과 함께, 추가의 정보, 예컨대 클라이언트 디바이스 정보, 사용자 프로필 정보, 로케이션 정보, 사용자 선호도들, 타이밍 정보, 및 텔레비전 프로그램의 오디오 샘플과 연관된 검색 질의를 생성하는데 이용될 수 있는 다른 정보가 송신될 수 있다.
[0002]
It should be noted that in implementations described herein in which the 클라이언트 애플리케이션(또는 본원에 설명된 다른 메커니즘들)이 특정 사용자에 관한 정보를 수집하는 것으로 본원에 설명된 구현들에서, 사용자에게는 클라이언트 애플리케이션이 특정 사용자들에 관한 정보를 수집하는지 그리고/또는 수집된 사용자 정보가 클라이언트 애플리케이션에 의해 어떻게 이용되는지를 제어할 기회가 제공될 수 있다. 사용자에 관한 정보의 예들은, 사용자의 관심대상들 및 사용자 식별 정보(예를 들어, 사용자 프로필, 사용자 크리덴셜들, 디바이스 식별 등을 포함할 수 있다. 부가적으로, 사용자에 관한 특정 정보는, 로컬로 저장되고(예를 들어, 공유되지 않음), 암호화되고 그리고/또는 개인 식별 정보를 제거하기 위해 저장되기 이전에 하나 또는 그 초과의 방식들로 처리될 수 있다. 예를 들어, 클라이언트 애플리케이션은 익명의 사용자 식별자(예를 들어, 사용자의 이름과 연관되지 않는 사용자 식별자, 사용자의 사용자 이름 및/또는 패스워드, 사용자의 이메일 주소 등)를 갖는 특정 사용자에 대한 사용자 선호도들 및/또는 사용자 관심대상들을 저장할 수 있다. 이런 기술들을 이용하여, 사용자는 사용자에 관해 어떤 정보가 수집되는지 그리고/또는 클라이언트 애플리케이션에 의해 정보가 어떻게 이용되는지에 대해 제어할 수 있다.
[0044] 도 2로 가서, 205에서, 클라이언트 애플리케이션으로부터 오디오 샘플 및/또는 다른 추가의 정보의 수신시, 210에서 수신된 오디오 샘플의 오디오 핑거프린트가 생성될 수 있다. 다시, 오디오 핑거프린트가 클라이언트 애플리케이션 또는 임의의 다른 적절한 애플리케이션에 의해 생성 생성되고 분석을 위해 검색 시스템으로 송신될 수 있다.
[0045] 215에서, 검색 시스템은 생성된 오디오 핑거프린트를 다수의 오디오 핑거프린트들과 비교할 수 있다. 예를 들어, 클라이언트 애플리케이션로부터의 오디오 샘플과 연관된 생성된 오디오 핑거프린트는 저장된 오디오 핑거프린트들의 서브세트에 비교될 수 있다. 보다 특정한 예에서, 검색 시스템은 다수의 오디오 핑거프린트들을 포함하는 데이터베이스 또는 다른 적절한 저장 디바이스를 액세스하고 로케이션 정보, 사용자 선호도들, 및 클라이언트 애플리케이션으로부터 수신된 다른 정보에 기초하여 오디오 핑거프린트들의 서브세트에 대해 다수의 오디오 핑거프린트들을 필터링할 수 있다. 이 예에서, 수신된 로케이션 정보와 연관된 오디오 핑거프린트들은 오직 생성된 오디오 핑거프린트와의 비교를 위해 이용될 수 있다. 다른 예에서, 데이터베이스 또는 저장 디바이스로부터의 특정 오디오 핑거프린트들은 다른것들 보다(before others), 예컨대 인기있는 채널들과 연관된 오디오 핑거프린트들, 더 새로운 오디오 핑거프린트들, 흔히 매칭되는 오디오 핑거프린트들 등과의 비교를 위해 이용될 수 있다.
[0046] 일부 구현들에서, 검색 시스템은, 예를 들어, 다수의 소스들(예를 들어, 다수의 채널들)로부터 신호들을 수신하고 처리하는 캡처 모듈들을 포함할 수 있다. 이들 캡처 모듈들은, 각각의 채널에 대해, 특정 시간 간격들(예를 들어, 매 2초마다 또는 3 초마다)로 비디오 스크린샷들을 캡처하고 그리고/또는 특정 시간 간격들로 오디오 데이터로부터 오디오 핑거프린트들을 생성할 수 있다. 일반적으로 말해, 이들 캡처 모듈들은 다수의 콘텐츠 소스들로부터의 미디어 콘텐츠를 모니터링하고 비디오 스크린샷들, 오디오 핑거프린트들, 및/또는 임의의 다른 적절한 콘텐츠 식별자를 생성할 수 있다. 보다 특정하게, 이들 캡처 모듈들은 생성된 비디오 스크린샷들, 오디오 핑거프린트들, 및 다른 콘텐츠 식별자들을 저장 디바이스에 저장할 수 있다. 예를 들어, 캡처 모듈은, 방송 텔레비전 콘텐츠를 제공하는 채널들을 모니터링하고, 채널 및 시간에 의해 인덱싱되는 데이터베이스에 생성된 오디오 핑거프린트들을 저장할 수 있다.
[0047] 일부 구현들에서, 생성된 비디오 스크린샷들, 오디오 핑거프린트들, 및 데이터베이스의 채널 및 시간에 의해 인덱싱되는 다른 콘텐츠 식별자들은 미리결정된 시간 이후 무시될 수 있다는 것을 주목해야 한다. 예를 들어, 비디오 스크린샷이 특정 시간 윈도우를 벗어난 시간과 연관됨을 결정하는 것에 응답하여, 검색 시스템 또는 임의의 다른 적절한 컴포넌트는 데이터베이스로부터 비디오 스크린샷을 제거할 수 있다.
[0048] 220에서, 매치가 발견되는지가 결정될 수 있다. 매칭되는 어떠한 오디오 핑거프린트도 발견되지 않는다면, 검색 시스템은 205로 리턴하고 클라이언트 애플리케이션으로부터 추가의 오디오 샘플들을 수신하길 대기할 수 있다. 부가적으로 또는 대안적으로, 검색 시스템은
사용자가 클라이언트 애플리케이션을 재시작하게 요청하는 메시지를 클라이언트 애플리케이션에 송신하고, 또 다른 오디오 샘플을 송신하고, 그리고/또는 특정 정보(예를 들어, 프로그램 정보, 예컨대 채널 번호, 서비스 제공자 정보, 프로그램 타이들 등)를 입력 또는 확인할 수 있다.
[0049] 220에서 오디오 핑거프린트 매치를 식별하는 것에 응답하여, 검색 시스템은 매칭된 오디오 핑거프린트와 연관된 임의의 다른 적절한 컨텐츠 식별자 또는 채널을 식별할 수 있다. 예를 들어, 매칭 오디오 핑거프린트는 채널(예를 들어, 채널 X)과 연관될 수 있고 검색 시스템은 클라이언트 애플리케이션의 사용자가 해당 채널에 제공된 텔레비전 프로그램을 시청하고 있음을 결정하기 위한 연관(association)을 이용한다. 다른 예에서, 검색 시스템은 채널이 식별되었다는 통지를 클라이언트 애플리케이션에 송신할 수 있다. 이 통지는, 예를 들어, 검색 시스템이 수신된 오디오 샘플 및/또는 식별된 채널로부터 채널을 성공적으로 식별했다는 표시를 포함할 수 있다.
[0050] 일부 구현들에서, 클라이언트 애플리케이션은 오디오 정보를 캡처하거나 오디오 핑거프린트들(예를 들어, 도 1의 단계들(110-120) 및 도 2의 단계들(205-220))을 이용하지 않고도 채널 검출 모드를 개시할 수 있다는 것을 주목해야 한다.
[0051] 일부 구현들에서, 검색 시스템은 미디오 플레이백 디바이스(모바일 디바이스에 연결됨)가 현재 튜닝하는 채널을 검출함으로써 채널을 식별하는 것을 포함할 수 있다. 예를 들어, 검색 시스템은 디바이스들이 모바일 디바이스에 연결되는지를 결정하기 위한 질의를 모바일 디바이스에 송신할 수 있다. 미디어 플레이백 디바이스, 예컨대 텔레비전 디바이스 또는 셋톱 박스가 모바일 디바이스에 연결되었음 결정하는 것에 응답하여, 검색 시스템은 미디어 플레이백 디바이스가 현재 튜닝하는 채널을 결정하기 위해 미디어 플레이백 디바이스와 통신하도록 클라이언트 애플리케이션에 명령할 수 있다. 대안적으로, 사용자 입력 디바이스, 예컨대 리모트 컨트롤가 모바일 디바이스에 연결됨을 결정하는 것에 응답하여, 검색 시스템은 튜닝된 마지막 채널 또는 이전 채널들을 결정하기 위해 사용자 입력 디바이스와 통신하도록 클라이언트 애플리케이션에 명령할 수 있다.
[0052] 보다 특정한 예에서, 모바일 디바이스상에서 실행되는 클라이언트 애플리케이션은 모바일 디바이스상에 설치된 제 2 스크린 애플리케이션을 포함할 수 있거나 이와 통신할 수 있다. 제 2 스크린 애플리케이션들은, 예를 들어, 모바일 디바이스 또는 다른 제 2 스크린 디바이스의 사용자에게 미디어 플레이백 디바이스, 예컨대, 텔레비전 디바이스 또는 셋톱 박스에 송신된 콘텐츠가 제시되게 허용할 수 있다. 클라이언트 애플리케이션은 미디어 플레이백 디바이스가 제 2 스크린 디바이스상에 제시하는 채널을 결정하기 위해 제 2 스크린 애플리케이션을 이용할 수 있다.
[0053] 다른 보다 특정한 예에서, 모바일상에서 실행되는 클라이언트 애플리케이션은 리모트 컨트롤 애플리케이션은 포함할 수 있거나, 모바일 디바이스상에 설치된 리모트 컨트롤 애플리케이션과 통신할 수 있다. 리모트 컨트롤 애플리케이션들은, 예를 들어, 모바일 디바이스가 미디어 플레이백 디바이스를 제어하는 커맨드(예를 들어, 채널 업, 채널 다운 등)을 발행하게 허용하고, 이에 응답하여 미디어 플레이백 디바이스에 대응하는 적외선 코드를 송신하도록 모바일 디바이스에 연결된 적외선 송신기에 명령할 수 있다. 클라이언트 애플리케이션은 튜닝된 마지막 채널 또는 이전 채널들을 결정하기 위해 리모트 컨트롤 애플리케이션을 이용할 수 있다.
[0054] 일부 구현들에서, 클라이언트 애플리케이션은 선택을 위한 채널들의 리스트를 모바일 디바이스의 사용자에게 제시할 수 있다. 이 예에서, 검색 시스템은 미디어 플레이백 디바이스(모바일 디바이스에 연결될 수도 있고 연결되지 않을 수도 있음)상에서 사용자가 현재 시청하는 특정 채널 또는 임의의 다른 적절한 콘텐츠 식별자를 수신할 수 있다.
[0055] 일부 구현들에서, 클라이언트 애플리케이션은 스크린샷 브라우징 모드에 진입할 수 있고, 이는 230에서, 식별된 채널에 해당하는 이미지들에 대한 요청을 송신함으로써 시작될 수 있다. 예를 들어, 클라이언트 애플리케이션은, 이미지들, 예컨대 비디오 스크린샷들에 대한, 식별된 채널에 대한 그리고 특정 시간 간격에 대한(예를 들어, 식별된 채널에 의해 제공되는 마지막 N분들로부터의 스크린샷들) 요청을 검색 시스템에 자동으로 송신할 수 있다. 앞서 설명된 것처럼, 검색 시스템은 저장된 비디오 스크린샷들 또는 다수의 소스들에 의해 제공되는 미디어 콘텐츠로부터 캡처되는 다른 이미지들을 포함하는 하나 또는 그 초과의 데이터베이스들 또는 다른 적절한 저장 디바이스를 포함할 수 있다.
[0056] 이에 응답하여, 검색 시스템은, 235에서 주어진 시간 간격 및 식별된 채널에 기초하여 다수의 스크린샷들 또는 액세스된 데이터 베이스로부터의 다른 이미지들을 리트리브할 수 있다. 예를 들어, 검색 시스템은 특정 채널상에 제공된 프로그래밍 중 5분에 대응하는 다수의 스크린샷들을 수신할 수 있다.
[0057] 240에서, 다수의 스크린샷들 및 다른 이미지들이 사용자에게의 제시를 위해 클라이언트 애플리케이션에 송신될 수 있다.
[0058] 다시 도 1로 가서, 125에서, 텔레비전 프로그램과 연관된 다수의 이미지들이 사용자에게 제시될 수 있다. 예를 들어, 클라이언트 애플리케이션은 사용자가 상이한 이미지들(예를 들어, 스크린샷들)을 스크롤하게 허용할 수 있으며,사용자는 컴퓨팅 디바이스상에서 수직으로 또는 수평으로 스크롤할 수 있다. 다른 예에서, 클라이언트 애플리케이션은 다수의 이미지들 모두를 사용자에게 제공할 수 있고 사용자는 특정 이미지들에 대해 패닝 및 줌인할 수 있다.
[0059] 다수의 이미지들을 수신하고 사용자에게 제시하는 것에 응답하여, 클라이언트 애플리케이션은, 130에서, 다수의 이미지들로부터 이미지를 선택하도록 사용자를 프롬프팅할 수 있다. 예를 들어, 클라이언트 애플리케이션은, 사용자가 이미지상에 하이라이트 영역을 배치하고 컴퓨팅 디바이스상의 적절한 버튼을 누를 때를 검출한다. 다른 예에서, 컴퓨팅 디바이스가 터치 스크린을 갖는 모바일 디바이스일 경우, 클라이언트 애플리케이션은 터치 스크린의 터치, 예컨대 터치 스크린 상에서의 하나 또는 그 초과의 탭들, 접촉을 계속 유지하면서 접촉 포인트의 이동등에 응답할 수 있다.
[0060] 일부 구현들에서, 130에서, 이미지의 사용자 선택을 수신하는 것에 응답하여, 135에서, 클라이언트 애플리케이션은 선택된 이미지 내 관심 영역을 선택하도록 사용자를 프롬프팅한다. 예를 들어, 컴퓨팅 디바이스가 터치 스크린을 갖는 모바일 디바이스일 경우, 클라이언트 애플리케이션은 사용자가 선택된 이미지 내 특정 관심 영역 상에 하나 또는 그 초과의 탭들을 제공함을 요청할 수 있다. 보다 특정한 예에서, 클라이언트 애플리케이션은 선택된 이미지를 분석하고 선택된 이미지를 (예를 들어, 식별된 오브젝트들에 기초하여) 하나 또는 그 초과의 서브섹션들로 나눌 수 있다.
[0061] 보다 특정한 구현에서, 클라이언트 애플리케이션은 안면 인식 기술을 이용하여 선택된 이미지 내 하나 또는 그 초과의 안면들을 검출할 수 있다. 이에 응답하여, 클라이언트 애플리케이션은 검출된 안면들 중 하나를 선택할 기회를 사용자에게 제공할 수 있다. 예를 들어, 사용자는 선택된 이미지 내에서 관심 배우의 안면을 선택할 수 있다. 선택된 안면은 추가의 이미지 분석 및 질의 생성을 위해 이용될 수 있다. 선택된 안면은 추가의 이미지 분석 및 질의 생성을 위해 이용될 수 있다. 부가적으로 또는 대안적으로, 클라이언트 애플리케이션은 오브젝트 인식 기술을 이용하여 선택된 이미지 내 하나 또는 그 초과의 오브젝트들을 검출할 수 있다. 이는 선택된 이미지 내 아이템들, 랜드마크들 및/또는 로케이션을 식별하는 것을 포함할 수 있다. 유사하게, 클라이언트 애플리케이션은 검출된 오브젝트들 중 추가의 이미지 분석 및 질의 생성을 위해 이용될 수 있 하나의 오브젝트를 선택할 기회를 사용자에게 제공할 수 있다.
[0062] 140에서, 클라이언트 애플리케이션은 선택된 이미지, 선택된 관심 영역, 선택된 안면, 선택된 오브젝트 및/또는 이미지의 임의의 다른 적절한 부분을 포함할 수 있는 사용자 선택들을 검색 서버에 송신하는 결과 디스플레이 모드에 진입할 수 있다.
[0063] 도 3으로 가서, 305에서, 선택된 이미지 및/또는 이미지의 임의의 다른 적절한 부분을 수신하는 것에 응답하여, 검색 시스템은 하나 또는 그 초과의 이미지 인식 기술들을 이용하여 선택된 이미지 내 엔티티를 식별할 수 있다. 예를 들어, 엔티티들은 사람, 장소들, 이벤트들, 오브젝트들, 생물체들, 로고들, 특징들, 피처들 또는 텔레비전 프로그램과 관련된 임의의 다른 적절한 엔티티를 포함할 수 있다. 이 엔티티들은 다양한 방식들로 텔레비전 프로그램과 연관될 수 있다. 예를 들어, 랜드마크 또는 사람의 이미지가 프로그램과 연관된 비디오 신호에 포함될 수 있다.
[0064] 일 특정 예에서, 텔레비전 프로그램과 연관된 엔티티들은 프로그램과 연관된 선택된 이미지에 포함된 사람들, 예컨대 배우들 및 여배우들을 식별하기 위해 안면 인식 기술들에 기초하여 식별될 수 있다. 다른 예에서, 텔레비전 프로그램과 연관된 엔티티들은 프로그램과 연관된 선택된 이미지에 포함된 랜드마크들을 식별하기 위해 이미지 인식 기술들에 기초하여 식별될 수 있다. 또 다른 예에서, 텔레비전 프로그램과 연관된 엔티티들은 프로그램과 연관된 선택된 이미지에 포함된 키워드들을 식별하기 위해 광학 캐릭터 인식 기술들에 기초하여 식별될 수 있다.
[0065] 일부 구현들에서, 검색 시스템은 선택된 이미지의 엔티티를 식별하기 위해 추가의 정보를 제공하기 위한 가이던스 데이터를 획득할 수 있다. 예를 들어, 가이던스 데이터, 예컨대 전자 프로그램 가이드 데이터를 이용하는 검색 시스템은 식별된 채널상에 제공되는 텔레비전 프로그램의 배우들, 여배우들 및/또는 캐스트 멤버들의 리스트를 획득할 수 있다. 이러한 가이던스 데이터는 선택된 이미지와 함께 제공될 수 있고, 검색 시스템은 선택된 이미지 내 엔티티를 식별하기 위해 하나 또는 그 초과의 이미지 인식 기술들을 이용할 수 있다. 가이던스 데이터는, 예를 들어, 위양성(false positives)을 필터링하여 엔티티 식별 정확도를 증가시키기 위해 이용될 수 있다. 식별된 엔티티는 이미지 인식 모듈로부터 검색 시스템으로 다시 송신될 수 있다.
[0066] 일부 구현들에서, 엔티티 식별 시, 315에서, 검색 시스템은 검색 질의를 생성할 수 있다. 이러한 검색 질의는 식별된 엔티티 및/또는 식별된 엔티티에 관한 정보를 포함할 수 있다. 예를 들어, 검색 시스템은 검색 엔진으로의 송신을 위한 식별된 엔티티의 이름을 포함하는 검색을 발생시킬 수 있다. 일부 구현들에서, 검색 질의는 또한 검색 시스템 및/또는 클라이언트 애플리케이션에 의해 이전에 획득된 콘텐츠 정보를 포함할 수 있다.
[0067] 320에서, 검색 시스템은 검색을 수행할 수 있다. 일부 구현들에서, 검색 시스템은, 생성된 검색 질의를, 이후에 검색을 실행할 수 있는 검색 엔진으로 송신함으로써 검색을 수행할 수 있다. 일부 구현들에서, 검색 시스템은, 325에서 생성된 검색 질의에 응답하는 검색 결과들에 대해 다양한 콘텐츠 소스들을 검색하기 위해 검색 애플리케이션 프로그래밍 인터페이스(API)를 이용할 수 있다. 생성된 검색 질의에 응답하는 검색 결과들은 325에서 획득될 수 있다.
[0068] 일부 구현들에서, 검색 시스템은 임의의 적절한 접근방식을 이용하여 검색 결과들 중 하나 또는 그 초과의 것을 선택할 수 있다. 예를 들어, 검색 시스템은 가장 인기있는 검색 결과들(예를 들어, 상위 랭킹된 검색 결과)을 선택하고, 가장 관련있는 검색 결과를 선택하는 등을 할 수 있다.
[0069] 대안적으로, 하나 또는 그 초과의 검색 결과들을 선택하는 대신, 검색 시스템은 사용자에게의 제시를 위해 모든 검색 결과들을 클라이언트 애플리케이션에 송신할 수 있다. 이는 사용자가 검색 결과들을 ?어보고 이미지로부터 원하는 엔티티에 대한 추가의 정보를 획득하기 위해 적절한 검색 결과를 선택하게 허용할 수 있다.
[0070] 일부 구현들에서, 검색 시스템은 하나 이상의 기준들을 이용하여 검색 결과들을 랭킹할 수 있다. 예를 들어, 검색 시스템은 검색 결과들 각각에 대해 가중치를 할당할 수 있어, 뉴스-관련 검색 결과들이 상업-관련 검색 결과들보다 높은 가중치가 부여될 수 있다. 다른 예에서, 검색 시스템은, 클라이언트 애플리케이션의 사용자가 특정 웹사이트들로부터의 뉴스-관련 검색 결과들 또는 페이지들을 수신하기 위한 선호도를 표시하는 사용자 선호도들을 설정했는지 결정할 수 있다. 이 예에서, 검색 시스템은 이러한 사용자 선호들에 기초하여 검색 결과들을 자동으로 필터링할 수 있다.
[0071] 하나 또는 그 초과의 검색 결과들은, 330에서, 사용자에게의 제시를 위해 클라이언트 애플리케이션에 송신될 수 있다. 다시 도 1을 참조로, 클라이언트 애플리케이션은 이후 선택된 이미지 및/또는 관심 영역과 연관된 하나 또는 그 초과의 검색 결과들을 수신하고 이를 사용자에게 제시할 수 있다. 예를 들어, 클라이언트 애플리케이션은 이미지를 선택하는 것에 응답하여 검색 결과를 사용자에게 제공할 수 있으며, 결과적으로 사용자는 선택된 이미지의 식별된 엔티티 상의 추가의 정보에 대한 검색 결과를 선택할 수 있다. 다른 예에서, 클라이언트 애플리케이션은 웹 브라우징 애플리케이션에서 검색 결과와 연관된 페이지를 로딩할 수 있다. 즉, 클라이언트 애플리케이션의 로딩 및 관심 이미지의 선택에 응답하여, 클라이언트 애플리케이션은 선택된 이미지 내 식별된 엔티티에 관한 정보를 포함하는 페이지를 사용자에게 제공할 수 있다.
[0072] 일부 구현들에서, 클라이언트 애플리케이션은 검색 시스템에게 제시되고 있는 텔레비전 프로그램에 관한 오디오 샘플 또는 임의의 다른 적절한 오디오 데이터를 지속적으로 그리고/또는 주기적으로 송신할 수 있다는 것을 주목해야 한다. 이에 응답하여, 클라이언트 애플리케이션에는 선택을 위한 업데이트된 이미지들, 및 이미지들 중 하나를 선택할 시, 검색 결과가 제공될 수 있다. 보다 특정하게, 업데이트된 오디오 샘플 및 현재 선택된 이미지에 대응하는 검색 결과들은 지속적으로 그리고/또는 주기적으로, 클라이언트 애플리케이션에 리턴되고 클라이언트 애플리케이션(예를 들어, 검색 결과와 연관된 URL을 로딩하는 웹 브라우징 애플리케이션)과 연관된 그래픽 사용자 인터페이스상에 디스플레이될 수 있다.
[0073] 일부 구현들에서, 클라이언트 애플리케이션은 클라이언트 애플리케이션의 사용자가 튜닝된 채널을 계속해서 식별할 수 있다는 것이 또한 주목되어야 한다. 예를 들어, 하나의 채널에서 다른 채널로의 변경에 응답하여, 클라이언트 애플리케이션은 업데이트된 오디오 샘플을 수신하고 업데이트된 샘플에 기초하여 채널을 식별할 수 있다. 다른 예에서, 클라이언트 애플리케이션은 (예를 들어, 미리결정된 시간들에) 제 2 스크린 애플리케이션 또는 리모트 컨트롤 애플리케이션에 계속 액세스하고 튜닝되었던 마지막 채널을 식별할 수 있다.
[0074] 도 4는, 개시된 청구대상의 일부 구현들에 따라, 텔레비전 프로그램 또는 다른 적절한 미디어 콘텐츠를 디스플레이하는 텔레비전 디바이스(400) 및 이미지를 선택하고, 관심 영역을 선택하고 그리고/또는 식별된 엔티티에 관한 콘텐츠를 제시하기 위해 다수의 인터페이스들을 디스플레이하는 컴퓨팅 디바이스(410)의 예시적 예를 도시한다. 도시된 것처럼, 텔레비전 디바이스(400)는 디스플레이 상에 텔레비전 프로그램(405)(또는 다른 적절한 미디어 콘텐츠)를 디스플레이할 수 있다.
[0075] 텔레비전 디바이스(400)상에 제공되는 텔레비전 프로그램(405)에 대응하는 오디오 샘플(예를 들어, 생성된 오디오 핑거프린트)을 송신하는 것에 응답하여, 컴퓨팅 디바이스(410)는 오디오 샘플에 대응하는 채널을 결정하기 위해 오디오 샘플을 처리할 수 있다. 앞서 설명된 것처럼, 이는 오디오 핑거프린트 데이터베이스에 저장되고 다수의 채널들로부터의 오디오 데이터를 캡처함으로써 생성되는 오디오 핑거프린트들을 생성된 오디오 핑거프린트와 비교하는 것을 포함할 수 있다. 매칭 오디오 핑거프린트는 오디오 샘플과 연관된 채널을 식별하는데 이용될 수 있고, 결과적으로 채널은 텔레비전 프로그램 또는 프로그램들에 관한 다수의 이미지들을 리트리브하기 위해 이미지들(예를 들어, 비디오 스크린샷들)의 데이터베이스의 식별자로서 이용될 수 있다. 또한 앞서 설명된 것처럼, 채널은 다른 적절한 접근방식들, 예컨대 제 2 스크린 애플리케이션 또는 리모트 컨트롤 애플리케이션과 통신함으로써 튜닝되었던 마막 채널을 결정하는 것을 이용하여 식별될 수 있다. 채널은 또한 선택가능한 채널 식별자들의 리스트로 모바일 디바이스의 사용자를 프롬프팅함으로써 그리고 사용자-선택 채널을 수신함으로써 식별될 수 있다.
[0076] 앞서 설명된 것처럼, 컴퓨팅 디바이스(410), 예컨대 제 2 스크린 디바이스는, 텔레비전 디바이스(400)에 커플링(예를 들어, 텔레비전 디바이스(400)와 통신)되거나 또는 프로그램(405)이 셋톱 박스 또는 디지털 미디어 수신기와 같은 텔레비전 디바이스(400) 상에 제시될게 하는 디바이스에 커플링될 수 있다. 일부 구현들에서, 컴퓨팅 디바이스(410)는 텔레비전 디바이스(400)에 커플링되지 않는 단독형 디바이스 또는 프로그램(405)이 텔레비전 디바이스(400)상에 제시되게 하는 디바이스일 수 있다(예를 들어, 제 2 스크린 디바이스, 예컨대 모바일 텔레폰 또는 테블릿 컴퓨터가 검색 서버와 통신한다). 또한 앞서 설명된 것처럼, 컴퓨팅 디바이스(410)는 엔티티-관련 콘텐츠 또는 다른 연관된 콘텐츠를 사용자에게 제시하기 위한 임의의 적절한 컴퓨팅 디바이스, 예컨대 스마트폰, 테블릿 컴퓨터, 웨어러블 컴퓨터, 헤드-업(heads-up) 디스플레이, 랩톱 컴퓨터, 퍼스널 컴퓨터(PC), 스마트 텔레비전 등일 수 있다.
[0077] 도시된 것처럼, 다수의 이미지들(415 및 420)은 클라이언트 애플리케이션과 연관된 그래픽 사용자 인터페이스를 통해 사용자에게 제시된다. 이미지들은 임의의 적절한 방식으로 제시될 수 있다는 것이 주목되어야 하는데, 예를 들면, 스크롤가능한 이미지들의 리스트는 이미지들이 한번에 제시되고, 컴퓨팅 디바이스(410)의 디스플레이의 크기에 기초하여 다수의 이미지들이 한번에 제시될 수 있는 식이다. 예를 들어, 컴퓨팅 디바이스가 대형 디바이스, 예컨대 테블릿 컴퓨팅 디바이스를 갖는 제 2 스크린 디바이스인 경우, 다수의 이미지들이 그래픽 사용자 인터페이스에 제시될 수 있다. 다른 예에서, 컴퓨팅 디바이스가 스마트폰인 경우, 하나의 이미지가 한번에 제시될 수 있고 사용자에게는 (예를 들어, 터치 스크린상에서의 하나 또는 그 초과의 제스처들을 이용하여, 스마트폰상의 적절한 버튼을 누르는 식으로) 다른 이미지를 내비게이팅하기 위한 옵션이 제공될 수 있다.
[0078] 일부 구현들에서, 클라이언트 애플리케이션은 다수의 이미지들로부터의 이미지가 사용자에 의해 선택되었음을 표시할 수 있다. 예를 들어, 도 4에 도시된 것처럼, 하이라이트 영역(415)은 사용자 선택을 표시하기 위해 선택된 이미지 둘레에 배치될 수 있다. 다른 예에서, 클라이언트 애플리케이션은, 터치 버튼 상에서의 스윙 제스처 또는 사용자 버튼 누름과 같은, 하이라이트된 이미지의 선택을 표시하는 제 2 동작을 대기할 수 있다.
[0079] 일부 구현들에서, 이미지를 선택하는 것에 응답하여, 클라이언트 애플리케이션은 사용자가 선택된 이미지에 관한 추가 정보를 제공할 것을 요청할 수 있다. 예를 들어, 도 4에 도시된 것처럼, 이미지(415)(예를 들어, 특정 시간에 텔레비전 프로그램의 스크린샷)를 선택하는 것에 응답하여, 클라이언트 애플리케이션은 사용자가 관심 영역(430)을 선택할 것을 요청할 수 있다. 예를 들어, 관심 영역(430)은 사용자에 의해 드로잉된 프리 폼(free form) 영역일 수 있다. 다른 예에서, 다수의 영역들이 이미지 인식 기술 수행시 클라이언트 애플리케이션에 의해 제시될 수 있다(예를 들어, 안면 인식 기술을 이용한 안면들, 오브젝트 인식 기술을 이용한 오브젝트들 등). 이 예들에서, 클라이언트 애플리케이션은 사용자가 선택된 이미지와 함께 검색 시스템으로 다시 송신할 관심 영역을 선택할 것을 요청할 수 있다. 이는, 예를 들어, 원하는 엔티티(예를 들어, 배우, 여배우, 랜드마크, 오브젝트 등)에 대한 검색 질의 생성시 검색 시스템을 도울 수 있다.
[0080] 일부 구현들에서, 클라이언트 애플리케이션은 또한, 선택된 이미지 또는 선택된 관심 영역에 관한 보완 옵션들을 사용자에게 제공할 수 있다. 예를 들어, 도 4에 도시된 것처럼, 클라이언트 애플리케이션은 옵션들(435)을 사용자에게 제공할 수 있다. 옵션들(435)은 사용자가 선택된 이미지 및/또는 선택된 관심 영역과 함께 검색 시스템에 다시 송신할 질문어들(question terms)을 제공하게 요청할 수 있다. 도시된 것처럼, 질문어들은, 누가(예를 들어, 선택된 이미지에 누가 있는가), 무엇을(예를 들어, 선택된 이미지에 도시된 랜드마크 또는 오브젝트가 무엇인가) 그리고 어디서(예를 들어, 선택된 이미지의 이 장면에서 장소가 차지하는 곳은 어디인가)를 포함한다. 이는 또한 원하는 엔티티(예를 들어, 선택된 이미지의 배우 대 랜드마크)에 대한 검색 질의 발생시 검색 시스템을 도울 수 있다.
[0081] 또한 도 4에 도시된 것처럼, 검색 시스템에 적절한 정보(예를 들어, 선택된 이미지, 선택된 관심 영역, 질문어 등)를 송신하는 것에 응답하여, 검색이 선택된 이미지 내 식별된 엔티티로 발생될 수 있고 하나 또는 그 초과의 검색 결과들(440)이 사용자에게 제시될 수 있다. 이 특정 예에서, 검색 결과(440)는 클라이언트 애플리케이션(예를 들어, 검색 결과와 연관된 URL을 로딩하는 웹 브라우징 애플리케이션)과 연관된 그래픽 사용자 인터페이스상에 디스플레이된다. 보다 특정하게, 이미지(415) 내 관심 영역(430)의 엔티티(예를 들어, 배우)를 식별하는 것에 응답하여, 배우 필모그래피 페이지가 클라이언트 애플리케이션의 사용자에게 자동으로 디스플레이될 수 있다.
[0082] 도 5로 가면, 개시된 청구대상의 일부 구현들에 따라 미디어 콘텐츠에 기초하여 모바일 콘텐츠를 제시하기 위한 메커니즘들을 도시한 시스템의 일반화된 개략도의 예(500)가 예시된다. 예시된 것처럼, 시스템(500)은 하나 또는 그 초과의 컴퓨팅 디바이스들(510)을 포함한다. 컴퓨팅 디바이스(510)는 통신 링크(504)를 통해 서버(502)에 링크될 수 있는 통신 네트워크(506)에 하나 또는 그 초과의 통신 링크들(508)에 의해 연결될 수 있다. 일부 구현들에서, 컴퓨팅 디바이스들(510) 및 서버(502)는 통신 링크(512)를 통해 하나 또는 그 초과의 콘텐츠 소스(514)에 링크될 수 있다.
[0083] 시스템(500)은 하나 또는 그 초과의 서버들(502)을 포함할 수 있다. 서버(502)는 검색 애플리케이션에 액세스를 제공하기 위한 임의의 적절한 서버, 예컨대, 프로세서, 컴퓨터, 데이터 프로세싱 디바이스, 또는 이러한 디바이스들의 임의의 적절한 조합일 수 있다. 예를 들어, 검색 애플리케이션은 다수의 백엔드(backend) 컴포넌트들 및 다수의 프론트엔드(frontend) 컴포넌트들 및/또는 인터페이스들로 배포될 수 있다. 보다 특정한 예에서, 백엔드 컴포넌트들, 예컨대 데이터 수집 및 데이터 배포는 하나 또는 그 초과의 서버들(502) 상에서 수행될 수 있다.
[0084] 일부 구현들에서, 검색 애플리케이션의 프론트엔드 컴포넌트들(또는 검색 애플리케이션의 일부), 예컨대 사용자 인터페이스 및/또는 채널 식별 피처들(features)은 하나 또는 그 초과의 컴퓨팅 디바이스들(510) 상에서 수행될 수 있다.
[0085] 일부 구현들에서, 컴퓨팅 디바이스들(510) 및 서버(502) 각각은 범용성 디바이스 예컨대 컴퓨터 또는 특정 용도 디바이스 예컨대 클라이언트, 서버 등 중 임의의 것일 수 있다. 이들 범용성 또는 특정 용도 디바이스들 중 임의의 것은, 하드웨어 프로세서(마이크로프로세서, 디지털 신호 프로세서, 제어기 등일 수 있음), 메모리, 통신 인터페이스들, 디스플레이 제어기들, 입력 디바이스들 등과 같은 임의의 적절한 컴포넌트들을 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스(510)는 스마트폰, 테블릿 컴퓨터, 웨어러블 컴퓨터, 스마트 텔레비전, 셋톱 박스, 디지털 미디어 수신기, 게임 콘솔, 퍼스널 컴퓨터, 랩톱 컴퓨터, PDA(personal data assistant), 홈 엔터테인먼트 시스템, 임의의 다른 적절한 컴퓨팅 디바이스, 또는 이들의 임의의 적절한 조합으로 구현될 수 있다.
[0086] 예를 들어, 일부 구현들에서, 프로그램은 제 1 컴퓨팅 디바이스(510), 예컨대 스마트 텔레비전, 셋톱 박스, 디지털 미디어 수신기 등을 이용하여 제시될 수 있고, 보완 콘텐츠는 제 2 컴퓨팅 디바이스(510), 예컨대 테블릿 컴퓨터, 스마트폰, 웨어러블 컴퓨터, PDA 등을 이용하여 제시될 수 있다.
[0087] 일부 구현들에서, 콘텐츠 소스(들)(514)는 임의의 적절한 콘텐츠 소스들, 예컨대 케이블 (또는 텔레폰) 텔레비전 콘텐츠 소스, 위성 텔레비전 콘텐츠 소스, 온-디멘드 프로그램 콘텐츠 소스, 오버-더-탑(over-the-top) 프로그램 콘텐츠 소스, 인터넷 콘텐츠 소스, 스트리밍 프로그램 콘텐츠 소스, 임의의 다른 적절한 콘텐츠 소스, 또는 이들의 임의의 적절한 조합일 수 있다.
[0088] 일부 구현들에서, 통신 네트워크(506)는, 임의의 적절한 컴퓨터 네트워크 또는 인터넷, 인트라넷, WAN(wide-area network), LAN(local-area network), 무선 네트워크, DSL(digital subscriber line) 네트워크, 프레임 릴레이 네트워크, ATM(asynchronous transfer mode) 네트워크, VPN(virtual private network) 등을 포함하는 이러한 네트워크들의 조합일 수 있다. 통신 링크들(504, 508 및 512)은 컴퓨팅 디바이스들(510), 서버(502) 및/또는 콘텐츠 소스(들)(514) 사이에서 데이터를 통신하기에 적합한 임의의 통신 링크들, 예컨대 네트워크 링크들, 다이얼 업(dial-up) 링크들, 무선 링크들, 하드 와이어 링크들, 임의의 다른 적절한 통신 링크들, 또는 이러한 링크들의 임의의 적절한 조합일 수 있다. 컴퓨팅 디바이스들(510)는 메커니즘들의 피처들이 이용될 수 있는 것을 가능하게 하는 본원에 설명된 기술들의 사용을 가능케 할 수 있다. 컴퓨팅 디바이스들(510), 서버(502) 및 콘텐츠 소스(들)(514)는 임의의 적절한 로케이션에 로케이팅될 수 있다.
[0089] 일부 구현들에서, 서버(502)는, 검색 애플리케이션의 다양한 기능들을 수행하고 그리고/또는 미디어 콘텐츠 정보에 기초한 검색 결과들을 생성하고 제시하기 위한 메커니즘들을 돕기 위해, 상호연결될 수 있는 하나 또는 그 초과의 모듈들(520-532) 및/또는 데이터베이스들(540-542)을 포함할 수 있다.
[0090] 일부 구현들에서, 프론트엔드 서버 모듈(520)은 예를 들어 도 1-3과 함께 위에서 설명된 것처럼 상호작용하는 콘텐츠를 생성하기 위한 프로세스들을 수행할 수 있다. 예를 들어, 프론트엔드 서버는 컴퓨팅 디바이스(510) 상에서 실행되는 클라이언트 애플리케이션 및 다른 서버 모듈들, 예컨대 캡처 모듈(522), 오디오 매칭 모듈(542), 스크린샷 브라우징 모듈(526), 및 검색 모듈(532) 사이의 프록시로서의 역할을 할 수 있다.
[0091] 일부 구현들에서, 캡처 모듈(522)은, 예를 들어, 도 1과 관련하여 앞서 설명된 것처럼 프로그램 또는 채널에 관련된 미디어 데이터, 예컨대 비디오 데이터, 오디오 데이터, 전자 프로그램 가이드 데이터, 메타데이터 등을 수신할 수 있다. 부가적으로 또는 대안적으로, 캡처 모듈(522)은, 예를 들어, 도 1과 함께 설명된 것처럼, 콘텐츠 소스들로부터 제공되는 콘텐츠로부터 다양한 미디어 데이터를 추출할 수 있다. 이러한 추출된 미디어 데이터는, 예를 들어, 오디오 핑거프린트들, 서브타이틀들, 비디오 스크린샷들 등을 포함할 수 있다. 이 정보는, 예를 들어, 채널들을 식별하고, 스크린샷들을 획득하고, 그리고/또는 다양한 다른 동작들에서 프론트엔드 서버(520)상에서 실행되는 검색 애플리케이션에 의한 사용을 위해 데이터베이스(미도시)에 저장될 수 있다.
[0092] 일부 구현들에서, 오디오 매칭 모듈(524)은, 캡처 모듈(522)로부터의 프로그램에 대한 오디오 핑거프린트 데이터를 수신하고, 핑거프린트 데이터베이스(542)의 저장된 오디오 핑거프린트 데이터에 대해 수신된 오디오 핑거프린트를 비교할 수 있다. 이 핑거프린트 데이터베이스는, 예를 들어, 앞서 설명된 것처럼 채널을 식별하고, 사용자에게 제시되는 프로그램을 결정하는 등을 위해 이용될 수 있다.
[0093] 일부 구현들에서, 스크린샷 브라우징 모듈(526)은 식별된 채널에 기초하여 하나 또는 그 초과의 이미지들을 추출할 수 있다. 예를 들어, 식별된 채널에 기초하여, 스크린샷 브라우징 모듈(526)은 해당 채널과 연관된 특정 시간 윈도우에 대응하는 이미지들을 리트리브할 수 있다. 이미지의 사용자 선택을 수신하는 것에 응답하여, 스크린샷 브라우징 모듈(526)은 이미지로부터 하나 또는 그 초과의 엔티티들을 추출하고 식별하기 위해 키워드 추출 모듈(528) 또는 임의의 다른 적절한 모듈을 이용할 수 있다. 추가로, 스크린샷 브라우징 모듈(526)은 하나 또는 그 초과의 인식 기술들, 예컨대 안면 인식 기술들, 이미지 인식 기술들, 광학 캐릭터 인식 기술들 등을 수행하도록 구성된 인식 모듈(530)을 포함할 수 있다.
[0094] 일부 구현들에서, 키워드 추출 모듈(528)은 엔티티들, 예컨대 도 1과 관련하여 앞서 설명된 엔티티들을 추출할 수 있다. 예를 들어, 키워드 추출 모듈(528)은 사람들의 아이덴테티, 장소들, 이벤트들, 오브젝트들, 생물들, 로고들 또는 임의의 다른 적절한 엔티티를 추출할 수 있다. 부가적으로 또는 대안적으로, 키워드 추출 모듈(528)은 인식 모듈(530)을 사용하여 엔티티들을 식별할 수 있으며, 이는 예를 들어, 이미지에 있는 사람의 아이덴티티를 결정하기 위해, 비디오 스크린샷으로부터의 안면의 이미지로부터의 정보를, 알려진 안면 정보의 데이터베이스(예를 들어, 알려진 개인의 안면 정보)를 비교할 수 있다. 유사하게, 인식 모듈(530)은, 예를 들어, 오브젝트, 예컨대 빌딩들, 스테이터스들(statutes), 제품 패키징, 일렉트로닉스, 과일 및 야채들, 또는 임의의 다른 적절한 오브젝트의 이미지로부터의 정보를 알려진 오브젝트 정보의 데이터베이스에 대해 비교하여 이미지에서의 오브젝트의 아이덴티티를 결정할 수 있다. 앞서 설명된 것처럼, 키워드 추출 모듈(528) 및/또는 스크린샷 브라우징 모듈(526)에 의한 프로그램 관련 데이터로부터의 엔티티 식별을 돕기 위해 인식 모듈(530)에 의해 임의의 적절한 인식 기술들이 이용될 수 있다.
[0095] 일부 구현들에서, 프론트엔드 서버 모듈은 검색 모듈(532)에 액세스할 수 있다. 검색 모듈(532)은, 예를 들어, 선택된 이미지에서 식별된 엔티티에 기초하여 검색 질의를 생성하고 검색을 수행하여 검색 질의에 응답하는 검색 결과들을 획득할 수 있다. 보다 특정한 예에서, 식별된 엔티티는, 식별된 엔티티 정보뿐만 아니라 식별된 채널과 연관된 콘텐츠와 관련된 하나 또는 그 초과의 검색 질의들을 구성하는 검색 모듈(532)로 송신될 수 있다. 관련 검색 질의가 생성되었다면, 검색 질의는 하나 또는 그 초과의 저장소들을 검색하고 검색 질의에 응답하는 결과들에 대해 인덱싱되는 적절한 검색 엔진에 제공될 수 있다. 일부 구현들에서, 검색 엔진은, 예를 들어, 검색 애플리케이션 프로그래밍 인터페이스(API)를 이용하여 검색 모듈(532)에 의해 액세스되는 일반적 검색 엔진일 수 있다. 대안적으로, 검색 엔진은 프론트엔드 서버(520) 또는 시스템(500)의 임의의 다른 컴포넌트에 의해 배타적으로 이용되는 검색 엔진일 수 있다.
[0096] 앞서 설명된 것처럼, 일부 구현들에서, 검색 결과들은 클라이언트 애플리케이션의 사용자에 기초하여 필터링되고 그리고/또는 개인화될 수 있다. 예를 들어, 검색 결과들은 사용자 검색 히스토리들, 이전의 사용자 상호작용 선택들, 사용자 셋팅들, 사용자 프로필들, 클라이언트 디바이스 타입들, 사용자 로케이션, 및/또는 다른 사용자 정보에 기초하여 제거되고 그리고/또는 보유될 수 있다. 검색 결과들은 컴퓨팅 디바이스(510) 상에서 실행되는 클라이언트 애플리케이션으로 결과들을 다시 송신하는데 적합한 포맷으로 검색 결과들을 생성하는 프론트엔드 서버(520)에 제공될 수 있다. 예를 들어, 검색 결과들은 컴퓨팅 디바이스(510) 상의 웹 브라우징 애플리케이션이 (예를 들어, 연관된 웹 페이지를 로딩함으로써) 검색 결과들을 디스플레이하도록 허용할 수 있는 HTML(hypertext markup language) 콘텐츠로 포맷팅될 수 있다. 다른 예에서, 검색 결과들은, 이들이 컴퓨팅 디바이스(510) 상에서 실행되는 클라이언트 애플리케이션 내에 디스플레이될 수 있도록 포맷팅될 수 있다. 즉, 클라이언트 애플리케이션을 로딩하고 관심 이미지를 선택하는 것에 응답하여, 클라이언트 애플리케이션은 미디어 콘텐츠에 대응하는 검색 결과를 디스플레이할 수 있다.
[0097] 일부 구현들에서, 가이던스 데이터(540), 예컨대 EPG(electronic program guide) 데이터베이스가 액세스될 수 있다. 예를 들어, 프론트엔드 서버 모듈(520)은 식별된 채널 또는 식별된 프로그램에 관련된 프로그램 정보를 획득하기 위해 가이던스 데이터(540)에 액세스하고 엔티티들, 검색 결과들 등을 필터링하기 위해 프로그램 정보를 이용할 수 있다. 일부 구현들에서, 가이던스 데이터(540)는 예를 들어, 콘텐츠 소스(들)(514)로부터 제공될 수 있다는 것을 주목해야 한다.
[0098] 모듈들(520-532) 및 데이터베이스들(540-542)이 서버(502)에 포함된 것으로 도시되었지만, 이 모듈들 및/또는 데이터베이스들은 다양한 조합들로 상이한 서버들에 제공될 수 있다는 것이 주목되어야 한다. 예를 들어, 검색 모듈(532)은 제 1 서버상에 제공될 수 있고 모듈들(520-530)은 제 2 서버상에 제공될 수 있다. 또 다른 예로써, 각각의 모듈은 상이한 서버상에 제공될 수 있다. 이들은 단지 예들이며, 설명된 모듈들은 임의의 적절한 방식으로 체계화될 수 있다는 것이 주목되어야 한다.
[0099] 모듈들(520-532)은 검색 애플리케이션의 일부로서 포함될 수 있거나, 각각이 개별 애플리케이션일 수 있거나, 또는 임의의 다른 적절한 애플리케이션의 일부 일 수 있다는 것이 또한 주목되어야 한다.
[0100] 도 6은, 개시된 청구대상의 일부 구현들에 따라, 도 5에 도시된 서버(502) 및 컴퓨팅 디바이스들(510) 중 하나를 구현하는데 이용될 수 있는 하드웨어의 예(600)를 예시한다. 도 6을 참조로, 컴퓨팅 디바이스(510)는 서로 연결될 수 있는 하드웨어 프로세서(612), 디스플레이(614), 입력 디바이스(616), 및 메모리(618)를 포함할 수 있다. 일부 구현들에서, 메모리(618)는 하드웨어 프로세서(612)를 제어하기 위한 컴퓨터 프로그램을 저장하기 위한 저장 디바이스(예컨대, 비-전이(non-transitive) 컴퓨터-판독가능 매체)를 포함할 수 있다.
[0101] 하드웨어 프로세서(612)는, 콘텐츠를 디스플레이(614) 상에 제시하기 위한 컴퓨터 프로그램 및/또는 사용자가 클라이언트 애플리케이션과 상호작용하고 통신 링크(508)를 통해 데이터를 전송 및 수신하도록 허용하는 인터페이스를 이용할 수 있다. 통신 링크(508) 또는 임의의 다른 통신 링크들을 통해 수신되는 데이터가 임의의 적절한 소스로부터 수신될 수 있다는 것이 또한 주목되어야 한다. 일부 구현들에서, 하드웨어 프로세서(612)는, 예를 들어, 송신기, 수신기, 송신기/수신기, 트랜시버, 또는 임의의 다른 적절한 통신 디바이스를 이용하여 통신 링크(508) 또는 임의의 다른 통신 링크들을 통해 데이터를 전송하고 수신할 수 있다. 입력 디바이스(616)는 컴퓨터 키보드, 마우스, 트랙볼, 키패드, 리모트 컨트롤, 임의의 다른 적절한 입력 디바이스, 또는 이들의 임의의 적절한 조합일 수 있다. 부가적으로 또는 대안적으로, 입력 디바이스(616)는 (예를 들어, 핑거, 스타일러스 등을 이용하여) 입력을 수신할 수 있는 터치 스크린 디스플레이(614)를 포함할 수 있다.
[0102] 서버(502)는, 서로 연결될 수 있는 하드웨어 프로세서(622), 디스플레이(624), 입력 디바이스(626), 및 메모리(628)를 포함할 수 있다. 일부 구현들에서, 메모리(628)는 통신 링크(504)를 통해 또는 다른 링크들을 통해 수신되는 데이터를 저장하기 위한 저장 디바이스를 포함할 수 있고, 프로세서(622)는 예를 들어, 컴퓨팅 디바이스(510)의 하나 또는 그 초과의 사용자들에 의해 송신되는 커맨드들 및 값들을 수신할 수 있다. 저장 디바이스는 하드웨어 프로세서(622)를 제어하기 위한 서버 프로그램을 더 포함할 수 있다.
[0103] 미디어 콘텐츠에 기초하는 검색 결과들 및 다른 콘텐츠를 제공하기 위해 본원에 개시되는 메커니즘들은 컴퓨팅 디바이스들(510) 및/또는 서버(502) as 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 임의의 적절한 조합으로서 컴퓨팅 디바이스들(510) 및/또는 서버(502)에 구현될 수 있다.
[0104] 일부 구현들에서, 서버 602 can be implemented as one 서버 or can be distributed as 임의의 적절한 number of 서버s. 예를 들어, 다수의 서버s 502 can be implemented in various 로케이션s to increase reliability, function of the 애플리케이션, 및/또는 the speed at which the 서버 can communicate with 컴퓨팅 디바이스들(510).
[0105] 일부 구현들에서, 클라이언트 애플리케이션은 애플리케이션 프로그램 인터페이스(미도시)를 포함할 수 있고, 그리고/또는 서버(502)의 메모리(628) 및/또는 컴퓨팅 디바이스(510)의 메모리(618)에 상주할 수 있다. 부가적으로 또는 대안적으로, GUI(graphical user interface)는 컴퓨팅 디바이스(510)에 분포될 수 있고, 이는 사용자가, 예를 들어, 서버(502)에 상주하는 클라이언트 애플리케이션과 상호작용하게 허용할 수 있다.
[0106] 일부 구현들에서, 애플리케이션은 클라이언트-측 소프트웨어, 서버-측 소프트웨어, 하드웨어, 펌웨어, 또는 이들의 임의의 적절한 조합을 포함할 수 있다. 예를 들어, 애플리케이션은 하나 또는 그 초과의 프로세서들로 하여금 콘텐츠 생성 애플리케이션을 실행하게 하는 컴퓨터 프로그램을 포괄할 수 있다. 또 다른 예로서, 애플리케이션(들)은 애플리케이션(들)을 실행하는 컴퓨팅 디바이스(510) 및/또는 서버(502)에 의해 인식가능한 프로그래밍 언어로 기록된 컴퓨터 프로그램(예를 들어, 프로그래밍 언어, 예컨대, Java, C, Objective-C, C++, C#, Javascript, 비주얼 베이직(Visual Basic), HTML, XML, ColdFusion, 임의의 다른 적절한 접근방식들, 또는 이들의 임의의 적절한 조합으로 기록된 프로그램)이 포괄될 수 있다.
[0107] 일부 구현들에서, 애플리케이션은 (예를 들어, via 임의의 적절한 인코딩, 예컨대 HTML(HyperText Markup Language), DHTML(Dynamic HyperText Markup Language), XML(Extensible Markup Language), JSP(JavaServer Pages), ASP(Active Server Pages), 콜드 퓨전(Cold Fusion), 또는 임의의 다른 적절한 접근방식들을 통해) 하나 또는 그 초과의 웹-페이지들 또는 웹-페이지 부분들을 포괄할 수 있다.
[0108] 따라서, 미디어 콘텐츠에 대응하는 모바일 콘텐츠를 제시하기 위한 방법들, 시스템들, 및 미디어가 제공된다.
[00109] 일부 구현들에서, 임의의 적절한 컴퓨터 판독가능 미디어가 본원에 설명된 프로세스들을 수행하기 위한 명령들을 저장하는데 이용될 수 있다. 예를 들어, 일부 구현들에서, 컴퓨터 판독가능 미디어는 일시적 또는 비일시적일 수 있다. 예를 들어, 비일시적 컴퓨터 판독가능 미디어는 미디어 예컨대 자기 미디어(예를 들어, 하드 디스크들, 플로피 디스크들 등), 광학 미디어(예컨대 컴팩트 디스크들, 디지털 비디오 디스크들, 블루-레이 디스크들 등), 반도체 미디어(예컨대, 플래시 메모리, 전기적으로 프로그램가능한 판독 전용 메모리(EPROM), 전기적으로 소거가능 프로그램가능한 판독 전용 메모리(EEPROM) 등), 송신 동안 임의의 외관 영구성이 없는 또는 순간적이지 않은 임의의 적절한 미디어 및/또는 임의의 적절한 유형의 미디어를 포함할 수 있다. 다른 예로서, 일시적 컴퓨터 판독가능 미디어는 네트워크들 상의, 와이어들, 도체들, 광섬유들, 회로들, 송신 동안 임의의 외관 영구성이 없는 또는 순간적이지 않은 임의의 적절한 미디어 및/또는 임의의 적절한 무형의 미디어의 신호들을 포함할 수 있다.
[00110] 도 1-3와 관련하여 설명된 프로세스에 대해 상기 설명된 단계들은 도면들에 설명되고 도시된 순서 및 시퀀스로 제한되지 않고 임의의 순서 또는 시퀀스로 실행 또는 수행될 수 있다는 것이 이해될 것이다. 또한, 도 1-3의 프로세스들의 상기 단계들 중 일부는 레이턴시 및 프로세싱 시간들을 감소시키기 위해 병행하여 또는 적절한 경우 실질적으로 동시에 실행 또는 수행될 수 있다.
[00136] 본원에 사용된 것처럼, 메커니즘이란 용어는 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 적절한 조합을 포괄할 수 있다는 것이 또한 주목되어야 한다.
[00137] 본 발명이 앞서 말한 예시적 구현들에 설명 및 예시되었지만, 본 개시물은 단지 예로써 구성된 것이며 본 발명의 구현들의 상세사항들에서의 다양한 변경들이 하기의 청구항들에 의해서만 제한되는 본 발명의 범주 및 사상을 이탈하지 않고 구성될 수 있음이 이해된다. 개시된 구현들의 특징들은 다양한 방식들로 조합되고 재배열될 수 있다.

Claims (30)

  1. 미디어 콘텐츠에 관한 정보를 제공하기 위한 방법으로서,
    하드웨어 프로세서를 이용하여, 텔레비전 프로그램을 제공하는 채널을 결정하는 단계;
    상기 하드웨어 프로세서를 이용하여, 상기 텔레비전 프로그램에 관한 복수의 이미지들이 제시되게 하는 단계―상기 복수의 이미지들은 상기 채널 및 시간 파라미터에 기초하여 선택됨―;
    상기 하드웨어 프로세서를 이용하여, 상기 복수의 이미지들로부터의 이미지의 사용자 선택을 수신하는 단계;
    상기 하드웨어 프로세서를 이용하여, 하나 또는 그 초과의 이미지 인식 기술들을 이용하여 선택된 이미지 내 엔티티를 식별하는 단계;
    상기 하드웨어 프로세서를 이용하여, 식별된 엔티티에 적어도 부분적으로 기초하여 검색 질의를 생성하는 단계;
    상기 하드웨어 프로세서를 이용하여, 생성된 검색 질의에 응답하는 복수의 검색 결과들을 획득하는 단계; 및
    상기 이미지의 사용자 선택을 수신하는 것에 응답하여, 상기 하드웨어 프로세서를 이용하여, 복수의 검색 결과들 중 적어도 하나가 상기 모바일 디바이스에 제시되게 하는 단계
    를 포함하는, 미디어 콘텐츠에 관한 정보를 제공하기 위한 방법.
  2. 제 1 항에 있어서,
    모바일 디바이스로부터 텔레비전 프로그램에 대응하는 오디오 데이터를 수신하는 단계를 더 포함하고, 상기 채널은 수신된 오디오 데이터에 기초하여 결정되는, 미디어 콘텐츠에 관한 정보를 제공하기 위한 방법.
  3. 제 2 항에 있어서,
    상기 오디오 데이터를 수신하는 단계는 상기 오디오 데이터의 오디오 핑거프린트를 획득하는 단계를 더 포함하는, 미디어 콘텐츠에 관한 정보를 제공하기 위한 방법.
  4. 제 3 항에 있어서,
    복수의 텔레비전 채널들 각각으로부터 오디오 스트림을 추출하는 단계;
    복수의 텔레비전 채널들 각각에 대해, 상기 복수의 텔레비전 채널들 중 하나에 대응하는 추출된 오디오 스트림의 적어도 일부로부터 적어도 하나의 오디오 핑거프린트를 생성하는 단계; 및
    채널에 의해 인덱싱되는 데이터베이스에 적어도 하나의 오디오 핑거프린트를 저장하는 단계
    를 더 포함하는, 미디어 콘텐츠에 관한 정보를 제공하기 위한 방법.
  5. 제 4 항에 있어서,
    상기 오디오 핑거프린트를 적어도 하나의 저장된 오디오 핑거프린트와 비교하는 단계; 및
    상기 비교에 기초하여 상기 텔레비전 프로그램을 식별하는 단계
    를 더 포함하는, 미디어 콘텐츠에 관한 정보를 제공하기 위한 방법.
  6. 제 1 항에 있어서,
    복수의 텔레비전 채널들 각각으로부터 복수의 프로그래밍 이미지들을 추출하는 단계; 및
    채널 및 시간에 의해 인덱싱되는 데이터베이스에 상기 복수의 프로그래밍 이미지들을 저장하는 단계
    를 더 포함하는, 미디어 콘텐츠에 관한 정보를 제공하기 위한 방법.
  7. 제 6 항에 있어서,
    상기 텔레비전 프로그램에 관한 복수의 이미지들은 상기 복수의 이미지들을 획득하기 위해 결정된 채널 및 시간 파라미터를 이용함으로써 제시되며, 상기 복수의 이미지들은 복수의 추출된 프로그래밍 이미지들의 서브세트인, 미디어 콘텐츠에 관한 정보를 제공하기 위한 방법.
  8. 제 1 항에 있어서,
    선택된 이미지 내 관심 영역의 제 2 사용자 선택을 수신하는 단계; 및
    상기 하나 또는 그 초과의 이미지 인식 기술들을 이용하여 상기 관심 영역 내 엔티티를 식별하는 단계
    를 더 포함하는, 미디어 콘텐츠에 관한 정보를 제공하기 위한 방법.
  9. 제 1 항에 있어서,
    안면 인식 기술을 이용하여 선택된 이미지 내 복수의 안면들을 검출하는 단계;
    복수의 검출된 안면들로부터 안면을 선택하도록 상기 모바일 디바이스를 프롬프팅하는 단계; 및
    선택된 안면과 연관된 엔티티를 식별하는 단계
    를 더 포함하는, 미디어 콘텐츠에 관한 정보를 제공하기 위한 방법.
  10. 제 1 항에 있어서,
    결정된 채널 및 타이밍 파라미터에 기초하여 상기 텔레비전 프로그램을 결정하기 위해 가이던스 데이터를 액세싱하는 단계;
    상기 텔레비전 프로그램에 관한 프로그램 정보를 수신하는 단계; 및
    수신된 프로그램 정보를 이용하여 선택된 이미지 내 엔티티를 식별하는 단계
    를 더 포함하는, 미디어 콘텐츠에 관한 정보를 제공하기 위한 방법.
  11. 미디어 콘텐츠에 관한 정보를 제공하기 위한 시스템으로서,
    하드웨어 프로세서를 포함하고, 상기 하드웨어 프로세서는,
    텔레비전 프로그램을 제공하는 채널을 결정하고;
    상기 텔레비전 프로그램과 관련된 복수의 이미지들이 제시되게 하고, ―상기 복수의 이미지들은 상기 채널 및 시간 파라미터에 기초하여 선택됨―;
    상기 복수의 이미지들로부터의 이미지의 사용자 선택을 수신하고;
    하나 또는 그 초과의 이미지 인식 기술들을 이용하여 선택된 이미지 내 엔티티를 식별하고;
    식별된 엔티티에 적어도 부분적으로 기초하여 검색 질의를 생성하고;
    생성된 검색 질의에 응답하여 복수의 검색 결과들을 획득하고; 그리고
    상기 이미지의 사용자 선택을 수신하는 것에 응답하여, 복수의 검색 결과들 중 적어도 하나가 상기 모바일 디바이스에 제시되게 하도록
    구성되는, 미디어 콘텐츠에 관한 정보를 제공하기 위한 시스템.
  12. 제 11 항에 있어서,
    상기 하드웨어 프로세서는 추가로, 모바일 디바이스로부터의 텔레비전 프로그램에 대응하는 오디오 데이터를 수신하도록 구성되며, 상기 채널은 수신된 오디오 데이터에 기초하여 결정되는, 미디어 콘텐츠에 관한 정보를 제공하기 위한 시스템.
  13. 제 12 항에 있어서,
    상기 하드웨어 프로세서는 추가로 상기 오디오 데이터의 오디오 핑거프린트를 획득하도록 구성되는, 미디어 콘텐츠에 관한 정보를 제공하기 위한 시스템.
  14. 제 13 항에 있어서,
    상기 하드웨어 프로세서는 추가로,
    복수의 텔레비전 채널들 각각으로부터 오디오 스트림을 추출하고;
    복수의 텔레비전 채널들 각각에 대해, 상기 복수의 텔레비전 채널들 중 하나에 대응하는 추출된 오디오 스트림의 적어도 일부로부터 적어도 하나의 오디오 핑거프린트를 생성하고; 그리고
    채널에 의해 인덱싱된 데이터베이스에 상기 적어도 하나의 오디오 핑거프린트를 저장하도록
    구성되는, 미디어 콘텐츠에 관한 정보를 제공하기 위한 시스템.
  15. 제 14 항에 있어서,
    상기 하드웨어 프로세서는 추가로,
    상기 오디오 핑거프린트를 적어도 하나의 저장된 오디오 핑거프린트와 비교하고; 그리고
    상기 비교에 기초하여 상기 텔레비전 프로그램을 식별하도록
    구성되는, 미디어 콘텐츠에 관한 정보를 제공하기 위한 시스템.
  16. 제 11 항에 있어서,
    상기 하드웨어 프로세서는 추가로,
    복수의 텔레비전 채널들 각각으로부터 복수의 프로그래밍 이미지들을 추출하고; 그리고
    채널 및 시간에 의해 인덱싱된 데이터베이스에 복수의 프로그래밍 이미지를 저장하도록
    구성되는, 미디어 콘텐츠에 관한 정보를 제공하기 위한 시스템.
  17. 제 16 항에 있어서,
    상기 하드웨어 프로세서는 추가로, 복수의 이미지들을 획득하기 위해 결정된 채널 및 시간 파라미터를 이용하도록 구성되며, 상기 복수의 이미지들은 복수의 추출된 프로그래밍 이미지들의 서브세트인, 미디어 콘텐츠에 관한 정보를 제공하기 위한 시스템.
  18. 제 11 항에 있어서,
    상기 하드웨어 프로세서는 추가로,
    상기 선택된 이미지 내 관심 영역의 제 2 사용자 선택을 수신하고; 그리고
    하나 또는 그 초과의 이미지 인식 기술들을 이용하여 관심 영역 내 엔티티를 식별하도록
    구성되는, 미디어 콘텐츠에 관한 정보를 제공하기 위한 시스템.
  19. 제 11 항에 있어서,
    상기 하드웨어 프로세서는 추가로,
    안면 인식 기술을 이용하여 선택된 이미지 내 복수의 안면들을 검출하고;
    복수의 검출된 안면들로부터 안면을 선택하도록 모바일 디바이스를 프롬프팅하고; 그리고
    선택된 안면과 연관된 엔티티를 식별하도록
    구성되는, 미디어 콘텐츠에 관한 정보를 제공하기 위한 시스템.
  20. 제 11 항에 있어서,
    상기 하드웨어 프로세서는 추가로,
    결정된 채널 및 타이밍 파라미터에 기초하여 상기 텔레비전 프로그램을 결정하기 위해 가이드 데이터를 액세스하고;
    상기 텔레비전 프로그램에 관한 프로그램 정보를 수신하고; 그리고
    수신된 프로그램 정보를 이용하여 선택된 이미지 내 엔티티를 식별하도록
    구성되는, 미디어 콘텐츠에 관한 정보를 제공하기 위한 시스템.
  21. 비일시적 컴퓨터-판독가능 매체로서,
    프로세서에 의해 실행될 때, 상기 프로세서로 하여금 미디어 콘텐츠에 관한 정보를 제공하기 위한 방법을 수행하게 하는 컴퓨터 실행가능한 명령들을 포함하며,
    상기 방법은,
    텔레비전 프로그램을 제공하는 채널을 결정하는 단계;
    상기 텔레비전 프로그램과 관련된 복수의 이미지들을 제시되게 하는 단계 ―상기 복수의 이미지들은 상기 채널 및 시간 파라미터에 기초하여 선택됨―;
    상기 복수의 이미지들로부터의 이미지의 사용자 선택을 수신하는 단계;
    하나 또는 그 초과의 이미지 인식 기술들을 이용하여 선택된 이미지 내 엔티티를 식별하는 단계;
    식별된 엔티티에 적어도 부분적으로 기초하여 검색 질의를 생성하는 단계;
    생성된 검색 질의에 응답하여 복수의 검색 결과들을 획득하는 단계; 및
    상기 이미지의 사용자 선택을 수신하는 것에 응답하여, 복수의 검색 결과들 중 적어도 하나가 상기 모바일 디바이스에 제시되게 하는 단계
    를 포함하는, 비일시적 컴퓨터-판독가능 매체.
  22. 제 21 항에 있어서,
    상기 방법은 모바일 디바이스로부터 텔레비전 프로그램에 대응하는 오디오 데이터를 수신하는 단계를 더 포함하며, 상기 채널은 수신된 오디오 데이터에 기초하여 결정되는, 비일시적 컴퓨터-판독가능 매체.
  23. 제 22 항에 있어서,
    상기 방법은 상기 오디오 데이터의 오디오 핑거프린트를 획득하는 단계를 더 포함하는, 비일시적 컴퓨터-판독가능 매체.
  24. 제 23 항에 있어서,
    상기 방법은,
    복수의 텔레비전 채널들 각각으로부터 오디오 스트림을 추출하는 단계;
    복수의 텔레비전 채널들 각각에 대해, 상기 복수의 텔레비전 채널들 중 하나에 대응하는 추출된 오디오 스트림의 적어도 일부로부터 적어도 하나의 오디오 핑거프린트를 생성하는 단계
    를 더 포함하는, 비일시적 컴퓨터-판독가능 매체.
  25. 제 24 항에 있어서,
    상기 방법은,
    상기 오디오 핑거프린트를 적어도 하나의 저장된 오디오 핑거프린트와 비교하는 단계; 및
    상기 비교에 기초하여 상기 텔레비전 프로그램을 식별하는 단계
    를 더 포함하는, 비일시적 컴퓨터-판독가능 매체.
  26. 제 21 항에 있어서,
    상기 방법은,
    복수의 텔레비전 채널들 각각으로부터 복수의 프로그래밍 이미지들을 추출하는 단계; 그리고
    채널 및 시간에 의해 인덱싱되는 데이터베이스에 상기 복수의 프로그래밍 이미지를 저장하는 단계
    를 더 포함하는, 비일시적 컴퓨터-판독가능 매체.
  27. 제 26 항에 있어서,
    상기 방법은, 복수의 이미지들을 획득하기 위해 결정된 채널 및 시간 파라미터를 이용하는 단계를 더 포함하고, 상기 복수의 이미지들은 복수의 추출된 프로그래밍 이미지들의 서브세트인, 비일시적 컴퓨터-판독가능 매체.
  28. 제 21 항에 있어서,
    상기 방법은,
    선택된 이미지 내 관심 영역의 제 2 사용자 선택을 수신하는 단계; 및
    하나 또는 그 초과의 이미지 인식 기술들을 이용하여 상기 관심 영역 내 엔티티를 식별하는 단계
    를 더 포함하는, 비일시적 컴퓨터-판독가능 매체.
  29. 제 21 항에 있어서,
    상기 방법은,
    안면 인식 기술을 이용하여 선택된 이미지 내 복수의 안면들을 검출하는 단계;
    복수의 검출된 안면들로부터 안면을 선택하도록 상기 모바일 디바이스를 프롬프팅하는 단계; 및
    선택된 안면과 연관된 엔티티를 식별하는 단계
    를 더 포함하는, 비일시적 컴퓨터-판독가능 매체.
  30. 제 21 항에 있어서,
    상기 방법은,
    결정된 채널 및 타이밍 파라미터에 기초하여 상기 텔레비전 프로그램을 결정하기 위해 가이던스 데이터에 액세스하는 단계;
    상기 텔레비전 프로그램에 관한 프로그램 정보를 수신하는 단계; 및
    수신된 프로그램 정보를 이용하여 선택된 이미지 내 엔티티를 식별하는 단계
    를 더 포함하는, 비일시적 컴퓨터-판독가능 매체.
KR1020157028591A 2013-03-14 2014-03-12 미디어 콘텐츠에 대응하는 모바일 콘텐츠를 제시하기 위한 방법들, 시스템들 및 미디어 KR102128115B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/827,413 2013-03-14
US13/827,413 US9247309B2 (en) 2013-03-14 2013-03-14 Methods, systems, and media for presenting mobile content corresponding to media content
PCT/US2014/024255 WO2014159578A1 (en) 2013-03-14 2014-03-12 Methods, systems, and media for presenting mobile content corresponding to media content

Publications (2)

Publication Number Publication Date
KR20150127238A true KR20150127238A (ko) 2015-11-16
KR102128115B1 KR102128115B1 (ko) 2020-06-29

Family

ID=50771560

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157028591A KR102128115B1 (ko) 2013-03-14 2014-03-12 미디어 콘텐츠에 대응하는 모바일 콘텐츠를 제시하기 위한 방법들, 시스템들 및 미디어

Country Status (7)

Country Link
US (3) US9247309B2 (ko)
EP (1) EP2973037A1 (ko)
JP (1) JP6408551B2 (ko)
KR (1) KR102128115B1 (ko)
CN (1) CN105122242A (ko)
CA (1) CA2908549C (ko)
WO (1) WO2014159578A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018124842A1 (ko) * 2017-01-02 2018-07-05 삼성전자 주식회사 컨텐트에 관한 정보를 제공하는 방법 및 디바이스

Families Citing this family (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9948998B1 (en) * 2012-11-01 2018-04-17 Google Llc Providing content related to a selected channel for presentation to a user via a client device
KR20150104615A (ko) 2013-02-07 2015-09-15 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
KR20140133351A (ko) * 2013-05-10 2014-11-19 삼성전자주식회사 원격 제어 장치, 디스플레이 장치 및 이들의 제어 방법
US10191964B2 (en) * 2013-05-30 2019-01-29 Microsoft Technology Licensing, Llc Automatic isolation and selection of screenshots from an electronic content repository
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
CN105453026A (zh) 2013-08-06 2016-03-30 苹果公司 基于来自远程设备的活动自动激活智能响应
WO2015047297A1 (en) * 2013-09-27 2015-04-02 Hewlett-Packard Development Company, L.P. Device for identifying digital content
KR20150072209A (ko) * 2013-12-19 2015-06-29 한국전자통신연구원 멀티스크린 기반 콘텐츠 제공방법, 수신방법 및 그 시스템
US20170134806A1 (en) * 2014-04-24 2017-05-11 Axwave Inc. Selecting content based on media detected in environment
US9583121B2 (en) 2014-05-16 2017-02-28 Alphonso Inc. Apparatus and method for determining co-location of services
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
TWI566107B (zh) 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
CN104023251B (zh) * 2014-06-13 2015-08-19 腾讯科技（深圳）有限公司 基于视频的互动方法和系统
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9811352B1 (en) 2014-07-11 2017-11-07 Google Inc. Replaying user input actions using screen capture images
US9965559B2 (en) 2014-08-21 2018-05-08 Google Llc Providing automatic actions for mobile onscreen content
CA2958888C (en) 2014-08-28 2023-02-28 Retailmenot, Inc. Reducing the search space for recognition of objects in an image based on wireless signals
US9606716B2 (en) 2014-10-24 2017-03-28 Google Inc. Drag-and-drop on a mobile device
US9992307B2 (en) * 2015-02-03 2018-06-05 Google Llc Interoperability of discovery and connection protocols between client devices and first screen devices
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10204104B2 (en) * 2015-04-14 2019-02-12 Google Llc Methods, systems, and media for processing queries relating to presented media content
US9703541B2 (en) 2015-04-28 2017-07-11 Google Inc. Entity action suggestion on a mobile device
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9516377B1 (en) * 2015-06-12 2016-12-06 Sorenson Media, Inc. Detecting channel change in automatic content recognition fingerprint matching
US9704020B2 (en) 2015-06-16 2017-07-11 Microsoft Technology Licensing, Llc Automatic recognition of entities in media-captured events
US10628009B2 (en) 2015-06-26 2020-04-21 Rovi Guides, Inc. Systems and methods for automatic formatting of images for media assets based on user profile
JP6940951B2 (ja) * 2015-06-26 2021-09-29 ロヴィ ガイズ， インコーポレイテッド ユーザプロファイルに基づくメディアアセットのための画像の自動フォーマットのためのシステムおよび方法
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US9913056B2 (en) 2015-08-06 2018-03-06 Dolby Laboratories Licensing Corporation System and method to enhance speakers connected to devices with microphones
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10970646B2 (en) 2015-10-01 2021-04-06 Google Llc Action suggestions for user-selected content
US10178527B2 (en) 2015-10-22 2019-01-08 Google Llc Personalized entity repository
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10055390B2 (en) 2015-11-18 2018-08-21 Google Llc Simulated hyperlinks on a mobile device based on user intent and a centered selection of text
CN106973322A (zh) 2015-12-09 2017-07-21 财团法人工业技术研究院 多媒体内容跨屏幕同步装置与方法以及播放装置与伺服器
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
WO2017119604A1 (ko) * 2016-01-08 2017-07-13 주식회사 아이플래테아 시청률 산출 서버, 시청률 산출 방법, 및 시청률 산출 리모트 장치
US10409970B2 (en) * 2016-02-22 2019-09-10 Nice Ltd. System and method for resolving user identification
US9930406B2 (en) 2016-02-29 2018-03-27 Gracenote, Inc. Media channel identification with video multi-match detection and disambiguation based on audio fingerprint
US10063918B2 (en) 2016-02-29 2018-08-28 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on single-match
US9924222B2 (en) 2016-02-29 2018-03-20 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on location
US9921800B2 (en) 2016-05-25 2018-03-20 Google Llc Methods, systems and media for controlling audio output
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179343B1 (en) * 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10575055B2 (en) * 2016-07-11 2020-02-25 Sony Corporation Using automatic content recognition (ACR) to weight search results for audio video display device (AVDD)
JP6232632B1 (ja) * 2016-08-09 2017-11-22 パロニム株式会社 動画再生プログラム、動画再生装置、動画再生方法、動画配信システム及びメタデータ作成方法
CN106254892B (zh) * 2016-08-09 2019-04-26 北海爱飞数码科技有限公司 基于电视机和互联网的交互系统
US20180310066A1 (en) * 2016-08-09 2018-10-25 Paronym Inc. Moving image reproduction device, moving image reproduction method, moving image distribution system, storage medium with moving image reproduction program stored therein
US20180101540A1 (en) * 2016-10-10 2018-04-12 Facebook, Inc. Diversifying Media Search Results on Online Social Networks
US10535005B1 (en) 2016-10-26 2020-01-14 Google Llc Providing contextual actions for mobile onscreen content
US10345998B2 (en) * 2016-11-10 2019-07-09 Google Llc Recommending different song recording versions based on a particular song recording version
CN108124167A (zh) * 2016-11-30 2018-06-05 阿里巴巴集团控股有限公司 一种播放处理方法、装置和设备
US10528251B2 (en) * 2016-12-13 2020-01-07 International Business Machines Corporation Alternate video summarization
US11237696B2 (en) 2016-12-19 2022-02-01 Google Llc Smart assist for repeated actions
KR20180081390A (ko) * 2017-01-06 2018-07-16 삼성전자주식회사 전자 장치 및 그 동작방법
EP3519950B1 (en) * 2017-01-17 2020-11-04 Google LLC Assistive screenshots
US10166465B2 (en) 2017-01-20 2019-01-01 Essential Products, Inc. Contextual user interface based on video game playback
US10359993B2 (en) 2017-01-20 2019-07-23 Essential Products, Inc. Contextual user interface based on environment
US20180213290A1 (en) * 2017-01-20 2018-07-26 Essential Products, Inc. Contextual user interface based on media playback
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
CN107396176A (zh) * 2017-07-18 2017-11-24 青岛海信电器股份有限公司 音视频文件的播放方法及装置
WO2019054999A1 (en) * 2017-09-13 2019-03-21 Google Llc EFFICIENT AUGMENTATION OF IMAGES WITH RELATED CONTENT
EP3692431A1 (en) 2017-10-03 2020-08-12 Google LLC Coordination of parallel processing of audio queries across multiple devices
JP6463826B1 (ja) * 2017-11-27 2019-02-06 株式会社ドワンゴ 動画配信サーバ、動画配信方法及び動画配信プログラム
EP3619616B1 (en) * 2017-12-12 2021-05-26 Google LLC Providing a video preview of search results
EP3729294A1 (en) * 2017-12-22 2020-10-28 Google LLC Image selection suggestions
US20190253751A1 (en) * 2018-02-13 2019-08-15 Perfect Corp. Systems and Methods for Providing Product Information During a Live Broadcast
US10796157B2 (en) * 2018-03-13 2020-10-06 Mediatek Inc. Hierarchical object detection and selection
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
CN113869281A (zh) * 2018-07-19 2021-12-31 北京影谱科技股份有限公司 一种人物识别方法、装置、设备和介质
US11055346B2 (en) * 2018-08-03 2021-07-06 Gracenote, Inc. Tagging an image with audio-related metadata
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
CN109525877B (zh) * 2018-10-18 2021-04-20 百度在线网络技术（北京）有限公司 基于视频的信息获取方法和装置
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11418835B2 (en) 2019-06-07 2022-08-16 Roku, Inc. Content-modification system with technical characteristic-based selection feature
US10477287B1 (en) 2019-06-18 2019-11-12 Neal C. Fairbanks Method for providing additional information associated with an object visually present in media content
US11202109B2 (en) 2019-07-19 2021-12-14 Roku, Inc. Method and system for use of network affiliation as basis to determine channel rendered by content presentation device
US11722729B2 (en) 2019-07-19 2023-08-08 Roku, Inc. Method and system for use of earlier and/or later single-match as basis to disambiguate channel multi-match with non-matching programs
CN112565892B (zh) * 2019-09-26 2022-12-27 聚好看科技股份有限公司 一种影视节目角色的识别方法及相关设备
US11556596B2 (en) 2019-12-31 2023-01-17 Spotify Ab Systems and methods for determining descriptors for media content items
US11281710B2 (en) * 2020-03-20 2022-03-22 Spotify Ab Systems and methods for selecting images for a media item
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11882334B2 (en) * 2020-07-24 2024-01-23 Dish Network Technologies India Private Limited Automated user-responsive video content
US11956518B2 (en) 2020-11-23 2024-04-09 Clicktivated Video, Inc. System and method for creating interactive elements for objects contemporaneously displayed in live video
CN113343005A (zh) * 2021-05-17 2021-09-03 北京百度网讯科技有限公司 搜索方法、装置、电子设备以及可读存储介质
TR2021016527A2 (tr) * 2021-10-22 2021-11-22 Siskon Enduestriyel Otomasyon Sistemleri Sanayi Ve Ticaret Anonim Sirketi Ekrandaki̇ ki̇şi̇leri̇n ki̇mli̇ği̇ni̇ tespi̇t etmek i̇çi̇n bi̇r yüz tanima si̇stemi̇

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060077988A (ko) * 2004-12-30 2006-07-05 삼성전자주식회사 멀티미디어 통신 시스템에서 컨텍스트 추출 및 이를 통한정보 제공 시스템 및 방법
JP2010154415A (ja) * 2008-12-26 2010-07-08 Kddi Corp 映像関連情報提示装置、映像関連情報提示システムおよび映像関連情報提示装置の制御プログラム
KR20110125917A (ko) * 2010-05-14 2011-11-22 주식회사 코리아퍼스텍 휴대단말용 객체기반 콘텐츠 제공방법 및 장치
JP2011243204A (ja) * 2010-05-19 2011-12-01 Google Inc 番組コンテキストに基づくモバイルコンテンツの提示

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216309A (ja) * 2000-01-31 2001-08-10 Keio Gijuku 対象物特定装置及びカメラ
US8205223B2 (en) * 2000-04-12 2012-06-19 Lg Electronics Inc. Method and video device for accessing information
US6636237B1 (en) 2000-07-31 2003-10-21 James H. Murray Method for creating and synchronizing links to objects in a video
US20020147984A1 (en) 2000-11-07 2002-10-10 Tomsen Mai-Lan System and method for pre-caching supplemental content related to a television broadcast using unprompted, context-sensitive querying
US20060129908A1 (en) 2003-01-28 2006-06-15 Markel Steven O On-content streaming media enhancement
CN1735162A (zh) * 2004-08-12 2006-02-15 上海乐金广电电子有限公司 电视节目指南信息的osd生成器及其生成方法
US7840980B2 (en) * 2004-11-04 2010-11-23 Koninklijke Philips Electronics N.V. Incorporation of lead actor information for TV recommenders
US7933338B1 (en) * 2004-11-10 2011-04-26 Google Inc. Ranking video articles
US8949893B2 (en) 2005-01-14 2015-02-03 Koninklijke Philips N.V. Method and a system for constructing virtual video channel
JP2006270869A (ja) * 2005-03-25 2006-10-05 Dainippon Printing Co Ltd 関連情報取得システム、管理装置、関連情報取得方法、関連情報送信プログラム。
US8064516B2 (en) 2005-06-02 2011-11-22 Broadcom Corporation Text recognition during video compression
KR100686827B1 (ko) * 2005-07-11 2007-02-26 삼성에스디아이 주식회사 리튬 이차전지
JP2007058532A (ja) * 2005-08-24 2007-03-08 Sony Corp 情報処理システム、情報処理装置および方法、プログラム、並びに、記録媒体
BRPI0619197A2 (pt) * 2005-11-29 2011-09-20 Google Inc detecção de conteúdo de repetição em mìdia de difusão
US20070136773A1 (en) 2005-12-14 2007-06-14 O'neil Douglas Systems and methods for providing television services using implicit content to indicate the availability of additional content
US8296808B2 (en) * 2006-10-23 2012-10-23 Sony Corporation Metadata from image recognition
US8861898B2 (en) * 2007-03-16 2014-10-14 Sony Corporation Content image search
CN102016882B (zh) 2007-12-31 2015-05-27 应用识别公司 利用脸部签名来标识和共享数字图像的方法、系统和计算机程序
US8301618B2 (en) * 2008-02-26 2012-10-30 Microsoft Corporation Techniques to consume content and metadata
WO2009124002A1 (en) * 2008-03-31 2009-10-08 Dolby Laboratories Licensing Corporation Distributed media fingerprint repositories
WO2009137368A2 (en) 2008-05-03 2009-11-12 Mobile Media Now, Inc. Method and system for generation and playback of supplemented videos
KR101380777B1 (ko) 2008-08-22 2014-04-02 정태우 영상에 포함된 객체를 색인하는 방법
US8239359B2 (en) 2008-09-23 2012-08-07 Disney Enterprises, Inc. System and method for visual search in a video media player
US20100121973A1 (en) 2008-11-12 2010-05-13 Yuliya Lobacheva Augmentation of streaming media
US20120311623A1 (en) * 2008-11-14 2012-12-06 Digimarc Corp. Methods and systems for obtaining still images corresponding to video
JP5386161B2 (ja) * 2008-12-05 2014-01-15 ソフトバンクモバイル株式会社 情報提供システム
JP2010200170A (ja) * 2009-02-26 2010-09-09 Nec Corp 画像情報提供システム、画像情報提供方法、および画像情報提供プログラム
US9135277B2 (en) * 2009-08-07 2015-09-15 Google Inc. Architecture for responding to a visual query
US9191726B2 (en) 2009-09-30 2015-11-17 Disney Enterprises, Inc. System and method for providing media content enhancement
US8463100B2 (en) 2009-11-05 2013-06-11 Cosmo Research Company Limited System and method for identifying, providing, and presenting content on a mobile device
US8301596B2 (en) 2010-01-15 2012-10-30 Hulu Llc Method and apparatus for providing supplemental video content for third party websites
KR101562588B1 (ko) * 2010-01-26 2015-10-23 엘지전자 주식회사 정보 제공 장치 및 그 방법
US20110243449A1 (en) 2010-03-31 2011-10-06 Nokia Corporation Method and apparatus for object identification within a media file using device identification
US9264785B2 (en) 2010-04-01 2016-02-16 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
US8560583B2 (en) 2010-04-01 2013-10-15 Sony Computer Entertainment Inc. Media fingerprinting for social networking
US9015139B2 (en) 2010-05-14 2015-04-21 Rovi Guides, Inc. Systems and methods for performing a search based on a media content snapshot image
CN101883230A (zh) * 2010-05-31 2010-11-10 中山大学 一种数字电视演员检索方法及系统
WO2012014130A1 (en) 2010-07-26 2012-02-02 Koninklijke Philips Electronics N.V. Obtaining keywords for searching
EP2622428A4 (en) 2010-09-28 2017-01-04 International Business Machines Corporation Providing answers to questions using hypothesis pruning
US20120096499A1 (en) * 2010-10-19 2012-04-19 Charles Dasher Apparatus and method for facilitating video-on-demand catalog search and content distribution
US9241195B2 (en) * 2010-11-05 2016-01-19 Verizon Patent And Licensing Inc. Searching recorded or viewed content
US10070201B2 (en) 2010-12-23 2018-09-04 DISH Technologies L.L.C. Recognition of images within a video based on a stored representation
US9424471B2 (en) * 2011-03-01 2016-08-23 Sony Corporation Enhanced information for viewer-selected video object
US20120240144A1 (en) 2011-03-17 2012-09-20 Anthony Rose Content provision
WO2012139240A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Next generation television with content shifting and interactive selectability
US8839303B2 (en) 2011-05-13 2014-09-16 Google Inc. System and method for enhancing user search results by determining a television program currently being displayed in proximity to an electronic device
JP2013016030A (ja) * 2011-07-04 2013-01-24 Mitsubishi Electric Corp 番組再生装置および番組再生方法
JP6029264B2 (ja) * 2011-07-07 2016-11-24 富士ゼロックス株式会社 転写装置及び画像形成装置
US20130036442A1 (en) * 2011-08-05 2013-02-07 Qualcomm Incorporated System and method for visual selection of elements in video content
US20110289532A1 (en) * 2011-08-08 2011-11-24 Lei Yu System and method for interactive second screen
KR101893151B1 (ko) 2011-08-21 2018-08-30 엘지전자 주식회사 영상 표시 장치, 단말 장치 및 그 동작 방법
US9317571B2 (en) 2011-08-26 2016-04-19 Google Inc. Third party content provider integrations
US9049496B2 (en) 2011-09-01 2015-06-02 Gracenote, Inc. Media source identification
WO2013040533A1 (en) 2011-09-16 2013-03-21 Umami Co. Second screen interactive platform
US9098533B2 (en) 2011-10-03 2015-08-04 Microsoft Technology Licensing, Llc Voice directed context sensitive visual search
KR101952170B1 (ko) * 2011-10-24 2019-02-26 엘지전자 주식회사 검색 방법을 채용한 휴대 전자 기기
US9866915B2 (en) 2011-11-28 2018-01-09 Excalibur Ip, Llc Context relevant interactive television
US9596515B2 (en) 2012-01-04 2017-03-14 Google Inc. Systems and methods of image searching
KR20130081595A (ko) * 2012-01-09 2013-07-17 삼성전자주식회사 디스플레이 장치, 원격 제어 장치 및 그 검색 방법
CN102868934B (zh) * 2012-08-01 2016-06-29 青岛海信传媒网络技术有限公司 基于智能电视的视频对象信息检索方法及装置
US8484017B1 (en) 2012-09-10 2013-07-09 Google Inc. Identifying media content
CN102833617B (zh) * 2012-09-20 2016-03-23 北京酷云互动科技有限公司 一种同步显示多媒体节目附属信息的方法、系统及终端
US20140255003A1 (en) 2013-03-05 2014-09-11 Google Inc. Surfacing information about items mentioned or presented in a film in association with viewing the film
US9384217B2 (en) 2013-03-11 2016-07-05 Arris Enterprises, Inc. Telestration system for command processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060077988A (ko) * 2004-12-30 2006-07-05 삼성전자주식회사 멀티미디어 통신 시스템에서 컨텍스트 추출 및 이를 통한정보 제공 시스템 및 방법
JP2010154415A (ja) * 2008-12-26 2010-07-08 Kddi Corp 映像関連情報提示装置、映像関連情報提示システムおよび映像関連情報提示装置の制御プログラム
KR20110125917A (ko) * 2010-05-14 2011-11-22 주식회사 코리아퍼스텍 휴대단말용 객체기반 콘텐츠 제공방법 및 장치
JP2011243204A (ja) * 2010-05-19 2011-12-01 Google Inc 番組コンテキストに基づくモバイルコンテンツの提示

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018124842A1 (ko) * 2017-01-02 2018-07-05 삼성전자 주식회사 컨텐트에 관한 정보를 제공하는 방법 및 디바이스
US10911833B2 (en) 2017-01-02 2021-02-02 Samsung Electronics Co., Ltd. Method and device for providing information on content

Also Published As

Publication number Publication date
US20170155964A1 (en) 2017-06-01
KR102128115B1 (ko) 2020-06-29
WO2014159578A1 (en) 2014-10-02
JP2016521390A (ja) 2016-07-21
US20140282660A1 (en) 2014-09-18
US9609391B2 (en) 2017-03-28
CN105122242A (zh) 2015-12-02
CA2908549C (en) 2021-05-25
JP6408551B2 (ja) 2018-10-17
US20160156986A1 (en) 2016-06-02
CA2908549A1 (en) 2014-10-02
EP2973037A1 (en) 2016-01-20
US9247309B2 (en) 2016-01-26

Similar Documents

Publication Publication Date Title
US9609391B2 (en) Methods, systems, and media for presenting mobile content corresponding to media content
US10992993B2 (en) Methods, systems, and media for presenting supplemental information corresponding to on-demand media content
US11743557B2 (en) Methods, systems, and media for presenting supplemental content relating to media content based on state information that indicates a subsequent visit to the content interface
US11941041B2 (en) Methods, systems, and media for presenting news items corresponding to media content
US10333767B2 (en) Methods, systems, and media for media transmission and management
EP3417382B1 (en) Methods, systems, and media for storing information associated with content presented on a media presentation device

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant