KR102310980B1 - 컨텍스트 정보에 기초하여 검색 결과들을 생성하기 위한 방법들, 시스템들 및 매체들 - Google Patents

컨텍스트 정보에 기초하여 검색 결과들을 생성하기 위한 방법들, 시스템들 및 매체들 Download PDF

Info

Publication number
KR102310980B1
KR102310980B1 KR1020167018931A KR20167018931A KR102310980B1 KR 102310980 B1 KR102310980 B1 KR 102310980B1 KR 1020167018931 A KR1020167018931 A KR 1020167018931A KR 20167018931 A KR20167018931 A KR 20167018931A KR 102310980 B1 KR102310980 B1 KR 102310980B1
Authority
KR
South Korea
Prior art keywords
query
media content
presented
media
content item
Prior art date
Application number
KR1020167018931A
Other languages
English (en)
Other versions
KR20160104635A (ko
Inventor
인그리드 맥어래이 트롤로프
앤트 오즈타스켄트
야로슬라브 볼로비치
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20160104635A publication Critical patent/KR20160104635A/ko
Application granted granted Critical
Publication of KR102310980B1 publication Critical patent/KR102310980B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/632—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/632—Query formulation
    • G06F16/634—Query by example, e.g. query by humming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

컨텍스트 정보에 기초하여 검색 결과들을 생성하기 위한 방법들, 시스템들 및 매체들이 제공된다. 일부 구현들에서, 검색 결과들을 제시하기 위한 방법이 제공되며, 상기 방법은 하드웨어 프로세서를 이용하여, 현재 제시되는 미디어에 관한 질의를 수신하는 단계와, 현재 제시되는 프로그램을 식별하는 단계와, 상기 식별된 프로그램과 관련된 복수의 키워드들을 식별하는 단계와, 상기 복수의 키워드들 중 상기 질의에 컨텍스트적으로 관련된 하나 이상의 키워드들을 결정하는 단계와, 상기 질의 및 상기 컨텍스트적으로 관련된 하나 이상의 키워드들에 기초하여 복수의 검색 결과들을 획득하는 단계와, 그리고 상기 복수의 검색 결과들 중 적어도 하나가 상기 사용자에게 제시되도록 하는 단계를 포함한다.

Description

컨텍스트 정보에 기초하여 검색 결과들을 생성하기 위한 방법들, 시스템들 및 매체들{METHODS, SYSTEMS, AND MEDIA FOR GENERATING SEARCH RESULTS BASED ON CONTEXTUAL INFORMATION}
[관련 출원의 상호 참조]
본 출원은 2014년 2월 26일자로 출원된 미국 특허 출원 제14/191,034호의 이득을 주장하고, 상기 미국 특허 출원은 2013년 12월 31일자로 출원된 미국 가특허 출원 제61/922,218호의 이득을 주장하며, 상기 출원들은 그 전체가 본 명세서에 참조로서 포함된다.
[기술분야]
컨텍스트 정보에 기초하여 검색 결과들을 생성하기 위한 방법들, 시스템들 및 매체들이 제공된다.
영화 또는 텔레비전 프로그램과 같은 프로그램을 시청할 때, 사용자들은 종종, 많은 다른 의문들 중에서도, 프로그램의 배우의 이름, 프로그램의 위치, 배우가 나온 다른 프로그램, 프로그램에 관한 세부사항들, 프로그램의 플롯과 같은 프로그램의 컨텐츠들에 관한 의문들을 가진다. 이러한 의문들에 대한 답을 발견하는 것은 종종, 프로그램의 이름을 알아내는 것, 프로그램 정보의 검색 엔진 또는 데이터베이스를 이용하여 프로그램에 관한 세부사항을 검색하는 것, 그리고 검색 결과들 또는 데이터베이스 엔티티들을 통해 조합하는 것과 같이 사용자가 복수의 단계들을 수행하는 것을 수반하는 바, 이들은 답을 알아내는 것을 시도하기 위한 사용자들의 의문에 관계가 없을 수 있다. 이는 사용자에게 시간 소모적인 절차일 수 있고, 사용자로 하여금 프로그램의 상당 부분을 놓치게 하거나 또는 그렇지 않으면 사용자의 뷰잉 경험을 방해하게 할 수 있다.
따라서, 컨텍스트 정보에 기초하여 검색 결과들을 생성하기 위한 새로운 방법들, 시스템들 및 매체들이 요구된다.
개시된 본 발명의 일부 구현들에 따르면, 컨텍스트 정보에 기초하여 검색 결과들을 생성하기 위한 메커니즘들이 제공된다.
개시된 본 발명의 일부 구현들에 따르면, 검색 결과들을 제시하기 위한 방법이 제공되며, 상기 방법은 하드웨어 프로세서를 이용하여 현재 제시되는 미디어에 관한 질의를 수신하는 단계와, 현재 제시되는 프로그램을 식별하는 단계와, 상기 식별된 프로그램과 관련된 복수의 키워드들을 식별하는 단계와, 상기 복수의 키워드들 중 상기 질의에 컨텍스트적으로 관련된 하나 이상의 키워드들을 결정하는 단계와, 상기 질의 및 상기 컨텍스트적으로 관련된 하나 이상의 키워드들에 기초하여 복수의 검색 결과들을 획득하는 단계와, 그리고 상기 복수의 검색 결과들 중 적어도 하나가 상기 사용자에게 제시되도록 하는 단계를 포함한다.
개시된 본 발명의 일부 구현들에 따르면, 검색 결과들을 제시하기 위한 시스템이 제공되는 바, 상기 시스템은 하드웨어 프로세서를 포함하며 상기 하드웨어 프로세서는, 현재 제시되는 미디어에 관한 질의를 수신하고, 현재 제시되는 프로그램을 식별하고, 상기 식별된 프로그램과 관련된 복수의 키워드들을 식별하고, 상기 복수의 키워드들 중 상기 질의에 컨텍스트적으로 관련된 하나 이상의 키워드들을 결정하고, 상기 질의 및 상기 컨텍스트적으로 관련된 하나 이상의 키워드들에 기초하여 복수의 검색 결과들을 획득하고, 그리고 상기 복수의 검색 결과들 중 적어도 하나가 상기 사용자에게 제시되도록 프로그램되어 있다.
개시된 본 발명의 일부 구현들에 따르면, 컴퓨터 실행가능 명령어들을 포함하는 비일시적 컴퓨터 판독가능 매체가 제공되며, 상기 명령어들은 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 검색 결과들을 제시하기 위한 방법을 수행하도록 하며, 상기 방법은, 현재 제시되는 미디어에 관한 질의를 수신하는 단계와, 현재 제시되는 프로그램을 식별하는 단계와, 상기 식별된 프로그램과 관련된 복수의 키워드들을 식별하는 단계와, 상기 복수의 키워드들 중 상기 질의에 컨텍스트적으로 관련된 하나 이상의 키워드들을 결정하는 단계와, 상기 질의 및 상기 컨텍스트적으로 관련된 하나 이상의 키워드들에 기초하여 복수의 검색 결과들을 획득하는 단계와, 그리고 상기 복수의 검색 결과들 중 적어도 하나가 상기 사용자에게 제시되도록 하는 단계를 포함한다.
개시된 본 발명의 일부 구현들에 따르면, 검색 결과들을 제시하기 위한 시스템이 제공되는 바, 상기 시스템은, 현재 제시되는 미디어에 관한 질의를 수신하기 위한 수단과, 현재 제시되는 프로그램을 식별하기 위한 수단과, 상기 식별된 프로그램과 관련된 복수의 키워드들을 식별하기 위한 수단과, 상기 복수의 키워드들 중 상기 질의에 컨텍스트적으로 관련된 하나 이상의 키워드들을 결정하기 위한 수단과, 상기 질의 및 상기 컨텍스트적으로 관련된 하나 이상의 키워드들에 기초하여 복수의 검색 결과들을 획득하기 위한 수단과, 그리고 상기 복수의 검색 결과들 중 적어도 하나가 상기 사용자에게 제시되게 하기 위한 수단을 포함한다.
일부 구현들에서, 상기 질의는 제1 디바이스로부터 수신되고, 상기 미디어는 제2 디바이스에 의해 제시되며, 상기 복수의 검색 결과들 중 적어도 하나는 상기 제1 디바이스에 의해 제시된다.
일부 구현들에서, 상기 시스템은 또한, 상기 제1 디바이스로부터 오디오 데이터(audio data)를 수신하기 위한 수단과, 상기 수신된 오디오 데이터의 제1 오디오 핑거프린트(fingerprint)가 복수의 프로그램들에 대응하는 오디오 핑거프린트들과 비교되도록 하기 위한 수단과, 그리고 상기 비교에 기초하여 상기 제1 오디오 핑거프린트에 대응하는, 상기 복수의 프로그램들 중 제1 프로그램의 신원을 수신하기 위한 수단을 더 포함하고, 현재 제시되는 프로그램은 상기 제1 프로그램의 수신된 신원에 기초하여 식별된다.
일부 구현들에서, 상기 시스템은 또한, 상기 제1 프로그램과 관련된 복수의 오디오 핑거프린트들과 상기 제1 오디오 핑거프린트와의 비교에 기초하여 현재 제시되는 제1 프로그램의 일부를 수신하기 위한 수단을 더 포함하고, 상기 제1 프로그램과 관련된 상기 복수의 오디오 핑거프린트들 각각은 상기 제1 프로그램의 특별한 부분에 대응한다.
일부 구현들에서, 상기 복수의 키워드들 중 상기 질의에 컨텍스트적으로 관련된 하나 이상의 키워드들을 결정하기 위한 수단은, 상기 복수의 키워드들 중 하나 이상이 현재 제시되는 상기 제1 프로그램의 일부와 관련됨을 결정하기 위한 수단을 포함한다.
일부 구현들에서, 상기 복수의 키워드들을 식별하기 위한 수단은, 프로그램과 관련된 키워드들에 대해 복수의 프로그램과 관련된 키워드들의 데이터베이스에 질의하기 위한 수단과, 그리고 상기 데이터베이스 질의에 응답하여 상기 키워드들의 데이터베이스로부터 프로그램과 관련된 키워드들을 수신하기 위한 수단을 포함한다.
일부 구현들에서, 상기 질의에 컨텍스트적으로 관련된 복수의 키워드들 중 하나 이상을 결정하기 위한 수단은, 자연어 프로세싱(natural language processing)을 이용하여 상기 복수의 키워드들 중 하나 이상이 상기 질의의 적어도 일부에 대응하는(responsive) 타입을 가짐을 결정하기 위한 수단을 포함한다.
일부 구현들에서, 키워드들은 프로그램에 나타나는 관심의 대상(object)들에 대응한다.
개시된 본 발명의 다양한 목적들, 특징들 및 장점들이 다음의 도면들과 연계하여 고려될 때 개시된 본 발명의 하기 상세한 설명을 참조하여 더욱 충분히 이해될 수 있으며, 도면들에서 유사한 도면 부호들은 유사한 요소들을 식별한다.
도 1은 개시된 본 발명의 일부 구현들에 따른 컨텍스트 정보에 기초하여 검색 결과들을 생성하기 위한 프로세스의 예를 도시한다.
도 2는 개시된 본 발명의 일부 구현들에 따른 텔레비전 프로그램과 같은 미디어 컨텐츠를 제공하는 디바이스 및 모바일 디바이스의 예시적인 예를 도시마며, 상기 모바일 디바이스는 검색 질의를 수신할 시, 질의 및 텔레비전 프로그램에 기초하여 검색 결과들을 제공한다.
도 3은 개시된 본 발명의 일부 구현들에 따른 컨텍스트 정보에 기초하여 검색 결과들을 생성하기 위한 본 명세서에 기술되는 메커니즘들의 구현들에 적절한 예시적인 시스템의 개략도를 도시한다.
도 4는 개시된 본 발명의 일부 구현들에 따라 이용될 수 있는 서버 및 도 3의 컴퓨팅 디바이스들 중 하나의 세부적인 예를 도시한다.
도 5는 개시된 본 발명의 일부 구현들에 따른 컨텍스트 정보에 기초하여 검색 결과들을 생성하기 위한 흐름의 예를 도시한다.
개시된 본 발명의 일부 구현들에 따른 컨텍스트 정보에 기초하여 검색 결과들을 생성하기 위한 메커니즘들이 제공된다.
일부 구현들에서, 본 명세서에 기술된 메커니즘들은 현재 제시되는 미디어 컨텐츠에 관한 질의를 수신할 수 있다. 예를 들어, 메커니즘들은 스마트폰으로부터 질의를 수신할 수 있고, 상기 질의는 상기 스마트폰의 위치에서 현재 제시되는 미디어 컨텐츠에 관련된다. 더욱 특별한 예에서, 상기 질의는 문구 "내가 어디에서 지금 TV에 나오는 그 캐릭터에 대해 알 수 있는가?"를 포함할 수 있다.
일부 구현들에서, 질의와 연계하여, 본 명세서에 기술된 메커니즘들은 현재 제시되는 미디어 컨텐츠에 관한 미디어 데이터를 수신할 수 있다. 예를 들어, 메커니즘들은 스마트폰에 의해 레코딩된 오디오에 기초하여 오디오 데이터 및/또는 오디오 핑거프린트를 수신할 수 있다. 일부 구현들에서, 이 미디어 데이터는 현재 제시되는 프로그램을 식별하기 위해 본 명세서에 기술된 메커니즘들에 의해 이용될 수 있다. 무엇이 제시되는지에 관한 정보가 프로그램의 신원에 기초하여 본 명세서에 기술된 메커니즘들에 의해 결정될 수 있다. 예를 들어, 오디오 핑거프린트는 제시되는 프로그램의 부분을 결정하기 위해 이용될 수 있고, 프로그램의 그 부분 동안 비디오 데이터에 나타나는 배우들(또는 캐릭터들)의 신원이 그 부분에 기초하여 결정될 수 있다. 이 정보(예컨대, 어느 배우들이 비디오 데이터에 제시되는지)는 일부 구현들에서, 질의에 대응하는 검색 결과들을 획득함에 있어서 본 명세서에서 기술되는 메커니즘들에 의해 이용될 수 있다. 추가적으로, 일부 구현들에서, 본 명세서에 기술된 메커니즘들은 질의에 대응하는 검색 결과들을 획득함에 있어서 질의로부터의 컨텍스트 정보를 이용할 수 있다.
일부 구현들에서, 본 명세서에 기술된 메커니즘들은 검색 결과들이 사용자에게 제시되도록 할 수 있다. 예를 들어, 본 명세서에 기술된 메커니즘들은 스마트폰으로부터 질의 "내가 어디에서 지금 TV에 나오는 그 캐릭터에 대해 알 수 있는가?" 및 상기 스마트폰에 의해 레코딩된 오디오 데이터를 수신할 수 있다. 본 명세서에 기술된 메커니즘들은 오디오에 대응하는 프로그램이 "프로그램 Z"임과 오디오가 사람들 "배우 A" 및 "배우 B"가 비디오 데이터에서 나타나는 프로그램의 부분에 대응함음 결정할 수 있다. 상기 질의의 컨텍스트에 기초하여, 본 명세서에 기술된 메커니즘들은 질의가 프로그램의 식별된 부분 동안 비디오 데이터에 나타나는 사람에 관계됨과 질의가 그 사람이 출현한 다른 것에 관계됨을 결정할 수 있다. 본 명세서에 기술된 메커니즘들은 질의가 어느 사람을 향한 것인지를 결정할 수 없는 경우, "배우 A" 및 "배우 B" 모두가 출현한 것에 대한 검색 결과들을 획득할 수 있다. 그 다음, 메커니즘들은 검색 결과들이 스마트폰에 의해 제시되게 할 수 있다. 예를 들어, 검색 결과들은 배우의 이름들(예컨대, "배우 A", "배우 B", 등등), 배우들의 이미지, (예컨대, 연대순으로, 인기도에 의해, 또는 기타등등에 의해 정리되는) 이들이 출현한 것, 그리고/또는 어떤 다른 적절한 정보를 포함할 수 있다.
도 1로 돌아가서, 컨텍스트 정보에 기초하여 검색 결과들을 생성하기 위한 프로세스의 예(100)가 개시된 본 발명의 일부 구현들에 따라 도시된다. 도 1에 도시된 바와 같이, 프로세스(100)는 단계(102)에서, 질의가 현재 제시되는 미디어에 관한 것임을 나타내는 표시와 함께 사용자로부터의 질의를 수신함으로써 시작될 수 있다. 상기 질의는 어떤 적절한 기법 또는 기법들을 이용하여 수신될 수 있다. 예를 들어, 일부 구현들에서, 프로세스(100)는 질의를 구성(compose)하기 위해 이용된 컴퓨팅 디바이스로부터 상기 질의를 수신할 수 있다. 상기 질의는 어떤 적절한 기법 또는 기법들을 이용하여 상기 컴퓨팅 디바이스에 의해 구성될 수 있다. 예를 들어, 상기 질의는 스마트폰, 태블릿 컴퓨터, 웨어러블 컴퓨터, 랩탑 컴퓨터, 등등과 같은 컴퓨팅 디바이스 상의 웹 브라우져를 이용하여 액세스되는 검색 엔진과 관련된 검색 필드에 구성될 수 있다. 다른 예로서, 상기 질의는 컴퓨팅 디바이스 상에 인스톨된 검색 어플리케이션(예컨대, 일반적인 기능의 웹 브라우져가 아닌 어플리케이션)을 이용하여 액세스되는 검색 엔진과 관련된 검색 필드에 구성될 수 있다. 또다른 예로서, 상기 질의는 현재 제시되는 미디어 컨텐츠에 관한 정보를 발견하고 제시하기 위한 어플리케이션과 관련된 검색 필드에 구성될 수 있다. 더욱 특별한 예에서, 상기 질의는, 오디오 데이터를 수신하고 현재 제시되는 미디어를 식별하기 위해 이 오디오 데이터를 이용하는 오디오 핑거프린팅 어플리케이션의 검색 필드에 구성될 수 있다. 또다른 예로서, 상기 질의는 컴퓨팅 디바이스 상에서 실행되는 (일부 구현들에서 배경(background)에서 실행될 수 있는) 운영 체제 또는 다른 어플리케이션에 의해 구성될 수 있고, 이들은 검색 결과들을 획득하기 위해 질의를 해석하여 검색 엔진 또는 기타 등등과 통신할 수 있다.
일부 구현들에서, 검색 질의는 어떤 적절한 기법을 이용하여 구성될 수 있다. 예를 들어, 질의를 구성하기 위해 이용되는 디바이스는 질의의 텍스트를 입력하기 위한 키보드 또는 어떤 다른 적절한 디바이스를 이용하여 사용자에 의해 입력되는 텍스트를 수신할 수 있다. 다른 예로서, 질의를 구성하는 디바이스는 (예컨대, 질의를 말하는 사용자에 의한) 오디오를 수신할 수 있고, (예컨대, 단어들을 추출하고 그 단어들에 기초하여 질의를 생성하기 위해 오디오를 프로세싱함으로써) 오디오에 기초하여 질의를 구성할 수 있다.
일부 구현들에서, 프로세스(100)는 어떤 적절한 기법 또는 기법들을 이용하여 질의가 현재 제시되는 미디어에 관한 것임을 나타내는 표시를 수신할 수 있다. 예를 들어, 단계(102)에서 수신되는 질의는 이 질의가 현재 제시되는 미디어에 관한 것임을 나타내는 표시를 포함할 수 있다. 더욱 특별한 예에서, 질의는 "지금 TV에 나오는", "이 쇼(show)", "이 영화", "지금 상영 중인(on screen now)", 및/또는 질의에 대한 답이 현재 제시되는 미디어에 관한 것임을 나타내는 어떤 다른 문구와 같은 문구를 포함할 수 있다. 일부 구현들에서, 상기 질의는 현재 제시되는 미디어 컨텐츠에 관한 질의를 개시하기 위한 특별한 문구(또는 특별한 문구의 근접한 변형)를 포함해야만 한다.
다른 예로서, 단계(102)에서 수신된 질의는 현재 제시되는 미디어에 관한 질의들을 구성하도록 프로그래밍된 어플리케이션 또는 웹 페이지로부터 수신될 수 있다. 이러한 예에서, 프로세스(100)는 질의가 기원된 어플리케이션 및/또는 웹 페이지에 기초하여, 질의가 현재 제시되는 미디어에 관한 것임을 결정할 수 있다.
단계(104)에서, 프로세스(100)는 현재 제시되는 미디어에 대응하는 제1 미디어 데이터를 수신할 수 있다. 일부 구현들에서, 프로세스(100)는 현재 제시되는 프로그램의 오디오 데이터를 포함하는 오디오 데이터를 수신할 수 있다. 예를 들어, 단계(102)에서 수신된 질의를 구성하기 위해 이용되는 컴퓨팅 디바이스는 미디어 컨텐츠를 현재 제시하는 디바이스에 의해 제시되는 미디어 컨텐츠의 오디오의 일부를 레코딩할 수 있다. 이 오디오는 프로세스(100)를 실행하는 디바이스에 의해 수신될 수 있다. 다른 예로서, 프로세스(100)는 제시되는 미디어 컨텐츠로부터 레코딩된 오디오 데이터의 일부에 기초하여 생성된 미디어 데이터에 대한 오디오 핑거프린트를 수신할 수 있다. 이러한 예에서, 오디오 핑거프린트는 질의를 구성하기 위해 이용되는 디바이스 또는 오디오 데이터로부터 오디오 핑거프린트를 생성하기 위한 프로세스를 실행하는 서버와 같은 다른 디바이스에 의해 생성될 수 있다.
일부 구현들에서, 프로세스(100)는 현재 제시되는 미디어 컨텐츠와 관련된 메타데이터를 수신할 수 있다. 예를 들어, 프로세스(100)는 현재 제시되는 미디어 컨텐츠와 관련된 전자 프로그램 가이드 데이터를 수신할 수 있다. 다른 예로서, 프로세스(100)는 프로그램과 관련된 메타데이터(예컨대, 컨텐츠 제공자로부터 프로그램과 함께 전송된 메타데이터)를 수신할 수 있다.
일부 구현들에서, 프로세스(100)는 현재 제시되는 미디어 컨텐츠의 이미지 데이터의 적어도 일부를 포함하는 이미지 데이터를 수신할 수 있다. 이 이미지 데이터는 예컨대, 단계(102)에서 수신되는 질의를 구성하기 위해 이용되는 디바이스에 의해 캡쳐되는 미디어 컨텐츠의 비디오 데이터를 포함할 수 있다. 예를 들어, 단계(102)에서 수신되는 질의를 구성하기 위해 이용되는 컴퓨팅 디바이스는 미디어 컨텐츠를 제시하는 디바이스에 의해 제시되는 미디어 컨텐츠의 비디오의 일부를 레코딩할 수 있다. 이 비디오는 프로세스(100)를 실행하는 디바이스에 의해 수신될 수 있다. 다른 예로서, 프로세스(100)는 제시되는 미디어 컨텐츠로부터 생성되는 비디오 데이터의 일부로부터 생성되는 미디어 컨텐츠에 대한 비디오 핑거프린트를 수신할 수 있다. 이러한 예에서, 비디오 핑거프린트는 질의를 구성하기 위해 이용되는 디바이스 또는 비디오 데이터로부터 비디오 핑거프린트를 생성하기 위한 프로세스를 실행하는 서버와 같은 다른 디바이스에 의해 생성될 수 있다.
일부 구현들에서, 프로세스(100)는 제시되는 미디어 컨텐츠에 관한 정보를 수신할 수 있고 이 정보는 미디어 컨텐츠에 관한 다양한 정보를 포함할 수 있다. 예를 들어, 미디어 컨텐츠에 관한 데이터는 서비스 제공자 - 이 서비스 제공자로부터 컨텐츠가 수신됨 -, 컨텐츠가 제시된 채널, 컨텐츠가 제시된 시간, 컨텐츠의 제목 및/또는 제시되는 미디어 컨텐츠에 관한 어떤 다른 적절한 데이터를 포함할 수 있다. 일부 구현들에서, 미디어 컨텐츠에 관한 데이터는 단계(102)에서 질의를 구성하기 위해 이용된 컴퓨팅 디바이스로부터 수신될 수 있고, 상기 컴퓨팅 디바이스는 어떤 적절한 기법을 이용하여 데이터를 생성할 수 있다. 예를 들어, 질의를 구성하기 위해 이용된 컴퓨팅 디바이스는, 프로그램을 식별하기 위해 오디오 데이터를 캡쳐(그리고/또는 오디오 핑거프린트를 생성)하고 그리고 상기 오디오 데이터에 기초하여 미디어 데이터를 식별하기 위한 서비스를 이용함으로써 프로그램을 식별할 수 있다. 이러한 서비스는 식별된 프로그램의 프로그램 데이터를 제공할 수 있다. 다른 예로서, 질의를 구성하기 위해 이용된 컴퓨팅 디바이스는 컨텐츠 제공자(예컨대, 케이블, 위성 또는 컨텐츠를 제공한 텔레폰 제공자, 또는 컨텐츠가 안테나를 통해 브로드캐스트로서 수신되었는지), 프로그램이 제시되는 그리고/또는 제시된 채널(예컨대, 컨텐츠 제공자의 채널), (컨텐츠 제공자로부터 현재 수신되고 제시되는 컨텐츠에 대한 현재 시간일 수 있는) 컨텐츠가 제시된 날짜 및/또는 시간, 등등과 같이 현재 제시되는 미디어 컨텐츠에 관한 정보를 입력하도록 사용자에게 프롬프트할 수 있다.
단계(106)에서, 프로세스(100)는 단계(104)에서 수신되는 제1 미디어 데이터에 기초하여 제시되는 프로그램을 식별할 수 있다. 어떤 적절한 기법 또는 기법들은 미디어 데이터를 식별하기 위해 이용될 수 있다. 예를 들어, 일부 구현들에서, 단계(104)에서 수신되는 오디오 데이터는 현재 제시되는 미디어 컨텐츠에 대한 오디오 핑거프린트를 생성하기 위해 이용될 수 있다. 이 오디오 핑거프린트는 특별한 미디어 컨텐츠에 대응하는 것으로 알려진 오디오 핑거프린트들에 비교될 수 있고, 현재 제시되는 미디어 컨텐츠는 상기 비교에 기초하여 식별될 수 있다. 다른 예로서, 단계(104)에서 수신되는 오디오 핑거프린트는 (예컨대, 오디오를 수신하고 수신된 오디오에 기초하여 오디오 핑거프린트를 생성하기 보다는) 미디어 컨텐츠를 식별하기 위해 이용될 수 있다. 또다른 예로서, 단계(104)에서 수신된 전자 프로그램 가이드 정보 및/또는 메타데이터는 특별한 미디어 컨텐츠에 대응하는 것으로 알려진 전자 프로그램 가이드 정보 및/또는 메타데이터에 비교될 수 있고, 현재 제시되는 미디어 컨텐츠는 상기 비교에 기초하여 식별될 수 있다. 또다른 예로서, 단계(104)에서 수신된 이미지 데이터, 비디오 데이터 및/또는 비디오 핑거프린트 데이터는 특별한 미디어 컨텐츠에 대응하는 것으로 알려진 유사한 데이터와 비교될 수 있고, 현재 제시되는 미디어 컨텐츠는 상기 비교에 기초하여 식별될 수 있다. 더욱 특별한 예에서, 단계(104)에서 수신되는 이미지 데이터는 바코드, QR 코드 및/또는 정보를 시각적으로 인코딩하기 위한 어떤 다른 적절한 타입의 시각적 코드와 같은 코드를 포함할 수 있다. 다른 더욱 특별한 예로서, 단계(104)에서 수신된 이미지 데이터 및/또는 비디오 데이터는 속기로(stegenographically) 인코딩된 데이터를 포함할 수 있고, 프로세스(100)는 이 인코딩된 데이터로 하여금 이미지 데이터 및/또는 비디오 데이터로부터 추출되도록 한다. 추가의 예로서, 단계(104)에서 수신된 프로그램에 관한 데이터는 현재 제시되는 미디어 컨텐츠를 식별하기 위해 이용될 수 있고 그리고/또는 특별한 미디어 컨텐츠에 대응하는 것으로 알려진 프로그램 데이터와 비교될 수 있으며, 현재 제시되는 미디어 컨텐츠는 이 비교에 기초하여 식별될 수 있다.
일부 구현들에서, 프로세스(100)는 알려진 프로그램들에 대응하는 미디어 데이터(예컨대, 오디오 핑거프린트들, 메타데이터, 비디오 핑거프린트들 및/또는 어떤 다른 적절한 미디어 데이터)의 데이터베이스에 액세스할 수 있다. 예를 들어, 단계(106)에서 현재 제시되는 미디어를 식별하기 위하여, 프로세스(100)는 단계(104)에서 수신된 오디오 핑거프린트를 알려진 프로그램들에 대응하는 데이터베이스 내의 오디오 핑거프린트들과 비교하기 위해 데이터베이스에 액세스할 수 있다.
일부 구현들에서, 프로세스(100)는 현재 제시되는 미디어에 대응하는 프로그램의 부분을 식별할 수 있다. 예를 들어, 미디어 데이터의 데이터베이스는 현재 제시되는 미디어에 대응하는 프로그램의 특별한 부분을 식별할 수 있다. 더욱 특별한 예에서, 프로그램으로부터 생성된 오디오 핑거프린트는 오디오 핑거프린트에 대응하는 오디오 데이터를 갖는 프로그램의 부분과 관련될 수 있다. 도 3과 연계하여 하기에 기술되는 바와 같이, 오디오 핑거프린트들은 컨텐츠 소스로부터 수신되는 프로그램의 오디오로부터 생성될 수 있다. 이 오디오 핑거프린트들 각각은 오디오 핑거프린트에 대응하는 오디오를 가지는 프로그램의 부분과 관련될 수 있다. 이 오디오 핑거프린트들은 예컨대, 오디오 핑거프린트와 대응하는 프로그램 및 프로그램의 부분을 식별하는 정보와 연계하여 오디오 핑거프린트들의 데이터베이스에 저장될 수 있다. 알려진 프로그램들의 오디오 핑거프린트들의 데이터베이스와 현재 제시되는 미디어의 오디오 핑거프린트를 비교할 시, 프로세스(100)는 현재 제시되는 미디어에 대응하는 프로그램뿐만 아니라 현재 제시되는 미디어에 대응하는 프로그램의 부분을 식별할 수 있다. 일부 구현들에서, 프로그램의 부분은 타이밍 정보(예컨대, 오디오 핑거프린트에 대응하는 오디오를 가지는 프로그램 내의 시간)을 이용하여 식별될 수 있다.
일부 구현들에서, 현재 제시되는 미디어 컨텐츠에 대응하는 프로그램의 부분은 비디오 핑거프린트들, 전자 프로그램 가이드 데이터, 프로그램의 메타데이터, 프로그램을 제시하는 디바이스로부터의 타이밍 정보, 현재 제시되는 미디어 컨텐츠를 식별하기 위한 서비스로부터의 타이밍 정보, 등등과 같은 (예컨대, 오디오 프린트 이외의) 어떤 다른 적절한 정보를 이용하여 결정될 수 있다.
단계(108)에서, 프로세스(100)는 단계(106)에서 식별되는 프로그램과 관련된 키워드들을 식별할 수 있다. 일부 구현들에서, 키워드들은 프로그램으로부터의 엔티티들 및/또는 프로그램 자체에 대응하고 이들을 대표(represent)할 수 있다. 예를 들어, 키워드들은 사람들, 장소들, 이벤트들, 물체들, 생명체들, 로고들, 특성들, 특징들, 플롯들, 음악, 특이한 또는 과학적 단어들, 제품들, 브랜드들 및/또는 프로그램과 관련된 어떤 다른 적절한 엔티티를 포함할 수 있다. 이 키워드들은 다양한 방식들로 프로그램과 관련될 수 있다. 예를 들어, 사람 또는 랜드마크의 이미지가 프로그램과 관련된 비디오 데이터에 포함될 수 있다. 다른 예로서, 사람 또는 이벤트가 프로그램에서 언급될 수 있다(예컨대, 사람들의 이름들 또는 이벤트를 식별하는 단어들이 프로그램과 관련된 오디오 데이터 및/또는 자막 데이터에 포함될 수 있다). 또다른 예로서, 프로그램과 관련된 비디오 데이터에 포함된 텍스트를 통해 그리고/또는 프로그램과 관련된 오디오 데이터를 통해 장소가 프로그램에서 식별될 수 있다. 또다른 예로서, 키워드들이 메타데이터, 전자 프로그램 가이드 데이터 및/또는 프로그램과 관련된 어떤 다른 텍스트와 같은 프로그램과 관련된 텍스트에 포함될 수 있다. 주목할 점으로서, 상기 언급된 것들은 단지 예시들일 뿐이며, 키워드들이 많은 서로 다른 방식들로 프로그램과 관련될 수 있음이 인지된다.
도 3과 연계하게 하기에 기술되는 바와 같이, 어떤 적절한 기법 또는 기법들이 식별된 프로그램과 특별한 키워드들을 관련시키기 위해 이용될 수 있다. 예를 들어, 일부 구현들에서, 키워드들은 전자 프로그램 가이드 데이터에 기초하여, 메타데이터로부터 추출된 프로그램의 캐스트에 기초하여 프로그램과 관련될 수 있고 그리고/또는 프로그램의 제목을 이용하여 검색될 수 있는 프로그램에 대한 캐스트 정보(또는 프로그램에 관한 어떤 다른 적절한 정보)의 데이터베이스를 검색함으로써 발견될 수 있다. 다른 예로서, 키워드들은 프로그램과 관련된 비디오 데이터로부터의 하나 이상의 스크린샷들에 포함된 사람들을 식별하기 위해 안면 인식 기법들에 기초하여 프로그램과 관련될 수 있다. 또 다른 예로서, 키워드들은 프로그램과 관련된 비디오 데이터로부터 추출된 하나 이상의 스크린샷들에 포함된 랜드마크들을 식별하기 위해 이미지 인식 기법들에 기초하여 프로그램과 관련될 수 있다. 또다른 예로서, 키워드들은 프로그램과 관련된 비디오 데이터로부터 추출된 하나 이상의 스크린샷들에 포함된 키워드들을 식별하기 위해 광학 문자 인식 기법들에 기초하여 프로그램과 관련될 수 있다.
일부 구현들에서, 키워드들은 프로그램의 특별한 부분과 관련될 수 있다. 예를 들어, 프로그램에 나타난 사람의 신원은 키워드일 수 있고, 사람이 프로그램에 나타낼 때의 부분 또는 부분들이 그 키워드와 관련될 수 있다. 동일한 사람이 또한 프로그램의 캐스트 멤버인 경우, 그 사람에 대한 키워드는 또한 프로그램 전체와 관련되며, 프로그램의 어떤 특별한 부분이 그 키워드와 관련되는 것이 아닐 수 있다. 다른 예로서, 메타데이터 또는 전자 프로그램 가이드 데이터에서 나타나는 키워드들은, 또한 프로그램의 특별한 부분과 관련됨이 없이 프로그램과 관련될 수 있다. 또다른 예로서, 프로그램에 나타나는 텍스트는 그 텍스트가 비디오 데이터, 오디오 데이터, 자막 데이터, 등등에 나타나는 프로그램의 부분과 관련될 수 있다.
일부 구현들에서, 프로그램과 관련된 키워드들은 다양한 프로그램들과 연계하여 예컨대 키워드 데이터의 데이터베이스에 저장될 수 있다. 일부 구현들에서, 프로그램의 컨텍스트에서 키워드에 대응하는 엔티티의 타입은 키워드와 관련될 수 있다. 예를 들어, 키워드가 프로그램에 나타나는 사람에 대응하는 경우, 키워드는 사람 키워드, 캐스트 키워드, 등등으로서 식별될 수 있다. 다른 예로서, 키워드가 프로그램에 나타나는 빌딩 또는 랜드마크에 대응하는 경우, 키워드는 빌딩, 키워드, 랜드마크 키워드, 등등으로서 식별될 수 있다. 일부 구현들에서, 프로세스(100)는 단계(106)에서 식별된 프로그램과 관련된 키워드들을 식별하기 위해 단계(108)에서 키워드 데이터베이스에 액세스할 수 있다.
단계(110)에서, 프로세스(100)는 질의와 컨텍스트적으로 관련된 그리고/또는 단계(104)에서 수신되는 제1 미디어 데이터와 컨텍스트적으로 관련된 식별된 키워드들 중 하나 이상을 결정할 수 있다. 일부 구현들에서, 프로세스(100)는 자연어 프로세싱을 이용하여 특별한 키워드가 질의와 컨텍스트적으로 관련되는지를 결정할 수 있다. 예를 들어, 질의가 문구 "누구" 또는 유사한 문구를 포함하는 경우, 프로세스(100)는 컨텍스트적으로 관련된 키워드들이 사람들에 대응하는 키워드들임을 결정할 수 있다. 다른 예로서, 질의가 문구 "TV에 나오는 저 사람이 또 어디에 출현했는가?"를 포함하는 경우, 프로세스(100)는 컨텍스트적으로 관련된 키워드들이 사람들에 대응하는 키워드들임을 결정할 수 있는 바, 그 이유는 질의가 현재 제시되는 미디어 내의 사람이 식별되어야 함을 요하기 때문이다. 또 다른 예로서, 질의가 문구 "언제"를 포함하는 경우, 프로세스(100)는 컨텍스트적으로 관련된 키워드들이 시간에 대응하는 키워드들임을 결정할 수 있다. 관련된 키워드들의 타입을 결정하기 위해 어떤 적절한 기법이든 이용될 수 있다. 예를 들어, 어떤 적절한 자연어 프로세싱은 어떤 타입의 키워드들이 질의에 컨텍스트적으로 관련되는지를 결정하기 위해 본 명세서에 기술된 메커니즘들에 의해 이용될 수 있다. 일부 구현들에서, 질의는 자연어 프로세싱을 수행하고 질의의 컨텍스트를 결정하기 위해 자연어 프로세싱 서버에 제출될 수 있다.
일부 구현들에서, 프로세스(100)는 단계(104)에서 수신되는 제1 미디어 데이터에 기초하여 특별한 키워드가 질의에 컨텍스트적으로 관련되는지를 결정할 수 있다. 예를 들어, 단계(106)과 연계하여 상기에 기술되는 바와 같이, 제1 미디어 데이터는 현재 제시되는 미디어에 대응하는 프로그램의 부분을 결정하기 위해 이용될 수 있다. 일부 구현들에서, 질의의 컨텍스트에 기초하여, 프로세스(100)는 질의가 시간에 민감한(time-sensitive) 질의인지를 결정할 수 있다. 예를 들어, 시간에 민감한 질의가 전체적인 프로그램보다는 현재 제시되는 어떤 것에 관계될 수 있다. 더욱 특별한 예에서, "지금 TV에 나오는 것은 누구인가?"는 시간에 민감한 질의일 수 있고, "이 영화는 언제 나온 것인가?"는 시간에 민감하지 않을 수 있는 바, 그 이유는 이 문구가 프로그램에 전체적으로 적용되며 현재 제시되는 프로그램의 일부에 적용되는 것이 아니기 때문이다.
일부 구현들에서, 단계(108)에서 프로그램과 관련된 키워드들을 식별하고 단계(110)에서 컨텍스트적으로 관련된 키워드들을 식별하기 보다는, 프로세스(100)는 질의의 컨텍스트 및/또는 제1 미디어 데이터를 결정하고, 키워드들을 식별할 때 이 컨텍스트를 이용할 수 있다. 예를 들어, 프로세스(100)는 제1 미디어 데이터가 프로그램의 특별한 부분에 대응함을 결정할 수 있고 그 다음, 특별한 부분에 대응하는 또는 프로그램에 일반적으로 대응하는(예컨대, 프로그램의 어떤 특별한 부분에 대응하는 것이 아닌) 키워드들만을 식별할 수 있다. 다른 예로서, 프로세스(100)는 질의가 사람에 관련됨을 결정할 수 있고, (예컨대, 랜드마크들, 장소들, 등등에 대응하는 키워드들이 아닌) 사람들에 대응하는 키워드들만을 식별할 수 있다.
단계(112)에서, 프로세스(100)는 질의 적어도 일부 및 단계(110)에서 식별된 컨텍스트적으로 관련된 키워드들에 기초하여 검색 결과들을 획득할 수 있다. 일부 구현들에서, 프로세스(100)는 단계(102)에서 수신된 질의 및 단계(110)에서 식별된 컨텍스트적으로 관련된 키워드들 중 적어도 하나에 컨텍스트적으로 관련된 검색 결과들을 획득하기 위해 검색 엔진에 액세스할 수 있다. 예를 들어, 질의가 "TV에 나오는 저 사람은 누구인가"와 같이 현재 제시되는 비디오에 포함된 사람에 관한 것인 경우, 프로세스(100)는 질의 및 단계(110)에서 식별된 컨텍스트적으로 관련된 키워드들(예컨대, 현재 제시되는 프로그램의 부분과 관련된 캐스트 멤버들)을 이용하여 검색 엔진에 액세스할 수 있다. 일부 구현들에서, 단계(110)에서 식별된 컨텍스트적으로 관련된 키워드들은 검색에 관한 제약으로서 검색 엔진에 패스될 수 있다. 예를 들어, 검색 엔진은, 오직 컨텍스트적으로 관련된 키워드들에 관한 검색 결과들을 결정하기 위해 제약될 수 있다.
일부 구현들에서, 검색 결과들은 이미지, 키워드에 관한 디스크립티브 정보(예컨대, 캐스트 멤버에 관한 전기적 정보(biographical information), 랜드마크에 관한 배경정보, 등등) 및/또는 키워드에 관한 어떤 다른 관련 정보와 같은 단계(110)에서 식별된 컨텍스트적으로 관련된 키워드들을 관한 정보를 포함할 수 있다.
단계(114)에서, 프로세스(100)는 컨텍스트적으로 관련된 키워드들 및/또는 상기 컨텍스트적으로 관련된 키워드들 중 하나 이상과 관련된 정보로부터의 검색 결과들 중 하나 이상이 제시되도록 할 수 있다. 일부 구현들에서, 어떤 적절한 수의 검색 결과들이 질의에 응답하여 제시될 수 있다. 예를 들어, 단계(110)에서 식별되는 컨텍스트적으로 관련된 키워드들 각각에 대한 검색 결과들은 사용자에게 제시될 수 있다. 다른 예로서, 검색 결과들 각각은 특별한 결과가 질의에 관계될 확률을 나타내는 신뢰 파라미터(confidence parameter)(및/또는 어떤 다른 적절한 파라미터)와 관련될 수 있다. 이러한 예에서, 임계 신뢰치를 초과하는 신뢰 파라미터를 갖는 검색 결과들만이 제시될 수 있고 그리고/또는 최고 임계 파라미터들을 갖는 미리 결정된 수의 검색 결과들이 제시될 수 있다.
일부 구현들에서, 프로세스(100)는 질의를 구성하고 전송한 디바이스에 결과들을 전송함으로써 검색 결과들이 제시되게 할 수 있다. 예를 들어, 질의가 모바일 컴퓨팅 디바이스 상에서 구성되고 웹 브라우져를 이용하여 전송된 경우, 프로세스(100)는 상기 모바일 디바이스에 결과들을 전송할 수 있고, 상기 모바일 디바이스는 또한, 웹 브라우져(또는 어떤 다른 적절한 어플리케이션)를 이용하여 모바일 디바이스의 디스플레이 상에 검색 결과들을 제시할 수 있다.
일부 구현들에서, 단계(114)에서 제시되도록 된 검색 결과들은 검색 결과들과 관련된 키워드에 대한 추가 정보로의 하이퍼링크를 포함할 수 있다. 예를 들어, 배우에 대한 검색 결과는 그 배우에 관한 전기적 정보를 포함하는 웹 페이지로의 링크를 포함할 수 있다. 다른 예로서, 배우에 관한 검색 결과는 그 배우가 출현한 다른 프로그램에 관한 정보를 포함하는 웹 페이지로의 링크를 포함할 수 있다.
도 2는 미디어 컨텐츠를 제시하는 디바이스 및 미디어 컨텐츠에 관한 질의를 구성하기 위해 이용되는 디바이스의 일례를 도시한다. 도 2에 도시된 바와 같이, 디스플레이(204)를 갖는 미디어 플레이백 디바이스(202)는 디스플레이(204) 및 스피커(미도시)를 이용하여 영화와 같은 미디어 컨텐츠를 제시할 수 있다.
미디어 플레이백 디바이스(202)에 의해 현재 제시되는 미디어는 다른 것들 중에서도 사람(206) 및 랜드마크(208)를 보여주는 비디오를 포함할 수 있다. 예를 들어, 단계(108)와 연계하여 상기에 기술되는 바와 같이, 사람(206) 및 랜드마크(208)의 신원은 프로그램(예컨대, "파리에 관한 영화(Movie About Paris)") 및 프로그램의 특별한 부분(예컨대, 시간 0:18:13과 관련된 부분)과 관련된 키워드들일 수 있다. 미디어 플레이백 디바이스(202)에 의해 현재 제시되는 미디어는 또한, 대화(dialogue), 사운드트랙, 배경 잡음, 등등과 같은 오디오를 포함할 수 있다.
일부 구현들에서, 도 2에 도시된 바와 같이, 모바일 디바이스(210)는 검색을 수행할 시 이용될 질의를 구성하기 위해 사용자 인터페이스(212)를 제시할 수 있다. 예를 들어, 모바일 디바이스(210) 상에서 실행되는 웹 브라우져는 질의가 구성될 수 있는 검색 필드(214)를 가지는 검색 엔진 웹 페이지에 액세스하기 위해 이용될 수 있다. 일부 구현들에서, 모바일 디바이스(210)는 모바일 디바이스(210)와 관련된 키보드(미도시)에의 입력들에 기초하여 그리고/또는 모바일 디바이스(210)와 관련된 마이크(216)를 이용하여 수신되는 오디오 데이터에 기초하여 검색 필드(214)에 질의를 구성할 수 있다.
도 2에 도시된 바와 같이, 사용자는 오디오 데이터로서 마이크(216)에 의해 레코딩될 수 있는 질의(218)를 말할 수 있다. 도 2에 도시된 예에서, 발언된 질의(218)는 문구 "지금 TV에 나오는 남자는 누구인가?"를 포함할 수 있다. 모바일 디바이스(210)는 검색 필드(214)에 이용될 검색 질의를 구성하기 위해 마이크(216)에 의해 레코딩되는 오디오 데이터를 이용할 수 있다. 어떤 적절한 기법 또는 기법들은 스피치 인식 기법들과 같이 마이크(216)에 의해 레코딩되는 오디오 데이터로부터 검색 질의를 구성하기 위해 이용될 수 있다. 이러한 스피치 인식 기법들은 모바일 디바이스(210)에 의해 수행될 수 있거나 또는 스피치 인식 기법들을 수행하기 위해 디바이스에 의해 수행될 수 있다. 예를 들어, 모바일 디바이스(210)는 스피치 인식을 수행하는 서버에 마이크(216)에 의해 레코딩된 오디오 데이터(및/또는 오디오 데이터로부터 생성된 다른 적절한 데이터)를 전송할 수 있다. 이 스피치 인식 기법들의 결과들은 검색 필드(214)에 이용될 질의를 구성하기 위해 이용될 수 있다.
일부 구현들에서, 검색은 검색 사용자 인터페이스 요소(220)(예컨대, 사용자 인터페이스(212) 내의 버튼)의 선택 시 개시될 수 있다. 추가적으로 또는 대안적으로는, 모바일 디바이스(210)는 키보드 상의 "완료(done)" 또는 "엔터(enter)" 키와 같은 어떤 다른 적절한 사용자 인터페이스 요소의 선택에 응답하여 검색을 개시할 수 있고 그리고/또는 질의가 구성됨에 응답하여(예컨대, 스피치 인식 기법을 완수함(completing)에 응답하여) 검색을 개시할 수 있다. 일부 구현들에서, 검색은 어떤 다른 적절한 조건 및/또는 기준이 충족됨에 응답하여 그리고/또는 조건들 및/또는 기준들의 어떤 적절한 조합이 충족됨에 응답하여 개시될 수 있다.
일부 구현들에서, 개시 시, 검색 모바일 디바이스(210)는 사용자 인터페이스(212)를 이용하여 구성된 질의가 원격 디바이스(예컨대, 서버)에 전송되게 하며, 상기 원격 디바이스는 질의에 응답하여 검색을 수행하고 그리고/또는 검색 결과들을 생성할 수 있다. 예를 들어, 서버는 모바일 디바이스(210)에 의해 제시될 검색 결과들을 생성하기 위해 프로세스(100)를 이용할 수 있다.
도 2에 도시된 바와 같이, 검색 결과들(222 및 224)은 사용자 인터페이스(212)를 이용하여 구성된 질의에 응답하여 검색 결과들로서 제시될 수 있다. 예를 들어, 사용자 인터페이스(212)는 발언된 질의(218)에 기초하여 질의를 구성하기 위해 이용될 수 있다. 일부 구현들에서, 모바일 디바이스(218)는 (예컨대, 미디어 플레이백 디바이스(202)에 의해) 현재 제시되는 미디어를 식별하는 데 이용될 오디오를 (예컨대, 마이크(216)를 이용하여) 레코딩할 수 있다. 예를 들어, 모바일 디바이스(218)(또는 질의가 제출된 원격 서버)가 질의가 현재 제시되는 미디어에 관한 것임을 결정함에 응답하여, 모바일 디바이스(218)는 디스플레이(204)에 의해 제시되는 비디오와 연계하여 제시되는 오디오의 부분을 레코딩할 수 있다. 그 다음, 이 오디오는 모바일 디바이스(210)에 의해 공유되는 위치에 현재 제시되는 미디어를 식별하기 위해 프로세스(100)를 실행하는 디바이스에 의해 이용될 수 있다.
일부 구현들에서, 검색 결과들(222 및 224)은 프로세스(100)를 실행하는 디바이스로부터 모바일 디바이스(210)에 리턴될 수 있다. 도시된 바와 같이, 검색 결과(222)는 발언된 질의(218)가 수신될 때 제시되는 프로그램의 부분 동안 디스플레이(204) 상에 나타나는 배우("배우 A")에 대응할 수 있다. (단계(108)에서) 도 1과 연계하여 상기에 기술되는 바와 같이, 사람(206)의 신원은 현재 제시되는 프로그램의 부분과 관련된 키워드일 수 있다. 검색 결과(224)는 현재 제시되는 부분에 밀접하게 관계된 프로그램의 부분(예컨대, 모바일 디바이스(210)에 의해 레코딩되는 오디오와 관련된 부분) 동안 디스플레이(204) 상에 나타나는 다른 배우("배우 B")에 대응할 수 있다.
일부 구현들에서, 검색 결과들(222 및 224)은 배우 A 및 배우 B 각각과 관련된 이미지들뿐만 아니라 전기적 정보를 포함할 수 있다. 도 1과 연계하여 상기에 기술된 바와 같이, 검색 결과들(222 및 224)은 하이퍼링크들을 포함할 수 있고, 이 하이퍼링크들은 선택될 때 모바일 디바이스(218)로 하여금 검색 결과들에 관한 추가적인 정보를 제시하게 할 수 있다. 예를 들어, 사용자가 검색 결과(222)를 선택하는 경우, 검색 결과(222)와 관련된 하이퍼링크는 모바일 디바이스(210)가 도 2에 도시된 바와 같이 배우 A에 관한 추가적인 정보를 포함하는 웹 페이지(226)를 요청하게 할 수 있다.
도 3으로 돌아가서, 검색 결과들을 생성하기 위한 메커니즘들이 컨텍스트 정보에 기초하는 시스템의 일반화된 개략도의 예시적인 예(300)가 개시된 본 발명의 일부 구현들에 따라 도시된다. 도 3에 도시된 바와 같이, 시스템(300)은 하나 이상의 컴퓨팅 디바이스들(310)을 포함할 수 있다. 컴퓨팅 디바이스들(310)은 통신 링크(304)를 통해 서버(302)에 링크될 수 있는 통신 네트워크(306)에 하나 이상의 통신 링크들(308)에 의해 연결될 수 있다. 일부 구현들에서, 컴퓨팅 디바이스들(304) 및 서버(302)는 통신 링크(312)를 통해 하나 이상의 컨텐츠 소스들(312)에 링크될 수 있다.
시스템(300)은 하나 이상의 서버들(302)을 포함할 수 있다. 서버(301)는 프로세서, 컴퓨터, 데이터 프로세싱 디바이스 및/또는 이러한 디바이스들의 어떤 적절한 조합과 같이 본 명세서에 기술된 메커니즘들에 액세스를 제공하기 위한 어떤 적절한 서버일 수 있다. 예를 들어, 본 명세서에 기술된 메커니즘들은 복수의 백엔드 컴포넌트들 및 복수의 프론트엔드 컴포넌트들 및/또는 인터페이스들 내로 분산될 수 있다. 더욱 특별한 예에서, 데이터 수집 및 데이터 배포, 정보를 인덱싱 및 검색, 그리고/또는 어떤 다른 적절한 컴포넌트들과 같은 백엔드 컴포넌트들이 하나 이상의 서버들(302) 상에서 수행될 수 있다. 다른 더욱 특별한 예에서, 검색 질의들을 수신하고, 현재 제시되는 미디어를 식별하는 데 이용될 미디어 데이터를 모으며, 검색 결과들을 제시하기 위한 사용자 인터페이스, 및/또는 어떤 다른 적절한 컴포넌트들과 같은 프론트엔드 컴포넌트들은 하나 이상의 컴퓨팅 디바이스들(310) 상에서 수행될 수 있다.
일부 구현들에서, 컴퓨팅 디바이스들(310) 및 서버(302) 각각은 컴퓨터와 같은 범용 디바이스 또는 클라이언트, 서버, 등등과 같은 특수용 디바이스 중 어느 것일 수 있다. 이 범용 또는 특수용 디바이스들 중 어느 것이든 (마이크로프로세서, 디지털 신호 프로세서, 제어기, 등등일 수 있는) 하드웨어 프로세서, 메모리, 통신 인터페이스들, 디스플레이 제어기들, 입력 디바이스들, 등등과 같은 어떤 적절한 컴포넌트들을 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스(310)는 스마트폰, 태블릿 컴퓨터, 웨어러블 컴퓨터, 텔레비전, 스마트 텔레비전, 셋-탑 박스, 디지털 미디어 수신기, 게임 콘솔, 개인용 컴퓨터, 랩탑 컴퓨터, 개인용 데이터 단말기(PDA), 홈 엔터테인먼트 시스템, 스테레오 수신기, 스피커들, 프로젝터, 게임 콘솔 및/또는 다른 적절한 디바이스 및/또는 이들의 어떤 적절한 조합으로 구현될 수 있다. 일부 구현들에서, 예컨대 프로그램은 스마트 텔레비전, 셋-탑 박스, 디지털 미디어 수신기, 등등과 같은 제1 컴퓨팅 디바이스(310)를 이용하여 제시될 수 있고, 태블릿 컴퓨터, 스마트폰, 웨어러블 컴퓨터, PDA, 게임 콘솔, 등등과 같은 제2 컴퓨팅 디바이스(310)는 질의들을 구성하고, 상기 제1 컴퓨팅 디바이스에 의해 제시되는 프로그램에 관한 미디어 데이터를 레코딩 및/또는 전송하며, 상기 질의 및/또는 제시되는 프로그램에 관한 미디어 데이터에 기초하여 검색이 수행되게 하고, (예컨대, 프로세스(100)에 기초하여 생성된) 상기 질의에 컨텍스트적으로 관련된 검색 결과들을 제시하고, 그리고/또는 어떤 다른 적절한 기능들을 수행할 수 있다.
일부 구현들에서, 컨텐츠 소스(들)(314)는 케이블(또는 텔레폰) 텔레비전 컨텐츠 소스, 위성 텔레비전 컨텐츠 소스, 온-디맨드 프로그램 컨텐츠 소스, 오버-더-탑(over-the-top) 프로그램 컨텐츠 소스, 인터넷 컨텐츠 소스, 스트리밍 프로그램 컨텐츠 소스, 어떤 다른 적절한 컨텐츠 소스 및/또는 이들의 어떤 적절한 조합과 같은 어떤 적절한 컨텐츠 소스들일 수 있다.
일부 구현들에서, 통신 네트워크(306)는 인터넷, 인트라넷, 광역 네트워크(WAN), 로컬-영역 네트워크(LAN), 무선 네트워크, 디지털 가입자 라인(DSL) 네트워크, 프레임 릴레이 네트워크, 비동기 전달 모드(ATM) 네트워크, 가상 사설 네트워크(VPN), 등등을 포함하는 어떤 적절한 컴퓨터 네트워크 또는 이러한 네트워크들의 조합일 수 있다. 통신 링크들(304, 308 및 312)은 네트워크 링크들, 다이얼-업 링크들, 무선 링크들, 하드-와이어드 링크들, 어떤 다른 적절한 통신 링크들 및/또는 이러한 링크들의 어떤 적절한 조합과 같이, 컴퓨팅 디바이스들(310), 서버(302) 및/또는 컨텐츠 소스(들)(314) 간에 데이터를 통신하에 적절한 어떤 통신 링크들일 수 있다. 컴퓨팅 디바이스들(310)은 본 명세서에 기술된 메커니즘들의 특징들이 이용될 수 있게 하는 본 명세서에 기술된 기법들의 이용을 인에이블시킬 수 있다. 컴퓨팅 디바이스들(310), 서버(302) 및 컨텐츠 소스(들)(314)은 어떤 적절한 위치에 위치될 수 있다.
일부 구현들에서, 서버(302)는 본 명세서에 기술된 메커니즘들의 다양한 기능들을 수행하고 그리고/또는 컨텍스트 정보에 기초하여 검색 결과들을 생성하기 위해 본 명세서에 기술된 메커니즘들을 지원하기 위하여 상호연결될 수 있는 하나 이상의 모듈들(320 내지 332) 및/또는 데이터베이스들(340 내지 344)을 포함할 수 있다.
일부 구현들에서, 프론트-엔드 서버 모듈(320)은 예컨대, 도 1 및 2와 연계하여 상기에 기술된 컨텍스트 정보에 기초하여 검색 결과들을 생성하기 위한 프로세스들을 수행할 수 있다.
일부 구현들에서, 캡쳐 모듈(322)은 예컨대 도 1과 연계하여 상기에 기술된 비디오 데이터, 오디오 데이터, 전자 프로그램 가이드 데이터, 메타데이터, 등등과 같은 프로그램에 관한 미디어 데이터를 수신할 수 있다. 추가적으로 또는 대안적으로는, 캡쳐 모듈(322)은 컨텐츠 소스들로부터 제공된 컨텐츠로부터 다양한 미디어 데이터를 추출할 수 있다. 이러한 추출된 미디어 데이터는 예컨대, 오디오 핑거프린트들, 자막들, 비디오 스크린샷들, 등등을 포함할 수 있다. 이 정보는 예컨대, 키워드들 및/또는 다양한 다른 동작들을 식별할 시 프론트-엔드 서버 모듈(320)에 의한 이용을 위해 데이터베이스(미도시)에 저장될 수 있다.
일부 구현들에서, 매치 모듈(324)은 예컨대, 캡쳐 모듈(322)로부터 프로그램에 대한 오디오 핑거프린트 데이터를 수신하고, 핑거프린트 데이터베이스(342)에 수신된 오디오 핑거프린트 데이터를 저장할 수 있다. 핑거프린트 데이터베이스(342)는 예컨대, 현재 제시되며 단계(102)에서 수신되는 질의에 관계되는 미디어를 식별하기 위하여, 상기에 기술된 도 1의 단계(106)에서 프로그램을 식별하기 위해 이용될 수 있다.
일부 구현들에서, 주석 모듈(annotation module)(326)은 오디오 핑거프린트들, 비디오 스크린샷들, 자막들, 등등과 같이, 캡쳐 모듈(322)에 의해 캡쳐되는 데이터 및/또는 캡쳐 모듈(322)에 의해 추출되는 정보에 기초하여 프로그램과 관련된 하나 이상의 키워드들을 추출할 수 있다. 예를 들어, 주석 모듈(326)은 키워드 추출 모듈(328)을 포함할 수 있고, 상기 키워드 추출 모듈은 사람들, 물체들, 랜드마크들, 장소들 및/또는 키워드들에 관련되는 프로그램에 언급 및/또는 나타나는 어떤 다른 적절한 키워드들을 식별하기 위하여 안면 인식 기법들, 이미지 인식 기법들, 광학 문자 인식 기법들, 등등과 같은 인식 기법들을 수행하도록 구성된 인식 모듈(330)을 이용하여 캡쳐 모듈로부터 수신되는 데이터 및/또는 정보로부터 키워드들을 추출할 수 있다.
일부 구현들에서, 키워드 추출 모듈(328)은 도 1과 연계하여 상기에 기술된 키워드들과 같은 키워드들을 추출할 수 있다. 예를 들어, 키워드 추출 모듈(328)은 사람들, 장소들, 이벤트들, 물체들, 생명체들, 로코들, 특성들, 특징들, 플롯들, 음악, 특이한 또는 과학적인 단어들, 제품들, 브랜드들, 및/또는 어떤 다른 적절한 키워드들의 신원을 추출할 수 있다. 추가적으로 또는 대안적으로는, 키워드 추출 모듈(328)은 인식 모듈(330)을 이용하여 키워드들을 식별할 수 있고, 상기 인식 모듈은 예컨대, 이미지(들) 내의 사람 또는 사람들의 신원을 결정하기 위해 (예컨대, 캡쳐 모듈(322)에 의해 캡쳐된) 비디오 스크린샷들로부터의 얼굴(들)의 이미지(들)로부터의 정보를 알려진 얼굴 정보(예컨대, 알려진 개인들의 얼굴 정보)의 데이터베이스와 비교할 수 있다. 유사하게, 인식 모듈(330)은 이미지 내의 물체의 신원을 결정하기 위해 예컨대, 빌딩들, 조각들, 제품, 패키징, 전자기기들, 과일 및 채소들 또는 어떤 다른 적절한 물체와 같은 물체(들)의 이미지(들)로부터의 정보를 알려진 물체 정보의 데이터베이스와 비교할 수 있다. 상기에 기술된 바와 같이, 어떤 적절한 인식 기법들은 키워드 추출 모듈(328) 및/또는 주석 모듈(326)에 의해 프로그램 관련 데이터로부터 키워드 추출을 지원하기 위해 인식 모듈(330)에 의해 이용될 수 있다.
일부 구현들에서, 주석 모듈(326)은 예컨대, 오디오 데이터 또는 비디오 데이터로부터 추출된 키워드들을, 키워드가 이러한 데이터에 나타나는 프로그램의 부분과 관련시킬 수 있다. 예를 들어, 키워드들 및 다양한 프로그램들과의 이 키워드 관련들은 키워드 데이터베이스에 저장될 수 있으며, 이 키워드 데이터베이스는 주석 모듈(326)에 의해 생성된 정보로 주기적으로 갱신될 수 있고 그리고/또는 미리 결정된 시간 기간 내에 (예컨대, 컨텐츠 소스들(314)에 의해) 제시되지 않은 프로그램들에 대응하는 키워드들, 프로그램들 및/또는 키워드들과 프로그램들 간의 관련을 제거하도록 주기적으로 갱신될 수 있다.
일부 구현들에서, 검색 모듈(332)은 단계(112)에서 검색 결과들을 획득하는 데 이용될 수 있다. 예를 들어, 검색 모듈(332)은 질의에 컨텍스트적으로 관련된 검색 결과들을 생성하기 위해, 단계(102)에서 수신된 질의 및/또는 단계(110)에서 식별된 컨텍스트적으로 관련된 키워드들을 검색 엔진에 의해 이용될 입력들로서 이용할 수 있다.
일부 구현들에서, 전자 프로그램 가이드(EPG) 데이터베이스(340)는 컨텐츠 퍼블리셔들 또는 브로드캐스터들과 같은 제3자들에 의해 제공될 수 있는 전자 프로그램 가이드 데이터에 대응하는 가이던스 데이터를 저장할 수 있다. 추가적으로, EPG 데이터베이스(340)는 예컨대, 컨텐츠 소스(들)(314)로부터 제공되는 하나 이상의 프로그램들에 관한 정보를 제공할 수 있다(단계 314).
주목할 점으로서, 비록 모듈들(320 내지 332) 및 데이터베이스들(340 내지 344)이 서버(302)에 포함된 것으로 도시되지만, 이 모듈들 및/또는 데이터베이스들은 다양한 조합들로 서로 다른 서버들(및/또는 적절한 컴퓨팅 디바이스들)에 제공될 수 있다. 예를 들어, 검색 모듈(332)은 제1 서버 상에 제공될 수 있고, 모듈들(320 내지 330)은 제2 서버 상에 제공될 수 있다. 다른 예로서, 각각의 모듈은 다른 서버 상에 제공될 수 있다. 주목할 점으로서, 이들은 단지 예시들이며, 기술된 모듈들은 어떤 적절한 방식으로 편성될 수 있다.
또한 주목할 점으로서, 모듈들(320 내지 332)은 본 명세서에 기술된 메커니즘들의 일부로서 포함될 수 있고, 별개의 메커니즘들일 수 있고, 그리고/또는 어떤 다른 적절한 메커니즘들의 일부일 수 있다. 예를 들어, 일부 구현들에서, 키워드들은 어떤 적절한 기법을 이용하여 프로그램과 관련될 수 있고, 프로세스(100)를 또한 실행하는 진영(party)에 의해 반드시 관련될 필요가 없다. 더욱 특별한 예에서, 기업(corporation)과 같은 진영은 어떤 적절한 기법을 이용하여 컨텐츠 소스들(314)로부터의 프로그램들과 키워드들을 관련시킬 수 있고, 프로그램과 관련된 키워드들을 어떤 적절한 조건(term)들로 다른 이들에게 액세스가능하게 할 수 있다. 다른 더욱 특별한 예에서, 회사는 프로그램들과 관련된 키워드들 및/또는 키워드와 관련된 프로그램의 부분들의 데이터베이스를 유지할 수 있고, 데이터베이스가 무료로 액세스될 수 있게 하거나 또는 어떤 형태의 보수(remuneration)에 대해 액세스될 수 있게 한다.
도 4는 개시된 본 발명의 일부 구현들에 따른 도 4에 도시된 서버(302) 및 컴퓨팅 디바이스들(310) 중 하나를 구현하기 위해 이용될 수 있는 하드웨어의 예(400)를 도시한다. 도 4를 참조하면, 컴퓨팅 디바이스(310)는 하드웨어 프로세서(412), 디스플레이(414), 입력 디바이스(416) 및 메모리(418)를 포함할 수 있고, 이들은 상호연결될 수 있다. 일부 구현들에서, 메모리(418)는 하드웨어 프로세서(412)를 제어하기 위한 컴퓨터 프로그램을 저장하기 위한 (비일시적(non-transitive) 컴퓨터 판독가능 매체와 같은) 저장 디바이스를 포함할 수 있다.
하드웨어 프로세서(412)는 디스플레이(414) 상에 컨텐츠 및/또는 사용자로 하여금 본 명세서에 기술된 메커니즘들에 액세스할 수 있게 하는 사용자 인터페이스를 제시하기 위해 그리고 통신 링크(308)를 통해 데이터를 전송 및 수신하기 위해 컴퓨터 프로그램을 이용할 수 있다. 또한 주목할 점으로서, 통신 링크(308) 또는 어떤 다른 통신 링크들을 통해 수신되는 데이터는 어떤 적절한 소스로부터 수신될 수 있다. 일부 구현들에서, 하드웨어 프로세서(412)는 데이터가 예컨대, 전송기, 수신기, 전송기/수신기, 송수신기, 또는 어떤 다른 적절한 통신 디바이스를 이용하여 통신 링크(308) 및/또는 어떤 다른 통신 링크들을 통해 전송 및 수신되게 할 수 있다. 입력 디바이스(416)는 컴퓨터 키보드, 마이크, 마우스, 트랙볼, 키패드, 원격 제어, 어떤 다른 적절한 입력 디바이스 및/또는 이들의 어떤 적절한 조합일 수 있다. 추가적으로 또는 대안적으로는, 입력 디바이스(416)는 (예컨대, 손가락, 스타일러스, 또는 기타 등등을 이용하여) 입력을 수신할 수 있는 터치 스크린 디스플레이(414)를 포함할 수 있다.
서버(302)는 하드웨어 프로세서(422), 디스플레이(424), 입력 디바이스(426) 및 메모리(428)를 포함할 수 있고, 이들은 상호연결될 수 있다. 일부 구현들에서, 메모리(428)는 통신 링크(304)를 통해 또는 다른 링크들을 통해 수신되는 데이터를 저장하기 위한 저장 디바이스를 포함할 수 있고, 프로세서(422)는 예컨대, 컴퓨팅 디바이스(310)의 하나 이상의 사용자들에 의해 전송되는 커맨드들 및 값들을 수신할 수 있다. 저장 디바이스는 또한, 하드웨어 프로세서(422)를 제어하기 위한 서버 프로그램을 포함할 수 있다.
컨텍스트 정보에 기초하여 검색 결과들을 생성하기 위한 본 명세서에 기술된 메커니즘들은 소프트웨어, 펌웨어, 하드웨어 및/또는 이들의 어떤 적절한 조합으로서 컴퓨팅 디바이스(310) 및/또는 서버(302)에 구현될 수 있다.
일부 구현들에서, 서버(302)는 하나의 서버로서 구현될 수 있거나 또는 어떤 적절한 수의 서버들로서 분산될 수 있다. 예를 들어, 복수의 서버들(302)은 신뢰성, 본 명세서에 기술된 메커니즘들의 기능 및/또는 서버가 컴퓨팅 디바이스들(310)과 통신할 수 있는 속도를 증가시키기 위해 다양한 위치들에 구현될 수 있다.
도 5는 개시된 본 발명의 일부 구현들에 따른 컨텍스트 정보에 기초하여 검색 결과들을 생성하기 위한 흐름의 예(500)를 도시한다. 도 5에 도시된 바와 같이, 제1 컴퓨팅 디바이스(310-1)는 단계(502)에서 미디어 컨텐츠를 제시할 수 있다. 예를 들어, 제1 컴퓨팅 디바이스(310-1)는 비디오를 제시하기 위한 디스플레이 및 오디오를 제시하기 위한 스피커들을 포함하는 텔레비전일 수 있다. 비록, 흐름(500)이 텔레비전에 의해 제시되는 미디어와 연계하여 기술되지만, 이는 단순히 예시일 뿐이며, 미디어는 어떤 적절한 디바이스 또는 디바이스들에 의해 제시될 수 있다.
단계(504)에서, 제2 컴퓨팅 디바이스(310-2)는 질의 입력을 수신할 수 있다. 상기 기술된 바와 같이, 질의 입력은 어떤 적절한 기법 또는 기법들을 이용하여 수신될 수 있다. 예를 들어, 질의는 예컨대, 키보드를 이용하여 입력되는 텍스트로서 수신될 수 있고, 상기 키보드는 물리적 키보드 또는 가상 기보드일 수 있다. 다른 예로서, 질의는 마이크를 통해 수신되고 스피치 인식 기법들을 이용하여 해석되는 음성 데이터로서 수신될 수 있다. 추가적으로 또는 대안적으로는, 질의 입력은 어떤 적절한 어플리케이션을 이용하여 수신될 수 있다. 예를 들어, 도 2와 연계하여 기술되는 바와 같이, 질의는 질의를 구성하기 위한 사용자 인터페이스와 연계하여 수신될 수 있다. 다른 예로서, 질의는 개인용 보조 어플리케이션(personal assistant application) 또는 기타 등등(예컨대, 컨텍스트에 기초하여 다양한 질의들을 처리할 수 있고 질의에 기초하여 프로세스들을 개시할 수 있는 어플리케이션)에게로의 질의로서 제2 컴퓨팅 디바이스(302-2)에 의해 수신될 수 있다. 더욱 특별한 예에서, 이러한 질의는 사용자가 특별한 단어 또는 문구를 말함으로써 개시될 수 있다.
단계(506)에서, 제2 컴퓨팅 디바이스는 단계(504)에서 수신되는 질의 입력에 기초하여 질의를 구성할 수 있다. 예를 들어, 질의는 검색 결과들을 획득하는 데 이용되도록 포맷화되거나 또는 그렇지 않으면 준비될 수 있다. 단계(508)에서, 제2 컴퓨팅 디바이스(310-2)는 질의가 현재 제시되는 미디어에 관한 것인지를 결정할 수 있다. 제2 컴퓨팅 디바이스(310-2)는 단계(506)에서 질의가 (예컨대, 텔레비전(310-1)에 의해) 현재 제시되는 미디어 컨텐츠에 관한 것인지를 결정하기 위해 어떤 적절한 기법을 이용할 수 있다. 예를 들어, 단계(102)와 연계하여 상기에 기술되는 바와 같이, 본 명세서에 기술된 메커니즘들은 질의의 컨텍스트, 질의 입력을 수신한 어플리케이션 및/또는 어떤 다른 적절한 기준에 기초하여 질의가 현재 제시되는 미디어 컨텐츠에 관한 것임을 결정할 수 있다. 일부 구현들에서, 질의가 현재 제시되는 미디어 컨텐츠에 관한 것인지의 결정은 제2 컴퓨팅 디바이스(310-2)에 의해 이루어질 수 있다. 예를 들어, 제2 컴퓨팅 디바이스(310-2)는 질의를 구성하기 위해 이용되는 어플리케이션에 기초하여, 질의가 현재 제시되는 미디어에 관한 것임을 나타내는 사용자 입력에 기초하여, 그리고/또는 어떤 다른 적절한 토대들에 기초하여 결정을 내릴 수 있다. 추가적으로 또는 대안적으로는, 서버(302)와 같이 본 명세서에 기술된 메커니즘들을 실행하는 디바이스는 질의가 현재 제시되는 미디어 컨텐츠에 관한 것인지의 결정을 내릴 수 있다. 예를 들어, 제2 컴퓨팅 디바이스(310-2)는 서버(302)에 질의를 전송할 수 있고, 서버(302)는 질의의 컨텍스트에 기초하여, 질의를 구성하는 데 이용된 어플리케이션에 기초하여 그리고/또는 어떤 다른 적절한 토대들에 기초하여, 질의가 현재 제시되는 미디어에 관한 것임을 결정할 수 있다. 그 다음, 서버(302)는 질의가 현재 제시되는 미디어 컨텐츠에 관한 것임을 제2 컴퓨팅 디바이스(310-2)에 통지할 수 있다.
질의가 현재 제시되는 미디어 컨텐츠에 관한 것이 아닌 경우(단계(508)에서 "아니오"), 흐름(500)은 검색이 단계(506)에서 구성된 질의에 기초하여 요청될 수 있는 단계(514)로 진행될 수 있다. 그렇지 않으면, 질의가 현재 제시되는 미디어 컨텐츠에 관한 것인 경우(단계(508)에서 "예"), 흐름(500)은 단계(510)로 진행될 수 있다.
단계(510)에서, 질의가 현재 제시되는 미디어에 관한 것임을 결정함에 응답하여, 제2 컴퓨팅 디바이스(310-2)는 현재 제시되는 미디어를 식별하는 데 이용될 미디어 데이터를 레코딩할 수 있다. 상기 기술된 바와 같이, 미디어 데이터는 현재 제시되는 미디어를 식별하는 데 이용될 어떤 적절한 미디어 데이터일 수 있다. 도 5의 점선에 의해 도시된 바와 같이, 제1 컴퓨팅 디바이스(310-1)에 의해 현재 제시되는 미디어에 대응하는 미디어 데이터는 제2 컴퓨팅 디바이스(310-2)에 전달될 수 있다. 어떤 적절한 기법이든 제2 컴퓨팅 디바이스(310-2)에 미디어 데이터를 전달하기 위해 이용될 수 있다. 예를 들어, 제2 컴퓨팅 디바이스(310-2)의 마이크는 제시되는 미디어 컨텐츠의 오디오 데이터를 레코딩하기 위해 이용될 수 있다. 다른 예로서, 제2 컴퓨팅 디바이스(310-2)의 이미지 센서는 제시되는 미디어 컨텐츠의 이미지 데이터 및/또는 비디오 데이터를 레코딩하기 위해 이용될 수 있다. 또 다른 예로서, 제2 컴퓨팅 디바이스(310-2)는 단거리 무선 통신들(예컨대, 블루투스, 무선 USB, 등등), 무선 통신 표준들의 IEEE 802.11 그룹 중 하나 이상에 부합하는 무선 통신 기법 및/또는 어떤 다른 적절한 무선 통신 기법들과 같은 무선 통신 기법을 이용하여 컴퓨팅 디바이스(310-1)로부터 미디어 데이터를 수신할 수 있다. 또다른 예로서, 제1 컴퓨팅 디바이스(310-1)에 의해 현재 제시되는 미디어 컨텐츠를 포함하는 신호 또는 신호들은 또한, 제2 컴퓨팅 디바이스(310-2)에 제공될 수 있고, 제2 컴퓨팅 디바이스는 신호로부터의 어떤 적절한 정보를 레코딩할 수 있다. 더욱 특별한 예에서, 제1 컴퓨팅 디바이스(310-1)에 의해 현재 제시되는 미디어 컨텐츠를 포함하는 신호 또는 신호들은 제1 컴퓨팅 디바이스(310-1)에 의해, 유선 또는 무선 통신 링크들을 통해 제2 컴퓨팅 디바이스(310-2)에 출력될 수 있다. 추가적으로 또는 대안적으로는, 제1 컴퓨팅 디바이스(310-1)에 의해 현재 제시되는 미디어 컨텐츠를 포함하는 신호 또는 신호들은 현재 제시되는 미디어 컨텐츠의 소스로부터 제2 컴퓨팅 디바이스(310-2)에 입력될 수 있다. 특히, 미디어 컨텐츠가 셋-탑 박스에 의해 출력되는 신호에 기초하여 텔레비전(예컨대, 제1 컴퓨팅 디바이스(310-1))에 의해 제시되는 경우, 그 신호는 또한, (예컨대, 게임 콘솔일 수 있는) 제2 컴퓨팅 디바이스(310-2)에 라우팅될 수 있다. 신호는 예컨대, 제2 컴퓨팅 디바이스(310-2)를 통해 제1 컴퓨팅 디바이스(310-1)에 입력됨으로써 또는 제1 컴퓨팅 디바이스(310-1)의 오디오 및/또는 비디오 출력을 통해 제2 컴퓨팅 디바이스(310-2)에 패스됨으로써 어떤 적절한 경로를 이용하여 제2 컴퓨팅 디바이스(310-2)에 라우팅될 수 있다.
단계(512)에서, 제2 컴퓨팅 디바이스(310-2)는 단계(504)에서 수신되고 그리고/또는 단계(506)에서 구성되는 질의 및 단계(510)에서 레코딩된 미디어 데이터에 기초하여 검색 결과들을 요청할 수 있다. 예를 들어, 검색 결과들에 대한 요청은 서버(302)에 제출될 수 있다.
단계(516)에서, 서버(302)는 단계(512) 및/또는 단계(514)에서 제2 컴퓨팅 디바이스(310-2)에 의해 제출된 질의 및/또는 미디어 데이터를 수신할 수 있다. 일부 구현들에서, 단계(516)에서 수행되는 동작들은 예컨대, 도 1과 연계하여 상기에 기술된 프로세스(100)의 단계들(102 및 104)에 대응할 수 있다.
단계(518)에서, 서버(302)는 현재 제시되는 미디어 컨텐츠에 관한 미디어 데이터가 수신되었는지를 결정할 수 있다. 미디어 데이터가 수신되지 않은 경우(단계(518)에서 "아니오"), 서버(302)는 단계(526)로 진행할 수 있고, 단계(516)에서 수신되는 질의에 기초하여 검색 결과를 획득할 수 있다. 그렇지 않으면, 미디어 데이터가 수신된 경우(단계(518)에서 "예"), 서버(302)는 단계(520)로 진행될 수 있다.
단계(520)에서, 서버(302)는 (예컨대, 단계(106)와 연계하여 상기에 기술되는 바와 같이) 단계(516)에서 수신된 미디어 컨텐츠에 대응하는 프로그램을 식별할 수 있고, (예컨대, 단계(108)와 연계하여 상기에 기술되는 바와 같이) 미디어 데이터에 대응하는 프로그램 및/또는 프로그램의 특별한 부분들과 관련된 키워드들을 식별할 수 있다. 단계(522)에서, 서버(302)는 (예컨대, 단계(522)와 연계하여 상기에 기술되는 바와 같이) 식별된 키워드들로부터 컨텍스트적으로 관련된 키워드들을 결정할 수 있다. 단계(524)에서, 서버(302)는 (예컨대, 단계(112)와 연계하여 상기에 기술된 바와 같이) 질의 및 컨텍스트적으로 관련된 키워드들에 기초하여 검색 결과들을 획득할 수 있다.
단계(528)에서, 서버(302)는 단계(524 또는 526)에서 획득된 제2 컴퓨팅 디바이스(310-2)에 단계(524)에서 획득된 검색 결과들을 리턴할 수 있다. 일부 구현들에서, 미디어 데이터가 수신되되 질의가 수신되지 않은 경우, 서버(302)는 미디어 데이터에 대응하는 프로그램을 식별하고, 질의에 기초하여 검색 결과들을 획득함이 없이 결과들을 리턴할 수 있다.
단계(530)에서, 제2 컴퓨팅 디바이스(310-2)는 검색 결과들을 수신할 수 있고, 검색 결과들 중 적어도 하나가 제시되게 할 수 있다. 일부 구현들에서, 결과들은 (예컨대, 상기 도 2와 연계하여 상기에 기술된 바와 같이) 제2 컴퓨팅 디바이스(310-2)의 디스플레이를 이용하여 제시될 수 있다. 추가적으로 또는 대안적으로는, 결과들은 현재 제시되는 미디어 컨텐츠와 함께 제1 컴퓨팅 디바이스(310-1)의 디스플레이를 이용하여 제시될 수 있다.
일부 구현들에서, 단일 컴퓨팅 디바이스가 미디어 컨텐츠를 제시할 뿐만 아니라 질의를 구성하고 검색 결과들을 제시할 수 있다. 예를 들어, 개인용 컴퓨터, 스마트 텔레비전, 스마트폰, 태블릿 컴퓨터, 등등은 미디어 컨텐츠를 제시하고, 이 미디어 컨텐츠에 관한 질의들을 구성하며, 서버(302)에 미디어 데이터를 전송하고, 그리고 상기 미디어 데이터 및 질의에 기초하여 획득되는 검색 결과들을 제시할 수 있다. 다른 예로서, 컴퓨팅 디바이스에 의해 실행되는 제1 어플리케이션은 컨텐츠가 제시될 수 있게 하고, 컴퓨팅 디바이스에 의해 실행되는 제2 어플리케이션은 제1 어플리케이션에 의해 현재 제시되는 미디어 컨텐츠에 관한 질의를 수신 및/또는 구성할 수 있다. 제2 어플리케이션은 예를 들어, 현재 제시되는 미디어를 식별하기 위해 컴퓨팅 디바이스에 의해 현재 제시되는 오디오 데이터 및/또는 이미지 데이터를 이용할 수 있다. 이러한 오디오 데이터 및/또는 이미지 데이터는 어떤 적절한 기법 또는 기법들의 조합들을 이용하여(예컨대, 컴퓨팅 디바이스에 의해 현재 생성된 오디오 출력 신호를 수신함으로써, 컴퓨팅 디바이스와 관련된 마이크를 이용하여 캡쳐되는 오디오 데이터를 수신함으로써, 컴퓨팅 디바이스에 의해 현재 제시되는 이미지 데이터(예컨대, 스크린샷)를 수신함으로써 그리고/또는 어떤 다른 적절한 기법 또는 기법들의 조합에 의해) 캡쳐될 수 있다.
일부 구현들에서, 본 명세서에 기술된 메커니즘들은 클라이언트-측 소프트웨어, 서버-측 소프트웨어, 하드웨어, 펌웨어 및/또는 이들의 어떤 조합을 포함할 수 있다. 예를 들어, 본 명세서에 기술된 메커니즘들은 하나 이상의 프로세서들로 하여금 본 명세서에 기술된 메커니즘들을 실행하도록 하는 컴퓨터 프로그램을 포괄할 수 있다. 다른 예로서, 본 명세서에 기술된 메커니즘들은 본 명세서에 기술된 메커니즘들에 액세스 및/또는 메커니즘들을 실행하기 위해 이용되는 컴퓨팅 디바이스(310) 및/또는 서버(302)에 의해 인식가능한 프로그래밍 언어로 작성된 컴퓨터 프로그램(예컨대, Java, C, Objective-C, C++, C#, Javascript, Visual Basic, HTML, XML, ColdFusion, 어떤 다른 적절한 접근법들 및/또는 이들의 어떤 적절한 조합과 같은 프로그래밍 언어로 작성된 프로그램)을 포함할 수 있다.
일부 구현들에서, 본 명세서에 기술된 메커니즘들은 (예컨대, "HTML"(HyperText Markup Language), "DHTML"(Dynamic HyperText Markup Language), "XML"(Extensible Markup Language), "JSP"(JavaServer Pages), "ASP"(Active Server Pages), 콜드 퓨전(Cold Fusion), 어떤 다른 적절한 접근법 및/또는 이들의 어떤 적절한 조합과 같은, 어떤 적절한 인코딩을 통한) 하나 이상의 웹 페이지들 또는 웹 페이지 부분들을 포함할 수 있다.
일부 구현들에서, 어떤 적절한 컴퓨터 판독가능 매체는 본 명세서에서 기술된 기능들 및/또는 프로세스들을 수행하기 위한 명령어들을 저장하기 위해 이용될 수 있다. 예를 들어, 일부 구현들에서, 컴퓨터 판독가능 매체는 일시적 또는 비일시적일 수 있다. 예를 들어, 비일시적 컴퓨터 판독가능 매체는 (하드 디스크들, 플로피 디스크들, 등등과 같은) 자기 매체, (컴팩트 디스크들, 디지털 비디오 디스크들, 블루레이 디스크들, 등등과 같은) 광학 매체, (플래시 메모리, 전기적으로 프로그래밍가능한 판독 전용 메모리(EPROM), 전기적으로 소거가능하고 프로그래밍가능한 판독 전용 메모리(EEPROM), 등등과 같은) 반도체 매체, 전송 동안 일시적(fleet)이지 않거나 또는 어떤 영구성의 가상(semblance of permanence)이 없는 어떤 적절한 매체 및/또는 어떤 적절한 유형의 매체(tangible media)와 같은 매체를 포함할 수 있다. 다른 예로서, 일시적 컴퓨터 판독가능 매체는 네트워크들 상의, 유선들, 전도체들, 광섬유들, 회로들, 전송 동안 일시적이지 않거나 또는 어떤 영구성의 가상이 없는 어떤 적절한 매체, 및/또는 어떤 적절한 무형 매체(intangible media) 내의 신호들을 포함할 수 있다.
도 1 및 5의 프로세스들의 상기 기술된 단계들은 도면들에 도시되고 기술된 순서 또는 시퀀스에 제한되지 않는 어떤 순서 또는 시퀀스로 실행 또는 수행될 수 있음이 이해되어야 한다. 또한, 도 1 및 5의 프로세스들의 상기 단계들 중 일부는 레이턴시 및 프로세싱 시간들을 감소시키기 위해 적절한 경우 또는 병렬로 실질적으로 동시에 실행 또는 수행될 수 있다.
또한 주목할 점으로서, 본 명세서에 사용된 용어 메커니즘은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 어떤 적절한 조합을 포괄할 수 있다.
따라서, 컨텍스트 정보에 기초하여 검색 결과들을 생성하기 위한 방법들, 시스템들 및 매체가 제공된다.
비록, 본 발명이 상기 예시적인 구현들에서 기술되고 예시되었지만, 현 개시는 단지 예로서 이루어진 것이며, 본 발명의 구현들의 세부사항의 다수의 변경들이 본 발명의 사상 및 범위로부터 벗어남이 없이 이루어질 수 있으며, 본 발명의 범위는 오직 다음의 특허청구범위에 의해서만 제한된다. 개시된 구현들의 특징들은 다양한 방식들로 결합 및 재구성될 수 있다.

Claims (26)

  1. 검색 결과들을 제시(presentation)하기 위한 방법으로서,
    컴퓨팅 디바이스의 하드웨어 프로세서를 사용하여, 복수의 질의 용어를 포함하는 질의를 수신하는 단계와, 상기 복수의 질의 용어는 질문 용어를 포함하고;
    하드웨어 프로세서를 사용하여, 복수의 질의 용어에 기초하여, 질의가 통신 네트워크를 통해 컴퓨팅 디바이스에 연결된 미디어 재생 디바이스에 의해 현재 제시되고 있는 미디어 컨텐츠 아이템과 관련된 시간 민감성(time-sensitive) 질의 유형인지 여부를 결정하는 단계와;
    질의가 미디어 재생 디바이스에 의해 현재 제시되고 있는 미디어 컨텐츠 아이템과 관련된 시간 민감성 질의 유형이라는 결정에 응답하여:
    하드웨어 프로세서를 사용하여, 미디어 재생 디바이스에 의해 현재 제시되고 있는 미디어 컨텐츠 아이템에 대응하는 미디어 데이터를 캡처하는 단계와;
    하드웨어 프로세서를 사용하여, 질의가 컴퓨팅 디바이스에 의해 수신된 시점에 대응하는 시간 기간(time period)을 갖는 미디어 컨텐츠 아이템의 미디어 컨텐츠 세그먼트를 식별하는 단계와;
    하드웨어 프로세서를 사용하여, 질의에 포함된 질문 용어에 응답하는 엔티티 유형을 갖는 적어도 하나의 키워드를 결정하는 단계와; 그리고
    하드웨어 프로세서를 사용하여, 질의 및 적어도 하나의 키워드에 응답하는 적어도 하나의 검색 결과를 획득하는 단계와; 그리고
    하드웨어 프로세서를 사용하여, 적어도 하나의 검색 결과가 사용자에게 제시되도록 하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 질의는 질의와 관련된 컨텍스트 정보에 기초하여 시간 민감성 질의 유형인 것으로 결정되는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 미디어 데이터는 오디오 데이터를 포함하고, 상기 방법은,
    상기 오디오 데이터의 제1 오디오 핑거프린트(fingerprint)가 복수의 미디어 컨텐츠 아이템에 대응하는 오디오 핑거프린트들과 비교되도록 하는 단계와; 그리고
    상기 비교에 기초하여 제1 오디오 핑거프린트가 대응하는 복수의 미디어 컨텐츠 아이템 중 제1 미디어 컨텐츠 아이템의 신원을 수신하는 단계를 더 포함하고, 상기 현재 제시되는 미디어 컨텐츠 아이템은 그 수신된 제1 미디어 컨텐츠 아이템의 신원에 기초하여 식별되는 것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 제1 미디어 컨텐츠 아이템과 관련된 복수의 오디오 핑거프린트와의 상기 제1 오디오 핑거프린트의 비교에 기초하여 현재 제시되고 있는 제1 미디어 컨텐츠 아이템의 미디어 컨텐츠 세그먼트를 수신하는 단계를 더 포함하고, 상기 제1 미디어 컨텐츠 아이템과 관련된 복수의 오디오 핑거프린트 각각은 제1 미디어 컨텐츠 아이템의 특정 부분에 대응하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 질의에 포함된 질문 용어에 응답하는 엔티티 유형을 갖는 적어도 하나의 키워드는 자연어 처리를 사용하여 결정되는 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    상기 적어도 하나의 검색 결과는 컴퓨팅 디바이스와 관련된 디스플레이 디바이스에서 사용자에게 제시되는 것을 특징으로 하는 방법.
  7. 제1항에 있어서,
    상기 적어도 하나의 검색 결과는 미디어 재생 디바이스와 관련된 디스플레이 디바이스에서 사용자에게 제시되는 것을 특징으로 하는 방법.
  8. 제1항에 있어서,
    상기 키워드들은 미디어 컨텐츠 아이템에 나타나는 관심 대상(objects)에 대응하는 것을 특징으로 하는 방법.
  9. 검색 결과들을 제시하기 위한 시스템으로서, 상기 시스템은,
    컴퓨팅 디바이스의 하드웨어 프로세서를 포함하며, 상기 하드웨어 프로세서는:
    복수의 질의 용어를 포함하는 질의를 수신하고, 상기 복수의 질의 용어는 질문 용어를 포함하고;
    복수의 질의 용어에 기초하여, 질의가 통신 네트워크를 통해 컴퓨팅 디바이스에 연결된 미디어 재생 디바이스에 의해 현재 제시되고 있는 미디어 컨텐츠 아이템과 관련된 시간 민감성 질의 유형인지 여부를 결정하고;
    질의가 미디어 재생 디바이스에 의해 현재 제시되고 있는 미디어 컨텐츠 아이템과 관련된 시간 민감성 질의 유형이라는 결정에 응답하여:
    미디어 재생 디바이스에 의해 현재 제시되고 있는 미디어 컨텐츠 아이템에 대응하는 미디어 데이터를 캡처하고;
    질의가 컴퓨팅 디바이스에 의해 수신된 시점에 대응하는 시간 기간을 갖는 미디어 컨텐츠 아이템의 미디어 컨텐츠 세그먼트를 식별하고;
    질의에 포함된 질문 용어에 응답하는 엔티티 유형을 갖는 적어도 하나의 키워드를 결정하고; 그리고
    질의 및 적어도 하나의 키워드에 응답하는 적어도 하나의 검색 결과를 획득하고; 그리고
    적어도 하나의 검색 결과가 사용자에게 제시되도록 프로그램되는 것을 특징으로 하는 시스템.
  10. 제9항에 있어서,
    상기 질의는 질의와 관련된 컨텍스트 정보에 기초하여 시간 민감성 질의 유형인 것으로 결정되는 것을 특징으로 하는 시스템.
  11. 제9항에 있어서,
    상기 미디어 데이터는 오디오 데이터를 포함하고, 상기 하드웨어 프로세서는:
    상기 오디오 데이터의 제1 오디오 핑거프린트가 복수의 미디어 컨텐츠 아이템에 대응하는 오디오 핑거프린트들과 비교되도록 하고; 그리고
    상기 비교에 기초하여 제1 오디오 핑거프린트가 대응하는 복수의 미디어 컨텐츠 아이템 중 제1 미디어 컨텐츠 아이템의 신원을 수신하도록 더 프로그램되고, 상기 현재 제시되고 있는 미디어 컨텐츠 아이템은 그 수신된 제1 미디어 컨텐츠 아이템의 신원에 기초하여 식별되는 것을 특징으로 하는 시스템.
  12. 제11항에 있어서,
    상기 하드웨어 프로세서는 제1 미디어 컨텐츠 아이템과 관련된 복수의 오디오 핑거프린트와의 상기 제1 오디오 핑거프린트의 비교에 기초하여 현재 제시되고 있는 제1 미디어 컨텐츠 아이템의 미디어 컨텐츠 세그먼트를 수신하도록 더 프로그램되고, 상기 제1 미디어 컨텐츠 아이템과 관련된 복수의 오디오 핑거프린트 각각은 제1 미디어 컨텐츠 아이템의 특정 부분에 대응하는 것을 특징으로 하는 시스템.
  13. 제9항에 있어서,
    상기 질의에 포함된 질문 용어에 응답하는 엔티티 유형을 갖는 적어도 하나의 키워드는 자연어 처리를 사용하여 결정되는 것을 특징으로 하는 시스템.
  14. 제9항에 있어서,
    상기 적어도 하나의 검색 결과는 컴퓨팅 디바이스와 관련된 디스플레이 디바이스에서 사용자에게 제시되는 것을 특징으로 하는 시스템.
  15. 제9항에 있어서,
    상기 적어도 하나의 검색 결과는 미디어 재생 디바이스와 관련된 디스플레이 디바이스에서 사용자에게 제시되는 것을 특징으로 하는 시스템.
  16. 제9항에 있어서,
    상기 키워드들은 미디어 컨텐츠 아이템에 나타나는 관심 대상에 대응하는 것을 특징으로 하는 시스템.
  17. 컴퓨터 실행가능 명령어들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 명령어들은 프로세서에 의해 실행될 때, 프로세서로 하여금 검색 결과들을 제시하기 위한 방법을 수행하도록 하고, 상기 방법은:
    복수의 질의 용어를 포함하는 질의를 수신하는 단계와, 상기 복수의 질의 용어는 질문 용어를 포함하고;
    복수의 질의 용어에 기초하여, 질의가 통신 네트워크를 통해 컴퓨팅 디바이스에 연결된 미디어 재생 디바이스에 의해 현재 제시되고 있는 미디어 컨텐츠 아이템과 관련된 시간 민감성 질의 유형인지 여부를 결정하는 단계와;
    질의가 미디어 재생 디바이스에 의해 현재 제시되고 있는 미디어 컨텐츠 아이템과 관련된 시간 민감성 질의 유형이라는 결정에 응답하여:
    미디어 재생 디바이스에 의해 현재 제시되고 있는 미디어 컨텐츠 아이템에 대응하는 미디어 데이터를 캡처하는 단계와;
    질의가 컴퓨팅 디바이스에 의해 수신된 시점에 대응하는 시간 기간을 갖는 미디어 컨텐츠 아이템의 미디어 컨텐츠 세그먼트를 식별하는 단계와;
    질의에 포함된 질문 용어에 응답하는 엔티티 유형을 갖는 적어도 하나의 키워드를 결정하는 단계와; 그리고
    질의 및 적어도 하나의 키워드에 응답하는 적어도 하나의 검색 결과를 획득하는 단계와; 그리고
    적어도 하나의 검색 결과가 사용자에게 제시되도록 하는 단계를 포함하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 저장 매체.
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 제1항에 있어서,
    상기 질의는 그 질의를 수신한 컴퓨팅 디바이스에서 실행되는 애플리케이션에 기초하여 시간 민감성 질의 유형인 것으로 결정되는 것을 특징으로 하는 방법.
  26. 제9항에 있어서,
    상기 질의는 그 질의를 수신한 컴퓨팅 디바이스에서 실행되는 애플리케이션에 기초하여 시간 민감성 질의 유형인 것으로 결정되는 것을 특징으로 하는 시스템.














KR1020167018931A 2013-12-31 2014-12-23 컨텍스트 정보에 기초하여 검색 결과들을 생성하기 위한 방법들, 시스템들 및 매체들 KR102310980B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361922218P 2013-12-31 2013-12-31
US61/922,218 2013-12-31
US14/191,034 US10002191B2 (en) 2013-12-31 2014-02-26 Methods, systems, and media for generating search results based on contextual information
US14/191,034 2014-02-26
PCT/US2014/072258 WO2015103053A1 (en) 2013-12-31 2014-12-23 Methods, systems, and media for generating search results based on contextual information

Publications (2)

Publication Number Publication Date
KR20160104635A KR20160104635A (ko) 2016-09-05
KR102310980B1 true KR102310980B1 (ko) 2021-10-08

Family

ID=53482045

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167018931A KR102310980B1 (ko) 2013-12-31 2014-12-23 컨텍스트 정보에 기초하여 검색 결과들을 생성하기 위한 방법들, 시스템들 및 매체들

Country Status (8)

Country Link
US (3) US10002191B2 (ko)
EP (1) EP3090362A1 (ko)
JP (1) JP6668245B2 (ko)
KR (1) KR102310980B1 (ko)
CN (1) CN105874454B (ko)
AU (1) AU2014374036B2 (ko)
CA (1) CA2935568C (ko)
WO (1) WO2015103053A1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150302819A1 (en) * 2014-04-22 2015-10-22 Lenovo (Singapore) Pte. Ltd. Updating an attribute used for displaying video content based on video content type
US9396354B1 (en) 2014-05-28 2016-07-19 Snapchat, Inc. Apparatus and method for automated privacy protection in distributed images
US9665241B2 (en) * 2014-06-30 2017-05-30 Verizon Patent And Licensing Inc. Media content search systems and methods
WO2016033765A1 (zh) * 2014-09-03 2016-03-10 华为技术有限公司 网页自动化测试方法及装置
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
US10311916B2 (en) 2014-12-19 2019-06-04 Snap Inc. Gallery of videos set to an audio time line
CN112040410B (zh) 2015-03-18 2022-10-14 斯纳普公司 地理围栏认证提供
US10204104B2 (en) * 2015-04-14 2019-02-12 Google Llc Methods, systems, and media for processing queries relating to presented media content
US9654891B2 (en) * 2015-09-15 2017-05-16 D&M Holdings, Inc. System and method for determining proximity of a controller to a media rendering device
US10354425B2 (en) 2015-12-18 2019-07-16 Snap Inc. Method and system for providing context relevant media augmentation
WO2017119604A1 (ko) * 2016-01-08 2017-07-13 주식회사 아이플래테아 시청률 산출 서버, 시청률 산출 방법, 및 시청률 산출 리모트 장치
EP3438852B1 (en) 2016-07-21 2023-03-15 Samsung Electronics Co., Ltd. Electronic device and control method thereof
WO2018174849A1 (en) * 2017-03-20 2018-09-27 Google Llc Contextually disambiguating queries
US10565256B2 (en) 2017-03-20 2020-02-18 Google Llc Contextually disambiguating queries
US10582277B2 (en) 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
CN108696760A (zh) * 2017-04-07 2018-10-23 京东方科技集团股份有限公司 一种信息获取、提供方法及装置
US10679068B2 (en) 2017-06-13 2020-06-09 Google Llc Media contextual information from buffered media data
CN108322770B (zh) * 2017-11-22 2020-02-18 腾讯科技（深圳）有限公司 视频节目识别方法、相关装置、设备和系统
CN107948876B (zh) * 2017-12-13 2020-10-09 北京小米移动软件有限公司 控制音箱设备的方法、装置及介质
US20190266282A1 (en) * 2018-02-28 2019-08-29 Ent. Services Development Corporation Lp Systems and methods for constrained directed media searches
WO2020037534A1 (zh) * 2018-08-22 2020-02-27 深圳市欢太科技有限公司 一种图像处理方法、装置以及计算机存储介质
CN109933788B (zh) * 2019-02-14 2023-05-23 北京百度网讯科技有限公司 类型确定方法、装置、设备和介质
CN115185445A (zh) * 2019-04-17 2022-10-14 华为技术有限公司 一种添加批注的方法及电子设备
CN110825289A (zh) * 2019-10-31 2020-02-21 北京字节跳动网络技术有限公司 操作用户界面的方法、装置、电子设备及存储介质
KR20240012973A (ko) * 2022-07-21 2024-01-30 삼성전자주식회사 영상 기반 질문에 대한 답변을 제공하는 디스플레이 장치 및 그 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120240144A1 (en) * 2011-03-17 2012-09-20 Anthony Rose Content provision

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240555B1 (en) 1996-03-29 2001-05-29 Microsoft Corporation Interactive entertainment system for presenting supplemental interactive content together with continuous video programs
US6901366B1 (en) 1999-08-26 2005-05-31 Matsushita Electric Industrial Co., Ltd. System and method for assessing TV-related information over the internet
US8205223B2 (en) 2000-04-12 2012-06-19 Lg Electronics Inc. Method and video device for accessing information
AU2001283004A1 (en) 2000-07-24 2002-02-05 Vivcom, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files
BR0114879A (pt) 2000-10-24 2003-08-12 Thomson Licensing Sa Método de dimensionar uma página de executor de meios embutido
US20020147984A1 (en) 2000-11-07 2002-10-10 Tomsen Mai-Lan System and method for pre-caching supplemental content related to a television broadcast using unprompted, context-sensitive querying
US20020144293A1 (en) * 2001-03-27 2002-10-03 Koninklijke Philips Electronics N.V. Automatic video retriever genie
US7421376B1 (en) 2001-04-24 2008-09-02 Auditude, Inc. Comparison of data signals using characteristic electronic thumbprints
US7519685B2 (en) 2003-04-04 2009-04-14 Panasonic Corporation Contents linkage information delivery system
JP4064902B2 (ja) * 2003-09-12 2008-03-19 株式会社東芝 メタ情報生成方法、メタ情報生成装置、検索方法および検索装置
CN1735162A (zh) 2004-08-12 2006-02-15 上海乐金广电电子有限公司 电视节目指南信息的osd生成器及其生成方法
WO2006048820A1 (en) 2004-11-04 2006-05-11 Koninklijke Philips Electronics N.V. Incorporation of lead actor information for tv recommenders
US7933338B1 (en) 2004-11-10 2011-04-26 Google Inc. Ranking video articles
KR20060077988A (ko) 2004-12-30 2006-07-05 삼성전자주식회사 멀티미디어 통신 시스템에서 컨텍스트 추출 및 이를 통한정보 제공 시스템 및 방법
JP2008527888A (ja) 2005-01-14 2008-07-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 仮想ビデオチャネルを構築する方法及びシステム
JP2006270869A (ja) 2005-03-25 2006-10-05 Dainippon Printing Co Ltd 関連情報取得システム、管理装置、関連情報取得方法、関連情報送信プログラム。
EP1955458B1 (en) 2005-11-29 2012-07-11 Google Inc. Social and interactive applications for mass media
CN1804829A (zh) * 2006-01-10 2006-07-19 西安交通大学 一种中文问题的语义分类方法
US8296808B2 (en) 2006-10-23 2012-10-23 Sony Corporation Metadata from image recognition
US8861898B2 (en) 2007-03-16 2014-10-14 Sony Corporation Content image search
EP2188711A4 (en) 2007-09-14 2012-08-22 Auditude Inc RESTORING PROGRAM INFORMATION FOR CLIPS FROM ONLINE USED BROADCASTING PROGRAMS
US8301618B2 (en) 2008-02-26 2012-10-30 Microsoft Corporation Techniques to consume content and metadata
JP5204893B2 (ja) * 2008-03-31 2013-06-05 ドルビー ラボラトリーズ ライセンシング コーポレイション 分散型媒体フィンガープリントリポジトリ
CN101566990A (zh) * 2008-04-25 2009-10-28 李奕 一种嵌入于视频的搜索方法及其系统
WO2009137368A2 (en) 2008-05-03 2009-11-12 Mobile Media Now, Inc. Method and system for generation and playback of supplemented videos
US8285702B2 (en) 2008-08-07 2012-10-09 International Business Machines Corporation Content analysis simulator for improving site findability in information retrieval systems
US8929657B2 (en) 2008-08-22 2015-01-06 KyongHee Yi System and method for indexing object in image
US8239359B2 (en) 2008-09-23 2012-08-07 Disney Enterprises, Inc. System and method for visual search in a video media player
US20120311623A1 (en) 2008-11-14 2012-12-06 Digimarc Corp. Methods and systems for obtaining still images corresponding to video
US9355554B2 (en) 2008-11-21 2016-05-31 Lenovo (Singapore) Pte. Ltd. System and method for identifying media and providing additional media content
JP5189481B2 (ja) 2008-12-26 2013-04-24 Ｋｄｄｉ株式会社 映像関連情報提示装置、映像関連情報提示システムおよび映像関連情報提示装置の制御プログラム
CN101557464B (zh) 2009-04-01 2013-06-05 深圳市融创天下科技股份有限公司 一种在视频节目播放中动态嵌入其他媒体片段的方法
US20130097632A1 (en) 2009-05-27 2013-04-18 Ajay Shah Synchronization to broadcast media
US20100332967A1 (en) 2009-06-25 2010-12-30 Yahoo! Inc. System and method for automatically generating web page augmentation
JP2011035628A (ja) * 2009-07-31 2011-02-17 Toshiba Corp キーワード検索システム、デジタル放送受信機及びキーワード検索方法
US9135277B2 (en) 2009-08-07 2015-09-15 Google Inc. Architecture for responding to a visual query
US8463100B2 (en) 2009-11-05 2013-06-11 Cosmo Research Company Limited System and method for identifying, providing, and presenting content on a mobile device
US8682728B2 (en) 2010-01-22 2014-03-25 Vincent KONKOL Network advertising methods and apparatus
KR101562588B1 (ko) 2010-01-26 2015-10-23 엘지전자 주식회사 정보 제공 장치 및 그 방법
US8560583B2 (en) 2010-04-01 2013-10-15 Sony Computer Entertainment Inc. Media fingerprinting for social networking
US9264785B2 (en) 2010-04-01 2016-02-16 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
US9443147B2 (en) 2010-04-26 2016-09-13 Microsoft Technology Licensing, Llc Enriching online videos by content detection, searching, and information aggregation
US20110271208A1 (en) 2010-04-30 2011-11-03 American Teleconferencing Services Ltd. Location-Aware Conferencing With Entertainment Options
US9015139B2 (en) 2010-05-14 2015-04-21 Rovi Guides, Inc. Systems and methods for performing a search based on a media content snapshot image
KR101123370B1 (ko) 2010-05-14 2012-03-23 주식회사 코리아퍼스텍 휴대단말용 객체기반 콘텐츠 제공방법 및 장치
US8694533B2 (en) 2010-05-19 2014-04-08 Google Inc. Presenting mobile content based on programming context
CN101883230A (zh) 2010-05-31 2010-11-10 中山大学 一种数字电视演员检索方法及系统
US9009339B2 (en) 2010-06-29 2015-04-14 Echostar Technologies L.L.C. Apparatus, systems and methods for accessing and synchronizing presentation of media content and supplemental media rich content
CA2841802C (en) 2010-07-21 2018-08-28 D-Box Technologies Inc. Media recognition and synchronisation to a motion signal
BR112013001738A2 (pt) 2010-07-26 2016-05-31 Koninkl Philips Electronics Nv "aparelhos de produção para produzir imagens em um programa, método e programa de computador"
US20120047156A1 (en) 2010-08-18 2012-02-23 Nokia Corporation Method and Apparatus for Identifying and Mapping Content
WO2012047532A1 (en) * 2010-09-28 2012-04-12 International Business Machines Corporation Providing answers to questions using hypothesis pruning
US20120096499A1 (en) 2010-10-19 2012-04-19 Charles Dasher Apparatus and method for facilitating video-on-demand catalog search and content distribution
US9241195B2 (en) 2010-11-05 2016-01-19 Verizon Patent And Licensing Inc. Searching recorded or viewed content
JP5491372B2 (ja) * 2010-12-03 2014-05-14 日本電信電話株式会社 情報検索システム、情報検索方法、情報検索プログラム
WO2012087540A1 (en) 2010-12-22 2012-06-28 Thomson Licensing Associating information with electronic program guide entries
US10070201B2 (en) 2010-12-23 2018-09-04 DISH Technologies L.L.C. Recognition of images within a video based on a stored representation
US9424471B2 (en) 2011-03-01 2016-08-23 Sony Corporation Enhanced information for viewer-selected video object
GB201117514D0 (en) * 2011-03-17 2011-11-23 Zeebox Ltd Content provision
US20120240177A1 (en) 2011-03-17 2012-09-20 Anthony Rose Content provision
WO2012139240A1 (en) 2011-04-11 2012-10-18 Intel Corporation Next generation television with content shifting and interactive selectability
US8621548B2 (en) 2011-05-12 2013-12-31 At&T Intellectual Property I, L.P. Method and apparatus for augmenting media services
US9075875B1 (en) 2011-05-13 2015-07-07 Google Inc. System and method for recommending television programs based on user search queries
JP2013016030A (ja) 2011-07-04 2013-01-24 Mitsubishi Electric Corp 番組再生装置および番組再生方法
US20130036442A1 (en) 2011-08-05 2013-02-07 Qualcomm Incorporated System and method for visual selection of elements in video content
KR101893151B1 (ko) 2011-08-21 2018-08-30 엘지전자 주식회사 영상 표시 장치, 단말 장치 및 그 동작 방법
US8805827B2 (en) * 2011-08-23 2014-08-12 Dialogic (Us) Inc. Content identification using fingerprint matching
US9317571B2 (en) 2011-08-26 2016-04-19 Google Inc. Third party content provider integrations
CN103765910B (zh) 2011-09-12 2017-06-09 英特尔公司 用于视频流和其他内容的基于关键字的非线性导航的方法和设备
US20130111514A1 (en) 2011-09-16 2013-05-02 Umami Co. Second screen interactive platform
US9098533B2 (en) 2011-10-03 2015-08-04 Microsoft Technology Licensing, Llc Voice directed context sensitive visual search
KR101952170B1 (ko) 2011-10-24 2019-02-26 엘지전자 주식회사 검색 방법을 채용한 휴대 전자 기기
US9866915B2 (en) 2011-11-28 2018-01-09 Excalibur Ip, Llc Context relevant interactive television
US8949872B2 (en) 2011-12-20 2015-02-03 Yahoo! Inc. Audio fingerprint for content identification
KR20130081595A (ko) 2012-01-09 2013-07-17 삼성전자주식회사 디스플레이 장치, 원격 제어 장치 및 그 검색 방법
CN102868934B (zh) 2012-08-01 2016-06-29 青岛海信传媒网络技术有限公司 基于智能电视的视频对象信息检索方法及装置
US8484017B1 (en) 2012-09-10 2013-07-09 Google Inc. Identifying media content
CN102833617B (zh) 2012-09-20 2016-03-23 北京酷云互动科技有限公司 一种同步显示多媒体节目附属信息的方法、系统及终端
US20140089423A1 (en) 2012-09-27 2014-03-27 United Video Properties, Inc. Systems and methods for identifying objects displayed in a media asset
US20140250116A1 (en) * 2013-03-01 2014-09-04 Yahoo! Inc. Identifying time sensitive ambiguous queries
US20140255003A1 (en) 2013-03-05 2014-09-11 Google Inc. Surfacing information about items mentioned or presented in a film in association with viewing the film
US9384217B2 (en) 2013-03-11 2016-07-05 Arris Enterprises, Inc. Telestration system for command processing
US9524509B2 (en) 2013-03-28 2016-12-20 Yahoo! Inc. Client side browser notification
US20140344670A1 (en) 2013-05-14 2014-11-20 Pandaworks Inc. Dba Contentpanda Method and system for on-demand delivery of predefined in-context web content

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120240144A1 (en) * 2011-03-17 2012-09-20 Anthony Rose Content provision

Also Published As

Publication number Publication date
CA2935568A1 (en) 2015-07-09
US10002191B2 (en) 2018-06-19
CN105874454A (zh) 2016-08-17
US10997235B2 (en) 2021-05-04
AU2014374036A1 (en) 2016-06-16
CN105874454B (zh) 2022-09-13
CA2935568C (en) 2022-04-26
JP2017503273A (ja) 2017-01-26
KR20160104635A (ko) 2016-09-05
EP3090362A1 (en) 2016-11-09
JP6668245B2 (ja) 2020-03-18
WO2015103053A1 (en) 2015-07-09
AU2014374036B2 (en) 2020-01-23
US20210256055A1 (en) 2021-08-19
US11941046B2 (en) 2024-03-26
US20180307752A1 (en) 2018-10-25
US20150186511A1 (en) 2015-07-02

Similar Documents

Publication Publication Date Title
US11941046B2 (en) Methods, systems, and media for generating search results based on contextual information
US11743557B2 (en) Methods, systems, and media for presenting supplemental content relating to media content based on state information that indicates a subsequent visit to the content interface
US10311101B2 (en) Methods, systems, and media for searching for video content
US10333767B2 (en) Methods, systems, and media for media transmission and management
US9609391B2 (en) Methods, systems, and media for presenting mobile content corresponding to media content
US10984038B2 (en) Methods, systems, and media for processing queries relating to presented media content

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right