KR20190110134A - 이벤트의 사용자 경험 중에 정보를 획득하기 위한 검색 쿼리들 결정 - Google Patents

Abstract

이벤트 동안 후속 검색을 위한 복수의 검색 쿼리들을 결정하고, 상기 복수의 검색 쿼리들 각각에 대해, 이벤트 동안 대응하는 검색 쿼리를 검색하기 위한 각각의 시간을 스케쥴링하는 컴퓨팅 시스템이 설명된다. 복수의 검색 쿼리들로부터의 특정한 검색 쿼리가 검색되도록 스케쥴링된 이벤트 동안의 각각의 시간에 컴퓨팅 디바이스의 사용자가 이벤트를 경험하고 있다고 결정함에 응답하여, 컴퓨팅 시스템은 특정한 검색 쿼리를 검색하고, 상기 특정한 검색 쿼리의 검색으로부터 반환된 정보의 표시를 이벤트 동안의 후속 디스플레이를 위해 컴퓨팅 디바이스에 자동으로 전송한다.

Description

이벤트의 사용자 경험 중에 정보를 획득하기 위한 검색 쿼리들 결정

이벤트(예를 들어, 컨텐츠의 제시를 보고 및/또는 청취)를 경험하는 동안, 사용자는 이벤트와 관련된 2차 정보를 얻기를 원할 수 있고, 따라서 이벤트를 경험하는 동안 그러한 정보를 수동으로 검색하기 위해 컴퓨팅 디바이스와 인터렉션할 수 있다. 이벤트 동안 정보를 수동으로 검색하는 것은 사용자가 이벤트의 일부 또는 이벤트에 관한 기타 관련 있고 흥미로운 정보를 놓치게 할 수 있다.

일부 컴퓨팅 디바이스는 이벤트의 사용자 경험을 향상시키기 위해 사전 제작된 "제2 화면 경험"의 일부로서 2차적 정보를 자동으로 출력할 수 있다. 예를 들어, 일부 이러한 컴퓨팅 디바이스는 이벤트의 사용자 경험 동안의 특정 시간에 나중에 제시하기 위해 메모리에 미리 결정되고 캐시된 특정 정보를 출력할 수 있다. 제2 화면 환경을 사전 제작하는 것은 시간이 많이 걸리고, 이벤트의 제시 발생 전에, 수동적으로 발생되어야 하는 리소스 집약적 작업일 수 있다. 시간이 지남에 따라, 사전 제작된 제2 화면 경험의 일부로서 후속 출력을 위해 캐시된 2차적 정보는 오래되거나 이벤트의 향후 제시 중에 출력될 수 있는 가장 흥미로운, 최신 또는 관련 정보가 아닐 수 있다.

일반적으로, 본 개시의 기법들은 시스템으로 하여금 컴퓨팅 디바이스의 사용자가 이벤트를 경험하는 동안, 이벤트와 관련된 최신 정보를 동적으로 획득하고 컴퓨팅 디바이스로 하여금 제시하게 한다. 본 명세서에서 사용되는 용어 "이벤트"는 라이브 공연, 방송, 재생 또는 라이브 또는 사전 기록된 컨텐츠의 다른 유형의 제시(예를 들어, 미팅 프리젠테이션, 어셈블리, 컨퍼런스, 뮤지컬 또는 연극 공연, 영화, 텔레비전 쇼, 노래, 콘서트, 스포츠 이벤트 또는 사용자가 경험할 수 있는 기타 유형의 라이브 또는 사전 기록된 컨텐츠)를 지칭한다. "실시간 이벤트"또는 "실시간 공연"이라는 용어는 사용자가 실제로 참석하는 임의의 이벤트를 의미한다. 방송 컨텐츠는 이벤트 시점에 상당한 지연 없이 방송될 수 있으며, 때로는 "실시간"으로 표시될 수 있지만 이를 위해 "실시간 방송"이라는 용어를 사용한다. 컨텐츠는 나중에 녹화되거나 재생될 수 있다.

이벤트를 보거나 듣거나 다른 방식으로 "경험"하는 동안, 정확한 타임스탬프에서 또는 이벤트 동안 발생하는 특정한 "서브이벤트"에 응답하여, 사용자는 이벤트에 관한 2차적 정보를 획득하기를 원할 수 있다. 예를 들어, 스포츠 이벤트를 시청하는 동안, 사용자는 방금 중요한 플레이를 한 덜 알려진 플레이어의 전기 정보를 얻는 것에 관심이 있거나, 중요한 플레이의 재생을 보는데 관심이 있을 수 있다. 또는, 영화를 보는 동안, 사용자는 특정한 장면의 배경인 이국적인 지리적 위치에 관한 휴가 딜 또는 다른 정보를 보고 싶어할 수 있다. 또는, 영화 또는 TV 프리젠테이션을 시청하는 동안, 사용자는 배우가 화면에 나타날 때 전기 및 기타 연기 정보를 얻기 원할 수 있다.

시스템은 컴퓨팅 디바이스의 사용자가 이벤트를 경험하고 있는 경우, 후속 검색을 위한 하나 이상의 검색 쿼리들 미리 결정하고 (예를 들어, 캐시 또는 다른 메모리에) 저장할 수 있다. 컴퓨팅 디바이스 그룹의 사용자에 대한 검색 이력 또는 다른 정보를 분석하기 위한 명시적인 허가를 수신한 후, 시스템은 컴퓨팅 디바이스들의 그룹의 사용자들이 동일하거나 유사한 이벤트를 경험했던 컴퓨팅 디바이스 그룹이 검색한 쿼리들을 식별함으로써 후속 검색을 위한 하나 이상의 검색 쿼리들을 결정할 수 있다. 시스템은 컴퓨팅 디바이스들의 그룹이 각각 미리 결정된 쿼리를 검색한 때를(예를 들어, 이벤트의 특정 타임스탬프 또는 서브이벤트)를 식별하고, 이벤트의 특정 타임스탬프 또는 서브이벤트에서 후속 검색을 위해 각각 미리 결정된 쿼리를 할당할 수 있다.

컴퓨팅 디바이스의 사용자에 관한 정보를 분석하여 사용자가 이벤트를 경험하고 있는지 여부를 결정하기 위한 명시적 허가를 수신한 후에, 컴퓨팅 디바이스의 사용자가 이벤트의 특정한 서브이벤트 또는 타임스탬프를 경험하고 있다고 결정함에 응답하여, 시스템은 이벤트의 특정한 타임스탬프 또는 서브이벤트에 할당된 특정한 검색 쿼리를 검색하고, 컴퓨팅 디바이스의 사용자가 이벤트의 특정 타임스탬프 또는 서브이벤트를 경험하는 동안 컴퓨팅 디바이스로 하여금 상기 검색으로부터 획득된 2차적 정보를 제시하게 할 수 있다. 이러한 방식으로, 2차 정보를 검색하기 위해 사용자가 컴퓨팅 디바이스에 수동으로 입력을 제공하거나, 오래된 정보에 의존할 수 있는 사전 제작된 2차적 화면 경험과 인터렉션하도록 요구하기 보다는, 시스템은 2차적 정보가 이벤트의 특정한 타임스탬프 또는 서브이벤트와 가장 관련된 경우 이벤트 동안의 시간에, 컴퓨팅 디바이스로 하여금 자동으로 최신 2차적 정보를 자동으로 제시하게 할 수 있다. 이러한 2차 정보를 자동으로 제공함으로써, 사용자는 검색 쿼리의 입력 동안 종래와 같이 이벤트의 일부를 놓치지 않을 수 있다. 또한, 미리 정의된 검색 쿼리들을 사용하여 2차적 정보를 자동으로 제공하므로 컴퓨팅 및 네트워크 리소스 사용이 감소된다. 예를 들어, 통상적으로 사용자는 이벤트와 관련하여 원하는 정보를 찾을 때까지 다수의 쿼리들을 입력할 수 있지만, 본 개시의 양태는 이벤트에 직접 링크된 정보를 제공함으로써, 관련없는 정보 또는 사용자가 원하지 않는 정보를 생성하는 검색의 수를 감소시킨다.

일 예시에서, 본 발명은 이벤트 동안 후속 검색을 위한 복수의 검색 쿼리들을 결정하는 단계 및 상기 복수의 검색 쿼리들 각각에 대해, 이벤트 동안 대응하는 검색 쿼리를 검색하기 위한 각각의 시간을 스케쥴링하는 단계를 포함하는 방법에 관한 것이다. 상기 방법은 컴퓨팅 디바이스의 사용자가 상기 복수의 검색 쿼리들로부터의 특정한 검색 쿼리가 검색되도록 스케쥴링된, 상기 이벤트 동안 각각의 시간에, 상기 이벤트를 경험하고 있다고 결정함에 응답하여: 상기 특정한 검색 쿼리를 검색하는 단계; 및 컴퓨팅 디바이스에 의해, 상기 이벤트 동안, 상기 특정한 검색 쿼리의 실행으로부터 반환된 정보의 표시를 출력하는 단계를 더 포함한다.

일 예시에서, 본 발명은 적어도 하나의 프로세서 및 명령어들을 포함하는 메모리를 포함하는 컴퓨팅 시스템에 관한 것이며, 상기 명령어들을 실행시 상기 적어도 하나의 프로세서로 하여금: 이벤트 동안 후속 검색을 위한 복수의 검색 쿼리들을 결정하게 하고; 그리고 상기 복수의 검색 쿼리들 각각에 대해, 대응하는 검색 쿼리를 검색하기 위해 상기 이벤트 동안 각각의 시간을 스케쥴링하게 한다. 상기 명령어들은 실행시 상기 적어도 하나의 프로세서로 하여금 컴퓨팅 디바이스의 사용자가 상기 복수의 검색 쿼리들로부터의 특정한 검색 쿼리가 검색되도록 스케쥴링된, 상기 이벤트 동안 각각의 시간에, 상기 이벤트를 경험하고 있다고 결정함에 응답하여: 상기 특정한 검색 쿼리를 검색하게 하고; 그리고 상기 이벤트 동안의 후속 디스플레이를 위해, 상기 특정한 검색 쿼리의 검색으로부터 반환된 정보의 표시를 상기 컴퓨팅 디바이스에 자동적으로 전송하게 한다.

일 예시에서, 본 발명은 명령어들을 포함하는 컴퓨터 판독가능 저장 매체에 관한 것이며, 상기 명령어들을 실행시 컴퓨팅 시스템의 적어도 하나의 프로세서로 하여금 이벤트 동안 후속 검색을 위한 복수의 검색 쿼리들을 결정하게 하고; 그리고 상기 복수의 검색 쿼리들 각각에 대해, 대응하는 검색 쿼리를 검색하기 위해 상기 이벤트 동안 각각의 시간을 스케쥴링하게 한다. 상기 명령어들은 실행시 상기 적어도 하나의 프로세서로 하여금 컴퓨팅 디바이스의 사용자가 상기 복수의 검색 쿼리들로부터의 특정한 검색 쿼리가 검색되도록 스케쥴링된, 상기 이벤트 동안 각각의 시간에, 상기 이벤트를 경험하고 있다고 결정함에 응답하여: 상기 특정한 검색 쿼리를 검색하게 하고, 상기 이벤트 동안의 후속 디스플레이를 위해, 상기 특정한 검색 쿼리의 검색으로부터 반환된 정보의 표시를 상기 컴퓨팅 디바이스에 자동적으로 전송하게 한다.

일 예시에서, 본 발명은 이벤트 동안 후속 검색을 위한 복수의 검색 쿼리들을 결정하고 상기 복수의 검색 쿼리들 각각에 대해, 이벤트 동안 대응하는 검색 쿼리를 검색하기 위한 각각의 시간을 스케쥴링하기 위한 수단들을 포함하는 시스템에 관한 것이다. 시스템은 컴퓨팅 디바이스의 사용자가 상기 복수의 검색 쿼리들로부터의 특정한 검색 쿼리가 검색되도록 스케쥴링된, 상기 이벤트 동안 각각의 시간에, 상기 이벤트를 경험하고 있다고 결정함에 응답하여: 상기 특정한 검색 쿼리를 검색하기 위한 수단, 그리고 상기 이벤트 동안, 상기 특정한 검색 쿼리의 실행으로부터 반환된 정보의 표시를 출력하기 위한 수단을 더 포함한다.

하나 이상의 예시들의 세부 사항은 첨부 도면과 아래의 설명에서 기술된다. 본 개시의 다른 구성, 오브젝트 및 이점은 설명, 도면 및 청구항으로부터 명백해질 것이다.

도 1은 본 발명의 하나 이상의 양태들에 따라, 컴퓨팅 디바이스의 사용자가 이벤트를 경험하고 있을 때, 미리 결정된 시간에 실행된 검색으로부터 반환되었던 이벤트와 관련된 정보를 제시하기 위한 예시적 시스템을 도시하는 개념도이다.
도 2는 본 발명의 하나 이상의 양태들에 따라, 컴퓨팅 디바이스의 사용자가 이벤트를 경험하고 있을 때, 미리 결정된 시간에 실행된 검색으로부터 반환되었던 이벤트와 관련된 정보를 제시하도록 구성된 예시적 컴퓨팅 디바이스를 도시하는 블록도이다.
도 3은 본 발명의 하나 이상의 기법들에 따라, 원격 디바이스에서 디스플레이하기 위한 그래픽 컨텐츠를 출력하는 예시적 컴퓨팅 디바이스를 나타내는 블록도이다.
도 4 및 5는 본 발명의 하나 이상의 양태들에 따라, 컴퓨팅 디바이스의 사용자가 이벤트를 경험하고 있을 때, 미리 결정된 시간에 실행된 검색으로부터 반환되었던 이벤트와 관련된 정보를 제시하도록 구성된 예시적 컴퓨팅 디바이스에 의해 수행된 예시적 동작들을 도시하는 흐름도이다.

도 1은 본 발명의 하나 이상의 양태들에 따라, 컴퓨팅 디바이스의 사용자가 이벤트를 경험하고 있을 때, 미리 결정된 시간에 실행된 검색으로부터 반환되었던 이벤트와 관련된 정보를 제시하기 위한 예시적 시스템을 도시하는 개념도이다. 시스템(100)은 네트워크(130)를 통해 미디어 출력 디바이스(120) 및 컴퓨팅 디바이스(110)와 통신하는 하나 이상의 원격 서버 시스템("RSS")(160)을 포함한다. RSS(160)는 미디어 서비스 모듈(162), 검색 모듈(164) 및 제2 화면 서비스("SSS") 모듈(166)을 포함한다. 미디어 출력 디바이스(120)는 출력 컴포넌트(122) 및 미디어 출력 모듈(124)을 포함한다. 컴퓨팅 디바이스(110)는 사용자 인터페이스 컴포넌트("UIC")(112) 및 제2 화면 클라이언트("SSC")(114)를 포함한다.

네트워크(130)는 예를 들어, 셀룰러, Wi-Fi 및/또는 컴퓨팅 시스템, 서버 및 컴퓨팅 디바이스들 간 데이터를 전송하기 위한 기타 유형의 네트워크와 같은 임의의 공용 또는 개인용 통신 네트워크를 나타낸다. 네트워크(130)는 하나 이상의 네트워크 허브들, 네트워크 스위치들, 네트워크 라우터들 또는 임의의 기타 네트워크 장치를 포함할 수 있고, 그들은 상호 결합되어 RSS(160), 미디어 출력 디바이스(120)와 컴퓨팅 디바이스(110) 간의 정보의 교환을 제공한다. RSS(160), 미디어 출력 디바이스(120)와 컴퓨팅 디바이스(110)는 임의의 적절한 통신 기법들을 사용하여 네트워크(130)를 통해 데이터를 전송하고 수신할 수 있다.

RSS(160), 미디어 출력 디바이스(120) 및 컴퓨팅 디바이스(110)는 각각의 네트워크 링크들을 사용하여 네트워크(130)에 각각 동작적으로 연결될 수 있다. RSS(160), 미디어 출력 디바이스(120) 및 컴퓨팅 디바이스(110)를 네트워크(130)에 연결하는 링크는 이더넷, ATM 또는 기타 유형의 네트워크 연결일 수 있고, 상기 연결은 무선 및/또는 유선 연결일 수 있다.

미디어 출력 디바이스(120)는 RSS(160)와 같은 미디어 서비스 제공자로부터 수신된 미디어 컨텐츠를 사용자 인터페이스(126)로서 제시하기 위한 임의의 적절한 출력 디바이스를 나타낸다. 미디어 출력 모듈(124)은 미디어 서비스 제공자(예를 들어, 텔레비전 제공자, 케이블 제공자, 온라인 스트리밍 서비스 제공자 등)로부터 미디어 컨텐츠를 수신하고 출력 컴포넌트(122)를 통해 미디어 컨텐츠를 출력하도록 구성된다. 예를 들어, 미디어 출력 디바이스(120)는 텔레비전일 수 있고 출력 컴포넌트(122)는 텔레비전 화면 및/또는 스피커일 수 있다. 미디어 출력 디바이스(120)는 컴퓨팅 디바이스일 수 있고, 출력 컴포넌트(122)는 디스플레이, 프로젝터 및 스크린, 스피커, 가상 현실(VR) 헤드셋, 헤드폰 또는 동작가능하게 미디어 출력 디바이스(120)에 연결되고 미디어 컨텐츠를 출력하도록 구성된 임의의 다른 유형의 디스플레이 및/또는 스피커일 수 있다. 미디어 출력 디바이스(120)는 셋톱 디바이스 또는 미디어 스트리밍 디바이스일 수 있고, 출력 컴포넌트(122)는 미디어 출력 디바이스(120)에 동작가능하게 연결된 디스플레이 및/또는 스피커 시스템일 수 있다. 미디어 출력 디바이스(120)는 (예: 집 또는 자동차 엔터테인먼트 시스템의) 라디오일 수 있고, 출력 컴포넌트(122)는 미디어 출력 디바이스(120)에 동작가능하게 연결된 스피커 시스템일 수 있다.

미디어 출력 모듈(124)은 RSS(160)의 미디어 서비스 모듈(162)과 통신하고, RSS(160)로부터 수신된 미디어 컨텐츠를 프로세싱하고, 출력 컴퓨팅(122)에서 제시하기 위해 수신되고 프로세싱된 미디어 컨텐츠를 출력할 수 있다. 미디어 출력 모듈(124)은 미디어 서버 시스템(80)에 상주하는 및/또는 실행되는 소프트웨어, 하드웨어, 펌웨어 또는 하드웨어, 소프트웨어 및 펌웨서의 조합을 사용하여 본 명세서에 기술된 동작들을 수행할 수 있다. 예를 들어, 미디어 출력 모듈(124)은 적어도 하나의 프로세서 및 실행될 때 적어도 하나의 프로세서로 하여금 미디어 출력 모듈(124)에 기인한 동작을 수행하게 하는 메모리 저장 명령어들을 포함할 수 있다. 미디어 출력 모듈(124)은 미디어 출력 디바이스(120)의 하부 하드웨어에서 실행되는 하나 이상의 가상 머신들로서, 미디어 출력 디바이스(120)의 운영 체제 또는 컴퓨팅 플랫폼의 하나 이상의 서비스들로서 및/또는 미디어 출력 디바이스(120)의 컴퓨팅 플랫폼의 어플리케이션 레이어에서 하나 이상의 실행가능한 프로그램들로서 다수의 프로세서들과 함께 동작들을 수행할 수 있다.

미디어 출력 모듈(124)은 미디어 서비스 모듈(162)로부터 네트워크(130)를 통해 스트리밍 오디오 및 비디오를 수신할 수 있다. 미디어 출력 모듈(124)은 출력 컴포넌트(122)에서 멀티미디어 컨텐츠로서 출력 및 디스플레이하기 위해 스트리밍 오디오 및 비디오를 포맷하고 최적화할 수 있다. 미디어 출력 모듈(124)은 멀티미디어 컨텐츠를 출력 컴포넌트(122)에 전송할 수 있고, 출력 컴포넌트(122)는 멀티미디어 컨텐츠를 스피커 및 출력 컴포넌트(122)의 화면에서 사용자 인터페이스(126)로서 출력 및 디스플레이할 수 있다. 예를 들어, 도 1에 도시된 바와 같이, 사용자 인터페이스(126)는 시간 t0-tn으로부터 연대순으로 제시된 미디어 컨텐츠 부분(128A-128N)(통칭하여 "미디어 컨텐츠 부분(128)")을 포함한다. 미디어 컨텐츠 부분들(128) 각각은 이벤트의 특정한 프레임, 챕터 또는 다른 유형의 서브이벤트일 수 있다.

RSS(160)는 네트워크(130)를 통해 정보를 교환할 수 있는 임의의 적합한 원격 컴퓨팅 시스템 또는 시스템들(예를 들어, 하나 이상의 데스크톱 컴퓨터, 하나 이상의 랩톱 컴퓨터, 하나 이상의 메인프레임, 하나 이상의 서버, 하나 이상의 클라우드 컴퓨팅 시스템, 또는 하나 이상의 다른 유형의 원격 컴퓨팅 시스템)을 나타낸다. 모듈들(162, 164 및 166)은 RSS(160)에서 상주하는 및/또는 실행되는 소프트웨어, 하드웨어, 펌웨어 또는 하드웨어, 소프트웨어 및 펌웨서의 조합을 사용하여 본 명세서에 기술된 동작들을 수행할 수 있다. RSS(160)는 다수의 프로세서들 또는 다수의 디바이스들 내의 모듈들(162, 164 및 166)을 하부 하드웨어에서 실행되는 가상 머신들로서, 운영 체제 또는 컴퓨팅 플랫폼의 하나 이상의 서비스들로서 및/또는 RSS(160)의 컴퓨팅 플랫폼의 어플리케이션 레이어에서 하나 이상의 실행가능한 프로그램들로서 실행할 수 있다.

미디어 서비스 모듈(162)은 네트워크(130)를 통해 미디어 서비스의 가입자와 연관된 컴퓨팅 디바이스(예를 들어, 미디어 출력 디바이스(120), 컴퓨팅 디바이스(110) 등)에 이벤트의 멀티미디어 방송 또는 스트림을 제공하는 미디어 서비스를 호스팅하기 위한 기능을 수행한다. 이벤트의 예는 영화, 음악 공연(예: 스튜디오 또는 라이브 음악 공연의 오디오 및/또는 비디오), TV쇼, 스포츠 행사, 공휴일 행사(예: 퍼레이드, 새해 축하), 과학 또는 기술 행사(예: 달/화성 착륙), 정치적 사건(협약, 선거, 취임식), 연극 또는 공연 예술 이벤트, 속보 뉴스 이벤트, 또는 사람이 미디어 출력 디바이스(120)와 같은 미디어 출력 디바이스를 통해 실시간으로(예: 직접) 또는 원격으로 경험할 수 있는 기타 유형의 청각적 또는 시각적 경험을 포함한다.

예를 들어, 미디어 서비스 모듈(162)은 미디어 출력 디바이스(120)의 사용자가 주문형으로 영화, 텔레비전 쇼, 음악 및 다른 유형의 미디어 컨텐츠에 액세스할 수 있는 주문형 비디오 스트리밍 서비스를 호스팅할 수 있다. 미디어 서비스 모듈(162)은 미디어 출력 컴포넌트(122)의 사용자가 라이브 또는 주문형 텔레비전 방송에 기초하여 미디어 컨텐츠에 액세스할 수 있는 텔레비전 방송 서비스(예를 들어, 하나 이상의 텔레비전 채널)를 호스팅할 수 있다. 미디어 서비스 모듈(162)은 그것이 제공하는 미디어 서비스와 연관된 미디어 컨텐츠를 네트워크(130)에 전송할 수 있다. 미디어 출력 디바이스(120) 및/또는 컴퓨팅 디바이스(110)는 네트워크(130)를 통해 미디어 서비스 모듈(162)에 의해 전송되는 미디어 컨텐츠를 수신하고, (예를 들어, 미디어 출력 디바이스(120)의 디스플레이 컴포넌트(122) 또는 컴퓨팅 디바이스(110)의 사용자 인터페이스 컴포넌트(112)에서) 전송된 미디어 컨텐츠로부터 도출된 그래픽 및/또는 청각적 정보로 출력할 수 있다.

검색 모듈(164)은 검색 모듈(164)이 인터넷을 통해, 네트워크(130)를 통해 및/또는 RSS (160)에서 로컬 스토리지를 통해 액세스하는 다양한 정보 소스(예를 들어, 웹 페이지, 웹 서비스, 어플리케이션 또는 다른 정보 소스)에 걸쳐 수행된 검색들로부터 반환된 정보를 제공하는 검색 서비스를 호스팅하기 위한 기능을 수행한다. 검색 모듈(164)은 검색 모듈(164)이 SSS 모듈(166) 및/또는 컴퓨팅 디바이스(110)로부터 수신하는 검색 쿼리와 관련된 정보를 검색할 수 있다. 검색을 실행한 후, 검색 모듈(164)은 검색(예를 들어, 검색 결과)으로부터 반환된 정보를 쿼리의 발신자(예를 들어, 제2 화면 서비스 모듈(166) 및/또는 컴퓨팅 디바이스(110)) 또는 네트워크(130)를 통해 통신하는 일부 다른 디바이스로 출력할 수 있다.

일반적으로, SSS 모듈(166)은 라이브 또는 사전 기록된 이벤트와 관련된 최신의 2차적 정보를 자동으로 제공하는 제2 화면 서비스를 호스팅한다. SSS 모듈(166)은 라이브 또는 사전 기록된 이벤트의 사용자 경험 동안 SSS 모듈(166)이 미리 결정된 시간에 실행되게 하는 검색으로부터 2차적 정보를 획득한다. SSS 모듈(166)은 미리 결정된 시간에 제시되는 이벤트의 주요(1차) 컨텐츠의 사용자 경험을 보완하거나 달리 향상시키기 위해, 미리 결정된 시간에 검색의 실행 후에 2차 정보를 제공한다. 다시 말해, SSS 모듈(166)은 이벤트를 경험하고 있는 컴퓨팅 디바이스의 사용자가 검색하고자 할 가능성이 있는 2차 정보를 상기 2차적 정보가 제시되고 있는 시간에, 동적으로 획득하고 컴퓨팅 디바이스에 제시하게 한다.

예를 들어, 컴퓨팅 디바이스(110)의 사용자가 이벤트의 주요(1차) 컨텐츠(예를 들어, 미디어 출력 디바이스(120)에 의해 출력되는 텔레비전 쇼 방송, 컴퓨팅 디바이스(110)의 위치 근처에서 발생하는 라이브 스포츠 이벤트 등)를 시청하거나 청취하는 동안, SSS 모듈(166)은 사용자가 이벤트의 특정 서브이벤트(예를 들어, 타임스탬프 또는 서브이벤트의 발생)를 경험하고 있거나 경험하려고 하는지 여부를 결정할 수 있다. 사용자가 특정 서브이벤트를 경험하려고 하거나 또는 경험하고 있다는 결정에 응답하여, SSS 모듈(166)은 서브이벤트와 연관된 검색 쿼리를 상기 검색 쿼리 및 상기 서브이벤트에 관한 2차적 컨텐츠(예: 추가적 설명, 이미지 및 지도에 대한 컨텍스트적 배경, 참조, 링크 및 다른 이벤트 관련 정보)에 대한 요청과 함께 검색 모듈(164)에 전송할 수 있다. SSS 모듈(166)은 요청에 응답하여 검색 모듈(164)로부터 2차적 컨텐츠를 획득할 수 있다.

그렇게 하기 위해, SSS 모듈(166)은 각각의 사용자로부터 명시적으로 동의를 받은 후에만 컴퓨팅 디바이스의 사용자에 관한 정보를 사용, 분석 또는 저장할 수 있다. 또한, SSS 모듈(166)에 의해 보유된 임의의 정보는 개별 사용자의 신원을 제거하거나 달리 보호하기 위해 처리되거나 암호화될 수 있다. SSS 모듈(166)은 사용자가 동의를 취소할 수 있게 하여, SSS 모듈(166)이 그들의 정보의 사용, 분석 또는 저장하는 것을 중단하게 할 수 있다.

SSS 모듈(166)은 컴퓨팅 디바이스(110)가 2차적 컨텐츠를 출력하는 방법 및 시기에 대한 명령어들과 함께 검색 모듈(164)로부터 수신한 2차적 컨텐츠를 컴퓨팅 디바이스(110)에 패키징하고 출력할 수 있다. 명령어들은 컴퓨팅 디바이스(110)로 하여금 (예를 들어, 사용자가 서브이벤트를 경험함에 따라) 서브이벤트와 동기하여 2차적 컨텐츠를 출력하게 할 수 있다. 다시 말해서, 명령어들은 컴퓨팅 디바이스(110)로 하여금 그 제시가 사용자에 의해 경험되고 있는 1차적 컨텐츠와 가장 관련될 때 2차적 컨텐츠를 제시하게 할 수 있다. SSS 모듈(166)은 이벤트의 사용자 경험 동안 실행된 검색으로부터 2차적 컨텐츠를 획득하기 때문에, 2차적 컨텐츠는 서브이벤트에 관한 현재의 정보(예를 들어, 최신이고 오래되지 않은)를 포함할 가능성이 더 높다.

SSS 모듈(166)은 이벤트 동안 후속 검색을 위한 복수의 검색 쿼리들을 결정할 수 있다. SSS 모듈(166)은 다수의 컴퓨팅 디바이스의 사용자가 동일하거나 유사한 이벤트를 경험하면서 다수의 컴퓨팅 디바이스에 의해 검색된 인기있는 검색 쿼리들인 검색 쿼리들 결정할 수 있다. SSS 모듈(166)은 미디어 서비스 모듈(162)이 다양한 유형의 이벤트의 멀티미디어 방송 또는 스트림을 출력했을 때 검색 모듈(164)에 의해 어떤 검색이 실행되었는지를 결정하기 위해 검색 모듈(164) 및 미디어 서비스 모듈(162)에 의해 수집된 데이터에 의존할 수 있다.

SSS 모듈(166)은 모델(예를 들어, 딥 러닝 모델, 장단기 메모리 모델, 베이지안 네트워크, 인공 신경망 또는 다른 기계 학습 모델, 인공 지능 모델 및 다른 유형의 모델)을 사용하여, 미디어 서비스 모듈(162)이 특정 유형의 이벤트의 멀티미디어 방송 또는 스트림을 출력하는 동안 검색 모듈(164)이 어떤 유형의 검색을 실행하는지에 대한 정보를 분석할 수 있다. SSS 모듈(166)의 모델은 특정한 유형의 이벤트의 멀티미디어 방송 또는 스트림의 입력에 응답하여, 이벤트를 경험하는 사용자가 이벤트 동안 검색하고 싶었던 하나 이상의 특정 검색 쿼리를 출력할 수 있는 규칙을 생성할 수 있다.

SSS 모듈(166)은 SSS 모듈(166)이 특정한 이벤트에 관해 획득한 보충 정보에 기초하여 검색 쿼리를 향상시키거나 수정할 수 있다. 보충 정보는 (예를 들어, 이벤트와 연관된 시맨틱 텍스트, 이벤트에 관한 메타 정보, 이벤트의 지식 그래프, 온라인 백과 사전 및 RSS(160) 및 SSS 모듈(166)이 액세스가능한 다른 참조들로부터) 이벤트와 연관된 주제 또는 키워드를 포함할 수 있다. SSS 모듈(166)은 이벤트와 연관된 주제 또는 키워드를 식별할 수 있고, 식별된 주제 또는 키워드의 텍스트를 사용하여, 이벤트와 관련된 검색 쿼리를 생성할 수 있다. 예를 들어, 이벤트가 특정한 영화인 경우, SSS 모듈(166)은 배우, 시대, 장르, 설정 및 특정한 영화와 관련된 다른 주제를 식별하도록 영화 이름을 검색 쿼리로서 사용하는 검색을 실행하기 위해 검색 모듈(164)을 사용할 수 있다. 일반적인 검색 쿼리(예를 들어, 일반적인 의미에서 "배우"를 특정하는 검색 쿼리)를 생성하는 대신, SSS 모듈(166)은 이벤트에 대해 획득된 보충 정보를 사용하여 (예를 들어, 그 이름, 시대의 시간 기간, 세팅의 위치 및 이벤트와 관련된 기타 주제를 사용하여 영화의 특정 배우를 특정하는 검색 쿼리를 생성함으로써) 검색 쿼리를 좁힐 수 있다.

SSS 모듈(166)은 모델의 규칙에 의해 결정된 쿼리에 기초하여 검색 쿼리를 생성하고 이벤트와 관련된 주제로 쿼리를 좁히거나 세분화할 수 있다. SSS는 검색 쿼리를 SSS 모듈(166)의 메모리에 저장하고, 저장된 검색 쿼리에 이벤트의 식별자를 태그할 수 있다. 미래에, SSS 모듈(166)이 컴퓨팅 디바이스(110)의 사용자가 이벤트를 경험하고 있다고 결정하면, SSS 모듈(166)은 저장된 쿼리를 검색하고, 검색 모듈(164)로 하여금 이벤트에 관한 2차적 정보를 얻기 위해 검색 쿼리를 검색하게 하고, 사용자가 이벤트를 경험하는 동안 제시하기 위해 컴퓨팅 디바이스(110)에 상기 2차적 정보를 전송한다.

SSS 모듈(166)은 이벤트 동안 후속 검색을 위해 결정된 복수의 검색 쿼리들 각각에 대해, 이벤트 동안 대응하는 검색 쿼리를 검색하도록 각각의 시간 또는 서브이벤트를 스케쥴링할 수 있다. 본원에 사용된 "각각의 시간"은 연대적 서브이벤트(예를 들어, 타임스탬프, 챕터, 시간 또는 다른 시간적 서브이벤트) 또는 비-연대적 서브이벤트(예를 들어, 액션의 발생, 특정한 주제의 출현 등과 같은 이벤트와 관련된 특정 시간과 반드시 묶이지 않는 무언가의 발생)을 지칭할 수 있다.

SSS 모듈(166) 및 그 모델은 어느 서브이벤트에 응답하여 어떤 쿼리를 검색할지를 특정하는 규칙을 생성할 수 있다. 예를 들어, SSS 모듈(166)의 모델은 스포츠 게임의 휴식시간 동안 검색 모듈(164)에 전송된 인기있는 검색 쿼리가 그 당시에 진행되는 다른 게임의 스코어에 대한 검색임을 표시하는 규칙에 의존할 수 있다. 두 팀 사이의 하키 게임의 방송 동안, SSS 모듈(166)의 하나의 규칙은 검색 모듈(164)로 하여금 동시에 진행되는 다른 하키 게임의 점수에 대한 하키 게임의 휴식 시간 동안 검색하게 할 수 있다. SSS 모듈(166)의 모델은 스포츠 게임에서의 득점 플레이에 응답하여 검색 모듈(164)에 전송된 인기있는 검색 쿼리가 득점한 플레이어(들)의 통계에 대한 검색임을 나타내는 규칙에 의존할 수 있다. 따라서, SSS 모듈(166)의 상이한 규칙은 검색 모듈(164)로 하여금 하키 게임 동안의 득점 플레이에 응답하여, 득점한 플레이어의 플레이어 통계 및 플레이 중에 어시스트한 플레이어에 대해 검색하게 할 수 있다.

SSS 모듈(166)은 서브이벤트의 식별자로 미리 결정된 검색 쿼리를 태그할 수 있어서, SSS 모듈(166)이 서브이벤트가 발생할 것이거나 발생했다고 판정하면, SSS 모듈(166)은 그 서브이벤트와 연관된 미리 결정된 검색 쿼리(들)를 신속하게 검색할 수 있다. 예를 들어, 서브이벤트가 연대적인 서브이벤트인 경우, 서브이벤트의 식별자는 이벤트 동안의 특정 시간 태그일 수 있다. 서브이벤트가 비-연대적인 서브이벤트인 경우, 서브이벤트의 식별자는 특정 쿼리를 특정한 서브이벤트와 관련된 것으로 식별하기 위해 충족되어야 하는 조건일 수 있다. SSS 모듈(166)이 컴퓨팅 디바이스(110)의 사용자가 이벤트의 특정한 서브이벤트를 경험하고 있다고 결정하면, SSS 모듈(166)은 해당 서브이벤트와 연관된 식별자로 태그되었던 저장된 쿼리를 검색하고, 검색 모듈(164)로 하여금 해당 서브이벤트에 관한 2차적 정보를 얻기 위해 검색 쿼리를 검색하게 하고, 사용자가 해당 서브이벤트를 경험하기 전에, 그 동안, 또는 그 후에 제시하기 위해 컴퓨팅 디바이스(110)에 상기 2차적 정보를 전송한다.

SSS 모듈(166)이 사용자 및 클라이언트 디바이스에 관한 정보를 사용, 분석 및 저장하기 위해 그의 제2 화면 정보 서비스에 가입한 클라이언트 디바이스(예를 들어, 컴퓨팅 디바이스(110))의 사용자로부터 명시적 동의를 수신한 후, SSS 모듈(166)은 클라이언트 디바이스들의 사용자들이 이벤트를 경험하고 있는지 여부를 결정할 수 있고, 클라이언트 디바이스의 사용자가 이벤트를 경험하고 있다고 결정함에 응답하여, SSS 모듈(166)은 이벤트에 관한 검색 쿼리들의 검색들을 실행하고, 상기 검색들로부터 반환된 정보를 이벤트 동안 클라이언트 디바이스에 출력할 수 있다. 예를 들어, SSS 모듈(166)은 컴퓨팅 디바이스(110)의 사용자가 자신이 소유한 컴퓨팅 디바이스(110)와 함게 하키 게임에 참석하고 있음을 나타내는 데이터를 컴퓨팅 디바이스(110)로부터 수신할 수 있다. SSS 모듈(166)은 하키 게임과 연관된 하나 이상의 검색 쿼리들를 결정할 수 있고, 특정한 서브이벤트가 발생하거나 발생하려고 하는 때를 표시하는 컴퓨팅 디바이스(110)로부터의 추가 데이터를 수신함에 응답하여, SSS 모듈(166)은 검색 모듈(164)로 하여금 특정한 서브이벤트로 태그가 지정된 하나 이상의 검색 쿼리들의 검색을 실행하게 한다. SSS 모듈(166)은 검색의 실행으로부터 검색 모듈(164)에 의해 획득된 정보를 수신하고, 이벤트 동안, 언제 사용자에게 정보를 디스플레이하거나 그렇지 않으면 제시할 지에 관한 명령어들을 가진 정보를 컴퓨팅 디바이스(110)에 출력할 수 있다.

컴퓨팅 디바이스(110)는 모바일 또는 비-모바일 컴퓨팅 디바이스를 나타낸다. 컴퓨팅 디바이스(110)의 예시들은 모바일폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 데스크톱 컴퓨터, 서버, 메인프레임, 셋톱박스, 텔레비전, 웨어러블 디바이스(예를 들어, 컴퓨터화된 시계, 컴퓨터화된 안경, 컴퓨터화된 장갑 등), 가정 자동화 디바이스 또는 시스템(예를 들어, 지능형 서모스탯 또는 홈 어시스턴트), PDA(personal digital assistants), 게임 시스템, 미디어 플레이어, e-book 리더, 모바일 텔레비전 플랫폼, 차량 네비게이션 및 인포테인먼트 시스템 또는 네트워크(130)를 통해 2차 화면 정보 서비스를 실행하도록 구성되는 임의의 기타 유형의 모바일, 비-모바일, 웨어러블 및 비-웨어러블 컴퓨팅 디바이스(110)를 포함한다.

컴퓨팅 디바이스(110)의 UIC(112)는 컴퓨팅 디바이스(110)의 입력 및/또는 출력 디바이스로서 기능할 수 있다. UIC(112)는 다양한 기술들을 사용하여 구현될 수 있다. 예를 들어, UIC(112)는 존재-감응형 입력 화면, 마이크로폰 기술, 적외선 센서 기술 또는 사용자 입력을 수신하는데 사용되는 다른 입력 디바이스 기술을 사용하는 입력 디바이스로서 기능할 수 있다. UIC(112)는 임의의 하나 이상의 디스플레이 디바이스, 스피커 기술, 햅틱 피드백 기술 또는 정보를 사용자에게 출력하는데 사용하기 위한 기타 출력 디바이스 기술을 사용하여 사용자에게 출력을 제시하도록 구성된 출력 디바이스로서 기능할 수 있다.

일반적으로, SSC 모듈(114)은 RSS(160)의 SSS 모듈(166)에 의해 제공되는 제2 화면 정보 서비스에 대한 클라이언트이다. SSC 모듈(114)은 1차적 컨텐츠를 경험하는 사용자가 검색할 가능성이 있는 2차적 컨텐츠를 제공한다. 즉, SSC 모듈(114)은 컴퓨팅 디바이스(110)로 하여금 SSS 모듈(166)의 제2 화면 정보 서비스에 액세스하여 라이브 또는 미리 녹화된 이벤트의 1차 컨텐츠의 사용자 경험 동안의 미리 결정된 시간에 RSS(160)에 의해 실행된 검색들로부터 최근에 획득된 현재, 2차적 정보를 자동으로 획득할 수 있게 한다. SSS 모듈(166)로부터 SSC 모듈(114)에 의해 획득된 2차적 정보는 이벤트의 1차 컨텐츠의 사용자 경험을 보충하거나 향상시키도록 의도된다. SSC 모듈(114)은 언제 컴퓨팅 디바이스(110)의 사용자가 이벤트를 경험하고 있는지를 결정하고, 이벤트의 사용자의 현재 경험에 대해 사용자를 위해 생성되고 개인화된 2차적 컨텐츠(예를 들어, 능동적 검색 스트림으로서)를 제시(예를 들어, 디스플레이 또는 달리 출력)할지 결정한다.

모듈(114)은 컴퓨팅 디바이스(110)에 상주하는 및/또는 실행되는 소프트웨어, 하드웨어, 펌웨어 또는 하드웨어, 소프트웨어 및 펌웨서의 조합을 사용하여 본 명세서에 기술된 동작들을 수행할 수 있다. 컴퓨팅 디바이스(110)는 다수의 프로세서들 또는 다수의 디바이스들 내의 모듈(114)을 하부 하드웨어에서 실행되는 가상 머신들로서, 운영 체제 또는 컴퓨팅 플랫폼의 하나 이상의 서비스들로서 및/또는 컴퓨팅 디바이스(110)의 컴퓨팅 플랫폼의 어플리케이션 레이어에서 하나 이상의 실행가능한 프로그램들로서 실행할 수 있다.

컴퓨팅 디바이스(110)의 사용자가 이벤트의 1차 컨텐츠(예를 들어, 미디어 출력 디바이스(120)에 의해 출력되는 영화, 라이브 스피킹 이벤트 또는 컴퓨팅 디바이스(110)의 위치 근처에서 발생하는 음악 공연 등)를 보고 듣고 있는 동안, SSC 모듈(114)은 컴퓨팅 디바이스(110)의 사용자가 이벤트의 1차 컨텐츠 및/또는 이벤트의 특정한 서브이벤트를 보거나 듣고 있음을 표시하는 메시지를 SSS 모듈(116)에 전송할 수 있다. 이에 응답하여, SSC 모듈(114)은 SSC 모듈(114)이 컴퓨팅 디바이스(110)로 하여금 2차적 컨텐츠를 출력하게 하는 시기에 대한 명령어들과 함께 네트워크(130)를 통해 SSS 모듈(166)로부터 2차적 컨텐츠를 수신할 수 있다. SSC 모듈(114)은 SSS 모듈(166)로부터 수신된 명령어들을 해석하고, UIC(112)로 하여금 명령어들에 따라 2차적 컨텐츠를 제시하게 하여, 2차적 컨텐츠가 사용자에 의해 경험되는 1차 컨텐츠와 동기하여 출력되도록 할 수 있다.

예를 들어, 도 1에 도시된 바와 같이, SSC 모듈(114)은 UIC(112)로 하여금 시간 t0-tn으로부터 연대순으로 디스플레이된 미디어 컨텐츠 부분들(128A-128N)(통칭하여 "미디어 컨텐츠 부분(118)")을 포함하는 사용자 인터페이스(128)를 제시하게 할 수 있다. 검색 컨텐츠 부분(118)은 미디어 컨텐츠 부분(128) 중 대응하는 부분과 관련된 추가 정보(즉, 2차적 컨텐츠)를 포함하는 정보 카드일 수 있다. 검색 컨텐츠 부분(118) 중 각각의 부분은 출력 컴포넌트(122)가 미디어 컨텐츠 부분(128) 중 대응하는 부분을 제시하기 직전 또는 직후 또는 거의 동시에 UIC(112)에 의해 제시될 수 있다. 일부 예에서, 검색 컨텐츠 부분들(118)은 SSC 모듈(114)이 UIC(112)로 하여금 사용자에 의해 현재 경험되고 있는 특정한 미디어 컨텐츠 부분(128)과 관련된 검색 컨텐츠 부분들(118)을 제시하게 하는 명확한 표시를 제공하기 위해 트랙, 장면 또는 다른 논리적 마커들과 같은 다른 시간적 구분자뿐만 아니라 시간 마크로 주석이 달릴 수 있다.

이러한 방식으로, SSC 모듈(114)은 제2 화면 정보 서비스에 대한 액세스를 통해 컴퓨팅 디바이스 사용자가 이벤트를 경험하고 있는 동안 컴퓨팅 디바이스(110)로 하여금 이벤트와 관련된 현재(즉, 최신) 2차적 컨텐츠를 동적으로 획득하고 제시할 수 있게 한다. SSC 모듈(114)은 2차적 컨텐츠가 이벤트와 가장 관련이 있는 이벤트 동안 컴퓨팅 디바이스(110)로 하여금 2차적 컨텐츠를 적시에 제시하게 할 수 있다.

이러한 방식으로, 2차 정보를 검색하기 위해 사용자가 컴퓨팅 디바이스에 수동으로 입력을 제공하거나, 오래된 정보에 의존할 수 있는 사전 제작된 2차적 화면 경험과 인터렉션하도록 요구하기 보다는, 시스템(100)과 같은 시스템은 2차적 정보가 이벤트의 특정한 타임스탬프 또는 서브이벤트와 가장 관련된 경우 이벤트 동안의 시간에, 컴퓨팅 디바이스로 하여금 자동으로 최신 2차적 정보를 자동으로 제시하게 할 수 있다. 최근에 획득된 현재 또는 최신 정보를 제시함으로써, 시스템은 컴퓨팅 디바이스로 하여금 2차적 정보가 시간에 따라 변화함에 따라 수동으로 업데이트될 필요 없이 보다 바람직한 제2 화면 경험을 제시할 수 있게 한다.

도 2는 본 발명의 하나 이상의 양태들에 따라, 컴퓨팅 디바이스의 사용자가 이벤트를 경험하고 있을 때, 미리 결정된 시간에 실행된 검색으로부터 반환되었던 이벤트와 관련된 정보를 제시하도록 구성된 예시적 컴퓨팅 디바이스를 도시하는 블록도이다. 도 2의 컴퓨팅 디바이스(210)는 도 1의 컴퓨팅 디바이스(110)의 예로서 아래에서 설명된다. 도 2는 컴퓨팅 디바이스(210)의 단지 하나의 특정한 예시를 도시하며, 컴퓨팅 디바이스(210)의 많은 다른 예시들이 다른 경우들에 사용될 수 있고, 예시적 컴퓨팅 디바이스(210)에 포함된 컴포넌트들의 서브셋을 포함하거나 또는 도 2에서 도시되지 않은 추가적인 컴포넌트들을 포함할 수 있다.

도 2의 예시에서 도시된 바와 같이, 컴퓨팅 디바이스(210)는 사용자 인터페이스(UIC)(212), 하나 이상의 프로세서들(240), 하나 이상의 통신 유닛들(242), 하나 이상의 입력 컴포넌트들(244), 하나 이상의 출력 컴포넌트들(246) 및 하나 이상의 저장 컴포넌트들(248)을 포함한다. UIC(212)는 출력 컴포넌트(202) 및 입력 컴포넌트(204)를 포함한다. 컴퓨팅 디바이스(210)의 저장 컴포넌트(248)는 제2 화면 모듈(270) 및 쿼리 데이터 저장소(272) 및 이벤트 지문 데이터 저장소(273)를 포함한다. 제2 화면 모듈(270)은 또한 쿼리 스케쥴링 모듈(274), 이벤트 및 서브이벤트 검출(ESD) 모듈(276) 및 컨텍스트 모듈(278)을 포함한다.

통신 채널들(250)은 컴포넌트 간 통신을 위해(물리적으로, 통신적으로 및/또는 동작적으로) 각각의 컴포넌트들(212, 240, 242, 244, 246 및 248)와 상호연결될 수 있다. 일부 예시에서, 통신 채널들(250)은 시스템 버스, 네트워크 연결, 프로세스 간 통신 데이터 구조 또는 데이터를 통신하기 위한 임의의 기타 방법을 포함할 수 있다.

컴퓨팅 디바이스(210)의 하나 이상의 통신 유닛(242)은 하나 이상의 네트워크상에서 네트워크 신호를 송신 및/또는 수신함으로써 하나 이상의 유선 및/또는 무선 네트워크를 통해 외부 디바이스들과 통신할 수 있다. 통신 유닛(242)의 예시들은(이더넷 카드와 같은) 네트워크 인터페이스 카드, 광학적 트랜스시버, 라디오 주파수 트랜스시버, GPS 수신기 또는 정보를 송신 및/또는 수신할 수 있는 임의의 기타 유형의 디바이스를 포함한다. 통신 유닛들(242)의 다른 예시들은 단파 라디오, 셀룰러 데이터 라디오, 무선 네트워크 라디오 뿐만 아니라 USB 제어기를 포함할 수 있다.

컴퓨팅 디바이스(210)의 하나 이상의 입력 컴포넌트들(244)은 입력을 수신할 수 있다. 입력의 예는 촉각, 오디오 및 비디오 입력이다. 일 예에서, 컴퓨팅 디바이스(210)의 입력 컴포넌트(242)는 존재 감응형 입력 디바이스(예를 들어, 터치 감지 스크린, PSD), 마우스, 키보드, 음성 응답 시스템, 비디오 카메라, 마이크로폰 또는 인간 또는 기계로부터의 입력을 검출하는 임의의 기타 유형의 디바이스를 포함한다. 일부 예시에서, 입력 컴포넌트(242)는 하나 이상의 센서 컴포넌트들, 하나 이상의 위치 센서(GPS 컴포넌트, Wi-Fi 컴포넌트, 셀룰러 컴포넌트), 하나 이상의 온도 센서, 하나 이상의 움직임 센서(예: 가속도계, 자이로스코프), 하나 이상의 압력 센서(예: 기압계), 하나 이상의 주변 광 센서 및 하나 이상의 기타 센서(예: 마이크로폰, 카메라, 적외선 근접 센서, 습도계 등)를 포함할 수 있다. 기타 센서들은 몇 가지 다른 비-한정적인 예를 들면, 심장 박동 센서, 자력계, 포도당 센서, 습도계 센서, 후각 센서, 나침반 센서, 스텝 카운터 센서를 포함할 수 있다.

컴퓨팅 디바이스(110)의 하나 이상의 출력 컴포넌트들(246)은 출력을 생성할 수 있다. 출력의 예는 촉각, 오디오 및 비디오 출력이다. 일 예시에서, 컴퓨팅 디바이스(210)의 출력 컴포넌트들(246)은 PSD, 사운드 카드, 비디오 그래픽 어댑터 카드, 스피커, 음극선관(CRT) 모니터, 액정 디스플레이(LCD)또는 사람 또는 기계에 출력을 생성하기 위한 임의의 기타 유형의 디바이스를 포함한다.

컴퓨팅 디바이스(210)의 UIC(212)는 컴퓨팅 디바이스(110)의 UIC(112)와 유사할 수 있으며, 출력 컴포넌트(202) 및 입력 컴포넌트(204)를 포함한다. 출력 컴포넌트(202)는 정보가 UIC(212)에 의해 디스플레이되는 화면과 같은 디스플레이 컴포넌트일 수 있고, 입력 컴포넌트(204)는 디스플레이 컴포넌트(202)에서 및/또는 그 부근에서 오브젝트를 검출하는 존재 감응형 입력 컴포넌트일 수 있다. 출력 컴포넌트(202) 및 입력 컴포넌트(204)는 스피커 및 마이크로폰 쌍 또는 입력 컴포넌트(244) 및 출력 컴포넌트(244)와 같은 하나 이상의 입력 및 출력 컴포넌트의 임의의 다른 조합일 수 있다. 도 2의 예에서, UIC(212)는 사용자 인터페이스(도 1의 사용자 인터페이스(116))를 제시할 수 있다.

컴퓨팅 디바이스(210)의 내부 컴포넌트로서 도시되어 있지만, UIC(212)는 입력 및 출력을 송신 및/또는 수신하기 위해 컴퓨팅 디바이스(210)와 데이터 경로를 공유하는 외부 컴포넌트를 나타낼 수 있다. 예를 들어, 일 예시에서, UIC(212)는 컴퓨팅 디바이스(210)의 외부 패키징(예를 들어, 모바일폰 상의 스크린) 내에 위치되고 물리적으로 연결된 컴퓨팅 디바이스(210)의 내장 컴포넌트를 나타낼 수 있다. 다른 예시에서, UIC(212)는 컴퓨팅 디바이스(210)의 패키징 또는 하우징(예를 들어, 컴퓨팅 디바이스(210)와 유선 및/또는 무선을 데이터 경로를 공유하는 모니터, 프로젝터)의 외부에 위치되고 물리적으로 분리된 컴퓨팅 디바이스(210)의 외부 컴포넌트를 나타낼 수 있다.

컴퓨팅 디바이스(210) 내의 하나 이상의 저장 컴포넌트(248)는 컴퓨팅 디바이스(210)의 동작 동안 프로세싱을 위한 정보를 저장할 수 있다(예를 들어, 컴퓨팅 디바이스(210)는 컴퓨팅 디바이스(210)에서의 실행 중에 모듈들(270, 274, 276 및 278) 및 데이터 저장소들(272 및 273)에 의해 액세스되는 데이터를 저장할 수 있다). 일부 예시에서, 저장 컴포넌트(248)는 저장 컴포넌트(248)의 주목적이 장기간 저장이 아님을 의미하는 임시적 메모리이다. 컴퓨팅 디바이스(210) 상의 저장 컴포넌트들(248)은 휘발성 메모리로서 정보의 단기 저장을 위해 구성될 수 있고, 따라서 전원이 꺼지면 저장된 컨텐츠를 보유하지 않는다. 휘발성 메모리들의 예시들은 RAM(random access memory), DRAM(dynamic random access memory), SRAM(static random access memory) 및 당업계에서 공지된 기타 형태의 휘발성 메모리를 포함할 수 있다.

일부 예시에서, 저장 컴포넌트들(248)은 하나 이상의 컴퓨터 판독가능 저장 매체를 포함한다. 일부 예시에서, 저장 컴포넌트들(248)은 하나 이상의 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 저장 컴포넌트들(248)은 일반적으로 휘발성 메모리에 저장되는 것보다 많은 양의 정보를 저장하도록 구성될 수 있다. 저장 컴포넌트들(248)은 비휘발성 메모리 공간으로서 정보의 장기 저장을 위해 구성될 수 있고 전원 켜짐/꺼짐 순환 이후에도 정보를 보유한다. 비휘발성 메모리의 예시들은 자기적 하드 디스크, 광학 디스크, 플로피 디스크, 플래시 메모리 또는 EPROM 또는 EEPROM의 형태를 포함한다. 저장 컴포넌트들(248)은 모듈(274, 276, 224 및 278) 및 데이터 저장소들(272 및 273)과 연관된 프로그램 명령어들 및/또는 정보(예를 들어, 데이터)를 저장할 수 있다. 저장 컴포넌트들(248)은 모듈(274, 276, 224 및 278) 및 데이터 저장소들(272 및 273)과 연관된 데이터 및/또는 다른 정보를 저장하도록 구성된 메모리를 포함할 수 있다.

하나 이상의 프로세서들(240)은 기능을 구현하고 및/또는 컴퓨팅 디바이스(210)와 연관된 명령어들을 실행할 수 있다. 프로세서들(240)의 예들은 어플리케이션 프로세서, 디스플레이 제어기, 보조 프로세서, 하나 이상의 센서 허브 및 프로세서, 프로세싱 유닛, 또는 프로세싱 디바이스로서 기능하도록 구성된 임의의 다른 하드웨어를 포함한다. 모듈들(270, 274, 276 및 278)은 컴퓨팅 디바이스(210)의 다양한 액션들, 동작들 또는 기능들을 수행하기 위해 프로세서들(240)에 의해 동작 가능할 수 있다. 예를 들어, 컴퓨팅 디바이스(210)의 프로세서(240)는 프로세서(240)로 하여금 모듈들(270, 274, 276 및 278)의 동작들을 수행하게 하는 저장 컴포넌트들(248)에 의해 저장된 명령어들을 검색하고 실행할 수 있다. 명령어들은 프로세서(240)에 의해 실행될 때, 컴퓨팅 디바이스(210)로 하여금 저장 컴퓨팅 디바이스(248) 내에 정보를 저장하게 한다.

제2 화면 모듈(270)은 도 1의 RSS(160)의 SSS 모듈(162) 및 도 1의 컴퓨팅 디바이스(110)의 SSC 모듈(114)의 모든 기능을 포함할 수 있고, SSS 모듈(162) 및 SSC 모듈(114)과 유사한 동작을 수행하여 컴퓨팅 디바이스(210)의 존재에서 발생하는 라이브 또는 사전 기록된 이벤트와 관련된 최신의 2차적 정보를 자동으로 제공하는 제2 화면 경험을 제공할 수 있다. 즉, 제2 화면 모듈(270)은 사용자가 이벤트를 경험하고 있을 때 UIC(212)를 통해 컴퓨팅 디바이스(210)의 사용자에게 제시될 이벤트와 관련된 정보를 수집 및 출력할 수 있다.

개인 정보를 저장하고 사용하기 위한 사용자로부터의 명시적 동의를 수신한 후에, 컨텍스트 모듈(278)은 컴퓨팅 디바이스(210)와 연관된 컨텍스트 정보를 프로세싱하고 분석하여, 컴퓨팅 디바이스(210)의 컨텍스트 또는 컴퓨팅 디바이스(210)의 사용자의 컨텍스트를 정의할 수 있다. 컨텍스트 모듈(278)은 개인 정보를 저장하거나 사용하기 전에 사용자의 실제 신원을 제거하기 위해 분석 및/또는 저장되는 개인 정보를 암호화하거나 이와 다르게 처리할 수 있다. 예를 들어, 정보는 컨텍스트 모듈(278)에 의해 처리되어 임의의 개인 식별 정보가 프로세싱을 위해 컴퓨팅 디바이스(예: RSS(160))에 저장되거나 전송될 때 제거된다.

컴퓨팅 디바이스(210)의 컨텍스트는 컴퓨팅 디바이스(210) 및/또는 컴퓨팅 디바이스(210)의 사용자 및 다양한 위치 및 시간에 사용자의 물리적 및/또는 가상적 환경과 연관된 하나 이상의 특징들을 특정할 수 있다. 예를 들어, 컨텍스트 모듈(278)은 컴퓨팅 디바이스(210)의 컨텍스트의 일부로서, 특정한 시간으로부터 컴퓨팅 디바이스(210)와 연관된 컨텍스트 정보에 기초하여 특정한 시간에 컴퓨팅 디바이스(210)와 연관된 물리적 위치를 결정할 수 있다. 컨텍스트 정보가 변경됨에 따라(예를 들어, 시간에 따른 이동을 표시하는 센서 정보에 기초하여), 컨텍스트 모듈(278)은 컴퓨팅 디바이스(210)의 결정된 컨텍스트에서 물리적 위치를 업데이트할 수 있다.

특정한 위치 및/또는 시간에 대해 컴퓨팅 디바이스의 컨텍스트를 정의하는 정보 유형이 너무 많아 나열하기 어렵다. 일부 예로서, 컴퓨팅 디바이스의 컨텍스트는 음향 지문, 비디오 지문, 위치, 이동 궤적, 방향, 속도, 시설 이름, 주소, 장소 유형, 다양한 위치와 시간에 건물, 기상 조건 및 교통 상황 등을 특정할 수 있다. 컴퓨팅 디바이스의 컨텍스트는 다양한 위치 및 시간과 연관된 회의 또는 이벤트를 정의하는 일정 정보, 다양한 위치 및 시간에 본 웹 페이지 주소, 다양한 위치 및 시간에서 본 웹 페이지의 데이터 필드에서 작성된 텍스트 엔트리(예를 들어, 검색 또는 브라우징 이력) 및 다양한 위치 및 시간과 연관된 기타 어플리케이션 사용 데이터를 더 포함할 수 있다. 또한, 컴퓨팅 디바이스의 컨텍스트는 다양한 위치 및 시간에 컴퓨팅 디바이스에서 액세스되거나 방송되고 있는 오디오 및/또는 비디오 스트림, 다양한 위치 및 시간에 컴퓨팅 디바이스에서 엑세스되거나 방송되고 있는 텔레비전 또는 케이블/위성 방송에 관한 정보 및 다양한 위치 및 시간에 컴퓨팅 디바이스에 의해 엑세스될 수 있는 기타 서비스에 관한 정보를 더 포함할 수 있다.

컨텍스트 모듈(278)은 컴퓨팅 디바이스(210)의 컨텍스트를 ESD 모듈(276)과 공유할 수 있으며, 이로부터 ESD 모듈(276)은 컴퓨팅 디바이스(210)의 사용자가 경험하고 있는지(예를 들어, 시청, 청취, 또는 이벤트의 존재 여부)를 결정할 수 있다. 컨텍스트 모듈(278)은 사용자의 현재 상태 또는 컨텍스트를 특정하는 ESD 모듈(278)에 데이터를 출력함으로써, 컴퓨팅 디바이스(210)와 연관된 현재 컨텍스트 또는 현재 상태에 대한 ESD 모듈(276)로부터의 요청에 응답할 수 있다.

쿼리 데이터 저장소(272)는 이벤트 동안 후속 검색을 위한 검색 쿼리들를 저장하도록 구성된다. 쿼리 데이터 저장소(272)에 저장된 각각의 검색 쿼리들은 하나 이상의 이벤트 식별자 및/또는 하나 이상의 서브이벤트 식별자로 태그될 수 있다. ESD 모듈(276)은 이벤트 식별자 또는 서브이벤트 식별자의 룩업을 수행하고 이에 응답하여 식별자로 태그된 하나 이상의 검색 쿼리들을 검색할 수 있다.

이벤트 지문 데이터 저장소(273)는 이벤트의 특정한 서브이벤트에 대응하는 지문을 저장하도록 구성된다. 지문은 음향 지문, 비디오 지문, 무선 지문 또는 이벤트가 있을 때 컴퓨팅 디바이스에 의해 샘플링된 컨텍스트 정보로부터 생성된 임의의 다른 유형의 고유 코드일 수 있다. 쿼리 데이터 저장소(273)에 저장된 각각의 지문은 검색 가능할 수 있다. 예를 들어, ESD 모듈(276)은 컨텍스트 정보의 특정한 부분(예를 들어, 사운드 샘플, 비디오 샘플, 이미지 등)의 룩업을 수행하고, 이에 응답하여 하나 이상의 이벤트 또는 서브이벤트 식별자를 검색할 수 있다.

쿼리 스케쥴링 모듈(274)은 이벤트 동안 후속 실행을 위한 하나 이상의 검색 쿼리들을 결정하고, 이벤트의 각각의 시간 또는 각각의 서브이벤트가 발생할 때 후속 실행을 위한 하나 이상의 검색 쿼리들을 매핑 또는 스케쥴링하도록 구성된다. 특정한 검색 쿼리의 검색을 실행하기 위한 각각의 시간은 이벤트의 연대순의 타임라인의 연대순의 부분에 대응할 수 있거나 이벤트 동안 발생할 것으로 예상되는 특정 액션에 대응할 수 있다. 다시 말해서, 쿼리 스케쥴링 모듈(274)은 다른 컴퓨팅 디바이스의 다수의 사용자가 후속 시간에 경험할 가능성이 있는 이벤트를 초기에 식별하고, 복수의 검색 쿼리를 후속 시간에서의 검색을 위해 캐시(예를 들어, 쿼리 데이터 저장소(272)에)할 수 있다.

쿼리 스케쥴링 모듈(274)은 이벤트 동안 실행하기 위한 검색 쿼리들의 "큐레이팅된 흐름"을 생성할 수 있다. 큐레이팅된 흐름은 동적이거나 미리 생성될 수 있다.

쿼리 스케쥴링 모듈(274)은 상기 복수의 검색 쿼리들 중 적어도 하나에 대해, 상기 대응하는 검색 쿼리를 검색하기 위한 상기 이벤트 동안의 각각의 시간을 자동적으로 스케쥴링할 수 있다. 예를 들어, 스포츠, 퍼레이드 및 정치 이벤트와 같은 라이브 이벤트의 경우, 쿼리 스케쥴링 모듈(274)은 큐레이팅된 흐름을 동적으로 생성할 수 있다. 다수의 사람들이 동시에 동일한 이벤트를 경험할 수 있기 때문에, 쿼리 스케쥴링 모듈(274)은 큐레이팅된 흐름을 한번 생성하고, 각각의 디바이스에서의 동시 실행에 필요한 만큼 많은 다른 컴퓨팅 디바이스들과 큐레이팅된 흐름을 공유할 수 있다. 큐레이팅된 흐름이 공유될 수 있지만, 일부 개인화가 여전히 발생할 수 있는데, 예를 들어 사용자의 개인 선호에 기초하여 특정한 검색 쿼리의 검색을 금지한다.

쿼리 스케쥴링 모듈(274)은 상기 복수의 검색 쿼리들 중 적어도 하나에 대해, 사용자 입력에 기초하여 상기 대응하는 검색 쿼리를 검색하기 위한 상기 이벤트 동안의 각각의 시간을 수동으로 스케쥴링할 수 있다. 예를 들어, 영화, 녹음 된 음악, 라이브 스크립팅 된 공연과 같은 사전 기록된 미디어에 대해, 쿼리 스케쥴링 모듈(274)은 사용자 인터페이스를 통해 사용자 입력에 기초하여 큐레이팅된 흐름을 쿼리 스케쥴링 모듈(274)에 미리 생성할 수 있다. 미리 생성된 큐레이팅된 흐름은 나중에 경험을 향상시키기 위해 편집자 또는 컨텐츠 모니터에 의해 수동으로 업데이트 및 큐레이팅될 수 있다.

쿼리 스케쥴링 모듈(274)은 검색 쿼리들의 하이브리드 자동 및 수동 스케쥴링을 가능하게 할 수 있다. 예를 들어, 스포츠, 퍼레이드 및 정치 이벤트와 같은 라이브 이벤트의 경우, 쿼리 스케쥴링 모듈(274)은 큐레이팅된 흐름을 동적으로 생성할 수 있다. 그러나, 큐레이팅된 흐름은 사람(인간 큐레이터)이 쿼리 스케쥴링 모듈(274)로 하여금 "라이브 피드"에 검색 쿼리를 주입하게 할 수 있는 제어 패널을 통해 이벤트 동안 업데이트될 수 있다.

또한, 쿼리 스케쥴링 모듈(274)에 의존하기 위해, 제2 화면 모듈(270)은 컨텐츠에 대한 커스텀 큐레이팅된 흐름을 생성하기 위한 툴 및 능력을 제공하는 서드 파티 컨텐츠 제작자(예를 들어, 영화 스튜디오, 음악 제작자, 기업 고객, 고용주, 정부 등)를 지원할 수 있다. 서드 파티들은 영화나 TV 쇼의 장면에 보다 상세하게 주석을 달거나, 원하는 정보를 불러내거나, 특정 배우를 특별한 방식으로 홍보할 수 있다. 이로 인해 컨텐츠 제작자는 그들의 미디어를 향상시키기 위해 모든 기능을 갖춘 스트림(미디어 경험에서 특정 시간에 특정 카드)을 만들도록 동기를 부여할 수 있다. 기업의 경우, 이 개념을 사용하여 회사 프리젠테이션 또는 공지사항에 대한 2차적 정보 소스를 작성할 수 있다.

쿼리 스케쥴링 모듈(274)은 이벤트와 연관된 주제 또는 키워드를 식별하고 주제 또는 키워드에 기초하여 복수의 검색 쿼리를 생성하기 위해 모델에 의존할 수 있다. 쿼리 스케쥴링 모듈(274)은 쿼리 데이터 저장소(272)에 검색 쿼리를 저장하고, 저장된 검색 쿼리들을 이벤트의 식별자로 태그할 수 있다. 쿼리 스케쥴링 모듈(274)은 ESD 모듈(276)이 서브이벤트의 발생을 검출하면, 빠른 검색을 위해 이벤트의 서브이벤트의 식별자로 쿼리 데이터 저장소(272)에 저장된 미리 정해진 검색 쿼리에 태그할 수 있다.

쿼리 스케쥴링 모듈(274)은 상이한, 그러나 유사한 이벤트에 대해 결정할 수있는 복수의 쿼리들에 기초하여 이벤트 동안 후속 실행을위한 복수의 쿼리를 결정할 수 있다. 다시 말해서, 쿼리 스케쥴링 모듈(274)은 더 이른 시간에 발생한 제2 이벤트 동안 검색된 하나 이상의 이전 검색 쿼리들을 포함하는 제1 이벤트에 대한 복수의 검색 쿼리를 결정할 수 있다. 제2 이벤트는 제1 이벤트와 다를 수 있지만 제2 이벤트는 제1 이벤트와 연관된 주제 또는 키워드와 연관될 수 있다. 예를 들어, 쿼리 스케쥴링 모듈(274)은 토요일에 팀 A와 B 사이의 농구 게임동안 실행할 하나 이상의 제1 쿼리들을 결정할 수 있다. 다음 날(일요일)에, 쿼리 스케쥴링 모듈(274)은 팀 C와 D 사이의 농구 게임 동안 실행할 제2 쿼리 그룹을 결정할 수 있다. 두 이벤트들 모두 농구 게임이므로, 제2 쿼리 그룹은 팀 A와 B 사이의 게임에 대해 토요일에 결정된 하나 이상의 제1 쿼리 중 일부 또는 전부를 포함할 수 있다.

ESD 모듈(276)은 컴퓨팅 디바이스(210)의 사용자가 이벤트의 특정한 서브이벤트를 경험하고 있는지 여부를 결정하고, 만약 그렇다면, 제2 화면 모듈(270)로 하여금 미리 스케쥴링되거나 특정한 서브이벤트에 매핑된 검색 쿼리의 검색을 실행하게 한다. ESD 모듈(276)은 컴퓨팅 디바이스의 사용자가 이벤트를 경험하고 있다는 것을 계속 결정하면 제2 화면 모듈(270)로 하여금 특정한 검색 쿼리를 검색하게 할 수 있다.

ESD 모듈(276)은 상기 복수의 검색 쿼리들로부터의 상기 특정한 검색 쿼리의 검색이 검색되도록 스케쥴링된, 상기 컴퓨팅 디바이스(210)에 의해 캡처된 주변 오디오 또는 비디오가 상기 이벤트 동안의 상기 각각의 시간과 연관된 소리 또는 이미지의 표시를 포함한다고 결정함에 응답하여, 상기 컴퓨팅 디바이스(210)의 사용자가 상기 이벤트를 경험하고 있다고 결정할 수 있다. 예를 들어, ESD 모듈(276)은 입력 컴포넌트(244)의 마이크로폰 또는 카메라에 의해 캡처된 주변 오디오 또는 비디오의 일부를 포함하는 컨텍스트 모듈(278)로부터의 컨텍스트 정보를 수신할 수 있다. ESC 모듈(276)은 주변 오디오 또는 비디오가 특정한 이벤트 및/또는 특정한 이벤트의 서브이벤트와 일치하는지를 결정하기 위해 컨텍스트 정보를 데이터 저장소(273)에 저장된 이벤트 지문과 비교할 수 있다. 이벤트 또는 서브이벤트를 식별하는 것에 응답하여, ESD 모듈(276)은 식별된 이벤트 또는 서브이벤트의 식별자로 태그된 하나 이상의 검색 쿼리들에 대한 쿼리 데이터 저장소(272)에서 룩업을 수행할 수 있다. ESD 모듈(276)은 컨텍스트 정보로부터 식별된 이벤트 또는 서브이벤트의 식별자로 태그되었던 검색 쿼리를 획득할 수 있고, 검색 쿼리를 사용하여 검색을 실행하기 위해 제2 화면 모듈(270)이 RSS(160)의 검색 모듈(164)을 호출하게 할 수 있다. 제2 화면 모듈(270)은 UIC(212)로 하여금 검색으로부터 반환된 정보의 일부(118A)를 예를 들어 사용자 인터페이스(116)로서 디스플레이하게 할 수 있다.

컴퓨팅 디바이스(210)의 컨텍스트가 변함에 따라, ESD 모듈(276)은 검출된 서브이벤트의 식별자로 태그된 검색 쿼리를 지속적으로 획득할 수 있고, 보다 최근에 획득된 검색 쿼리들을 사용하여 후속 검색을 실행하기 위해 제2 화면 모듈(270)로 하여금 RSS(160)의 검색 모듈(164)을 호출하게 할 수 있다. 제2 화면 모듈(270)은 UIC(212)로 하여금 사용자 인터페이스(116)의 디스플레이를 업데이트하고 후속 검색들로부터 반환된 정보의 추가 부분(118B-118N)을 디스플레이하게 할 수 있다.

ESD 모듈(276)은 이벤트가 일시 정지 또는 재시작되더라도, 제2 화면 모듈(270)로 하여금 이벤트의 경험과 동기화된 상태를 유지하게 할 수 있다. 예를 들어, 사전 기록된 미디어(영화, 음악 등)에 대해, ESD 모듈(276)은 컨텍스트 모듈(278)로부터 획득된 컨텍스트 정보를 지속적으로 모니터링하여, 제2 화면 모듈(270)이 특정한 정보(예: 118A)를 보여주기 위해 검색을 언제 시작할지 및 해당 정보언 언제 스크롤되어 없어지게 할지 그리고 언제 새로운 정보(예: 118B-118N)를 표시할지 알게 한다. 이벤트가 일시 정지되는 경우, ESD 모듈(276)은 제2 화면 모듈(270)로 하여금 사용자 인터페이스(116)를 스크롤링하는 것을 억제시키고, 이벤트가 계속될 때 추가 부분(118)을 보여주도록 사용자 인터페이스(116)를 계속 스크롤링하게 할 수 있다. 그리고 ESD 모듈(276)은 이벤트 동안 지속적으로 청취하기 때문에, ESD 모듈(276)은 제2 화면 모듈(270)로 하여금 특정한 서브이벤트와 관련된 검색 정보를 항상 표시하게할 수 있다(예를 들어, 이벤트가 빨리 감기 또는 되감기되더라도).

제2 화면 모듈(270)은 UIC(212)에 의해 디스플레이된 정보를 사용자 인터페이스(116)로서 디스플레이되는 카드 기반 인터페이스로 패키징할 수 있다. 특정한 서브이벤트가 발생하거나 발생하려고 하거나 최근에 발생하는 동안 각 카드가 디스플레이될 수 있다.

영화 이벤트의 경우, 검색 컨텐츠 부분(118) 중 하나로서 카드에 포함된 정보의 유형은 배우 바이오, 배우가 나온 다른 영화, 장소 정보-특정한 장면이 촬영된 장소, 지도, 줄거리, 역사, 역사적 영화에 대한 배경, 중요한 역사적 배경 정보에 대한 요약 등을 포함한다. 이벤트, 사람 및 장소에 대한 참조, 영화에 대한 메타 정보, 예를 들어, 영화가 노트 또는 중요한 영화인 경우, 아카데미 상, 획기적인 영화, 어떤 이유로 중요한지, 추가 탐색 또는 시청을 장려하기 위한 영화와 관련된 또는 유사한 영화의 등을 설명하는 카드가 보여질 수 있다. 또한 영화를 보는 동안 사용자가 볼 수 있도록 연계하거나 진행 상황을 설명하는 추가 영화가 제안될 수 있다. 영화가 끝나면 관련 또는 유사한 컨텐츠가 표시되고 제안될 수 있다.

음악 이벤트의 경우, 검색 컨텐츠 부분(118) 중 하나로서 카드에 포함된 정보의 유형은: 동일한 음악가 및 밴드 내의 사람들에 의한 다른 녹음, 게스트 음악가가 녹음한 때, 그/그녀가 처음으로 들은 사람, 음악적 영향, 관련 아티스트에 관한 정보, 동일한 노래의 비디오, 동일한 아티스트 및 해당 지역의 아티스트에 의한 다가오는 모습 등을 포함한다. 또한 음악 이벤트 동안, 연계되거거나 진행 상황을 설명하는 추가 음악이 사용자에게 제안될 수 있다. 음악 이벤트가 끝나면 관련 또는 유사한 컨텐츠가 표시되고 제안될 수 있다.

텔레비전 이벤트의 경우, 검색 컨텐츠 부분(118) 중 하나로서 카드에 포함된 정보의 유형은 영화의 정보와 유사한 정보를 포함하지만, 이전 에피소드의 업데이트 및 요약, 게스트가 등장하는 경우 특별하거나 놀람 게스트에 관한 카드 등을 포함한다.

스포츠 경기의 경우, 검색 컨텐츠 부분(118) 중 하나로서 카드에 포함된 정보의 유형은 통계, 점수, 현재 상대 팀과의 전적, 중요한 순간과 그 순간이 발생한 직후의 리플레이, 선수 바이오, 역사, 스토리, 플레이오프에 진출한 경우 장래 게임, 현재 게임과 관련되거나 현재 게임과 관련된 다른 게임-점수 업데이트, 특히 해당 지역의 향후 등장 등을 포함한다.

다른 이벤트의 경우, 검색 컨텐츠 부분(118) 중 하나로서 카드에 포함된 정보의 유형은 이벤트에 관한 배경, 발생한 이력, 관련된 사람들의 바이오, 이벤트 영역에서 발생하는 뉴스, 이벤트 근처의 날씨, 이벤트의 위치에 대한 여행 딜 또는 이벤트에 관한 임의의 모든 기타 정보를 포함한다.

일부 예에서, 제2 화면 모듈(270)은 사용자 인터페이스(116)로 하여금 2가지 유형의 경험을 갖도록 할 수 있다. 제1 유형의 경험은 이벤트의 새로운 경험을 위한 것일 수 있고(즉, 컴퓨팅 디바이스(210)의 사용자가 처음으로 이벤트를 경험하는 경우), 제2 유형의 경험은 예를 들어 사용자가 이벤트를 다시 예를 들어, 두 번째, 세 번째 등 경험하는 경우일 수 있다. 새로운 경험을 보거나 들을 때, 제2 화면 모듈(270)은 사용자 인터페이스(116)가 컨텐츠를 포함하는 카드들을 갖는 사전 검색 스트림처럼 보이게 할 수 있다. 클러스터는 경험 내의 장면, 노래 또는 기타 논리적 그룹을 포함하는데 사용될 수 있다. 스트림을 보거나 들은 후, 사용자는 스트림을 다시 방문할 수 있다. 제2 화면 모듈(270)은 각각의 컨텐츠 부분(118)이 리스트 또는 아이콘이 있는 그리드로 도시된 리스트에서 유지되게 할 수 있다. 컨텐츠 부분(118)은 각 스트림의 이름, 마지막 시청 날짜 및 지속 시간을 포함할 수 있다. 그러면 사용자는 언제든지 스트림을 다시 볼 수 있다. 장면, 트랙 또는 기타 구분 기호로 주석이 달린 클러스터를 사용하면, 사용자는 실제로 동시에 미디어를 소비하지 않고도, 카드가 관련된 위치에 후속할 수 있다.

일부 예들에서, 제2 화면 모듈(270)은 사용자 인터페이스(116)가 이벤트에 적절하고 상보적인 방식으로 장식되고 "테마"되게 할 수 있다. 예를 들어, 영화를 보는 동안, 머리글 또는 배경은 영화와 연관된 그래픽, 글꼴 또는 색상을 사용할 수 있다.

일부 예에서, 제2 화면 모듈(270)은 공유하거나 또는 다른 컴퓨팅 디바이스의 다른 사용자를 초대하여 사용자 인터페이스(116)를 볼 수 있게 할 수 있다. 예를 들어, 자동 동기화를 사용하면, 여러 사람이 동시에 컨텐츠를 스트리밍할 수 있다. 예를 들어, 시청하는 동안 누군가가 참여하도록 초대하기 위해, 제2 화면 모듈(270)은 컴퓨팅 디바이스(210)의 사용자가 경험하는 동일한 컨텐츠를 경험하도록 초대자를 초대하는 부분(118) 중 하나의 일부로서 공유 아이콘이 표시되게 할 수 있다.

도 3은 본 발명의 하나 이상의 기법들에 따라, 원격 디바이스에서 디스플레이하기 위한 그래픽 컨텐츠를 출력하는 예시적 컴퓨팅 디바이스를 나타내는 블록도이다. 그래픽 컨텐츠는 단지 몇 가지 예를 들면, 일반적으로 텍스트, 이미지, 동영상 그룹과 같은 디스플레이를 위해 출력될 수 있는 임의의 시각적 정보를 포함할 수 있다. 도 3에 도시된 예시는 컴퓨팅 디바이스(310), PSD(312), 통신 유닛(342), 모바일 장치(386) 및 시각적 디스플레이 컴포넌트(390)를 포함한다. 일부 예에서, PSD(312)는 도 1 내지 도 2에 설명된 바와 같이 존재-감응형 디스플레이 일 수 있다. 도 1 및 도 2의 예시를 위해 독립형 컴퓨팅 디바이스(110)로서 도시되었지만, 컴퓨팅 디바이스(310)와 같은 컴퓨팅 디바이스는 일반적으로 소프트웨어 명령어들을 실행하기 위한 프로세서 또는 다른 적절한 컴퓨팅 환경을 포함하는 임의의 컴포넌트 또는 시스템일 수 있으며, 예를 들면, 존재-감응형 디스플레이를 포함할 필요는 없다.

도 3의 예시에 도시된 바와 같이, 컴퓨팅 디바이스(310)는 도 2의 프로세서들(240)과 관련하여 기술된 기능을 포함하는 프로세서일 수 있다. 이러한 예에서, 컴퓨팅 디바이스(310)는 시스템 버스 또는 다른 적절한 연결일 수 있는 통신 채널(362A)에 의해 PSD(312)에 동작가능하게 연결될 수 있다. 컴퓨팅 디바이스(310)는 또한 시스템 버스 또는 다른 적절한 연결일 수 있는 통신 채널(362B)에 의해 후술되는 통신 유닛(342)에 동작 가능하게 연결될 수 있다. 도 3에서 예시로서 별도로 도시되어 있지만, 컴퓨팅 디바이스(310)는 임의의 수의 하나 이상의 통신 채널들에 의해 PSD(312) 및 통신 유닛(342)에 동작가능하게 연결될 수 있다.

도 1 및 도 110의 컴퓨팅 디바이스(2)에 의해 이전에 도시된 것과 같은 다른 예시에서, 컴퓨팅 디바이스는 모바일폰(스마트폰 포함), 랩톱 컴퓨터 등과 같은 휴대용 또는 모바일 디바이스를 지칭할 수 있다. 일부 예시에서, 컴퓨팅 디바이스는 데스크톱 컴퓨터, 태블릿 컴퓨터, 스마트 텔레비전 플랫폼, 카메라, 개인 휴대 정보 단말기(PDA), 서버, 메인 프레임 등일 수 있다.

PSD(312)는 디스플레이 컴포넌트(302) 및 존재-감응형 입력 컴포넌트(304)를 포함한다. 디스플레이 컴포넌트(302)는 예를 들어 컴퓨팅 디바이스(310)로부터 데이터를 수신하여 그래픽 컨텐츠를 디스플레이할 수 있다. 일부 예시에서, 존재-감응형 입력 컴포넌트(304)는 용량성, 유도성 및/또는 광학 인식 기법들을 사용하여 PSD(312)에서 하나 이상의 사용자 입력들(예를 들어, 연속 제스처, 멀티 터치 제스처, 단일 터치 제스처)을 결정하고, 통신 채널(362A)을 사용하여 컴퓨팅 디바이스(310)에 상기 사용자 입력의 표시를 송신할 수 있다. 일부 예시에서, 존재-감응형 입력 컴포넌트(304)는 디스플레이 컴포넌트(302) 위에 물리적으로 위치될 수 있으며, 사용자가 디스플레이 컴포넌트(302)에 의해 디스플레이된 그래픽 요소 위에 입력 유닛을 위치시킬 때, 존재-감응형 입력 컴포넌트 위치가 그래픽 요소가 디스플레이되는 디스플레이 컴포넌트(302)의 위치에 대응하도록 한다.

도 3에 도시 된 바와 같이, 컴퓨팅 디바이스(310)는 또한 통신 유닛(342)을 포함할 수 있고 및/또는 통신 유닛(70)과 동작가능하게 연결될 수 있다. 통신 유닛(342)은 도 2에 기술된 바와 같이 통신 유닛(242)의 기능을 포함할 수 있다. 통신 유닛(342)의 예시들은 네트워크 인터페이스 카드, 이더넷 카드, 광학적 트랜스시버, 라디오 주파수 트랜스시버 또는 정보를 송신 및/또는 수신할 수 있는 임의의 기타 유형의 디바이스를 포함할 수 있다. 그러한 통신 유닛들의 다른 예시는 블루투스, 3G 및 Wi-Fi 라디오, 범용 직렬 버스(USB) 인터페이스 등을 포함할 수 있다. 컴퓨팅 디바이스(310)는 또한 간결함과 설명을 위해 도 3에서 도시되지 않은 하나 이상의 다른 디바이스들, 예를 들어 입력 디바이스들, 출력 컴포넌트들, 메모리, 저장 디바이스들를 포함할 수 있다.

도 3은 또한 모바일 디바이스(386) 및 시각적 디스플레이 컴포넌트(390)를 도시한다. 모바일 디바이스(386) 및 시각적 디스플레이 컴포넌트(390)는 각각 컴퓨팅 및 연결 능력을 포함할 수 있다. 모바일 디바이스(386)의 예는 전자-리더 디바이스, 컨버터블 노트북 디바이스, 하이브리드 슬레이트 디바이스 등을 포함할 수 있다. 시각적 디스플레이 컴포넌트(390)의 예는 텔레비전, 컴퓨터 모니터 등과 같은 다른 디바이스들을 포함할 수 있다. 일부 예에서, 시각적 디스플레이 컴포넌트(390)는 차량 운전석 디스플레이 또는 내비게이션 디스플레이일 수 있다(예를 들어, 자동차, 항공기 또는 다른 차량에서). 일부 예들에서, 시각적 디스플레이 컴포넌트(390)는 홈 오토메이션 디스플레이 또는 컴퓨팅 디바이스(310)와 별개인 일부 다른 유형의 디스플레이일 수 있다.

도 3에 도시된 바와 같이. 모바일 디바이스(386)는 존재-감응형 디스플레이(388)를 포함할 수 있다. 시각적 디스플레이 컴포넌트(390)는 존재-감응형 디스플레이(392)를 포함할 수 있다. 존재-감응형 디스플레이(388, 392)는 본 명세서에서 설명된 바와 같이 존재-감응형 디스플레이(112, 212 및/또는 312)의 기능의 서브셋 또는 모든 기능을 포함할 수 있다. 일부 예시에서, 존재-감응형 디스플레이(388, 392)는 추가 기능을 포함할 수 있다. 임의의 경우에, 존재-감응형 디스플레이(392)는 예를 들어 컴퓨팅 디바이스(310)로부터 데이터를 수신하여 그래픽 컨텐츠를 디스플레이할 수 있다. 일부 예시에서, 존재-감응형 디스플레이(392)는 용량성, 유도성 및/또는 광학 인식 기법들을 사용하여 프로젝터 스크린에서 하나 이상의 사용자 입력들(예를 들어, 연속 제스처, 멀티 터치 제스처, 단일 터치 제스처)을 결정하고, 하나 이상의 통신 유닛들을 사용하여 컴퓨팅 디바이스(310)에 상기 사용자 입력의 표시를 송신할 수 있다.

상기 기술된 바와 같이, 일부 예시에서, 컴퓨팅 디바이스(310)는 시스템 버스 또는 다른 적절한 통신 채널에 의해 컴퓨팅 디바이스(310)에 연결되는 PSD(312)에서 디스플레이하기 위해 그래픽 컨텐츠를 출력할 수 있다. 컴퓨팅 디바이스(310)는 또한 모바일 디바이스(386) 및 시각적 디스플레이 컴포넌트(390)와 같은 하나 이상의 원격 디바이스들에서 디스플레이하기 위한 그래픽 컨텐츠를 출력할 수 있다. 예를 들어, 컴퓨팅 디바이스(310)는 본 개시의 기법들에 따라 그래픽 컨텐츠를 생성 및/또는 수정하기 위한 하나 이상의 명령어들을 실행할 수 있다. 컴퓨팅 디바이스(310)는 그래픽 컨텐츠를 포함하는 데이터를 통신 유닛(342)과 같은 컴퓨팅 디바이스(310)의 통신 유닛에 출력할 수 있다. 통신 유닛(342)은 모바일 디바이스(386) 및 시각적 디스플레이 컴포넌트(390)와 같은 하나 이상의 원격 디바이스들에 데이터를 송신할 수 있다. 이러한 방식으로, 컴퓨팅 디바이스(310)는 하나 이상의 원격 디바이스들에서 디스플레이하기 위해 그래픽 컨텐츠를 출력할 수 있다. 일부 예시들에서, 하나 이상의 원격 장치들은 각각의 원격 디바이스들에 포함되고 및/또는 각각의 원격 디바이스들에 동작가능하게 연결된 존재-감응형 디스플레이에서 그래픽 컨텐츠를 출력할 수 있다.

일부 예시에서, 컴퓨팅 디바이스(310)는 컴퓨팅 디바이스(310)에 동작가능하게 연결된 PSD(312)에서 그래픽 컨텐츠를 출력하지 않을 수 있다. 다른 예시에서, 컴퓨팅 디바이스(310)는 통신 채널(362A)에 의해 컴퓨팅 디바이스(310)에 연결된 PSD(312) 및 하나 이상의 원격 디바이스들 모두에서 디스플레이하기 위해 그래픽 컨텐츠를 출력할 수 있다. 이러한 예시에서, 그래픽 컨텐츠는 각각의 개별 디바이스에서 실질적으로 동시에 디스플레이될 수 있다. 일부 예시에서, 컴퓨팅 디바이스(310)에 의해 생성되고 PSD(312)에서 디스플레이하기 위해 출력되는 그래픽 컨텐츠는 하나 이상의 원격 디바이스들에서 디스플레이하기 위한 그래픽 컨텐츠 디스플레이 출력과 다를 수 있다.

컴퓨팅 디바이스(310)는 임의의 적절한 통신 기법들을 사용하여 데이터를 송신 및 수신할 수 있다. 예를 들어, 컴퓨팅 디바이스(310)는 네트워크 링크(373A)를 사용하여 외부 네트워크(374)에 동작 가능하게 연결될 수 있다. 도 3에 도시된 원격 디바이스들 각각은 각각의 네트워크 링크들(373B 및 373C) 중 하나에 의해 외부 네트워크(374)에 동작가능하게 연결될 수 있다. 외부 네트워크(374)는 동작 가능하게 상호 연결되는 네트워크 허브, 네트워크 스위치, 네트워크 라우터 등을 포함할 수 있으며, 그에 의해 컴퓨팅 디바이스(310)와 도 3에 도시된 원격 디바이스들 간의 정보 교환을 제공한다. 일부 예시에서, 네트워크 링크(373A-373C)는 이더넷, ATM 또는 다른 네트워크 연결일 수 있다. 이러한 연결은 무선 및/또는 유선 연결일 수 있다.

일부 예시에서, 컴퓨팅 디바이스(310)는 다이렉트 디바이스 통신(378)을 사용하여 도 3에 포함된 하나 이상의 원격 디바이스들에 동작 가능하게 연결될 수 있다. 다이렉트 디바이스 통신(378)은 컴퓨팅 디바이스(310)가 유선 또는 무선 통신을 사용하여 원격 디바이스와 직접 데이터를 송수신하는 통신을 포함할 수 있다. 즉, 다이렉트 디바이스 통신(378)의 일부 예시에서, 컴퓨팅 디바이스(310)에 의해 송신된 데이터는 원격 디바이스에서 수신되기 전에 하나 이상의 추가 디바이스들에 의해 포워딩될 수 없으며, 그 반대도 마찬가지이다. 다이렉트 디바이스 통신(378)의 예시들은 블루투스, 근거리 무선 통신, USB, Wi-Fi, 적외선 등을 포함할 수 있다. 도 3에 도시된 하나 이상의 원격 디바이스들은 통신 링크(373A-376C)에 의해 컴퓨팅 디바이스(310)와 동작 가능하게 연결될 수 있다. 일부 예시에서, 통신 링크(373A-376C)는 블루투스, 근거리 무선 통신, USB, 적외선 등을 사용하는 연결일 수 있다. 이러한 연결은 무선 및/또는 유선 연결일 수 있다.

본 발명의 기법들에 따르면, 컴퓨팅 디바이스(310)는 외부 네트워크(374)를 사용하여 시각적 디스플레이 컴포넌트(390)에 동작 가능하게 연결될 수 있다. 컴퓨팅 디바이스(310)는 이벤트 동안 후속 검색을 위한 복수의 검색 쿼리들을 결정하고, 상기 복수의 검색 쿼리들 각각에 대해, 이벤트 동안 대응하는 검색 쿼리를 검색하기 위한 각각의 시간을 스케쥴링할 수 있다.

복수의 검색 쿼리들로부터의 특정한 검색 쿼리가 검색되도록 스케쥴링된 이벤트 동안의 각각의 시간에 컴퓨팅 디바이스(310)의 사용자가 이벤트를 경험하고 있다고 결정함에 응답하여, 컴퓨팅 시스템(310)은 특정한 검색 쿼리를 검색하고, 상기 특정한 검색 쿼리의 실행으로부터 반환된 정보의 표시를 이벤트 동안 출력할 수 있다. 예를 들어, 컴퓨팅 디바이스(310)는 외부 네트워크(374)를 사용하여 검색 쿼리의 검색으로부터 반환된 정보의 그래픽 표현을 포함하는 데이터를 시각적 디스플레이 컴포넌트(390)에 전송할 수 있다. 시각적 디스플레이 컴포넌트(390)는 외부 네트워크(374)를 사용하여 데이터를 수신함에 응답하여, 컴퓨팅 디바이스(310)의 사용자가 이벤트를 경험하기 직전, 직후 또는 경험하는 동안 디스플레이하기 위해 PSD(392)로 하여금 그래픽 표현을 출력하게 할 수 있다.

도 4 및 5는 본 발명의 하나 이상의 양태들에 따라, 컴퓨팅 디바이스의 사용자가 이벤트를 경험하고 있을 때, 미리 결정된 시간에 실행된 검색으로부터 반환되었던 이벤트와 관련된 정보를 제시하도록 구성된 예시적 컴퓨팅 디바이스에 의해 수행된 예시적 동작들을 도시하는 흐름도이다. 동작(400-440) 및 (500-550)은 컴퓨팅 디바이스(210)와 같은 컴퓨팅 디바이스, RSS(160)와 같은 컴퓨팅 시스템 또는 시스템(100)과 같은 컴퓨팅 디바이스와 컴퓨팅 시스템의 조합에 의해 수행될 수 있다. 설명의 편의를 위해, 도 4 및 도 5는 도 2의 컴퓨팅 디바이스(210)의 컨텍스트에서 아래에 기술된다.

도 4에 도시된 바와 같이, 동작에서, 컴퓨팅 디바이스(210)는 이벤트 동안 후속 검색을 위한 복수의 검색 쿼리들을 결정할 수 있다(400). 예를 들어, 쿼리 스케쥴링 모듈(274)의 모델은 컴퓨팅 디바이스(210)의 사용자가 경험하려고 하는 이벤트와 유사한 이벤트 동안 다른 컴퓨팅 디바이스의 다른 사용자가 검색했던 하나 이상의 검색 쿼리들을 결정하고 쿼리 데이터 저장소(272)에 저장했을 수 있다.

컴퓨팅 디바이스(210)는 상기 복수의 검색 쿼리들 각각에 대해, 대응하는 검색 쿼리를 검색하기 위한 상기 이벤트 동안의 각각의 시간을 스케쥴링한다(410). 예를 들어, 데이터 저장소(272)에 검색 쿼리를 저장함에있어서, 스케쥴링 모듈(274)은 연관된 이벤트 동안 어떤 조건 하에서 검색될 검색 쿼리인지를 나타내는 타임스탬프 식별자 또는 서브이벤트 식별자로 각 쿼리를 태그할 수 있다.

컴퓨팅 디바이스(210)는 사용자 및 컴퓨팅 디바이스(210)에 관한 정보를 이용하고 분석하기 위해 사용자로부터 명확하고 애매하지 않은 동의를 얻을 수 있다(415). 예를 들어, 컴퓨팅 디바이스(210)는 사용자에 대한 컨텍스트 정보 및/또는 다른 정보를 수집하기 위해 컴퓨팅 디바이스(210)에 대한 동의를 하거나 동의를 제거할 기회를 사용자에게 제공할 수 있다. 동의가 없으면, 컴퓨팅 디바이스(210)는 단계(420-440)을 수행하지 않을 수 있다.

컴퓨팅 디바이스(210)는 컴퓨팅 디바이스(210)의 사용자가 상기 복수의 검색 쿼리들로부터의 특정한 검색 쿼리가 검색되도록 스케쥴링된, 상기 이벤트 동안 각각의 시간에, 상기 이벤트를 경험하고 있는지 여부를 결정할 수 있다(420). 예를 들어, ESD 모듈(276)은 현재 시간에 입력 컴포넌트들(244)에 의해 캡처되는 주변 소리들 또는 비디오들을 나타내는 컨텍스트 정보를 컨텍스트 모듈(278)로부터 수신할 수 있다. ESD 모듈(276)은 주변 소리 또는 비디오와 연관된 하나 이상의 이벤트 또는 서브이벤트 식별자를 얻기 위해 컨텍스트 정보를 데이터 저장소(273)에 저장된 지문과 비교할 수 있다.

복수의 검색 쿼리들로부터의 특정한 검색 쿼리가 검색되도록 스케쥴링된 이벤트 동안의 각각에 시간에 사용자가 이벤트를 경험하지 않으면(420, 아니오 경로), 컴퓨팅 디바이스(210)는 컴퓨팅 디바이스(210)의 사용자가 상기 복수의 검색 쿼리들로부터의 특정한 검색 쿼리가 검색되도록 스케쥴링된, 상기 이벤트 동안 각각의 시간에, 상기 이벤트를 경험하고 있는지 여부를 결정하는 것을 계속한다(420). 예를 들어, 데이터 저장소(273)의 지문 중 어느 것도 컨텍스트 모듈(278)에 의해 캡처된 주변 오디오 또는 비디오와 일치하지 않으면, ESD 모듈(276)은 이벤트 또는 서브이벤트의 발생을 검출하지 않을 수 있다.

복수의 검색 쿼리들로부터의 특정한 검색 쿼리가 검색되도록 스케쥴링된 이벤트 동안의 각각의 시간에 사용자가 이벤트를 경험하고 있으면(420, 예 경로), 컴퓨팅 디바이스(210)는 특정한 검색 쿼리를 검색하고(430), 상기 특정한 검색 쿼리의 검색으로부터 반환된 정보의 표시를 이벤트 동안 출력할 수 있다(440). 예를 들어, 데이터 저장소(273)에서의 지문이 컨텍스트 모듈(278)에 의해 캡처된 주변 오디오 또는 비디오와 일치한다고 결정한 것에 응답하여, ESD 모듈(276)은 일치하는 지문과 연관된 서브이벤트 식별자로 태그된 임의의 검색 쿼리들에 대해 데이터 저장소(272)를 검색할 수 있다.

ESD 모듈(276)은 제2 화면 모듈(270)로 하여금 RSS의 검색 모듈(164)을 호출하게 하여 검색 모듈(164)로 하여금 일치하는 서브이벤트 식별자로 태그된 쿼리와 관련된 검색 정보를 반환하게 할 수 있다. 제2 화면 모듈(270)은 UIC(210)로 하여금 그래픽 표시를 디스플레이하게 하고 및/또는 검색 정보의 청각적 표시를 출력하게 하여 이벤트의 사용자 경험을 보충할 수 있다.

도 5에 도시된 바와 같이, 동작에서, 컴퓨팅 디바이스(210)는 컴퓨팅 디바이스(210)의 사용자가 이벤트를 보거나 듣는 동안 후속 검색을 위한 이벤트와 관련된 복수의 검색 쿼리들을 결정할 수 있다(500). 예를 들어, 쿼리 스케쥴링 모듈(274)의 모델은 컴퓨팅 디바이스(210)의 사용자가 경험하려고 하거나 장래 시점에 경험할 이벤트와 유사한 이벤트 동안 다른 컴퓨팅 디바이스의 다른 사용자가 검색했던 하나 이상의 검색 쿼리들을 결정하고 쿼리 데이터 저장소(272)에 저장했을 수 있다.

컴퓨팅 디바이스(210)는 상기 복수의 검색 쿼리들 각각을 상기 이벤트 동안의 각각의 서브 이벤트 또는 상기 이벤트의 각각의 경과 시간과 관련시킨다(510). 예를 들어, 데이터 저장소(272)에 검색 쿼리를 저장함에 있어서, 스케쥴링 모듈(274)은 연관된 이벤트 동안 어떤 조건 하에서 검색될 검색 쿼리인지를 나타내는 타임스탬프 식별자 또는 서브이벤트 식별자로 각 쿼리를 태그할 수 있다.

컴퓨팅 디바이스(210)는 사용자 및 컴퓨팅 디바이스(210)에 관한 정보를 이용하고 분석하기 위해 사용자로부터 명확하고 애매하지 않은 동의를 얻을 수 있다(515). 예를 들어, 컴퓨팅 디바이스(210)는 사용자에 대한 컨텍스트 정보 및/또는 다른 정보를 수집하기 위해 컴퓨팅 디바이스(210)에 대한 동의를 하거나 동의를 제거할 기회를 사용자에게 제공할 수 있다. 동의가 없으면, 컴퓨팅 디바이스(210)는 단계(520-550)을 수행하지 않을 수 있다.

컴퓨팅 디바이스(210)는 컴퓨팅 디바이스(210)의 사용자가 이벤트를 보거나 또는 듣고 있는지를 결정할 수 있다(520). 예를 들어, ESD 모듈(276)은 현재 시간에 입력 컴포넌트들(244)에 의해 캡처되는 주변 소리들 또는 비디오들을 나타내는 컨텍스트 정보를 컨텍스트 모듈(278)로부터 수신할 수 있다. ESD 모듈(276)은 주변 소리 또는 비디오와 연관된 하나 이상의 이벤트 또는 서브이벤트 식별자를 얻기 위해 컨텍스트 정보를 데이터 저장소(273)에 저장된 지문과 비교할 수 있다.

사용자가 이벤트를 보거나 듣고 있지 않으면(520, 아니오 경로), 컴퓨팅 디바이스(210)는 컴퓨팅 디바이스(210)의 사용자가 이벤트를 보거나 또는 듣고 있는지를 계속 결정한다(520). 예를 들어, 데이터 저장소(273)의 지문 중 어느 것도 컨텍스트 모듈(278)에 의해 캡처된 주변 오디오 또는 비디오와 일치하지 않으면, ESD 모듈(276)은 이벤트 또는 서브이벤트의 발생을 검출하지 않을 수 있다.

사용자가 이벤트를 보거나 듣고 있으면(520, 예 경로), 컴퓨팅 디바이스(210)는 복수의 검색 쿼리들 중 하나와 관련된 각각의 서브이벤트 또는 각각의 경과 시간이 발생 하는지 여부를 결정할 수 있다(530). 예를 들어, 데이터 저장소(273)에서의 지문이 컨텍스트 모듈(278)에 의해 캡처된 주변 오디오 또는 비디오와 일치한다고 결정한 것에 응답하여, ESD 모듈(276)은 일치하는 지문과 연관된 식별자로 태그된 임의의 검색 쿼리들에 대해 데이터 저장소(272)를 검색할 수 있다.

일치하는 지문의 식별자와 일치하는 검색 쿼리 태그가 없다면, 컴퓨팅 디바이스(210)는 복수의 검색 쿼리들 중 하나와 관련된 각각의 서브이벤트 또는 각각의 경과 시간이 발생하는지 여부를 계속 결정할 수 있다(530, 아니오 경로). 그러나, 데이터 저장소(272)로부터의 검색 쿼리로부터의 검색 쿼리 태그가 매칭 지문의 식별자와 일치하면, 컴퓨팅 디바이스(210)는 각각의 서브이벤트 또는 발생하는 각각의 경과 시간과 관련된 검색 쿼리를 검색할 수 있다(540, 아니오 경로). 예를 들면, ESD 모듈(276)은 제2 화면 모듈(270)로 하여금 RSS의 검색 모듈(164)을 호출하게 하여 검색 모듈(164)로 하여금 일치하는 서브이벤트 식별자로 태그된 쿼리와 관련된 검색 정보를 반환하게 할 수 있다.

컴퓨팅 디바이스(210)는 사용자에게 디스플레이하기 위해 검색으로부터 반환된 정보를 전송할 수 있다(550). 예를 들면, 제2 화면 모듈(270)은 UIC(210)로 하여금 그래픽 표시를 디스플레이하게 하고 및/또는 검색 정보의 청각적 표시를 출력하게 하여 이벤트의 사용자 경험을 보충할 수 있다. 예를 들어, 그래픽 표시는 도 1의 사용자 인터페이스(116)로서 디스플레이될 수 있다. 그래픽 표시를 디스플레이하거나 청각적 표시를 출력한 후, 컴퓨팅 디바이스(210)는 단계(520)로 복귀할 수 있다.

제1절. 방법으로서, 이벤트 동안 후속 검색을 위한 복수의 검색 쿼리들을 결정하는 단계; 상기 복수의 검색 쿼리들 각각에 대해, 대응하는 검색 쿼리를 검색하기 위해 상기 이벤트 동안 각각의 시간을 스케줄링하는 단계; 및 컴퓨팅 디바이스의 사용자가 상기 복수의 검색 쿼리들로부터의 특정한 검색 쿼리가 검색되도록 스케쥴링된, 상기 이벤트 동안 각각의 시간에, 상기 이벤트를 경험하고 있다고 결정함에 응답하여: 상기 특정한 검색 쿼리를 검색하는 단계; 및 컴퓨팅 디바이스에 의해, 상기 이벤트 동안, 상기 특정한 검색 쿼리의 실행으로부터 반환된 정보의 표시를 출력하는 단계를 포함하는 것을 특징으로 하는 방법.

제2절. 제1절에 있어서, 상기 특정한 검색 쿼리는 상기 컴퓨팅 디바이스의 사용자가 상기 이벤트를 경험하고 있다는 것을 계속 결정하고 있는 동안 검색되는 것을 특징으로 하는 방법.

제3절. 제1절 또는 제2절 중 어느 한 항에 있어서, 상기 각각의 시간에, 상기 복수의 검색 쿼리들 중 적어도 하나에 대한 이벤트는 상기 이벤트의 연대순의 타임라인의 연대순의 부분에 대응하는 것을 특징으로 하는 방법.

제4절. 제1절 내지 제3절 중 어느 한 항에 있어서, 상기 각각의 시간에, 상기 복수의 검색 쿼리들 중 적어도 하나에 대한 이벤트는 상기 이벤트 동안 발생할 것으로 예상되는 특정 액션에 대응하는 것을 특징으로 하는 방법.

제5절. 제1절 내지 제4절 중 어느 한 항에 있어서, 상기 컴퓨팅 디바이스는 상기 복수의 검색 쿼리들 중 적어도 하나에 대해, 상기 대응하는 검색 쿼리를 검색하기 위해 상기 이벤트 동안 상기 각각의 시간을 자동적으로 스케줄링하는 것을 특징으로 하는 방법.

제6절. 제1절 내지 제5절 중 어느 한 항에 있어서, 상기 컴퓨팅 디바이스는 상기 복수의 검색 쿼리들 중 적어도 하나에 대해, 사용자 입력에 기초하여 상기 대응하는 검색 쿼리를 검색하기 위해 상기 이벤트 동안 상기 각각의 시간을 스케줄링하는 것을 특징으로 하는 방법.

제7절. 제1절 내지 제6절 중 어느 한 항에 있어서, 다른 컴퓨팅 디바이스들의 다수의 사용자들이 후속 시간에 상기 이벤트를 경험할 가능성이 있다는 결정에 응답하여, 초기 시간에 상기 이벤트를 식별하는 단계; 및 상기 컴퓨팅 디바이스에 의해, 상기 후속 시간에서의 검색을 위해, 상기 복수의 검색 쿼리들을 캐싱하는 단계를 더 포함하는 것을 특징으로 하는 방법.

제8절. 제1절 내지 제7절 중 어느 한 항에 있어서, 상기 이벤트 동안 후속 검색을 위해 상기 복수의 검색 쿼리들을 결정하는 단계는: 상기 이벤트와 연관된 주제 또는 키워드를 식별하는 단계; 및 상기 주제 또는 키워드에 기초하여, 상기 복수의 검색 쿼리들을 생성하는 단계를 포함하는 것을 특징으로 하는 방법.

제9절. 제8절에 있어서, 상기 이벤트는 제1 이벤트이고, 상기 복수의 검색 쿼리들은 제2 이벤트 동안 검색된 하나 이상의 이전 검색 쿼리들을 포함하고, 상기 제2 이벤트는 상기 제1 이벤트와 상이하며, 상기 제2 이벤트는 상기 제1 이벤트와 연관된 상기 주제 또는 키워드와 연관되는 것을 특징으로 하는 방법.

제10절. 제1절 내지 제9절 중 어느 한 항에 있어서, 상기 복수의 검색 쿼리들로부터의 상기 특정한 검색 쿼리의 검색이 검색되도록 스케쥴링된, 상기 컴퓨팅 디바이스에 의해 캡처된 주변 오디오 또는 비디오가 상기 이벤트 동안의 상기 각각의 시간과 연관된 소리 또는 이미지의 표시를 포함한다고 결정함에 응답하여, 상기 컴퓨팅 디바이스의 사용자가 상기 이벤트를 경험하고 있다고 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.

제11절. 컴퓨팅 시스템으로서, 적어도 하나의 프로세서; 및 명령어들을 포함하는 메모리를 포함하며, 상기 명령어들은 실행시 상기 적어도 하나의 프로세서로 하여금: 이벤트 동안 후속 검색을 위한 복수의 검색 쿼리들을 결정하게 하고; 상기 복수의 검색 쿼리들 각각에 대해, 대응하는 검색 쿼리를 검색하기 위해 상기 이벤트 동안 각각의 시간을 스케줄링하게 하고; 그리고 컴퓨팅 디바이스의 사용자가 상기 복수의 검색 쿼리들로부터의 특정한 검색 쿼리가 검색되도록 스케쥴링된, 상기 이벤트 동안 각각의 시간에, 상기 이벤트를 경험하고 있다고 결정함에 응답하여: 상기 특정한 검색 쿼리를 검색하게 하고; 그리고 상기 이벤트 동안의 후속 디스플레이를 위해, 상기 특정한 검색 쿼리의 검색으로부터 반환된 정보의 표시를 상기 컴퓨팅 디바이스에 자동적으로 전송하는 단계를 포함하는 것을 특징으로 하는 컴퓨팅 시스템.

제12절. 제11절에 있어서, 상기 명령어는 실행시 상기 적어도 하나의 프로세서로 하여금 상기 컴퓨팅 디바이스의 사용자가 이벤트를 경험하고 있다는 것을 계속 결정하는 동안 상기 특정한 검색 쿼리를 검색하게 하는 것을 특징으로 하는 컴퓨팅 시스템.

제13절. 제11절 또는 제12절 중 어느 한 항에 있어서, 상기 각각의 시간에, 상기 복수의 검색 쿼리들 중 적어도 하나에 대한 이벤트는 상기 이벤트의 연대순의 타임라인의 연대순의 부분에 대응하는 것을 특징으로 하는 컴퓨팅 시스템.

제14절. 제11절 내지 제13절 중 어느 한 항에 있어서, 상기 각각의 시간에, 상기 복수의 검색 쿼리들 중 적어도 하나에 대한 이벤트는 상기 이벤트 동안 발생할 것으로 예상되는 특정 액션에 대응하는 것을 특징으로 하는 컴퓨팅 시스템.

제15절. 제11절 내지 제14절 중 어느 한 항에 있어서, 상기 특정한 검색 쿼리의 검색으로부터 반환된 정보의 표시는 상기 컴퓨팅 디바이스로 하여금 상기 정보를 상기 복수의 검색 쿼리들로부터의 상기 특정한 검색 쿼리가 검색되도록 스케쥴링되었던, 상기 이벤트 동안의 상기 각각의 시간 이후에 발생하는 상기 이벤트 동안의 특정 시간에, 디스플레이하게 하는 명령어들을 포함하는 것을 특징으로 하는 컴퓨팅 시스템.

제16절. 명령어들을 포함하는 컴퓨터 판독가능 저장 매체로서, 상기 명령어들은 실행시 컴퓨팅 시스템의 적어도 하나의 프로세서로 하여금: 이벤트 동안 후속 검색을 위한 복수의 검색 쿼리들을 결정하게 하고; 상기 복수의 검색 쿼리들 각각에 대해, 대응하는 검색 쿼리를 검색하기 위해 상기 이벤트 동안 각각의 시간을 스케줄링하게 하고; 그리고 컴퓨팅 디바이스의 사용자가 상기 복수의 검색 쿼리들로부터의 특정한 검색 쿼리가 검색되도록 스케쥴링된, 상기 이벤트 동안 각각의 시간에, 상기 이벤트를 경험하고 있다고 결정함에 응답하여: 상기 특정한 검색 쿼리를 검색하게 하고; 그리고 상기 이벤트 동안의 후속 디스플레이를 위해, 상기 특정한 검색 쿼리의 검색으로부터 반환된 정보의 표시를 상기 컴퓨팅 디바이스에 자동적으로 전송하게 하는 것을 특징으로 하는 컴퓨터 판독가능 저장 매체.

제17절. 제16절에 있어서, 상기 명령어는 실행시 상기 적어도 하나의 프로세서로 하여금 상기 컴퓨팅 디바이스의 사용자가 이벤트를 경험하고 있다는 것을 계속 결정하는 동안 상기 특정한 검색 쿼리를 검색하게 하는 것을 특징으로 하는 컴퓨터 판독가능 저장 매체.

제18절. 제16절 또는 제17절 중 어느 한 항에 있어서, 상기 각각의 시간에, 상기 복수의 검색 쿼리들 중 적어도 하나에 대한 이벤트는 상기 이벤트의 연대순의 타임라인의 연대순의 부분에 대응하는 것을 특징으로 하는 컴퓨터 판독가능 저장 매체.

제19절. 제16절 내지 제18절 중 어느 한 항에 있어서, 상기 각각의 시간에, 상기 복수의 검색 쿼리들 중 적어도 하나에 대한 이벤트는 상기 이벤트 동안 발생할 것으로 예상되는 특정 액션에 대응하는 것을 특징으로 하는 컴퓨터 판독가능 저장 매체.

제20절. 제16절 내지 제19절 중 어느 한 항에 있어서, 상기 명령어들은 실행시 상기 적어도 하나의 프로세서로 하여금: 상기 복수의 검색 쿼리들 중 적어도 하나에 대해, 상기 대응하는 검색 쿼리를 검색하기 위한 상기 이벤트 동안의 각각의 시간을 자동적으로 스케쥴링하게 하거나; 또는 상기 복수의 검색 쿼리들 중 적어도 하나에 대해, 상기 이벤트의 사람 생산자로부터 상기 컴퓨팅 시스템에 의해 수신된 사용자 입력에 기초하여 상기 대응하는 검색 쿼리를 검색하기 위해 상기 이벤트 동안 각각의 시간을 스케쥴링하게 하는 것을 특징으로 하는 컴퓨터 판독가능 저장 매체.

제21절. 제11절에 있어서, 제1절 내지 제11절 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는 것을 특징으로 하는 컴퓨팅 시스템.

제22절. 명령어들을 포함하는 제16절의 컴퓨터 판독가능 저장 매체로서, 상기 명령어들은 실행될 때, 제11절의 컴퓨팅 시스템의 적어도 하나의 프로세서로 하여금 제1절 내지 제11절 중 어느 한 항의 방법을 수행하게 하는 것을 특징으로 하는 컴퓨터 판독가능 저장 매체.

제23절. 컴퓨팅 시스템으로서, 제1절 내지 제11절 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는 것을 특징으로 하는 컴퓨팅 디바이스.

제24절. 명령어들을 포함하는 컴퓨터 판독가능 저장 매체로서, 상기 명령어들은 실행될 때, 컴퓨팅 디바이스의 적어도 하나의 프로세서로 하여금 제1절 내지 제10절 중 어느 하나의 방법을 수행하게 하는 것을 특징으로 하는 컴퓨터 판독가능 저장 매체.

하나 이상의 예시들에서, 기술된 기능들은 하드웨어, 소프트웨어, 펌웨어 또는 그것들의 임의의 조합에서 구현될 수 있다.　 소프트웨어에서 구현되는 경우, 기능들은 하나 이상의 명령어들 또는 코드로서 컴퓨터 판독가능 매체에 저장되거나 컴퓨터 판독가능 매체를 통해 전송되고 하드웨어 기반 프로세싱 유닛에 의해 실행된다. 컴퓨터 판독가능 매체는 컴퓨터 판독가능 저장 매체 또는 매체들을 포함할 수 있고, 이는 데이터 저장 매체와 같은 유형적 매체 또는 예를 들어 통신 프로토콜에 따라 한 곳에서 다른 곳으로 컴퓨터 프로그램의 전송을 지원하는 임의의 매체를 포함하는 통신 매체에 대응한다. 이 방식에서, 컴퓨터 판독가능 매체는 일반적으로 (1) 비일시적인 유형적 컴퓨터 판독가능 저장 매체 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수 있다. 　데이터 저장 매체는 본 개시에서 기술된 기법들의 구현을 위해 명령어들, 코드 및/또는 데이터 구조들을 검색하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 엑세스될 수 있는 임의의 사용가능한 매체일 수 있다.　 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수 있다.

제한이 아닌 예시로서, 그러한 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 기타 광학 디스크 스토리지, 자기 디스크 스토리지, 또는 기타 자기 저장 디바이스들, 플래시 메모리 또는 명령어들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는데 사용될 수 있고 컴퓨터에 의해 엑세스될 수 있는 임의의 기타 저장 매체를 포함할 수 있다.　 또한, 임의의 연결이 컴퓨터 판독가능 매체에 적절하게 명명될 수 있다. 예를 들면, 웹사이트, 서버 또는 동축 케이블, 광섬유 케이블, 꼬임쌍선, DSL 또는 적외선, 라디오 및 마이크로웨이브와 같은 무선 기술들을 사용하는 기타 원격 소스로부터 전송되는 경우, 동축 케이블, 광섬유 케이블, 꼬임쌍선, DSL 또는 적외선, 라디오 및 마이크로웨이브와 같은 무선 기술들은 매체의 정의에 포함된다. 그러나, 컴퓨터 판독가능 저장 매체 및 매체들 및 데이저 저장 매체는 연결, 반송파, 신호 또는 다른 일시적인 매체를 포함하지 않으나, 대신에 비일시적인 유형적 저장 매체를 지칭한다. 본 명세서에서 사용된 바와 같이, 디스크 및 디스크들은 컴팩트 디스크(CD), 레이저 디스크, 광학 디스크, DVD, 플로피 디스크 및 블루레이 디스크를 포함하며, 디스크들은 보통 데이터를 자기적으로 재생산하면서 디스크들은 데이터를 레이저로 광학적으로 재생산한다. 또한, 상기의 조합들은 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.

명령어들은 하나 이상의 디지털 신호 프로세서들(DSP), 범용 마이크로프로세서들, 주문형 집적회로들(ASIC), 필드 프로그램가능 논리 배열들(FPGA) 또는 기타 균등한 통합 또는 이산 논리 회로와 같은 하나 이상의 프로세서들에 의해 실행될 수 있다. 따라서, 본 명세서에서 사용된 바와 같이, 용어 "프로세서"는 임의의 상기 구조 또는 본 명세서에 기술된 기법들의 구현에 적절한 임의의 기타 구조를 지칭할 수 있다. 추가로, 일부 양태에서, 본 명세서에 기술된 기능은 전용 하드웨어 및/또는 소프트웨어 모듈들 내에서 제공될 수 있다. 또한, 기법들은 하나 이상의 회로들 또는 논리 엘리먼트들에서 완전히 구현될 수 있다.

본 개시의 기법들은 무선 헤드셋, 집적 회로(IC) 또는 IC의 세트(예를 들어, 칩셋)를 포함하는 광범위한 디바이스들 또는 장치들에서 구현될 수 있다. 다양한 컴포넌트들, 모듈들 또는 유닛들이 개시된 기법들을 수행하도록 구성된 디바이스들의 기능적 양태들을 강조하기 위해 본 개시에서 기술되었지만, 상이한 하드웨어 유닛들에 의한 실현을 필수적으로 요구하지 않는다. 오히려, 상기 기술된 바와 같이, 다양한 유닛들이 적절한 소프트웨어 및/또는 펌웨어와 함께 하드웨어 유닛에서 조합되거나 상기 기술된 바와 같은 하나 이상의 프로세서들을 포함하는 상호 동작적 하드웨어 유닛들의 집합에 의해 제공될 수 있다.

다양한 실시예들이 기술되었다. 이들 및 다른 실시예들도 다음의 청구항들의 범위 내에 있다.

Claims (13)

1. 방법으로서,
   이벤트 동안 후속 검색을 위한 복수의 검색 쿼리들을 결정하는 단계;
   상기 복수의 검색 쿼리들 각각에 대해, 대응하는 검색 쿼리를 검색하기 위해 상기 이벤트 동안 각각의 시간을 스케쥴링하는 단계; 및
   컴퓨팅 디바이스의 사용자가 상기 복수의 검색 쿼리들로부터의 특정한 검색 쿼리가 검색되도록 스케쥴링된, 상기 이벤트 동안 각각의 시간에, 상기 이벤트를 경험하고 있다고 결정함에 응답하여:
   상기 특정한 검색 쿼리를 검색하는 단계; 및
   컴퓨팅 디바이스에 의해, 상기 이벤트 동안, 상기 특정한 검색 쿼리의 실행으로부터 반환된 정보의 표시를 출력하는 단계를 포함하는 것을 특징으로 하는 방법.
2. 청구항 1에 있어서, 상기 특정한 검색 쿼리는 상기 컴퓨팅 디바이스의 사용자가 상기 이벤트를 경험하고 있다는 것을 계속 결정하고 있는 동안 검색되는 것을 특징으로 하는 방법.
3. 청구항 1 또는 2 중 어느 한 항에 있어서, 상기 각각의 시간에, 상기 복수의 검색 쿼리들 중 적어도 하나에 대한 이벤트는 상기 이벤트의 연대순의 타임라인의 연대순의 부분에 대응하는 것을 특징으로 하는 방법.
4. 청구항 1 내지 3 중 어느 한 항에 있어서, 상기 각각의 시간에, 상기 복수의 검색 쿼리들 중 적어도 하나에 대한 이벤트는 상기 이벤트 동안 발생할 것으로 예상되는 특정 액션에 대응하는 것을 특징으로 하는 방법.
5. 청구항 1 내지 4 중 어느 한 항에 있어서, 상기 컴퓨팅 디바이스는 상기 복수의 검색 쿼리들 중 적어도 하나에 대해, 상기 대응하는 검색 쿼리를 검색하기 위해 상기 이벤트 동안 상기 각각의 시간을 자동적으로 스케쥴링하는 것을 특징으로 하는 방법.
6. 청구항 1에 있어서, 상기 컴퓨팅 디바이스는 상기 복수의 검색 쿼리들 중 적어도 하나에 대해, 사용자 입력에 기초하여 상기 대응하는 검색 쿼리를 검색하기 위해 상기 이벤트 동안 상기 각각의 시간을 스케쥴링하는 것을 특징으로 하는 방법.
7. 청구항 1 내지 6 중 어느 한 항에 있어서,
   다른 컴퓨팅 디바이스들의 다수의 사용자들이 후속 시간에 상기 이벤트를 경험할 가능성이 있다는 결정에 응답하여, 초기 시간에 상기 이벤트를 식별하는 단계; 및
   상기 컴퓨팅 디바이스에 의해, 상기 후속 시간에서의 검색을 위해, 상기 복수의 검색 쿼리들을 캐싱하는 단계를 더 포함하는 것을 특징으로 하는 방법.
8. 청구항 1 내지 7 중 어느 한 항에 있어서,
   상기 복수의 검색 쿼리들로부터의 상기 특정한 검색 쿼리의 검색이 검색되도록 스케쥴링된, 상기 컴퓨팅 디바이스에 의해 캡처된 주변 오디오 또는 비디오가 상기 이벤트 동안의 상기 각각의 시간과 연관된 소리 또는 이미지의 표시를 포함한다고 결정함에 응답하여, 상기 컴퓨팅 디바이스의 사용자가 상기 이벤트를 경험하고 있다고 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
9. 청구항 1 내지 8 중 어느 한 항에 있어서, 상기 이벤트 동안 후속 검색을 위해 상기 복수의 검색 쿼리들을 결정하는 단계는:
   상기 이벤트와 연관된 주제 또는 키워드를 식별하는 단계; 및
   상기 주제 또는 키워드에 기초하여, 상기 복수의 검색 쿼리들을 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
10. 청구항 9에 있어서, 상기 이벤트는 제1 이벤트이고, 상기 복수의 검색 쿼리들은 제2 이벤트 동안 검색된 하나 이상의 이전 검색 쿼리들을 포함하고, 상기 제2 이벤트는 상기 제1 이벤트와 상이하며, 상기 제2 이벤트는 상기 제1 이벤트와 연관된 상기 주제 또는 키워드와 연관되는 것을 특징으로 하는 방법.
11. 컴퓨팅 시스템으로서,
    적어도 하나의 프로세서; 및
    실행시 상기 적어도 하나의 프로세서로 하여금 청구항 1 내지 10 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는 메모리를 포함하는 것을 특징으로 하는 컴퓨팅 시스템.
12. 명령어들을 포함하는 컴퓨터 판독가능 저장 매체로서, 상기 명령어들은 실행될 때, 컴퓨팅 시스템의 적어도 하나의 프로세서로 하여금 청구항 1 내지 10 중 어느 한 항의 방법을 수행하게 하는 것을 특징으로 하는 컴퓨터 판독가능 저장 매체.
13. 청구항 1 내지 10 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는 것을 특징으로 하는 시스템.

Images