KR20140064905A

KR20140064905A - 제품들을 식별하기 위한 멀티미디어 검색 사용

Info

Publication number: KR20140064905A
Application number: KR1020147007540A
Authority: KR
Inventors: 웬롱 리; 시아오펑 통; 이민 장
Original assignee: 인텔 코오퍼레이션
Priority date: 2011-09-12
Filing date: 2011-09-12
Publication date: 2014-05-28
Also published as: EP2756428A4; KR20160018881A; EP2756428A1; WO2013037081A1; CN103827859A; US20130297650A1; KR101764257B1

Abstract

현재 시청되고 있는 텔레비전 프로그램에서의 제품이 텔레비전 송신으로부터 적어도 하나의 디코딩된 프레임을 추출함으로써 식별될 수 있다. 프레임은 이미지 검색을 요청하기 위한 및 검색 결과들을 수신하기 위한 별개의 모바일 디바이스에게 송신될 수 있다. 검색 결과들은 제품을 식별하는데 사용될 수 있다.

Description

제품들을 식별하기 위한 멀티미디어 검색 사용{USING MULTIMEDIA SEARCH TO IDENTIFY PRODUCTS}

본 발명은 일반적으로 컴퓨터에 관한 것인데, 특히 컴퓨터화된 이미지 분석에 관한 것이다.

텔레비전은 아날로그 또는 디지털 신호들의 무선 주파수 송신들을 이용하여 텔레비전 프로그램들을 브로드캐스팅함으로써 배포될 수 있다. 게다가 텔레비전 프로그램들은 케이블 및 위성 시스템들 상에서 배포될 수 있다. 끝으로, 텔레비전은 스트리밍을 이용하여 인터넷 상에서 배포될 수 있다. 여기서 이용되는 바로는, 용어 "텔레비전 송신(television transmission)"은 텔레비전 배포의 모든 이러한 양상들을 포함한다. 여기서 이용되는 바로는, "텔레비전(television)"은 광고물들을 수반한 또는 이것이 없는 프로그램 콘텐츠의 배포를 의미하고 종래 텔레비전 프로그램들뿐만 아니라 비디오 게임들의 배포도 포함한다.

사용자들이 어떤 프로그램들을 시청하고 있는 지를 결정하기 위한 시스템들이 알려져 있다. 예를 들어, IntoNow 서비스는, 셀 폰 상에서, 시청되고 있는 텔레비전 프로그램들로부터 오디오 신호들을 기록하고, 이런 신호들을 분석하고, 해당 정보를 이용하여 시청자들이 어떤 프로그램들을 시청하고 있는 지를 결정한다. 오디오 분석이 가진 한가지 문제점은 오디오 분석이 주위 잡음으로 인한 열화에 종속된다는 것이다. 물론, 시청 환경에서의 주위 잡음은 흔한 것이고, 따라서 오디오 기반 시스템들은 상당한 제한을 받게 된다.

도 1은 본 발명의 일 실시예의 상위 수준 아키텍처 묘사이다.
도 2는 본 발명의 일 실시예에 따른 셋톱박스의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 모바일 그래버에 대한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 멀티미디어 그래버에 대한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 쇼핑 애플리케이션에 대한 흐름도이다.
도 6은 일 실시예에 따라 테이블을 유지하기 위한 시퀀스에 대한 흐름도이다.

몇몇 실시예들에 따라, 비디오 프레임 또는 클립(clip), 메타데이터 또는 오디오의 제한된 지속시간을 갖는 전자적 표현과 같은 멀티미디어 세그먼트가 하나 이상의 시청자들에 의해 현재 시청되고 있는 활성 튜닝된 텔레비전 채널로부터 잡아채어질(grab) 수 있다. 이 멀티미디어 세그먼트는 이후 일 실시예에서 모바일 디바이스에게 송신될 수 있다. 모바일 디바이스는 이후 텔레비전 프로그램에 묘사된 제품을 식별하기 위한 검색을 위해 이 정보를 서버에게 송신할 수 있다. 예를 들면, 이미지 검색은 어떠한 제품이 묘사되고 있는지를 결정하는데 궁극적으로 사용될 수 있다. 일단 제품이 식별되면, 시청자에게 다양한 기타 쇼핑 서비스들을 제공하는 것이 가능하다. 이러한 서비스들은 기타 제품 공급자들, 가격 비교, 및 소매상 로케이션 서비스들을 식별하는 것을 포함할 수 있다.

도 1을 참조하면, 텔레비전 스크린(20)은 프로세서 기반 디바이스(14)에 결합될 수 있고, 다음으로 텔레비전 송신(12)에 결합될 수 있다. 이 송신은 아날로그 또는 디지털 신호들의 무선 주파수 브로드캐스팅, 케이블 배포, 또는 위성 배포를 포함하여, 인터넷 상에서 또는 공중파들 상에서 배포될 수 있다. 프로세서 기반 시스템(14)은 텔레비전 수신기와 별개의 독립형 디바이스일 수 있거나, 텔레비전 수신기 내에 통합될 수 있다. 이것은, 예를 들어 종래 셋톱박스의 구성요소들을 포함할 수 있고, 몇몇 실시예들에서 수신된 텔레비전 송신들을 디코딩하는 것을 담당할 수 있다.

일 실시예에서, 프로세서 기반 시스템(14)은 수신기(일 실시예에서 디바이스(14)의 일부일 수 있음)에 의해 현재 튜닝되는 디코딩된 텔레비전 송신으로부터의 비디오 프레임 또는 클립(즉, 프레임들의 시리즈), 메타데이터 또는 사운드의 전자적 표현을 잡아채는 멀티미디어 그래버(multimedia grabber)(16)를 포함한다. 프로세서 기반 시스템(14)은 잡아채어진 멀티미디어가 외부 제어 디바이스(24)에게 송신되는 것을 허용하는 유선 또는 무선 인터페이스(18)를 또한 포함할 수 있다. 이 송신(22)은, 텔레비전 수신기들 및 셋톱박스들에서 널리 이용 가능한 USB 연결과 같은 유선 연결 상에서, 또는 무선 주파수 신호들을 이용하는 것 및 광 신호들을 이용하는 것을 포함하는 임의의 가용 무선 송신 매체 상에서 이뤄질 수 있다.

기타 실시예들에서, 디코딩되지 않은 콘텐츠가 잡아채어지고 이후 제어 디바이스(24)에서 또는 다른 곳에서 디코딩될 수 있다.

제어 디바이스(24)는, 몇몇 예들만 언급하면, 셀룰러 전화, 랩톱 컴퓨터, 태블릿 컴퓨터, 모바일 인터넷 디바이스, 또는 텔레비전 수신기용의 리모트 컨트롤을 포함하는 모바일 디바이스일 수 있다. 디바이스(24)는 또한 데스크톱 컴퓨터 또는 엔터테인먼트 시스템과 같이 비 이동성일 수 있다. 디바이스(24) 및 시스템(14)은 일 실시예에서 무선 홈 네트워크의 일부일 수 있다. 일반적으로, 디바이스(24)는 자신의 별개의 디스플레이를 가져서 이것이 텔레비전 디스플레이 스크린과 독립적으로 정보를 디스플레이할 수 있도록 한다. 디바이스(24)가 자신의 디스플레이를 포함하지 않는 실시예들에서, 디스플레이는 PIP 디스플레이와 같이 텔레비전 디스플레이 상에 겹쳐질(overlaid) 수 있다.

일 실시예에서, 제어 디바이스(24)는 클라우드(28)와 통신할 수 있다. 디바이스(24)가 예를 들어 셀룰러 전화인 경우에, 이것은 궁극적으로는 인터넷상에서 전달되는 셀룰러 전화 신호들(26)에 의해 클라우드와 통신할 수 있다. 다른 경우들에서, 디바이스(24)는 인터넷으로의 통신망 접속들과 같은 고정 배선 연결들을 통해 통신할 수 있다. 또 하나의 예로서, 디바이스(24)는 텔레비전 송신을 전송(transport)한 것과 동일한 전송 매체 상에서 통신할 수 있다. 예를 들어, 케이블 시스템의 경우에, 디바이스(24)는 케이블 시스템을 통하여 케이블 헤드엔드 또는 서버(11)에게 신호들을 제공할 수 있다. 물론, 몇몇 실시예들에서, 이것은 가용 송신 대역폭의 일부를 소모할 수 있다. 그러므로, 몇몇 실시예들에서, 디바이스(24)는 모바일 디바이스가 아닐 수 있고, 심지어 프로세서 기반 시스템(14)의 일부일 수 있다.

도 2를 참조하면, 프로세서 기반 시스템(14)의 일 실시예가 묘사되지만, 많은 다른 아키텍처들이 마찬가지로 이용될 수 있다. 도 2에 묘사된 아키텍처는 인텔사로부터 구득 가능한 CE4100 플랫폼에 대응한다. 이것은 시스템 상호접속(system interconnect)(25)에 결합되는 중앙 처리 유닛(24)을 포함한다. 시스템 상호접속은 NAND 컨트롤러(26), 멀티포맷 하드웨어 디코더(28), 디스플레이 프로세서(30), 그래픽 프로세서(32), 및 비디오 디스플레이 컨트롤러(34)에 결합된다. 디코더(28) 및 프로세서들(30, 32)은 일 실시예에서, 컨트롤러(22)에 결합될 수 있다.

시스템 상호접속은 전송 프로세서(36), 보안 프로세서(38), 및 듀얼 오디오 DSP(digital signal processor; 40)에 결합될 수 있다. DSP(40)는 들어오는 비디오 송신을 디코딩하는 것을 담당할 수 있다. 일반적 입/출력(I/O) 모듈(42)은 예를 들어 WiFi 어댑터(18a)와 같은 무선 어댑터에 결합될 수 있다. 이 어댑터는 몇몇 실시예들에서 무선 제어 디바이스(24)에게 신호들을 보내는 것을 가능하게 한다. 오디오 및 비디오 입/출력 디바이스(44)가 또한 시스템 상호접속(25)에 결합된다. 이 디바이스(44)는 디코딩된 비디오 출력을 제공할 수 있고, 몇몇 실시예들에서 오디오 또는 비디오 프레임들 또는 오디오 또는 비디오 클립을 출력하는데 사용될 수 있다.

몇몇 실시예들에서, 프로세서 기반 시스템(14)은 특별한 기준들의 만족시에 멀티미디어 세그먼트들을 출력하도록 프로그래밍될 수 있다. 하나의 그러한 기준은 예를 들어 키보드 또는 터치스크린과 같은 입/출력 디바이스들을 통하여 입력을 제공함으로 인한 사용자 선택이다. 또한, 비디오 카메라가 사용자 제스처들을 기록할 수 있다. 그러한 제스처들은 멀티미디어 세그먼트를 캡처하라는 명령을 식별하도록 분석될 수 있다. 그와 같은 경우에, 비디오 멀티미디어 신호가 명령을 받고 출력된다. 또한, 예를 들어 음성인식을 이용하여 시청자로부터의 가청 명령을 검출하는 것이 멀티미디어 세그먼트 캡처를 트리거링하는데 사용될 수 있다. 또 다른 선택사항은 프로세서 기반 시스템(14)이 멀티미디어 잡아채기를 트리거링하는 들어오는 비디오 송신에서의 여러 활동들을 검출하는 것이다. 활동들 또는 이벤트들의 예들은 광고 개시의 검출을 포함한다.

도 3은 제어 디바이스(24)의 실시예를 위한 시퀀스를 보여준다. 시퀀스는 소프트웨어, 하드웨어, 및/또는 펌웨어로 구현될 수 있다. 소프트웨어 또는 펌웨어 기반 실시예들에서, 시퀀스는 광학적, 자성, 또는 반도체 기억장치와 같은 비일시적 컴퓨터 판독가능 매체에 저장된 컴퓨터 실행 가능 명령어들에 의해 구현될 수 있다. 예를 들어, 소프트웨어 또는 펌웨어 시퀀스는 제어 디바이스(24) 상의 기억 장치(50)에 저장될 수 있다.

제어 디바이스(24)가 모바일 디바이스인 실시예가 묘사되었지만, 비 모바일 실시예들이 또한 상정된다. 예를 들어, 제어 디바이스(24)는 시스템(14) 내에 통합될 수 있다.

초기에, 마름모 52에 표시된 것처럼, 마름모 52에서의 검사는 그래버(16)가 활성화되었는지를 결정한다. 몇몇 실시예들에서, 그래버(16)는 디바이스(24)의 컴퓨팅 능력을 소모하지 않도록 항상 활동적이 되지는 않는다. 예를 들어, 사용자는 잡아채기 활동을 개시하기 위해 사용자의 셀 폰 상에서 애플리케이션을 활성화할 수 있고, 그와 같은 경우에 그래버 활성화는 마름모 52에서 검출된다.

이후, 블록 54에서, 신호는 멀티미디어 세그먼트(16)의 전자적 표현들의 멀티미디어 잡아채기를 개시하기 위해 제어 디바이스(24)로부터 프로세서 기반 시스템(14)에게 보내질 수 있다. 제어 디바이스(24)가 마름모 56에서 검출된 것처럼, 멀티미디어 세그먼트를 수신할 때, 몇몇 실시예들에서, 제어 디바이스(24)는 보여지거나 기술되는 제품을 식별하기 위한 분석을 위해 클라우드(28)에게 멀티미디어 세그먼트를 보낼 수 있다(블록 58). 물론, 이것은 다른 실시예들에서 네트워크 상에서 멀티미디어 세그먼트를 임의의 서버에게 보낼 수 있다. 이것은, 또 다른 예로서, 이미지, 텍스트, 또는 오디오 분석을 위해 멀티미디어 세그먼트를 헤드엔드(11)에게 또한 보낼 수 있다.

오디오의 전자적 표현이 캡처되면, 캡처된 오디오 표현은, 예를 들어 제어 디바이스(24), 시스템(14), 또는 클라우드(28)에서 텍스트로 변환될 수 있다. 이후 텍스트는 제품을 식별하기 위해 검색될 수 있다.

유사하게, 메타데이터는 제품을 식별하려는 텍스트 검색에 사용하기 위한 정보를 식별하기 위해 분석될 수 있다. 몇몇 실시예들에서, 오디오, 메타데이터, 비디오 프레임들 또는 클립들 중 하나보다 많은 것이 제품을 식별하기 위한 키워드 인터넷 또는 데이터베이스 검색들을 위한 입력으로서 이용될 수 있다. 게다가 사용자는 친구들로부터 제품 정보를 얻고자 하는 희망으로 소셜 네트워크들 상에서 정보를 친구들에게 푸시할 수 있다.

분석 엔진은 이후 묘사된 제품을 식별하기 위해 멀티미디어 검색을 수행한다. 이 검색은 단순한 인터넷 또는 데이터베이스 검색일 수 있거나 또는 더 집중적인 검색일 수 있다. 예를 들어, 블록 58에서의 송신은 현재 시간 또는 비디오 캡처 및 제어 디바이스(24)의 로케이션을 포함할 수 있다. 이 정보는 어떤 제품들이 특정 시간들에 및 특정 로케이션들에 보여지고 있는 지에 관한 정보를 이용하여 검색을 집중시키는데 사용될 수 있다. 예를 들어, 상이한 시간들에서 상이한 로케이션들에서 이용할 수 있는 텔레비전 프로그램들을 상관(correlate)시키는 데이터베이스가 웹 사이트 상에 제공될 수 있고 이 데이터베이스는 프로그램을 식별하기 위한 캡처된 프레임과 일치하는 이미지를 찾기 위해 이미지 검색될 수 있다. 게다가, 메타데이터 또는 광고 콘텐츠 제공자들은 자신들이 제공하는 콘텐츠와 연관된 로케이션 또는 연락 정보를 포함할 수 있다.

몇몇 실시예들에서, 사용자는 주석들을 덧붙일 수 있고, 캡처된 세그먼트에서 관심 대상인 특징을 식별할 수 있다. 주석들은 일 실시예에서 제어 디바이스(24) 상에서 실행하는 애플리케이션에 의해 가능해질 수 있다. 주석들은 검색을 집중시키는데 사용될 수 있다. 또 다른 선택사항으로서, 눈 응시 검출(eye gaze detection)이 비디오 프레임 또는 클립 내에서 관심 대상인 제품을 식별하는데 사용될 수 있다.

제품의 식별은 시각적 검색 도구를 이용하여 행해질 수 있다. 이미지 프레임 또는 클립은 검색 데이터베이스 내의 기존 프레임들 또는 클립들과 매칭된다. 몇몇의 경우에, 매칭들의 시리즈가 식별될 수 있고, 그와 같은 경우에 이런 매칭들은 제어 디바이스(24)에게 되돌려 보내질 수 있다. 마름모 60에서의 검사가 검색 결과들이 제어 디바이스(24)에 의해 수신된 것을 결정할 때, 블록 62에 표시된 것처럼, 검색 결과들은 사용자에 대해 디스플레이될 수 있다. 제어 디바이스(24)는 이후 시청되고 있는 제품과 같은, 사용자가 원한 정보에 부합하는 검색 결과들 중 하나에 대한 사용자 선택을 수신한다. 이후, 마름모 64에 표시된 것처럼 일단 사용자 선택이 수신되었다면, 선택된 검색 결과는 블록 66에 표시된 것처럼 이후 클라우드에게 포워딩될 수 있다. 이것은 텔레비전 제품 식별이 제품에 관한 추가 정보의 제공과 같은, 시청자를 위한 또는 제3 자를 위한 기타 서비스들을 제공하는데 사용되도록 허용한다.

다음으로, 도 4를 참조하면, 시퀀스가 프로세서 기반 시스템(14) 내에 구현될 수 있다. 다시금, 시퀀스는 펌웨어, 하드웨어, 또는 소프트웨어로 구현될 수 있다. 소프트웨어 또는 펌웨어 실시예들에서, 이것은 하나 이상의 비일시적 컴퓨터 판독 가능 매체에 의해 구현될 수 있다. 예를 들어, 멀티미디어 그래버 시퀀스는 멀티미디어 그래버 디바이스(16) 상의 기억 장치(70)에 저장될 수 있다.

초기에, 마름모 72에서의 검사는 그래버 특징이 활성화되었는지를 결정한다. 몇몇 실시예들에서, 비디오 콘텐츠 분석이 이용될 수 있다. 예를 들어, 사용자는 시스템이 랩톱 컴퓨터 또는 랩톱 컴퓨터를 위한 광고들과 같은 특정 제품의 검사를 받을 것을 요청할 수 있고, 따라서 시스템은 바라는 제품을 로케이트하기 위해 비디오 콘텐츠 분석을 이용하여 진행중인 콘텐츠를 분석할 수 있고, 해당 제품이 보여지거나 기술되는 멀티미디어 세그먼트를 캡처할 수 있다.

명령이 마름모 76에서 결정된 대로 수신되면, 블록 78에 표시된 것처럼, 멀티미디어가 잡아채어지고 제어 디바이스(24)에게 송신된다.

도 5을 참조하면, 쇼핑 애플리케이션이 시퀀스에 의해 표시된다. 시퀀스는 소프트웨어, 펌웨어, 및/또는 하드웨어로 구현될 수 있다. 소프트웨어 및 펌웨어 기반 실시예들에서, 이것은 하나 이상의 비일시적 컴퓨터 판독 가능 매체에 의해 구현될 수 있다. 예를 들어, 컴퓨터 판독가능 명령어들은 도 1에 도시된, 서버(30)와 연관된 기억 장치(80)에 저장될 수 있다.

클라우드를 이용하여 실시예가 설명되기는 하였지만, 물론 동일 시퀀스가 임의의 적절한 네트워크 상에서 결합된 임의의 서버에 의해, 제어 디바이스(24) 자체에 의해, 프로세서 기반 디바이스(14)에 의해, 또는 다른 실시예들에서 헤드엔드(11)에 의해 구현될 수 있다.

초기에, 마름모 82에서의 검사는 멀티미디어 세그먼트가 수신되었는지를 결정한다. 만약 그렇다면, 블록 84에 표시된 것처럼, 멀티미디어가 비디오 프레임 또는 클립의 전자적 표현인 경우에, 시각적 검색이 수행된다. 오디오 클립인 경우에, 오디오는 텍스트로 변환되고 검색될 수 있다. 멀티미디어 세그먼트가 메타데이터이면, 메타데이터는 검색 가능한 콘텐츠를 위해 파싱(parse)될 수 있다. 이후, 블록 86에서, 검색 결과들은 예를 들어 제어 디바이스(24)에게 되돌려 송신된다. 제어 디바이스(24)는 검색 결과들 중 어느 것이 가장 관련성 있는지에 대한 사용자 입력 또는 선택을 수신할 수 있다. 시스템은 사용자로부터의 선택을 대기하고, 마름모 88에서 결정된 것처럼, 선택이 수신될 때, 작업이 블록 90에 보여진 것처럼 식별된 제품에 기초하여 실행될 수 있다. 예를 들어, 검색은 동일 제품의 다른 공급원들을 식별하기 위해 착수될 수 있고 공급자 비교들은 예를 들어 가격, 로케이션 및 가용도에 기초해 자동적으로 구현될 수 있다.

그와 같은 검색이 수행될 수 있는 한가지 방식은 현재 이미지를 데이터베이스에서의 또는 인터넷 상에서의 이미지들과 매칭시키고 이후 그러한 인터넷 또는 데이터베이스 상주 이미지들과 연관된 텍스트를 검색하는 것일 수 있다. 이후 상이한 이미지들 간의 공통 용어(term)들이 제품의 명칭을 결정하기 위해 분석될 수 있다. 그러므로, 이미지 검색은 제품의 명칭을 결정하는데 사용될 수 있다. 마찬가지로, 멀티미디어 세그먼트 내의 오디오 세그먼트들은 제품의 명칭이 실제로 인용되는지를 알아보기 위해 검색될 수 있고, 그래서 오디오는 텍스트로 변환되고 이후 텍스트 내에서 제품 정보에 대해 검색될 수 있다.

게다가 사용자는 사용자가 특정 이미지를 선택한 이유에 관한 단서를 제공하는 입력 정보를 제공할 수 있다. 이것은 예로서 텍스트 입력 박스들, 선택된 메시지들에 대한 주석들 또는 별개의 통신들을 이용하여 행해질 수 있다.

이후 사용자는 마름모 102에서 자신이 지금 제품을 구매하기를 원하는지에 대해 질문 받을 수 있다. 이는 예를 들어 텔레비전 쇼핑 네트워크 선택 사항을 통하여 또는 검색에서 식별된 공급자들 중 하나를 통하여 텔레비전 쇼에 보여지는 제품을 구매하는 것을 의미할 수 있다.

사용자가 지금 제품을 구매하고 싶다면, 시스템은 구매 절차를 지원할 수 있다. 예를 들어, 경험적 방법이 웹 내로부터 또는 데이터베이스 정보로부터 연락 정보를 식별하는데 사용될 수 있다. 이 정보는 온라인 양식들을 채우기 위해 사용자의 신용 카드 정보 및 주소 정보를 제공함으로써 구매 거래를 개시하는 데에 사용될 수 있다. 해당 정보는 이후 자동적으로 거래를 개시하기 위해 공급자에게 전달될 수 있다. 대안적으로, 연락 정보는 검색에서 로케이트된 인터넷 웹 페이지들의 데이터베이스 내에서 식별될 수 있고 해당 정보는 사용자에 의한 공급자의 선택을 위해 사용자에게 제공될 수 있다.

사용자가 지금 구매하지 않는 것으로 결정하면, 사용자는 자신이 제품을 보기 위해 방문하기를 원할 수 있는 특정 공급자를 선택할 수 있다. 그러므로, 사용자가 특정 공급자에 대한 웹 페이지를 선택하면, 해당 공급자의 로케이션 또는 연락 정보는 자동적으로 웹 페이지로부터 파싱될 수 있다(블록 104). 이는, 숫자들을 포함하고 텍스트가 이어질 수 있는 주소 정보 포맷을 갖는 또는 그 특정 포맷에 기초한 웹 페이지 정보를 식별할 수 있는 정보를 인식함으로써 행해질 수 있다. 유사하게, 전화 번호들 및 팩스 번호들은 동일 방법으로 식별될 수 있다. 일단 로케이션 또는 연락 정보가 식별되면, 블록 106에 표시된 것처럼, 로케이션이 기록된다.

사용자는, 이 시간에 또는 셋업 동안, 근접성 인자를 특정할 수 있다. 예를 들어, 사용자는 자신이 식별된 공급자와의 주어진 거리 내에 있을 때 식별되는 것을 원할 수 있다. 마름모 108에서의 검사는 해당 근접성 기준이 충족되었는지를 결정한다. 만약 그렇다면, 현재 로케이션 및 기록된 로케이션이 비교될 수 있고(블록 110), 이들이, 마름모 112에서 결정된 것처럼 매칭되면, 사용자는 자신이 표시된 공급자와의 특정된 거리 내에 있다는 것을 114에서 통지받을 수 있다. 그러므로, 시스템은 사용자의 셀 폰 또는 다른 모바일 디바이스 내의 GPS 센서들을 이용하여 끊임없이 사용자의 위치를 모니터링할 것이고, 간단하게 사용자가 해당 공급자에 근접하여 있을 때 사용자가 알도록 한다.

이 배경 로케이션 모니터링은 많은 경우에 사용자가 바로 제품을 보러 갈 필요를 감소시킨다. 그 대신에, 사용자는 그냥 자신의 보통 활동을 계속할 수 있고 시스템은 그의/그녀의 로케이션을 모니터링할 것이다. 사용자가 식별된 공급자에 근접할 때, 이후 통지가 제공될 수 있다.

비슷한 서비스가 또한 다른 방식으로 구현될 수 있다. 예를 들어, 사용자는 상점에서 제품 사진을 찍을 수 있고, 몇몇 식별 정보를 제공할 수 있거나, 또는 시스템은 스스로 제품을 식별할 수 있고, 동일 제품의 다른 공급자들을 로케이트하기 위해 동일 기법을 이용할 수 있다.

게다가, 로케이션 표시자 서비스는 제품이 텔레비전 프로그래밍 또는 사진을 통하여 심지어 식별되지 않은 경우에도 유용할 수 있다. 예를 들어, 사용자는 공급자를 언급하는 광고를 단순히 보거나 또는 사용자가 어느 시점에 방문하고 싶어할 수 있는 상점, 식당, 박물관, 또는 임의의 기타 로케이션에 관해 들을 수 있다. 사용자는 로케이션의 표시, 근접성 기준들을 제공할 수 있고, 시스템은 이후 사용자가 다른 이유로 해당 로케이션에 가깝게 들어온 때를 검출하기 위해 계속 진행 방식으로 사용자의 로케이션을 모니터링한다. 사용자는 이후 근접성을 통지받고, 만일 선택되면 공급자에게 나아가기 위한 방향들이 심지어 주어질 수 있다. 이것은 공급자를 찾아가는 특별한 외출을 할 필요를 회피하게 하여, 시간 및 비용을 절감한다.

몇몇 실시예들에서, 복수의 사용자가 동일 텔레비전 프로그램을 시청하고 있을 수 있다. 몇몇 집들에서는, 많은 텔레비전들이 이용 가능할 수 있다. 그러므로, 많은 상이한 사용자들이 동시에 여기 기술된 서비스들을 사용하기 원할 수 있다. 이 목적을 위해, 프로세서 기반 시스템(14)은 제어 디바이스들(24)에 대한 식별자들, 텔레비전 식별자 및 프로그램 정보를 식별하는 테이블을 유지할 수 있다. 이는, 프로세서 기반 시스템(14)이 이런 실시예에서 모든 텔레비전들이 프로세서 기반 시스템(14) 중에서의 자신들의 신호 다운스트림을 수신하는 상이한 텔레비전들에 간단히 적응함에 의해서, 사용자들이 방마다 움직이면서도 계속해서 여기 기술된 서비스들을 수신하도록 허용할 수 있다.

몇몇 실시예들에서, 테이블은 프로세서 기반 시스템(14)에 저장될 수 있거나, 헤드엔드(11)에 업로드될 수 있거나, 또는 아마도 심지어 제어 디바이스(24)를 통하여 클라우드(28)에게 업로드될 수 있다.

그러므로, 도 6을 참조하면, 몇몇 실시예들에서, 시퀀스(92)는 제어 디바이스들(24), 텔레비전 디스플레이 스크린들(20), 및 선택되는 채널들을 상관시키는 테이블을 유지하는데 사용될 수 있다. 이후 많은 다른 사용자들은 동일 텔레비전을 통해, 또는 예를 들어 홈 엔터테인먼트 네트워크에서 동일 프로세서 기반 시스템(14)을 통하여 모두 연결된 적어도 둘 이상의 텔레비전들에서 시스템을 사용할 수 있다. 시퀀스는 하드웨어, 소프트웨어 및/또는 펌웨어로 구현될 수 있다. 소프트웨어 및 펌웨어 실시예들에서, 시퀀스는 자성, 반도체, 또는 광 기억 장치와 같은, 하나 이상의 비일시적 컴퓨터 판독 가능 매체 상에 저장된 컴퓨터 판독가능 명령어들을 이용하여 구현될 수 있다. 일 실시예에서, 기억 장치(50)는 이런 명령어들을 저장하는데 사용될 수 있다.

초기에, 블록 94에 표시된 것처럼, 시스템은 명령들을 시스템(14)에게 제공하는 각각의 제어 디바이스들을 위한 식별자를 수신하고 저장한다. 이후, 블록 96에 표시된 것처럼, 시스템(14)을 통하여 결합된 여러 텔레비전들이 식별되고 로깅(log)될 수 있다. 마침내, 제어 디바이스들 및 텔레비전 수신기들을 상관시키는 테이블이 셋업된다(블록 100). 이는 동일한 제어 디바이스에 연결된 다중 텔레비전이 매끄러운 방식으로 사용되도록 허용하여 시청자들이 방마다 움직이면서 여기 기술된 서비스들을 계속 수신하도록 할 수 있다. 게다가 많은 시청자들이 동일 텔레비전을 볼 수 있고 각각은 여기 기술된 서비스들을 독립적으로 수신할 수 있다.

본 명세서 전체를 통해 “일 실시예” 또는 “실시예”라는 언급은, 실시예와 연계하여 설명된 특정한 특징, 구조 또는 특성이 본 발명 내에 포함되는 적어도 하나의 구현에 포함된다는 것을 의미한다. 따라서, “일 실시예” 또는 “실시예에서”라는 구문이 나온다고 해서 반드시 동일한 실시예를 가리키는 것은 아니다. 더구나, 특정 특징들, 구조들, 또는 특성들은 예시된 특정 실시예와는 다른 적절한 형태들로 실시될 수 있으며, 모든 그러한 형태들은 본 출원의 청구범위 내에 포함되는 것이다.

본 발명이 제한된 수의 실시예와 관련하여 설명되었지만, 이 분야의 기술자들은 실시예들로부터의 많은 변경들 및 변형들을 알 것이다. 첨부된 청구항들은 본 발명의 진정한 사상 및 범위 내에 속하는 모든 그러한 변경들 및 변형들을 포괄하는 것을 의도한다.

Claims

이벤트 발생을 검출하는 단계,
이벤트를 검출한 것에 응답하여, 텔레비전 프로그램으로부터 전자적 디코딩된 신호를 자동적으로 캡처하는 단계, 및
상기 프로그램에 묘사된 제품의 식별을 용이하게 하기 위해 상기 신호를 이용하여 검색을 수행하는 단계
를 포함하는 방법.
제1항에 있어서,
비디오 프레임 또는 클립, 오디오 또는 메타데이터의 전자적 표현을 포함하는 신호를 캡처하는 단계
를 포함하는 방법.
제1항에 있어서,
상기 신호를 모바일 디바이스에게 자동적으로 전송하는 단계
를 포함하는 방법.
제3항에 있어서,
상기 모바일 디바이스에게 검색 결과들을 제공하는 단계
를 포함하는 방법.
제3항에 있어서,
상기 검색을 수행하기 위해 상기 신호를 원격 서버에게 보내는 단계
를 포함하는 방법.
제1항에 있어서,
복수의 모바일 디바이스를 추적하고, 각각의 상기 디바이스들로부터의 요청들을 수신하고, 각각의 디바이스에게 응답들을 제공하는 단계
를 포함하는 방법.
제6항에 있어서,
모바일 디바이스들, 텔레비전들 및 모바일 디바이스들로부터의 요청들을 상관시키는 테이블을 유지하는 단계
를 포함하는 방법.
제1항에 있어서,
상기 제품의 공급자들에 관한 정보를 자동적으로 제공하는 단계
를 포함하는 방법.
제1항에 있어서,
사용자가 하나의 모바일 디바이스를 사용하여 상이한 시간들에서 두 개의 상이한 텔레비전에 접근할 수 있게 하는 단계
를 포함하는 방법.
적어도 하나의 비일시적 컴퓨터 판독가능 매체로서,
컴퓨터로 하여금,
이벤트 발생을 검출하고,
이벤트 검출에 응답하여, 이미지를 자동적으로 캡처하고,
상기 이미지에 묘사된 제품의 식별을 용이하게 하기 위해 상기 이미지를 이용하여 검색을 개시하도록 하기 위한 명령어들을 저장하는 매체.
제10항에 있어서, 텔레비전 프로그램으로부터 비디오 프레임 또는 클립, 오디오 또는 메타데이터의 전자적 표현 형태로 전자적 디코딩된 신호를 캡처하기 위한 명령어들을 더 저장하는 매체.
제10항에 있어서, 상기 신호를 모바일 디바이스에게 전송하기 위한 명령어들을 더 저장하는 매체.
제12항에 있어서, 상기 모바일 디바이스에게 검색 결과들을 제공하기 위한 명령어들을 더 저장하는 매체.
제12항에 있어서, 상기 검색을 수행하기 위해 상기 신호를 원격 서버에게 보내기 위한 명령어들을 더 저장하는 매체.
제10항에 있어서, 복수의 모바일 디바이스를 추적하고, 각각의 상기 디바이스들로부터의 요청들을 수신하고, 각각의 디바이스에게 응답들을 제공하여 상이한 시간들에서 두 개의 상이한 텔레비전을 이용하는 것을 가능하게 하기 위한 명령어들을 더 저장하는 매체.
제15항에 있어서, 디바이스들, 텔레비전들, 및 모바일 디바이스들에 대한 요청들을 상관시키는 테이블을 유지하기 위한 명령어들을 더 저장하는 매체.
제10항에 있어서, 오디오 신호의 전자적 표현인 신호를 캡처하고, 상기 캡처된 신호를 텍스트로 변환하고, 키워드 검색을 위한 입력으로 사용하기 위해 상기 텍스트를 보내기 위한 명령어들을 더 저장하는 매체.
제10항에 있어서, 상기 제품의 공급자들에 관한 정보를 제공하기 위한 명령어들을 더 저장하는 매체.
상기 이벤트에 응답하여 텔레비전 프로그램으로부터 전자적 신호를 자동적으로 캡처하고, 상기 신호에 묘사된 제품을 식별하기 위해 키워드 검색을 위한 입력으로 사용하기 위해 상기 디코딩된 신호를 송신하기 위한 프로세서, 및
상기 프로세서에 결합된 기억 장치
를 포함하는 장치.
제10항에 있어서, 상기 장치는 모바일 디바이스인 장치.
제20항에 있어서, 상기 장치는 셀룰러 전화인 장치.
제20항에 있어서, 상기 장치는 리모트 컨트롤인 장치.
제19항에 있어서, 상기 장치는 텔레비전 수신기인 장치.
제19항에 있어서, 상기 장치는 텔레비전 수신 시스템이 비디오 프레임 또는 클립, 오디오 또는 메타데이터의 전자적 표현 형태로 전자적 디코딩된 신호를 캡처하도록 신호하는 장치.
제20항에 있어서, 상기 장치는 텔레비전 시스템으로부터 상기 신호를 수신하고 데이터베이스에서 또는 인터넷 상에서 키워드 검색을 수행하기 위해 상기 신호를 원격 디바이스에게 송신하는 장치.
적어도 하나의 비일시적 컴퓨터 판독 가능 매체로서,
컴퓨터로 하여금,
특정된 로케이션을 수신하고,
사용자의 현재 로케이션을 모니터링하고,
상기 사용자가 상기 특정된 로케이션으로부터 미리 정해진 거리 내에 있을 때 상기 사용자에게 통지하도록 하기 위한 명령어들을 저장하는 매체.
제26항에 있어서, 제품의 캡처된 전자적 표현을 검색하고 상기 제품을 식별하기 위해 이미지 검색을 이용하기 위한 명령어들을 더 저장하는 매체.
제27항에 있어서, 상기 제품을 식별하기 위해 캡처된 전자적 텔레비전 신호를 검색하기 위한 명령어들을 더 저장하는 매체.
제28항에 있어서, 상기 제품과 관련된 인터넷 검색 결과들로부터 제품 공급자 로케이션을 도출하기 위한 명령어들을 더 저장하는 매체.
제26항에 있어서, 상기 프로그램을 식별하기 위해 텔레비전 프로그램으로부터의 오디오를 분석하기 위한 명령어들을 더 저장하는 매체.