KR101615930B1 - 시청자들이 텔레비전에서 무엇을 시청하고 있는지 식별하기 위한 멀티미디어 검색 사용 - Google Patents

시청자들이 텔레비전에서 무엇을 시청하고 있는지 식별하기 위한 멀티미디어 검색 사용 Download PDF

Info

Publication number
KR101615930B1
KR101615930B1 KR1020147007942A KR20147007942A KR101615930B1 KR 101615930 B1 KR101615930 B1 KR 101615930B1 KR 1020147007942 A KR1020147007942 A KR 1020147007942A KR 20147007942 A KR20147007942 A KR 20147007942A KR 101615930 B1 KR101615930 B1 KR 101615930B1
Authority
KR
South Korea
Prior art keywords
program
delete delete
television
signal
control devices
Prior art date
Application number
KR1020147007942A
Other languages
English (en)
Other versions
KR20140054362A (ko
Inventor
웬롱 리
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20140054362A publication Critical patent/KR20140054362A/ko
Application granted granted Critical
Publication of KR101615930B1 publication Critical patent/KR101615930B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4108—Peripherals receiving signals from specially adapted client devices characterised by an identification number or address, e.g. local network address
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42684—Client identification by a unique number or address, e.g. serial number, MAC address, socket ID
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6175—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

텔레비전 전송으로부터 적어도 하나의 디코딩 프레임을 추출함으로써 현재 시청 중인 텔레비전 프로그램이 식별될 수 있다. 이미지 검색을 요청하고 검색 결과를 수신하는 별도의 모바일 디바이스에 송신될 수 있다. 검색 결과들은 프로그램을 식별하는데 사용될 수 있고, 사용자의 소셜 네트워킹 친구들은 프로그램 식별을 통지 받을 수 있다.

Description

시청자들이 텔레비전에서 무엇을 시청하고 있는지 식별하기 위한 멀티미디어 검색 사용{USING MULTIMEDIA SEARCH TO IDENTIFY WHAT VIEWERS ARE WATCHING ON TELEVISION}
본 발명은 일반적으로 방송 텔레비전 및 스트리밍 텔레비전 둘다를 포함하는 텔레비전에 관한 것이다.
텔레비전은 아날로그 또는 디지털 신호의 무선 주파수 전송을 사용하여 텔레비전 프로그램들을 방송함으로써 유통될 수 있다. 또한, 텔레비전 프로그램들은 케이블 시스템 및 위성 시스템을 통해 유통될 수 있다. 마지막으로, 텔레비전은 스트리밍(streaming)을 사용하여 인터넷을 통해 유통될 수 있다. 여기에서 사용되는 바와 같이, “텔레비전 전송”이라는 용어는 텔레비전 유통의 이러한 양상들을 모두 포함한다. 본원에 사용되는 바와 같이, “텔레비전”은 상업 광고를 갖는 또는 갖지 않는 프로그램 콘텐츠의 유통을 의미하며, 종래의 텔레비전 프로그램들 뿐 아니라 비디오 게임의 유통 둘다를 포함한다.
사용자들이 어떤 프로그램들을 시청하는지를 판단하는 시스템들이 공지되어 있다. 예를 들어, IntoNow 서비스는 시청 중인 텔레비전으로부터의 오디오 신호를 휴대 전화에 기록하고, 이들 신호를 분석하고, 이러한 정보를 사용하여 시청자들이 어떤 프로그램을 시청하는지를 결정한다. 오디오 분석의 하나의 문제점은, 그것이 주변 잡음으로부터 열화된다는 것이다. 당연히, 시청 환경에서 주변 잡음은 일반적이며, 따라서 오디오 기반 시스템들은 상당한 제약을 받는다.
도 1은 본 발명의 일 실시예의 고레벨 아키텍처 설명이다.
도 2는 본 발명의 일 실시예에 따른 셋톱 박스의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 모바일 그래버(mobile grabber)에 대한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 멀티미디어 그래버(multimedia grabber)에 대한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른, 이미지 검색을 수행하기 위한 클라우드 기반 시스템에 대한 흐름도이다.
도 6은 일 실시예에 따른, 표를 유지하기 위한 시퀀스에 대한 흐름도이다.
일부 실시예에 따르면, 비디오 프레임 또는 클립, 메타데이터 또는 오디오의 제한된 지속시간 전자적 표현(electronic representation)과 같은 멀티미디어 세그먼트는 하나 이상의 시청자에 의해 현재 시청되고 있는 능동 튜닝된 텔레비전 채널들로부터 그랩(grab)될 수 있다. 그 다음, 일 실시예에서 이러한 멀티미디어 세그먼트는 모바일 디바이스로 송신될 수 있다. 그 다음, 모바일 디바이스는 검색용 서버에 정보를 송신할 수 있다. 예를 들어, 이미지 검색은 궁극적으로 어느 프로그램이 시청되는지를 판단하는데 사용될 수 있다. 일단 프로그램이 식별되면, 시청자에게 다양한 다른 서비스를 제공하는 것이 가능하다. 이들 서비스는 추가적인 집중 광고 콘텐츠(focused advertising content), 소셜 네트워킹 서비스, 및 프로그램 시청 추천을 포함하는 추가 콘텐츠의 제공을 포함할 수 있다.
도 1을 참조하면, 텔레비전 스크린(20)은 프로세서 기반 디바이스(14)에 결합될 수 있고, 차례로 텔레비전 전송(12)에 결합될 수 있다. 이러한 전송은 인터넷 또는 무선을 통해 유통될 수 있는데, 아날로그 또는 디지털 신호들의 무선 주파수 방송, 케이블 유통, 또는 위성 유통을 포함한다. 프로세서 기반 시스템(14)은 텔레비전 수신기로부터 분리된 독립형 디바이스일 수 있거나, 텔레비전 수신기 내에 통합될 수 있다. 예를 들어, 종래의 셋톱 박스의 컴포넌트들을 포함할 수 있고, 일부 실시예에서, 수신된 텔레비전 전송을 디코딩하는 것을 담당할 수 있다.
일 실시예에서, 프로세서 기반 시스템(14)은 (일 실시예에서 시스템(14)의 일부일 수 있는) 수신기에 의해 현재 튜닝되어 있는 디코딩된 텔레비전 전송으로부터 비디오 프레임 또는 클립(일련의 프레임들), 메타데이터 또는 음성을 그랩하는 멀티미디어 그래버(16)를 포함한다. 프로세서 기반 시스템(14)은 또한 그랩된 멀티미디어가 외부 제어 디바이스(24)로 송신되게 하는 유선 또는 무선 인터페이스(18)를 포함할 수 있다. 이러한 전송은 텔레비전 수신기들 및 셋톱 박스에서 폭넓게 이용 가능한 USB(Universal Serial Bus) 연결 등의 유선 연결을 통한 것이거나, 또는 무선 주파수 신호를 사용하는 매체 및 광 신호를 사용하는 매체를 포함하는 임의의 이용 가능한 무선 전송 매체(22)를 통한 것일 수 있다.
다른 실시예들에서, 디코딩되지 않은 콘텐츠가 그랩되어 제어 디바이스(24)에서 디코딩될 수 있다. 다른 옵션으로서, 디코딩은 서버(30)에서 행해질 수 있다.
제어 디바이스(24)는, 몇몇 예를 들어, 셀룰러 전화기, 랩톱 컴퓨터, 태블릿 컴퓨터, 모바일 인터넷 디바이스, 또는 텔레비전 수신기용 리모컨을 포함하는 모바일 디바이스일 수 있다. 디바이스(24)는 또한 데스크톱 컴퓨터 또는 엔터테인먼트 시스템과 같이 모바일이 아닐 수 있다. 일 실시예에서, 디바이스(24) 및 시스템(14)은 무선 홈 네트워크의 일부일 수 있다. 일반적으로, 디바이스(24)는 텔레비전 디스플레이 스크린과 독립적으로 정보를 디스플레이할 수 있도록 자체 별도의 디스플레이를 갖는다. 디바이스(24)가 자체 디스플레이를 포함하지 않는 실시예들에서, 디스플레이는 예를 들어, 픽처-인-픽처(picture-in-picture) 디스플레이에 의해 텔레비전 디스플레이에 오버레이될 수 있다.
일 실시예에서, 제어 디바이스(24)는 클라우드(28)와 통신할 수 있다. 디바이스(24)가 셀룰러 전화기인 경우, 디바이스는 예를 들어, 인터넷을 통해 궁극적으로 운반되어, 셀룰러 전화 신호들(26)에 의해 클라우드와 통신할 수 있다. 다른 경우에, 디바이스(24)는 네트워크 연결들과 같은 하드 와이어드 연결(hard wired connection)들을 통해 인터넷에 통신할 수 있다. 또다른 예로서, 디바이스(24)는 텔레비전 전송을 운반했던 것과 동일한 전송 매체를 통해 통신할 수 있다. 예를 들어, 케이블 시스템의 경우, 디바이스(24)는 케이블 시스템을 통해 케이블 헤드 엔드 또는 서버(11)에 신호들을 제공할 수 있다. 당연히, 일부 실시예에서, 이는 가용 전송 대역폭의 일부를 소모할 수 있다. 따라서, 일부 실시예에서, 디바이스(24)는 모바일 디바이스가 아닐 수 있으며, 프로세서 기반 시스템(14)의 일부일 수도 있다.
도 2를 참조하면, 프로세서 기반 시스템(14)의 일 실시예가 도시되었지만, 여러 다른 아키텍처들 또한 사용될 수 있다. 도 2에 도시된 아키텍처는 Intel Corporation으로부터 이용가능한 CE4100 플랫폼에 대응한다. 이 아키텍처는 시스템 인터커넥트(25)에 결합된 중앙 처리 장치(24)를 포함한다. 시스템 인터커넥트는 NAND 컨트롤러(26), 멀티-포맷 하드웨어 디코더(28), 디스플레이 프로세서(30), 그래픽 프로세서(32), 및 비디오 디스플레이 컨트롤러(34)에 결합된다. 일 실시예에서, 디코더(28) 및 프로세서들(30 및 32)은 컨트롤러(22)에 결합될 수 있다.
시스템 인터커넥트(interconnect)는 운송 프로세서(transport processor; 36), 보안 프로세서(security processor; 38), 및 듀얼 오디오 디지털 신호 프로세서(DSP)(40)에 결합될 수 있다. 디지털 신호 프로세서(40)는 인커밍 비디오 전송을 디코딩하는 것을 담당할 수 있다. 범용 입력/출력(I/O) 모듈(42)은 예를 들어, WiFi 어댑터(18a)와 같은 무선 어댑터에 결합될 수 있다. 이는 일부 실시예에서, 신호들을 무선 제어 디바이스(24)에 전송하 는 것을 허용할 것이다. 또한, 오디오 및 비디오 입력/출력 디바이스가 시스템 인터커넥트(25)에 결합된다. 이는 디코딩된 비디오 출력을 제공할 수 있고, 일부 실시예에서 비디오 프레임 또는 클립을 출력하는데 사용될 수 있다.
일부 실시예에서, 프로세서 기반 시스템(14)은 특정 기준의 만족 시에 멀티미디어 세그먼트들을 출력하도록 프로그래밍될 수 있다. 이러한 기준 중 하나는 시간 간격(time interval)의 경과이다. 이러한 경우에, 비디오 클립 또는 프레임은 규칙적인 시간 간격으로 출력된다. 또 다른 옵션은, 프로세서 기반 시스템(14)이 인커밍 비디오 전송에서 다양한 활동을 검출하여 멀티미디어 세그먼트 그랩을 트리거하는 것이다. 활동 또는 이벤트의 예시들은, 몇몇 예를 들어, 상업 광고, 상업 광고의 종료, 프로그램 변경, 튜닝 선택, 장면 변경, 오디오 레벨 변경, 또는 텔레비전 활성화를 포함한다.
도 3은 제어 디바이스(24)의 일 실시예에 대한 시퀀스를 도시한다. 시퀀스는 소프트웨어, 하드웨어, 및/또는 펌웨어로 구현될 수 있다. 소프트웨어 또는 펌웨어 기반 실시예들에서, 시퀀스는 광학, 자기, 또는 반도체 저장 디바이스 등의 비일시적 컴퓨터 판독가능 매체에 저장된 컴퓨터 실행가능 명령어들에 의해 구현될 수 있다. 예를 들어, 소프트웨어 또는 펌웨어 시퀀스는 제어 디바이스(24) 상의 스토리지(50)에 저장될 수 있다.
제어 디바이스(24)가 모바일 디바이스인 일 실시예가 도시되어 있지만, 모바일이 아닌 실시예들 또한 고려된다. 예를 들어, 제어 디바이스(24)는 시스템(14) 내에 통합될 수 있다.
우선, 다이아몬드(52)에 표시된 바와 같이, 다이아몬드(52)에서의 확인은 그래버(16)가 활성화되어 있는지 여부를 결정한다. 일부 실시예에서, 사용자가 시청 중인 텔레비전 프로그램들을, 상대적으로 은밀하게, 유지할 수 있도록, 그래버(16)는 항상 활성인 것은 아니다. 예를 들어, 사용자는 사용자의 휴대 전화에서 애플리케이션을 활성화시켜서 그랩 행위를 개시하며, 이러한 경우에, 다이아몬드(52)에서 그래버 활성화가 검출된다.
그 후, 블록(54)에서, 제어 디바이스(24)로부터 프로세서 기반 시스템(14)으로 신호가 전송되어 멀티미디어 그래버(16)에 의한 멀티미디어 그랩을 개시할 수 있다. 다이아몬드(56)에서 검출된 바와 같이, 제어 디바이스(24)가 그래버(16)로부터 멀티미디어 세그먼트를 수신하는 경우, 일부 실시예에서, 제어 디바이스(24)는 멀티미디어 세그먼트를 이미지 분석을 위해 클라우드(28)로 전송할 수 있다. 당연히, 다른 실시예에서, 네트워크를 통해 임의의 서버로 멀티미디어 세그먼트를 전송할 수 있다. 다른 예로서, 이미지, 텍스트, 또는 오디오 분석을 위해, 헤드 엔드(11)에 멀티미디어 세그먼트를 전송할 수도 있다.
오디오를 운반하는 디지털 신호들이 캡쳐되고 디바이스(24)로 송신되면, 오디오 정보를 운반하는 캡쳐된 신호들은 예를 들어, 제어 디바이스(24), 시스템(14), 또는 클라우드(28)에서 텍스트로 변환될 수 있다. 그 후, 텔레비전 프로그램을 식별하기 위해 텍스트가 검색될 수 있다.
이와 유사하게, 그래버(16)로부터의 메타데이터는 프로그램을 식별하기 위한 텍스트 검색에 사용되는 정보를 식별하기 위해 분석될 수 있다. 일부 실시예에서, 오디오, 메타데이터, 비디오 프레임 또는 클립을 나타내는 디지털 신호 중 2 이상이 키워드 인터넷 또는 데이터베이스 검색을 위한 입력으로서 사용될 수 있다.
그 후, 분석 엔진은 멀티미디어 검색을 수행하여 시청 중인 텔레비전 프로그램을 식별한다. 이러한 검색은 간단한 인터넷 또는 데이터베이스 검색일 수 있거나, 또는 더 집중적인 검색일 수 있다. 예를 들어, 블록(58)에서의 전송은 현재 시간 또는 비디오 캡쳐 및 제어 디바이스(24)의 위치를 포함할 수 있다. 이러한 정보는 어떤 프로그램들이 특정 시간 및 특정 위치에 방송 또는 전송되는지에 대한 정보를 사용하여 검색을 집중하는데 사용될 수 있다. 예를 들어, 상이한 시기에 상이한 위치에서 이용 가능한 텔레비전 프로그램들을 상관시키는 웹사이트에 데이터베이스가 제공될 수 있고, 이러한 데이터베이스는 캡쳐된 프레임과 매칭되는 이미지을 찾아 프로그램을 식별하기 위해 이미지 검색될 수 있다.
일부 실시예에서, 사용자는 검색을 집중함으로써 프로그램 식별을 보조하기 위해 디바이스(24)에서 멀티미디어 프레임 또는 클립에 주석을 부가할 수 있다.
프로그램의 식별은 비주얼 검색 도구를 사용함으로써 행해질 수 있다. 이미지 프레임 또는 클립은 검색 데이터베이스 내의 기존의 프레임 또는 클립들과 매칭된다. 일부 경우에, 일련의 매칭이 식별될 수 있고, 이러한 경우, 이들 매칭은 제어 디바이스(24)로 반송(send back)될 수 있다. 다이아몬드(60)에서의 확인이, 검색 결과들이 제어 디바이스(24)에 의해 수신되었다고 결정하면, 블록(62)에 표시된 바와 같이, 검색 결과들이 사용자에게 디스플레이될 수 있다. 그 후, 제어 디바이스(24)는 시청 중인 올바른 프로그램과 같이, 사용자가 원했던 정보와 일치하는 검색 결과들 중 하나의 사용자 선택을 수신한다. 그 후, 다이아몬드(64)에서 표시된 바와 같이, 사용자 선택이 수신되었으면, 블록(66)에 표시된 바와 같이, 선택된 검색 결과가 클라우드로 포워딩될 수 있다. 이는 텔레비전 프로그램 식별이 시청자 또는 제3자에게 다른 서비스들을 제공하는데 사용되게 할 수 있다.
다음으로, 도 4를 참조하면, 시퀀스(70)는 프로세서 기반 시스템(14) 내에 구현될 수 있다. 다시, 시퀀스(70)는 펌웨어, 하드웨어, 및/또는 소프트웨어로 구현될 수 있다. 소프트웨어 또는 펌웨어 실시예들에서, 비일시적 컴퓨터 판독가능 매체에 의해 구현될 수 있다. 예를 들어, 멀티미디어 그래버(70)는 멀티미디어 그래버 디바이스(16) 상의 스토리지(70)에 저장될 수 있다.
우선, 다이아몬드(72)에서의 확인은 그래버 특징(grabber feature)이 활성화되었는지의 여부를 결정한다. 활성화되어 있으면, 블록(74)에 표시된 바와 같이, 그래버 기준(grabber criteria)에 액세스할 수 있다. 그래버 기준은 프로세서 기반 시스템(14) 내에 미리 저장될 수 있거나, 또는 제어 디바이스(24)로부터 운송될 수 있다. 일부 실시예에서, 사용자가 기준을 선택할 수 있다. 다시, 프레임, 클립, 오디오 세그먼트, 또는 멀티미디어 세그먼트를 표현하는 디지털 신호가 주기적인 간격으로 그랩되도록, 기준은 시간 기반일 수 있다. 다른 실시예에서, 비디오 콘텐츠 분석에 기반한 기준을 포함하는 다른 기준이 사용될 수 있다.
다이아몬드(76)에서 결정된 바와 같이, 기준이 충족되면, 블록(78)에 표시된 바와 같이, 멀티미디어가 그랩되어 제어 디바이스(24)로 송신된다.
도 5를 참조하면, 일 실시예에 따른 클라우드(28)의 동작이 시퀀스(80)에 의해 표시된다. 시퀀스(80)는 소프트웨어, 펌웨어, 및/또는 하드웨어로 구현될 수 있다. 소프트웨어 및 펌웨어 기반 실시예들에서, 시퀀스(80)는 비일시적 컴퓨터 판독가능 명령어들에 의해 구현될 수 있다. 예를 들어, 컴퓨터 판독가능 명령어들은 도 1에 도시된 서버(30)와 관련된 스토리지(80)에 저장될 수 있다.
클라우드를 사용하는 실시예가 예시되어 있지만, 다른 실시예들에서, 동일한 시퀀스는 물론, 임의의 적절한 네트워크를 통해 결합된 임의의 서버, 제어 디바이스(24) 자체, 프로세서 기반 디바이스(14), 또는 헤드 엔드(11)에 의해 구현될 수 있다.
우선, 다이아몬드(82)에서의 확인은 멀티미디어 세그먼트(multimedia segment)가 수신되었는지 여부를 결정한다. 수신되었으면, 블록(84)에 표시된 바와 같이, 멀티미디어가 비디오 프레임 또는 클립의 전자적 표현인 경우 비주얼 검색이 수행된다. 전자적 표현 오디오 클립의 경우, 오디오 표현은 텍스트로 변환되어 검색될 수 있다. 멀티미디어 세그먼트가 메타데이터를 표현하는 경우, 메타데이터는 검색 가능 콘텐츠를 위해 분석될 수 있다. 그 후, 블록(86)에서, 검색 결과들은 예를 들어, 제어 디바이스(24)로 재송신(transmit back)된다. 제어 디바이스(24)는 검색 결과들 중 어떤 검색 결과가 가장 연관되는 것인지에 관한 사용자 입력 또는 선택을 수신할 수 있다. 시스템은 사용자로부터의 선택을 대기하고, 다이아몬드(88)에서 결정되는 바와 같이 선택이 수신되면, 시청 중인 텔레비전 프로그램에 기반하여 태스크가 수행될 수 있다(블록(90)). 예를 들어, 태스크는 소셜 네트워킹을 위한 친구들의 사전 선택 그룹에 정보를 제공하는 것일 수 있다. 일 실시예에서, 페이스북(Facebook) 상의 사용자의 친구들은 현재 시간에 사용자가 어느 프로그램을 시청 중인지를 표시하는 메시지를 자동으로 전송받을 수 있다. 그 후, 이들 친구들은 페이스북을 통해 시청자와 상호 작용하여, 예를 들어 제어 디바이스(24)를 사용하여 텔레비전 프로그램에 대해 채팅할 수 있다.
다른 예로서, 태스크는 시청자들에 대한 데모그래픽 정보를 분석하고, 상이한 시간에 상이한 사용자에 의해 시청되는 프로그램에 대한 정보를 헤드 엔드에 제공하는 것일 수 있다. 또 다른 대체예는 특정 프로그램들을 시청하는 시청자에게 집중된 콘텐츠를 제공하는 것을 포함한다. 예를 들어, 시청자들은 다음에 오는 유사한 프로그램들에 대한 정보를 제공받을 수 있다. 시청자들은 시청자가 현재 시청하는 것에 대해 집중된 광고 정보를 제공받을 수 있다. 예를 들어, 방송 중인 텔레비전 프로그램이 특정 자동차에 자동차에 중점을 두고 있으면, 자동차 제조사는 추가적인 광고를 제공하여 프로그램에서 현재 보여주고 있는 챠량에 대한 더 많은 정보를 시청자들에게 제공할 수 있다. 일부 경우에 이러한 정보는 텔레비전 스크린 상의 오버레이로서 디스플레이될 수 있지만, 유리하게는, 예를 들어 제어 디바이스(24)와 관련된 별도의 디스플레이에 디스플레이될 수 있다. 방송이 인터랙티브 게임(interactive game)인 경우, 게임 진행에 대한 정보가 사용자의 소셜 네트워킹 그룹에 송신될 수 있다. 이와 유사하게, 동일한 방식으로 광고가 사용되고, 데모그래픽이 수집될 수 있다.
일부 실시예에서, 복수의 사용자들이 동일한 텔레비전 프로그램을 시청할 수 있다. 일부 가정에서 여러 대의 텔레비전이 이용 가능할 수 있다. 따라서, 여러 상이한 사용자들이 동시에 본원에 설명된 서비스들을 사용하고 싶을 수 있다. 이를 위해, 프로세서 기반 시스템(14)은 제어 디바이스(24)용 식별자, 텔레비전 식별자, 및 프로그램 정보를 기록하는 테이블을 유지할 수 있다. 이는 사용자로 하여금 방에서 방으로 이동하면서 여전히 본원에 설명된 서비스들을 상이한 텔레비전에 간단히 적용되는 프로세서-기반 시스템(14)을 이용하여 계속 수신할 수 있게 하며, 이러한 실시예에서, 텔레비전 모두는 프로세서 기반 시스템(14)의 자신의 신호 다운스트림을 수신한다.
일부 실시예에서, 표는 프로세서 기반 시스템(14)에 저장되거나 헤드 엔드(11)로 업데이트될 수 있고, 또는 제어 디바이스(24)를 통해 클라우드(28)로 업로드될 수도 있다.
따라서, 도 6을 참조하면, 일부 실시예에서, 제어 디바이스(24), 텔레비전 디스플레이 스크린(20) 및 선택된 채널들을 상관시키는 표를 유지하는데 시퀀스(92)가 사용될 수 있다. 그 후, 다수의 상이한 사용자들이 동일한 텔레비전, 또는 예를 들어, 홈 엔터테인먼트 네트워크에서 동일한 프로세서 기반 시스템(14)을 통해 모두 연결되는 적어도 둘 이상의 텔레비전을 통해 시스템을 사용할 수 있다. 시퀀스는 하드웨어, 소프트웨어, 및/또는 펌웨어로 구현될 수 있다. 소프트웨어 또는 펌웨어 실시예에서, 시퀀스는 자기, 반도체, 또는 광학 스토리지와 같은 비일시적 컴퓨터 판독가능 매체에 저장된 컴퓨터 판독가능 명령어들을 사용하여 구현될 수 있다. 일 실시예에서, 스토리지(50)가 사용될 수 있다.
우선, 시스템은 블록(94)에 표시된 바와 같이 시스템(14)에 커맨드를 제공하는 제어 디바이스 각각에 대한 식별자를 수신 및 저장한다. 그 후, 블록(96)에 표시된 바와 같이, 시스템(14)를 통해 결합된 다양한 텔레비전들이 식별되고 로깅될 수 있다. 마지막으로, 제어 디바이스들, 채널들, 및 텔레비전 수신기들을 상관시키는 표가 셋업된다(블록(100)). 이는 시청자가 방에서 방으로 이동하면서 본원에 설명된 서비스들을 계속 수신할 수 있도록, 동일한 제어 디바이스에 연결된 다수의 텔레비전들이 끊김 없는 방식으로 사용되게 한다. 또한, 다수의 시청자들이 동일한 텔레비전을 시청할 수 있고, 각각의 시청자는 본원에 설명된 서비스를 독립적으로 수신할 수 있다.
본 명세서 내에서의 “일 실시예” 또는 “실시예”에 대한 참조는 그 실시예와 함께 여기에 설명된 특별한 특징, 구조, 또는 특성이 본 발명 내에 포함되는 적어도 하나의 구현예에 포함된다는 것을 의미한다. 따라서, “일 실시예” 또는 “실시예”라는 구문의 사용은 반드시 동일한 실시예를 지칭하는 것이 아니다. 게다가, 특별한 특징, 구조, 또는 특성은 예시된 특정 실시예 이외의 다른 적절한 형태로 도입될 수 있고, 이러한 모든 형태들은 본 출원의 청구항 내에 포함될 수 있다.
본 발명은 제한적인 개수의 실시예에 관해 설명되어 있지만, 당업자는 이로부터 여러 수정예 및 변형예를 이해할 것이다. 첨부된 청구항들이 본 발명의 사상 및 범위 내에 있는 이러한 모든 수정 및 변형을 포괄하는 것을 목적으로 한다.

Claims (30)

  1. 텔레비전 프로그램을 식별하는 방법으로서,
    텔레비전 튜닝 선택을 검출함으로써 새로운 텔레비전 프로그램을 표시하기 위한 프로그램 변경의 발생을 검출하는 단계;
    상기 프로그램 변경의 검출과, 복수의 서로 다른 제어 디바이스들 - 각각의 상기 복수의 서로 다른 제어 디바이스들은 각각의 식별자를 가짐 - 중의 제어 디바이스로부터의 커맨드에 응답하여, 텔레비전 수신기 내의 그래버로부터 상기 새로운 텔레비전 프로그램의 전자 디코딩 신호를 자동으로 및 무선으로 캡쳐하는 단계;
    상기 새로운 텔레비전 프로그램의 식별을 용이하게 하기 위해 상기 신호를 사용하여 검색을 수행하는 단계;
    상기 복수의 서로 다른 제어 디바이스들 중에서 상기 제어 디바이스에 대한 식별자를 추출하는 단계; 및
    상기 식별자를 사용하여, 식별된 프로그램을 상기 커맨드를 발행한 상기 제어 디바이스와 매칭하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서, 비디오 프레임 또는 클립, 오디오 또는 메타데이터의 전자적 표현을 포함하는 신호를 캡쳐하는 단계를 포함하는, 방법.
  3. 삭제
  4. 제1항에 있어서, 상기 신호를 모바일 디바이스에 자동으로 전달하는 단계를 포함하는, 방법.
  5. 제4항에 있어서, 상기 모바일 디바이스에 검색 결과들을 제공하는 단계를 포함하는, 방법.
  6. 텔레비전 프로그램을 식별하기 위한 명령어들을 저장하는 적어도 하나의 비일시적 컴퓨터 판독가능 매체로서,
    상기 명령어들은 컴퓨터로 하여금,
    텔레비전 튜닝 선택을 검출함으로써 새로운 텔레비전 프로그램을 표시하기 위한 프로그램 변경의 발생을 검출하고;
    상기 프로그램 변경을 검출하는 것과, 복수의 서로 다른 제어 디바이스들 - 각각의 상기 복수의 서로 다른 제어 디바이스들은 각각의 식별자를 가짐 - 중의 제어 디바이스로부터의 커맨드에 응답하여, 텔레비전 수신기의 그래버로부터 상기 새로운 텔레비전 프로그램의 전자 디코딩 신호를 자동으로 및 무선으로 캡쳐하고;
    상기 새로운 텔레비전 프로그램의 식별을 용이하게 하기 위해 상기 신호를 사용하여 검색을 개시하고;
    상기 복수의 서로 다른 제어 디바이스들 중에서 상기 제어 디바이스에 대한 식별자를 추출하고;
    상기 식별자를 사용하여, 식별된 프로그램을 상기 커맨드를 발행한 상기 제어 디바이스와 매칭하게 하는, 비일시적 컴퓨터 판독가능 매체.
  7. 제6항에 있어서, 비디오 프레임 또는 클립, 오디오 또는 메타데이터의 전자적 표현의 형태로 전자 디코딩 신호를 캡쳐하는 명령어들을 더 저장하는, 비일시적 컴퓨터 판독가능 매체.
  8. 제6항에 있어서, 시간 간격의 경과의 검출을 상기 전자 디코딩 신호의 캡쳐를 트리거하는 이벤트로서 사용하는 명령어들을 더 저장하는, 비일시적 컴퓨터 판독가능 매체.
  9. 제6항에 있어서, 상기 신호를 모바일 디바이스에 전달하는 명령어들을 더 저장하는, 비일시적 컴퓨터 판독가능 매체.
  10. 제9항에 있어서, 상기 모바일 디바이스에 검색 결과들을 제공하는 명령어들을 더 저장하는, 비일시적 컴퓨터 판독가능 매체.
  11. 텔레비전 프로그램을 식별하기 위한 장치로서,
    텔레비전 튜닝 선택을 검출함으로써 새로운 텔레비전 프로그램을 표시하기 위한 프로그램 변경의 발생을 검출하고, 상기 프로그램 변경의 검출과, 복수의 서로 다른 제어 디바이스들 - 각각의 상기 복수의 서로 다른 제어 디바이스들은 각각의 식별자를 가짐 - 중의 제어 디바이스로부터의 커맨드에 응답하여, 텔레비전 수신기 내의 그래버로부터 상기 새로운 텔레비전 프로그램의 전자 신호를 자동으로 및 무선으로 캡쳐하고, 상기 신호를 키워드 검색을 위한 입력으로서 사용하기 위해 송신하고, 상기 복수의 서로 다른 제어 디바이스들 중에서 상기 제어 디바이스에 대한 식별자를 추출하고, 상기 식별자를 사용하여, 식별된 프로그램을 상기 커맨드를 발행한 상기 제어 디바이스와 매칭하는 프로세서; 및
    상기 프로세서에 결합된 스토리지를 포함하는, 장치.
  12. 제11항에 있어서, 상기 장치는 모바일 디바이스인, 장치.
  13. 제12항에 있어서, 상기 장치는 휴대폰인, 장치.
  14. 제12항에 있어서, 상기 장치는 리모콘인, 장치.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
KR1020147007942A 2011-09-12 2011-09-12 시청자들이 텔레비전에서 무엇을 시청하고 있는지 식별하기 위한 멀티미디어 검색 사용 KR101615930B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/001545 WO2013037079A1 (en) 2011-09-12 2011-09-12 Using multimedia search to identify what viewers are watching on television.

Publications (2)

Publication Number Publication Date
KR20140054362A KR20140054362A (ko) 2014-05-08
KR101615930B1 true KR101615930B1 (ko) 2016-04-27

Family

ID=47882503

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147007942A KR101615930B1 (ko) 2011-09-12 2011-09-12 시청자들이 텔레비전에서 무엇을 시청하고 있는지 식별하기 위한 멀티미디어 검색 사용

Country Status (6)

Country Link
US (1) US20130276013A1 (ko)
EP (1) EP2756666A4 (ko)
JP (1) JP2014531798A (ko)
KR (1) KR101615930B1 (ko)
CN (1) CN103828348A (ko)
WO (1) WO2013037079A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10362196B2 (en) * 2013-01-05 2019-07-23 Duvon Corporation Secured communication distribution system and method
JP6222774B2 (ja) * 2014-09-24 2017-11-01 克次郎 大岩 動画広告の視聴確認システム及び動画広告の視聴確認方法
CN104869451A (zh) * 2015-05-28 2015-08-26 成都市斯达鑫辉视讯科技有限公司 一种机顶盒遥控器
CN106713973A (zh) * 2015-07-13 2017-05-24 中兴通讯股份有限公司 搜索节目的方法及装置
JP6050449B1 (ja) * 2015-08-31 2016-12-21 デジタル・アドバタイジング・コンソーシアム株式会社 マッチングシステム
CN105307004B (zh) * 2015-10-27 2018-05-08 天脉聚源（北京）科技有限公司 一种确定电视频道的方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008258733A (ja) 2007-04-02 2008-10-23 Sony Corp 撮像画像データ処理装置、視聴情報生成装置、視聴情報生成システム、撮像画像データ処理方法、視聴情報生成方法
JP2011030111A (ja) 2009-07-28 2011-02-10 Panasonic Corp 画像合成装置、画像符号化装置、コンピュータプログラム、記録媒体

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7979880B2 (en) * 2000-04-21 2011-07-12 Cox Communications, Inc. Method and system for profiling iTV users and for providing selective content delivery
US7831992B2 (en) * 2002-09-18 2010-11-09 General Instrument Corporation Method and apparatus for forwarding television channel video image snapshots to an auxiliary display device
JP2004213570A (ja) * 2003-01-08 2004-07-29 Sony Corp 情報提供方法
KR100641927B1 (ko) * 2004-07-23 2006-11-02 엘지전자 주식회사 디지털 방송 수신기의 방송채널 탐색 제어방법
JP5186373B2 (ja) * 2006-07-31 2013-04-17 株式会社Ａｃｃｅｓｓ 電子機器、表示システム、表示方法およびプログラム
US20080083003A1 (en) * 2006-09-29 2008-04-03 Bryan Biniak System for providing promotional content as part of secondary content associated with a primary broadcast
US20080089551A1 (en) * 2006-10-16 2008-04-17 Ashley Heather Interactive TV data track synchronization system and method
EP1921852A1 (en) * 2006-11-07 2008-05-14 Microsoft Corporation Sharing Television Clips
US20080134264A1 (en) * 2006-11-30 2008-06-05 Motorola, Inc. Method and apparatus for interactivity with broadcast media
US8407744B2 (en) * 2007-06-19 2013-03-26 Verizon Patent And Licensing Inc. Snapshot recognition for TV
JP5369105B2 (ja) * 2007-09-14 2013-12-18 ヤフー！ インコーポレイテッド オンラインでシェアされる放送番組のクリップの番組情報を回復するための技術
CN101127871A (zh) * 2007-09-27 2008-02-20 北京中星微电子有限公司 一种新的交互式观看电视节目的方法和装置
US9106801B2 (en) * 2008-04-25 2015-08-11 Sony Corporation Terminals, servers, and methods that find a media server to replace a sensed broadcast program/movie
JP4848397B2 (ja) * 2008-06-23 2011-12-28 ヤフー株式会社 関連クエリ導出装置、関連クエリ導出方法及びプログラム
CN101998153B (zh) * 2009-08-17 2013-04-03 中国移动通信集团公司 基于广播式移动多媒体业务上报收看频道的方法及装置
JP2011130111A (ja) * 2009-12-16 2011-06-30 Funai Electric Co Ltd テレビジョン受像機
US9264785B2 (en) * 2010-04-01 2016-02-16 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
US8913171B2 (en) * 2010-11-17 2014-12-16 Verizon Patent And Licensing Inc. Methods and systems for dynamically presenting enhanced content during a presentation of a media content instance
KR102060449B1 (ko) * 2011-08-05 2019-12-30 소니 주식회사 수신 장치, 수신 방법, 프로그램 및 정보 처리 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008258733A (ja) 2007-04-02 2008-10-23 Sony Corp 撮像画像データ処理装置、視聴情報生成装置、視聴情報生成システム、撮像画像データ処理方法、視聴情報生成方法
JP2011030111A (ja) 2009-07-28 2011-02-10 Panasonic Corp 画像合成装置、画像符号化装置、コンピュータプログラム、記録媒体

Also Published As

Publication number Publication date
CN103828348A (zh) 2014-05-28
US20130276013A1 (en) 2013-10-17
JP2014531798A (ja) 2014-11-27
WO2013037079A1 (en) 2013-03-21
EP2756666A4 (en) 2015-03-11
EP2756666A1 (en) 2014-07-23
KR20140054362A (ko) 2014-05-08

Similar Documents

Publication Publication Date Title
JP5395813B2 (ja) コンテンツおよびメタデータの消費技法
US8955005B2 (en) Viewer behavior tracking using pattern matching and character recognition
JP5906515B2 (ja) ジェスチャーを用いてマルチメディアクリップを取り込むこと
KR101764257B1 (ko) 제품들을 식별하기 위해 멀티미디어 검색을 사용하는 방법, 장치 및 컴퓨터 판독가능 매체
US10296645B2 (en) Systems and methods for content selection based on search query correlation with broadcast media
GB2596260A (en) Media content matching and indexing
KR101615930B1 (ko) 시청자들이 텔레비전에서 무엇을 시청하고 있는지 식별하기 위한 멀티미디어 검색 사용
US20090169178A1 (en) Apparatus, system and method for storing and presenting to a user different types of content regarding a subject
US20220150293A1 (en) Determining Location Within Video Content for Presentation to a User
US9832413B2 (en) Automated channel detection with one-way control of a channel source
KR101737897B1 (ko) 실시간정보 제공 시스템
US20150215654A1 (en) Passive viewing data collection in a video place-shifting environment
US20130152143A1 (en) Shared local government channel
JP2014530390A (ja) マルチメディア探索を用いて製品を識別すること
US20140196084A1 (en) System and method for word relevant content delivery for television media
JP2019004442A (ja) Ｃｍ情報処理装置

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee