KR20150036713A - 검출된 물리적 표시를 통한 사용자 관심 결정 - Google Patents

검출된 물리적 표시를 통한 사용자 관심 결정 Download PDF

Info

Publication number
KR20150036713A
KR20150036713A KR20157004275A KR20157004275A KR20150036713A KR 20150036713 A KR20150036713 A KR 20150036713A KR 20157004275 A KR20157004275 A KR 20157004275A KR 20157004275 A KR20157004275 A KR 20157004275A KR 20150036713 A KR20150036713 A KR 20150036713A
Authority
KR
South Korea
Prior art keywords
user
instructions
interest
client system
determining
Prior art date
Application number
KR20157004275A
Other languages
English (en)
Other versions
KR102025334B1 (ko
Inventor
데이비드 딥판포닝스
Original Assignee
구글 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 인코포레이티드 filed Critical 구글 인코포레이티드
Publication of KR20150036713A publication Critical patent/KR20150036713A/ko
Application granted granted Critical
Publication of KR102025334B1 publication Critical patent/KR102025334B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42212—Specific keyboard arrangements
    • H04N21/42218—Specific keyboard arrangements for mapping a matrix of displayed objects on the screen to the numerical key-matrix of the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Social Psychology (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일부 실시예들에 따라, 뷰어 관심을 결정하기 위한 방법이 개시된다. 방법은 하나 또는 그 초과의 프로세서들, 카메라, 및 하나 또는 그 초과의 프로세서들에 의한 실행을 위해 하나 또는 그 초과의 프로그램들을 저장하는 메모리를 갖는 클라이언트 시스템상에서 수행된다. 전자 디바이스는 카메라로, 클라이언트 시스템의 사용자의 시각적 데이터를 캡쳐한다. 전자 디바이스는 캡쳐된 시각적 데이터를 분석하여, 클라이언트 시스템의 사용자와 연관된 물리적 관심 표시를 검출한다. 그 다음 전자 디바이스는 검출된 물리적 관심 표시에 기초하여, 사용자들 근처에서 디스플레이되고 있는 미디어 컨텐츠에 대한, 사용자의 관심 레벨을 결정한다. 그 다음 전자 디바이스는 결정된 관심 레벨을 서버 시스템에 전송하고, 서버 시스템은 클라이언트 시스템의 사용자에 대한 관심 프로파일을 포함한다. 그 다음 전자 디바이스는 결정된 관심 레벨에 적어도 부분적으로 기초하여, 사용자에 대한 추가적인 미디어 컨텐츠에 대한 추천들을 서버 시스템으로부터 수신한다.

Description

검출된 물리적 표시를 통한 사용자 관심 결정{DETERMINING USER INTEREST THROUGH DETECTED PHYSICAL INDICIA}
개시된 구현들은 일반적으로 미디어 컨텐츠를 디스플레이하는 분야에 관한 것으로, 특히 디스플레이된 미디어에 대한 사용자 관심을 결정하는데 사용하는 것에 관한 것이다.
현재, 사용자들이 미디어 컨텐츠를 소비하기 위한 많은 수단들이 존재한다. 통상적인 텔레비전, 라디오 또는 극장의 프로젝션 스크린들과 같은 통상적인 비대화형 수단들에 부가하여, 새로운 전자 디바이스들은 컴퓨터들, 스마트 폰들 또는 태블릿들을 통해 미디어 컨텐츠, 예를들어 스트리밍 컨텐츠를 소비하는 추가 수단들을 제공한다. 이들 추가 수단들 중 일부는 대화형이며, 사용자들이 미디어 컨텐츠의 배급자들과 상호작용하도록 한다. 이러한 증가된 상호작용은 미디어 컨텐츠의 배급자들 또는 제작자들로 하여금 미디어 컨텐츠의 소비자들에게 더 맞춤형 서비스들을 제공하도록 한다.
미디어 컨텐츠의 제작자들 또는 배급자들이 맞춤형 서비스들을 제공하기 위한 하나의 옵션은 추천 엔진을 사용하는 것이다. 이러한 엔진들은 사용자에 대한 알려진 정보에 기초하여 사용자에게 추천할 새로운 미디어 컨텐츠를 선택한다. 특정 사용자에 대하여 추천 엔진이 가지는 정보량을 증가시키면, 사용자가 흥미를 가질 미디어 컨텐츠를 정확하게 추천하는 추천 엔진의 정확도가 증가한다. 결과적으로, 사용자가 어떤 미디어 컨텐츠에 대해 흥미를 가지는지 그리고 사용자가 어떤 미디어 컨텐츠에 대해 흥미를 갖지 않는지에 대한 정보를 수집하는 것은 양호한 사용자 경험을 제공하는데 중요하다.
미디어 컨텐츠를 보기 위한 새로운 수단들은 미디어 컨텐츠 배급자들이 사용자의 관심에 관한 정보를 더 효율적으로 수집하도록 하는 추가 상호작용을 가능하게 한다. 일반적으로, 사용자는 관심 레벨을 선택하거나 또는 그렇지 않은 경우에 미디어 컨텐츠의 순위를 매김으로써 한편의 미디어 컨텐츠에 대한 관심을 표시한다. 많은 추천 시스템들은 미디어 컨텐츠 디스플레이 플랫폼들에 직접 통합되며, 사용자들이 미디어 컨텐츠 중 하나의 특정 미디어 컨텐츠에 대해 흥미를 가졌는지의 여부를 사용자들이 표시하도록 한다.
일부 구현들에 따라, 뷰어(viewr) 관심을 결정하기 위한 방법이 개시된다. 방법은 하나 또는 그 초과의 프로세서들, 카메라, 및 하나 또는 그 초과의 프로세서들에 의한 실행을 위해 하나 또는 그 초과의 프로그램들을 저장하는 메모리를 갖는 클라이언트 시스템상에서 수행된다. 클라이언트 시스템은 카메라로, 클라이언트 시스템의 사용자의 시각적 데이터를 캡쳐한다. 클라이언트 시스템은 캡쳐된 시각적 데이터를 분석하여, 클라이언트 시스템의 사용자와 연관된 물리적 관심 표시를 검출한다. 그 다음 클라이언트는 검출된 물리적 관심 표시에 기초하여, 사용자들 근처에서 디스플레이되고 있는 미디어 컨텐츠에 대한, 사용자의 관심 레벨을 결정한다. 그 다음 클라이언트 시스템은 결정된 관심 레벨을 서버 시스템에 전송하고, 서버 시스템은 클라이언트 시스템의 사용자에 대한 관심 프로파일을 유지한다. 그 다음 클라이언트 시스템은 결정된 관심 레벨에 적어도 부분적으로 기초하여, 사용자에 대한 추가적인 미디어 컨텐츠에 대한 추천들을 서버 시스템으로부터 수신한다.
일부 구현들에 따라, 뷰어 관심을 결정하기 위한 클라이언트 시스템이 개시된다. 클라이언트 시스템은 하나 또는 그 초과의 프로세서들, 카메라, 하나 또는 그 초과의 프로세서들에 의해 실행되는 하나 또는 그 초과의 프로그램들을 저장하는 메모리를 가진다. 하나 또는 그 초과의 프로그램들은 카메라로, 클라이언트 시스템의 사용자의 시각적 데이터를 캡쳐하기 위한 명령들을 포함한다. 일부 구현들에서, 클라이언트 시스템은 캡쳐된 시각적 데이터를 분석하여, 클라이언트 시스템의 사용자와 연관된 물리적 관심 표시를 검출하기 위한 명령들을 포함한다. 일부 구현들에서 클라이언트 시스템은 또한, 검출된 물리적 관심 표시에 기초하여, 사용자들 근처에서 디스플레이되고 있는 미디어 컨텐츠에 대한, 사용자의 관심 레벨을 결정하기 위한 명령들을 포함할 수 있다. 일부 구현들에서, 클라이언트 시스템은 또한, 결정된 관심 레벨을 서버 시스템에 전송하기 위한 명령들을 포함하고, 서버 시스템은 클라이언트 시스템의 사용자에 대한 관심 프로파일을 포함한다. 일부 구현들에서, 클라이언트 시스템은 결정된 관심 레벨에 적어도 부분적으로 기초하여, 사용자에 대한 추가적인 미디어 컨텐츠에 대한 추천들을 서버 시스템으로부터 수신하기 위한 명령들을 더 포함한다.
일부 구현들에 따라, 연관된 카메라를 갖는 클라이언트 시스템에 의한 실행을 위해 구성되는 하나 또는 그 초과의 프로그램들을 저장하는 비일시적(non-transitory) 컴퓨터 판독가능 저장 매체가 개시된다. 하나 또는 그 초과의 프로그램들은 또한 클라이언트 시스템의 사용자의 시각적 데이터를 캡쳐하기 위한 명령들을 포함한다. 하나 또는 그 초과의 프로그램들은 캡쳐된 시각적 데이터를 분석하여, 클라이언트 시스템의 사용자와 연관된 물리적 관심 표시를 검출하기 위한 명령들을 더 포함한다. 하나 또는 그 초과의 프로그램들은 또한, 검출된 물리적 관심 표시에 기초하여, 사용자들 근처에서 디스플레이되고 있는 미디어 컨텐츠에 대한, 사용자의 관심 레벨을 결정하기 위한 명령들을 포함한다. 하나 또는 그 초과의 프로그램들은 또한, 결정된 관심 레벨을 서버 시스템에 전송하기 위한 명령들을 포함할 수 있고, 서버 시스템은 클라이언트 시스템의 사용자에 대한 관심 프로파일을 포함한다. 하나 또는 그 초과의 프로그램들은 결정된 관심 레벨에 적어도 부분적으로 기초하여, 사용자에 대한 추가적인 미디어 컨텐츠에 대한 추천들을 서버 시스템으로부터 수신하기 위한 명령들을 더 포함한다.
도 1은, 일부 구현예들에 따른, 디스플레이를 갖는 클라이언트 시스템을 포함하는 클라이언트/서버 환경을 예시하는 블록도이다.
도 2a는, 일부 구현예들에 따른 클라이언트 시스템을 예시하는 블록도이다.
도 2b는, 일부 구현예들에 따른 서버 시스템으로부터 수신되는 이벤트 리스트의 블록도이다.
도 3은, 일부 구현예들에 따른 서버 시스템을 예시하는 블록도이다.
도 4는, 일부 구현예들에 따른 클라이언트 시스템과 연관된 디스플레이상에 디스플레이되는 미디어(media)에서 사용자가 갖는 관심(interest)을 결정하기 위해, 사용자의 검출된 물리적 표시(indicia)를 이용하는 프로세스를 예시하는 흐름도이다.
도 5a는, 일부 구현예들에 따라, 물리적 표시를 통해 사용자 관심을 결정하는 예를 도시한다.
도 5b는, 일부 구현예들에 따라, 물리적 표시를 통해 사용자 관심을 결정하는 예를 도시한다.
도 5c는, 일부 구현예들에 따라, 물리적 표시를 통해 사용자 관심을 결정하는 예를 도시한다.
도 6a는, 일부 구현예들에 따라, 디스플레이된 오브젝트들(objects)을 추적하는 것 및 사용자 포커스 구역(user focus area)을 결정하는 것을 통해 사용자 관심을 결정하는 예를 도시한다.
도 6b는, 일부 구현예들에 따라, 디스플레이된 오브젝트들을 추적하는 것 및 사용자 포커스 구역을 결정하는 것을 통해 사용자 관심을 결정하는 예를 도시한다.
도 6c는, 일부 구현예들에 따라, 디스플레이된 오브젝트들을 추적하는 것 및 사용자 포커스 구역을 결정하는 것을 통해 사용자 관심을 결정하는 예를 도시한다.
도 7은, 일부 구현예들에 따라, 물리적 표시에 기초하여 사용자 관심을 검출하는 프로세스를 예시하는 흐름도이다.
도 8은, 일부 구현예들에 따라, 물리적 표시에 기초하여 사용자 관심을 검출하는 프로세스를 예시하는 흐름도이다.
도 9는, 일부 구현예들에 따라, 물리적 표시에 기초하여 사용자 관심을 검출하는 프로세스를 예시하는 흐름도이다.
유사한 참조 부호들은 도면들 전반에 걸쳐 대응하는 부품들을 지칭한다.
일부 구현들에서, 클라이언트 시스템의 사용자는 클라이언트 시스템에 통합된 디스플레이나 또는 클라이언트 시스템과 연관된 디스플레이 중 어느 하나 상에서 그 클라이언트 시스템을 통해 미디어 컨텐츠를 본다. 미디어 컨텐츠의 제공자들은, 미디어 컨텐츠에서 사용자의 관심사항을 인지하는 것이 미디어 제공자들로 하여금 사용자의 관심사항들에 더욱 가깝게 미래의 컨텐츠 또는 권고들을 맞춤화하는데 도움을 줄 수 있기 때문에, 디스플레이되는 미디어 컨텐츠에 대한 사용자의 관심도를 결정하는데 있어 큰 값을 찾는다. 따라서, 일부 구현들에서, 디스플레이되는 미디어에 있어 사용자의 관심사항은 사용자 관심사항의 물리적 표시들에 대해서 사용자의 비쥬얼 데이터(이를테면, 포토그래프들 또는 비디오로부터의 비쥬얼 데이터)를 분석함으로써 결정된다. 그러한 구현의 장점은 사용자가 그들의 관심사항들을 시스템에 적극적으로 표시할 필요가 없다는 점이다.
일부 구현들에서, 클라이언트 시스템은 사용자와 연관된 물리적 표시들을 검출하는 능력을 포함한다. 예를 들어, 클라이언트 시스템은 연관된 카메라 또는 마이크로폰에 대한 액세스를 갖는다. 이어서, 클라이언트 시스템은 사용자에 대한 비쥬얼 정보를 캡쳐하여 저장하기 위해 카메라를 사용한다. 이어서, 클라이언트 시스템은 미디어 컨텐츠에서 관심사항의 임의의 물리적 표시들에 대한 캡쳐된 비쥬얼 정보를 분석한다.
일부 구현들에서, 관심사항의 물리적 표시들을 결정하는 것은 시선 추적 기술들을 사용하여 사용자의 눈들의 위치를 결정하는 것을 포함한다. 예를 들어, 클라이언트 시스템은 사용자가 디스플레이에 대해 보고 있는 곳을 결정하기 위해 각각의 눈의 위치 및 방향을 사용한다. 사용자가 보고 있는 곳을 결정함으로써, 클라이언트 시스템은 사용자가 디스플레이 상에 집중하고 있는지 여부를 결정할 수 있다. 만약 사용자가 디스플레이 상에 집중하고 있는 것으로 결정된다면, 연관된 클라이언트 시스템은 사용자가 스크린의 어떤 부분에 집중하고 있는지를 결정한다. 이어서, 일부 구현들에서는, 클라이언트 시스템은 현재 디스플레이되고 있는 미디어와 연관된 사용자에 대한 관심 레벨을 결정하기 위해서 이 정보를 사용한다.
일부 구현들에서, 비쥬얼 정보로부터 결정되는 관심사항의 물리적 표시들은 사용자의 머리 위치를 포함한다. 사용자 머리의 위치를 분석함으로써, 클라이언트 시스템은 사용자가 보고 있는 곳을 추정하고 그에 따라서 사용자가 디스플레이를 보고 있는지를 결정할 수 있다. 이어서, 클라이언트 시스템은 현재 디스플레이되는 미디어에서 사용자 관심사항을 추정한다. 다른 구현들에서, 관심사항의 결정된 물리적 표시들은 여윈 사용자의 몸을 포함한다. 다른 구현들에서, 관심사항의 결정된 물리적 표시들은 디스플레이되고 있는 미디어에서 발생하는 비쥬얼 또는 오디오 이벤트에 대한 사용자의 반응이다. 예를 들어, (예를 들어, 점프하거나 비명을 지름으로써) 영화에서 깜짝 놀랄만한 비쥬얼 또는 요란한 시끄러운 소리에 물리적으로 반응하는 사용자는 영화에서 시끄러운 소리에 반응하지 않는 사용자보다 자신들이 시청하고 있는 영화에 더욱 흥미를 갖기 쉽다.
일부 구현들에서, 오디오 이벤트는 현재 플레이되고 있는 노래에 대한 정보를 포함한다. 그 정보는 노래에 대한 분당 비트들(또는 진동수 또는 주기성)을 포함한다. 이어서, 클라이언트 시스템(102)은 사용자가 검출된 노래의 주기성에 매칭하는 주기성(또는 진동수 또는 분당 비트들)을 가지고 이동하고 있는지 여부를 결정하기 위해서 캡쳐된 비쥬얼 정보를 분석한다. 노래의 동일한 진동수를 가지고 이동하는 사용자(예를 들어, 춤을 추고 있는 사용자)는 제시된 오디오 이벤트와의 긍정적인 사용자 교감을 표시한다. 예를 들어, 만약 노래가 단독으로 플레이되고 있거나 혹은 영화의 사운드트랙의 일부로서 플레이되고 있다면, 현재 제시되는 미디어와 상당한 교감을 갖는 사용자들은 음악에 따라 적시에 이동하기가(댄스) 더욱 쉽다.
일부 구현들에서, 클라이언트 시스템은 결정된 관심 레벨을 추가의 프로세싱, 저장 및 (예를 들어, 추천 시스템에서의) 사용을 위해 서버 시스템으로 전송한다. 일부 구현들에서, 클라이언트 시스템은, 관심 정보를 서버 시스템으로 전송하기 전에 개인 식별 정보(personally identifiable information)를 제거한다. 일부 구현들에서, 사용자는 시간의 흐름에 따라 관심 정보를 추적하는 서비스에 로그온할 수 있고 사용자에 대한 관심 프로파일을 유지한다.
일부 구현들에서, 서버 시스템은 추천 시스템들의 정확성을 증가시키기 위해 클라이언트 시스템으로부터 수신된 결정된 관심을 사용한다. 예를 들어, 결정된 관심은 특정 장르, 수행자 또는 사용자가 관심을 발견한 토픽들을 선택하기 위해 사용될 수 있다. 일부 구현들에서, 이러한 추천들은 선택을 위해 사용자에게 제공될 수 있다. 일부 구현들에서, 클라이언트 시스템은 사용자 상호작용 없이 가장 높게 추천된 미디어를 자동으로 디스플레이하기 시작한다. 일부 구현들에서, 사용자는 디스플레이될 특정 미디어를 선택해야 한다.
도 1은 일부 구현들에 다라, 클라이언트-서버 환경(100)을 도시하는 블록도이다. 클라이언트-서버 환경(100)은 클라이언트 환경(108) 및 서버 시스템(120)의 일부인 클라이언트 시스템(102)을 포함한다. 일부 구현들에서, 클라이언트 시스템(102-1)은 디스플레이(106-1) 및 카메라(104-1)를 포함한다. 일부 구현들에서, 사용자 환경(108-2)은 클라이언트 시스템(102-2)에 통합되지 않지만, 클라이언트 시스템(102-2)과 관련되는 디스플레이(106-2) 및 카메라(104-2)를 포함한다. 서버 시스템(120)은 추천 엔진(122) 및 미디어 정보 데이터베이스(130)를 포함한다. 통신 네트워크 인터페이스(112)는 로컬 영역 네트워크(LAN), 광역 네트워크(WAN), 무선 네트워크, 유선 네트워크, 인터넷 또는 이러한 네트워크들의 조합을 포함하는 임의의 다양한 네트워크들에 접속될 수 있다.
일부 구현들에 따라, 클라이언트 환경(108-1)은 클라이언트 시스템(102)을 포함한다. 일부 구현들에서, 클라이언트 시스템(102-1)은 통합된 카메라(106-1) 및 통합된 디스플레이(104-1)를 포함한다. 통합된 카메라(106-1)는 클라이언트 시스템(102-1)에 포함되고 시각적 정보를 레코딩할 수 있는 카메라이다. 통합된 디스플레이(104-1)는 또한 클라이언트 시스템(102-1)에 포함될 수 있고 사용자 근처에 미디어를 디스플레이한다.
다른 구현들에서, 클라이언트 환경(108-2)은 클라이언트 시스템(102-2), 클라이언트 시스템(102-2)과 관련되지만 클라이언트 시스템(102-2)에 통합되지 않는 디스플레이(104-2), 및 클라이언트 시스템(102-2)과 관련되지만 클라이언트 시스템(102-2)에 통합되지 않는 카메라(106-2)를 포함한다. 카메라(106-2)는 클라이언트 시스템(102-2)과 관련되는 디스플레이(104-2)에 디스플레이되고 있는 미디어 부근에서 사용자의 시각적 데이터를 캡쳐링할 수 있다. 관련된 디스플레이(104-2)는 클라이언트 시스템(102-2)의 사용자의 부근에 미디어를 디스플레이하도록 구성된다.
일부 구현예들에 따르면, 클라이언트 시스템(102)은 서버 시스템(120)으로부터 이벤트들의 리스트(114)를 수신한다. 서버 시스템으로부터 수신되는 이벤트들의 리스트(114)는 미디어의 특정 부분(piece) 동안 일어나는 시각적 또는 청각적(auditory) 이벤트들의 리스트를 포함한다. 일부 구현예들에서, 이벤트들의 리스트 내의 각각의 이벤트는, 이벤트가 일어나는 시간을 나타내는 기준 시간(reference time), 이벤트에 대한 지속 시간(duration time), 및 시각적 이벤트들의 경우, 이벤트가 일어나는 디스플레이 상의 대략적인 위치를 포함한다. 예를 들어, 영화에 대한 이벤트들의 리스트는 하기의 이벤트들의 리스트, 즉 11분 37초에 라우드 스크림(loud scream)이 일어나고 3초 동안 지속되고, 38분 27초에서 큰 폭발이 스크린의 좌측 절반 상에서 발생하고 15초 동안 지속되며, 61분 10초에서 두 캐릭터들 사이에서 쿵푸 파이트(kungfu fight)가 일어나고 2분 17초 동안 지속된다는 것을 포함할 수 있다.
일부 구현예들에 따르면, 클라이언트 시스템(102)은 결정된 관심(112)을 서버 시스템(120)에 전송한다. 결정된 관심은, 물리적 표시에 기초하는, 사용자 근처에서 현재 또는 가장 최근에 디스플레이되는 미디어에서 갖는 사용자의 관심 레벨의 클라이언트 시스템(102) 추정을 나타낸다. 이러한 결정된 관심 정보는 관심을 알아내기에(gauging) 적합한 임의의 포맷으로 기록될 수 있다. 예를 들어, 결정된 관심은 0과 1 사이의 수치 값에 의해 표현될 수 있으며, 여기서 0은 어떠한 결정된 관심도 없음을 나타내고, 1은 아주 많은(full) 또는 최대 관심을 나타낸다. 대안적으로, 관심은 몇 개의 별개의 상태(distinct state)들 중에서 하나를 선택함으로써 표현될 수 있다. 예를 들어, 관심은, 3개의 가능한 관심 값들(높은 관심, 중간 관심, 또는 낮은 관심) 중 하나를 사용자에게 할당하고 그리고 이러한 값을 다시 서버 시스템(120)에 리포트함으로써, 표현될 수 있다. 일부 구현예들에서, 이들 관심 스코어링(scoring) 시스템들의 임의의 변형 또는 결합이 이용될 수 있다.
일부 구현예들에 따르면, 서버 시스템(120)은 추천 엔진(122) 및 미디어 정보 데이터베이스(130)를 포함한다. 추천 엔진(122)은 특정 사용자들의 관심들에 관한 정보를 수집하도록 구성된다. 일부 구현예들에서, 이러한 정보는 다수의 소스들로부터 수집된다. 예를 들어, 사용자 정보는, 사용자 서치 히스토리 데이터, 사용자 웹 네이게이션 데이터, 사용자 미디어 구매(user media purchases), 검출된 사용자 물리적 관심 표시, 특정 미디어에서의 사용자 셀프-리포트 관심(user self-reported interest), 및 사용자 관심 정보의 임의의 다른 소스를 어그리게이팅함으로써 수집될 수 있다. 수집된 사용자 관심 데이터에 기초하여, 추천 엔진은 사용자에게 추천하기 위한 특정 미디어를 결정한다. 일부 구현예들에서, 추천 엔진(122)에 의해 결정되는 미디어는, 사용자 선택을 기다리지 않으면서 클라이언트 시스템(102)과 관련된 디스플레이(104) 상에 디스플레이하는 것을 자동으로 시작한다. 다른 구현예들에서, 선택된 미디어는 사용자에 의해 선택될 때 까지 디스플레이하는 것을 시작하지 않는다.
일부 구현들에 따르면, 매체 정보 데이터베이스(130)는 매체들의 특정 피스들에 대한 특정 세부사항들을 포함한다. 예를 들면, 매체 정보 데이터베이스(130)는 장르 정보, 캐스트 정보, 디렉터 정보, 이벤트 정보, 및 특정 매체들에 관련된 다른 정보를 포함한다. 서버 시스템(120)은 이러한 정보를 이용하여, 추천 엔진(122)에 의한 잠재적 추천들의 평가를 용이하게 한다. 서버 시스템(120)은 매체 정보 데이터베이스(130)를 또한 이용하여, 클라이언트 시스템(102)과 연관된 디스플레이(104) 상에 디스플레이되는 매체 내용의 특정 피스에 대한 이벤트들의 리스트(114)를 생성한다.
도 2a는 일부 구현들에 따른, 클라이언트 시스템(102)을 도시하는 블록도이다. 클라이언트 시스템(102)은 전형적으로 (CPU의)(202) 하나 또는 그 초과의 프로세싱 유닛들, 하나 또는 그 초과의 네트워크 인터페이스들(210), 메모리(212), 연관 카메라(106) 및 이러한 컴포넌트들을 상호연결하기 위한 하나 또는 그 초과의 통신 버스들(214)을 포함한다. 클라이언트 시스템(102)은 사용자 인터페이스(204)를 포함한다. 사용자 인터페이스(204)는 연관 디스플레이 디바이스(104)를 포함하고, 선택적으로 키보드, 마우스, 터치 감응 디스플레이, 또는 다른 입력 버튼들과 같은 입력 수단(208)을 포함한다. 선택적으로, 디스플레이 디바이스(104)는 오디오 디바이스 또는 다른 정보 전달 디바이스를 포함한다. 뿐만 아니라, 일부 클라이언트 시스템들은 키보드를 보충하거나 대체하기 위해 마이크로폰 및 음성 인식을 이용한다.
메모리(212)는 고속 랜덤 액세스 메모리, 이를테면 DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 솔리드 스테이트 메모리 디바이스들을 포함하며; 비-휘발성 메모리, 이를테면 하나 또는 그 초과의 자성 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비-휘발성 솔리드 스테이트 저장 디바이스들을 포함할 수 있다. 메모리(212)는 CPU(들)(202)로부터 원격으로 위치되는 하나 또는 그 초과의 저장 디바이스들을 선택적으로 포함할 수 있다. 메모리(212), 또는 대안적으로 메모리(212) 내의 비-휘발성 메모리 디바이스(들)은 비-일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 구현들에서, 메모리(212) 또는 메모리(212)의 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 그 서브셋(subset):
● 다양한 기초 시스템 서비스들을 핸들링하기 위한 그리고 하드웨어 의존적 업무들을 수행하기 위한 절차들을 포함하는 운영 시스템(216);
● 하나 또는 그 초과의 통신 네트워크 인터페이스들(210)(유선 또는 무선) 및 하나 또는 그 초과의 통신 네트워크들, 이를테면 인터넷, 다른 광역 네트워크들, 근거리 네트워크들, 대도시 지역 네트워크들(metropolitan area networks), 등을 통해 다른 컴퓨터들에 클라이언트 시스템(102)을 연결하기 위해 이용되는 네트워크 통신 모듈(218);
● 클라이언트 시스템(102)과 연관된 디스플레이(104) 상에 매체들의 디스플레이를 가능하게 하기 위한 디스플레이 모듈(220);
● 클라이언트 시스템(102)이 클라이언트 시스템(102)에 의해 제공된 기능들을 수행하게 하기 위한 하나 또는 그 초과의 클라이언트 시스템(102) 애플리케이션 모듈(들)(222)로서, 클라이언트 시스템(102) 애플리케이션 모듈(들)(222)은,
○ 클라이언트 시스템(102) 부근의 사용자의 시각적 데이터를 캡쳐하기 위해 연관된 카메라(106)를 사용하기 위한 이미지 캡쳐 모듈(224),
○ 사용자의 눈의 위치, 사용자의 머리의 위치, 사용자의 신체의 위치 및 사용자에 의해 이루어진 임의의 움직임들을 포함하지만 이에 제한되는 않는, 디스플레이되는 미디어 컨텐츠 부근의 사용자의 물리적 관심 표시(indicia)를 검출하기 위해 카메라(106)에 의해 캡쳐된 시각적 데이터를 분석하기 위한 이미지 분석 모듈(230),
○ 서버 시스템(도 1, 120)으로부터 이벤트들의 리스트를 수신하고, 미디어 동안에 발생하는 사용자 특정 이벤트들의 물리적 반응을 비교함으로써 사용자의 관심을 더 정확하게 측정하기 위해 검출된 물리적 관심 표시와 서버 시스템(도 1, 120)으로부터 수신된 이벤트들의 리스트를 비교하기 위한 이벤트 추적 모듈(232),
○ 클라이언트 시스템(102)과 연관된 디스플레이(104) 상의 특정 오브젝트들의 위치를 결정하고, 사용자의 머리 및 눈 위치들을 분석함으로써 사용자의 응시 위치를 결정하고, 제 1 시간에, 사용자의 응시 위치가 결정된 오브젝트와 교차하는지를 결정하고, 제 2 시간에, 사용자의 응시 위치가 결정된 오브젝트와 교차하는지를 결정하고, 사용자의 응시 위치가 제 1 시간 및 제 2 시간 둘 모두에서 동일한 오브젝트와 교차하는지를 결정하기 위한 오브젝트 추적 모듈(234), 및
○ 물리적 관심 표시를 비교하기 위해 시각적 정보를 수집하고, 서버 시스템(도 1, 120)으로부터 수신된 이벤트들의 리스트 또는 클라이언트 시스템(102)과 연관된 디스플레이(104) 상에 디스플레이되는 오브젝트들을 결정된 물리적 관심 표시와 비교함으로써 클라이언트 시스템(102)과 연관된 디스플레이(104) 상에서 현재 디스플레이되고 있는 미디어에서 클라이언트 시스템(102) 부근의 사용자의 관심을 결정하기 위한 관심 결정 모듈(236)을 포함하지만, 이에 제한되지 않는, 클라이언트 시스템(102) 애플리케이션 모듈(들)(222); 및
● 클라이언트 시스템(102)에 관련된 데이터를 저장하기 위한 데이터 모듈(240);
을 저장하고, 데이터 모듈(240)은,
○ 클라이언트 시스템(102)과 연관된 디스플레이(104) 상에 디스플레이되는 데이터를 포함하고, 미디어가 디스플레이되는데 필요한 데이터, 사용자가 클라이언트 시스템(102)을 효과적으로 제어하도록 허용하기 위한 사용자 인터페이스를 디스플레이하는데 필요한 데이터, 및 연관된 디스플레이(104)를 효과적으로 사용하는데 필요한 임의의 다른 데이터를 포함하는 시각적 디스플레이 데이터(242),
○ 사용자 프로파일, 사용자 선호도들 및 관심들, 및 서비스들을 사용자에게 효과적으로 제공하는 것에 관련된 다른 정보와 같은, 클라이언트 시스템(102)의 사용자들에 관한 정보를 포함하는 사용자 데이터(244),
○ 클라이언트 시스템(102)과 연관된 디스플레이(104) 상에서 현재 디스플레이되거나 미래에 디스플레이될 미디어에서 오디오 또는 시각적 이벤트들을 열거하는, 서버 시스템(도 1, 102)으로부터 수신된 데이터를 포함하는 이벤트 데이터(246), 및
○ 클라이언트 시스템(102)과 연관된 디스플레이(104) 상에 현재 디스플레이되거나 곧 디스플레이될 미디어와 연관된 데이터를 포함하는 미디어 데이터(248)를 포함하지만, 이에 제한되지 않는다.
도 2b는 몇몇 구현들에 따라 서버 시스템(도 1, 12)으로부터 수신되는 이벤트 리스트(246)의 블록도이다. 각각의 이벤트 리스트는 하나 또는 그 초과의 이벤트들(250)을 포함한다. 각각의 이벤트는 미디어 콘텐츠의 특정한 피스(piece)의 디스플레이 동안 발생하는 특정한 오디오 또는 시각적 이벤트를 나타낸다.
몇몇 구현들에서, 이벤트(250)는 이벤트에 관한 부가적인 정보를 포함한다. 몇몇 구현들에서, 각각의 이벤트는, 이벤트 ID(252), 시간(254), 지속기간(256), 스크린 위치(258) 및 부가적인 설명(260) 중 하나 또는 그 초과를 포함한다. 각각의 이벤트(250)에 포함되는 시간(254)은 미디어의 피스의 선두에 대하여 어느 지점에서 이벤트가 발생하는지를 설명한다. 시간 데이터(254)는 클라이언트 시스템(도 1, 104)이 특정한 사용자의 관심의 표시를 특정한 이벤트들(250)에 상관시키도록 허용한다. 몇몇 구현들에서, 각각의 이벤트(250)는 그의 시작 시간(254)에서 이벤트라 얼마나 오래 지속하는지를 설명하는 지속기간을 포함한다. 예를 들어, 비명을 지르거나 놀라는 비주얼이 기껏해야 수초만 지속할 것인 반면에, 자동차 추격전 또는 무술 전투 장면은 몇 분 또는 그 초과의 지속기간을 갖는다.
몇몇 구현들에서, 이벤트 데이터(246)는 추가로 시각적 이벤트들에 대한 스크린 상의 위치(258)(이러한 정보는 오디오 이벤트에 대해 필수적이지 않음)를 포함한다. 스크린 상의 위치 데이터는 디스플레이(도 1, 104) 상의 어디에서 시각적 이벤트(250)가 디스플레이되는지를 표시하는 좌표들을 포함한다. 클라이언트 시스템(도 1, 104)은 이 정보를 이용하여 사용자가 디스플레이되는 이벤트(250)를 포커싱하는지를 결정한다. 몇몇 구현들에서, 이벤트 데이터(246)는 추가로 이벤트(250)를 설명하는 설명 정보(260)를 포함한다. 몇몇 구현들에서, 이 정보는 이벤트를 설명하는 카테고리들 또는 기술자들(descriptors)의 리스트로 구성된다. 예를 들어, 자동차 추격전 이벤트는 자동차 추격전, BMW, 고속 운전, 차량 스턴트들 및 도심 운전과 같은 카테고리들을 포함할 수 있다.
몇몇 구현들에서, 설명 정보(260)는 이벤트(250)의 간략한 텍스트 설명을 포함한다. 예를 들어, 설명은 "경찰관이 파리 시내를 통과하여 고속으로 용의자를 추격한다"일 수 있다. 몇몇 구현들에서, 클라이언트 시스템(도 1, 102)은 사용자의 관심을 보다 구체적으로 분석하기 위해, 수집된 물리적 표시 정보와 함께 이 설명 정보를 이용한다. 예를 들어, 클라이언트 시스템(도 1, 102)은 특정한 타입 또는 카테고리의 이벤트에 대해 사용자가 특정한 관심을 갖는지를 결정할 수 있다. 이 관심 정보는 이어서 서버 시스템(도 1, 120)에 전송될 수 있다.
도 3은 몇몇 구현들에 따라 서버 시스템(120)을 예시하는 블록도이다. 서버 시스템(120)은 통상적으로 하나 또는 그 초과의 프로세싱 유닛들(CPU들)(302), 하나 또는 그 초과의 네트워크 인터페이스(304), 메모리(306) 및 이들 컴포넌트들을 상호연결하기 위한 하나 또는 그 초과의 통신 버스들(308)을 포함한다.
메모리(306)는 고속 랜덤 액세스 메모리, 이를 테면, DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 고체형 메모리 디바이스들을 포함하고; 비휘발성 메모리, 이를 테면, 하나 또는 그보다 많은 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 고체형 저장 디바이스들을 포함할 수 있다. 메모리(306)는 CPU(들)(302)로부터 원격으로 위치된 하나 또는 그보다 많은 저장 디바이스들을 선택적으로 포함할 수 있다. 메모리(306), 또는 대안적으로 메모리(306) 내의 비휘발성 메모리 디바이스(들)은 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 구현들에서, 메모리(306) 또는 메모리(306)의 컴퓨터 판독가능 저장 매체는 다음 프로그램들, 모듈들 및 데이터 구조들, 또는 이들의 서브셋:
● 다양한 기본 시스템 서비스들을 다루고 하드웨어 의존 작업들을 수행하기 위한 절차들을 포함하는 운영 시스템(310);
● 서버 시스템(120)을 하나 또는 그보다 많은 통신 네트워크 인터페이스들(304)(유선 또는 무선) 및 하나 또는 그보다 많은 통신 네트워크들, 이를 테면, 인터넷, 다른 광역 네트워크들, 근거리 네트워크들, 대도시 네트워크들 등을 통해 다른 컴퓨터들로 접속하는데 사용되는 네트워크 통신 모듈(312);
● 서버 시스템(120)으로 하여금 서버 시스템(120)에 의해 제공된 기능들을 수행할 수 있게 하기 위한 하나 또는 그보다 많은 서버 애플리케이션 모듈(들)(314)로서, 서버 애플리케이션 모듈(들)(314)은,
○ 클라이언트 시스템(도 2, 102)의 사용자가 관심있는 미디어를 결정하기 위해서 그리고 클라이언트 시스템(도 2, 102)의 사용자에게 결정된 추천을 전송하기 위해서 수집된 사용자 정보(324) 및 매체 정보 데이터베이스(130)를 이용하기 위한 추천 엔진(122);
○ 클라이언트 시스템(도 1, 102)에서 디스플레이되는 매체를 결정하기 위한 매체 결정 모듈(316) ―클라이언트 시스템(도 1, 102)에서 디스플레이되는 매체는 클라이언트 시스템(도 1, 102)로부터의 매체의 식별을 수신하고, 클라이언트 시스템(도 1, 102)과 연관된 디스플레이(도 1, 104)에서 디스플레이되는 데이터를 분석하고, 또는, 클라이언트 시스템(도 1, 102)에서 디스플레이된 매체가 서버 시스템(120)에 의해 제공되고 있는 경우, 클라이언트 시스템(도 1, 102)으로 전송되는 매체를 결정함으로써 결정됨―;
○ 클라이언트 전자 디스플레이(도 1, 102)와 연관된 디스플레이(도 1, 104) 상에 디스플레이되도록 결정된 매체에 기초하여 클라이언트 시스템(도 1, 102)으로 전송할 이벤트들의 리스트와 매체 정보 데이터베이스(130)에 저장된 정보를 결정하기 위한 이벤트 선택 모듈(318); 및
○ 클라이언트 시스템(도 1, 102)의 사용자로부터의 물리적인 표시를 분석함으로써 결정된 관심 정보(326)를 포함하는 클라이언트 시스템(도 1, 102)으로부터 데이터를 수신하기 위한 데이터 수신 모듈(320)을 포함하지만, 이에 제한되지 않는 서버 애플리케이션 모듈(들)(314); 및
● 서버 시스템(120)과 관련된 데이터를 저장하기 위한 하나 또는 그 초과의 데이터 모듈(들)(322);
을 저장하며, 하나 또는 그 초과의 데이터 모듈(들)(322)은,
○ 예를 들어, 장르 정보, 배역 정보, 감독 정보, 이벤트 정보, 및 특정한 미디어에 관련된 다른 정보를 포함하는 특정한 부분들의 미디어에 대한 특정한 세부사항들을 포함하는 미디어 정보 데이터베이스(130);
○ 사용자 프로파일, 사용자 선호도들 및 관심사항들, 및 서비스들을 사용자에게 효율적으로 제공하는 것에 관련된 다른 정보와 같은 클라이언트 시스템(도 1의 (102))의 사용자들에 대한 정보를 포함하는 사용자 데이터(324);
○ 미디어의 하나 또는 그 초과의 부분들에 대해 사용자가 갖는 관심사항의 레벨을 표시하는 클라이언트 시스템(도 1의 (102))으로부터 수신된 데이터를 포함하는 관심사항 데이터(324); 및
○ 서버 시스템(120)이 미디어 데이터를 클라이언트 시스템(도 1의 (102))에 제공하는 경우, 디스플레이 상에서 미디어 콘텐츠를 디스플레이하기 위한 데이터를 포함하는 미디어 디스플레이 데이터(328)를 포함하지만, 이에 제한되지는 않는다.
도 4는 몇몇 구현들에 따른, 클라이언트 시스템(102)과 연관된 디스플레이(도 1의 (104)) 상에서 디스플레이되는 미디어에서 사용자가 갖는 관심사항을 결정하기 위해 사용자의 검출된 물리적 표시를 사용하는 프로세스를 도시한 흐름도이다. 몇몇 구현들에서, 서버 시스템(120)은 초기에 이벤트 리스트(412)를 클라이언트 시스템(102)에 전송한다. 이벤트 데이터 리스트(246)는, 미디어의 특정한 부분 동안 발생하는 시각적 또는 청각적 이벤트들에 관한 정보를 포함한다. 몇몇 구현들에서, 이벤트들의 리스트 내의 각각의 이벤트는, A) 이벤트가 발생하는 시간을 표시하는 기준 시간, B) 이벤트에 대한 지속기간 시간, 및 시각적 이벤트들의 경우에서는 이벤트가 발생하는 디스플레이 상의 대략적인 위치를 포함한다. 예를 들어, 영화에 대한 이벤트들의 리스트는, 이벤트들의 다음의 리스트, 즉 11분 37초에서 라우드 스크림(loud scream)이 발생하고 3초 동안 지속되고, 38분 27초에서 큰 폭발이 스크린의 좌측 절반 상에서 발생하고 15초 동안 지속되며, 61분 10초에서 쿵푸 파이트(fight)가 2명의 캐릭터들 사이에서 발생하고 2분 17초 동안 지속된다는 것을 포함할 수도 있다.
몇몇 구현들에 따르면, 클라이언트 시스템(102)은, 이벤트들의 리스트(412)를 수신하고, 클라이언트 시스템(102)과 연관된 디스플레이(도 1의 (104)) 상에 미디어를 디스플레이한다. 클라이언트 시스템(102)은 연관된 카메라(104)로부터 시각적 정보 데이터(406)를 수신한다. 몇몇 구현들에서, 클라이언트 환경 디바이스(102)는, 클라이언트 시스템(102)의 사용자의 시각적 정보 데이터(406)에서 임의의 물리적 관심 표시가 존재하는지를 결정하기 위해 카메라(104)로부터 수신된 시각적 정보 데이터(406)를 분석한다.
몇몇 구현들에서, 클라이언트 시스템(102)은 클라이언트 시스템(102)과 연관된 마이크로폰으로부터 오디오 데이터(408)를 또한 수신한다. 그런 다음, 사용자로부터 임의의 오디오 관심 표시가 존재하는지의 여부를 결정하기 위해, 이 오디오 데이터는 분석될 수 있다. 예컨대, 서버(120)로부터 수신된 이벤트들(412)의 리스트가 청각 반응을 생성할 것 같은 이벤트를 포함한다면, 예컨대 깜짝 놀랄 또는 놀라운 캐릭터가 스트린 상에 긴장된 순간에 갑자기 점핑한다. 현재 디스플레이되고 있는 미디어에 매우 관심이 있는 사용자는 디스플레이되고 있는 미디어에서 깜짝 놀랄 또는 놀라운 겁나는 이벤트들에 더욱 들리도록 반응하기가 쉽다.
몇몇 구현들에서, 물리적 관심 표시를 결정하기 위해, 클라이언트 시스템(102)은 카메라(104) 및 마이크로폰(404)으로부터 수신된 데이터를 분석한다. 예컨대, 사용자의 안(eye)들의 포지션을 결정하기 위해 카메라(104)로부터 수신된 시각 데이터가 분석되고, 그리고 그 정보로부터, 각각의 안(eye)의 시선들이 결정되고, 그런 다음 디스플레이에 대해, 사용자의 응시가 어디에 포커싱되는지가 결정된다. 결정된 사용자의 응시점에 기초하여, 클라이언트 시스템(102)은 현재 디스플레이되고 있는 미디어에서 사용자의 관심을 추정할 수 있다. 또한, 클라이언트 시스템(102)은, 일반적으로 사용자가 바라보고 있는 곳을 결정하기 위한 사용자 머리의 포지션, 사용자의 바디 린(body lean), 그리고 현재 디스플레이되고 있는 미디어에 대한 사용자의 반응들을 분석함으로써 관심을 추정할 수 있다.
몇몇 구현들에서, 사용자의 관심 레벨을 결정하는 것을 돕기 위해, 클라이언트 시스템(102)은 서버 시스템(120)으로부터 수신되는 이벤트들(412)의 리스트를 사용한다. 클라이언트 시스템(102)은, 클라이언트 시스템(102)이 현재 디스플레이되고 있는 미디어에서 사용자의 관심을 정확하게 결정할 능력을 개선시키기 위해, 이벤트들(412)의 리스트와 시각 데이터(406)를 상관시킨다. 예컨대, 이벤트들(412)의 리스트가 미디어에서 특정 지점에 대형 폭발을 설명한다면, 클라이언트 시스템(102)은 사용자가 주의된 폭발에 물리적 반응을 갖는지의 여부를 구체적으로 알 수 있다. 특정 이벤트들에 물리적으로 반응하는 사용자는 특정 이벤트들에 물리적으로 반응하지 않는 사용자보다 현재 디스플레이되는 미디어에 더욱 관심이 있는 것으로 결정될 것이다.
몇몇 구현들에 따라, 클라이언트 시스템은 결정된 사용자 관심 데이터(410)를 서버 시스템(120)에 전송한다. 사용자 관심 데이터(410)는 사용자가 미디어의 특정 피스에 관심이 있는 정도를 표현하는 스코어 또는 랭킹을 포함한다. 사용자 관심 데이터(410)는 관심 스코어 또는 랭킹이 적용되는 미디어를 식별하는 데이터를 포함한다.
일부 구현들에 따라, 서버 시스템(120)은 사용자 관심 데이터(410)를 수신하며, 추가적 이용을 위해 이를 저장한다. 일부 구현들에서, 서버 시스템(120)은 추천 엔진(도 1, 122)에 대한 데이터로서 이러한 사용자 관심 데이터(410)를 이용하여 사용자에게 관심이 있을 추가 미디어들을 더 정확하게 예측한다. 사용자로부터의 상호작용을 요구할 필요없이, 클라이언트 시스템(102)으로부터 수신된 사용자 관심 데이터(410)가 획득된다. 또한, 정보가 자동으로 수집되지 않았을 경우, 물리적 표시는 사용자가 알지 못하거나 사용자가 추천 엔진에 스스로 제공(volunteer)하지 않을 것인 미디어에 대한 사용자 관심을 표시할 수 있다. 일부 구현들에서, 수신된 사용자 관심 데이터(410)는 추후 추천들에 관한 더 정확한 결정을 수행하기 위해 서버 시스템이 사용자에 대해 수집한 다른 정보와 결합된다. 일부 구현들에서, 사용자는 이미 구성된 사용자에 대한 사용자 프로파일을 가지는 서비스로 로깅(log)할 수 있다. 사용자 프로파일은 사용자들의 이전에 표시된 관심들 및 추천들의 수행과 관련된 다른 정보의 더 광범위한(extensive) 기록을 포함한다.
도 5a는 일부 구현들에 따라 물리적 표시를 통해 사용자 관심을 결정하는 예를 도시한다. 이 예에서, 클라이언트 시스템(도 1, 102)은 사용자의 안(eye)들의 포지션 및 회전을 결정하기 위해 캡처 시각 데이터를 분석한다. 결정된 사용자 안들의 포지션 및 회전에 기초하여, 클라이언트 시스템(도 1, 102)은 안의 시선을 결정하고, 여기서 그 시선은 현재 미디어를 디스플레이하고 있는 디스플레이(522)와 교차한다. 클라이언트 시스템(도 1, 102)은 독립적으로 각각의 안을 맵핑한다. 일부 구현들에 따라, 클라이언트 시스템(도 1, 102)은 좌안의 시선이 디스플레이(522)의 어디에서 교차하는지 결정하며, 좌안 응시 포인트(A)(504)를 기록한다. 클라이언트 시스템(도 1, 102)은 우안의 시선이 디스플레이(522)에 교차한다고 결정하며, 우안의 응시 포인트(B)(506)를 기록한다.
일부 구현에 따라, 클라이언트 시스템(도 1, 102)은 좌안 응시 포인트(A)(504)와 우안 응시 포인트(B)(506) 간의 거리를 측정한다. 클라이언트 시스템(도 1, 102)은 좌측 응시 포인트와 우측 응시 포인트 간의 측정된 거리(502)를 이용하여 사용자의 촛점이 어디에 로케이팅되는지를 결정한다. 일부 구현들에서, 클라이언트 시스템(도 1, 102)은 사용자가 클라이언트 시스템(도 1, 102)과 연관된 디스플레이 상에 포커싱되지 않는다고 결정한다. 예를 들어, 좌측 응시 포인트(504)와 우측 응시 포인트(506) 간의 측정된 거리(502)가 미리 결정된 값보다 클 때, 따라서, 클라이언트 시스템(도 1, 102)은 사용자의 촛점이 디스플레이(522) 뒤에 있다고 결정할 수 있다. 사용자의 촛점이 디스플레이(522) 뒤에 있다고 결정하는 것은 사용자가 현재 디스플레이된 미디어에 높은 관심을 가지지 않는다는 것을 표시한다. 일부 구현들에서, 클라이언트 시스템(도 1, 102)은 사용자의 좌측 응시 포인트(504) 및 우측 응시 포인트(506)가 클라이언트 시스템(도 1, 102)과 연관된 디스플레이(도 1, 104)와 교차하지 않는다고 결정하며, 따라서, 사용자가 디스플레이(도 1, 104) 상에 포커싱하고 있지 않다고 결정한다.
도 5b는 일부 구현들에 따른, 물리적 표시를 통해 사용자 관심을 결정하는 것의 예를 도시한다. 이 예에서, 클라이언트 시스템(도 1, 102)은 뷰어(viewer)의 좌측 응시 포인트(A)(514) 및 우측 응시 포인트(B)(512)를 결정한다. 일부 구현들에 따르면, 우측과 좌측 응시 포인트들 사이의 거리는 미리 결정된 거리 미만이다. 결정된 거리(510)가 미리 결정된 거리 미만인 경우에, 클라이언트 시스템(도 1, 102)은, 사용자가 디스플레이(524)에 포커싱하고 있다고 결정할 수 있고, 디스플레이(524) 상의 촛점 영역(508)을 결정할 수 있다. 촛점 영역(508)은 사용자가 포커싱하고 있는, 디스플레이(524) 상의 영역을 표현한다. 일부 구현들에서, 좌측 응시 포인트(514)와 우측 응시 포인트(512) 사이의 거리(510)가 미리 결정된 값 미만인 경우에, 클라이언트 시스템(도 1, 102)은, 현재 디스플레이되는 미디어에서의 사용자의 관심은 상대적으로 높다고 결정한다.
도 5c는 일부 구현들에 따른, 물리적 표시를 통해 사용자 관심을 결정하는 것의 예를 도시한다. 이 예에서, 클라이언트 시스템(도 1, 102)은 좌측 응시 포인트(A)(520) 및 우측 응시 포인트(B)(518)를 결정한다. 일부 구현들에서, 좌측 응시 포인트(A)(520)는 우측 응시 포인트(B)(518)의 우측에 있다. 이 경우에서, 클라이언트 시스템(도 1, 102)은, 우측 응시 포인트(518)와 좌측 응시 포인트(520) 사이의 거리(516)와 무관하게, 사용자의 촛점이 스크린 앞의 어떤 것에 있다고 결정할 수 있다. 이 결정에 기초하여, 클라이언트 시스템(도 1, 102)은, 사용자가 현재 디스플레이되는 미디어에서 상대적으로 낮은 관심을 갖는다고 결정한다.
일부 구현들에서, 하나보다 더 많은 사용자가 클라이언트 시스템(도 1, 102) 근처에 있고, 클라이언트 시스템은 그 클라이언트 시스템의 연관된 디스플레이 상에 미디어 컨텐츠를 디스플레이하고 있다. 일부 구현들에서, 클라이언트 시스템(도 1, 102)은 각각의 사용자와 연관된 프로파일들을 가질 것이고, 그들의 관심을 개별적으로 측정할 것이다. 이는, 예컨대 안면 인식(facial recognition)을 통해 각각의 사용자를 식별한 후에, 각각의 개인의 물리적 관심 표시를 트래킹함으로써 달성된다. 다른 구현들에서, 클라이언트 시스템(도 1, 102)은 모든 사용자들과 연관된 연관된 프로파일들을 갖지 않는다. 이 상황에서, 클라이언트 시스템(도 1, 102)은 클라이언트 시스템(도 1, 102)의 프라이머리(primary) 사용자를 식별할 것이고, 프라이머리 사용자의 관심을 결정할 것이다. 프라이머리 사용자는, 클라이언트 시스템(도 1, 102) 근처, 또는 클라이언트 시스템(도 1, 102)과 연관된 원격 제어 근처에서 안면 인식에 의해 식별될 수 있다.
일부 구현들에서, 클라이언트 시스템(도 1, 102)은 각각의 사용자에 대한 개별적인 프로파일들을 갖지 않고, 프라이머리 사용자를 식별할 수 없거나 또는 프라이러미 사용자를 식별하지 않았다. 이들 상황들에서, 클라이언트 시스템(도 1, 102)은, 모든 유효한(available) 사용자들에 대한 관심 레벨을 트래킹한 후에, 관심 레벨들을 비교한다. 모든 유효한 사용자들이 비슷한(comparable) 관심 레벨들을 갖는다는 결정에 따라, 관심 레벨들은 함께 평균화된다. 모든 유효한 사용자들이, 실질적인 일치(real consensus)에 도달되지 않도록, 충분히 상이한 관심 레벨들을 갖는다는 결정에 따라, 다양한 상이한 관심 레벨들이 모두 폐기되고(discarded), 관심 레벨이 서버 시스템(도 1, 120)에 전송되지 않는다.
도 6a는 몇몇 구현들에 따라, 디스플레이된 오브젝트들을 트래킹하는 것을 통해 사용자 관심을 결정하고, 제 1 시점에서 사용자 촛점 영역을 결정하는 예를 도시한다. 이러한 예에서, 클라이언트 시스템(도 1, 102)은 디스플레이(610-1) 상에 현재 디스플레이되는 오브젝트들(오브젝트 A(604-1), 오브젝트 B(606-1), 및 오브젝트 C(610-1))의 리스트를 결정한다. 클라이언트 시스템(도 1, 102)은 디스플레이(608-1) 상의 각각의 오브젝트의 포지션을 트래킹하고, 다수의 상이한 시간들에서 사용자의 촛점 영역(602-1)을 결정한다. 시간에 걸친 디스플레이(608-1) 상의 오브젝트들의 움직임을 트래킹하고, 또한 시간에 걸친 사용자의 촛점 영역을 트래킹함으로써, 클라이언트 시스템(도 1, 102)은, 사용자의 촛점 영역이 특정 오브젝트를 따르는지를 결정할 수 있다. 몇몇 구현들에서, 사용자의 촛점 영역(602-1)이 상이한 시간들에 걸쳐 특정 오브젝트를 따르는 것을 결정하는 것은, 미디어에서의 사용자의 관심이 높다는 것을 나타낸다.
몇몇 구현들에 따르면, 클라이언트 시스템(도 1, 102)은 사용자의 촛점 영역(602-1)을 결정한다. 그 다음으로, 클라이언트 시스템(도 1, 102)은, 촛점 영역(602-1)이, 디스플레이(608-1) 상에 현재 디스플레이되는 오브젝트들 중 임의의 오브젝트와 교차하는지를 결정한다. 이러한 예에서, 클라이언트 시스템(도 1, 102)은 오브젝트 A(604-1)와 교차한다. 클라이언트 시스템(도 1, 102)은 나중의 이용을 위해 이러한 정보를 저장한다.
도 6b는 몇몇 구현들에 따라, 디스플레이된 오브젝트들을 트래킹하는 것을 통해 사용자 관심을 결정하고, 제 2 시점에서 사용자 촛점 영역을 결정하는 예를 도시한다. 이러한 예에서, 오브젝트들은 도 1에 도시된 오브젝트들과 동일하지만, 제 1 시간과 제 2 시간 사이에서 이동하였다. 클라이언트 시스템(도 1, 102)은 디스플레이(608-2) 상의 오브젝트들의 포지션들, 및 제 2 시간에서 사용자의 촛점 영역(602-2)을 결정한다. 확인될 수 있는 바와 같이, 일찍이 도 6a에서의 디스플레이에 비해, 오브젝트 A(604-2) 및 오브젝트 B(606-2)는 디스플레이 상에서 이동된 포지션에 있고, 오브젝트 C(610-1)는 디스플레이(608-2)를 떠났는데, 디스플레이를 완전히 떠났다. 또한, 오브젝트 D(612-2)가 디스플레이(608-2)에 진입하였다. 클라이언트 시스템(도 1, 102)은 사용자 촛점 영역(602-2)의 포지션을 결정한다. 이러한 예에서, 사용자 촛점 영역은 도 6a에서 확인된 바와 같은 제 1 시간에서의 사용자 촛점 영역의 포지션에 비해 이동하였다.
몇몇 구현들에 따르면, 클라이언트 시스템(도 1, 102)은 사용자 촛점 영역(602-2)의 포지션을 결정하고, 사용자 촛점 영역(602-2)이 현재 디스플레이되는 임의의 오브젝트들과 교차하는지를 결정한다. 이러한 예에서, 사용자의 촛점 영역(602-2)은 오브젝트 A와 교차한다. 몇몇 구현들에서, 클라이언트 시스템(도 1, 102)은, 사용자의 촛점 영역(602-2)이, 제 1 시간부터 제 2 시간까지 특정 오브젝트를 따르는지를 결정하기 위해, 제 1 시간으로부터의 촛점 영역 교차 데이터를, 제 2 시간으로부터의 촛점 영역 교차 데이터와 비교한다. 이러한 예에서, 사용자의 촛점 영역(602-2)은 제 1 시점 및 제 2 시점 모두에서 오브젝트 A와 교차한다. 몇몇 구현들에서, 클라이언트 시스템(도 1, 102)은, 사용자의 촛점 영역이 제 1 시간부터 제 2 시간까지 특정 오브젝트를 따르는지를 결정하는 것에 기초하여, 디스플레이된 미디어에서의 사용자의 관심이 비교적 높다는 것을 결정한다.
도 6c는, 일부 구현들에 따라서, 디스플레이된 오브젝트들을 추적하는 것을 통해 사용자 관심을 결정하고 그리고 시간의 제 3 포인트에서의 사용자 촛점 영역을 결정하는 예시를 도시한다. 이 예시에서, 오브젝트들은 도 1에 도시된 것과 동일하지만, 이 오브젝트들은 제 1 시간과 제 3 시간 사이에서 이동했다. 클라이언트 시스템(도 1, 102)은, 디스플레이(608-3) 상에서 오브젝트들의 위치 및 사용자 촛점 영역(602-3)의 위치를 결정한다. 이 예시에서, 오브젝트 A(604-3) 및 오브젝트 B(606-3)는 도 6a에 도시된 바와 같이 제 1 시간으로부터의 오리지널 위치들로부터 이동했다. 오브젝트 C(610-1)는 디스플레이(608-3)를 떠났으며, 오브젝트 D(612-2)가 디스플레이(608-3)로 진입하였다. 도 6b에 도시된 예시와는 대조적으로, 사용자의 촛점 영역(602-3)은 도 6a에 도시된 제 1 시간에서 자신의 위치에 대하여 이동되지 않았다. 이에 따라, 사용자의 촛점 포인트는 제 1 시간에서 제 2 시간으로 이동하지 않았다. 일부 구현들에서, 클라이언트 시스템(도 1, 120)은, 디스플레이된 오브젝트들의 이동에도 불구하고 사용자의 촛점 영역이 변하지 않았다는 사실에 기초하여, 디스플레이된 미디어에 대한 사용자 관심이 비교적 낮다고 결정한다.
도 7은, 일부 구현들에 따라, 물리적 표시들에 기초한 사용자 관심을 검출하는 프로세스를 예시하는 흐름도이다. 도 7에 도시된 동작들 각각은, 컴퓨터 메모리 또는 컴퓨터 판독가능 저장 매체에 저장된 명령들에 대응할 수 있다. 선택적인 동작들은 점선들(예를 들어, 점선 보더들을 갖는 박스들)로 표시된다. 일부 구현들에서, 도 7에 설명된 방법은 클라이언트 시스템에 의해 수행된다(도 1, 102).
일부 구현들에 따르면, 클라이언트 시스템(도 1, 102)은 클라이언트 시스템의 사용자 근처에서 디스플레이되고 있는 미디어와 연관된 이벤트들의 리스트(도 2, 426)를 서버 시스템(도 1, 102)으로부터 수신한다(702). 일부 구현들에서, 카메라(도 1, 106)는, 클라이언트 시스템(도 1, 102)의 사용자의 비주얼 데이터를 캡쳐하고, 그 비주얼 데이터를 클라이언트 시스템(도 1, 102)으로 송신한다. 일부 구현들에서, 클라이언트 시스템(도 1, 102)은 클라이언트 시스템의 사용자와 연관된 물리적 관심 표시를 검출하기 위해, 캡쳐된 비주얼 데이터를 분석한다(706). 일부 구현들에서, 캡쳐된 비주얼 데이터를 분석하는 단계는, 사용자의 머리의 방향을 결정하는 단계(708)를 포함한다. 일부 구현들에서, 캡쳐된 비주얼 데이터를 분석하는 단계는, 사용자로부터 수신되는 이벤트들의 리스트에 대한 사용자의 물리적 응답을 검출하는 단계(710)를 포함한다.
일부 구현들에 따르면, 캡쳐된 비주얼 데이터를 분석하는 클라이언트 시스템(도 1, 102)은, 디스플레이에 대해 상대적인, 제 1 안에 대한 제 1 응시 포인트를 결정하는 단계(712)를 포함한다. 클라이언트 시스템(도 1, 102)은, 디스플레이에 대해 상대적인, 제 2 안에 대한 제 2 응시 포인트를 더 결정한다(714). 클라이언트 시스템(도 1, 102)은, 제 1 응시 포인트와 제 2 응시 포인트 사이의 거리를 더 측정한다(716). 클라이언트 시스템(도 1, 102)은, 제 1 응시 포인트의 위치, 제 2 응시 포인트의 위치, 및 이들 사이의 거리에 기초하여 사용자의 촛점 영역을 더 결정한다(718).
도 8은, 일부 구현들에 따른, 물리적 표시들에 기초하여 사용자 관심을 검출하는 프로세스를 예시하는 흐름도이다. 도 8에 도시된 동작들 각각은 컴퓨터 메모리 또는 컴퓨터 판독가능 저장 매체에 저장된 명령들에 대응할 수 있다. 선택적인 동작들은 점선들(예를 들어, 점선 보더들을 갖는 박스들)로 표시된다. 일부 구현들에서, 도 8에 설명된 방법은 클라이언트 시스템(도 1, 102)에 의해 수행된다.
일부 구현예들에 따라, 캡쳐된 시각 데이터를 분석하는 클라이언트 시스템(도 1, 102)은 클라이언트 시스템의 사용자 근처의 디스플레이에 대해 미디어 컨텐츠의 스트림을 수신하는 것을 포함한다(804). 클라이언트 시스템(도 1, 102)은 현재 디스플레이되고 있는 복수의 오브젝트들을 결정하기 위해 미디어 컨텐츠의 스트림을 추가로 분석하고, 복수의 오브젝트들의 각각의 오브젝트는 연관된 위치를 갖는다(806). 클라이언트 시스템(도 1, 102)은, 제 1 시간에, 사용자의 촛점 영역과 교차하는 제 1 오브젝트를 추가로 결정한다(808). 클라이언트 시스템(도 1, 102)은, 제 2 시간에, 사용자의 촛점 영역과 교차하는 제 2 오브젝트를 추가로 결정한다(810). 클라이언트 시스템(도 1, 102)은 제 1 시간과 제 2 시간 둘 모두에서 촛점 영역이 동일한 오브젝트와 교차하는지를 결정하는 것을 더 포함한다(812).
예를 들어, 클라이언트 시스템(도 1, 102)은 스크린, 주 캐릭터, 자동차, 및 샹들리에 상의 3개의 오브젝트들을 식별한다. 클라이언트 시스템(도1, 102)은 미디어가 디스플레이되는 동안 각각의 오브젝트의 위치를 트랙킹한다. 클라이언트 시스템(도 1, 102)은 또한, 사용자의 시각 촛점 영역을 트랙킹한다. 그래서, 클라이언트 시스템(도 1, 102)이, 제 1 시간에, 사용자의 촛점 영역이 주 캐릭터 오브젝트와 교차하고, 클라이언트 시스템(도 1, 102) 및 제 2 시간에, 오브젝트가 이동되었음에도 불구하고 사용자의 촛점 영역이 여전히 주 캐릭터 오브젝트와 교차한다고 결정한다면, 클라이언트 시스템(도 1, 102)은 이 미디어에서의 사용자의 관심 레벨이 상대적으로 높다고 결정한다. 역으로, 디스플레이되는 오브젝트들이 포지션을 변경함에도 불구하고 사용자의 촛점 영역은 변경되지 않은 채로 남아있다면, 이는 사용자의 관심 레벨이 상대적으로 낮다는 것을 나타낸다.
도 9는 일부 구현예들에 따른, 물리적 표시(indicia)에 기초하여 사용자 관심을 검출하는 프로세스를 나타내는 흐름도이다. 도 9에 도시된 동작들의 각각은 컴퓨터 메모리 또는 컴퓨터 판독 가능한 저장 매체에 저장된 명령들에 대응할 수 있다. 선택적인 동작들은 파선들에 의해 표시된다(예를 들어, 파선 경계선들로 된 박스들). 일부 구현예들에서, 도 9에 설명된 방법은 클라이언트 시스템(도 1, 102)에 의해서 수행된다.
일부 구현예들에 따라, 클라이언트 시스템(도 1, 102)은 검출된 물리적 관심 표시에 기초하여 사용자 근처에서 디스플레이되고 있는 미디어에 대한 사용자의 관심 레벨을 결정한다(902). 클라이언트 시스템(도 1, 102)은 클라이언트 시스템의 사용자에 대한 관심 프로파일을 포함하는 결정된 관심 레벨을 서버 시스템(도 1, 120)에 전송한다(904). 클라이언트 시스템(도 1, 102)은 결정된 관심 레벨에 적어도 부분적으로 기초하여, 사용자에 대한 추가적인 미디어 컨텐츠에 대한 추천들을 서버 시스템(도 1, 120)으로부터 수신한다(906).
설명의 목적을 위한 전술한 설명은 특정한 구현들을 참조하여 설명되었다. 그러나, 위의 예시적인 설명들은, 완전하도록 또는 본 발명을 기재된 명확한 형태들에 한정하도록 의도되지 않는다. 상기 교시들을 고려하여 많은 변형들 및 변경들이 가능하다. 구현들은, 본 발명의 원리들 및 본 발명의 실제의 애플리케이션들을 가장 양호하게 설명하기 위해, 그에 의해, 고려된 특정한 사용에 적합한 바와 같은 다양한 변형들을 이용하여 본 발명 및 다양한 구현들을 당업자가 가장 양호하게 이용할 수 있게 하기 위해 선택되고 설명되었다.
용어들 제 1, 제 2 등이 다양한 엘리먼트들을 설명하기 위해 본 명세서에서 사용될 수도 있지만, 이들 엘리먼트들은 이들 용어들에 의해 제한되지 않아야 함이 또한 이해될 것이다. 이들 용어들은 하나의 엘리먼트를 다른 엘리먼트와 구별하기 위해서만 사용된다. 예를 들어, 본 구현들의 범위를 벗어나지 않으면서, 제 1 접촉은 제 2 접촉으로 지칭될 수 있고, 유사하게, 제 2 접촉은 제 1 접촉으로 지칭될 수 있다. 제 1 접촉 및 제 2 접촉은 둘 모두가 접촉들이지만 그들이 동일한 접촉은 아니다.
본 명세서에서 구현들의 설명에 사용된 용어는, 단지 특정한 구현들을 설명하는 목적을 위해서이며 제한하는 것으로 의도되지 않는다. 구현들 및 첨부된 청구항들의 설명에서 사용된 바와 같은 단수 형태들은, 맥락이 명확이 달리 표시하지 않으면, 복수 형태들을 또한 포함하도록 의도된다. 본 명세서에 사용된 바와 같이, 용어 "및/또는"은, 연관된 열거된 아이템들 중 하나 또는 그 초과의 임의의 가능한 결합들 및 모든 가능한 결합들을 지칭하고 포함함이 또한 이해될 것이다. 본 명세서에서 사용되는 경우, 용어들 "포함하다" 및/또는 "포함하는"은, 나타낸 특성들, 정수들, 단계들, 동작들, 엘리먼트들, 및/또는 컴포넌트들의 존재를 특정하지만, 하나 또는 그 초과의 다른 특성들, 정수들, 단계들, 동작들, 엘리먼트들, 컴포넌트들, 및/또는 그들의 그룹들의 존재 또는 부가를 배제하지 않음이 추가적으로 이해될 것이다.
본 명세서에서 사용되는 경우, 용어 "만약(if)"은, 맥락에 의존하여 "경우(when)" 또는 "때(upon)" 또는 "결정에 응답하여" 또는 "검출에 응답하여"를 의미하도록 해석될 수도 있다. 유사하게, 어구 "결정되면" 또는 "(나타낸 조건 또는 이벤트가) 검출된다면"은, 맥락에 의존하여 "결정할 때" 또는 "결정에 응답하여" 또는 "(나타낸 조건 또는 이벤트를) 검출할 때" 또는 "(나타낸 조건 또는 이벤트를) 검출하는 것에 응답하여"를 의미하도록 해석될 수 있다.

Claims (20)

  1. 사용자 관심을 결정하기 위한 방법으로서,
    하나 또는 그 초과의 프로세서들, 카메라, 및 상기 하나 또는 그 초과의 프로세서들에 의한 실행을 위해 하나 또는 그 초과의 프로그램들을 저장하는 메모리를 갖는 클라이언트 시스템 상에서,
    상기 카메라로, 상기 클라이언트 시스템의 사용자의 시각적 데이터를 캡쳐하는 단계;
    캡쳐된 시각적 데이터를 분석하여, 상기 클라이언트 시스템의 사용자와 연관된 물리적 관심 표시를 검출하는 단계;
    검출된 물리적 관심 표시에 기초하여, 상기 사용자 근처에서 디스플레이되고 있는 미디어 컨텐츠에 대한, 상기 사용자의 관심 레벨을 결정하는 단계;
    결정된 관심 레벨을 서버 시스템에 전송하는 단계 ―상기 서버 시스템은 상기 클라이언트 시스템의 사용자에 대한 관심 프로파일을 포함함―; 및
    상기 결정된 관심 레벨에 적어도 부분적으로 기초하여, 상기 사용자에 대한 추가적인 미디어 컨텐츠에 대한 추천들을 상기 서버 시스템으로부터 수신하는 단계를 포함하는, 사용자 관심을 결정하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 물리적 관심 표시를 검출하는 단계는,
    디스플레이에 대해 상대적인, 제 1 안(eye)에 대한 제 1 응시 포인트를 결정하는 단계;
    디스플레이에 대해 상대적인, 제 2 안에 대한 제 2 응시 포인트를 결정하는 단계; 및
    상기 제 1 응시 포인트와 상기 제 2 응시 포인트 사이의 거리를 측정하는 단계를 포함하는, 사용자 관심을 결정하기 위한 방법.
  3. 제 2 항에 있어서,
    상기 물리적 관심 표시를 검출하는 단계는,
    상기 제 1 응시 포인트의 위치, 상기 제 2 응시 포인트, 및 상기 제 1 응시 포인트와 상기 제 2 응시 포인트 사이의 거리에 기초하여 상기 사용자의 촛점 영역을 결정하는 단계를 더 포함하는, 사용자 관심을 결정하기 위한 방법.
  4. 제 1 항에 있어서,
    상기 물리적 관심 표시를 검출하는 단계는,
    상기 사용자의 머리의 방향을 결정하는 단계를 포함하는, 사용자 관심을 결정하기 위한 방법.
  5. 제 1 항에 있어서,
    상기 클라이언트 시스템의 사용자 근처에서 디스플레이되고 있는 상기 미디어와 연관된 이벤트들의 리스트를 상기 서버 시스템으로부터 수신하는 단계를 더 포함하는, 사용자 관심을 결정하기 위한 방법.
  6. 제 5 항에 있어서,
    상기 물리적 관심 표시를 검출하는 단계는,
    상기 사용자로부터 수신된 이벤트들의 리스트에 대한 사용자의 물리적 응답을 검출하는 단계를 더 포함하는, 사용자 관심을 결정하기 위한 방법.
  7. 제 5 항에 있어서,
    상기 이벤트들의 리스트는 오디오 이벤트들 및 시각적 이벤트들을 포함하는, 사용자 관심을 결정하기 위한 방법.
  8. 제 3 항에 있어서,
    상기 물리적 관심 표시를 검출하는 단계는,
    클라이언트 시스템의 사용자 근처에서의 디스플레이를 위한 미디어 컨텐츠의 스트림을 수신하는 단계;
    상기 미디어 컨텐츠의 스트림을 분석하여, 현재 디스플레이되고 있는 복수의 오브젝트들을 결정하는 단계 ―상기 복수의 오브젝트들의 각각의 오브젝트는 연관된 위치를 가짐―;
    제 1 시간에, 상기 촛점 영역과 교차하는 제 1 오브젝트를 결정하는 단계;
    제 2 시간에, 상기 촛점 영역과 교차하는 제 2 오브젝트를 결정하는 단계; 및
    상기 제 1 시간 및 상기 제 2 시간 둘 모두에서, 상기 촛점 영역이 동일한 오브젝트와 교차하는지를 결정하는 단계를 더 포함하는, 사용자 관심을 결정하기 위한 방법.
  9. 뷰어 관심을 결정하기 위한 전자 디바이스로서,
    하나 또는 그 초과의 프로세서들;
    카메라;
    상기 하나 또는 그 초과의 프로세서들에 의해 실행되는 하나 또는 그 초과의 프로그램들을 저장하는 메모리를 포함하고,
    상기 하나 또는 그 초과의 프로그램들은,
    카메라로, 상기 클라이언트 시스템의 사용자의 시각적 데이터를 캡쳐하기 위한 명령들;
    캡쳐된 시각적 데이터를 분석하여, 상기 클라이언트 시스템의 사용자와 연관된 물리적 관심 표시를 검출하기 위한 명령들;
    검출된 물리적 관심 표시에 기초하여, 상기 사용자 근처에서 디스플레이되고 있는 미디어 컨텐츠에 대한, 상기 사용자의 관심 레벨을 결정하기 위한 명령들;
    결정된 관심 레벨을 서버 시스템에 전송하기 위한 명령들 ―상기 서버 시스템은 상기 클라이언트 시스템의 사용자에 대한 관심 프로파일을 포함함―; 및
    상기 결정된 관심 레벨에 적어도 부분적으로 기초하여, 상기 사용자에 대한 추가적인 미디어 컨텐츠에 대한 추천들을 상기 서버 시스템으로부터 수신하기 위한 명령들을 포함하는, 뷰어 관심을 결정하기 위한 전자 디바이스.
  10. 제 9 항에 있어서,
    상기 물리적 관심 표시를 검출하기 위한 명령들은,
    디스플레이에 대해 상대적인, 제 1 안에 대한 제 1 응시 포인트를 결정하기 위한 명령들;
    디스플레이에 대해 상대적인, 제 2 안에 대한 제 2 응시 포인트를 결정하기 위한 명령들; 및
    상기 제 1 응시 포인트와 상기 제 2 응시 포인트 사이의 거리를 측정하기 위한 명령들을 포함하는, 뷰어 관심을 결정하기 위한 전자 디바이스.
  11. 제 10 항에 있어서,
    상기 물리적 관심 표시를 검출하기 위한 명령들은,
    상기 제 1 응시 포인트의 위치, 상기 제 2 응시 포인트, 및 상기 제 1 응시 포인트와 상기 제 2 응시 포인트 사이의 거리에 기초하여 상기 사용자의 촛점 영역을 결정하기 위한 명령들을 더 포함하는, 뷰어 관심을 결정하기 위한 전자 디바이스.
  12. 제 9 항에 있어서,
    상기 클라이언트 시스템의 사용자 근처에서 디스플레이되고 있는 상기 미디어와 연관된 이벤트들의 리스트를 상기 서버 시스템으로부터 수신하기 위한 명령들을 더 포함하는, 뷰어 관심을 결정하기 위한 전자 디바이스.
  13. 제 12 항에 있어서,
    상기 물리적 관심 표시를 검출하기 위한 명령들은,
    상기 사용자로부터 수신된 이벤트들의 리스트에 대한 사용자의 물리적 응답을 검출하기 위한 명령들을 더 포함하는, 뷰어 관심을 결정하기 위한 전자 디바이스.
  14. 제 11 항에 있어서,
    상기 물리적 관심 표시를 검출하기 위한 명령들은,
    클라이언트 시스템의 사용자 근처에서의 디스플레이를 위한 미디어 컨텐츠의 스트림을 수신하기 위한 명령들;
    상기 미디어 컨텐츠의 스트림을 분석하여, 현재 디스플레이되고 있는 복수의 오브젝트들을 결정하기 위한 명령들 ―상기 복수의 오브젝트들의 각각의 오브젝트는 연관된 위치를 가짐―;
    제 1 시간에, 상기 촛점 영역과 교차하는 제 1 오브젝트를 결정하기 위한 명령들;
    제 2 시간에, 상기 촛점 영역과 교차하는 제 2 오브젝트를 결정하기 위한 명령들; 및
    상기 제 1 시간 및 상기 제 2 시간 둘 모두에서, 상기 촛점 영역이 동일한 오브젝트와 교차하는지를 결정하기 위한 명령들을 더 포함하는, 뷰어 관심을 결정하기 위한 전자 디바이스.
  15. 카메라를 갖는 전자 디바이스에 의한 실행을 위해구성되는 하나 또는 그 초과의 프로그램들을 저장하는 비일시적(non-transitory) 컴퓨터 판독가능 저장 매체로서,
    상기 하나 또는 그 초과의 프로그램들은,
    상기 클라이언트 시스템의 사용자의 시각적 데이터를 캡쳐하기 위한 명령들;
    캡쳐된 시각적 데이터를 분석하여, 상기 클라이언트 시스템의 사용자와 연관된 물리적 관심 표시를 검출하기 위한 명령들;
    검출된 물리적 관심 표시에 기초하여, 상기 사용자 근처에서 디스플레이되고 있는 미디어 컨텐츠에 대한, 상기 사용자의 관심 레벨을 결정하기 위한 명령들;
    결정된 관심 레벨을 서버 시스템에 전송하기 위한 명령들 ―상기 서버 시스템은 상기 클라이언트 시스템의 사용자에 대한 관심 프로파일을 포함함―; 및
    상기 결정된 관심 레벨에 적어도 부분적으로 기초하여, 상기 사용자에 대한 추가적인 미디어 컨텐츠에 대한 추천들을 상기 서버 시스템으로부터 수신하기 위한 명령들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  16. 제 15 항에 있어서,
    상기 물리적 관심 표시를 검출하기 위한 명령들은,
    디스플레이에 대해 상대적인, 제 1 안에 대한 제 1 응시 포인트를 결정하기 위한 명령들;
    디스플레이에 대해 상대적인, 제 2 안에 대한 제 2 응시 포인트를 결정하기 위한 명령들; 및
    상기 제 1 응시 포인트와 상기 제 2 응시 포인트 사이의 거리를 측정하기 위한 명령들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  17. 제 16 항에 있어서,
    상기 물리적 관심 표시를 검출하기 위한 명령들은,
    상기 제 1 응시 포인트의 위치, 상기 제 2 응시 포인트, 및 상기 제 1 응시 포인트와 상기 제 2 응시 포인트 사이의 거리에 기초하여 상기 사용자의 촛점 영역을 결정하기 위한 명령들을 더 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  18. 제 15 항에 있어서,
    상기 클라이언트 시스템의 사용자 근처에서 디스플레이되고 있는 상기 미디어와 연관된 이벤트들의 리스트를 상기 서버 시스템으로부터 수신하기 위한 명령들을 더 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  19. 제 18 항에 있어서,
    상기 물리적 관심 표시를 검출하기 위한 명령들은,
    상기 사용자로부터 수신된 이벤트들의 리스트에 대한 사용자의 물리적 응답을 검출하기 위한 명령들을 더 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  20. 제 17 항에 있어서,
    상기 물리적 관심 표시를 검출하기 위한 명령들은,
    클라이언트 시스템의 사용자 근처에서의 디스플레이를 위한 미디어 컨텐츠의 스트림을 수신하기 위한 명령들;
    상기 미디어 컨텐츠의 스트림을 분석하여, 현재 디스플레이되고 있는 복수의 오브젝트들을 결정하기 위한 명령들 ―상기 복수의 오브젝트들의 각각의 오브젝트는 연관된 좌표들의 세트를 가짐―;
    제 1 시간에, 상기 촛점 영역과 교차하는 제 1 오브젝트를 결정하기 위한 명령들;
    제 2 시간에, 상기 촛점 영역과 교차하는 제 2 오브젝트를 결정하기 위한 명령들; 및
    상기 제 1 시간에 상기 촛점 영역과 교차하는 상기 제 1 오브젝트가 상기 제 2 시간에 상기 촛점과 교차하는 상기 제 2 오브젝트와 동일한지를 결정하기 위한 명령들을 더 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
KR1020157004275A 2012-07-18 2013-07-17 검출된 물리적 표시를 통한 사용자 관심 결정 KR102025334B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/552,579 2012-07-18
US13/552,579 US20140026156A1 (en) 2012-07-18 2012-07-18 Determining User Interest Through Detected Physical Indicia
PCT/US2013/050951 WO2014015075A1 (en) 2012-07-18 2013-07-17 Determining user interest through detected physical indicia

Publications (2)

Publication Number Publication Date
KR20150036713A true KR20150036713A (ko) 2015-04-07
KR102025334B1 KR102025334B1 (ko) 2019-09-25

Family

ID=48917690

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157004275A KR102025334B1 (ko) 2012-07-18 2013-07-17 검출된 물리적 표시를 통한 사용자 관심 결정

Country Status (5)

Country Link
US (3) US20140026156A1 (ko)
EP (1) EP2875602A1 (ko)
KR (1) KR102025334B1 (ko)
CN (1) CN104620522B (ko)
WO (1) WO2014015075A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021251733A1 (ko) * 2020-06-11 2021-12-16 삼성전자(주) 디스플레이장치 및 그 제어방법

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9557885B2 (en) 2011-08-09 2017-01-31 Gopro, Inc. Digital media editing
US8965624B2 (en) 2012-08-14 2015-02-24 Ebay Inc. Method and system of vehicle tracking portal
US9344773B2 (en) * 2013-02-05 2016-05-17 Microsoft Technology Licensing, Llc Providing recommendations based upon environmental sensing
US20150235538A1 (en) * 2014-02-14 2015-08-20 GM Global Technology Operations LLC Methods and systems for processing attention data from a vehicle
US9754159B2 (en) 2014-03-04 2017-09-05 Gopro, Inc. Automatic generation of video from spherical content using location-based metadata
CN103942279B (zh) * 2014-04-01 2018-07-10 百度(中国)有限公司 搜索结果的展现方法和装置
CN104035982B (zh) * 2014-05-28 2017-10-20 小米科技有限责任公司 多媒体资源推荐方法及装置
US10466776B2 (en) * 2014-06-24 2019-11-05 Paypal, Inc. Surfacing related content based on user interaction with currently presented content
US9685194B2 (en) 2014-07-23 2017-06-20 Gopro, Inc. Voice-based video tagging
US9792502B2 (en) 2014-07-23 2017-10-17 Gopro, Inc. Generating video summaries for a video using video summary templates
US9671862B2 (en) * 2014-10-15 2017-06-06 Wipro Limited System and method for recommending content to a user based on user's interest
JP6096161B2 (ja) * 2014-10-15 2017-03-15 ソニー株式会社 情報処理装置および情報処理方法
US9734870B2 (en) 2015-01-05 2017-08-15 Gopro, Inc. Media identifier generation for camera-captured media
US9679605B2 (en) 2015-01-29 2017-06-13 Gopro, Inc. Variable playback speed template for video editing application
WO2016123777A1 (zh) * 2015-02-05 2016-08-11 华为技术有限公司 一种基于生物特征的对象呈现、推荐方法和装置
US9986289B2 (en) * 2015-03-02 2018-05-29 The Nielsen Company (Us), Llc Methods and apparatus to count people
WO2016187235A1 (en) 2015-05-20 2016-11-24 Gopro, Inc. Virtual lens simulation for video and photo cropping
US20160381412A1 (en) * 2015-06-26 2016-12-29 Thales Avionics, Inc. User centric adaptation of vehicle entertainment system user interfaces
US10893318B2 (en) 2015-06-26 2021-01-12 Thales Avionics, Inc. Aircraft entertainment systems with chatroom server
US10416875B1 (en) * 2015-06-30 2019-09-17 Groupon, Inc. Method, apparatus, and computer program product for facilitating the playback of interface events
US10049110B2 (en) * 2015-09-11 2018-08-14 Lenova (Singapore) Pte. Ltd. Content ranking based on person-to-person sharing
US9832504B2 (en) * 2015-09-15 2017-11-28 Google Inc. Event-based content distribution
US9721611B2 (en) 2015-10-20 2017-08-01 Gopro, Inc. System and method of generating video from video clips based on moments of interest within the video clips
US10204273B2 (en) 2015-10-20 2019-02-12 Gopro, Inc. System and method of providing recommendations of moments of interest within video clips post capture
US11540009B2 (en) 2016-01-06 2022-12-27 Tvision Insights, Inc. Systems and methods for assessing viewer engagement
WO2017120469A1 (en) 2016-01-06 2017-07-13 Tvision Insights, Inc. Systems and methods for assessing viewer engagement
US10109319B2 (en) 2016-01-08 2018-10-23 Gopro, Inc. Digital media editing
US11019385B2 (en) * 2016-01-20 2021-05-25 Samsung Electronics Co., Ltd. Content selection for networked media devices
US9905244B2 (en) * 2016-02-02 2018-02-27 Ebay Inc. Personalized, real-time audio processing
US10083537B1 (en) 2016-02-04 2018-09-25 Gopro, Inc. Systems and methods for adding a moving visual element to a video
US10776823B2 (en) * 2016-02-09 2020-09-15 Comcast Cable Communications, Llc Collection analysis and use of viewer behavior
DE102016203742A1 (de) * 2016-03-08 2017-09-14 Bayerische Motoren Werke Aktiengesellschaft Anwenderschnittstelle, Fortbewegungsmittel und Verfahren zur Unterstützung eines Anwenders bei der Bedienung einer Anwenderschnittstelle
US10599730B2 (en) * 2016-03-25 2020-03-24 International Business Machines Corporation Guided search via content analytics and ontology
US9794632B1 (en) 2016-04-07 2017-10-17 Gopro, Inc. Systems and methods for synchronization based on audio track changes in video editing
US9838730B1 (en) 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing
US9838731B1 (en) 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing with audio mixing option
CN105979366A (zh) * 2016-04-25 2016-09-28 乐视控股（北京）有限公司 智能电视及其内容推荐的方法、装置
EP3427486A4 (en) * 2016-06-03 2019-02-27 Samsung Electronics Co., Ltd. METHOD AND DEVICE FOR DISPLAYING CONTENTS
US9936239B2 (en) * 2016-06-28 2018-04-03 Intel Corporation Multiple stream tuning
US10185891B1 (en) 2016-07-08 2019-01-22 Gopro, Inc. Systems and methods for compact convolutional neural networks
US9836853B1 (en) 2016-09-06 2017-12-05 Gopro, Inc. Three-dimensional convolutional neural networks for video highlight detection
US10110950B2 (en) * 2016-09-14 2018-10-23 International Business Machines Corporation Attentiveness-based video presentation management
US10684679B1 (en) * 2016-10-21 2020-06-16 Gopro, Inc. Systems and methods for generating viewpoints for visual content based on gaze
US11113289B2 (en) * 2016-10-28 2021-09-07 Apple Inc. Blending learning models for search support
US10284809B1 (en) 2016-11-07 2019-05-07 Gopro, Inc. Systems and methods for intelligently synchronizing events in visual content with musical features in audio content
US10262639B1 (en) 2016-11-08 2019-04-16 Gopro, Inc. Systems and methods for detecting musical features in audio content
US10405041B2 (en) * 2016-11-28 2019-09-03 Rovi Guides, Inc. Systems and methods for predictive spoiler prevention in media assets based on user behavior
GB2557313A (en) * 2016-12-06 2018-06-20 British Telecomm Delivery of media content
US9854292B1 (en) * 2017-01-05 2017-12-26 Rovi Guides, Inc. Systems and methods for determining audience engagement based on user motion
US10534966B1 (en) 2017-02-02 2020-01-14 Gopro, Inc. Systems and methods for identifying activities and/or events represented in a video
US10127943B1 (en) 2017-03-02 2018-11-13 Gopro, Inc. Systems and methods for modifying videos based on music
US10185895B1 (en) 2017-03-23 2019-01-22 Gopro, Inc. Systems and methods for classifying activities captured within images
US10083718B1 (en) 2017-03-24 2018-09-25 Gopro, Inc. Systems and methods for editing videos based on motion
US10142686B2 (en) * 2017-03-30 2018-11-27 Rovi Guides, Inc. System and methods for disambiguating an ambiguous entity in a search query based on the gaze of a user
US11770574B2 (en) 2017-04-20 2023-09-26 Tvision Insights, Inc. Methods and apparatus for multi-television measurements
US10187690B1 (en) 2017-04-24 2019-01-22 Gopro, Inc. Systems and methods to detect and correlate user responses to media content
US10929561B2 (en) * 2017-11-06 2021-02-23 Microsoft Technology Licensing, Llc Removing personally identifiable data before transmission from a device
US10200753B1 (en) * 2017-12-04 2019-02-05 At&T Intellectual Property I, L.P. Resource management for video streaming with inattentive user
EP3724995B1 (en) 2017-12-15 2023-10-11 DTS, Inc. Occupancy-based automatic correction of room acoustics
CN108681940A (zh) * 2018-05-09 2018-10-19 连云港伍江数码科技有限公司 储物装置中人机交互方法、装置、储物装置及存储介质
CN108683946B (zh) * 2018-05-23 2020-10-27 成都智达万应科技有限公司 基于人脸识别和缓存机制实现在线视频教育的方法
US12002287B2 (en) 2018-08-30 2024-06-04 Hewlett-Packard Development Company, L.P. Computing device attention determination
US12008156B2 (en) * 2018-09-12 2024-06-11 International Business Machines Corporation Determining content values to render in a computer user interface based on user feedback and information
US11119573B2 (en) * 2018-09-28 2021-09-14 Apple Inc. Pupil modulation as a cognitive control signal
US10867391B2 (en) 2018-09-28 2020-12-15 Adobe Inc. Tracking viewer engagement with non-interactive displays
US11064255B2 (en) * 2019-01-30 2021-07-13 Oohms Ny Llc System and method of tablet-based distribution of digital media content
US10910854B2 (en) * 2019-02-11 2021-02-02 Alfi, Inc. Methods and apparatus for a tablet computer system incorporating a battery charging station
CN111127092B (zh) * 2019-12-20 2023-07-14 中富通集团股份有限公司 一种提高智能设备应用广告点击率的方法及存储介质
CN113386146A (zh) * 2020-03-14 2021-09-14 异起(上海)智能科技有限公司 一种切物体或食物的方法和装置
US11630508B1 (en) * 2020-06-12 2023-04-18 Wells Fargo Bank, N.A. Apparatuses and methods for securely presenting digital objects
US20220174357A1 (en) * 2020-11-30 2022-06-02 At&T Intellectual Property I, L.P. Simulating audience feedback in remote broadcast events
US11503090B2 (en) 2020-11-30 2022-11-15 At&T Intellectual Property I, L.P. Remote audience feedback mechanism
US20220377413A1 (en) * 2021-05-21 2022-11-24 Rovi Guides, Inc. Methods and systems for personalized content based on captured gestures
US20220415331A1 (en) * 2021-06-23 2022-12-29 The Nielsen Company (Us), Llc Methods and apparatus for panelist-based logins using voice commands
US20230370692A1 (en) * 2022-05-14 2023-11-16 Dish Network Technologies India Private Limited Customized content delivery
US11843829B1 (en) * 2022-05-24 2023-12-12 Rovi Guides, Inc. Systems and methods for recommending content items based on an identified posture

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100070987A1 (en) * 2008-09-12 2010-03-18 At&T Intellectual Property I, L.P. Mining viewer responses to multimedia content
US20110141010A1 (en) * 2009-06-08 2011-06-16 Kotaro Sakata Gaze target determination device and gaze target determination method

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697502B2 (en) * 2000-12-14 2004-02-24 Eastman Kodak Company Image processing method for detecting human figures in a digital image
CA2933668C (en) * 2004-04-23 2019-01-08 The Nielsen Company (Us), Llc Methods and apparatus to maintain audience privacy while determining viewing of video-on-demand programs
US20050289582A1 (en) * 2004-06-24 2005-12-29 Hitachi, Ltd. System and method for capturing and using biometrics to review a product, service, creative work or thing
US7669213B1 (en) * 2004-10-28 2010-02-23 Aol Llc Dynamic identification of other viewers of a television program to an online viewer
US20060230415A1 (en) * 2005-03-30 2006-10-12 Cyriac Roeding Electronic device and methods for reproducing mass media content
WO2008030493A2 (en) * 2006-09-05 2008-03-13 Innerscope Research, Llc Method and system for determining audience response to a sensory stimulus
US8782681B2 (en) * 2007-03-08 2014-07-15 The Nielsen Company (Us), Llc Method and system for rating media and events in media based on physiological data
US20110221913A1 (en) * 2007-08-09 2011-09-15 Panasonic Corporation Recorder
US20120123826A1 (en) * 2007-09-13 2012-05-17 French John R Shopping Cart Accountability Using Coupon Incentives with Participation Option
US9986293B2 (en) * 2007-11-21 2018-05-29 Qualcomm Incorporated Device access control
US20090313232A1 (en) * 2008-03-26 2009-12-17 Thomas Austin Tinsley Methods and Apparatus to Calculate Audience Estimations
US8875167B2 (en) 2009-09-21 2014-10-28 Mobitv, Inc. Implicit mechanism for determining user response to media
US9071370B2 (en) * 2010-05-20 2015-06-30 CSC Holdings, LLC System and method for set top box viewing data
US10148623B2 (en) * 2010-11-12 2018-12-04 Time Warner Cable Enterprises Llc Apparatus and methods ensuring data privacy in a content distribution network
US8667519B2 (en) * 2010-11-12 2014-03-04 Microsoft Corporation Automatic passive and anonymous feedback system
US8526686B2 (en) * 2010-12-24 2013-09-03 Telefonaktiebolaget L M Ericsson (Publ) Dynamic profile creation in response to facial recognition
US9077458B2 (en) * 2011-06-17 2015-07-07 Microsoft Technology Licensing, Llc Selection of advertisements via viewer feedback
US9204189B1 (en) * 2011-07-14 2015-12-01 Google Inc. Using a conditional access module for TV viewership information
US8756641B2 (en) * 2011-07-28 2014-06-17 At&T Intellectual Property I, L.P. Method and apparatus for generating media content
US8913103B1 (en) * 2012-02-01 2014-12-16 Google Inc. Method and apparatus for focus-of-attention control
US20130227595A1 (en) * 2012-02-24 2013-08-29 Christen V. Nielsen Methods and apparatus to identify audience members
US8850469B1 (en) * 2012-03-05 2014-09-30 Google Inc. Distribution of video in multiple rating formats
US20140007148A1 (en) 2012-06-28 2014-01-02 Joshua J. Ratliff System and method for adaptive data processing
US9215022B2 (en) * 2012-07-18 2015-12-15 Google Inc. Logging individuals for TV measurement compliance
US9292160B2 (en) * 2012-11-30 2016-03-22 Verizon and Redbox Digital Entertainment Services, LLC Systems and methods for presenting media program accessibility information
US20140282645A1 (en) * 2013-03-12 2014-09-18 Eric R. Hammond Methods and apparatus to use scent to identify audience members

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100070987A1 (en) * 2008-09-12 2010-03-18 At&T Intellectual Property I, L.P. Mining viewer responses to multimedia content
US20110141010A1 (en) * 2009-06-08 2011-06-16 Kotaro Sakata Gaze target determination device and gaze target determination method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021251733A1 (ko) * 2020-06-11 2021-12-16 삼성전자(주) 디스플레이장치 및 그 제어방법
US11586279B2 (en) 2020-06-11 2023-02-21 Samsung Electronics Co., Ltd. Display apparatus and control method thereof

Also Published As

Publication number Publication date
KR102025334B1 (ko) 2019-09-25
EP2875602A1 (en) 2015-05-27
US20140026156A1 (en) 2014-01-23
US10134048B2 (en) 2018-11-20
US20140344017A1 (en) 2014-11-20
CN104620522B (zh) 2018-11-02
CN104620522A (zh) 2015-05-13
US10346860B2 (en) 2019-07-09
WO2014015075A1 (en) 2014-01-23
US20180365711A1 (en) 2018-12-20

Similar Documents

Publication Publication Date Title
KR102025334B1 (ko) 검출된 물리적 표시를 통한 사용자 관심 결정
US10321173B2 (en) Determining user engagement with media content based on separate device usage
EP3488618B1 (en) Live video streaming services with machine-learning based highlight replays
EP3275202B1 (en) Live video streaming services
US20230122126A1 (en) Audience attendance monitoring through facial recognition
EP2972972B1 (en) Detecting user interest in presented media items by observing volume change events
JP6519370B2 (ja) ユーザ注意判定システム、方法及びプログラム
US8943526B2 (en) Estimating engagement of consumers of presented content
KR101944469B1 (ko) 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체
US9024844B2 (en) Recognition of image on external display
EP3171602A1 (en) Information processing device, display device, information processing method, program, and information processing system
TW201340690A (zh) 視訊推薦系統及其方法
CN103760968A (zh) 数字标牌显示内容选择方法和装置
WO2015029393A1 (ja) 情報処理装置および情報処理方法
WO2018135334A1 (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2009277097A (ja) 情報処理装置
WO2017040723A1 (en) Methods, systems and apparatus for media content control based on attention detection
CN104025615A (zh) 交互式视频流
CN103918277B (zh) 用于确定媒体项正被呈现的置信水平的系统和方法
Segundo et al. CrowdSync: User generated videos synchronization using crowdsourcing
JPWO2020032239A1 (ja) 情報出力装置、設計支援システム、情報出力方法及び情報出力プログラム
Caporusso et al. Analysis of the Relationship Between Content and Interaction in the Usability Design of 360 o Videos
WO2018168444A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP2022532263A (ja) 拡張現実対話を定量化するためのシステム及び方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant