KR101871526B1 - 콘텐츠의 시청자 기반 제공 및 맞춤화 - Google Patents

콘텐츠의 시청자 기반 제공 및 맞춤화 Download PDF

Info

Publication number
KR101871526B1
KR101871526B1 KR1020137012187A KR20137012187A KR101871526B1 KR 101871526 B1 KR101871526 B1 KR 101871526B1 KR 1020137012187 A KR1020137012187 A KR 1020137012187A KR 20137012187 A KR20137012187 A KR 20137012187A KR 101871526 B1 KR101871526 B1 KR 101871526B1
Authority
KR
South Korea
Prior art keywords
user
content
users
receive
preferences
Prior art date
Application number
KR1020137012187A
Other languages
English (en)
Other versions
KR20130125367A (ko
Inventor
캐스린 스톤 페레즈
앤드류 풀러
아비 바-지브
셰리던 마틴 스몰
Original Assignee
지구 홀딩스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지구 홀딩스 리미티드 filed Critical 지구 홀딩스 리미티드
Publication of KR20130125367A publication Critical patent/KR20130125367A/ko
Application granted granted Critical
Publication of KR101871526B1 publication Critical patent/KR101871526B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4661—Deriving a combined profile for a plurality of end-users of the same client, e.g. for family members within a home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone

Abstract

시스템과 상호동작하는 특정 사용자나 사용자들에 맞춤화된 콘텐츠를 전달하기 위한 시스템 및 방법이 개시된다. 이 시스템은 사용자의 신원을 인식하기 위한 하나 이상의 모듈들을 포함한다. 그 모듈들은 예컨대 제스처 인식 엔진, 얼굴 인식 엔진, 바디 랭귀지 인식 엔진 및 음성 인식 엔진을 포함할 수 있다. 사용자 또한 사용자를 식별하는 스마트 폰과 같은 모바일 기기를 휴대하고 있을 수 있다. 이 모듈들 중 하나 이상이 사용자를 식별하기 위해 협력하며, 그런 다음 사용자 신원에 기반하여 사용자의 콘텐츠를 맞춤화할 수 있다. 특히 시스템은 사용자가 수신하고 싶어하는 콘텐츠를 가리키는 사용자 선호도 및 그것이 수신되어야 하는 조건을 수신한다. 사용자 선호도 및 사용자 신원 및/또는 기타 특성들의 인식에 기반하여, 시스템은 특정 사용자에 대해 맞춤화된 콘텐츠를 제공한다.

Description

콘텐츠의 시청자 기반 제공 및 맞춤화{AUDIENCE-BASED PRESENTATION AND CUSTOMIZATION OF CONTENT}
텔레비전 및 다른 모니터들과 같은 콘텐츠 전달 장치들은 어떤 사용자들이 콘텐츠를 수신하는지에 기반하여 그 전달되는 콘텐츠를 맞춤화하지 않는다. 예를 들어 텔레비전 방송은 특정 시청자 구성원들과 관계없이 동일한 콘텐츠를 제공한다. 인터넷 텔레비전이 어느 정도의 맞춤화를 허용하지만, 콘텐츠를 선택하는 것은 장치가 아니라 사용자이다. 그리고, 그것이 장치에 의해 수행된다면, 누가 콘텐츠의 수신단에 있는지 모르는 채 장치의 식별에 의해 수행된다. 개개의 콘텐츠 전달 장치들은 현재 하나의 공동 시스템으로 진화해가고 있다. 그러나, 사용자 및 사용자 특성을 인식하며 이러한 인식에 기반하여 전달되는 콘텐츠뿐만 아니라 그것이 전달되는 방식을 조정하기 위한 그러한 공동 시스템에 대한 필요성이 여전히 존재한다.
개략적으로 설명된 본 기술은 사용자나 사용자들을 식별할 수 있으며 특정 사용자나 사용자들에 맞춤화된 콘텐츠를 전달할 수 있는 시스템에 관한 것이다. 시스템은 사용자가 수신하고 싶어하는 콘텐츠뿐만 아니라 가능하게는 사용자가 어떻게 언제 콘텐츠를 수신하고 싶어하는지를 나타내는 사용자 선호도를 수신한다. 실시예들에서 시스템은 사용자가 특정 분위기나 감정 상태에 있을 때 사용자가 수신하고 싶어하는 것이 어떤 콘텐츠인지에 대한 사용자 선호도 역시 수신할 수 있다. 시스템은 예컨대 사용자의 감정 상태 및 제공된 콘텐츠에 사용자가 얼마나 주의를 기울이는지를 포함하여, 한 명 이상의 사용자들의 신원 및 다른 특성들을 더 인식할 수 있다. 사용자 선호도 및 사용자 신원 및/또는 기타 특성들의 인식에 기반하여, 시스템은 특정 사용자에 대해 맞춤화된 콘텐츠를 제공한다.
일례에서, 본 기술은 하나 이상의 컴퓨팅 장치들을 통해 사용자에게 제공할 콘텐츠를 맞춤화하기 위한 방법에 관한 것이다. 이 방법은 (a) (a1) 하나 이상의 컴퓨팅 장치들 중 하나의 컴퓨팅 장치의 인식 범위 내에 있는 한 명 이상의 사용자들, 및 (a2) 하나 이상의 컴퓨팅 장치들 중 하나의 컴퓨팅 장치의 인식 범위 내에 있는 한 명 이상의 사용자들의 감정 상태나 분위기 중 적어도 하나를 식별하는 단계; 및 (b) 상기 단계 (a)의 한 명 이상의 사용자들의 신원 및/또는 한 명 이상의 사용자들의 감정 상태나 분위기에 기반하여 하나 이상의 컴퓨팅 장치들을 통해 사용자에게 콘텐츠를 제공하는 단계를 포함한다.
다른 실시예에서, 본 기술은 하나 이상의 컴퓨팅 장치들을 통해 사용자에게 제공할 콘텐츠를 맞춤화하는 방법에 관한 것이다. 이 방법은 (a) 제스처 인식 엔진, 얼굴 인식 엔진, 바디 랭귀지 인식 엔진 및 음성 인식 엔진 중 적어도 하나를 통해 사용자 신원 및 사용자 분위기나 감정 중 적어도 하나를 검출하는 단계; (b) 사용자가 수신하고 싶어하는 콘텐츠 유형에 대한 선호도 및 사용자가 특정 콘텐츠를 어떻게 언제 수신하고 싶어하는지에 대한 선호도를 수신하는 단계; 및 (c) 상기 단계 (a) 및 (b)에 기반하여 사용자에게 콘텐츠를 제공하는 단계를 포함한다.
본 기술의 또 다른 예는 (a) (a1) 하나 이상의 컴퓨팅 장치들 중 하나의 컴퓨팅 장치의 인식 범위 내에 있는 한 명 이상의 사용자들, 및 (a2) 하나 이상의 컴퓨팅 장치들 중 하나의 컴퓨팅 장치의 인식 범위 내에 있는 한 명 이상의 사용자들의 감정 상태나 분위기 중 적어도 하나를 식별하는 단계; (b) 한 명 이상의 사용자들 중 하나의 사용자의 사용자 선호도를 수신하되, 상기 사용자 선호도는 (b1) 사용자가 수신하고 싶어하는 콘텐츠의 유형; (b2) 사용자가 단계 (b1)에 특정된 콘텐츠를 수신하고 싶어하는 시간대; (b3) 사용자가 단계 (b1)에 특정된 콘텐츠를 수신하고 싶어하는 컴퓨팅 장치들; (b4) 사용자가 혼자가 아닐 때 사용자에게 제공되는 콘텐츠를 어떻게 변경할지; 및 (b5) (b1) 내지 (b4)에 기술된 사용자 선호도를 어떻게 적용할지에 대한 우선순위 순서 중 하나 이상을 특정하는 단계; 및 (c) 상기 단계 (a) 및 (b)에 기반하여 사용자에게 제공되는 콘텐츠를 맞춤화하는 단계를 수행하도록 프로세스를 프로그래밍하기 위한 컴퓨터 판독 가능 매체에 관한 것이다.
이 요약은 이하의 상세한 설명에 자세히 기술되는 개념들의 발췌를 간략한 형식으로 소개하기 위해 제공된다. 이 요약은 청구된 발명 대상의 주요 특징이나 필수적 특징을 확인하도록 의도되거나 청구된 발명 대상의 범위의 판단을 돕는 것으로서 사용되도록 의도된 것이 아니다. 또한 청구된 발명 대상은 본 개시의 어느 부분에 언급된 어느 혹은 모든 단점들을 해결하는 구현예들에 한정되지 않는다.
도 1은 타깃 인식, 분석 및 추적 시스템의 예시적 실시예를 예시한다.
도 2는 타깃 인식, 분석, 및 추적 시스템에 사용될 수 있는 캡처 장치의 예시적 실시예를 도시한다.
도 3은 본 시스템의 일 실시예에 따른 사용자 프로파일의 블록도이다.
도 4a 및 4b는 사용자들을 식별하며 사용자의 신원에 기반하여 콘텐츠를 선택하기 위한 본 기술의 일 실시예의 흐름도들이다.
도 5a 및 5b는 사용자들 및 감정 상태를 식별하며 사용자의 신원 및 감정 상태에 기반하여 콘텐츠를 선택하기 위한 본 기술의 일 실시예의 흐름도들이다.
도 6a 및 6b는 콘텐츠에 대한 사용자 주의도를 판단하며 사용자 주의도에 기반하여 콘텐츠를 선택하기 위한 본 기술의 일 실시예의 흐름도들이다.
도 7a는 타깃 인식, 분석, 및 추적 시스템에서 하나 이상의 제스처들을 해석하는데 사용될 수 있는 컴퓨팅 장치의 예시적 실시예를 도시한다.
도 7b는 타깃 인식, 분석, 및 추적 시스템에서 하나 이상의 제스처들을 해석하는데 사용될 수 있는 컴퓨팅 장치의 또 다른 예시적 실시예를 도시한다.
본 기술의 실시예들이 이제 도 1-7b를 참조하여 기술될 것이며, 이들은 일반적으로 한 명 이상의 사용자들의 신원 및 다른 특성들을 인식하며 인식된 신원 및/또는 특성들에 기반하여 전달되는 콘텐츠를 맞춤화할 수 있는 콘텐츠 전달 시스템에 관한 것이다. 상기 시스템은 정보 및 핸드 오프(hand-off) 콘텐츠를 교환할 수 있도록 짝지어지거나 그렇지 않으면 통신 가능하게 연결될 수 있는 다양한 컴퓨팅 장치들을 포함한다. 컴퓨팅 장치들은 사용자 신원, 및 실시예들에서 사용자의 특성들을 검출하기 위한 검출 시스템들을 더 포함한다. 이 특성들은 예컨대 사용자의 분위기, 감정 상태 및 사용자의 장치들을 통해 사용자에게 전달되는 콘텐츠에 대한 주의 정도를 포함할 수 있다. 시스템은 규정된 광범위한 사용자 선호도를 포함하는 사용자 프로파일들을 더 포함한다. 사용자 선호도는 사용자가 자신의 장치들로부터 수신하고 싶어하는 콘텐츠 및 콘텐츠가 사용자에게 언제 어떤 조건 하에서 전달되어야 하는지를 설명한다.
그러한 시스템은 컴퓨팅 장치들 중 하나 이상의 범위 내에 있는 사용자를 식별할 수 있으며, 그 사용자에게 맞춤화된 콘텐츠를 사용자에게 자동으로 제공할 수 있다. 실시예들에서, 제공되는 콘텐츠가 사용자 분위기 및 감정 상태에 기반하여 더 맞춤화될 수 있다. 둘 이상의 사용자가 컴퓨팅 장치들 중 하나 이상의 범위 안에 있는 경우, 시스템은 그 사용자들 사이에 공유된 콘텐츠 선호도를 검색하고 그 사용자들 모두가 함께 즐길 수 있는 콘텐츠를 식별할 수 있다. 시스템은 사용자들이 자신들의 콘텐츠가 제공되어야 할 곳을 특정할 수 있게 한다. 예를 들어, 사용자는 그들이 혼자일 때 자신의 콘텐츠를 공용 디스플레에 상에 디스플레이하고 싶어할 수 있지만, 다른 사람들이 있을 때는 보다 개인적인 디스플레이로 콘텐츠가 이동되게 하고 싶어 할 수 있다.
이들 및 기타 본 기술의 양태들이 이제부터 도 1에 도시된 협동 환경(5)과 관련하여 보다 상세히 설명될 것이다. 협동 환경(5)은 사용자들(18)과 같은 인간 타깃들을 인식, 분석 및/또는 추적하는데 사용될 수 있는 타깃 인식, 분석, 및 추적 시스템(10)을 포함한다. 타깃 인식, 분석 및 추적 시스템(10)의 실시예들은 콘텐츠를 제공하고/하거나 게임이나 다른 애플리케이션을 실행하기 위한 컴퓨팅 장치(12)를 포함한다. 일 실시예에서 컴퓨팅 장치(12)는 여기에 기술된 프로세스들을 수행하기 위한 프로세서 판독가능 저장 장치 상에 저장되는 명령어들을 실행할 수 있는 표준화된 프로세서, 특수 프로세서, 마이크로프로세서 등을 포함할 수 있다.
시스템(10)은 캡처 장치(20)를 더 포함하여 캡처 장치에 의해 감지되는 한 명 이상의 사용자들 및/또는 객체들에 관한 이미지 및 오디오 데이터를 캡처한다. 실시예들에서, 캡처 장치(20)는 한 명 이상의 사용자들(18)의 움직임, 제스처 및 말과 관련된 정보를 캡처하는 데 사용될 수 있고, 그 정보는 컴퓨팅 장치(12)에 의해 수신될 수 있으며 이하에 설명하는 바와 같이 사용자들 및 사용자 특성들을 식별하는 데 사용될 수 있다. 도 1은 예컨대 어머니(18a), 아버지(18b) 및 딸(18c)일 수 있는 세 명의 사용자들(18)을 포함하는 실시예를 도시한다. 세 가족 구성원들의 이용은 예시적 목적만을 위한 것이다. 환경(5) 안에 한 명 이상의 사용자들(18)이 있을 수 있고, 사용자들은 서로 다양한 어느 관계를 가질 수 있다.
타깃 인식, 분석 및 추적 시스템(10)의 실시예들은 디스플레이(14)를 가지는 시청각 장치(16)에 연결될 수 있다. 도 1의 예에서, 디스플레이(14)는 사용자들(18)에게 콘텐츠를 제공하는 것이다. 장치(16)는 예컨대, 사용자에게 콘텐츠, 게임 또는 애플리케이션 비주얼 및/또는 오디오를 제공할 수 있는 텔레비전, 모니터, 고선명 텔레비전(HDTV) 등일 수 있다. 예를 들어, 컴퓨팅 장치(12)는 그래픽 카드와 같은 비디오 어댑터 및/또는 사운드 카드와 같은 오디오 어댑터를 포함하여 게임이나 기타 애플리케이션과 관련된 시청각 신호를 제공할 수 있다. 시청각 장치(16)는 컴퓨팅 장치(12)로부터 시청각 신호를 수신하고 그런 다음 그 시청각 신호와 관련된 게임 또는 애플리케이션 비주얼 및/또는 오디오를 사용자(18)에게 출력할 수 있다. 일 실시예에 따르면, 시청각 장치(16)는 가령 S-비디오 케이블, 동축 케이블, HDMI 케이블, DVI 케이블, VGA 케이블, 컴포넌트 비디오 케이블 등을 통해 컴퓨팅 장치(12)에 연결될 수 있다.
시스템(10) 및 그 구성요소들의 적절한 예들이 이 문서에서 참조를 통해 특정하게 병합되는 이하의 공동 계속 중인 특허 출원들에서 발견된다: 2009년 5월 29일 출원된 "환경 및/또는 타깃 세그멘테이션(Environment and/or Target Segmentation)"이라는 발명의 명칭의 미국 특허 출원 제12/475,094호; 2009년 7월 29일 출원된 "시각적 표현의 자동 생성(Auto Generating a Visual Representation)"이라는 발명의 명칭의 미국 특허 출원 제12/511,850호; 2009년 5월 29일 출원된 "제스처 툴(Gesture Tool)"이라는 발명의 명칭의 미국 특허 출원 제12/474,655호; 2009년 10월 21일 출원된 "포즈 추적 파이프라인(Pose Tracking Pipeline)"이라는 발명의 명칭의 미국 특허 출원 제12/603,437호; 2009년 5월 29일 출원된 "시간에 따라 여러 사람들을 식별 및 추정하기 위한 장치(Device for Identifying and Tracking Multiple Humans Over Time)"라는 발명의 명칭의 미국 특허 출원 제12/475,308호; 2009년 10월 7일 출원된 "사람 추적 시스템(Human Tracking System)"이라는 발명의 명칭의 미국 특허 출원 제12/575,388호; 2009년 4월 13일 출원된 "제스처 인식 시스템 구조(Gesture Recognizer System Architecture)"라는 발명의 명칭의 미국 특허 출원 제12/422,661호; 2009년 2월 23일 출원된 "표준 제스처(Standard Gestures)"라는 발명의 명칭의 미국 특허 출원 제12/391,150호; 및 2009년 5월 29일 출원된 "제스처 툴(Gesture Tool)"이라는 발명의 명칭의 미국 특허 출원 제12/474,655호.
도 2는 타깃 인식, 분석, 및 추적 시스템(10)에 사용될 수 있는 캡처 장치(20)의 예시적 실시예를 도시한다. 예시적 실시예에서, 캡처 장치(20)는 예컨대 비행 시간(time-of-flight), 구조화된 이미지(structured image), 스테레오 이미지 등을 포함하는 어떤 적절한 기법을 통해 깊이 값들을 포함할 수 있는 깊이 이미지를 가진 비디오를 캡처하도록 구성될 수 있다. 일 실시예에 따르면, 캡처 장치(20)는 산출된 깊이 정보를 "Z 계층들", 또는 깊이 인식 카메라로부터 그 시선을 따라 연장되는 Z 축에 수직일 수 있는 계층들 안에 조직할 수 있다.
도 2에 도시된 바와 같이, 캡처 장치(20)는 이미지 카메라 성분(22)을 포함할 수 있다. 전형적 일 실시예에 따르면 이미지 카메라 컴포넌트(22)는 어떤 장면의 깊이 이미지를 캡처할 수 있는 깊이 인식 카메라일 수 있다. 깊이 이미지는 캡처된 장면의 이차원(2D) 픽셀 영역을 포함할 수 있고, 여기서 2D 픽셀 영역 내 각 픽셀은 카메라로부터 캡처된 장면 내 어떤 오브젝트에 대한 가령 센티미터, 밀리미터 단위 등의 길이나 거리와 같은 깊이 값을 나타낼 수 있다.
도 2에 도시된 바와 같이, 전형적인 일 실시예에 따르면, 이미지 카메라 컴포넌트(22)는 장면의 깊이 이미지를 캡처하는데 사용될 수 있는 IR 광 컴포넌트(24), 삼차원(3D) 카메라(26), 및 RGB 카메라(28)를 포함할 수 있다. 예를 들어, TOF 분석 시, 캡처 장치(20)의 IR 광 컴포넌트(24)는 장면 위에 적외선 광을 발산하고 그런 다음 센서들(미도시)을 사용하여 가령 3D 카메라(26) 및/또는 RGB 카메라(28)를 이용해 장면 내 한 개 이상의 타깃 및 오브젝트 표면으로부터 후방산란된 광을 검출할 수 있다.
일부 실시예에서, 펄싱되는 적외선 광은 나가는 광 펄스와 그에 대응하여 들어오는 광 펄스 사이의 시간이 측정되어 캡처 장치(20)로부터 장면 내 타깃이나 오브젝트들 상의 특정 위치까지의 물리적 거리를 판단하는데 사용될 수 있도록 이용될 수 있다. 또한 다른 예시적 실시예에서, 위상 쉬프트를 판단하기 위해 나가는 광 파동의 위상이 들어오는 광 파동의 위상과 비교될 수 있다. 그런 다음 위상 쉬프트는 캡처 장치(20)로부터 타깃이나 오브젝트들 상의 특정 위치까지의 물리적 거리를 판단하는데 사용될 수 있다.
또 다른 예시적 실시예에 따르면, 가령 셔터링되는 광 펄스 이미징을 포함하는 다양한 기법들을 통해 시간에 따른 광의 반사 빔 강도를 분석함으로써, TOF 분석은 캡처 장치(20)로부터 타깃이나 오브젝트들 상의 특정 위치까지의 물리적 거리를 간접적으로 판단하는데 사용될 수 있다.
또 다른 예시적 실시예에서, 캡처 장치(20)는 깊이 정보를 캡처하기 위해 구조화된 광을 사용할 수 있다. 그러한 분석시, 패턴화된 광(즉, 그리드 패턴이나 스트라이프 패턴 같이 알려진 패턴으로서 디스플레이되는 광)이 가령 IR 광 컴포넌트(24)를 통해 장면 위로 투사될 수 있다. 장면 내 한 개 이상의 타깃이나 오브젝트의 표면을 칠 때, 그에 응하여 패턴이 변형될 수 있다. 그러한 패턴의 변형은 가령 3D 카메라(26) 및/또는 RGB 카메라(28)에 의해 캡처될 수 있고 그런 다음 캡처 장치(20)로부터 타깃이나 오브젝트들 상의 특정 위치까지의 물리적 거리를 판단하기 위해 분석될 수 있다.
또 다른 실시예에 따르면, 캡처 장치(20)는 서로 다른 각도로부터 장면을 볼 수 있는 둘 이상의 물리적으로 분리된 카메라들을 포함함으로써, 깊이 정보를 산출하기 위해 결정될 수 있는 비주얼 스테레오 데이터를 획득할 수 있다. 다른 예시적 실시예에서, 캡처 장치(20)는 사용자의 특성들을 검출하기 위해 포인트 클라우드 데이터 및 타깃 디지털화 기법들을 사용할 수 있다.
캡처 장치(20)는 마이크로폰(30)을 더 포함할 수 있다. 마이크로폰(30)은 소리를 수신하여 전기 신호로 변환할 수 있는 트랜듀서나 센서를 포함할 수 있다. 일 실시예에 따르면, 마이크로폰(30)은 타깃 인식, 분석, 및 추적 시스템(10)의 캡처 장치(20) 및 컴퓨팅 장치(12) 사이의 피드백을 줄이는 데 사용될 수 있다. 또한, 마이크로폰(30)이 사용되어 컴퓨팅 장치(12)에 의해 실행될 수 있는 게임 애플리케이션, 비게임 애플리케이션 등과 같은 애플리케이션들을 제어하기 위해 사용자에 의해 제공될 수 있는 오디오 신호를 수신할 수 있다.
전형적인 일 실시예에서, 캡처 장치(20)는 이미지 카메라 컴포넌트(22)와 유효한 통신상태에 있을 수 있는 프로세서(32)를 더 포함할 수 있다. 프로세서(32)는 깊이 이미지를 수신하고, 깊이 이미지에 적절한 타깃이 포함될 수 있는지 여부를 판단하고, 적절한 타깃을 타깃의 골격 표현이나 모델로 변화하는 명령어들이나 어떤 다른 적절한 명령어를 포함할 수 있는 명령어들을 실행할 수 있는 규격화된 프로세서, 특수형 프로셋, 마이크로프로세서 등을 포함할 수 있다.
캡처 장치(20)는 프로세서(32)에 의해 실행될 수 있는 명령어들, 3D 카메라나 RGB 카메라에 의해 캡처되는 이미지들이나 이미지들의 프레임들, 또는 어떤 다른 적절한 정보, 이미지 등을 저장할 수 있는 메모리 컴포넌트(34)를 더 포함할 수 있다. 전형적인 일 실시예에 따르면, 메모리 구성요소(34)는 RAM(random access memory), ROM(read only memory), 캐시, 플래시 메모리, 하드 디스크, 또는 어떤 다른 적절한 저장 컴포넌트를 포함할 수 있다. 도 2에 도시된 바와 같이, 일 실시예에서 메모리 컴포넌트(34)는 이미지 카메라 컴포넌트(22) 및 프로세서(32)와 통신하는 별도의 컴포넌트일 수 있다. 또 다른 실시예에서, 메모리 컴포넌트(34)는 프로세서(32) 및/또는 이미지 카메라 컴포넌트(22) 안에 병합될 수 있다.
도 2에 도시된 바와 같이, 캡처 장치(20)는 통신 링크(36)를 통해 컴퓨팅 장치(12)와 통신할 수 있다. 통신 링크(36)는 가령 USB 접속, FireWire(파이어와이어) 접속, 이더넷 케이블 접속 등을 포함하는 유선 접속 및/또는 무선 802.11b, g, a, 또는 n 접속 같은 무선 접속일 수 있다. 일 실시예에 따르면, 컴퓨팅 장치(12)는 가령 통신 링크(36)를 통한 장면을 언제 캡처할지를 결정하는데 사용될 수 있는 클록을 캡처 장치(20)에 제공할 수 있다.
또한 캡처 장치(20)는 가령 3D 카메라(26) 및/또는 RGB 카메라(28)에 의해 캡처된 깊이 정보 및 이미지들, 및 캡처 장치(20)에 의해 생성될 수 있는 골격 모델을 통신 링크(36)를 통해 컴퓨팅 장치(12)로 제공할 수 있다. 캡처 장치(20)에 의해 검출되는 타깃 또는 객체가 인간 타깃에 해당하는지 여부를 판단하기 위한 다양한 기존 기법들이 존재한다. 이때 골격 매핑 기법들이 그 사용자의 골격 상의 다양한 지점들, 손의 관절, 팔목, 팔꿈치, 무릎, 코, 발목, 어깨 및 골반이 척추와 만나는 곳을 판단하기 위해 사용될 수 있다. 어떤 장면 내 사용자들을 추적하는 데 사용될 수 있는 골격 추적 파이프라인의 한 예가 여기에 전체가 참조 형식으로 병합되는 2010년 9월 7일 출원된 "고속 개연론적 골격 추적 시스템(System For Fast, Probabilistic Skeletal Tracking)"이라는 발명의 명칭의 미국 특허 출원 제12/876,418호에 개시된다. 다른 기법들은 이미지를 사람의 신체 모델 표현으로 변환하고 이미지를 사람의 메쉬(mesh) 모델 표현으로 변환하는 동작을 포함할 수 있다. 시스템과 상호동작하는 사용자 또는 모든 사용자들을 식별하기 위해 다른 기술들이 사용될 수 있다는 것을 알아야 한다. 그러한 추가 기술들은 예컨대 열, 오디오, 또는 (장치나 의복 또는 사람 안의) RFID 식별을 통해 사용자들을 식별할 수 있다. 이들 및 기타 추가 식별 기술들이 본 시스템에 사용될 수 있다.
도 2는 이하에 설명되는 사용자 프로파일(들)(40) 및 사용자들과 분위기, 감정 상태 및 사용자가 수신하는 콘텐츠에 대한 주의도와 같은 사용자 특성들을 인식하는 데 사용되는 여러 개의 소프트웨어 엔진들을 더 도시한다. 일 실시예에서, 컴퓨팅 장치(12)는 제스처 인식 엔진(46) 및 제스처 라이브러리(48)를 포함할 수 있다. 제스처 라이브러리(48)는 각각이 사용자에 의해 수해오딜 수 있는 움직임이나 제스처에 관한 정보를 포함하는 제스처 필터들의 집합을 포함한다. 일 실시예에서 제스처 인식 엔진(46)은 (골격 모델에 의해 표현된 것과 같은) 사용자가 하나 이상의 제스처들을 수행했을 때를 식별하기 위해 소정 프레임 또는 프레임들에 대해 정해진 골격 모델을 제스처 라이브러리(48) 내 제스처 필터들과 비교할 수 있다. 컴퓨팅 장치(12)는 개시된 기술의 하나 이상의 동작들을 수행하기 위해 골격 모델의 움직임들을 해석하는 데 제스처 라이브러리(48)를 사용할 수 있다. 제스처 인식 엔진(46)에 대한 추가 정보는 여기에 그 전체가 참조 형식으로 병합되는 2009년 4월 13일 "제스처 인식 시스템 구조(Gesture Recognition System Architecture)"라는 발명의 명칭으로 출원된 미국 특허 출원 제12/422,661호에서 찾을 수 있다. 제스처 인식에 대한 추가 정보는 여기에 그 전체가 참조 형식으로 병합되는 2009년 2월 23일 "표준화된 제스처(Standard Gestures)"라는 발명의 명칭으로 출원된 미국 특허 출원 제12/391,150호 및 2009년 5월 29일 "제스처 툴(Gesture Tool)"이라는 발명의 명칭으로 출원된 미국 특허 출원 제12/474,655호에서 찾을 수 있다.
실시예들에서 컴퓨팅 장치(12)는 얼굴 인식 엔진(52)을 더 포함할 수 있다. 얼굴 인식 엔진(52)은 얼굴 표정 라이브러리(54)와 통신할 수 있다. 얼굴 표정 라이브러리(54)는 각각이 얼굴 표정에 관한 정보를 포함하는 얼굴 표정 필터들의 집합을 포함한다. 일례에서, 얼굴 인식 엔진(52)은 사용자의 얼굴 표정을 식별하기 위해 캡처 장치(20) 내 3D 깊이 카메라(26) 및/또는 RGB 카메라(28)에 의해 캡처된 데이터를 얼굴 표정 라이브러리(54) 내 얼굴 표정 필터들과 비교할 수 있다.
얼굴 인식 엔진(52) 및 라이브러리(54)는 적어도 세 가지 목적을 위해 함께 사용될 수 있다. 첫째, 그들은 캡처 장치(들)(20)의 시계 내 한 명 이상의 사용자들을 식별하기 위해 사용될 수 있다. 둘째, 그들은 사용자 분위기나 감정 상태를 판단하는데 사용될 수 있다. 예를 들어, 라이브러리(54)는 사용자가 울고 있을 때, 웃고 있을 때, 찡그리고 있을 때, 미소짓고 있을 때, 하품할 때, 험한 모습을 할 때, 굽실댈 때, 자고 있을 때 및 특정 분위기/감정 상태와 관련된 기타의 다양한 시각적 지시자들을 식별하기 위해 저장된 얼굴 필터들을 포함할 수 있다. 셋째, 얼굴 인식 엔진(52) 및 라이브러리(54)는 제공된 콘텐츠에 대해 사용자가 주의를 기울이고 있는지 아닌지 여부를 식별하는 데 사용될 수 있다. 예를 들어 위에서 논의된 바와 같이, 라이브러리(54)는 사용자가 하품하고 있을 때, 눈을 감고 있을 때 및 제공된 콘텐츠에 사용자가 주의를 기울이고 있는지 여부를 나타내는 다양한 다른 시각적 단서들을 식별하기 위해 저장된 얼굴 특성들을 포함할 수 있다. 이 필터들은 상술한 분위기/감정 상태를 판단하기 위한 얼굴 필터들과 동일하거나 상이할 수 있다.
실시예들에서 컴퓨팅 장치(12)는 바디 랭귀지 엔진(58)을 더 포함할 수 있다. 바디 랭귀지 엔진(58)은 사용자의 바디 랭귀지와 관련된 바디 랭귀지 필터들의 집합을 포함하는 바디 랭귀지 라이브러리(60)와 통신할 수 있다. 일례에서 바디 랭귀지 엔진(58)은 사용자의 바디 랭귀지를 식별하기 위해 캡처 장치(20)에 의해 캡처된 데이터를 라이브러리(60) 내 바디 랭귀지 필터들과 비교할 수 있다.
바디 랭귀지엔진(58) 및 라이브러리(60)는 적어도 두 가지 목적을 위해 함께 사용될 수 있다. 첫째, 그들은 사용자 분위기나 감정 상태를 판단하는데 사용될 수 있다. 예를 들어, 라이브러리(60)는 사용자가 앞으로 기울일 때, 똑바로 앉을 때, 몸을 구부리고 있을 때 및 분위기/감정 상태의 다양한 다른 시각적 지시자들을 식별하기 위해 저장된 바디 랭귀지 필터들을 포함할 수 있다. 둘째, 바디 랭귀지 엔진(58) 및 라이브러리(60)는 제공된 콘텐츠에 대해 사용자가 주의를 기울이고 있는지 아닌지 여부를 식별하는 데 사용될 수 있다. 예를 들어 엔진(58)은 사용자가 제공된 콘텐츠의 방향을 보고 있는지 여부, 사용자가 불안하거나 안절부절한 상태로 다른 데를 보고 있는지 여부를 알아차릴 수 있다.
실시예들에서 컴퓨팅 장치(12)는 음성/어조 라이브러리(66)와 통신하는 음성 인식 엔진(64)을 더 포함할 수 있다. 음성/어조 라이브러리(66)는 특정 타입의 음성 어조, 억양 및 기타 음성 및 비음성 소리 반응들에 관한 필터들을 더 포함할 수 있다.
음성 인식 엔진(64) 및 라이브러리(66)는 적어도 세 가지 목적을 위해 함께 사용될 수 있다. 첫째, 그들은 마이크로폰(40)의 범위 내에 있는 한 명 이상의 사용자들을 식별하기 위해 사용될 수 있다. 식별된 사용자들에 대해 알려진 음성 패턴들이 사용자 프로파일들(40)이나 음성/어조 라이브러리(66)에 저장될 수 있다. 저장된 음성 패턴들은 저장된 기존 음성들과 수신된 음성 데이터를 매칭하기 위해 마이크로폰(40)으로부터 수신된 음성 데이터에 대한 비교를 위해 음성 인식 엔진(64)에 의해 사용될 수 있다. 둘째, 그들은 사용자 분위기나 감정 상태를 판단하는데 사용될 수 있다. 예를 들어 라이브러리(66)는 사용자가 울 때, 웃을 때, 소리지를 때, 흥분할 때(빠른 말, 높은 음량 및/또는 높은 음높이로 나타냄), 슬퍼할 때(느린 말, 낮은 음량 및/또는 낮은 음높이) 및 특정 붐위기/감정 상태와 관련될 수 있는 다양한 다른 청각적 지시자들을 식별하기 위해 저장된 음성 필터들을 포함할 수 있다. 라이브러리(66)는 예컨대 박수치기와 같은 비음성 사운드들에 대한 필터들을 포함할 수 있다. 셋째, 음성 인식 엔진(64) 및 라이브러리(66)는 제공된 콘텐츠에 대해 사용자가 주의를 기울이고 있는지 아닌지 여부를 식별하는 데 사용될 수 있다. 예를 들어 그것은 사용자가 제공된 콘텐츠에 대해 말을 하고 있거나, 혹은 사용자가 제공된 콘텐츠의 사운드 트랙을 따라 노래하거나 흥얼거리거나 박수를 치는 것이다.
제스처 라이브러리(48), 얼굴 표정 라이브러리(54), 바디 랭귀지 라이브러리(60), 및 음성/어조 라이브러리(66)의 필터들은 많은 사람들에 대한 학습 데이터로부터 개발될 수 있다. 개개의 라이브러리들 안의 필터들은 문화적 차이들을 고려할 수 있다는 것을 이해할 수 있다. 예를 들어 신체 움직임들은 한 문화에서는 소정 제스처를 의미할 수 있지만 다른 문화에서는 아닐 수 있다. 분위기 및 감정 상태를 검출하는 것과 관련하여, 일부 문화들은 일반적으로 보다 생기발랄한 것일 수 있고 다른 문화들은 보다 절제적인 것일 수 있다. 따라서 필터들은 특정 문화 및 국지적 관습에 맞춰질 수 있다.
라이브러리들(48, 54, 60 및/또는 66)은 시스템(10)의 사용자들로부터의 데이터를 통해 학습됨으로써 상기 라이브러리들이 각각의 특정 사용자의 특정 버릇에 정교하게 맞춰지게 된다는 것 역시 고찰된다. 따라서, 시간이 지남에 따라 라이브러리들은 예컨대 하나의 사용자로부터 보여진 행동이 제1분위기나 감정 상태를 나타낸다고 학습할 수 있으며, 이때 다른 사용자로부터 보여진 동일한 행동은 제2의 다른 분위기나 감정 상태를 나타낸다.
상술한 소프트웨어 엔진들 및/또는 다른 소스들 중 하나 이상으로부터의 정보를 이용하여, 본 시스템은 캡처 장치(20)의 시계 내 및/또는 마이크로폰(40)의 범위 내에 있는 한 명 이상의 사용자들의 사용자 신원(70)을 판단할 수 있다. 예를 들어 캡처 장치는 사용자의 물리적 특성들(사이즈, 모양, 머리 타입 등)을 캡처할 수 있고, 매치를 결정하기 위해 그 데이터를 사용자 프로파일들(40)에 저장된 데이터에 대해 비교할 수 있다. 실시예들에서 얼굴 인식 엔진(52)은 캡처 장치(20)의 시계 내 사용자들에 대한 식별을 수행하거나 도울 수도 있다. 일례에서, 얼굴 인식 엔진(52)은 캡처 장치(20)로부터 수신된 비주얼 이미지로부터의 사용자 얼굴을 사용자 얼굴 특성들의 저장 이미지와 상관시킬 수 있다. 또 다른 실시예에서, 시스템은 알려진 사용자들에 대해 저장된 음성 패턴들에 대한 검출된 음성 패턴의 비교에 기반하여 그들의 음성 패턴으로부터 사용자를 식별하거나 확인할 수 있다.
사용자 신원을 식별하거나 확인하기 위해 다른 객관적 징후들이 상술한 엔진들 대신에 혹은 그에 추가하여 더 사용될 수 있다. 예를 들어 사용자의 신원은 사용자 ID 및 패스워드를 입력하는 것과 같이 사용자가 어떤 식별 행위를 수행함으로써 판단될 수 있다. 이 정보는 입력된 정보의 인증을 가능하게 하기 위해 사용자 프로파일들(40) 안에 저장될 수 있다. 또 다른 객관적 징후들과 관련하여 사용자들은 통상적으로 사용자의 신원을 가지는 셀룰러폰이나 다른 모바일 기기(도 1의 장치(82)와 같은 것)를 휴대할 수 있다. 이하에 설명되는 바와 같이, 사용자의 모바일 기기가 시스템(10)의 컴퓨팅 장치(12)의 통신 범위 안으로 들어올 때, 컴퓨팅 장치들은 서로 짝을 이루어 모바일 기기의 소유자 신원과 같은 정보를 교환할 수 있다. 모바일 기기를 가진 사용자가 소유자라는 보장은 없으나 통상적으로는 그렇다. 최소한 모바일 기기로부터 수신된 정보가 위에서 논의된 다른 방법들에 의해 독자적으로 판단된 신원을 확인하는 데 사용될 수 있다.
상술한 소프트웨어 엔진들 및/또는 다른 소스들 중 하나 이상으로부터의 정보를 이용하여, 본 시스템은 사용자의 분위기나 감정 상태(72)를 또한 판단할 수 있다. 분위기 및 감정 상태가 관련될 수 있지만, 일반적으로 이 둘은 분위기가 상대적으로 길게 지속되는 감정 상태라는 점에서 구별될 수 있다. 감정 상태는 아마도 수신된 콘텐츠에 반응하는 과도적인 것일 수 있으며, 분위기는 일반적으로 보다 길게 지속하는 것일 수 있다. 또 다른 실시예들에서, 분위기 및 감정 상태가 동일한 것으로 취급될 수 있다.
위에서 논의된 바와 같이 얼굴 인식 엔진(52, 바디 랭귀지 엔진(58) 및/또는 음성 인식 엔진(64)이 사용자의 분위기/감정 상태(72)에 대한 판단을 가능하게 하는 입력을 모두 제공할 수 있다. 일반적으로 사용자의 분위기/감정 상태는 예컨대 바디 랭귀지, 얼굴 표정 및/또는 음성 반응들을 포함하는 광범위한 물리적 지시자들을 가질 수 있으며, 이 지시자들은 엔진들(52, 58 및/또는 64) 중 하나 이상에 의해 감지될 수 있다. 분위기 및/또는 감정을 검출하기 위한 상술한 엔진들 및 라이브러리들은 다만 예로 든 것이라는 것을 알 수 있다. 다른 검출 장치들 및 소프트웨어 모듈들이 분위기 및/또는 감정을 식별하기 위한 상술한 것들을 대신하거나 그에 추가하여 사용될 수 있다. 또 다른 예들에서, 심장 박동, 호흡, 신체 온도 등과 같은 생물학적 생체 사인(예를 들어 비침습적 방식의)을 검출하기 위한 장치들이 제공될 수 있다. 분위기/감정 상태의 생리학적 지시자로서 이 정보를 해석하기 위한 소프트웨어 엔진들이 제공될 수 있다.
분위기/감정 상태(72)는 예컨대 "행복하다", "슬프다", "화난다", "흥분되다", "무섭다", 및 "지루하다"와 같은 다수의 객관적으로 규정된 카테고리들 중 하나일 수 있다. 다른 분류들 역시 가능하다. 주관적 분위기 및 감정들이 항상 객관적 분류에 취약한 것은 아니지만, 사용자가 이 분류들 중 하나의 물리적 특징들을 보이는 한, 이것은 상술한 얼굴, 바디 랭귀지 및/또는 음성 인식 엔진들(52, 58, 64)의 도움을 받아 컴퓨팅 장치(12)에 의해 결정될 수 있다. 일반적으로 엔진들(52, 58 및/또는 64)은 사용자가 특정 분위기/감정을 나타내는 하나 이상의 특성들을 보이고 있는지 여부 및 그 하나 이상의 나타낸 특성들이 라이브러리들(54, 60 및 66) 내 해당 필터들과 얼마나 강하게 매칭하는지를 판단할 수 있다. 특정한 특성이 어느 라이브러리 필터에 기술된 그 특성에 대한 모델과 매칭하는 강도는 식별된 특성과 관련된 정량적 신뢰 값을 만들어낼 수 있다.
다양한 엔진들(44, 52 및 58)로부터의 출력 및 측정된 특성이 주어진 특성에 대한 필터와 얼마나 강하게 매칭하는지에 대한 신뢰 값들을 이용하여, 컴퓨팅 장치(12)는 분위기/감정 상태(72)인 사용자의 분위기/감정 상태를 분류하고 정량화할 수 있다. 컴퓨팅 장치(12)는 특정 분위기/감정이 그 분위기/감정이 사용자에 대한 분위기/감정(72)으로 세팅되기 전에 어떤 소정 문척치 아상으로 보여질 것을 요구할 수 있다. 아무런 특정 분위기/감정이 보여지지 않거나 분위기/감정이 소정 문턱치 이상으로 보여지지 않는 경우, 분위기/감정 상태(72)는 불명확한 것으로 분류될 수 있다. 이와 달리 인식된 데이터가 모순적인 경우(가령, 사용자가 행복과 슬픈 징후들 모두를 보였을 때), 분위기/감정 상태(72)는 불명확한 것으로 분류될 수 있다. 모순되는 감정 상태들은 대안적으로 "혼재됨" 또는 "알 수 없음"으로 분류될 수도 있다. 그러한 분류들은 엔진들(44, 52 및/또는 58)이 추가 데이터를 수신할 때 한 상태 또는 다른 상태로 업데이트될 수 있다.
사용자들이 같은 분위기/감정 상태(72)를 가지는 일이 발생할 때, 분위기/감정 상태(72)는 각각의 사용자의 검출된 물리적 특성들에 따라 각각의 사용자에게 독립적으로 세팅될 수 있다. 실시예들에서, 분위기/감정 상태(72)는 사용자들의 그룹에 대해 함께 판단될 수 있다는 것 역시 고찰된다. 그룹 분위기/감정 상태(72)는 각자의 그룹 구성원들에 의해 보여지는 지배적인 분위기/감정 상태(72)를 취하는 것을 포함하여 여러 방식들에 따라 판단될 수 있다. 그룹 구성원들 중 한 명 이상이 특정 분위기/감정 상태(72) 안에 얼마나 강하게 분류되는지에 대한 신뢰 값들 또한 그룹 분위기/감정 상태 판단의 요인이 될 수 있다.
상술한 소프트웨어 엔진들 및/또는 다른 소스들 중 하나 이상으로부터의 정보를 이용하여, 본 시스템은 특정 제공 콘텐츠에 대한 사용자의 주의도를 판단할 수도 있다. 일반적으로 특정 제공 콘텐츠에 대한 사용자의 주의도는 예컨대 바디 랭귀지, 자세, 얼굴 표정 및/또는 음성 반응들을 포함하는 광범위한 물리적 지시자들을 가질 수 있으며, 이 지시자들은 엔진들(52, 58 및/또는 64) 중 하나 이상에 의해 감지될 수 있다. 머리 위치 및/또는 얼굴 표정이 주의도에 대한 추가 지시자들일 수 있다. 또 다른 실시예들에서 눈 추적 역시 주의도의 지시자가 될 수 있다. 카메라가 눈의 움직임을 추적할 수 있는 경우, 사용자가 자주 콘텐츠로부터 눈을 돌리는 것은 사용자가 콘텐츠에 대해 낮은 주의도를 가진다는 지시자일 수 있는 반면, 사용자가 자신의 눈을 콘텐츠로부터 거의 이동하지 않는다는 것은 높은 수준의 주의도에 대한 지시자일 수 있다.
이하의 설명에서, 높은 주의도는 사용자가 콘텐츠에 관심을 가지고 있고 계속해서 콘텐츠를 보고 싶어하는 것으로서 다뤄진다. 그러나, 높은 주의도는 다른 사용자 액션들과 결합될 때 사용자가 그 콘텐츠에 주의를 기울이고 있지만 그 콘텐츠를 계속해서 보고 싶어하지 않는다는 것을 가리킨다는 것이 고찰된다. 예를 들어 주의도 지시자들이 소리지르기나 짜증, 두려움 또는 불안의 다른 지시자들을 동반하는 경우, 사용자가 소정 콘텐츠에 관심을 유지함에도 불구하고 그 콘텐츠를 계속 보고 싶어하지 않는다는 유추가 얻어질 수 있다. 시스템은 이하에 설명하는 바와 같이 이 경우에 대안적 콘텐츠를 제안할 수 있다. 검출된 감정 응답이 제1사용자에게는 바람직하지만 제2사용자에게는 그렇지 않은 경우가 있을 수 있다. 예를 들어 아이는 무서운 것을 좋아하지 않을 수 있지만 성인은 무서운 콘텐츠를 즐길 수 있다. 이러한 선호도가 사용자 선호도 안에 설정됨으로써, 두려움을 주입한 콘텐츠는 (이 예에서) 어린이가 식별될 때 바뀔 수 있지만, 같은 콘텐츠가 성인이 식별될 때에는 계속되게 할 수 있다.
주의도를 검출하기 위한 상술한 엔진들 및 라이브러리들은 다만 예로 든 것이라는 것을 알 수 있다. 다른 검출 장치들 및 소프트웨어 모듈들이 주의도를 식별하기 위한 상술한 것들을 대신하거나 그에 추가하여 사용될 수 있다는 것을 알 수 있다.
일 실시예에서, 사용자 주의도(74)는 제공된 콘텐츠를 경험하는 동안 사용자에 의해 수행되는 움직임, 제스처 및 얼굴 표정들의 유형에 기반하여 "낮음", "중간", 또는 "높음"으로 분류될 수 있다. 주의도에 대한 다른 등급 및 분류가 고찰된다. 일례에서, 캡처된 이미지 데이터가 사용자가 캡처 장치의 시계로부터 멀리 이동했다는 것을 가리키는 경우 또는 사용자의 머리가 콘텐츠를 제공하는 장치로부터 돌려졌을 경우 주의도(74)는 "낮은" 것으로 판단될 수 있다. 마찬가지로, 사용자의 얼굴 표정이 지루함을 나타냈거나 사용자의 음성 응답이 하품을 나타냈을 경우 주의도(74)는 "낮은" 것으로 판단될 수 있다. 예컨대 캡처된 이미지 데이터가 사용자가 콘텐츠를 수신하는 동안 문턱 시간 비율 동안 캡처 장치의 시계로부터 멀리 이동했다는 것을 가리키는 경우 주의도(74)는 "중간"으로 판단될 수 있다. 문턱 시간 비율은 한 구현예에서 컴퓨팅 장치(12)에 의해 미리 정해질 수 있다. 마찬가지로, 사용자가 콘텐츠의 지속기간 동안 캡처 장치의 시계 안에 있었고, 콘텐츠를 제공하는 장치를 마주하였고/거나 콘텐츠를 제공하는 장치를 향해 기울였다면 주의도(74)는 "높은 것"으로 판단될 수 있다. 주의도(74)는 또한 사용자가 노래하거나, 흥얼거리거나, 박수치거나 어떤 다른 열광적 소리 반응을 보일 경우 높은 것으로 설정될 수 있다.
위에서 논의된 것과 같이 주의도에 대한 낮음, 중간, 또는 높음의 분류 중 하나를 판단하는데 사용되는 제스처들, 움직임들, 얼굴 표정들 및 소리 반응들의 유형들은 예시적 목적을 위한 것이라는 것을 알아야 한다. 제스처, 움직임, 얼굴 표정 및 소리 반응의 다른 조합들 역시 다른 실시예들에서, 수신된 콘텐츠에 대한 사용자의 반응을 판단하는 데 사용될 수 있다. 또한, 사용자의 주의도는 다른 실시예들에서 셋 미만이나 이상의 등급들로서 각각이 가변하는 주의 정도를 가지는 것들로 분해될 수 있다는 것을 알 수 있다.
다시 도 1을 참조할 때, 환경(5)은 예컨대, 실시예들에서 모바일 전화, 태블릿 컴퓨터 또는 다른 모바일 기기들일 수 있는 랩탑(80) 및 모바일 컴퓨팅 장치(82)와 같은 하나 이상의 추가 컴퓨팅 자치들을 더 포함할 수 있다. 환경(5)은 추가 컴퓨팅 장치들을 포함하거나, 다른 실시예들에서 컴퓨팅 장치들(80 및 82) 중 하나나 둘 모두 없이도 동작할 수 있다.
컴퓨팅 장치들(80 및/또는 82)이 시스템(10)의 컴퓨팅 장치(12)에 더하여 제공되는 경우, 다양한 컴퓨팅 장치들이 서로와 짝을 이루거나, 다른 경우 서로 정보를 교환할 수 있도록 유효하게 연결되어, 애플리케이션의 실행을 공유하고 한 장치로부터 다른 장치로 콘텐츠를 핸드오프할 수 있다. 이러한 유효 연결을 가능하게 하는 시스템에 대한 추가 세부내용들이 여기에 참조의 형태로 전체가 병합되는 2010년 6월 22일 "쌍을 이룬 장치들의 상호동작을 위한 시스템(System for Interaction of Paired Devices)"이라는 발명의 명칭으로 출원된 미국 특허 출원 제12/820,982호에 기술된다. 랩탑(80), 모바일 기기(82) 또는 다른 컴퓨팅 장치들이 환경(5)에 들어오고 나갈 수 있다. 실시예들에서 환경(5)은 시스템(10)만을 포함할 수 있다.
본 기술의 실시예들에서, 사용자가 프로파일(40) 안에 설정한 사용자 선호도(42)에 기반하여 맞춤화된 콘텐츠가 자동으로 선택되어 한 명 이상의 사용자들에게 추천된다. 사용자 선호도는 사용자가 수신하고 싶어하는 것이 어떤 콘텐츠이고 어떤 조건 하에서 콘텐츠가 수신되어야 하는지(가령, 사용자가 혼자이고 그룹에 속하지 않을 때에만)에 대해 특정된 광범위한 선호도를 가질 수 있다. 사용자 선호도는 또한 콘텐츠가 사용자에게 어떻게 디스플레이되어야 하는지를 설정할 수도 있다. 예를 들어 사용자가 혼자일 때 그는 자신의 이메일을 디스플레이(14) 상에서 보고 싶어할 수 있지만, 다른 사람들이 참석할 때 그는 랩탑(80)과 같은 보다 개인적인 장치에서 자신의 이메일을 보고 싶어할 수 있다. 이하에서는 사용자가 수신하는 콘텐츠를 제어하기 위해 사용자에 의해 설정될 수 있는 사용자 선호도 및 제공되는 조건에 대한 몇 가지 예들이 기술된다. 시스템(10)의 각각의 사용자는 자신들의 프로파일(40)과 그들 자신의 사용자 선호도(42)를 특정하여 저장할 수 있다.
사용자 선호도(42)는 콘텐츠 선호도(84)의 특정, 사용자가 수신하고 싶어하는 콘텐츠 유형들의 특정을 포함할 수 있다. 콘텐츠 선호도는 예컨대 사용자가 이메일, 일정표, 소셜 상호동작 웹사이트, 포토 앨범과 같은 개인적 콘텐츠, 및/또는 영화, 뉴스 피드, 음악 및 기타 멀티미디어 콘텐츠를 수신하고 싶어한다는 지시를 포함할 수 있다. 콘텐츠 선호도는 사용자가 관심있어 하는 콘텐츠의 광범위한 카테고리들, 랜덤하게나 사용자에 의해 특정된 어떤 관련 기준을 통해 그 카테고리들 안에서 어떤 시점에 콘텐츠가 선택될 수 있는지를 특정할 수 있다. 사용자는 또한 가령 게임 애플리케이션, 자신들의 이메일, 또는 자신들이 가장 좋아하는 텔레비전 프로그램으로부터의 콘텐츠와 같이 수신하고 싶어하는 특정 콘텐츠를 지정할 수 있다. 실시예들에서 콘텐츠 선호도(84)는 부모의 통제나 사용자가 수신하지 못하거나 수신할 수 없는 콘텐츠에 대한 어떤 다른 규정을 포함할 수 있다. 콘텐츠는 광범위한 다른 분류 및 기준에 따라 콘텐츠 선호도(84)에 특정될 수 있다는 것을 알 수 있다.
사용자 선호도(42)는 사용자가 특정 콘텐츠를 수신하고 싶어하는 장치들을 의미하는 장치 선호도(86)의 사양을 더 포함할 수 있다. 예를 들어 사용자는 자신들이 디스플레이(14) 상에 자신들의 비디오 콘텐츠를, 랩탑(80) 상에 자신들의 이메일을, 자신들의 모바일 기기(82) 상에 텍스트 메시지들을, 그리고 지정 사운드 시스템를 통해 음악을 수신하고 싶어한다는 것을 특정할 수 있다. 장치 선호도(86)는 콘텐츠 선호도(84)에 특정된 각각의 콘텐츠나 콘텐츠 유형에 대해 설정할 수 있다. 사용자는 주어진 콘텐츠가 장치 선호도(86)에 특정된 장치 상에만 디스플레이되어야 한다는 것을 특정할 수 있다. 다른 대안으로서 사용자는 기본 선호도, 및 자신들의 기본 장치가 자신들의 선택 콘텐츠를 디스플레이할 수 없을 때의 하나 이상의 백업 선호도들을 특정할 수 있다. 소정 콘텐츠에 대해 아무 장치 선호도가 설정되어 있지 않으면, 그 콘텐츠를 제공하기 위해 이용 가능한 최적의 장치를 선택하는 디폴트 설정에 기반하여 그 콘텐츠가 제공될 수 있다. 사용자들은 통상적으로 멀티태스킹을 할 수 있는 바, 이는 그들이 여러 특정 장치들 상에 여러 콘텐츠 피드들을 동시에 수신하도록 자신들의 선호도를 설정할 수 있다는 것을 의미한다.
사용자는 사용자 선호도(42) 안에 시간 기반의 선호도(88)를 더 특정할 수 있다. 시간 기반의 선호도는 사용자가 콘텐츠 선호도(84)에 특정된 콘텐츠를 수신하고 싶어할 때와 관련된다. 다른 시간대에 수신할 다른 콘텐츠가 특정될 수 있다. 예를 들어 일하기 전 평일 아침마다, 사용자는 디스플레이(14) 상에 시사 이벤트에 대한 뉴스 피드 및 자신들의 일정을 수신하고 자신들의 모바일 기기(82) 상에 자신들의 이메일을 수신하는 것과 같은 제1설정 그룹을 가질 수 있다. 평일 저녁마다 사용자는 그 날의 사진들 및 가능하다면 영화와 같은 수동적 멀티미디어를 수신하는 것과 같은 제2설정 그룹을 가질 수 있다. 주말마다 사용자는 예컨대, 하나 이상의 공공 일정들로부터 레크리에이션 활동들에 대한 통지를 수신하기 위한 제3설정 그룹을 가질 수 있다. 위의 내용은 예로 든 것으로, 사용자가 어떤 콘텐츠가 언제 수신되어야 하는지에 대한 임시 선호도의 어떤 계획을 정의할 수 있다는 것을 예상할 수 있다.
사용자 선호도(42)는 단독 대 그룹 기반 선호도(90)를 더 포함할 수 있다. 사용자가 자신들이 혼자일 때 제1방식으로 자신들이 혼자가 아닐 때 다른 방식인 제2방식으로 콘텐츠를 경험하고 싶어하는 일이 일어날 수 있다. 그것은 그들이 자신들이 혼자일 때 공용 디스플레이(14) 상에 개인적 콘텐츠를 디스플레이하고 싶어 하지만, 다른 이들이 방 안에 있을 때 랩탑(82)과 같은 보다 개인적인 디스플레이 상에서 그 콘텐츠를 보고 싶어할 수 있다는 것일 수 있다. 이러한 선호도는 예컨대, 사용자가 해당 콘텐츠가 다른 이들에게 흥미로운 것이 되지 않을 때 공용 디스플레이(14) 상에 디스플레이되는 콘텐츠를 가지고 타인들을 불편하게 하고 싶어하지 않은 경우와 같이, 프라이버시 문제와 무관할 수 있다. 이유를 불문하고, 사용자는 사용자 선호도(42) 안에 임의 개의 단독 대 그룹 기반 선호도(90)를 설정할 수 있다. 단독 대 그룹 기반 선호도(90)는 다른 사용자 선호도 안에 기술된 콘텐츠 제공이 사용자가 혼자인지 타인들이 참석하는지 여부에 기반하여 어떻게 수정될 수 있는지를 규정한다.
단독 대 그룹 기반 선호도(90)는 간단히, 환경(5) 안에서 사용자가 혼자인 경우 대 혼자가 아닌 경우를 구별하는 설정을 가질 수 있다. 다른 대안으로서, 단독 대 그룹 기반 선호도(90)는 사용자가 방 안에 다른 누군가가 존재하는지 여부 만이 아니라 그 추가 인원이나 인원들이 누구인지에 기반하여 다른 콘텐츠 제공 선호도를 설정할 수 있게 하는 보다 큰 계획을 가질 수 있다. 따라서 사용자는 그들이 혼자일 때 콘텐츠 전달에 대한 디폴트 선호도, 한 명 이상의 사람들의 제1그룹이 있을 때의 제1대안 설정, 한 명 이상의 사람들의 제2그룹이 존재할 때의 제2대안 설정 등을 설정할 수 있다.
광범위한 가능한 예들 중 하나로서, 사용자는 그들이 혼자일 때 디스플레이(14) 상에 트위터 피드나 자신들의 이메일을 디스플레이하는 사용자 설정을 가질 수 있다. 가령 한 명 이상의 친구들과 같이 규정된 개인들의 제1그룹으로부터 한 사람이 방안으로 들어갈 때, 이메일은 디스플레이(14)로부터 랩탑(80)으로 이동할 수 있는 한편 트위터 피드는 그대로 디스플레이(14)에 남아 있게 된다. 예컨대 부모와 같이 규정된 개인들의 제2그룹으로부터 한 사람이 이어서 방안에 들어갈 때, 트위터 피드는 공용 디스플레이로부터 사용자의 모바일 기기(82)로 이동하거나 트위터 피드가 전부 꺼져버릴 수 있다. 이 예에서, 사용자가 혼자 트위터 피드 및 이메일을 공용 디스플레이(14) 상에서 보고 있었을 경우 제2그룹으로부터 한 사람이 걸어 들어가면, 이메일은 랩탑(80)으로 이동하고 트위터 피드 또한 사용자의 모바일 기기로 이동할 수 있다. 이 예시 역시 단지 예일 뿐이며, 사용자는 단독 대 그룹 기반 선호도(90)의 어떤 변형을 자유롭게 정의한다. 상기 예에서 사용자는 다른 누군가 방에 들어왔을 때 공용 디스플레이(14)로부터 보다 사적인 디스플레이로 콘텐츠를 이동하였다. 그 반대 역시 가능하므로, 사용자는 사적인 스크린 상에서 콘텐츠를 경험할 수 있고, 사용자는 주어진 개인들의 그룹이 방으로 들어갈 때 보다 공적인 디스플레이(14)로 콘텐츠를 이동함으로써 이들이 모두 보다 쉽게 콘텐츠를 경험할 수 있도록 단독 대 그룹 기반 선호도(90) 내 선호도를 설정할 수 있다.
위에서 나타낸 바와 같이, 사람들은 보통 자신들의 셀룰라 전화기와 같은 모바일 기기를 휴대하며, 그 장치들은 환경(5) 내 장치의 범위 안에 들어올 때 환경(5) 내 다른 장치들과 짝을 이룰 수 있다. 셀룰라 전화기가 컴퓨팅 장치들(12, 80 및 82)(또는 환경(5) 내 다른 컴퓨팅 장치들) 중 하나 이상의 범위 안에 들어올 때, 그것은 방에 들어온 다른 사람에 대한 지시를 제공하고, 그에 따라 단독 대 그룹 기반 선호도(90) 안에 설정된 선호도들 중 하나 이상을 유발할 수 있다. 이것은 예컨대, 사용자가 캡처 장치(20)의 카메라들의 시계에 들어오거나 캡처 장치(20)의 마이크로폰(30)의 범위 안에 들어오는 것과 같은 다른 방식들을 통해서도 발생할 수 있다. 이러한 메커니즘들은 새로운 사람을 식별할 수도 있다. 다른 방법들 및 메커니즘들이 언제 다른 사람이 방으로 들어가는지를 판단하는 데 사용될 수 있고, 이들 중 적어도 일부는 들어간 사람의 신원을 판단할 수도 있다.
새로운 사람이 방으로 들어가서 단독 대 그룹 기반 선호도(90) 내 어떤 설정에 따른 콘텐츠 전달의 변경을 유발할 때, 시스템은 사용자가 변경이 이뤄지는 것을 원하는지 여부를 확인하도록 사용자를 프롬프팅할 수 있다. 다른 대안으로서, 변경은 단순히 시스템 프롬프트 없이 자동으로 일어날 수 있다. 시스템 프롬프트가 우선 혹은 단순히 콘텐츠를 변경하는지 여부가 사용자에 의해 설정될 수 있다.
특정될 수 있는 다른 사용자 선호도는 감정 기반 사용자 선호도(92)이다. 위에서 기술된 바와 같이, 본 기술의 실시예들은 사용자의 분위기나 감정 상태를 검출할 수 있다. 감정 기반 사용자 선호도(92)는 예컨대 분위기/감정 상태(72)에 의해 지시된 바와 같이 사용자가 사용자의 분위기나 감정 상태에 기반하여 콘텐츠 전달 선호도를 설정할 수 있게 한다. 광범위한 사용자 선호도들 중 어느 하나가 감정 기반 사용자 선호도(92)에 대해 설정될 수 있다는 것을 알 수 있다. 사용자는 분위기/감정 상태(72)의 하나 이상의 카테고리들 각각에 대해 특정 노래 또는 비디오와 같은 특정 콘텐츠를 지정할 수 있다. 예를 들어 사용자가 슬퍼하는 경우, 그는 자신이 좋아하는 노래를 듣고 싶어하거나 기분을 고양시키는 영화를 보고 싶어하거나 자신이 가장 좋아하는 게임을 하고 싶어할 수 있다. 사용자가 화가 나 있을 때, 그는 진정시키는 콘텐츠를 원할 수 있다. 주어진 분위기/감정 상태의 검출을 위해, 사용자는 특정 콘텐츠를 설정하거나 무작위로나 사용자에 의해 특정된 어떤 관련 기준을 통해 특정 콘텐츠가 선택되는 콘텐츠의 광범위한 분류를 특정할 수 있다. 사용자는 다른 대안으로서 분위기/감정 상태들을 함께 그룹화함으로써, 그룹 내 어떤 분위기/감정 상태가 상태(72)로 나타내질 때 특정된 콘텐츠가 전달되도록 할 수 있다.
위에서 언급한 바와 같이, 감정 상태들은 소정 자극에 대한 일시적이고도 임시적인 반응 이상의 것이 될 수 없으며, 분위기는 보다 지속적인 경향을 가진다. 그에 따라, 다른 대안적 실시예들에서 감정 기반 사용자 선호도(92)에 규정된 선호도들은 분위기 검출에 기반하며 감정 상태에 기반하지 않을 수 있다. 그런 식으로 시스템은 감정 상태의 변화가 검출될 때마다 새로운 콘텐츠를 끊임없이 추천하지는 않는다. 실시예들에서 본 시스템은 감정 상태가 유지되는 시간의 길이에 기반하여 분위기와 감정 상태 사이를 구별할 수 있다. 감정 상태가 소정 시간 동안 유지될 경우, 그것은 분위기로 간주될 수 있다.
프로파일(40) 안의 다른 사용자 선호도는 학습된 선호도(94)일 수 있다. 이들은 사용자에 의해 설정되지 않고 사실상 환경(5) 내 하나 이상의 컴퓨팅 장치들에 의해 학습되어 사용자 선호도(42)에 추가되는 선호도들이다. 예를 들어 시스템은 시간에 걸쳐, 소정 시간대나 소정 분위기에 있을 때 사용자가 통상적으로 특정 콘텐츠 또는 특정 카테고리로부터의 콘텐츠를 구한다는 것을 학습할 수 있다. 시스템은 시간에 걸쳐 어떤 장치들이 특정 콘텐츠에 대해 사용되는지를 학습할 수 있다. 이렇게 시간에 걸쳐 학습된 선호도들은 학습된 선호도(94)로서 사용자 선호도(42)에 자동으로 추가될 수 있다. 당연히, 사용자는 학습된 선호도들이 추가될 수 있는 정도 및 추천되고 학습된 특정 선호도들이 학습된 선호도(94)에 추가되는지 여부를 제어할 수 있다. 실시예들에서, 학습된 선호도들은 생략되거나 사용자가 학습된 선호도(94)를 완전히 불능화시킬 수 있다.
상기 규정된 사용자 선호도의 등급들은 다만 예일 뿐이며, 그들 중 하나 이상은 다른 실시예들에서 생략될 수 있다. 다른 사용자 선호도 등급들 역시 정의되어 사용자 선호도(42) 내 상술한 것들에 추가되거나 그 대신에 사용될 수 있다는 것을 알 수 있다.
사용자 선호도들을 제공하는 것 외에, 사용자는 그 사용자 선호도들이 어떻게 어떤 우선순위의 순서로 적용되어야 하는지에 대한 계층을 더 정의할 수 있다. 많은 다양한 가능성들 중 하나로서, 사용자는 콘텐츠 선호도(84), 장치 선호도(86), 시간 기반 선호도(88), 및 단독 대 그룹 기반 선호도(90)(이들 각각은 서로 협력하여 구현될 수 있음)에 따라 콘텐츠가 전달되어야 하는 경우의 디폴트를 특정할 수 있다. 사용자는 예를 들어, 하나 이상의 분위기/감정 상태들이 검출되는 경우, 그것이 콘텐츠 선호도(84), 장치 선호도(86), 시간 기반 선호도(88), 및 단독 대 그룹 기반 선호도(90) 중 하나 이상을 대체하여 콘텐츠가 분위기/감정 상태 선호도(92)에서 규정된 방식으로 제공되도록 한다는 것을 더 특정할 수 있다. 이러한 구현은 단지 예로 든 것으로, 다른 다양한 계층들이 사용자 선호도 안에서 규정될 수 있다.
사용자는 사용자의 콘텐츠 제공 선호도들이 환경(5) 안에서 역시 하나 이상의 장치들을 사용하년 제2사용자의 사용자 선호도들과 충돌하는 경우 사용되는 우선순위 설정(96)을 더 정의할 수 있다. 일례에서 사용자는 한 명 이상의 다른 사용자들, 충돌의 경우 어떤 사용자 선호도들이 두 사용자들 사이에 주어지는 우선순위가 되어야 하는지를 특정할 수 있다. 예를 들어 제1 및 제2사용자들이 있을 때, 둘 모두는 자신들의 사용자 선호도들이 상대에 비해 우선순위가 주어져야 한다고 정의할 수 있다. 이 경우 우선순위 설정(96)이 충돌을 해소하지 못할 것이다. 여기서, 시스템은 청각 및/또는 시각적 프롬프트를 제공하여 사용자들이 어떻게 충돌 해소를 원하고 어떤 콘텐츠를 제공할지를 사용자들에게 특정할 것을 요청할 수 있다.
이하에 설명하는 바와 같이, 본 기술의 목적은 사용자들이 둘 다 (혹은 모두) 환경(5)과 상호동작하고 있을 때 사용자들 사이에 공통 관심사를 찾고 식별된 공통성과 부합되는 콘텐츠를 제공하는 것이다. 이하에 설명하는 바와 같이, 먼저 충돌이 찾아질 수 있고, 찾으면 사용자의 우선순위 설정(96)에 의해 해소될 수 있다. 그런 다음 시스템은 공통성을 찾을 수 있다.
둘 이상의 사용자들 사이의 충돌이 그들 각자의 사용자 선호도로부터 비롯되는 경우, 시스템은 그 충돌을 해소하기 위해 먼저 사용자들 각자의 우선수위 설정(96)에 기대할 수 있다. 그러나, 사용자들의 우선순위 설정(96)이 그 충돌을 해소하지 못하는 일이 일어날 수 있다. 사용자들이 우선순위 설정이나 소정 충돌에 적용하는 우선순위 설정을 가지지 않을 수 있다. 이와 달리, 상술한 바와 같이 개별 사용자들의 우선순위 설정(96)이 모순되는 방식으로 충돌을 해소할 수 있다(예컨대 양자가 모두 자신들의 콘텐츠가 우선권을 가지도록 특정함). 이 경우, 시스템은 청각 및/또는 시각적 프롬프트를 제공하여 사용자들이 어떻게 충돌 해소를 원하고 어떤 콘텐츠를 제공할지를 사용자들에게 특정할 것을 요청할 수 있다.
상술한 우선순위들을 이용하여, 컴퓨팅 장치(12)(또는 환경(5) 내 또 다른 컴퓨팅 장치)는 환경이 사용자가 존재한다고 식별할 때 사용자에게 제공될 콘텐츠를 자동으로 선택할 수 있다. 시스템은 콘텐츠를 제공하기 전에 콘텐츠 추천을 통해 사용자를 촉구시킬 수 있다. 다른 대안으로서 시스템은 단순히 사용자 선호도(42)에 지시된 대로 사용자의 선호성향에 가장 잘 맞춰진 콘텐츠를 제공할 수 있다. 위에서 나타낸 바와 같이, 추천을 통해 사용자를 촉구할지 간단히 콘텐츠를 제공할지 여부는 사용자 선호도에 의해 설정될 수 있다.
언급한 바와 같이, 사용자 선호도(42)는 환경(5)과 상호작용하는 각각의 사용자(18)에 대해 규정될 수 있다. 실시예들에서 그룹 사용자 선호도(98)가 더 규정될 수 있다. 사용자는 우선 그룹 멤버들을 규정하고, 이어서 시스템이 그 그룹 구성원들이 존재한다고 검출할 때 (상기 규정된 사용자 선호도 등급들 중 하나 이상에 따른) 그 그룹으로 어떤 콘텐츠가 어떻게 언제 전달되어야 할지를 규정할 수 있다. 따라서, 예컨대 남편(18b)이 자신의 아내(18a)와 자신이 존재할 때 그들을 위한 그룹 선호도(98)에 제1그룹 설정을, 자신의 딸(18c)과 자신이 존재할 때 그들을 위한 그룹 선호도(98)에 제2그룹 설정을, 셋 모두가 존재할 때 선호도(98)에 제3그룹 설정을 규정할 수 있다. 광범위한 다른 사용자 그룹들이 친구들, 게임 파트너들 및 다른 사용자 그룹들 사이에서 규정될 수 있다.
두 명의 다른 사용자들이 동일한 그룹 멤버들을 가지는 그룹들을 규정하지만 공통으로 규정된 그룹에 대해 서로 다른 사용자 선호도 설정을 가지는 경우가 있을 수 있다. 여러 명의 사용자들이 존재하고 하나의 사용자가 사용자들 중 일부나 전부를 커버하는 그룹 규정을 가지지만 다른 그룹 멤버는 그렇지 않은 경우가 있을 수도 있다. 그룹이 존재할 경우 다른 가능성들도 존재할 수 있으나, 그룹을 전체로서 커버하는 일관된 그룹 선호도(98) 설정은 존재하지 않는다. 이러한 경우들에서, 우선순위 설정(96)이 충돌을 해소하기 위해 상술한 바와 같이 사용될 수 있고, 아니면 사용자들이 충돌을 해소하도록 촉구될 수 있다. 시스템은 또한 그룹 멤버들 사이의 공통성을 찾을 수 있고, 만일 찾게되면 모두가 수신하고 싶어할 수 있는 콘텐츠를 추천할 수 있다.
본 기술의 다양한 실시예들의 동작을 보인 흐름도들이 지금부터 도 4a 내지 도 6b를 참조하여 설명될 것이다. 도 4a 및 4b의 실시예에서, 시스템은 한 명 이상의 사용자들의 식별에 기반하여 콘텐츠를 맞춤화한다. 이 실시예는 분위기/감정 상태(72) 또는 사용자 주의도(74)를 참작하지 않는다. 도 5a 및 5b는 사용자를 위해 콘텐츠를 맞춤화할 때 사용자 식별 및 분위기/감정 상태(72) 둘 모두를 참작하는 실시예를 도시한다. 도 6a 및 6b는 사용자에게 콘텐츠를 추천할 때 사용자 주의도(74)를 참작하는 실시예를 도시한다.
이제 도 4a를 참조하면, 단계 150에서 환경(5) 내 컴퓨팅 장치들 중 하나 이상이 이 예에서 사용자 A로 칭하는 사용자의 존재를 검출한다. 이것은 예컨대 환경(5) 내 한 장치와 짝을 이루는 사용자나 상술한 바와 같이 캡처 장치(20)에 의해 검출되는 사용자에 의해 휴대되는 장치에 의해 검출될 수 있다. 단계 152에서 시스템은 사용자 A의 신원을 판단하고자 시도할 수 있다. 실시예들에서 이것은 상술한 바 및/또는 다른 식별 메커니즘들을 통해 식별자(70)(도 2)로서 판단되어 저장될 수 있다. 시스템이 사용자 A를 식별할 수 없으면, 사용자 A에 대한 콘텐츠 맞춤화는 일어나지 않으며(단계 154) 본 시스템에 의한 콘텐츠 맞춤화는 수행되지 않을 것이다.
사용자 A가 단계 152에서 식별되면, 시스템은 이어서, 사용자에게 맞춤화된 콘텐츠 및 그것이 제공되는 방식을 식별하기 위해 사용자 A에 대한 사용자 선호도(42)를 검색할 수 있다(단계 158). 콘텐츠에 대해 어떤 사용자 선호도도 식별되지 않으면(단계 162) 사용자 A에 대한 어떤 콘텐츠 맞춤화도 일어나지 않으며(단계 154) 콘텐츠 맞춤화가 수행되지 않는다. 콘텐츠가 식별된다고 가정할 때(단계 162), 시스템은 콘텐츠를 제공하는 데 사용할 수 있는 장치가 존재하는지 여부를 확인한다(단계 164). 존재하지 않으면, 시스템은 사용자 A에게 통지하고 장치가 사용가능하게 될 때까지 기다릴 수 있다. 다른 대안으로서, 사용자 A에 대한 콘텐츠 맞춤화가 수행되지 않을 수 있다(단계 154). 다른 이들의 콘텐츠가 이용 가능한 장치 상에 이미 디스플레이되고 있어서 사용가능한 장치가 없는 경우, 충돌 해소 단계들이 상술한 바와 같이 수행될 수 있다.
맞춤화된 콘텐츠가 식별되고(단계 162) 하나 이상의 장치들이 사용가능하다고(단계 164) 가정하면, 맞춤화된 콘텐츠가 사용자에게 추천된다(단계 166). 허용 시, 상기 콘텐츠는 사용자 A의 선호도에 따라 사용자에게 제공된다(단계 170). 상술한 바와 같이, 식별된 콘텐츠를 제공 전 추천하는 대신, 식별된 콘텐츠가 그냥 콘텐츠를 제공할 수 있게 하는 것이 고찰된다.
단계 174에서 시스템은 한 명 이상의 추가 사용자들이 방(또는 환경(5)에 대한 다른 설정)으로 들어갔는지 여부를 확인한다. 그런 경우, 시스템은 도 4b와 관련하여 이하에서 기술되는 단계(180)를 수행한다. 아무 추가 사용자들도 검출되지 않으면, 시스템은 제공된 콘텐츠가 마지막에 도달했는지 여부를 확인한다(단계 176). 추천된 콘텐츠가 마지막에 도달한 경우(단계 176), 시스템은 단계 158로 돌아가 다른 추천 콘텐츠를 찾도록 할 수 있다. 나타내지는 않았으나 당연히 사용자는 그들이 수신하는 콘텐츠를 어느 때든 수동으로 중단시키거나 변경할 수 있다.
한 명 이상의 사용자들이 검출되면(단계 174) 시스템은 예컨대 상술한 바와 같은 캡처 장치(20)를 통해 한 명 이상의 새 사용자들을 검출한다(단계 180). 단계 184에서, 시스템은 사용자 A가 생성한 어떤 단독 대 그룹 기반 사용자 선호도(90)를 적용한다. 상술한 바와 같이, 이것은 제공된 콘텐츠에 대한 변경 및/또는 콘텐츠가 제공되는 방식에 대한 변경을 낳을 수 있다.
단계 186에서 시스템은 상술한 바와 같이 새로운 사용자(들)이 식별될 수 있는지 여부를 판단한다. 그렇지 못하면, 새로운 사용자들을 고려한 콘텐츠의 어떤 추가 맞춤화도 수행되지 않으며, 시스템은 도 4a의 단계 176으로 돌아가서 현재 제공된 콘텐츠가 끝났는지를 검토한다. 한 명 이상의 새로운 사용자들이 식별된다고 가정할 때(단계 186), 시스템은 사용자 A가 이때 존재하는 사용자들의 그룹에 적용하는 정책을 가지고 있는지 여부를 확인한다. 가지고 있으면, 식별된 그룹 정책에 따라 콘텐츠가 제공될 수 있다(단계 190).
단계 192에서 시스템은 사용자들 중 한 명 이상의 사용자 선호도들의 충돌이 존재하는지 여부를 판단한다. 존재하는 경우, 충돌이 해소되고(단계 196), 결정된 콘텐츠가 제공될 수 있다(단계 198). 위에서 논의된 바와 같이 충돌은 사용자들의 사용자 선호도(42) 내 우선순위 설정(96)에 따라 해소될 수 있다. 다른 대안으로서, 시스템이 충돌을 어떻게 해소할지에 관해 사용자들을 촉구할 수 있다. 많은 가능한 시나리오들 중 하나로서, 도 1의 사용자(18b)가 예컨대 자신의 이메일과 같은 콘텐츠를 수신할 수 있다. 사용자(18a)가 그 사람과 합류할 때, 사용자(18a)는 사용자들(18a 및 18b)이 어쩌면 저녁에 함께 있을 때 그들이 영화와 같은 수동 콘텐츠를 수신하고 싶어할 경우의 정책을 가질 수 있다. 사용자(18c)가 그들과 합류할 때, 사용자(18c)는 자신이 "R" 등급의 영화를 시청할 수 없다는 것을 나타내는 정책을 가질 수 있다. 사용자들(18a 및 18b)이 "R" 등급 영화를 시청하고 있었을 경우, 시스템은 셋 모두가 함께 시청할 수 있는 예컨대 "PG" 영화 또는 스포츠 이벤트와 같은 새로운 콘텐츠를 추천할 수 있다. 이러한 예시는 단지 예로 든 것일 뿐이며, 광범위한 다른 시나리오들 중 어느 하나가 충돌 신원 및 해소 단계들(192, 196 및 198)에 따라 구현될 수 있다는 것을 예상할 수 있다.
아무 충돌도 검출되지 않으면(단계 192), 시스템은 참석한 모든 사용자들의 사용자 프로파일들에서 사용자들 사이의 공통성을 검색할 수 있다(단계 200). 공통성이 식별되면(단계 202), 시스템은 모든 사용자들이 즐길 수 있는 콘텐츠를 추천할 수 있다(단계 206). 일례로서, 시스템은 각각의 사용자가 관심을 가진 것으로서 공통적으로 규정되어 있는 콘텐츠를 시도 및 식별하기 위해 각각의 사용자에 대한 사용자 선호도(42) 내 콘텐츠 선호도(84)를 검색할 수 있다. 예를 들어 각각의 사용자가 특정 음악가, 앨범 또는 노래를 공통적으로 특정했을 수 있고, 이 경우 그 콘텐츠가 사용자들에게 추천될 수 있다. 각각의 사용자는 동일한 게임을 즐길 수 있고, 이 경우 시스템은 그 게임을 사용자들에게 추천할 수 있다. 각각의 사용자가 특정 배우나 영화를 공통적으로 특정했을 수 있고, 이 경우 시스템은 모두가 즐길 수 있는 영화를 추천할 수 있다. 각각의 사용자에 대한 사용자 프로파일들은 하이킹에 대한 공통 관심사를 나타낼 수 있고, 이 경우 하이킹 콘텐츠가 사용자들에게 제공될 수 있다. 다른 광범위한 공통성들이 잠정적으로 식별될 수 있다는 것을 알 수 있다.
사용자들은 사용자 선호도(42) 외에 그들의 사용자 프로파일(40) 안에 그들 자신들에 대한 많은 양의 정보를 가질 수 있다. 실시예들에서 시스템은 일반적으로 (모든 프라이버시 설정을 존중하면서) 사용자들 사이의 공통성을 식별하기 위해 자신들의 프로파일들(40)을 검색하는 사용자 선호도(42)의 범위를 넘을 수 있다. 그에 따라, 예컨대 시스템은 모든 사용자들이 같은 고향 출신이라거나 같은 학교를 나왔다는 것을 판단하여 그 발명 대상에 대한 콘텐츠 제공을 제시할 수 있다.
단계 210에서 추천된 콘텐츠가 그룹에 의해 수용된 경우 제공될 수 있다. 수용되지 않거나 아무 공통성이 식별되지 않으면, 시스템은 사용자 A에게 제공되고 있었던 콘텐츠를 계속해서 제공할 수 있다. 이와 달리 사용자들이 다른 콘텐츠를 선택할 수도 있다. 그룹 내 일부 사용자들에 대해서만 공통성이 발견된 경우, 이 공통성에 기반한 콘텐츠가 추천될 수도 있다(단계 206).
단계 212에서, 시스템은 한 명 이상의 추가 사용자들이 환경을 떠나서 사용자 A가 다시 혼자인지를 판단할 수 있다. 그런 경우, 시스템은 사용자 A가 혼자일 때 맞춤화된 콘텐츠에 대한 사용자 A의 사용자 선호도를 검색하는 단계(158, 도 4a)를 다시 수행할 수 있다. 사용자 A가 혼자가 아니면(단계 212), 시스템은 특정 전달 콘텐츠가 끝났는지 여부를 확인할 수 있다(단계 214). 그런 경우, 시스템은 사용자들이 공통으로 공유할 수 있는 또 다른 콘텐츠를 찾는 단계(200)를 다시 수행할 수 있다. 시스템은 사용자가 다시 혼자인지를 검출하는 단계(212) 및 콘텐츠가 끝났을 때를 검출하는 단계(214) 사이에서, 그 판단들 중 하나가 긍정이 될 때까지 루프를 돌 수 있다.
도 4a 및 4b에서 기술된 단계들은 사용자를 식별하고 사용자에 의해 정의된 하나 이상의 사용자 선호도들을 액세스함으로써 사용자에게 제공할 콘텐츠가 맞춤화될 수 있는 실시예를 예시하기 위해 예로 든 것이다. 본 기술의 또 다른 실시예들에서 상기 단계들 중 하나 이상이 생략되거나 다른 순서로 수행될 수 있고, 혹은 다른 단계들이 추가될 수 있다.
도 5a 및 5b와 관련하여 이제 기술되는 실시예는 도 4a 및 4b의 실시예와 유사하며, 감정 상태에 대한 시각적 시지자들이 검출될 수 있고 감정 기반의 사용자 선호도(92)가 검출될 수 있다는 추가사항을 가진다. 시스템은 여기서 사용자의 감정 상태에 적어도 일부에 기반하여 사용자에게 맞춤화된 콘텐츠를 제공할 수 있다. 도 5a 및 5b는 사용자 A를 검출하는 단계(220) 및 사용자 A를 식별하고자 시도하는 단계(224)로 시작한다. 사용자 A가 식별되면(단계 224), 시스템은 이어서 사용자의 분위기 및/또는 감정 상태를 식별한다(단계 230). 분위기 및/또는 감정 상태는 분위기 및 감정에 대한 시각적 지시자들을 측정하는 사용자 분위기/감정 상태(72)에 의해 제공될 수 있다.
분위기 및/감정 상태는 다른 실시예들에서 다른 메커니즘으로 제공될 수 있다. 예를 들어 정황적 징후 역시 분위기나 감정을 설정하거나 확인하는 지시자들로서 사용될 수 있다. 일례로서, 사용자의 일정표, 지역 일정표나 국가적 일정표가 사용자를 주어진 분위기에 놓게 하는 경향을 가질 수 있는 이벤트들을 보여줄 수 있다. 사용자가 생일이라는 것을 보여주는 일정 이벤트나 지역 박람회나 독립기념일임을 보여주는 일정 이벤트는 모두 사용자가 좋은 분위기 속에 있을 것이라는 유추로서 사용될 수 있다. 반대로, 슬픈 이벤트를 보여주는 일정 이벤트는 사용자가 안좋은 분위기 속에 있을 것이라는 유추로서 사용될 수 있다.
감정 상태가 판단되면(단계 230), 시스템은 사용자 A에게 제공될 콘텐츠를 결정하기 위해 사용자 A에 대한 사용자 선호도들을 검색한다(단계 232). 단계 232는 도 4a의 단계 158과 동일하나, 도 5a의 단계 232는 감정 기반 사용자 선호도(92)에 대한 고려를 포함한다는 예외를 가진다. 위에서 나타낸 바와 같이, 이러한 사용자 선호도는 콘텐츠를 사용자의 분위기 및/또는 감정 상태에 맞추기 위해 이용될 수 있다. 사용자가 행복하거나, 슬프거나, 화나거나, 흥분하거나, 겁내거나, 지루하거나 어떤 다른 분위기에 있을 때 수신하고 싶어할 수 있는 콘텐츠의 유형은 사용자마다 다를 수 있다. 사용자들은 그들이 슬프거나 화날 때, 예컨대 영화를 보는 것과 같이 좀 더 수동적이고/거나 몰입되는 경험을 특정할 수 있다. 사용자들은 그들이 행복하거나 슬프거나 할 때 소정 유형의 음악을 수신하고 싶어할 수 있다. 콘텐츠에 대한 어떤 개인적 선호도가 다른 분위기들이나 감정 상태들에 반응하여 감정 기반 사용자 선호도(92) 안에 설정될 수 있다. 따라서, 시스템이 이 상태들 중 하나를 검출할 때, 그러한 분위기/감정에 대응하는 콘텐츠가 사용자 선호도들이 어떻게 어떤 우선순위의 순서로 적용되어야 하는지 규정된 계층에 따라 사용자에게 제공될 수 있다(단계 232).
도 5a 및 5b의 흐름도들에서 나머지 단계들은 도 4a 및 4b에서 동일하게 부호가 매겨진 단계들과 동일할 수 있다. 도 5a 및 5b의 단계들은 사용자 및 사용자의 분위기/감정 상태를 식별하고 사용자의 선호도에 기반하여 사용자에게 맞춤화된 콘텐츠를 제공함으로써 사용자에게 콘텐츠가 제공될 수 있는 실시예를 예시하기 위해 예로 든 것이다. 본 기술의 또 다른 실시예들에서 도 5a 및 5b의 단계들 중 하나 이상이 생략되거나 다른 순서로 수행될 수 있고, 혹은 다른 단계들이 추가될 수 있다.
도 6a 및 6b는 콘텐츠에 대한 사용자의 주의도가 판단되고 판단된 주의도에 일부 기반하여 액션이 취해지는 다른 실시예이다. 도 6a 및 6b의 실시예는 사용자 및/또는 사용자의 감정 상태에 기반하여 맞춤화되고 자동으로 제공되는 실시예들과 함께 사용될 수 있다. 그러나, 이하에 설명되는 바와 같이, 본 시스템은 시스템이 사용자나 그들의 감정 상태를 식별할 수 없을 경우에도 사용자의 판단된 주의도에 기반하여 액션을 위할 수 있다.
이제 도 6a 및 6b를 참조하면, 단계들 중 다수가 위에서 설명한 것들과 동일하다. 단계 250에서 사용자 A가 검출되고, 단계 252에서 사용자 A가 식별된다. 상술한 실시예들과는 달리, 시스템이 사용자를 식별할 수 없을 경우, 본 실시예는 사용자가 수동으로 콘텐츠를 선택할 수 있게 하고(단계 254) 계속하게 할 수 있다. 사용자 A가 식별되면, 시스템은 어떤 콘텐츠가 사용자 A에게 전달되어야 하고 그것이 어떤 방식으로 전달되어야 하는지를 결정하기 위해 사용자 A에 대한 사용자 선호도(42)를 검색할 수 있다(단계 258). 콘텐츠가 식별되고(단계 262) 이 콘텐츠를 제공할 하나 이상의 이용 가능한 장치들이 존재하면(단계 264), 시스템은 그 콘텐츠를 추천할 수 있다(단계 266). 수용되면 그 콘텐츠가 사용자에게 제공될 수 있다(단계 270).
단계 274에서 시스템은 추가 사용자들이 존재하는지를 판단할 수 있다. 존재하면, 시스템은 도 6b의 단계 180을 수행할 수 있다. 존재하지 않으면 시스템은 사용자 주의도를 판단한다(단계 276). 특히, 위에서 논의된 바와 같이, 사용자의 주의도가 판단되고 일례에서 "낮음", "중간", 또는 "높음"으로 분류될 수 있는(다른 분류들도 가능하지만) 사용자 주의도로 식별될 수 있다.
단계 280에서 시스템은 사용자의 콘텐츠에 대한 주의도 등급이 소정 문턱치 미만인지 여부를 확인한다. 문턱치는 예컨대 중간과 낮음 사이에서, 주의도(74)에 대해 임의적으로 설정될 수 있다. 그러한 예에서, 사용자 주의도(74)가 중간 미만인 경우, 사용자는 그들이 수신하고 있는 콘텐츠를 변경하고 싶은지 여부에 대해 촉구될 수 있다(단계 286). 사용자가 수용하면(단계 288), 사용자에게 제공할 새로운 콘텐츠에 대한 사용자의 선호도가 다시 검색될 수 있다(단계 258). 여러 사용자들이 존재할 경우, 사용자들 중 어느 한 명이 그들이 콘텐츠 변경을 원한다는 지시를 제공할 수 있다는 것을 알 수 있다. 이 경우, 시스템은 위에서 설명한 바와 같이 그룹을 위한 콘텐츠를 찾을 수 있다.
한편, 사용자의 주의도(74)가 소정 문턱치 위에 있거나(단계 280) 사용자가 촉구에 대한 응답으로 현재의 콘텐츠에 머물기로 선택한 경우(단계 288), 현재의 콘텐츠가 유지될 수 있다. 이 경우, 시스템은 콘텐츠가 끝났는지 여부를 확인한다(단계 282). 끝났으면, 새로운 콘텐츠가 선택된다(단계 258). 시스템은 새로운 콘텐츠를 검사하는 단계(단계 282)와 추가 사용자들을 찾는 단계(단계 274) 사이에서 루프를 돌면서, 루프 중에 주의도(74)가 문턱치 미만으로 떨어졌는지 여부를 확인한다(단계 280).
실시예들에서, 문턱치는 시간적 요소를 포함할 수 있는데, 이것은 시스템이 사용자가 그들이 콘텐츠를 변경하고 싶어하는지에 대해 촉구받기(단계 286) 전에 문턱치 미만의 주의도(74)에 대한 여러 경우들을 검출해야 한다(단계 280)는 것을 의미한다. 주의도(74)가 문턱치 미만(또는 평균 미만)이어야 하는 시간 길이는 임의로 설정될 수 있고 다른 실시예들에서 변경될 수 있다.
도 6a 및 6b의 흐름도들에서 나머지 단계들은 도 4a 및 4b에서 동일하게 부호가 매겨진 단계들과 동일할 수 있다. 도 6a 및 6b의 단계들은 수신되는 콘텐츠에 대한 사용자의 주의도를 식별함으로써 콘텐츠가 사용자에게 제공되기 위해 맞춤화될 수 있는 실시예를 예시하기 위해 예로 든 것이다. 본 기술의 또 다른 실시예들에서 도 6a 및 6b의 단계들 중 하나 이상이 생략되거나 다른 순서로 수행될 수 있고, 혹은 다른 단계들이 추가될 수 있다.
실시예들에서, 주의도(74)는 주어진 콘텐츠에 대한 추천 엔진을 구축하는 데 이용될 수도 있다. 특히, 주의도(74)는 주어진 콘텐츠가 등급화될 수 있게 하는 객관적 기준을 제공한다. 여러 사용자들이 제1콘텐츠를 경험하는 도중에 딴 데를 보거나, 하품하거나, 다른 장치들을 조작하는 경향이 있었고 제2콘텐츠를 경험하는 도중에는 주의를 기울이는 경향이 있었다면, 이것은 (적어도 다소 공통적인 관심사를 가지는 개인들의 그룹에 있어) 제1콘텐츠가 제2콘텐츠 보다 덜 흥미로운 것이라는 객관적 증거가 될 수 있다. 사용자가 딴 데를 보거나, 하품하거나 주의하지 않는다는 다른 객관적 증거를 보이는 실제 횟수가 광범위한 콘텐츠에 대한 인구 샘플에 걸쳐 집계될 수 있다. 그러면 각각의 콘텐츠는 인구 샘플의 주의도에 기반하여 다른 것들과 비교하여 등급화될 수 있다. 그 정보는 저장되어 어떤 콘텐츠를 수신할지를 결정할 때 다른 사용자들에 의해 사용될 수 있다.
제스처 인식 엔진(46), 얼굴 인식 엔진(52), 바디 랭귀지 엔진(58), 및/또는 음성 인식 엔진(64)이 가령, 어떤 콘텐츠가 다른 콘텐츠에 비해 얼마나 재밌고, 슬프고, 무섭고, 로맨틱하고, 흥미로운지 등과 같이 다른 요인들에 대해 비슷한 방식으로 콘텐츠를 평가하는 데 사용될 수 있다.
도 7a는 가령 컴퓨팅 장치(12)로서 사용될 수 있는 컴퓨팅 환경의 예시적 실시예를 도시한다. 컴퓨팅 장치(12)는 게임 콘솔 같은 멀티미디어 콘솔(300)일 수 있다. 도 7a에 도시된 바와 같이, 멀티미디어 콘솔(300)은 레벨 1 캐시(302), 레벨 2 캐시(304), 및 플래시 ROM(306)을 가진 중앙 프로세싱 유닛(CPU)(301)을 가진다. 레벨 1 캐시(302) 및 레벨 2 캐시(304)는 임시로 데이터를 저장하고 그에 따라 메모리 액세스 사이클 횟수를 줄임으로써 프로세싱 속도 및 처리율을 향상시킬 수 있다. CPU(301)는 한 개를 넘는 코어, 그에 따른 추가적 레벨 1 및 레벨 2 캐시들(302 및 304)을 가지는 것으로 제공될 수 있다. 플래시 ROM(306)은 멀티미디어 콘솔(300)이 파워 온(ON) 될 때 부팅 프로세스의 초기 단계 중에 로드되는 실행가능 코드를 저장할 수 있다.
그래픽 프로세싱 유닛(GPU)(308) 및 비디오 인코더/비디오 코덱(코더/디코더)(314)이 고속 고해상도의 그래픽 프로세싱을 위한 비디오 프로세싱 파이프라인을 형성한다. 데이터는 버스를 통해 GPU(308)로부터 비디오 인코더/비디오 코덱(314)으로 전달된다. 비디오 프로세싱 파이프라인은 데이터를 텔레비전이나 다른 디스플레이로 전송하기 위해 A/V(오디오/비디오) 포트(340)로 출력한다. 메모리 제어기(310)가 GPU(308)에 연결되어 비한정적인 것으로서 RAM 같은 다양한 타입의 메모리(312)에 대한 프로세서 액세스를 돕는다.
멀티미디어 콘솔(300)은 모듈(318) 상에 바람직하게 구현되는 I/O 제어기(320), 시스템 관리 제어기(322), 오디오 프로세싱 유닛(323), 네트워크 인터페이스 제어기(324), 제1USB 호스트 제어기(326), 제2USB 제어기(328) 및 전면 패널 I/O 하위 어셈블리(330)를 포함한다. USB 제어기들(326 및 328)은 주변 제어기들(342(1)-342(2)), 무선 어댑터(348) 및 외부 메모리 장치(346)(가령, 플래시 메모리, 외부 CD/DVD/ROM 드라이브, 착탈가능 매체 등)에 대한 호스트로서의 역할을 한다. 네트워크 인터페이스(324) 및/또는 무선 어댑터(348)는 네트워크(가령, 인터넷, 홈 네트워크 등)로의 액세스를 제공하며, 이더넷 카드, 모뎀, 블루투스 모듈, 케이블 모뎀 등을 포함하는 광범위한 유무선 어댑터 컴포넌트들 중 어느 것일 수 있다.
시스템 메모리(343)가 제공되어 부팅 프로세스 중에 로드되는 애플리케이션 데이터를 저장한다. 매체 드라이브(344)가 제공되며, DVD/CD 드라이브, 하드 드라이브, 또는 다른 착탈가능 매체 드라이브 등을 포함할 수 있다. 매체 드라이브(344)는 멀티미디어 콘솔(300)의 내부나 외부에 있을 수 있다. 애플리케이션 데이터가 멀티미디어 콘솔(300)에 의한 실행, 재생 등을 위해 매체 드라이브(344)를 통해 액세스될 수 있다. 매체 드라이브(344)는 직렬 ATA 버스나 기타 고속 접속(가령, IEEE 1394) 같은 버스를 통해 I/O 제어기(320)에 연결된다.
시스템 관리 제어기(322)는 멀티미디어 콘솔(300)의 가용성을 보장하는 것과 관련된 다양한 서비스 기능들을 제공한다. 오디오 프로세싱 유닛(323) 및 오디오 코덱(332)은 높은 충실도를 가지고 스테레오 처리를 하는 해당 오디오 프로세싱 파이프라인을 형성한다. 오디오 데이터는 통신 링크를 통해 오디오 프로세싱 유닛(323) 및 오디오 코덱(332) 사이에서 전송된다. 오디오 프로세싱 파이프라인은 데이터를 외부 오디오 플레이어나 오디오 사양을 가진 장치에 의한 재생을 위해 A/V 포트(340)로 출력한다.
전면 패널 I/O 하위 어셈블리(330)는 파워 버튼(350)과 이젝트(eject) 버튼(352)의 기능 뿐만 아니라 멀티미디어 콘솔(300)의 외부 면 상에 노출되는 어떤 LED(light emitting diodes)나 기타 표시자들의 기능을 지원한다. 시스템 전력 공급 모듈(336)은 멀티미디어 콘솔(300)의 구성요소들로 전력을 제공한다. 팬(338)은 멀티미디어 콘솔(300) 안의 회로를 쿨링한다.
CPU(301), GPU(308), 메모리 제어기(310), 및 멀티미디어 콘솔(300) 안의 다른 다양한 구성요소들은 다양한 버스 구조들 중 어느 하나를 이용하는 직병렬 버스, 메모리 버스, 주변기기 버스, 및 프로세서나 로컬 버스를 포함하는 한 개 이상의 버스들을 통해 서로 연결된다. 예로서 그러한 구조들로는 PCI(Peripheral Component Interconnects) 버스, PCI-익스프레스(Express) 버스 등이 포함될 수 있다.
멀티미디어 콘솔(300)이 파워 온 될 때, 애플리케이션 데이터가 시스템 메모리(343)로부터 메모리(312) 및/또는 캐시들(302, 304)로 로드되고 CPU(301) 상에서 실행된다. 애플리케이션은 멀티미디어 콘솔(300)에서 사용가능한 각종 미디어 유형들을 탐색할 때 일관된 사용자 경험을 제공하는 그래픽 사용자 인터페이스를 제공할 수 있다. 동작시, 애플리케이션들 및/또는 매체 드라이브(344) 안에 포함되는 기타 매체가 매체 드라이브(344)로부터 시동되거나 재생되어 멀티미디어 콘솔(300)로 추가 기능들을 제공하도록 할 수 있다.
멀티미디어 콘솔(300)은 단순히 시스템을 텔레비전이나 다른 디스플레이로 연결함으로써 단독형 시스템으로서 작동될 수 있다. 이러한 단독형 모드에서, 멀티미디어 콘솔(300)은 한 명 이상의 사용자들이 시스템과 상호작용하거나 영화를 보거나 음악을 듣게 할 수 있다. 그러나, 네트워크 인터페이스(324)나 무선 어댑터(348)를 통하여 가능한 광대역 접속의 통합을 이용하여, 멀티미디어 콘솔(300)은 더 큰 네트워크 커뮤니티 안의 참여자로서 추가 운영될 수 있다.
멀티미디어 콘솔(300)이 파워 온될 때, 정해진 분량의 하드웨어 자원들이 멀티미디어 콘솔 운영체계에 의한 시스템 사용을 위해 예비된다. 그 자원들은 메모리(가령 16MB), CPU 및 GPU 사이클(가령 5%)의 비축, 네트워킹 대역폭(가령 8kbs) 등을 포함할 수 있다. 이러한 자원들은 시스템 부팅 시점에 준비되기 때문에, 예비 자원들은 애플리케이션의 보기로부터 존재하지 않는다.
특히, 메모리 예비는 시동 커널(launch kernel), 동시적 시스템 애플리케이션들 및 드라이버들을 포함하기 충분할 만큼 많은 것이 바람직하다. CPU 예비는 예비된 CPU 사용이 시스템 애플리케이션들에 의해 이용되지 않는 경우 아이들(idle) 스레드가 어떤 미사용 사이클을 소비하도록 일정한 것이 바람직하다.
GPU 예비와 관련하여, 시스템 애플리케이션(가령, 팝업)에 의해 생성된 경량의 메시지가 팝업을 오버레이로 렌더링할 코드를 스케줄링하는 GPU 인터럽트를 사용해 디스플레이된다. 오버레이에 필요한 메모리 양은 오버레이 영역 사이즈에 좌우되며, 오버레이는 스크린 해상도에 따라 스케일링됨이 바람직하다. 동시발생적 시스템 애플리케이션에 의해 전면적 사용자 인터페이스가 사용되는 경우, 애플리케이션 해상도와 무관한 해상도를 사용함이 바람직하다. 주파수를 변경 및 TV 재동기를 유도해야 할 필요성이 없도록 그러한 해상도를 설정하는데 스케일러가 사용될 수 있다.
멀티미디어 콘솔(300)이 부팅하고 시스템 자원들이 예비된 뒤, 동시발생적 시스템 애플리케이션들이 시스템 기능을 제공하도록 실행된다. 시스템 기능들은 상술한 예비 시스템 자원들 안에서 실행되는 시스템 애플리케이션들의 집합 안에 캡슐화된다. 운영체계 커널이 시스템 애플리케이션 스레드 대 게임 애플리케이션 스레드인 스레드들을 식별한다. 시스템 애플리케이션들은 애플리케이션에 일관된 시스템 자원 보기를 제공하기 위해 소정 시점 및 인터벌로 CPU(301)를 실행하도록 스케줄링됨이 바람직하다. 스케줄링은 콘솔 상에서 실행되는 게임 애플리케이션에 대한 캐시 혼란을 최소화하도록 해야 한다.
동시적 시스템 애플리케이션이 오디오를 필요로 할 때, 시간에 대한 민감도로 인해 게임 애플리케이션과는 비동기적으로 오디오 프로세싱이 스케줄링된다. 시스템 애플리케이션들이 액티브될 때, 멀티미디어 콘솔 애플리케이션 관리자(이하에 기술됨)가 게임 애플리케이션 오디오 레벨(가령, 묵음(mute), 감쇠(attenuate))를 제어한다.
입력 장치들(가령, 제어기들(342(1) 및 342(2))이 게임 애플리케이션 및 시스템 애플리케이션들에 의해 공유된다. 입력 장치들은 예비 자원들이 아니지만, 각각이 장치의 포커스를 가질 수 있도록 시스템 애플리케이션 및 게임 애플리케이션들 사이에서 스위칭되어야 한다. 애플리케이션 관리자는 게임 애플리케이션의 지식 없이 입력 스트림의 스위칭을 제어하고 드라이버가 포커스 스위치에 관한 상태 정보를 관리한다. 카메라(26, 28) 및 캡처 장치(20)가 콘솔(300)에 대한 추가 입력 장치들을 규정할 수 있다.
도 7b는 타깃 인식, 분석, 및 추적 시스템에서 하나 이상의 위치 및 모션들을 해석하는데 사용되는 도 1a-도 2에 도시된 컴퓨팅 환경(12)일 수 있는 컴퓨팅 환경(720)의 또 다른 예시적 실시예를 도시한다. 컴퓨팅 시스템 환경(720)은 다만 적절한 컴퓨팅 환경의 예일 뿐이며 현재 여기에 개시된 주요 대상의 사용이나 기능의 범위에 대한 어떠한 한계를 제시하고자 하는 것이 아니다. 컴퓨팅 환경(720)이 전형적 컴퓨팅 환경(720)에 예시된 구성요소들 중 어느 하나나 그 조합에 관해 어떠한 종속성이나 필요조건을 가지는 것으로도 해석되어서는 안될 것이다. 일부 실시예에서 여러 묘사된 컴퓨팅 구성요소들은 본 개시의 특정 양태를 예를 들어 설명하기 위해 구성된 회로를 포함할 수 있다. 이를테면, 이 개시물에 사용되는 회로라는 용어는 펌웨어나 스위치들에 의해 기능(들)을 수행하도록 구성된 특수화된 하드웨어 구성요소들을 포함할 수 있다. 다른 예시적 실시예에서 회로라는 용어는 기능(들)을 수행하도록 작동되는 로직을 구현하는 소프트웨어 명령어들에 의해 설정되는 범용 프로세싱 유닛, 메모리 등을 포함할 수 있다. 회로가 하드웨어 및 소프트웨어의 조합을 포함하는 예시적 실시예에서, 구현자가 로직을 실체화하는 소스 코드를 작성할 수 있고, 소스 코드는 범용 프로세싱 유닛에 의해 프로세싱될 수 있는 기계 판독가능 코드 안에 컴파일될 수 있다. 당업자라면 최신 기술이 하드웨어, 소프트웨어, 또는 하드웨어/소프트웨어 사이에 차가 거의 없는 수준까지 진화하였다는 것을 알 수 있으므로, 특정 기능을 실시하기 위한 하드웨어 대 소프트웨어의 선택은 구현자에게 맡겨진 디자인 선택사항이다. 더 특정하여 말하면, 당업자는 소프트웨어 프로세스가 균등한 하드웨어 구조로 변환될 수 있고, 하드웨어 구조 자체가 균등한 소프트웨어 프로세스로 변환될 수 있다는 것을 예상할 수 있다. 따라서, 하드웨어 구현 대 소프트웨어 구현의 선택은 디자인 선택사항으로서 구현자에게 맡겨진다.
도 7b에서 컴퓨팅 환경(420)은 통상적으로 다양한 컴퓨터 판독 가능 매체를 포함하는 컴퓨터(441)를 포함한다. 컴퓨터 판독 가능 매체는 컴퓨터(441)에 의해 액세스될 수 있는 어떤 가용 매체일 수 있으며, 휘발성 및 비휘발성 매체 양자 모두와 착탈형 및 비착탈형 매체를 포함한다. 시스템 메모리(422)는 ROM(423) 및 RAM(460) 같은 휘발성 및/또는 비휘발성 메모리의 형식으로 된 컴퓨터 저장 매체를 포함한다. 가령 시동 중에, 컴퓨터(441) 내 구성요소들 사이에서 정보를 전달하는 것을 돕는 기본 루틴들을 포함하는 기본 입출력 시스템(424)(BIOS)은 통상적으로 ROM(423)에 저장된다. RAM(460)은 통상적으로 즉시 액세스가능하고/하거나 프로세싱 유닛(459)에 의해 현재 운영되고 있는 데이터 및/또는 프로그램 모듈들을 포함한다. 한정이 아닌 예로서, 도 7는 운영체계(425), 응용 프로그램(426), 기타 프로그램 모듈(427), 및 프로그램 데이터(428)를 예시한다. 도 7b는 고속 및 고해상도 그래픽 프로세싱 및 저장을 위해 관련된 비디오 메모리(430)를 가진 그래픽 프로세서 유닛(GPU)(429)를 더 포함한다. GPU(429)는 그래픽 인터페이스(431)를 통해 시스템 버스(421)에 연결될 수 있다.
컴퓨터(441)는 또한 다른 착탈형/비착탈형, 휘발성/비휘발성 컴퓨터 저장 매체를 포함할 수 있다. 다만 예로서, 도 7b는 비착탈형, 비휘발성 마그네틱 매체로부터/로 읽고/쓰기를 하는 하드 디스크 드라이브(438), 착탈형 비휘발성 마그네틱 디스크(454)로부터/로 읽고/쓰기를 하는 마그네틱 디스크 드라이브(439), 및 CD ROM 또는 다른 광 매체 같은 착탈형, 비휘발성 광 디스크(453)로부터/로 읽기/쓰기를 하는 광 디스크 드라이브(440)를 예시한다. 전형적인 동작 환경에 사용될 수 있는 다른 착탈형/비착탈형, 휘발성/비휘발성 컴퓨터 저장 매체로는 마그네틱 테이프 카세트, 플래시 메모리 카드, DVD(digital versatile disks), 디지털 비디오 테이프, 고체 상태 RAM, 고체 상태 ROM 등이 포함되나 그러한 것에 국한되지 않는다. 하드 디스크 드라이브(438)는 통상적으로 인터페이스(434) 같은 비착탈형 메모리 인터페이스를 통해 시스템 버스(421)에 연결되고, 마그네틱 디스크 드라이브(439) 및 광 디스크 드라이브(440)는 통상적으로 인터페이스(435) 같은 착탈형 메모리 인터페이스를 통해 시스템 버스(421)에 연결된다.
위에서 논의되고 도 7b에서 예시된 그러한 드라이브들 및 그 관련 컴퓨터 저장 매체는 컴퓨터(441)에 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 및 기타 데이터의 저장을 지원한다. 도 7b에서, 예를 들어 하드 디스크 드라이브(438)는 운영체계(458), 응용 프로그램(457), 기타 프로그램 모듈(456), 및 프로그램 데이터(455)를 저장하는 것으로 예시되어 있다. 이 구성요소들은 운영체계(425), 응용 프로그램(426), 기타 프로그램 모듈(427), 및 프로그램 데이터(428)와 같을 수도 다를 수도 있다는 것을 알아야 한다. 운영체계(458), 응용 프로그램(457), 기타 프로그램 모듈(456), 및 프로그램 데이터(455)에는 여기서 최소한 그들이 다른 모방본임을 나타내기 위해 다른 부호들이 주어진다. 사용자는 키보드(451) 및 전형적으로는 마우스, 트랙볼 또는 터치 패드라 일컫는 포인팅 장치(452) 같은 입력 장치들을 통해 컴퓨터(441) 안에 명령과 정보를 입력할 수 있다. 다른 입력 장치들(미도시)에는 마이크로폰, 조이스틱, 게임 패드, 위성 접시, 스캐너 등이 포함될 수 있다. 이들 및 기타 입력 장치들은 흔히 시스템 버스에 연결된 사용자 입력 인터페이스(436)를 통해 프로세싱 유닛(459)에 연결되나, 병렬 포트나 게임 포트 또는 유니버설 시리얼 버스(USB) 같은 다른 인터페이스 및 버스 구조에 의해 연결될 수도 있다. 카메라(26, 28) 및 캡처 장치(20)가 콘솔(400)에 대한 추가 입력 장치들을 규정할 수 있다. 모니터(442) 또는 다른 유형의 디스플레이 장치 역시 비디오 인터페이스(432) 같은 인터페이스를 통해 시스템 버스(421)에 연결된다. 모니터 외에, 컴퓨터들은 출력 주변기기 인터페이스(433)를 통해 연결될 수 있는 스피커(444) 및 프린터(443) 같은 다른 주변기기 출력 장치들을 포함할 수도 있다.
컴퓨터(441)는 원격 컴퓨터(446)와 같은 한 개 이상의 원격 컴퓨터로의 로직 연결을 이용하여, 네트워킹 환경 안에서 동작할 수 있다. 원격 컴퓨터(446)는 퍼스널 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 장치 또는 다른 전형적 네트워크 노드일 수 있으며, 도 7b에는 메모리 저장 장치(447) 만이 예시되었지만 통상적으로 컴퓨터(441)와 관련해 위에서 기술된 구성요소들 중 다수나 전부를 포함한다. 도 7에 도시된 논리 접속들은 LAN(local area network)(445) 및 WAN(wide area network)(449)을 포함하지만, 다른 네트워크들 역시 포함할 수 있다. 그러한 네트워킹 환경은 사무소, 기업 전체의 컴퓨터 네트워크, 인트라넷 및 인터넷에서 일반적이다.
LAN 네트워킹 환경에서 사용될 때, 컴퓨터(441)는 네트워크 인터페이스나 어댑터(437)를 통해 LAN(445)에 연결된다. WAN 네트워킹 환경에서 사용될 때, 컴퓨터(441)는 통상적으로, 인터넷 같은 WAN(449)을 통한 통신을 설정하기 위한 모뎀(450) 또는 다른 수단을 포함한다. 내장형 또는 외장형일 수 있는 모뎀(450)이 사용자 입력 인터페이스(436)나 다른 알맞은 메커니즘을 통해 시스템 버스(421)에 연결될 수 있다. 네트워킹 환경에서, 컴퓨터(441)와 관련해 묘사된 프로그램 모듈들이나 그 일부는 원격 메모리 저장 장치에 저장될 수 있다. 한정이 아닌 예로서, 도 7b는 원격 응용 프로그램(448)을 메모리 장치(447) 상에 상주하는 것으로서 도시한다. 도시된 네트워크 접속은 예시적인 것이며 컴퓨터들 사이에 통신 링크를 설정하는 다른 수단이 사용될 수 있다는 것을 알 수 있을 것이다.
발명 시스템에 대한 상기 상세한 설명은 예시 및 설명의 목적으로 제시되었다. 그것은 완전하거나 개시된 정확한 형태로 발명 시스템을 제한하도록 의도된 것은 아니다. 상기 교시에 비추어 많은 수정 및 변경이 있을 수 있다. 발명 시스템의 원리와 그 실용적 적용을 가장 잘 설명하여 그에 의해 당업자가 발명 시스템을 다양한 실시예들에서 그리고 고려된 특정 용도에 맞추어진 다양한 변형을 통해 가장 잘 활용할 수 있도록 상기 기술된 실시예들이 선택되었다. 발명 시스템의 범위는 여기 첨부된 청구범위에 의해 정의되도록 의도된다.

Claims (10)

  1. 하나 이상의 컴퓨팅 장치를 통해 사용자에게 제공할 콘텐츠를 맞춤화하는(customizing) 방법으로서,
    (a) 다음을 식별하는 단계
    (a1) 상기 하나 이상의 컴퓨팅 장치 중 하나의 컴퓨팅 장치의 인식 범위 내에 있는 한 명 이상의 사용자의 존재를 검출했을 때, 상기 하나 이상의 컴퓨팅 장치 중 하나의 컴퓨팅 장치의 상기 인식 범위 내에 있는 상기 한 명 이상의 사용자, 및
    (a2) 상기 하나 이상의 컴퓨팅 장치 중 하나의 컴퓨팅 장치의 인식 범위 내에 있는 한 명 이상의 사용자에 의해 수행되는 제스처를 통해, 상기 하나 이상의 컴퓨팅 장치 중 하나의 컴퓨팅 장치의 상기 인식 범위 내에 있는 상기 한 명 이상의 사용자의 감정 상태나 분위기, 및
    (b) 상기 단계 (a)의 상기 한 명 이상의 사용자의 신원 및 상기 한 명 이상의 사용자의 감정 상태나 분위기 중 적어도 하나에 기반하여 상기 하나 이상의 컴퓨팅 장치를 통해 상기 사용자에게 콘텐츠를 제공하는 단계를 포함하는
    방법.
  2. 제1항에 있어서,
    (c) 상기 콘텐츠에 대한 사용자의 주의도(attentiveness)를 식별하는 단계, 및 상기 단계 (c)에서 식별된 상기 주의도에 기반하여 콘텐츠를 제공하는 단계를 더 포함하는
    방법.
  3. 제1항에 있어서,
    사용자가 콘텐츠를 수신하고 싶어하는 날, 날의 일부, 주 또는 달 중의 특정 시간대와 관련한 사용자 선호도를 수신하는 단계, 및 상기 특정 시간대에 상기 사용자가 어떤 콘텐츠를 수신하고 싶어하는지에 관한 사용자 선호도를 수신하는 단계를 더 포함하는
    방법.
  4. 제1항에 있어서,
    상기 단계 (b)는, (d) 상기 사용자와 관련된 사용자 선호도를 수신하는 단계, 및 상기 사용자의 식별 시 상기 사용자의 상기 사용자 선호도에 따라 콘텐츠를 제공하는 단계를 포함하는
    방법.
  5. 제4항에 있어서,
    상기 방법은, 상기 사용자가 혼자일 때 상기 사용자가 수신하고 싶어하는 콘텐츠의 유형 및 상기 사용자가 혼자가 아닐 때 상기 사용자가 수신하고 싶어하는 콘텐츠의 유형에 관한 사용자 선호도를 수신하는 단계를 포함하는
    방법.
  6. 하나 이상의 컴퓨팅 장치를 포함하며, 상기 하나 이상의 컴퓨팅 장치 중 하나의 컴퓨팅 장치는 사용자로부터의 이미지 및 오디오 데이터를 캡처하기 위한 캡처 장치에 연결되어 있는 것인 환경에서, 하나 이상의 컴퓨팅 장치를 통해 사용자에게 제공할 콘텐츠를 맞춤화하는 방법으로서,
    (a) 제스처 인식 엔진, 얼굴 인식 엔진, 바디 랭귀지 인식 엔진 및 음성 인식 엔진 중 적어도 하나를 통해 사용자 신원 및 사용자 분위기나 감정 중 적어도 하나를 검출하는 단계,
    (b) 사용자가 수신하고 싶어하는 콘텐츠 유형에 대한 사용자 선호도 및 사용자가 특정 콘텐츠를 어떻게 그리고 언제 수신하고 싶어하는지에 대한 사용자 선호도를 수신하는 단계, 및
    (c) 상기 단계 (a) 및 (b)에 기반하여 상기 사용자에게 콘텐츠를 제공하는 단계를 포함하는
    방법.
  7. 제6항에 있어서,
    상기 사용자 신원 및 사용자 분위기나 감정 중 적어도 하나를 검출하는 단계 (a)는, 물리적 외양, 얼굴 특성 및 음성 패턴 중 적어도 하나를 포함하는 신원의 시각적 지시자(indicator)를 검출하는 단계를 포함하는
    방법.
  8. 제6항에 있어서,
    상기 사용자 신원 및 사용자 분위기나 감정 중 적어도 하나를 검출하는 단계 (a)는, 사용자가 휴대하는 모바일 기기에 의해 사용자를 식별하는 단계를 더 포함하며, 상기 모바일 기기는 상기 사용자에 의해 휴대되는 상기 모바일 기기의 소유자의 신원을 수신하도록 상기 컴퓨팅 환경의 상기 컴퓨팅 장치 중 하나 이상과 짝을 이루는
    방법.
  9. 하나 이상의 컴퓨팅 장치를 통해 사용자에게 제공할 콘텐츠를 맞춤화하는 방법을 수행하도록 프로세서를 프로그래밍하기 위한 컴퓨터 판독 가능 저장 매체로서, 상기 방법은
    (a) 다음 중 적어도 하나를 식별하는 단계
    (a1) 상기 하나 이상의 컴퓨팅 장치 중 하나의 컴퓨팅 장치의 인식 범위 내에 있는 한 명 이상의 사용자, 및
    (a2) 상기 하나 이상의 컴퓨팅 장치 중 하나의 컴퓨팅 장치의 인식 범위 내에 있는 한 명 이상의 사용자의 감정 상태나 분위기,
    (b) 상기 한 명 이상의 사용자 중 한명의 사용자의 사용자 선호도를 수신하는 단계로서, 상기 사용자 선호도는
    (b1) 상기 사용자가 수신하고 싶어하는 콘텐츠의 유형,
    (b2) 상기 사용자가 단계 (b1)에서 특정된 상기 콘텐츠를 수신하고 싶어하는 시간대,
    (b3) 상기 사용자가 상기 단계 (b1)에서 특정된 상기 콘텐츠를 수신하고 싶어하는 컴퓨팅 장치,
    (b4) 상기 사용자가 혼자가 아닐 때 상기 사용자에게 제공되는 콘텐츠를 어떻게 변경할지, 및
    (b5) (b1) 내지 (b4)에 기술된 상기 사용자 선호도를 어떻게 적용할지에 대한 우선순위 순서
    중 하나 이상을 특정하는 것인 상기 한명의 사용자의 사용자 선호도를 수신하는 단계, 및
    (c) 상기 단계 (a) 및 (b)에 기반하여 상기 사용자에게 제공되는 콘텐츠를 맞춤화하는 단계를 포함하는
    컴퓨터 판독 가능 저장 매체.
  10. 제9항에 있어서,
    상기 사용자는 제1사용자를 포함하고, 상기 방법은 제2사용자에 대해 단계 (b1) 내지 (b5)에서 특정된 상기 사용자 선호도 중 적어도 하나를 수신하는 단계를 더 포함하고, 상기 방법은 상기 제1 및 제2사용자가 함께 있을 때 상기 제1 및 제2사용자에 대한 상기 사용자 선호도에 보여진 공통성(commonality)을 식별하는 단계를 더 포함하며, 상기 방법은 상기 제1 및 제2사용자에 대한 상기 사용자 선호도에 보여진 공통성의 식별에 기초하여 상기 제1 및 제2사용자에게 콘텐츠를 제공하는 단계를 더 포함하는
    컴퓨터 판독 가능 저장 매체.
KR1020137012187A 2010-11-12 2011-11-02 콘텐츠의 시청자 기반 제공 및 맞춤화 KR101871526B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/945,664 US8640021B2 (en) 2010-11-12 2010-11-12 Audience-based presentation and customization of content
US12/945,664 2010-11-12
PCT/US2011/058973 WO2012064565A2 (en) 2010-11-12 2011-11-02 Audience-based presentation and customization of content

Publications (2)

Publication Number Publication Date
KR20130125367A KR20130125367A (ko) 2013-11-18
KR101871526B1 true KR101871526B1 (ko) 2018-06-26

Family

ID=46048955

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137012187A KR101871526B1 (ko) 2010-11-12 2011-11-02 콘텐츠의 시청자 기반 제공 및 맞춤화

Country Status (7)

Country Link
US (1) US8640021B2 (ko)
EP (1) EP2638702A4 (ko)
JP (1) JP2014502454A (ko)
KR (1) KR101871526B1 (ko)
CN (1) CN102541257A (ko)
CA (1) CA2815919A1 (ko)
WO (1) WO2012064565A2 (ko)

Families Citing this family (227)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9599981B2 (en) 2010-02-04 2017-03-21 Echostar Uk Holdings Limited Electronic appliance status notification via a home entertainment system
WO2011123981A1 (en) * 2010-04-07 2011-10-13 Google Inc. Detection of boilerplate content
US11823055B2 (en) 2019-03-31 2023-11-21 Affectiva, Inc. Vehicular in-cabin sensing using machine learning
US10911829B2 (en) 2010-06-07 2021-02-02 Affectiva, Inc. Vehicle video recommendation via affect
US10111611B2 (en) 2010-06-07 2018-10-30 Affectiva, Inc. Personal emotional profile generation
US9503786B2 (en) * 2010-06-07 2016-11-22 Affectiva, Inc. Video recommendation using affect
US10474875B2 (en) 2010-06-07 2019-11-12 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation
US11511757B2 (en) 2010-06-07 2022-11-29 Affectiva, Inc. Vehicle manipulation with crowdsourcing
US11017250B2 (en) 2010-06-07 2021-05-25 Affectiva, Inc. Vehicle manipulation using convolutional image processing
US10779761B2 (en) 2010-06-07 2020-09-22 Affectiva, Inc. Sporadic collection of affect data within a vehicle
US11318949B2 (en) 2010-06-07 2022-05-03 Affectiva, Inc. In-vehicle drowsiness analysis using blink rate
US11465640B2 (en) 2010-06-07 2022-10-11 Affectiva, Inc. Directed control transfer for autonomous vehicles
US10796176B2 (en) 2010-06-07 2020-10-06 Affectiva, Inc. Personal emotional profile generation for vehicle manipulation
US11151610B2 (en) 2010-06-07 2021-10-19 Affectiva, Inc. Autonomous vehicle control using heart rate collection based on video imagery
US11393133B2 (en) 2010-06-07 2022-07-19 Affectiva, Inc. Emoji manipulation using machine learning
US10922567B2 (en) 2010-06-07 2021-02-16 Affectiva, Inc. Cognitive state based vehicle manipulation using near-infrared image processing
US11657288B2 (en) 2010-06-07 2023-05-23 Affectiva, Inc. Convolutional computing using multilayered analysis engine
US10289898B2 (en) 2010-06-07 2019-05-14 Affectiva, Inc. Video recommendation via affect
US11056225B2 (en) 2010-06-07 2021-07-06 Affectiva, Inc. Analytics for livestreaming based on image analysis within a shared digital environment
US11484685B2 (en) 2010-06-07 2022-11-01 Affectiva, Inc. Robotic control using profiles
US11430260B2 (en) 2010-06-07 2022-08-30 Affectiva, Inc. Electronic display viewing verification
US11704574B2 (en) 2010-06-07 2023-07-18 Affectiva, Inc. Multimodal machine learning for vehicle manipulation
US10074024B2 (en) 2010-06-07 2018-09-11 Affectiva, Inc. Mental state analysis using blink rate for vehicles
US10897650B2 (en) 2010-06-07 2021-01-19 Affectiva, Inc. Vehicle content recommendation using cognitive states
US11292477B2 (en) 2010-06-07 2022-04-05 Affectiva, Inc. Vehicle manipulation using cognitive state engineering
US11935281B2 (en) 2010-06-07 2024-03-19 Affectiva, Inc. Vehicular in-cabin facial tracking using machine learning
US11887352B2 (en) 2010-06-07 2024-01-30 Affectiva, Inc. Live streaming analytics within a shared digital environment
US11410438B2 (en) 2010-06-07 2022-08-09 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation in vehicles
US10592757B2 (en) 2010-06-07 2020-03-17 Affectiva, Inc. Vehicular cognitive data collection using multiple devices
US10517521B2 (en) 2010-06-07 2019-12-31 Affectiva, Inc. Mental state mood analysis using heart rate collection based on video imagery
US11587357B2 (en) 2010-06-07 2023-02-21 Affectiva, Inc. Vehicular cognitive data collection with multiple devices
US10204625B2 (en) 2010-06-07 2019-02-12 Affectiva, Inc. Audio analysis learning using video data
US11232290B2 (en) 2010-06-07 2022-01-25 Affectiva, Inc. Image analysis using sub-sectional component evaluation to augment classifier usage
US11700420B2 (en) 2010-06-07 2023-07-11 Affectiva, Inc. Media manipulation using cognitive state metric analysis
US10628741B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Multimodal machine learning for emotion metrics
US10843078B2 (en) 2010-06-07 2020-11-24 Affectiva, Inc. Affect usage within a gaming context
US10614289B2 (en) 2010-06-07 2020-04-07 Affectiva, Inc. Facial tracking with classifiers
US10627817B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Vehicle manipulation using occupant image analysis
US10869626B2 (en) 2010-06-07 2020-12-22 Affectiva, Inc. Image analysis for emotional metric evaluation
US10143414B2 (en) 2010-06-07 2018-12-04 Affectiva, Inc. Sporadic collection with mobile affect data
US10108852B2 (en) 2010-06-07 2018-10-23 Affectiva, Inc. Facial analysis to detect asymmetric expressions
US10401860B2 (en) 2010-06-07 2019-09-03 Affectiva, Inc. Image analysis for two-sided data hub
US11430561B2 (en) 2010-06-07 2022-08-30 Affectiva, Inc. Remote computing analysis for cognitive state data metrics
US10799168B2 (en) 2010-06-07 2020-10-13 Affectiva, Inc. Individual data sharing across a social network
US9934425B2 (en) 2010-06-07 2018-04-03 Affectiva, Inc. Collection of affect data from multiple mobile devices
US11067405B2 (en) 2010-06-07 2021-07-20 Affectiva, Inc. Cognitive state vehicle navigation based on image processing
US11073899B2 (en) 2010-06-07 2021-07-27 Affectiva, Inc. Multidevice multimodal emotion services monitoring
US10482333B1 (en) 2017-01-04 2019-11-19 Affectiva, Inc. Mental state analysis using blink rate within vehicles
US20120167123A1 (en) * 2010-12-24 2012-06-28 Telefonaktiebolaget L M Ericsson (Publ) Content access control for multi-user systems
KR101430887B1 (ko) * 2010-12-29 2014-08-18 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 제스처 인식을 위한 환경-의존 동적 범위 컨트롤
US20140025385A1 (en) * 2010-12-30 2014-01-23 Nokia Corporation Method, Apparatus and Computer Program Product for Emotion Detection
US8839390B2 (en) * 2011-03-08 2014-09-16 Microsoft Corporation Grouping personal accounts to tailor a web service
US9317111B2 (en) 2011-03-30 2016-04-19 Elwha, Llc Providing greater access to one or more items in response to verifying device transfer
US20120254941A1 (en) * 2011-03-30 2012-10-04 Elwha LLC, a limited liability company of the State of Delaware Providing particular level of access to one or more items in response to determining primary control of a computing device
US9153194B2 (en) 2011-03-30 2015-10-06 Elwha Llc Presentation format selection based at least on device transfer determination
WO2012153290A1 (en) * 2011-05-10 2012-11-15 Nds Limited Adaptive presentation of content
KR101880450B1 (ko) * 2011-06-22 2018-07-23 삼성전자주식회사 티브이에서 휴대용 단말을 이용한 서비스 제공 방법 및 장치
US8868680B2 (en) * 2011-06-30 2014-10-21 Infosys Technologies Ltd. Methods for recommending personalized content based on profile and context information and devices thereof
JP5910846B2 (ja) * 2011-07-26 2016-04-27 ソニー株式会社 制御装置、制御方法、及び、プログラム
US20130091409A1 (en) * 2011-10-07 2013-04-11 Agile Insights, Llc Method and system for dynamic assembly of multimedia presentation threads
US10486064B2 (en) 2011-11-23 2019-11-26 Sony Interactive Entertainment America Llc Sharing buffered gameplay in response to an input request
US9116555B2 (en) 2011-11-23 2015-08-25 Sony Computer Entertainment America Llc Gaming controller
US10960300B2 (en) 2011-11-23 2021-03-30 Sony Interactive Entertainment LLC Sharing user-initiated recorded gameplay with buffered gameplay
US10525347B2 (en) 2012-03-13 2020-01-07 Sony Interactive Entertainment America Llc System and method for capturing and sharing console gaming data
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US9588652B2 (en) 2011-12-12 2017-03-07 International Business Machines Corporation Providing feedback for screen sharing
US9852432B2 (en) 2011-12-12 2017-12-26 International Business Machines Corporation Customizing a presentation based on preferences of an audience
US20130205314A1 (en) * 2012-02-07 2013-08-08 Arun Ramaswamy Methods and apparatus to select media based on engagement levels
US9779457B1 (en) * 2012-03-15 2017-10-03 United Services Automobile Association (Usaa) Personalized navigation control items for an application
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
US9591346B2 (en) * 2012-05-14 2017-03-07 Samsung Electronics Co., Ltd. Content delivery system with content sharing mechanism and method of operation thereof
US9724597B2 (en) 2012-06-04 2017-08-08 Sony Interactive Entertainment Inc. Multi-image interactive gaming device
KR101392936B1 (ko) * 2012-06-29 2014-05-09 한국과학기술연구원 사용자 맞춤형 인터페이스 시스템 및 그 구현 방법
EP2688310A3 (en) * 2012-07-19 2014-02-26 Samsung Electronics Co., Ltd Apparatus, system, and method for controlling content playback
US9215490B2 (en) 2012-07-19 2015-12-15 Samsung Electronics Co., Ltd. Apparatus, system, and method for controlling content playback
US20140040931A1 (en) * 2012-08-03 2014-02-06 William H. Gates, III Dynamic customization and monetization of audio-visual content
US10455284B2 (en) 2012-08-31 2019-10-22 Elwha Llc Dynamic customization and monetization of audio-visual content
US9407751B2 (en) * 2012-09-13 2016-08-02 Intel Corporation Methods and apparatus for improving user experience
US9443272B2 (en) 2012-09-13 2016-09-13 Intel Corporation Methods and apparatus for providing improved access to applications
US9247225B2 (en) * 2012-09-25 2016-01-26 Intel Corporation Video indexing with viewer reaction estimation and visual cue detection
US20140096152A1 (en) * 2012-09-28 2014-04-03 Ron Ferens Timing advertisement breaks based on viewer attention level
US10187254B2 (en) * 2012-10-09 2019-01-22 At&T Intellectual Property I, L.P. Personalization according to mood
GB2507106A (en) 2012-10-19 2014-04-23 Sony Europe Ltd Directional sound apparatus for providing personalised audio data to different users
US10194239B2 (en) * 2012-11-06 2019-01-29 Nokia Technologies Oy Multi-resolution audio signals
KR20140062799A (ko) * 2012-11-15 2014-05-26 삼성전자주식회사 디스플레이 장치 및 이의 메시지 전달 방법
US9721010B2 (en) 2012-12-13 2017-08-01 Microsoft Technology Licensing, Llc Content reaction annotations
CN103873941A (zh) * 2012-12-17 2014-06-18 联想(北京)有限公司 一种显示方法及电子设备
JP6198187B2 (ja) * 2012-12-27 2017-09-20 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 信号処理装置及び信号処理方法
US9344773B2 (en) 2013-02-05 2016-05-17 Microsoft Technology Licensing, Llc Providing recommendations based upon environmental sensing
US9159116B2 (en) * 2013-02-13 2015-10-13 Google Inc. Adaptive screen interfaces based on viewing distance
US8572097B1 (en) * 2013-03-15 2013-10-29 FEM, Inc. Media content discovery and character organization techniques
US20150319224A1 (en) * 2013-03-15 2015-11-05 Yahoo Inc. Method and System for Presenting Personalized Content
US20190332656A1 (en) * 2013-03-15 2019-10-31 Sunshine Partners, LLC Adaptive interactive media method and system
US9584578B2 (en) 2013-05-13 2017-02-28 BloomReach Inc. Cross platform user joining
US9129478B2 (en) * 2013-05-20 2015-09-08 Microsoft Corporation Attributing user action based on biometric identity
KR20160016826A (ko) 2013-06-05 2016-02-15 톰슨 라이센싱 멀티스크린 감상을 위한 콘텐츠 분배를 위한 방법 및 장치
CN105379289B (zh) * 2013-06-05 2019-01-22 汤姆逊许可公司 用于内容分发以便多屏幕观看的方法和装置
JP6246340B2 (ja) 2013-06-05 2017-12-13 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ マルチスクリーン・ビューイングのためのコンテンツ配送のための方法および装置
CN104239328A (zh) * 2013-06-18 2014-12-24 联想(北京)有限公司 多媒体处理方法及多媒体系统
CN105339926A (zh) * 2013-08-06 2016-02-17 英特尔公司 情绪相关的查询处理
KR102104355B1 (ko) * 2013-08-30 2020-05-29 엘지전자 주식회사 영상 표시 기기 및 그 동작 방법
EP2882194A1 (en) * 2013-12-05 2015-06-10 Thomson Licensing Identification of a television viewer
FR3014590B1 (fr) * 2013-12-05 2017-04-28 Anse Tech Module de pilotage d'un recepteur de contenus multimedias, serveur et procedes d'elaboration de contenus et de messages associes
US9495860B2 (en) 2013-12-11 2016-11-15 Echostar Technologies L.L.C. False alarm identification
US9900177B2 (en) 2013-12-11 2018-02-20 Echostar Technologies International Corporation Maintaining up-to-date home automation models
US20150163411A1 (en) 2013-12-11 2015-06-11 Echostar Technologies, Llc Home Monitoring and Control
US9769522B2 (en) 2013-12-16 2017-09-19 Echostar Technologies L.L.C. Methods and systems for location specific operations
KR102160908B1 (ko) 2013-12-23 2020-09-29 삼성전자 주식회사 영상처리장치 및 그 제어방법
US9514748B2 (en) 2014-01-15 2016-12-06 Microsoft Technology Licensing, Llc Digital personal assistant interaction with impersonations and rich multimedia in responses
US20150334346A1 (en) * 2014-05-16 2015-11-19 Elwha Llc Systems and methods for automatically connecting a user of a hands-free intercommunication system
US20160118036A1 (en) 2014-10-23 2016-04-28 Elwha Llc Systems and methods for positioning a user of a hands-free intercommunication system
US9779593B2 (en) 2014-08-15 2017-10-03 Elwha Llc Systems and methods for positioning a user of a hands-free intercommunication system
GB201402533D0 (en) 2014-02-13 2014-04-02 Piksel Inc Sensed content delivery
US20150268922A1 (en) * 2014-03-20 2015-09-24 Tribune Digital Ventures, Llc Personalized News Program
US9525911B2 (en) * 2014-03-27 2016-12-20 Xcinex Corporation Techniques for viewing movies
US9723393B2 (en) 2014-03-28 2017-08-01 Echostar Technologies L.L.C. Methods to conserve remote batteries
US9635392B2 (en) * 2014-04-16 2017-04-25 Sony Corporation Method and system for displaying information
US11343864B2 (en) * 2014-04-25 2022-05-24 Lenovo (Singapore) Pte. Ltd. Device pairing
KR20150136314A (ko) * 2014-05-27 2015-12-07 삼성전자주식회사 디스플레이 장치, 사용자 단말 장치, 서버 및 그 제어 방법
CN106462641A (zh) * 2014-06-24 2017-02-22 谷歌公司 媒体呈现设备存在时基于多个用户的用户偏好来呈现内容的方法、系统和介质
US20160048595A1 (en) * 2014-08-12 2016-02-18 Lenovo (Singapore) Pte. Ltd. Filtering Content Suggestions for Multiple Users
US9621959B2 (en) 2014-08-27 2017-04-11 Echostar Uk Holdings Limited In-residence track and alert
US9824578B2 (en) 2014-09-03 2017-11-21 Echostar Technologies International Corporation Home automation control using context sensitive menus
US9989507B2 (en) 2014-09-25 2018-06-05 Echostar Technologies International Corporation Detection and prevention of toxic gas
US9671862B2 (en) * 2014-10-15 2017-06-06 Wipro Limited System and method for recommending content to a user based on user's interest
US9511259B2 (en) 2014-10-30 2016-12-06 Echostar Uk Holdings Limited Fitness overlay and incorporation for home automation system
US9983011B2 (en) 2014-10-30 2018-05-29 Echostar Technologies International Corporation Mapping and facilitating evacuation routes in emergency situations
US9934697B2 (en) 2014-11-06 2018-04-03 Microsoft Technology Licensing, Llc Modular wearable device for conveying affective state
EP3026923A1 (en) * 2014-11-28 2016-06-01 Gemalto Sa Method for accessing media data and corresponding device and system
US9967614B2 (en) 2014-12-29 2018-05-08 Echostar Technologies International Corporation Alert suspension for home automation system
US10223998B2 (en) 2015-03-18 2019-03-05 The Painted City Incorporated Dynamic content analysis and engagement system for shared displays
US9807173B2 (en) 2015-03-26 2017-10-31 Cisco Technology, Inc. Notification system for personal and shared devices
US10169827B1 (en) * 2015-03-27 2019-01-01 Intuit Inc. Method and system for adapting a user experience provided through an interactive software system to the content being delivered and the predicted emotional impact on the user of that content
US9729989B2 (en) 2015-03-27 2017-08-08 Echostar Technologies L.L.C. Home automation sound detection and positioning
JP6625809B2 (ja) * 2015-03-27 2019-12-25 東芝映像ソリューション株式会社 電子機器およびその制御方法
US10387173B1 (en) 2015-03-27 2019-08-20 Intuit Inc. Method and system for using emotional state data to tailor the user experience of an interactive software system
JP2016191845A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9659218B1 (en) 2015-04-29 2017-05-23 Google Inc. Predicting video start times for maximizing user engagement
US9948477B2 (en) 2015-05-12 2018-04-17 Echostar Technologies International Corporation Home automation weather detection
US9946857B2 (en) 2015-05-12 2018-04-17 Echostar Technologies International Corporation Restricted access for home automation system
US9632746B2 (en) 2015-05-18 2017-04-25 Echostar Technologies L.L.C. Automatic muting
US20160345184A1 (en) * 2015-05-20 2016-11-24 International Business Machines Corporation Signal strength bookmarking for media content
US10332122B1 (en) 2015-07-27 2019-06-25 Intuit Inc. Obtaining and analyzing user physiological data to determine whether a user would benefit from user support
WO2017030212A1 (ko) * 2015-08-18 2017-02-23 엘지전자(주) 이동 단말기 및 그 제어 방법
CN105117007B (zh) * 2015-08-20 2019-02-12 小米科技有限责任公司 显示设备的控制方法、装置及智能垫体
US9960980B2 (en) 2015-08-21 2018-05-01 Echostar Technologies International Corporation Location monitor and device cloning
CN106502103B (zh) * 2015-09-06 2019-03-01 深圳会当科技有限公司 一种用户行为的分析方法
CN105392060A (zh) * 2015-11-24 2016-03-09 天脉聚源（北京）科技有限公司 一种用于互动电视系统推送互动信息的方法及装置
US9996066B2 (en) 2015-11-25 2018-06-12 Echostar Technologies International Corporation System and method for HVAC health monitoring using a television receiver
US10101717B2 (en) 2015-12-15 2018-10-16 Echostar Technologies International Corporation Home automation data storage system and methods
US9798309B2 (en) 2015-12-18 2017-10-24 Echostar Technologies International Corporation Home automation control based on individual profiling using audio sensor data
US10380208B1 (en) 2015-12-28 2019-08-13 Amazon Technologies, Inc. Methods and systems for providing context-based recommendations
US10599390B1 (en) * 2015-12-28 2020-03-24 Amazon Technologies, Inc. Methods and systems for providing multi-user recommendations
US10091017B2 (en) 2015-12-30 2018-10-02 Echostar Technologies International Corporation Personalized home automation control based on individualized profiling
US10060644B2 (en) 2015-12-31 2018-08-28 Echostar Technologies International Corporation Methods and systems for control of home automation activity based on user preferences
US10073428B2 (en) 2015-12-31 2018-09-11 Echostar Technologies International Corporation Methods and systems for control of home automation activity based on user characteristics
US9747289B2 (en) 2016-01-13 2017-08-29 Disney Enterprises, Inc. System and method for proximity-based personalized content recommendations
US9628286B1 (en) 2016-02-23 2017-04-18 Echostar Technologies L.L.C. Television receiver and home automation system and methods to associate data with nearby people
CN105868282A (zh) * 2016-03-23 2016-08-17 乐视致新电子科技（天津）有限公司 聋哑人进行信息交流的方法、装置及智能终端
CN105912124A (zh) * 2016-04-18 2016-08-31 中国人民解放军海军医学研究所 一种基于生理信号的人控转机控决策系统
CN105997041A (zh) * 2016-04-18 2016-10-12 中国人民解放军海军医学研究所 一种基于人体心电信号的人控转机控辅助决策系统及方法
US9818126B1 (en) * 2016-04-20 2017-11-14 Deep Labs Inc. Systems and methods for sensor data analysis through machine learning
CN107295382B (zh) * 2016-04-25 2019-08-27 深圳Tcl新技术有限公司 基于运动姿势的身份识别方法及系统
US9858316B1 (en) 2016-04-29 2018-01-02 Rich Media Ventures, Llc Mood-based settings
US9792329B1 (en) * 2016-04-29 2017-10-17 Rich Media Ventures, Llc Mood-based content
WO2017192130A1 (en) * 2016-05-04 2017-11-09 Thomson Licensing Apparatus and method for eye tracking to determine types of disinterested content for a viewer
WO2017192129A1 (en) * 2016-05-04 2017-11-09 Thomson Licensing Apparatus and method for eye tracking to determine viewer disinterest
US9882736B2 (en) 2016-06-09 2018-01-30 Echostar Technologies International Corporation Remote sound generation for a home automation system
US10044869B2 (en) 2016-06-29 2018-08-07 Paypal, Inc. Voice-controlled audio communication system
US10294600B2 (en) 2016-08-05 2019-05-21 Echostar Technologies International Corporation Remote detection of washer/dryer operation/fault condition
US10049515B2 (en) 2016-08-24 2018-08-14 Echostar Technologies International Corporation Trusted user identification and management for home automation systems
US10529379B2 (en) * 2016-09-09 2020-01-07 Sony Corporation System and method for processing video content based on emotional state detection
CN106658129B (zh) * 2016-12-27 2020-09-01 上海智臻智能网络科技股份有限公司 基于情绪的终端控制方法、装置及终端
KR102616403B1 (ko) * 2016-12-27 2023-12-21 삼성전자주식회사 전자 장치 및 그의 메시지 전달 방법
US20180240157A1 (en) * 2017-02-17 2018-08-23 Wipro Limited System and a method for generating personalized multimedia content for plurality of users
US10319477B1 (en) * 2017-03-08 2019-06-11 Virta Health Corp. Dynamic data-driven biological state analysis
US20180268439A1 (en) * 2017-03-16 2018-09-20 International Business Machines Corporation Dynamically generating and delivering sequences of personalized multimedia content
US10154346B2 (en) 2017-04-21 2018-12-11 DISH Technologies L.L.C. Dynamically adjust audio attributes based on individual speaking characteristics
KR101949497B1 (ko) * 2017-05-02 2019-02-18 네이버 주식회사 사용자 발화의 표현법을 파악하여 기기의 동작이나 컨텐츠 제공 범위를 조정하여 제공하는 사용자 명령 처리 방법 및 시스템
US10922566B2 (en) 2017-05-09 2021-02-16 Affectiva, Inc. Cognitive state evaluation for vehicle navigation
US11601715B2 (en) 2017-07-06 2023-03-07 DISH Technologies L.L.C. System and method for dynamically adjusting content playback based on viewer emotions
US10051331B1 (en) * 2017-07-11 2018-08-14 Sony Corporation Quick accessibility profiles
US9961410B1 (en) * 2017-07-24 2018-05-01 Rovi Guides, Inc. Systems and methods for conflict detection based on user preferences
KR101967859B1 (ko) * 2017-09-08 2019-08-13 전자부품연구원 디지털 사이니지 관리 시스템 및 방법
US10171877B1 (en) 2017-10-30 2019-01-01 Dish Network L.L.C. System and method for dynamically selecting supplemental content based on viewer emotions
CN107948714B (zh) * 2017-11-01 2019-10-22 北京小蓦机器人技术有限公司 多人视频观看场景下的视频播放方法、设备与存储介质
CN107943894A (zh) * 2017-11-16 2018-04-20 百度在线网络技术（北京）有限公司 用于推送多媒体内容的方法和装置
US20190172458A1 (en) 2017-12-01 2019-06-06 Affectiva, Inc. Speech analysis for cross-language mental state identification
US10542314B2 (en) 2018-03-20 2020-01-21 At&T Mobility Ii Llc Media content delivery with customization
WO2019182265A1 (ko) * 2018-03-21 2019-09-26 엘지전자 주식회사 인공 지능 기기 및 그의 동작 방법
US10616660B2 (en) * 2018-03-29 2020-04-07 Sling Media Pvt. Ltd. Automatic detection of ticker speed
CN108401186B (zh) * 2018-04-28 2020-06-23 浙江云澎科技有限公司 一种基于人脸识别的智能电视显示控制方法
CN108694619A (zh) * 2018-06-20 2018-10-23 新华网股份有限公司 电影票房预测方法和系统
CN108882480B (zh) * 2018-06-20 2020-06-05 新华网股份有限公司 舞台灯光和装置调节方法和系统
US10915740B2 (en) * 2018-07-28 2021-02-09 International Business Machines Corporation Facial mirroring in virtual and augmented reality
US10491940B1 (en) * 2018-08-23 2019-11-26 Rovi Guides, Inc. Systems and methods for displaying multiple media assets for a plurality of users
US10986404B2 (en) * 2018-10-24 2021-04-20 Rovi Guides, Inc. Systems and methods for overriding user input of commands in a multi-user environment
CN109448735B (zh) * 2018-12-21 2022-05-20 深圳创维－Rgb电子有限公司 基于声纹识别的视频参数调整方法、装置及读存储介质
JP7125908B2 (ja) * 2019-03-19 2022-08-25 ユニ・チャーム株式会社 プログラム、コンテンツ表示方法、及びコンピュータ
CN113748449A (zh) * 2019-03-27 2021-12-03 人间制造局有限责任公司 评估和培训系统
US11887383B2 (en) 2019-03-31 2024-01-30 Affectiva, Inc. Vehicle interior object management
WO2020243691A1 (en) 2019-05-31 2020-12-03 Apple Inc. User interfaces for audio media control
US10802843B1 (en) * 2019-05-31 2020-10-13 Apple Inc. Multi-user configuration
US10996917B2 (en) 2019-05-31 2021-05-04 Apple Inc. User interfaces for audio media control
CN110275370A (zh) * 2019-06-28 2019-09-24 海南大学 内容驱动的主动空间交互优化系统
CN110298317A (zh) * 2019-07-01 2019-10-01 海南大学 目标驱动的交互式内容多媒体化空间展示系统
JP7340982B2 (ja) 2019-07-26 2023-09-08 日本放送協会 映像紹介装置及びプログラム
JP7301663B2 (ja) * 2019-07-31 2023-07-03 Ｔｖｓ Ｒｅｇｚａ株式会社 通知機能を備えた電子装置及び電子装置の制御方法
CN111754761B (zh) * 2019-07-31 2022-09-20 广东小天才科技有限公司 一种交通安全报警提示方法及电子设备
US11601693B2 (en) * 2019-09-30 2023-03-07 Kyndryl, Inc. Automatic adaptation of digital content
US11948076B2 (en) * 2019-10-25 2024-04-02 Sony Group Corporation Media rendering device control based on trained network model
US11769056B2 (en) 2019-12-30 2023-09-26 Affectiva, Inc. Synthetic data for neural network training using vectors
WO2021216356A1 (en) * 2020-04-23 2021-10-28 ESD Technologies, Inc. System and method of identifying audience demographics and delivering relative content to audience
CN111417017A (zh) * 2020-04-28 2020-07-14 安徽国广数字科技有限公司 基于人体识别的iptv节目推荐方法及系统
US11830283B2 (en) * 2020-07-30 2023-11-28 Arris Enterprises Llc Apparatus and method for biometric control of a set top box
US11442753B1 (en) 2020-10-14 2022-09-13 Wells Fargo Bank, N.A. Apparatuses, computer-implemented methods, and computer program products for displaying dynamic user interfaces to multiple users on the same interface
US11422835B1 (en) 2020-10-14 2022-08-23 Wells Fargo Bank, N.A. Dynamic user interface systems and devices
US11321412B1 (en) * 2020-11-04 2022-05-03 Capital One Services, Llc Customized navigation flow
US11849177B2 (en) 2020-11-11 2023-12-19 Rovi Guides, Inc. Systems and methods for providing media recommendations
US11641506B2 (en) 2020-11-11 2023-05-02 Rovi Guides, Inc. Systems and methods for providing media recommendations
US11763397B2 (en) * 2020-12-31 2023-09-19 Microsoft Technology Licensing, Llc Online community building recommender
US20220238204A1 (en) * 2021-01-25 2022-07-28 Solsten, Inc. Systems and methods to link psychological parameters across various platforms
US11711259B2 (en) * 2021-02-12 2023-07-25 Zebra Technologies Corporation Method, system and apparatus for detecting device malfunctions
US11646122B2 (en) 2021-05-20 2023-05-09 Solsten, Inc. Systems and methods to facilitate adjusting content to facilitate therapeutic outcomes of subjects
US20230038347A1 (en) * 2021-08-09 2023-02-09 Rovi Guides, Inc. Methods and systems for modifying a media content item based on user reaction
CN116208433A (zh) * 2021-11-30 2023-06-02 富联精密电子(天津)有限公司 虚拟会议室的音频处理方法、装置及存储介质
CN115866339A (zh) * 2022-12-07 2023-03-28 深圳创维－Rgb电子有限公司 电视节目推荐方法、装置、智能设备及可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010066844A (ja) * 2008-09-09 2010-03-25 Fujifilm Corp 動画コンテンツの加工方法及び装置、並びに動画コンテンツの加工プログラム

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6553178B2 (en) * 1992-02-07 2003-04-22 Max Abecassis Advertisement subsidized video-on-demand system
US6014638A (en) 1996-05-29 2000-01-11 America Online, Inc. System for customizing computer displays in accordance with user preferences
US6144938A (en) * 1998-05-01 2000-11-07 Sun Microsystems, Inc. Voice user interface with personality
US6466232B1 (en) 1998-12-18 2002-10-15 Tangis Corporation Method and system for controlling presentation of information to a user based on the user's condition
US7076737B2 (en) * 1998-12-18 2006-07-11 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
US20020013852A1 (en) * 2000-03-03 2002-01-31 Craig Janik System for providing content, management, and interactivity for thin client devices
WO2007130681A2 (en) * 2006-05-05 2007-11-15 Sony Computer Entertainment America Inc. Advertisement rotation
WO2001063916A1 (en) 2000-02-25 2001-08-30 Interval Research Corporation Method and system for selecting advertisements
US6904408B1 (en) * 2000-10-19 2005-06-07 Mccarthy John Bionet method, system and personalized web content manager responsive to browser viewers' psychological preferences, behavioral responses and physiological stress indicators
WO2002043391A1 (en) 2000-11-22 2002-05-30 Koninklijke Philips Electronics N.V. Method and apparatus for generating recommendations based on current mood of user
US8230323B2 (en) * 2000-12-06 2012-07-24 Sra International, Inc. Content distribution system and method
EP1223757B1 (en) * 2001-01-09 2006-03-22 Metabyte Networks, Inc. System, method, and software application for targeted advertising via behavioral model clustering, and preference programming based on behavioral model clusters
US20020174428A1 (en) * 2001-03-28 2002-11-21 Philips Electronics North America Corp. Method and apparatus for generating recommendations for a plurality of users
US20020178440A1 (en) * 2001-03-28 2002-11-28 Philips Electronics North America Corp. Method and apparatus for automatically selecting an alternate item based on user behavior
US20020191775A1 (en) * 2001-06-19 2002-12-19 International Business Machines Corporation System and method for personalizing content presented while waiting
US6585521B1 (en) 2001-12-21 2003-07-01 Hewlett-Packard Development Company, L.P. Video indexing based on viewers' behavior and emotion feedback
US7003139B2 (en) 2002-02-19 2006-02-21 Eastman Kodak Company Method for using facial expression to determine affective information in an imaging system
US20030179229A1 (en) * 2002-03-25 2003-09-25 Julian Van Erlach Biometrically-determined device interface and content
US20030237093A1 (en) 2002-06-19 2003-12-25 Marsh David J. Electronic program guide systems and methods for handling multiple users
US20040003392A1 (en) * 2002-06-26 2004-01-01 Koninklijke Philips Electronics N.V. Method and apparatus for finding and updating user group preferences in an entertainment system
WO2004008308A2 (en) * 2002-07-15 2004-01-22 Device Independent Software, Inc. Editing image for delivery over a network
US8634030B2 (en) * 2002-10-25 2014-01-21 Disney Enterprises, Inc. Streaming of digital data to a portable device
US20040260767A1 (en) * 2003-06-19 2004-12-23 David Kedem Dynamic web advertisement and content display system
JP2005032167A (ja) * 2003-07-11 2005-02-03 Sony Corp 情報検索装置、情報検索方法、情報検索システム、クライアント装置およびサーバ装置
JP4396175B2 (ja) * 2003-08-05 2010-01-13 ソニー株式会社 コンテンツ再生装置及びコンテンツ再生方法
US20050132420A1 (en) 2003-12-11 2005-06-16 Quadrock Communications, Inc System and method for interaction with television content
EP1582965A1 (en) 2004-04-01 2005-10-05 Sony Deutschland Gmbh Emotion controlled system for processing multimedia data
TW200704183A (en) * 2005-01-27 2007-01-16 Matrix Tv Dynamic mosaic extended electronic programming guide for television program selection and display
US20060224046A1 (en) 2005-04-01 2006-10-05 Motorola, Inc. Method and system for enhancing a user experience using a user's physiological state
CN100451924C (zh) * 2005-12-30 2009-01-14 财团法人工业技术研究院 情绪感知互动娱乐装置
US7849115B2 (en) * 2006-06-05 2010-12-07 Bruce Reiner Method and apparatus for adapting computer-based systems to end-user profiles
JP5092357B2 (ja) * 2006-11-07 2012-12-05 ソニー株式会社 撮像表示装置、撮像表示方法
KR101335595B1 (ko) * 2006-12-11 2013-12-02 강민수 플레이 되고 있는 동영상 내용 맞춤형 광고 콘텐츠 제공시스템
US8140566B2 (en) * 2006-12-12 2012-03-20 Yahoo! Inc. Open framework for integrating, associating, and interacting with content objects including automatic feed creation
KR20080057705A (ko) 2006-12-20 2008-06-25 주식회사 대우일렉트로닉스 Ｉｐ ｔｖ 시스템에서 외부환경에 따른 콘텐츠 제공방법
JP4891802B2 (ja) 2007-02-20 2012-03-07 日本電信電話株式会社 コンテンツ検索・推薦方法、コンテンツ検索・推薦装置およびコンテンツ検索・推薦プログラム
TWI420504B (zh) * 2007-03-19 2013-12-21 Cyberlink Corp 多重顯示之方法及相關系統
US20100031162A1 (en) * 2007-04-13 2010-02-04 Wiser Philip R Viewer interface for a content delivery system
US20090106645A1 (en) * 2007-10-17 2009-04-23 Thinkingcraft, Inc. Adaptive response/interpretive expression, communication distribution, and intelligent determination system and method
US8730231B2 (en) * 2007-11-20 2014-05-20 Image Metrics, Inc. Systems and methods for creating personalized media content having multiple content layers
WO2009067670A1 (en) * 2007-11-21 2009-05-28 Gesturetek, Inc. Media preferences
JP4538756B2 (ja) * 2007-12-03 2010-09-08 ソニー株式会社 情報処理装置、情報処理端末、情報処理方法、およびプログラム
US8489731B2 (en) * 2007-12-13 2013-07-16 Highwinds Holdings, Inc. Content delivery network with customized tracking of delivery data
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
WO2010015070A1 (en) * 2008-08-07 2010-02-11 Research In Motion Limited System and method for providing content on a mobile device by controlling an application independent of user action
US20110107265A1 (en) * 2008-10-16 2011-05-05 Bank Of America Corporation Customizable graphical user interface
US20110299547A1 (en) * 2010-06-04 2011-12-08 Wael William Diab Method and system for managing energy costs utilizing a broadband gateway
US20100306249A1 (en) * 2009-05-27 2010-12-02 James Hill Social network systems and methods
TWI430189B (zh) * 2009-11-10 2014-03-11 Inst Information Industry 訊息擬真處理系統、裝置及方法
US20120072936A1 (en) * 2010-09-20 2012-03-22 Microsoft Corporation Automatic Customized Advertisement Generation System

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010066844A (ja) * 2008-09-09 2010-03-25 Fujifilm Corp 動画コンテンツの加工方法及び装置、並びに動画コンテンツの加工プログラム

Also Published As

Publication number Publication date
CN102541257A (zh) 2012-07-04
KR20130125367A (ko) 2013-11-18
WO2012064565A2 (en) 2012-05-18
JP2014502454A (ja) 2014-01-30
US8640021B2 (en) 2014-01-28
CA2815919A1 (en) 2012-05-18
US20120124456A1 (en) 2012-05-17
EP2638702A2 (en) 2013-09-18
EP2638702A4 (en) 2014-04-16
WO2012064565A3 (en) 2012-08-02

Similar Documents

Publication Publication Date Title
KR101871526B1 (ko) 콘텐츠의 시청자 기반 제공 및 맞춤화
TWI581128B (zh) 基於媒體反應來控制媒體節目的方法、系統及電腦可讀取儲存記憶體
US9749692B2 (en) Providing recommendations based upon environmental sensing
US9367864B2 (en) Experience sharing with commenting
TWI558186B (zh) 基於環境感測之視訊選擇
CN106576184B (zh) 信息处理装置、显示装置、信息处理方法、程序和信息处理系统
TWI536844B (zh) 基於興趣的視訊資料流
US20110063440A1 (en) Time shifted video communications
US8154615B2 (en) Method and apparatus for image display control according to viewer factors and responses
CN107801096B (zh) 视频播放的控制方法、装置、终端设备及存储介质
CN107079186B (zh) 增强的交互式电视体验
US20170095192A1 (en) Mental state analysis using web servers
KR20140045412A (ko) 환경 센싱에 기초한 비디오 하이라이트 식별 기법
TW201227575A (en) Real-time interaction with entertainment content
KR20070061351A (ko) 개인 룰세트를 이용한 디지털 미디어 캐릭터 교체의 제어
TW201342892A (zh) 互動式媒體系統
CN116126510A (zh) 基于多设备提供服务的方法、相关装置及系统
US11538045B2 (en) Apparatus, systems and methods for determining a commentary rating

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant