KR100876300B1 - Method and apparatus for generating recommendations based on a user's current mood - Google Patents

Method and apparatus for generating recommendations based on a user's current mood Download PDF

Info

Publication number
KR100876300B1
KR100876300B1 KR1020027009314A KR20027009314A KR100876300B1 KR 100876300 B1 KR100876300 B1 KR 100876300B1 KR 1020027009314 A KR1020027009314 A KR 1020027009314A KR 20027009314 A KR20027009314 A KR 20027009314A KR 100876300 B1 KR100876300 B1 KR 100876300B1
Authority
KR
South Korea
Prior art keywords
items
user
current mood
mood
viewer
Prior art date
Application number
KR1020027009314A
Other languages
Korean (ko)
Other versions
KR20020070490A (en
Inventor
구타스리니바스
트라즈코빅미로슬라브
제이. 콜메나레즈안토니오
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20020070490A publication Critical patent/KR20020070490A/en
Application granted granted Critical
Publication of KR100876300B1 publication Critical patent/KR100876300B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Systems (AREA)

Abstract

사용자의 현재 기분에 기초한 추천 시스템에서 사용자 프로파일을 생성하기 위한 방법 및 장치가 개시된다. 본 발명은 사용자의 하나 이상의 현재 기분들을 시청 세션과 같은 각각의 세션과 연관시킨다. 본 발명은 다양한 기분들에 따른 사용자의 선호도들을 학습하고, 대응하는 추천들을 생성하기 위해 이러한 기분 기반의 시청 선호도들을 이용한다. 일 구현에서, 자신의 현대 기분에 기초하여, 시청자가 매력을 느낄 것 같은 하나 이상의 프로그램을 시청자가 선택할 수 있게 하는 전자 프로그래밍 가이드가 제공된다.A method and apparatus for generating a user profile in a recommendation system based on a user's current mood is disclosed. The present invention associates one or more current moods of a user with each session, such as a viewing session. The present invention uses these mood-based viewing preferences to learn user preferences according to various moods and to generate corresponding recommendations. In one implementation, an electronic programming guide is provided that allows a viewer to select one or more programs that are likely to be appealing to the viewer based on their modern mood.

Description

사용자의 현재 기분에 기초한 추천들을 생성하기 위한 방법 및 장치{Method and apparatus for generating recommendations based on current mood of user}Method and apparatus for generating recommendations based on current mood of user

(발명의 분야)(Field of invention)

본 발명은 텔레비전 프로그래밍 또는 다른 콘텐트에 대한 추천기들과 같은 추천기들에 관한 것으로, 보다 상세하게는 사용자의 현재 기분에 기초하여 텔레비전 프로그램들 또는 다른 콘텐트의 추천들과 같은, 추천들을 하기 위한 방법 및 장치에 관한 것이다.The present invention relates to recommenders, such as recommenders for television programming or other content, and more particularly, to a method and apparatus for making recommendations, such as recommendations of television programs or other content based on a user's current mood. It is about.

(발명의 배경)(Background of invention)

개인들에게 이용가능한 다수의 매체 옵션들은 급격한 속도로 증가하고 있다. 텔레비전 시청자들에게 이용가능한 채널들의 수는 예컨대, 이러한 채널들 상에서 이용가능한 프로그래밍 콘텐트의 다양성에 따라 증가되어 왔으며, 텔레비전 시청자들이 흥미 있는 텔레비전 프로그램들을 식별하는 것이 더욱 어려워지고 있다. 역사적으로, 텔레비전 시청자들은 인쇄된 텔레비전 프로그램 가이드들을 분석함으로써 흥미 있는 텔레비전 프로그램들을 식별하였다. 통상적으로, 이러한 인쇄된 텔레비전 프로그램 가이드들은 시간과 날짜, 채널 및 제목에 의해 이용가능한 텔레비전 프로그램들을 목록화하는 그리드들(grids)을 포함하였다. 텔레비전 프로그램들의 수가 증가함에 따라, 이러한 인쇄된 가이드들을 이용하여 원하는 텔레비전 프로그램들을 효과적으로 식별하는 것은 더욱 어렵게 되었다.The number of media options available to individuals is increasing at a rapid pace. The number of channels available to television viewers has increased, for example, with the variety of programming content available on these channels, making it more difficult for television viewers to identify television programs of interest. Historically, television viewers have identified interesting television programs by analyzing printed television program guides. Typically, these printed television program guides included grids listing the television programs available by time and date, channel and title. As the number of television programs has increased, it has become more difficult to effectively identify the desired television programs using these printed guides.

최근 들어, 텔레비전 프로그램 가이드들은 종종 전자 프로그램 가이드들(electronic program guides: EPG)로서 언급되는, 전자 형식으로 이용가능하게 되었다. 인쇄된 텔레비전 프로그램 가이드들과 같이, EPG들은 시간, 날짜, 채널 및 제목에 의해 이용가능한 텔레비전 프로그램들을 목록화하는 그리드들을 포함한다. 하지만, 일부 EPG들은 텔레비전 시청자들이 개인화된 선호도에 따라 이용가능한 텔레비전 프로그램들을 분류하거나 검색할 수 있게 한다. 또한, EPG들은 이용가능한 텔레비전 프로그램들의 온-스크린(on-screen) 표시를 허용한다. In recent years, television program guides have become available in electronic form, often referred to as electronic program guides (EPGs). Like printed television program guides, EPGs include grids that list the television programs available by time, date, channel, and title. However, some EPGs allow television viewers to classify or search for available television programs according to personalized preferences. EPGs also allow on-screen display of available television programs.

EPG들은 시청자들이 종래의 인쇄된 가이드들보다 효과적으로 원하는 프로그램들을 식별할 수 있게 하지만, 그것들은 다수의 제약들을 받으며, 이것이 해소된다면, 원하는 프로그램들을 식별하는 시청자들의 능력을 더 향상시킬 수 있다. 예컨대, 많은 시청자들은 액션 기반의 프로그램들 또는 스포츠 프로그래밍과 같은 프로그래밍의 특정 카테고리들에 대한 특정 선호도 또는 성향을 갖는다. 따라서, 시청자 선호도들은 특정 시청자들에게 흥미 있을 수 있는 추천된 프로그램들의 세트를 얻도록 EPG에 적용될 수 있다. EPGs allow viewers to identify desired programs more effectively than conventional printed guides, but they are subject to a number of constraints and, if resolved, can further enhance viewers' ability to identify desired programs. For example, many viewers have a particular preference or propensity for certain categories of programming, such as action based programs or sports programming. Thus, viewer preferences can be applied to the EPG to obtain a set of recommended programs that may be of interest to particular viewers.

그러므로, 텔레비전 프로그래밍을 추천하기 위해 다수의 도구들이 제안 또는 제의되어 왔다. 예로서, 캘리포니아 서니베일 소재의 티보 인크(Tivo Inc.,)로부터 상업적으로 이용가능한 TivoTM 시스템은, 시청자가 "만족 및 불만족(Thumbs Up and Thumbs Down)" 특성을 이용하여 쇼들을 평가할 수 있도록 하고, 그것에 의하여 시청자가 각각 좋아하고 싫어하는 프로그램들을 나타낸다. 이런 방식으로, TivoTM 시스템은 시청자가 좋아했거나 싫어했던 이전의 텔레비전 프로그램들로부터 시청자의 선호도들을 암시적으로 도출한다. 그에 따라, TiVo 수신기는 각각의 시청자에게 맞추어진 추천들을 하도록 EPG와 같은 수신된 프로그램 데이터와 기록된 시청자 선호도들을 매치시킨다. Therefore, a number of tools have been proposed or suggested for recommending television programming. As an example, the Tivo ™ system commercially available from Tivo Inc., Sunnyvale, California, allows viewers to rate shows using the "Thumbs Up and Thumbs Down" feature. By doing so, it represents the programs that the viewer likes and dislikes, respectively. In this way, the Tivo ™ system implicitly derives viewer's preferences from previous television programs that the viewer liked or disliked. As such, the TiVo receiver matches the recorded viewer preferences with the received program data, such as the EPG, to make recommendations tailored to each viewer.

암시적인 텔레비전 프로그래밍 추천기들은 비강제적인(non-obtrusive) 방식으로 시청자들의 시청 히스토리로부터 도출된 정보에 기초하여 텔레비전 프로그램 추천들을 생성한다. 반면에, 명시적인 텔레비전 프로그래밍 추천기들은 시청자 프로파일들을 도출하고 추천을 생성하기 위해, 제목, 장르, 배우들, 채널, 및 날짜/시간과 같은 프로그램 속성들에 대한 시청자들의 선호도들에 대해 시청자들에게 명시적으로 질문한다. Implicit television programming recommenders generate television program recommendations based on information derived from viewers' viewing history in a non-obtrusive manner. On the other hand, explicit television programming recommenders specify viewers about their preferences for program attributes such as title, genre, actors, channel, and date / time to derive viewer profiles and generate recommendations. Ask questions.

이러한 텔레비전 프로그래밍 추천기들은 주어진 시청자들에게 흥미있을 것 같은 프로그램들을 식별하지만, 다수의 제약들을 받으며, 이것이 해소된다면, 생성된 프로그램 추천들의 품질을 더욱 향상시킬 수 있다. 예컨대, 텔레비전 프로그램 추천들을 생성하기 위한 종래의 도구들은 시청자 프로파일 및 텔레비전 프로그램 추천 점수를 생성할 때 전체로서 사람의 시청 히스토리를 고려한다. 그러므로, 식별된 프로그램들은 시청자의 현재 관심사 또는 기분에 대해 특별한 상관관계를 갖지 않는다. 따라서, 시청자의 현재 기분에 반응하는 텔레비전 프로그램 추천들을 생성하기 위한 방법 및 장치의 필요성이 존재한다. Such television programming recommenders identify programs that may be of interest to a given viewer, but are subject to a number of constraints and, if resolved, may further improve the quality of the generated program recommendations. For example, conventional tools for generating television program recommendations consider a person's viewing history as a whole when generating a viewer profile and a television program recommendation score. Therefore, the identified programs do not have a special correlation with the viewer's current interests or moods. Thus, a need exists for a method and apparatus for generating television program recommendations that respond to a viewer's current mood.

(발명의 요약)(Summary of invention)

일반적으로, 사용자의 현재 기분에 기초한 추천 시스템에서 사용자 프로파일을 생성하기 위한 방법 및 장치가 개시된다. 그러므로, 본 발명은 다양한 기분들에 따라 사용자의 선호도들을 학습하고, 그에 따라 사용자의 현재 기분에 맞추어진 추천들을 생성하기 위해 이러한 기분 기반의 선호도들을 이용한다. Generally, a method and apparatus for generating a user profile in a recommendation system based on a user's current mood is disclosed. Therefore, the present invention uses these mood-based preferences to learn the user's preferences according to various moods and thus generate recommendations tailored to the user's current mood.

본 발명은 사용자의 표정과 같은 오디오 또는 비주얼 정보를 처리함으로써 사용자의 기분을 검출한다. 일단 기분이 검출되면, 주어진 세션(session)과 관련된 행동은 시청자의 현재 기분들과 관련될 수 있다. 일 구현에서, 본 발명은 사용자의 현재 기분에 기초하여, 시청자가 매력을 느낄 것 같은 하나 이상의 프로그램들을 시청자가 선택할 수 있도록 하는 전자 프로그램 가이드를 제공한다. The present invention detects a user's mood by processing audio or visual information such as a user's facial expression. Once mood is detected, the behavior associated with a given session can be related to the viewer's current moods. In one implementation, the present invention provides an electronic program guide that allows a viewer to select one or more programs that the viewer is likely to be attracted to based on the user's current mood.

본 발명의 특징들 및 장점들뿐만 아니라 본 발명의 더 완벽한 이해는 이하의 상세한 설명 및 도면들을 참조하여 얻어질 것이다.A more complete understanding of the present invention as well as the features and advantages of the present invention will be obtained with reference to the following detailed description and drawings.

도 1은 본 발명에 따른 텔레비전 프로그래밍 추천기(recommender)를 도시한 도면.1 is an illustration of a television programming recommender in accordance with the present invention.

도 2는 도 1의 프로그램 데이터베이스로부터 샘플 표를 도시한 도면.2 shows a sample table from the program database of FIG. 1;

도 3a는 도 1의 암시적인 시청자 프로파일의 베이시안 구현(Bayesian implementation)으로부터 샘플 표를 도시한 도면.FIG. 3A shows a sample table from the Bayesian implementation of the implicit viewer profile of FIG. 1. FIG.

도 3b는 결정 트리(Decision tree: DT) 추천기에 의해 사용된 시청 히스토리로부터 샘플 표를 도시한 도면.FIG. 3B shows a sample table from the viewing history used by the Decision tree (DT) recommender. FIG.

도 3c는 도 3b의 시청 히스토리로부터 결정 트리(DT) 추천기에 의해 생성된 시청자 프로파일로부터 샘플 표를 도시한 도면.3C shows a sample table from a viewer profile generated by a decision tree (DT) recommender from the viewing history of FIG. 3B.

도 4는 본 발명의 원리들을 구현한 예시적인 기분 검출 및 프로파일 업데이트 프로세스를 설명하는 흐름도.4 is a flow diagram illustrating an exemplary mood detection and profile update process implementing the principles of the present invention.

도 5는 본 발명의 원리들을 구현한 예시적인 기분 기반의 추천 프로세스를 설명하는 흐름도.5 is a flow diagram illustrating an exemplary mood-based recommendation process implementing the principles of the present invention.

도 1은 본 발명에 따른 텔레비전 프로그래밍 추천기(100)를 보여준다. 도 1에 도시된 바와 같이, 텔레비전 프로그래밍 추천기(100)는 한 명 이상의 시청자(들)(140)에게 흥미 있는 프로그램들을 식별하도록 전자 프로그래밍 가이드(electronic programming guide: EPG)(130)에서의 각각의 프로그램들을 평가한다. 추천된 프로그램들의 세트가 예컨대 잘 알려진 온 스크린 표시 기술들을 이용하여 셋톱 단말/텔레비전(160)을 사용하는 시청자(140)에게 제공될 수 있다. 본 발명은 텔레비전 프로그래밍 추천들의 관점에서 본 명세서에 설명되었지만, 본 발명은 시청 히스토리 또는 구매 히스토리와 같은, 행동 히스토리에 기초하여 임의의 자동으로 생성된 추천들에 이용될 수 있다. 1 shows a television programming recommender 100 in accordance with the present invention. As shown in FIG. 1, the television programming recommender 100 may identify each program in an electronic programming guide (EPG) 130 to identify programs of interest to one or more viewer (s) 140. Evaluate the programs. A set of recommended programs can be provided to the viewer 140 using the set top terminal / television 160 using, for example, well-known on-screen display techniques. Although the present invention has been described herein in terms of television programming recommendations, the present invention may be used for any automatically generated recommendations based on behavioral history, such as viewing history or purchase history.

본 발명의 일 특징에 따르면, 텔레비전 프로그래밍 추천기(100)는, 도 3a 및 도 3c와 관련하여 아래에서 논의되는 시청자의 보다 종래의 시청 행동에 부가하여 시청자의 현재 기분을 기반으로 한 사용자 프로파일(300)을 생성한다. 종래의 추천기는 시청자 프로파일을 생성할 때, 사람의 시청 히스토리를 전체로서 고려하지만, 본 발명은 다양한 부류의 문제로서 시청자의 선호도들을 처리하며, 시청자의 하나 이상의 기분들과 각각의 시청 세션을 연관시킨다. 그러므로, 본 발명은 다양한 기분들에 따라 시청자의 선호도들을 학습하고, 프로그램 추천들을 생성하기 위해 이러한 기분 기반의 시청 선호도들을 이용한다. 이런 방식으로, 시청자가 흥미를 끌 것 같은 하나 이상의 프로그램들을 시청자의 현재 기분에 기반하여 선택할 수 있도록 전자 프로그래밍 가이드가 제공된다. According to one aspect of the invention, the television programming recommender 100 may include a user profile based on the viewer's current mood in addition to the viewer's more conventional viewing behavior discussed below in connection with FIGS. 3A and 3C. 300). Conventional recommenders consider a person's viewing history as a whole when generating a viewer profile, but the present invention addresses viewer preferences as a problem of various classes, and associates each viewing session with one or more moods of the viewer. . Therefore, the present invention uses these mood-based viewing preferences to learn the viewer's preferences according to various moods and to generate program recommendations. In this way, an electronic programming guide is provided so that the viewer can select one or more programs that are likely to be interesting based on the viewer's current mood.

도 1에 도시된 바와 같이, 텔레비전 프로그래밍 추천기(100)는 시청자(140)에게 초점이 맞춰진 하나 이상의 오디오/비주얼 포착 장치들(150-1 내지 150-N)(이하, 총괄적으로 오디오/비주얼 포착 장치들(capture devices)(150)이라 칭함)을 포함한다. 오디오/비주얼 포착 장치들(150)은 예컨대 비디오 정보를 포착하기 위한 팬-틸트-줌(pan-tilt-zoom: PTZ) 카메라 또는 오디오 정보를 포착하기 위한 마이크로폰들의 어레이를 포함할 수 있으며, 또는 이 둘 모두를 포함할 수 있다.As shown in FIG. 1, the television programming recommender 100 may include one or more audio / visual capture devices 150-1 through 150 -N (hereinafter, collectively referred to as audio / visual capture) focused on the viewer 140. Capture devices 150). Audio / visual capture devices 150 may include, for example, a pan-tilt-zoom (PTZ) camera for capturing video information or an array of microphones for capturing audio information, or It can include both.

오디오/비주얼 포착 장치들(150)에 의해 생성된 오디오 또는 비디오 영상(또는 둘 모두)은 하나 이상의 미리 정의된 시청자(140)의 기분들을 식별하기 위해, 도 4 및 도 5와 연관하여 아래에 설명된 방식으로 텔레비전 프로그래밍 추천기에 의해 처리된다. 아래에 논의된 바와 같이, 표정 처리 기술들은 예컨대 시청자가 행복한지 또는 슬픈지를 검출하기 위해 시청자의 얼굴을 분석하는데 사용될 수 있다. 또한, 오디오 처리 기술들은 예컨대 시청자의 현재 기분을 시사할 수 있는 웃음이나 울음을 검출하기 위해 시청자에 의해 만들어진 소리들을 분석하는데 이용될 수 있다. 시청자의 기분은 예컨대 프로파일 정보가 기록될 때, 또는 추천이 생성되려고 할 때(또는 둘 모두) 검출될 수 있다. The audio or video image (or both) generated by the audio / visual capture devices 150 is described below in connection with FIGS. 4 and 5 to identify the moods of one or more predefined viewers 140. Is handled by a television programming recommender. As discussed below, facial expression processing techniques can be used, for example, to analyze a viewer's face to detect whether the viewer is happy or sad. Audio processing techniques may also be used to analyze sounds made by the viewer, for example, to detect laughter or crying that may suggest the viewer's current mood. The viewer's mood can be detected, for example, when profile information is recorded, or when a recommendation is about to be generated (or both).

도 1에 도시된 바와 같이, 텔레비전 프로그래밍 추천기(100)는 프로그램 데이터베이스(200), 하나 이상의 시청자 프로파일들(300), 기분 검출 및 프로파일 업데이트 프로세스(400) 및 기분 기반의 추천 프로세스(500)를 포함하며, 각각은 도 2 내지 도 5와 연관하여 각각 아래에서 더 논의된다. 일반적으로, 프로그램 데이터베이스(200)는 주어진 시간 간격에서 이용가능한 각 프로그램에 대한 정보를 기록한다. 도 3a에 도시된, 하나의 예시적인 시청자 프로파일(300)은 시청자가 좋아했거나 싫어했던 프로그램들의 세트에 기초하여, 시청자의 시청 히스토리로부터 통상적으로 도출되는 암시적인 시청자 프로파일이다. 도 3c에 도시된 또 다른 예시적인 시청자 프로파일(300)은 도 3b에 도시된 예시적인 시청 히스토리(360)에 기초하여 결정 트리 추천기에 의해 생성된다. As shown in FIG. 1, the television programming recommender 100 includes a program database 200, one or more viewer profiles 300, a mood detection and profile update process 400, and a mood-based recommendation process 500. Each of which is further discussed below in connection with FIGS. Generally, program database 200 records information about each program available at a given time interval. One example viewer profile 300, shown in FIG. 3A, is an implicit viewer profile that is typically derived from the viewer's viewing history based on a set of programs that the viewer liked or disliked. Another example viewer profile 300 shown in FIG. 3C is generated by a decision tree recommender based on the example viewing history 360 shown in FIG. 3B.

기분 검출 및 프로파일 업데이트 프로세스(400)는 시청자의 현재 기분을 감지하고 이러한 기분에 있을 때 시청자의 선호도들을 학습하도록 오디오/비주얼 포착 장치들(150)에 의해 생성된 비디오 또는 정지 영상들(또는 둘 모두)을 처리한다. 기분 기반의 추천 프로세스(500)는 시청자의 도출된 현재 기분에 기초한 프로그램 추천을 생성하기 위해 기분 검출 및 프로파일 업데이트 프로세스(400)에 의해 생성된 기분 기반의 시청 선호도들을 이용한다. The mood detection and profile update process 400 detects the viewer's current mood and learns video or still images (or both) generated by the audio / visual capture devices 150 to learn the viewer's preferences when in this mood. ). The mood-based recommendation process 500 uses the mood-based viewing preferences generated by the mood detection and profile update process 400 to generate a program recommendation based on the viewer's derived current mood.

텔레비전 프로그래밍 추천기(100)는 중앙 처리 장치(CPU)와 같은 프로세서(120), 및 RAM 및/또는 ROM과 같은 메모리(110)를 포함하는 개인용 컴퓨터 또는 워크스테이션과 같은 임의의 계산 장치로서 구현될 수 있다. 또한, 텔레비전 프로그래밍 추천기(100)는 캘리포니아 서니베일 소재의 티보 인크로부터 상업적으로 이용가능한 TivoTM 시스템과 같은 임의의 이용가능한 텔레비전 프로그래밍 추천기로서 구현될 수 있으며, 또는 1999년 12월 17일에 출원된 발명의 명칭이 "Method and Apparatus for Recommending Television Programming Using Decision Trees"(대리인 문서번호 제700772)인 미국 특허출원번호 제09/466,406호, 및 2000년 2월 4일에 출원된 발명의 명칭이 "Bayesian TV Show Recommender"(대리인 문서번호 제700690호)인 미국 특허출원번호 제09/498,271호, 및 2000년 7월 27일에 출원된 발명의 명칭이 "Three-Way Media Recommendation Method and System"(대리인 문서번호 제700913호)인 미국 특허출원번호 제09/627,139호에 개시된 텔레비전 프로그래밍 추천기들로서 구현될 수 있으며, 또는 본 발명의 특징들 및 기능들을 실행하기 위해 본 명세서에서 변형된 것으로서 그것들의 임의 조합으로 구현될 수 있다. The television programming recommender 100 may be implemented as any computing device, such as a personal computer or workstation, including a processor 120, such as a central processing unit (CPU), and a memory 110, such as RAM and / or ROM. Can be. In addition, television programming recommender 100 may be implemented as any available television programming recommender, such as the Tivo ™ system commercially available from Tivo Ink, Sunnyvale, California, or filed December 17, 1999. US Patent Application No. 09 / 466,406, entitled "Method and Apparatus for Recommending Television Programming Using Decision Trees" (Agent No. 700772), and the invention filed on February 4, 2000 Bayesian TV Show Recommender (Attorney Docket No. 700690), US Patent Application No. 09 / 498,271, and the invention filed on July 27, 2000, entitled "Three-Way Media Recommendation Method and System" Document No. 700913), which may be implemented as television programming recommenders disclosed in U.S. Patent Application Serial No. 09 / 627,139, or that implements the features and functions of the present invention. As it modified herein, in order to may be implemented in any combination of them.

도 2는 주어진 시간 간격에서 이용가능한 각각의 프로그램에 대한 정보를 기록하는 도 1의 프로그램 데이터베이스(200)로부터의 샘플 표이다. 도 2에 도시된 바와 같이, 프로그램 데이터베이스(200)는 주어진 프로그램과 각각 연관된 레코드들(205 내지 220)과 같은 다수의 레코드들을 포함한다. 각각의 프로그램에 대해, 프로그램 데이터베이스(200)는 각각 필드들(240 및 245) 내의 프로파일과 관련된 날짜/시간 및 채널을 나타낸다. 또한, 각 프로그램에 대한 제목, 장르 및 배우들이 필드들(250,255 및 270)에서 각각 식별된다. 프로그램의 존속시간 및 설명과 같은 부가적인 공지된 특징들(도시되지 않음)이 또한 프로그램 데이터베이스(200)에 포함될 수 있다. 2 is a sample table from the program database 200 of FIG. 1 that records information about each program available at a given time interval. As shown in FIG. 2, program database 200 includes a number of records, such as records 205-220, each associated with a given program. For each program, program database 200 represents the date / time and channel associated with the profile in fields 240 and 245, respectively. In addition, the title, genre, and actors for each program are identified in fields 250, 255, and 270, respectively. Additional known features (not shown), such as duration and description of the program, may also be included in the program database 200.

도 3a는 예시적인 암시적인 시청자 프로파일(300)을 보여주는 표이다. 도 3에 도시된 바와 같이, 암시적인 시청자 프로파일(300)은 상이한 프로그램 특성과 각각 연관된 복수의 레코드들(305-313)을 포함한다. 또한, 열(column)(330)로 설명된 각각의 특징에 대해, 필드들(335 내지 345)에서의 대응하는 긍정적인 계수들(positive counts) 및 필드(350)에서의 부정적인 계수들(negative counts)을 제공한다. 본 발명의 특징에 따르면, 긍정적인 계수는 텔레비전 프로그래밍 추천기(100)에 의해 검출되는 각각의 개별 기분에 대해 제공된다. 다양한 긍정적인 계수들은 대응하는 기분 동안에 각각의 특징을 갖는 프로그램들을 시청자가 시청한 횟수를 나타낸다. 부정적인 계수들은 각각의 특징을 갖는 프로그램을 시청자가 시청하지 않은 횟수를 나타낸다. 3A is a table showing an example implicit viewer profile 300. As shown in FIG. 3, the implicit viewer profile 300 includes a plurality of records 305-313 each associated with a different program characteristic. In addition, for each feature described by column 330, the corresponding positive counts in fields 335-345 and negative counts in field 350 are described. ). According to a feature of the invention, a positive coefficient is provided for each individual mood detected by the television programming recommender 100. Various positive coefficients indicate the number of times viewers watched programs with respective characteristics during the corresponding mood. Negative coefficients indicate the number of times a viewer did not watch a program with each feature.

각각의 긍정적이고 부정적인 프로그램 예(즉, 시청된 프로그램들 및 시청되지 않은 프로그램들)에 대해, 프로그램 특징들의 수는 사용자 프로파일(300)에서 분류된다. 예로서, 만약 주어진 시청자가 행복한 기분에서 늦은 오후에 채널2의 주어진 스포츠 프로그램을 10번 시청했다면, 그후, 암시적인 시청자 프로파일(300)에서 이들 특징들과 관련된 긍정적인 계수들(행복)은 필드(345)에서 10만큼 증가될 것이고, 부정적인 계수들은 0(제로)이 될 것이다. 암시적인 시청 프로파일(300)은 사용자의 시청 히스토리에 기반하므로, 프로파일(300)에 포함된 데이터는 시청 히스토리가 증대됨에 따라 시간에 대해 개정된다. 대안으로는, 암시적인 시청자 프로파일(300)은 예컨대 사람들의 인구 통계에 기초하여 사용자에 대해 선택된 일반적이거나 미리 정의된 프로파일에 기초할 수 있다. For each positive and negative program example (ie, watched and unwatched programs), the number of program features is classified in the user profile 300. For example, if a given viewer watched a given sports program of channel 2 ten times in the late afternoon in a happy mood, then the positive coefficients (happiness) associated with these features in the implicit viewer profile 300 are displayed in the field ( 345) will be increased by 10, and negative coefficients will be zero. Since the implicit viewing profile 300 is based on the viewing history of the user, the data contained in the profile 300 is revised over time as the viewing history is increased. Alternatively, the implicit viewer profile 300 may be based on a general or predefined profile selected for the user based, for example, on the demographics of the people.

도 3b는 결정 트리 텔레비전 추천기에 의해 유지되는 예시적인 시청 히스토리(360)를 보여주는 표이다. 도 3b에 도시된 바와 같이, 시청 히스토리(360)는 상이한 프로그램과 각각 연관된 복수의 레코드들(361-369)을 포함한다. 또한, 각각의 프로그램에 대해, 시청 히스토리(360)는 필드들(370-379)에서 다양한 프로그램 특징들을 식별한다. 필드들(370-379)에 열거된 값들은 통상적으로 전자 프로그램 가이드(130)로부터 얻어질 수 있다. 전자 프로그램 가이드(130)가 주어진 프로그램에 대해 주어진 특징을 지정하지 않으면, 그 값은 "?"을 사용하여 시청 히스토리(360)에 지정된다. 3B is a table showing an example viewing history 360 maintained by a decision tree television recommender. As shown in FIG. 3B, the viewing history 360 includes a plurality of records 361-369, each associated with a different program. In addition, for each program, viewing history 360 identifies various program features in fields 370-379. The values listed in fields 370-379 can typically be obtained from electronic program guide 130. If the electronic program guide 130 does not specify a given feature for a given program, the value is assigned to the viewing history 360 using "?".

도 3c는 도 3b에 열거된 시청 히스토리(360)로부터 결정 트리 텔레비전 추천기에 의해 생성될 수 있는 예시적인 시청자 프로파일(300')을 보여주는 표이다. 도 3c에 도시된 바와 같이, 결정 트리 시청자 프로파일(300')은 시청자 선호도들을 지정하는 다른 규칙과 각각 연관된 다수의 레코드들(381-384)을 포함한다. 또한, 열(390)에서 식별된 각각의 규칙에 대해, 시청자 프로파일(300')은 필드(391)에서의 규칙과 관련된 조건들 및 필드(392)에서의 대응하는 추천을 식별한다. FIG. 3C is a table showing an example viewer profile 300 ′ that may be generated by the decision tree television recommender from the viewing history 360 listed in FIG. 3B. As shown in FIG. 3C, decision tree viewer profile 300 ′ includes a number of records 381-384, each associated with a different rule that specifies viewer preferences. In addition, for each rule identified in column 390, the viewer profile 300 ′ identifies the conditions associated with the rule in field 391 and the corresponding recommendation in field 392.

결정 트리 추천 시스템에서 시청자 프로파일들의 생성에 관한 보다 상세한 논의를 위해, 예컨대, 위에서 참조문헌으로 포함된, 1999년 12월 17일에 출원된 발명의 명칭이 "Method and Apparatus for Recommending Television Programming Using Decision Trees"(대리인 문서번호 제700772)인 미국 특허출원번호 제09/466,406호를 보자. For a more detailed discussion of the generation of viewer profiles in a decision tree recommendation system, for example, the name of the invention filed on December 17, 1999, incorporated by reference above, is entitled "Method and Apparatus for Recommending Television Programming Using Decision Trees". See US Patent Application No. 09 / 466,406, "(Representative Document No. 700772).

도 4는 예시적인 기분 검출 및 프로파일 업데이트 프로세스(400)를 설명하는 흐름도이다. 도 4에 도시된 바와 같이, 기분 검출 및 프로파일 업데이트 프로세스(400)는 초기에 프로그램의 종료 또는 새로운 프로그램 채널의 선택과 같은 시청자 프로파일(300)의 업데이트를 트리거(trigger)하기 위해 이벤트(event)가 일어나는지의 여부를 결정하기 위해 단계 410 동안 테스트를 행한다. 만약 단계 410 동안 이벤트가 시청자 프로파일(300)의 업데이트를 트리거하기 위해 일어나지 않은 것으로 결정되면, 그 후에 프로그램 제어는 이러한 이벤트가 검출될 때까지 단계 410으로 되돌아간다. 4 is a flow diagram illustrating an example mood detection and profile update process 400. As shown in FIG. 4, the mood detection and profile update process 400 initially includes an event to trigger an update of the viewer profile 300 such as the end of a program or the selection of a new program channel. A test is performed during step 410 to determine if it is happening. If it is determined during step 410 that an event did not occur to trigger an update of the viewer profile 300, then program control returns to step 410 until such an event is detected.

하지만, 만약 단계 410 동안 이벤트가 시청자 프로파일(300)의 업데이트를 트리거하기 위해 일어난 것으로 결정되면, 그후, 시청자(140)의 현재 기분(들)은 각각이 본 명세서에서 참조문헌으로써 포함된, 어바나 샴페인(Urbana-Champaign)(1999)에서의 일리노이즈 대학의. Ph.D 논문인 "Facial Analysis from Continuous Video with Application to Human-Computer Interface" 또는 콜로라도 포트 콜린스, 제 1 권, 592-97, Computer Vision and Pattern Recognition(1999)에 대한 국제 회의의 진행에서, Antonio Colmenarez 등의 "A Probabilistic Framework for Embedded Face and Facial Expression Recognition"에 설명된 바와 같은 알려진 표정 분석 기술들을 이용하여 단계 420 동안 검출된다. 표정의 세기는 예컨대 본 발명의 양수인에게 양도되고, 본 명세서에 참조문헌으로써 포함된, 2000년 11월 3일 출원된 발명의 명칭이 "Estimation of Facial Expression Intensity Using a Bi-Directional Star Topology Hidden Markov Model"(대리인 문서번호 제701253)인 미국특허출원번호 제09/705,666호에 설명된 기술들에 따라 얻어질 수 있다. 일반적으로, 표정 분석은 오디오/비주얼 포착 장치들(150)에 포함된 카메라의 뷰(view)의 분야에서 시청자의 얼굴을 검출하고, 미소지음 또는 찡그림과 같은 시청자(140)에 의해 노출된 특정한 표정을 식별한다. 표정은 시청자(140)의 현재 기분을 도출하기 위해 사용된다. However, if it is determined during step 410 that the event occurred to trigger an update of the viewer profile 300, then the current mood (s) of the viewer 140 are each Urbana, each of which is incorporated herein by reference. Of the University of Illinois at Urbana-Champaign (1999). Antonio Colmenarez, in the international conference on the Ph.D paper "Facial Analysis from Continuous Video with Application to Human-Computer Interface" or Fort Collins, Colorado, Vol. 1, 592-97, Computer Vision and Pattern Recognition (1999). Detection is performed during step 420 using known facial expression techniques as described in “A Probabilistic Framework for Embedded Face and Facial Expression Recognition”, et al. The intensity of facial expression is, for example, assigned to the assignee of the present invention and incorporated herein by reference, the name of the invention filed Nov. 3, 2000, entitled "Estimation of Facial Expression Intensity Using a Bi-Directional Star Topology Hidden Markov Model". (Representative Document No. 701253), which may be obtained in accordance with the techniques described in US Patent Application Serial No. 09 / 705,666. In general, facial expression analysis detects the viewer's face in the field of the camera's view included in the audio / visual capture devices 150, and the particular facial expression exposed by the viewer 140, such as smiles or distortions. Identifies The facial expression is used to derive the viewer's current mood.

텔레비전 프로그래밍 추천기(100)가 베이시안 추천기 또는 결정 트리(DT) 추천기인지를 결정하기 위해 단계 425 동안 테스트가 행해진다. 만약 단계 425 동안 텔레비전 프로그래밍 추천기(100)가 베이시안 추천기인 것으로 결정되면, 그 후에, 시청자(140)의 현재 기분(들)에 대응하는 긍정적인 계수들은 현재 프로그램과 관련된 프로그램 특징들에 대한 단계 430 동안 사용자 프로파일(300)에서 업데이트된다. 또한, 부정적인 계수들은 시청되지 않은 하나 이상의 무작위로 선택된 프로그램들과 관련된 프로그램 특징들에 대해 단계 430 동안 사용자 프로파일(300)에서 선택적으로 업데이트된다. A test is performed during step 425 to determine whether the television programming recommender 100 is a Bayesian recommender or a decision tree (DT) recommender. If, during step 425, the television programming recommender 100 is determined to be a Bayesian recommender, then the positive coefficients corresponding to the viewer's current mood (s) are determined for the program features associated with the current program. It is updated in the user profile 300 for 430. In addition, negative coefficients are optionally updated in the user profile 300 during step 430 for program features associated with one or more randomly selected programs not viewed.

그러나, 단계 425 동안 텔레비전 프로그래밍 추천기(100)가 결정 트리(DT) 추천기인 것으로 결정되면, 그 후에, 시청자 프로파일(300')의 규칙들은 현재 기분과 관련된 이들 규칙들만을 식별하도록 단계 450 동안 필터링한다. 그에 따라, 남아있는 규칙들(필터링 후)은 현재 프로그램에 의해 만족되어지는 규칙들을 식별하도록 추가로 처리된다. 그 후에, 현재 프로그램은 다음과 같이, 단계 470 동안 식별된 규칙들에 부가된다. However, if the television programming recommender 100 is determined to be a decision tree (DT) recommender during step 425, then the rules of the viewer profile 300 ′ are filtered during step 450 to identify only those rules related to the current mood. do. As such, the remaining rules (after filtering) are further processed to identify the rules that are satisfied by the current program. Thereafter, the current program is added to the rules identified during step 470, as follows.

새로운 점수 = 현재 점수 +[((1개의 새로운 프로그램)/(규칙으로 커버된 총 # 프로그램들))×표시된 세기]New score = current score + [((1 new program) / (total # programs covered by rule)) × indicated intensity]

여기에서, 세기는 행복 기분에 대해 7의 값을, 슬픔 기분에 대해 1의 값을, 그리고 중립 기분에 대해 3의 값을 가질 수 있다. 대안으로, 도 3c의 시청자 프로파일(300')은 시청자 히스토리(360)에 시청된 프로그램을 부가하고 그 프로파일(300')을 재설정함으로써 단계 470 동안 업데이트될 수 있다. 그에 따라, 프로그램 제어가 종료된다. Here, the intensity may have a value of 7 for happy mood, a value of 1 for sadness mood, and a value of 3 for neutral mood. Alternatively, the viewer profile 300 'of FIG. 3C may be updated during step 470 by adding the watched program to the viewer history 360 and resetting the profile 300'. Thus, program control ends.

도 5는 본 발명의 원리를 구현한 기분 기반의 추천 프로세스(500)를 설명하는 흐름도이다. 기분 기반의 추천 프로세스(500)는 도출된 시청자의 현재 기분에 기초한 프로그램 추천들을 생성하기 위해 기분 검출 및 프로파일 업데이트 프로세스(400)에 의해 발생된 기분 기반의 시청 선호도들을 이용한다. 5 is a flow diagram illustrating a mood-based recommendation process 500 implementing the principles of the present invention. The mood-based recommendation process 500 uses the mood-based viewing preferences generated by the mood detection and profile update process 400 to generate program recommendations based on the derived viewer's current mood.

도 5에 도시된 바와 같이, 기분 기반의 추천 프로세스(500)는 초기에 흥미 기간에 대한 단계 510 동안 전자 프로그램 가이드(EPG)(130)를 얻는다. 그에 따라, 적절한 시청자 프로파일들(300)이 단계 515 동안 시청자를 위해 얻어진다. 그 후에, 기분 기반의 추천 프로세스(500)는 기분 검출 및 프로파일 업데이트 프로세스(400)에 대해 위에서 설명한 것과 동일한 방식으로 오디오/비주얼 포착 장치들(150)을 이용하여 단계 520 동안 시청자의 현재 기분을 도출한다. As shown in FIG. 5, the mood-based recommendation process 500 initially obtains an electronic program guide (EPG) 130 during step 510 for a period of interest. As such, appropriate viewer profiles 300 are obtained for the viewer during step 515. The mood-based recommendation process 500 then derives the viewer's current mood during step 520 using the audio / visual capture devices 150 in the same manner as described above for the mood detection and profile update process 400. do.

텔레비전 프로그래밍 추천기(100)가 베이시안 추천기 또는 결정 트리(DT) 추천기인지의 여부를 결정하기 위해 단계 525 동안 테스트가 행해진다. 단계 525 동안 만약 텔레비전 프로그래밍 추천기(100)가 베이시안 추천기인 것으로 결정되면, 그 후에, 추천 점수는 단계 530 동안 단지 현재 기분(들)만을 위한 특징 계수들을 이용하여 각각의 프로그램에 대해 계산된다. A test is performed during step 525 to determine whether the television programming recommender 100 is a Bayesian recommender or a decision tree (DT) recommender. If during step 525 the television programming recommender 100 is determined to be a Bayesian recommender, then the recommendation score is calculated for each program using feature coefficients only for the current mood (s) during step 530.

하지만, 만약 단계 525 동안 텔레비전 프로그래밍 추천기(100)가 결정 트리(DT) 추천기인 것으로 결정되면, 그 후에, 시청자 프로파일(300')의 규칙들은 현재 기분과 관련된 이들 규칙들만을 식별하도록 단계 540 동안 필터링된다. 그에 따라, 나머지 규칙들(필터링 후)이 단계 550 동안 흥미 기간에서의 모든 프로그램들에 적용된다. 점수는 프로파일(300')의 순서화된 목록에서 가장 먼저 만족된 규칙에 대응하는 프로파일(300')의 필드(392)로부터 각각의 프로그램에 대해 검색된다.However, if the television programming recommender 100 is determined to be a decision tree (DT) recommender during step 525, then, during step 540, the rules of the viewer profile 300 ′ identify only those rules related to the current mood. Is filtered. As such, the remaining rules (after filtering) apply to all programs in the period of interest during step 550. The score is retrieved for each program from the field 392 of the profile 300 'corresponding to the first satisfied rule in the ordered list of profiles 300'.

마지막으로, 사용자에게는 프로그램 제어를 종료하기 전에, 단계 570 동안 각각의 프로그램에 대해 계산된 추천 점수가 제공된다. Finally, the user is provided with a calculated recommendation score for each program during step 570 before terminating program control.

본 명세서에서 도시되고 설명된 실시예들 및 변형예들은 본 발명의 원리를 단순히 예시하는 것이며, 다양한 변형이 본 발명의 범위 및 사상에서 벗어남이 없이 당해 기술분야의 당업자에 의해 구현될 수 있음이 이해될 것이다. The embodiments and variations shown and described herein are merely illustrative of the principles of the invention, and it is understood that various modifications may be made by those skilled in the art without departing from the scope and spirit of the invention. Will be.

Claims (16)

이용가능한 항목들의 목록(130)으로부터 하나 이상의 항목들을 추천하기 위한 방법에 있어서, In a method for recommending one or more items from the list of available items 130, 상기 이용가능한 항목들의 목록(130)을 얻는 단계(510)와,Obtaining (510) the list of available items (130); 사용자(140)의 오디오 및 비디오 이미지들 중 적어도 하나를 생성하는 단계와,Generating at least one of audio and video images of the user 140; 상기 생성된 오디오 및 비디오 이미지들 중 적어도 하나를 처리하여 상기 사용자(140)의 현재 기분을 결정하는 단계(520)와,Processing (520) the current mood of the user 140 by processing at least one of the generated audio and video images; 상기 현재 기분에 기초하여 상기 하나 이상의 항목들에 대한 추천 점수를 생성하는 단계(530, 540)를 포함하는 하나 이상의 항목들 추천 방법.Generating a recommendation score for the one or more items based on the current mood (530, 540). 제 1 항에 있어서, The method of claim 1, 상기 현재 기분은 표정 처리 기술들을 이용하여 결정되는 하나 이상의 항목들 추천 방법.Wherein the current mood is determined using facial expression processing techniques. 삭제delete 제 1 항에 있어서, The method of claim 1, 상기 현재 기분은 상기 사용자(140)에게 질문함으로써 결정되는 하나 이상의 항목들 추천 방법.And how the current mood is determined by asking the user (140). 제 1 항에 있어서, The method of claim 1, 상기 하나 이상의 항목들은 프로그램들, 콘텐트들, 또는 제품들인 하나 이상의 항목들 추천 방법.The method of recommending one or more items, wherein the one or more items are programs, content, or products. 제 1 항에 있어서, The method of claim 1, 상기 사용자(140)에 의해 선택된 하나 이상의 항목들을 모니터하는 단계와,Monitoring one or more items selected by the user 140; 상기 항목 선택 동안, 오디오 및 비디오 처리 기술들 중 적어도 하나를 사용하여 상기 사용자(140)의 현재 기분을 결정하는 단계와,During the item selection, determining the current mood of the user 140 using at least one of audio and video processing techniques; 사용자 프로파일(300)에서 상기 항목 선택과 함께 상기 현재 기분의 표시를 기록하는 단계를 더 포함하는 하나 이상의 항목들 추천 방법.And recording the indication of the current mood along with the item selection in a user profile (300). 제 6 항에 있어서, The method of claim 6, 상기 사용자 프로파일(300)은 프로그램 콘텐트 추천기(100)와 관련되는 하나 이상의 항목들 추천 방법.The user profile (300) associated with a program content recommender (100). 제 6 항에 있어서, The method of claim 6, 상기 항목 선택과 함께 상기 현재 기분의 표시를 기록하는 상기 단계는 상기 항목 및 상기 현재 기분과 관련된 하나 이상의 긍정적인 특징 계수들을 증가시키는 단계를 더 포함하는 하나 이상의 항목들 추천 방법.Recording the indication of the current mood with the item selection further comprises increasing the item and one or more positive feature coefficients associated with the current mood. 제 6 항에 있어서, The method of claim 6, 상기 현재 기분은 상기 사용자(140)에게 질문함으로써 결정되는 하나 이상의 항목들 추천 방법.And how the current mood is determined by asking the user (140). 제 6 항에 있어서, The method of claim 6, 상기 하나 이상의 항목들은 프로그램들, 콘텐트들, 또는 제품들인 하나 이상의 항목들 추천 방법.The method of recommending one or more items, wherein the one or more items are programs, content, or products. 이용가능한 항목들의 목록(130)의 하나 이상의 항목들을 추천하기 위한 시스템(100)에 있어서,In the system 100 for recommending one or more items of the list of available items 130, 오디오 및 비디오 이미지들 중 적어도 하나를 생성하기 위한 적어도 하나의 오디오/비주얼 포착 장치(150)와,At least one audio / visual capture device 150 for generating at least one of audio and video images, 컴퓨터 판독가능 코드를 저장하기 위한 메모리(110)와,A memory 110 for storing computer readable code, 상기 메모리(110)에 동작가능하게 결합된 프로세서(120)로서, 상기 프로세서(120)는, A processor 120 operatively coupled to the memory 110, wherein the processor 120 includes: 상기 이용가능한 항목들의 목록(130)을 얻고,Obtain a list 130 of available items, 상기 생성된 오디오 및 비디오 이미지들 중 적어도 하나를 처리하여 사용자(140)의 현재 기분을 결정하고,Process at least one of the generated audio and video images to determine the current mood of the user 140, 상기 현재 기분에 기초하여 상기 하나 이상의 항목들에 대한 추천 점수를 생성하도록 구성된, 상기 프로세서(120)를 포함하는 하나 이상의 항목들 추천 시스템.And the processor (120) configured to generate a recommendation score for the one or more items based on the current mood. 삭제delete 제 11 항에 있어서, The method of claim 11, 상기 현재 기분은 상기 사용자(140)에게 질문을 함으로써 결정되는 하나 이상의 항목들 추천 시스템.The system for recommending one or more items, wherein the current mood is determined by asking the user (140). 제 11 항에 있어서, The method of claim 11, 상기 프로세서(120)는 또한, The processor 120 also, 상기 사용자(140)에 의해 선택된 하나 이상의 항목들을 모니터하고, Monitor one or more items selected by the user 140, 상기 항목 선택 동안, 오디오 및 비디오 처리 기술들 중 적어도 하나를 사용하여 사용자(140)의 현재 기분을 결정하고,During the item selection, at least one of audio and video processing techniques is used to determine the current mood of the user 140, 사용자 프로파일에서 상기 항목 선택과 함께 상기 현재 기분의 표시를 기록하도록 구성되는 하나 이상의 항목들 추천 시스템.One or more items recommendation system configured to record an indication of the current mood with the item selection in a user profile. 제 14 항에 있어서, The method of claim 14, 상기 프로세서(120)는 또한 상기 항목 및 상기 현재 기분과 관련된 하나 이상의 긍정적인 특징 계수들을 증가시키도록 구성되는 하나 이상의 항목들 추천 시스템.The processor (120) is also configured to increase one or more positive feature coefficients associated with the item and the current mood. 제 14 항에 있어서, The method of claim 14, 상기 하나 이상의 항목들은 프로그램들, 콘텐트들, 또는 제품들인 하나 이상의 항목들 추천 시스템.The one or more items recommendation system wherein the one or more items are programs, content, or products.
KR1020027009314A 2000-11-22 2001-11-16 Method and apparatus for generating recommendations based on a user's current mood KR100876300B1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US71826000A 2000-11-22 2000-11-22
US09/718,260 2000-11-22
PCT/EP2001/013453 WO2002043391A1 (en) 2000-11-22 2001-11-16 Method and apparatus for generating recommendations based on current mood of user

Publications (2)

Publication Number Publication Date
KR20020070490A KR20020070490A (en) 2002-09-09
KR100876300B1 true KR100876300B1 (en) 2008-12-31

Family

ID=24885424

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027009314A KR100876300B1 (en) 2000-11-22 2001-11-16 Method and apparatus for generating recommendations based on a user's current mood

Country Status (5)

Country Link
EP (1) EP1340375A1 (en)
JP (1) JP2004515128A (en)
KR (1) KR100876300B1 (en)
CN (1) CN100423574C (en)
WO (1) WO2002043391A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9552468B2 (en) 2013-11-29 2017-01-24 Samsung Electronics Co., Ltd. Image processing apparatus and control method thereof
US11589094B2 (en) 2019-07-22 2023-02-21 At&T Intellectual Property I, L.P. System and method for recommending media content based on actual viewers

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005022910A1 (en) * 2003-08-29 2005-03-10 Koninklijke Philips Electronics N.V. User-profile controls rendering of content information
KR20050117829A (en) * 2004-06-11 2005-12-15 삼성전자주식회사 Automatic service selection method and apparatus according to the physical condition of user, and terminal therewith
JP2007041988A (en) * 2005-08-05 2007-02-15 Sony Corp Information processing device, method and program
CN100455012C (en) * 2005-09-12 2009-01-21 中兴通讯股份有限公司 Television program recommending device and method thereof
JP2007215046A (en) * 2006-02-10 2007-08-23 Sharp Corp Information processor, information processing method, information processing program, and recording medium
US20080263591A1 (en) * 2007-04-23 2008-10-23 Microsoft Corporation Content viewing session
JP5042883B2 (en) * 2008-02-28 2012-10-03 株式会社日立製作所 Content recommendation device and content recommendation method
FR2931332A1 (en) * 2008-05-16 2009-11-20 Alcatel Lucent Sas METHOD AND SYSTEM FOR ESTABLISHING A PROGRAM GUIDE IN A DEMAND-BASED VIDEOS SERVICE BASED ON THE USER'S MOOD
US8658576B1 (en) 2009-10-21 2014-02-25 Encore Wire Corporation System, composition and method of application of same for reducing the coefficient of friction and required pulling force during installation of wire or cable
JP2011166572A (en) * 2010-02-12 2011-08-25 Nec Personal Products Co Ltd Apparatus for estimation of program preference, image viewing system, program viewing confirmation method, and program
US9123061B2 (en) 2010-03-24 2015-09-01 Disney Enterprises, Inc. System and method for personalized dynamic web content based on photographic data
US10289898B2 (en) 2010-06-07 2019-05-14 Affectiva, Inc. Video recommendation via affect
CN101958138A (en) * 2010-06-08 2011-01-26 宇龙计算机通信科技(深圳)有限公司 Music data storage method and device and music play terminal
US8640021B2 (en) * 2010-11-12 2014-01-28 Microsoft Corporation Audience-based presentation and customization of content
KR101789619B1 (en) 2010-11-22 2017-10-25 엘지전자 주식회사 Method for controlling using voice and gesture in multimedia device and multimedia device thereof
CN102098567B (en) * 2010-11-30 2013-01-16 深圳创维－Rgb电子有限公司 Interactive television system and control method thereof
TW201225649A (en) * 2010-12-07 2012-06-16 Acer Inc Television system and interaction method thereof
AU2012256402A1 (en) * 2011-02-27 2013-07-11 Affectiva, Inc, Video recommendation based on affect
US8887095B2 (en) * 2011-04-05 2014-11-11 Netflix, Inc. Recommending digital content based on implicit user identification
US20130061257A1 (en) * 2011-09-02 2013-03-07 Sony Corporation Verbally communicating facially responsive television apparatus
CN102427553A (en) * 2011-09-23 2012-04-25 Tcl集团股份有限公司 Method and system for playing television programs, television set and server
CN103137043B (en) * 2011-11-23 2015-07-15 财团法人资讯工业策进会 Advertisement display system and advertisement display method in combination with search engine service
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
CN102523502A (en) * 2011-12-15 2012-06-27 四川长虹电器股份有限公司 Intelligent television interaction system and interaction method
CN102402765B (en) * 2011-12-27 2017-07-28 北京京东尚科信息技术有限公司 Electronic commerce recommending method based on user's Expression analysis
US9352371B1 (en) 2012-02-13 2016-05-31 Encore Wire Corporation Method of manufacture of electrical wire and cable having a reduced coefficient of friction and required pulling force
CN103383597B (en) * 2012-05-04 2017-07-28 微软技术许可有限责任公司 Method for media program to be presented
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
US11328843B1 (en) 2012-09-10 2022-05-10 Encore Wire Corporation Method of manufacture of electrical wire and cable having a reduced coefficient of friction and required pulling force
CN103024521B (en) * 2012-12-27 2017-02-08 深圳Tcl新技术有限公司 Program screening method, program screening system and television with program screening system
KR20140094125A (en) * 2013-01-21 2014-07-30 삼성전자주식회사 display apparatus and method of providing customer-built information using the apparatus
KR20140096935A (en) * 2013-01-29 2014-08-06 이종식 Smart device having a user interface based on human emotion or tendency and user interface method
US10056742B1 (en) 2013-03-15 2018-08-21 Encore Wire Corporation System, method and apparatus for spray-on application of a wire pulling lubricant
DK178068B1 (en) * 2014-01-21 2015-04-20 Bang & Olufsen As Mood based recommendation
CN104811801A (en) * 2015-04-23 2015-07-29 天脉聚源(北京)传媒科技有限公司 Method and device for automatic switching of channels
CN106294489B (en) * 2015-06-08 2022-09-30 北京三星通信技术研究有限公司 Content recommendation method, device and system
FR3037757B1 (en) * 2015-06-18 2018-11-16 Spideo METHOD AND SYSTEM FOR RECOMMENDING A CONTENT USER FROM PARAMETER (S) ACTIVATED BY THE USER FROM A CORRESPONDING INTERFACE.
CN106327234A (en) * 2015-07-02 2017-01-11 中兴通讯股份有限公司 Information recommendation method and apparatus
CN106658202A (en) 2015-10-30 2017-05-10 中国移动通信集团公司 Method and equipment for triggering interaction application
CN105898411A (en) * 2015-12-15 2016-08-24 乐视网信息技术（北京）股份有限公司 Video recommendation method and system and server
CN105578277A (en) * 2015-12-15 2016-05-11 四川长虹电器股份有限公司 Intelligent television system for pushing resources based on user moods and processing method thereof
CN105721936B (en) * 2016-01-20 2018-01-16 中山大学 A kind of intelligent television program recommendation system based on context aware
CN106331109A (en) * 2016-08-26 2017-01-11 天津通信广播集团有限公司 Method for realizing intelligent recommendation system of visual information in digital television
CN106445365A (en) * 2016-09-12 2017-02-22 上海斐讯数据通信技术有限公司 Method for adjusting emotions and intelligent terminal
KR20180057096A (en) * 2016-11-21 2018-05-30 삼성전자주식회사 Device and method to perform recognizing and training face expression
CN108234591B (en) * 2017-09-21 2021-01-05 深圳市商汤科技有限公司 Content data recommendation method and device based on identity authentication device and storage medium
CN109327736B (en) * 2018-10-25 2021-01-26 合肥澳视智能科技有限公司 Program recommendation method based on program viewing expression and user information
CN109542624B (en) * 2018-11-23 2021-09-28 中国农业银行股份有限公司 Resource allocation method and device for application change
KR20210015410A (en) * 2019-08-02 2021-02-10 삼성전자주식회사 Display apparatus and Method for controlling the display apparatus thereof
CN111414883A (en) * 2020-03-27 2020-07-14 深圳创维－Rgb电子有限公司 Program recommendation method, terminal and storage medium based on face emotion
CN111417017A (en) * 2020-04-28 2020-07-14 安徽国广数字科技有限公司 IPTV program recommendation method and system based on human body identification
US11849177B2 (en) * 2020-11-11 2023-12-19 Rovi Guides, Inc. Systems and methods for providing media recommendations
US11641506B2 (en) * 2020-11-11 2023-05-02 Rovi Guides, Inc. Systems and methods for providing media recommendations
CN113992991A (en) * 2021-10-27 2022-01-28 四川启睿克科技有限公司 Voiceprint recognition-based video recommendation system and method
CN115866339A (en) * 2022-12-07 2023-03-28 深圳创维－Rgb电子有限公司 Television program recommendation method and device, intelligent device and readable storage medium

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9552468B2 (en) 2013-11-29 2017-01-24 Samsung Electronics Co., Ltd. Image processing apparatus and control method thereof
US11589094B2 (en) 2019-07-22 2023-02-21 At&T Intellectual Property I, L.P. System and method for recommending media content based on actual viewers

Also Published As

Publication number Publication date
KR20020070490A (en) 2002-09-09
JP2004515128A (en) 2004-05-20
CN100423574C (en) 2008-10-01
EP1340375A1 (en) 2003-09-03
WO2002043391A1 (en) 2002-05-30
CN1395798A (en) 2003-02-05

Similar Documents

Publication Publication Date Title
KR100876300B1 (en) Method and apparatus for generating recommendations based on a user's current mood
US8751957B1 (en) Method and apparatus for obtaining auditory and gestural feedback in a recommendation system
US8561095B2 (en) Affective television monitoring and control in response to physiological data
KR100967830B1 (en) Method and apparatus for recommending items of interest to a user based on recommendations for one or more third parties
US20020178440A1 (en) Method and apparatus for automatically selecting an alternate item based on user behavior
KR100852869B1 (en) Television program recommender with automatic identification of changing viewer preferences
KR100965457B1 (en) Content augmentation based on personal profiles
JP4538756B2 (en) Information processing apparatus, information processing terminal, information processing method, and program
US20060225088A1 (en) Generation of implicit tv recommender via shows image content
US20020186867A1 (en) Filtering of recommendations employing personal characteristics of users
TWI527442B (en) Information extracting method and apparatus and computer readable media therefor
WO2002080551A1 (en) Method and apparatus for generating recommendations for a plurality of users
KR101068657B1 (en) Transformation of recommender scores depending upon the viewed status of ?? shows

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121221

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20131220

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20141216

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20161213

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20171205

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20181130

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20191129

Year of fee payment: 12