KR100946222B1 - 감성적 텔레비전 모니터링 및 제어 - Google Patents

감성적 텔레비전 모니터링 및 제어 Download PDF

Info

Publication number
KR100946222B1
KR100946222B1 KR1020047007303A KR20047007303A KR100946222B1 KR 100946222 B1 KR100946222 B1 KR 100946222B1 KR 1020047007303 A KR1020047007303 A KR 1020047007303A KR 20047007303 A KR20047007303 A KR 20047007303A KR 100946222 B1 KR100946222 B1 KR 100946222B1
Authority
KR
South Korea
Prior art keywords
viewer
response
programming
program
sensor
Prior art date
Application number
KR1020047007303A
Other languages
English (en)
Other versions
KR20040054774A (ko
Inventor
디미트로바네벤카
지메르만존
아그니호트리랄리타
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20040054774A publication Critical patent/KR20040054774A/ko
Application granted granted Critical
Publication of KR100946222B1 publication Critical patent/KR100946222B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Neurosurgery (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

많은 텔레비전을 보는(또는 듣는) 시청자들에 의한 감각 반응들 및 무의식적 또는 자연적 동작들을 수집, 분석 및 이용하는 시스템 및 방법이 개시된다. 이미 알려진 프로그래밍이 텔레비전 수신기에 디스플레이되면, 복수의 센서들이 개별 프로그램 세그먼트와 연관될 수 있는 감정적 응답의 인식 가능한 증거를 위해 시청자 또는 시청자들을 모니터링한다. 여기서 긍정 (또는 부정) 응답들이 프로그램 콘텐츠의 특정 유형과 연관될 수 있고, 상기 시스템은 상기 시청자에 알리거나 또는 단지 상기 프로그램을 자동으로 제공(또는 제공을 회피)하기 위한 기회를 위해 후속 프로그램들을 모니터링한다.
텔레비전 수신기, 센서, 프로그램 모니터링

Description

감성적 텔레비전 모니터링 및 제어{AFFECTIVE TELEVISION MONITORING AND CONTROL}
본 발명은 일반적으로 텔레비전 시청자 피드백 수집 시스템들에 관한 것으로, 보다 상세하게는 시청자 프로파일(viewer profile)을 자동으로 생성하기 위해 인간의 반응 입력들을 사용하는 시스템 및 방법에 관한 것이다.
현대의 텔레비전 시스템들은 시청자들에게 다양한 종류의 소스(source)들로부터의 고품질 프로그램들을 제공하기 위해 매우 많은 양의 오디오-비주얼 입력을 효과적으로 처리한다. 이들 소스들의 다수는 케이블을 통하여 또는 방송 전파 상에 프로그램을 보내는 방송 네트워크들이다. 다른 소스들은 더 지역적이거나 제한될 수 있다. 예를 들어, 사설망들은 제한된 시청자들만을 위해 의도된 프로그래밍을 송신할 수 있고, 많은 집들에는 비디오 카세트 레코더들(VCRs) 또는 다른 기록 디바이스들이 설치되어 있고, 이들은 일단 기록 자료들을 수용하면 프로그래밍 소스들 그 자체가 된다.
그러므로, 현대의 시청자들은 매우 많은 양의 프로그래밍 선택을 갖는다. 상기 프로그래밍의 대부분은 상업적 이유들로 생성되기 때문에, 프로그램 제작자들은 인기 있는 프로그래밍이 장래의 프로그램들을 설계하는데 가이드로 사용될 수 있도록 하기 위해 시청자들이 원하거나 보기를 좋아하는 것이 무엇인지를 결정하는데 관심이 있다. 또한, 거대한 양의 이용가능한 프로그래밍을 처리하기 위하여 시청자들이 상대적으로 그것의 작은 부분에 선택적으로 집중하도록 허용하는 다양한 디바이스들이 있고, 그들은 그렇게 하도록 선택해야 한다. 예를 들면, 한 시청자는 프로그래밍의 특정 채널들에만 가입하는 것을 간단하게 선택할 수 있다. 수집되는 목적이 무엇이든지 간에, 텔레비전 사용자(시청자)의 시청 선호도와 관련된 데이터를 수집하는 것이 종종 유용하다. 사람들이 보기를 선호하는 것이 무엇인지에 대한 유용한 데이터를 수집하는 여러가지 방법이 있다. 우선, 시청자들에게 단순히 요청할 수 있다. 주어진 프로그램이 테스트 시청자들에게 보여지고, 그 후 그 구성원들에게 그들의 반응을 결정하도록 질문한다. 일반적으로 효과가 있음에도 불구하고, 이 접근은 여러가지의 결점을 갖는다. 그 하나로, 이것은 질문을 하고 대답을 기록할 매우 많은 면담자들을 필요로 한다. 그 후 만약 시청자의 좋고 싫음의 정확한 기록이 만들어지면 대답들이 알맞게 해석되어야 한다. 이런 이유들로, 이 접근은 일반적으로 제한된 테스트 시청자들에게만 유효하다. 시청자 반응이 단지 제한된 시청자들로부터만 수집되기 때문에, 그들의 반응들이 충분히 대중적인 시청의 대표인 것을 보장하기 위해서는 이 시청자들이 잘 선택되어야 한다.
물론, 단지 상기 테스트 시청자들에게 미리 결정된 질문에 대한 답을 제공하거나, 그들의 반응을 기술하거나, 또는 그들이 가장 즐기는 복수의 프로그램에 대해 투표를 할 것을 요청하는 경우에는 면담 직원들이 필요하지 않다. 그러나, 이러한 접근법 역시 해석에 있어서 많은 오류를 겪고, 그와 함께 응답 피로로 불리는 문제점을 수반한다. 상기 테스트 시청자들이 하고자 하는 모든 것이 협의된 과제를 이행하는 것이기 때문에, 이것은 질문 응답 또는 서식 기입 등으로 피곤한 상기 테스트 시청자들이 그들을 부주의하게 완성하는 상황이다. 또한, 의도적으로 잘못 유도된 답들의 문제점도 존재하는데, 상기 시청자들이 질문의 목적을 깨닫고, 몇몇 이유로 혼동스러운 답을 제공한다. 예를 들면, 한 시청자에게 매력적인 프로그램이 상기 시청자가 그 유쾌한 본질을 허용하기를 원치않을 정도로 명백하거나 폭력적일수 있다.
물론, 결과들은 단지 요구된 질문들과 주어진 답들에 충실하다. 면담 대본 또는 쓰여진 질문사항은 정직하고 진지한 응답자들로부터도 정확한 반응을 얻도록 주의 깊게 고안되어야 한다. 이 모든 것이 시간, 돈 및 다른 모든 자원들을 요구하고, 단지 제한된 시청자들만이 테스트된다. 하지만, 유효한 샘플들을 제공하기 위해 테스트하는 사람들이 아무리 주의깊게 테스트 시청자들을 모으려고 노력해도, 그것들은 질문들에 반응할 의지를 가진 사람들에게만 제한된다. 이 문제점은 집에 있는 시청자들에게 전화하여 일반적으로 그들이 어떻게 보는지 및 그들의 시청 습관들에 대해서 묻는 경우에도 존재한다. 위에서 언급한 방법들의 어떤 것에도, 일반적으로 시청자가 긍정 또는 부정 응답을 생성할 수 있는 프로그래밍의 특정 세그먼트들에 대한 것이 아닌 보여진 프로그램 전체에 대한 그들의 반응의 보고서에 기초한다는 점에 문제점이 존속한다. 많은 경우, 그러한 반응들은 직관적 또는 잠재적이고, 심지어는 진지한 시청자가 프로그램의 어느 부분이 가장 바람직했는지를 정확하게 지적할 수 없을 수도 있다. 마지막으로, 상기 질문들과 대답들, 또는 다른 조사 메커니즘이 상기 전 프로그램의 뒤에 오거나, 프로그램이 끝나기 전에 끼어들수 있다. 어느 경우에도 시청자 반응을 평가하는 완전성은 훼손된다. 상기 언급한 바와 같이, 시청자 반응이 단지 그들 자신의 채널 선택 과정을 단순화하는데 사용될 수 있다. 그러나, 시청자들이 그들이 무슨 프로그램을 좋아하는지를 기억하여 그들의 채널 선택기를 조정하려고 시도하는 경우에도, 그 결과는 완전성과는 거리가 멀 것이다. 그들의 기억에 문제가 있을 수도 있고, 그들이 선택하는 채널이 그들의 실제 선호도와 잘 맞지 않을 수도 있다. 어느 경우에도, 그들은 수동으로 선택을 행해야 하고, 그것이 매우 귀찮기 때문에 그렇게 하는 것을 꾸물거릴수도 있다.
그래서, 광범위한 테스트 시청자에 대해 실현될 수 있고, 상기 테스트를 행하는 쪽 또는 단지 자동 프로그램 선택 시스템에게 정확한 피드백을 제공하는, 텔레비전 및 유사한 프로그래밍에 대한 시청자의 반응을 측정하는 직관적이고 자동적인 방법이 필요하다. 본 발명의 시스템 및 방법은 그러한 해결책을 제공한다.
상기의 종래기술에서 논의된 문제점들을 해결하기 위해, 본 발명의 제 1 목적은 특정 프로그램들 또는 프로그램 세그먼트들에 대한 시청자의 반응을 정확하고 조심스럽게 수집하여 분석하는 시스템 및 방법을 텔레비전 시스템과 함께 사용하도록 제공하는 것이다. 하나 이상의 시청자 피드백 센서들이 각 테스트 시청자의 근처에 위치하여 반응 정보를 수집한다. 상기 반응 데이터는 저장을 위해 디지털 형태로 변환되어 시스템 데이터베이스에 저장된다. 상기 데이터베이스에 저장된 상기 반응 정보는 특정 프로그램 세그먼트와 일치할 수 있도록 시간이 찍힌다(time-stamped). 하나의 셋톱 박스는 하나 이상의 프로그래밍 소스들과 결합된다. 제어 프로그램은 시청자가 보는 프로그래밍을 선택하거나 그들이 그들 자신의 선택을 하도록 허용한다.
일단 충분한 양의 자료가 보여지면, 인식 가능한 프로그램 세그먼트와 연관된 데이터가 평가된다. 보고 디바이스는 분석 결과를 전달한다.
특히 바람직한 실시예에서는, 보고된 결과가 시청자 반응들이 확인될 수 있도록 상기 테스트 처리에 알려 준다.
또 다른 특히 바람직한 실시예에서는, 상기 시청자 반응들이 시청자 선호 레벨(시청자의 좋고 싫음을 나타내고, 수집된 반응 정보로부터 유도됨)과 연관된다.
본 발명의 추가적인 목적 및 장점들은 본 발명의 상세한 설명에게 보다 구체적으로 기술될 것이다.
앞서 말한 것들은 본 발명의 특징들과 기술적 장점들을 비교적 넓게 개설하여 본 기술분야의 당업자는 다음에 나오는 본 발명의 상세한 설명을 보다 잘 이해할 수 있을 것이다. 본 발명의 특허청구범위의 대상이 되는 본 발명의 추가적인 특징들과 장점들이 이하에서 기술된다. 본 기술분야의 당업자는 개시된 개념 및 구체적 실시예들을 기초로 하여 본 발명과 동일한 목적을 달성하는 다른 구조들을 변경 또는 설계할 수 있을 것이다. 본 기술분야의 당업자는 또한 그러한 동등한 구조들이 본 발명의 의도 및 범위로부터 벗어나지 않음을 알 것이다.
발명의 상세한 설명에 들어가기 전에, 이 특허 명세서를 통하여 사용되는 특정 용어들과 구들의 정의를 설명하는 것이 유용할 것이다.
용어 '포함한다' 및 '구비한다'는 그 의미뿐 아니라 제한 없이 포함하는 것을 의미하고; 용어 '또는'는 및/또는 을 포함하고; 구 '~와 연관된'은 그 의미뿐 아니라 ~에 포함되는, ~와 서로 연결된, 함유하는, ~내에 함유된, ~에 또는 ~와 연결하는, ~에 또는 ~와 결합하는, ~와 통신할 수 있는, ~와 협력하는, ~을 삽입하는, ~와 병렬하는, ~와 근사하는, ~에 속박된, ~을 갖는, ~의 특성을 갖는 등의 의미를 포함하고; 용어 '제어기'는 임의의 디바이스, 시스템 또는 적어도 하나의 동작을 제어하는 그 일부, 하드웨어, 펌웨어 또는 소프트웨어에서 구현될 수 있는 장치, 또는 상기의 동일한 것의 적어도 2개 이상의 결합 등을 뜻한다. 임의의 특정 제어기와 연관된 기능은 국부적이든 원격적이든 관계없이 집중될 수도 또는 분산되어 있을 수도 있다. 특정 단어 또는 구들의 정의는 이 특허 명세서 전체에 규정되며, 이 기술분야의 당업자는 많은 경우 상기 정의는 그렇게 정의된 단어 또는 구들의 장래의 사용뿐 아니라 종래의 사용에도 적용된다는 것을 이해할 것이다.
본 발명과 그 장점들을 보다 완전히 이해하기 위해, 첨부된 도면을 사용하여 취해진 다음의 기재를 참조한다. 여기서 동일 부호는 동일 대상물을 가리킨다.
도 1은 본 발명의 일 실시예에 따른 전형적인 텔레비전 수신기 시스템을 도시한 도면.
도 2는 본 발명의 유사한 실시예에 따른, 도 1의 상기 전형적인 텔레비전 수신기 시스템과 유사한 시스템에서 구현되는 프로그램 세그먼트들에 대한 시청자 반응들을 수집하는 전형적인 시스템을 도시한 도면.
도 3은 본 발명의 바람직한 실시예에 따른 비디오 카메라로부터의 입력을 처리하는데 사용될 수 있는 비디오 프로세서를 설명하는 블록도.
도 4는 본 발명의 일 실시예에 따른 감각 입력들의 상호작용과 상기 수집되고 처리된 감각 입력들을 사용하는 가능한 용도를 설명하는 시스템도.
도 5는 본 발명의 일 실시예에 따른 감각 피드백 정보를 수집, 처리, 및 이용하는 방법을 설명하는 플로우 차트.
아래에서 논의되는 도 1 내지 5 및 본 특허 명세서에서 본 발명의 원리들을 기술하는데 사용되는 다양한 실시예들은 단지 설명을 위한 것으로, 본 발명의 범위를 제한하는 것으로 해석되어서는 안된다. 다음에 오는 전형적 실시예의 설명에서, 본 발명은 디지털 텔레비전 수신기와 연관되어 사용된다. 그러나, 이 실시예는 단지 설명을 위한 것으로, 디지털 텔레비전 수신기에 본 발명의 범위를 제한하는 것으로 해석되어서는 안된다. 실제로, 본 기술분야의 당업자는 본 발명의 예시적 실시예가 유사한 텔레비전 수신기들 및 다른 유사한 디바이스들에 사용하기 위해 쉽게 변경될 수 있음을 알 것이다.
텔레비전 "프로그램" 또는 "프로그래밍"은 일반적으로, 예를 들어, 방송 또는 케이블 TV, 미리 기록된 비디오 테이프 또는 DVD 프리젠테이션, 전기통신 또는 컴퓨터 네트워크상에서 보내지는 스트리밍 멀티미디어를 포함하는, 텔레비전 수신기 또는 유사한 디바이스에서 디스플레이되는 프로그램들 또는 그 일부분들을 말하는 것으로 여기에서 사용된다. 여기에서 사용되는 바와 같이. '텔레비전 프로그래밍'은 또한 실제적 텔레비전 방송을 동반하는지에 관계없이 음성 프로그래밍과 문자 또는 멀티미디어 프리젠테이션을 포함한다. 예를 들면, 라디오 방송 및 멀티미디어 웹 페이지 프리젠테이션도 당연히 포함된다(그리고 몇몇의 경우에는, '시청' 또는 '시청자'는 단지 시청자 또는 비디오 영상을 실제로 볼 뿐만 아니라 듣고 읽는 사람을 일컫는다).
도 1은 본 발명의 일 실시예에 따른 전형적인 텔레비전 시스템(100)을 설명한다. 상기 전형적인 텔레비전 시스템(100)은 텔레비전 수신기(105), 적외선(IR) 센서(160)를 갖는 셋톱 박스(150), 및 비디오 기록 디바이스(140)(대체로 이렇게 불리지만, 종종 프로그램 오디오를 기록한다)를 포함한다. 아래에서 자세히 설명되는 바와 같이, 본 발명은 연구 목적과, 텔레비전 수신기(105)의 향상된 동작을 위해, 특히 디스플레이 및 기록을 위해 선택된 프로그래밍 자료에 관해서 시청자 반응을 피드백으로 수집하여 사용한다.
텔레비전 수신기(105)는 케이블 또는 위성 텔레비전 서비스 제공자에 의해 제공된 텔레비전 프로그램을 디스플레이하고, 이전에 기록된 자료를 디스플레이하기 위한 디스플레이 화면(110)을 포함한다. 수신기(105)는 또한 적외선(IR) 센서(115) 및 점선으로 둘러싸여 표시된 수동 제어 세트(120)를 포함한다. 수동 제어(120)는 파워 버튼, 볼륨 제어 버튼, 수직 및 수평 제어 버튼, 및 하나 이상의 채널 선택 버튼들을 제한없이 포함한다. 적외선(IR) 센서(115)는 텔레비전 시청자에 의해 동작될 수 있는 옵션의 휴대용 원격 제어기(125)로부터의 적외선 제어 신호를 수신한다. 대체로, 적외선 센서(115)에 의해 검출되는 원격 제어기로부터의 적외선 제어 신호들은 디스플레이 화면(110) 상에 보여지는 채널을 바꾸고, 볼륨을 증가 또는 감소시키고, 텔레비전 수신기(105)를 온 오프하는 등을 위해 텔레비전 수신기(105) 내에서 처리된다. 선택적으로, 적외선 센서(115)에 의해 검출되는 상기 적외선 제어 신호들은 셋톱 박스(150)의 동작을 제어하기 위해 셋톱 박스(150)로 중계될 수 있다.
셋톱 박스(150)는 예를 들어, 비디오 신호들이 유도될 수 있는 MPEG(Moving Picture Experts Group) 인코딩된 디지털 데이터의 스트림을 생성하기 위해 케이블 또는 위성 텔레비전 프로그램 서비스 제공자로부터 인입하는 신호들의 관용 튜닝 및 변조를 수행한다. 대신에, 텔레비전 수신기(105)가 외부 안테나(도시되지 않음)로부터 인입하는 텔레비전 방송 신호를 직접 수신할 수도 있다. 본 발명의 이 다른 대용의 실시예에서는, 텔레비전 수신기(105)가, 예를 들어 비디오 신호들이 유도될 수 있는 MPEG 인코딩된 디지털 데이터의 스트림을 생성하기 위해 안테나로부터 수신되는 인입 RF 신호들의 관용적인 튜닝 및 변조를 행한다. 만약 존재한다면, 외부 안테나가 또한 셋톱 박스(150)에 접속될 수 있다.
셋톱 박스(150)는 또한 적외선(IR) 센서(160)를 포함한다. 적외선 센서(160)는 상기 텔레비전 시청자들에 의해 동작되는 휴대용 원격 제어기(125)로부터의 적외선(IR) 제어 신호들을 수신한다. 바람직하게는, 셋톱 박스(150)를 제어하는 원격 제어기(125)가 텔레비전 수신기(105)를 동작하는 원격 제어기(125)와 동일한 것이다. 일반적으로, 적외선 센서(160)에 의해 검출되는 적외선 제어 신호들은 디스플레이 화면(110)상에 보여주도록 텔레비전 수신기(105)로 전송되는 채널을 바꾸고, 셋톱 박스(150)(및/또는 텔레비전 수신기(105))를 온 오프하고, 다른 텔레비전 제어들을 조정하기 위해 셋톱 박스(150) 내에서 처리된다.
비디오 레코더(140)는 상기 시청자가 또 다른 시간에 보는 프로그램들을 기록하는 디바이스이다. 그것은 텔레비전 수신기(105) 또는 바람직하게는 직접 셋톱 박스(150)에 접속될 수 있고, 디스플레이 화면(110)상에 디스플레이되는 것을 기록할 수 있고, 디스플레이 화면이 꺼져도 기록할 수 있다. 텔레비전 시스템(100)이 하나의 프로그램이 제 2의 프로그램이 디스플레이되는 동안 기록될 수 있도록 구성될 때 특수한 이점을 얻는다. 비디오 레코더(140)는 반드시 그렇지는 않지만 비디오 카세트 레코더(VCR)일 수 있고, 예를 들어 비디오 테이프 또는 플로피 디스크와 같은 삭제 가능한 매체를 사용하여 셋톱 박스(150) 또는 수신기(105)로부터 수신되지 않는 프로그램들을 재생할 수 있고, 또는 기록 및 재생을 위해 프로그램들의 다운로드를 허용하는 네트워크에 직접 또는 간접적으로 접속될 수 있다. 이에 더하여, 레코더(140)는 상기 TV(105) 또는 셋톱 박스(150)와 결합될 수 있다.
본 발명의 유용한 실시예에서는, 셋톱 박스(150)가 텔레비전 수신기(105)에 일체화될 수 있다. 셋톱 박스(150)와 텔레비전 수신기(105)의 일체화는 통상 발생하는데, 예를 들면 텔레비전 수신기(105)가 고선명 디지털 텔레비전(HDTV)일 때이다. 셋톱 박스(150)의 동작의 원리들과 기능들이 잘 알려져 있기 때문에, 텔레비전 제조자들은 자주 셋톱 박스(150)를 텔레비전 수신기(105)에 일체화시켜 장비의 양, 배선 및 상기 텔레비전 시청자들에 의해 행해지도록 요구되는 설정 작업을 줄이는 것이 유리한 것을 안다.
바람직하게는, 텔레비전 시스템(100)도 텔레비전 수신기(105)와 통신하는 개인용 컴퓨터(PC)(170), 및 셋톱 박스(150)를 포함한다. PC(170)는 중앙 처리 장치(CPU)(180), 비디오 모니터(190), 및 착탈 가능한 저장 매체(195)를 포함한다. PC(170)는 또한 키보드, 마우스, 내장 하드 디스크 드라이브, 랜덤 액세스 메모리(RAM)과 같은 전형적인 부품들(도시되지 않음)을 포함한다. PC(170)를 사용하는 본 발명의 일 실시예에서는, 시청자 피드백을 수집하는 시스템이 CPU(180) 및 상기 CPU(180)의 상기 랜덤 액세스 메모리(RAM)(도시되지 않음)에 저장되거나 CPU(180)의 상기 내장 하드 디스크 드라이브(도시되지 않음)에 저장된 프로그램을 포함한다. 상기 프로그램은 또한 예를 들어 3.5인치 플로피 디스크, 콤팩트 디스크 ROM(CD ROM), 디지털 비디오 디스크(DVD) 또는 유사한 저장 매체가 될 수 있는 착탈 가능한 저장 매체(195) 상에 저장될 수도 있다.
또한, 본 발명의 상기 시청자 피드백 수집 시스템은, 임의의 갯수가 될 수 있지만 도 1에서 132, 134, 136 및 138로 열거된 복수의 시청자 반응 센서들을 포함한다. 센서 신호 수신기(185)는 상기 시청자 반응 모니터들 132-138에 의해 생성된 상기 반응 신호들을 처리되지 않은 상태로 수신하여 PC(170)에 의해 저장 및 분석하기 위해 그들을 처리한다.
본 발명의 유용한 실시예에서는, 시청자 반응들을 수집하는 시스템이 텔레비전 수신기(105)내에 일체화된 임베디드 시스템(embedded system)일 수 있다. 본 발명의 다른 유용한 실시예에서는, 상기 시스템이 셋톱 박스(150) 내에서 구현될 수 있다. 즉, 도 1에서 각각 개별적으로 도시된 센서 신호 수신기(185), PC(170) 및 셋톱 박스(150)로 불리는 텔레비전 시스템(100)의 구성요소들이 수신기(105)와 같은 하나의 물리적 단위로 통합될 수 있고, 또는 그들의 기능들이 다른 방법으로 분배될 수 있다.
도 2는 본 발명의 유사한 일 실시예에 따른, 도 1의 상기 전형적인 텔레비전 수신기 시스템(100)에 유사한 시스템에서 구현되는 프로그램 및 프로그램 세그먼트들에 대한 시청자 반응들을 수집하는 전형적인 시스템을 설명한다. 텔레비전 수신기 시스템(200)은 디스플레이 화면(210)을 갖는 텔레비전 수신기(205)를 포함한다. 셋톱 박스(250)는 이전에 기술된 바와 같이 프로그래밍 정보를 수신하고, 그것을 수신기(205)에 송신한다. 텔레비전 수신기 시스템(200)은 도시되는 다양한 구성요소들이 상기 시스템에 또한 존재할 수 있음에도 불구하고 명확성을 위해 도 1에 도시된 실시예로부터 단순화되어 있음을 주의하자. 이상적으로, 상기 시청자는 적어도 테스트 시청자 부분의 시작점에서 의자(215)에 앉아 있다. 이것은 본 발명의 일 실시예에 따르는 바와 같이, '테스트 시청자'에 의해 상기 시스템이 제어 테스트 상황에서 사용될 수 있음을 의미한다. 상기 시스템의 시청자의 집에서 채용되는 다른 실시예에서, 유사한 의자(215)가 역시 제공될 수 있다. 본발명의 시스템 및 방법은 어느 하나의 용도에서의 사용을 위해 적용될 수 있고, 하나에 적용할 수 있는 여기에서 기술된 특징들은 상기 정황으로부터 구별의 필요가 명백히 지적되거나 쉽게 명백하지 않음에도 불구하고 다른 것에 적용될 수 있다고 생각된다.
의자(215)에는 온도, 자세, 이리 저리 움직이거나 정지하는 경향 등과 같은 시청자의 조건들의 그런 양상들을 기록하기 위한 센서들(도시되지 않음)이 장착될 수 있다. 웃음 소리 또는 일반적인 말 등과 같은 반응 음성을 기록하기 위해 마이크로폰(도시되지 않음)이 또한 의자(215)에 존재하거나 부착될 수 있다. 이들 센서들에 의해 생성된 신호들이 수집되어, 센서 신호 수신기(285)로의 무선 송신을 위해 무선 신호로 변환된다. 의자(215) 및 센서 신호 수신기(285)에는 그들 사이의 무선 통신을 돕기 위해 안테나들(217, 219)이 각각 장착된다. 물론, 무선 통신이 요구되지 않고, 센서 신호들이 적외선 또는 단순히 케이블과 같은 다른 수단에 의해 송신될 수도 있다. 센서 셔츠(shirt)(220)는 본의 아닌 또는 무의식적인 반응들을 통해 시청자 피드백을 수집하는 또 다른 디바이스를 제공한다. 여기서 조사된 '본의 아닌' 또는 '무의식적인' 반응들은 시청자가 디스플레이된 프로그래밍을 보는 중에 상기 시청자에게 자연적으로 발생한 것들임을 주의하자. 즉, 이 용어들은 프로그래밍이 디스플레이되는 시간 또는 그 가까운 시간에 프로그래밍 그 자체에 대한 응답 또는 반응을 가리키는 것이지, 면담자들의 질문과 같이 나중의 조사에 대한 응답을 가리키지 않는다. 따라서, 본 발명의 중요한 이점은 프로그램 세그먼트들에 직접 접속될 수 있는 반응들을 수신하는 동시에 프로그램이 방해받지 않고 계속 되도록 하는 능력이다. 센서 셔츠(220)는 의자(215)와 함께, 또는 의자(215) 대용으로 사용될 수 있다. 센서 셔츠(220)는 체온 센서, 심장 박동 모니터, 땀 검출기들 등과 같은 시청자의 조건들을 측정하기 위한 하나 이상의 센서들을 포함한다. 특히 바람직한 실시예에서는, 센서 셔츠(220)는, 생리적으로 자극하는 외부 또는 내부 자극의 어느 하나가 발생할 때 피부가 순간적으로 더 좋은 전기 전도체가 되는 현상을 이용하여 피부 도전율 반응(전자 피부 반응으로도 알려짐)을 측정하는 갤백티베이터(galvactivator)(도시되지 않음)를 포함한다. 이 현상은 여기에서 참조되는 Rosalind W. Picard & Jocelyn Scheirer의 "The Galvactivator : A Glove that Senses and Communicates Skin Conductivity, PROCEEDINGS FROM THE 9TH INTERNATIONAL CONFERENCE ON HUMAN-COMPUTER INTERACTION, NEW OLEANS(August 2001)에 의해 보다 자세하게 설명되어 있다. 본 기술분야의 당업자 중 어느 누구에게도 명백한 바와 같이, 상기와 같은 센서가 상기 시청자와 접촉하는데 위치하는 글로브 또는 다른 사물들에 또한 일체화될 수 있다. 이 목록은 예시적인 것이지 제한적인 것이 아니다. 센서 셔츠(220), 글로브, 또는 다른 감각 디바이스는 바람직하게는 센서 신호 수신기(285)에 센서 데이터를 송신하는 무선 송신기(222)를 포함한다.
도 2의 실시예에 있는 다른 시청자 조건 센서들은 시청실(201)에 대한(또는 안과 밖에서의) 움직임을 센싱하는 움직임 센서(230)를 포함한다. 커버되는 움직임의 범위에 따라 하나 이상의 움직임 센서가 존재할 수 있다. 움직임 센서(230)는 일반적으로 케이블 접속을 통해 센서 신호 수신기(285)에 접속되어 있고, 이전에 언급된 것들과 같은 다른 방법들 중 하나가 사용될 수도 있다. 비디오 카메라(240)는 의자에 앉아 있는 시청자, 그리고 특히, 상기 시청자의 머리와 얼굴 영역의 이미지를 캡쳐하도록 위치된다. 그것은 정지해 있을 수도 있고 움직일 수도 있다. 후자의 경우, 구동 제어 시스템(도시되지 않음)이 상기 시청자에게 집중되어 움직이고 탐지하는 상기 카메라를 지원하는데 사용될 수 있다.
비디오 카메라(240)는 다양한 방법으로 감각 정보를 제공하는데 사용될 수 있다. 이미 언급된 다른 센서들의 대부분과는 달리(마이크로폰은 예외), 그 신호 출력이 단지 도 1에 도시된 비디오 레코더(140)와 같은 비디오 레코딩 디바이스 상에 보관될 수 있다. 그러나, 통상적으로는 만약 상기 시청자 반응 비디오 화상들이 그렇게 기록되게 되면, 개별적인 비디오 레코더(도시되지 않음)가 사용될 것이다. 그러나, 특히 바람직한 실시예에서는 상기 비디오 정보가 그 피드백을 향상시키고 인간 조작자에 의해 행해진 비디오 화상의 어떤 분석을 제거(확실하게)하기 위해 개별적으로 처리된다.
바람직한 일 실시예에서는, 언급된 상기 다양한 디바이스들과 같은 복수의 센서들을 통해 모아진 감각 정보가 각 감각 입력을 단지 그것만 분리하여 보는 것으로부터 얻어지는 것보다 더 정확한 시청자 응답의 프로파일을 산출하기 위해 조합하여 분석될 것이다. 예를 들면, 특정 갈박틱 응답(galvactic response)은 자극을 포함할 수 있으나, 무시되어 명기되지 않은 감정들이 좋은지 나쁜지를 검사하기 위해 오픈된 채로 남을 수 있다. 그러나, 시각 신호들과 함께 사용되어 평균이 또한 평가될 수도 있고, 예로서 웃음이 자극의 이 특정 상태가 기쁜 것임을 나타낸다. 다른 예로서, 주름진 이마와 같은 시각 정보 또는 요청된 질문과 같은 음성 응답(화자의 문장 끝이 올라가는 억양에 의해 결정되는 것과 같은) 중 어느 하나가 당황 또는 이해의 부족을 나타낼 수 있다. 그러나 상기 입력들이 함께 고려되면, 이것이 옳은 결정이라는 가능성이 증가한다.
도 3은 본 발명의 바람직한 일실시예에 따른 비디오 카메라(240)로부터의 입력을 처리하는데 사용될 수 있는 비디오 프로세서(300)를 설명하는 블록도이다. 비디오 프로세서(300)는 입력 포트(305)에서 카메라(240)로부터 비디오 입력을 수신한다. 바람직하게는, 비디오 프로세서(300)가 또한 카메라(240)로부터 촬상되는 화상을 기록하는 비디오 기록 매체(310)를 포함한다. 다시 '비디오 기록'이 편리함을 위해 여기서 사용된다. 대체로, 비디오 레코더들은 음성 및 아마도 동반하는 문자(text)(자막과 같은)도 기록한다. 설명된 실시예에서, 비디오 프로세서는 요구가 있으면 디스플레이를 위해 기록된 비디오를 출력 포트(312)를 통해 출력한다. 포트(305)를 통해 수신된 비디오 입력은 또한 디지타이저(315)로 보내져서 처리를 위해 표준 디지털 포맷으로 변환된다. 디지털화된 화상의 각 프레임, 또는 이를 대신하는 상기 프레임의 선택된 서브세트 각각이 시각 분석 모듈(320)에서 비디오 라이브러리 파일들(325)에 저장된 상기 시청자의 알려진 얼굴 표정 또는 움직임의 유사한 디지털화된 화상과 비교된다. 얼굴 표정의 분석의 보다 자세한 논의를 위해서는 여기에서 참조되는 Antonio Colminarez의 'Modeling the Dynamics of Facial Expression, (submited to the Computer Vision & Pattern Recongnition Conference held in Hawaii from December 11-13, 2001)를 보면 된다. 상기 비교는 픽셀 단위(픽셀의 모든 부분 또는 일부분을 사용)로 또는 임의의 알려진 화상 분석 알고리즘을 사용하여 행해질 수 있다. 바람직하게는, 라이브러리 파일들(315)에 저장된 상기 참조 비디오 화상들이 시청자들의 개인적인 참조 화상일 수 있으나, 또한 다른 시청자들로부터의 참조 뷰(view)들의 카탈로그를 포함할 수도 있다. 상기 비교 단계의 목적은 캡쳐된 시청자 표정 또는 움직임이 알려진 감정 또는 다른 인간의 반응과 연관된 하나로서 인지될 수 있는지를 가능하면 정확하게 결정하는 것이다. 물론, 어떠한 그런 평가가 확신적이기보다는 예측적 또는 근접적인 것이고, 특정 결정이 요구되거나 심지어 가능하다는 어떤 암시도 얻어지지 않는다는 것으로 이해된다. 그럼에도 불구하고, 비디오 프로세서(300)에 의해 제공되는 상기 정보는 정황상 평가될 때, 중요한 입력을 제공한다. 시각 분석 모듈(320)에 의해 검출된 매칭(match)들이 센서 신호 수신기(285)에 보고된다. 매칭이 발견되지 않으면, 상기 보고는 이 상황을 나타내거나 단순히 생략될 수 있다.
도 4는 본 발명의 일 실시예에 따른 감각 입력들의 상호작용과 상기 수집되고 처리된 감각 데이터들을 사용하기 위한 가능한 용도를 설명하는 시스템도이다. 그리고, 이 실시예는 예시적이지 한정적이 아니다. 상술한 바와 같이, 얼굴 표정들과 머리 움직임들이 참조 화상들에 대해 분석되어 인식가능한 감정들을 결정한다(블록 405). 웃음들 및 응시의 강도(즉, 움직임 없는 지속 기간과 응시의 방향)와 같은 지표들이 미리 정해진 범주의 세트에 따라 해석된다. 비디오 카메라(240) 또는 움직임 센서(230)에 의해 검출되는 상기 방(블록 410) 주위에서의 움직임과 같은 총 활동도 해석된다. 또한, 예를 들어 의자(215) 또는 센서 셔츠(220)(블록 415) 상의 센서들에 의해 픽업된 생체 반응 데이터가, 대부분의 경우 덜 확신적이기는 하지만, 캡쳐된 비디오 영상들과 관련하여 상기에서 언급된 것들과 유사한 방법으로 특정 인간의 감정 반응들과 연관되어 특성화될 수 있다. 체온과 같은 특정 감각 데이터는 기준선 또는 이전 레벨에 대한 변화를 기록함으로써 단순히 분석될 수도 있다는 점을 유의한다. 바람직한 실시예에서는 주변 조건들, 예들 들면, 실온, 외부 날씨의 조건, 주위의 소음 레벨, 일시 등에서의 변화들을 고려함에도 불구하고, 이런 유형의 분석은 상기 비디오 화상 비교들보다 확실히 쉽다.
물론, 다른 입력들 예를 들면 그러한 변화를 쉽게 실행하는 원격 제어기(125)(도 1에 도시)와 같은 원격 제어가 제공되는 프로그래밍 선택들을 변경하는 시청자의 행동도 또한 고려될 수 있다(블록 420). 프로그래밍 변경은 특정 프로그램 세그먼트에 대한 싫증을 나타낼 수도 있고, 또는 만약 자주 그리고 명확한 방향이 없다면 일반적인 지루함을 나타낼 수도 있다. 몇몇의 경우, 시청자는 짧은 간격동안 연달아 많은 채널들이 검열되는 '채널 서핑'을 착수할 수도 있다. 그러나, 전체적인 패턴의 부분에서도, 특정 세그먼트를 보기 위한 예상 멈춤보다 더 긴 멈춤이 유용하다. 그리고, 상기 원격 제어기(125)의 휨 측정기 또는 유사한 디바이스에 의해 특정되는, '다음 채널'의 버튼을 각각 누를 때 인가되는 물리적 힘이 지루함 또는 욕구 불만을 나타낼 수 있고, 이는 특히 한숨, 감탄사 등과 같은 특정 동시 발생의 음성 반응들의 센싱 및 인식과 결부될 때이다. 명백한 바와 같이, 본 발명의 상기 시스템 및 방법을 시행할 때의 경험 및 관찰이 특정 감각 입력들을 단독으로 또는 결합하여 특정 인간의 감정 반응들과 연관시키는 능력을 향상시킬 것이다.
상기에서 기술된 각각의 상기 감각 입력 특징들 및 이용 가능한 다른 것들이 관여된 조건 또는 특정 행동의 분류를 위해 직접 또는 간접적으로 공급된다(블록 425). 개별 입력은 개별인식 가능한 조건 또는 조건의 변화가 연속적 또는 적어도 간헐적인 관련된 입력의 스트림으로부터 분리될 수 있는지 결정하기 위해 검사된다. 일단 개별 감각 사건들이 분류되면, 그것은 알려진 기분, 감정 또는 다른 반응과 연관시키는 시도에서 지식 기반 데이터와 비교될 수 있다(블록 430). 상기 특정 기분 또는 감정의 강도가 얼마인지를 결정하는 것도 가능할 수 있다.
바람직한 실시예에서는, 상기 시각 도메인으로부터 추출된 얼굴 표정들이 모두 기호 및 특징 벡터들에 대한 주어진 값들로 분류된다. 예를 들어, 다섯가지의 상태, 즉 슬픔, 웃음, 무관심, 지루함, 두려움이 있으면, 이들은 기호적으로 인코딩(바람직하게는 숫자로)된다. 또한, 감정의 크기가 0부터 1까지의 크기로 기록되고(예를 들어, 잔잔한 기쁨으로부터 최고조의 기쁨까지), 이 알고리즘의 확실성의 정도가 또한 기록된다. 시청자의 자세 및 행동들이 탐지되어 앉음, 일어섬, 산만한 신문 읽기, 소리침 등(이들도 우리의 특징 벡터의 특정 값들임)으로 기록된다. 생체적 반응들도 또한, 자율 신경계 활동을 측정하는 심전도, 근전도, 호흡 및 피부 도전율 센서들에 의해 기록된다. 이들 신호들은 실시간으로 디지털화되어 기록된다. 이들 모두의 특징들이 반드시 유용한 것은 아니다. 첫째로, 학습 모드에서는, 선형의 식별력 있는 함수가 패턴들을 인식하기 위해 최적의 한 세트의 특징들을 찾기 위한 인식 작업에 기초하여 개별적으로 각 특징의 등급을 매기는데 사용될 수 있다. 또한, 상기 원격 제어 반응 패턴은 여러 개의 카테고리 내에 속하게 되고, 채널 재핑(zapping), 능동 시청(볼륨 업, 되감음 또는 저속 모드 등으로), 반 능동 시청, 비능동으로 분류될 수 있다. 이 모든 값들이 상기 특징 벡터 f=(f1, f2, ..., fn)에 사용되고, 이 특징 벡터는 시간 세그먼트(예를 들어, 2초) 동안 기록된다.
다음으로, 이들 관측 부호들이 Hidden Markov Model에 입력된다. Hidden Markov Model(HMM)은 신호 처리에서 널리 사용되는 통상적인 기술이다. HMM의 본질은 관측 (부호들)의 발생을 설명하는 모델을 구성하는 것이고, 다른 관측 시퀀스들을 식별하기 위해 그것을 사용한다. HMM과 그 용도들의 기초가 여기에 참고로 인용되는 L. R. Rabiner의 A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition, 77 PROCEEDINGS OF THE IEEE 257-285(1989)에 제공된다.
간단히 말하면, HMM에서는 유한한 갯수의 상태들이 존재하고, 상기 HMM는 항상 이들 중의 하나의 상태에 있다. 각 클록 시간에, 그것은 상기 이전 상태에 의존하는 전이 확률 분포에 기초하여 새로운 상태로 진입한다. 전이가 행해지면, 출력 부호가 상기 현재의 상태에 의존하는 확률 분포에 기초하여 생성된다. HMM의 공식적인 정의에서는, N은 상태들의 수일 때 상기 상태들이 Q={q1, q2, ..., qN}으로 표시되고, M이 관측 기호들의 수일 때 상기 관측 기호들이 V = {v1, v2, ... vM}으로 디스플레이된다. 상기 상태들 간의 전이 확률 분포는 매트릭스 A={aij}, aij=Pr{t+1에서의 qj| t에서의 qi},로 표현되고, 상기 관측 기호 확률 분포는 매트릭스 B={bj(k)}, bj(k)는 상기 현재의 상태가 qj일 경우 관측 vk를 생성하는 확률로 표현된다.
상기 시스템은 두 개의 단계들, 이름하여 연습과 분류로 구성된다. 상기에서 설명된 일련의 특징값들로의 연습을 통해, 다른 행동(예를 들어, 매우 좋음, 무관심, 혐오, 무시무시함)에 따라, 다른 HMM들을 구성한다. 상기 HMM 연습은 상기 관측 시퀀스들의 확률 Pr(O|λ)를 최대화하기 위해 λ=(A, B, π)의 변수들을 본질적으로 조절한다. 여기서 π는 상기 초기 상태 분포를 나타내고, π={πi}로 규정되며, 여기서, πi 는 HMM의 초기 상태인 상태 qi 의 확률이 된다. O는 상기 관측 시퀀스를 나타낸다.
분류 단계에서는, 고 레벨 레이블로 이루어지는 상기 관측 시퀀스가 얼굴, 생체, 사람의 행동 및 원격 제어 응답 패턴들에 대한 입력 특징 값들의 주어진 세트로부터 추출된다. 그리고 나서, 상기 시퀀스가 다른 HMM(예를 들어, 매우 좋음, 무관심, 혐오, 무시무시함에 대한)에 입력으로 주어져서 상기 최고조 반응(상기 관측의 확률)을 생성하는 HMM의 부류로 분류된다.
일단 상기 시청자의 행동이 식별되면, 그것은 상기 시청자가 현재 보고 있는 프로그램 및 프로그램 세그먼트의 유형과 함께 시스템으로 다시 주어진다. 상기 사용자가 상기 보여지는 프로그램을 좋아하는지, 싫어하는지 또는 중립적인지 여부에 대해 추론이 행해진다. 이것은 상기 사용자의 시청 프로파일에 기초하여 더 즐거워질 수 있는 시청자들에게는 상이한 프로그램(또는 부가 등의 프로그래밍 콘텐츠를 향상시키는 동작)을 제공하는데 사용된다. 이 새로운 정보에 대한 반응이 상이한 경우에 상기 사용자가 선호하는 정보 또는 동작의 종류를 얻기 위해 모니터링된다. 이 방법으로, 상기 행동의 조합이 블록 430에서 감정 추론, 유형, 강도 등에 대해 이용된다.
이 시청자 조건 분석과 함께, 상기 시청자에게 노출될 입력 프로그램이 또한 분석된다(블록 435). 전자 프로그램 가이드(EPG) 정보는 주어진 소스로부터 이용가능한 입력 프로그래밍의 나머지와 관련된 기술 데이터이다. 이 정보의 일부는 채널 선택을 하는데 있어서 시청자에 의해 사용될 수 있는 실제의 프로그램 가이드 디스플레이를 생성하는데 이용되고, 다른 일부의 정보는 디스플레이된 프로그램 콘텐츠를 목격된 시청자 행동과 연관시키기 위한 본 발명의 시스템에 의해 사용된다. 즉, 상기 EPG는 특정 프로그램이 시작하거나 끝날 시점을 나타내는 시스템에 전자 단서들을 제공한다. 프로그램 세그먼트의 사용은 하나의 텔레비전 프로그램 또는 동영상이 동종 사건이 아니라, 일련의 세그먼트들(또는 장면들)이라는 인식으로부터 기인한다. 서브 프로그램 레벨에서의 비디오 분할 및 선택의 과정이 여기에 참고로 인용되는 미국 특허출원번호 09/422,960 (본 출원인에 공동 소유된 entitled METHOD AND APPARATUS FOR AUDIO/DATA/VISUAL INFORMATION SELECTION, filed by Nevenka Dimitrova, Thomas McGee, Herman Elenbaas, Lalitha Agnihotri, Radu Jasinschi, Serhan Dagtas, Aaron Mendelsohn on November 18, 1999)에 더 자세히 설명되어 있다. 또한, 여기에서 참고로 인용되는 R. S. Jasinschi, N. Dimitrova, T. McGee, L. Agnihotri, J. Zimmerman, & D. Li의 Integrated Multimedia Processing for Topic Segmentation and Classification, PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING(Thessaloniki, October 2001)에 더 자세히 설명되어 있다. 이들 세그멘트들 각각에 대한 상기 시청자 반응은 대체적으로 상기 프로그램의 평가보다는 시청자 선호도에 더 유용한 평가자가 될 것이다. 이것은 본 발명의 상기 시스템과 방법이 더 유익하게 사용될 수 있다는 견지에서 그렇다.
특히 바람직한 일 실시예에서는, 프로그래밍 제공자가 프로그래밍 가입자(즉, 시청자)에게 적어도 몇몇의 감각 장비들을 제공(아마도 유료로)거나, 감각 기록들을 제공하기 위해 가입자 집에서 통상 발견되는 전자 디바이스들(비디오 카메라 등)에 접속하는 방법에 대한 교육을 제공한다. 처리되거나 처리되지 않은 감각 신호들은 상기 제공자에게 되돌아오고, 상기 제공자는 그들을 분석하고 그들을 사용하여, 상기 시청자에게 설정되는 상기 프로그래밍 콘텐츠를 조정하거나 또는 긍정 반응들을 생성한 것에 유사한 프로그래밍을 선택하는데 있어서 상기 시청자를 지원하는 상기 가입자(시청자)의 사용을 위한 채널 선택 제어를 생성한다. 물론, 이 상태에서, 상기 EPG 정보는 바람직하게는 프로그램 세그멘테이션 정보를 포함하여 센싱되는 시청자 반응이 특정 프로그램 세그먼트에 관련되도록 할 수 있다.
EPG 정보를 세그먼트 프로그래밍에 사용(즉, 그것을 논리적으로 세그먼트들로 나누어 분리된 시청자 응답들과 비교되게 함)하는 대신에 또는 이와 함께, 상기 프로그램을 분석을 위해 적절하게 자동으로 나누기 위해, 세그멘테이션 기능이 예를 들어 셋톱 박스(150)에 포함될 수도 있다. 상기 프로그램(그리고 프로그램 분할) 정보는 상기 프로그램 세그먼트들 동안에 일어나기로 결정된 상기 기분들 및 감정들에 비교되고, 중요한 프로그램 선호 정보를 제공한다(블록 440). 이 선호 정보는 다양한 방법으로 사용될 수 있다. 첫째로, 물론 이것은 메모리 레코더에 저장될 수 있고(블록 445), 추후에 미래의 시청자 선호들을 예측하는 다른 보조 도구로 재검토될 수 있다. 이것은, 이전에 기술된 바와 같이, 상기 시스템이 시청자의 집에서 동작하는 테스트 상황에서 행해질 수 있고, 상기 정보는 개별적 또는 총체적(즉, 테스트 시청자) 분석을 위해 상기 프로그래밍 제공자에게 송신될 수 있다. 상기 개개의 시청자들과 관련하여, 학습된 선호 정보는 미래의 기분 또는 감정 결정(블록 430)을 위해 처리될 수 있다(블록 450). 또한, 상기 선호 정보는, 만약 사용자에게 기회가 주어진다면 사용자가 가장 좋아하는 반응을 생성한 이전에 보여진 콘텐츠에 유사하게 보이는 프로그래밍 콘텐트를 선택한다는 가정에 기초하여, 사용될 수 있다. 이 효과는 특정 유형의 콘탠츠가 지금 이용 가능하다는 것을 상기 시청자에게 알려주는 단순한 경보에 의해 성취될 수 있다(블록 455). 또는 출시될 많은 수의 프로그램들이 추천으로서 제공될 수 있다(블록 460). 물론, 어느 경우에도, 사용자에게 상기 추천된 프로그래밍을 보거나 기록할 기회가 제공된다. 그러나, 다른 실시예에서는, 상기 시스템이 기록할 특정 프로그래밍을 단지 선택하여, 자동으로 그것을 기록 디바이스(블록 465)로 보낼 수 있다. 이것은 상기 프로그래밍이 얼마간의 시간 동안 보호되어 다음 기록 세션에서 겹쳐쓰지 않도록 하기 위해 많은 양의 자료를 기록할 수 있는 능력이 있는 곳에서, 특히 유용하다. 마지막으로, 상기 보여지거나 기록되는 프로그래밍의 실제적 양은 이전에 학습된 사용자 선호에 기초하여 증가될 수 있다(블록 470). 상기 증가하는 양은 상기 프로그래밍 제공자로부터 아마도 이용할 수 있고, 그러나 상기 시청자의 개인적 취향에 따라 사용된다. 예를 들면, 액션 장면들에 대해 선호를 이미 보여준 시청자는 법정 장면 대신 삽입되는 자동차 추격 장면을 가질 수 있고, 반면에 코메디를 선호하는 다른 시청자는 대신에 유머러스한 시퀀스를 가질 수 있다. 상기 시청자가 그들의 아이덴티티를 패션으로 나타내고자 하거나, 또는 아이덴티티가 시스템 센서에 의해 자동적으로 결정될 수 있는 경우, 상기 시스템은 그들의 개인적인 취향(또는 함께 자주 보는 복수의 시청자들에 대한 합성 취향)들에 대해 프로그래밍을 고객 맞춤화할(customize) 수 있다.
도 5는 본 발명의 일실시예에 따른 감각 피드백 정보를 수집, 처리 및 사용하는 방법(500)을 설명하는 플로우 차트이다. 처음에(시작 프로세스 단계), 상기 프로그래밍 수신 및 디스플레이 시스템과 상기 감각 피드백 시스템이 제자리에 있다. 상기 프로그램 디스플레이가 시작하면, 감각 디바이스들은 켜져서 활동적으로 된다(프로세스 단계 505). 상기 시스템은 즉시 초기 입력을 수신하고, 도시된 실시예에서, 상기 초기 입력을 기준선으로 설정한다(프로세스 단계 510). 다른 실시예에서는, 각 인식 가능한 시청자들에 대한 기준선이 이미 설정되어 있고, 상기 시청자의 아이덴티티를 결정할 수 없을 때에만 새로운 기준선이 결정된다. 센서 입력은 인식 가능한 감각 조건들이 검출될 때까지(온도 또는 호흡 레벨에서의 증가와 같은) 처리되고(프로세스 단계 515), 이때 상기 디스플레이가 기분/감정 결정을 위한 상기 감각 프로세서로 송신되어, 상기 기분/감정의 감각 결과가 검출되었을 때 디스플레이되고 있는 상기 프로그램 세그먼트에 관련된 정보와 연관된다(프로세스 단계 520). 상기 프로그래밍에 대한 반응이 기대 범위 내인 경우, 상기 선호 정보가 데이터베이스에 저장된다(프로세스 단계 525). 마음의 혼란이 의심되는 경우로서 상기 선호 정보가 일반적으로 우울한 시청자가 불행한 세그먼트를 통하여 웃고 있는 경우와 같이 완전히 가짜인 경우에는 상기 선호 정보가 기대 범위 내에 있지 않다는 것을 유의한다. 바람직한 실시예에서, 그런 응답들은 무시된다. 상기 프로세스는 상기 제공자에게 상기 선호 정보를 되돌려 보내는 단계(프로세스 단계 530) 또는 상기 선호 정보를 국부적으로 사용하는 단계(프로세스 단계 535), 또는 이 두 단계 모두를 계속할 수 있다(국부적 사용의 몇 예가 도 4를 참조하여 상기에서 제공되어 있다).
본 발명이 상세히 설명되었음에도 불구하고, 본 기술분야의 당업자는 그들이 다양한 변경, 치환 및 개조를 본 발명의 개념과 범위로부터 벗어나지 않고 행할 수 있음을 알 것이다.

Claims (16)

  1. 프로그래밍 콘텐츠를 기술하는 정보와 연관될 수 있는 방송 프로그래밍에 대한 시청자 응답을 평가하는 시스템에 있어서,
    텔레비전 프로그래밍을 수신 및 디스플레이하는 수신기(105);
    상기 디스플레이된 프로그래밍을 보는 시청자에 의한 물리적 반응을 센싱하고, 상기 물리적 반응을 나타내는 신호를 생성하는 적어도 하나의 센서;
    상기 센서 신호를 수신하고 이를 분석하여, 적어도 하나의 인식 가능한 시청자 응답과 연관시킬 수 있는지를 결정하는 프로세서(185)로서, 상기 인식된 응답을 상기 물리적 반응이 센싱될 때 디스플레이되었던 프로그램에 관련한 기술 정보(descriptive information)와 연관시키는, 상기 프로세서(185); 및
    상기 프로그램에 관련한 기술 정보와 센싱된 반응 사이의 연관성을 시청자 선호(viewer preference)로서 저장하는 메모리 디바이스를 포함하는, 평가 시스템.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 적어도 하나의 센서는 복수의 센서를 포함하고, 상기 시스템은 상기 복수의 센서들 중 적어도 일부에 의해 생성된 신호들을 수신하는 센서 신호 수신기(285)를 더 포함하고, 상기 센서 신호 수신기(285)는 상기 수신된 센서 신호들을 결합하여 상기 프로세서(185)가 상기 센서 신호들의 집합을 분석할 수 있도록 하는, 평가 시스템.
  4. 제 1 항에 있어서,
    상기 적어도 하나의 센서는 비디오 이미지 캡쳐 디바이스(video image capturing device)(240)이고, 상기 시스템은 비디오 카메라(240)와 통신하는 비디오 프로세서(300)를 더 포함하고, 상기 비디오 프로세서(300)는 상기 비디오 카메라(240)로부터 수신된 비디오 영상들에 비교하는 영상 라이브러리(325)를 포함하는, 평가 시스템.
  5. 제 4 항에 있어서,
    상기 비디오 카메라(240)에 의해 캡쳐된 영상들을 기록하는 비디오 레코더(140)를 더 포함하는, 평가 시스템.
  6. 제 1 항에 있어서,
    상기 적어도 하나의 센서는 상기 시청자에 의해 만들어진 음성들을 픽업하는 마이크로폰인, 평가 시스템.
  7. 제 1 항에 있어서,
    시청자 물리적 반응들을 분석하는데 사용하기 위해 시청 주변 환경의 변화를 센싱하여 주변 환경 정보를 상기 프로세서(185)로 송신하는 주변 환경 센서를 더 포함하는, 평가 시스템.
  8. 하나 이상의 개별 세그먼트들을 포함하는 방송 프로그래밍에 대한 시청자 응답을 평가하는 방법에 있어서:
    상기 시청자가 상기 프로그래밍을 볼 수 있는 수신기(105)를 제공하는 단계;
    적어도 하나의 시청자의 물리적 조건을 모니터링하는 단계;
    감지된 물리적 조건 상태를 시청자 응답과 연관시키는 단계; 및
    상기 시청자 물리적 조건이 시청자 선호로서 모니터링될 때 디스플레이되었던 상기 프로그래밍에 관련한 기술 정보와 상기 시청자 응답 간의 연관성을 메모리 디바이스 상에 저장하는 단계를 포함하는, 평가 방법.
  9. 제 8 항에 있어서,
    상기 물리적 조건 상태는 기준라인 레벨에 대한 상기 물리적 조건에서의 변화를 포함하고, 상기 변화는 상기 모니터링하는 단계 동안 감지되는, 평가 방법.
  10. 제 8 항에 있어서,
    디스플레이된 프로그래밍 세그먼트의 유형을 결정하는 단계;
    상기 프로그래밍 세그먼트의 디스플레이 동안에 감지된 물리적 조건에 대응하는 시청자 응답을 시청자 선호 레벨과 연관시키는 단계; 및
    프로그램 선택을 향상시키기 위해 상기 선호 레벨을 적용하는 단계를 더 포함하는, 평가 방법.
  11. 제 10 항에 있어서,
    상기 프로그램 선택은 지정된 장래의 프로그래밍이 상기 유형을 갖는 적어도 하나의 세그먼트를 포함할 것이라는 통지를 제공함으로써 향상되는, 평가 방법.
  12. 제 10 항에 있어서,
    상기 프로그램 선택은 상기 유형을 갖는 세그먼트를 프로그램 내에 삽입함으로써 향상되는, 평가 방법.
  13. 제 8 항에 있어서,
    상기 시청자 물리적 조건의 상기 모니터링된 물리적 조건은 생체 응답인, 평가 방법.
  14. 제 8 항에 있어서,
    상기 모니터링하는 단계는 시각적으로 식별 가능한 응답을 모니터링하는 단계를 포함하는, 평가 방법.
  15. 제 14 항에 있어서,
    상기 시각적으로 식별 가능한 응답은 상기 시청자의 응시 방향을 포함하는, 평가 방법.
  16. 제 14 항에 있어서,
    상기 시각적으로 식별 가능한 응답은 상이한 방향으로 변경되기 전 특정 방향에서의 상기 시청자의 응시 지속 기간을 포함하는, 평가 방법.
KR1020047007303A 2001-11-13 2002-11-05 감성적 텔레비전 모니터링 및 제어 KR100946222B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/014,179 2001-11-13
US10/014,179 US8561095B2 (en) 2001-11-13 2001-11-13 Affective television monitoring and control in response to physiological data
PCT/IB2002/004650 WO2003043336A1 (en) 2001-11-13 2002-11-05 Affective television monitoring and control

Publications (2)

Publication Number Publication Date
KR20040054774A KR20040054774A (ko) 2004-06-25
KR100946222B1 true KR100946222B1 (ko) 2010-03-09

Family

ID=21763978

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047007303A KR100946222B1 (ko) 2001-11-13 2002-11-05 감성적 텔레비전 모니터링 및 제어

Country Status (6)

Country Link
US (1) US8561095B2 (ko)
EP (1) EP1449379A1 (ko)
JP (1) JP4283113B2 (ko)
KR (1) KR100946222B1 (ko)
CN (1) CN1586078B (ko)
WO (1) WO2003043336A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020085581A1 (ko) * 2018-10-24 2020-04-30 서경대학교 산학협력단 영상평가시스템 및 영상평가방법

Families Citing this family (303)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8300042B2 (en) * 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US7259747B2 (en) * 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US20030109249A1 (en) * 2001-12-07 2003-06-12 William Frantz System, method and apparatus to deliver guaranteed advertising
US7327505B2 (en) * 2002-02-19 2008-02-05 Eastman Kodak Company Method for providing affective information in an imaging system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
JP3867627B2 (ja) * 2002-06-26 2007-01-10 ソニー株式会社 観客状況推定装置と観客状況推定方法および観客状況推定プログラム
US7460827B2 (en) * 2002-07-26 2008-12-02 Arbitron, Inc. Radio frequency proximity detection and identification system and method
AU2003301043A1 (en) 2002-12-13 2004-07-09 Reactrix Systems Interactive directed light/sound system
US7576727B2 (en) * 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
US9247288B2 (en) 2003-08-12 2016-01-26 Time Warner Cable Enterprises Llc Technique for effectively delivering targeted advertisements through a communications network having limited bandwidth
US20070033634A1 (en) * 2003-08-29 2007-02-08 Koninklijke Philips Electronics N.V. User-profile controls rendering of content information
US20050064916A1 (en) * 2003-09-24 2005-03-24 Interdigital Technology Corporation User cognitive electronic device
US20050071865A1 (en) * 2003-09-30 2005-03-31 Martins Fernando C. M. Annotating meta-data with user responses to digital content
CN1902930B (zh) * 2003-10-24 2010-12-15 瑞克楚斯系统公司 管理交互式视频显示系统的方法和系统
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US8406341B2 (en) 2004-01-23 2013-03-26 The Nielsen Company (Us), Llc Variable encoding and detection apparatus and methods
US9959383B1 (en) 2004-04-30 2018-05-01 Time Warner, Inc. Apparatus, method and system for brokering and provision of intelligent advertisement
KR20050117829A (ko) * 2004-06-11 2005-12-15 삼성전자주식회사 사용자의 신체상태에 따른 서비스 자동선택방법, 장치 및그 기능이 부가된 단말기
US20050289582A1 (en) * 2004-06-24 2005-12-29 Hitachi, Ltd. System and method for capturing and using biometrics to review a product, service, creative work or thing
US8843978B2 (en) 2004-06-29 2014-09-23 Time Warner Cable Enterprises Llc Method and apparatus for network bandwidth allocation
KR20060048247A (ko) * 2004-07-12 2006-05-18 엘지전자 주식회사 처리장치 및 그 제어방법
JP2006030443A (ja) * 2004-07-14 2006-02-02 Sony Corp 記録媒体、記録装置及び方法、データ処理装置及び方法、データ出力装置及び方法
KR100763900B1 (ko) * 2004-08-28 2007-10-05 삼성전자주식회사 사용자 시선정보에 기반한 텔레비전 프로그램 녹화/재생방법 및 그 장치
JP2006107693A (ja) * 2004-09-10 2006-04-20 Sony Corp 記録媒体、記録装置、記録方法、データ出力装置、データ出力方法およびデータ配布・流通システム
CA2581982C (en) * 2004-09-27 2013-06-18 Nielsen Media Research, Inc. Methods and apparatus for using location information to manage spillover in an audience monitoring system
EP1686804A1 (en) * 2005-01-26 2006-08-02 Alcatel Predictor of multimedia system user behavior
US7567565B2 (en) 2005-02-01 2009-07-28 Time Warner Cable Inc. Method and apparatus for network bandwidth conservation
US8235725B1 (en) 2005-02-20 2012-08-07 Sensory Logic, Inc. Computerized method of assessing consumer reaction to a business stimulus employing facial coding
CA2601879C (en) * 2005-03-17 2017-07-04 Nielsen Media Research, Inc. Methods and apparatus for using audience member behavior information to determine compliance with audience measurement system usage requirements
US20060230415A1 (en) * 2005-03-30 2006-10-12 Cyriac Roeding Electronic device and methods for reproducing mass media content
US9128519B1 (en) 2005-04-15 2015-09-08 Intellectual Ventures Holding 67 Llc Method and system for state-based control of objects
US20060257834A1 (en) * 2005-05-10 2006-11-16 Lee Linda M Quantitative EEG as an identifier of learning modality
US8081822B1 (en) 2005-05-31 2011-12-20 Intellectual Ventures Holding 67 Llc System and method for sensing a feature of an object in an interactive video display
JP2006352555A (ja) * 2005-06-16 2006-12-28 Sony Corp 情報処理装置および情報処理方法、並びにプログラム
JP2007041988A (ja) * 2005-08-05 2007-02-15 Sony Corp 情報処理装置および方法、並びにプログラム
US9351658B2 (en) * 2005-09-02 2016-05-31 The Nielsen Company (Us), Llc Device and method for sensing electrical activity in tissue
CN101495942A (zh) * 2005-09-26 2009-07-29 皇家飞利浦电子股份有限公司 用于分析正被提供内容信息的用户的情绪状态的方法和设备
JP4548297B2 (ja) * 2005-10-05 2010-09-22 株式会社日立製作所 情報処理装置及び情報処理方法
US8098277B1 (en) 2005-12-02 2012-01-17 Intellectual Ventures Holding 67 Llc Systems and methods for communication between a reactive video system and a mobile communication device
JP2007158998A (ja) * 2005-12-08 2007-06-21 Hitachi Ltd 放送受信装置及びその録画番組選択支援方法
US20070277196A1 (en) * 2006-02-24 2007-11-29 Steengaard Bodil H Methods of user behavior learning and acting in a pervasive system
US8170065B2 (en) 2006-02-27 2012-05-01 Time Warner Cable Inc. Methods and apparatus for selecting digital access technology for programming and data delivery
US8458753B2 (en) 2006-02-27 2013-06-04 Time Warner Cable Enterprises Llc Methods and apparatus for device capabilities discovery and utilization within a content-based network
JP2007280486A (ja) * 2006-04-05 2007-10-25 Sony Corp 記録装置、再生装置、記録再生装置、記録方法、再生方法および記録再生方法並びに記録媒体
JP2007280485A (ja) * 2006-04-05 2007-10-25 Sony Corp 記録装置、再生装置、記録再生装置、記録方法、再生方法および記録再生方法並びに記録媒体
US9386327B2 (en) 2006-05-24 2016-07-05 Time Warner Cable Enterprises Llc Secondary content insertion apparatus and methods
US8280982B2 (en) 2006-05-24 2012-10-02 Time Warner Cable Inc. Personal content server apparatus and methods
US8024762B2 (en) 2006-06-13 2011-09-20 Time Warner Cable Inc. Methods and apparatus for providing virtual content over a network
EP2044592A1 (en) * 2006-07-12 2009-04-08 Koninklijke Philips Electronics N.V. A device and a method for playing audio-video content
EP2062206A4 (en) * 2006-09-07 2011-09-21 Procter & Gamble METHODS OF MEASURING EMOTIONAL RESPONSE AND PREFERENCE OF CHOICE
US10885543B1 (en) 2006-12-29 2021-01-05 The Nielsen Company (Us), Llc Systems and methods to pre-scale media content to facilitate audience measurement
US20080183575A1 (en) 2007-01-31 2008-07-31 Vulcan Portals, Inc. Back-channel media delivery system
WO2008099288A2 (en) * 2007-02-16 2008-08-21 Vyro Games Ltd. Biosensor device and method
US8230457B2 (en) * 2007-03-07 2012-07-24 The Nielsen Company (Us), Llc. Method and system for using coherence of biological responses as a measure of performance of a media
US20090253996A1 (en) * 2007-03-02 2009-10-08 Lee Michael J Integrated Sensor Headset
US20090070798A1 (en) * 2007-03-02 2009-03-12 Lee Hans C System and Method for Detecting Viewer Attention to Media Delivery Devices
US9215996B2 (en) * 2007-03-02 2015-12-22 The Nielsen Company (Us), Llc Apparatus and method for objectively determining human response to media
US20080295126A1 (en) * 2007-03-06 2008-11-27 Lee Hans C Method And System For Creating An Aggregated View Of User Response Over Time-Variant Media Using Physiological Data
US20080221969A1 (en) * 2007-03-07 2008-09-11 Emsense Corporation Method And System For Measuring And Ranking A "Thought" Response To Audiovisual Or Interactive Media, Products Or Activities Using Physiological Signals
US8473044B2 (en) * 2007-03-07 2013-06-25 The Nielsen Company (Us), Llc Method and system for measuring and ranking a positive or negative response to audiovisual or interactive media, products or activities using physiological signals
US8782681B2 (en) * 2007-03-08 2014-07-15 The Nielsen Company (Us), Llc Method and system for rating media and events in media based on physiological data
US8764652B2 (en) * 2007-03-08 2014-07-01 The Nielson Company (US), LLC. Method and system for measuring and ranking an “engagement” response to audiovisual or interactive media, products, or activities using physiological signals
JP4539712B2 (ja) * 2007-12-03 2010-09-08 ソニー株式会社 情報処理端末、情報処理方法、およびプログラム
US20080235746A1 (en) 2007-03-20 2008-09-25 Michael James Peters Methods and apparatus for content delivery and replacement in a network
CN101711388B (zh) 2007-03-29 2016-04-27 神经焦点公司 营销和娱乐的效果分析
US20080252596A1 (en) * 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
US8392253B2 (en) 2007-05-16 2013-03-05 The Nielsen Company (Us), Llc Neuro-physiology and neuro-behavioral based stimulus targeting system
US20090002178A1 (en) * 2007-06-29 2009-01-01 Microsoft Corporation Dynamic mood sensing
CN101114339B (zh) * 2007-07-17 2012-06-13 北京华智大为科技有限公司 一种可视媒体受众信息反馈系统和方法
US7865916B2 (en) * 2007-07-20 2011-01-04 James Beser Audience determination for monetizing displayable content
US8533042B2 (en) 2007-07-30 2013-09-10 The Nielsen Company (Us), Llc Neuro-response stimulus and stimulus attribute resonance estimator
US20090037945A1 (en) * 2007-07-31 2009-02-05 Hewlett-Packard Development Company, L.P. Multimedia presentation apparatus, method of selecting multimedia content, and computer program product
US8386313B2 (en) 2007-08-28 2013-02-26 The Nielsen Company (Us), Llc Stimulus placement system using subject neuro-response measurements
US8392255B2 (en) 2007-08-29 2013-03-05 The Nielsen Company (Us), Llc Content based selection and meta tagging of advertisement breaks
US8376952B2 (en) * 2007-09-07 2013-02-19 The Nielsen Company (Us), Llc. Method and apparatus for sensing blood oxygen
KR101141087B1 (ko) 2007-09-14 2012-07-12 인텔렉츄얼 벤처스 홀딩 67 엘엘씨 제스처-기반 사용자 상호작용의 프로세싱
US20090083129A1 (en) 2007-09-20 2009-03-26 Neurofocus, Inc. Personalized content delivery using neuro-response priming data
US9071859B2 (en) 2007-09-26 2015-06-30 Time Warner Cable Enterprises Llc Methods and apparatus for user-based targeted content delivery
US8561116B2 (en) 2007-09-26 2013-10-15 Charles A. Hasek Methods and apparatus for content caching in a video network
WO2009046224A1 (en) 2007-10-02 2009-04-09 Emsense Corporation Providing remote access to media, and reaction and survey data from viewers of the media
US8099757B2 (en) 2007-10-15 2012-01-17 Time Warner Cable Inc. Methods and apparatus for revenue-optimized delivery of content in a network
WO2009059246A1 (en) 2007-10-31 2009-05-07 Emsense Corporation Systems and methods providing en mass collection and centralized processing of physiological responses from viewers
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
JP5243000B2 (ja) * 2007-11-19 2013-07-24 ソニー株式会社 情報提供装置、情報取得端末、受信端末、情報提供システム、情報提供方法、およびプログラム
WO2009073634A1 (en) * 2007-11-30 2009-06-11 Emsense Corporation Correlating media instance information with physiological responses from participating subjects
US8347326B2 (en) 2007-12-18 2013-01-01 The Nielsen Company (US) Identifying key media events and modeling causal relationships between key events and reported feelings
US8677386B2 (en) * 2008-01-02 2014-03-18 At&T Intellectual Property Ii, Lp Automatic rating system using background audio cues
KR101020843B1 (ko) 2008-01-30 2011-03-09 단국대학교 산학협력단 소비자 감성에 따른 콘텐츠 및/또는 채널 추천 방법 및 그시스템
US9503691B2 (en) 2008-02-19 2016-11-22 Time Warner Cable Enterprises Llc Methods and apparatus for enhanced advertising and promotional delivery in a network
US8813143B2 (en) 2008-02-26 2014-08-19 Time Warner Enterprises LLC Methods and apparatus for business-based network resource allocation
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US9839856B2 (en) * 2008-03-11 2017-12-12 Disney Enterprises, Inc. Method and system for providing interactivity based on sensor measurements
US8595218B2 (en) 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods
US20110053889A1 (en) * 2008-09-02 2011-03-03 Joanne Szabo Prenatal and postnatal screening and treatment of critical monosaccharide deficiencies for neurologic and immunologic function
US20100070987A1 (en) * 2008-09-12 2010-03-18 At&T Intellectual Property I, L.P. Mining viewer responses to multimedia content
US8700451B2 (en) 2008-10-29 2014-04-15 Vulcan Ip Holdings Inc. Systems and methods for tracking consumers
JP4775671B2 (ja) * 2008-12-26 2011-09-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
US20100164731A1 (en) * 2008-12-29 2010-07-01 Aiguo Xie Method and apparatus for media viewer health care
US8161504B2 (en) * 2009-03-20 2012-04-17 Nicholas Newell Systems and methods for memorializing a viewer's viewing experience with captured viewer images
US20100250325A1 (en) 2009-03-24 2010-09-30 Neurofocus, Inc. Neurological profiles for market matching and stimulus presentation
US9866609B2 (en) 2009-06-08 2018-01-09 Time Warner Cable Enterprises Llc Methods and apparatus for premises content distribution
US8813124B2 (en) 2009-07-15 2014-08-19 Time Warner Cable Enterprises Llc Methods and apparatus for targeted secondary content insertion
US9178634B2 (en) 2009-07-15 2015-11-03 Time Warner Cable Enterprises Llc Methods and apparatus for evaluating an audience in a content-based network
US10987015B2 (en) 2009-08-24 2021-04-27 Nielsen Consumer Llc Dry electrodes for electroencephalography
KR101368198B1 (ko) * 2009-09-21 2014-02-27 에스케이플래닛 주식회사 광고를 이용한 무료 통화 서비스가 가능한 이동통신 단말기와 시스템 및 방법
US9560984B2 (en) 2009-10-29 2017-02-07 The Nielsen Company (Us), Llc Analysis of controlled and automatic attention for introduction of stimulus material
US20110106750A1 (en) 2009-10-29 2011-05-05 Neurofocus, Inc. Generating ratings predictions using neuro-response data
US8634701B2 (en) * 2009-12-04 2014-01-21 Lg Electronics Inc. Digital data reproducing apparatus and corresponding method for reproducing content based on user characteristics
US20110136442A1 (en) * 2009-12-09 2011-06-09 Echostar Technologies Llc Apparatus and methods for identifying a user of an entertainment device via a mobile communication device
US8793727B2 (en) * 2009-12-10 2014-07-29 Echostar Ukraine, L.L.C. System and method for selecting audio/video content for presentation to a user in response to monitored user activity
US8855101B2 (en) 2010-03-09 2014-10-07 The Nielsen Company (Us), Llc Methods, systems, and apparatus to synchronize actions of audio source monitors
US8701138B2 (en) 2010-04-23 2014-04-15 Time Warner Cable Enterprises Llc Zone control methods and apparatus
US11935281B2 (en) 2010-06-07 2024-03-19 Affectiva, Inc. Vehicular in-cabin facial tracking using machine learning
US12076149B2 (en) 2010-06-07 2024-09-03 Affectiva, Inc. Vehicle manipulation with convolutional image processing
US9723992B2 (en) 2010-06-07 2017-08-08 Affectiva, Inc. Mental state analysis using blink rate
US10799168B2 (en) 2010-06-07 2020-10-13 Affectiva, Inc. Individual data sharing across a social network
US11704574B2 (en) 2010-06-07 2023-07-18 Affectiva, Inc. Multimodal machine learning for vehicle manipulation
US10628741B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Multimodal machine learning for emotion metrics
US11232290B2 (en) 2010-06-07 2022-01-25 Affectiva, Inc. Image analysis using sub-sectional component evaluation to augment classifier usage
US10779761B2 (en) 2010-06-07 2020-09-22 Affectiva, Inc. Sporadic collection of affect data within a vehicle
US11017250B2 (en) 2010-06-07 2021-05-25 Affectiva, Inc. Vehicle manipulation using convolutional image processing
US20130245396A1 (en) * 2010-06-07 2013-09-19 Affectiva, Inc. Mental state analysis using wearable-camera devices
US10517521B2 (en) 2010-06-07 2019-12-31 Affectiva, Inc. Mental state mood analysis using heart rate collection based on video imagery
US10204625B2 (en) * 2010-06-07 2019-02-12 Affectiva, Inc. Audio analysis learning using video data
US11823055B2 (en) 2019-03-31 2023-11-21 Affectiva, Inc. Vehicular in-cabin sensing using machine learning
US10897650B2 (en) * 2010-06-07 2021-01-19 Affectiva, Inc. Vehicle content recommendation using cognitive states
US11151610B2 (en) 2010-06-07 2021-10-19 Affectiva, Inc. Autonomous vehicle control using heart rate collection based on video imagery
US11511757B2 (en) 2010-06-07 2022-11-29 Affectiva, Inc. Vehicle manipulation with crowdsourcing
US9646046B2 (en) * 2010-06-07 2017-05-09 Affectiva, Inc. Mental state data tagging for data collected from multiple sources
US11292477B2 (en) 2010-06-07 2022-04-05 Affectiva, Inc. Vehicle manipulation using cognitive state engineering
US10592757B2 (en) 2010-06-07 2020-03-17 Affectiva, Inc. Vehicular cognitive data collection using multiple devices
US10922567B2 (en) 2010-06-07 2021-02-16 Affectiva, Inc. Cognitive state based vehicle manipulation using near-infrared image processing
US10074024B2 (en) 2010-06-07 2018-09-11 Affectiva, Inc. Mental state analysis using blink rate for vehicles
US9204836B2 (en) * 2010-06-07 2015-12-08 Affectiva, Inc. Sporadic collection of mobile affect data
US10628985B2 (en) 2017-12-01 2020-04-21 Affectiva, Inc. Avatar image animation using translation vectors
US10289898B2 (en) * 2010-06-07 2019-05-14 Affectiva, Inc. Video recommendation via affect
US10474875B2 (en) 2010-06-07 2019-11-12 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation
US11393133B2 (en) 2010-06-07 2022-07-19 Affectiva, Inc. Emoji manipulation using machine learning
US10111611B2 (en) 2010-06-07 2018-10-30 Affectiva, Inc. Personal emotional profile generation
US11073899B2 (en) 2010-06-07 2021-07-27 Affectiva, Inc. Multidevice multimodal emotion services monitoring
US10843078B2 (en) 2010-06-07 2020-11-24 Affectiva, Inc. Affect usage within a gaming context
US11318949B2 (en) 2010-06-07 2022-05-03 Affectiva, Inc. In-vehicle drowsiness analysis using blink rate
US9934425B2 (en) 2010-06-07 2018-04-03 Affectiva, Inc. Collection of affect data from multiple mobile devices
US9642536B2 (en) 2010-06-07 2017-05-09 Affectiva, Inc. Mental state analysis using heart rate collection based on video imagery
US11056225B2 (en) 2010-06-07 2021-07-06 Affectiva, Inc. Analytics for livestreaming based on image analysis within a shared digital environment
US11887352B2 (en) 2010-06-07 2024-01-30 Affectiva, Inc. Live streaming analytics within a shared digital environment
US11410438B2 (en) 2010-06-07 2022-08-09 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation in vehicles
US10627817B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Vehicle manipulation using occupant image analysis
US11657288B2 (en) 2010-06-07 2023-05-23 Affectiva, Inc. Convolutional computing using multilayered analysis engine
US9959549B2 (en) 2010-06-07 2018-05-01 Affectiva, Inc. Mental state analysis for norm generation
US10401860B2 (en) * 2010-06-07 2019-09-03 Affectiva, Inc. Image analysis for two-sided data hub
US10482333B1 (en) 2017-01-04 2019-11-19 Affectiva, Inc. Mental state analysis using blink rate within vehicles
US9247903B2 (en) 2010-06-07 2016-02-02 Affectiva, Inc. Using affect within a gaming context
US10614289B2 (en) 2010-06-07 2020-04-07 Affectiva, Inc. Facial tracking with classifiers
US10911829B2 (en) * 2010-06-07 2021-02-02 Affectiva, Inc. Vehicle video recommendation via affect
US10796176B2 (en) 2010-06-07 2020-10-06 Affectiva, Inc. Personal emotional profile generation for vehicle manipulation
US11430260B2 (en) 2010-06-07 2022-08-30 Affectiva, Inc. Electronic display viewing verification
US11465640B2 (en) 2010-06-07 2022-10-11 Affectiva, Inc. Directed control transfer for autonomous vehicles
US9503786B2 (en) * 2010-06-07 2016-11-22 Affectiva, Inc. Video recommendation using affect
US11587357B2 (en) 2010-06-07 2023-02-21 Affectiva, Inc. Vehicular cognitive data collection with multiple devices
US10108852B2 (en) 2010-06-07 2018-10-23 Affectiva, Inc. Facial analysis to detect asymmetric expressions
US10869626B2 (en) * 2010-06-07 2020-12-22 Affectiva, Inc. Image analysis for emotional metric evaluation
US11067405B2 (en) 2010-06-07 2021-07-20 Affectiva, Inc. Cognitive state vehicle navigation based on image processing
US20140200463A1 (en) * 2010-06-07 2014-07-17 Affectiva, Inc. Mental state well being monitoring
US11700420B2 (en) 2010-06-07 2023-07-11 Affectiva, Inc. Media manipulation using cognitive state metric analysis
JP2013537435A (ja) * 2010-06-07 2013-10-03 アフェクティヴァ，インコーポレイテッド ウェブサービスを用いた心理状態分析
US11484685B2 (en) 2010-06-07 2022-11-01 Affectiva, Inc. Robotic control using profiles
US10143414B2 (en) 2010-06-07 2018-12-04 Affectiva, Inc. Sporadic collection with mobile affect data
US20150099987A1 (en) * 2010-06-07 2015-04-09 Affectiva, Inc. Heart rate variability evaluation for mental state analysis
US11430561B2 (en) 2010-06-07 2022-08-30 Affectiva, Inc. Remote computing analysis for cognitive state data metrics
US20120023201A1 (en) * 2010-07-26 2012-01-26 Atlas Advisory Partners, Llc Unified Content Delivery Platform
WO2012020861A1 (ko) * 2010-08-12 2012-02-16 엘지전자 주식회사 영상표시기기, 영상표시시스템 및 그 사용자 감정 상태 분석 방법
US8438590B2 (en) * 2010-09-22 2013-05-07 General Instrument Corporation System and method for measuring audience reaction to media content
US9484065B2 (en) * 2010-10-15 2016-11-01 Microsoft Technology Licensing, Llc Intelligent determination of replays based on event identification
CN102118589A (zh) * 2010-11-20 2011-07-06 康佳集团股份有限公司 一种基于电视机测试心情指数的方法及电视机装置
GB2486257B (en) * 2010-12-09 2015-05-27 Samsung Electronics Co Ltd Multimedia system and method of recommending multimedia content
US8885842B2 (en) 2010-12-14 2014-11-11 The Nielsen Company (Us), Llc Methods and apparatus to determine locations of audience members
ES1075159Y (es) * 2010-12-16 2011-11-10 Feliz Emilio Alonso Dispositivo de audimetria inteligente
CN103339649A (zh) * 2011-02-27 2013-10-02 阿弗科迪瓦公司 基于情感的视频推荐
US20120259240A1 (en) * 2011-04-08 2012-10-11 Nviso Sarl Method and System for Assessing and Measuring Emotional Intensity to a Stimulus
US8620113B2 (en) 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
US9183509B2 (en) * 2011-05-11 2015-11-10 Ari M. Frank Database of affective response and attention levels
US20120304206A1 (en) * 2011-05-26 2012-11-29 Verizon Patent And Licensing, Inc. Methods and Systems for Presenting an Advertisement Associated with an Ambient Action of a User
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
US20120324491A1 (en) * 2011-06-17 2012-12-20 Microsoft Corporation Video highlight identification based on environmental sensing
US9015746B2 (en) * 2011-06-17 2015-04-21 Microsoft Technology Licensing, Llc Interest-based video streams
US20120324492A1 (en) * 2011-06-20 2012-12-20 Microsoft Corporation Video selection based on environmental sensing
US9015084B2 (en) 2011-10-20 2015-04-21 Gil Thieberger Estimating affective response to a token instance of interest
US20130145385A1 (en) * 2011-12-02 2013-06-06 Microsoft Corporation Context-based ratings and recommendations for media
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US9100685B2 (en) * 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US9082004B2 (en) 2011-12-15 2015-07-14 The Nielsen Company (Us), Llc. Methods and apparatus to capture images
US9571879B2 (en) 2012-01-10 2017-02-14 Microsoft Technology Licensing, Llc Consumption of content with reactions of an individual
CN103207662A (zh) * 2012-01-11 2013-07-17 联想(北京)有限公司 一种获得生理特征信息的方法及装置
EP2621165A1 (en) * 2012-01-25 2013-07-31 Alcatel Lucent, S.A. Videoconference method and device
US20130204535A1 (en) * 2012-02-03 2013-08-08 Microsoft Corporation Visualizing predicted affective states over time
US9569986B2 (en) 2012-02-27 2017-02-14 The Nielsen Company (Us), Llc System and method for gathering and analyzing biometric user feedback for use in social media and advertising applications
CN103366760A (zh) * 2012-03-26 2013-10-23 联想(北京)有限公司 一种数据处理方法、装置及系统
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
US20130268955A1 (en) * 2012-04-06 2013-10-10 Microsoft Corporation Highlighting or augmenting a media program
US9078040B2 (en) 2012-04-12 2015-07-07 Time Warner Cable Enterprises Llc Apparatus and methods for enabling media options in a content delivery network
KR101448722B1 (ko) * 2012-04-19 2014-10-17 상명대학교서울산학협력단 영상 기반 감성 유발 및 측정 시뮬레이터 시스템
US20130283162A1 (en) * 2012-04-23 2013-10-24 Sony Mobile Communications Ab System and method for dynamic content modification based on user reactions
CA2775700C (en) * 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
CN103383597B (zh) * 2012-05-04 2017-07-28 微软技术许可有限责任公司 用于呈现媒体节目的方法
US9854280B2 (en) 2012-07-10 2017-12-26 Time Warner Cable Enterprises Llc Apparatus and methods for selective enforcement of secondary content viewing
US9060671B2 (en) 2012-08-17 2015-06-23 The Nielsen Company (Us), Llc Systems and methods to gather and analyze electroencephalographic data
US8862155B2 (en) 2012-08-30 2014-10-14 Time Warner Cable Enterprises Llc Apparatus and methods for enabling location-based services within a premises
CN109284264B (zh) * 2012-09-16 2021-10-29 吴东辉 一种图像文件格式及生成方法及装置及应用
US20140149177A1 (en) * 2012-11-23 2014-05-29 Ari M. Frank Responding to uncertainty of a user regarding an experience by presenting a prior experience
US10250837B2 (en) 2012-12-05 2019-04-02 DISH Technologies L.L.C. User proximity recognition and hands-free control
CN103873492B (zh) * 2012-12-07 2019-01-15 联想(北京)有限公司 一种电子设备及数据传输方法
US9131283B2 (en) 2012-12-14 2015-09-08 Time Warner Cable Enterprises Llc Apparatus and methods for multimedia coordination
US8769557B1 (en) 2012-12-27 2014-07-01 The Nielsen Company (Us), Llc Methods and apparatus to determine engagement levels of audience members
CN103118281A (zh) * 2012-12-28 2013-05-22 四川九洲电器集团有限责任公司 一种机顶盒装置及控制方法
WO2014101165A1 (en) * 2012-12-31 2014-07-03 Thomson Licensing Method and system for determining concentration level of a viewer of displayed content
US20140195328A1 (en) * 2013-01-04 2014-07-10 Ron Ferens Adaptive embedded advertisement via contextual analysis and perceptual computing
WO2014108195A1 (en) * 2013-01-10 2014-07-17 Telefonaktiebolaget L M Ericsson (Publ) Method and system for targeting delivery of video media to a user
US9344773B2 (en) * 2013-02-05 2016-05-17 Microsoft Technology Licensing, Llc Providing recommendations based upon environmental sensing
US9021516B2 (en) 2013-03-01 2015-04-28 The Nielsen Company (Us), Llc Methods and systems for reducing spillover by measuring a crest factor
US9118960B2 (en) 2013-03-08 2015-08-25 The Nielsen Company (Us), Llc Methods and systems for reducing spillover by detecting signal distortion
US20140282786A1 (en) 2013-03-12 2014-09-18 Time Warner Cable Enterprises Llc Methods and apparatus for providing and uploading content to personalized network storage
US9219969B2 (en) 2013-03-13 2015-12-22 The Nielsen Company (Us), Llc Methods and systems for reducing spillover by analyzing sound pressure levels
US9191704B2 (en) 2013-03-14 2015-11-17 The Nielsen Company (Us), Llc Methods and systems for reducing crediting errors due to spillover using audio codes and/or signatures
US9100694B1 (en) 2013-03-14 2015-08-04 Google Inc. TV mode change in accordance with number of viewers present
US9320450B2 (en) 2013-03-14 2016-04-26 The Nielsen Company (Us), Llc Methods and apparatus to gather and analyze electroencephalographic data
US20140282669A1 (en) * 2013-03-15 2014-09-18 F. Gavin McMillan Methods and apparatus to identify companion media interaction
US9596508B2 (en) * 2013-03-15 2017-03-14 Sony Corporation Device for acquisition of viewer interest when viewing content
US9681186B2 (en) 2013-06-11 2017-06-13 Nokia Technologies Oy Method, apparatus and computer program product for gathering and presenting emotional response to an event
US9247273B2 (en) 2013-06-25 2016-01-26 The Nielsen Company (Us), Llc Methods and apparatus to characterize households with media meter data
JP6191278B2 (ja) * 2013-06-26 2017-09-06 カシオ計算機株式会社 情報処理装置、コンテンツ課金システム及びプログラム
JP6267789B2 (ja) 2013-06-27 2018-01-24 インテル・コーポレーション メディアコンテンツの中への視覚広告コンテンツの適応的な埋め込み
US9426525B2 (en) 2013-12-31 2016-08-23 The Nielsen Company (Us), Llc. Methods and apparatus to count people in an audience
US9431002B2 (en) 2014-03-04 2016-08-30 Tribune Digital Ventures, Llc Real time popularity based audible content aquisition
DE102014004675A1 (de) * 2014-03-31 2015-10-01 Audi Ag Gestenbewertungssystem, Verfahren zur Gestenbewertung und Fahrzeug
US9622702B2 (en) 2014-04-03 2017-04-18 The Nielsen Company (Us), Llc Methods and apparatus to gather and analyze electroencephalographic data
US9313537B2 (en) * 2014-04-30 2016-04-12 Rovi Guides, Inc. Methods and systems for presenting advertisements to particular users based on perceived lulls in media assets
CN103957459B (zh) * 2014-05-15 2019-03-15 北京智谷睿拓技术服务有限公司 播放控制方法及播放控制装置
CN104038836A (zh) * 2014-06-03 2014-09-10 四川长虹电器股份有限公司 电视节目智能推送的方法
CN104065898A (zh) * 2014-06-05 2014-09-24 深圳市九洲电器有限公司 一种电视节目控制方法及装置
US10028025B2 (en) 2014-09-29 2018-07-17 Time Warner Cable Enterprises Llc Apparatus and methods for enabling presence-based and use-based services
US9924224B2 (en) 2015-04-03 2018-03-20 The Nielsen Company (Us), Llc Methods and apparatus to determine a state of a media presentation device
US9607223B2 (en) * 2015-04-09 2017-03-28 Facebook, Inc. Systems and methods for defining and analyzing video clusters based on video image frames
US9467718B1 (en) 2015-05-06 2016-10-11 Echostar Broadcasting Corporation Apparatus, systems and methods for a content commentary community
US9936250B2 (en) 2015-05-19 2018-04-03 The Nielsen Company (Us), Llc Methods and apparatus to adjust content presented to an individual
US9848222B2 (en) 2015-07-15 2017-12-19 The Nielsen Company (Us), Llc Methods and apparatus to detect spillover
CN106658202A (zh) * 2015-10-30 2017-05-10 中国移动通信集团公司 一种触发互动应用的方法和设备
US10542315B2 (en) 2015-11-11 2020-01-21 At&T Intellectual Property I, L.P. Method and apparatus for content adaptation based on audience monitoring
US9959343B2 (en) 2016-01-04 2018-05-01 Gracenote, Inc. Generating and distributing a replacement playlist
KR102272768B1 (ko) * 2016-01-05 2021-07-06 로쿠, 인코퍼레이티드 컨텐츠 특성 기반 트리거 피처를 갖는 컴퓨팅 시스템
EP4080794A1 (en) 2016-01-06 2022-10-26 TVision Insights, Inc. Systems and methods for assessing viewer engagement
US11540009B2 (en) 2016-01-06 2022-12-27 Tvision Insights, Inc. Systems and methods for assessing viewer engagement
KR101639970B1 (ko) * 2016-01-26 2016-07-15 주식회사 이노피아테크 미디어 서비스에서 양방향 채널 구성
US10268689B2 (en) 2016-01-28 2019-04-23 DISH Technologies L.L.C. Providing media content based on user state detection
CN105852838A (zh) * 2016-03-22 2016-08-17 乐视网信息技术（北京）股份有限公司 一种基于心率测量的多媒体评价方法和终端
CN107293292A (zh) * 2016-03-31 2017-10-24 深圳光启合众科技有限公司 基于云端的设备及其操作方法
US10187694B2 (en) 2016-04-07 2019-01-22 At&T Intellectual Property I, L.P. Method and apparatus for enhancing audience engagement via a communication network
US10586023B2 (en) 2016-04-21 2020-03-10 Time Warner Cable Enterprises Llc Methods and apparatus for secondary content management and fraud prevention
US10984036B2 (en) 2016-05-03 2021-04-20 DISH Technologies L.L.C. Providing media content based on media element preferences
US10687115B2 (en) 2016-06-01 2020-06-16 Time Warner Cable Enterprises Llc Cloud-based digital content recorder apparatus and methods
CN105959737A (zh) * 2016-06-30 2016-09-21 乐视控股（北京）有限公司 一种基于用户情绪识别的视频评价方法和装置
CN106131607A (zh) * 2016-07-21 2016-11-16 陈洪国 汽车发动机运行参数检测平台
CN106303230B (zh) * 2016-08-05 2020-04-03 浙江大华技术股份有限公司 一种视频处理方法及装置
US10419558B2 (en) 2016-08-24 2019-09-17 The Directv Group, Inc. Methods and systems for provisioning a user profile on a media processor
US10110950B2 (en) * 2016-09-14 2018-10-23 International Business Machines Corporation Attentiveness-based video presentation management
US11212593B2 (en) 2016-09-27 2021-12-28 Time Warner Cable Enterprises Llc Apparatus and methods for automated secondary content management in a digital network
US10440434B2 (en) * 2016-10-28 2019-10-08 International Business Machines Corporation Experience-directed dynamic steganographic content switching
US10911794B2 (en) 2016-11-09 2021-02-02 Charter Communications Operating, Llc Apparatus and methods for selective secondary content insertion in a digital network
US10565980B1 (en) 2016-12-21 2020-02-18 Gracenote Digital Ventures, Llc Audio streaming of text-based articles from newsfeeds
US10419508B1 (en) 2016-12-21 2019-09-17 Gracenote Digital Ventures, Llc Saving media for in-automobile playout
US10019225B1 (en) 2016-12-21 2018-07-10 Gracenote Digital Ventures, Llc Audio streaming based on in-automobile detection
US10764381B2 (en) 2016-12-23 2020-09-01 Echostar Technologies L.L.C. Communications channels in media systems
US10390084B2 (en) 2016-12-23 2019-08-20 DISH Technologies L.L.C. Communications channels in media systems
US11196826B2 (en) 2016-12-23 2021-12-07 DISH Technologies L.L.C. Communications channels in media systems
US10034046B1 (en) * 2017-01-09 2018-07-24 International Business Machines Corporation Individualized dynamic insertion of secondary content in live streaming
US11128675B2 (en) 2017-03-20 2021-09-21 At&T Intellectual Property I, L.P. Automatic ad-hoc multimedia conference generator
WO2018195391A1 (en) 2017-04-20 2018-10-25 Tvision Insights, Inc. Methods and apparatus for multi-television measurements
US10922566B2 (en) 2017-05-09 2021-02-16 Affectiva, Inc. Cognitive state evaluation for vehicle navigation
US11070862B2 (en) * 2017-06-23 2021-07-20 At&T Intellectual Property I, L.P. System and method for dynamically providing personalized television shows
US11601715B2 (en) * 2017-07-06 2023-03-07 DISH Technologies L.L.C. System and method for dynamically adjusting content playback based on viewer emotions
CN107257509B (zh) * 2017-07-13 2020-11-17 浙报融媒体科技(浙江)有限责任公司 一种视频内容的过滤方法及装置
CN107424019A (zh) * 2017-08-15 2017-12-01 京东方科技集团股份有限公司 基于情绪识别的艺术品推荐方法、装置、介质和电子设备
CN107786894B (zh) * 2017-09-29 2021-03-02 维沃移动通信有限公司 一种用户反馈数据的识别方法、移动终端和存储介质
US10171877B1 (en) 2017-10-30 2019-01-01 Dish Network L.L.C. System and method for dynamically selecting supplemental content based on viewer emotions
US10636449B2 (en) * 2017-11-06 2020-04-28 International Business Machines Corporation Dynamic generation of videos based on emotion and sentiment recognition
US10154319B1 (en) 2018-02-15 2018-12-11 Rovi Guides, Inc. Systems and methods for customizing delivery of advertisements
US10939142B2 (en) 2018-02-27 2021-03-02 Charter Communications Operating, Llc Apparatus and methods for content storage, distribution and security within a content distribution network
US11151602B2 (en) * 2018-04-30 2021-10-19 Dish Network L.L.C. Apparatus, systems and methods for acquiring commentary about a media content event
CN108966013A (zh) * 2018-07-26 2018-12-07 北京理工大学 一种基于全景视频的观众反应评估方法及系统
EP3864575A4 (en) * 2018-10-09 2021-12-01 Magic Leap, Inc. VIRTUAL AND AUGMENTED REALITY SYSTEMS AND PROCESSES
US11037550B2 (en) 2018-11-30 2021-06-15 Dish Network L.L.C. Audio-based link generation
US11887383B2 (en) 2019-03-31 2024-01-30 Affectiva, Inc. Vehicle interior object management
FR3094856B1 (fr) * 2019-04-02 2021-04-30 Unique Entertainment Experience Procede de génération d’un element multimedia au cours de la lecture d’un media, terminal, systeme
US11769056B2 (en) 2019-12-30 2023-09-26 Affectiva, Inc. Synthetic data for neural network training using vectors
US11711638B2 (en) 2020-06-29 2023-07-25 The Nielsen Company (Us), Llc Audience monitoring systems and related methods
US11860704B2 (en) 2021-08-16 2024-01-02 The Nielsen Company (Us), Llc Methods and apparatus to determine user presence
US11758223B2 (en) 2021-12-23 2023-09-12 The Nielsen Company (Us), Llc Apparatus, systems, and methods for user presence detection for audience monitoring
US11910061B2 (en) * 2022-05-23 2024-02-20 Rovi Guides, Inc. Leveraging emotional transitions in media to modulate emotional impact of secondary content
US11871081B2 (en) * 2022-05-23 2024-01-09 Rovi Guides, Inc. Leveraging emotional transitions in media to modulate emotional impact of secondary content
US12088882B2 (en) 2022-08-26 2024-09-10 The Nielsen Company (Us), Llc Systems, apparatus, and related methods to estimate audience exposure based on engagement level
US12108112B1 (en) * 2022-11-30 2024-10-01 Spotify Ab Systems and methods for predicting violative content items

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11153977A (ja) * 1997-11-20 1999-06-08 Fujitsu General Ltd 広告効果確認システム
JP2000209578A (ja) * 1999-01-20 2000-07-28 Nri & Ncc Co Ltd 広告メディア評価装置および広告メディア評価方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5243517A (en) * 1988-08-03 1993-09-07 Westinghouse Electric Corp. Method and apparatus for physiological evaluation of short films and entertainment materials
US6400996B1 (en) * 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5434678A (en) * 1993-01-11 1995-07-18 Abecassis; Max Seamless transmission of non-sequential video segments
US5469206A (en) * 1992-05-27 1995-11-21 Philips Electronics North America Corporation System and method for automatically correlating user preferences with electronic shopping information
GB9315034D0 (en) * 1993-07-20 1993-09-01 Software Solutions Limited Display apparatus
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
US5995134A (en) * 1995-12-14 1999-11-30 Time Warner Cable Method and apparatus for enticing a passive television viewer by automatically playing promotional presentations of selectable options in response to the viewer's inactivity
US5774591A (en) * 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
US5676138A (en) * 1996-03-15 1997-10-14 Zawilinski; Kenneth Michael Emotional response analyzer system with multimedia display
US5945988A (en) 1996-06-06 1999-08-31 Intel Corporation Method and apparatus for automatically determining and dynamically updating user preferences in an entertainment system
JPH10123929A (ja) * 1996-10-21 1998-05-15 Hitachi Ltd 体感装置
NL1006042C2 (nl) * 1997-05-13 1998-11-16 Verify International N V Methode en inrichting voor het testen van audio-visuele stimuli.
US5973683A (en) 1997-11-24 1999-10-26 International Business Machines Corporation Dynamic regulation of television viewing content based on viewer profile and viewing history
US6124877A (en) * 1997-12-08 2000-09-26 Soundview Technologies, Inc. System for monitoring and reporting viewing of television programming
GB9813866D0 (en) 1998-06-29 1998-08-26 Williams David J Interactive television and readio system
US6190314B1 (en) * 1998-07-15 2001-02-20 International Business Machines Corporation Computer input device with biosensors for sensing user emotions
US6721954B1 (en) 1999-06-23 2004-04-13 Gateway, Inc. Personal preferred viewing using electronic program guide
WO2001015449A1 (en) * 1999-08-20 2001-03-01 Singularis S.A. Method and apparatus for creating recommendations from users profile built interactively
JP2002009578A (ja) 2000-06-26 2002-01-11 Seiko Epson Corp 圧電デバイス
ES2261527T3 (es) * 2001-01-09 2006-11-16 Metabyte Networks, Inc. Sistema, procedimiento y aplicacion de software para publicidad dirigida mediante una agrupacion de modelos de comportamiento, y preferencias de programacion basadas en grupos de modelos de comportamiento.
US20020178440A1 (en) * 2001-03-28 2002-11-28 Philips Electronics North America Corp. Method and apparatus for automatically selecting an alternate item based on user behavior
US20030005431A1 (en) * 2001-07-02 2003-01-02 Sony Corporation PVR-based system and method for TV content control using voice recognition

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11153977A (ja) * 1997-11-20 1999-06-08 Fujitsu General Ltd 広告効果確認システム
JP2000209578A (ja) * 1999-01-20 2000-07-28 Nri & Ncc Co Ltd 広告メディア評価装置および広告メディア評価方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020085581A1 (ko) * 2018-10-24 2020-04-30 서경대학교 산학협력단 영상평가시스템 및 영상평가방법

Also Published As

Publication number Publication date
JP2005510147A (ja) 2005-04-14
US8561095B2 (en) 2013-10-15
CN1586078B (zh) 2010-05-26
JP4283113B2 (ja) 2009-06-24
WO2003043336A1 (en) 2003-05-22
US20030093784A1 (en) 2003-05-15
CN1586078A (zh) 2005-02-23
KR20040054774A (ko) 2004-06-25
EP1449379A1 (en) 2004-08-25

Similar Documents

Publication Publication Date Title
KR100946222B1 (ko) 감성적 텔레비전 모니터링 및 제어
US12028577B2 (en) Apparatus, systems and methods for generating an emotional-based content recommendation list
KR100876300B1 (ko) 사용자의 현재 기분에 기초한 추천들을 생성하기 위한 방법 및 장치
US7698238B2 (en) Emotion controlled system for processing multimedia data
US20190026776A1 (en) Systems and methods for deducing user information from input device behavior
US9264770B2 (en) Systems and methods for generating media asset representations based on user emotional responses
US8108886B1 (en) Receiving apparatus and receiving method, broadcasting apparatus and broadcasting method, information processing apparatus and information processing method, bidirectional communication system and bidirectional communication method, and providing medium
KR20100039706A (ko) 사용자의 반응 분석을 이용한 컨텐츠의 동적 서비스 방법 및 그 장치
US20120278331A1 (en) Systems and methods for deducing user information from input device behavior
US20110106536A1 (en) Systems and methods for simulating dialog between a user and media equipment device
US11533542B2 (en) Apparatus, systems and methods for provision of contextual content
US20120278330A1 (en) Systems and methods for deducing user information from input device behavior
WO2011031932A1 (en) Media control and analysis based on audience actions and reactions
WO2012148770A2 (en) Systems and methods for deducing user information from input device behavior
CN112784069B (zh) 一种iptv内容智能推荐系统以及方法
WO2004012447A1 (en) Method of and system for controlling the operation of a video system
JP2014060642A (ja) 表示装置及び表示システム
US20220408153A1 (en) Information processing device, information processing method, and information processing program
EP4374390A1 (en) Method of and device for monitoring one or more physiological parameters

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130305

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140227

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150227

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160225

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170303

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200227

Year of fee payment: 11