KR101197978B1 - 웃음 탐지기 및 미디어 프리젠테이션에 대한 감정 반응을 추적하기 위한 시스템 및 방법 - Google Patents

웃음 탐지기 및 미디어 프리젠테이션에 대한 감정 반응을 추적하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR101197978B1
KR101197978B1 KR1020107017198A KR20107017198A KR101197978B1 KR 101197978 B1 KR101197978 B1 KR 101197978B1 KR 1020107017198 A KR1020107017198 A KR 1020107017198A KR 20107017198 A KR20107017198 A KR 20107017198A KR 101197978 B1 KR101197978 B1 KR 101197978B1
Authority
KR
South Korea
Prior art keywords
media presentation
emotional response
user
emotional
users
Prior art date
Application number
KR1020107017198A
Other languages
English (en)
Other versions
KR20100107036A (ko
Inventor
게리 제일러스키
Original Assignee
소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨 filed Critical 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨
Publication of KR20100107036A publication Critical patent/KR20100107036A/ko
Application granted granted Critical
Publication of KR101197978B1 publication Critical patent/KR101197978B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)

Abstract

미디어 프리젠테이션에 대한 감정 반응 정보는 예를 들어 마이크로폰 및/또는 카메라에 의해 수동적으로 수집될 수 있다. 이러한 정보는 미디어 프리젠테이션 내의 시간 기준 레벨에서 메타데이터에 연결될 수 있고, 콘텐츠에 대한 사용자 감정 반응의 품질을 평가하고 그리고/또는 이러한 정보를 인적통계에 투영하기 위해 미디어 프리젠테이션의 콘텐츠를 검사하는 데에 이용될 수 있다. 감정 반응의 수동 수집은, 스피치 또는 얼굴 표정 탐지의 요소로서 감정을 추가시키는 데에 그리고, 예를 들어 콘텐츠의 품질을 판단하거나 인적통계적으로 유사하게 분류되는 사용자들에게 제공될 장래의 콘텐츠에 대한 다양한 사용자들의 속성을 판단하기 위해 이러한 정보를 이용하는 데에 이용될 수 있다. 따라서, 본 발명은 다음과 같은 질문을 묻고 대답한다: 무엇이 사용자들을 즐겁게 하는가? 무엇이 사용자들을 웃게 만드는가? 사용자들은 무엇에 흥미를 느끼는가? 지루한가? 흥분되는가?

Description

웃음 탐지기 및 미디어 프리젠테이션에 대한 감정 반응을 추적하기 위한 시스템 및 방법{Laugh detector and system and method for tracking an emotional response to a media presentation}
본 발명은 상호작용 미디어(interactive media)에 관한 것이다. 더욱 구체적으로, 본 발명은 미디어 프리젠테이션(media presentation)에 대한 감정 반응을 추적하기 위한 방법에 관한 것이다.
2007년 2월의 스피치 커뮤니케이션(Speech Communication) 제2호, 제49권의 144쪽 내지 158쪽에 기재된 카이트 피. 트루옹(Khiet P. Truong) 및 데이비드 에이. 반 리우웬(David A. van Leeuwen)이 작성한 웃음과 스피치 사이의 자동 식별은 스피치의 요소로서 웃음을 탐지하는 기술을 제안한다. 또한, 로스앤젤레스, 남부 캘리포니아 대학, 비터비 공대(Viterbi School of Engineering), 전기 공학과, 컴퓨터 공학과, 통합 미디어 시스템 센터, 스피치 분석 및 해석 연구소(http://sail.usc.edu.), 감정 연구 그룹의 칼로스 부소(Carlos Busso), 지강 덴그(Zhigang Deng), 서달 일디림(Serdar Yildirim), 무르타자 불루트(Murtaza Bulut), 이철민, 아베 카젬자데(Abe Kazemzadeh), 이성복, 울리히 노만(Ulrich Neumann), 슈리칸스 나라야난(Shrikanth Narayanan)이 작성한 얼굴 표정을 이용한 감정 인식의 분석, 스피치 및 다양한 정보는 얼굴 표정으로부터 감정을 탐지하는 기술을 제안하였다.
불행하게도, 콘텐츠의 속성, 사용자 프로파일링(user profiling), 인적통계 마이닝(demographic mining) 및 장래 콘텐츠의 타겟팅(targeting)과 관련하여 콘텐츠의 세그먼트(segment) 품질을 판정하거나 분석하거나 또는 콘텐츠 품질을 평가하기 위해 미디어 재생 동안 감정 반응 자동 수집에 관여하는 것을 아직 제안하고 있지 않다. 그러므로, 당업계에서는 유용한 방식으로 감정을 인식하고 이러한 정보를 이용하는 기술을 필요로 하고 있다.
종래기술에 관한 단점들은, 미디어 프리젠테이션에 대한 감정 반응 정보 수동 수집 기술로서, 이러한 정보를 메타데이터(metadata)로 만들고, 이를 이용하여 콘텐츠에 대하여 유리한 사항을 위해 미디어 프리젠테이션의 콘텐츠를 검사하며, 이러한 정보를 인적통계에 반영하는 본 발명의 실시형태들에 의해 극복된다.
본 발명에 따르면, 미디어 재생 동안 사용자의 감정 반응을 자동으로 수집할 수 있고, 이러한 감정 반응과 미디어 사이의 인적통계를 만들 수 있다.
본 발명의 내용은 첨부된 도면을 참조하여 다음의 구체적인 내용을 고려함으로써 용이하게 이해될 수 있다.
도 1은 본 발명에 따른 감정 반응을 추적하기 위한 시스템의 일 실시형태를 도시하는 블록 개요도이고;
도 2는 본 발명에 따른 감정 반응을 추적하기 위한 시스템의 또 다른 실시형태를 도시하는 블록 개요도이며;
도 3은 본 발명에 따른 미디어 프레임들(media frames)의 스트림(stream) 및 대응하는 메타데이터를 도시하는 미디어 프리젠테이션의 개략 설명도이고;
도 4는 본 발명에 따른 미디어 프리젠테이션과 관련하여 감정 반응과 관련된 정보의 탐지 및 처리를 도시하는 순서도이며;
도 5는 본 발명에 따른 하나 이상의 인적통계 구축과 관련하여 메타데이터를 사용자 프로파일(individual profile) 및 그룹 프로파일(group profile)과 관련시키는 방법을 도시하는 블록 개요도이다.
다음의 구체적인 내용이 설명을 위하여 많은 특정 세부사항들을 포함하고 있을지라도, 당업자는 다음의 구체적인 내용에 대한 많은 변형례들 및 선택례들이 본 발명의 범위 내에 있다는 것을 이해할 것이다. 따라서, 이하에서 기술되는 본 발명의 예시적 실시형태들은 청구된 발명의 일반성을 잃지 않으면서 청구된 발명에 제한을 두지 않는다.
본 발명의 일 실시형태는, 예를 들어 미디어 프리젠테이션에 대한 사용자의 감정 반응을 추적하고, 상기 감정 반응을, 감정 반응을 유발한 자극과 관련시키고, 그 다음에, 예를 들어, 미디어 프리젠테이션의 일 양상을 평가하기 위해, 즉, 어느 양상이 좋았는가, 잘 수신되었는가, 가장 오락적인 가치가 있었나, 그리고 어느 것이 좋지 않았나, 잘 수신이 되지 않았나, 또는 오락적이지 않았나, 예를 들어, 재미 있었는가, 어느 부분이 재미있었는가, 사용자들이 그러한 광고를 좋아하는가, 실제로 광고인가, 그 노래가 사람들을 웃게 만들었나와 같은 사항들을 평가하기 위해, 일 집단의 사용자들에 대한 결과 반응 데이터를 수집한다.
본 발명의 또 다른 실시형태는 미디어 또는 다른 프리젠테이션 동안 복수의 사용자들의 감정 반응을 동시에 추적한다. 예를 들어, 소정의 네트워크 장치가, 특정 인원의 사용자들을 가지도록 프로파일링(profiling)된 특정 위치에 위치될 수 있다. 얼굴 탐지 및 음성 탐지와 같은 요소들은 시스템이 반응들을 특정 사용자들에 매칭(matching)할 수 있게 한다. 이러한 방식으로, 가족 또는 그룹이 예를 들어 우편번호 등에 의해 프로파일링될 수 있다. 교정 단계는, 예를 들어 음성 특징 및 얼굴 특징에 의해 각각의 사용자를 인식하기 위해 시스템을 트레이닝(training)한다.
그러므로, 본 발명의 일 실시형태는 미디어 프리젠테이션과 관련하여 감정 표현의 적절한 부분과 부적절한 부분을 식별하기 위해 미디어 프리젠테이션에 대한 사용자의 반응을 테스트한다.
본 명세서에서의 설명을 위하여, 미디어 프리젠테이션은 예를 들어 텔레비젼 프로그램, 영화, 라이브공연, 녹음된 음악, 스포츠 이벤트, 비디오 게임, 상호작용 엔터테인먼트 등을 포함할 수 있고, 이에 제한되지 않는다. 본 발명의 일 실시형태는, 예를 들어, 마이크로폰, 비디오 카메라, 이들의 조합, 또는 전기 피부 반응을 측정하기 위한 장치, 심박동수 모니터(EKG), 움직임 탐지기, 혈압 센서등을 포함하는 웃음 센서와 같은, 미디어 프리젠테이션에 대한 사용자의 감정 반응을 탐지하기 위한 센서를 포함한다.
도 1은 본 발명에 따른 감정 반응을 추적하기 위한 시스템을 도시하는 블록 개요도이다. 웃음을 탐지하기 위해 마이크로폰 및/또는 비디오 카메라를 사용하는 일 실시형태에서, 웃음이 탐지되면, 사용자가 노출되었던 자극들이 식별되고, 프리젠테이션을 유발된 반응과 관련시키는 데이터가 저장된다. 간단하게 말해, 본 발명은, 발성을 획득하기 위한 빌트인 마이크로폰(built in microphone; 15) 및/또는 제스쳐(gesture) 및/또는 얼굴 표정을 획득하기 위한 비디오 카메라(16)를 가진 랩탑 컴퓨터(laptop computer)와 같은 PC(13)에서 실시된다. PC에서 설치되고 실행된 어플리케이션(application)은, 예를 들어 인터넷을 서핑(surfing)하는 사용자(10)를 바라보고, 사용자 세션(individual's session)의 다양한 시점들에서 웃음과 같은 사용자의 발성(17/18), 또는 박수 또는 야유와 같은 다른 소리들을 탐지한다.
본 발명의 또 다른 실시형태는, 제스쳐, 프로파일, 움직임 및 모양을 획득하기 위해, 3DV 시스템에 의해 제조되는 ZCamTM과 같은 3D 카메라를 제공할 수 있다. 예를 들어, 3D 카메라는, 사용자의 코 모양과 같은 머리 모양, 크기, 체형 등에 근거하여 사용자를 인식하는 데에 사용될 수 있다. 이것은, 본 발명이 한번에 2명 이상의 사용자의 감정 반응을 추적하는 데에 사용되는 경우, 및/또는 사용자의 얼굴이 카메라에 제공되지 않는 경우에 특히 유용하다. 게다가, 본 발명의 이러한 양상은, 감정 반응 표시인 제스쳐 또는 다른 몸체 움직임을 추적하는 것, 및 이러한 제스쳐 및 몸체 움직임을 웃음과 같은 감정 반응의 다른 표시와 관련시키는 것 모두를 가능하게 한다. 게다가, 2명의 사용자들이 서로 "하이 파이브(High Five)"를 행할 때와 같은 2명 이상의 사용자들의 상호작용은 감정 반응을 식별하기 위해 추적되고 사용될 수 있다.
그러나, 또 다른 실시형태는, 소니에 의해 제조되고, 얼굴 탐지 특징 및 미소 탐지 특징을 포함하는 사이버-샷(Cyber-Shot) W120과 같은 미소 탐지기를 제공한다.
본 발명의 일 실시형태는, 사용자를 웃게 만들었던 미디어 프리젠테이션의 일부분에 웃음과 같은 감정 반응을 관련시키는 서버(11)로, 미디어 프리젠테이션에 대한 감정 반응을 나타내는 획득된 정보를 전송하는 데에 사용되는 네트워크 연결부(14)를 제공하도록 구성될 수 있다. 당업자는, 네트워크 및 서버가 본 발명의 동작에 필수적이지 않다는 것, 및 본 발명은 국부적으로 실시될 수도 있다는 것을 인식할 것이다. 본 발명은 또한 예를 들어 사용자에 대한 프로파일을 구축하기 위해 이러한 미디어와 관련된 메타데이터를 식별한다. 사용자의 반응 자체는 검색과 같은 기술에 의해 탐지되고, 예를 들어 데이터베이스(12)와 관련된 웃음을 포함하는 공지된 반응들과 비교된다. 이러한 공지된 반응들은 예를 들어 웃음 소리 및/또는 웃음과 관련된 얼굴 표정과 같은 오디오 및/또는 비디오 중 어느 하나일 수 있다. 시간표는 미디어 프리젠테이션에 대하여 유지되고, 사용자의 반응이 탐지될 때마다 주석이 달린다.
이제까지의 본 실시예가 웃음 탐지에 관하여 기술되어 있을지라도, 당업자라면 본 발명은 예를 들어 슬픔, 흥분, 노여움, 즐거움, 흥미, 지루함, 평온함 등과 같은 다른 감정들을 탐지함을 이해할 것이다. 예를 들어, 지루함은 사용자가 프리젠테이션으로부터 시선을 떼는 것, 하품하는 것, 또는 프리젠테이션에 대하여 이야기하는 것에 의해 표시될 수 있고; 흥미는 정적 또는 사용자가 프리젠테이션을 집중해서 바라보는 것에 의해 표시될 수 있다. 본 발명은, 사용자 웃음 소리의 시간과 크기가 장면이 얼마나 재미있는지를 표시할 수 있는 것과 같이, 감정의 수준 또는 강도를 또한 추적할 수 있다.
또한, 탐지된 사용자 반응의 유형은 이러한 반응을 유발한 미디어 프리젠테이션의 부분과 관련된다. 따라서, 일부 사용자들은 프리젠테이션의 특정 부분에 대하여 웃음으로 반응하고, 다른 사용자들은 반감으로 반응할 수 있다. 본 발명은 대규모 집단의 사용자들에 대한 반응을 수집하고, 미디어 프리젠테이션의 각각의 반응-유발 부분의 감정 효과의 전반적인 이해를 발전시킬 수 있다.
따라서, 본 발명의 일 실시형태는 탐지가능한 감정 반응을 식별하고, 그 다음에, 장래 타겟 광고를 제공하기 위한 용도로 프로파일링하거나, 특정 장점의 프리젠테이션 또는 프리젠테이션의 일부를 식별하도록 그룹 반응을 수집하기 위해, 감정 반응과 관련되었던 미디어 프리젠테이션의 유형, 감정 반응이 미디어 프리젠테이션 동안 일어났던 시간, 감정 반응을 유발한 미디어 프리젠테이션의 위치, 및 감정 반응의 중요도 중 어느 하나를 식별한다.
일 실시형태는, 미디어 프리젠테이션 또는 미디어 프리젠테이션의 특정 양상에 대한 그룹 반응에 근거한 타겟 광고를 위한 프로파일과 같은 프로파일을 형성하기 위해 미디어 프리젠테이션 동안 이상에서 기술된 수집된 정보를 적용한다. 본 발명은 다음과 같은 질문들을 묻고 대답한다: 무엇이 사용자들을 즐겁게 만드나? 무엇이 사용자들을 웃게 만드나? 사용자들은 무엇에 흥미를 느끼나? 지루한가? 흥분되는가? 구체적으로, 본 발명은, 각각의 사용자가 관측되기만 하고 자발적으로 반응을 할 것을 요청받지 않도록 수동적으로 실시된다. 이것은, 특정 사용자들만이 의견을 자발적으로 제공하려하기 때문에 가치가 있는 것이며, 그에 따라 소정 인구 중 앞서 말한 특정 사용자 부분만이 폴(pall)에 참여하게 된다. 이것은 얻어진 결과를 왜곡하는 경향이 있다. 미디어 프리젠테이션에 대한 사용자의 요청되지 않은 반응을 수집하기만 함으로써, 본 발명은, 전체 그룹의 사용자들의 반응을 정확히 식별한다.
도 2는 본 발명에 따른 감정 반응을 추적하기 위한 시스템의 또 다른 실시형태를 도시하는 블록 개요도이다. 도 2의 경우, 거실에서 텔레비젼(21)의 프로그램을 보며 시끄럽게 웃고 있는(17) 사용자(10)가 도시되어 있다. 카메라(16)는 프리젠테이션 동안의 사용자의 얼굴 표정을 녹화한다. 사용자의 음성 반응은 마이크로폰(15)에 의해 획득된다. 각각 카메라 및 마이크로폰에 의해 획득된 비디오 및 오디오는 사용자, 웃음 및 미소와 같은 탐지된 감정, 감정이 탐지된 시간, (텔레비젼 프로그램의 경우의) 채널, 프로그램 명칭을 식별하는 게임 콘솔(22)에 연결되어 있다. 이러한 정보는 국부적으로 사용되거나, 본 명세서에서 설명된 것처럼 또 다른 처리를 위하여 네트워크 연결을 통해 송신될 수 있다. 예를 들어, 사용자 프로파일, 및 사용자의 우편번호, 케이블 TV 제공자 등에 근거한 인적통계 값과 같은 사용자의 정보와 관련된 다른 정보가 송신될 수도 있다.
도 3은 본 발명에 따른 미디어 프레임들의 스트림 및 대응하는 메타데이터를 도시하는 미디어 프리젠테이션의 개략 설명도이다. 도 3의 경우, 사용자들(1 내지 n)은 일정 기간에 걸쳐 제공되는 일부 농담들을 포함하는 미디어 프리젠테이션을 바라본다. 각각의 농담에 대한 각각의 사용자의 반응이 탐지되고, 이러한 반응이 농담과 관련되어진다.
도 4는, 본 발명에 따른 미디어 프리젠테이션에 대한 감정 반응과 관련된 정보의 탐지 및 처리를 도시하는 순서도이다. 도 3에 추가하여, 도 4는 미디어 프리젠테이션 세션의 흐름을 도시한다. 미디어 프리젠테이션이 1명 이상의 사용자들에게 행해지고(300), 사용자들의 반응이 탐지된다(310). 각각의 사용자에 대한 반응이 일어난 시간마다, 미디어 프리젠테이션은, 반응, 사용자, 및 사용자가 행한 반응을 유발한 미디어 프리젠테이션의 부분을 식별하도록 태그된다. 미디어 프리젠테이션이 완료(330)되면, 수집된 정보는, 사용자 및 그룹 인적통계를 식별(370)하기 위해 각각의 사용자 및 사용자 그룹(360)에 대한 프로파일을 생성하고; 의도된 반응을 유발하는 장점, 능력으로서의 이러한 요소들과 관련된 미디어 프리젠테이션의 키 양상들을 식별(350)하는 데에 이용되는 도수분포도(340)를 형성하는 데에 이용된다.
도 5는 본 발명에 따른 하나 이상의 인적통계를 구축하는 것과 관련하여 메타데이터를 사용자 프로파일 및 그룹 프로파일과 관련시키는 방법을 도시하는 블록 개요도이다. 도 5의 상부는 도 3의 미디어 프리젠테이션 시간표를 도시한다. 도 5의 하부는 탐지된 사용자 반응들로부터 생성된 인적 통계를 도시한다. 예를 들어, 농담 1은 사용자들 1 및 2의 웃음을 유발하였으며, 사용자들 1 및 2의 프로파일들에 근거하여 18-34세의 남성들로 이루어진 인적통계에 대응된다는 것이 발견된다. 이와 같이, 농담 3은 사용자 1로부터 미소를 유발하였지만, 사용자 n으로부터는 언짢음을 유발하였다. 따라서, 농담 3은 12-17세의 남성들에 대한 인적통계 내에 있다는 것이 발견되었다. 마지막으로, 농담 N은 사용자 2에 대하여 언짢음을 유발하였으며, 사용자 n에 대하여 박수를 유발하였다. 이러한 경우에, 농담 N은 35-57세의 여성들에 대한 인적통계에서 반응을 유발하였다. 도 5의 실시예는 본 발명의 설명을 위하여 많이 단순화되었다. 실제 응용의 경우, 샘플 그룹들은 효과적인 인적통계를 형성하기 위해 훨씬 더 클 수 있다. 게다가, 본 발명은 그룹에만 적용되어야 할 필요는 없으며, 예를 들어 타겟 광고를 위하여 단일 사용자의 인적통계를 식별하기 위해 단일 사용자에 대해서 사용될 수도 있다.
본 발명이 미디어 프리젠테이션에 대하여 기술될지라도, 미디어 프리젠테이션은 사용자가 관찰하거나 참여하는 라이브 프리젠테이션 또는 다른 이벤트일 수 있다. 예를 들어, 사용자의 반응들은 사용자가 비디오 게임을 하는 동안, 웹 브라우징 세션 동안 또는 라이브 이벤트에 참석하는 동안 수집될 수 있다. 따라서, 예를 들면, 거실에 있는 사용자가 언제 그들이 보고 있는 것에 반응하여 웃는지를 결정하는 셋톱 박스와 관련되어 사용되는 웃음 센서를 가지는 것이 유리하다. 또한, 중요한 것은 사용자가 무엇을 보고있는지 여부가 아니라, 무엇이 웃음과 같은 시청자 반응을 유발한 미디어 프리젠테이션이었는가, 즉 어떤 농담이 재미있는 것으로 여겨지는가이다. 본 발명은, 어느 미디어 프리젠테이션의 어느 시퀀스(sequence)의 어느 프레임이 사용자의 반응을 유발하였는지, 및 사용자의 프로파일과 관련하여 이러한 방식으로 반응한 사용자가 어느 특징을 가지고 있는지를 정확히 발견하는 데에 사용될 수 있는 측정 수준을 포함한다. 이러한 정보에 근거하여, 사용자는, 그들이 긍정적으로 반응한 것들에 더욱 비슷한 광고를 장래에 보게 될 것이거나, 또는 미디어 프리젠테이션들은, 이러한 미디어 프리젠테이션들을 시청한 자들에 의해 긍정적인 반응을 보인 사용자들의 특징과 유사한 특징을 가진 그룹들에게 행해질 수 있다.
따라서, 본 발명과 함께 수집된 정보로 이루어질 수 있는 적어도 2개의 가치있는 사용들이 있을 수 있다. 하나의 사용은 콘텐츠의 품질을 판정하는 것이다. 다른 사용은, 사용자들 또는 이러한 사용자들과 인적통계적으로 유사하게 위치된 사용자들에게 제공될 장래의 콘텐츠에 대한 다양한 사용자들의 속성을 판정하는 것이다.
후자의 경우에, 사용자가 미디어 프리젠테이션 동안 프로파일링될 때, 예를 들어, TV 스크린 상에서 초당 30 프레임으로 디스플레이되는 미디어 스트림, 및 웃음 센서, 더욱 포괄적으로는 감정 센서에 연결된 마이크로폰이 있다. 웃음 센서의 경우, 웃음은 탐지하기에 매우 용이한 발성이고, 웃음이 다양한 기준 시점들에서 탐지될 때, 본 발명의 일 실시형태는 대응하는 메타데이터를 미디어 스트림 내지 프레임 레벨과 같은 시간 기준 요소, 심지어는 프레임 내의 객체에 추가시킨다. 프레임 레벨에서, 예를 들면, 적색 자동차가 있는지 여부, 폭스바겐이 있는지 여부, 펜이 있는지 여부, 픽쳐 프레임이 있는지 여부, 녹색이 많은지 여부, 골프 코스에서 액션이 있는지, 색 포화도가 정의되었는지 여부, 얼마나 많은 색이 있는지 여부, 어두운 장면인지 여부 등을 이해하는 것이 유용할 것이다. 그러므로, 메타데이터는 풍부하게 되고, 시간에 따른 모든 프레임 순간의 실제 프리젠테이션 스트림과 관련된다. 프레임의 속성 또는 프레임의 시퀀스는, 본 발명이 예를 들어 무엇이 농담의 급소부분을 형성하는지와 같은 잠복을 설명하도록 메타데이터 내에서 상호관련될 수 있다. 그러므로, 사용자의 반응에 대한 전후관계는 이러한 메타데이터로부터 결정될 수 있다.
그러므로, 메타데이터 스트림은, 무엇이 발성을 유발하는지에 대한 이해를 제공하기 때문에 추가적인 세트의 사용들을 제공한다. 이상에서 설명된 것처럼, 발성은 마이크로폰, 카메라, EKG 또는 전기 피부 반응 장치에 의해 획득될 수 있다. 이에 따라, 본 발명의 일 실시형태는 감정 상태를 탐지한다. 일 실시형태에서, 이러한 탐지 메커니즘들은 엔터테인먼트 장치 또는 게임 콘솔의 일부분이거나, 예를 들어, 리모트 콘트롤로 형성될 수 있다. 예를 들어, 리모트 콘트롤 상의 지문 센서는, 누가 채널을 변경하는지를 결정하도록 발성 또는 감정 상태의 탐지에 대하여 사용될 수 있다. 이러한 정보의 한가지 사용은 사용자의 감정 상태뿐만 아니라 사용자의 프로파일과 관련하여 사용자의 아이덴티티를 탐지하는 생체측정 수준에서 동적 광고를 제공하는 것이다.
본 발명은 이에 따라, 오디오, 비디오, 생체측정, 및 움직임 탐지기를 이용한 움직임 중 어느 하나를 포함하는 사용자와 관련된 정보를 획득하는 것을 포함한다. 이상에서 설명된 것처럼, 기본 실시형태는 예를 들어 스피치 인식 시스템을 이용하여 웃음 발성을 탐지하는 것을 포함한다.
본 발명은 사용자의 프로파일을 식별할 뿐만 아니라, 사용자의 프로파일은 인적통계와 더불어 네트워크의 친구들 및 공유 네트워크들, 및 사용자가 위치되는 다른 등급들을 식별한다. 본 발명은, 셋톱 박스, 소니 플레이스테이션과 같은 네트워크가능 게임 콘솔, 리모트 콘트롤 등을 통하여 미디어 프리젠테이션 스트림을 넓게 이용할 수 있다. 그러므로, 본 발명은, 집단 내의 감정 반응들을 탐지하는 것으로부터 획득된 데이터 전부가 인적통계의 타겟팅을 가능하게 하는 네트워크에 통합될 수 있다. 결과적으로, 애널리스트(analyst)는 예를 들어, "감정으로 돌아가라. 무엇이 이러한 사용자들을 웃게 만드는가?"라고 질문할 수 있다. 애널리스트는, 도수분포도 내에서의 넘버 1, 넘버 2, 넘버 3, 넘버 4의 등급과 관련하여 특정 나이 범위에서의 평균 분포를 보기 위해 특정 타겟 시장에 접근할 수 있다. 이와 관련하여, 본 발명의 이러한 실시형태에 대하여 제공된 데이터 마이닝의 수준은 표준 분포의 외부에 위치하는 사용자들의 식별을 가능하게 한다. 그러므로, 본 발명은, 수동적으로 획득된 정보에 근거하여 실시간으로 생성되고, 예를 들어, 미디어 프리젠테이션에 대한 1명 이상의 사용자들의 반응을 식별하는 일 형태의 중심 그룹을 제공한다.
본 발명은 시청각 프리젠테이션에 한정될 필요는 없다. 예를 들어, 노래가 재생되고 사용자가 웃는 경우 또는 사용자가 재생되는 노래를 따라 노래부르는 경우, 본 발명은 유용한 정보를 획득하는 데에 이용된다. 이벤트에서 사용자들이 환호하는 경우, 본 발명은 유용한 정보를 획득하는 데에 이용된다. 예를 들어, 스포츠 이벤트에서, 본 발명은 시청자가 어느 팀을 다른 팀보다 더 좋아하는지 여부를 판단하는 데에 사용될 수 있다.
이에 따라, 본 발명은, 이러한 정보를 예를 들어 프레임 레벨에서 메타데이터 내지 시간표에 연결짓고, 무엇이 콘텐츠에 대하여 좋은지에 대하여 미디어 프리젠테이션의 콘텐츠를 검사하며 정보를 인적통계로 만들기 위해 이러한 정보를 사용하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 방법 및 장치를 제공한다. 결과적으로, 예를 들어, 사용자가 텔레비젼 세트의 채널을 돌린 다음에, 사용자의 케이블 제공자는 사용자에게 더욱 흥미로운 광고를 제공할 수 있다.
본 발명의 바람직한 실시형태가 이상에서 기술되어 있을지라도, 다양한 선택례, 변형례 및 균등물을 사용하는 것이 가능하다. 그러므로, 본 발명의 범위는 이상의 설명과 관계없이 결정되어야 하지만, 균등물의 전 범위를 따라 첨부된 청구범위를 기준으로 결정되어야 한다. 본 명세서에 기술된, 바람직한지 여부에 상관없는 모든 특징은, 바람직한지 여부에 상관 없는 다른 특징과 결합될 수 있다. 이하의 청구범위에서, 부정관사 "A" 또는 "An"은, 다른 말이 없는한 부정관사의 뒤를 따르는 항목의 하나 이상의 분량을 의미한다. 첨부된 청구범위는, "~ 하기 위한 수단"이라는 용어를 사용한 제한이 주어진 청구항에서 명확히 사용되지 않는한 기능적으로 해석되지 않는다.

Claims (29)

1명 이상의 사용자에게 지각가능하게 표시되는 미디어 프리젠테이션;
상기 미디어 프리젠테이션의 표시 동안 상기 미디어 프리젠테이션에 대한 상기 1명 이상의 사용자의 감정 반응을 획득하기 위한 탐지기; 및
상기 감정 반응을, 상기 감정 반응을 유발한 자극들을 포함한 미디어 프리젠테이션의 부분과 관련시키며, 결과 감정 반응 데이터를 미디어 프리젠테이션 시간표에 결부시키는 프로세서를 포함하는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 장치.
제 1 항에 있어서,
상기 프로세서는, 상기 미디어 프리젠테이션의 하나 이상의 양상을 평가하기 위해 한 집단의 사용자들에 대한 결과 감정 반응 데이터를 수집하는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 장치.
제 1 항에 있어서,
상기 프로세서는, 상기 미디어 프리젠테이션의 하나 이상의 양상과 관련된 사용자 프로파일을 구축하기 위해 한 사용자에 대한 결과 감정 반응 데이터를 수집하는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 장치.
삭제
제 1 항에 있어서, 상기 프로세서는, 상기 결과 감정 반응 데이터를 프레임 레벨에서 미디어 프리젠테이션 시간표에 결부시키는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 장치.
제 1 항에 있어서, 상기 프로세서는, 상기 미디어 프리젠테이션의 하나 이상의 양상의 평가에 따라 미디어 프리젠테이션 콘텐츠를 검사하는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 장치.
제 1 항에 있어서, 상기 프로세서는 결과 감정 반응 데이터를 하나 이상의 인적통계 카테고리들로 나타내는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 장치.
삭제
제 1 항에 있어서, 상기 탐지기는 발성을 획득하기 위한 마이크로폰, 제스쳐 및 얼굴 표정 중 하나 이상을 획득하기 위한 비디오 카메라, EKG, 또는 전기 피부 반응 장치 중 어느 하나를 포함하는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 장치.
제 1 항에 있어서, 상기 프로세서는, 상기 1명 이상의 사용자에 대한 프로파일을 구축하기 위해 상기 미디어 프리젠테이션과 관련된 메타데이터를 식별하는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 장치.
제 1 항에 있어서, 상기 감정 반응은,
웃음, 흥분, 흥미, 지루함, 즐거움, 슬픔, 노여움, 평온함, 상기 감정 반응의 강도 및 상기 감정 반응의 기간 중 적어도 어느 하나를 포함하는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 장치.
제 1 항에 있어서, 상기 프로세서는, 한 대규모 집단의 사용자들에 대한 감정 반응을 수집하고, 상기 미디어 프리젠테이션의 각각의 반응-유발 부분의 감정 효과의 전체적 이해를 결정하는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 장치.
1명 이상의 사용자에게 미디어 프리젠테이션을 지각가능하게 표시하는 단계;
상기 미디어 프리젠테이션의 적어도 일부분에 대한 상기 1명 이상의 사용자의 탐지가능한 감정 반응을 수동적으로 식별하는 단계; 및
그룹 반응을 프로파일링하거나 그룹 반응을 수집하기 위해, 상기 감정 반응과 관련되었던 미디어 프리젠테이션의 유형, 상기 감정 반응이 상기 미디어 프리젠테이션 동안 일어났던 시간, 상기 감정 반응을 유발한 미디어 프리젠테이션의 위치, 및 상기 감정 반응의 중요도 중 하나의 정보를 식별하며, 상기 식별된 하나의 정보 또는 결과 감정 반응 데이터 중 하나 이상을 미디어 프리젠테이션 시간표와 결부시키는 단계를 포함하는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 방법.
제 13 항에 있어서, 상기 감정 반응의 중요도는, 장래 타겟 광고를 제공하는 단계를 위해 프로파일을 구축하는 데에 사용되는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 방법.
제 13 항에 있어서, 상기 감정 반응의 중요도는, 특정 장점의 미디어 프리젠테이션 또는 미디어 프리젠테이션의 일부분을 식별하는 단계를 위해 그룹 반응을 수집하는 데에 사용되는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 방법.
제 13 항에 있어서, 상기 감정 반응의 중요도는, 하나 이상의 예정된 요소들과 관련하여 상기 미디어 프리젠테이션의 중요 양상을 식별하기 위해 도수분포도를 형성하는 단계를 위해 사용되는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 방법.
제 13 항에 있어서, 상기 감정 반응의 중요도는,
메타데이터를 사용자 프로파일 및 그룹 프로파일과 관련시키는 단계; 및
메타데이터와 사용자 프로파일 및 그룹 프로파일 사이의 관계에 근거하여 하나 이상의 인적통계를 구축하는 단계를 위해 사용되는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 방법.
제 13 항에 있어서, 상기 식별하는 단계는,
사용자의 감정 반응을 유발하는 미디어 프리젠테이션의 특정 시퀀스의 특정 프레임을 식별하는 단계를 더 포함하는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 방법.
제 13 항에 있어서,
사용자 프로파일과 관련하여, 상기 미디어 프리젠테이션에 대한 감정 반응을 나타낸 사용자 특징을 식별하는 단계; 및
상기 감정 반응을 끌어낸 미디어 프리젠테이션의 부분에 상기 사용자 특징을 관련시키는 단계를 더 포함하는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 방법.
제 18 항에 있어서,
상기 감정 반응과 관련하여 하나 이상의 특정 프레임 내의 객체들을 식별하는 단계를 더 포함하는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 방법.
제 13 항에 있어서,
감정 반응을 유발하는 미디어 프리젠테이션 내의 임시 시퀀스를 식별하는 단계를 더 포함하는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 방법.
제 13 항에 있어서,
상기 사용자에 대한 아이덴티티를 감정 반응과 관련시키기 위해 상기 감정 반응의 탐지를 위하여 사용하기 위한 생체측정 탐지 메커니즘을 상기 사용자에게 제공하는 단계를 더 포함하는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 방법.
제 13 항에 있어서,
상기 사용자의 프로파일을 식별하는 단계를 더 포함하는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 방법.
제 23 항에 있어서,
친구들의 네트워크, 공유된 네트워크들, 및 상기 사용자가 위치되는 인적통계 중 어느 하나를 식별하기 위해 상기 사용자의 프로파일을 사용하는 단계를 더 포함하는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 방법.
제 13 항에 있어서,
상기 미디어 프리젠테이션에 대한 상기 사용자의 감정 반응에 근거하여 상기 사용자에게 전달하기 위한 특정 마켓에서의 타겟 광고를 행하는 단계를 더 포함하는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 방법.
제 13 항에 있어서, 상기 미디어 프리젠테이션의 적어도 일부분에 대한 상기 1명 이상의 사용자의 탐지가능한 감정 반응을 수동적으로 식별하는 단계는,
사용자를 인식하는 단계, 한번에 2명 이상의 사용자의 감정 반응을 추적하는 단계, 감정 반응의 표시인 제스쳐 또는 다른 신체 움직임을 추적하는 단계, 제스쳐 및 신체 움직임 중 하나 이상을 감정 반응의 다른 표시와 관련시키는 단계, 및 2명 이상의 사용자의 감정 반응을 식별하는 단계 중 어느 하나를 위해 3D 카메라를 이용하여 제스쳐, 프로파일, 움직임 및 모양 중 어느 하나를 획득하는 단계를 더 포함하는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 방법.
복수의 사용자들에게 지각가능하게 표시되는 미디어 프리젠테이션;
상기 미디어 프리젠테이션의 표시 동안 상기 미디어 프리젠테이션에 대한 복수의 사용자들의 감정 반응을 동시에 획득하기 위한 탐지기; 및
상기 감정 반응을, 상기 감정 반응을 유발한 자극들을 포함한 미디어 프리젠테이션의 부분과 관련시키고, 결과 감정 반응 데이터를 미디어 프리젠테이션 시간표에 결부시키기 위한 프로세서를 포함하는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 장치.
제 27 항에 있어서,
예정된 인원의 사용자들을 가지도록 프로파일링되고, 특정 위치에 위치된 네트워크 장치를 더 포함하고,
상기 프로세서는, 탐지된 감정 반응들을, 상기 감정 반응들을 표시한 특정 사용자들에 매칭시키기 위해 얼굴 탐지 및 음성 탐지 중 어느 하나를 사용하도록 프로그래밍되어 있는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 장치.
제 27 항에 있어서,
상기 프로세서는, 음성 특징 및 얼굴 특징 중 어느 하나에 의해 상기 복수의 사용자들 각각을 인식하기 위해 상기 감정 반응 정보를 수동으로 수집하는 장치를 트레이닝하는 교정 과정을 수행하도록 프로그래밍되어 있는 것을 특징으로 하는, 미디어 프리젠테이션에 대한 감정 반응 정보를 수동으로 수집하는 장치.
KR1020107017198A 2008-01-31 2009-01-28 웃음 탐지기 및 미디어 프리젠테이션에 대한 감정 반응을 추적하기 위한 시스템 및 방법 KR101197978B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/023,951 US7889073B2 (en) 2008-01-31 2008-01-31 Laugh detector and system and method for tracking an emotional response to a media presentation
US12/023,951 2008-01-31
PCT/US2009/032246 WO2009097337A1 (en) 2008-01-31 2009-01-28 Laugh detector and system and method for tracking an emotional response to a media presentation

Publications (2)

Publication Number Publication Date
KR20100107036A KR20100107036A (ko) 2010-10-04
KR101197978B1 true KR101197978B1 (ko) 2012-11-05

Family

ID=40913204

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107017198A KR101197978B1 (ko) 2008-01-31 2009-01-28 웃음 탐지기 및 미디어 프리젠테이션에 대한 감정 반응을 추적하기 위한 시스템 및 방법

Country Status (4)

Country Link
US (1) US7889073B2 (ko)
KR (1) KR101197978B1 (ko)
CN (1) CN101999108B (ko)
WO (1) WO2009097337A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019093633A1 (ko) * 2017-09-14 2019-05-16 주식회사 스무디 영상 채팅에 기반하여 광고 콘텐츠에 대한 감정을 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Families Citing this family (150)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080169930A1 (en) * 2007-01-17 2008-07-17 Sony Computer Entertainment Inc. Method and system for measuring a user's level of attention to content
US8571853B2 (en) * 2007-02-11 2013-10-29 Nice Systems Ltd. Method and system for laughter detection
JP5309126B2 (ja) 2007-03-29 2013-10-09 ニューロフォーカス・インコーポレーテッド マーケティング及びエンタテインメントの効率解析を行うシステム、方法、及び、装置
US8392253B2 (en) 2007-05-16 2013-03-05 The Nielsen Company (Us), Llc Neuro-physiology and neuro-behavioral based stimulus targeting system
JP5542051B2 (ja) 2007-07-30 2014-07-09 ニューロフォーカス・インコーポレーテッド 神経応答刺激及び刺激属性共鳴推定を行うシステム、方法、及び、装置
US8386313B2 (en) 2007-08-28 2013-02-26 The Nielsen Company (Us), Llc Stimulus placement system using subject neuro-response measurements
US8392255B2 (en) 2007-08-29 2013-03-05 The Nielsen Company (Us), Llc Content based selection and meta tagging of advertisement breaks
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
CA3107606C (en) * 2008-04-18 2023-09-12 Tivo Corporation System and method for condensed representation of long video sequences
US20100145215A1 (en) * 2008-12-09 2010-06-10 Neurofocus, Inc. Brain pattern analyzer using neuro-response data
US8270814B2 (en) 2009-01-21 2012-09-18 The Nielsen Company (Us), Llc Methods and apparatus for providing video with embedded media
US8464288B2 (en) 2009-01-21 2013-06-11 The Nielsen Company (Us), Llc Methods and apparatus for providing personalized media in video
US9357240B2 (en) 2009-01-21 2016-05-31 The Nielsen Company (Us), Llc Methods and apparatus for providing alternate media for video decoders
US20100250325A1 (en) 2009-03-24 2010-09-30 Neurofocus, Inc. Neurological profiles for market matching and stimulus presentation
WO2010137026A1 (en) * 2009-05-26 2010-12-02 Hewlett-Packard Development Company, L.P. Method and computer program product for enabling organization of media objects
US8655437B2 (en) 2009-08-21 2014-02-18 The Nielsen Company (Us), Llc Analysis of the mirror neuron system for evaluation of stimulus
US10987015B2 (en) 2009-08-24 2021-04-27 Nielsen Consumer Llc Dry electrodes for electroencephalography
US9014546B2 (en) 2009-09-23 2015-04-21 Rovi Guides, Inc. Systems and methods for automatically detecting users within detection regions of media devices
US8209224B2 (en) 2009-10-29 2012-06-26 The Nielsen Company (Us), Llc Intracluster content management using neuro-response priming data
US9560984B2 (en) 2009-10-29 2017-02-07 The Nielsen Company (Us), Llc Analysis of controlled and automatic attention for introduction of stimulus material
US20110106750A1 (en) 2009-10-29 2011-05-05 Neurofocus, Inc. Generating ratings predictions using neuro-response data
US8335715B2 (en) 2009-11-19 2012-12-18 The Nielsen Company (Us), Llc. Advertisement exchange using neuro-response data
US8335716B2 (en) 2009-11-19 2012-12-18 The Nielsen Company (Us), Llc. Multimedia advertisement exchange
US8787663B2 (en) 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
WO2011133548A2 (en) 2010-04-19 2011-10-27 Innerscope Research, Inc. Short imagery task (sit) research method
US8655428B2 (en) 2010-05-12 2014-02-18 The Nielsen Company (Us), Llc Neuro-response data synchronization
US9245177B2 (en) * 2010-06-02 2016-01-26 Microsoft Technology Licensing, Llc Limiting avatar gesture display
US9247903B2 (en) 2010-06-07 2016-02-02 Affectiva, Inc. Using affect within a gaming context
BR112012030903A2 (pt) 2010-06-07 2019-09-24 Affectiva Inc método imnplantado por computador para analisar estados mentais, produto de programa de computador e sistema para analisar estados mentais
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
JP5791131B2 (ja) 2010-07-20 2015-10-07 アップル インコーポレイテッド 自然な相互作用のための相互作用的現実拡張
US8392250B2 (en) 2010-08-09 2013-03-05 The Nielsen Company (Us), Llc Neuro-response evaluated stimulus in virtual reality environments
US8392251B2 (en) 2010-08-09 2013-03-05 The Nielsen Company (Us), Llc Location aware presentation of stimulus material
US8396744B2 (en) 2010-08-25 2013-03-12 The Nielsen Company (Us), Llc Effective virtual reality environments for presentation of marketing materials
US8680992B2 (en) 2010-09-03 2014-03-25 Empire Technology Development Llc Measuring and improving the quality of a user experience
US20120072936A1 (en) * 2010-09-20 2012-03-22 Microsoft Corporation Automatic Customized Advertisement Generation System
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
JP2014504460A (ja) 2010-09-30 2014-02-20 アフェクティヴァ，インコーポレイテッド ウェブ対応アプリケーションに対する感情データの測定
US10095367B1 (en) * 2010-10-15 2018-10-09 Tivo Solutions Inc. Time-based metadata management system for digital media
US9484065B2 (en) 2010-10-15 2016-11-01 Microsoft Technology Licensing, Llc Intelligent determination of replays based on event identification
US8667519B2 (en) 2010-11-12 2014-03-04 Microsoft Corporation Automatic passive and anonymous feedback system
US9129604B2 (en) 2010-11-16 2015-09-08 Hewlett-Packard Development Company, L.P. System and method for using information from intuitive multimodal interactions for media tagging
AU2011329025A1 (en) * 2010-11-17 2013-05-23 Affectiva, Inc. Sharing affect across a social network
US20120143693A1 (en) * 2010-12-02 2012-06-07 Microsoft Corporation Targeting Advertisements Based on Emotion
TW201225649A (en) * 2010-12-07 2012-06-16 Acer Inc Television system and interaction method thereof
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
JP2012129800A (ja) * 2010-12-15 2012-07-05 Sony Corp 情報理装置および方法、プログラム、並びに情報処理システム
US9514481B2 (en) * 2010-12-20 2016-12-06 Excalibur Ip, Llc Selection and/or modification of an ad based on an emotional state of a user
US20140025385A1 (en) * 2010-12-30 2014-01-23 Nokia Corporation Method, Apparatus and Computer Program Product for Emotion Detection
US20120200667A1 (en) * 2011-02-08 2012-08-09 Gay Michael F Systems and methods to facilitate interactions with virtual content
US8610788B2 (en) 2011-02-08 2013-12-17 International Business Machines Corporation Content storage management in cameras
US9285874B2 (en) 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
US8769009B2 (en) 2011-02-18 2014-07-01 International Business Machines Corporation Virtual communication techniques
KR20140004740A (ko) 2011-02-27 2014-01-13 어펙티바,아이엔씨. 감정 기반 영상 추천
US8620113B2 (en) 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
US9015746B2 (en) 2011-06-17 2015-04-21 Microsoft Technology Licensing, Llc Interest-based video streams
US9077458B2 (en) 2011-06-17 2015-07-07 Microsoft Technology Licensing, Llc Selection of advertisements via viewer feedback
EP2727378B1 (en) 2011-07-01 2019-10-16 Dolby Laboratories Licensing Corporation Audio playback system monitoring
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
AU2013204525B2 (en) * 2011-07-15 2014-11-27 Roy Morgan Research Pty Ltd Electronic data generation methods
US9299083B2 (en) * 2011-07-15 2016-03-29 Roy Morgan Research Pty Ltd Electronic data generation methods
US8719277B2 (en) * 2011-08-08 2014-05-06 Google Inc. Sentimental information associated with an object within a media
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US20130174018A1 (en) * 2011-09-13 2013-07-04 Cellpy Com. Ltd. Pyramid representation over a network
CN103077369A (zh) * 2011-10-26 2013-05-01 江南大学 以击掌为标志动作的人机交互系统及其识别方法
CN102509550A (zh) * 2011-11-18 2012-06-20 中国联合网络通信集团有限公司 声音信息的处理方法和用户设备
US20130138499A1 (en) * 2011-11-30 2013-05-30 General Electric Company Usage measurent techniques and systems for interactive advertising
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
JP6178800B2 (ja) * 2011-12-16 2017-08-09 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ユーザの行動及び関連する感情状態の履歴記録
US9311825B2 (en) 2011-12-22 2016-04-12 Senstream, Inc. Biometric sensing and processing apparatus for mobile gaming, education, and wellness applications
US9571879B2 (en) 2012-01-10 2017-02-14 Microsoft Technology Licensing, Llc Consumption of content with reactions of an individual
US8825533B2 (en) * 2012-02-01 2014-09-02 International Business Machines Corporation Intelligent dialogue amongst competitive user applications
US9451303B2 (en) 2012-02-27 2016-09-20 The Nielsen Company (Us), Llc Method and system for gathering and computing an audience's neurologically-based reactions in a distributed framework involving remote storage and computing
US9569986B2 (en) 2012-02-27 2017-02-14 The Nielsen Company (Us), Llc System and method for gathering and analyzing biometric user feedback for use in social media and advertising applications
US9292858B2 (en) 2012-02-27 2016-03-22 The Nielsen Company (Us), Llc Data collection system for aggregating biologically based measures in asynchronous geographically distributed public environments
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
US8995822B2 (en) 2012-03-14 2015-03-31 General Instrument Corporation Sentiment mapping in a media content item
US9106979B2 (en) 2012-03-14 2015-08-11 Arris Technology, Inc. Sentiment mapping in a media content item
US10681427B2 (en) 2012-03-14 2020-06-09 Arris Enterprises Llc Sentiment mapping in a media content item
CN104246682B (zh) 2012-03-26 2017-08-25 苹果公司 增强的虚拟触摸板和触摸屏
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
US20130268955A1 (en) * 2012-04-06 2013-10-10 Microsoft Corporation Highlighting or augmenting a media program
CA2775700C (en) * 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
CN103383597B (zh) * 2012-05-04 2017-07-28 微软技术许可有限责任公司 用于呈现媒体节目的方法
CA2775814C (en) * 2012-05-04 2013-09-03 Microsoft Corporation Advertisement presentation based on a current media reaction
US20130305158A1 (en) * 2012-05-11 2013-11-14 Samsung Electronics Co. Ltd. Network system with reaction mechanism and method of operation thereof
EP2856281A1 (en) * 2012-05-24 2015-04-08 Thomson Licensing Content/advertising profiling
US20150143392A1 (en) * 2012-06-14 2015-05-21 Thomson Licensing Method, apparatus and system for determining viewer reaction to content elements
TWI570639B (zh) * 2012-07-06 2017-02-11 廣達電腦股份有限公司 虛擬社群建立系統及方法
US9241664B2 (en) * 2012-08-16 2016-01-26 Samsung Electronics Co., Ltd. Using physical sensory input to determine human response to multimedia content displayed on a mobile device
US8989835B2 (en) 2012-08-17 2015-03-24 The Nielsen Company (Us), Llc Systems and methods to gather and analyze electroencephalographic data
KR101530122B1 (ko) * 2012-11-07 2015-06-19 안강석 소셜 네트워크 서비스 제공방법 및 이를 위한 서버
US9769512B2 (en) 2012-11-08 2017-09-19 Time Warner Cable Enterprises Llc System and method for delivering media based on viewer behavior
US20150301725A1 (en) * 2012-12-07 2015-10-22 Sriganesh Madhvanath Creating multimodal objects of user responses to media
US20140181668A1 (en) 2012-12-20 2014-06-26 International Business Machines Corporation Visual summarization of video for quick understanding
US20150340031A1 (en) * 2013-01-09 2015-11-26 Lg Electronics Inc. Terminal and control method therefor
US9320450B2 (en) 2013-03-14 2016-04-26 The Nielsen Company (Us), Llc Methods and apparatus to gather and analyze electroencephalographic data
US9015737B2 (en) * 2013-04-18 2015-04-21 Microsoft Technology Licensing, Llc Linked advertisements
KR101499606B1 (ko) * 2013-05-10 2015-03-09 서강대학교산학협력단 음성신호의 특징정보를 이용한 흥미점수 산출 시스템 및 방법, 그를 기록한 기록매체
US9681186B2 (en) * 2013-06-11 2017-06-13 Nokia Technologies Oy Method, apparatus and computer program product for gathering and presenting emotional response to an event
US20140372430A1 (en) * 2013-06-14 2014-12-18 Microsoft Corporation Automatic audience detection for modifying user profiles and making group recommendations
US20160043819A1 (en) * 2013-06-26 2016-02-11 Thomson Licensing System and method for predicting audience responses to content from electro-dermal activity signals
US9693030B2 (en) 2013-09-09 2017-06-27 Arris Enterprises Llc Generating alerts based upon detector outputs
WO2015038749A1 (en) 2013-09-13 2015-03-19 Arris Enterprises, Inc. Content based video content segmentation
US9516259B2 (en) * 2013-10-22 2016-12-06 Google Inc. Capturing media content in accordance with a viewer expression
US9674563B2 (en) 2013-11-04 2017-06-06 Rovi Guides, Inc. Systems and methods for recommending content
US9426538B2 (en) 2013-11-20 2016-08-23 At&T Intellectual Property I, Lp Method and apparatus for presenting advertising in content having an emotional context
US9830618B2 (en) * 2014-01-15 2017-11-28 Empire Technology Development Llc Advertisement management
CN103956171B (zh) * 2014-04-01 2017-06-13 中国科学院软件研究所 一种多通道简易精神状态检测系统
US9622702B2 (en) 2014-04-03 2017-04-18 The Nielsen Company (Us), Llc Methods and apparatus to gather and analyze electroencephalographic data
US10223998B2 (en) 2015-03-18 2019-03-05 The Painted City Incorporated Dynamic content analysis and engagement system for shared displays
CN104771183A (zh) * 2015-04-21 2015-07-15 安徽阳光心健心理咨询有限公司 无束缚体感互动心理系统
US9936250B2 (en) 2015-05-19 2018-04-03 The Nielsen Company (Us), Llc Methods and apparatus to adjust content presented to an individual
US9854410B2 (en) 2015-06-01 2017-12-26 Microsoft Technology Licensing, Llc Techniques to facilitate a live audience experience on a computing device
US9967618B2 (en) * 2015-06-12 2018-05-08 Verizon Patent And Licensing Inc. Capturing a user reaction to media content based on a trigger signal and using the user reaction to determine an interest level associated with a segment of the media content
US9894415B2 (en) * 2016-06-22 2018-02-13 Gregory Knox System and method for media experience data
US20180124458A1 (en) * 2015-06-23 2018-05-03 Gregory Knox Methods and systems for generating media viewing experiential data
US20180115802A1 (en) * 2015-06-23 2018-04-26 Gregory Knox Methods and systems for generating media viewing behavioral data
US20170115726A1 (en) * 2015-10-22 2017-04-27 Blue Goji Corp. Incorporating biometric data from multiple sources to augment real-time electronic interaction
US10542315B2 (en) 2015-11-11 2020-01-21 At&T Intellectual Property I, L.P. Method and apparatus for content adaptation based on audience monitoring
US9918128B2 (en) * 2016-04-08 2018-03-13 Orange Content categorization using facial expression recognition, with improved detection of moments of interest
US10049263B2 (en) * 2016-06-15 2018-08-14 Stephan Hau Computer-based micro-expression analysis
WO2018017868A1 (en) * 2016-07-21 2018-01-25 Magic Leap, Inc. Technique for controlling virtual image generation system using emotional states of user
KR102363794B1 (ko) 2017-03-31 2022-02-16 삼성전자주식회사 정보 제공 방법 및 이를 지원하는 전자 장치
US11601715B2 (en) 2017-07-06 2023-03-07 DISH Technologies L.L.C. System and method for dynamically adjusting content playback based on viewer emotions
US10264315B2 (en) * 2017-09-13 2019-04-16 Bby Solutions, Inc. Streaming events modeling for information ranking
US10672015B2 (en) * 2017-09-13 2020-06-02 Bby Solutions, Inc. Streaming events modeling for information ranking to address new information scenarios
KR102690201B1 (ko) * 2017-09-29 2024-07-30 워너 브로스. 엔터테인먼트 인크. 사용자 감정 상태에 반응하여 영화 컨텐츠의 생성 및 제어
JP7234930B2 (ja) * 2017-10-13 2023-03-08 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理システム
US10171877B1 (en) * 2017-10-30 2019-01-01 Dish Network L.L.C. System and method for dynamically selecting supplemental content based on viewer emotions
US10636449B2 (en) * 2017-11-06 2020-04-28 International Business Machines Corporation Dynamic generation of videos based on emotion and sentiment recognition
US10848792B2 (en) * 2018-03-05 2020-11-24 Maestro Interactive, Inc. System and method for providing audience-targeted content triggered by events during program
CN108416542A (zh) * 2018-05-11 2018-08-17 新华网股份有限公司 基于生理传感技术的体验度评估系统及方法和计算机可读存储介质
EP3686609A1 (en) * 2019-01-25 2020-07-29 Rohde & Schwarz GmbH & Co. KG Measurement system and method for recording context information of a measurement
CN111610851B (zh) * 2019-02-22 2024-04-16 阿里巴巴集团控股有限公司 互动方法、装置以及用于实现该互动方法的用户终端
US10798425B1 (en) 2019-03-24 2020-10-06 International Business Machines Corporation Personalized key object identification in a live video stream
US11785194B2 (en) 2019-04-19 2023-10-10 Microsoft Technology Licensing, Llc Contextually-aware control of a user interface displaying a video and related user text
US11026000B2 (en) * 2019-04-19 2021-06-01 Microsoft Technology Licensing, Llc Previewing video content referenced by typed hyperlinks in comments
US11678031B2 (en) 2019-04-19 2023-06-13 Microsoft Technology Licensing, Llc Authoring comments including typed hyperlinks that reference video content
US11410486B2 (en) * 2020-02-04 2022-08-09 Igt Determining a player emotional state based on a model that uses pressure sensitive inputs
CN111859025A (zh) * 2020-07-03 2020-10-30 广州华多网络科技有限公司 表情指令生成方法、装置、设备及存储介质
US20220038510A1 (en) * 2020-08-03 2022-02-03 John Alden Ross System and Method for Providing Remote Attendance to a Live Event

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6001065A (en) * 1995-08-02 1999-12-14 Ibva Technologies, Inc. Method and apparatus for measuring and analyzing physiological signals for active or passive control of physical and virtual spaces and the contents therein
US5984880A (en) * 1998-01-20 1999-11-16 Lander; Ralph H Tactile feedback controlled by various medium
US7966078B2 (en) * 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US7120880B1 (en) * 1999-02-25 2006-10-10 International Business Machines Corporation Method and system for real-time determination of a subject's interest level to media content
EP1130570B1 (en) 2000-01-11 2007-10-10 Yamaha Corporation Apparatus and method for detecting performer's motion to interactively control performance of music or the like
JP2001209820A (ja) * 2000-01-25 2001-08-03 Nec Corp 感情表出装置及びプログラムを記録した機械読み取り可能な記録媒体
US6904408B1 (en) * 2000-10-19 2005-06-07 Mccarthy John Bionet method, system and personalized web content manager responsive to browser viewers' psychological preferences, behavioral responses and physiological stress indicators
WO2003001787A2 (en) * 2001-06-21 2003-01-03 Walker Digital, Llc Methods and systems for documenting a player's experience in a casino environment
US7113916B1 (en) * 2001-09-07 2006-09-26 Hill Daniel A Method of facial coding monitoring for the purpose of gauging the impact and appeal of commercially-related stimuli
WO2005113099A2 (en) * 2003-05-30 2005-12-01 America Online, Inc. Personalizing content
US20040117814A1 (en) * 2003-10-22 2004-06-17 Roye Steven A. Method and apparatus for determining positive audience response
US20070150916A1 (en) * 2005-12-28 2007-06-28 James Begole Using sensors to provide feedback on the access of digital content
US20080169930A1 (en) 2007-01-17 2008-07-17 Sony Computer Entertainment Inc. Method and system for measuring a user's level of attention to content

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019093633A1 (ko) * 2017-09-14 2019-05-16 주식회사 스무디 영상 채팅에 기반하여 광고 콘텐츠에 대한 감정을 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Also Published As

Publication number Publication date
CN101999108B (zh) 2014-08-20
US7889073B2 (en) 2011-02-15
WO2009097337A1 (en) 2009-08-06
US20090195392A1 (en) 2009-08-06
CN101999108A (zh) 2011-03-30
KR20100107036A (ko) 2010-10-04

Similar Documents

Publication Publication Date Title
KR101197978B1 (ko) 웃음 탐지기 및 미디어 프리젠테이션에 대한 감정 반응을 추적하기 위한 시스템 및 방법
JP7207836B2 (ja) 視聴者エンゲージメントを評価するためのシステム
US9706235B2 (en) Time varying evaluation of multimedia content
JP7018312B2 (ja) ウェブベースのコンテンツとの対話中におけるコンピュータユーザデータの収集および処理方法
CN105339969B (zh) 链接的广告
US20120072936A1 (en) Automatic Customized Advertisement Generation System
US20140337868A1 (en) Audience-aware advertising
KR102257427B1 (ko) 실시간 감정분석이 가능한 심리 상담 시스템 및 그 방법
Ringer et al. Deep unsupervised multi-view detection of video game stream highlights
US20140325540A1 (en) Media synchronized advertising overlay
TW201304521A (zh) 提供視訊呈現評論
JP2006012171A (ja) 生体認識を用いたレビュー管理システム及び管理方法
JP2018534700A (ja) メディアコンテンツのパフォーマンスの即時予測のための方法及び装置
US20090144071A1 (en) Information processing terminal, method for information processing, and program
Hou et al. Predicting movie trailer viewer's “like/dislike” via learned shot editing patterns
Shukla et al. Evaluating content-centric vs. user-centric ad affect recognition
CN114255075A (zh) 一种广告投放设备的广告更刊方法
CN108491496A (zh) 一种推广信息的处理方法及装置
CN113377327A (zh) 一种具备智能语音交互功能的车库巨幕max智能终端
Song et al. Finding epic moments in live content through deep learning on collective decisions
Murray et al. Comparing player responses to choice-based interactive narratives using facial expression analysis
Chen et al. XV-Pod: An emotion aware, affective mobile video player
Soleymani Detecting cognitive appraisals from facial expressions for interest recognition
US20200320549A1 (en) Method and system for integrated contextual performance analysis
Huan et al. Designing an Engaging Story-stem taken from the MCAST test

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151008

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171018

Year of fee payment: 6