KR102611913B1 - 감정 탐지 시스템 - Google Patents
감정 탐지 시스템 Download PDFInfo
- Publication number
- KR102611913B1 KR102611913B1 KR1020187002447A KR20187002447A KR102611913B1 KR 102611913 B1 KR102611913 B1 KR 102611913B1 KR 1020187002447 A KR1020187002447 A KR 1020187002447A KR 20187002447 A KR20187002447 A KR 20187002447A KR 102611913 B1 KR102611913 B1 KR 102611913B1
- Authority
- KR
- South Korea
- Prior art keywords
- subject
- image data
- emotion detection
- data set
- face
- Prior art date
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 140
- 238000001514 detection method Methods 0.000 title claims abstract description 122
- 230000002996 emotional effect Effects 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 64
- 230000008569 process Effects 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 36
- 230000000638 stimulation Effects 0.000 claims description 32
- 230000001815 facial effect Effects 0.000 claims description 25
- 230000004044 response Effects 0.000 claims description 11
- 230000002452 interceptive effect Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 5
- 230000014509 gene expression Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 230000014759 maintenance of location Effects 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 13
- 230000009471 action Effects 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 7
- 230000004936 stimulating effect Effects 0.000 description 6
- 230000001413 cellular effect Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000006397 emotional response Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000000047 product Substances 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000001755 vocal effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000007418 data mining Methods 0.000 description 3
- 230000000763 evoking effect Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000002730 additional effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 208000027534 Emotional disease Diseases 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition
Abstract
본 명세서에 개시된 감정 탐지 시스템들은 모니터링 대상들의 프라이버시 및 보안을 능동적으로 보호한다. 이 보호의 제공은 이 시스템들을 종래의 감정 탐지기들과 차별화한다. 일부 예들에서, 자급식 감정 탐지 디바이스는 감정 탐지 시스템 내의 다른 디바이스들에 대상의 감정 상태를 묘사하는 익명 데이터를 제공하면서 대상의 신원을 보호한다. 이러한 예들에서, 감정 탐지 디바이스는 디바이스에 의해 취득된 원시 이미지 데이터를 디바이스 내에 캡슐화된 저장 위치들 내에 배타적으로 격리시킴으로써 대상의 신원을 보호한다. 익명 데이터를 제공하기 위해, 감정 탐지 디바이스는 먼저 원시 이미지 데이터를 처리하여 대상의 얼굴의 이미지 내의 랜드마크 포인트들을 식별한다. 다음으로, 감정 탐지 디바이스는 랜드마크 포인트들을 일반 얼굴로 정규화하고 정규화된 랜드마크 포인트들을 묘사하는 익명 데이터 세트를 후속 처리를 위해 다른 디바이스들로 송신한다.
Description
저작권 보호를 받는 자료의 공지
이 문서의 내용 중 일부는 미국 및 기타 국가의 저작권법에 따라 저작권 보호 대상이다. 저작권자는 누구든지 미국 특허 상표청에서 공개적으로 사용가능한 파일 또는 기록물에 나타나는 바대로, 본 특허 문헌 또는 특허 공개문을 팩시밀리 재생하는 것에 이의를 제기하지 않지만, 그 외에는 모든 저작권을 갖고 있다. 저작권자는, 37 C.F.R. § 1.14에 따라 그 권리를 제한함이 없이, 본 특허 문헌을 비밀로 유지하는 권리를 포기하지 않는다.
종래의 감정 탐지기는 이벤트에 대한 사람의 반응을 묘사하는 데이터를 취득하고 기록한다. 종래의 감정 탐지기는 또한 기록된 데이터를 분석하여 이벤트에 대한 사람의 감정 반응을 해석한다. 감정 탐지기에 의해 기록, 분석, 및 해석되는 반응들은 사람의 음성, 얼굴 표정, 생리적 신호, 디바이스 사용 패턴 등을 포함한다. 효과적이기 위해, 많은 감정 탐지기들은 사람이 임계 수준의 활동을 보여줄 것을 요구한다. 예를 들어, 사람의 음성에 기초한 감정 탐지기는 사람이 하나 이상의 탐지 가능한 표현을 말할 것을 요구한다. 유사하게, 디바이스 사용 패턴에 기초한 감정 탐지기는 베이스라인 사용 패턴을 설정하기 위해 사람이 객체(예를 들어, 마우스 또는 키보드)을 조작할 것을 요구한다. 다른 감정 탐지기들은 효과적이기 위해 센서들이 사람과 물리적으로 접촉할 것을 요구한다. 예를 들어, 사람의 생리적 상태에 기초한 감정 탐지기는 사람이 하나 이상의 센서(예를 들어, 심전도 전극, 피부 전도도 센서 등)를 착용할 것을 요구한다. 종래의 감정 탐지기를 사용함으로써 도입된 이점들에는 시스템이 생성한 이벤트들에 대한 사람의 반응을 지속적으로 기록하고 나중에 분석하는 체계적인 능력이 포함된다.
도 1은 본 개시의 일 실시예에 따라 구성된 감정 탐지 디바이스를 도시한다.
도 2는 본 개시의 일 실시예에 따라 구성된 감정 탐지 프로세스를 도시한다.
도 3은 본 개시의 일 실시예에 따라 구성된 감정 탐지 프로세스를 실행하는 감정 탐지 디바이스를 도시한다.
도 4는 본 개시의 일 실시예에 따라 구성된 감정 탐지 시스템을 도시한다.
도 5는 본 개시의 일 실시예에 따라 구성된 감정 모니터링 프로세스를 도시한다.
도 6은 본 개시의 일 실시예에 따라 구성된 감정 모니터링 프로세스를 실행하는 감정 탐지 시스템을 도시한다.
도 7은 본 개시의 일 실시예에 따라 구성된 컴퓨팅 시스템을 도시한다.
도 8은 본 개시의 일 실시예에 따라 구성된 모바일 컴퓨팅 시스템을 도시한다.
도 2는 본 개시의 일 실시예에 따라 구성된 감정 탐지 프로세스를 도시한다.
도 3은 본 개시의 일 실시예에 따라 구성된 감정 탐지 프로세스를 실행하는 감정 탐지 디바이스를 도시한다.
도 4는 본 개시의 일 실시예에 따라 구성된 감정 탐지 시스템을 도시한다.
도 5는 본 개시의 일 실시예에 따라 구성된 감정 모니터링 프로세스를 도시한다.
도 6은 본 개시의 일 실시예에 따라 구성된 감정 모니터링 프로세스를 실행하는 감정 탐지 시스템을 도시한다.
도 7은 본 개시의 일 실시예에 따라 구성된 컴퓨팅 시스템을 도시한다.
도 8은 본 개시의 일 실시예에 따라 구성된 모바일 컴퓨팅 시스템을 도시한다.
본 명세서에 개시된 감정 탐지 시스템들은 모니터링 대상들의 프라이버시 및 보안을 능동적으로 보호한다. 이 보호의 제공은 본 명세서에 설명된 시스템들을 종래의 감정 탐지기들과 차별화한다. 일부 예시적인 실시예들에서, 자급식(self-contained) 감정 탐지 디바이스는 감정 탐지 시스템 내의 다른 디바이스들에 대상의 감정 상태를 묘사하는 익명 데이터를 제공하면서 대상의 신원을 보호한다. 이러한 예들에서, 감정 탐지 디바이스는 디바이스에 의해 취득된 원시 이미지 데이터를 디바이스 내에 캡슐화된 저장 위치들 내에 배타적으로 격리시킴으로써 대상의 신원을 보호한다. 익명 데이터를 제공하기 위해, 감정 탐지 디바이스는 먼저 원시 이미지 데이터를 처리하여 대상의 얼굴의 이미지 내의 랜드마크 포인트들을 식별한다. 다음으로, 감정 탐지 디바이스는 랜드마크 포인트들을 일반 얼굴로 정규화하고 정규화된 랜드마크 포인트들을 묘사하는 익명 데이터 세트를 후속 처리를 위해 다른 디바이스들로 송신한다. 일부 예들에서, 다른 디바이스들은 익명 데이터 세트를 처리하여 대상에 제시되고 있는 자극을 묘사하는 정보와 관련하여 대상의 감정 상태를 식별 및 기록한다. 이 자극은 비대화형 콘텐츠(예를 들어, 서적, 텔레비전, 영화, 라디오 프로그램, 음악, 광고 등)를 포함할 수 있다. 이 자극은 또한 대화형 콘텐츠(예를 들어, 게임, 쇼핑 등)를 포함할 수 있다. 일부 예들에서, 감정 탐지 시스템 내의 다른 디바이스들은 자극을 조정(예를 들어, 가격, 플롯라인, 음악 장르 등을 조정)함으로써 대상의 감정 상태에 영향을 미치려고 시도한다. 본 명세서에서 제공되는 다양한 예시적인 실시예들은 얼굴 이미지들을 언급하지만, 대상의 감정 상태를 평가하기 위해, 몇 가지 예를 들면, 음성 녹음, 신체 자세 및/또는 제스처 이미지, 및 심박수 및 혈압과 같은 생체 측정 데이터와 같은 다른 목표 특징들도 사용될 수 있다. 이해되는 바와 같이, 본 명세서에 제공된 기법들은 디바이스 내에 임의의 그러한 목표 원시 데이터를 캡슐화하고, 해당 데이터 내의 랜드마크 포인트들을 식별하고, 랜드마크 포인트들을 일반 모델로 정규화하는 데 사용될 수 있다(예를 들어 일반 음성을 사용하여 사용자의 억양 및 높아진 어조를 반복하는 일반 음성 모델, 또는 일반 신체를 사용하여 사용자의 신체 언어 및/또는 제스처를 반복하는 일반 토르소 모델). 임의의 그러한 예시적인 경우들에서, 정규화된 랜드마크 포인트들을 묘사하는 익명 데이터 세트는 후속 처리를 위해 다른 디바이스들로 송신될 수 있다.
또 다른 양태들, 실시예들 및 이들 예시적인 양태들 및 실시예들의 이점들이 이하에 상세히 논의된다. 더욱이, 전술한 정보 및 이하의 상세한 설명 둘 다는 다양한 양태들 및 실시예들의 예시적 예들일 뿐이고, 청구된 양태들 및 실시예들의 성질 및 특징을 이해하기 위한 개요 또는 근거를 제공하도록 의도된다는 점이 이해되어야 한다. "실시예, "다른 실시예들", "예", "일부 실시예들", "일부 예들", "대체 실시예", "다양한 실시예들", "일 실시예", "적어도 하나의 실시예", "또 다른 실시예 ", "이 실시예 및 다른 실시예들 " 등의 언급들은 반드시 상호 배타적인 것은 아니며 그 실시예 또는 예와 관련하여 설명된 특정한 특징, 구조, 또는 특성이 적어도 하나의 실시예 또는 예에 포함될 수 있다는 것을 나타내도록 의도된다. 본 명세서에 그러한 용어들의 출현은 반드시 모두가 동일한 실시예 또는 예를 언급하는 것은 아니다. 본 명세서에 개시된 임의의 실시예 또는 예는 임의의 다른 실시예 또는 예와 조합될 수 있다.
또한, 본 명세서에 사용된 어구 및 용어는 설명을 위한 것으로, 제한하는 것으로서 간주되어서는 안 된다. 단수형으로 언급된 본 명세서의 시스템들 및 방법들의 예들, 실시예들, 컴포넌트들, 요소들, 또는 동작들에 대한 임의의 언급들은 또한 복수를 포함하는 실시예들을 포괄할 수 있으며, 본 명세서의 임의의 실시예, 컴포넌트, 요소 또는 동작에 대한 복수형의 임의의 언급들은 또한 단수만을 포함하는 실시예들을 포괄할 수 있다. 단수형 또는 복수형의 언급은, 현재 개시된 시스템들이나 방법들, 그들의 컴포넌트들, 동작들, 또는 요소들을 제한하기 위한 것이 아니다. 본 명세서에서 “포함하는(including)”, “포괄하는(comprising)”, “갖는(having)”, “담고 있는(containing)”, “수반하는(involving)” 및 그의 변형들의 사용은, 이후에 열거되는 아이템들 및 그것의 등가물들뿐만 아니라 추가 아이템들을 포괄하도록 의도된다. “또는”에 대한 언급들은, “또는”을 사용하여 설명되는 임의의 용어들이, 설명되는 용어들 중 하나, 둘 이상, 및 모두 중에서 임의의 것을 나타낼 수 있도록 포함적 의미로서 해석될 수도 있다. 또한, 이 문서와 인용에 의해 본 명세서에 통합된 문서들 사이의 용어들의 사용법이 일치하지 않을 경우 통합된 참고 문헌들에서의 용어 사용법이 이 문서의 용어 사용법을 보완한다; 양립할 수 없는 불일치의 경우, 이 문서에서의 용어 사용법이 지배한다.
일반 개요
전술한 바와 같이, 종래의 감정 탐지기는 다수의 이점들을 제공하지만, 응용에 따라서는, 단점들도 있다. 예를 들어, 프라이버시와 관련하여, 대부분의 인간 대상들은 지속적인 감시를 받기를 원하지 않는다. 이는 특히 감시가 그들의 정확한 초상과 행동을 지속적으로 기록하는 경우에 특히 그러하다. 또한, 대부분의 인간 대상들은 감시 기록물들이 오용되거나, 도난 당하거나, 그들의 자신의 허가 없이 달리 사용되는 것에 대해 우려한다. 대조 목적으로, 대부분의 인간 사용자들은, 카메라가 그들의 모든 움직임을 지속적으로 기록하게 하는 것에 반대하는 것만큼, 그들 자신을 표현하거나 그들의 감정 반응들이 익명으로 분석되는 것에는 반대하지 않는다.
따라서, 그리고 본 개시의 일부 예들에 따르면, 대상의 감정 상태를 나타내는 출력 데이터가 익명인(즉, 예를 들어, 대상의 실제 신원이 출력 데이터에 포함되지 않도록, 출력 데이터가 대상의 개인 신원을 나타내지 않는) 감정 탐지 디바이스들 및 시스템들이 제공된다. 그러한 감정 탐지 디바이스들 및 시스템들은 적어도, 예를 들어, 데이터를 일반 대상의 모델로 정규화함으로써 익명 데이터를 생성함으로써 종래의 감정 탐지기들과는 다르다. 일부 그러한 예들에서, 이 익명 데이터는 감정 탐지 디바이스에 의해 제공되는 유일한 출력이다. 이러한 예들에서, 감정 탐지 디바이스는 익명 데이터를 제공하기 전에 대상을 식별하는데 사용될 수 있는 정보(예를 들어, 대상의 얼굴, 음성, 신체 자세 및 제스처 또는 다른 탐지 가능한 식별 특성들을 묘사하는 정보)를 삭제한다. 이런 식으로, 이러한 예들은 모니터링되는 대상의 프라이버시와 보안에 대한 추가 보호를 제공한다.
일부 예들에서, 감정 탐지 디바이스는 추가 특징들을 포함하는 감정 탐지 시스템들에 통합된다. 예를 들어, 일부 예들은 하나 이상의 감정 탐지 디바이스, 감정 탐지 디바이스들에 의해 송신된 익명 데이터를 분석하는 하나 이상의 원격 디바이스, 감정 탐지 디바이스들을 원격 디바이스들에 연결하는 네트워크를 포함하는 감정 탐지 시스템을 포함한다. 이러한 예들에서, 원격 디바이스들은 익명 데이터를 수신하고 익명 데이터를 마이닝하여 개인 대상들의 감정 상태들을 분류한다. 그 후 개인들의 감정 상태를 나타내는 감정 식별자들이 후속 처리를 위해 안전하게 저장된다.
일부 예들에서, 감정 탐지 시스템들은 하나 이상의 자극 제어기를 추가로 포함한다. 이러한 예들에서, 원격 디바이스는 하나 이상의 자극 제어기의 동작을 자동으로 제어하도록 구성될 수 있다. 이 제어는 익명 데이터 또는 감정 식별자들의 분석에 의해 유발될 수 있다. 예를 들어, 일부 예들에서, 원격 디바이스는 대상의 익명 데이터 세트를 분석하고 익명 데이터와 연관되는 실행할 반응 액션을 식별한다. 반응 액션을 식별하는 것에 응답하여, 원격 디바이스는 반응 액션을 실행한다. 예를 들어, 원격 디바이스가 제1 자극과 관련하여 부정적인 감정 상태를 탐지하는 경우, 원격 디바이스는 제2 자극을 특정하는 반응 액션을 식별할 수 있다. 그러한 반응 액션을 식별하는 것에 응답하여, 원격 디바이스는 자동으로 자극 메시지를 자동 생성하여 제2 자극을 생성할 적어도 하나의 자극 제어기에 송신할 수 있다. 이 예에서, 자극 메시지를 수신한 것에 응답하여, 자극 제어기는 제2 자극을 대상에게 제시한다.
본 명세서에 개시된 이들 및 다른 예들은 종래의 감정 탐지기들에 비해 다양한 추가 이점들을 제공한다. 예를 들어, 본 명세서에 설명된 일부 예들에서는, 대상의 실제 촬영이 수행되지 않고, 이미지 데이터가 영구적으로 저장되지 않고, 원시 이미지 데이터가 범용 프로그램 가능 디바이스(예를 들어, 개인용 컴퓨터, 랩톱, 스마트폰, 태블릿 등)에 의해서가 아니라 전문화된 디바이스(예를 들어, 감정 탐지 디바이스)에 의해 분석된다. 종래의 감정 탐지기들에 대한 대조의 목적으로, 이 기법은 범용 프로그램 가능 디바이스가, 원시 이미지 데이터가 프라이버시 및 보안 위협에 더 많이 노출되는, 소프트웨어 스택의 상위 계층들에서 원시 이미지 데이터를 분석하는 것을 방지한다. 다른 예들에서, 감정 탐지 디바이스는 대상의 신원을 묘사하는 입력 데이터를 취득하는 데 사용되는 카메라, 마이크로폰, 또는 다른 입력을, 입력 데이터가 취득된 후에 비활성화시킨다. 이런 식으로, 이러한 예들은 입력 데이터 및 출력 데이터에 대한 무단 접근을 얻는 어려움을 증가시킨다. 또한, 일부 예들에 따르면, 감정 탐지 시스템은, 아래에서 더 상세히 설명되는 바와 같이, 익명 데이터를 효과적으로 이용하여 많은 가치 있는 액션들을 성취한다.
더 전문화된 예에서, 감정 탐지 시스템은 얼굴 이미지들을 사용하여 대상들의 감정 상태를 모니터링한다. 이 감정 탐지 시스템은 다른 유형의 감정 탐지 시스템들보다 덜 침략적이고 더 낮은 임계치의 대상 활동을 요구하기 때문에 대상에게 편리하다. 또한, 이 감정 탐지 시스템은 자급식, 단일 감정 탐지 디바이스 내에서 이미지 데이터를 캡처, 분석 및 삭제함으로써 대상들의 초상의 무단 기록 또는 사용에 관한 대상들의 우려를 해결한다. 그러한 감정 탐지 디바이스의 일례인, 개인 감정 인식 센서(PERS)가 아래에서 더 설명된다.
이 감정 탐지 디바이스는 카메라, 얼굴 이미지 처리 컴포넌트, 데이터 저장 디바이스, 및 데이터 송신 컴포넌트를 포함할 수 있다. 일부 예들에서, 카메라는 대상의 얼굴을 묘사하는 이미지 데이터를 취득한다. 얼굴 이미지 처리 컴포넌트는 이미지 데이터를 처리하여 대상의 얼굴의 물리적 상태를 묘사하는 익명 데이터 세트를 생성한다. 이 익명 데이터 세트는 대상의 감정 상태에 관한 세부 사항들을 결정하기 위해 추가로 분석될 수 있지만 대상의 신원을 결정하는 데에는 사용될 수 없다. 이 디바이스는 다른 감정 표시 특징들(emotion-indicating features)에 쉽게 외삽될 수 있다. 예를 들어, 또 다른 실시예에서, 감정 탐지 디바이스는 마이크로폰, 음성 처리 컴포넌트, 데이터 저장 디바이스, 및 데이터 송신 컴포넌트를 포함할 수 있다. 그러한 예들에서, 마이크로폰은 대상의 구두 발성을 묘사하는 음성 데이터를 취득한다. 음성 처리 컴포넌트는 음성 데이터를 처리하여 대상의 음성의 상태(억양, 음량 등에 관한)를 묘사하는 익명 데이터 세트를 생성한다. 이 익명 데이터 세트는 대상의 감정 상태에 관한 세부 사항들을 결정하기 위해 추가로 분석될 수 있지만 대상의 신원을 결정하는 데에는 사용될 수 없다. 다른 예들에서, 감정 탐지 디바이스는 카메라, 신체 자세, 및 제스처 이미지 처리 컴포넌트, 데이터 저장 디바이스, 및 데이터 송신 컴포넌트를 포함할 수 있다. 이러한 예들에서, 카메라는 대상의 신체 자세 및 제스처 상태를 묘사하는 신체 자세 및/또는 제스처 데이터를 취득한다. 이미지 처리 컴포넌트는 이미지 데이터를 처리하여 대상의 신체 및/또는 제스처의 물리적 상태를 묘사하는 익명 데이터 세트를 생성한다. 이 익명 데이터 세트는 대상의 감정 상태에 관한 세부 사항들을 결정하기 위해 추가로 분석될 수 있지만 대상의 신원을 결정하는 데에는 사용될 수 없다. 이 개시에 비추어 많은 다른 변형들이 명백할 것이다. 특정 목표 감정 표시 특징들의 선택은 대상의 감정 상태를 식별하기 위해 데이터를 처리할 때 원하는 계산 부담과 같은 요인들에 따라 달라질 것이다. 임의의 그러한 목표 감정 표시 특징들은 본 명세서에 다양하게 제공된 바와 같이 그 자체로, 또는 주어진 대상의 감정 상태에 대한 더 포괄적인 이해를 얻으려는 노력으로 다른 목표 감정 표시 특징들과 함께(예를 들어, 얼굴과 목소리, 또는 얼굴과 제스처 등) 분석되고 사용될 수 있다. 임의의 그러한 경우들에, 원시 감정 표시 데이터가 익명의 동등한 것으로 변환되고, 원시 데이터 자체는 대상의 신원을 보호하기 위해 폐기될 수 있다.
감정 탐지 디바이스
도 1은 감정 탐지 디바이스의 일례인, PERS(100)를 도시한다. PERS(100)는 프로그램 가능한 디바이스를 사용하여 구현될 수 있고, 예를 들어 도 9 및 도 10을 참조하여 아래에서 설명되는 시스템들의 컴포넌트들 중 임의의 것을 사용하여 제조될 수 있다. 도 1에 도시된 바와 같이, PERS(100)는 하우징(102)을 포함하고 그 안에 카메라(104), 얼굴 이미지 프로세서(106), 및 출력 버퍼(114)가 배치된다. 일부 예들에서, 하우징은 플라스틱, 알루미늄, 또는 다른 내구성 재료로 제조된다. 하우징(102)은 하우징이 다양한 위치들 및 배향들 또는 다양한 구조들로 설치될 수 있게 하는 패스너들을 포함할 수 있다. 예를 들어, 하우징(102)은 감정 탐지 디바이스가 카운터, 컴퓨터 모니터, 벽, 광고판, 표지판, 의자, 보안 카메라, 또는 다른 위치에 설치될 수 있게 하는 클램프, 수지, 후크 앤 루프 패스너 또는 다른 메커니즘을 포함할 수 있다. 일부 예들에서, 카메라(104)는 2차원 카메라이다. 다른 예들에서, 카메라(104)는 3차원 카메라이다. 일부 예들에서, PERS(100)는 집합적으로 PERS(100)가 통신 네트워크를 통해 다른 디바이스들과 통신할 수 있게 하는 회로(예를 들어, 유선 또는 무선 트랜시버, 커넥터, 안테나 등) 및 소프트웨어 스택을 갖는 네트워크 인터페이스를 추가로 포함한다.
도 1에 도시된 바와 같이, 얼굴 이미지 프로세서(106)는 입력 프레임 버퍼(108), 얼굴 탐지 모듈(110), 및 랜드마크 포인트 추출 모듈(112)을 포함한다. 입력 프레임 버퍼(108) 및 출력 버퍼(114)는 하우징(102) 내에 포함된 다양한 데이터 저장 디바이스, 예를 들어 온-칩 메모리 또는 오프-칩 메모리로부터 할당될 수 있다. 얼굴 탐지 모듈(110) 및 랜드마크 포인트 추출 모듈(112)은 하드웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 얼굴 이미지 프로세서(106)가 얼굴 탐지 모듈(110) 및 랜드마크 포인트 추출 모듈(112)을 통해 실행하도록 구성된 프로세스들의 예들은 도 2 및 도 3을 참조하여 아래에 더 설명된다.
일부 예들에 따르면, 감정 탐지 디바이스는 대상의 감정 상태를 나타내는 익명 데이터를 생성하는 프로세스들을 실행한다. 도 2는 이러한 예들에 따른 탐지 프로세스(200)를 도시한다. 도 2에 도시된 바와 같이, 탐지 프로세스(200)는, 조합하여, 감정 탐지 디바이스가 하나 이상의 얼굴 표정을 묘사하는 익명 데이터 세트를 후속 처리를 위해 다른 디바이스들에 비공개적으로 그리고 안전하게 제공할 수 있게 하는 몇 가지 동작을 포함한다.
동작 202에서, 탐지 프로세스(200)를 실행하는 디바이스는 디바이스의 하나 이상의 컴포넌트(예를 들어, 카메라, 메모리, 프로세서, 네트워킹 인터페이스, 이미지 처리 모듈 등)를 초기화한다. 동작 204에서, 디바이스는 이미지 데이터를 얻기 위해 카메라를 폴링한다. 이미지 데이터는 하나 이상의 프레임을 포함할 수 있다. 이 프레임들은 대상의 얼굴의 원시 이미지 데이터를 포함할 수 있다. 일부 예들에서, 원시 이미지 데이터는 3차원 이미지 데이터를 포함한다. 다른 예들에서, 원시 이미지 데이터는 2차원 이미지 데이터를 포함한다.
동작 206에서, 디바이스는 하나 이상의 프레임 중 임의의 것이 대상의 얼굴의 이미지를 포함하는지를 결정한다. 그렇다면, 디바이스는 동작 208로 진행한다. 그렇지 않으면, 디바이스는 동작 218로 진행한다. 동작 208에서, 디바이스는 후속 처리를 위해 프레임을 저장한다. 또한, 적어도 하나의 예에서, 디바이스는 보안 조치로서 동작 208 내에서 카메라를 비활성화시킨다. 동작 208에서 카메라를 비활성화시킴으로써, 디바이스는 디바이스 상에서 실행되는 임의의 인가된 프로세스들에 의해 추가 이미지 데이터가 취득되지 않도록 보장하는 데 도움을 준다.
동작 210에서, 디바이스는 대상의 감정 상태를 나타내는 데이터를 식별 및 저장하기 위해 이미지를 분석한다. 일부 예들에서, 디바이스는 Intel® Realsense™ 기술을 실행하여 얼굴의 이미지 내에서 랜드마크 포인트들을 식별한다. 랜드마크 포인트들은 입술, 눈썹, 눈꺼풀 등과 같은 얼굴 특징부들의 정체 및 방향을 특정하는 포인트들의 모음이다. 일례에서, 디바이스는, 조합하여, 대상의 감정 상태를 나타내는 78개의 랜드마크 포인트를 식별한다.
동작 212에서, 디바이스는 추가 보안 조치로서 프레임을 삭제한다. 동작 212에서 프레임을 삭제함으로써, 디바이스는 프레임이 저장되는 시간량 및 디바이스의 저장 디바이스에서 프레임 및 랜드마크 포인트들이 공존하는 시간량을 제한한다.
동작 214에서, 디바이스는 동작 210에서 식별된 랜드마크 포인트들을 일반 얼굴로 정규화함으로써 익명 데이터 세트를 생성한다. 이 정규화 프로세스는 얼굴의 이미지 내에서 식별된 각 랜드마크 포인트를 일반 얼굴의 모델 내의 대응하는 랜드마크 포인트로 매핑하여 얼굴의 전반적인 표정이 얼굴의 이미지로부터 일반 얼굴로 변환되도록 함으로써 달성될 수 있다. 일부 예들에서, 익명 데이터 세트는 일반 얼굴의 모델 상의 포인트와 포인트의 위치를 식별하는 값들을 저장하는 필드들을 갖는 데이터의 요소들을 포함한다. 이 위치 필드들에 저장된 값들은 2차원 또는 3차원 정보를 포함할 수 있다. 다음으로, 동작 212에서, 디바이스는 익명 데이터 세트를 후속 처리를 위해 저장한다.
동작 216에서, 디바이스는 미리 정의된 구성 가능한 파라미터의 값에 의해 특정된 주소로 익명 데이터 세트를 송신한다. 이 주소는 로컬 주소, 즉 디바이스에 통합된 컴포넌트의 주소, 또는 원격 주소, 즉 디바이스에 통합되지 않은 컴포넌트의 주소일 수 있다. 동작 218에서, 디바이스는 셧다운이 임박했는지를 결정한다. 그렇다면, 탐지 프로세스(200)는 종료된다. 그렇지 않으면, 탐지 프로세스(200)는 동작 204로 진행한다.
탐지 프로세스(200)에 따른 프로세스들은 감정 탐지 디바이스들이 대상의 감정 상태를 묘사하는 데이터를 비공개적으로 그리고 안전하게 생성하고 전달할 수 있게 한다.
도 3은 하나의 예시적인 감정 탐지 디바이스의 동작을 도시하는 입력-출력 다이어그램이다. 더 구체적으로, 도 3은 도 2의 탐지 프로세스(200)를 실행하는 도 1의 PERS(100)를 도시한다. 도 1 및 도 2를 조합하여 도 3을 주로 참조하면, PERS(100)는 동작 204를 실행하여 이미지를 얻기 위해 카메라(104)를 폴링한다. 카메라(104)는 3차원 이미지를 포함하는 프레임을 취득하고 그 프레임을 얼굴 이미지 프로세서(106)로 송신한다. 얼굴 이미지 프로세서(106)의 얼굴 탐지 모듈(110)은 동작 206을 실행하여 이미지 내의 얼굴을 탐지하고 동작 208을 실행하여 프레임을 입력 프레임 버퍼에 저장한다. 다음으로, 얼굴 이미지 프로세서(106)의 랜드마크 포인트 추출 모듈(112)은 동작 210을 실행하여 이미지를 분석하고 포인트들의 모음(302)에 의해 도시된 바와 같이, 랜드마크 포인트들을 식별한다.
이 예를 계속하여, 얼굴 이미지 프로세서(106)는 동작 212 및 동작 214를 실행하여 프레임을 삭제하고, 익명 데이터 세트(304)를 생성하고, 익명 데이터 세트를 출력 버퍼(114)에 저장한다. 이 시점에서, PERS(100)는 동작 216을 실행하여 추가 처리를 위해 익명 데이터 세트를 또 다른 디바이스로 송신할 수 있다.
전술한 컴포넌트들은 이미지 데이터를 처리하여 대상의 감정 상태를 결정하지만, 다른 예들은 대상의 식별 가능한 다른 특성들을 동일한 목적으로 사용한다. 예를 들어, 일례에서, 감정 탐지 디바이스는 대상의 음성 발성을 처리하여 대상의 감정 상태를 결정하기 위해 도 1에 도시된 아키텍처와 유사한 아키텍처를 구현한다. 이러한 예에서, 얼굴 이미지 프로세서(106)는 인간의 음성 발성을 탐지하고 음성 발성에 의해 표현된 대상의 감정 상태를 묘사하는 익명 데이터 세트를 추출하도록 구성된 음성 프로세서로 대체된다. 이 익명 데이터 세트는 발성된 단어들 및 단어들이 발성된 방식(예를 들어, 음량, 피치, 속도 등)을 묘사하는 데이터를 포함할 수 있다.
감정 탐지 시스템
도 4는 대상(410)의 감정 상태를 모니터링하고, 옵션으로, 그에 영향을 미치도록 구성된 감정 탐지 시스템(400)을 도시한다. 도시된 바와 같이, 감정 탐지 시스템(400)은 감정 탐지 디바이스(402), 원격 디바이스(404), 자극 제어기(406), 및 네트워크(408)를 포함한다. 자극 제어기(406)는 자극(412) 및 자극(414)을 포함하는 자극들을 생성할 수 있다. 감정 탐지 디바이스(402)는, 예를 들어, 도 1 내지 도 3을 참조하여 전술한 바와 같은 PERS를 포함할 수 있다. 원격 디바이스는 임의의 프로그램 가능한 디바이스, 예를 들어 도 7 및 도 8을 참조하여 아래에 설명된 시스템들의 임의의 것을 포함할 수 있다. 통신 네트워크(408)는 시스템들이 정보를 교환할 수 있는 임의의 통신 네트워크를 포함할 수 있다. 예를 들어, 네트워크(408)는 인터넷과 같은 공중 네트워크일 수 있고, LAN, WAN, 엑스트라넷 및 인트라넷과 같은 다른 공중 또는 사설 네트워크들을 포함할 수 있다. 도 4에 도시된 바와 같이, 감정 탐지 디바이스(402), 원격 디바이스(404), 및 옵션으로, 자극 제어기(406)는 네트워크(408)에 연결되고 그를 통해 데이터를 통신한다.
자극 제어기(406)는 대상(410)에 자극을 제공하도록 기능하는 다양한 디바이스들의 형태를 취할 수 있다. 예를 들어, 일부 예들에 따르면, 자극 제어기(406)는 게임 콘솔, 컴퓨터 가능 텔레비전, 개인용 컴퓨터, 랩톱, 또는 이동 전화기와 같은 프로그램 가능한 디바이스이다. 이러한 예들에서, 자극들(412 및 414)은 온라인 쇼핑 웹페이지, 음악, 비디오 게임, 텔레비전 프로그래밍, 및 영화와 같은 콘텐츠를 포함할 수 있다.
다른 예들에서, 자극 제어기(406)는 네트워크(408)에 연결되지 않을 수 있다. 연결이 끊긴 자극 제어기들의 예로는 극장 프로젝터, 컴퓨터 가능하지 않은 텔레비전, 표지판, 광고판, 가격표, 및 소비자 제품을 포함한다. 이러한 예들에서, 자극들(412 및 414)은 영화, 광고, 가격, 정보 메시지, 및 소비자 제품 디자인과 같은 콘텐츠를 포함할 수 있다.
일부 예들에 따르면, 감정 탐지 시스템(400)은 수동 모드 또는 능동 모드에서 동작하도록 구성된다. 수동 모드에서 동작할 때, 감정 탐지 시스템(400)은 자극 제어기(406)가 대상 또는 일부 다른 사용자 또는 시스템에 의해 수신된 명령들에 따라 대상을 자극할 때 대상(410)의 감정 상태를 수동적으로 모니터링한다. 능동 모드에서 동작할 때, 감정 탐지 시스템(400)은 대상의 감정 상태를 모니터링하고 하나 이상의 시스템 목적에 따라 대상의 감정 상태에 영향을 미치려고 시도한다. 감정 탐지 시스템(400)이 실행하도록 구성된 프로세스들의 예들은 도 5 및 도 6을 참조하여 아래에 더 설명된다.
일부 예들에 따르면, 감정 탐지 시스템은 대상의 감정 상태를 모니터링하고, 옵션으로, 대상의 감정 상태에 영향을 미치려고 시도하는 프로세스들을 실행한다. 도 5는 이러한 예들에 따른 모니터링 프로세스(500)를 도시한다.
동작 502에서, 모니터링 프로세스(500)를 실행하는 시스템은, 예를 들어, 탐지 프로세스(200)에 따른 프로세스를 실행함으로써 익명 데이터를 생성한다. 일부 예들에서, 시스템의 하나의 컴포넌트는 익명 데이터를 생성하여 이를 익명 데이터를 수신하고 후속하여 처리하는 시스템의 또 다른 컴포넌트로 송신한다.
동작 504에서, 시스템은 익명 데이터 세트를 데이터 저장소에 기록하고, 익명 데이터 세트와 연관된 자극을 식별하고, 익명 데이터 세트를 분석하여 그로부터 추론들을 도출한다. 일부 예들에서, 시스템은 익명 데이터 세트의 하나 이상의 타임스탬프를 자극의 하나 이상의 타임스탬프와 비교함으로써 익명 데이터 세트와 연관된 자극을 식별한다. 자극의 타임스탬프가 익명 데이터 세트의 타임스탬프 직전(예를 들어, 100 내지 500 밀리초 전)인 경우, 시스템은 자극이 익명 데이터 세트와 연관되어 있는 것으로 식별한다. 자극 또는 익명 데이터 세트 내의 명시적인 식별 값들을 포함하는 다른 식별 방법들이 본 명세서에 개시된 예들의 범위를 벗어나지 않고 구현될 수도 있다.
특정 분석 모드 및 동작 504 내에서 도출된 잠재적인 추론들은 예들에 따라 달라진다. 예를 들어, 일부 예들에 따르면, 하나 이상의 익명 데이터 세트에 의해 표현된 감정 상태를 결정(예를 들어, 분류)하기 위해 다양한 데이터 마이닝 기법들이 이용된다. 이 목적을 위해 실행될 수 있는 데이터 마이닝 기법들의 예로는 신경망, k-최근접 이웃 프로세스, 및 벡터 머신을 포함한다. 다른 예들에서는, 동작 504에서, 시스템은 시스템에 의해 수신 및 처리되는 익명 데이터 세트의 이력에 기초하여 대상 또는 대상들의 그룹의 감정 상태를 예측하기 위해 데이터 마이닝 예측 프로세스들(예를 들어, 로지스틱 회귀)을 실행한다. 이러한 예들에서, 시스템은 시스템의 사용자들을 위해 이러한 예측들을 분명히 표현하는 하나 이상의 요약을 작성할 수 있다.
동작 506에서, 시스템은 익명 데이터, 또는 그의 분석이 하나 이상의 구성 가능한 파라미터에 의해 정의된 시스템 액션을 트리거링하는지를 결정한다. 그렇다면, 디바이스는 동작 508로 진행한다. 그렇지 않으면, 모니터링 프로세스(500)는 종료된다.
동작 508에서, 시스템은 하나 이상의 자극 제어기에 자극 메시지를 송신함으로써 하나 이상의 자극 제어기의 구성 가능한 파라미터들을 조정한다. 자극 메시지는 대상에게 추가 자극을 제시하기 위한 하나 이상의 요청을 포함할 수 있다. 동작 510에서, 하나 이상의 자극 제어기는, 그들의 구성 가능한 파라미터들에 따라, 자극(514)을 생성함으로써, 대상의 감정 상태를 제1 감정 상태에서 제2 감정 상태로 변경하려고 시도하고, 모니터링 프로세스(500)는 종료된다.
모니터링 프로세스(500)에 따른 프로세스들은 감정 탐지 시스템들이 대상의 감정 상태 및 잠재적으로 행동을 모니터링하고, 일부 경우에, 그에 영향을 미칠 수 있게 한다.
도 6은 하나의 예시적인 감정 탐지 시스템의 동작을 도시하는 입력-출력 다이어그램이다. 도 6은 도 5의 모니터링 프로세스(500)를 실행하는 도 4의 감정 탐지 시스템(400)을 도시한다. 도 2 내지 도 5를 조합하여 도 6을 주로 참조하면, 감정 탐지 디바이스(402)는 동작 204를 실행하여 자극(412)을 대상(410)에 제시한 직후(예를 들어, 100 내지 500 밀리초 후)의 시간에 대상(410)의 이미지를 얻기 위해 폴링한다. 감정 탐지 시스템(402)은 다음으로 동작 206 내지 동작 216을 실행하고 익명 데이터 세트(304)를 생성한다.
이 예를 계속하여, 원격 디바이스(404)는 동작 502를 실행하여 익명 데이터 세트(304)를 수신하고 원격 디바이스에 로컬인 데이터 저장소에 데이터를 기록한다. 다음으로, 원격 디바이스(404)는 동작 506을 실행하여 하나 이상의 구성 가능한 파라미터의 값들을 참조함으로써 익명 데이터의 기록이 추가 액션을 트리거링하는지를 결정한다. 원격 디바이스(404)가 추가 액션이 트리거링되지 않았다고 결정하면, 여기서 처리가 종료된다. 그러나, 이 예에서, 원격 디바이스(404)는 추가 액션이 트리거되었음을 결정하고 동작 508을 실행하여 자극 메시지(600)를 자극 제어기(406)에 송신한다. 자극 메시지(600)는 대상의 감정 상태를 새로운 감정 상태로 전환하기 위해 예측된 추가 자극을 제시하기 위한 요청을 포함할 수 있다. 자극 메시지(600)를 수신하는 것에 응답하여, 자극 제어기(406)는 동작 510을 실행하여 자극(414)을 생성한다. 이 시점에서, 전술한 활동은 감정 탐지(402)가 동작 204를 실행하여 자극(414)을 대상(410)에 제시한 직후의 시간에 대상(410)의 이미지를 얻기 위해 폴링하는 것으로 반복될 수 있다.
이전에 개시된 것들보다 더 전문화된 감정 탐지 시스템들을 이제 도 6을 참조하여 설명한다. 전문화된 감정 탐지 시스템의 일례는 온라인 또는 전통적인 방송 콘텐츠(예를 들어, 이야기, 강의, 기사, 영화, 쇼, 아마추어 비디오 등)에 관한 것이다. 이 예에서, 감정 탐지 디바이스(402)는 대상(410)이 콘텐츠를 리뷰하거나 그와 상호 작용함으로써 자극(412)을 수신할 때 대상(410)를 보도록 배치된다. 원격 디바이스(404)는 익명 데이터 세트들을 기록하고 추가로 그것들을 분석하여 온라인 콘텐츠의 식별된 부분들(예를 들어, 뉴스 이야기, 노래, 우스개, 서스펜스가 넘치는 장면, 극적인 장면, 무서운 장면 등)이 대상(410)의 감정 상태에 그 의도된 영향을 미쳤는지를 결정한다. 이 예에서, 분석된 익명 데이터의 요약들을 콘텐츠 제작자들에게 제공하여 그들이 향후 콘텐츠를 개선하는 것을 가능하게 할 수 있다. 대안적으로, 요약들을 콘텐츠 제공자들에게 제공하여 그들이 어떤 콘텐츠가 일반적으로 대상들에 또는 특히 대상(410)에 가장 관련될 수 있는지에 대한 더 나은 제안을 하는 것을 가능하게 할 수 있다.
전문화된 감정 탐지 시스템의 또 다른 예는 비디오 게임들에 관한 것이다. 이 예에서, 감정 탐지 디바이스(402)는 대상(410)이 비디오 게임을 함으로써 자극(412)을 수신할 때 대상(410)를 보도록 배치된다. 원격 디바이스(404)는 익명 데이터 세트들을 기록하고 추가로 그것들을 분석하여 게임들의 식별된 부분들(예를 들어, 스테이지, 퍼즐, 보스 배틀, 컷 장면 등)이 대상(410)의 감정 상태에 그 의도된 영향을 미쳤는지를 결정한다. 이 예에서, 분석된 익명 데이터의 요약들을 비디오 게임 제작자들에게 제공하여 그들이 향후 게임들을 개선하는 것을 가능하게 할 수 있다. 대안적으로, 요약들을 비디오 게임 제공자들에게 제공하여 그들이 어떤 게임들이 일반적으로 대상들에 또는 특히 대상(410)에 가장 관련될 수 있는지에 대한 더 나은 제안을 하는 것을 가능하게 할 수 있다.
전문화된 감정 탐지 시스템의 또 다른 예는 온라인 쇼핑에 관한 것이다. 이 예에서, 감정 탐지 디바이스(402)는 대상(410)이 구매할 아이템들을 검색하여 웹 사이트를 브라우징함으로써 자극(412)을 수신할 때 대상(410)를 보도록 배치된다. 원격 디바이스(404)는 익명 데이터 세트들을 기록하고 추가로 그것들을 분석하여 어떤 아이템들 또는 가격들이 대상(410)에 긍정적 및 부정적 감정 반응들을 유발했는지를 결정한다. 또한, 이 예에서, 자극 제어기(406)는 미리 정의된 상황들에서 추가 자극(예를 들어, 자극(414))을 제시할 수 있다. 예를 들어, 대상(410)이 가격 정보 없이 아이템이 제시될 때 긍정적 감정을 표현했고 이어서 가격이 제시될 때 부정적 감정을 표현한 경우, 원격 디바이스(404)는 특정된 퍼센트만큼 가격을 할인하기 위한 자극 메시지(600)를 송신할 수 있다. 자극 메시지(600)를 수신하는 것에 응답하여, 자극 제어기(406)는 할인된 가격의 형태로 추가 자극(414)을 송신할 수 있다.
또한, 이 예에서, 원격 디바이스(404)는 익명 데이터 세트들을 분석하여 어떤 제품들에 대상(410)이 관심이 있었고 어떤 것들에 관심이 없었는지를 나타내는 요약들을 생성할 수 있다. 분석된 익명 데이터의 요약들을 아이템 제조업체들에 제공하여 그들이 향후 아이템들을 개선하는 것을 가능하게 할 수 있다. 대안적으로, 요약들을 소매업자들에게 제공하여 그들이 어떤 아이템들이 일반적으로 대상들에 또는 특히 대상(410)에 가장 관련될 수 있는지에 대한 더 나은 제안을 하는 것을 가능하게 할 수 있다.
전문화된 감정 탐지 시스템의 또 다른 예는 영화관들에서 제시되는 영화들에 관한 것이다. 이 예에서, 감정 탐지 디바이스(402)는 대상(410)이 영화관에서 영화를 봄으로써 의해 자극(412)을 수신할 때 대상(410)를 보도록 배치된다. 원격 디바이스(404)는 익명 데이터 세트들을 기록하고 추가로 그것들을 분석하여 영화의 식별된 부분들(예를 들어, 우스개, 서스펜스가 넘치는 장면, 극적인 장면, 무서운 장면 등)이 대상(410)의 감정 상태에 그 의도된 영향을 미쳤는지를 결정한다. 이 예에서, 분석된 익명 데이터의 요약들을 비디오 영화 제작자들에게 제공하여 그들이 향후 영화들을 개선하는 것을 가능하게 할 수 있다.
전문화된 감정 탐지 시스템의 또 다른 예는 표지판들 및 광고판들에서 제시된 광고에 관한 것이다. 이 예에서, 감정 탐지 디바이스(402)는 대상(410)이 표지판 또는 광고판에서 광고를 봄으로써 의해 자극(412)을 수신할 때 대상(410)를 보도록 배치된다. 원격 디바이스(404)는 익명 데이터 세트들을 기록하고 추가로 그것들을 분석하여 광고가 대상(410)에 긍정적 및 부정적 감정 반응을 유발했는지를 분석하고 광고가 대상(410)의 감정 상태에 그 의도된 영향을 미쳤는지를 결정한다. 또한, 이 예에서, 원격 디바이스(404)는 익명 데이터 세트들을 분석하여 어떤 제품들에 대상(410)이 관심이 있었고 어떤 것들에 관심이 없었는지를 나타내는 요약들을 생성할 수 있다. 분석된 익명 데이터의 요약들을 아이템 제조업체들에 제공하여 그들이 향후 아이템들을 개선하는 것을 가능하게 할 수 있다. 대안적으로, 요약들을 소매업자들에게 제공하여 그들이 어떤 아이템들이 일반적으로 대상들에 또는 특히 대상(410)에 가장 관련될 수 있는지에 대한 더 나은 제안을 하는 것을 가능하게 할 수 있다.
전문화된 감정 탐지 시스템의 또 다른 예는 실제 쇼핑에 관한 것이다. 이 예에서, 감정 탐지 디바이스(402)는 대상(410)이 전통적인 소매점(예를 들어, 슈퍼마켓, 백화점, 전문점 등)에서 구매할 아이템들을 둘러봄으로써 자극(412)을 수신할 때 대상(410)를 보도록 배치된다. 원격 디바이스(404)는 익명 데이터 세트들을 기록하고 추가로 그것들을 분석하여 어떤 아이템들 또는 가격들이 대상(410)에 긍정적 및 부정적 감정 반응들을 유발했는지를 결정한다. 또한, 이 예에서, 자극 제어기(406)는 미리 정의된 상황들에서 추가 자극(예를 들어, 자극(414))을 제시할 수 있다. 예를 들어, 대상(410)이 가격 정보 없이 아이템이 제시될 때 긍정적 감정을 표현했고 이어서 가격이 제시될 때 부정적 감정을 표현한 경우, 원격 디바이스(404)는 특정된 퍼센트만큼 가격을 할인하기 위한 자극 메시지(600)를 송신할 수 있다. 자극 메시지(600)를 수신하는 것에 응답하여, 자극 제어기(406)는 할인된 가격의 형태로 추가 자극(414)을 송신할 수 있다.
또한, 이 예에서, 원격 디바이스(404)는 익명 데이터 세트들을 분석하여 어떤 제품들에 대상(410)이 관심이 있었고 어떤 것들에 관심이 없었는지를 나타내는 요약들을 생성할 수 있다. 분석된 익명 데이터의 요약들을 아이템 제조업체들에 제공하여 그들이 향후 아이템들을 개선하는 것을 가능하게 할 수 있다. 대안적으로, 요약들을 소매업자들에게 제공하여 그들이 어떤 아이템들이 일반적으로 대상들에 또는 특히 대상(410)에 가장 관련될 수 있는지에 대한 더 나은 제안을 하는 것을 가능하게 할 수 있다.
전문화된 감정 탐지 시스템의 또 다른 예는 자동차 운전에 관한 것이다. 이 예에서, 감정 탐지 디바이스(402)는 대상(410)이 자동차를 운전하고 차량 내 엔터테인먼트 시스템에 의해 제공된 콘텐츠를 리뷰함으로써 자극(412)을 수신할 때 대상(410)를 보도록 배치된다. 원격 디바이스(404)는 익명 데이터 세트들을 기록하고 추가로 그것들을 분석하여 어떤 이벤트들(날씨 및 교통 상황, 라디오에서 연주되는 노래 등)이 대상(410)에 긍정적 및 부정적 감정 반응들을 유발했는지를 결정한다. 또한, 이 예에서, 자극 제어기(406)는 미리 정의된 상황들에서 추가 자극(예를 들어, 자극(414))을 제시할 수 있다. 예를 들어, 날씨 또는 교통 상황이 제시될 때 대상(410)이 부정적 감정을 표현한 경우, 원격 디바이스(404)는 대상(410)를 진정시키기 위한 자극 메시지(600)를 송신할 수 있다. 자극 메시지(600)를 수신하는 것에 응답하여, 자극 제어기(406)는 대상(410)을 편안하게 하기 위한 위로 음악 또는 위로 메시지의 형태로 추가 자극(414)을 제공할 수 있다. 또 다른 예에서, 대상(410)이 구성 가능한 파라미터의 값을 초과하는 시간 동안 감정의 결여를 표현한 경우, 원격 디바이스(404)는 대상(410)의 활기를 북돋기 위한 자극 메시지(600)를 송신할 수 있다. 자극 메시지(600)를 수신하는 것에 응답하여, 자극 제어기(406)는 대상(410)의 활기를 북돋기 위한 활기 있는 음악, 메시지 또는 알람의 형태로 추가 자극(414)을 제공할 수 있다.
일부 예들에서, 본 명세서에 개시된 컴포넌트들(예를 들어, PERS(100), 감정 탐지 디바이스(402), 원격 디바이스(404), 및 자극 제어기(406))는 컴포넌트들에 의해 수행되는 동작들에 영향을 미치는 파라미터들을 판독할 수 있다. 이러한 파라미터들은 휘발성 메모리(예를 들어 RAM) 또는 비휘발성 메모리(예를 들어 자기 하드 드라이브)를 포함하여 임의의 형태의 적합한 메모리에 물리적으로 저장될 수 있다. 또한, 파라미터들은 사유 데이터 구조(예를 들어 사용자 모드 애플리케이션에 의해 정의된 데이터베이스 또는 파일) 또는 공통 공유 데이터 구조(운영 체제에 의해 정의되는 애플리케이션 레지스트리)에 논리적으로 저장될 수 있다. 또한, 일부 예들은 외부 엔티티들이 파라미터들을 수정하여 컴포넌트들의 작용을 구성할 수 있게 하는 시스템 및 사용자 인터페이스들 양쪽 모두를 제공한다.
감정 탐지 디바이스(100) 또는 감정 탐지 시스템(400) 내의 정보는, 여러 구조들 중에서, 링크된 리스트, 파일 시스템, 플랫 파일, 인덱싱된 파일, 계층적 데이터베이스, 관계형 데이터베이스 또는 객체 지향 데이터베이스를 포함하여 컴퓨터 판독 가능 매체 상에 정보를 보유할 수 있는 임의의 논리적 및 물리적 구성으로 저장될 수 있다. 데이터는 고유 키 및 외래 키 관계들 및 인덱스들을 사용하여 모델링될 수 있다. 고유 키 및 외래 키 관계들 및 인덱스들은 데이터 무결성과 데이터 교환 성능 둘 다를 보장하기 위해 다양한 필드들과 테이블들 사이에 설정될 수 있다.
정보는 다양한 기법들을 사용하여 본 명세서에 개시된 컴포넌트 간에 흐를 수 있다. 그러한 기법들로는, 예를 들어, TCP/IP 또는 HTTP와 같은 표준 프로토콜들을 사용하여 네트워크를 통해 정보를 전달하는 것, 메모리 내의 모듈들 간에 정보를 전달하는 것, 및 파일, 데이터베이스, 데이터 저장소 또는 일부 다른 비휘발성 데이터 저장 디바이스에 기입하는 것에 의해 정보를 전달하는 것을 포함한다. 또한, 정보의 복사본들 대신, 또는 그와 조합하여, 그에 부가적으로 정보에 대한 포인터들 또는 다른 참조들이 송신 및 수신될 수 있다. 반대로, 정보에 대한 포인터들 또는 다른 참조들 대신, 또는 그와 조합하여, 그에 부가적으로 정보가 교환될 수 있다. 본 명세서에 개시된 예들 및 실시예들의 범위를 벗어나지 않고 정보를 통신하기 위한 다른 기법들 및 프로토콜들이 사용될 수 있다.
예시적인 시스템
도 7은 본 개시의 일 실시예에 따라 구성된 컴퓨팅 시스템(700)을 도시한다. 일부 실시예들에서, 시스템(700)은 대상의 감정 상태를 탐지하기 위한 컴퓨팅 시스템일 수 있지만, 시스템(700)은 이 맥락으로 제한되지 않는다. 예를 들어, 시스템(700)은 개인용 컴퓨터(PC), 랩톱 컴퓨터, 울트라-랩톱 컴퓨터, 태블릿, 터치 패드, 휴대용 컴퓨터, 핸드헬드 컴퓨터, 팜톱 컴퓨터, 개인 휴대 정보 단말기(PDA), 셀룰러 전화기, 조합 셀룰러 전화기/PDA, 텔레비전, 스마트 디바이스(예를 들어, 스마트 폰, 스마트 태블릿 또는 스마트 텔레비전), 모바일 인터넷 디바이스(MID), 메시징 디바이스, 데이터 통신 디바이스, 셋톱 박스, 게임 콘솔, 또는 그래픽 렌더링 작업들을 수행하고 콘텐츠를 디스플레이할 수 있는 다른 그러한 컴퓨팅 환경들에 통합될 수 있다.
일부 실시예들에서, 시스템(700)은 디스플레이(720)에 연결된 플랫폼(702)을 포함한다. 플랫폼(702)은 콘텐츠 디바이스 예를 들어 콘텐츠 서비스 디바이스(들)(730) 또는 콘텐츠 전달 디바이스(들)(740) 또는 다른 유사한 콘텐츠 소스들로부터 콘텐츠를 수신할 수 있다. 하나 이상의 내비게이션 피처를 포함하는 내비게이션 제어기(750)는 사용자에 의한 내비게이션 제스처를 보완하기 위해, 예를 들어, 플랫폼(702) 및/또는 디스플레이(720)와 상호 작용하는 데 사용될 수 있다. 이러한 예시적인 컴포넌트들 각각에 대해 아래에 더 상세히 설명한다.
일부 실시예들에서, 플랫폼(702)은 칩셋(705), 프로세서(710), 메모리(712), 저장 디바이스(714), 그래픽 서브시스템(715), 애플리케이션들(716) 및/또는 라디오(718)의 임의의 조합을 포함할 수 있다. 칩셋(705)은 프로세서(710), 메모리(712), 저장 디바이스(714), 그래픽 서브시스템(715), 애플리케이션들(716) 및/또는 라디오(718) 간의 상호통신을 제공할 수 있다. 예를 들어, 칩셋(705)은 저장 디바이스(714)와의 상호통신을 제공할 수 있는 저장 디바이스 어댑터(도시되지 않음)를 포함할 수 있다.
프로세서(710)는, 예를 들어, CISC(Complex Instruction Set Computer) 또는 RISC(Reduced Instruction Set Computer) 프로세서들, x86 명령어 세트 호환 프로세서들, 멀티-코어, 또는 임의의 다른 마이크로프로세서 또는 중앙 처리 유닛(CPU)으로서 구현될 수 있다. 일부 실시예들에서, 프로세서(710)는 듀얼-코어 프로세서(들), 듀얼-코어 모바일 프로세서(들) 등을 포함할 수 있다. 메모리(712)는, 예를 들어, RAM(Random Access Memory), DRAM(Dynamic Random Access Memory), 또는 SRAM(Static RAM)과 같은, 그러나 이에 제한되지는 않는, 휘발성 메모리 디바이스로서 구현될 수 있다. 저장 디바이스(714)는, 예를 들어, 자기 디스크 드라이브, 광학 디스크 드라이브, 테이프 드라이브, 내부 저장 디바이스, 부착된 저장 디바이스, 플래시 메모리, 배터리 백업 SDRAM(동기식 DRAM), 및/또는 네트워크 액세스 가능한 저장 디바이스와 같은, 그러나 이에 제한되지는 않는, 비휘발성 저장 디바이스로서 구현될 수 있다. 일부 실시예들에서, 저장 디바이스(714)는, 예를 들어, 다수의 하드 드라이브가 포함될 때 귀중한 디지털 미디어에 대한 저장 성능 향상된 보호를 증가시키는 기술을 포함할 수 있다.
그래픽 서브시스템(715)은 디스플레이를 위해 정지 또는 비디오와 같은 이미지들의 처리를 수행할 수 있고, 일부 실시예들에서는 본 명세서에서 다양하게 설명된 바와 같은, 다이렉트 뷰 디스플레이의 광원들의 어레이를 구동하도록 구성된다. 그래픽 서브시스템(715)은, 예를 들어, 그래픽 처리 유닛(GPU) 또는 시각적 처리 유닛(visual processing unit)(VPU)일 수 있다. 아날로그 또는 디지털 인터페이스는 그래픽 서브시스템(715)과 디스플레이(720)를 통신가능하게 결합하는 데 사용될 수 있다. 예를 들어, 인터페이스는 HDMI(High-Definition Multimedia Interface), DisplayPort, 무선 HDMI, 및/또는 무선 HD 호환 기법들 중 임의의 것일 수 있다. 그래픽 서브시스템(715)은 프로세서(710) 또는 칩셋(705)에 통합될 수 있다. 그래픽 서브시스템(715)은 칩셋(705)에 통신가능하게 결합되는 독립형 카드일 수 있다. 본 명세서에 설명된 다이렉트 뷰 프로젝션 기법들을 포함하는, 그래픽 및/또는 비디오 처리 기법들은 다양한 하드웨어 아키텍처들로 구현될 수 있다. 예들 들어, 그래픽 및/또는 비디오 기능은 칩셋 내에서 통합될 수 있다. 대안적으로, 개별 그래픽 및/또는 비디오 프로세서가 이용될 수 있다. 또 다른 실시예로서, 그래픽 및/또는 비디오 기능들이 멀티-코어 프로세서를 포함하여 범용 프로세서에 의해 구현될 수 있다. 추가 실시예에서, 기능들은 소비자 전자 디바이스에서 구현될 수 있다.
라디오(718)는 다양한 적합한 무선 통신 기법들을 이용하여 신호를 송신 및 수신할 수 있는 하나 이상의 라디오를 포함할 수 있다. 이러한 기법들은 하나 이상의 무선 네트워크에 걸친 통신을 수반할 수 있다. 예시적인 무선 네트워크들은 무선 로컬 영역 네트워크(WLAN)들, 무선 개인 영역 네트워크(WPAN)들, 무선 메트로폴리탄 영역 네트워크(WMAN)들, 셀룰러 네트워크들, 및 위성 네트워크들을 포함한다(그러나 이들에 제한되지 않음). 그러한 네트워크들 간의 통신에서, 라디오(718)는 하나 이상의 적용가능한 임의의 버전의 표준에 따라서 동작할 수 있다.
일부 실시예들에서, 디스플레이(720)는 임의의 텔레비전 또는 컴퓨터 유형의 모니터 또는 디스플레이를 포함할 수 있다. 하나 이상의 소프트웨어 애플리케이션(716)의 제어 하에, 플랫폼(702)은 디스플레이(720) 상에 사용자 인터페이스(722)를 디스플레이할 수 있다.
일부 실시예들에서, 콘텐츠 서비스 디바이스(들)(730)는 임의의 국내, 국제 및/또는 독립 서비스에 의해 호스팅될 수 있으며 따라서 예를 들어 인터넷 또는 다른 네트워크를 통해 플랫폼(702)에 의해 액세스 가능할 수 있다. 콘텐츠 서비스 디바이스(들)(730)은 플랫폼(702)에 및/또는 디스플레이(720)에 결합될 수 있다. 플랫폼(702) 및/또는 콘텐츠 서비스 디바이스(들)(730)은 네트워크(760)에 결합되어 네트워크(760)로/로부터 미디어 정보를 통신(예를 들어 전송 및/또는 수신)할 수 있다. 콘텐츠 전달 디바이스(들)(740)도 플랫폼(702)에 및/또는 디스플레이(720)에 결합될 수 있다. 일부 실시예들에서, 콘텐츠 서비스 디바이스(들)(730)는 디지털 정보 및/또는 콘텐츠를 전달할 수 있는 케이블 텔레비전 박스, 개인용 컴퓨터, 네트워크, 전화기, 인터넷 가능 디바이스 또는 가전 기기, 및 네트워크(760)를 통해 또는 직접, 콘텐츠 제공자들과 플랫폼(702) 및/또는 디스플레이(720) 사이에서 단방향 또는 양방향으로 콘텐츠를 전달할 수 있는 임의의 다른 유사한 디바이스를 포함할 수 있다. 콘텐츠는 네트워크(760)를 통해서 시스템(700) 내의 컴포넌트들 중 임의의 하나 및 콘텐츠 제공자로/로부터 단방향 및/또는 양방향으로 전달될 수 있음을 이해할 것이다. 콘텐츠의 예로는, 예를 들어, 비디오, 음악, 그래픽, 텍스트, 의료 및 게임 콘텐츠 등을 포함하는 임의의 미디어 정보를 포함할 수 있다.
콘텐츠 서비스 디바이스(들)(730)는 미디어 정보, 디지털 정보, 및/또는 다른 콘텐츠를 포함하는 케이블 텔레비전 프로그래밍과 같은 콘텐츠를 수신한다. 콘텐츠 제공자들의 예로는 임의의 케이블 또는 위성 텔레비전 또는 라디오 또는 인터넷 콘텐츠 제공자들을 포함할 수 있다. 제공된 예들은 본 개시를 제한하기 위해 의도된 것이 아니다. 일부 실시예들에서, 플랫폼(702)은 하나 이상의 내비게이션 피처를 갖는 내비게이션 제어기(750)로부터 제어 신호들을 수신할 수 있다. 제어기(750)의 내비게이션 피처들은, 예를 들어, 사용자 인터페이스(722)와 상호작용하는 데 이용될 수 있다. 일부 실시예들에서, 내비게이션 제어기(750)는 사용자가 공간(예를 들어, 연속 및 다차원) 데이터를 컴퓨터에 입력할 수 있게 하는 컴퓨터 하드웨어 컴포넌트(특히 휴먼 인터페이스 디바이스)일 수 있는 포인팅 디바이스일 수 있다. 그래픽 사용자 인터페이스(GUI), 텔레비전 및 모니터와 같은 많은 시스템들은 사용자가 신체적 제스처, 얼굴 표정, 또는 소리를 사용하여 컴퓨터 또는 텔레비전을 제어하고 이에 데이터를 제공할 수 있게 한다.
제어기(750)의 내비게이션 피처들의 움직임들은 디스플레이 상에 디스플레이된 포인터, 커서, 포커스 링, 또는 다른 시각적 표시자들의 움직임들에 의해서 디스플레이(예를 들어, 디스플레이(720)) 상에 반영(echo)될 수 있다. 예를 들어, 소프트웨어 애플리케이션(716)의 제어 하에, 내비게이션 제어기(750)에 위치한 내비게이션 피처들은, 예를 들어, 사용자 인터페이스(722) 상에 디스플레이된 가상 내비게이션 피처들에 매핑될 수 있다. 일부 실시예들에서, 제어기(750)는 별개의 컴포넌트가 아니고 플랫폼(702) 및/또는 디스플레이(720)에 통합될 수 있다. 그러나, 이해되는 바와 같이, 실시예들은 본 명세서에 도시되거나 기술된 맥락 또는 요소들로 제한되지 않는다.
일부 실시예들에서, 드라이버들(도시되지 않음)은, 예를 들어, 인에이블될 때, 사용자들이 초기 부팅 후에 버튼의 터치로 텔레비전 같은 플랫폼(702)을 즉시 온/오프시키는 것을 가능하게 하는 기술을 포함할 수 있다. 프로그램 로직은, 플랫폼(702)으로 하여금, 플랫폼이 "오프"될 때 미디어 어댑터들 또는 다른 콘텐츠 서비스 디바이스(들)(730) 또는 콘텐츠 전달 디바이스(들)(740)에 콘텐츠를 스트리밍할 수 있게 할 수 있다. 또한, 칩셋(705)은, 예를 들어, 5.1 서라운드 사운드 오디오 및/또는 고선명 7.1 서라운드 사운드 오디오를 위한 하드웨어 및/또는 소프트웨어 지원을 포함할 수 있다. 드라이버들은 통합 그래픽 플랫폼들을 위한 그래픽 드라이버를 포함할 수 있다. 일부 실시예들에서, 그래픽 드라이버는 PCI(Peripheral Component Interconnect) 익스프레스 그래픽 카드를 포함할 수 있다.
다양한 실시예들에서, 시스템(700)에 도시되어 있는 컴포넌트들 중 임의의 하나 이상이 통합될 수 있다. 예를 들어, 플랫폼(702)과 콘텐츠 서비스 디바이스(들)(730)가 통합될 수 있고 또는 플랫폼(702)과 콘텐츠 전달 디바이스(들)(740)가 통합될 수 있고, 또는 플랫폼(702), 콘텐츠 서비스 디바이스(들)(730), 및 콘텐츠 전달 디바이스(들)(740)가 통합될 수 있다. 다양한 실시예들에서, 플랫폼(702) 및 디스플레이(720)는 통합된 유닛일 수 있다. 예를 들어, 디스플레이(720) 및 콘텐츠 서비스 디바이스(들)(730)가 통합될 수 있고, 또는 디스플레이(720) 및 콘텐츠 전달 디바이스(들)(740)가 통합될 수 있다. 이 예들은 본 개시를 제한하기 위해 의도된 것이 아니다.
다양한 실시예들에서, 시스템(700)은 무선 시스템, 유선 시스템, 또는 이 둘의 조합으로서 구현될 수 있다. 무선 시스템으로서 구현되는 경우, 시스템(700)은, 하나 이상의 안테나, 송신기, 수신기, 송수신기, 증폭기, 필터, 제어 로직, 및 기타 등등과 같은, 무선 공유 매체(wireless shared media)를 통해 통신하기에 적합한 컴포넌트들 및 인터페이스들을 포함할 수 있다. 무선 공유 매체의 일례는 무선 스펙트럼의 부분들, 예를 들어 RF 스펙트럼 및 기타 등등을 포함할 수 있다. 유선 시스템으로서 구현되는 경우, 시스템(700)은, 입력/출력(I/O) 어댑터, I/O 어댑터를 대응하는 유선 통신 매체와 연결하기 위한 물리적 커넥터, 네트워크 인터페이스 카드(NIC), 디스크 제어기, 비디오 제어기, 오디오 제어기, 및 기타 등등과 같은, 유선 통신 매체를 통해 통신하기에 적합한 컴포넌트들 및 인터페이스들을 포함할 수 있다. 유선 통신 매체의 예들은 와이어, 케이블, 금속 리드, PCB(printed circuit board), 백플레인(backplane), 스위치 패브릭, 반도체 재료, 연선(twisted-pair wire), 동축 케이블, 광섬유, 및 기타 등등을 포함할 수 있다.
플랫폼(702)은 정보를 통신하기 위해 하나 이상의 논리적 또는 물리적 채널을 설정할 수 있다. 정보는 미디어 정보 및 제어 정보를 포함할 수 있다. 미디어 정보는 사용자를 위해 의도된 콘텐츠를 나타내는 임의의 데이터를 지칭할 수 있다. 콘텐츠의 예는, 예를 들어, 음성 대화, 화상 회의, 스트리밍 비디오, 이메일 또는 텍스트 메시지, 음성 메일 메시지, 영숫자 기호, 그래픽, 이미지, 비디오, 텍스트 등으로부터의 데이터를 포함할 수 있다. 제어 정보는 자동화된 시스템을 위해 의도된 명령들(commands), 명령어들(instructions) 또는 제어 워드들을 나타내는 임의의 데이터를 지칭할 수 있다. 예를 들어, 제어 정보는 시스템을 통해 미디어 정보를 라우팅하거나, 미리 결정된 방식으로 미디어 정보를 처리하도록 노드(node)에 지시하는 데에 사용될 수 있다(예를 들어, 본 명세서에 설명된 바와 같이 특권 액세스 위반 체크를 위해 보조된 하드웨어를 사용하여). 그러나, 실시예는 도 7에 도시되거나 기술된 맥락 또는 요소들로 제한되지 않는다.
전술한 바와 같이, 시스템(700)은 갖가지 물리적 스타일 또는 폼 팩터(form factor)로 구체화될 수 있다. 도 8은 시스템(700)이 구체화될 수 있는 소형 폼 팩터 디바이스(800)의 실시예들을 도시한다. 일부 실시예들에서, 디바이스(800)는 무선 능력을 갖는 모바일 컴퓨팅 디바이스로서 구현될 수 있다. 모바일 컴퓨팅 디바이스는, 예를 들어, 처리 시스템 및 모바일 전원 또는 전력 공급, 예를 들어 하나 이상의 배터리를 갖는 임의의 디바이스를 지칭할 수 있다.
전술한 바와 같이, 모바일 컴퓨팅 디바이스의 예로는 개인용 컴퓨터(PC), 랩톱 컴퓨터, 울트라-랩톱 컴퓨터, 태블릿, 터치 패드, 휴대용 컴퓨터, 핸드헬드 컴퓨터, 팜톱 컴퓨터, 개인 휴대 정보 단말기(PDA), 셀룰러 전화기, 조합 셀룰러 전화기/PDA, 텔레비전, 스마트 디바이스(예를 들어, 스마트 폰, 스마트 태블릿 또는 스마트 텔레비전), 모바일 인터넷 디바이스(MID), 메시징 디바이스, 데이터 통신 디바이스, 및 기타 등등을 포함할 수 있다.
모바일 컴퓨팅 디바이스의 예로는 또한 사람이 착용하도록 마련된 컴퓨터, 예를 들어 손목 컴퓨터(wrist computer), 손가락 컴퓨터(finger computer), 반지 컴퓨터(ring computer), 안경 컴퓨터(eyeglass computer), 벨트 클립 컴퓨터(belt-clip computer), 암 밴드 컴퓨터(arm-band computer), 신발 컴퓨터(shoe computer), 의복 컴퓨터(clothing computer) 및 다른 착용가능 컴퓨터(wearable computer)를 포함할 수 있다. 일부 실시예들에서, 예를 들어, 모바일 컴퓨팅 디바이스는 음성 통신 및/또는 데이터 통신뿐만 아니라, 컴퓨터 애플리케이션을 실행하는 것이 가능한 스마트 폰으로서 구현될 수 있다. 일부 실시예들은 모바일 컴퓨팅 디바이스가 예로서 스마트 폰으로 구현된 것으로 기술될 수 있을지라도, 다른 실시예들은 또한 다른 무선 모바일 컴퓨팅 디바이스들을 이용하여 구현될 수도 있다는 것을 알 것이다. 실시예들은 이 맥락에서 제한되지 않는다.
도 8에 도시된 바와 같이, 디바이스(800)는, 하우징(802), 디스플레이(804), 입력/출력(I/O) 디바이스(806), 및 안테나(808)를 포함할 수 있다. 디바이스(800)는 또한 내비게이션 피처들(812)을 포함할 수 있다. 디스플레이(804)는 모바일 컴퓨팅 디바이스에 적절한 정보를 디스플레이하기 위한 임의의 적합한 디스플레이 유닛을 포함할 수 있으며, 그것은 하나의 예시적인 실시예에서 본 명세서에 제공된 바와 같은 다이렉트 뷰가 가능한 픽셀화된 디스플레이이다. I/O 디바이스(806)는 모바일 컴퓨팅 디바이스에 정보를 입력하기 위한 임의의 적합한 I/O 디바이스를 포함할 수 있다. I/O 디바이스(806)에 대한 예로는 영숫자 키보드, 숫자 키패드, 터치 패드, 입력 키, 버튼, 카메라, 스위치, 로커 스위치, 마이크로폰, 스피커, 음성 인식 디바이스 및 소프트웨어, 및 기타 등등을 포함할 수 있다. 정보는 또한 마이크로폰을 통해 디바이스(800)에 입력될 수 있다. 이러한 정보는 음성 인식 디바이스에 의해 디지털화될 수 있다. 실시예들은 이 맥락에서 제한되지 않는다.
다양한 실시예들이 하드웨어 요소들, 소프트웨어 요소들, 또는 이 둘의 조합을 사용하여 구현될 수 있다. 하드웨어 요소들의 예로는 프로세서들, 마이크로프로세서들, 회로들, 회로 요소들(예를 들어, 트랜지스터들, 저항들, 커패시터들, 인덕터들, 및 기타 등등), 집적 회로들, ASIC(application specific integrated circuits), PLD(programmable logic devices), DSP(digital signal processors), FPGA(field programmable gate array), 로직 게이트들, 레지스터들, 반도체 디바이스, 칩들, 마이크로칩들, 칩셋들, 및 기타 등등을 포함할 수 있다. 소프트웨어의 예로는 소프트웨어 컴포넌트들, 프로그램들, 애플리케이션들, 컴퓨터 프로그램들, 애플리케이션 프로그램들, 시스템 프로그램들, 머신 프로그램들, 운영 체제 소프트웨어들, 미들웨어, 펌웨어, 소프트웨어 모듈들, 루틴들, 서브루틴들, 함수들, 메소드들, 프로시저들, 소프트웨어 인터페이스들, 애플리케이션 프로그램 인터페이스들(API), 명령어 세트들, 컴퓨팅 코드, 컴퓨터 코드, 코드 세그먼트들, 컴퓨터 코드 세그먼트들, 워드들, 값들, 심볼들, 또는 이것들의 임의의 조합을 포함할 수 있다. 하드웨어 요소들 및/또는 소프트웨어 요소들이 사용되는지는 임의의 개수의 인자, 예를 들어 원하는 계산상의 속도(computational rate), 전력 레벨(power level), 내열성(heat tolerance), 처리 사이클 예산(processing cycle budget), 입력 데이터 레이트(input data rate), 출력 데이터 레이트(output data rate), 메모리 리소스(memory resource), 데이터 버스 속도(data bus speed) 및 다른 설계 또는 성능 제약에 따라 실시예마다 달라질 수 있다.
일부 실시예들은, 예를 들어, 명령어 또는 명령어들의 세트를 저장할 수 있는 머신 판독 가능 매체 또는 물품을 사용하여 구현될 수 있는데, 그러한 명령어는, 머신에 의해 실행되는 경우, 머신으로 하여금 본 개시의 일 실시예에 따른 방법 및/또는 동작들을 수행하게 할 수 있다. 그러한 머신은, 예를 들어, 임의의 적합한 프로세싱 플랫폼, 컴퓨팅 플랫폼, 컴퓨팅 디바이스, 처리 디바이스, 컴퓨팅 시스템, 처리 시스템, 컴퓨터, 프로세서, 또는 기타 등등을 포함할 수 있으며, 하드웨어와 소프트웨어의 임의의 적합한 조합을 사용하여 구현될 수 있다. 머신 판독 가능 매체 또는 물품은, 예를 들어, 임의의 적합한 유형의 메모리 유닛, 메모리 디바이스, 메모리 물품, 메모리 매체, 저장 디바이스, 저장 물품, 저장 매체 및/또는 저장 유닛, 예를 들어, 메모리, 이동식 또는 비이동식 매체, 소거가능 또는 소거불가능 매체, 기입가능 또는 재기입가능 매체, 디지털 또는 아날로그 매체, 하드 디스크, 플로피 디스크, CD-ROM(Compact Disk Read Only Memory), CD-R(Compact Disk Recordable), CD-RW(Compact Disk Rewriteable), 광학 디스크, 자기 매체, 자기-광학 매체, 이동식 메모리 카드 또는 디스크, 다양한 유형의 DVD(Digital Versatile Disk), 테이프, 카세트, 또는 다른 유사한 것을 포함할 수 있다. 명령어들은 적절한 하이 레벨, 로우 레벨, 객체 지향, 비주얼, 컴파일된 및/또는 인터프리트된 프로그래밍 언어를 사용하여 구현된 임의의 적합한 유형의 실행 가능 코드를 포함할 수 있다.
추가의 예시적인 실시예들
다음의 예들은 추가 실시예들에 관한 것이며, 이러한 추가 실시예들로부터 다수의 치환들 및 구성들이 명백할 것이다.
예 1은 감정 탐지 디바이스를 포함하는 감정 탐지 시스템으로서, 상기 감정 탐지 디바이스는: 메모리; 상기 메모리에 결합된 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 의해 실행 가능한 얼굴 이미지 처리 모듈을 포함하고, 상기 얼굴 이미지 처리 모듈은: 대상의 얼굴을 묘사하는 이미지 데이터를 수신하고; 상기 얼굴 상의 복수의 포인트를 식별하기 위해 상기 이미지 데이터를 분석하고; 상기 복수의 포인트를 묘사하는 익명 데이터 세트를 저장하고 - 상기 익명 데이터 세트의 각 요소는 식별자 필드 및 위치 필드를 포함함 -; 상기 익명 데이터 세트를 상기 감정 탐지 디바이스와는 별개의 원격 디바이스로 송신하고; 상기 이미지 데이터를 삭제하도록 구성된다.
예 2는 예 1의 발명 요지를 포함하고, 상기 이미지 데이터는 2차원 이미지 데이터와 3차원 이미지 데이터 중 적어도 하나를 포함한다.
예 3은 전술한 예들 중 어느 하나의 발명 요지를 포함하고, 상기 얼굴 이미지 처리 모듈은: 적어도 부분적으로 데이터 세트를 일반 얼굴로 정규화함으로써 상기 이미지 데이터를 분석하고; 적어도 부분적으로 상기 데이터 세트를 저장함으로써 상기 익명 데이터를 저장하도록 구성된다.
예 4는 전술한 예들 중 어느 하나의 발명 요지를 포함하고, 상기 이미지 데이터는 랜드마크 포인트들을 포함한다.
예 5는 전술한 예들 중 어느 하나의 발명 요지를 포함하고, 상기 익명 데이터 세트의 각 요소의 위치는 2차원 값과 3차원 값 중 적어도 하나를 포함한다.
예 6은 전술한 예들 중 어느 하나의 발명 요지를 포함하고, 상기 감정 탐지 디바이스는 상기 이미지 데이터를 취득하도록 구성된 카메라를 추가로 포함하고, 상기 얼굴 이미지 처리 모듈은 상기 이미지 데이터를 분석하고, 상기 익명 데이터 세트를 저장하고, 상기 익명 데이터 세트를 송신하기 전에 상기 카메라를 비활성화하도록 구성된다.
예 7은 예 6의 발명 요지를 포함하고, 상기 감정 탐지 디바이스는 상기 카메라, 상기 메모리, 상기 적어도 하나의 프로세서, 및 상기 얼굴 이미지 처리 모듈을 포함하는 하우징을 추가로 포함한다.
예 8은 전술한 예들 중 어느 하나의 발명 요지를 포함하고, 상기 원격 디바이스를 추가로 포함하고, 상기 원격 디바이스는: 상기 이미지 데이터를 수신하기 전에 상기 대상에 제공되는 자극을 식별하고; 상기 익명 데이터 세트를 분석하여 상기 자극이 제시될 때의 상기 대상의 감정 상태를 결정하도록 구성된다.
예 9는 예 8의 발명 요지를 포함하고, 상기 자극은 비대화형 콘텐츠와 대화형 콘텐츠 중 적어도 하나를 포함한다.
예 10은 전술한 예들 중 어느 하나의 발명 요지를 포함하고, 상기 자극은 상기 대상에 제공되는 콘텐츠의 부분을 포함한다.
예 11은 예 10의 발명 요지를 포함하고, 상기 콘텐츠의 부분은 비디오 프레임들의 시퀀스를 포함한다.
예 12는 전술한 예들 중 어느 하나의 발명 요지를 포함하고, 상기 대상을 자극하도록 구성된 자극 제어기를 추가로 포함한다.
예 13은 예 12의 발명 요지를 포함하고, 상기 원격 디바이스를 추가로 포함하고, 상기 원격 디바이스는 상기 자극 제어기에 메시지를 송신하도록 구성되고 상기 자극 제어기는 상기 메시지를 수신하는 것에 응답하여 상기 대상을 자극하도록 구성된다.
예 14는 전술한 예들 중 어느 하나의 발명 요지를 포함하고, 상기 원격 디바이스를 추가로 포함하고, 상기 원격 디바이스는: 상기 익명 데이터를 분석하여 상기 대상의 추정된 감정 상태를 식별하고; 상기 대상의 추정된 감정 상태에 기초하여 상기 대상에 대한 목표 감정 상태를 식별하고; 상기 대상을 상기 목표 감정 상태로 전환하기 위한 자극을 식별하고; 상기 자극으로 상기 대상을 자극하도록 구성된다.
예 15는 디바이스를 이용하여 감정을 탐지하는 방법으로서, 이 방법은: 대상의 얼굴을 묘사하는 이미지 데이터를 수신하는 단계; 상기 얼굴 상의 복수의 포인트를 식별하기 위해 상기 이미지 데이터를 분석하는 단계; 상기 복수의 포인트를 묘사하는 익명 데이터 세트를 저장하는 단계 - 상기 익명 데이터 세트의 각 요소는 식별자 필드 및 위치 필드를 포함함 -; 상기 익명 데이터 세트를 상기 디바이스와는 별개의 원격 디바이스로 송신하는 단계; 및 상기 이미지 데이터를 삭제하는 단계를 포함한다.
예 16은 예 15의 발명 요지를 포함하고, 상기 이미지 데이터를 수신하는 단계는 2차원 이미지 데이터와 3차원 이미지 데이터 중 적어도 하나를 수신하는 단계를 포함한다.
예 17은 예 15 또는 예 16의 발명 요지를 포함하고, 상기 이미지 데이터를 분석하는 단계는 데이터 세트를 일반 얼굴로 정규화하는 단계를 포함하고 상기 익명 데이터 세트를 저장하는 단계는 상기 데이터 세트를 저장하는 단계를 포함한다.
예 18은 예 15 내지 예 17 중 어느 하나의 발명 요지를 포함하고, 상기 이미지 데이터를 분석하는 단계는 랜드마크 포인트들을 식별하는 단계를 포함한다.
예 19는 예 15 내지 예 18 중 어느 하나의 발명 요지를 포함하고, 상기 익명 데이터 세트를 저장하는 단계는 2차원 값과 3차원 값 중 적어도 하나를 각 요소의 위치 필드에 저장하는 단계를 포함한다.
예 20은 예 15 내지 예 19 중 어느 하나의 발명 요지를 포함하고, 카메라를 통해 상기 이미지 데이터를 취득하는 단계; 및 상기 이미지 데이터를 분석하고, 상기 익명 데이터 세트를 저장하고, 상기 익명 데이터 세트를 송신하기 전에 상기 카메라를 비활성화하는 단계를 추가로 포함한다.
예 21은 예 20의 발명 요지를 포함하고, 상기 이미지 데이터를 취득하는 단계는 상기 디바이스에 통합된 카메라로부터 상기 이미지 데이터를 취득하는 단계를 포함한다.
예 22는 예 15 내지 예 21 중 어느 하나의 발명 요지를 포함하고, 상기 이미지 데이터를 수신하기 전에 상기 대상에 제공되는 자극을 식별하는 단계; 및 상기 익명 데이터 세트를 분석하여 상기 자극이 제시될 때의 상기 대상의 감정 상태를 결정하는 단계를 추가로 포함한다.
예 23은 예 22의 발명 요지를 포함하고, 상기 자극을 식별하는 단계는 비대화형 콘텐츠와 대화형 콘텐츠 중 적어도 하나를 식별하는 단계를 포함한다.
예 24는 예 15 내지 예 23 중 어느 하나의 발명 요지를 포함하고, 상기 자극을 식별하는 단계는 상기 대상에 제공되는 콘텐츠의 부분을 식별하는 단계를 포함한다.
예 25는 예 24의 발명 요지를 포함하고, 상기 콘텐츠의 부분을 식별하는 단계는 상기 콘텐츠 내의 비디오 프레임들의 시퀀스 및 상기 콘텐츠 내의 하나 이상의 시간 오프셋 중 적어도 하나를 식별하는 단계를 포함한다.
예 26은 예 15 내지 예 25 중 어느 하나의 발명 요지를 포함하고, 상기 대상을 자극하는 단계를 추가로 포함한다.
예 27은 예 26의 발명 요지를 포함하고, 상기 대상을 자극하는 단계는: 상기 원격 디바이스로부터 자극 제어기로 메시지를 송신하는 단계; 및 상기 대상을 자극하기 위한 자극을 생성하는 단계를 포함한다.
예 28은 예 15 내지 예 27 중 어느 하나의 발명 요지를 포함하고, 상기 익명 데이터를 분석하여 상기 대상의 추정된 감정 상태를 식별하는 단계; 상기 대상의 추정된 감정 상태에 기초하여 상기 대상에 대한 목표 감정 상태를 식별하는 단계; 상기 대상을 상기 목표 감정 상태로 전환하기 위한 자극을 식별하는 단계; 및 상기 자극으로 상기 대상을 자극하는 단계를 추가로 포함한다.
예 29는 하나 이상의 프로세서에 의해 실행될 때 감정을 탐지하기 위한 프로세스가 수행되게 하는 명령어들로 인코딩된 비일시적 컴퓨터 프로그램 제품으로서, 상기 프로세스는: 대상의 얼굴을 묘사하는 이미지 데이터를 수신하는 단계; 상기 얼굴 상의 복수의 포인트를 식별하기 위해 상기 이미지 데이터를 분석하는 단계; 상기 복수의 포인트를 묘사하는 익명 데이터 세트를 저장하는 단계 - 상기 익명 데이터 세트의 각 요소는 식별자 필드 및 위치 필드를 포함함 -; 상기 익명 데이터 세트를 상기 디바이스와는 별개의 원격 디바이스로 송신하는 단계; 및 상기 이미지 데이터를 삭제하는 단계를 포함한다.
예 30은 예 29의 발명 요지를 포함하고, 상기 이미지 데이터를 수신하는 단계는 2차원 이미지 데이터와 3차원 이미지 데이터 중 적어도 하나를 수신하는 단계를 포함한다.
예 31은 예 29 또는 예 30의 발명 요지를 포함하고, 상기 이미지 데이터를 분석하는 단계는 데이터 세트를 일반 얼굴로 정규화하는 단계를 포함하고 상기 익명 데이터 세트를 저장하는 단계는 상기 데이터 세트를 저장하는 단계를 포함한다.
예 32는 예 29 내지 예 31 중 어느 하나의 발명 요지를 포함하고, 상기 이미지 데이터를 분석하는 단계는 랜드마크 포인트들을 식별하는 단계를 포함한다.
예 33은 예 29 내지 예 32 중 어느 하나의 발명 요지를 포함하고, 상기 익명 데이터 세트를 저장하는 단계는 2차원 값과 3차원 값 중 적어도 하나를 각 요소의 위치 필드에 저장하는 단계를 포함한다.
예 34는 예 29 내지 예 33 중 어느 하나의 발명 요지를 포함하고, 카메라를 통해 상기 이미지 데이터를 취득하는 단계; 및 상기 이미지 데이터를 분석하고, 상기 익명 데이터 세트를 저장하고, 상기 익명 데이터 세트를 송신하기 전에 상기 카메라를 비활성화하는 단계를 추가로 포함한다.
예 35는 예 34의 발명 요지를 포함하고, 상기 이미지 데이터를 취득하는 단계는 상기 디바이스에 통합된 카메라로부터 상기 이미지 데이터를 취득하는 단계를 포함한다.
예 36은 예 29 내지 예 35 중 어느 하나의 발명 요지를 포함하고, 상기 이미지 데이터를 수신하기 전에 상기 대상에 제공되는 자극을 식별하는 단계; 및 상기 익명 데이터 세트를 분석하여 상기 자극이 제시될 때의 상기 대상의 감정 상태를 결정하는 단계를 추가로 포함한다.
예 37은 예 36의 발명 요지를 포함하고, 상기 자극을 식별하는 단계는 비대화형 콘텐츠와 대화형 콘텐츠 중 적어도 하나를 식별하는 단계를 포함한다.
예 38은 예 29 내지 예 37 중 어느 하나의 발명 요지를 포함하고, 상기 자극을 식별하는 단계는 상기 대상에 제공되는 콘텐츠의 부분을 식별하는 단계를 포함한다.
예 39는 예 38의 발명 요지를 포함하고, 상기 콘텐츠의 부분을 식별하는 단계는 상기 콘텐츠 내의 비디오 프레임들의 시퀀스 및 상기 콘텐츠 내의 하나 이상의 시간 오프셋 중 적어도 하나를 식별하는 단계를 포함한다.
예 40은 예 29 내지 예 39 중 어느 하나의 발명 요지를 포함하고, 상기 대상을 자극하는 단계를 추가로 포함한다.
예 41은 예 40의 발명 요지를 포함하고, 상기 대상을 자극하는 단계는: 상기 원격 디바이스로부터 자극 제어기로 메시지를 송신하는 단계; 및 상기 대상을 자극하기 위한 자극을 생성하는 단계를 포함한다.
예 42는 예 29 내지 예 41 중 어느 하나의 발명 요지를 포함하고, 상기 익명 데이터를 분석하여 상기 대상의 추정된 감정 상태를 식별하는 단계; 상기 대상의 추정된 감정 상태에 기초하여 상기 대상에 대한 목표 감정 상태를 식별하는 단계; 상기 대상을 상기 목표 감정 상태로 전환하기 위한 자극을 식별하는 단계; 및 상기 자극으로 상기 대상을 자극하는 단계를 추가로 포함한다.
예시적인 실시예들의 전술된 설명은 예시 및 설명의 목적으로 제시되었다. 남김 없이 철저하거나 본 개시를 개시된 정확한 형태로 제한하려는 것은 아니다. 본 개시에 비추어 많은 수정들과 변형들이 가능하다. 본 개시의 범위는 이 상세한 설명에 의해서가 아니라 여기에 첨부된 청구 범위에 의해 제한되는 것으로 의도된다. 이 출원에 대한 우선권을 주장하는 장래의 제출 출원들은 개시된 발명 요지를 상이한 방식으로 청구할 수 있고, 일반적으로 본 명세서에 다양하게 개시되거나 다른 방법으로 증명된 바와 같은 하나 이상의 한정 사항의 임의의 세트를 포함할 수 있다.
Claims (24)
- 감정 탐지 디바이스를 포함하는 감정 탐지 시스템으로서, 상기 감정 탐지 디바이스는:
메모리;
상기 메모리에 결합된 적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서에 의해 실행 가능한 얼굴 이미지 처리 모듈을 포함하고, 상기 얼굴 이미지 처리 모듈은:
대상의 얼굴을 묘사하는 이미지 데이터를 수신하고;
상기 얼굴 상의 복수의 포인트들을 식별하기 위해 상기 이미지 데이터를 분석하고 - 상기 포인트들은 상기 대상의 얼굴 특징부들의 정체(identity) 및 방향(orientation)을 특정하는 상기 얼굴 내의 랜드마크 포인트들임 -;
상기 이미지 데이터가 분석된 다음에, 상기 대상과 연관된 상기 이미지 데이터를 삭제하고;
상기 복수의 포인트들을 일반 얼굴의 모델로 정규화함으로써 익명 데이터 세트를 생성하고 - 상기 정규화에서 각각의 포인트는 상기 일반 얼굴 내의 대응하는 랜드마크 포인트에 매핑되어 상기 이미지 데이터에 의해 캡처된 상기 대상의 상기 얼굴의 표현이 상기 일반 얼굴을 참조하여 변환되도록 함 -;
상기 복수의 포인트들을 나타내도록 배열되는 상기 익명 데이터 세트를 저장하고 - 상기 익명 데이터 세트의 각 요소는 식별자 필드 및 위치 필드를 포함함 -; 및
상기 대상의 감정 상태가 결정될 수 있도록 상기 익명 데이터 세트를 상기 감정 탐지 디바이스와는 별개의 원격 디바이스로 송신하도록 구성되는, 감정 탐지 시스템. - 제1항에 있어서, 상기 이미지 데이터는 2차원 이미지 데이터와 3차원 이미지 데이터 중 적어도 하나를 포함하는, 감정 탐지 시스템.
- 삭제
- 삭제
- 제1항에 있어서, 상기 익명 데이터 세트의 각 요소의 위치는 2차원 값과 3차원 값 중 적어도 하나를 포함하는, 감정 탐지 시스템.
- 제1항에 있어서, 상기 감정 탐지 디바이스는 상기 이미지 데이터를 취득하도록 구성된 카메라를 추가로 포함하고, 상기 얼굴 이미지 처리 모듈은 상기 이미지 데이터를 분석하고, 상기 익명 데이터 세트를 저장하고, 상기 익명 데이터 세트를 송신하기 전에 상기 카메라를 비활성화하도록 구성되는, 감정 탐지 시스템.
- 제6항에 있어서, 상기 감정 탐지 디바이스는 상기 카메라, 상기 메모리, 상기 적어도 하나의 프로세서, 및 상기 얼굴 이미지 처리 모듈을 포함하는 하우징을 추가로 포함하는, 감정 탐지 시스템.
- 제1항에 있어서, 상기 원격 디바이스를 추가로 포함하고, 상기 원격 디바이스는:
상기 이미지 데이터를 수신하기 전에 상기 대상에 제공되는 자극을 식별하고; 및
상기 익명 데이터 세트를 분석하여 상기 자극이 제시될 때의 상기 대상의 감정 상태를 결정하도록 구성되는, 감정 탐지 시스템. - 제8항에 있어서, 상기 자극은 비대화형 콘텐츠와 대화형 콘텐츠 중 적어도 하나를 포함하는, 감정 탐지 시스템.
- 제8항에 있어서, 상기 자극은 상기 대상에 제공되는 콘텐츠의 부분을 포함하는, 감정 탐지 시스템.
- 제10항에 있어서, 상기 콘텐츠의 부분은 비디오 프레임들의 시퀀스를 포함하는, 감정 탐지 시스템.
- 제1항, 제2항, 및 제5항 내지 제11항 중 어느 한 항에 있어서, 상기 대상을 자극하도록 구성된 자극 제어기를 추가로 포함하는, 감정 탐지 시스템.
- 제12항에 있어서, 상기 원격 디바이스를 추가로 포함하고, 상기 원격 디바이스는 상기 자극 제어기에 메시지를 송신하도록 구성되고 상기 자극 제어기는 상기 메시지를 수신하는 것에 응답하여 상기 대상을 자극하도록 구성되는, 감정 탐지 시스템.
- 제1항, 제2항, 및 제5항 내지 제11항 중 어느 한 항에 있어서, 상기 원격 디바이스를 추가로 포함하고, 상기 원격 디바이스는:
상기 익명 데이터를 분석하여 상기 대상의 추정된 감정 상태를 식별하고;
상기 대상의 추정된 감정 상태에 기초하여 상기 대상에 대한 목표 감정 상태를 식별하고;
상기 대상을 상기 목표 감정 상태로 전환하기 위한 자극을 식별하고; 및
상기 자극으로 상기 대상을 자극하도록 구성되는, 감정 탐지 시스템. - 디바이스를 이용하여 감정을 탐지하는 방법으로서,
대상의 얼굴을 묘사하는 이미지 데이터를 수신하는 단계;
상기 얼굴 상의 복수의 포인트들을 식별하기 위해 상기 이미지 데이터를 분석하는 단계 - 상기 포인트들은 상기 대상의 얼굴 특징부들의 정체 및 방향을 특정하는 상기 얼굴 내의 랜드마크 포인트들임 -;
상기 이미지 데이터가 분석된 다음에, 상기 대상과 연관된 상기 이미지 데이터를 삭제하는 단계;
상기 복수의 포인트들을 일반 얼굴의 모델로 정규화함으로써 익명 데이터 세트를 생성하는 단계 - 상기 정규화에서 각각의 포인트는 상기 일반 얼굴 내의 대응하는 랜드마크 포인트에 매핑되어 상기 이미지 데이터에 의해 캡처된 상기 대상의 상기 얼굴의 표현이 상기 일반 얼굴을 참조하여 변환되도록 함 -;
상기 복수의 포인트들을 나타내도록 배열되는 상기 익명 데이터 세트를 저장하는 단계 - 상기 익명 데이터 세트의 각 요소는 식별자 필드 및 위치 필드를 포함함 -; 및
상기 대상의 감정 상태가 결정될 수 있도록 상기 익명 데이터 세트를 상기 디바이스와는 별개의 원격 디바이스로 송신하는 단계를 포함하는, 방법. - 삭제
- 삭제
- 제15항에 있어서,
카메라를 통해 상기 이미지 데이터를 취득하는 단계; 및
상기 이미지 데이터를 분석하고, 상기 익명 데이터 세트를 저장하고, 상기 익명 데이터 세트를 송신하기 전에 상기 카메라를 비활성화하는 단계를 추가로 포함하는, 방법. - 제15항 또는 제18항에 있어서,
상기 이미지 데이터를 수신하기 전에 상기 대상에 제공되는 자극을 식별하는 단계; 및
상기 익명 데이터 세트를 분석하여 상기 자극이 제시될 때의 상기 대상의 감정 상태를 결정하는 단계를 추가로 포함하는, 방법. - 제19항에 있어서, 상기 자극을 식별하는 단계는 상기 대상에 제공되는 콘텐츠의 부분을 식별하는 단계를 포함하는, 방법.
- 제20항에 있어서, 상기 콘텐츠의 부분을 식별하는 단계는 상기 콘텐츠 내의 비디오 프레임들의 시퀀스 및 상기 콘텐츠 내의 하나 이상의 시간 오프셋 중 적어도 하나를 식별하는 단계를 포함하는, 방법.
- 디바이스의 하나 이상의 프로세서에 의해 실행될 때 감정을 탐지하기 위한 프로세스가 수행되게 하는 명령어들로 인코딩된, 컴퓨터 판독 가능 저장 매체에 저장된 비일시적 컴퓨터 프로그램으로서, 상기 프로세스는:
대상의 얼굴을 묘사하는 이미지 데이터를 수신하는 단계;
상기 얼굴 상의 복수의 포인트들을 식별하기 위해 상기 이미지 데이터를 분석하는 단계 - 상기 포인트들은 상기 대상의 얼굴 특징부들의 정체 및 방향을 특정하는 상기 얼굴 내의 랜드마크 포인트들임 -;
상기 이미지 데이터가 분석된 다음에, 상기 대상과 연관된 상기 이미지 데이터를 삭제하는 단계;
상기 복수의 포인트들을 일반 얼굴의 모델로 정규화함으로써 익명 데이터 세트를 생성하는 단계 - 상기 정규화에서 각각의 포인트는 상기 일반 얼굴 내의 대응하는 랜드마크 포인트에 매핑되어 상기 이미지 데이터에 의해 캡처된 상기 대상의 상기 얼굴의 표현이 상기 일반 얼굴을 참조하여 변환되도록 함 -;
상기 복수의 포인트들을 나타내도록 배열되는 상기 익명 데이터 세트를 저장하는 단계 - 상기 익명 데이터 세트의 각 요소는 식별자 필드 및 위치 필드를 포함함 -; 및
상기 대상의 감정 상태가 결정될 수 있도록 상기 익명 데이터 세트를 상기 디바이스와는 별개의 원격 디바이스로 송신하는 단계를 포함하는, 컴퓨터 프로그램. - 삭제
- 제22항에 있어서,
상기 이미지 데이터를 수신하기 전에 상기 대상에 제공되는 자극을 식별하는 단계; 및
상기 익명 데이터 세트를 분석하여 상기 자극이 제시될 때의 상기 대상의 감정 상태를 결정하는 단계를 추가로 포함하는, 컴퓨터 프로그램.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/752,100 US9600715B2 (en) | 2015-06-26 | 2015-06-26 | Emotion detection system |
| US14/752,100 | 2015-06-26 | ||
| PCT/US2016/033737 WO2016209453A1 (en) | 2015-06-26 | 2016-05-23 | Emotion detection system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180014195A KR20180014195A (ko) | 2018-02-07 |
| KR102611913B1 true KR102611913B1 (ko) | 2023-12-11 |
Family
ID=57586357
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187002447A KR102611913B1 (ko) | 2015-06-26 | 2016-05-23 | 감정 탐지 시스템 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9600715B2 (ko) |
| EP (1) | EP3314530A4 (ko) |
| JP (1) | JP6752819B2 (ko) |
| KR (1) | KR102611913B1 (ko) |
| CN (1) | CN107710222A (ko) |
| WO (1) | WO2016209453A1 (ko) |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106562792B (zh) * | 2015-10-08 | 2021-08-06 | 松下电器（美国）知识产权公司 | 信息提示装置的控制方法和信息提示装置 |
| US10534955B2 (en) * | 2016-01-22 | 2020-01-14 | Dreamworks Animation L.L.C. | Facial capture analysis and training system |
| US10387571B2 (en) * | 2016-07-20 | 2019-08-20 | Vidicons LLC | Networked device with suggested response to incoming message |
| US10636175B2 (en) | 2016-12-22 | 2020-04-28 | Facebook, Inc. | Dynamic mask application |
| US10846517B1 (en) * | 2016-12-30 | 2020-11-24 | Amazon Technologies, Inc. | Content modification via emotion detection |
| US10747859B2 (en) * | 2017-01-06 | 2020-08-18 | International Business Machines Corporation | System, method and computer program product for stateful instruction-based dynamic man-machine interactions for humanness validation |
| EP3660739A1 (en) * | 2017-07-05 | 2020-06-03 | Shanghai Cambricon Information Technology Co., Ltd | Data processing apparatus and method |
| CN107578014B (zh) | 2017-09-06 | 2020-11-03 | 上海寒武纪信息科技有限公司 | 信息处理装置及方法 |
| US11086634B2 (en) | 2017-07-05 | 2021-08-10 | Shanghai Cambricon Information Technology Co., Ltd. | Data processing apparatus and method |
| CN109583577B (zh) | 2017-09-29 | 2021-04-23 | 上海寒武纪信息科技有限公司 | 运算装置及方法 |
| US20210201610A1 (en) * | 2017-11-03 | 2021-07-01 | Sensormatic Electronics, LLC | Methods and System for Distributed Cameras and Demographics Analysis |
| CN107992822B (zh) | 2017-11-30 | 2020-04-10 | Oppo广东移动通信有限公司 | 图像处理方法和装置、计算机设备、计算机可读存储介质 |
| US10740617B2 (en) * | 2017-12-19 | 2020-08-11 | Intel Corporation | Protection and recovery of identities in surveillance camera environments |
| US10776609B2 (en) * | 2018-02-26 | 2020-09-15 | Samsung Electronics Co., Ltd. | Method and system for facial recognition |
| CN108401129A (zh) * | 2018-03-22 | 2018-08-14 | 广东小天才科技有限公司 | 基于穿戴式设备的视频通话方法、装置、终端及存储介质 |
| CN108741822B (zh) * | 2018-05-22 | 2021-06-08 | 国家电网公司客户服务中心南方分中心 | 一种呼叫中心客服座位工椅 |
| US11279041B2 (en) * | 2018-10-12 | 2022-03-22 | Dream Face Technologies, Inc. | Socially assistive robot |
| US11017430B2 (en) | 2018-11-16 | 2021-05-25 | International Business Machines Corporation | Delivering advertisements based on user sentiment and learned behavior |
| KR20200093090A (ko) * | 2019-01-07 | 2020-08-05 | 현대자동차주식회사 | 차량 및 그 제어방법 |
| JP7122286B2 (ja) * | 2019-04-19 | 2022-08-19 | ヤフー株式会社 | 決定装置、決定方法及び決定プログラム |
| US11102353B2 (en) | 2019-05-07 | 2021-08-24 | Avaya Inc. | Video call routing and management based on artificial intelligence determined facial emotion |
| CN112446243A (zh) * | 2019-08-29 | 2021-03-05 | 鸿富锦精密电子(郑州)有限公司 | 电子装置及基于情绪的内容推送方法 |
| CN115104099A (zh) * | 2020-02-21 | 2022-09-23 | 菲利普莫里斯生产公司 | 用于服务器与用户设备之间的交互式和隐私保护通信的方法和装置 |
| EP4107655B1 (en) * | 2020-02-21 | 2023-12-06 | Philip Morris Products S.A. | Method and apparatus for interactive and privacy-preserving communication between a server and a user device |
| US11656681B2 (en) | 2020-08-31 | 2023-05-23 | Hypear, Inc. | System and method for determining user interactions with visual content presented in a mixed reality environment |
| US11341543B2 (en) | 2020-08-31 | 2022-05-24 | HYPE AR, Inc. | System and method for generating visual content associated with tailored advertisements in a mixed reality environment |
| US11240469B1 (en) * | 2020-12-18 | 2022-02-01 | Frqncy, Inc. | Systems and methods for audience interactions in real-time multimedia applications |
| WO2022249460A1 (ja) * | 2021-05-28 | 2022-12-01 | 株式会社I’mbesideyou | 動画像分析システム |
| US20230370692A1 (en) * | 2022-05-14 | 2023-11-16 | Dish Network Technologies India Private Limited | Customized content delivery |
| US11843829B1 (en) * | 2022-05-24 | 2023-12-12 | Rovi Guides, Inc. | Systems and methods for recommending content items based on an identified posture |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR200265257Y1 (ko) * | 2001-11-15 | 2002-02-21 | 삼성네트웍스 주식회사 | 상황적응적 감성 조정 장치 |
| US20080037836A1 (en) * | 2006-08-09 | 2008-02-14 | Arcsoft, Inc. | Method for driving virtual facial expressions by automatically detecting facial expressions of a face image |
| JP2014042235A (ja) * | 2012-07-24 | 2014-03-06 | Takashi Hirabayashi | 視聴率調査システム、並びに表情情報生成装置及び表情情報生成プログラム |
| US20140328547A1 (en) * | 2013-05-02 | 2014-11-06 | Machine Perception Technologies Inc. | Anonymization of facial expressions |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5960099A (en) * | 1997-02-25 | 1999-09-28 | Hayes, Jr.; Carl Douglas | System and method for creating a digitized likeness of persons |
| TWI221574B (en) | 2000-09-13 | 2004-10-01 | Agi Inc | Sentiment sensing method, perception generation method and device thereof and software |
| JP3593067B2 (ja) * | 2001-07-04 | 2004-11-24 | 沖電気工業株式会社 | 画像コミュニケーション機能付き情報端末装置および画像配信システム |
| US7221809B2 (en) * | 2001-12-17 | 2007-05-22 | Genex Technologies, Inc. | Face recognition system and method |
| US6947579B2 (en) * | 2002-10-07 | 2005-09-20 | Technion Research & Development Foundation Ltd. | Three-dimensional face recognition |
| US7233684B2 (en) | 2002-11-25 | 2007-06-19 | Eastman Kodak Company | Imaging method and system using affective information |
| US7824409B2 (en) * | 2003-01-31 | 2010-11-02 | Zimmer, Inc. | Modular impaction grafting tamps |
| CN1839410B (zh) * | 2003-07-18 | 2015-05-20 | 佳能株式会社 | 图像处理设备、摄像设备、图像处理方法 |
| US8488023B2 (en) | 2009-05-20 | 2013-07-16 | DigitalOptics Corporation Europe Limited | Identifying facial expressions in acquired digital images |
| US7606392B2 (en) | 2005-08-26 | 2009-10-20 | Sony Corporation | Capturing and processing facial motion data |
| JP4710778B2 (ja) * | 2006-09-28 | 2011-06-29 | 株式会社日立製作所 | 小型カメラ搭載型の列車内情報表示システム |
| EP2109302B1 (en) * | 2008-04-07 | 2010-09-22 | NTT DoCoMo, Inc. | Emotion recognition message system and message storage server therefor |
| US8462996B2 (en) | 2008-05-19 | 2013-06-11 | Videomining Corporation | Method and system for measuring human response to visual stimulus based on changes in facial expression |
| CN101620669B (zh) * | 2008-07-01 | 2011-12-07 | 邹采荣 | 一种人脸身份和表情的同步识别方法 |
| US8154615B2 (en) * | 2009-06-30 | 2012-04-10 | Eastman Kodak Company | Method and apparatus for image display control according to viewer factors and responses |
| US20110063440A1 (en) * | 2009-09-11 | 2011-03-17 | Neustaedter Carman G | Time shifted video communications |
| TWI430185B (zh) * | 2010-06-17 | 2014-03-11 | Inst Information Industry | 臉部表情辨識系統及其辨識方法及其電腦程式產品 |
| US8705813B2 (en) * | 2010-06-21 | 2014-04-22 | Canon Kabushiki Kaisha | Identification device, identification method, and storage medium |
| US8667519B2 (en) * | 2010-11-12 | 2014-03-04 | Microsoft Corporation | Automatic passive and anonymous feedback system |
| MX2013008116A (es) * | 2011-01-07 | 2014-02-27 | American University In Cairo | Deteccion directa del arn no amplificado del virus de la hepatitis c al usar las nanoparticulas de oro no modificadas. |
| JP2014516490A (ja) * | 2011-04-11 | 2014-07-10 | インテル・コーポレーション | パーソナライズされたプログラム選択のシステムおよび方法 |
| WO2012139243A1 (en) * | 2011-04-11 | 2012-10-18 | Intel Corporation | Personalized advertisement selection system and method |
| JP2013020365A (ja) * | 2011-07-08 | 2013-01-31 | Namco Bandai Games Inc | ゲームシステム、プログラム、及び情報記憶媒体 |
| US8903176B2 (en) * | 2011-11-14 | 2014-12-02 | Sensory Logic, Inc. | Systems and methods using observed emotional data |
| JP5845988B2 (ja) * | 2012-03-16 | 2016-01-20 | 大日本印刷株式会社 | 画像処理システム、画像処理方法、サーバおよびプログラム |
| US20140063237A1 (en) * | 2012-09-03 | 2014-03-06 | Transportation Security Enterprises, Inc.(TSE), a Delaware corporation | System and method for anonymous object identifier generation and usage for tracking |
| WO2014139118A1 (en) * | 2013-03-14 | 2014-09-18 | Intel Corporation | Adaptive facial expression calibration |
| KR20150009032A (ko) * | 2013-07-09 | 2015-01-26 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어방법 |
| CN103731728A (zh) * | 2014-01-24 | 2014-04-16 | 浪潮软件集团有限公司 | 一种实时收视调查的方法 |
| CN104182619B (zh) * | 2014-08-05 | 2017-06-06 | 上海市精神卫生中心 | 基于智能终端实现情绪特征参数采集和处理的系统及方法 |
| CN104361356B (zh) * | 2014-12-08 | 2017-08-11 | 清华大学 | 一种基于人机交互的电影受众体验评价方法 |
-
2015
- 2015-06-26 US US14/752,100 patent/US9600715B2/en active Active
-
2016
- 2016-05-23 CN CN201680031101.2A patent/CN107710222A/zh active Pending
- 2016-05-23 WO PCT/US2016/033737 patent/WO2016209453A1/en unknown
- 2016-05-23 KR KR1020187002447A patent/KR102611913B1/ko active IP Right Grant
- 2016-05-23 EP EP16814923.5A patent/EP3314530A4/en not_active Withdrawn
- 2016-05-23 JP JP2017557112A patent/JP6752819B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR200265257Y1 (ko) * | 2001-11-15 | 2002-02-21 | 삼성네트웍스 주식회사 | 상황적응적 감성 조정 장치 |
| US20080037836A1 (en) * | 2006-08-09 | 2008-02-14 | Arcsoft, Inc. | Method for driving virtual facial expressions by automatically detecting facial expressions of a face image |
| JP2014042235A (ja) * | 2012-07-24 | 2014-03-06 | Takashi Hirabayashi | 視聴率調査システム、並びに表情情報生成装置及び表情情報生成プログラム |
| US20140328547A1 (en) * | 2013-05-02 | 2014-11-06 | Machine Perception Technologies Inc. | Anonymization of facial expressions |
Also Published As
| Publication number | Publication date |
|---|---|
| US9600715B2 (en) | 2017-03-21 |
| JP6752819B2 (ja) | 2020-09-09 |
| KR20180014195A (ko) | 2018-02-07 |
| WO2016209453A1 (en) | 2016-12-29 |
| CN107710222A (zh) | 2018-02-16 |
| US20160379047A1 (en) | 2016-12-29 |
| JP2018521381A (ja) | 2018-08-02 |
| EP3314530A1 (en) | 2018-05-02 |
| EP3314530A4 (en) | 2019-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102611913B1 (ko) | 감정 탐지 시스템 | |
| Zhang et al. | Watching the TV watchers | |
| Steil et al. | Privacy-aware eye tracking using differential privacy | |
| US9749692B2 (en) | Providing recommendations based upon environmental sensing | |
| Fu et al. | Learning race from face: A survey | |
| US20170238859A1 (en) | Mental state data tagging and mood analysis for data collected from multiple sources | |
| US20170095192A1 (en) | Mental state analysis using web servers | |
| US20160350801A1 (en) | Method for analysing comprehensive state of a subject | |
| US10474875B2 (en) | Image analysis using a semiconductor processor for facial evaluation | |
| Alharbi et al. | I can't be myself: effects of wearable cameras on the capture of authentic behavior in the wild | |
| US9691183B2 (en) | System and method for dynamically generating contextual and personalized digital content | |
| KR20140045412A (ko) | 환경 센싱에 기초한 비디오 하이라이트 식별 기법 | |
| Ogawa et al. | Favorite video classification based on multimodal bidirectional LSTM | |
| US11430561B2 (en) | Remote computing analysis for cognitive state data metrics | |
| US11854242B2 (en) | Systems and methods for providing personalized saliency models | |
| Wang et al. | Implicit video emotion tagging from audiences’ facial expression | |
| Gehrig et al. | A common framework for real-time emotion recognition and facial action unit detection | |
| CN112925928A (zh) | 数据处理方法及装置、电子设备及计算机可读存储介质 | |
| Lan et al. | Eyesyn: Psychology-inspired eye movement synthesis for gaze-based activity recognition | |
| Ruensuk et al. | How do you feel online: Exploiting smartphone sensors to detect transitory emotions during social media use | |
| CN114270409A (zh) | 在计算机生成现实记录中提供限制 | |
| US20200226012A1 (en) | File system manipulation using machine learning | |
| Takahashi et al. | Estimation of viewers’ ratings of TV programs based on behaviors in home environments | |
| Sasaka et al. | A novel framework for estimating viewer interest by unsupervised multimodal anomaly detection | |
| Dudzik et al. | A blast from the past: Personalizing predictions of video-induced emotions using personal memories as context |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |