KR20180007006A - 감정 평가 - Google Patents

감정 평가 Download PDF

Info

Publication number
KR20180007006A
KR20180007006A KR1020187000638A KR20187000638A KR20180007006A KR 20180007006 A KR20180007006 A KR 20180007006A KR 1020187000638 A KR1020187000638 A KR 1020187000638A KR 20187000638 A KR20187000638 A KR 20187000638A KR 20180007006 A KR20180007006 A KR 20180007006A
Authority
KR
South Korea
Prior art keywords
data
eeg
signal
activity data
user
Prior art date
Application number
KR1020187000638A
Other languages
English (en)
Other versions
KR102104499B1 (ko
Inventor
자와르 자인
싯다르타
사지드 사디
프라나브 미스트리
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20180007006A publication Critical patent/KR20180007006A/ko
Application granted granted Critical
Publication of KR102104499B1 publication Critical patent/KR102104499B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0475—Special features of memory means, e.g. removable memory cards
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Dermatology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Pulmonology (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

일 실시예에서, 하나 이상의 컴퓨터 판독 가능 비일시적 저장 매체 (computer-readable non-transitory storage media) 는, 실행되는 경우, 심전도 활동 데이터에 기초하여 소정의 기간 동안 심퍼소베이걸 밸런스 (sympathovagal balance) 에서의 쉬프트를 결정하고; 뇌파 활동 데이터에 기초하는 감정 상태 특성을 획득하고; 심퍼소베이걸 밸런스에서의 상기 쉬프트 및 상기 감정 상태 특성에 기초하여, 상기 기간 동안 사용자의 감정 상태의 추정 (estimate) 을 결정하도록 동작 가능한 (operable) 소프트웨어를 구현할 수 있다.

Description

감정 평가
본 개시는 웨어러블 (wearable) 전자 디바이스들에 관한다.
행동, 생체, 및 사회 과학에서 사람의 감정 평가에 대한 관심이 증가하고 있다. 개인의 인식 프로세싱부터 사회적 및 통합적 행동에 이르는 많은 현상들은 사람의 감정을 고려하지 않고서는 잘 이해되지 않을 수 있다. 최근, 감성 컴퓨팅 (affective computing) 에 대한 관심이 증가하였고, 이는 인간의 감성을 인식, 해석, 처리, 및 시뮬레이션할 수 있는 컴퓨팅 시스템 또는 디바이스들이 연구 및 개발되고 있다. 구체적으로, 사용자의 감정은 컴퓨팅 디바이스 또는 시스템에 의한 후속 작업들을 위한 입력으로서 이용될 수 있다.
하나 이상의 컴퓨터 판독 가능 비일시적 저장 매체 (computer-readable non-transitory storage media) 는, 실행되는 경우, 심전도 활동 데이터에 기초하여 소정의 기간 동안 심퍼소베이걸 밸런스 (sympathovagal balance) 에서의 쉬프트를 결정하고; 뇌파 활동 데이터에 기초하는 감정 상태 특성 (emotional-state characteristic)을 획득하고; 심퍼소베이걸 밸런스에서의 상기 쉬프트 및 상기 감정 상태 특성에 기초하여, 상기 기간 동안 사용자의 감정 상태의 추정 (estimate) 을 결정하도록 동작 가능한 (operable) 소프트웨어를 구현할 수 있다.
도 1 은 내부 신체 조직 및 뼈를 위한 광학 검출 시스템의 실시예들을 위한 예시적인 네트워크 환경을 도시한다.
도 2a, 2b, 및 2c 는 노이즈 예측 및 신호 스티칭 또는 교체를 위한 노이즈 조정 시스템을 도시한다.
도 3a 는 베이스라인 데이터 히스토그램의 예를 도시한다.
도 3b 는 심퍼소베이걸 밸런스가 좌측으로 쉬프트되는 테스트 데이터 히스토그램의 예를 도시한다.
도 3c 는 심퍼소베이걸 밸런스가 우측으로 쉬프트되는 테스트 데이터 히스토그램의 예를 도시한다.
도 4 는 감정의 원형 모형 (circumplex model) 의 예시적인 도면을 도시한다.
도 5 는 시간 함수로서 예시적인 심장 및 뇌파 활동 데이터를 도시한다.
도 6 은 감정 평가를 위한 감정 평가 시스템을 도시한다.
도 7 은 감정 평가를 위한 예시적인 방법을 도시한다.
도 8 는 본 개시의 실시예들에 따른 예시적인 컴퓨터터 시스템을 도시한다.
일 실시예에서, 하나 이상의 컴퓨터 판독 가능 비일시적 저장 매체 (computer-readable non-transitory storage media) 는, 실행되는 경우, 심전도 활동 데이터에 기초하여 소정의 기간 동안 심퍼소베이걸 밸런스 (sympathovagal balance) 에서의 쉬프트를 결정하고; 뇌파 활동 데이터에 기초하는 감정 상태 특성 (emotional-state characteristic)을 획득하고; 심퍼소베이걸 밸런스에서의 상기 쉬프트 및 상기 감정 상태 특성에 기초하여, 상기 기간 동안 사용자의 감정 상태의 추정 (estimate) 을 결정하도록 동작 가능한 (operable) 소프트웨어를 구현할 수 있다.
일 실시예에서, 상기 소프트웨어는 상기 기간 동안 상기 사용자의 상기 심전도 활동 데이터, 심박수 또는 심박수 변화에 기초하여 퍼소베이걸 밸런스에서의 상기 쉬프트를 결정하도록 더 동작 가능하고, 상기 사용자의 감정 상태는 상기 기간 동안 상기 심박수 또는 상기 심박수 변화에 더 기초할 수 있다.
일 실시예에서, 상기 소프트웨어는 심퍼소베이걸 밸런스에서의 상기 쉬프트 및 상기 감정 상태 특성 간의 공분산 (covariance) 을 계산하도록 더 동작 가능할 수 있다.
일 실시예에서, 상기 감정 상태 특성은 복수의 감정 상태들을 포함하고, 상기 복수의 감정 상태들 각각은 복수의 구체적 감정들을 포함할 수 있다.
일 실시예에서, 상기 뇌파 활동 데이터는 실시간으로 메모리에 저장되거나 측정될 수 있다.
일 실시예에서, 상기 소프트웨어는 상기 뇌파 활동 데이터의 하나 이상의 특징(feature)들을 결정하도록 더 동작 가능하고,
상기 하나 이상의 특징들은 미리 결정된 임계값보다 큰 에너지 레벨을 포함할 수 있다.
일 실시예에서, 상기 소프트웨어는 상기 뇌파 활동 데이터에 기초하여 뇌전도 단기 흥분 (electroencephalogram short-term excitement) 데이터를 계산하도록 더 동작 가능할 수 있다.
일 실시예에서, 상기 소프트웨어는: 상기 사용자의 상기 뇌파 활동에 기초하여 2차원 공간의 제 1 사분면을 식별하고; 상기 심퍼소베이걸 밸런스에 기초하여 상기 2차원 공간의 제 2 사분면을 식별하도록 더 동작 가능하고, 상기 제 1 및 제 2 사분면 각각은 상기 기간 동안 상기 사용자의 복수의 후보 감정 상태들에 대응할 수 있다.
일 실시예에서, 상기 소프트웨어는 상기 기간 동안 심퍼소베이걸 밸런스에서의 상기 쉬프트 및 상기 감정 상태 특성에서의 변화에 기초하여, 상기 기간을 플래그 (flag) 하도록 더 동작 가능할 수 있다.
일 실시예에서, 상기 뇌파 활동은 복수의 전극들 및 헤드-마운트 디스플레이를 포함하는 헤드 착용 장치를 이용하여 검출될 수 있다.
일 실시예에서, 상기 소프트웨어는 상기 심전도 활동 데이터 및 상기 뇌파 활동 데이터에 기초하는 감정 에너지를 계산하도록 더 동작 가능할 수 있다.
일 실시예에서, 상기 소프트웨어는: 상기 기간 동안 상기 사용자의 상기 감정 상태가 정확하게 식별된 감정인지를 식별하는 피드백을 수신하고; 상기 피드백을 하나 이상의 머신 러닝 알고고리즘에 의해 액세스될 수 있는 데이터 구조에 저장하도록 더 동작 가능할 수 있다.
일 실시예에서, 상기 소프트웨어는: 상기 심전도 활동 데이터를 상기 뇌파 활동 데이터에 동기화하고; 상기 심전도 활동 데이터 또는 상기 뇌파 활동 데이터를 업샘플링 (upsampling) 하고; 상기 심전도 활동 데이터 또는 상기 뇌파 활동 데이터를 평활화 (smoothing) 하도록 더 동작 가능할 수 있다.
일 실시예에서, 상기 소프트웨어는 상기 제 1 사분면이 상기 제 2 사분면에 대응하는지를 결정하도록 더 동작 가능할 수 있다.
일 실시예에서, 상기 기간은 미리 결정된 임계 시간량보다 더 길 수 있다.
일 실시예에서, 상기 소프트웨어는 상기 계산된 감정 에너지에 기초하여 콘텐트에 대한 레이팅 (rating) 을 결정하도록 더 동작 가능할 수 있다.
일 실시예에 따른 방법은: 심전도 활동 데이터에 기초하여 소정의 기간 동안 심퍼소베이걸 밸런스 (sympathovagal balance) 에서의 쉬프트를 결정하는 단계; 뇌파 활동 데이터에 기초하는 감정 상태 특성을 획득하는 단계; 및 심퍼소베이걸 밸런스에서의 상기 쉬프트 및 상기 감정 상태 특성에 기초하여, 상기 기간 동안 사용자의 감정 상태의 추정 (estimate) 을 결정하는 단계를 포함할 수 있다.
일 실시예에서, 시스템은 하나 이상의 프로세서; 및 상기 프로세서에 의해 실행될 수 있는 명령어들을 포함하는, 상기 프로세서에 커플링된 비일시적 메모리를 포함할 수 있고, 상기 프로세서는 상기 명령어들을 실행하는 경우: 심전도 활동 데이터에 기초하여 소정의 기간 동안 심퍼소베이걸 밸런스 (sympathovagal balance) 에서의 쉬프트를 결정하고; 뇌파 활동 데이터에 기초하는 감정 상태 특성을 획득하고; 심퍼소베이걸 밸런스에서의 상기 쉬프트 및 상기 감정 상태 특성에 기초하여, 상기 기간 동안 사용자의 감정 상태의 추정 (estimate) 을 결정하도록 동작 가능할 (operable) 수 있다.
도 1 은 예시적인 네트워크 환경 (100) 을 도시한다. 네트워크 환경 (100) 은 하나 이상의 웨어러블 디바이스들 (110A-B), 클라이언트 시스템 (120), 네트워크 (130), 하나 이상의 서버 (140) 및 하나 이상의 데이터 저장소 (150) 를 포함할 수 있다. 하나 이상의 웨어러블 디바이스들 (110A-B), 클라이언트 시스템 (120), 하나 이상의 서버 (140) 및 하나 이상의 데이터 저장소 (150) 는 각각 네트워크 (130) 에 의해 링크들 (160) 을 통해 연결될 수 있다. 도 1 은 하나 이상의 웨어러블 디바이스들 (110A-B), 클라이언트 시스템 (120), 네트워크 (130), 하나 이상의 서버 (140) 및 하나 이상의 데이터 저장소 (150) 의 구체적인 배열을 도시하지만, 본 개시는 웨어러블 디바이스들 (110A-B), 클라이언트 시스템 (120), 네트워크 (130), 서버 (140) 및 데이터 저장소 (150) 의 임의의 배열을 상정할 수 있다.
네트워크 환경 (100) 은 클라이언트 시스템 (120) 에 연결될 수 있는 하나 이상의 웨어러블 디바이스 (110A-B) 를 포함할 수 있다. 일 실시예에서, 하나 이상의 웨어러블 디바이스 (110A-B) 는 사용자의 신체 일부, 예를 들어, 팔, 팔목, 손가락, 다리, 발목, 발꿈치, 허리통, 목, 머리 등에 착용될 수 있는 웨어러블 전자 자 디바이스 (예를 들어, 클라이언트 시스템 (120) 의 디바이스) 일 수 있다. 일 실시예에서, 하나 이상의 웨어러블 디바이스 (110A-B) 는 신체의 하나 이상의 시스템으로부터 데이터를 측정하도록 구성될 수 있다. 한정하고자 함은 아니고 일례로서, 제 1 웨어러블 디바이스 (110A) 는 뇌의 전기적 활성도 (electrical activity) 를 모니터링하도록 구성될 수 있고, 제 2 웨어러블 디바이스 (110B) 는 심장의 전기적 활성도를 모니터링하도록 구성될 수 있다. 웨어러블 디바이스 (110A-B) 는 통합 센서, 복수의 웨어러블 디바이스에 걸친 분산 센서, 또는 임의의 적합한 센서로 구성될 수 있다. 일 실시예에서, 하나 이상의 웨어러블 디바이스 (110A-B) 는 증강/가상 현실 디바이스 (예를 들어, 헤드-마운트 디스플레이 (head mounted display: HMD) 또는 사용자 인터페이스 (user interface: UI) 를 포함할 수 있다.
일 실시예에서, 웨어러블 디바이스 (110A-B) 는 클라이언트 시스템 (120) 에 직접적으로 또는 네트워크 (130) 를 통해 연결될 수 있고, 이는 웨어러블 디바이스 (110A-B) 및 클라이언트 시스템 (120) 간의 데이터 전송 및/또는 상호작용을 용이하게 할 수 있다. 데이터 (예를 들어, 심박수, 뇌파 활동, 수면 시간, 감정 상태, 등) 는 웨어러블 디바이스 (110A-B), 클라이언트 시스템 (120), 데이터 저장소 (150), 다른 임의의 데이터 베이스, 또는 이들의 조합에 저장될 수 있다. 게다가, 데이터의 처리 및 특정 알고리즘의 산출은 웨어러블 디바이스 (110A-B), 클라이언트 시스템 (120), 데이터 저장소 (150), 다른 임의의 디바이스/시스템, 또는 이들의 조합에 의해 수행될 수 있다. 일 실시예에서, 데이터의 처리 및 특정 알고리즘의 산출은, 네트워크 (130) 를 통한 데이터 저장소 (150) 로부터의 사용자 데이터, 레퍼런스/베이스라인 데이터의 프레임, 의료 데이터, 다른 관련 데이터, 또는 이들의 임의의 조합에 의해 수행될 수 있다.
한정하고자 함은 아니고 일례로서, 둘 이상의 클라이언트 시스템 (120), 서버(140), 데이터 저장소 (150), 또는 이들의 임의의 적합한 조합은 직접 (예를 들어, 이더넷 또는 근거리 통신망 (local area network: LAN) 연결을 통해) 연결되거나, 네트워크 (130) 를 경유하여 서로 연결될 수 있다. 다른 예로서, 둘 이상의 클라이언트 시스템 (120), 서버(140), 데이터 저장소 (150) 는 물리적 또는 논리적으로 서로 전체적으로 또는 부분적으로 같은 장소에 배치될 수 있다. 도 1 은 웨어러블 디바이스(110A-B), 클라이언트 시스템 (120), 네트워크 (130), 서버 (140) 및 데이터 저장소 (150) 의 구체적인 개수와 구성을 도시하지만, 본 개시는 웨어러블 디바이스들 (110A-B), 클라이언트 시스템 (120), 네트워크 (130), 서버 (140) 및 데이터 저장소 (150) 의 임의의 개수와 구성을 상정할 수 있다. 한정하고자 함은 아니고 일례로서, 네트워크 환경 (100) 은 복수의 웨어러블 디바이스 (110A-B), 클라이언트 시스템 (120), 네트워크 (130), 서버(140), 및 데이터 저장소 (150) 를 포함할 수 있다.
일 실시예에서, 클라이언트 시스템 (120) 은 임의의 적합한 컴퓨팅 디바이스, 예를 들어, 모바일 컴퓨팅 디바이스, 스마트폰, 핸드폰, 테블릿 컴퓨터, 노트북, 퍼스널 컴퓨터, 또는 이들의 임의의 조합일 수 있다. 사용자는 이러한 디바이스들과 상호작용할 수 있다. 게다가, 이러한 디바이스들은 서로 네트워크 (130) 를 통해 또는 넌-네트워크 연결 (non-network connection) 을 통해 임의의 다른 적합한 방법, 또는 이들의 조합에 의해 서로 연결될 수 있다. 한정하고자 함은 아니고 일례로서, 클라이언트 시스템 (120) 은 무선 통신 프로토콜, 예를 들어, Wi-FI 또는 BLUETOOTH 를 통해 네트워크 (130) 와 통신할 수 있다. 일 실시예에서, 네트워크 (130) 는 임의의 적합한 네트워크일 수 있다. 한정하고자 함은 아니고 일례로서, 네트워크 (130) 의 하나 이상의 부분들은 애드혹 (ad hoc) 네트워크, 인트라넷, 엑스트라넷, 가상사설망 (virtual private network: VPN), LAN, 무선LAN (WLAN), 원거리 통신망 (wide area network: WAN), 무선 WAN (WWAN), 도시권 통신망 (metropolitan area network: MAN), 인터넷의 일부, 공중 전화 교환망 (Public Switched Telephone Network: PSTN), 이동 통신망, 또는 이들의 둘 이상의 조합을 포함할 수 있다. 네트워크 (130) 는 하나 이상의 네트워크를 포함할 수 있다.
일 실시예에서, 링크 (160) 는 클라이언트 시스템 (120), 서버(140), 데이터 저장소 (150) 를 네트워크 (130) 에 연결시키거나, 서로를 연결시킬 수 있다. 본 개시는 임의의 적합한 링크 (160) 를 상정한다. 일 실시예에서, 하나 이상의 링크 (160) 는 하나 이상의 와이어라인 (예를 들어, 디지털 가입자 회선 (Digital Subscriber Line: DSL), DOCSIS (Data Over Cable Service Interface Specification)), 무선 (예를 들면, WI-FI 또는 WiMax (Worldwide Interoperability for Microwave Access)), 또는 광학 (예를 들어, SONET (Synchronous Optical Network), SDH (Synchronous Digital Hierarchy)) 연결을 포함할 수 있다. 일 실시예에서, 하나 이상의 링크 (160) 는 각각 애드혹 네트워크, 인트라넷, 엑스트라넷, VPN, LAN, WLAN, WAN, WWAN, MAN, 인터넷의 일부, PSTN의 일부, 이동 통신망, 또는 이들의 둘 이상의 조합의 링크를 포함할 수 있다. 링크 (160) 는 네트워크 환경 (100) 에서 반드시 동일할 필요는 없고, 하나 이상의 제 1 링크는 하나 이상의 제 2 링크와 하나 이상의 측면에서 상이할 수 있다.
일 실시예에서, 서버(140)는 임의의 적합한 서버일 수 있다. 각각의 서버(140)는 독립 서버 또는 복수의 컴퓨터 또는 복수의 데이터센터에 걸친 분산 서버일 수 있다. 서버(140) 는 다양한 타입, 예를 들어 한정하고자 함은 아니고, 웹 서버, 파일 서버, 애플리케이션 서버, 교환 서버, 데이터 베이스 서버, 프록시 서버, 다른 임의의 적합한 서버로서, 여기에 개시된 기능 또는 프로세스를 실행할 수 있는 임의의 조합의 서버일 수 있다. 일 실시예에서, 각 서버 (140) 는 하드웨어, 소프트웨어, 또는 임베디드 논리 콤포넌트, 또는 서버 (140) 에 의해 지원되거나 구현되는 적절한 기능들을 수행하기 위한 콤포넌트들의 조합을 포함할 수 있다.
일 실시예에서, 데이터 저장소 (150) 는 임의의 적합한 데이터 저장소일 수 있다. 데이터 저장소 (150) 는 다양한 종류의 정보를 저장하는데 이용될 수 있다. 일 실시예에서, 데이터 저장소 (150) 에 저장되는 정보는 특정 데이터 구조에 따라 조직될 수 있다. 일 실시예에서, 각 데이터 저장소 (150) 는 상관적 (relational), 원주형 (columnar), 상호적 (correlation), 또는 다른 임의의 데이터 베이스일 수 있다. 데이터 저장소 (150) 는 클라우드 저장소 또는 다른 네트워크 액세서블 스토리지와 같은 네트워킹된 (networked) 스토리지일 수 있다. 또는, 데이터 저장소 (150) 는 클라이언트 시스템 (120) 의 디바이스에 직접적 또는 내부에 장착된 로컬 스토리지, 예를 들어, SSD (solid state drive), HDD (hard-disk drive) 를 포함할 수 있다.
일 실시예에서, 데이터 저장소 (150) 는 광학 검출 디바이스 및 광학 검출 디바이스에 의해 수집된 데이터의 처리에 관련된 다양한 데이터 구조를 저장할 수 있다. 한정하고자 함은 아니고 일례로서, 데이터 저장소 (150) 는 바이오 센싱 측정, 예를 들어, 심박수 (heart rate: HRV), 심박수 변화 (heart-rate variation: HRV), HR 또는 HRV 로부터 도출된 데이터 (예를 들어, 심퍼소베이걸 밸런스 (sympathovagal balance: SVB)), 또는 뇌파 패턴 (예를 들어, 뇌전도 (electroencephalogram: EEG) 데이터) 에 대응하는 데이터 구조를 저장할 수 있다. 한정하고자 함은 아니고 또 다른 예로서, 데이터 저장소 (150) 는 감정 평가를 위한 특징 (feature) 평가 프로세스에 기초하여 결정된 특징 데이터 (features data) 및 특징 벡터 (features vector) 에 대응하는 데이터 구조를 저장할 수 있다. 본 개시가 네트워크 환경 (100) 의 특정 종류의 콤포넌트 및 이러한 콤포넌트의 사용을 도시하고 설명하기는 하나, 본 개시는 네트워크 환경 (100) 의 이러한 콤포넌트의 임의의 적합한 종류 또는 임의의 적합한 사용을 상정한다.
전술된 바와 같이, 자동화된 인간 감정 평가는 행동학, 생물학, 사회 응용에 유용할 수 있다. 아래에 논의된 특정 실시예들은 개인화된 엔터테인먼트 경험에서 모바일 모니터링 사용 배경하에서 인간 감정 평가를 설명한다. 모바일 모니터링에서, 센서와 웨어러블 디바이스 (110A-B) 의 사용은 인간 감정의 실시간 평가를 용이하게 할 수 있다. 일 실시예에서, 자율 신경계 (autonomic nervous system: ANS) 의 활동도/각성 (activitiy/arousal) 를 측정함으로써, 인간 감정이 평가될 수 있고, 각성에서의 변화는 다양한 감정의 지표일 수 있다. 예를 들면, ANS 의 각성은 생리학적 변화로 이어지고, 이는 심박수, 피부 전도도 (skin conductance), 혈압, 호흡, EEG 를 통한 뇌파 패턴, 또는 이들의 조합에서의 변화를 통해 측정될 수 있다. 아래에서 설명되는 특정 실시예들은 신경계 및 심혈관계의 병리생리학적 상호작용의 측정 및 모니터링을 설명한다.
인간 감정에서의 변화는, 부분적으로, EEG 값 또는 뇌의 상이한 위치에서의 뇌파 활성도에서의 변화에 의해 측정될 수 있다. 예를 들어, 뇌는 다양한 자극 및 조건에 다르게 반응하고, 따라서 상이한 인간 감정은 뇌 활동 상에서 구별할 수 있는 마크를 가진다. 일 실시예에서, 웨어러블 디바이스 (110A) 는 전기적 뇌파 활성도, 예를 들어, EEG 를 측정하도록 구성된 센서를 포함할 수 있다.
웨어러블 디바이스 (110A) 는 사용자의 머리의 특정 영역을 측정하는 패턴에 위치한 복수의 센서를 포함할 수 있다. 사용되는 EEG 센서의 개수 및 머리 상에서 각 센서의 위치는 뇌파 특징 (feature) 추출의 정확도, 해상도, 및/또는 신뢰도에 영향을 미칠 수 있다. 센서 데이터 처리 동안, 디바이스들 (110A, 110B, 120, 140) 은 EEG 센서 각각으로부터의 센서 데이터를 뇌의 미리 결정된 영역에 링크할 수 있다. 뇌파 측정은, 아래에서 상세히 설명되는 바와 같이, 처리되어 추세 (예를 들어, EEG 흥분 또는 각성이 증가하거나 감소하는지) 를 결정할 수 있다. 본 개시가 도시하고 특정 구성의 센서를 가지고 뇌파 활성도를 측정하도록 구성된 특정 종류의 웨어러블 디바이스를 도시하고 설명하기는 하나, 본 개시는 뇌파 활성도를 측정하기 위해 임의의 적합한 구성의 센서를 가진 임의의 적합한 종류의 디바이스를 상정한다.
일 실시예에서, 뇌파 활성도는 미리 결정된 주파수 영역대에서 측정될 수 있다. 미리 결정된 주파수 영역대는 예를 들어, 알파 (7-13Hz), 베타1 또는 로우 베타파 (~13-20Hz), 베타2 또는 베타파 (~20-30Hz)를 포함할 수 있다. 알파파 특징들은 양 측면 상 뇌의 후방으로부터 비롯되고, 지배적 측면 (dominant side) 상에서 진폭이 더 크다. 베타파 특징들은 뇌의 양 측면으로부터 대칭 분포하여 비롯되고, 정면으로 가장 눈에 띈다. 베타파 활성도는 운동 행동 (motor behavior) 에 긴밀히 링크되고, 일반적으로 액티브한 움직임 동안에 약화된다. 감마 주파수 영역대는 높은 수준의 노이즈로 인해 실시예들에서 무시될 수 있다. EEG의 미리 결정된 분광대 (spectral band) 의 에너지 레벨이 특징으로서 이용될 수 있고, 에너지 레벨은 웨어러블 디바이스 (110A) 의 각 센서에서 미리 결정된 기간 (예를 들어 1초) 동안에 측정된 데이터를 위해 계산될 수 있다. 예시적인 특징은, 예를 들어, 미리 결정된 임계치보다 더 크거나, 일부 실시예들에서는 미리 결정된 시간보다 큰 지속기간의 에너지 레벨일 수 있다. 이러한 종류의 특징은 뇌의 영역 및/또는 대응 주파수 영역에 대응하는 뇌파 활성도의 종류를 나타낼 수 있다. 다른 예시적인 특징들은 사용자의 뇌의 영역에 대해 측정된 뇌파 활성도의 대칭 또는 비대칭일 수 있다.
일 실시예에서, 상이한 스펙트럼 밴드에 대응하는 주파수 빈 (bin) (예를 들어, 밴드 또는 파워 스펙트럼 밀도 (power spectral density: PSD) 에서의 에너지) 의 특징들은 웨어러블 디바이스 (110A) 로부터의 이산-시간 신호를 패스트 퓨리에 변환 (fast-Fourier transform: FFT) 알고리즘을 이용하여 주파수 영역으로 전환함으로써 계산될 수 있다. 일 실시예에서, 특징들의 값은 0 및 1 사이의 범위의 값으로 정규화될 수 있다. 웨어러블 디바이스 (110A) 의 센서에 의해 캡쳐되는 특징들의 총 개수는 매우 클 수 있다. 캡쳐되는 특징들 중 일부는 감정 평가에 이용되지 않을 수 있고, 특징들의 총 개수는 휴리스틱에 의해 감소될 수 있다. 일 실시예에서, 특징 리덕션 (feature reduction) 은 PCA (principal componenet analysis) 알고리즘을 이용하여 수행될 수 있고, PCA 알고리즘은 데이터를 다차원 공간에 투사하고, 이 투사가 정보의 손실 없이 오리지널 데이터의 최고의 리프리젠테이션(representation)에 대응한다.
전술된 바와 같이, 웨어러블 디바이스 (110B) 는 심혈관 데이터를 측정하도록 구성된 하나 이상의 센서를 포함할 수 있다. 복수 종류의 센서들이 배치될 수 있다. 일 실시예에서, 웨어러블 디바이스 (110B) 는 피부 아래에 불을 비추어 광흡수의 변화에 기초하여 심혈관 활성도를 결정하는 광용적맥파 (photoplethysmogram: PPG) 를 통해 심혈관 데이터를 측정할 수 있다. 한정하고자 함은 아니고 일례로서, PPG 는 압력 맥동 (pressure pulse) 에 의해 야기되는 볼륨의 변화를 측정할 수 있고, 압력 맥동은, LED 로부터의 빛을 피부에 비추어 웨어러블 디바이스 (110B) 의 포토다이오드에 반사되거나 전도된 빛의 양을 측정함으로써 검출될 수 있다. 또는, 웨어러블 디바이스 (110B) 는 심전도검사 (electrocariography: ECG) 를 통해 심혈관 활성도를 측정할 수 있고, ECG는 피부 상에 위치된 전극을 이용하여 심전도 활성도를 측정한다. 한정하고자 함은 아니고 일례로서, 웨어러블 디바이스 (110B) 는 심전도 활성도를 측정하도록 구성된 하나 이상의 전극을 포함하는 체스트 스트랩일 수 있다. 본 개시가 도시하고 특정 구성의 센서를 가지고 심혈관 활성도를 측정하도록 구성된 특정 종류의 웨어러블 디바이스를 도시하고 설명하기는 하나, 본 개시는 심혈관 활성도를 측정하기 위해 임의의 적합한 구성의 센서를 가진 임의의 적합한 종류의 디바이스를 상정한다.
PPG 데이터와 같은 바이오 센싱 측정은 노이지(noisy)할 수 있고 이러한 측정으로부터 도출된 바이오 신호는 노이즈에 민감할 수 있다. 한정하고자 함은 아니고 일례로서, 노이즈의 소스는 동작 잡음 (motion artifact), 불규칙 및/또는 루즈한 신체-센서 접촉, 주변 방해, 또는 다른 노이즈일 수 있다. 구체적으로, 노이즈는 수집된 신호 데이터의 변동성을 증가시키고, 이는 HRV 산출에서 인지되는 변동성을 잘못된 방향으로 증가시킬 수 있고, 이는 SVB 출력에 잘못된 영향을 미칠 수 있다. 한정하고자 함은 아니고 일례로서, 노이즈는 PPG 신호에서 매우 두드러지고, 이는 이상적인 수집 및 분석 방법 이하의 어느 것을 위한 로우 톨러런스 (low tolerance) 를 가진 민감한 바이오 신호이다. 아래에서 논의되는 특정 실시예들은 노이즈 측정과 함께 건강 및/또는 웰니스 (wellness) 에 관련된 적합한 바이오 신호를 모니터링하고 분석하는 것에 관한다. 건강 측정은 바이오 센싱 디바이스 (예를 들어, 하나 이상의 웨어러블 디바이스 (110A-B), 스마트폰과 같은 모바일 단말), 전문화된 모니터링 디바이스 (예를 들어, 의료 디바이스 등), 또는 다른 적합한 디바이스, 또는 이들의 임의의 조합 (도 1에 대해 전술된 바와 같이) 에 의해 캡쳐된 데이터로부터 계산된다. 한정하고자 함은 아니고 일례로서, 건강 측정은 스트레스, 심박수, 수면, 감정 상태, 다른 관련 측정, 또는 이들의 임의의 조합을 포함할 수 있다. 예를 들어, 데이터는 EEG 신호, PPG 신호, ECG 신호, 바이오-임피던스 (bio-impedance) 신호, 동맥혈압 (BP 신호), 다른 적합한 신호, 또는 이들의 조합에 대응할 수 있다. 전술된 바와 같이, PPG 신호는 HRV 를 계산하는데 이용되고, 이는 SVB 를 계산하는데 이용된다. 하지만, PPG 신호에서의 노이즈는 HRV 계산에서의 변동성을 증가시킬 수 있고, 잘못된 SVB 측정을 야기할 수 있다. 후술되는 실시예들은 PPG 신호 또는 EEG 신호에서의 노이즈로부터 야기되는 에러를 교정하는 것을 도시한다.
일 실시예에서, 노이지한 신호 (예를 들어, PPG 신호 또는 EEG 신호) 를 교정하는 것은 지터 또는 신호 왜곡이 피크 또는 골 (trough) 또는 제로-크로싱에 국소적일 수 있는 관측에 기초할 수 있다. 신호의 최대, 최소, 또는 제로-크로싱에 가까운 신호 왜곡에 있어서, 노이즈는 예상된 신호 프로필을 산출하고, 러 신호 (raw signal) 와 함께 예상된 신호 프로필에 기초하여 결정된 구성된 신호를 블렌딩(blending)함으로써 추정될 수 있다. 높은 신호 왜곡의 경우, 신호의 관련된 부분은 완전히 제거되어, 예상된 신호 프로필에 기초하여 결정된 구성된 신호로 대체될 수 있다. 구성된 신호는 사용 또는 분석을 위해 좋은 PPG 신호 또는 EEG 신호를 낮은 노이즈와 함께 제공한다. 노이지한 신호들을 스티칭(stitching) 및/또는 대체하는 것은 상대적으로 노이즈가 없는 신호를 출력하기 위해 실시간으로 수행될 수 있다.
도 2a, 2b, 및 2c 는 노이즈 예측 및 신호 스티칭 또는 교체를 위한 노이즈 조정 시스템 (200) 을 도시한다. 후술되는 바와 같이, 신호 노이즈 및 추정된 에러 간의 관계가 결정된다. 일 실시예에서, 이 관계는 산출된 관계 (예를 들어 방정식) 또는 룩업 테이블 (look-up table) 로서 구현될 수 있다. 이에 따라, 산출된 노이즈 레벨에 기초하여, 에러-노이즈 커브 (error-noise curve) 가 추정된 에러를 결정하는데 이용될 수 있다. HRV 또는 SVB 산출에 있어 에러가 주어질 수 있고, 조정이 상응하는 산출에 적용될 수 있다.
웨어러블 디바이스 (110A-B) 또는 클라이언트 시스템 (120) 상에서 실행될 수 있는 노이즈 조정 시스템 (200) 은, 러 신호 (210) 의 입력을 최초로 수신할 수 있다. 전술된 바와 같이, 러 신호 (210) 는 센서 (또는 센서 인터페이스) 로부터 수신될 수 있고, 베이직 필터링 및 픽 검출 (peak detection) (220) 에 의해 처리될 수 있다. 한정하고자 함은 아니고 일례로서, 러 신호 (210) 는 베이직 필터링을 통해 처리되어, 노이즈의 일부 (예를 들어, 15Hz 보다 큰 주파수를 가진 러 신호의 임의의 블록들) 를 제거할 수 있다. 또한, 러 신호 (210) 는 해당 신호에 대해 피크 검출이 수행될 수 있도록 처리될 수 있고, 이 정보는 추후 이용 (예를 들어, 신호가 노이지한지 아닌지를 결정하기 위해) 을 위해 저장될 수 있다.
필터링된 러 신호는 노이즈 정량화 시스템 (noise quantification system) (230) 으로 전송될 수 있다. 노이즈 정량화 시스템 (230) 은 신호 딜레이 (232), 신호 필터 (236), 데이터 게이트 (238), 노이즈 검출기 (240), 및 파형 버퍼 (waveform buffer) (246) 을 포함할 수 있다. 일 실시예에서, 필터링된 러 신호는 신호 딜레이 (232) 에게 전송될 수 있고, 딜레이-필터링된 신호 (234) 는 신호 필터 (236) 및 데이터 게이트 (238) 에게 전송될 수 있다. 일 실시예에서, 신호 딜레이 (232) 는 필터링된 러 신호를, 딜레이-필터링된 신호 (234) 를 데이터 게이트 (238) 에 전달하여 신호 필터 (236) 로 전송된 딜레이-필터링된 신호 (234) 가 노이즈 검출기 (240) 에 의해 분석되어 노이즈가 존재하는지를 결정할 수 있도록 (이에 따라 노이즈가 검출되어 실시간에 가깝게 다뤄질 수 있도록), 미리 결정된 기간 동안 저장하여 유지할 수 있다. 노이즈가 존재하는지를 결정함에 있어서, 노이즈 검출기 (240) 는 상대적인 펄스 폭 및 펄스 진폭 (예를 들어 제 1 펄스 및 하나 이상의 제 2 후속 펄스들 사이의) 을 산출할 수 있고, 생리학적으로 용인되는 편차와 비교할 수 있고, 생리학적으로 용인되는 편차보다 큰 검출 변화들은 노이즈로 여겨질 수 있다. 한정하고자 함은 아니고 일례로서, PPG 파형에 있어, 신호 딜레이 (232) 는 필터링된 러 신호를 심박동의 단일 펄스에 대략적으로 대응하는 100 개 샘플의 기간 동안 유지 (가령, 딜레이) 할 수 있다. 이러한 방식으로, 만약 필터링된 러 신호가 노이즈를 포함하는 것으로 결정되는 경우, 노이즈 조정 시스템 (200) 은 (100개 샘플 중 어딘가에 위치하는) 단일 펄스의 처음으로 돌아가 노이즈가 발생하기 이전, 필터링된 러 신호를 조정할 수 있다. 일 실시예에서, PPG 파형 신호에 있어서, 단일 파형의 처음은 피크 (예를 들어, 단일 펄스는 다음 펄스-피크에 대한 펄스-피크에 기초하여 결정됨), 골 (예를 들어, 단일 펄스는 다음 골에 대한 골에 기초하여 결정됨), 제로-크로싱 (예를 들어, 단일 펄스는 다음 제로-크로싱에 대한 제로-크로싱에 기초하여 결정됨), 다른 관련된 파형 특징, 또는 이들의 임의의 조합일 수 있다. 구체적인 파형 특징들의 특정 파형 특징들과 장점은 아래에서 더 상세히 설명된다.
노이즈 검출기 (240) 가 딜레이-필터링된 신호 (234) 에서 노이즈가 존재하는지 여부를 결정하면, 이 결정은 데이터 게이트 (238) 에게 전송되고, 블렌더 (262) 에게도 전송된다. 만약 단계 242 와 같이 노이즈가 없는 것으로 결정되는 경우, 딜레이-필터링된 신호 (234) 는 저장되고 파형 버퍼 (244) 에 입력되고, 블렌더 (262) 에게 또한 전송된다. 일 실시예에서, 파형 버퍼 (244) (예를 들어, 메모리 버퍼) 는 미리 결정된 양의 데이터만을 저장할 수 있다. 한정하고자 함은 아니고 일례로서, PPG 파형 신호에 있어서, 파형 버퍼 (244) 는 심박동의 3개 펄스 (예를 들어, N=3) 에 대응하는 데이터만을 저장할 수 있다. 파형 버퍼 (244) 는 적은 수의 펄스를 저장하도록 구성될 수 있고, 이로써, 노이지한 신호 (예를 들어, 하나 이상의 이전 펄스 신호들과 비교하여 하나 이상의 특징들에서 큰 편차를 가진 펄스 신호) 는 이전 신호와 비교할 때 노이지한 신호로 결정될 수 있고, 동시에 신호상에서 점진적인 변화를 허용할 수 있다. 또한, 파형 버퍼 (244) 가 버퍼 내에서 아무것도 없이 시작하는 경우 (예를 들어, 아무런 PPG 파형도 저장되어 있지 않은 경우), 최초 결정은 딜레이-필터링된 신호는 노이즈를 포함하고 있지 않은 것일 수 있고, 이로써 현재 PPG 펄스의 파형과 이전 PPG 펄스의 파형을 분석하기 이전에, 적어도 3개의 PPG 신호가 저장될 수 있다. 그 후, 3개의 노이지하지 않은 (non-noisy) PPG 파형이 파형 버퍼 (244) 에 저장된 후, 노이지하지 않은 것으로 결정되는 추가 PPG 파형 각각은 파형 버퍼 (244) 에 저장되고, 그 동안 오래된 PPG 파형 (예를 들어, 4개 펄스 이전의 PPG 파형) 은 지워질 수 있다. 이러한 방식으로, 파형 버퍼 (244) 는 가장 최근의 3개 펄스에 대응하는 3개의 PPG 파형을 항상 유지할 수 있다.
일 실시예에서, 파형 버퍼 (@44) 에 저장되는 펄스의 개수는, 의미있는 비교를 하기 위해 충분히 작은 수일 수 있고, 인터-펄스 편차 (inter-pulse deviation) 및 노이즈를 평균화하기에 충분히 큰 수일 수도 있다. 여기서, 용어 R 에 대한 참조는, PPG 파형의 QRS 컴플렉스 (complex) 의 피크 또는 대동맥에서 가장 큰 압력구배에 대응하는 점을 가리킬 수 있고, 용어 RR 간격에 대한 참조는 연속적인 R 들 사이의 간격을 가리킨다. 한정하고자 함은 아니고 일례로서, 심박동의 3개 펄스는 호흡성동성부정맥 (respiratory-sinus arrhythmia: RSA) 의 현상에 의해 파형 버퍼 (244) 에 저장되고, RSA는 호흡과 동기화된 심박수 변동성이고, 이에 의해 ECG 또는 PPG 상에서의 RR 간격은 들숨 동안 단축되고, 날숨 동안 연장된다. PPG 파형 상에서 RSA 의 영향은, 흡입이 PPG 파형 진폭을 감소시키는 동안 HR 을 점진적으로 증가시키고, 여기서 날숨은 PPG 파형 진폭을 증가시키는 동안 점진적으로 HR 을 감소시킨다. 일 실시예에서, PPG 파형 상에서 RSA 의 영향은 PPG 파형 (예를 들어, 알려진 RSA 사이클 내에 해당하도록 N=3 이 선택됨) 에서의 노이즈의 결정에 고려되거나, 개별적일 수 있다.
또는, 만약 딜레이-필터링된 신호 (234) (예를 들어, 단계 246) 에서 노이즈가 존재하는 것으로 결정되는 경우, 도 2a 의 예에 도시된 바와 같이, 노이지한 데이터 (256) 가 파형 빌더 (250) 의 딜레이 (258) 에게 전송될 수 있다. 일 실시예에서, 파형 빌더 (250) 는 통계 엔진 (252), 딜레이 (258), 및 블렌더 (262) 를 포함할 수 있다. 일 실시예에서, 파형 버퍼 (244) 를 통해 처리된 딜레이-필터링된 신호 (234) 는 통계 엔진 (252) 에 입력되고, 통계 엔진 (252) 은 통계 파형 (254) 를 파형 버퍼 (244) 에 저장된 데이터 (예를 들어, 마지막 3개 펄스) 에 기초하여 통계적 파형 (254) 을 생성하고, 해당 데이터는 조정되어, 해당 신호의 변화하는 주기에 매칭되어, 더 나은 신호 매칭을 허용할 수 있고, 이때 PPG 파형 신호는 노이지한 신호에서 클린한 신호로 바뀔 수 있고, 통계적 파형 (254) 는 실시간 데이터로 트랜지션될 수 있다. 이러한 통계적 파형 (254) 는 블렌더 (262) 로 전송될 수 있다. 또한, 노이지한 데이터 (256) 는 딜레이 (258) 에 입력되고, 이는 미리 결정된 시간 동안 저장되어, 통계적 파형 (254) 이 통계 엔진 (252) 에 의해 생성될 수 있게 할 수 있다 (예를 들어, 거의 실시간으로 신호 조정을 하게 함). 그 후, 딜레이-노이지한 데이터 (260) 및 통계적 파형 (254) 는, 노이즈 검출기 (240) 및 딜레이-필터링된 신호 (234) 의 결정에 더하여, 블렌더 (262) 에 입력된다. 블렌더 (262) 는, 딜레이-필터링된 신호 (234) 에서 노이즈가 검출되는 경우, 통계적 파형 (254) (예를 들어, 구성된 파형) 을 딜레이-필터링된 신호 (234) (예를 들어, 러-신호 파형) 에 블렌딩할 수 있다. 한정하고자 함은 아니고 일례로서, 블렌딩은 구성된 파형에 주어진 제로 세기 (예를 들어, 0%) 및 선택된 특징 (예를 들어, 제로-크로싱, 피크, 골) 에 가까운 점에서 러-신호 파형에 주어진 100% 세기와의 시작을 포함할 수 있고, 신호가 100% 구성된 파형 및 0% 러-신호 파형이 될 때까지, 구성된 파형에 점진적으로 가중치를 줄 수 있다. 또한, 이 프로세스는 거꾸로 점진적으로 수행되어, 노이즈가 신호에서 더 이상 검출되지 않은 이후에 두 신호를 머징 (merging) 할 수 있다. 일 실시예에서, 그 결과로 생긴 블렌딩된 신호는 추가 필터를 통해 전송되어어져, 파형 상에서의 포인트들이 이 블렌딩된 신호에 순조롭게 블렌딩될 수 있게끔 할 수 있다. 그 후, 블렌더 (262) 는 노이즈-보상된 데이터 (264) (예를 들어, 노이즈-보상된 신호) 를 펄스 조정기 (270) 에게 출력할 수 있다.
도 2c 에 도시된 바와 같이, 펄스 조정기 (270) 는 HR 계산기 (272), RSA 인터폴레이터 (interpolator), RSA 퀄리티 체크 (280), 및 OR 게이트 (286) 를 포함할 수 있다. 펄스 조정기 (270) 의 목적은, 노이지한 신호에서 HR 을 제안할 때, RSA 주기를 고려하기 위함이고, 이는 HR 신호의 이차 인터폴레이션 (quadratic interpolation) 을 이용하여 수행될 수 있다. 먼저, 노이즈-보상된 데이터 (264) 는 HR 계산기 (272) 에 입력되어, 노이즈-보상된 데이터 (264) 에 기초하여 심박수 신호를 결정할 수 있다. 그 후, HR 계산기 (272) 를 통해 결정된 심박수 신호는 RSA 인터폴레이터에게 전송되고, RSA 인터폴레이터는 이차-피트 (quadratic-fit) 신호 (276) (예를 들어, 인터폴레이션된 RSA-추정) 을 계산하고, 이를 RSA 퀄리티 체크 (280) 를 통해 노이즈-보상된 HR 신호 (278) 과 비교한다. 만약 이차-피트 신호 (276)가 노이즈-보상된 HR 신호로부터 미리 결정된 양 (예를 들어, 허용 가능한 편차의 임계치) 을 벗어나는 것으로 결정되는 경우, 즉, 노이즈-보상된 HR 신호 (278) 의 퀄리티가 낮은 경우, 이차 평균 (quadratic average) 신호 (282) 는 이차-피트 신호 (276) 및 노이즈-보상된 HR 신호 (278) 에 기초하여 계산되고, 이 이차 평균 신호 (282) 는 OR 게이트 (286) 를 통해 조정된 출력 (290) 으로서 출력된다 (예를 들어, 출력된 신호는 거의 실시간으로 조정된 것임). 또는, 만약 이차-피트 신호 (276)가 노이즈-보상된 HR 신호로부터 미리 결정된 양을 벗어나지 않은 것으로 결정되는 경우, 노이즈-보상된 HR 신호 (284) 가 조정된 출력 (290) 으로서 OR 게이트 (286) 를 통해 출력된다. 일 실시예에서, 허용 가능한 편차의 임계치는 상황에 따라 변할 수 있다. 한정하고자 함은 아니고 일례로서, 노이즈가 검출되지 않은 경우, 데이터의 제 1 세트 및 데이터의 제 2, 후속 세트 간의 허용 가능한 편차의 최대치는 15% 일 수 있다. 하지만, 노이즈가 검출되는 경우, 데이터의 제 1 세트 및 데이터의 제 2, 후속 세트 간의 허용 가능한 편차의 최대치는 5% 로 감소될 수 있다.
일 실시예에서, PPG 파형의 특징 (예를 들어, 피크, 제로-크로싱, 또는 골) 은 비트-투-비트 시간 (beat-to-beat times) 을 측정하는데 이용되고, HRV 를 결정하는데 이용된다. 예시적인 실시예들은 동적으로 특징들을 선택하여, 해당 파형의 특정 특징이 노이즈에 의해 변질되었는지 여부를 결정하는 것에 기초하여, 비트-투-비트 시간을 결정하는데 이용할 수 있다. 일 실시예에서, 연이은 심박수에서 발견된 변질된 특징은 비트-투-비트 시간을 결정하는데 이용된다. 한정하고자 함은 아니고 일례로서, 노이즈 조정 시스템 (200) 은 각 주기에서 반복되고 검출 가능한 특징들 (예를 들어, PPG 신호에서 피크 근방에서의 사인파 신호) 과 함께 잘 형성된 모폴로지 (morphology) 와 같은 소정의 성질들을 갖는 센서 신호의 피크를 결정하도록 시도할 수 있다. 일 실시예에서, 피크 검출이 수행되고 검출된 피크 정보에 기초하여 신호 특징이 결정될 수 있다.
일 실시예에 따르면, 노이즈는 다양한 방식에 의해 산출될 수 있다. 일 실시예에 따르면, 클린한 PPG 신호에서 평균 신호와 해당 신호의 전체 영역의 비율로서 노이즈를 산출할 수 있다. 만약 해당 비율이 예상된 범위를 현저히 벗어나는 경우, 해당 신호는 노이지한 것으로 볼 수 있고, 해당 비율은 노이즈의 레벨을 수량화하는데 이용될 수 있다. 다른 실시예에 따르면, 주어진 펄스에서 피크 (또는 골) 의 개수를 추정하고, 만약 주어진 개수가 임계치를 초과하는 경우, 이는 해당 신호에서 노이즈의 수량사일 수 있다. 또 다른 실시예에 따르면, 예상된 프로필로부터 신호의 RMS 편차를 측정하는 것으로서, 해당 측정값은 신호의 노이즈 레벨로서 취해질 수 있다. 또 다른 실시예에 따르면, 각각의 계산된 피크, 골, 및 제로-크로싱에 대하여, 특징 근방에서 예상된 신호 프로필이 커브 피팅 (curve fitting) 에 의해 계산될 수 있다. 그 후, 예상된 신호로부터 실제 신호의 RMS 편차가, 주어진 특징에 대한 신호의 전체 노이즈의 수량으로서 이용될 수 있다. 만약 신호의 특정 특징이 RR 계산을 위해 이용되는 경우, 그 특징 근방에서 노이즈는 해당 신호에서 노이즈의 마커 (marker) 로서 이용될 수 있다.
에러-노이즈 모델은 주어진 세팅에서 에러 조정에 더 적합할 수 있고, 특정 노이즈 모델은 선호되는 모델로서 취해질 수 있다. 일 실시예에서, 노이즈 조정 시스템 (200) 은 어느 에러-노이즈 모델이 선택될 것인지 자동으로 결정할 수 있다. 예를 들어, 합성 노이즈 (synthetic noise) 가 클린한 PPG 에 도입될 수 있고, 각 에러-노이즈 모델의 조정의 정확도가 측정될 수 있다. 가장 높은 정확도 (예를 들어, 가장 낮은 에러) 를 갖는 에러-노이즈 모델이 선택된다.
나아가, 많은 경우에 있어, 신호가 너무 변질되어, 어느 특징을 추정하는 것도 가능하지 않을 수 있다. 이러한 경우, 전체 신호에서 그러한 펄스 (평균 심박수로부터의 외삽법 (extrapolation) 에 의해 획득됨) 의 개수는 해당 신호에서 전체 노이즈의 마커로서 이용될 수 있다. 하지만, 각각의 노이지한 RR은 3개의 RR-델타 측정값을 변질시킬 수 있다. 그러므로, 신호에서 이산적으로 분산된 노이즈는 연속적으로 연장하여 존재하는 노이즈에 비해 더 큰 영향을 끼칠 수 있다. 예를 들어, 만약 노이즈가 오직 하나의 펄스에 영향을 미치고 이러한 단일의 노이지한 펄스 인스턴스들은 해당 신호에 걸쳐 분산된 경우, 이는 예를 들어, 30개의 노이지한 RR-델타 산출에 이를 수 있고, 따라서 이 경우 해당 신호는 10개의 노이지한 펄스가 연속적인 경우보다 더 신호가 변질된다. 오류가 있거나 단순히 계산될 수 없는 RR-델타의 예상된 총 개수에 관한 정보는 신호에서 총 노이즈의 의미있는 정량화일 수 있다.
일 실시예에서, PPG 신호의 노이즈양을 정량화하는 것은, PPG 파형의 미리 결정된 특징에 연관된 노이즈의 양을 정량화하는 것을 포함할 수 있다. 후술되는 바와 같이, PPG 파형의 미리 결정된 특징은 PPG 신호에 관한 하나 이상의 피크, PPG 신호에 관한 하나 이상의 골, 또는 PPG 신호에 관한 하나 이상의 제로-크로싱, 또는 이들의 조합을 포함할 수 있다. 일 실시예에서, PPG 파형은, LED 및 포토 디텍터, 예를 들어, 웨어러블 디바이스 (110B) 의 일부로서, 를 포함하는 센서 플랫폼을 이용하여 상이한 샘플링 레이트에서 사용자의 손목으로부터 획득될 수 있다. 웨어러블 디바이스 (110B) 로부터 수신된 데이터는, 예를 들어, 25Hz 로부터 800 Hz 까지의 범위에서 변하는 주파수에서 디지털화될 수 있다. 한정하고자 함은 아니고 일례로서, PPG 파형의 시계열 (time series) 은 복수의 피크 (예를 들어, 4개의 피크) 를 포함할 수 있고, PPG 파형의 형태학적 특징 (morphological feature) 은 각 피크 간에 변화할 수 있다.
일 실시예에서, PPG 파형의 특징은, 각 특징의 결정된 노이즈 레벨에 기초하여 선택적으로 이용될 수 있다. 또한, 각 특징의 주변에서의 신호가 분석되어, 노이즈가 존재하는지 여부를 결정하고, 해당 특징이 신뢰할 만한 특징인지 여부를 결정할 수 있다. 한정하고자 함은 아니고 일례로서, 만약 PPG 신호의 피크가 노이지한 것으로 결정되는 경우, RR 간격은 제 1 피크로부터 제 2, 후속 피크까지 계산되지 않고, 제로-크로싱으로부터 후속 제로-크로싱까지로 계산될 수 있다. 즉, 노이즈 조정 시스템 (200) 은 신호에 연관된 모든 특징을 분석하여 하나 이상의 특징들에서 노이즈에 기초한 신호 분석에 이용하기 위한 하나나 이상의 특징들을 선택할 수 있고, 노이지한 것으로 결정된 특징을 폐기할 수 있다.
일 실시예에서, 노이즈 에러 추정은 아래와 같이 산출될 수 있고, 신호에서의 노이즈가 정량화되어, 노이즈-에러 커브를 생성하여 산출된 HRV 를 조정하는데 이용될 수 있다. 일 실시예에서, 심전도 활성도 데이터는 노이즈-계산 기간 동안에 측정된 PPG 신호를 포함할 수 있다. 전술된 바와 같이, 수신된 센서 데이터의 노이즈 레벨은, PPG 신호와 연관한 에러-노이즈 추정을 계산한 것에 기초하고, PPG 신호와 연관한 에러-노이즈 추정에 기초하여 PPG 신호의 노이즈의 양을 정량화한 것에 기초할 수 있다.
일 실시예에서, 노이즈 조정 시스템 (200) 은 결정된 노이즈 레벨에 기초하여 계산된 양에 의해 건강-변이성 측정 (health-variability measurement) 을 조절할 수 있다. 일 실시예에서, 결정된 노이즈 레벨에 기초하여 계산된 양에 의해 건강-변이성 측정을 조절하는 것은, 결정된 노이즈 레벨에 기초하여 계산된 양에 의해 건강-변이성 측정을 감소시키는 것을 포함할 수 있다. 신호에서 노이즈의 비율이 증가하는 경우, 그에 따른 에러의 비율 또한 증가한다. 그러므로, 노이지한 신호는 인공적으로 상승된 (따라서 부정확한) HRV 산출을 야기할 수 있고, 그러므로, 노이즈 보상 이후의 신호와 비교할 때 인공적으로 감소된 SVB 산출을 야기할 수 있다. 노이즈 보상과 더불어, SVB 는 노이즈 레벨 및 에러-노이즈 커브에 기초하여 결정된 에러에 의해 위로 조절되어, 더욱 정확한 SVB 를 획득할 수 있다. 일 실시예에서, HRV 측정을 조절한 후, 노이즈 조정 시스템 (200)은 조절된 HRV 측정을 사용자의 전자 디바이스 (예를 들어, 클라이언트 시스템 (120)) 에게 전송할 수 있다. 본 개시가 노이즈 조정 시스템 (200) 의 컴포넌트의 특정 종류와 사용을 설명하기는 하나, 본 개시는 심장 또는 뇌파 활동 데이터의 노이즈 조정을 위한 임의의 종류의 컴포넌트들을 상정한다.
심혈관계는 ANS 에 의해 통제되고, 이는 교감신경계 (SNS) 및 부교감신경계(PSNS) 를 포함한다. 심퍼소베이걸 밸런스 (SVB) 는 SNS 및 PSNS 간의 평형점으로 정의된다. 심장의 리듬은 동방 결절의 (sinoatrial: SA) 노드에 의해 제어되고, 이는 자율 신경계의 교감 및 부교감 가지들 모두에 의해 조절된다. 심장은 그것의 신경 입력을 척추의 래터럴 그레이 컬럼 (lateral grey column) 및 부교감 및 교감 신경절을 통해 수신한다. 교감 활성도는 심박수를 증가시키는 경향이 있고, 부교감 활성도는 심박수를 감소시키는 경향이 있다. 일 실시예에서, 적어도 SVB 에 기초하는 감정의 평가는, 교감계 방출 (sympathetic outflow) 및 부교감계 방출이 안정된 상태의 항상성 평형을 바라본다. 이에 따라, SVB 는 SNS 및 PSNS 사이 (예를 들어, 교감계 방출 및 부교감계 방출 사이) 의 밸런스 및 상대적인 우위를 분석함으로써 결정될 수 있다. 이러한 접근은 자연계에서 선형적이고, 이는 노이즈 (자연계에서 비선형적임) 에 대해 매우 안정적이다. 게다가, 이러한 접근은 사용자화가 가능하여, 사용자, 다른 사용자, 또는 의료 종사자 특유의 니즈를 해결할 수 있다.
도 3a 는 베이스라인 데이터 히스토그램의 예를 도시한다. 도 3a 에 도시된 바와 같이, 베이스라인 데이터 히스토그램 (300) 의 x축은 심박수 변동 (예를 들어, 연속적인 심박수 사이에서의 RR-델타 또는 RR 간격 차이) 에 대응하고, 베이스라인 데이터 히스토그램 (300) 의 y축은 한 세트의 베이스라인 데이터 동안에 발생하는 특정 심박수 변동의 빈도 또는 횟수에 대응한다. 베이스라인 SVB 의 일 측 상의 한 세트의 측정 데이터의 일부는, 심전도 활동 데이터의 제 1 부분 내에서 ANS 활성도 마커들을 결정하는데 이용될 수 있다. 심전도 활동 데이터의 제 2 부분 내에서 ANS 활성도 마커들 및 제 1 부분 내에서의 ANS 활성도 마커들에 관한 비율인 HRV 특성이 계산된다. SVB는 베이스라인 데이터 히스토그램 (300) 의 50:50 분배 포인트에 의해 정의되고, 한 세트의 베이스라인 데이터 포인트의 50%는 SVB 의 좌측에 있고, 한 세트의 베이스라인 데이터 포인트의 50%는 SVB 의 우측에 있다. HRV 데이터는 SVB 에서 변화를 결정하는데 이용된다. HRV 는 연속적인 심박수 사이의 변화를 설명한다. 베이스라인 데이터 히스토그램 (300) 을 이용하여, SVB 는 정상 (예를 들어, 스트레스를 받지 않은) 상태를 나타내는 HRV 존에 대응한다. 설명된 SVB의 분석은 SNS 및 PSNS 를 동일한 가중치로 취급하고 (둘은 모두 ANS 각성을 분석하는데 이용하므로), RR-델타를 이용한다.
일 실시예에서, SVB 를 결정하기 위해, 스트레스 또는 각성은 테스트 데이터 t 의 RR-델타 히스토그램 Ht 에서 SNS 의 증가된 점유로서 정의되고, 히스토그램의 데이터 포인트들은 한 세트의 테스트 데이터에서 인접한 RR 간격들 길이 간의 차이에 대응한다. 일 실시예에서, SNS 에 상대적으로 맵핑된 이벤트 수와 PSNS 에 상대적으로 맵핑된 이벤트 수의 비율이 산출된다. HRV 의 측정은 시간 영역 분석 또는 주파수 영역 분석에 기초할 수 있고, 이는 둘다 많은 결점을 가진다. 예를 들어, FFT에 기초한 주파수 영역 분석 방법은, 노이즈에 매우 민감하고, 긴 측정시간을 필요로 하여, 모바일 플랫폼 상에서 구현하기에 적합하지 않다. 연속적인 심박수 간격 차이의 실효값 (RMSSD), NN 간격의 표준 편차 (SDNN), pNN50 등과 같은 시간 영역 방법들이 즉각적인 심박수 신호를 분석하는데 종종 이용된다. 사용자의 주어진 베이스라인 SVB 및 RR-델타 히스토그램 Ht 을 고려할 때, SVB 는 모든 RR-델타의 중간값, 모든 RR-델타의 평균값, Ht 를 거쳐 산출된 RMSSD의 50%, Ht 를 거쳐 산출된 SDNn의 50%, 다른 관련값들, 또는 이들의 임의의 조합으로서 산출될 수 있다.
도 3b는, SVB가 좌측으로 쉬프트되는 테스트 데이터 히스토그램 (310) 의 일례를 도시하고, 도 3c는, SVB가 우측으로 쉬프트되는 테스트 데이터 히스토그램 (310) 의 일례를 도시한다. 도 3b 에 도시된 바와 같이, 도 3a 와 유사하게, 테스트 데이터 히스토그램 (310) 의 x축은 심박수 변동 (예를 들어, RR-델타 ) 에 대응하고, 테스트 데이터 히스토그램 (310) 의 y축은 한 세트의 테스트 데이터 동안에 심박수 변동의 횟수에 대응한다. 일 실시예에서, 한 세트의 측정 데이터의 제 1 및 제 2 부분은 베이스라인 SVB값 (예를 들어, 사용자 특정 베이스라인 SVB값) 에 기초하여 선택되고, SVB값은 해당 세트의 측정 데이터를 나타내는 히스토그램을 해당 제 1 및 제 2 부분들로 나눈다. 해당 세트의 테스트 데이터에 대한 심박수 변동이 평균적으로 히스토그램 A1 (예를 들어, 베이스라인 데이터에 대응함) 의 밸런스의 쉬프팅을 좌측 방향을 향해 히스토그램 A2 으로 야기하는 경우, 또는, SVB (베이스라인 데이터에 기초하여 결정됨) 좌측에 대한 히스토그램 A2 의 심박수 변동의 측정의 개수가 SVB 우측에 대한 히스토그램 A2의 심박수 변동의 측정의 개수보다 더 큰 경우, 사용자의 상태는 “하이 각성 (high arousal)”을 나타내는 HRV존에 대응하는 것으로 결정된다. 다른 방식으로 설명하기 위해 도 3b 를 참조하면, 총 영역 A, A2/A (즉, A2 커브 아래의 영역) 가 A1/A (즉, A1 커브 아래의 영역) 보다 작은 것으로 결정되는 것을 고려할 때, 히스토그램이 좌측으로 쉬프트되고, 사용자의 상태는 “하이 각성 (high arousal)”또는 증가된 SVB를 나타내는 HRV존에 대응하는 것으로 결정된다.
도 3c 에 도시된 바와 같이, 도 3a 와 유사하게, 테스트 데이터 히스토그램 (320) 의 x축은 심박수 변동 (예를 들어, RR-델타 ) 에 대응하고, 테스트 데이터 히스토그램 (320) 의 y축은 한 세트의 테스트 데이터 동안에 심박수 변동의 횟수에 대응한다. 해당 세트의 테스트 데이터에 대한 심박수 변동이 평균적으로 히스토그램 A1 (예를 들어, 베이스라인 데이터에 대응함) 의 밸런스의 쉬프팅을 우측 방향을 향해 히스토그램 A2 으로 야기하는 경우, 또는, SVB (베이스라인 데이터에 기초하여 결정됨) 우측에 대한 히스토그램 A2 의 심박수 변동의 측정의 개수가 SVB 좌측에 대한 히스토그램 A2의 심박수 변동의 측정의 개수보다 더 큰 경우, 사용자의 상태는 “로우 각성 (low arousal)”을 나타내는 HRV존에 대응하는 것으로 결정된다. 다른 방식으로 설명하기 위해 도 3c 를 참조하면, 총 영역 A, A2/A (즉, A2 커브 아래의 영역) 가 A1/A (즉, A1 커브 아래의 영역) 보다 큰 것으로 결정되는 것을 고려할 때, 히스토그램이 우측으로 쉬프트되고, 사용자의 상태는 “로우 각성 (low arousal)”을 나타내는 HRV존에 대응하는 것으로 결정된다.
이 실시예의 특정 실시예들은 RR-델타 히스토그램 HT 를 문맥상 적절한 SVB 개념에 기초하여 나누는 것에 의존할 수 있다. 한정하고자 함은 아니고 일례로서, 만약 문맥이 레코딩 기간에서의 가변성의 원인이 되는 주기적 컴포넌트들인 경우, SVB에 대한 비율은 SDNN(H) 모델을 통해 평가될 수 있다.
일 실시예에서, 히스토그램을 파퓰레이팅 (populating) 하는데 이용되는 RR-델타 데이터의 버퍼 길이는 스트레스의 산출 동안 고정된 사이즈에 한정될 필요는 없다. 알고리즘은 SVB 방식을 제공하고, 소정의 최소 길이보다 더 긴 길이의 데이터가 이용되는 경우, SVB는 역시 유의미하게 묘사될 수 있다. 보통, 버퍼 길이는, 정확도, 안정성, 또는 가변 길이가 유리한 임의의 다른 특성의 요구에 기초하여 변화될 수 있다. 일 실시예에서, 측정 데이터는 비트투비트 심박수 (RR-델타) 에서의 변화, 피부 전도도, 두피 상의 전기적 활성도에서 고유한 주파수 컴포넌트, 들숨 및 날숨 패턴들, 등을 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 측정 데이터는 심전도 (electrocardiogram: ECG), 피부 전기적 (electrodermal) 분석 센서, EEG 헤드셋, 호흡 센서, 다른 적합한 센서 또는 이들의 임의의 조합과 같은 심박수 측정 센서를 이용하여 측정될 수 있다.
도 4 는 감정의 원형 모형 (circumplex model) 의 예시적인 도면을 도시한다. 감정의 원형 모형 (400) 은 인간 감정은 각성 (arousal) 및 발렌스 (valence) 차원들을 포함하는 2차원 원형 공간 (402) 에 맵핑시킨다. 각성의 레벨들은 원형 공간 (402) 의 수직 축에 맵핑되고, 발렌스는 수평축에 맵핑된다. 원형 모형 (400) 에서, 발렌스는 감정의 종류 (예를 들어, 긍정적 또는 부정적) 에 대응하고, 각성은 감정의 정도에 대응한다. 원형 공간 (402) 의 중앙은 중립적인 발렌스 및 각성 레벨을 나타낸다. 이 모델에서, 감정 상태는 발렌스 및 각성의 임의의 레벨 또는 하나 또는 두 요소의 중립적 레벨에서 표현될 수 있다. 또한, 원형 공간 (402) 는 4개의 사분면 (I-IV) 으로 구분될 수 있고, 그 각각은 비슷한 레벨의 각성과 발렌스의 감정 상태의 그룹핑에 대응한다. 한정하고자 함은 아니고 일례로서, 사분면 I 감정들은 긍정적 발렌스 및 하이-각성 감정 상태에 대응한다. 도시된 실시예에서, 사분면 I 의 감정 상태는 기민함, 흥분, 신남, 및 행복함을 포함할 수 있다. 증가하는 발렌스의 순서대로, 사분면 I 의 감정 상태는 기민함, 흥분, 신남, 및 행복함이다. 증가하는 각성의 순서대로, 사분면 I 의 감정 상태는 행복함, 신남, 흥분, 및 기민함이다.
사분면 II 감정들은 부정적 발렌스 및 하이-각성 감정 상태에 대응한다. 도시된 실시예에서, 사분면 II 의 감정 상태는 긴장, 신경질적, 스트레스, 및 화가남을 포함할 수 있다. 증가하는 발렌스의 순서대로, 사분면 II 의 감정 상태는 화가남, 스트레스, 신경질적, 및 긴장이다. 증가하는 각성의 순서대로, 사분면 II 의 감정 상태는 화가남, 스트레스, 신경질적, 및 긴장이다.
사분면 III 감정들은 부정적 발렌스 및 로우-각성 감정 상태에 대응한다. 도시된 실시예에서, 사분면 III 의 감정 상태는 슬픔, 우울함, 무기력, 및 기진맥진을 포함할 수 있다. 증가하는 발렌스의 순서대로, 사분면 III 의 감정 상태는 슬픔, 우울함, 무기력, 및 기진맥진이다. 증가하는 각성의 순서대로, 사분면 III 의 감정 상태는 기진맥진, 무기력, 우울함, 및 슬픔이다.
사분면 IV 감정들은 긍정적 발렌스 및 로우-각성 감정 상태에 대응한다. 도시된 실시예에서, 사분면 IV 의 감정 상태는 차분함, 릴렉스함, 평온함 및 만족함을 포함할 수 있다. 증가하는 발렌스의 순서대로, 사분면 IV 의 감정 상태는 차분함, 릴렉스함, 평온함 및 만족함이다. 증가하는 각성의 순서대로, 사분면 IV 의 감정 상태는 차분함, 릴렉스함, 평온함 및 만족함이다. 추가적인 감정들이 추가되거나, 도 4 의 하나 이상의 감정들은 생략되거나, 다른 명칭을 가질 수 있음이 이해되어야 한다.
후술되는 바와 같이, 사용자의 감정 상태의 추정은 적어도 도 1 의 디바이스들 (110A, 110B) 의 센서들을 통해 측정된 뇌파 활동 데이터 (예를 들어, EEG 데이터) 와 연계하여 심전도 활동 데이터 (예를 들어, 심박수 또는 SVB) 에 기초하여 산출되거나 결정될 수 있다.
도 5 는 시간 함수로서 예시적인 심장 및 뇌파 활동 데이터를 도시한다. 웨어러블 디바이스 (110A-B) 로부터의 데이터는 SVB 데이터 (510) (예를 들어, HR 및 SVB 에 기초함) 및 단기 흥분 (short-term excitement: STE) 데이터를 산출할 수 있다. 긍정적-발렌스 감정들 (예를 들어, 행복 또는 흥분) 은 짧은 지속기간을 가지는 감정이다. SVB 를 산출하기 위한 여기에 개시된 예시적인 방법 및 시스템은, 도 5 에 도시된 바와 같이, 짧은 지속 기간을 가지는 감정 상태를 추정하는데 이용될 수 있다. 예를 들어, 일 실시예에서, 감정 평가는 공분산의 양 또는 SVB 및 EEG (HR과 마찬가지로) 가 얼마나 일제히 변화하는지에 기초할 수 있다.
한정하고자 함은 아니고 일례로서, 시간 간격은 HRV 및 EEG-STE 값들이 시간 주기 동안에 변했는지 여부에 기초하여 메모러블 (memorable) 및/또는 넌-메모러블(non-memorable) 한 것으로 마킹될 수 있다. 예를 들어, SVB 데이터 (510) 및 EEG-STE 데이터 (505) 는 모두 시간 주기 (515) 동안 모두 증가할 수 있다. 다른 예를 들면, SVB 데이터 (510) 는 증가하고, EEG-STE 데이터 (505) 는 시간 주기 (520) 동안 모두 감소할 수 있다. 두 시간 주기 (515 및 520) 는 모두 메모러블한 것으로 마킹될 수 있다. 나아가, 하이/상승하는 SVB 레벨은 긍정적 감정 상태의 지표로 취급될 수 있다. 추가적으로, 하이/상승하는 SVB 레벨과 함께 상승 (또는 하강) 하는 EEG-STE 레벨은, 대응하는 시간 주기를 흥분 (또는 스릴) 로 마킹하는데 이용될 수 있다.
도 6 은 감정 평가를 활용하는 애플리케이션을 용이하게 하는 감정 평가 시스템 (600) 을 도시한다. 일 실시예에서, 감정 평가 시스템 (600) 은 신호-동기화 모듈 (602), 신호 업샘플링 모듈 (604), 신호 평탄화 모듈 (606), SVB-정량화 모듈 (608), EEG-평가 모듈 (610), 및 감정 평가 모듈 (612) 을 포함할 수 있다. 여기서, 모듈에 대한 참조는 내재된 컴퓨터 코드를 참조하거나, 또는 이산된 기능을 수행하도록 구성되어 실행 가능한 것을 참조할 수 있다. 나아가, 모듈은 이산된 기능을 수행하도록 구성된 전용 전기회로일 수 있다. 일 실시예에서, 신호-동기화 모듈 (602) 는 전술된 웨어러블 디바이스 (110A-B) 에 의해 캡쳐된 신호들을 최초로 동기화한다. 한정하고자 함은 아니고 일례로서, 신호-동기화 모듈 (602) 는 신호를 전송하여 뇌파 활성도 (예를 들어, EEG) 를 캡쳐하도록 구성된 웨어러블 디바이스 (110A) 의 센서를, 심장 활성도 (예를 들어, ECG 또는 PPG) 를 캡쳐하도록 구성된 웨어러블 디바이스 (110B) 의 센서를 동기화하고, 이로써, 데이터 스트림들은 대략 동일한 시간 기간에 캡쳐된 정보를 나타낸다. 예를 들면, 각 종류의 데이터 (예를 들어, EEG 및 PPG) 의 타임스탬프 사이의 시간차는 0.1 ms 보다 작을 수 있다. 심전도 활동 데이터의 경우에서, 데이터 타임 스탬프의 큰 차이는 HRV 를 결정하는데 어려움을 야기할 수 있다.
신호-업샘플링 모듈 (604) 은 웨어러블 디바이스로부터 데이터, 즉, 신호-동기화 모듈 (602) 에 의해 동기화된 데이터를 수신한다. 일 실시예에서, 마치 신호를 더 높은 레이트 (예를 들어, 1Khz 또는 그 이상) 에서 샘플링함으로써 획득된 것처럼 신호의 근사를 생성하기 위해, 데이터 스트림들이 보간될 수 있다. 데이터 스트림들의 공분산 (covariance) 은 섭동 (perturbation) 레이트가 대략적으로 전형적인 심박수와 동일한 데이터 스트림 (예를 들어, 뇌파 또는 심전도 활성도) 에 대해 분석될 수 있다. 한정하고자 함은 아니고 일례로서, 업샘플링은, 전술된 바와 같이, HR, HRV 또는 EEG 정보를 계산하는데 이용되는 하나 이상의 특징들의 주변을 업샘플링함으로써 수행될 수 있다.
도 6 에 도시된 바와 같이, 신호 평탄화 모듈 (606) 은 신호-업샘플링 모듈 (604) 로부터 업샘플링된 데이터 스트림들을 수신하고, 업샘플링된 데이터 스트림으로부터 노이즈를 제거한다. 일 실시예에서, 신호-평탄화 모듈 (606) 은 도 2a, 2b, 및 2c 과 관련하여 전술된 바와 같이, 심전도 활동 데이터로부터의 RSA 에 의해 도입된 노이즈를 제거한다. 한정하고자 함은 아니고 일례로서, RSA 노이즈는, 대략적으로 4개의 심박의 전형적인 호흡 속도 (breathing rate) 에 대응하는 4개의 심박에 대해 평탄화 필터 (예를 들어, 로우-패스 필터) 를 이용함으로써 필터링될 수 있다. 한정하고자 함은 아니고 일례로서, 노이즈가 심전도 활동 데이터로부터 제거되면, RSA 노이즈의 존재는 심전도 활동 데이터 및 EEG 신호들 간의 공분산을 결정하기 어렵게 만들기 때문에, 심박수에서 공분산은 HRV 또는 EEG 에서의 변환에 대해 비교될 수 있다.
신호-평탄화 모듈 (606) 의 처리된 심전도 활동 및 뇌파 데이터는 SVB 정량화 모듈 (608) 및 EEG-평가 모듈 (610) 에게 전송될 수 있다. 일 실시예에서, SVB-정량화 모듈 (608) 은, 도 3a-3c 에 도시된 바와 같이, 미리 결정된 시간 간격 (예를 들어, 30초) 에서 측정된 HRV 의 히스토그램을 분석함으로써, SVB-기반 HRV를 산출할 수 있다. 전술된 바와 같이, SVB는 SNS 및 PSNS 간의 평형점으로서 정의되고, 따라서, 정확한 SVB 계산을 위한 시간 요구 사항은 SNS 및 PSNS 측정을 위한 안정화 시간에 종속적이다. 한정하고자 함은 아니고 일례로서, PSNS 측정은 대략 2-3초가 소요되어 안정될 수 있고, SNS 측정은 대략 25초가 소요될 수 있다. 더 큰 빈 (bin) (또는 더 긴 측정 시간) 의 히스토그램은 시스템의 레이턴시 (latency) 를 보상하고, 더 작은 빈 (또는 더 짧은 측정 시간) 은 부정확한 SVB 계산을 야기할 수 있다.
일 실시예에서, SVB 및 HR 은 이진적이지 않고 (not binary), SVB 및 HR 활성화의 강도를 정량화한다. 이에 따라, 산출된 강도는, 추정될 수 있는 감정 상태의 해상도 ?? 개수를 증가시키는데 이용될 수 있다.
뇌가 감정을 더 높은 차수의 센터에 의해 처리하기 이전에 소정 시간이 소요될 수 있다. 예를 들어, 이 시간 간격은 6초 이상일 수 있다. 사용자의 호흡 주기는 대략 호흡 당 4초이고 이는 HR 및 HRV 및 SVB 에서 변화에 기초하여 호흡성동성부정맥 (respiratory sinus arrhythmia: RSA) 을 야기하고, 예시적인 실시예뜰은 시간 윈도우 (예를 들어, 10초) 를 이용하여, 중앙 신경계 (EEG에 의해 측정됨) 및 심전도 신호 (적합한 심전도 활성도 측정 센서에 의해 측정됨) 로부터의 신호로부터의 공변하는 트렌드를 확인할 수 있다.
전술된 바와 같이, 뇌파 데이터는 뇌의 특정 영역으로부터 활성도를 측정하기 위해 각각 배치된 복수의 센서들로부터의 EEG 측정 스트림들일 수 있다. 예를 들어, EEG 센서들은 14개의 EEG 채널들, AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8, 및 AF4 를 생성하기 위해 (국제적인 10-20개 위치들에 기초하여) 배열될 수 있다. 일 실시예에서,EEG-평가 모듈 (610) 은 뇌파 데이터의 특징을 결정하기 위해, 특징 평가 프로세스를 실행할 수 있다. 뇌파 측정으로부터 추출된 특징은 n-차원 특징 벡터에 맵핑될 수 있다. 특징 벡터는 출력을 나타내는 수적인 특징 또는 독립 변수의 벡터이고, 이 경우 사용자의 감정은 EEG 데이터에 의해 표시된다. 일 실시예에서웨어러블 디바이스 (110A) 에 의해 수집되고 전송된 특징 벡터는 EEG 데이터로부터의 추출된 특정들을 포함할 수 있다. 일 실시예에서, 특징 데이터 또는 특징 벡터는 데이터 저장소 (140) 와 같은 임의의 적합한 데이터 베이스에 저장될 수 있다.
분류는, 주어진 입력에 대한 출력의 연관성 (예를 들어, 뇌파 및 심전도 데이터에 대한 감정) 이다. 예를 들어, 특정 특징 벡터 (예를 들어, 특징들의 정렬된 리스트) 는 사용자의 특정 감정에 연관될 수 있다. 분류는, 입력 벡터 및 답변 벡터를 포함하는 한 세트의 “트레이닝” 데이터를 이용함으로써 구성된 예측자 함수 (predictor function) 를 이용함으로써 수행될 수 있다. 머신-러닝 분류자 알고리즘은, 예측자 함수를 구성하여 입력 벡터를 답변 벡터에 가장 잘 맞출 수 있도록, 입력 벡터를 하나 이상의 가중치와 결합할 수 있다. 한정하고자 함은 아니고 일례로서, 분류 알고리즘은 서포트 벡터 머신 (support vector machine: SVM) , 나이브 베이스 (Naive Bayes), 어댑티브 부스팅 (Adaptive Boosting), 랜덤 포레스트 (Random Forest), 그래디언트 부스팅 (Gradient Boosting), K-means 클러스터링, DBSCAN (Density-based Spatial Clustering of Applications with Noise), 또는 신경망 알고고리즘을 포함할 수 있다.
일 실시예에서, 오프라인 트레이닝 도중에, 트레이닝 데이터는 사용자들의 심전도 및 뇌파 데이터로부터 획득될 수 있고, 해당 시점에 사용자의 상응하는 감정이 측정될 수 있다. 한정하고자 함은 아니고 일례로서, 입력 벡터는 추출된 EEG 특징의 벡터일 수 있고, 답변 벡터는 사용자에 의해 리포트된 상응하는 감정 (예: 행복) 일 수 있다. 한정하고자 함은 아니고 일례로서, 감정 상태 특성 평가를 위한 트레이닝 데이터는, 웨어러블 디바이스 (110A-B) 를 착용한 채 콘텐트 (예: 스포츠 경기, Tv쇼, 또는 영화) 를 시청하는 사용자로부터 캡쳐될 수 있다. 일 실시예에서, 머신 러닝 분류자의 출력 벡터는 감정의 원형 모형 (400) 의 하나 이상의 사분면, 또는 감정 상태 특성일 수 있고, 출력 벡터는 답변 벡터와 비교되어, 머신-러닝 분류자의 예측자 함수를 트레이닝할 수 있다.
일 실시예에서, EEG 평가 모듈은 EEG-흥분, EEG-인게이지먼트(engagement), EEG-좌절, 및 EEG-편도체 (amygdala) 레벨을 포함하는 하나 이상의 상태 특성을 출력할 수 있다. EEG-편도체 레벨은 HR 데이터와 결합되어, EEG-Q2 및 EEG-Q3 의 레벨을 결정할 수 있다. 예를 들어, 증가하는 HR 은 EEG-Q2 활성화를 나타내고, 감소하는 HR은 EEG-Q3 활성화를 나타낸다. 각각의 출력들은 수신된 EEG 데이터에 기초하여 분류의 강도를 나타내는 수적인 값일 수 있다. 전술된 바와 같이, EEG 평가 모듈 (610) 의 출력은, SVB 정량화와 결합되어 사용자의 감정 상태의 추정을 제공할 수 있다.
도 6 에 도시된 바와 같이, 감정-평가 모듈 (612) 은 심전도 활성도 (예: HR 및 SVB) 및 뇌파 (예: EEG) 데이터를 SVB 정량화 모듈 (608) 및 EEG-평가 모듈 (610) 로부터 각각 수신한다. 일 실시예에서, 감정-평가 모듈 (612) 은 현저저한 시간 간격 (예: 5초 이상) 동안 HR, SVB 및 EEG 데이터의 공분산에 기초하여 사용자의 감정을 결정하도록 구성된다. 일 실시예에서, 감정 평가 모듈 (612) 은 SVB-정량화 모듈 (608) 로부터의 데이터에 기초하여 시간 간격 동안 사용자의 감정 상태의 추정을 수행한다. 일 실시예에서, 감정-평가 모듈 (612) 은 감정-상태 비교 모듈 (614) 을 포함할 수 있다. 일 실시예에서, 심전도 활성도 및 뇌파 데이터의 미리 결정된 임계치에 대응하는 순간은, 사용자의 감정 평가를 시작하는데 이용될 수 있다. 한정하고자 함은 아니고 일례로서, 임계치 (예: 60 이상 상승하는 HRV, 및 80 이상 상승하는 EEG 에서의 흥분) 에 대응하는 순간은 특정한 감정 (예: 의기 양양 또는 흥분) 과 함께 연관되어 캡쳐될 수 있다.
일 실시예에서, 감정-평가 모듈 (612) 은, SVB-정량화 모듈 (608) 에 의해 전송된 SVB 및 HR 데이터에 대응하는 감정의 원형 모형 (400) 의 특정 사분면을 결정하는 것에 기초하여 감정들을 식별할 수 있다. 한정하고자 함은 아니고 일례로서, 감정-평가 모듈 (612) 는 모두 실질적으로 동일한 시간 동안에 증가하는 SVB 및 HR 이 원형 모형 (400) 의 사분면 I (우상 사분면) 에 대응하는지, 감소하는 SVB 및 증가하는 HR이 사분면 II (우좌 사분면) 에 대응하는지, 모두 감소하는 SVB 및 HR 이 사분면 III (하좌 사분면) 에 대응하는지, 증가하는 SVB 및 감소하는 HR 이 사분면 IV (하우 사분면) 에 대응하는지를 산출할 수 있다. 일 실시예에서, 사용자의 결정된 감정은 다른 바이오-센싱 측정을 통해 리파인될 수 있다. 한정하고자 함은 아니고 일례로서, 부수적으로 주변 신체 온도의 상승과, 감소된 SVB 및 증가된 HR 은 분노에 대응할 수 있다. 다른 예로서, 가속기에 의해 측정된 안절부절하지 못한 상태 또는 움직임과 함께 감소된 SVB 및 증가된 HR 은 긴장에 대응할 수 있다. 일 실시예에서, 감정-평가 모듈 (612) 는, EEG-평가 모듈 (610) 에 의해 결정된 사용자의 감정에 기초하여, 사용자의 감정을 원형 모형 (400) 의 특정 사분면 내에서 리파인할 수 있다. 한정하고자 함은 아니고 일례로서, 감정-평가 모듈 (612) 는 HR, SVB, 또는 EEG 데이터 조합의 공분산을 특정 감정에 리파인할 수 있다. 예를 들어, EEG-흥분이 증가하고 SVB 증가하는 것은 흥분으로 평가될 수 있고; EEG-흥분 및 SVB 가 증가하는 스릴로 평가될 수 있고; EEG-흥분이 중립적이고 SVB 가 증가하는 것은 평화로 평가될 수 있고; EEG-흥분, HR, 및 SVB가 증가하는 것은 즐어움으로 평가될 수 있고; HR 및 SVB 가 증가하는 것은 행복으로 평가될 수 있고; EEG-인게이지먼트 및 SVB 증가는 인게이지먼트로 평가될 수 있고; EEG-흥분 및 HR 감소 및 SVB 는 만족으로 평가될 수 있고; EEG-인게이지먼트 및 HR 증가는 기민함으로 평가될 수 있고; EEG-좌절이 증가하고 HRV 감소하는 것은 좌절로 평가될 수 있고; EEG-Q3 가 증가하고, SVB 및 HR 이 감소하는 것은 슬픔으로 평가될 수 있고; EEG-Q2가 증가하고 SVB 가 감소하고 HR이 증가하는 것은 분노로 평가될 수 있다.
SVB 및 HR 감소는 원형 모형 (400) 의 사분면 III 의 감정을 나타낸다. 나아가, 슬픔의 분석은, EEG-평가 모듈 (610) 에 의해 측정된 EEG 활성도에서 병존 (예: 하이 공분산 (high covariance)) 의 감소 또는 증가의 검출을 통해 리파인될 수 있다. 오랜 기간 (예: 며칠) 동안 감소된 SVB 및 HR 과 함께 EEG 활성도의 지속된 감소는 우울을 나타낼 수 있다. SVB 감소 및 HR 증가는 원형 모형 (400) 의 사분면 II 의 감정을 나타낸다. 나아가, 분노의 분석은, EEG-평가 모듈 (610) 에 의해 측정된 EEG 활성도에서 병존의 감소 또는 증가의 검출을 통해 리파인될 수 있다. 일 실시예에서, 감정-평가 모듈 (612) 는, EEG-평가 모듈 (610) 에 의해 결정된 사용자의 감정에 기초하여, 사용자의 감정을 원형 모형 (400) 의 특정 사분면 내에서 리파인할 수 있다.
EEG, SVB, 및 HR 레벨에서의 증가 및 감소는 베이스라인 값들과 상대적이다.
일 실시예에서, 만약 EEG 신호 및 심장 신호 (SVB 또는 HR 또는 둘다) 에서 코히어런스 (coherence) 의 트렌드가 미리 결정된 시간 (예: 10초) 동안 지속되는 경우, 시스템은 추정된 감정 상태를 출력한다. 미리 결정된 시간 동안 EEG 신호 및 심장 신호의 코히어런스를 체크하는 것은 실시예에서 생략될 수 있음이 이해될 수 있을 것이다.
일 실시예에서, 감정-상태 비교 모듈 (614) 은, SVB-정량화 모듈 (608) 및 EEG-평가 모듈 (610) 에 의해 부수적으로 결정된 감정들과 비교하여, 사용자의 감정을 결정한다. 전술된 바와 같이, SVB-정량화 모듈 (608) 은 SVB 및 HR 에 기초하여 사용자의 감정을 추정하고, 그 동안 EEG-평가 모듈 (610) 은 EEG 특징들을 분류함에 기초하여 사용자의 감정을 추정한다. 일 실시예에서, 감정-상태 비교 모듈 (614) 은 EEG-평가 모듈 (610) 에 의해 추정된 감정에 SVB-정량화 모듈 (608) 에 의해 추정된 감정 간의 상응 관계가 있는지를 결정함에 기초하여, 사용자의 감정을 추정한다. 한정하고자 함은 아니고 일례로서, 감정-상태 비교 모듈 (614) 는 SVB-정량화 모듈 (608) 이 SVB 및 HR 증가를 결정하는 것에 기초하여 사용자가 신나있음을 추정할 수 있고, 동시에 EEG-평가 모듈 (610) 은 사용자가 신남으로 분류된 긍정적 감정을 경험하고 있음을 결정한다.
도 7 은 감정 평가를 위한 예시적인 방법을 도시한다. 후술되는 바와 같이, 사용자의 감정은 뇌파 활성도의 특징 및 심전도 활성도를 특정 감정에 연관시킴으로써 평가될 수 있다. 예시적인 방법 (700) 은 하나 이상의 전자 디바이스, 예를 들어, 모바일폰, 태블릿 컴퓨터, 스마트워치, 헤드마운티드 디바이스, 신체 착용 디바이스, 및 모바일 디바이스, 웨어러블 디바이스, 고정형 컴퓨팅 디바이스, 및/또는 네트워크 또는 클라우드 디플로이드 시스템, 또는 이들의 조합에 의해 디플로이될 수 있다. 일 실시예에서, 측정 데이터는 비트투비트 심박수 (RR-델타) 에서의 변화, 피부 전도도, 두피 상의 전기적 활성도에서 고유한 주파수 컴포넌트, 들숨 및 날숨 패턴들, 등을 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 측정 데이터는 심전도 (electrocardiogram: ECG), 피부 전기적 (electrodermal) 분석 센서, EEG 헤드셋, 호흡 센서, 다른 적합한 센서 또는 이들의 임의의 조합과 같은 심박수 측정 센서를 이용하여 측정될 수 있다. 한정하고자 함은 아니고 또 다른 예로서, 프로세서 또는 회로는 상기 방법을 구현할 수 있다 (예를 들어, 하나 이상의 컴퓨터 프로세서는 감정 평가를 위한 예시적인 방법 (700) 의 동작을 수행하기 위해 하나 이상의 컴퓨터터 프로세서에 의해 수행 가능한 인스트럭션들을 저장하는 데이터 스토리지에 커플링될 수 있음).
일 실시예에서, 방법 (700) 은 감정 평가 시스템 (600) 에 의해 수행될 수 있다. 방방법 (700) 은 단계 710 에서 시작하고, 감정-평가 시스템 (600) 은 소정 기간 동안 SVB 에서 쉬프트를 결정한다. 일 실시예에서, SVB 에서의 쉬프트는 웨어러블 디바이스 (110B) 의 센서에 의해 캡쳐된 심전도 활동 데이터를 이용하여 SVB-정량화 모듈 (608) 에 의해 결정될 수 있다. 단계 720 에서, 감정-평가 시스템 (600) 은 뇌파 활동 데이터에 기초하여 사용자의 감정 상태 특성을 획득할 수 있다. 일 실시예에서, 감정-평가 모듈 (612) 는 감정 상태 특성을 추정할 수 있고, 이는 웨어러블 디바이스 (110A) 의 센서에 의해 캡쳐된 뇌파 데이터를 이용함으로써, EEG-평가 모듈 (610) 에 의해 결정될 수 있다. 한정하고자 함은 아니고 일례로서, 획득하는 것은, 뇌파 데이터가 캡쳐되는 동안, 메모리에 저장된 사용자의 EEG 데이터에 액세스하는 것, 뇌파 데이터의 계산을 수행하여 EEG-흥분, EEG-Q2, 등을 EEG-평가 모듈 (610) 에 의해 수행하는 것을 포함한다. 단계 730 에서, 감정 평가 시스템 (600) 은 소정 기간 동안 사용자의 뇌파 활성도에 기초하여 사용자의 각성을 결정할 수 있다. 일 실시예에서, 단계 730 에서, SVB 에서의 쉬프트 및 감정 상태 특성에 기초하여, 기간 동안 사용자의 감정의 추정을 결정할 수 있다. 그 후, 방법 (700) 은 종료할 수 있다.
일 실시예에서, SVB 쉬프트를 결정하기 이전에, 방법 (700) 은 심전도 활동 데이터를 뇌파 데이터와 동기화하고, 심전도 활동 데이터를 업샘플링하고, 업샘플링된 심전도 활동 데이터를 평탄화할 수 있다. 특정 실시예들은 도 7 의 방법 (700) 의 하나 이상의 단계들을 적절하게 반복할 수 있다. 본 개시가 도 7 의 방법의 특정 방법을 설명하기는 하나, 본 개시는 도 7 의 방법의 임의의 적합한 단계를 임의의 적합한 순서로 수행하는 것을 상정한다. 나아가, 본 개시가 도 7 의 특정 단계들을 포함하는, 사용자 감정을 평가하는 예시적인 방법에 대해 도시하고 설명하기는 하나, 본 개시는 도 7 방법 단계의 전부, 일부를 포함하거나, 전혀 포함하지 않는 임의의 적합한 단계를 포함하는 감정 평가 방법을 상정한다. 나아가, 본 개시가 특정 컴포넌트, 디바이스, 시스템이 도 7 의 특정 단계를 수행하는 것으로 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 콤포넌트, 디바이스, 또는 시스템이 도 7 방법의 임의의 적합한 단계를 수행하는 것을 상정한다.
일 실시예에서, 웨어러블 디바이스 (110A) 는 뇌파 활성도를 측정하도록 구성된 하나 이상의 센서를 가진 헤드-마운트 디스플레이일 수 있다. 일 실시예에서, 콘텐트와 연관된 세팅은 사용자의 평가된 감정에 기초하여 조절될 수 있다. 한정하고자 함은 아니고 일례로서, 서버 (140) 는 사용자에게 웨어러블 디바이스 (110A) 를 통해 콘텐트를 제공할 수 있고, 서버 (140) 는 웨어러블 디바이스 (110A-B) 에 의해 캡쳐된 데이터로부터의 사용자의 감정에 기초하여 상호작용 방식으로 비디오 스트림을 제공할 수 있다. 예를 들어, 서버 (140) 는 비디오 스트림을 제공할 수 있고, 웨어러블 디바이스 (110A-B) 로부터의 입력은 사용자의 감정을 평가할 수 있다. 서버 (140) 는 동적으로 특정 감정을 일으키는 콘텐트를 서빙할 수 있다. 한정하고자 함은 아니고 일례로서, 서버 (140) 는 비디오 스트림에서 사용자의 릴렉스한 감정을 일으키는 하나 이상의 프레임을 선택할 수 있고, 선택된 프레임을 웨어러블 디바이스 (110A) 에 디스플레이하기 위해 전송할 수 있다.
다른 예로써, 서버 (140) 는 웨어러블 디바이스 (110A) 상의 디스플레이를 위한 비디오 게임의 장면에 대응하는 비디오 스트림을 전송할 수 있다. 서버 (140) 는 사용자의 감정에 기초하여 게임의 난이도를 조정하고, 게임 플레이 도중에 사용자의 감정을 평가할 수 있다. 예를 들어, 만약 사용자아 게임 플레이 도중에 좌절을 표출하는 경우, 서버 (140) 는 사용자의 좌절을 검출한 것에 기초하여, 더 낮은 난이도를 가진 게임 콘텐트를 전송할 수 있다. 반대로, 서버 (140) 는 검출된 지루함에 기초하여, 더 높은 난이도 레벨에 대응하는 게임 콘텐트를 전송할 수 있다.
다른 예로써, VR 콘텐트에 대하여, 서버 (140) 는 복수 관섬에 대한 특정 장면의 콘텐트를 가질 수 있다. 서버 (140) 는 사용자가 흥분을 경험하는 특정 관점에 대응하는 프레임을 선택할 수 있다. 일 실시예에서, 서버 (140) 는 사용자아 스트레스 또는 긴장을 경험하는 특정 관섬에 대응하는 프레임을 선택하는 것을 삼갈 수 있다. 일 실시예에서, 서버 (140) 는 사용자의 감정 상태를 모니터링할 수 있고, 감정 상태의 실시간 평가에 기초하여 콘텐트에 관한 세팅 또는 콘텐트를 조절할 수 있다.
일 실시예에서, 서버 (140) 는 사용자가 특정 콘텐트를 소비하는 동안에 평가된 감정에 기초하여, 사용자에게 하나 이상의 추천물을 전송할 수 있다. 예를 들면, 서버 (140) 는, 특정 게임을 플레이하는 동안 사용자가 행복 또는 흥분을 경험한 것을 결정한 것에 기초하여, 비슷한 장르의 게임 추천을 전송할 수 있다. 다른 예로써, 서버 (140) 는 사용자가 특정 영화 또는 TV 쇼를 시청하는 동안 우울 또는 피로를 경험하는 것에 기초하여, 다른 장르의 영화 또는 TV 쇼의 추천을 전송할 수 있다. 다양한 종류의 콘텐트의 영향력 및 디자인을 평가하기 위한 콘텐트 레이팅에서 예시적인 애플리케케이션이 있다. 예를 들면, 시스템은 비디오 게임이 사용자에게 스릴감을 일으키게 하기 위해 의도된 것인지를 결정하도록 이용될 수 있다. 콘텐트의 각 종류는 다양한 타겟 감정을 가질 수 있다. 이러한 타겟 감정은 주 또는 부차 감정으로 지칭될 수 있고, 이는 콘텐트 파일에 연관된 메타데이터에 의해 정의될 수 있다. 어떤 콘텐트의 경우, 사용자가 콘텐트를 소비하는 동안 사용자의 각성 및 발렌스의 자체 평가를 제공할 수 있다. 감정적 에너지는 자동 콘텐트 레이팅을 제공하는데 이용될 수 있다. 예를 들어, 감정적 에너지는 다음에 따라 산출될 수 있다.
(1)
EE는 에너지 레벨, Type=1 은 긍정적 감정, Type=-1은 부정적 감정, 발렌스는 뇌파 데이터에 연관된 에너지이고, 각성은 심전도 활동 데이터에 연관된 에너지다.
예를 들어, 감정적 에너지는 다음에 따라 산출될 수 있다.
(2)
EE는 에너지 레벨, Type=1 은 긍정적 감정, Type=-1은 부정적 감정, 발렌스는 뇌파 데이터에 연관된 에너지이고, 각성은 심전도 활동 데이터에 연관된 에너지고, K는 상수 (0.25 보다 작음), 도미넌스는 사용자의 시선이 타겟 뷰잉 영역에 고정된 시간의 함수이다. 일 실시예에서, 도미넌스는 사용자의 시선이 타겟 뷰잉 영역에 고정되는 경우 도미넌스가 상승하는 VR 어플리케이션에서 측정될 수 있다.
발렌스 없이 각성이 개별적으로 사용자에 의해 주어진 경우, 콘텐트의 질은 다음과 같이 정해질 수 있다.
(3)
Qc는 콘텐트의 질, EPW는 선호되는 주요 감정의 가중치, LPE는 주요 감정의 시간 길이, DSW는 부차 감정의 가중치, LSE는 부차 감정의 시간 길이, k는 특정 콘텐트에 대한 주요 감정의 인스턴스의 개수, m은 특정 콘텐트에 대한 부차 감정의 인스턴스의 개수이다. 일 실시예에서, 공식은 웨이트는 음수인 원치않는 감정까지 포함하도록 확장될 수 있고, 그러한 인스턴스는 총량에서 차감될 수 있다.
일 실시예에서, 일 세트의 콘텐트에 있어서, 콘텐트 레이팅은 위 수학식 (3) 을 이용하여 계산된 n 개 Qc에 대응하는 정규화된 리스트를 소팅함으로써, n개의 상이한 콘텐트가 결정될 수 있다. 정규화는 콘텐트의 총 길이를 고려하지 않고, 사용자에 의해 주어진 감정이 얼마나 오래 동안 생성되어야 하는지를 고려할 수 있다. 한정하고자 함은 아니고 일례로서,만약 동일한 강도의 감정이 생성되는 경우, 30초의 유머 클립은 2분의 유머 클립보다 더 낮읒 QC 를 가질 수 있다.
사용자의 집은 스마트폼으로서, 하나 이상의 인터넷 연결된 디바이스들 (온도조절장치, 라이팅, 또는 미디어 서버) 을 포함할 수 있다. 일 실시예에서, 서버 (140) 는 사용자의 감정 상태에 기초하여 하나 이상의 인터넷 연결된 디바이스들의 세팅을 조절할 수 있다. 한정하고자 함은 아니고 일례로서, 서버 (140) 는 사용자가 긴장을 경험하고 있는 것을 검출한 것에 기초하여, 라이팅의 양을 조절할 수 있다. 다른 예로써, 서버 (140) 는 사용자가 지속적으로 긴장을 경험하고 있음을 검출한 것에 응답하여, 자동온도조절장치를 따뜻하게 설정할 수 있다.
특정 실시예들에서, 사용자의 감정 상태의 기록은 특정 처리가 유효했는지를 결정하는데 이용될 수 있다. 한정하고자 함은 아니고 일례로서, 처리의 특정 코스들은 사용자 또는 환자의 긍정적 및 하이 발렌스 감정을 일으키도록 찾아질 수 있고, 이로써, 건강 실무자는 처리의 이러한 특정 코스를 부정적 감정을 야기하는 처리의 코스들 보다 더 강조할 수 있다. 다른 예로써, 사용자 또는 환자는 긍정적 감정의 결핍에 기초하여 심각한 우울증으로 진단될 수 있다.
일 실시예에서, 카메라 또는 미디어 레코딩 디바이스는 사용자가 긍정적인 감정을 경험하는 경우 활성화될 수 있다. 한정하고자 함은 아니고 일례로서, 사용자에 부착된 비디디오 카메라를 사용자가 긍정적 감정을 경험하는 것을 검출한 것에 응답하여 레코딩을 시작할 수 있다.
도 8 는 본 개시의 실시예들에 따른 예시적인 컴퓨터 시스템 (800) 을 도시한다. 일 실시예에서, 하나 이상의 컴퓨터 시스템들 (800) 은 여기서 설명되거나 묘사된 하나 이상의 방법들의 하나 이상의 단계들을 수행한다. 일 실시예에서, 하나 이상의 컴퓨터 시스템들 (800) 은 여기서 설명되거나 묘사된 기능성을 제공한다. 일 실시예에서, 하나 이상의 컴퓨터 시스템들 (800) 상에서 실행되는 소프트웨어는 여기서 설명되거나 묘사된 하나 이상의 방법들의 하나 이상의 단계들을 수행하거나 여기서 설명되거나 묘사된 기능성을 제공한다. 특정 실시예들은 하나 이상의 컴퓨터 시스템들 (800) 의 하나 이상의 부분들을 포함한다. 여기서, 컴퓨터 시스템에 대한 언급은 컴퓨팅 디바이스를 적절하게 포함할 수 있고, 그 반대도 마찬가지이다. 나아가, 컴퓨터 시스템에 대한 언급은 하나 이상의 컴퓨팅 시스템들을 적절하게 포함할 수 있고, 그 반대도 마찬가지이다.
본 개시는 임의의 적합한 수의 컴퓨터 시스템들 (800) 을 상정한다. 본 개시는 임의의 적합한 물리적 형태를 취하는 컴퓨터 시스템 (800) 을 상정한다. 한정하고자 함은 아니고 예로서, 컴퓨터 시스템 (800) 은 임베디드 컴퓨터 시스템 (embedded computer system), 시스템-온-칩 (SOC; System-on-chip), COM (Computer-On-Module) 이나 SOM (System-On-Module) 과 같은 단일 보드 컴퓨터 (SBC; Single-Board Computer), 데스크톱 컴퓨터 시스템, 랩탑 또는 노트북 컴퓨터 시스템, 상호작용형 키오스크 (interactive kiosk), 메인프레임, 컴퓨터 시스템 망, 모바일 전화기, PDA (Personal Digital Assistant), 서버, 테블릿 컴퓨터 시스템, 또는 이들 중 2개 이상의 조합일 수 있다. 적절하게는, 컴퓨터 시스템 (800) 은 독립 또는 분산된 컴퓨터 시스템을 포함할 수 있고, 복수의 장소, 복수의 머신들, 복수의 데이터 센터들, 또는 클라우드에 걸쳐서 분산되거나, 하나 이상의 네트워크에서 하나 이상의 클라우드 컴포넌트를 포함할 수 있다. 적절하게, 하나 이상의 컴퓨터 시스템들 (800) 은 여기서 설명되거나 묘사된 하나 이상의 방법들의 하나 이상의 단계들을 실질적인 공간적 또는 시간적 제약 없이 수행할 수 있다. 한정하고자 함은 아니고 일례로서, 하나 이상의 컴퓨터 시스템들 (800) 은 여기서 설명되거나 묘사된 하나 이상의 방법들의 하나 이상의 단계들을 실시간 (real time) 또는 일괄 (batch) 모드로 수행할 수 있다. 하나 이상의 컴퓨터 시스템들 (800) 은 여기서 설명되거나 묘사된 하나 이상의 방법들의 하나 이상의 단계들을 상이한 시간 또는 상이한 장소에서 적절하게 수행할 수 있다.
일 실시예에서, 컴퓨터 시스템 (800) 은 프로세서 (802), 메모리 (804), 스토리지 (806), 입출력 (I/O) 인터페이스 (808), 통신 인터페이스 (810), 및 버스 (812) 를 포함한다. 본 개시가 특정 배열의 특정 콤포넌트의 특정 개수를 가진 특정 컴퓨터 시스템을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 배열의 임의의 적합한 콤포넌트의 임의의 적합한 개수를 가진 임의의 적합한 컴퓨터 시스템을 상정할 수 있다.
일 실시예에서, 프로세서 (802) 는 컴퓨터 프로그램을 구성하는 것들과 같은, 명령어들을 실행하기 위한 하드웨어를 포함한다. 한정하고자 함은 아니고 일례로서, 명령어들을 실행하기 위해, 프로세서 (802) 는 내부 레지스터, 내부 캐시, 메모리 (804) 또는 스토리지 (806) 로부터 명령어들을 검색하거나, 이들을 디코딩하여 실행시키거나, 하나 이상의 결과를 내부 레지스터, 내부 캐시, 메모리 (804) 또는 스토리지 (806) 에 입력할 수 있다. 일 실시예에서, 프로세서 (802) 는 데이터, 명령어들, 또는 어드레스들을 위한 하나 이상의 내부 캐쉬들을 포함할 수 있다. 본 개시는 임의의 적합한 개수의 임의의 적합한 내부 캐쉬들을 적절하게 포함하는 프로세서 (802) 를 상정한다. 한정하고자 함은 아니고 일례로서, 프로세서 (802) 는 하나 이상의 명령 캐쉬들, 하나 이상의 데이터 캐쉬들, 및 하나 이상의 변환 색인 버퍼 (TLB; Translation Lookaside Buffer) 들을 포함할 수 있다. 명령 캐쉬들 내의 명령어들은 메모리 (804) 또는 스토리지 (806) 내의 명령어들의 복사본일 수 있고, 명령 캐쉬들은 프로세서 (802) 에 의한 그러한 명령어들의 검색을 고속화할 수 있다. 데이터 캐시 내의 데이터는 프로세서 (802) 에서 실행되는 명령어들을 위하거나, 프로세서 (802) 에서 실행된 이전 명령어들의 결과는 다음 명령어들에 의한 액세스를 위하거나, 또는 메모리 (804) 또는 스토리지 (806) 에 입력하기 위한 메모리 (804) 또는 스토리지 (806) 내의 데이터의 복사본일 수 있고, 다른 임의의 데이터일 수 있다. 데이터 캐쉬들은 프로세서 (802) 에 의한 오퍼레이션들을 읽거나 쓰는 것을 고속화할 수 있다. TLB 는 프로세서 (802) 를 위한 가상 주소 변환 (virtual-address translation) 을 고속화할 수 있다. 일 실시예에서, 프로세서 (802) 는 데이터, 명령어들, 또는 어드레스들을 위한 하나 이상의 내부 레지스터들을 포함할 수 있다. 본 개시는 임의의 적합한 개수의 임의의 적합한 내부 레지스터들을 적절하게 포함하는 프로세서 (802) 를 상정한다. 적절하게는, 프로세서 (802) 는 하나 이상의 ALU (arithmetic logic unit) 를 포함할 수 있고, 멀티 코어 프로세서이거나, 또는 하나 이상의 프로세서 (802) 를 포함할 수 있다. 본 개시가 특정 프로세서를 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 프로세서를 상정한다.
일 실시예에서, 메모리 (804) 는 프로세서 (802) 가 작동하기 위한 데이터 또는 프로세서 (802) 가 실행하기 위한 명령어들을 저장하기 위한 메인 메모리를 포함한다. 한정하고자 함은 아니고 일례로서, 컴퓨터 시스템 (800) 은 스토리지 (806) 또는 다른 소스 (예를 들어, 다른 컴퓨터 시스템 (800)) 로부터의 명령어들을 메모리 (804) 에 로드할 수 있다. 프로세서 (802) 는 그 후 메모리 (804) 로부터의 명령어들을 내부 레지스터나 내부 캐쉬에 로드할 수 있다. 명령어들을 실행시키기 위해, 프로세서 (802) 는 내부 레지스터나 내부 캐쉬로부터 명령어들을 검색하여 디코딩할 수 있다. 명령어들의 실행 이후 또는 도중에, 프로세서 (802) 는 하나 이상의 결과들 (이는 중간 또는 최종 결과들일 수 있음) 을 내부 레지스터나 내부 캐쉬에 쓸 수 있다. 프로세서 (802) 는 그 후 하나 이상의 결과들을 메모리 (804) 에 쓸 수 있다. 일 실시예에서, 프로세서 (802) 는 하나 이상의 나내부 레지스터들이나 내부 캐쉬들 내의 명령들만을 실행하거나 또는 메모리 (804, 스토리지 (806) 나 다른 것에 반대됨) 내의 명령들만 실행하고, 하나 이상의 내부 레지스터들이나 내부 캐쉬들 내의 데이터로 작동하거나 또는 메모리 (804, 스토리지 (806) 나 다른 것에 반대됨) 내의 데이터로 동작한다. 하나 이상의 메모리 버스들 (이는 어드레스 버스와 데이터 버스를 각각 포함할 수 있음) 은 프로세서 (802) 를 메모리 (804) 에 커플링시킬 수 있다. 후술되는 바와 같이, 버스 (812) 는 하나 이상의 메모리 버스들을 포함할 수 있다. 일 실시예에서, 하나 이상의 기억 관리 장치 (MMU; Memory Management Unit) 들은 프로세서 (802) 와 메모리 (804) 사이에 존재하고 프로세서 (802) 에 의해 메모리 (804) 로 요청된 액세스들을 편리하게 할 수 있다. 일 실시예에서, 메모리 (804) 는 램 (RAM) 을 포함한다. RAM 은 적절하게, 휘발성 메모리일 수 있고, RAM 은 적절하게, 동적 램 (DRAM) 또는 정적 램 (SRAM) 일 수 있다. 나아가, RAM 은 적절하게, 싱글 포트 (single-ported) 또는 멀티 포트 (multi-ported) RAM 일 수 있다. 본 개시는 임의의 적합한 RAM 을 상정한다. 메모리 (804) 는 하나 이상의 메모리들 (804) 을 적절하게, 포함할 수 있다. 본 개시가 특정 메모리를 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 메모리를 상정한다.
일 실시예에서, 스토리지 (806) 는 데이터 또는 명령들을 위한 대용량 스토리지 (mass storage) 를 포함한다. 한정하고자 함은 아니고 일례로서, 스토리지 (806) 는 하드 디스크 드라이브 (HDD), 플로피 디스크 드라이브, 플래시 메모리, 광학 디스크, 자기-광학 디스크, 자기 테이프, 또는 USB (Universal Serial Bus) 드라이브 또는 이들 중 2개 이상의 조합을 포함할 수 있다. 스토리지 (806) 는 분리형 또는 비분리형 (또는 고정) 매체를 적절하게 포함할 수 있다. 스토리지 (806) 는 컴퓨터 시스템 (800) 에 대해 적절하게, 내장형 또는 외장형일 수 있다. 일 실시예에서, 스토리지 (806) 는 비휘발성, 솔리드-스테이트 (solid-state) 메모리이다. 일 실시예에서, 스토리지 (806) 는 ROM 을 포함한다. 적절하게, ROM 은 MPROM (Mask-Programmed ROM), PROM (Programmable ROM), EPROM (Erasable PROM), EEPROM (Electrically Erasable PROM), EAROM (Electrically Alterable ROM), 또는 플래시 메모리 또는 이들 중 2개 이상의 조합일 수 있다. 본 개시는 임의의 적합한 물리적 형태를 취하는 대용량 스토리지 (806) 를 상정한다. 스토리지 (806) 는 프로세서 (802) 와 스토리지 (806) 간의 커뮤니케이션을 편리하게 하는 하나 이상의 스토리지 제어부들을 포함할 수 있다. 적절하게, 스토리지 (806) 는 하나 이상의 스토리지들 (806) 을 포함할 수 있다. 본 개시가 특정 스토리지를 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 스토리지를 상정한다.
일 실시예에서, I/O 인터페이스 (808) 는 컴퓨터 시스템 (800) 과 하나 이상의 I/O 디바이스들 간의 커뮤니케이션을 위한 하나 이상의 인터페이스들을 제공하는 하드웨어, 소프트웨어, 또는 그 둘 모두를 포함한다. 컴퓨터 시스템 (800) 은 하나 이상의 이러한 I/O 디바이스들을 적절하게, 포함할 수 있다. 하나 이상의 이러한 I/O 디바이스들은 사람과 컴퓨터 시스템 (800) 간의 커뮤니케이션을 가능하게 할 수 있다. 한정하고자 함은 아니고 일례로서, I/O 디바이스는 키보드, 키패드, 마이크로폰, 모니터, 마우스, 프린터, 스캐너, 스피커, 스틸 카메라, 스타일러스, 태블릿, 터치 스크린, 트랙볼, 비디오 카메라, 다른 적합한 I/O 디바이스, 또는 이들 중 2개 이상의 조합을 포함할 수 있다. I/O 디바이스는 하나 이상의 센서들을 포함할 수 있다. 본 개시는 임의의 적합한 I/O 디바이스들과 이들을 위한 임의의 적합한 I/O 인터페이스들 (808) 을 상정한다. I/O 인터페이스 (808) 는 프로세서 (802) 로 하여금 하나 이상의 이러한 I/O 디바이스들을 구동시키는 소프트웨어 드라이버들 또는 하나 이상의 디바이스를 적절하게, 포함할 수 있다. I/O 인터페이스 (808) 는 적절하게, 하나 이상의 I/O 인터페이스들 (808) 을 포함할 수 있다. 본 개시가 특정 I/O 인터페이스를 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 I/O 인터페이스를 상정한다.
일 실시예에서, 통신 인터페이스 (810) 는 컴퓨터 시스템 (800) 및 하나 이상의 다른 컴퓨터 시스템들 (800) 이나 하나 이상의 네트워크들 간의 통신을 위한 하나 이상의 인터페이스들을 제공하기 위한 하드웨어, 소프트웨어, 또는 그 둘 모두를 포함한다. 한정하고자 함은 아니고 일례로서, 통신 인터페이스 (810) 는 이더넷 (Ethernet) 또는 다른 유선 기반 네트워크로 통신하기 위한 네트워크 어댑터 또는 NIC (Network Interface Controller), 또는 WI-FI 네트워크와 같은 무선 네트워크로 통신하기 위한 무선 어댑터 또는 무선 NIC (WNIC) 를 포함할 수 있다. 본 개시는 임의의 적합한 I네트워크와 이를 위한 임의의 적합한 통신 인터페이스 (810) 를 상정한다. 한정하고자 함은 아니고 일례로서, 컴퓨터 시스템 (800) 은 애드혹 네트워크, PAN (Personal Area Network), LAN (Local Area Network), WAN (Wide Area Network), MAN (Metropolitan Area Network), BAN (Body Area Network), 또는 인터넷의 하나 이상의 부분들, 또는 이들 중 2개 이상의 조합과 통신할 수 있다. 하나 이상의 이러한 네트워크들의 하나 이상의 부분들은 유선 또는 무선일 수 있다. 예를 들어, 컴퓨터 시스템 (800) 은 블루투스 WPAN 과 같은 WPAN (Wireless PAN), WI-FI 네트워크, WI-MAX 네트워크, GSM (Global System for Mobile communication) 네트워크와 같은 이동 전화 네트워크, 또는 다른 적합한 무선 네트워크 또는 이들 중 2개 이상의 조합과 통신할 수 있다. 컴퓨터 시스템 (800) 은 이러한 네트워크들 중 어느 것을 위해서든 임의의 적합한 통신 인터페이스 (810) 를, 적절하게 포함할 수 있다. 통신 인터페이스 (810) 는 적절하게, 하나 이상의 통신 인터페이스들 (810) 을 포함할 수 있다. 본 개시가 특정 통신 인터페이스를 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 통신 인터페이스를 상정한다.
일 실시예에서, 버스 (812) 는 컴퓨터 시스템 (800) 의 컴포넌트들을 서로 커플링시키는 하드웨어, 소프트웨어, 또는 그 둘 모두를 포함한다. 한정하고자 함은 아니고 일례로서, 버스 (812) 는 AGP (Accelerated Graphics Port) 또는 다른 그래픽 버스, EISA (Enhanced Industry Standard Architecture) 버스, FSB (Front-Side Bus),HT (HYPERTRANSPORT) 인터커넥트, ISA (Industry Standard Architecture) 버스, INFINIBAND 인터커넥트, LPC (Low-Pin_Count) 버스, 메모리 버스, MCA (Micro Channel Architecture) 버스, PCI (Peripheral Component Interconnect) 버스, PCIe (PCI_Express) 버스, SATA (Serial Advanced Technology Attachment) 버스, VLB (Video electronics standards association Local Bus), 또는 다른 적합한 버스 또는 이들 중 2개 이상의 조합을 포함할 수 있다. 버스 (812) 는 하나 이상의 버스들 (812) 을 적절하게, 포함할 수 있다. 본 개시가 특정 버스를 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 버스 또는 인터커넥트를 상정한다.
여기서, 컴퓨터 판독 가능 비일시적 저장 매체 또는 매체들은, 예를 들어, FPGA (Field-Programmable Gate Array) 들이나 ASIC (Application-Specific IC) 와 같은 하나 이상의 반도체 기반의 또른 집적 회로 (IC; Integrated Circuit) 들, HDD (Hard Disk Drive) 들, HHD (Hybrid Hard Drive) 들, 광학 디스크들, ODD (Optical Disk Drive) 들, 자기 광학 디스크들, 자기 광학 드라이브들, 플로피 디스켓들, FDD (Floppy Disk Drive) 들, 자기 테이프들, SSD (Solid-State Drive) 들, RAM 드라이브들, SECURE DIGITAL 카드들이나 드라이브들, 임의의 다른 적합한 컴퓨터 판독 가능 비일시적 저장 매체들, 또는 이들 중 2개 이상의 임의의 적합한 조합을, 적절하게 포함할 수 있다. 컴퓨터 판독 가능 비일시적 저장 매체는 적절하게, 휘발성, 비휘발성, 또는 휘발성과 비휘발성의 조합일 수 있다.
여기서, "또는", "~나 (이나)" 은 문맥에 의해 달리 나타나 있거나, 문언적으로 달리 나타나 있지 않은 이상, 배제적이지 않고 포함적이다. 그러므로, 여기서, "A 또는 B" 는, 문맥에 의해 달리 나타나 있거나, 문언적으로 달리 나타나 있지 않은 이상, "A, B, 또는 그 둘 모두" 를 의미한다. 나아가, "및", "~와 (과)" 은 문맥에 의해 달리 나타나 있거나, 문언적으로 달리 나타나 있지 않은 이상, 공동적이고 개별적이다. 그러므로, 여기서, "A 및 B" 는, 문맥에 의해 달리 나타나 있거나, 문언적으로 달리 나타나 있지 않은 이상, "A 및 B 함께, 또는 A 및 B 각각" 을 의미한다.
본 개시의 범위는 여기의 예시적인 실시예들에 대해 본 기술 분야의 통상 기술을 가진 자가 이해할 수 있는 모든 변경들, 대체들, 변형들, 개조들, 및 수정들을 포함한다. 본 개시의 범위는 여기에서 설명되거나 도시된 예시적인 실시예들에 한정되지 않는다. 또한, 본 개시가 특정 콤포넌트, 엘리먼트, 특징, 기능, 동작, 또는 단계를 포함하는 것으로서 각각의 실시예를 도시하고 설명하기는 하나, 이러한 실시예들은 당업자라면 이해할 수 있는 임의의 조합 또는 순열의 콤포넌트, 엘리먼트, 특징, 기능, 동작, 또는 단계를 포함할 수 있다. 나아가, 첨부된 청구범위에서 장치 또는 시스템, 또는 특정 기능을 수행하도록 적응된 (adpated) , 어레인지된 (arranged), 구성된 (configured), 작동 가능한 (operable), 작동하는 (operative), 지원가능한 (enabled), 또는 수행할 역량이 있는 (capable) 장치 또는 시스템의 컴포넌트에 대한 언급은, 장치, 시스템, 컴포넌트, 또는 특정 기능이 활성화되든 (activated) 말든, 켜지든 (turned on) 말든, 또는 언락되든 (unlocked) 말든, 그렇게 적응되거나, 어레인지되거나, 구성되거나, 작동 가능하거나, 작동하거나, 지원가능하거나, 또는 수행할 역량이 있는 장치, 시스템, 또는 컴포넌트를 포함한다. 본 개시가 특정 실시예들이 특정 효과를 제공하는 것으로 설명하기는 하나, 특정 실시예들은 이러한 효과를 제공하지 않거나, 일부 또는 전부의 효과를 제공할 수 있다.

Claims (15)

  1. 소프트웨어를 구현하는 하나 이상의 컴퓨터 판독 가능 비일시적 저장 매체 (computer-readable non-transitory storage media) 로서, 상기 소프트웨어는 실행되는 경우:
    심전도 활동 데이터에 기초하여 소정의 기간 동안 심퍼소베이걸 밸런스 (sympathovagal balance) 에서의 쉬프트를 결정하고;
    뇌파 활동 데이터에 기초하는 감정 상태 특성 (emotional-state characteristic)을 획득하고;
    심퍼소베이걸 밸런스에서의 상기 쉬프트 및 상기 감정 상태 특성에 기초하여, 상기 기간 동안 사용자의 감정 상태의 추정 (estimate) 을 결정하도록 동작 가능한 (operable) 컴퓨터 판독 가능 비일시적 저장 매체.
  2. 제 1 항에 있어서, 상기 소프트웨어는 상기 기간 동안 상기 사용자의 상기 심전도 활동 데이터, 심박수 또는 심박수 변화에 기초하여 퍼소베이걸 밸런스에서의 상기 쉬프트를 결정하도록 더 동작 가능하고,
    상기 사용자의 감정 상태는 상기 기간 동안 상기 심박수 또는 상기 심박수 변화에 더 기초하는, 매체.
  3. 제 1 항에 있어서, 상기 소프트웨어는 심퍼소베이걸 밸런스에서의 상기 쉬프트 및 상기 감정 상태 특성 간의 공분산 (covariance) 을 계산하도록 더 동작 가능한, 매체.
  4. 제 1 항에 있어서, 상기 감정 상태 특성은 복수의 감정 상태들을 포함하고, 상기 복수의 감정 상태들 각각은 복수의 구체적 감정들을 포함하는, 매체.
  5. 제 1 항에 있어서, 상기 뇌파 활동 데이터는 실시간으로 메모리에 저장되거나 측정되는, 매체.
  6. 제 1 항에 있어서, 상기 소프트웨어는 상기 뇌파 활동 데이터의 하나 이상의 특징들을 결정하도록 더 동작 가능하고,
    상기 하나 이상의 특징들은 미리 결정된 임계값보다 큰 에너지 레벨을 포함하는, 매체.
  7. 제 1 항에 있어서, 상기 소프트웨어는 상기 뇌파 활동 데이터에 기초하여 뇌전도 단기 흥분 (electroencephalogram short-term excitement) 데이터를 계산하도록 더 동작 가능한, 매체.
  8. 제 1 항에 있어서, 상기 소프트웨어는:
    상기 사용자의 상기 뇌파 활동에 기초하여 2차원 공간의 제 1 사분면을 식별하고;
    상기 심퍼소베이걸 밸런스에 기초하여 상기 2차원 공간의 제 2 사분면을 식별하도록 더 동작 가능하고,
    상기 제 1 및 제 2 사분면 각각은 상기 기간 동안 상기 사용자의 복수의 후보 감정 상태들에 대응하는, 매체.
  9. 제 1 항에 있어서, 상기 소프트웨어는 상기 기간 동안 심퍼소베이걸 밸런스에서의 상기 쉬프트 및 상기 감정 상태 특성에서의 변화에 기초하여, 상기 기간을 플래그 (flag) 하도록 더 동작 가능한, 매체.

  10. 제 1 항에 있어서, 상기 뇌파 활동은 복수의 전극들 및 헤드-마운트 디스플레이를 포함하는 헤드 착용 장치를 이용하여 검출되는, 매체.
  11. 제 1 항에 있어서, 상기 소프트웨어는 상기 심전도 활동 데이터 및 상기 뇌파 활동 데이터에 기초하는 감정 에너지를 계산하도록 더 동작 가능한, 매체.
  12. 제 1 항에 있어서, 상기 소프트웨어는:
    상기 기간 동안 상기 사용자의 상기 감정 상태가 정확하게 식별된 감정인지를 식별하는 피드백을 수신하고;
    상기 피드백을 하나 이상의 머신 러닝 알고고리즘에 의해 액세스될 수 있는 데이터 구조에 저장하도록 더 동작 가능한, 매체.
  13. 제 1 항에 있어서, 상기 소프트웨어는:
    상기 심전도 활동 데이터를 상기 뇌파 활동 데이터에 동기화하고;
    상기 심전도 활동 데이터 또는 상기 뇌파 활동 데이터를 업샘플링 (upsampling) 하고;
    상기 심전도 활동 데이터 또는 상기 뇌파 활동 데이터를 평활화 (smoothing) 하도록 더 동작 가능한, 매체.
  14. 방법으로서:
    심전도 활동 데이터에 기초하여 소정의 기간 동안 심퍼소베이걸 밸런스 (sympathovagal balance) 에서의 쉬프트를 결정하는 단계;
    뇌파 활동 데이터에 기초하는 감정 상태 특성을 획득하는 단계; 및
    심퍼소베이걸 밸런스에서의 상기 쉬프트 및 상기 감정 상태 특성에 기초하여, 상기 기간 동안 사용자의 감정 상태의 추정 (estimate) 을 결정하는 단계를 포함하는 방법.
  15. 시스템으로서:
    하나 이상의 프로세서; 및
    상기 프로세서에 의해 실행될 수 있는 명령어들을 포함하는, 상기 프로세서에 커플링된 비일시적 메모리를 포함하고, 상기 프로세서는 상기 명령어들을 실행하는 경우:
    심전도 활동 데이터에 기초하여 소정의 기간 동안 심퍼소베이걸 밸런스 (sympathovagal balance) 에서의 쉬프트를 결정하고;
    뇌파 활동 데이터에 기초하는 감정 상태 특성을 획득하고;
    심퍼소베이걸 밸런스에서의 상기 쉬프트 및 상기 감정 상태 특성에 기초하여, 상기 기간 동안 사용자의 감정 상태의 추정 (estimate) 을 결정하도록 동작 가능한 (operable), 시스템.

KR1020187000638A 2015-07-08 2016-07-08 감정 평가 KR102104499B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562189743P 2015-07-08 2015-07-08
US62/189,743 2015-07-08
US15/202,407 US10285634B2 (en) 2015-07-08 2016-07-05 Emotion evaluation
US15/202,407 2016-07-05
PCT/KR2016/007425 WO2017007277A1 (en) 2015-07-08 2016-07-08 Emotion evaluation

Publications (2)

Publication Number Publication Date
KR20180007006A true KR20180007006A (ko) 2018-01-19
KR102104499B1 KR102104499B1 (ko) 2020-04-24

Family

ID=57685362

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187000638A KR102104499B1 (ko) 2015-07-08 2016-07-08 감정 평가

Country Status (5)

Country Link
US (1) US10285634B2 (ko)
EP (1) EP3320414B1 (ko)
KR (1) KR102104499B1 (ko)
CN (1) CN107850940B (ko)
WO (1) WO2017007277A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102054821B1 (ko) * 2019-03-29 2019-12-12 엘아이지넥스원 주식회사 사용자의 생존과 감정 상태의 자가구동형 모니터링 장치 및 방법
US10983808B2 (en) 2019-01-16 2021-04-20 Electronics And Telecommunications Research Institute Method and apparatus for providing emotion-adaptive user interface
KR20220000164A (ko) * 2020-06-25 2022-01-03 주식회사 리얼리티매직 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템
KR102408773B1 (ko) * 2021-12-20 2022-06-13 인천대학교 산학협력단 온열 환경 기반 재실자 감정상태 분석장치 및 그 동작 방법
WO2023033286A1 (ko) * 2021-09-03 2023-03-09 삼성전자 주식회사 정신 건강 관리를 위한 전자 장치 및 이의 제어 방법

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101623912B1 (ko) * 2014-09-30 2016-05-25 주식회사 중앙교육 사용자 디바이스를 통하여 사용자의 비인지능력을 트레이닝하기 위한 컨텐츠를 제공하는 장치 및 제공 방법
KR101772279B1 (ko) * 2015-09-14 2017-09-05 주식회사 그릿연구소 사용자의 생체 데이터를 이용한 심리검사의 왜곡도 보정방법
US20180247443A1 (en) * 2017-02-28 2018-08-30 International Business Machines Corporation Emotional analysis and depiction in virtual reality
EP3369374A1 (en) * 2017-03-01 2018-09-05 Koninklijke Philips N.V. Method and apparatus for sending a message to a subject
US10568573B2 (en) * 2017-03-07 2020-02-25 Sony Interactive Entertainment LLC Mitigation of head-mounted-display impact via biometric sensors and language processing
KR20180108341A (ko) 2017-03-24 2018-10-04 삼성전자주식회사 전자 장치 및 전자 장치의 컨텐츠 캡쳐 방법
US10939833B2 (en) 2017-05-01 2021-03-09 Samsung Electronics Company, Ltd. Determining artery location using camera-based sensing
US10127825B1 (en) 2017-06-13 2018-11-13 Fuvi Cognitive Network Corp. Apparatus, method, and system of insight-based cognitive assistant for enhancing user's expertise in learning, review, rehearsal, and memorization
EP3684463A4 (en) 2017-09-19 2021-06-23 Neuroenhancement Lab, LLC NEURO-ACTIVATION PROCESS AND APPARATUS
US20190272466A1 (en) * 2018-03-02 2019-09-05 University Of Southern California Expert-driven, technology-facilitated intervention system for improving interpersonal relationships
JP2019082952A (ja) * 2017-10-31 2019-05-30 株式会社ジャパンディスプレイ レコメンドシステム、情報処理装置及びａｉサーバ
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
CN107753043B (zh) * 2017-12-05 2018-07-17 清华大学 一种基于脑电波的视频卡顿极限值的估量方法
CN108294739B (zh) * 2017-12-27 2021-02-09 苏州创捷传媒展览股份有限公司 一种测试用户体验的方法及其装置
CN108121448A (zh) * 2017-12-29 2018-06-05 阿里巴巴集团控股有限公司 信息提醒方法、装置及设备
US11273283B2 (en) 2017-12-31 2022-03-15 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to enhance emotional response
US20190235246A1 (en) * 2018-01-26 2019-08-01 Snail Innovation Institute Method and apparatus for showing emoji on display glasses
US20190235621A1 (en) * 2018-01-26 2019-08-01 Snail Innovation Institute Method and apparatus for showing an expression of how an object has been stared at in a displayed video
CN108279777B (zh) * 2018-02-11 2021-06-25 Oppo广东移动通信有限公司 脑电波控制方法及相关设备
WO2019176535A1 (ja) * 2018-03-15 2019-09-19 パナソニックＩｐマネジメント株式会社 ユーザの心理状態を推定するためのシステム、記録媒体、および方法
CN108836320A (zh) * 2018-04-02 2018-11-20 东北电力大学 一种基于嗅觉脑电波进行感官物质分类的方法
CN108836326A (zh) * 2018-04-02 2018-11-20 东北电力大学 一种基于嗅觉脑电波和小波包进行感官物质分类的方法
CN108542385A (zh) * 2018-04-02 2018-09-18 东北电力大学 一种利用嗅觉脑电波进行感官风味物质分类的方法
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
US20210235997A1 (en) * 2018-04-30 2021-08-05 Koninklijke Philips N.V. Flagging a portion of a recording for review
US20210169415A1 (en) * 2018-08-19 2021-06-10 Sensority Ltd. Machine classification of significant psychophysiological response
US11646110B2 (en) * 2018-09-07 2023-05-09 Sean Sullivan System and method for improving the emotional mindset of the user
US11452839B2 (en) 2018-09-14 2022-09-27 Neuroenhancement Lab, LLC System and method of improving sleep
US20200105389A1 (en) * 2018-09-28 2020-04-02 Aashka Garg Mining sentiments by bio-sensing to improve performance
TWI746924B (zh) * 2019-01-14 2021-11-21 瑞軒科技股份有限公司 影片推薦系統及影片推薦方法
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
US11553871B2 (en) 2019-06-04 2023-01-17 Lab NINE, Inc. System and apparatus for non-invasive measurement of transcranial electrical signals, and method of calibrating and/or using same for various applications
US20210030289A1 (en) * 2019-07-31 2021-02-04 Tata Consultancy Services Limited System and method of photoplethysmography based heart-rate estimation in presence of motion artifacts
JP7297300B2 (ja) * 2019-08-06 2023-06-26 株式会社Agama-X 情報処理装置及びプログラム
CN110742559B (zh) * 2019-10-24 2021-09-14 佛山市云米电器科技有限公司 一种基于脑电波检测的扫地机器人控制方法及系统
US11496802B2 (en) 2019-11-29 2022-11-08 International Business Machines Corporation Media stream delivery
JP7011366B2 (ja) * 2020-02-07 2022-01-26 株式会社ライフクエスト コンテンツ再生装置、コンテンツ再生方法、及びプログラム
JP7233663B2 (ja) * 2020-02-07 2023-03-07 株式会社ライフクエスト コンテンツ再生装置、コンテンツ再生方法、及びプログラム
CN111611860B (zh) * 2020-04-22 2022-06-28 西南大学 一种微表情发生检测方法及检测系统
CN114098729B (zh) * 2020-08-27 2023-11-10 中国科学院心理研究所 基于心脏间期的情绪状态客观测量方法
CN112603279B (zh) * 2021-01-06 2022-11-11 睢宁赛航信息科技有限公司 医疗信息智能共享方法和系统
JP2022114958A (ja) * 2021-01-27 2022-08-08 キヤノンメディカルシステムズ株式会社 医用情報処理装置、医用情報処理方法、及びプログラム
CN113081656B (zh) * 2021-03-31 2023-04-07 中国科学院心理研究所 智能按摩椅及其控制方法
EP4314998A1 (en) * 2021-03-31 2024-02-07 Apple Inc. Stress detection
CN113143274B (zh) * 2021-03-31 2023-11-10 中国科学院心理研究所 基于摄像头的情绪预警方法
CN113349778B (zh) * 2021-06-03 2023-02-17 杭州回车电子科技有限公司 基于经颅直流电刺激的情绪分析方法、装置和电子装置
WO2022272057A1 (en) * 2021-06-24 2022-12-29 Innsightful, Inc. Devices, systems, and methods for mental health assessment
WO2023191743A1 (en) * 2022-03-28 2023-10-05 Aydiner Merve System and method of wearable communication platform

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6292688B1 (en) * 1996-02-28 2001-09-18 Advanced Neurotechnologies, Inc. Method and apparatus for analyzing neurological response to emotion-inducing stimuli
US20090137915A1 (en) * 1999-03-02 2009-05-28 Quantum Intech, Inc. Method and Apparatus for Facilitating Physiological Coherence and Autonomic Balance
WO2010038217A1 (en) * 2008-10-03 2010-04-08 University Of Cape Town Neonatal brain well-being monitor
KR20140114588A (ko) * 2013-03-19 2014-09-29 세종대학교산학협력단 복합 생체신호 기반의 감정인식 방법 및 장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100281650B1 (ko) 1997-11-13 2001-02-15 정선종 긍정/부정 감성 상태 판별을 위한 뇌파 분석 방법
KR100580618B1 (ko) 2002-01-23 2006-05-16 삼성전자주식회사 생리 신호의 단시간 모니터링을 통한 사용자 정서 인식장치 및 방법
EP1651942A4 (en) 2003-08-08 2010-02-03 Quantum Intech Inc ELECTROPHYSIOLOGICAL INDICATOR OF INTUITION
US20050215916A1 (en) 2004-03-29 2005-09-29 Fadem Kalford C Active, multiplexed digital electrodes for EEG, ECG and EMG applications
US9833184B2 (en) 2006-10-27 2017-12-05 Adidas Ag Identification of emotional states using physiological responses
US8392253B2 (en) 2007-05-16 2013-03-05 The Nielsen Company (Us), Llc Neuro-physiology and neuro-behavioral based stimulus targeting system
TWI400062B (zh) 2007-11-08 2013-07-01 私立中原大學 Medical devices that record physiological signals
KR20100130626A (ko) * 2008-03-14 2010-12-13 코닌클리케 필립스 일렉트로닉스 엔.브이. 대상의 상태를 유지하는 방법 및 시스템
WO2010143137A1 (en) * 2009-06-12 2010-12-16 Koninklijke Philips Electronics N.V. Conditioning an organism
US20150099987A1 (en) 2010-06-07 2015-04-09 Affectiva, Inc. Heart rate variability evaluation for mental state analysis
US8396744B2 (en) 2010-08-25 2013-03-12 The Nielsen Company (Us), Llc Effective virtual reality environments for presentation of marketing materials
KR101901417B1 (ko) 2011-08-29 2018-09-27 한국전자통신연구원 감성기반 안전운전 자동차 서비스 시스템, 안전운전 서비스를 위한 감성인지 처리 장치 및 안전운전 서비스 장치, 감성기반 차량용 안전운전 서비스 방법
KR20130032998A (ko) 2011-09-26 2013-04-03 세명대학교 산학협력단 이동 단말기와 주변기기를 이용한 사용자의 감성인지 시스템
KR101506561B1 (ko) 2013-07-19 2015-03-27 전자부품연구원 감정 분석을 통한 선호 음원 관리 장치 및 방법
TWI532466B (zh) 2013-09-13 2016-05-11 緯創資通股份有限公司 量測腦波訊號及心電圖訊號之量測裝置
US20150272465A1 (en) 2014-03-31 2015-10-01 Sharp Laboratories Of America, Inc. Systems and methods for portable neurofeedback

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6292688B1 (en) * 1996-02-28 2001-09-18 Advanced Neurotechnologies, Inc. Method and apparatus for analyzing neurological response to emotion-inducing stimuli
US20090137915A1 (en) * 1999-03-02 2009-05-28 Quantum Intech, Inc. Method and Apparatus for Facilitating Physiological Coherence and Autonomic Balance
WO2010038217A1 (en) * 2008-10-03 2010-04-08 University Of Cape Town Neonatal brain well-being monitor
KR20140114588A (ko) * 2013-03-19 2014-09-29 세종대학교산학협력단 복합 생체신호 기반의 감정인식 방법 및 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10983808B2 (en) 2019-01-16 2021-04-20 Electronics And Telecommunications Research Institute Method and apparatus for providing emotion-adaptive user interface
KR102054821B1 (ko) * 2019-03-29 2019-12-12 엘아이지넥스원 주식회사 사용자의 생존과 감정 상태의 자가구동형 모니터링 장치 및 방법
KR20220000164A (ko) * 2020-06-25 2022-01-03 주식회사 리얼리티매직 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템
WO2023033286A1 (ko) * 2021-09-03 2023-03-09 삼성전자 주식회사 정신 건강 관리를 위한 전자 장치 및 이의 제어 방법
KR102408773B1 (ko) * 2021-12-20 2022-06-13 인천대학교 산학협력단 온열 환경 기반 재실자 감정상태 분석장치 및 그 동작 방법

Also Published As

Publication number Publication date
CN107850940B (zh) 2021-12-31
US10285634B2 (en) 2019-05-14
US20170007165A1 (en) 2017-01-12
KR102104499B1 (ko) 2020-04-24
EP3320414A1 (en) 2018-05-16
EP3320414A4 (en) 2018-06-20
CN107850940A (zh) 2018-03-27
EP3320414B1 (en) 2023-02-15
WO2017007277A1 (en) 2017-01-12

Similar Documents

Publication Publication Date Title
KR102104499B1 (ko) 감정 평가
US10874309B2 (en) Determining emotions using camera-based sensing
US11844593B2 (en) System and method for non-invasive determination of blood pressure dip based on trained prediction models
KR102219913B1 (ko) 내장된 알람 피로도 감소 특성을 이용한 지속적인 스트레스 측정
Lake et al. Sample entropy analysis of neonatal heart rate variability
CN111386068B (zh) 基于摄像机的压力测量系统与方法
CN109620209B (zh) 一种动态心电、呼吸和运动监测系统和方法
WO2017027232A1 (en) System and method for sympathetic and parasympathetic activity monitoring by heartbeat
Yue et al. Heart rate and heart rate variability as classification features for mental fatigue using short-term ppg signals via smartphones instead of ecg recordings
CN117279560A (zh) 利用异位搏动作为早期心脏健康标志的健康监测和管理系统
CN210494064U (zh) 一种动态心电、呼吸和运动监测设备
WO2024061487A1 (en) Analyzing method for and apparatus of intracranial dynamics
Tu High-Precision and Personalized Wearable Sensing Systems for Healthcare Applications

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant