KR20030034424A - 생리신호를 이용한 감성평가시스템 및 그 방법 - Google Patents
생리신호를 이용한 감성평가시스템 및 그 방법 Download PDFInfo
- Publication number
- KR20030034424A KR20030034424A KR1020010065356A KR20010065356A KR20030034424A KR 20030034424 A KR20030034424 A KR 20030034424A KR 1020010065356 A KR1020010065356 A KR 1020010065356A KR 20010065356 A KR20010065356 A KR 20010065356A KR 20030034424 A KR20030034424 A KR 20030034424A
- Authority
- KR
- South Korea
- Prior art keywords
- emotion
- physiological
- evaluation
- emotional
- variable
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000035945 sensitivity Effects 0.000 title claims description 23
- 230000008451 emotion Effects 0.000 claims abstract description 114
- 230000002996 emotional effect Effects 0.000 claims abstract description 85
- 230000007935 neutral effect Effects 0.000 claims abstract description 44
- 238000011156 evaluation Methods 0.000 claims description 86
- 230000007423 decrease Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 210000004556 brain Anatomy 0.000 claims description 8
- 238000000537 electroencephalography Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 150000001875 compounds Chemical class 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 206010070834 Sensitisation Diseases 0.000 claims description 3
- 230000037007 arousal Effects 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 230000008313 sensitization Effects 0.000 claims description 3
- 230000035479 physiological effects, processes and functions Effects 0.000 claims 1
- 230000035807 sensation Effects 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 238000005070 sampling Methods 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000002175 menstrual effect Effects 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 206010022998 Irritability Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000013065 commercial product Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000006461 physiological response Effects 0.000 description 1
- 230000001012 protector Effects 0.000 description 1
- 238000011867 re-evaluation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
Landscapes
- Medical Informatics (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Health & Medical Sciences (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
본 발명은 인간의 뇌파, 맥파, 피부저항, 피부온도 등의 생리신호를 변수화하여 규칙베이스에 의해 감성을 평가하는 시스템 및 방법에 관한 것이다.
본 발명에 의한 생리신호를 이용한 감성평가방법은 (a)감성평가를 위해 대상자의 생리신호를 측정하는 단계; (b)상기 측정된 생리신호를 신호처리하고 감성변수를 추출하는 단계; (c)상기 감성변수를 증, 감, 불변으로 표준화하는 단계; 및 (d)상기 표준화된 감성변수를 정의된 중립감성밴드 및 규칙베이스를 이용하여 감성이 평가되는 단계를 포함하는 것이 특징이다.
본 발명에 의하면, 감성평가정보를 활용하여 감성공학적 제품의 개발 (자동차, 전자제품, 의류, 주거 및 작업환경 등), 게임, 가상현실, 의료진단 등에 있어 사용자의 감성상태를 정확히 측정하여 제품 및 서비스의 효용성을 높일 수 있다.
Description
본 발명은 감성평가방법 및 그 시스템에 관한 것으로, 특히 인간의 뇌파, 맥파, 피부저항, 피부온도 등 생리신호를 변수화하고 규칙베이스에 의해 감성을 평가하는 시스템 및 방법에 관한 것이다.
감성공학은 인간이 가지고 있는 감성을 물리적인 디자인 요소로 번역해 구체적으로 설계하여 쾌적성, 안정성, 고급감 등을 무기로 감성에 호소하는 제품의 설계를 목표로 한다.
감성공학에서 가장기본이 되는 것은 인간의 감성을 측정하는 기술인데, 현재 안면의 표현분석, 안구의 움직임 분석, 감성언어의 분석 및 인간의 생리신호 분석 등의 방법이 활용되고 있다.
이 중 생리신호를 활용한 감성평가 방법은 한국전자통신연구원의 "긍정/부정 감성상태 판별을 위한 뇌파 분석 방법"이 있다. 이 방법은 1차원적으로 감성을 평가하고 있으나, 본 발명에서 감성은 일차원적 감성의 복합체이며 다차원적인 개념으로, 즉, 짜증, 분노, 스트레스, 행복, 슬픔 등의 감정이 혼합된 개념으로 정의한다.
본 발명은 앞의 한국전자통신연구원의 방법이 뇌파만을 활용한 1차원적인 감성평가로서 감성이 갖고 있는 기본적 특성인 복합감정을 의미 있게 분석하지 못하는 한계점을 극복하기 위해 복수의 생리신호를 활용하여 2차원적 감성을 평가하였다.
본 발명이 이루고자하는 기술적 과제는 2차원의 복합감성 모델을 기반으로 복수의 측정된 생리신호의 특징을 추출하여, 정의된 규칙베이스를 활용하여 인터넷 상에서 실시간으로 감성을 평가하는 시스템 및 방법을 제공하는 것이다.
도 1은 본 발명에 의한 생리신호를 이용한 감성평가시스템의 실시예를 도시한 것이다.
도 2는 본 발명에 의한 생리신호를 이용한 감성평가방법에 대한 흐름도를 도시한 것이다.
도 3은 신호처리수단의 구성을 도시한 것이다.
도 4는 감성중립밴드를 반영한 2차원 감성평가 모델의 개요를 도시한 것이다.
도 5는 중립감성밴드 설정 및 감성평가 흐름도를 도시한 것이다.
상기 기술적 과제를 해결하기 위한 본 발명에 의한 생리신호를 이용한 감성평가방법은 (a)대상자의 감성평가와 관련 있는 생리신호를 측정하는 단계; (b)상기 측정된 생리신호를 신호처리하고 감성변수를 추출하는 단계; (c)상기 감성변수를 증, 감, 불변으로 표준화하는 단계; 및 (d)상기 표준화된 생리변수를 정의된 중립감성밴드 및 규칙베이스를 이용하여 감성을 평가하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 (a)단계에서 상기 생리신호는 감성평가와 관련 있는 뇌파, 맥파, 피부저항 및 피부온도 등, 센서를 활용하여 통합적으로 측정함을 특징으로 한다.
또한, 상기 (b)단계는 상기 뇌파는 FFT분석에 따라 주파수별 변수를 추출하고, 나머지 신호인 맥파, 피부온도, 피부저항 등은 신호의 파형에서 변수를 추출하는 것을 특징으로 한다.
또한, 상기 (c)단계는 상기 생리변수의 현재상태에 대한 이전상태의 증감을 나타내는 과정으로서, 이전상태보다 증가하면 +로, 감소하면 -로, 변하지 않으면 0으로 표준화함을 특징으로 한다.
또한, 상기 (d)단계는 (d1)측정초기에 사용자의 주관적 감성을 모니터상에 긴장-이완과 쾌-불쾌를 각각 질문하여 생리신호의 감성 값을 on-line으로 초기화하는 단계; (d2)초기화 후에 감성평가를 위해 측정되고 있는 생리신호의 주관감성을 각성-이완차원과 쾌-불쾌차원을 모니터상에서 사용자가 직접 입력하게 하여 생리신호의 주관감성값을 확인하는 단계; (d3)상기 입력된 주관감성값와 표준화된 생리변수를 이용하여 중립감성밴드를 조정하는 단계; 및 (d4)상기 표준화된 생리변수 값과 규칙베이스를 이용하여 사용자의 감성상태를 평가하는 단계를 포함함을 특징으로 한다.
또한, 상기 (d3)단계에서 상기 중립감성밴드는 사용자의 감성이 유쾌하거나 불쾌하지도, 각성이거나 이완하지도 않은 무덤덤한 상태로서 그 영역이 확장, 축소할 수 있음을 특징으로 한다.
또한, 상기 (d3)단계는 (d31)표준화 된 생리변수와 사용자의 주관적 감성평가를 기반으로 유추하여 초기의 중립감성밴드를 설정하는 단계; (d32)상기에서 설정된 초기의 중립감성밴드를 기준으로 수행한 감성평가의 결과가 사용자의 감성을 얼마나 잘 반영했는지 사용자가 주관적으로 재평가하는 단계; 및 (d33)상기 (d31)단계와 (d32)단계가 반복됨에 따라 일정한 값으로 수렴시켜 중립 감성밴드의 영역으로 활용하는 단계를 포함함을 특징으로 한다.
또한, 상기 (d4)단계에서 규칙베이스는 2차원 감성이 표현할 수 있는 4가지 감성(쾌-각성, 쾌-이완, 불쾌-각성, 불쾌-이완)과 중립감성이 관련된 5가지 감성(쾌-중립, 불쾌-중립, 중립-각성, 중립-이완, 중립-중립)을 합한 9가지 감성과 감성평가에 사용된 8가지 생리변수(EEG 4개, PPG, GSR, SKT) 및 생리변수의 증감형태(증(+), 감(-), 불변(0))등의 복합변화(compound variation)에 대한 소정의 케이스를 추출하여 구축함을 특징으로 한다.
상기 다른 기술적 과제를 해결하기 위한 본 발명에 의한 생리신호를 이용한 감성평가시스템은 감성평가와 관련 있는 뇌파, 맥파, 피부저항 및 피부온도의 생리신호를 센서를 활용하여 통합적으로 측정하는 생리신호 측정장치; 상기 생리신호 측정수단으로부터 측정된 각각의 생리신호를 전송 받는 컴퓨터; 및 상기 컴퓨터로부터 전송 받은 각각의 생리신호를 분석하여 감성을 평가하는 서버를 포함하고, 상기 서버는 상기 측정된 각 생리신호를 분석하여 각각의 생리변수를 도출하는 신호처리장치; 상기 각 생리변수를 증가, 불변, 감소로 정의하고 상기 도출된 각각의 생리변수가 기 구축된 규칙베이스를 이용하여 감성을 평가하는 감성평가장치; 및 상기 감성평가가 완료된 생리변수와 평가결과를 저장하는 감성데이터베이스를 구비함을 특징으로 한다.
또한, 상기 신호처리수단에서 EEG는 FFT로 각 파형의 파워덴시티(power density)를 이용하여 EEG의 델타, 세타, 알파, 베타의 출현량을 도출하고 나머지 신호는 신호의 피크(peak), 진폭(amplitude), 피크의 기울기 등을 도출함을 특징으로 한다.
또한, 상기 감성평가처리부는 상기 신호처리부에서 도출된 변수를 증가(+), 불변(0), 감소(-) 3변수로 정의하고, 해당된 변수의 조합을 규칙베이스에 적용하여 9개의 감성으로 구분함을 특징으로 한다.
또한, 상기 감성데이터베이스는 사용자의 초기 선택관련 정보를 저장하는 테이블, PPG변수 저장 테이블, EEG 변수 저장테이블, GSR 변수저장 테이블, SKT변수저장테이블, 감성평가결과 저장테이블, 감성평가 룰 저장 테이블, 감성평가의 임계값 저장테이블, 부감성임계값 저장테이블로 구성됨을 특징으로 한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 의한 생리신호를 이용한 감성평가시스템은 감성평가와 관련 있는 뇌파, 맥파, 피부저항 및 피부온도 등의 생리신호를 측정하는 생리신호 측정수단; 및 상기 생리신호 측정수단으로부터측정된 각각의 생리신호를 분석하여 각각의 감성변수를 도출하고, 상기 각 감성변수를 증가, 불변, 감소로 정의하고 상기 도출된 각각의 감성변수가 기 구축된 규칙베이스를 이용하여 감성을 평가하고, 상기 감성평가가 완료된 생리변수와 평가결과를 저장하는 컴퓨터를 포함함을 특징으로 한다.
이하 도면을 참조하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명에 의한 생리신호를 이용한 감성평가시스템의 구성을 도시한 것으로, 생리신호 측정장치(10), 컴퓨터(20) 및 서버(30)로 구성된다.
생리신호 측정장치(10)는 뇌파(EEG), 맥파(PPG), 피부저항(GSR), 피부온도(SKT)를 측정하는 수단으로서, 각 측정 신호의 증폭기와 데이터 수집 보드가 하나의 A/D보드로 통합된 형태이다.
측정 센서는 상용제품을 사용하며 피부저항(GSR)은 손바닥의 엄지와 약지로 뻗는 두 개의 근육이 튀어나온 곳에, 피부온도(SKT)는 중지 끝이나 손바닥에, 맥파(PPG)는 엄지손가락에 각각의 센서를 부착해 측정한다.
컴퓨터(20)는 생리신호 측정장치(10)로부터 측정된 각각의 생리신호를 전송받아 서버(30)로 송출한다.
서버(30)는 상기 각각의 생리신호를 분석하여 감성을 평가하는 수단으로, 신호처리부(31), 감성평가처리부(32) 및 감성데이터베이스(35)로 구성된다.
신호처리부(31)는 뇌파(EEG)는 FFT로 각 파형의 파워덴시티(power density)를 이용하여 뇌파(EEG)의 델타, 세타, 알파, 베타의 출현량을 도출하고 나머지 신호는 신호의 피크(peak), 진폭(amplitude), 피크의 기울기 등을 도출한다.
감성평가처리부(32)는 신호처리부(31)에서 도출된 변수를 증가(+), 불변(0), 감소(-) 3변수로 정의하고 해당된 변수의 조합을 규칙베이스(rule base)에 적용하여 9개의 감성을 평가한다. 그리고, 평가된 9개의 감성에 근거되는 생리신호의 변화를 막대그래프와 수치로 표시하여 사용자가 모니터를 통하여 알 수 있도록 한다.
감성데이터베이스(35)는 상기 감성평가가 완료된 생리변수와 평가결과를 저장하는 것으로, 사용자의 초기 선택관련 정보를 저장하는 테이블, 맥파(PPG) 변수 저장 테이블, 뇌파(EEG) 변수 저장테이블, 피부저항(GSR) 변수 저장 테이블, 피부온도(SKT) 변수 저장테이블, 감성평가결과 저장테이블, 감성평가 규칙 저장 테이블, 감성평가의 임계값, 및 저장 테이블 등 8개의 테이블로 구현된다.
즉, 개인별 감성평가를 저장하는 데이터베이스(35)는 사용자 감성을 평가하려면 많은 변수를 계량화해서 분류하는 것뿐만 아니라, 그 상호관련성을 추론하는 것이 필수적이다. 특히 상호관련성은 변수의 수가 증가할수록 기하급수적으로 복잡하게 되는데, 보다 정확한 평가를 위해서는 개인적 특성이 필연적으로 감안되어야 한다. 사용자감성에 있어 개인적 특성은 (1) 사용자간 감성차이 (Between Subject Emotion)와 (2) 사용자내 감성 (Within Subject Emotion)차이에 따라 발생한다. 사용자간 감성차이란 예를 들어 갑돌이와 갑순이가 여름날 같은 온도에도 느끼는 더위에 차이가 있는 것처럼, 개인간 생리적 반응차이를 반영한다. 그에 반해 사용자내 감성차이는 동일한 사용자이더라도 같은 조건에 대해 틀리게 반응하는 생리적 반응에 기인하는 것으로 환경적요인과 생리적 반응 오류가 원인을 제공한다. 갑돌이가 갑순이에게 같은 노래를 불러주어도 어제는 좋아했지만 오늘은 그 정도에 차이가 있을 수 있는 예를 들 수 있다. 이러한 차이를 최소화하려면, 개인별 특성을 감안하는 것이 필수적인데, 사용자감성평가를 위해 추출된 변수값 (현재는 9개)을 데이터베이스로 저장해서 활용한다.
도 1의 감성평가 시스템에서 초기 감성설정과 감성결과가 처리되는 과정에 대한 실시예를 설명하면 다음과 같다.
먼저, 초기감성을 설정하는 과정을 설명하기로 한다.
①. 사용자의 컴퓨터(20)에 내장된 초기 감성을 설정하는 프로그램을 실행시키면 서버(30)와 연결을 설정하고, 사용자의 컴퓨터(20)에 입력했던 데이터 sampling rate, 채널 등 입력 정보와 원하는 계산값 등 출력 정보를 서버(30)로 전송한다. 기본으로 데이터 sampling rate는 train data는 1024, main data는 256으로 설정된다.
②. 초기 감성을 설정하는 프로그램이 사용자 컴퓨터(20)로부터 감성데이터가 저장되는 파일 선택을 요구하여 파일을 선택하면 프로그레스(progress) 형태로 1024라인의 data을 서버(30)로 전송하고 계산된 결과를 전송 받는다.
③. train data의 결과를 받으면 사용자의 현재 감성상태를 pop-up menu로 "쾌-중립-불쾌", "이완-중립-각성"의 선택값 1개씩을 입력받아 서버(30)로 전송한다.
④. 서버(30)는 전송 받은 사용자의 감성상태와 현재의 결과값을 기존의 중립밴드가 설정된 상태와 비교하여 새로운 중립밴드를 만든다.
상기와 같이 사용자가 초기 감성을 설정하면 서버(30)는 감성결과를 다음과같은 과정을 통해 사용자 컴퓨터(20)로 전송하게 된다.
①. 사용자 컴퓨터(20)로부터 상기 main data의 전송이 시작되면, 서버(30)는 256개의 라인씩 데이터를 전송 받는다.
②. 서버(30)는 256개의 main data의 전송이 끝나면, ppg_min, ppg_max, eeg_alpha, eeg_beta, eeg_delta, eeg_theta, gsr, skt를 계산한다.
③. 중립밴드의 최대값과 최소값을 기준으로 결과값들의 증감을 계산한다.
④. 결과값들의 증감을 이용하여 감성상태를 선택한다.
⑤. 감성상태가 reference에 기록되지 않은 상태라면 감성상태 입력요구를 setting한다.
⑥. 서버(30)는 result_packet을 사용자 컴퓨터(20)로 전송한다.
⑦. 사용자 컴퓨터(20)는 결과를 전달받아서 그래프와 감성이미지를 표시한다.
⑧. result packet을 체크하여 사용자의 감성상태의 입력요구가 있으면 pop-up menu를 이용하여 사용자의 감성상태를 받아들이고 이를 서버(30)로 전송한다.
⑨. 입력받은 감성상태에 따라서 감성이미지를 재 표시한다.
⑩. 1∼9번을 반복한다.
⑪. 사용자가 컴퓨터(20)상의 menu에서 end를 선택하여 전송을 중단하면 서버에게 end를 전송하여 서버(30)에서도 data의 수신을 중단한다.
그리고, 중립밴드를 설정하는 과정에 대하여 설명하면 다음과 같다.
가정) 현재 reference DB가 "불쾌"일 때의 값을 가지고 있다.
※ 현재상태가 중립이 아닌 경우
①. reference가 가지고 있는 중립밴드의 값보다 큰 값이 나오면 사용자의 감성결과를 "쾌"로 하고 실제로 "쾌"인 상태인지를 물어보도록 result packet의 감성상태 입력요구를 setting한다.
②. client 프로그램은 전송받은 result packet에 감성상태의 입력요구가 있으면 이에 해당하는 pop-up menu를 통해 사용자의 감성상태를 입력받는다.
③. 사용자의 감성상태가 현재 "쾌"이면 서버에게 "1"을 전송한다. (중립 : 0, 불쾌 : -1)
④. 서버는 전달받은 감성상태와 reference값을 비교하여 기존 값보다 큰 경우이므로
⑤. 기존 중립밴드의 불쾌값(min_value)과 "쾌"인 결과값(max_value)의 중간값(mid_value)을 계산한다.
⑥. max_value와 mid_value의 중간값을 max_value로 이용하여 쾌인 상태와 중립인 상태를 구별한다.
⑦. mid_value와 min_value의 중간값을 min_value로 이용하여 불쾌인 상태와 중립인 상태를 구별한다.
⑧. max_value, mid_value, min_value를 reference DB에 저장한다.
⑨. 1∼8번을 반복 수행하여 중립밴드에 수렵해나간다.
※ 현재상태가 중립인 경우
①. reference가 가지고 있는 중립밴드의 값보다 큰 값이 나오면 사용자의감성결과를 "쾌"로 하고 실제로 "쾌"인 상태인지를 물어보도록 result packet의 감성상태 입력요구를 setting한다.
②. client 프로그램은 전송받은 result packet에 감성상태의 입력요구가 있으면 이에 해당하는 pop-up menu를 통해 사용자의 감성상태를 입력받는다.
③. 사용자의 감성상태가 현재 "중립"이면 서버에게 "0"을 전송한다.
④. 서버는 전달받은 감성상태와 reference값을 비교하여 기존 값보다 큰 경우이므로
⑤. 기존 중립밴드의 불쾌값(min_value)과 "중립"인 결과값(max_value)의 중간값(mid_value)을 계산한다.
⑥. mid_value와 min_value의 중간값을 min_value로 이용하여 불쾌인 상태와 중립인 상태를 구별한다.
⑦. 결과값(max_value)은 중립일 때의 값이므로 변하지 않는다.
⑧. max_value와 재 계산된 min_value의 중간값(mid_value)의 값을 다시 계산한다.
⑨. max_value, mid_value, min_value를 reference DB에 저장한다.
⑩. 1∼9번을 반복 수행하여 중립밴드에 수렵해나간다.
도 1에 도시된 본 발명의 감성평가 시스템은 구성하는 방식에 따라 아키텍쳐가 대별할 수 있다. 아키텍쳐는 모든 장치가 사용자컴퓨터에 위치한 일체형 방식 (Standalone Architecture)과 부하가 많은 평가장치를 독립시킨 서버기반방식 (Server Based Architecture)이 있다. 서버기반 아키텍쳐는 통신방식에 따라 다시(1) 클라이언트-서버방식, (2) 인터넷 서버방식, (3) 무선방식으로 구분할 수 있다.
일체형 방식은 측정, 평가, 반응장치가 모두 사용자컴퓨터에 위치하는 방식으로 통신연결이 필요하지 않다는 장점이 있으나, 평가장치가 작동되면서 사용자컴퓨터가 부하가 걸려서 작업에 방해가 될 수 있다. 그에 반해 서버방식은 평가장치와 반응장치를 사용자컴퓨터에서 분리하여 서버에 가져가는 방식으로, 사용자컴퓨터가 본래의 작업에 충실할 수 있다. 그러나 통신에 반드시 연결되어 있어야 한다는 불편함이 있다.
서버방식은 통신연결방식에 따라 TCP/IP를 사용하는 클라이언트-서버방식, 인터넷 서버방식, 무선방식이 있다. 특히 무선방식은 제삼자방식으로 반응장치를 활용하는 아키텍쳐를 채택할 수 있다. 제삼자방식이란 평가된 사용자감성을 무선으로 사용자가 지정한 제삼자에게 알려주는 방식이다. 예를 들면, 환자가 의사와 진찰을 하고, 나쁜 진단결과가 나왔을 경우, 환자보호자에게 알려주는 것이다. 여기서 환자는 사용자컴퓨터를, 의사는 서버를, 환자보호자는 제삼자를 나타낸다. 환자와 의사는 직접대화를 하지만, 의사는 환자보호자에게 알려주는 방식에 무선을 적용하는 아키텍쳐이다.
도 2는 본 발명에 의한 생리신호를 이용한 감성평가 방법을 도시한 흐름도이다.
도 1에 도시된 본 발명에 의한 감성평가시스템을 구동하여 감성 초기 설정을 하고 감성평가시스템을 실행하면, 시스템은 감성평가 대상자의 생리신호 중 감성평가와 관련있는 뇌파(Electroencephlogram, EEC), 맥파(Photoplethysmogram, PPG), 피부저항(GSR), 피부온도(Skin Temperature, SKT) 등의 신호를 센서를 활용하여 측정한다(S201).
상기 센서를 통해 측정된 신호는 클라이언트 컴퓨터(20)에 부하를 줄이기 위하여 생리신호를 칼럼으로 구분된 원시 데이터 형태로 서버(30)로 전송하게 된다. 그리고, 신호처리과정은 도 3에 도시된 신호처리부를 통해 다음과 같이 이루어진다.
신호에 대해 어드레스가 멀티플렉서(301)에 의해 선택되어 샘플링 & 홀드(sampling & hold: 302)로 보내지고, 보내진 신호는 A/D변환기(303)를 통해 디지털로 신호처리가 이루어진 후 버퍼(304)로 들어가게 된다. 패킷 단위의 다중데이터의 송수신 동기화를 위해 clock을 부여하고, 버퍼(304)에서는 감성평가시스템의 서버(30)에서 인터럽트가 발생하여 읽혀지기까지는 계속 저장되고 인터럽트에 의해 서버(30)로 데이터 전송된다(S202).
상기의 202단계에서 서버(30)로 보내진 생리신호를 감성평가에 필요한 생리변수를 추출한다.
뇌파(EEG)는 FFT를 분석하여 주파수별 특징을 추출하고, 맥파(PPG), 피부저항(GSR), 피부온도(SKT)는 신호의 주기에서 특징을 추출한다(S203). 이러한 방식을 적용하여 뇌파(EEG)의 델타, 세타, 알파, 베타의 출현량, 맥파(PPG)의 진폭, 피부저항(GSR)의 피크의 진폭, 피크의 시간, 회복시간, 피크의 기울기, 피부온도(SKT)의 기울기 등의 생리변수를 추출한다. 생리신호는 개별신호만으로 처리하는 것이아니라 4개의 생리신호를 동기화하여 처리한다. 서버(30)에서 분석된 분석데이터는 패킷으로 제작, 전송하여 클라이언트 컴퓨터(20)화면에 표시된다.
상기 203단계에서 추출된 생리변수를 현재상태가 이전상태에 대한 증감을 나타내는 표준화(normalization)과정을 수행한다(S204). 이전상태보다 증가하면 +로 감소하면 -로, 변하지 않으면 0으로 표현한다.
그리고, 측정초기의 주관적 감성을 모니터상에 긴장-이완차원과 쾌-불쾌를 각각 설문하여 초기에 측정된 생리신호의 감성값을 초기화한다(S205).
감성평가를 위해 측정되고 있는 생리신호의 주관감성을 각성-이완차원과 쾌-불쾌차원을 모니터상에서 사용자가 직접 입력하게 하여 생리신호의 주관 감성치를 확인한다(S206).
상기 206단계에서 입력된 주관감성치와 측정된 생리신호를 이용하여 중립감성밴드 조정시스템으로 중립감성밴드를 조정한다(S207).
도 4a 및 도 4b는 중립감성밴드를 도시한 것이다. 여기서, 중립감성밴드는 기존 2차원 감성모델에 사용자의 감성이 유쾌하거나 불쾌하지도, 각성이거나 이완하지도 않은 무덤덤한 상태인 중립감성밴드를 고안하고 감성평가시 이를 반영한다.
중립감성밴드 조정은 초기의 중립감성밴드를 최초에 측정된 생리변수와 사용자의 주관적 감성평가를 기반으로 유추하야 설정하고, 이후부터 이것을 기준으로 객관적 감성평가를 하며 사용자가 자신의 감성이 얼마나 적절히 표현되었는지 주관적으로 평가하는 주관 감성피드백에 의해 재평가가 이루어지는 과정이 반복된다. 이러한 과정이 반복됨에 따라 일정한 값으로 수렴되면 중립감성밴드시스템은 이 값을 중립 감성밴드의 경계면으로 활용하게 된다.
상기 추출된 생리변수의 정규화된 값을 감성평가 규칙베이스로 평가하여 각 사용자의 감성상태를 평가한다(S208). 본 발명에서 규칙베이스는 2차원 감성이 표현할 수 있는 4가지 감성(쾌-각성, 쾌-이완, 불쾌-각성, 불쾌-이완)과 중립감성이 관련된 5가지 감성(쾌-중립, 불쾌-중립, 중립-각성, 중립-이완, 중립-중립) 등 9가지 감성과 감성평가에 관여된 8가지 생리변수(EEG 4개, PPG, GSR, SKT) 및 생리변수의 증감형태(증(+), 감(-), 불변(0))등의 복합변화(compound variation)에 대한 6561개의 Case를 추출하여 이중 복합변화의 독립성을 고려하여 243개의 주요 복합변화 case를 고려하여 구축한다.
그리고, 신호변수간의 변화의 일관성을 고려하여 일관성이 없는 경우 노이즈 처리한다(S209).
따라서, 감성평가가 완료된 생리변수와 평가결과를 감성데이터베이스에 저장되어 개인화에 대비한다(S210). 감성데이터베이스는 총 8개의 사용자의 초기 선택관련 정보를 저장하는 테이블, 뇌파(EEG) 변수 저장테이블, 맥파(PPG) 변수 저장테이블, 피부저항(GSR) 변수 저장테이블, 피부온도(SKT) 변수 저장테이블, 감성평가결과 저장테이블, 감성평가 규칙 저장테이블, 감성평가의 임계값 저장테이블 및 부감성임계값 저장테이블 등 8개의 테이블로 구현된다.
상기 평가된 감성평가 결과를 감성평가에 필요한 변수(EEG, PPG, GSR, SKT)와 평가된 감성을 표현하는 인디게이터로 실시간으로 사용자 컴퓨터(20)로 보여준다(S211).
도면과 명세서는 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명에 의하면, 감성평가정보를 활용하여 감성공학적 제품의 개발 (자동차, 전자제품, 의류, 주거 및 작업환경 등), 게임, 가상현실, 의료진단 등에 있어 사용자의 감성상태를 정확히 측정하여 제품 및 서비스의 효용성을 높일 수 있다.
또한, 인간감성을 자동적으로 평가할 수 있다는 점에서 인간감성이 이식되어야 하는 모든 기기에 활용할 수 있고, 로봇과 인간과 상호작용을 하면서 인간의 감성을 이해하고 이에 따라 다르게 행동할 수 있다.
Claims (13)
- (a)대상자의 감성평가와 관련 있는 생리신호를 측정하는 단계;(b)상기 측정된 생리신호를 신호처리하고 감성변수를 추출하는 단계;(c)상기 감성변수를 증, 감, 불변으로 표준화하는 단계; 및(d)상기 표준화된 생리변수를 정의된 중립감성밴드 및 규칙베이스를 이용하여 감성을 평가하는 단계를 포함하는 것을 특징으로 하는 생리신호를 이용한 감성평가방법.
- 제1항에 있어서, 상기 (a)단계에서 상기 생리신호는감성평가와 관련 있는 뇌파, 맥파, 피부저항 및 피부온도 등, 센서를 활용하여 통합적으로 측정함을 특징으로 하는 생리신호를 이용한 감성평가방법.
- 제1항에 있어서, 상기 (b)단계는상기 뇌파는 FFT분석에 따라 주파수별 변수를 추출하고, 나머지 신호인 맥파, 피부온도, 피부저항 등은 신호의 파형에서 변수를 추출하는 것을 특징으로 생리신호를 이용한 감성평가방법.
- 제1항에 있어서, 상기 (c)단계는상기 생리변수의 현재상태에 대한 이전상태의 증감을 나타내는 과정으로서, 이전상태보다 증가하면 +로, 감소하면 -로, 변하지 않으면 0으로 표준화함을 특징으로 하는 생리신호를 이용한 감성평가방법.
- 제1항에 있어서, 상기 (d)단계는(d1)측정초기에 사용자의 주관적 감성을 모니터상에 긴장-이완과 쾌-불쾌를 각각 질문하여 생리신호의 감성 값을 온라인으로 초기화하는 단계;(d2)초기화 후에 감성평가를 위해 측정되고 있는 생리신호의 주관감성을 각성-이완차원과 쾌-불쾌차원을 모니터상에서 사용자가 직접 입력하게 하여 생리신호의 주관감성값을 확인하는 단계;(d3)상기 입력된 주관감성값와 표준화된 생리변수를 이용하여 중립감성밴드를 조정하는 단계; 및(d4)상기 표준화된 생리변수 값과 규칙베이스를 이용하여 사용자의 감성상태를 평가하는 단계를 포함함을 특징으로 하는 생리신호를 이용한 감성평가방법.
- 제5항에 있어서, 상기 (d3)단계에서 상기 중립감성밴드는사용자의 감성이 유쾌하거나 불쾌하지도, 각성이거나 이완하지도 않은 무덤덤한 상태로서 그 영역이 확장, 축소할 수 있음을 특징으로 하는 생리신호를 이용한 감성평가방법.
- 제5항에 있어서, 상기 (d3)단계는(d31)표준화 된 생리변수와 사용자의 주관적 감성평가를 기반으로 유추하여 초기의 중립감성밴드를 설정하는 단계;(d32)상기에서 설정된 초기의 중립감성밴드를 기준으로 수행한 감성평가의 결과가 사용자의 감성을 얼마나 잘 반영했는지 사용자가 주관적으로 재평가하는 단계; 및(d33)상기 (d31)단계와 (d32)단계가 반복됨에 따라 일정한 값으로 수렴시켜 중립 감성밴드의 영역으로 활용하는 단계를 포함함을 특징으로 하는 생리신호를 이용한 감성평가방법.
- 제5항에 있어서, 상기 (d4)단계에서 규칙베이스는2차원 감성이 표현할 수 있는 4가지 감성(쾌-각성, 쾌-이완, 불쾌-각성, 불쾌-이완)과 중립감성이 관련된 5가지 감성(쾌-중립, 불쾌-중립, 중립-각성, 중립-이완, 중립-중립)을 합한 9가지 감성과 감성평가에 사용된 8가지 생리변수(EEG 4개, PPG, GSR, SKT) 및 생리변수의 증감형태(증(+), 감(-), 불변(0))등의 복합변화(compound variation)에 대한 소정의 케이스를 추출하여 구축함을 특징으로 하는 생리신호를 이용한 감성평가방법.
- 생리신호를 이용한 감성평가 시스템에 있어서,감성평가와 관련 있는 뇌파, 맥파, 피부저항 및 피부온도의 생리신호를 센서를 활용하여 측정하는 생리신호 측정수단;상기 생리신호 측정수단으로부터 측정된 각각의 생리신호를 전송받는 컴퓨터; 및상기 컴퓨터로부터 전송 받은 각각의 생리신호를 분석하여 감성을 평가하는 서버를 포함하고,상기 서버는상기 측정된 각 생리신호를 분석하여 각각의 감성변수를 도출하는 신호처리수단; 상기 각 감성변수를 증가, 불변, 감소로 정의하고 상기 도출된 각각의 감성변수가 기 구축된 규칙베이스를 이용하여 감성을 평가하는 감성평가수단; 및 상기 감성평가가 완료된 생리변수와 평가결과를 저장하는 감성데이터베이스를 구비함을 특징으로 하는 생리신호를 이용한 감성평가시스템.
- 제9항에 있어서, 상기 신호처리수단은EEG는 FFT로 각 파형의 파워덴시티(power density)를 이용하여 EEG의 델타, 세타, 알파, 베타의 출현량을 도출하고 나머지 신호는 신호의 피크(peak), 진폭(amplitude), 피크의 기울기 등을 도출함을 특징으로 하는 생리신호를 이용한 감성평가시스템.
- 제9항에 있어서, 상기 감성평가처리부는상기 신호처리부에서 도출된 변수를 증가(+), 불변(0), 감소(-) 3변수로 정의하고, 해당된 변수의 조합을 규칙베이스에 적용하여 9개의 감성을 평가함을 특징으로 하는 생리신호를 이용한 감성평가시스템.
- 제9항에 있어서, 상기 감성데이터베이스는사용자의 초기 선택관련 정보를 저장하는 테이블, PPG변수 저장 테이블, EEG 변수 저장테이블, GSR 변수저장 테이블, SKT변수저장테이블, 감성평가결과 저장테이블, 감성평가 룰 저장 테이블, 감성평가의 임계값 저장테이블 및 부감성 임계값 저장테이블로 구성됨을 특징으로 하는 생리신호를 이용한 감성평가시스템.
- 생리신호를 이용한 감성평가 시스템에 있어서,감성평가와 관련 있는 뇌파, 맥파, 피부저항 및 피부온도 등의 생리신호를 측정하는 생리신호 측정수단; 및상기 생리신호 측정수단으로부터 측정된 각각의 생리신호를 분석하여 각각의 감성변수를 도출하고, 상기 각 감성변수를 증가, 불변, 감소로 정의하고 상기 도출된 각각의 감성변수가 기 구축된 규칙베이스를 이용하여 감성을 평가하고, 상기 감성평가가 완료된 생리변수와 평가결과를 저장하는 컴퓨터를 포함함을 특징으로 하는 생리신호를 이용한 감성평가시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2001-0065356A KR100464821B1 (ko) | 2001-10-23 | 2001-10-23 | 생리신호를 이용한 감성평가방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2001-0065356A KR100464821B1 (ko) | 2001-10-23 | 2001-10-23 | 생리신호를 이용한 감성평가방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20030034424A true KR20030034424A (ko) | 2003-05-09 |
| KR100464821B1 KR100464821B1 (ko) | 2005-01-17 |
Family
ID=29565936
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2001-0065356A KR100464821B1 (ko) | 2001-10-23 | 2001-10-23 | 생리신호를 이용한 감성평가방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100464821B1 (ko) |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130126000A (ko) * | 2012-05-10 | 2013-11-20 | 삼성전자주식회사 | 개인화된 감성 인식 장치 및 방법 |
| US8700009B2 (en) | 2010-06-02 | 2014-04-15 | Q-Tec Systems Llc | Method and apparatus for monitoring emotion in an interactive network |
| US8696566B2 (en) | 2007-09-11 | 2014-04-15 | Samsung Electronics Co., Ltd. | Method for analyzing stress based on multi-measured bio-signals |
| CN104123468A (zh) * | 2014-07-25 | 2014-10-29 | 华北电力大学（保定） | 基于核心状态量集合的配电变压器状态评估方法 |
| US9232150B2 (en) | 2014-03-12 | 2016-01-05 | Apple Inc. | System and method for estimating an ambient light condition using an image sensor |
| US9276031B2 (en) | 2013-03-04 | 2016-03-01 | Apple Inc. | Photodiode with different electric potential regions for image sensors |
| US9277144B2 (en) | 2014-03-12 | 2016-03-01 | Apple Inc. | System and method for estimating an ambient light condition using an image sensor and field-of-view compensation |
| US9293500B2 (en) | 2013-03-01 | 2016-03-22 | Apple Inc. | Exposure control for image sensors |
| US9319611B2 (en) | 2013-03-14 | 2016-04-19 | Apple Inc. | Image sensor with flexible pixel summing |
| US9473706B2 (en) | 2013-12-09 | 2016-10-18 | Apple Inc. | Image sensor flicker detection |
| US9497397B1 (en) | 2014-04-08 | 2016-11-15 | Apple Inc. | Image sensor with auto-focus and color ratio cross-talk comparison |
| US9538106B2 (en) | 2014-04-25 | 2017-01-03 | Apple Inc. | Image sensor having a uniform digital power signature |
| US9549099B2 (en) | 2013-03-12 | 2017-01-17 | Apple Inc. | Hybrid image sensor |
| US9584743B1 (en) | 2014-03-13 | 2017-02-28 | Apple Inc. | Image sensor with auto-focus and pixel cross-talk compensation |
| US9596420B2 (en) | 2013-12-05 | 2017-03-14 | Apple Inc. | Image sensor having pixels with different integration periods |
| US9596423B1 (en) | 2013-11-21 | 2017-03-14 | Apple Inc. | Charge summing in an image sensor |
| US9686485B2 (en) | 2014-05-30 | 2017-06-20 | Apple Inc. | Pixel binning in an image sensor |
| US9741754B2 (en) | 2013-03-06 | 2017-08-22 | Apple Inc. | Charge transfer circuit with storage nodes in image sensors |
| US9912883B1 (en) | 2016-05-10 | 2018-03-06 | Apple Inc. | Image sensor with calibrated column analog-to-digital converters |
| US10285626B1 (en) | 2014-02-14 | 2019-05-14 | Apple Inc. | Activity identification using an optical heart rate monitor |
| US10440301B2 (en) | 2017-09-08 | 2019-10-08 | Apple Inc. | Image capture device, pixel, and method providing improved phase detection auto-focus performance |
| US10438987B2 (en) | 2016-09-23 | 2019-10-08 | Apple Inc. | Stacked backside illuminated SPAD array |
| US10622538B2 (en) | 2017-07-18 | 2020-04-14 | Apple Inc. | Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body |
| US10656251B1 (en) | 2017-01-25 | 2020-05-19 | Apple Inc. | Signal acquisition in a SPAD detector |
| US10801886B2 (en) | 2017-01-25 | 2020-10-13 | Apple Inc. | SPAD detector having modulated sensitivity |
| US10848693B2 (en) | 2018-07-18 | 2020-11-24 | Apple Inc. | Image flare detection using asymmetric pixels |
| US10962628B1 (en) | 2017-01-26 | 2021-03-30 | Apple Inc. | Spatial temporal weighting in a SPAD detector |
| US11019294B2 (en) | 2018-07-18 | 2021-05-25 | Apple Inc. | Seamless readout mode transitions in image sensors |
| CN113180669A (zh) * | 2021-05-12 | 2021-07-30 | 中国人民解放军中部战区总医院 | 一种基于神经反馈技术的情绪调节训练系统与方法 |
| US11546532B1 (en) | 2021-03-16 | 2023-01-03 | Apple Inc. | Dynamic correlated double sampling for noise rejection in image sensors |
| US11563910B2 (en) | 2020-08-04 | 2023-01-24 | Apple Inc. | Image capture devices having phase detection auto-focus pixels |
| US12069384B2 (en) | 2021-09-23 | 2024-08-20 | Apple Inc. | Image capture devices having phase detection auto-focus pixels |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101025510B1 (ko) | 2009-06-10 | 2011-04-04 | 연세대학교 산학협력단 | 감성인식장치의 개인별 최적화시스템 및 그 최적화 방법 |
| KR101118276B1 (ko) * | 2011-02-24 | 2012-03-20 | 주식회사 메디오피아테크 | 생체 감성 지표 및 상황 정보로부터 학습 집중도에 관련된 학습 감성 지표를 생성하기 위한 유비쿼터스-러닝용 미들웨어 장치 |
| KR20140073294A (ko) | 2012-12-06 | 2014-06-16 | 한국전자통신연구원 | 심장 박동수 변화를 이용한 실시간 감성 인식장치 및 그 방법 |
| KR101456236B1 (ko) | 2013-09-13 | 2014-10-31 | 상명대학교서울산학협력단 | 감성 평가를 위한 개인화 룰 베이스 형성 방법 및 이를 적용하는 장치 |
| KR102239694B1 (ko) * | 2019-07-01 | 2021-04-13 | 한국생산기술연구원 | 공학-감성 복합지표를 이용한 역공학 설계 장치 및 방법 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5601090A (en) * | 1994-07-12 | 1997-02-11 | Brain Functions Laboratory, Inc. | Method and apparatus for automatically determining somatic state |
| JPH09206291A (ja) * | 1996-02-02 | 1997-08-12 | Japan Small Corp | 人の感情・状態を検出する装置 |
| KR19980017322U (ko) * | 1996-09-23 | 1998-07-06 | 양재신 | 차량용 바이오리듬 표시장치 |
| KR19990009134A (ko) * | 1997-07-08 | 1999-02-05 | 윤종용 | 바이오리듬 및 감정상태에 따른 음악선택장치 |
| KR100281650B1 (ko) * | 1997-11-13 | 2001-02-15 | 정선종 | 긍정/부정 감성 상태 판별을 위한 뇌파 분석 방법 |
| KR100291596B1 (ko) * | 1998-11-12 | 2001-06-01 | 정선종 | 좌/우뇌 활동의 비대칭성을 이용한 감성적 긍정/부정 상태 판별방법 |
-
2001
- 2001-10-23 KR KR10-2001-0065356A patent/KR100464821B1/ko not_active IP Right Cessation
Cited By (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10130292B2 (en) | 2007-09-11 | 2018-11-20 | Samsung Electronics Co., Ltd. | Method for analyzing stress based on multi-measured bio-signals |
| US8696566B2 (en) | 2007-09-11 | 2014-04-15 | Samsung Electronics Co., Ltd. | Method for analyzing stress based on multi-measured bio-signals |
| KR101435680B1 (ko) * | 2007-09-11 | 2014-09-02 | 삼성전자주식회사 | 다중 측정된 생체신호를 기반으로한 스트레스 분석방법 |
| US8700009B2 (en) | 2010-06-02 | 2014-04-15 | Q-Tec Systems Llc | Method and apparatus for monitoring emotion in an interactive network |
| KR20130126000A (ko) * | 2012-05-10 | 2013-11-20 | 삼성전자주식회사 | 개인화된 감성 인식 장치 및 방법 |
| US9293500B2 (en) | 2013-03-01 | 2016-03-22 | Apple Inc. | Exposure control for image sensors |
| US9276031B2 (en) | 2013-03-04 | 2016-03-01 | Apple Inc. | Photodiode with different electric potential regions for image sensors |
| US10263032B2 (en) | 2013-03-04 | 2019-04-16 | Apple, Inc. | Photodiode with different electric potential regions for image sensors |
| US10943935B2 (en) | 2013-03-06 | 2021-03-09 | Apple Inc. | Methods for transferring charge in an image sensor |
| US9741754B2 (en) | 2013-03-06 | 2017-08-22 | Apple Inc. | Charge transfer circuit with storage nodes in image sensors |
| US9549099B2 (en) | 2013-03-12 | 2017-01-17 | Apple Inc. | Hybrid image sensor |
| US9319611B2 (en) | 2013-03-14 | 2016-04-19 | Apple Inc. | Image sensor with flexible pixel summing |
| US9596423B1 (en) | 2013-11-21 | 2017-03-14 | Apple Inc. | Charge summing in an image sensor |
| US9596420B2 (en) | 2013-12-05 | 2017-03-14 | Apple Inc. | Image sensor having pixels with different integration periods |
| US9473706B2 (en) | 2013-12-09 | 2016-10-18 | Apple Inc. | Image sensor flicker detection |
| US10285626B1 (en) | 2014-02-14 | 2019-05-14 | Apple Inc. | Activity identification using an optical heart rate monitor |
| US9277144B2 (en) | 2014-03-12 | 2016-03-01 | Apple Inc. | System and method for estimating an ambient light condition using an image sensor and field-of-view compensation |
| US9232150B2 (en) | 2014-03-12 | 2016-01-05 | Apple Inc. | System and method for estimating an ambient light condition using an image sensor |
| US9584743B1 (en) | 2014-03-13 | 2017-02-28 | Apple Inc. | Image sensor with auto-focus and pixel cross-talk compensation |
| US9497397B1 (en) | 2014-04-08 | 2016-11-15 | Apple Inc. | Image sensor with auto-focus and color ratio cross-talk comparison |
| US9538106B2 (en) | 2014-04-25 | 2017-01-03 | Apple Inc. | Image sensor having a uniform digital power signature |
| US10609348B2 (en) | 2014-05-30 | 2020-03-31 | Apple Inc. | Pixel binning in an image sensor |
| US9686485B2 (en) | 2014-05-30 | 2017-06-20 | Apple Inc. | Pixel binning in an image sensor |
| CN104123468A (zh) * | 2014-07-25 | 2014-10-29 | 华北电力大学（保定） | 基于核心状态量集合的配电变压器状态评估方法 |
| US9912883B1 (en) | 2016-05-10 | 2018-03-06 | Apple Inc. | Image sensor with calibrated column analog-to-digital converters |
| US10658419B2 (en) | 2016-09-23 | 2020-05-19 | Apple Inc. | Stacked backside illuminated SPAD array |
| US10438987B2 (en) | 2016-09-23 | 2019-10-08 | Apple Inc. | Stacked backside illuminated SPAD array |
| US10801886B2 (en) | 2017-01-25 | 2020-10-13 | Apple Inc. | SPAD detector having modulated sensitivity |
| US10656251B1 (en) | 2017-01-25 | 2020-05-19 | Apple Inc. | Signal acquisition in a SPAD detector |
| US10962628B1 (en) | 2017-01-26 | 2021-03-30 | Apple Inc. | Spatial temporal weighting in a SPAD detector |
| US10622538B2 (en) | 2017-07-18 | 2020-04-14 | Apple Inc. | Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body |
| US10440301B2 (en) | 2017-09-08 | 2019-10-08 | Apple Inc. | Image capture device, pixel, and method providing improved phase detection auto-focus performance |
| US10848693B2 (en) | 2018-07-18 | 2020-11-24 | Apple Inc. | Image flare detection using asymmetric pixels |
| US11019294B2 (en) | 2018-07-18 | 2021-05-25 | Apple Inc. | Seamless readout mode transitions in image sensors |
| US11659298B2 (en) | 2018-07-18 | 2023-05-23 | Apple Inc. | Seamless readout mode transitions in image sensors |
| US11563910B2 (en) | 2020-08-04 | 2023-01-24 | Apple Inc. | Image capture devices having phase detection auto-focus pixels |
| US11546532B1 (en) | 2021-03-16 | 2023-01-03 | Apple Inc. | Dynamic correlated double sampling for noise rejection in image sensors |
| CN113180669A (zh) * | 2021-05-12 | 2021-07-30 | 中国人民解放军中部战区总医院 | 一种基于神经反馈技术的情绪调节训练系统与方法 |
| CN113180669B (zh) * | 2021-05-12 | 2024-04-26 | 中国人民解放军中部战区总医院 | 一种基于神经反馈技术的情绪调节训练系统与方法 |
| US12069384B2 (en) | 2021-09-23 | 2024-08-20 | Apple Inc. | Image capture devices having phase detection auto-focus pixels |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100464821B1 (ko) | 2005-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100464821B1 (ko) | 생리신호를 이용한 감성평가방법 | |
| Jenke et al. | Feature extraction and selection for emotion recognition from EEG | |
| US10299735B2 (en) | Automated diagnosis based at least in part on pulse waveforms | |
| Kaur et al. | Age and gender classification using brain–computer interface | |
| US9165216B2 (en) | Identifying and generating biometric cohorts based on biometric sensor input | |
| US20020077534A1 (en) | Method and system for initiating activity based on sensed electrophysiological data | |
| EP2974658B1 (en) | Information processing terminal and communication system | |
| US20140068472A1 (en) | Multiple sensory channel approach for translating human emotions in a computing environment | |
| US20070066914A1 (en) | Method and System for Detecting and Classifying Mental States | |
| Gang et al. | User-driven intelligent interface on the basis of multimodal augmented reality and brain-computer interaction for people with functional disabilities | |
| JP2009521246A (ja) | 精神状態の検出およびそれを用いる対話 | |
| TW200844797A (en) | Interface to convert mental states and facial expressions to application input | |
| Lin et al. | Development of a wearable motor-imagery-based brain–computer interface | |
| CN101932988A (zh) | 调整脑波信号识别方法的装置、方法以及程序 | |
| JP2019063027A (ja) | 月経タイプ特定システム及びプログラム | |
| JP4401026B2 (ja) | 生理学的パラメータの監視用およびバイオ・フィードバック用装置 | |
| Athif et al. | WaveCSP: a robust motor imagery classifier for consumer EEG devices | |
| Gorur et al. | Glossokinetic potential based tongue–machine interface for 1-D extraction | |
| JP3523007B2 (ja) | 満足感計測システムおよびフィードバック装置 | |
| Hou et al. | CogniMeter: EEG-based brain states monitoring | |
| CN113749656A (zh) | 基于多维生理信号的情感识别方法和装置 | |
| WO2022215322A1 (ja) | 情報処理システム | |
| JP2009066186A (ja) | 脳活動状態推定方法および情報処理システム | |
| KR20170123133A (ko) | 생체정보를 이용한 감성 인식 시스템 및 방법 | |
| JP6859622B2 (ja) | 脳波信号処理システム、脳波信号処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| N231 | Notification of change of applicant | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| N231 | Notification of change of applicant | ||
| LAPS | Lapse due to unpaid annual fee | ||
| R401 | Registration of restoration | ||
| FPAY | Annual fee payment |
Payment date: 20130219 Year of fee payment: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20140609 Year of fee payment: 10 |
|
| FPAY | Annual fee payment |
Payment date: 20141223 Year of fee payment: 11 |
|
| FPAY | Annual fee payment |
Payment date: 20151023 Year of fee payment: 12 |
|
| FPAY | Annual fee payment |
Payment date: 20161202 Year of fee payment: 13 |
|
| LAPS | Lapse due to unpaid annual fee |