KR100464821B1 - 생리신호를 이용한 감성평가방법 - Google Patents

생리신호를 이용한 감성평가방법 Download PDF

Info

Publication number
KR100464821B1
KR100464821B1 KR10-2001-0065356A KR20010065356A KR100464821B1 KR 100464821 B1 KR100464821 B1 KR 100464821B1 KR 20010065356 A KR20010065356 A KR 20010065356A KR 100464821 B1 KR100464821 B1 KR 100464821B1
Authority
KR
South Korea
Prior art keywords
emotional
neutral
physiological
emotion
value
Prior art date
Application number
KR10-2001-0065356A
Other languages
English (en)
Other versions
KR20030034424A (ko
Inventor
황민철
임좌상
김도곤
Original Assignee
임좌상
황민철
김도곤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임좌상, 황민철, 김도곤 filed Critical 임좌상
Priority to KR10-2001-0065356A priority Critical patent/KR100464821B1/ko
Publication of KR20030034424A publication Critical patent/KR20030034424A/ko
Application granted granted Critical
Publication of KR100464821B1 publication Critical patent/KR100464821B1/ko

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/22Social work or social welfare, e.g. community support activities or counselling services

Landscapes

  • Medical Informatics (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 생리신호를 이용한 감성평가방법에 관한 것으로서, (a)대상자의 뇌파, 맥파, 피부저항 및 피부온도를 포함하는 생리신호를 측정하는 단계와, (b)상기 측정된 생리신호를 신호처리하여 생리변수를 추출하는 단계와, (c)상기 생리변수를 증, 감, 불변으로 표준화하는 단계와, (d)상기 대상자의 감성값을 초기화하는 단계와, (e)상기 대상자의 각성-이완과 쾌-불쾌를 포함한 주관적 감성값을 수신하는 단계와, (f)상기 수신된 주관적 감성값과 표준화된 생리변수를 이용하여 중립감성밴드를 조정하는 단계, 및 (g)상기 표준화된 생리변수 값과 규칙베이스를 이용하여 상기 대상자의 감성상태를 평가하는 단계를 포함함으로써 감성평가정보를 활용하여 감성공학적 제품의 개발 (자동차, 전자제품, 의류, 주거 및 작업환경 등), 게임, 가상현실, 의료진단 등에 있어 사용자의 감성상태를 정확히 측정하여 제품 및 서비스의 효용성을 높일 수 있다.

Description

생리신호를 이용한 감성평가방법{Method for estimating emotion using physiological signal}
본 발명은 감성평가방법에 관한 것으로, 특히 인간의 뇌파, 맥파, 피부저항, 피부온도 등 생리신호를 변수화하고 규칙베이스에 의해 감성을 평가하는 방법에 관한 것이다.
감성공학은 인간이 가지고 있는 감성을 물리적인 디자인 요소로 번역해 구체적으로 설계하여 쾌적성, 안정성, 고급감 등을 무기로 감성에 호소하는 제품의 설계를 목표로 한다.
감성공학에서 가장기본이 되는 것은 인간의 감성을 측정하는 기술인데, 현재 안면의 표현분석, 안구의 움직임 분석, 감성언어의 분석 및 인간의 생리신호 분석 등의 방법이 활용되고 있다.
이 중 생리신호를 활용한 감성평가 방법은 한국전자통신연구원의 "긍정/부정 감성상태 판별을 위한 뇌파 분석 방법"이 있다. 이 방법은 1차원적으로 감성을 평가하고 있으나, 본 발명에서 감성은 일차원적 감성의 복합체이며 다차원적인 개념으로, 즉, 짜증, 분노, 스트레스, 행복, 슬픔 등의 감정이 혼합된 개념으로 정의한다.
본 발명은 앞의 한국전자통신연구원의 방법이 뇌파만을 활용한 1차원적인 감성평가로서 감성이 갖고 있는 기본적 특성인 복합감정을 의미 있게 분석하지 못하는 한계점을 극복하기 위해 복수의 생리신호를 활용하여 2차원적 감성을 평가하였다.
본 발명이 이루고자하는 기술적 과제는 2차원의 복합감성 모델을 기반으로 복수의 측정된 생리신호의 특징을 추출하여, 정의된 규칙베이스를 활용하여 인터넷 상에서 실시간으로 감성을 평가하는 방법을 제공하는 것이다.
도 1은 본 발명에 의한 생리신호를 이용한 감성평가시스템의 실시예를 도시한 것이다.
도 2는 본 발명에 의한 생리신호를 이용한 감성평가방법에 대한 흐름도를 도시한 것이다.
도 3은 신호처리수단의 구성을 도시한 것이다.
도 4는 감성중립밴드를 반영한 2차원 감성평가 모델의 개요를 도시한 것이다.
도 5는 중립감성밴드 설정 및 감성평가 흐름도를 도시한 것이다.
상기 기술적 과제를 해결하기 위한 본 발명에 의한 생리신호를 이용한 감성평가방법은 (a)대상자의 뇌파, 맥파, 피부저항 및 피부온도를 포함하는 생리신호를 측정하는 단계; (b)상기 측정된 생리신호를 신호처리하여 생리변수를 추출하는 단계; (c)상기 생리변수를 증, 감, 불변으로 표준화하는 단계; (d)상기 대상자의 감성값을 초기화하는 단계; (e)상기 대상자의 각성-이완과 쾌-불쾌를 포함한 주관적 감성값을 수신하는 단계; (f)상기 수신된 주관적 감성값과 표준화된 생리변수를 이용하여 중립감성밴드를 조정하는 단계; 및 (g)상기 표준화된 생리변수 값과 규칙베이스를 이용하여 상기 대상자의 감성상태를 평가하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 (f)단계에서 상기 중립감성밴드는 사용자의 감성이 유쾌하거나 불쾌하지도, 각성이거나 이완하지도 않은 무덤덤한 상태로서 그 영역이 확장, 축소할 수 있다.
또한, 상기 (f)단계는 (f1)표준화 된 생리변수와 사용자의 주관적 감성평가를 기반으로 유추하여 초기의 중립감성밴드를 설정하는 단계; (f2)상기에서 설정된 초기의 중립감성밴드를 기준으로 수행한 감성평가의 결과가 사용자의 감성을 얼마나 잘 반영했는지 사용자가 주관적으로 재평가하는 단계; 및 (f3)상기 (f1)단계와 (f2)단계가 반복됨에 따라 일정한 값으로 수렴시켜 중립 감성밴드의 영역으로 활용하는 단계를 포함한다.
또한, 상기 (g)단계에서 규칙베이스는 2차원 감성이 표현할 수 있는 4가지 감성(쾌-각성, 쾌-이완, 불쾌-각성, 불쾌-이완)과 중립감성이 관련된 5가지 감성(쾌-중립, 불쾌-중립, 중립-각성, 중립-이완, 중립-중립)을 합한 9가지 감성과 감성평가에 사용된 8가지 생리변수(EEG 4개, PPG, GSR, SKT) 및 생리변수의 증감형태(증(+), 감(-), 불변(0))등의 복합변화(compound variation)에 대한 소정의 케이스를 추출하여 구축한다.
이하 도면을 참조하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명에 의한 생리신호를 이용한 감성평가시스템의 구성을 도시한 것으로, 생리신호 측정장치(10), 컴퓨터(20) 및 서버(30)로 구성된다.
생리신호 측정장치(10)는 뇌파(EEG), 맥파(PPG), 피부저항(GSR), 피부온도(SKT)를 측정하는 수단으로서, 각 측정 신호의 증폭기와 데이터 수집 보드가 하나의 A/D보드로 통합된 형태이다.
측정 센서는 상용제품을 사용하며 피부저항(GSR)은 손바닥의 엄지와 약지로 뻗는 두 개의 근육이 튀어나온 곳에, 피부온도(SKT)는 중지 끝이나 손바닥에, 맥파(PPG)는 엄지손가락에 각각의 센서를 부착해 측정한다.
컴퓨터(20)는 생리신호 측정장치(10)로부터 측정된 각각의 생리신호를 전송받아 서버(30)로 송출한다.
서버(30)는 상기 각각의 생리신호를 분석하여 감성을 평가하는 수단으로, 신호처리부(31), 감성평가처리부(32) 및 감성데이터베이스(35)로 구성된다.
신호처리부(31)는 뇌파(EEG)는 FFT로 각 파형의 파워덴시티(power density)를 이용하여 뇌파(EEG)의 델타, 세타, 알파, 베타의 출현량을 도출하고 나머지 신호는 신호의 피크(peak), 진폭(amplitude), 피크의 기울기 등을 도출한다.
감성평가처리부(32)는 신호처리부(31)에서 도출된 변수를 증가(+), 불변(0), 감소(-) 3변수로 정의하고 해당된 변수의 조합을 규칙베이스(rule base)에 적용하여 9개의 감성을 평가한다. 그리고, 평가된 9개의 감성에 근거되는 생리신호의 변화를 막대그래프와 수치로 표시하여 사용자가 모니터를 통하여 알 수 있도록 한다.
감성데이터베이스(35)는 상기 감성평가가 완료된 생리변수와 평가결과를 저장하는 것으로, 사용자의 초기 선택관련 정보를 저장하는 테이블, 맥파(PPG) 변수 저장 테이블, 뇌파(EEG) 변수 저장테이블, 피부저항(GSR) 변수 저장 테이블, 피부온도(SKT) 변수 저장테이블, 감성평가결과 저장테이블, 감성평가 규칙 저장 테이블, 감성평가의 임계값, 및 저장 테이블 등 8개의 테이블로 구현된다.
즉, 개인별 감성평가를 저장하는 데이터베이스(35)는 사용자 감성을 평가하려면 많은 변수를 계량화해서 분류하는 것뿐만 아니라, 그 상호관련성을 추론하는 것이 필수적이다. 특히 상호관련성은 변수의 수가 증가할수록 기하급수적으로 복잡하게 되는데, 보다 정확한 평가를 위해서는 개인적 특성이 필연적으로 감안되어야 한다. 사용자감성에 있어 개인적 특성은 (1) 사용자간 감성차이 (Between Subject Emotion)와 (2) 사용자내 감성 (Within Subject Emotion)차이에 따라 발생한다. 사용자간 감성차이란 예를 들어 갑돌이와 갑순이가 여름날 같은 온도에도 느끼는 더위에 차이가 있는 것처럼, 개인간 생리적 반응차이를 반영한다. 그에 반해 사용자내 감성차이는 동일한 사용자이더라도 같은 조건에 대해 틀리게 반응하는 생리적 반응에 기인하는 것으로 환경적요인과 생리적 반응 오류가 원인을 제공한다. 갑돌이가 갑순이에게 같은 노래를 불러주어도 어제는 좋아했지만 오늘은 그 정도에 차이가 있을 수 있는 예를 들 수 있다. 이러한 차이를 최소화하려면, 개인별 특성을 감안하는 것이 필수적인데, 사용자감성평가를 위해 추출된 변수값 (현재는 9개)을 데이터베이스로 저장해서 활용한다.
도 1의 감성평가 시스템에서 초기 감성설정과 감성결과가 처리되는 과정에 대한 실시예를 설명하면 다음과 같다.
먼저, 초기감성을 설정하는 과정을 설명하기로 한다.
①. 사용자의 컴퓨터(20)에 내장된 초기 감성을 설정하는 프로그램을 실행시키면 서버(30)와 연결을 설정하고, 사용자의 컴퓨터(20)에 입력했던 데이터 sampling rate, 채널 등 입력 정보와 원하는 계산값 등 출력 정보를 서버(30)로 전송한다. 기본으로 데이터 sampling rate는 train data는 1024, main data는 256으로 설정된다.
②. 초기 감성을 설정하는 프로그램이 사용자 컴퓨터(20)로부터 감성데이터가 저장되는 파일 선택을 요구하여 파일을 선택하면 프로그레스(progress) 형태로 1024라인의 data을 서버(30)로 전송하고 계산된 결과를 전송 받는다.
③. train data의 결과를 받으면 사용자의 현재 감성상태를 pop-up menu로 "쾌-중립-불쾌", "이완-중립-각성"의 선택값 1개씩을 입력받아 서버(30)로 전송한다.
④. 서버(30)는 전송 받은 사용자의 감성상태와 현재의 결과값을 기존의 중립밴드가 설정된 상태와 비교하여 새로운 중립밴드를 만든다.
상기와 같이 사용자가 초기 감성을 설정하면 서버(30)는 감성결과를 다음과같은 과정을 통해 사용자 컴퓨터(20)로 전송하게 된다.
①. 사용자 컴퓨터(20)로부터 상기 main data의 전송이 시작되면, 서버(30)는 256개의 라인씩 데이터를 전송 받는다.
②. 서버(30)는 256개의 main data의 전송이 끝나면, ppg_min, ppg_max, eeg_alpha, eeg_beta, eeg_delta, eeg_theta, gsr, skt를 계산한다.
③. 중립밴드의 최대값과 최소값을 기준으로 결과값들의 증감을 계산한다.
④. 결과값들의 증감을 이용하여 감성상태를 선택한다.
⑤. 감성상태가 reference에 기록되지 않은 상태라면 감성상태 입력요구를 setting한다.
⑥. 서버(30)는 result_packet을 사용자 컴퓨터(20)로 전송한다.
⑦. 사용자 컴퓨터(20)는 결과를 전달받아서 그래프와 감성이미지를 표시한다.
⑧. result packet을 체크하여 사용자의 감성상태의 입력요구가 있으면 pop-up menu를 이용하여 사용자의 감성상태를 받아들이고 이를 서버(30)로 전송한다.
⑨. 입력받은 감성상태에 따라서 감성이미지를 재 표시한다.
⑩. 1∼9번을 반복한다.
⑪. 사용자가 컴퓨터(20)상의 menu에서 end를 선택하여 전송을 중단하면 서버에게 end를 전송하여 서버(30)에서도 data의 수신을 중단한다.
그리고, 중립밴드를 설정하는 과정에 대하여 설명하면 다음과 같다.
가정) 현재 reference DB가 "불쾌"일 때의 값을 가지고 있다.
※ 현재상태가 중립이 아닌 경우
①. reference가 가지고 있는 중립밴드의 값보다 큰 값이 나오면 사용자의 감성결과를 "쾌"로 하고 실제로 "쾌"인 상태인지를 물어보도록 result packet의 감성상태 입력요구를 setting한다.
②. client 프로그램은 전송받은 result packet에 감성상태의 입력요구가 있으면 이에 해당하는 pop-up menu를 통해 사용자의 감성상태를 입력받는다.
③. 사용자의 감성상태가 현재 "쾌"이면 서버에게 "1"을 전송한다. (중립 : 0, 불쾌 : -1)
④. 서버는 전달받은 감성상태와 reference값을 비교하여 기존 값보다 큰 경우이므로
⑤. 기존 중립밴드의 불쾌값(min_value)과 "쾌"인 결과값(max_value)의 중간값(mid_value)을 계산한다.
⑥. max_value와 mid_value의 중간값을 max_value로 이용하여 쾌인 상태와 중립인 상태를 구별한다.
⑦. mid_value와 min_value의 중간값을 min_value로 이용하여 불쾌인 상태와 중립인 상태를 구별한다.
⑧. max_value, mid_value, min_value를 reference DB에 저장한다.
⑨. 1∼8번을 반복 수행하여 중립밴드에 수렵해나간다.
※ 현재상태가 중립인 경우
①. reference가 가지고 있는 중립밴드의 값보다 큰 값이 나오면 사용자의감성결과를 "쾌"로 하고 실제로 "쾌"인 상태인지를 물어보도록 result packet의 감성상태 입력요구를 setting한다.
②. client 프로그램은 전송받은 result packet에 감성상태의 입력요구가 있으면 이에 해당하는 pop-up menu를 통해 사용자의 감성상태를 입력받는다.
③. 사용자의 감성상태가 현재 "중립"이면 서버에게 "0"을 전송한다.
④. 서버는 전달받은 감성상태와 reference값을 비교하여 기존 값보다 큰 경우이므로
⑤. 기존 중립밴드의 불쾌값(min_value)과 "중립"인 결과값(max_value)의 중간값(mid_value)을 계산한다.
⑥. mid_value와 min_value의 중간값을 min_value로 이용하여 불쾌인 상태와 중립인 상태를 구별한다.
⑦. 결과값(max_value)은 중립일 때의 값이므로 변하지 않는다.
⑧. max_value와 재 계산된 min_value의 중간값(mid_value)의 값을 다시 계산한다.
⑨. max_value, mid_value, min_value를 reference DB에 저장한다.
⑩. 1∼9번을 반복 수행하여 중립밴드에 수렵해나간다.
도 1에 도시된 본 발명의 감성평가 시스템은 구성하는 방식에 따라 아키텍쳐가 대별할 수 있다. 아키텍쳐는 모든 장치가 사용자컴퓨터에 위치한 일체형 방식 (Standalone Architecture)과 부하가 많은 평가장치를 독립시킨 서버기반방식 (Server Based Architecture)이 있다. 서버기반 아키텍쳐는 통신방식에 따라 다시(1) 클라이언트-서버방식, (2) 인터넷 서버방식, (3) 무선방식으로 구분할 수 있다.
일체형 방식은 측정, 평가, 반응장치가 모두 사용자컴퓨터에 위치하는 방식으로 통신연결이 필요하지 않다는 장점이 있으나, 평가장치가 작동되면서 사용자컴퓨터가 부하가 걸려서 작업에 방해가 될 수 있다. 그에 반해 서버방식은 평가장치와 반응장치를 사용자컴퓨터에서 분리하여 서버에 가져가는 방식으로, 사용자컴퓨터가 본래의 작업에 충실할 수 있다. 그러나 통신에 반드시 연결되어 있어야 한다는 불편함이 있다.
서버방식은 통신연결방식에 따라 TCP/IP를 사용하는 클라이언트-서버방식, 인터넷 서버방식, 무선방식이 있다. 특히 무선방식은 제삼자방식으로 반응장치를 활용하는 아키텍쳐를 채택할 수 있다. 제삼자방식이란 평가된 사용자감성을 무선으로 사용자가 지정한 제삼자에게 알려주는 방식이다. 예를 들면, 환자가 의사와 진찰을 하고, 나쁜 진단결과가 나왔을 경우, 환자보호자에게 알려주는 것이다. 여기서 환자는 사용자컴퓨터를, 의사는 서버를, 환자보호자는 제삼자를 나타낸다. 환자와 의사는 직접대화를 하지만, 의사는 환자보호자에게 알려주는 방식에 무선을 적용하는 아키텍쳐이다.
도 2는 본 발명에 의한 생리신호를 이용한 감성평가 방법을 도시한 흐름도이다.
도 1에 도시된 본 발명에 의한 감성평가시스템을 구동하여 감성 초기 설정을 하고 감성평가시스템을 실행하면, 시스템은 감성평가 대상자의 생리신호 중 감성평가와 관련있는 뇌파(Electroencephlogram, EEC), 맥파(Photoplethysmogram, PPG), 피부저항(GSR), 피부온도(Skin Temperature, SKT) 등의 신호를 센서를 활용하여 측정한다(S201).
상기 센서를 통해 측정된 신호는 클라이언트 컴퓨터(20)에 부하를 줄이기 위하여 생리신호를 칼럼으로 구분된 원시 데이터 형태로 서버(30)로 전송하게 된다. 그리고, 신호처리과정은 도 3에 도시된 신호처리부를 통해 다음과 같이 이루어진다.
신호에 대해 어드레스가 멀티플렉서(301)에 의해 선택되어 샘플링 & 홀드(sampling & hold: 302)로 보내지고, 보내진 신호는 A/D변환기(303)를 통해 디지털로 신호처리가 이루어진 후 버퍼(304)로 들어가게 된다. 패킷 단위의 다중데이터의 송수신 동기화를 위해 clock을 부여하고, 버퍼(304)에서는 감성평가시스템의 서버(30)에서 인터럽트가 발생하여 읽혀지기까지는 계속 저장되고 인터럽트에 의해 서버(30)로 데이터 전송된다(S202).
상기의 202단계에서 서버(30)로 보내진 생리신호를 감성평가에 필요한 생리변수를 추출한다.
뇌파(EEG)는 FFT를 분석하여 주파수별 특징을 추출하고, 맥파(PPG), 피부저항(GSR), 피부온도(SKT)는 신호의 주기에서 특징을 추출한다(S203). 이러한 방식을 적용하여 뇌파(EEG)의 델타, 세타, 알파, 베타의 출현량, 맥파(PPG)의 진폭, 피부저항(GSR)의 피크의 진폭, 피크의 시간, 회복시간, 피크의 기울기, 피부온도(SKT)의 기울기 등의 생리변수를 추출한다. 생리신호는 개별신호만으로 처리하는 것이아니라 4개의 생리신호를 동기화하여 처리한다. 서버(30)에서 분석된 분석데이터는 패킷으로 제작, 전송하여 클라이언트 컴퓨터(20)화면에 표시된다.
상기 203단계에서 추출된 생리변수를 현재상태가 이전상태에 대한 증감을 나타내는 표준화(normalization)과정을 수행한다(S204). 이전상태보다 증가하면 +로 감소하면 -로, 변하지 않으면 0으로 표현한다.
그리고, 측정초기의 주관적 감성을 모니터상에 긴장-이완차원과 쾌-불쾌를 각각 설문하여 초기에 측정된 생리신호의 감성값을 초기화한다(S205).
감성평가를 위해 측정되고 있는 생리신호의 주관감성을 각성-이완차원과 쾌-불쾌차원을 모니터상에서 사용자가 직접 입력하게 하여 생리신호의 주관 감성치를 확인한다(S206).
상기 206단계에서 입력된 주관감성치와 측정된 생리신호를 이용하여 중립감성밴드 조정시스템으로 중립감성밴드를 조정한다(S207).
도 4a 및 도 4b는 중립감성밴드를 도시한 것이다. 여기서, 중립감성밴드는 기존 2차원 감성모델에 사용자의 감성이 유쾌하거나 불쾌하지도, 각성이거나 이완하지도 않은 무덤덤한 상태인 중립감성밴드를 고안하고 감성평가시 이를 반영한다.
중립감성밴드 조정은 초기의 중립감성밴드를 최초에 측정된 생리변수와 사용자의 주관적 감성평가를 기반으로 유추하야 설정하고, 이후부터 이것을 기준으로 객관적 감성평가를 하며 사용자가 자신의 감성이 얼마나 적절히 표현되었는지 주관적으로 평가하는 주관 감성피드백에 의해 재평가가 이루어지는 과정이 반복된다. 이러한 과정이 반복됨에 따라 일정한 값으로 수렴되면 중립감성밴드시스템은 이 값을 중립 감성밴드의 경계면으로 활용하게 된다.
상기 추출된 생리변수의 정규화된 값을 감성평가 규칙베이스로 평가하여 각 사용자의 감성상태를 평가한다(S208). 본 발명에서 규칙베이스는 2차원 감성이 표현할 수 있는 4가지 감성(쾌-각성, 쾌-이완, 불쾌-각성, 불쾌-이완)과 중립감성이 관련된 5가지 감성(쾌-중립, 불쾌-중립, 중립-각성, 중립-이완, 중립-중립) 등 9가지 감성과 감성평가에 관여된 8가지 생리변수(EEG 4개, PPG, GSR, SKT) 및 생리변수의 증감형태(증(+), 감(-), 불변(0))등의 복합변화(compound variation)에 대한 6561개의 Case를 추출하여 이중 복합변화의 독립성을 고려하여 243개의 주요 복합변화 case를 고려하여 구축한다.
그리고, 신호변수간의 변화의 일관성을 고려하여 일관성이 없는 경우 노이즈 처리한다(S209).
따라서, 감성평가가 완료된 생리변수와 평가결과를 감성데이터베이스에 저장되어 개인화에 대비한다(S210). 감성데이터베이스는 총 8개의 사용자의 초기 선택관련 정보를 저장하는 테이블, 뇌파(EEG) 변수 저장테이블, 맥파(PPG) 변수 저장테이블, 피부저항(GSR) 변수 저장테이블, 피부온도(SKT) 변수 저장테이블, 감성평가결과 저장테이블, 감성평가 규칙 저장테이블, 감성평가의 임계값 저장테이블 및 부감성임계값 저장테이블 등 8개의 테이블로 구현된다.
상기 평가된 감성평가 결과를 감성평가에 필요한 변수(EEG, PPG, GSR, SKT)와 평가된 감성을 표현하는 인디게이터로 실시간으로 사용자 컴퓨터(20)로 보여준다(S211).
도면과 명세서는 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명에 의하면, 감성평가정보를 활용하여 감성공학적 제품의 개발 (자동차, 전자제품, 의류, 주거 및 작업환경 등), 게임, 가상현실, 의료진단 등에 있어 사용자의 감성상태를 정확히 측정하여 제품 및 서비스의 효용성을 높일 수 있다.
또한, 인간감성을 자동적으로 평가할 수 있다는 점에서 인간감성이 이식되어야 하는 모든 기기에 활용할 수 있고, 로봇과 인간과 상호작용을 하면서 인간의 감성을 이해하고 이에 따라 다르게 행동할 수 있다.

Claims (13)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. (a)대상자의 뇌파, 맥파, 피부저항 및 피부온도를 포함하는 생리신호를 측정하는 단계;
    (b)상기 측정된 생리신호를 신호처리하여 생리변수를 추출하는 단계;
    (c)상기 생리변수를 증, 감, 불변으로 표준화하는 단계;
    (d)상기 대상자의 감성값을 초기화하는 단계;
    (e)상기 대상자의 각성-이완과 쾌-불쾌를 포함한 주관적 감성값을 수신하는 단계;
    (f)상기 수신된 주관적 감성값과 표준화된 생리변수를 이용하여 중립감성밴드를 조정하는 단계; 및
    (g)상기 표준화된 생리변수 값과 규칙베이스를 이용하여 상기 대상자의 감성상태를 평가하는 단계를 포함하는 것을 특징으로 하는 생리신호를 이용한 감성평가방법.
  6. 제5항에 있어서, 상기 (f)단계에서 상기 중립감성밴드는
    상기 대상자의 감성이 유쾌하거나 불쾌하지도, 각성이거나 이완하지도 않은 무덤덤한 상태로서 그 영역이 확장, 축소할 수 있음을 특징으로 하는 생리신호를 이용한 감성평가방법.
  7. 제5항에 있어서, 상기 (f)단계는
    (f1) 상기 표준화된 생리변수와 대상자의 주관적 감성값을 기반으로 유추하여 초기의 중립감성밴드를 설정하는 단계;
    (f2)상기 초기의 중립감성밴드를 기준으로 수행한 감성평가의 결과가 대상자의 감성을 얼마나 잘 반영했는지 대상자가 주관적으로 재평가하는 단계; 및
    (f3)상기 (f1)단계와 (f2)단계가 반복됨에 따라 일정한 값으로 수렴시켜 중립 감성밴드의 영역으로 활용하는 단계를 포함함을 특징으로 하는 생리신호를 이용한 감성평가방법.
  8. 제5항에 있어서, 상기 (g)단계에서 규칙베이스는
    2차원 감성이 표현할 수 있는 4가지 감성(쾌-각성, 쾌-이완, 불쾌-각성, 불쾌-이완)과 중립감성이 관련된 5가지 감성(쾌-중립, 불쾌-중립, 중립-각성, 중립-이완, 중립-중립)을 합한 9가지 감성과 감성평가에 사용된 8가지 생리변수(EEG 4개, PPG, GSR, SKT) 및 생리변수의 증감형태(증(+), 감(-), 불변(0))등의 복합변화(compound variation)에 대한 소정의 케이스를 추출하여 구축함을 특징으로 하는 생리신호를 이용한 감성평가방법.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
KR10-2001-0065356A 2001-10-23 2001-10-23 생리신호를 이용한 감성평가방법 KR100464821B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2001-0065356A KR100464821B1 (ko) 2001-10-23 2001-10-23 생리신호를 이용한 감성평가방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0065356A KR100464821B1 (ko) 2001-10-23 2001-10-23 생리신호를 이용한 감성평가방법

Publications (2)

Publication Number Publication Date
KR20030034424A KR20030034424A (ko) 2003-05-09
KR100464821B1 true KR100464821B1 (ko) 2005-01-17

Family

ID=29565936

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0065356A KR100464821B1 (ko) 2001-10-23 2001-10-23 생리신호를 이용한 감성평가방법

Country Status (1)

Country Link
KR (1) KR100464821B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101025510B1 (ko) 2009-06-10 2011-04-04 연세대학교 산학협력단 감성인식장치의 개인별 최적화시스템 및 그 최적화 방법
WO2012115294A1 (ko) * 2011-02-24 2012-08-30 주식회사 메디오피아테크 생체 감성 지표 및 상황 정보로부터 학습 집중도에 관련된 학습 감성 지표를 생성하기 위한 유비쿼터스-러닝용 미들웨어 장치
KR101456236B1 (ko) 2013-09-13 2014-10-31 상명대학교서울산학협력단 감성 평가를 위한 개인화 룰 베이스 형성 방법 및 이를 적용하는 장치
US8932229B2 (en) 2012-12-06 2015-01-13 Electronics And Telecommunications Research Institute Apparatus and method for real-time emotion recognition using heart rate variability
KR20210002791A (ko) * 2019-07-01 2021-01-11 한국생산기술연구원 공학-감성 복합지표를 이용한 역공학 설계 장치 및 방법

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101435680B1 (ko) 2007-09-11 2014-09-02 삼성전자주식회사 다중 측정된 생체신호를 기반으로한 스트레스 분석방법
US8700009B2 (en) 2010-06-02 2014-04-15 Q-Tec Systems Llc Method and apparatus for monitoring emotion in an interactive network
KR101958415B1 (ko) * 2012-05-10 2019-03-15 상명대학교산학협력단 개인화된 감성 인식 장치 및 방법
US9293500B2 (en) 2013-03-01 2016-03-22 Apple Inc. Exposure control for image sensors
US9276031B2 (en) 2013-03-04 2016-03-01 Apple Inc. Photodiode with different electric potential regions for image sensors
US9741754B2 (en) 2013-03-06 2017-08-22 Apple Inc. Charge transfer circuit with storage nodes in image sensors
US9549099B2 (en) 2013-03-12 2017-01-17 Apple Inc. Hybrid image sensor
US9319611B2 (en) 2013-03-14 2016-04-19 Apple Inc. Image sensor with flexible pixel summing
US9596423B1 (en) 2013-11-21 2017-03-14 Apple Inc. Charge summing in an image sensor
US9596420B2 (en) 2013-12-05 2017-03-14 Apple Inc. Image sensor having pixels with different integration periods
US9473706B2 (en) 2013-12-09 2016-10-18 Apple Inc. Image sensor flicker detection
US10285626B1 (en) 2014-02-14 2019-05-14 Apple Inc. Activity identification using an optical heart rate monitor
US9232150B2 (en) 2014-03-12 2016-01-05 Apple Inc. System and method for estimating an ambient light condition using an image sensor
US9277144B2 (en) 2014-03-12 2016-03-01 Apple Inc. System and method for estimating an ambient light condition using an image sensor and field-of-view compensation
US9584743B1 (en) 2014-03-13 2017-02-28 Apple Inc. Image sensor with auto-focus and pixel cross-talk compensation
US9497397B1 (en) 2014-04-08 2016-11-15 Apple Inc. Image sensor with auto-focus and color ratio cross-talk comparison
US9538106B2 (en) 2014-04-25 2017-01-03 Apple Inc. Image sensor having a uniform digital power signature
US9686485B2 (en) 2014-05-30 2017-06-20 Apple Inc. Pixel binning in an image sensor
CN104123468A (zh) * 2014-07-25 2014-10-29 华北电力大学(保定) 基于核心状态量集合的配电变压器状态评估方法
US9912883B1 (en) 2016-05-10 2018-03-06 Apple Inc. Image sensor with calibrated column analog-to-digital converters
JP6818875B2 (ja) 2016-09-23 2021-01-20 アップル インコーポレイテッドApple Inc. 積層背面照射型spadアレイ
US10656251B1 (en) 2017-01-25 2020-05-19 Apple Inc. Signal acquisition in a SPAD detector
CN110235024B (zh) 2017-01-25 2022-10-28 苹果公司 具有调制灵敏度的spad检测器
US10962628B1 (en) 2017-01-26 2021-03-30 Apple Inc. Spatial temporal weighting in a SPAD detector
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
US10440301B2 (en) 2017-09-08 2019-10-08 Apple Inc. Image capture device, pixel, and method providing improved phase detection auto-focus performance
US11019294B2 (en) 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
US10848693B2 (en) 2018-07-18 2020-11-24 Apple Inc. Image flare detection using asymmetric pixels
US11563910B2 (en) 2020-08-04 2023-01-24 Apple Inc. Image capture devices having phase detection auto-focus pixels
US11546532B1 (en) 2021-03-16 2023-01-03 Apple Inc. Dynamic correlated double sampling for noise rejection in image sensors
CN113180669B (zh) * 2021-05-12 2024-04-26 中国人民解放军中部战区总医院 一种基于神经反馈技术的情绪调节训练系统与方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5601090A (en) * 1994-07-12 1997-02-11 Brain Functions Laboratory, Inc. Method and apparatus for automatically determining somatic state
JPH09206291A (ja) * 1996-02-02 1997-08-12 Japan Small Corp 人の感情・状態を検出する装置
KR19980017322U (ko) * 1996-09-23 1998-07-06 양재신 차량용 바이오리듬 표시장치
KR19990009134A (ko) * 1997-07-08 1999-02-05 윤종용 바이오리듬 및 감정상태에 따른 음악선택장치
KR19990039692A (ko) * 1997-11-13 1999-06-05 정선종 긍정/부정 감성 상태 판별을 위한 뇌파 분석방법
KR20000032114A (ko) * 1998-11-12 2000-06-05 정선종 좌/우뇌 활동의 비대칭성을 이용한 감성적 긍정/부정 상태 판별방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5601090A (en) * 1994-07-12 1997-02-11 Brain Functions Laboratory, Inc. Method and apparatus for automatically determining somatic state
JPH09206291A (ja) * 1996-02-02 1997-08-12 Japan Small Corp 人の感情・状態を検出する装置
KR19980017322U (ko) * 1996-09-23 1998-07-06 양재신 차량용 바이오리듬 표시장치
KR19990009134A (ko) * 1997-07-08 1999-02-05 윤종용 바이오리듬 및 감정상태에 따른 음악선택장치
KR19990039692A (ko) * 1997-11-13 1999-06-05 정선종 긍정/부정 감성 상태 판별을 위한 뇌파 분석방법
KR20000032114A (ko) * 1998-11-12 2000-06-05 정선종 좌/우뇌 활동의 비대칭성을 이용한 감성적 긍정/부정 상태 판별방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101025510B1 (ko) 2009-06-10 2011-04-04 연세대학교 산학협력단 감성인식장치의 개인별 최적화시스템 및 그 최적화 방법
WO2012115294A1 (ko) * 2011-02-24 2012-08-30 주식회사 메디오피아테크 생체 감성 지표 및 상황 정보로부터 학습 집중도에 관련된 학습 감성 지표를 생성하기 위한 유비쿼터스-러닝용 미들웨어 장치
US8932229B2 (en) 2012-12-06 2015-01-13 Electronics And Telecommunications Research Institute Apparatus and method for real-time emotion recognition using heart rate variability
KR101456236B1 (ko) 2013-09-13 2014-10-31 상명대학교서울산학협력단 감성 평가를 위한 개인화 룰 베이스 형성 방법 및 이를 적용하는 장치
KR20210002791A (ko) * 2019-07-01 2021-01-11 한국생산기술연구원 공학-감성 복합지표를 이용한 역공학 설계 장치 및 방법
KR102239694B1 (ko) * 2019-07-01 2021-04-13 한국생산기술연구원 공학-감성 복합지표를 이용한 역공학 설계 장치 및 방법

Also Published As

Publication number Publication date
KR20030034424A (ko) 2003-05-09

Similar Documents

Publication Publication Date Title
KR100464821B1 (ko) 생리신호를 이용한 감성평가방법
Jenke et al. Feature extraction and selection for emotion recognition from EEG
Alfaras et al. From biodata to somadata
CN111315278B (zh) 用于基于屏幕的交互的自适应接口
Gang et al. User-driven intelligent interface on the basis of multimodal augmented reality and brain-computer interaction for people with functional disabilities
US20100153470A1 (en) Identifying and Generating Biometric Cohorts Based on Biometric Sensor Input
US20140068472A1 (en) Multiple sensory channel approach for translating human emotions in a computing environment
KR101842750B1 (ko) 뇌파 훈련을 위한 실시간 시뮬레이터 및 이를 이용한 인터페이스 장치
JP2009521246A (ja) 精神状態の検出およびそれを用いる対話
WO2005016147A1 (ja) 情報処理端末及び通信システム
BRPI1100261A2 (pt) Processo e dispositivo para interface cérebro-computador
JP2004527815A (ja) 感知電気生理学的データに基づく活動開始方法及びシステム
TW200844797A (en) Interface to convert mental states and facial expressions to application input
Lin et al. Development of a wearable motor-imagery-based brain–computer interface
WO2010104480A1 (en) System and procedure for estimation of psychological state based on psychophysiological responses and transmission of the estimated state over various networks
JP2019063027A (ja) 月経タイプ特定システム及びプログラム
Athif et al. WaveCSP: a robust motor imagery classifier for consumer EEG devices
JP2010042236A (ja) ヒトの感覚判定方法及びその判定装置
CN108334200B (zh) 电子设备控制方法及相关产品
CN113749656A (zh) 基于多维生理信号的情感识别方法和装置
JP3523007B2 (ja) 満足感計測システムおよびフィードバック装置
Dzitac et al. Identification of ERD using fuzzy inference systems for brain-computer interface
JP6859622B2 (ja) 脳波信号処理システム、脳波信号処理方法及びプログラム
KR100970589B1 (ko) 비음수 텐서 분해를 이용한 뇌파의 주파수 특징 추출 방법
KR101851642B1 (ko) 뇌파를 이용한 능동 다감각 사용자 선호도 평가 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
N231 Notification of change of applicant
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
N231 Notification of change of applicant
LAPS Lapse due to unpaid annual fee
R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20130219

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20140609

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20141223

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20151023

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20161202

Year of fee payment: 13

LAPS Lapse due to unpaid annual fee