KR20160085577A - 생체신호를 이용한 심리상태 판단 장치 및 방법 - Google Patents
생체신호를 이용한 심리상태 판단 장치 및 방법 Download PDFInfo
- Publication number
- KR20160085577A KR20160085577A KR1020150002757A KR20150002757A KR20160085577A KR 20160085577 A KR20160085577 A KR 20160085577A KR 1020150002757 A KR1020150002757 A KR 1020150002757A KR 20150002757 A KR20150002757 A KR 20150002757A KR 20160085577 A KR20160085577 A KR 20160085577A
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- bio
- stimulus
- user
- psychological state
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 36
- 210000000467 autonomic pathway Anatomy 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 31
- 230000008451 emotion Effects 0.000 claims description 25
- 230000037007 arousal Effects 0.000 claims description 24
- 230000003993 interaction Effects 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 description 13
- 230000004044 response Effects 0.000 description 13
- 239000000284 extract Substances 0.000 description 9
- 230000000638 stimulation Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000006399 behavior Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 210000000653 nervous system Anatomy 0.000 description 3
- 230000036626 alertness Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 210000003403 autonomic nervous system Anatomy 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003284 homeostatic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000005037 parasympathetic nerve Anatomy 0.000 description 1
- 210000001428 peripheral nervous system Anatomy 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000006461 physiological response Effects 0.000 description 1
- 230000002028 premature Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000010926 purge Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008844 regulatory mechanism Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 231100000430 skin reaction Toxicity 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A61B5/0402—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/053—Measuring electrical impedance or conductance of a portion of the body
- A61B5/0531—Measuring skin impedance
- A61B5/0533—Measuring galvanic skin response
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Cardiology (AREA)
- Psychiatry (AREA)
- Dermatology (AREA)
- Child & Adolescent Psychology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physiology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
본 명세서의 일 실시예에 따른 심리상태 판단 장치는 제1 자극에 의해 발생된, 사용자의 제1 생체신호와 제2 생체신호를 획득하는 생체신호 획득부와, 제1 생체신호와 제2 생체신호를 각각 분석하여 제1 특징 및 제2 특징을 추출하고, 제1 특징 및 제2 특징에 기초하여 사용자의 심리상태를 판단하는 심리상태 판단부를 포함할 수 있다. 여기서, 제1 생체신호와 제2 생체신호는 각각 서로 상이한 바이오 센서로부터 측정되는 자율 신경의 변화를 나타내는 생체신호일 수 있다. 예를 들면, 제1 생체신호는 맥파 센서로부터 측정된 PPG 신호이고, 제2 생체신호는 피부전도 센서로부터 측정된 GSR 신호일 수 있다.
Description
본 명세서는 심리상태 판단 장치 및 방법과 시스템에 관한 것으로, 보다 상세하게는 심전도 신호 및 피부전도 신호와 같은 생체신호를 이용하여 사용자의 현재 심리상태를 판단하는 장치 및 방법에 관한 것이다.
최근 IT 기술과 의료 기술의 발전에 따라 인간의 감정을 인식하고 이에 대응하는 바이오 피드백을 제공하는 장치들의 개발이 진행되고 있다.
종래의 인간의 감정 및 심리를 인식하는 장치들은 음성 및 영상과 같은 복합적인 데이터로부터 특징을 추출하여 감정 및 심리를 판단하는 방식을 택하는데, 이 경우 센싱 범위 등 주변의 동적 환경변화에 취약하고, 피험자가 반응적 행동을 표시하지 않을 경우 정확한 데이터를 추출하지 못하는 문제가 발생한다. 뿐만 아니라, 감성자극 혹은 심리상태에 대한 생리적 반응은 언어적 진술이나 행동특징 추출보다 객관성을 가지며, 한 개인에 있어 높은 일관성을 보여주는 장점을 가지고 있다. 또한, 생체 신호를 이용하여 종래의 감정상태 판단하는 장치는 뇌전도 신호를 이용하여 사용자의 감정상태를 판단하는데, 이 경우 뇌전도 신호 측정에 거부감을 갖는 피험자(예컨대, 자폐 아동)에게 적용하기 어렵다는 문제가 있다.
이에, 본 명세서는, 심전도 신호 및 피부전도 신호와 같은 복수의 생체신호를 이용하여 사용자의 현재 심리상태를 판단함을 목적으로 한다.
또한, 사용자의 현재 심리상태를 반영하여 스트레스 관리에 기반한 훈련자극을 결정함을 목적으로 한다.
본 명세서의 일 실시예에 따른 심리상태 판단 장치는 제1 자극에 의해 발생된, 사용자의 제1 생체신호와 제2 생체신호를 획득하는 생체신호 획득부; 및 상기 제1 생체신호와 상기 제2 생체신호를 각각 분석하여 제1 특징 및 제2 특징을 추출하고, 상기 제1 특징 및 상기 제2 특징에 기초하여 상기 사용자의 심리상태를 판단하는 심리상태 판단부를 포함하되, 상기 제1 생체신호와 상기 제2 생체신호는 서로 상이한 바이오 센서로부터 측정된 생체신호일 수 있다.
실시예로서, 상기 제1 특징과 상기 제2 특징은 각각 상기 심리상태 판단을 위한 제1 기준과 제2 기준에 연관될 수 있다.
실시예로서, 상기 제1 생체신호가 맥파 센서에 의해 측정된 맥파 신호인 경우, 상기 제1 특징은 감정의 유인가(valence) 및 각성도(arousal) 중 적어도 하나에 연관되고, 상기 제2 생체신호가 피부전도 센서에 의해 측정된 피부전도 신호인 경우, 상기 제2 특징은 감정의 각성도(arousal)에 연관될 수 있다.
실시예로서, 상기 판단된 사용자의 심리상태에 기초하여 상기 사용자에게 제공되는 제2 자극의 종류 및 레벨을 결정하는 자극 결정부를 더 포함할 수 있다.
실시예로서, 상기 제1 자극은 변별학습이론(DTT)에 따른 상호작용 훈련을 상기 사용자에게 제공하기 위한 제1 전제 자극이고, 상기 제2 자극은 제1 전제 자극에 대한 상기 사용자의 반응에 대응하는 후속 자극 또는 상기 제1 전제 자극의 다음 전제 자극인 제2 전제 자극일 수 있다.
실시예로서, 상기 제1 자극과 상기 제2 자극은 로봇에 의해 제공되는 로보틱 자극일 수 있다.
본 명세서의 일 실시예에 따른 심리상태 판단 방법은 제1 자극에 의해 발생된, 사용자의 제1 생체신호와 제2 생체신호를 획득하는 단계; 및 상기 제1 생체신호와 상기 제2 생체신호를 각각 분석하여 제1 특징 및 제2 특징을 추출하고, 상기 제1 특징 및 상기 제2 특징에 기초하여 상기 사용자의 심리상태를 판단하는 단계를 포함하되, 상기 제1 생체신호와 상기 제2 생체신호는 서로 상이한 바이오 센서로부터 측정된 생체신호일 수 있다.
실시예로서, 상기 제1 특징과 상기 제2 특징은 각각 상기 심리상태 판단을 위한 제1 기준과 제2 기준에 연관될 수 있다.
실시예로서, 상기 제1 생체신호가 맥파 센서에 의해 측정된 맥파 신호인 경우, 상기 제1 특징은 감정의 유인가(valence) 및 각성도(arousal) 중 적어도 하나에 연관되고, 상기 제2 생체신호가 피부전도 센서에 의해 측정된 피부전도 신호인 경우, 상기 제2 특징은 감정의 각성도(arousal)에 연관될 수 있다.
실시예로서, 상기 판단된 사용자의 심리상태에 기초하여 상기 사용자에게 제공되는 제2 자극의 종류 및 레벨을 결정하는 단계를 더 포함할 수 있다.
실시예로서, 상기 제1 자극은 변별학습이론(DTT)에 따른 상호작용 훈련을 상기 사용자에게 제공하기 위한 제1 전제 자극이고, 상기 제2 자극은 제1 전제 자극에 대한 상기 사용자의 반응에 대응하는 후속 자극 또는 상기 제1 전제 자극의 다음 전제 자극인 제2 전제 자극일 수 있다.
실시예로서, 상기 제1 자극과 상기 제2 자극은 로봇에 의해 제공되는 로보틱 자극일 수 있다.
본 명세서에 따르면, 말초신경계의 일부로 사람의 의지와는 관계없이 자동적으로 작동하는 신경계에 대한 복수의 생체신호를 이용하여 사용자의 심리상태를 판단함으로써, 사용자의 현재 심리상태 및 그 변화를 보다 정확히 판단할 수 있다.
또한, 자율 신경계의 항상성 조절 매커니즘을 추적할 수 있는 평가 수단 및 신경계에 영향을 주는 생리적 변화의 측정에 있어서 뇌전도 신호보다 측정이 용이한 심전도 및 피부전도 신호 등을 이용하여 사용자의 심리상태 및 생리적 변화를 판단함으로써 자극에 대한 사용자의 신경계 활성 정도를 명확하게 분별할 수 있다.
또한, 사용자의 현재 심리상태를 반영하여 스트레스 관리에 기반한 훈련자극을 제공함으로써, 사용자(예컨대, 자폐 아동)의 집중도를 효과적으로 조절할 수 있다.
또한, 다양한 매개물(예컨대, 로봇, 디스플레이 장치 등)을 이용하여 적절한 훈련자극을 제공함으로써, 사람이 직접 사용자의 사회성을 훈련시키는 방법에 비해 일관되고 효과적인 훈련을 제공할 수 있다.
도 1은 일 실시예에 따른 심리상태 판단 장치의 구성도이다.
도 2는 일 실시예에 따른 심리상태 판단 장치가 생체신호를 획득하고 사용자의 심리상태를 판단하는 과정을 나타내는 개념도이다.
도 3은 일 실시예에 따른 심리상태 모델의 예시도이다.
도 4는 일 실시예에 따른 심리상태 판단 방법의 순서도이다.
도 2는 일 실시예에 따른 심리상태 판단 장치가 생체신호를 획득하고 사용자의 심리상태를 판단하는 과정을 나타내는 개념도이다.
도 3은 일 실시예에 따른 심리상태 모델의 예시도이다.
도 4는 일 실시예에 따른 심리상태 판단 방법의 순서도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
또한, 본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치", "로봇" 또는 "시스템" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 부, 모듈, 장치, 로봇 또는 시스템은 플랫폼(platform)의 일부 또는 전부를 구성하는 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 애플리케이션(application) 등의 소프트웨어를 지칭하는 것일 수 있다.
본 명세서에서 심리상태 판단 장치는 사용자로부터 측정된 생체 신호를 이용하여 사용자의 심리상태를 판단하는 장치를 말한다. 일 실시예에서, 심리상태 판단 장치는 사용자에게 제공된 자극에 의해 발생하는 사용자의 생체신호의 변화를 분석하여 사용자의 심리상태를 판단하는 장치일 수 있다. 여기서, 심리상태는 사용자의 심리적인 감정상태로서, 예를 들어, 즐거움, 놀람, 화남 등과 같은 감정상태일 수 있다.
도 1은 일 실시예에 따른 심리상태 판단 장치의 구성도이다. 도 1을 참조하면, 심리상태 판단 장치(100)는 생체신호 획득부(110), 심리상태 판단부(120)로 구성될 수 있다. 또한, 장치는 자극 결정부(130) 및 데이터베이스(140)를 더 포함할 수 있다. 여기서, 자극 결정부(130) 및 데이터베이스(140)는 옵셔널한 구성일 수 있다.
생체신호 획득부(110)는 제1 자극에 의해 발생되는, 사용자의 복수의 생체신호를 미리 설정된 시간(예컨대, 5분) 동안 획득할 수 있다. 일 실시예에서, 생체신호 획득부(110)는 심리상태 판단 장치(100)에 내장된 다수의 바이오 센서로부터 측정된 사용자의 복수의 생체신호를 획득할 수 있다. 다른 실시예에서, 생체신호 획득부(110)는 심리상태 판단 장치(100)에 내장되지 않은 다수의 바이오 센서로부터 측정된 사용자의 복수의 생체신호를, 바이오 센서와의 유선 또는 무선 통신을 통해 획득할 수 있다. 여기서, 바이오 센서는 사용자의 신체의 일부에 부착되어 생체신호를 측정하는 부착식 바이오 센서 또는 사용자의 신체의 일부에 부착되지 않고 생체신호를 측정하는 비부착식 바이오 센서일 수 있다.
본 명세서에서, 생체신호는 자율신경(교감 또는 부교감 신경)의 변화를 나타내는 신호로서, ECG(Electrocardiogram) 신호(chest beat), PPG(Photoplethysmography) 신호(blood volume purse), PCG(phonocardiogram) 신호(heart sound), EMG(electromyography) 신호(electrical activity in muscles), EA 신호(electrical activity in nerves: GSR(galvanic skin response), SKT(skin temperture), ICG(눈 근육 움직임), 맥파로 간접 유도되는 호흡과 같은 호흡(Respiration) 신호들을 포함할 수 있으나, 이에 한정되지 않는다. 이를 통해, 심리상태 판단 장치(100)는 뇌전도 신호보다 측정이 용이한 상술한 자율신경의 변화를 나타내는 생체신호를 이용하여 사용자의 심리상태를 판단함으로써 뇌파 신호 측정에 거부감을 갖는 사용자(예컨대, 자폐 아동)에게도 적용 가능하다.
일 실시예에서, 제1 자극은 훈련자(예컨대, 로봇)에 의해 제공되는 제1 훈련 자극일 수 있다. 예를 들면, 제1 자극은 변별학습이론(Discrete Time Teaching: DTT)에 따른 상호작용 훈련(예컨대, 눈맞추기, 공동주의, 가리키기, 관심사 공유하기, 놀이행동 모방하기, 호명반응, 얼굴 표정읽기, 상상놀이 훈련 등)을 사용자에게 제공하기 위하여 훈련자(예컨대, 로봇)에 의해 제공되는 제1 전제 자극일 수 있다. 이러한, 변별학습이론(DTT)에 따른 상호작용 훈련은 사용자의 반응을 요청하는 전제자극의 제공, 전제자극에 대한 사용자의 행동반응의 분석, 사용자의 행동반응에 대한 후속자극의 제공이 한 세트로 구성된 사용자의 상호작용 능력을 증진시키는 훈련 방법을 의미한다.
일 실시예에서, 복수의 생체신호는 서로 상이한 바이오 센서로부터 측정된 제1 생체신호 및 제2 생체신호를 포함할 수 있다. 예를 들면, 제1 생체신호는 심전도 센서로부터 측정된 심전도 신호(예컨대, 맥파 센서로부터 측정된 맥파(PPG) 신호 등)일 수 있고, 제2 생체 신호는 피부전도 센서로부터 측정된 피부전도 신호(예컨대, 피부전도 센서로부터 측정된 피부전도(GSR) 신호 등)일 수 있다. 제1 생체신호가 심전도 신호 중 PPG 신호이고, 제2 생체신호가 피부전도 신호 중 GSR 신호인 경우에 대한 설명은 도 2를 참조하여 이하에서 상세히 설명하도록 한다.
심리상태 판단부(120)는 미리 정의된 분석 및 판단 알고리즘에 따라 제1 생체신호와 제2 생체신호를 분석하여 사용자의 심리상태를 판단할 수 있다. 일 실시예에서, 심리상태 판단부(120)는 제1 생체신호 및 제2 생체신호를 각각 분석하여 제1 특징 및 제2 특징을 추출하고, 제1 특징과 제2 특징에 기초하여 사용자의 심리상태를 판단할 수 있다.
일 실시예에서, 분석 및 판단 알고리즘은 미리 정의된 또는 사용자에 의해 입력된 심리상태 모델에 기초하여 미리 정의된 분석 및 판단 알고리즘일 수 있다. 본 명세서에서 사용되는 심리상태 모델은, Valence-Arousal(V-A) 차원 모델과 같은 감정상태 모델뿐 아니라, 일반적인 감정상태 모델을 재구성한 모델로서, 예를 들면, 임의의 정성적 상태(예컨대, 좋아함, 보통, 싫어함)로 구분되는 심리상태에 대한 모델이거나 또는 임의의 정량적 상태(예컨대, 안정, 불안정)와 정성적 크기(예컨대, 상, 중, 하)로 구분되는 심리상태에 대한 모델일 수 있다.
일 실시예에서, 심리상태 판단부(120)는 각 생체신호로부터 특징을 추출하기 전에 각 생체신호를 전처리할 수 있다. 예를 들면, 심리상태 판단부(120)는 피크 검출, 노이즈 제거, 필터링 등과 같은 신호 전처리를 수행할 수 있다.
일 실시예에서, 제1 특징과 제2 특징은 각각 심리상태 판단을 위한 제1 기준과 제2 기준에 연관될 수 있다. 예를 들면, 도 3에서처럼, 심리상태 모델이 V-A 차원 모델인 경우, 제1 특징은 제1 기준인 감정의 유인가(valence)와 연관되고, 제2 특징은 제2 기준인 감정의 각성도(arousal)와 연관될 수 있다. 여기서, 유인가는 감정이 긍정적인지 부정적인지를 나타내는 지수를 말하고, 각성도는 감정의 각성 정도, 즉, 사용자가 감정적으로 얼마나 자극이 되는지를 나타내는 지수를 말한다.
이러한 도 3에 대하여 상세히 설명하면, 심리상태 모델의 제1 영역은 사용자의 심리상태가 제1 상태(놀람)임을 나타내고, 제2 영역은 사용자의 심리상태가 제2 상태(화남)임을 나타내고, 제3 영역은 사용자의 심리상태가 제3 상태(산만함)임을 나타내고, 제4 영역은 사용자의 심리상태가 제4 상태(흥분됨)임을 나타내고, 제5 영역은 사용자의 심리상태가 제5 상태(행복함)임을 나타내고, 제6 영역은 사용자의 심리상태가 제6 상태(침착함)임을 나타낼 수 있다. 상술한 도 3의 심리상태 모델은 예시적인 심리 상태 모델로서, 본 명세서의 심리상태 판단 장치(100)는 이와 다른 심리상태 모델을 사용하여 사용자의 심리상태를 판단할 수 있다.
실시예로서, 도 3에서처럼, 심리상태 모델이 유인가와 각성도에 따라 6가지 영역으로 구분되는 모델인 경우, 심리상태 판단부(120)는 제1 생체신호(예컨대, PPG 신호)로부터 감정의 유인가와 연관된 제1 특징(예컨대, 맥파전달 시간)을 추출하고 이에 기초하여 유인가가 양(positive) 또는 음(negative)인지를 분류하고, 제2 생체신호(예컨대, GSR 신호)로부터 감정의 각성도와 연관된 제2 특징(예컨대, 피부전도도 변동폭)을 추출하고 이에 기초하여 각성도(높음, 중간, 낮음)를 분류하고, 사용자의 현재 심리상태가 상술한 6가지 영역 중 어느 영역에 포함되는지를 판단함으로써 사용자의 현재 심리상태를 판단할 수 있다.
예를 들면, 심리상태 판단부(120)는 맥파전달 시간이 기준 시간보다 빠른 경우 유인가를 양(positive)으로 분류하고, 맥파전달 시간이 기준 시간보다 느린 경우 유인가를 음(positive)으로 분류할 수 있다. 또한, 심리상태 판단부(120)는 피부전도도 변동폭이 제1 기준 폭보다 높은 경우 각성도를 높음으로 분류하고, 피부전도도 변동폭이 제1 기준 폭보다 낮고 제2 기준 폭보다 높은 경우 각성도를 중간으로 분류하고, 피부전도도 변동폭이 제2 기준 폭보다 낮은 경우 각성도를 낮음으로 분류할 수 있다. 이후, 심리상태 판단부(120)는 분류된 유인가와 각성도에 기초하여 사용자의 현재 심리상태를 판단할 수 있다. 예를 들면, 심리상태 판단부(120)는 분류된 유인가가 양이고, 분류된 각성도가 중간인 경우, 사용자의 심리상태가 제5 상태(행복함)인 것으로 판단할 수 있다.
상술한 실시예는 예시적인 것에 불과하고, 심리상태 판단부(120)는 추출된 제1 특징 및 제2 특징의 종류 및 특성에 따라 다양한 기준 및 방법을 이용하여 제1 특징 및 제2 특징으로부터 사용자의 현재 심리상태를 판단할 수 있다. 제1 특징 및 제2 특징의 다양한 종류 및 특성에 대하여는 도 2를 참조하여 이하에서 상세히 설명하도록 한다.
자극 결정부(130)는 판단된 사용자의 심리상태에 기초하여 사용자에게 제공되는 제2 자극의 종류 및 레벨을 결정할 수 있다. 일 실시예에서, 제2 자극은 훈련자(예컨대, 로봇)에 의해 제공되는 제1 훈련 자극의 다음 훈련 자극인 제2 훈련 자극일 수 있다. 예를 들면, 제2 자극은 변별학습이론(DTT)에 따른 상호작용 훈련을 사용자에게 제공하기 위하여 훈련자(예컨대, 로봇)에 의해 제공되는, 제1 전제 자극에 대한 사용자의 반응에 대응하는 후속 자극 또는 제1 전제 자극의 다음 전제 자극인 제2 전제 자극일 수 있다.
일 실시예에서, 후속 자극은 사용자의 반응에 대한 보상을 제공하기 위한 자극, 사용자의 반응을 독려하기 위한 자극 또는 중지 자극 중 어느 하나일 수 있다. 일 실시예에서, 제2 전제 자극은 제1 전제 자극과 상이한 종류 또는 상이한 레벨의 자극일 수 있다. 다른 실시예에서, 제2 전제 자극은 제1 전제 자극과 동일한 종류와 레벨의 자극일 수 있다. 심리상태 모델이 도 3의 심리상태 모델인 경우, 사용자의 현재 심리상태의 각각에 대응하는 후속 자극과 제2 전제자극에 대한 예시적인 설명은 아래 표 1과 같다.
| 심리상태 | 후속 자극 | 제2 전제 자극 |
| 제1 상태 | 중지 | - |
| 제2 상태 | 강한 독려 | 긴장 완화 유도 |
| 제3 상태 | 일반 독려 | 긴장 완화 유도 |
| 제4 상태 | 최고 보상 | 스트레스/긴장 유지 |
| 제5 상태 | 높은 보상 | 스트레스/긴장 유도 |
| 제6 상태 | 일반 보상 | 스트레스/긴장 유도 |
일 실시예에서, 제1 자극 및 제2 자극은 로봇에 의해 제공되는 로보틱 자극일 수 있다. 예를 들면, 심리상태 판단 장치(100)의 제어에 따라 로봇이 사용자에게 제1 자극 및 제2 자극을 제공할 수 있다. 여기서, 로봇은 사용자와 상호작용이 가능하도록 프로그래밍(programming)된 임의의 플랫폼을 지칭하는 것으로서 특정 형상 또는 목적을 갖는 로봇에 한정되는 것은 아니다. 일 실시예에서, 로봇은 사용자에게 자극을 제공하도록, 지능 로봇의 표현을 출력하기 위한 하나 이상의 출력 수단(예컨대, 디스플레이, 스피커, 다수의 관절)을 포함할 수 있다.
이러한 제1 자극 및 제2 자극이 로봇에 의해 제공되는 로보틱 자극인 경우, 사용자(예컨대, 아동)가 선호하는 형태학적 외형(예컨대, 캐릭터 형상의 로봇)에 기반하여 치료사를 통한 훈련제공에 비해 사용자의 훈련 참여도를 높일 수 있다. 또한, 치료사가 행하기 어려운 로봇의 동작학적인 제스처 및 자극 구성을 통해 단순 반복적인 훈련을 사용자에게 제공할 수 있다.
데이터베이스(140)는 생체신호 정보 및 사용자 심리상태 정보를 저장할 수 있다. 일 실시예에서, 데이터터베이스(140)는 측정된 제1 생체신호와 제2 생체신호에 대한 정보, 및 측정된 제1 생체신호와 제2 생체신호로부터 판단된 사용자의 심리상태에 대한 정보를 사용자 별(예컨대, 사용자 ID 별)로 저장할 수 있다. 이를 통해, 치료사는 사용자 별로 저장된 데이터베이스 정보를 이용하여 사용자의 심리상태의 변화 및 추이 분석에 따른 훈련상황의 치료 및 개선 정도를 파악할 수 있고, 이를 다른 치료사가 모니터링할 수 있는 자료로 활용할 수 있다.
도 1은 본 명세서의 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 장치의 구성요소들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 장치의 구성요소들은 장치의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
도 2는 일 실시예에 따른 심리상태 판단 장치가 생체신호를 획득하고 심리상태를 판단하는 과정을 나타내는 개념도이다. 도 2에서는, 제1 생체신호가 심전도 신호 중 PPG 신호이고, 제2 생체신호는 피부전도 신호 중 GSR 신호라고 가정한다.
도 2를 참조하면, 생체신호 획득부(110)는 미리 설정된 기간(예컨대, 약 5분) 동안, 제1 생체신호로서 PPG 신호를 획득하고, 제2 생체신호로서 GSR 신호를 획득할 수 있다. 이 경우, 맥파 센서는 사용자의 신체의 일부에 적외선을 조사하고, 반사된 적외선에 의해 BVP(Blood Volume Pulse) 변화량인 맥파(PPG)를 측정할 수 있다. 또한, 피부전도 센서는 손목에 접촉된 전극에 인가된 전원에 의해 측정된 전압 값에 따라 피부의 전기전도도(GSR)를 측정할 수 있다.
우선, 심리상태 판단부(120)는 PPG 신호를 전처리할 수 있다. 일 실시예에서, 심리상태 판단부(120)는 피크 검출, 노이즈 제거, 필터링, 통계적 계산 등을 수행함으로써 PPG 신호에 대한 전처리를 수행할 수 있다. 다음으로, 심리상태 판단부(120)는 PPG 신호로부터 제1 특징을 추출할 수 있다. 일 실시예에서, 심리상태 판단부(120)는 PPG 신호에 대한 시간영역 분석 또는 주파수영역 분석을 통해 PPG 신호로부터 제1 특징을 추출할 수 있다.
예를 들면, 심리상태 판단부(120)는, 아래 표 2에서와 같이, PPG 신호에 대한 시간영역 분석을 통해 산출된 각 피크의 인터벌들의 평균(MEAN), 표준편차(SNDD) 등을 제1 특징으로서 추출할 수 있다. 또한, 심리상태 판단부(120)는, 아래 표 3에서와 같이, PPG 신호에 대한 주파수영역 분석(예컨대, FFT 기반한 분석)을 통해 산출된 저주파수 영역(예컨대, 0.04-0.15Hz)의 전력(LF), 고주파수 영역(예컨대, 0.15-0.4Hz)의 전력(HF), 고주파수영역에 대한 저주파수영역의 전력비(LF/HF) 등을 제1 특징으로서 추출 수 있다. 여기서, 제1 특징은 제1 기준(예컨대, 유인가) 및 제2 기준(예컨대, 각성도) 중 적어도 하나에 연관될 수 있다. 예를 들면, 제1 특징으로서 SDNN과 LH/HF을 추출한 경우, SDNN은 유인가에 연관되고, LH/HF는 유인가 및 각성도에 연관되므로, 제1 특징은 유인가 및 각성도에 연관될 수 있다. 다른 예를 들면, 제1 특징으로서 SDNN만을 추출한 경우, 제1 특징은 유인가에만 연관될 수 있다.
아래 표 2는 PPG 신호에 대한 시간영역 분석을 통해 추출된 제1 특징의 예들을 나타내고, 표 3은 PPG 신호에 대한 주파수영역 분석을 통해 추출된 제1 특징의 예들을 나타낸다.
| Variable | Units | Description |
| SDNN | ms | Standard deviation of all NN intervals(R-R intervals) |
| SDANN | ms | Standard deviation of the average of NN intervals in all 5min segments of the entire recording |
| RMSSD | ms | The square root of the mean of the sum of the squares of differences between adjacent NN intervals |
| SDNN index | ms | Mean of the standard deviation of all NN intervals for all 5min segments of the entire recording |
| SDSD | ms | Standard deviation of adjacent NN intervals |
| NN50 count | ms | Number of pairs of adjacent NN intervals differing by more than 50ms in the recording |
| pNN50 | % | NN50 count divided by the total number of all NN intervals |
| Variable | Units | Description | Frequency range |
| 5 min total power | ms2 | The variance of NN intervals over the temporal segment | approximately <=0.4 Hz |
| VLF | ms2 | Power in the very low frequency range | <=0.4 Hz |
| LF | ms2 | Power in low frequency range | 0.04-0.15 Hz |
| LF norm | - | LF power in normalize units LF/(Total power-VLF) X 100 |
|
| HF | ms2 | Power in High frequency range HF/(Total power-VLF) X 100 |
0.15-0.4 Hz |
| HF norm | - | LF power in normalize units HF/(Total power-VLF) X 100 |
|
| LH/HF | - | Ratio LF/HF |
또한, 심리상태 판단부(120)는 GSR 신호를 전처리할 수 있다. 일 실시예에서, 심리상태 판단부(120)는 기하학적 및 통계적 계산 등을 수행함으로써 GSR 신호에 대한 전처리를 수행할 수 있다. 다음으로, 심리상태 판단부(120)는 GSR 신호로부터 제2 특징을 추출할 수 있다. 일 실시예에서, 심리상태 판단부(120)는 GSR 신호로부터 산출된, GSR의 면적, 평균, 표준편차 및 HR에 대한 GSR의 비율(GSR/HR)을 제2 특징으로서 추출할 수 있다. 여기서, 제2 특징은 제2 기준(예컨대, 각성도)에 연관될 수 있다.
예를 들면, 도 3에서처럼, 심리상태 모델이 유인가와 각성도에 따라 구분되는 모델인 경우, 심리상태 판단부(120)는 PPG 신호로부터 감정의 유인가와 연관된 제1 특징(예컨대, SNDD)을 추출하고, GSR 신호로부터 감정의 각성도와 연관된 제2 특징(예컨대, GSR/HR)을 추출할 수 있다.
또한, 심리상태 판단부(120)는 추출된 제1 특징과 제2 특징을 미리 설정된 분류 알고리즘(예컨대, “Linear Discriminant Analysis”, “K-Nearest Neighbors”, “Multi-SVM” 등)에 따라 분류하고, 분류 결과에 기초하여 사용자의 현재 심리상태를 판단할 수 있다.
예를 들면, 심리상태 모델이 도 3의 심리상태 모델인 경우, 심리상태 판단부(120)는 제1 생체신호로부터 감정의 유인가와 연관된 제1 특징을 추출하고, 제2 생체신호로부터 감정의 각성도와 연관된 제2 특징을 추출하고, 제1 특징 및 제2 특징의 값에 각각 기초하여 유인가 및 각성도를 수치화하고, 수치화된 유인가 및 각성도를 분류하여 도 3의 심리상태 모델의 6가지 영역 중 어느 영역에 포함되는지를 결정함으로써, 사용자의 현재 심리상태를 판단할 수 있다.
도 4는 본 명세서의 일 실시예에 따른 생체 신호를 이용한 사용자의 심리상태 판단 방법(이하, 심리상태 판단 방법)의 순서도이다. 본 순서도에서는 도 1 내지 도 3의 설명과 중복되는 부분에 대한 설명은 생략하도록 한다.
심리상태 판단 방법은 제1 자극에 의해 발생되는, 사용자의 복수의 생체신호를 미리 설정된 시간(예컨대, 5분) 동안 획득하는 단계(S10)를 포함할 수 있다. 일 실시예에서, 생체신호를 획득하는 단계(S10)는 심리상태 판단 장치에 내장된 다수의 바이오 센서로부터 측정된 사용자의 복수의 생체신호를 획득할 수 있다. 다른 실시예에서, 생체신호를 획득하는 단계(S10)는 심리상태 판단 장치에 내장되지 않은 다수의 바이오 센서로부터 측정된 사용자의 복수의 생체신호를, 바이오 센서와의 유선 또는 무선 통신을 통해 획득할 수 있다. 여기서, 바이오 센서는 사용자의 신체의 일부에 부착되어 생체신호를 측정하는 부착식 바이오 센서 또는 사용자의 신체의 일부에 부착되지 않고 생체신호를 측정하는 비부착식 바이오 센서일 수 있다.
일 실시예에서, 제1 자극은 훈련자(예컨대, 로봇)에 의해 제공되는 제1 훈련 자극일 수 있다. 예를 들면, 제1 자극은 변별학습이론(DTT)에 따른 상호작용 훈련(예컨대, 눈맞추기, 공동주의, 가리키기, 관심사 공유하기, 놀이행동 모방하기, 호명반응, 얼굴 표정읽기, 상상놀이 훈련 등)을 사용자에게 제공하기 위하여 로봇에 의해 제공되는 제1 전제 자극일 수 있다.
일 실시예에서, 복수의 생체신호는 서로 상이한 바이오 센서로부터 측정된 제1 생체신호 및 제2 생체신호를 포함할 수 있다. 예를 들면, 제1 생체신호는 맥파 센서로부터 측정된 맥파(PPG) 신호일 수 있고, 제2 생체 신호는 피부전도 센서로부터 측정된 피부전도(GSR) 신호일 수 있다. 제1 생체신호가 PPG 신호이고, 제2 생체신호가 GSR 신호인 경우에 대한 설명은 도 2를 참조하여 설명한바 자세한 설명은 생략한다.
심리상태 판단 방법은 제1 생체신호 및 제2 생체신호를 각각 분석하여 제1 특징 및 제2 특징을 추출하고, 제1 특징과 제2 특징에 기초하여 사용자의 심리상태를 판단하는 단계(S20)를 포함할 수 있다. 심리상태 판단 장치는 미리 정의된 분석 및 판단 알고리즘에 따라 제1 생체신호와 제2 생체신호를 분석하여 사용자의 심리상태를 판단할 수 있다.
일 실시예에서, 심리상태 장치는 각 생체신호로부터 특징을 추출하기 전에 각 생체신호를 전처리할 수 있다. 예를 들면, 심리상태 장치는 피크 검출, 노이즈 제거, 필터링 등과 같은 신호 전처리를 수행할 수 있다.
일 실시예에서, 제1 특징과 제2 특징은 각각 심리상태 판단을 위한 제1 기준과 제2 기준에 연관될 수 있다. 예를 들면, 심리상태 모델이 V-A 차원 모델인 경우, 제1 특징은 감정의 유인가(valence)와 연관되고, 제2 특징은 감정의 각성도(arousal level)와 연관될 수 있다. 여기서, 유인가는 감정이 긍정적인지 부정적인지를 나타내는 지수를 말하고, 각성도는 감정의 각성 정도, 즉, 사용자가 감정적으로 얼마나 자극이 되는지를 나타내는 지수를 말한다.
예를 들면, 도 3에서처럼, 심리상태 모델이 유인가와 각성도에 따라 6가지 영역으로 구분되는 모델인 경우, 심리상태 장치는 제1 생체신호로부터 감정의 유인가와 연관된 제1 특징을 추출하고, 제2 생체신호로부터 감정의 각성도와 연관된 제2 특징을 추출하고, 제1 특징과 제2 특징의 값들(예컨대, 제1 특징과 제2 특징의 수치화된 값들)에 기초하여 사용자의 현재 심리상태가 상술한 6가지 영역 중 어느 영역에 포함되는지를 결정함으로써, 사용자의 현재 심리상태를 판단할 수 있다.
심리상태 판단 방법은 판단된 사용자의 심리상태에 기초하여 사용자에게 제공되는 제2 자극의 종류 및 레벨을 결정하는 단계(S30)을 포함할 수 있다. 일 실시예에서, 제2 자극은 로봇에 의해 제공되는 제2 훈련 자극일 수 있다. 예를 들면, 제2 자극은 변별학습이론(DTT)에 따른 상호작용 훈련을 사용자에게 제공하기 위하여 로봇에 의해 제공되는, 제1 전제 자극에 대한 사용자의 반응에 대응하는 후속 자극 또는 제1 전제 자극의 다음 전제 자극인 제2 전제 자극일 수 있다.
일 실시예에서, 후속 자극은 사용자의 반응에 대한 보상을 제공하기 위한 자극, 사용자의 반응을 독려하기 위한 자극 또는 중지 자극 중 어느 하나일 수 있다. 일 실시예에서, 제2 전제 자극은 제1 전제 자극과 상이한 종류 또는 상이한 레벨의 자극일 수 있다. 다른 실시예에서, 제2 전제 자극은 제1 전제 자극과 동일한 종류와 레벨의 자극일 수 있다.
일 실시예에서, 제1 자극 및 제2 자극은 로봇에 의해 제공되는 로보틱 자극일 수 있다. 여기서, 로봇은 사용자와 상호작용이 가능하도록 프로그래밍(programming)된 임의의 플랫폼을 지칭하는 것으로서 특정 형상 또는 목적을 갖는 로봇에 한정되는 것은 아니다. 일 실시예에서, 로봇은 사용자에게 자극을 제공하도록, 지능 로봇의 표현을 출력하기 위한 적어도 하나의 출력 수단(예컨대, 디스플레이, 스피커, 다수의 관절)을 포함할 수 있다.
이러한, 제1 자극 및 제2 자극이 로봇에 의해 제공되는 로보틱 자극인 경우, 사용자(예컨대, 아동)가 선호하는 형태학적 외형(예컨대, 캐릭터 형상의 로봇)에 기반하여 치료사를 통한 훈련제공에 비해 사용자의 훈련 참여도를 높일 수 있다. 또한, 치료사가 행하기 어려운 로봇의 동작학적인 제스처 및 자극 구성을 통해 단순 반복적인 훈련을 사용자에게 제공할 수 있다.
이와 같은, 상호작용 훈련 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구 범위에서 청구하는 요지를 벗어남이 없이 당해 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
또한, 본 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수 있다.
100: 심리상태 판단 장치
110: 생체신호 획득부
120: 심리상태 판단부 130: 자극 결정부
140: 데이터베이스
120: 심리상태 판단부 130: 자극 결정부
140: 데이터베이스
Claims (16)
- 제1 자극에 의해 발생된, 사용자의 제1 생체신호와 제2 생체신호를 미리 설정된 시간 동안 획득하는 생체신호 획득부; 및
상기 제1 생체신호와 상기 제2 생체신호를 각각 분석하여 제1 특징 및 제2 특징을 추출하고, 상기 제1 특징 및 상기 제2 특징에 기초하여 상기 사용자의 심리상태를 판단하는 심리상태 판단부를 포함하되,
상기 제1 생체신호와 상기 제2 생체신호는 각각 서로 상이한 바이오 센서로부터 측정되는 자율 신경의 변화를 나타내는 상이한 생체신호인, 생체 신호를 이용한 사용자의 심리상태 판단 장치. - 제 1 항에 있어서,
상기 제1 특징과 상기 제2 특징은 각각 상기 심리상태 판단을 위한 제1 기준과 제2 기준에 연관되는, 생체 신호를 이용한 사용자의 심리상태 판단 장치. - 제 2 항에 있어서,
상기 제1 생체신호가 심전도 센서에 의해 측정된 심전도 신호인 경우, 상기 제1 특징은 감정의 유인가(valence) 및 각성도(arousal) 중 적어도 하나에 연관되고,
상기 제2 생체신호가 피부전도 센서에 의해 측정된 피부전도 신호인 경우, 상기 제2 특징은 감정의 각성도에 연관되는, 생체 신호를 이용한 사용자의 심리상태 판단 장치. - 제 3 항에 있어서,
상기 심전도 신호는 맥파(PPG) 신호이고, 상기 피부전도 신호는 전기피부반사(GSR) 신호인 것을 특징으로 하는, 생체 신호를 이용한 사용자의 심리상태 판단 장치. - 제 1 항에 있어서,
상기 판단된 사용자의 심리상태에 기초하여 상기 사용자에게 제공되는 제2 자극의 종류 및 레벨을 결정하는 자극 결정부를 더 포함하는, 생체 신호를 이용한 사용자의 심리상태 판단 장치. - 제 5 항에 있어서,
상기 제1 자극은 변별학습이론(DTT)에 따른 상호작용 훈련을 상기 사용자에게 제공하기 위한 제1 전제 자극이고,
상기 제2 자극은 제1 전제 자극에 대한 상기 사용자의 반응에 대응하는 후속 자극 또는 상기 제1 전제 자극의 다음 전제 자극인 제2 전제 자극인, 생체 신호를 이용한 사용자의 심리상태 판단 장치. - 제 5 항에 있어서,
상기 제1 자극과 상기 제2 자극은 로봇에 의해 제공되는 로보틱 자극인, 생체 신호를 이용한 사용자의 심리상태 판단 장치. - 제 1 항에 있어서,
상기 측정된 제1 생체신호와 제2 생체신호에 대한 정보, 및 상기 측정된 제1 생체신호와 제2 생체신호로부터 판단된 상기 사용자의 심리상태에 대한 정보를 사용자 별로 저장하는 데이터베이스를 더 포함하는, 생체 신호를 이용한 사용자의 심리상태 판단 장치. - 제1 자극에 의해 발생된, 사용자의 제1 생체신호와 제2 생체신호를 미리 설정된 시간 동안 획득하는 단계; 및
상기 제1 생체신호와 상기 제2 생체신호를 각각 분석하여 제1 특징 및 제2 특징을 추출하고, 상기 제1 특징 및 상기 제2 특징에 기초하여 상기 사용자의 심리상태를 판단하는 단계를 포함하되,
상기 제1 생체신호와 상기 제2 생체신호는 각각 서로 상이한 바이오 센서로부터 측정되는 자율 신경의 변화를 나타내는 상이한 생체신호인, 생체 신호를 이용한 사용자의 심리상태 판단 방법. - 제 9 항에 있어서,
상기 제1 특징과 상기 제2 특징은 각각 상기 심리상태 판단을 위한 제1 기준과 제2 기준에 연관되는, 생체 신호를 이용한 사용자의 심리상태 판단 방법. - 제 10 항에 있어서,
상기 제1 생체신호가 심전도 센서에 의해 측정된 심전도 신호인 경우, 상기 제1 특징은 감정의 유인가(valence) 및 각성도(arousal) 중 적어도 하나에 연관되고,
상기 제2 생체신호가 피부전도 센서에 의해 측정된 피부전도 신호인 경우, 상기 제2 특징은 감정의 각성도에 연관되는, 생체 신호를 이용한 사용자의 심리상태 판단 방법. - 제 11 항에 있어서,
상기 심전도 신호는 맥파(PPG) 신호이고, 상기 피부전도 신호는 전기피부반사(GSR) 신호인 것을 특징으로 하는, 생체 신호를 이용한 사용자의 심리상태 판단 방법. - 제 9 항에 있어서,
상기 판단된 사용자의 심리상태에 기초하여 상기 사용자에게 제공되는 제2 자극의 종류 및 레벨을 결정하는 단계를 더 포함하는, 생체 신호를 이용한 사용자의 심리상태 판단 방법. - 제 13 항에 있어서,
상기 제1 자극은 변별학습이론(DTT)에 따른 상호작용 훈련을 상기 사용자에게 제공하기 위한 제1 전제 자극이고,
상기 제2 자극은 제1 전제 자극에 대한 상기 사용자의 반응에 대응하는 후속 자극 또는 상기 제1 전제 자극의 다음 전제 자극인 제2 전제 자극인, 생체 신호를 이용한 사용자의 심리상태 판단 방법. - 제 14 항에 있어서,
상기 제1 자극과 상기 제2 자극은 로봇에 의해 제공되는 로보틱 자극인, 생체 신호를 이용한 사용자의 심리상태 판단 방법. - 제 9 항에 있어서,
상기 측정된 제1 생체신호와 제2 생체신호에 대한 정보, 및 상기 측정된 제1 생체신호와 제2 생체신호로부터 판단된 상기 사용자의 심리상태에 대한 정보를 사용자 별로 저장하는 단계를 더 포함하는, 생체 신호를 이용한 사용자의 심리상태 판단 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150002757A KR101727940B1 (ko) | 2015-01-08 | 2015-01-08 | 생체신호를 이용한 심리상태 판단 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150002757A KR101727940B1 (ko) | 2015-01-08 | 2015-01-08 | 생체신호를 이용한 심리상태 판단 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160085577A true KR20160085577A (ko) | 2016-07-18 |
| KR101727940B1 KR101727940B1 (ko) | 2017-04-18 |
Family
ID=56679646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150002757A KR101727940B1 (ko) | 2015-01-08 | 2015-01-08 | 생체신호를 이용한 심리상태 판단 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101727940B1 (ko) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106691430A (zh) * | 2016-12-21 | 2017-05-24 | 深圳欧德蒙科技有限公司 | 一种情绪判断方法和装置 |
| WO2019031869A1 (en) * | 2017-08-10 | 2019-02-14 | Ewha University - Industry Collaboration Foundation | METHOD OF DETERMINING LEARNING SITUATION, AND APPARATUS IMPLEMENTING THE METHOD |
| KR20190017221A (ko) * | 2017-08-10 | 2019-02-20 | 이화여자대학교 산학협력단 | 생리 데이터를 이용한 학습 수준 판단 방법 및 장치 |
| KR20190021752A (ko) * | 2017-08-23 | 2019-03-06 | 이화여자대학교 산학협력단 | 사전 지식 및 생리 심리 반응을 이용한 인지 부하 판단 방법 및 인지 부하 판단 장치 |
| KR20200007162A (ko) * | 2018-07-12 | 2020-01-22 | 한양대학교 산학협력단 | 근전도 신호를 이용하는 감정 인식 방법 및 장치 |
| KR20200028521A (ko) * | 2018-09-06 | 2020-03-17 | 주식회사 아이앤나 | 아기 주변 영역을 이용한 아기의 감정 상태 증강 방법 |
| KR102122976B1 (ko) * | 2019-11-06 | 2020-06-16 | 국방과학연구소 | 조종사 정신적 과부하 상태 검출 장치 및 그 방법 |
| KR20200117582A (ko) * | 2019-04-05 | 2020-10-14 | 한국과학기술원 | 생리학적 데이터와 시뮬레이션 데이터를 이용한 멀티태스크를 수행하는 사용자의 인지 부하 측정 방법 및 장치 |
| WO2021053632A1 (fr) | 2019-09-20 | 2021-03-25 | Ovomind K.K. | Système de détermination d'une émotion d'un utilisateur |
| FR3114232A1 (fr) * | 2020-09-23 | 2022-03-25 | Ovomind K.K | Equipement électrodermal |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010010023A (ko) | 1999-07-15 | 2001-02-05 | 윤종용 | 디지탈 영상기기를 위한 클럭공급장치 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5241598B2 (ja) * | 2009-05-14 | 2013-07-17 | パナソニック株式会社 | 心理状態評価装置 |
| KR101307248B1 (ko) * | 2010-10-19 | 2013-09-12 | 주식회사 라이프사이언스테크놀로지 | 사용자의 생체정보 분석을 통한 감정상태 분석장치 및 방법 |
-
2015
- 2015-01-08 KR KR1020150002757A patent/KR101727940B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010010023A (ko) | 1999-07-15 | 2001-02-05 | 윤종용 | 디지탈 영상기기를 위한 클럭공급장치 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106691430A (zh) * | 2016-12-21 | 2017-05-24 | 深圳欧德蒙科技有限公司 | 一种情绪判断方法和装置 |
| CN106691430B (zh) * | 2016-12-21 | 2019-10-11 | 深圳欧德蒙科技有限公司 | 一种情绪判断方法和装置 |
| WO2019031869A1 (en) * | 2017-08-10 | 2019-02-14 | Ewha University - Industry Collaboration Foundation | METHOD OF DETERMINING LEARNING SITUATION, AND APPARATUS IMPLEMENTING THE METHOD |
| KR20190017221A (ko) * | 2017-08-10 | 2019-02-20 | 이화여자대학교 산학협력단 | 생리 데이터를 이용한 학습 수준 판단 방법 및 장치 |
| KR20190021752A (ko) * | 2017-08-23 | 2019-03-06 | 이화여자대학교 산학협력단 | 사전 지식 및 생리 심리 반응을 이용한 인지 부하 판단 방법 및 인지 부하 판단 장치 |
| KR20200007162A (ko) * | 2018-07-12 | 2020-01-22 | 한양대학교 산학협력단 | 근전도 신호를 이용하는 감정 인식 방법 및 장치 |
| KR20200028521A (ko) * | 2018-09-06 | 2020-03-17 | 주식회사 아이앤나 | 아기 주변 영역을 이용한 아기의 감정 상태 증강 방법 |
| KR20200117582A (ko) * | 2019-04-05 | 2020-10-14 | 한국과학기술원 | 생리학적 데이터와 시뮬레이션 데이터를 이용한 멀티태스크를 수행하는 사용자의 인지 부하 측정 방법 및 장치 |
| WO2021053632A1 (fr) | 2019-09-20 | 2021-03-25 | Ovomind K.K. | Système de détermination d'une émotion d'un utilisateur |
| FR3100972A1 (fr) * | 2019-09-20 | 2021-03-26 | Ovomind K.K. | Système de détermination d’une émotion d’un utilisateur |
| KR102122976B1 (ko) * | 2019-11-06 | 2020-06-16 | 국방과학연구소 | 조종사 정신적 과부하 상태 검출 장치 및 그 방법 |
| FR3114232A1 (fr) * | 2020-09-23 | 2022-03-25 | Ovomind K.K | Equipement électrodermal |
| WO2022064425A1 (fr) | 2020-09-23 | 2022-03-31 | Ovomind K.K | Équipement électrodermal |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101727940B1 (ko) | 2017-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101727940B1 (ko) | 생체신호를 이용한 심리상태 판단 장치 및 방법 | |
| Giannakakis et al. | Review on psychological stress detection using biosignals | |
| Schmidt et al. | Introducing wesad, a multimodal dataset for wearable stress and affect detection | |
| Balters et al. | Capturing emotion reactivity through physiology measurement as a foundation for affective engineering in engineering design science and engineering practices | |
| Blascovich et al. | Social psychophysiology for social and personality psychology | |
| Masood et al. | Modeling mental stress using a deep learning framework | |
| Agrafioti et al. | ECG pattern analysis for emotion detection | |
| Greco et al. | Advances in Electrodermal activity processing with applications for mental health | |
| Villon et al. | A user-modeling approach to build user's psycho-physiological maps of emotions using bio-sensors | |
| Schmidt | Biosignals in human-computer interaction | |
| Arsalan et al. | Mental stress detection using data from wearable and non-wearable sensors: a review | |
| Al-Shargie | Early detection of mental stress using advanced neuroimaging and artificial intelligence | |
| Handouzi et al. | Objective model assessment for short-term anxiety recognition from blood volume pulse signal | |
| JP2012529286A (ja) | 生物の条件付け | |
| Zhang et al. | Touch sense: Touch screen based mental stress sense | |
| Rojo et al. | Through your skin to your heart and brain: A critical evaluation of physiological methods in Cognitive Translation and Interpreting Studies | |
| Ramírez et al. | Assessment of emotional states through physiological signals and its application in music therapy for disabled people | |
| Moharreri et al. | Modeling the 2D space of emotions based on the poincare plot of heart rate variability signal | |
| Villar et al. | Influence on the user's emotional state of the graphic complexity level in virtual therapies based on a robot-assisted neuro-rehabilitation platform | |
| Handouzi et al. | Short-term anxiety recognition from blood volume pulse signal | |
| Blain et al. | Peripheral autonomic signals as access pathways for individuals with severe disabilities: a literature appraisal | |
| CN113614751A (zh) | 脑电图信号的识别和提取 | |
| Chu et al. | Physiological signals based quantitative evaluation method of the pain | |
| Smith | Electroencephalograph based brain computer interfaces | |
| Yiu et al. | Fatigue-Related change in surface electromyographic activities of the perilaryngeal muscles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |