KR20160133043A - 생체신호 기반의 심리 인지 장치 - Google Patents

생체신호 기반의 심리 인지 장치 Download PDF

Info

Publication number
KR20160133043A
KR20160133043A KR1020150065296A KR20150065296A KR20160133043A KR 20160133043 A KR20160133043 A KR 20160133043A KR 1020150065296 A KR1020150065296 A KR 1020150065296A KR 20150065296 A KR20150065296 A KR 20150065296A KR 20160133043 A KR20160133043 A KR 20160133043A
Authority
KR
South Korea
Prior art keywords
signal
bio
user
biometric
model
Prior art date
Application number
KR1020150065296A
Other languages
English (en)
Inventor
엄남경
신현순
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150065296A priority Critical patent/KR20160133043A/ko
Publication of KR20160133043A publication Critical patent/KR20160133043A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0024—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system for multiple sensor units attached to the patient, e.g. using a body or personal area network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/0402—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Dermatology (AREA)
  • Psychiatry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 생체신호 기반의 심리 인지 장치에 관한 것으로서, 본 발명의 실시예에 따른 심리 인지 장치는 사용자의 심전도(Electrocardiography, ECG), 피부 전기 반사(Galvanic Skin Reflex, GSR), 피부 온도(Skin Temperature, SKT) 중 적어도 하나를 측정하는 생체신호 센싱 디바이스로부터 상기 사용자의 생체 신호를 수신하는 신호 수신부, 수신된 상기 사용자의 생체신호를 이용하여 생체 모델 생성을 위한 특징 파라미터를 계산하여 생체 모델 생성용 학습 정보를 생성하는 특징 생성부, 상기 생체 모델 생성용 학습 정보를 이용하여 생체 모델을 생성하는 심리 학습부, 및 상기 사용자의 현재 생체신호와 상기 생체 모델을 이용하여 상기 사용자의 심리 상태를 인지하는 심리 인지부를 포함한다.

Description

생체신호 기반의 심리 인지 장치{Device for recognizing the emotion based on the bio-informatics}
본 발명은 심리를 인지하는 기술에 관한 것으로, 특히 사용자의 생체신호를 기반으로 심리를 인지하는 장치에 관한 것이다.
일상에서 사람들은 빠르거나 느린 심장 박동, 온 몸에서 땀이 나거나 체온이 높아지는 신체적 변화를 경험하게 된다. 이러한 신체적 변화는 심장근육, 민무늬근, 또는 외분비선을 조절하는 교감신경과 부교감 신경으로 구성된 자율신경계에 의해 조절이 된다. 이때, 자율신경계는 일반적인 상황(평상 시) 또는 위급한 상황과 같이 다양한 상황에 따라, 사람(사용자)의 몸의 안정된 상황을 유지할 수 있도록 교감신경과 부교감신경의 균형을 조정하며 항상성을 유지하고자 한다.
오늘날, 이러한 자율신경계의 생체신호를 이용하여 감성을 인지하고자 하는 기술들이 제시되고 있다. 예컨대, 사용자의 생체신호를 이용하여 위급, 불안, 위험, 공포 등과 같은 부정적인(네거티브, negative) 사용자의 심리를 인지할 수 있다. 하지만, 현재 생체신호를 이용하여 사용자의 네거티브 심리(감성)를 인식하기 위한 명확한 심리 인식 기술이 개발되지 못한 상황이다.
본 발명의 목적은 사용자의 생체신호를 기반으로 사용자의 네거티브 심리를 인식하여 사용자의 위험 및 위급한 상황을 감지하는 심리 인지 장치를 제공함에 있다.
전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 생체신호 기반의 심리 인지 장치는 사용자의 심전도(Electrocardiography, ECG), 피부 전기 반사(Galvanic Skin Reflex, GSR), 피부 온도(Skin Temperature, SKT) 중 적어도 하나를 측정하는 생체신호 센싱 디바이스로부터 상기 사용자의 생체 신호를 수신하는 신호 수신부, 수신된 상기 사용자의 생체신호를 이용하여 생체 모델 생성을 위한 특징 파라미터를 계산하여 생체 모델 생성용 학습 정보를 생성하는 특징 생성부, 상기 생체 모델 생성용 학습 정보를 이용하여 생체 모델을 생성하는 심리 학습부, 및 상기 사용자의 현재 생체신호와 상기 생체 모델을 이용하여 상기 사용자의 심리 상태를 인지하는 심리 인지부를 포함한다.
본 발명의 실시예에 따르면, 사용자의 신체에 부착된 생체신호 센싱디바이스로부터 수신된 자율신경계의 생체신호를 수신받아 현재 사용자의 네거티브 심리를 인지함으로써, 사용자에게 위급상황이 발생하였을 시에 사용자의 네거티브 심리를 사전에 인지함으로써 위험사고를 미연에 방지하고 대책화할 수 있다.
또한, 본 발명의 실시예에 따르면 네거티브 심리를 파악하기 위한 생체신호를 미리 수집하고 분석하여 모델링 함으로써, 학습모델을 이용하여 사용자의 네거티브 심리를 인지할 수 있다.
도 1은 본 발명의 실시예에 따른 생체신호 기반 심리 인지 장치 블록도.
도 2는 본 발명의 실시예에 따른 생체신호 기반 사용자의 네거티브 심리를 인지하는 방법 흐름도.
도 3은 본 발명의 실시예에 따라 심전도(ECG) 신호가 처리되는 과정을 설명하기 위한 도면.
도 4는 본 발명의 실시예에 따른 생체 모델용 학습 정보를 생성하는 과정을 설명하기 위한 도면.
도 5는 본 발명의 실시예에 따른 생체 모델 생성 과정을 설명하기 위한 도면.
도 6은 본 발명의 실시예에 따른 생체신호를 기반으로 사용자의 네거티브 심리를 인지하는 방법 흐름도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고, 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 생체신호 기반 심리 인지 장치 블록도이다. 도 1에 도시된 바와 같이, 심리 인지 장치(100)는 신호 수신부(110), 신호 처리부(120), 특징 생성부(130), 심리 학습부(140) 및 심리 인지부(150)를 포함한다.
신호 수신부(110)는 사용자의 생체신호를 센싱하는 생체신호 센싱 디바이스(200)로부터 자율신경계의 신호에 해당되는 생체신호를 수신한다. 이때, 생체신호 센싱 디바이스(200)는 사용자의 신체의 소정 위치에 부착된 심전도(Electrocardiography, ECG) 검사 장치, 피부 전기 반사(Galvanic Skin Reflex, GSR) 검사 장치, 피부 온도(Skin Temperature, SKT) 측정 장치 등일 수 있다.
신호 처리부(120)는 생체신호에 대해 노이즈 제거 등과 같은 신호 처리 동작을 수행하고 그에 대한 생체 정보를 생성한다. 이때, 신호 처리부(120)는 자율신경계의 각 신호(EGC, GSR, SKT) 별로 서로 다른 처리 절차를 수행할 수 있으며, 서로 다른 처리 절차를 통해 추출되는 정보를 취합하여 생체 정보로 생성할 수 있다.
특징 생성부(130)는 신호 처리부(120)에 의해 생성된 생체 정보를 이용하여 네거티브 심리 인지를 위한 모델링을 수행하여 생체 모델 생성용 학습 정보를 생성한다. 예컨대, 특징 생성부(130)는 신호 처리부(120)에서 생성된 생체정보 파일을 이용하여 생체 모델 생성을 위한 특징 파라미터를 계산하며, 계산 결과에 따라 생체 모델 생성용 학습 정보를 생성한다.
심리 학습부(140)는 특징 생성부(130)로부터 수신되는 생체 모델 생성용 학습 정보를 이용하여 생체 모델을 생성한다. 이때 생성된 생체 모델은 네거티브 심리에 대한 생체 모델이며, 별도의 메모리에 저장될 수 있다. 이렇게 저장된 생체 모델은 이후 사용자의 네거티브 심리를 인지할 시 이용될 수 있다.
심리 인지부(150)는 사용자의 생체신호가 수신될 시, 심리 학습부(140)에 의해 기생성된 생체 모델을 이용하여, 사용자의 현재 심리(감정) 상태를 인지한다. 이때, 심리 인지부(150)은 심리 학습부(140)에 의해 기생성된 생체 모델을 이용하여 사용자의 현재 심리 상태가 네거티브 심리 상태인지를 확인할 수 있다. 이때, 사용자의 현재 심리 상태가 네거티브 심리인 것으로 인지되면, 심리 인지부(150)는 사용자의 현재 심리 상태가 네거티브 심리임을 알리는 알림 정보를 출력한다.
이하, 본 발명의 실시예에 따른 생체신호 기반 심리 인지 장치(100)의 각 구성의 동작에 대해 구체적으로 설명한다.
신호 수신부(110)는 사용자의 생체신호를 센싱하는 생체신호 센싱 디바이스(200)로부터 자율신경계의 신호에 해당되는 생체신호를 수신한다. 신호 수신부(110)는 생체신호 센싱 디바이스(200)로부터 심전도(ECG) 신호, 피부 전기 반사(GSR) 신호, 피부 온도(SKT) 신호 등을 포함하는 생체신호를 수신할 수 있다. 이때, 신호 수신부(110)는 유선 통신 또는 무선 통신을 통해 생체신호 센싱 디바이스(200)로부터 생체신호를 수신할 수 있다.
이때, 신호 수신부(110)는 사용자의 심리 인지를 위한 생체 모델을 생성하기 위해, 사용자의 심리 상태가 위험, 불안, 공포 등과 같은 네거티브(negative)한 감정 상태일 때의 생체신호를 수신할 수 있다. 또한, 신호 수신부(110)는 사용자의 현재 심리를 인지하기 위해 사용자의 현재 생체신호를 수신할 수 있다.
신호 수신부(110)는 생체신호 센싱 디바이스로부터 심전도(ECG) 신호, 피부 전기 반사(GSR) 신호, 피부 온도(SKT) 신호 등을 포함하는 생체신호를 수신할 수 있다. 이때, 신호 수신부(110)는 유선 통신 또는 무선 통신을 통해 생체신호 센싱 디바이스로부터 생체신호를 수신할 수 있다.
신호 처리부(120)는 생체신호에 대해 노이즈 제거 등과 같은 신호 처리 동작을 수행하고 특징 파라미터를 추출한다. 이때, 추출되는 특징 파라미터는 경우에 따라 생체 모델 생성용 학습 정보를 생성하기 위해 수신되는 생체신호를 처리하거나, 사용자의 현재 심리 상태를 인지하기 해 추출될 수 있다.
사용자의 심리 인지를 위한 생체 모델을 생성하기 위한 경우, 신호 처리부(120)는 신호 수신부(110)를 통해 사용자의 네거티브 심리 상태를 나타내는 생체신호를 별도로 수신할 수 있다. 만약, 사용자의 현재 심리 상태를 인지하기 위한 경우, 신호 처리부(120)는 신호 수신부(110)를 통해 사용자의 현재 생체신호를 수신할 수 있다.
신호 처리부(120)는 자율신경계의 각 신호(EGC, GSR, SKT) 별로 서로 다른 처리 절차를 수행할 수 있다.
EGC 신호를 처리 시, 신호 처리부(120)는 신호 수신부(110)로부터 수신되는 ECG 신호의 QRS를 감지한다. 이때, QRS는 EGC 신호에서 심실을 탈분극을 나타내는 파형으로, Q파(-)→R파(+)→S파(-)의 급격한 파형변화가 나타나는 구간을 말한다.
신호 처리부(120)는 감지된 QRS을 이용하여 EGC 신호에서 RR 간격(RR-Interval)을 추출한다. 여기서, RR-Interval은 EGC 신호의 R파의 피크값(R-Peak) 간의 간격으로써, 심장 박동을 나타낸다.
이후, 신호 처리부(120)는 ECG 신호를 주파수 대역의 반응과 시간 영역 반응으로 나누어 추출할 수 있다.
ECG 신호에 대한 주파수 대역의 반응을 추출할 시, 신호 처리부(120)는 EGC 신호를 고속 푸리에 변환(Fast Fourier Transform, FFT)과, 주파수에 대한 스펙트럼의 변화율을 나타내는 파워 스펙트럼 밀도(Power Spectral Density, PSD)를 분석하여, EGC 신호에 대한 주파수 대역의 반응을 추출할 수 있다. 이때, 주파수 대역의 반응은 초장파(Very Low Frequency, VLF), 장파(Low Frequency, LF), 중파 (Medium Frequency, MF), 단파(High Frequency, HF)로 나뉠 수 있다.
ECG 신호에 대한 주파수 대역의 반응 각각은 표 1에 예시된 바와 같이 실수로 표현되는 플로우트 타입(Float Type)으로 생체정보 파일에 저장될 수 있다.
Name Type Size Description
vlf Float 4byte VLF(0.003~0.01Hz) -단위 : sec2/Hz
lf Float 4byte LF(0.01~0.08Hz) - 단위 : sec2/Hz
mf Float 4byte VLF(0.08~0.15Hz) - 단위 : sec2/Hz
hf Float 4byte VLF(0.15~0.4Hz) - 단위 : sec2/Hz
rrintervalmean Float 4byte RR Interval의 평균값
rrintervalstdev Float 4byte RR Interval의 표준편차
GSR Float 4byte GSR의 평균
SKT Float 4byte SKT의 평균
EGC 신호에 대한 시간 영역의 반응을 추출 시, 신호 처리부(120)는 RR-Interval 추출 과정을 통해 추출할 수 있다. 이때, 추출되는 시간 영역의 반응은 R-Peak의 파워(Power)값과, RR-Interval의 평균치(rrintervalmean) 및 표준편차(rrintervalstdev) 등으로 나뉠 수 있다. 또한, 추출된 시간 영역의 반응 각각은 표 1에 예시된 바와 같이 4byte의 플로우트 타입으로 생체정보 파일에 저장될 수 있다.
이와 같은 과정을 통해, 신호 처리부(120)는 EGC 신호를 주파수 대역의 반응과 시간 영역의 반응으로 나누어 추출할 수 있다.
또한, 신호 처리부(120)는 신호 수신부(110)로부터 수신되는 GSR 신호 및 SKT 신호 각각의 평균치를 표 1에 예시된 바와 같이 4byte의 플로우트 타입으로 생체정보 파일에 저장할 수 있다.
이와 같은 과정을 통해 생성된 생체정보 파일은 csv(Comma-Separated Values)의 확장자를 갖는 파일일 수 있으며, 상황별로 수신되는 다수의 생체신호에 따라 다수의 생체정보 파일(A1.csv 내지 AN.csv)이 생성되어 별도의 메모리에 저장될 수 있다.
특징 생성부(130)는 신호 처리부(120)에 의해 생성된 생체 정보를 이용하여 네거티브 심리 인지를 위한 모델링을 수행하여 생체 모델 생성용 학습 정보를 생성한다.
구체적으로, 특징 생성부(130)는 신호 처리부(120)에서 생성된 생체정보 파일의 데이터 전처리 과정을 수행한다. 이때, 특징 생성부(130)는 별도의 메모리로부터 생체정보 파일을 수신할 수 있으며, 수신된 생체 정보에 대한 스케일, 필터링, 정규화 등의 데이터 전처리 과정을 수행한다.
예컨대, 특징 생성부(130)는 생체 정보에 포함된 ECG 신호에 대한 주파수 대역의 반응 정보와 시간 영역의 반응 정보를 이용하여 주파수 대역의 값들인 VLF, LF, MF, HF 대역의 값들을 합산하고, 이에 대한 파워 섬(PowerSum)을 추출한다. 이때 총 합산값(PowerSum)에서의 각 주파수 대역의 값들의 비율은 vlfpower, lfpower, mfpower, hfpower를 가진다.
특징 생성부(130)는 추출된 각 값들의 의미를 이용하여 모델 생성을 위한 특징 파라미터를 계산한다. 이때, 특징 생성부(130)에서 모델 생성을 위한 특징 파라미터를 추출하기 위해 이용하는 계산식은 수학식 1과 같이 정의될 수 있다.
Figure pat00001
여기서, Y는 네거티브 심리 인지를 위한 감정 클래스로서, 네거티브1, 네거티브2 등으로 표현될 수 있다. x1 내지 x5는 주파수 (도메인) 영역에 대한 특징 파라미터로서, 각각은 다음과 같은 수 있다.
예컨대, x1는 lf 또는 lfp로서, lf값 또는 lf대역의 값을 모든 대역의 값을 합산한 값(powerall)으로 나눈 것(lfp=lf/powerall)이다. x2는 mf 또는 mfp로서, mf값 또는 mf대역의 값을 모든 대역의 값을 합산한 값(powerall)으로 나눈 것(mfp=mf/powerall)이다. x3은 hf 또는 hfp로서, hf값 또는 hf대역의 값을 모든 대역의 값을 합산한 값(powerall)으로 나눈 것(hfp=hf/powerall)이다. x4는 hf2로서 lf 값과 mf의 합을 hf 값으로 나눈 값((lf+mf) / hf)이며, x5는 mf2로서 mf 값을 lf값과 mf값과 hf값들의 합으로 나눈 것(mf / (lf+mf+hf))이다.
x6 및 x7는 시간 (도메인) 영역에 대한 특징 파라미터로서, x6는 RR-Interval의 평균치(rrintervalmean), x7는 RR-Interval의 표준편차 (rrintervalstdev)이다. 또한, x8는 GSR의 특징 파라미터이며, x9는 SKT의 특징 파라미터이다. 이러한 값들(x1 내지 x9)은 특징값들의 성격에 따라 달라질 수 있다.
특징 생성부(130)는 이와 같은 과정을 통해 계산된 결과에 따라 생체 모델 생성용 학습 정보를 생성한다. 이때, 생성된 생체 모델 생성용 학습 정보는 raw의 확장자를 갖는 파일일 수 있으며, 생체 모델 생성용 학습 정보(emotion. raw)는 별도의 메모리에 저장될 수 있다. 또한, 신호 처리부(120)에서 생성된 생체정보 파일(A1.csv 내지 AN.csv)별로 다수의 생체 모델 생성용 학습 정보(emotion_A1. raw 내지 emotion_AN. raw)가 생성될 수 있다.
심리 학습부(140)는 특징 생성부(130)로부터 수신되는 생체 모델 생성용 학습 정보를 이용하여 생체 모델을 생성한다. 구체적으로, 심리 학습부(140)는 특징 생성부(130)에 의해 생성된 생체 모델 생성용 학습 정보(emotion. raw)의 데이터 전처리 과정을 수행한다. 이때, 심리 학습부(140)는 별도의 메모리로부터 다수의 생체 모델 생성용 학습 정보(emotion_A1. raw 내지 emotion_AN. raw)를 수신할 수 있으며, 수신된 다수의 생체 모델 생성용 학습 정보 각각을 스케일, 필터링, 정규화 중 적어도 하나를 수행하여 데이터 전처리할 수 있다.
심리 학습부(140)는 전처리된 생체 모델 생성용 학습 정보에서 특징값을 추출한다. 이때, 심리 학습부(140)는 전처리된 다수의 생체 모델 생성용 학습 정보 각각에서 특징값을 추출할 수 잇다. 여기서, 특징값은 상기 특징 생성부(130)에서 추출된 특징값(x1 내지 x9)과 같을 수 있다.
심리 학습부(140)는 추출된 특징값을 이용하여 생체신호를 학습하여 생체 모델을 생성한다. 이때, 심리 학습부(140)는 다수의 생체 모델 생성용 학습 정보 각각에서 추출된 특징값을 이용하여 생체신호를 학습할 수 있다.
예컨대, 심리 학습부(140)는 서포트 벡터 머신(Support Vector Machine, SVM)과 같은 기계학습(machine learning) 알고리즘을 통해 생체신호를 학습할 수 있다. 여기서 SVM이란 주어진 데이터에서 자료를 분리하는 초평면(분류경계) 중 데이터들과 가장 거리가 먼(마진이 최대가 되는) 초평면을 찾는 방법이다.
심리 학습부(140)는 생체 학습(예컨대, SVM Train)의 결과를 이용하여 생체 모델을 생성한다. 이때, 생성되는 생체 모델은 model의 확장자를 갖는 파일일 수 있으며, 생성된 생체 모델(emotion.model)은 별도의 메모리에 저장될 수 있다.
심리 학습부(140)는 다수의 생체 모델 생성용 학습 정보 각각에 대응하여 다수의 생체 모델을 생성할 수 있다. 또는, 다수의 생체 모델 생성용 학습 정보의 생체 학습 결과를 취합하여 하나의 생체 모델을 생성할 수 있다.
심리 인지부(150)는 사용자의 생체신호가 수신될 시, 심리 학습부(140)에 의해 기생성된 생체 모델을 이용하여, 사용자의 현재 심리(감정) 상태를 인지한다. 구체적으로, 신호 수신부(110)를 통해 사용자의 현재 상태가 센싱된 현재 생체신호가 수신되어 신호 처리부(120)에 의해 현재 생체신호에 대한 생체 정보 파일이 생성되면, 현재 생체신호에 대한 특징 파라미터를 계산한다. 이때, 심리 인지부(150)는 특징 생성부(130)에서 이용된 수학식 1의 계산식을 이용하여 현재 생체신호에 대한 특징 파라미터를 계산할 수 있다.
심리 인지부(150)는 기생성되어 저장된 생체 모델을 별도의 메모리에 요청하며, 그에 대응한 응답으로 생체 모델을 수신할 수 있다. 심리 인지부(150)는 생체 모델을 이용하여 사용자의 현재 심리 상태를 인지하는 과정을 수행한다. 이때, 심리 인지부(150)는 현재 생체신호에 대한 특징 파라미터와 생체 모델을 SVM 알고리즘에 적용하여 사용자의 현재 심리 상태를 인지(SVM_Predict)하는 과정을 수행할 수 있다.
만약, 사용자의 현재 심리 상태가 네거티브 심리인 것으로 인지되면, 심리 인지부(150)는 사용자의 현재 심리 상태가 네거티브 심리임을 알리는 알림 정보를 출력한다. 이때, 심리 인지부(150)는 현재 사용자가 네거티브 심리 상태인 경우, 경고음 또는 경고 화면과 같은 알림 정보를 출력할 수 있다.
덧붙여, 네거티브 심리임을 나타내는 사용자의 현재 생체신호는 신호 처리부(120) 및 심리 학습부(140)에 의해 처리되어 생체 모델을 생성하는 데에 이용될 수 있다.
이와 같이 본 발명의 실시예에 따르면, 사용자의 신체에 부착된 생체신호 센싱 디바이스로부터 수신된 자율신경계의 생체신호를 수신받아 현재 사용자의 네거티브 심리를 인지하기 위한 방법으로써, 사용자에게 위급상황이 발생하였을 시에 사용자의 네거티브 심리를 사전에 인지함으로써 위험사고를 미연에 방지하고 대책화할 수 있다. 또한, 본 발명의 실시예에 따르면 네거티브 심리를 파악하기 위한 생체신호를 미리 수집하고 분석하여 모델링 함으로써, 학습모델을 이용하여 사용자의 네거티브 심리를 인지할 수 있다.
도 2는 본 발명의 실시예에 따른 생체신호 기반 네거티브 심리 인지를 위한 생체 모델 생성 방법 흐름도이다.
사용자의 생체신호를 센싱하는 생체신호 센싱 디바이스(200)로부터 자율신경계의 신호에 해당되는 생체신호를 수신한다(S210). 이때, 생체신호 센싱 디바이스(200)는 심전도(Electrocardiography, ECG) 검사 장치, 피부 전기 반사(Galvanic Skin Reflex, GSR) 검사 장치, 피부 온도(Skin Temperature, SKT) 측정 장치 등일 수 있다. 이에 따라, 생체신호 센싱 디바이스(200)로부터 심전도(ECG) 신호, 피부 전기 반사(GSR) 신호, 피부 온도(SKT) 신호 등을 포함하는 생체신호를 수신할 수 있다.
단계 S210에서 수신된 생체신호에 대한 신호 처리 동작을 수행하여 생체 정보를 생성한다(S220). 이때, 수신된 생체신호에 대한 자율신경계의 각 신호(EGC, GSR, SKT) 별로 서로 다른 처리 절차가 수행될 수 있다.
예컨대, 생체신호 중 심전도(EGC) 신호는 주파수 대역의 반응과 시간 영역의 반응으로 나뉘어 추출될 수 있다. 이에 대해서는, 이후의 도 3을 참조하여 구체적으로 설명한다
이와 같이 주파수 대역의 반응과 시간 영역의 반응으로 나뉘어 추출된 EGC 신호와 함께, 단계 S210에서 수신된 GSR 신호 및 SKT 신호 각각은 생체정보 파일에 저장될 수 있다. 이때, 생성되는 생체 정보 파일에는 추출된 ECG 신호에 대한 주파수 대역의 반응 및 시간 영역의 반응 각각과 GSR 신호 및 SKT 신호 각각의 평균치가 표 1에 예시된 바와 같이 4byte의 플로우트 타입으로 생체정보 파일에 저장될 수 있다.
여기서, 생체정보 파일은 csv(Comma-Separated Values)의 확장자를 갖는 파일일 수 있으며, 상황 별로 수신되는 다수의 생체신호에 따라 다수의 생체정보 파일(A1.csv 내지 AN.csv)이 생성되어 별도의 메모리에 저장될 수 있다.
단계 S220에서 생성된 생체 정보를 이용하여 모델 생성을 위한 생체 모델 생성용 학습 정보를 생성한다(S230). 이때, 생체 정보(생체정보.csv 파일)의 주파수 대역의 반응과 시간 영역의 반응을 추출한 생체 정보를 이용하여 네거티브 심리 인지를 위한 모델링 및 생체 모델 생성용 학습 정보를 생성한다. 이러한, 생체 모델을 생성하기 위한 생체 모델용 학습 정보를 생성하는 과정에 대해서는 이후의 도 4를 참조하여 구체적으로 설명한다.
단계 S230에서 생성된 생체 모델용 학습 정보를 이용하여 생체 모델을 생성한다(S240). 이때, 생체 모델을 생성하는 과정에 대해서는 이후에 도 5를 참조하여 구체적으로 설명한다.
이와 같은 과정을 통해 생성된 생체 모델은 별도의 메모리에 축적 및 저장될 수 있으며, 이후 사용자의 현재 생체신호를 이용하여 사용자의 네거티브 심리를 인지하는데 이용된다. 이에 대해서는, 이후의 도 6을 참조하여 사용자의 네거티브 심리를 인지하는 과정을 구체적으로 설명한다.
이하, 도 3을 참조하여 단계 S220에서 ECG 신호가 처리되는 과정에 대해 구체적으로 설명한다. 도 3은 본 발명의 실시예에 따라 심전도(ECG) 신호가 처리되는 과정을 설명하기 위한 도면이다.
먼저, 단계 S210에서 수신된 생체신호에 포함된 ECG 신호의 QRS를 감지(QRS Detect)한다(S310). 이때, QRS는 EGC 신호에서 심실을 탈분극을 나타내는 파형으로, Q파(-)→R파(+)→S파(-)의 급격한 파형변화가 나타나는 구간을 말한다.
단계 S310에서 감지된 QRS을 이용하여 EGC 신호에서 RR 간격(RR-Interval)을 추출한다(S320). 여기서, RR-Interval은 EGC 신호의 R파의 피크값(R-Peak) 간의 간격으로써, 심장 박동을 나타낸다.
이후, ECG 신호는 주파수 대역의 반응과 시간 영역 반응으로 나뉘어 추출될 수 있다.
ECG 신호에 대한 주파수 대역의 반응을 추출할 시, EGC 신호는 고속 푸리에 변환(FFT)과(S330), 주파수에 대한 스펙트럼의 변화율을 나타내는 파워 스펙트럼 밀도(PSD)를 분석하여(S340), EGC 신호에 대한 주파수 대역의 반응을 추출할 수 있다(S350). 이때, 주파수 대역의 반응은 초장파(VLF), 장파(LF), 중파 (MF), 단파(HF)로 나뉠 수 있다.
또한, 단계 S320의 RR-Interval 추출 과정을 통해 EGC 신호에 대한 시간 영역의 반응을 추출할 수 있다(S360). 이때, 추출되는 시간 영역의 반응은 R-Peak의 파워값과, RR-Interval의 평균치(rrintervalmean) 및 표준편차(rrintervalstdev) 등으로 나뉠 수 있다.
이와 같은 과정을 통해, EGC 신호는 주파수 대역의 반응과 시간 영역의 반응으로 나뉘어 추출될 수 있다.
이하, 도 4를 참조하여 단계 S230에서 생체 모델용 학습 정보가 생성되는 과정에 대해 구체적으로 설명한다. 도 4는 본 발명의 실시예에 따른 생체 모델용 학습 정보를 생성하는 과정을 설명하기 위한 도면이다.
먼저, 생성된 생체 정보 파일의 데이터 전처리 과정을 수행한다(S410). 이때, 생체 정보(생체정보.csv 파일)에 대한 스케일, 필터링, 정규화 등의 데이터 전처리 과정이 수행된다.
단계 S410에서 전처리된 생체 정보를 이용하여 모델 생성을 위한 특징 파라미터를 계산한다(S420). 예컨대, 생체 정보에 포함된 ECG 신호에 대한 주파수 대역의 반응 정보와 시간 영역의 반응 정보를 이용하여 주파수 대역의 값들인 VLF, LF, MF, HF 대역의 값들을 합산하고, 이에 대한 파워 섬(PowerSum)을 추출한다. 이때 파워 섬 (PowerSum)에서의 각 주파수 대역의 값들의 비율은 vlfpower, lfpower, mfpower, hfpower를 가진다.
이와 같은 각 값들의 의미를 이용하여 모델 생성을 위한 특징 파라미터를 계산한다. 이때, 모델 생성을 위한 특징 파라미터 추출 계산식은 수학식 1과 같이 정의될 수 있다.
단계 S420의 계산된 결과에 따라 생체 모델 생성용 학습 정보를 생성한다(S430). 이때, 생성된 생체 모델 생성용 학습 정보는 raw의 확장자를 갖는 파일일 수 있으며, 생체 모델 생성용 학습 정보(emotion. raw)는 별도의 메모리에 저장될 수 있다. 이때, 다수의 생체정보 파일(A1.csv 내지 AN.csv)별로 다수의 생체 모델 생성용 학습 정보(emotion_A1. raw 내지 emotion_AN. raw)가 생성될 수 있다.
이와 같은 과정을 통해 생체 모델 생성을 위한 생체 모델 생성용 학습 정보가 생성될 수 있다.
이하, 도 5를 참조하여 단계 S240에서 생체 모델을 생성하는 과정에 대해 구체적으로 설명한다. 도 5는 본 발명의 실시예에 따른 생체 모델 생성 과정을 설명하기 위한 도면이다.
먼저, 다수의 생체 모델 생성용 학습 정보 각각에 대한 데이터 전처리 과정을 수행한다(S510). 이때, 별도의 메모리로부터 다수의 생체 모델 생성용 학습 정보(emotion_A1. raw 내지 emotion_AN. raw)를 수신한 수 있으며, 수신된 다수의 생체 모델 생성용 학습 정보 각각을 스케일, 필터링, 정규화 중 적어도 하나를 수행하여 데이터 전처리할 수 있다.
단계 S510에서 전처리된 생체 모델 생성용 학습 정보에서 특징값을 추출한다(S520). 이때, 추출되는 특징값은 수학식 1을 이용하여 추출될 수 있다.
단계 S520에서 추출된 특징값을 이용하여 생체신호를 학습한다(S530). 이때, 다수의 생체 모델 생성용 학습 정보 각각에서 추출된 특징값과 기계 학습 알고리즘을 이용하여 상체 신호를 학습할 수 있다. 예컨대, 서포트 벡터 머신(SVM)과 같은 기계학습 알고리즘을 통해 생체신호를 학습(SVM Train)할 수 있다.
단계 S530의 생체 학습의 결과를 이용하여 생체 모델을 생성한다(S540). 이때, 생성되는 생체 모델은 model의 확장자를 갖는 파일일 수 있으며, 생성된 생체 모델(emotion.model)은 별도의 메모리에 저장될 수 있다.
예컨대, 다수의 생체 모델 생성용 학습 정보 각각에 대응하여 다수의 생체 모델이 생성될 수 있으며, 또는 다수의 생체 모델 생성용 학습 정보의 생체 학습 결과가 취합되어 하나의 생체 모델이 생성될 수 있다.
이와 같은 과정을 통해 생성된 생체 모델은 이후 사용자의 네거티브 심리를 인지하는데 이용된다.
이하, 도 6을 참조하여 사용자의 네거티브 심리를 인지하는 과정에 대해 구체적으로 설명한다. 도 6은 본 발명의 실시예에 따른 생체신호를 기반으로 사용자의 네거티브 심리를 인지하는 방법 흐름도이다.
사용자의 현재 심리 상태를 나타내는 사용자의 현재 생체신호가 수신되면, 수신된 현재 생체신호에 대한 특징 파라미터를 계산한다(S610). 이때, 현재 생체신호는 스케일, 필터링, 정규화 중 적어도 하나가 수행되는 데이터 전처리 과정 및 수학식 1을 이용한 특징값 추출의 과정을 거친 후, 특징 파라미터를 계산한 수 있다. 여기서, 현재 생체신호에 대한 데이터 전처리, 특징값 추출 및 특징 파라미터를 계산하는 과정은 상기한 단계 S420와 동일한 방법으로 수행될 수 있다.
도 2와 같은 과정을 통해 사전에 생성된 생체 모델을 요청하고, 그에 대응하여 별도의 메모리로부터 생체 모델을 수신한다(S620). 이때, 수신되는 생체 모델은 네거티브 심리에 대한 생체 모델이다.
단계 S620에서 수신된 생체 모델을 이용하여 사용자의 현재 심리 상태를 인지한다(S630). 이때, 단계 S610에서 계산된 현재 생체신호에 대한 특징 파라미터와 네거티브 심리에 대한 생체 모델을 SVM 알고리즘에 적용하여 사용자의 현재 심리 상태를 인지(SVM_Predict)하는 과정이 수행될 수 있다.
단계 S630의 인지 결과, 사용자의 현재 심리 상태가 네거티브 심리인 것으로 인지하면(S640-Y), 사용자의 현재 심리 상태가 네거티브 심리임을 알리는 알림 정보를 출력한다(S650). 이때, 경고음 또는 경고 화면과 같은 알림 정보가 출력되어 현재 사용자가 네거티브 심리 상태인 것을 경고할 수 있다.
만약, 단계 S630의 인지 결과, 사용자의 현재 심리 상태가 포지티브(positive) 심리인 것으로 인지하면(S640-N), 특별한 알림 정보 출력 없이 사용자의 심리 인지 프로세스를 종료할 수 있다.
이와 같이 본 발명의 실시예에 따르면, 사용자의 신체에 부착된 생체신호 센싱디바이스로부터 수신된 자율신경계의 생체신호를 수신받아 현재 사용자의 네거티브 심리를 인지하기 위한 방법으로써, 사용자에게 위급상황이 발생하였을 시에 사용자의 네거티브 심리를 사전에 인지함으로써 위험사고를 미연에 방지하고 대책화할 수 있다. 또한, 본 발명의 실시예에 따르면 네거티브 심리를 파악하기 위한 생체신호를 미리 수집하고 분석하여 모델링 함으로써, 학습모델을 이용하여 사용자의 네거티브 심리를 인지할 수 있다.
이상, 본 발명의 바람직한 실시예를 통하여 본 발명의 구성을 상세히 설명하였으나, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 명세서에 개시된 내용과는 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 심리 인지 장치
110 : 신호 수신부 120 : 신호 처리부
130 : 특징 생성부 140 : 심리 학습부
150 : 심리 인지부
200 : 생체신호 센싱 디바이스

Claims (1)

  1. 사용자의 심전도(Electrocardiography, ECG), 피부 전기 반사(Galvanic Skin Reflex, GSR), 피부 온도(Skin Temperature, SKT) 중 적어도 하나를 측정하는 생체신호 센싱 디바이스로부터 상기 사용자의 생체 신호를 수신하는 신호 수신부;
    수신된 상기 사용자의 생체신호를 이용하여 생체 모델 생성을 위한 특징 파라미터를 계산하여 생체 모델 생성용 학습 정보를 생성하는 특징 생성부;
    상기 생체 모델 생성용 학습 정보를 이용하여 생체 모델을 생성하는 심리 학습부; 및
    상기 사용자의 현재 생체신호와 상기 생체 모델을 이용하여 상기 사용자의 심리 상태를 인지하는 심리 인지부;
    를 포함하는 생체신호 기반의 심리 인지 장치.
KR1020150065296A 2015-05-11 2015-05-11 생체신호 기반의 심리 인지 장치 KR20160133043A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150065296A KR20160133043A (ko) 2015-05-11 2015-05-11 생체신호 기반의 심리 인지 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150065296A KR20160133043A (ko) 2015-05-11 2015-05-11 생체신호 기반의 심리 인지 장치

Publications (1)

Publication Number Publication Date
KR20160133043A true KR20160133043A (ko) 2016-11-22

Family

ID=57540112

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150065296A KR20160133043A (ko) 2015-05-11 2015-05-11 생체신호 기반의 심리 인지 장치

Country Status (1)

Country Link
KR (1) KR20160133043A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108937966A (zh) * 2018-05-29 2018-12-07 四川斐讯信息技术有限公司 一种情绪的检测方法及可穿戴设备
KR20190021752A (ko) * 2017-08-23 2019-03-06 이화여자대학교 산학협력단 사전 지식 및 생리 심리 반응을 이용한 인지 부하 판단 방법 및 인지 부하 판단 장치
KR20200117582A (ko) * 2019-04-05 2020-10-14 한국과학기술원 생리학적 데이터와 시뮬레이션 데이터를 이용한 멀티태스크를 수행하는 사용자의 인지 부하 측정 방법 및 장치
FR3100972A1 (fr) 2019-09-20 2021-03-26 Ovomind K.K. Système de détermination d’une émotion d’un utilisateur

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190021752A (ko) * 2017-08-23 2019-03-06 이화여자대학교 산학협력단 사전 지식 및 생리 심리 반응을 이용한 인지 부하 판단 방법 및 인지 부하 판단 장치
CN108937966A (zh) * 2018-05-29 2018-12-07 四川斐讯信息技术有限公司 一种情绪的检测方法及可穿戴设备
KR20200117582A (ko) * 2019-04-05 2020-10-14 한국과학기술원 생리학적 데이터와 시뮬레이션 데이터를 이용한 멀티태스크를 수행하는 사용자의 인지 부하 측정 방법 및 장치
FR3100972A1 (fr) 2019-09-20 2021-03-26 Ovomind K.K. Système de détermination d’une émotion d’un utilisateur

Similar Documents

Publication Publication Date Title
EP3040018B1 (en) Method and apparatus for authenticating user based on biosignal
US9655559B2 (en) Automated sleep staging using wearable sensors
US10123741B2 (en) Cardiac condition detection
Sulaiman et al. Novel methods for stress features identification using EEG signals
JP4101069B2 (ja) 生理信号の短時間モニタリングを通じたユーザ情緒認識装置及び方法
CN103815896A (zh) 一种精神疲劳监测方法、装置、系统及移动处理终端
EP3037036A1 (en) Biometric authentication method and apparatus
KR102449869B1 (ko) 뇌파 센서 유닛 및 이를 이용한 뇌파 측정 장치
Pal et al. Evaluation of bioelectric signals for human recognition
Bashar et al. Human identification from brain EEG signals using advanced machine learning method EEG-based biometrics
Lim et al. Heartrate-dependent heartwave biometric identification with thresholding-based GMM–HMM methodology
KR20160133043A (ko) 생체신호 기반의 심리 인지 장치
JP2015109964A (ja) 感情推定装置、感情推定処理システム、感情推定方法および感情推定プログラム
JP2009153839A (ja) 心電図波形処理システム及び方法
JPWO2009150744A1 (ja) 睡眠状態モニタリング装置、モニタリングシステムおよびコンピュータプログラム
CN110353704B (zh) 基于穿戴式心电监测的情绪评估方法与装置
CN115640827B (zh) 对电刺激数据处理的智能闭环反馈网络方法及系统
CN111449622A (zh) 一种基于bcg检测的房颤识别系统
CN111832537A (zh) 异常心电信号识别方法及异常心电信号识别装置
Yue et al. Heart rate and heart rate variability as classification features for mental fatigue using short-term ppg signals via smartphones instead of ecg recordings
Pandit et al. An efficient abnormal beat detection scheme from ECG signals using neural network and ensemble classifiers
CN106618486B (zh) 智能辅助睡眠中的睡眠状态识别方法和系统
CN111973183A (zh) 一种肌肉疲劳的联合测量装置、方法以及假肢
JPH09322943A (ja) 生体刺激装置
Enamamu et al. Transparent authentication: Utilising heart rate for user authentication

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application