KR101617391B1 - HRP(Heart Rhythm Pattern)를 이용한 사회 관계성 측정 방법 - Google Patents

HRP(Heart Rhythm Pattern)를 이용한 사회 관계성 측정 방법 Download PDF

Info

Publication number
KR101617391B1
KR101617391B1 KR1020140074511A KR20140074511A KR101617391B1 KR 101617391 B1 KR101617391 B1 KR 101617391B1 KR 1020140074511 A KR1020140074511 A KR 1020140074511A KR 20140074511 A KR20140074511 A KR 20140074511A KR 101617391 B1 KR101617391 B1 KR 101617391B1
Authority
KR
South Korea
Prior art keywords
subjects
data
bpm
ecg
delete delete
Prior art date
Application number
KR1020140074511A
Other languages
English (en)
Other versions
KR20150145110A (ko
Inventor
박상인
황민철
원명주
황성택
Original Assignee
상명대학교 서울산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교 서울산학협력단 filed Critical 상명대학교 서울산학협력단
Priority to KR1020140074511A priority Critical patent/KR101617391B1/ko
Priority to US15/306,710 priority patent/US10478110B2/en
Priority to PCT/KR2014/005399 priority patent/WO2015194690A1/ko
Publication of KR20150145110A publication Critical patent/KR20150145110A/ko
Application granted granted Critical
Publication of KR101617391B1 publication Critical patent/KR101617391B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • A61B5/349Detecting specific parameters of the electrocardiograph cycle
    • A61B5/352Detecting R peaks, e.g. for synchronising diagnostic apparatus; Estimating R-R interval
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Cardiology (AREA)
  • Psychiatry (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

사회적 친밀도를 판단하는 방법에 대해 기술한다. 판단 방법:은 적어도 두 피험자의 ECG(심전도) 데이터를 검출하는 단계; 두 피험자의 ECG 신호로부터 HRP(Heart Rhythm Pattern) 데이터를 검출하는 단계; 그리고 상기 두 피험자의 HRP 데이터를 비교하여 두 피험자간의 관계성(친밀도)을 판단하는 단계;를 포함한다.

Description

HRP(Heart Rhythm Pattern)를 이용한 사회 관계성 측정 방법{Method for social relationship using Heart Rhythm Pattern}
본 발명은 사회 관계성 측정 방법에 관한 것으로서 상세하게는 심장리듬 패턴에 기초한 친밀도 측정 방법 및 이를 적용하는 시스템에 관한 것이다.
사회적 인지 (Social Cognition) 또는 상호작용 (Social Interaction)은 의사소통 하는 다른 대상의 정신적 상태나 행동을 이해하는 것을 의미한다. 다른 사람의 정신적 상태나 행동을 이해하려면 다른 사람과의 공감적 반응이 반드시 요구된다 (Krueger and Michael, 2012). 최근 사회적 인지나 상호작용에 대한 많은 연구들이 진행되고 있다. 이러한 연구들이 고려하고 있는 중요한 개념 중에 하나가 동기화 (Synchronization) 또는 동조현상 (Entrainment)이다. 동기화는 사람들이 사회적 상호작용을 할 때 사람들 사이에 생체리듬이 하나로 화합되는 현상이다(Kyongsik et al., 2012). 이러한 동기화 현상은 사람에게서만 나타나는 것이 아니라 사물이나 자연 현상에서도 확인할 수 있다. 예를 들면, 여러 시계의 추가 각기 다른 속도를 가지고 좌우로 흔들리는 상황에서 동기화로 인해 같은 방향성과 속도를 가지고 함께 좌우로 흔들리는 현상(Bennett et al., 2002), 각각 개별적으로 반짝이고 있는 반딧불이 어느 순간 동기화되어 같은 속도로 동시에 모든 반딧불이 함께 반짝이는 현상 (Buck and Buck, 1976)등이 있다.
사람들 사이에서도 이러한 동기화 현상이 나타난다. 두 사람이 함께 걸을 때, 같은 주기로 발을 맞추어 걷는 현상이 그 대표적인 예이다(Schmidt and Richardson, 2008; Burgoon et al., 1995). Kyongsik et al., (2012)의 연구에서는 두 피험자 사이에 무의식적인 손가락 움직임을 통해 나타나는 동기화 현상을 비교 하였다. 이 연구는, 두 피험자의 손가락 움직임의 동기화 현상이 협력적인 작업을 수행할 때가 그렇지 않은 경우보다 동기화 되는 현상을 보였고 뇌의 신경적 활성화 또한 크게 증가하였음을 보고 하였다. 또 다른 연구에서는 피험자들의 손가락 움직임에 따른 동기화 현상을 비교하였고 같은 속도로 손가락을 움직일 때가 다른 속도로 움직일 때보다 더 동기화 되는 현상을 보고 했다 (Daniel, 2010). 그리고 이러한 몸의 움직임의 동기화 현상은 사람들 사이에 긍정적인 관계를 증대시키는 것과 관련되어 있음을 보고하였다 (Miles et al., 2010).
앞서 언급한대로, 무의식적인 행동의 동기화 현상은 몸의 동기화뿐만 아니라 생체적 반응의 동기화와 긍정적인 효과를 유발 시킨다. 그러나 다른 사람과의 상호작용에 있어서 공감의 반응은 매우 중요한 요소이고 이것은 어떠한 사람과 사회적 관계를 유지하고 의사소통 하느냐에 따라 다르게 나타날 수 있다. 그리고 그 관계는 사회적으로 강하거나 약한 유대를 가진다. 그러나 현재 연구에서 사회적 관계에 대한 연구는 동기화 현상에서 고려되고 있지 않다. 따라서 사회적 관계에 따라서 생리적 반응의 동기화 정도에 차이가 있을 것으로 예상된다. 사회적 관계에 의해 발생되는 생리적 반응은 무의식적인 것이므로 더욱이 그렇다. 최근, 생리적 반응의 동기화 현상은 사회적 관계 유지 및 증대에 유효한 영향을 미치는 것으로 보고되고 있다.
Bennett. M., Schatz, M., Rockwood, H. and Wiesenfeld, K. (2002). Huygens's clocks. Proceedings: Mathematics, Physical and Engineering Sciences, 458, 563-579. Buck, J. and Buck, E. (1976). Synchronous fireflies. Scientific American. 234, 74-85. Burgoon, J.K., Stern, L.A. and Dillman, L. (2007). Interpersonal adaptation: Dyadic interaction patterns. Cambridge University press. Daniel, L. (2010). Movement synchrony and perceived entitativity. Journal of Experimental Social Psychology, 46(5), 701-708. Krueger, J. and Michael, J. (2012). Gestural coupling and social cognition: Mobius syndrome as a case study. Frontiers in human neuroscience, 6. Kyongsik, Y., Katsumi, W. and Shinsuke, S. (2012). Interpersonal body and neural synchronization as a marker of implicit social interaction. SCI REP-UK, 2(959). Miles, L.K., Griffiths, J.L., Richardson, M.J. and Macrae, C.N. (2010). Too late to coordinate: Contextual influences on behavioral synchrony. European Journal of Social Psychology, 40(1), 52-60. Pan, J. and Tompkins, W.J. (1985). A real-time QRS detection algorithm. IEEE Transactions on Biomedical Engineering, 3, 230-236. Schmidt, R. and Richardson, M. (2008). Coordination: Neural, behavioral and social dynamics. Springer.
본 발명은 심장 리듬의 동기화 현상을 통해 사회적 관계를 정량적으로 평가할 수 있는 방법을 제시한다.
이러한 본 발명은 개인간 심장 동조성 (Entrainment) 분석기술을 통해 두 사람 사이의 사회적 관계성(Social relationship) 또는 친밀도를 평가할 수 있는 방법 및 이를 적용하는 시스템을 제안한다.
본 발명에 따른 방법:은
두 피험자의 ECG(심전도) 데이터를 검출하는 단계;
두 피험자의 ECG 신호로부터 HRP(Heart Rhythm Pattern) 데이터를 검출하는 단계; 그리고
상기 두 피험자의 HRP 데이터를 비교하여 두 피험자간의 관계성을 판단하는 단계;를 포함한다.
본 발명의 일 실시 예에 따르면, 상기 ECG 데이터로부터 RRI(R-peak to R-peak interval) 데이터를 획득할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 HRP 데이터는 BPM 평균(mean)과 정상 RRI의 표준 편차를 이용해 추출한 SDNN (standard deviation normal to normal)을 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 BPM 평균(mean)과 정상 SDNN를 포함하는 HRP 신호의 상관분석을 통해 얻은 r 스퀘어(square)값과 피험자간 BPM 평균 차를 이용하여 피험자간 동기화 정도의 판단 변수로 사용할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 피험자간 BPM 평균의 차를 변수 X, r 스퀘어(square)값을 변수 y라 하였을 때, Y=0.00943167*X 를 만족하는 일차 방정식을 기준으로 피험자가 동기화 여부를 판단할 수 있다.
상기 방법을 수행하는 본 발명에 따른 시스템:은
상기 피험자들로부터 ECG 데이터를 추출하는 센서;
상기 피험자들 적어도 어느 하나에게 특정 상태의 얼굴 표정을 제시하는 디스플레이;
상기 센서로부터 얻어지는 상기 피험자들의 ECG 데이터를 처리하는 데이터 처리부;
상기 데이터를 분석하여 피험자간의 친밀도를 분석하는 분석부;를 포함한다.
본 발명은 개인간 심장 동조성 (Entrainment) 분석기술을 통해 두 사람 사이의 사회적 관계 (Social relationship)를 평가할 수 있다. 개인간 심장 동조성 분석은 두 사람 사이에 심장리듬의 동기화 정도를 이용한다. 본 발명이 제안하는 친밀감 평가 방법은 두 사람 사이의 사회적 관계를 정량적으로 평가할 수 있으며, 이를 통해 사회적 병리현상 완화에 도움을 줄 수 있을 것으로 기대된다.
도1은 본 발명에 따라 두 피험자로부터 HRC를 검출하기 위하여 두 피험자의 측정 데이터로부터 심전도 (ECG)를 검사하는 방법의 일례를 도시한다.
도2는 HRC 를 검출할 때에 피험자간의 얼굴 표정 제시 및 흉내의 순서를 설명한다.
도3은 HRC 검출을 위한 심전도 신호 처리 흐름도이다.
도4는 HRC 변수를 설명하는 도면이다.
도5는 친구 그룹 (firiend)과 낯선 그룹 (stranger)의 각각 leader와 follower의 HRC 분석결과를 보이는 시간-BPM 평균 그래프이다.
도6a, 6b, 6c는 친구 그룹 (firiend)과 낯선 그룹 (stranger)의 각각 leader와 follower의 HRC의 통계 분석결과(Correlation, difference of BPM & Difference of SDNN)를 도시한다
도7은 HRP 변수에 의한 사회적 관계성(친밀도)를 판단하기 위한 룰-베이스를 설명한다.
도8은 검증을 위한 새로운 그룹으로부터 얻어진 HRP를 이용한 룰 베이스 검증결과를 보인다.
도9는 본 발명에 따른 분석 시스템의 개략적 블록다이어그램이다.
이하, 첨부된 도면을 참조하면서 본 발명에 따른 개인간 관계성 또는 친미도를 측정하는 방법 및 시스템의 바람직한 실시 예를 설명한다.
현대 사회는 다수의 사람과 접촉하고 커뮤니케이션 해야 하는 상황에 놓여 있다. 최근 이러한 사회 환경에 적응하지 못하고 사회에서 도태되는 사람들의 이야기를 언론을 통해 쉽게 접할 수 있다. 상기의 경우처럼 심하지는 않더라도 우리는 누구나 사회적 관계에 대한 두려움 또는 걱정을 갖고 있다. 사회적 관계 회복을 위해서는 우선적으로 사회적 관계를 정량적으로 평가할 수 있어야 그에 대한 해결책 또한 제시될 수 있다.
이하의 실시 예를 설명을 통해 이해할 수 있는 본 발명은 개인간에 사회적 관계를 정량적으로 평가하는 방법을 제시하며, 이를 통해 사회적 관계 증진 및 병리 현상 해결을 도모할 수 있다.
가. 피험자
대학교 재학생 72명이 (남자 36명, 여자 36명, 평균나이: 24.27±2.24)이 실험에 참여하였다. 실험에 참여한 피험자는 교제기간이 3년 이상인 사람들을 짝을 이루어 모집하였고 성적(性的) 효과를 없애기 위해 동성으로만 모집하였다. 모든 피험자는 심혈신경계에 이상이나 병력이 없었고 전날 충분한 수면을 취하도록 하였다. 또한 심혈관계 반응에 영향을 미칠 수 있는 카페인, 흡연, 음주 등의 섭취를 실험 전날 금하도록 하였다. 실험 전, 실험에 참가하는 모든 피험자에게 연구목적을 제외한 실험에 대한 대략적인 사항에 대해 설명한 후 실험을 진행하였고 실험의 대가로 소정의 금액을 지불하였다.
나. 실험 방법
실험에 참여한 피험자는 교제기간을 기준으로 강한 사회적 관계 (친구)와 약한 사회적 관계 그룹 (낯선 사람)으로 나누었다. 강한 사회적 관계 그룹은 피험자를 모집할 때, 교제 기간 3년 이상인 친구(Friend)를 모집하여 짝을 이루도록 하였고, 약한 사회적 관계 그룹은 모집된 피험자 중 처음 보는 낯선 사람(Stranger)들끼리 짝을 이루도록 하였다. 모집된 피험자의 사회적 관계를 판단 하기 위해 생일, 가족 구성원, 취미 등의 간단한 설문을 실시하였고 통과한 피험자만 실험에 참여하도록 하였다.
두 그룹으로 나뉜 피험자들은 리더(leader)와 팔로워(follower)로 다시 나누었다. 도1에 도시된 바와 두 피험자 leader와 follower는 서로 얼굴을 마주본 상태로 편안한 의자에 앉는다. 이때 두 피험자 사이의 거리는 1 미터로 고정 하였다. 두 피험자는 얼굴을 마주본 채로, Ekman이 정의한 6가지 기본 정서 공포(fear), 혐오(disgust), 슬픔(fear), 놀람(surprise), 화남(anger), 행복(happy)에 대한 얼굴표정을 서로 인터랙션 하도록 하였다. 이때 leader는 스크린을 통해 제시되는 얼굴표정 가이드라인을 보고 얼굴 표정을 짓고 follower는 leader의 얼굴 표정을 보고 따라 하도록 하였다. 실험이 진행되는 동안 두 사람 사이의 심장리듬을 비교하기 위해 심전도 (ECG, electrocardiogram)를 측정하였다. 도2에 도시된 바와 같이, 전체 실험 태스크(task)는 reference 60초, introduction 90초, Practice 90초, imitation 240초로 구성되었다. 각 태스크 사이에는 휴식 30초가 포함시켰으며, introduction 와 paractice는 imitation 태스크에서 자연스러운 표정을 지을 수 있도록 표정을 소개하고 연습할 수 있도록 하기 위해 실험에 포함시켰다. 상기에 설명한 실험 과정은 두 그룹에서 각각 진행하고 다른 그룹과 교차하여 한번 더 진행 하였으며, leader와 follower의 역할은 고정 하였다.
예를 들어, (친밀한) 그룹 A (leader a, follower b), (친밀한) 그룹 B (leader c, follower d)의 피험자 그룹이 있으면, A 그룹끼리 task 수행하고 B 그룹끼리 task를 수행 한다. 이것이 친밀할 때의 테스크(task)이고, 피험자인 A 그룹의 leader a와 B 그룹의 follower d가 task를 수행하고 B 그룹의 leader c와 A 그룹의 follower b가 task를 수행한다. 이것이 친밀하지 않을 때의 task 이다. 이렇게 총 36 그룹의 피험자가 실험에 참여하였고 랜덤으로 두 그룹을 하나의 큰 그룹으로 묶어서 서로 교차해서 태스크를 수행한 것이고 leader와 follower의 역할은 바뀌지 않는다. 즉, 친밀 그룹에 대한 task 에서의 leader 는 친밀하지 않을 때의 task 에서도 Leader입니다.
도2에서 전체 Task 의 각 단계는 아래와 같이 수행된다.
Reference 단계:
자극을 제시하기 전에 어떠한 자극도 제시되지 않는 상태에서 베이스라인의 생체정보를 취득한다.
Introduction 단계:
메인 task(imitation task)에서 원활한 얼굴표정을 짓기 위해 얼굴표정의 종류와 모양을 육안으로 학습한다.
task rest 단계:
앞선 task에서 제시된 자극의 (잔류) 효과를 최소화하여 다음 task에서의 자극에 영향을 줄이기 위한 task 사이에서 휴식한다.
practice 단계:
메인 task(imitation task)에서 원활한 얼굴표정을 짓기 위해 얼굴표정을 직접 따라 해 보고 연습하는 학습하는 단계이다.
task rest 단계:
앞서 제시되는 task의 자극 효과를 최소화하여 다음 task 자극에 영향을 줄이기 위한 task 사이의 휴식 단계
imatation task 단계:
leader 가 제시된 얼굴표정을 짓고, follower는 이를 따라 하며, 이때에 ECG 검출을 실시간 진행한다.
Introduction, Practice, Imitation task 모두에서 6 basic emotion의 얼굴표정 (공포(fear), 혐오(disgust), 슬픔(fear), 놀람(surprise), 화남(anger), 행복(happy) 이 모두 제시되며, Introduction과 practice task는 10초씩, imitation task는 35초씩 6개의 얼굴 표정이 모두 제시되고 각각의 표정과 표정 사이에는 5 초의 rest가 포함된다. 상기 6개의 얼굴표정이 제시되는 순서는 랜덤 하게 결정되며, 얼굴표정을 선택하는 것이 아니라, 6개의 얼굴표정을 모두 보고 연습하고 따라 한다.
다. 분석 방법
본 발명의 분석 방법은 도9에 예시된 바와 같은 구조의 분석 시스템을 이용한다. 본 발명에 따른 분석 시스템은 피험자들로부터 ECG 신호(데이터)를 검출하는 ECG 센서(10), ECG 신호를 전 처리하는 신호처리부(20), 전 처리된 ECG로부터 HRC 데이터를 검출하여 피험자간의 친밀도를 평가하는 분석부(30), 그리고 피험자 중 어느 하나에 얼굴 표정을 제시하는 디스플레이를 포함한다. 상기 디스플레이는 하나 또는 표정을 제시하는 디스플레이와 그 결과를 표시하는 디스플레이를 별개로 하는 멀티 디스플레이의 구조를 가질 수 있다. 이러한 요소를 가지는 본 발명에 다른 시스템은 전체적으로 컴퓨터를 기반으로 하며, 따라서, 키보드나 마우스, 프린터 등과 같은 주변장치가 선택적으로 부가될 수 있다.
심전도 신호(데이터)는 lead-I 방법을 통해 500Hz로 샘플링 하였다. 본 발명의실험에서 심전도 신호는 MP100 power supply와 ECG 100C amplifier (Biopac systems Inc., USA)를 통해 신호를 증폭하고 NI-DAQ-Pad9205 (National instruments, USA)를 통해 아날로그 신호를 디지털 신호로 변환하여 취득하였다. 취득한 심전도 신호는 QRS 검출 알고리즘을 통해 R-peak을 검출하였다 (Pan and Tompkins, 1985). 검출된 R-peak은 노이즈를 제외하고 정상 R-peak 간격의 차이를 이용해 RRI (R-peak to R-peak interval)를 추출하였다. 심장리듬패턴 (HRP, heart rhythm pattern)분석을 위해 분당 심박수 (BPM, beat per minute)는 60/RRI을 통해 계산 하였고 정상 RRI의 표준 편차를 이용해 SDNN (standard deviation normal to normal)을 추출하였다. 자세한 신호처리 과정은 도3에 도시된 바와 같다.
도3을 참조하면, 피험자로부터 ECG 신호를 검출한 후, ECG 신호는 QRS 검출 알고리즘(Detection Algorithm)을 통해 R-peak을 검출하였다 (Pan and Tompkins, 1985). 검출된 R-peak은 노이즈를 제외하고 정상 R-peak 간격의 차이를 이용해 RRI (R-peak to R-peak interval)를 추출하였다. 여기에서, 본 발명에 따라 심장리듬패턴 (HRP, heart rhythm pattern)분석을 위해 분당 심박수 (BPM, beat per minute)는 60/RRI을 통해 계산 하였고(BPM=60/RRI) 이로부터 BPM 평균(mean)과 정상 RRI의 표준 편차를 이용해 SDNN (standard deviation normal to normal)을 추출하였다.
본 발명에 따르면 두 사람간의 심장리듬 (HRP, heart rhythm pattern)을 통해 심장의 동기화 현상이 분석되고, 이를 이용해 사회적 관계가 평가될 수 있다. 심장 동기화 분석에 사용되는 HRP 변수는 SDNN과 BPM 평균이다. 모든 변수는 두 사람 변수 값의 차이를 계산하고 그 차이가 적을 수록 두 신호의 동기화가 높은 것으로 판단한다. 또한 HRP 신호를 상관분석을 통해 r 스퀘어(square)값을 추출하여 동기화 정도의 판단 변수로 활용한다.
도4는 친밀도 인식에 사용한 변수를 설명하기 위한 그래프 이다.
도4에서 P1와 P2는 task를 수행하는 두 피험자들로서 leader, follower를 각각 의미한다. 두 피험자의 SDNN과 BPM 평균이 변수로 사용되었고, 또한, 두 피험자의 신호를 상관 분석하여 얻어진 r (상관계수) 값을 제곱하여 r square(r2) 값을 변수로 사용하였다.
Figure 112014057043255-pat00001
또한, 본 실험에 참여한 72명의 피험자 중에서 32명의 데이터는 룰 베이스 생성을 위해 사용하고 나머지40명의 피험자는 룰 베이스 검증으로 활용하였다. 룰 베이스는 이후에 설명된다.
라. 분석 결과
도5는 그림 5는 친구 그룹 (firiend)과 낯선 그룹 (stranger)의 각각 leader와 follower의 HRP의 예이다. 각 그룹의 HRP 패턴에서 알 수 있듯이, 친구 그룹이 낯선 그룹 보다 leader와 follower의 HRP 신호의 동조성이 높고 BPM의 차이가 적은 패턴을 보인다.
도6a, 6b, 6c은 친구 그룹 (firiend)과 낯선 그룹 (stranger)의 각각 leader와 follower의 HRP의 통계 분석결과는 도시한다. 상관분석에 따른 r 스퀘어(correlation)는 친구 그룹이 낯선 그룹 보다 통계적으로 유의하게 증가하는 것을 확인하였다(p < .001). 또한 피험자간의 BPM 평균의 차(difference)은 친구 그룹에서 비해 낯선 그룹에서 통계적으로 크게 감소하는 것을 확인하였다(p < .001, 즉, 99.9% 이상의 신뢰도) 그러나, difference of SDNN은 통계적으로 유의한 차이를 확인 할 수 없었다 (p > .05, 즉, 85% 이상의 신뢰도).
두 그룹 사이에 통계적으로 유의한 차이를 나타낸 변수를 통해 사회적 관계를 구별할 수 있는 룰-베이스를, 예를 들어 도7에 도시된 바와 같이 만들었다. 룰-베이스에 사용된 두 변수는 각각 r 스퀘어와 difference of BMP 평균(mean)이고 두 변수를 X축과 Y축으로 정의하여 실험에 참여한 피험자의 데이터를 X-Y 좌표 상에 플로팅(plotting) 하였다. 두 그룹의 데이터 중에서 가장 근접하는 두 데이터의 중심, 예를 들어 (9.542, 0.090)과 0점 (0, 0)을 지나는 직선의 방정식을 룰-베이스로 도출하였다. 도출된 직선 방정식 보다 위에 있을 경우를 강한 사회적 관계, 아래에 있을 경우를 약한 사회적 관계로 정의하였다. 도출된 직선의 방정식은 아래의 식과 같다.
Figure 112014057043255-pat00002
위의 1차 방적식은 32명 실험 데이터를 통해 결정된 임계치 함수(일반식)로 친밀함을 판단하는 룰-베이스 이다.
HRD의 룰 베이스를 이용하여 검증한 결과는 도8에 도시된 바와 같다. 룰 베이스의 검증은 전술한 바와 같이 실험되지 않은 나머지 40명의 피험자로부터 HRC 변수 추출하여 룰 베이스 검증에 이용하였다.
그 결과에 따르면, 강한 사회적 관계의 정확도는 전체 20 그룹의 데이터 중에서 19개 그룹의 데이터가 강한 사회적 관계로 분류 되었고 1개 그룹의 데이터만 약한 사회적 그룹으로 분류 되었다 (정확도: (19/20)*100% = 95%). 약한 사회적 관계의 정확도는 전체 20 그룹의 데이터 중에서 19개 그룹의 데이터가 약한 사회적 관계로 분류 되었고 1개의 그룹의 데이터만 강한 사회적 그룹으로 분류 되었다 (정확도: (19/20)*100% = 95%). 전체 40 그룹의 데이터 정확도 검증 결과는 95%로 확인 되었다 (정확도: (38/40)*100% = 95%).
위에서 설명된 바와 같이 본 발명은 개인간 심장 동조성 (Entrainment) 분석기술을 통해 두 사람 사이의 사회적 관계 (Social relationship)를 평가한다. 개인간 심장 동조성 분석은 두 사람 사이에 심장리듬의 동기화 정도가 이용되었는데, 매우 정확하게 친밀감 평가가 가능함을 알 수 있다. 이러한 본 발명은 두 사람 사이의 사회적 관계를 정량적으로 평가할 수 있으며, 이를 통해 사회적 병리현상 완화 또는 해결에 이용될 수 있다.
이러한 본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 해당 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

Claims (10)

  1. 적어도 두 피험자의 ECG(심전도) 데이터를 검출하는 단계;
    상기 ECG 신호로 부터 RRI (R-peak to R-peak interval) 데이터를 추출하는 단계;
    상기 RRI 데이터로 부터 분당 심박수 (BPM, beat per minute, 60/RRI)를 계산하는 단계;
    상기 BPM의 평균(mean)과 정상 RRI의 표준 편차를 이용해 SDNN(standard deviation normal to normal)을 추출하는 단계, 그리고
    상기 BPM의 평균(mean)과 SDNN을 포함하는 HRP(Heart Rhythm Pattern) 신호의 상관분석을 통해 R 스퀘어(R square) 값(R)을 구하는 단계;
    상기 피험자간 BPM 평균의 차이(X)를 구하는 단계;
    상기 BPM 평균의 차이(X)를 아래의 방정식(룰베이스)에 대입하였을 때, 그 결과 값(Y)에 비해 상기 R 스퀘어 값(R)이 크면 상기 두 피험자는 친밀하다 판단하고, 그 반대이면 친밀하지 않은 것으로 판단하는 단계;를 포함하는 사회적 관계성 판단 방법.
    <방정식>
    Y=0.0094*X
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 기재된 방법을 수행하는 것으로서,
    상기 피험자들로부터 ECG 데이터를 추출하는 센서;
    상기 피험자들 적어도 어느 하나에게 특정 상태의 얼굴 표정을 제시하는 디스플레이;
    상기 센서로부터 얻어지는 상기 피험자들의 ECG 데이터를 처리하는 데이터 처리부; 그리고
    상기 데이터를 분석을 통해 상기 R 스퀘어(R square) 값(R)과 상기 피험자간 BPM 평균의 차이(X)를 구하고, 상기 방정식에 의해 상기 피험자간의 친밀도를 분석하는 분석부;를 포함하는 사회적 관계성 판단 시스템.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020140074511A 2014-06-18 2014-06-18 HRP(Heart Rhythm Pattern)를 이용한 사회 관계성 측정 방법 KR101617391B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140074511A KR101617391B1 (ko) 2014-06-18 2014-06-18 HRP(Heart Rhythm Pattern)를 이용한 사회 관계성 측정 방법
US15/306,710 US10478110B2 (en) 2014-06-18 2014-06-19 Method for measuring social relationship using heart rhythm pattern (HRP)
PCT/KR2014/005399 WO2015194690A1 (ko) 2014-06-18 2014-06-19 Hrp(heart rhythm pattern)를 이용한 사회 관계성 측정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140074511A KR101617391B1 (ko) 2014-06-18 2014-06-18 HRP(Heart Rhythm Pattern)를 이용한 사회 관계성 측정 방법

Publications (2)

Publication Number Publication Date
KR20150145110A KR20150145110A (ko) 2015-12-29
KR101617391B1 true KR101617391B1 (ko) 2016-05-02

Family

ID=54935662

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140074511A KR101617391B1 (ko) 2014-06-18 2014-06-18 HRP(Heart Rhythm Pattern)를 이용한 사회 관계성 측정 방법

Country Status (3)

Country Link
US (1) US10478110B2 (ko)
KR (1) KR101617391B1 (ko)
WO (1) WO2015194690A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101972572B1 (ko) * 2016-12-30 2019-04-29 상명대학교 산학협력단 심장 리듬 패턴을 이용한 공감도 분류 방법
KR102084029B1 (ko) * 2017-02-06 2020-03-04 상명대학교산학협력단 심장 리듬 패턴 및 자율신경 밸런스를 이용한 긍정도 분류 방법
JP6662329B2 (ja) * 2017-03-02 2020-03-11 マツダ株式会社 情報制御装置
KR102173807B1 (ko) * 2018-05-18 2020-11-04 상명대학교산학협력단 심전도를 이용한 경쟁-협력의 감성 인식 방법
KR102223087B1 (ko) * 2018-12-26 2021-03-04 상명대학교산학협력단 감성 전달 판단 방법 및 장치
KR102193727B1 (ko) * 2020-02-28 2020-12-21 상명대학교산학협력단 Ecg를 이용한 경쟁-협력 관계성 평가 방법 및 장치
US20210393181A1 (en) * 2020-06-19 2021-12-23 Sangmyung University Industry-Academy Cooperation Foundation Method and apparatus for measuring emotional contagion
WO2022138153A1 (ja) * 2020-12-22 2022-06-30 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100927473B1 (ko) 2009-01-07 2009-11-23 주식회사 두성기술 단체용 무선 심박계 시스템
JP2011245316A (ja) 2004-06-18 2011-12-08 Adidas Ag リアルタイム生理学的監視用のシステム及び方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0721146A (ja) * 1993-06-15 1995-01-24 Pola Chem Ind Inc 相性度測定方法及び装置
US8764673B2 (en) * 1999-03-02 2014-07-01 Quantum Intech, Inc. System and method for facilitating group coherence
US7069070B2 (en) * 2003-05-12 2006-06-27 Cardiac Pacemakers, Inc. Statistical method for assessing autonomic balance
US9492084B2 (en) 2004-06-18 2016-11-15 Adidas Ag Systems and methods for monitoring subjects in potential physiological distress
KR101334895B1 (ko) * 2012-05-21 2013-12-02 상명대학교서울산학협력단 맥파를 이용한 주관적 친애도 평가 방법 및 이를 적용하는 시스템
JP2017506376A (ja) * 2013-11-29 2017-03-02 モティヴ・インコーポレーテッドMotiv Inc. ウェアラブルコンピューティングデバイス
KR101580628B1 (ko) * 2014-06-18 2015-12-28 상명대학교 서울산학협력단 HRC (Heart Rhythm Coherence)를 이용한 사회 관계성 측정 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011245316A (ja) 2004-06-18 2011-12-08 Adidas Ag リアルタイム生理学的監視用のシステム及び方法
KR100927473B1 (ko) 2009-01-07 2009-11-23 주식회사 두성기술 단체용 무선 심박계 시스템

Also Published As

Publication number Publication date
KR20150145110A (ko) 2015-12-29
US10478110B2 (en) 2019-11-19
WO2015194690A1 (ko) 2015-12-23
US20170049375A1 (en) 2017-02-23

Similar Documents

Publication Publication Date Title
KR101617391B1 (ko) HRP(Heart Rhythm Pattern)를 이용한 사회 관계성 측정 방법
KR101738097B1 (ko) 인체 미동에 의한 hrp 기반 사회 관계성 측정 방법 및 시스템
KR101580628B1 (ko) HRC (Heart Rhythm Coherence)를 이용한 사회 관계성 측정 방법
Betella et al. Inference of human affective states from psychophysiological measurements extracted under ecologically valid conditions
Aristizabal et al. The feasibility of wearable and self-report stress detection measures in a semi-controlled lab environment
Di Lascio et al. Laughter recognition using non-invasive wearable devices
Saeed et al. Personalized driver stress detection with multi-task neural networks using physiological signals
Mahesh et al. Requirements for a reference dataset for multimodal human stress detection
Alexandros et al. The physiological measurements as a critical indicator in users' experience evaluation
Sikander et al. Predicting risk of suicide using resting state heart rate
KR101972572B1 (ko) 심장 리듬 패턴을 이용한 공감도 분류 방법
Sparrow et al. Validation of affect-tag affective and cognitive indicators
Osipov Towards automated symptoms assessment in mental health
KR102084029B1 (ko) 심장 리듬 패턴 및 자율신경 밸런스를 이용한 긍정도 분류 방법
KR101977961B1 (ko) 심장 리듬 동조성를 이용한 공감도 분류 방법
Haratian Assistive Wearable Technology for Mental Wellbeing: Sensors and Signal Processing Approaches
Setz et al. Using ensemble classifier systems for handling missing data in emotion recognition from physiology: one step towards a practical system
Blain et al. Social bodies: Preliminary evidence that awareness of embodied emotions is associated with recognition of emotions in the bodily cues of others.
KR101706740B1 (ko) 인체 미동에 의한 hrc 기반 사회 관계성 온라인 측정 방법 및 시스템
KR102223087B1 (ko) 감성 전달 판단 방법 및 장치
Solanky et al. Brain and Behavior: Blending of Human and Artificial Minds Toward Stress Recognition and Intervention in Organizational Well‐Being
KR101706741B1 (ko) 인체 미동에 의한 hrp 기반 사회 관계성 온라인 측정 방법 및 시스템
KR102314153B1 (ko) 개인 성향에 기초한 사회적 관계의 동기화 판단 방법 및 장치
Gray et al. Detecting Anxiety Trends Using Wearable Sensor Data in Real-World Situations
Lim et al. Does Empathy Affect heart rhythm pattern between persons?

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190422

Year of fee payment: 4