KR20190057217A - 심장 리듬 동조성을 이용한 공존감 평가 방법 및 장치 - Google Patents

Abstract

사회적 관계성에서 공존감을 평가하는 방법 및 장치에 대해 기술한다. 평가 방법:은 두 피험자로부터 심박 정보를 검출하는 단계; 상기 심박 정보로부터 두 피험자의 HRV(Heart Rhythm Variability) 데이터(스펙트럼)를 추출하는 단계; 상기 두 피험자의 HRV 데이터를 이용하여 피이크 주파수의 차이(difference of peak frequency)과 피이크 진폭의 차이(difference of peak amplitude)를 구하는 단계; 상기 두 피험자 간의 피이크 주파수의 차이(difference of peak frequency)과 피이크 진폭의 차이(difference of peak amplitude)를 임의 기준치(룰베이스)에 비교하여 두 피험자 간의 공존감을 평가하는 단계;를 포함한다.

Description

심장 리듬 동조성을 이용한 공존감 평가 방법 및 장치{Method and System for evaluation of Co-existence}

본 발명은 사회 관계에 있는 사람들 간의 공존감(Co-existence) 존재 여부를 측정 또는 분류하는 방법 및 시스템에 관한 것으로서 상세하게는 심장 리듬의 동조성 또는 동기화를 이용하여 실제 공간 또는 가상 공간 내 사람 간에 공존감(Co-existance)이 유지되고 있는 지를 측정하는 방법 및 장치에 관한 것이다.

사회적 인지 (Social Cognition) 또는 상호 작용 (Social Interaction)은 의사소통 하는 다른 대상의 정신적 상태나 행동을 이해하는 것을 의미한다. 다른 사람의 정신적 상태나 행동을 이해하려면 다른 사람과의 공감적 반응이 반드시 요구된다 (Krueger and Michael, 2012). 최근 사회적 인지나 상호작용에 대한 많은 연구들이 진행되고 있다. 이러한 연구들이 고려하고 있는 중요한 개념 중에 하나가 동기화 (Synchronization) 또는 동조현상(Entrainment)이다. 동기화는 사람들이 사회적 상호작용을 할 때 사람들 사이에 생체리듬이 하나로 화합되는 현상이다 (Kyongsik et al., 2012). 이러한 동기화 현상은 사람에게서만 나타나는 것이 아니라 사물이나 자연 현상에서도 확인할 수 있다. 예를 들면, 여러 시계의 추가 각기 다른 속도를 가지고 좌우로 흔들리는 상황에서 동기화로 인해 같은 방향성과 속도를 가지고 함께 좌우로 흔들리는 현상 (Bennett et al., 2002), 각각 개별적으로 반짝이고 있는 반딧불이 어느 순간 동기화되어 같은 속도로 동시에 모든 반딧불이 함께 반짝이는 현상 (Buck and Buck, 1976)등이 있다.

사람들 사이에서도 이러한 동기화 현상이 나타난다. 두 사람이 함께 걸을 때, 같은 주기로 발을 맞추어 걷는 현상이 그 대표적인 예이다 (Schmidt and Richardson, 2008; Burgoon et al., 1995). Kyongsik et al., (2012)의 연구에서는 두 피험자 사이에 무의식적인 손가락 움직임을 통해 나타나는 동기화 현상을 비교 하였다. 이 연구는, 두 피험자의 손가락 움직임의 동기화 현상이 협력적인 작업을 수행할 때가 그렇지 않은 경우보다 동기화 되는 현상을 보였고 뇌의 신경적 활성화 또한 크게 증가하였음을 보고 하였다. 또 다른 연구에서는 피험자들의 손가락 움직임에 따른 동기화 현상을 비교하였고 같은 속도로 손가락을 움직일 때가 다른 속도로 움직일 때보다 더 동기화 되는 현상을 보고 했다 (Daniel, 2010). 그리고 이러한 몸의 움직임의 동기화 현상은 사람들 사이에 긍정적인 관계를 증대시키는 것과 관련되어 있음을 보고하였다 (Miles et al., 2010).

앞서 언급한대로, 무의식적인 행동의 동기화 현상은 몸의 동기화뿐만 아니라 생체적 반응의 동기화와 긍정적인 효과를 유발 시킨다. 그러나 다른 사람과의 상호작용에 있어서 공감의 반응은 매우 중요한 요소이고 이것은 어떠한 사람과 사회적 관계를 유지하고 의사소통 하느냐에 따라 다르게 나타날 수 있다. 그리고 그 관계는 사회적으로 강하거나 약한 유대를 가진다. 그러나 현재 연구에서 사회적 관계에 대한 연구는 동기화 현상에서 고려되고 있지 않다. 따라서 사회적 관계에 따라서 생리적 반응의 동기화 정도에 차이가 있을 것으로 예상된다. 사회적 관계에 의해 발생되는 생리적 반응은 무의식적인 것이므로 더욱이 그렇다. 최근, 생리적 반응의 동기화 현상은 사회적 관계 유지 및 증대에 유효한 영향을 미치는 것으로 보고되고 있다.

Bennett. M., Schatz, M., Rockwood, H. and Wiesenfeld, K. (2002). Huygens's clocks. Proceedings: Mathematics, Physical and Engineering Sciences, 458, 563 Buck, J. and Buck, E. (1976). Synchronous fireflies. Scientific American. 234, 74 Burgoon, J.K., Stern, L.A. and Dillman, L. (2007). Interpersonal adaptation: Dyadic interaction patterns. Cambridge University press. Daniel, L. (2010). Movement synchrony and perceived entitativity. Journal of Experimental Social Psychology, 46(5), 701 Krueger, J. and Michael, J. (2012). Gestural coupling and social cognition: Mobius syndrome as a case study. Frontiers in human neuroscience, 6. Kyongsik, Y., Katsumi, W. and Shinsuke, S. (2012). Interpersonal body and neural synchronization as a marker of implicit social Miles, L.K., Griffiths, J.L., Richardson, M.J. and Macrae, C.N. (2010). Too late to coordinate: Contextual influences on behavioral synchrony. European Journal of Social Psychology, 40(1), 52 Pan, J. and Tompkins, W.J. (1985). A real Schmidt, R. and Richardson, M. (2008). Coordination: Neural, behavioral and social dynamics. Springer.

본 발명은 심장 리듬의 동기화 현상을 통해 사회적 관계를 정량적으로 평가하여 사람간 공존감 존재 여부를 실시간 판단하는 방법 및 시스템을 제시한다.

본 발명에 따른 공존감 평가 방법:은

두 피험자로부터 심박 정보를 검출하는 단계;

상기 심박 정보로부터 두 피험자의 HRV(Heart Rhythm Variability) 데이터(스펙트럼)를 추출하는 단계;

상기 두 피험자의 HRV 데이터를 이용하여 PSD(Power Spectrum Density)의 피이크 주파수의 차이(difference of peak frequency)과 피이크 진폭의 차이(difference of peak amplitude)를 구하는 단계;

상기 두 피험자 간의 피이크 주파수의 차이(difference of peak frequency)과 피이크 진폭의 차이(difference of peak amplitude)를 임의 기준치(룰베이스)에 비교하여 두 피험자 간의 공존감을 평가하는 단계;를 포함한다.

본 발명의 한 실시 예에 따르면, 상기 HRV 데이터는 상기 심박 정보로부터 추출되는 PPI (peak to peak Interval) 데이터로부터 획득할 수 있다.

본 발명의 한 실시 예에 따르면, 상기 HRV 데이터에서 HRC 스펙트럼 대역으로부터 상기 피이크 주파수의 차이 및 피이크 진폭의 차이를 추출할 수 있다.

본 발명의 한 실시 예에 따르면,

상기 HRV 데이터를 추출하는 단계:는

상기 PPI 데이터를 시계열 데이터로 변환하는 단계; 그리고

상기 시계열 데이터를 FFT 분석을 통해 상기 HRV 데이터를 추출하는 단계;를 포함 할 수 있다.

본 발명의 실시 예에 따르면, 상기 심박 정보는 상기 피험자들로부터 획득한 인체 미동 영상으로부터 추출할 수 있다.

본 발명의 구체적인 실시 예에 따르면, 상기 공존감을 판단함에 있어서, 상기 피험자간의 피이크 주파수의 차이가 0.02 Hz 이하, 그리고 상기 피이크 진폭의 차이가 50

이하 일 때 상기 피험자들이 공존감을 갖는 것으로 판단할 수 있다.

본 발명의 구체적인 실시 예에 따르면, 상기 심박 정보를 검출하는 단계:는

두 피험자의 미세움직임을 영상 촬영하는 단계;

촬영된 영상으로부터 두 피험자의 미세 움직임 정보를 검출하는 단계;

상기 미세 움직임 정보로부터 상기 두 피험자의 심박 정보를 검출하는 단계;를 포함할 수 있다.

본 발명의 구체적인 실시 예에 따르면, 상기 미세 움직임 정보를 검출하는 단계와 심박 정보를 검출하는 단계;는

안면 트랙킹(Face Tracking) 단계;

공간 분리(Spatial Decomposition) 단계;

뉴로 필터(Neuro Filter) 단계;

시간 처리(Temporal Processing) 단계;

재구성(Reconstruction) 단계;

프레임 차 평균화(Frame Difference Average) 단계;

스무스 필터(Smoothing Filter) 단계; 그리고

슬라이딩 피이크 검출(Sliding Peak Detection) 단계;를 포함할 수 있다.

상기 방법을 수행하는 공존감 판단 시스템:은

상기 피험자들로부터 심박 정보를 추출하는 심박 정보 검출부;

상기 심박 정보로부터 상기 두 피험자 간의 피이크 주파수의 차이(difference of peak frequency)과 피이크 진폭의 차이(difference of peak amplitude)를 추출하고, 상기 피이크 주파수의 차이(difference of peak frequency)과 피이크 진폭의 차이(difference of peak amplitude)를 임의 기준치(룰베이스)에 비교하여 두 피험자 간의 공존감을 평가하는 프로세싱 장치;를 포함할 수 있다.

본 발명의 실시 예에 따르면, 상기 심박 정보 검출부:는

상기 피험자를 촬영하여 움직임 영상을 획득하는 카메라; 그리고

상기 움직임 영상을 처리하여 상기 심박 정보를 추출하는 영상 처리부;를 포함할 수 있다.

본 발명은 개인간 심장 리듬 동조성 (Entrainment) 분석기술을 통해 두 사람 사이의 공존감(Co-existance)을 평가 또는 분류할 수 있다. 개인간 심장 동조성 분석은 두 사람 사이에 심장리듬의 동기화 정도를 이용한다. 본 발명이 제안하는 공존감 분류 또는 판단 방법은 비접촉식 생체 정보를 이용하여 실시간 사회적 관계 평가 시스템의 기반이 될 수 있을 두 사람 사이의 사회적 관계인 공존감을 정량적으로 평가할 수 있으며, 이를 통해 사회적 병리현상 완화에 도움을 줄 수 있을 것으로 기대된다.

도1은 본 발명의 실험 예에 따라 두 피험자로부터 HRC 데이터를 검출하기 위한 방법의 일례를 도시한다.
도2는 본 발명에 따른 방법의 전체 태스크(Task)의 흐름을 보인다.
도3은 본 발명에 따른 분석 시스템의 개략적 블록다이어그램이다.
도4은 본 발명에 따른 심전도 신호 처리 흐름도이다.
도5는 심장 정보로부터 획득한 HRC 변수를 설명하는 도면이다.
도6는 공존감 그룹 (Co-existance)과 비공존감 그룹 (Non-existance)의 각각 리더(Leader)와 팔로워(Follower)의 HRC 분석결과를 보이는 주파수 (Frequency) - PSD (Power Spectrum Density) 그래프이다.
도7은 공존감 그룹 (Co-existance)과 비공존감 그룹 (Non-existance)의 각각 리더(Leader)와 팔로워(Follower)의 통계 분석결과를 도시한다
도8은 본 발명에 따른 HRC 비에 의한 사람간 공존감을 판단하기 위한 실험결과를 보인다.
도9는 본 발명에 따른 HRC 비에 의한 사람간 공존감을 판단하기 위한 룰-베이스의 검증 결과를 보인다.
도10은 본 발명에 따른 심장 정보 추출 방법의 흐름도이다.
도11은 도10의 각 단계에 대응하는 시나리오를 보인다.
도12는 본 발명에 따른 공존감 판단 방법을 적용하는 공존감 평가 시스템의 한 실시 예를 보이는 개략적 구성도이다.

이하, 첨부된 도면을 참조하면서 본 발명에 따른 HRC 기반, 심장 리듬 동기화 또는 동조성에 기반한 공존감 평가 시스템의 구체적인 실시 예에 대해 상세히 설명한다.

이하에서, 먼저, 심장 리듬 동조성에 의한 사람간 공존감(Co-existance)을 판단 또는 분류가 가능한 지에 대한 실험 예를 살펴 본다.

공존감(Co-existance)은 물리적으로 동일한 현실 공간 또는 동일한 가상 공간에 함께 존재한다고 느끼며 정서적으로는 친밀감과 공감을 느끼는 감성 상태를 의미한다. 다수의 사람과 접촉하고 커뮤니케이션 해야 하는 현대 사회뿐만 아니라 가상공간 내의 사회적 관계를 평가하는 요소로 작용할 것이다.

이하의 실험 예를 설명을 통해 이해할 수 있는 공존감 실시간 평가 방법 및 시스템은 현실 또는 가상공간 내의 사회적 관계를 정량적으로 평가하여 실시간으로 피드백을 줌으로써 사회적 관계에 이바지할 수 있는 것으로 기대되며 비접촉식 생체 정보를 이용한 실시간 사회적 관계 평가 시스템의 기반이 될 수 있을 것이다.

가. 피험자

대학교 재학생 74 명이 (남자 32 명, 여자 42 명, 평균나이: 24.03ㅁ3.27)이 실험에 참여하였다. 모든 피험자는 심혈신경계에 이상이나 병력이 없었고 전날 충분한 수면을 취하도록 하였다. 또한 심혈관계 반응에 영향을 미칠 수 있는 카페인, 흡연, 음주 등의 섭취를 실험 전날 금하도록 하였다. 실험 전, 실험에 참가하는 모든 피험자에게 연구목적을 제외한 실험에 대한 대략적인 사항에 대해 설명한 후 실험을 진행하였고 실험의 대가로 소정의 금액을 지불하였다.

나. 실험 방법

실험에 참여한 피험자들을 같은 공간에서 실험을 진행하는 공존 관계(Coexistence) 그룹과 다른 공간에서 실험을 진행하는 비공존 관계(Non-coexistence) 그룹으로 나누었다.

두 그룹 내에 속한 피험자들은 서로 처음 보는 낯선 사람들끼리 짝을 이루도록 하였고, 성적 효과를 없애기 위해 그룹은 동성으로 구성되도록 하였다.

두 그룹으로 나뉜 피험자들은 리더 (Leader)와 팔로워 (Follower)로 다시 나누었다. 도1에 도시된 바와 같이, 공존 관계 그룹(Co-existence)의 경우, 두 피험자는 서로 얼굴을 마주 본 상태로 편안한 의자에 앉는다(Face to Face). 이때 스크린과의 거리는 1미터로 고정하여 실험을 진행하였다. 리더(leader)는 스크린을 통해 제시되는 Ekman의 6가지 기본 정서(행복, 화남, 공포, 역겨움, 놀람, 슬픔)에 대한 얼굴표정 가이드라인을 보고 얼굴 표정을 짓고, 팔로워(follower)는 리더(leader)가 짓는 얼굴 표정을 보고 따라 하도록 하였다. 실험이 진행되는 동안 두 사람 사이의 심장리듬을 비교하기 위해 심전도 (ECG, electrocardiogram)를 측정하였다.

도2에 도시된 바와 같이, 공존 관계 그룹의 실험 태스크 (task)는 reference 60초, introduction 90초, Practice 90초, Viewing Expression 240초로 구성되었다. 각 태스크 사이에는 휴식 30초를 포함시켰으며, reference 와 paractice는 Viewing Expression 태스크에서 리더(leader) 자연스러운 표정을 지을 수 있도록 표정을 미리 소개하고 연습할 수 있도록 하였다. 비공존 관계 그룹(Non-coexistence)의 경우, 두 피험자는 서로 분리된 공간에서 스크린을 바라 본 상태로 편안한 의자에 앉아 실험을 진행하였다 (Screen). 이때 스크린과의 거리는 1 미터로 고정하여 실험을 진행하였다. 리더(leader)는 스크린을 통해 제시되는 Ekman의 6가지 기본 정서에 대한 얼굴표정 가이드라인을 보고 얼굴 표정을 짓고, 팔로워(follower)는 스크린을 통해 보이는 리더(leader)가 짓는 얼굴 표정을 보고 있도록 하였다. 공존 관계 그룹과 마찬가지로 실험이 진행되는 동안 두 사람 사이의 심장리듬을 비교하기 위해 심전도 (ECG, electrocardiogram)를 측정하였다. 비공존 관계 그룹의 실험 태스크는 reference 60초, introduction 90초, practice 90초, Viewing Expression 240초로 구성되었다. 각 태스크 사이에는 휴식 30초가 포함시켰으며, reference와 paractice는 Viewing Expression 태스크에서 리더(leader)가 자연스러운 표정을 지을 수 있도록 표정을 소개하고 연습할 수 있도록 하였다. 자세한 실험 환경과 실험 순서는 도 1, 2 같다.

도2에 도시된 바와 같이, 전체 태스크(Task)의 각 단계는 아래와 같이 수행된다.

기준(Reference) 단계:

자극을 제시하기 전에 어떠한 자극도 제시되지 않는 상태에서 기준치로서 베이스라인의 생체정보를 취득한다.

도입(Introduction) 단계:

메인 task(Viewing Expression task)에서 원활한 얼굴표정을 짓기 위해 얼굴표정의 종류와 모양을 육안으로 학습한다.

Task rest 단계:

앞선 태스크(task)에서 제시된 자극의 (잔류) 효과를 최소화하여 다음 태스크(task)에서의 자극에 영향을 줄이기 위한 태스크(task) 사이에서 휴식한다.

연습(Practice) 단계:

메인 태스크(Viewing Expression task)에서 원활한 얼굴표정을 짓기 위해 얼굴표정을 직접 따라 해 보고 연습하는 학습하는 단계이다.

휴식(Task rest) 단계:

앞서 제시되는 태스크(task)의 자극 효과를 최소화하여 다음 태스크(task) 자극에 영향을 줄이기 위한 태스크(task) 사이의 휴식 단계

표현 보기(Viewing Expression) 단계:

리더(Leader)가 제시된 얼굴표정을 짓고, 팔로워(Follower)는 이를 바라 보도록 하면, 이때에 ECG 검출을 실시간 진행한다. 도입 단계(Introduction), 연습 단계(Practice), 표현 보기(Viewing Expression task) 모두에서 6 기본 감성(basic emotion)의 얼굴표정 (공포(fear), 혐오 (disgust), 슬픔 (fear), 놀람 (surprise), 화남 (anger), 행복 (happy) 이 모두 제시되며, reference task는 60초, introduction과 practice task는 90초씩, Viewing Expression task는 240초씩 6 개의 얼굴 표정이 모두 제시되고 각각의 표정과 표정 사이에는 30초의 휴식(rest)이 포함된다. 상기 6 개의 얼굴표정이 제시되는 순서는 랜덤 하게 결정되며, 얼굴표정을 선택하는 것이 아니라, 6 개의 얼굴표정을 모두 보고 연습하고 따라 한다.

다. 분석 방법

본 실험 에서의 분석 방법은 도3에 예시된 바와 같은 구조의 분석 시스템을 이용한다. 본 발명에 따른 분석 시스템은 피험자들로부터 ECG 신호 (데이터)를 검출하는 ECG 센서 (10), ECG 신호를 전 처리하는 신호처리부 (20), 전 처리된 ECG로부터 HRV를 추출하고, HRV에서 HRC 스펙트럼 대역의 데이터를 검출하여 피험자간의 공존감을 평가 또는 분류하는 분석부 (30), 그리고 피험자 중 어느 하나에 얼굴 표정을 제시하는 디스플레이를 별도로 포함될 수 있다.

상기 디스플레이는 하나 또는 표정을 제시하는 디스플레이와 그 결과를 표시하는 디스플레이를 별개로 하는 멀티 디스플레이의 구조를 가질 수 있다. 이러한 요소를 가지는 본 발명에 다른 시스템은 전체적으로 컴퓨터를 기반으로 하며, 따라서, 키보드나 마우스, 프린터 등과 같은 주변장치가 선택적으로 부가될 수 있다.

심전도 신호 (데이터)는 lead-I 방법을 통해 샘플링 주파수 500 Hz로 측정하였다. 본 발명의 실험에서 심전도 신호는 MP100 power supply와 ECG 100C amplifier (Biopac systems Inc., USA)를 통해 증폭하고 NI-DAQ-Pad9205 (National instruments, USA)를 통해 아날로그 신호를 디지털 신호로 변환하여 취득하였다. 취득한 심전도 신호는 QRS 검출 알고리즘을 통해 R-peak을 검출하였다 (Pan and Tompkins, 1985). 검출된 R-peak은 노이즈를 제외하고 정상 R-peak 간격의 차이를 이용해 RRI (R-peak to R-peak interval) 데이터를 추출하였다.

도4는 본 발명에 따른 ECG 신호처리 순서를 나타내 보인다. 도4을 참조하면, ECG 원형 신호(Raw Signal)에 대해 상기 피크 검출 알고리즘에 의해 얻어진 RRI 데이터는 시계열 데이터(Time series data)로 변환하기 위해 2 Hz로 리샘플링(resampling)된 후 인터폴레이션(interpolation) 과정을 거친다. 이에 이어 인터폴레이션 된 데이터에 대한 FFT (Fast Fourier Transform) 분석을 통해 아래의 <식 1>에 의해 HRV (Heart Rate Variability) 스펙트럼 (spectrum)을 추출한다. 추출된 HRV 스텍트럼 데이터에서 HRC (Heart Rhythm Coherence) 대역 (band, 0.04 Hz - 0.26 Hz)에서의 데이터를 추출하고, 추출된 HRC 대역의 데이터에서 가장 큰 파워를 가지는 주파수 값 (Dominant peak frequency)과 주파수의 파워 값(Dominant peak amplitude)을 추출한다.

본 실험에 따르면, 두 사람 간의 심장 리듬 코히런스 비(Heart Rhythm Coherence Ratio)의 차이를 통해 심장의 동기화 현상을 분석하고 이를 이용해 사회적 관계인 두 사람간의 공존감(Co-existence)을 평가할 수 있음을 알 수 있다.

심장 리듬 동기화 분석에 사용되는 HRC 변수는 위의 과정에서 추출된 PSD의 도미넌트 피이크 주파수(Dominant Peak Frequency), 도미넌트 피이크 진폭(dominant Peak amplitude) 그리고 HRC 비(Heart Rhythm Coherence Ratio))의 차이 (defference)이다. 두 사람 간에 상기 변수들의 차이를 계산하고, 그 차이가 적을 수록 두 신호의 동기화가 높은 것으로 판단한다.

도5는 공존감 평가 사용한 변수를 설명하기 위한 그래프 이다.

도5에 도시된 신호는 모두 ECG 신호를 FFT 분석을 통해 HRV spectrum (0 Hz - 0.4 Hz)에서, PSD의 피이크 파워(peak power)와 주파수(frequency) 값을 추출하기 위해 HRC spectrum 대역 (0.04 Hz - 0.26 Hz)을 표시하다.

도5의 그래프에서 P1과 P2는 태스크를 수행하는 피험자들로서 리더(Leader), 팔로워(Follower)를 각각 의미한다.

본 실험에 참여한 74 명의 피험자 중에서 32 명의 데이터는 룰 베이스 생성을 위해 사용하고 나머지 42 명의 피험자는 룰 베이스 검증으로 활용하였다. 룰 베이스는 이후에 설명된다.

라. 분석 결과

도6은 같은 공간 (Coexistence) 그룹과 분리된 공간 (non-Coexistence) 그룹에서의 각각 리더(leader)와 팔로워(follower)의 HRC의 예를 보이는 것으로, HRC의 주파수 (Frequency) - PSD (Power Spectrum Density) 그래프이다.

각 공간에서의 그룹은 HRC 패턴으로 알 수 있듯이, 분리된 공간 그룹보다 같은 공간 그룹의 리더(leader)와 팔로워(follwer)의 HRC 데이터의 동조성이 높은 패턴을 보인다.

도7은 같은 공간 (Coexistence) 그룹과 분리된 공간 (non-Coexistence) 그룹에서의 각각 리더(leader)와 팔로워(follower)의 HRC의 분석결과를 도시한다.

도7에 도시된 바와 같이, 도미넌트 피이크 주파수의 차이(difference of peak frequency)과 도미넌트 피이크 진폭의 차이(difference of peak amplitude)는 같은 공간 그룹에서 분리된 공간 그룹보다 통계적으로 유의하게 감소하는 것을 확인하였다 (p < .001). 그러나, HRC 차(difference of HRC)는 통계적으로 유의한 차이를 확인 할 수 없었다 (p > .05).

두 그룹 사이에 통계적으로 유의한 차이를 나타낸 변수를 통해 두 사람간 공존감의 존재 여부를 분류 또는 판단할 수 있는 룰-베이스를, 예를 들어 도8에 도시된 바와 같이 만들었다. 룰-베이스에 사용된 두 변수는 도미넌트 피이크 진폭의 차이 및 도미넌트 피이크 주파수의 차이 이고 이 두 변수를 X축과 Y축으로 정의하여, 실험에 참여한 피험자의 데이터를 X-Y 좌표 상에 플로팅 (plotting) 하여 데이터 패턴을 확인하였다.

그 결과, 피이크 주파수의 차이(difference of peak frequency)가 0.02 Hz 이하이고 피이크 진폭의 차이(difference of peak amplitude)가 50

이하인 영역을 공존감이 존재하는 것으로 판단하는 공존감 인식 룰-베이스로 도출하였다.

즉, 상기의 룰-베이스 X 값에 피이크 진폭의 차(difference of peak amplitude) 값과 Y 값에 피이크 파워의 차(difference of peak frequency) 값을 대입하여 해당 영역에 위치하면 같은 공간에 위치한 공존 관계 (Coexistence) 그룹, 해당 영역을 벗어나면 분리된 공간에 위치한 비공존 관계 (Non-Coexistence) 그룹으로 구분하여 공존감을 정의하였다.

HRC의 룰 베이스를 검증한 결과는 도9에 도시된 바와 같다. 본 발명의 실험에서는 74명의 피험자가 실험에 참여 하였다. 이 중에서 32명의 데이터를 이용에 상기한 바와 같은 공존감 평가 룰 베이스를 도출하였다. 나머지 42명 데이터는 도출된 룰 베이스를 검증하는데 활용하였다.

그 결과, 공감하는 HRC의 룰 베이스를 이용하여 검증한 결과는 도 9에 도시된 바와 같다. 공존 관계의 정확도는 전체 21 그룹의 데이터 중에서 19 그룹의 데이터가 공존 관계로 분류 되어 2 그룹의 데이터가 비공존 관계로 분류되었다. (정확도: (19/21)*100% = 90.48%). 비공존 관계의 정확도는 전체 21 그룹의 데이터 중에서 17 그룹의 데이터가 비공존 관계로 분류되어 4 그룹의 데이터가 공존 관계로 분류되었다 (정확도: (17/21)*100% = 80.96%). 전체 42 그룹의 데이터 정확도 검증 결과는 85.71%로 확인되었다 (정확도: (36/42)*100% = 85.71%).

위에서 설명을 통해서 개인간 심장 동조성 (Entainment) 분석기술을 통해 두 사람 사이에 이루어 지는 공존감 등을 평가할 수 있음을 알 수 있다. 즉, 개인간 심장 리듬 동조성 분석은 두 사람 사이에 심장리듬의 동기화 정도가 이용되었는데, 매우 정확하게 공존감(Co-existance) 평가가 가능함을 알 수 있다. 이러한 방법은 두 사람 사이의 사회적 관계를 정량적으로 평가할 수 있으며, 이를 통해 사회적 병리현상 완화 또는 해결에 이용될 수 있다.

본 발명은 상기와 같은 심장 동조성 분석 기술을 이용하여 공존감을 실시간 평가하는 방법을 제시한다. 이때에, 피험자에게 부담을 줄 수 있는 ECG 전극과 같은 하드웨어 등의 착용이 없이 영상 촬영 통해 얻은 동영상을 분석하여 심박 정보를 추출하고, 그리고 이 심박 정보로부터 HRV 및 HRC를 검출하여 상기와 같은 방법으로 개인간 공존감을 실시간 평가하는 방법 및 시스템의 발전이 가능하다.

이하에서 신체 미동으로부터 심박 정보를 추출하는 본 발명의 방법을 설명한다. 신체 미동은 동영상 촬영으로부터 시작해서 영상분석을 과정을 통해서 신체 미동을 구하고 이로부터 심박 정보를 추출한다.

도10은 본 발명에 따른 심장 정보 추출 방법의 흐름도로서, 총 8단계의 과정을 포함하는 본 발명에 따른 심장 정보 추출 방법의 실시 예를 도시하며, 도11은 도10의 각 단계에 대응하는 시나리오를 보인다.

가. 동영상 입력(Video input) 단계(S11)

이 단계에서는 피험자의 상체 또는 머리 부분에 대해 웹캠이나 기타 동영상 촬영 장치로 비디오 신호를 입력 받는다.

나. 안면 트랙킹(추적, Face Tracking) 단계(S12)

웹캠 등의 카메라를 이용하여 입력 된 영상 데이터를 이용하여 인체의 미세한 움직임을 머리에서 추출하기 위하여 OpenCV(Open Computer Vision) 라이브러리를 이용한 안면인식(프로그램)을 통해 영상 정보를 분리 하도록 한다.

다. 공간 분리(Spatial Decomposition) 단계(S13)

영상의 공간 분리 기법으로 가우시안(Gaussian blur)와 down sample을 통하여 각 주파수(Frequency)별 공간을 분리 할 수 있도록 한다.

위의 식에서, α 는 영상의 증폭 비율값이며, β 는 시간, 공간 주파수 대역으로 필터된 이미지의 값이며, x 는 영상의 가로축(x) 위치값_이며, t 는 시간이며, δ (t)는 입력된 영상과 움직임 영상과의 혼합비율 값이며, 그리고 I' 는 움직인 이미지의 움직임 정도이다.

라. 뉴로 필터(Neuro Filter) 단계(S14)

뉴로 필터(Neuro Filter 단계)는 영상의 공간 주파수를 분리 함에 있어 일반적인 생체신호(bio signal)을 기준으로 영상으로부터 추출 할 수 있는 주파수 대역을 생체신호간 상관성이 있는 대역을 선정하여 주파수 대역을 선정하고 그 선정 된 대역의 영상 정보를 취득하는 것을 의미한다.

예를 들어, 일반적인 PPG 데이터(Data)를 처리 할 경우 0.4~1.3Hz 구간의 주파수 성분을 가지고 데이터 분석을 실시함으로 PPG와 유사한 신호를 영상으로부터 취득하기 위해서는 동일 대역 혹은 인근 대역의 주파수 분석을 통해 유사한 데이터를 추출한다.

마. 시간 처리(Temporal Processing) 단계(S15)

영상을 뉴로필터(Neuro Filter) 대역의 주파수 공간으로 분리한 후, 분리된 공간의 주된 성분의 주파수 대역을 시간처리(Temporal Processing)를 이용하여 차이 값을 추출하여 영상이 진행되는 동안(시간이 흐르는 동안) 해당 주파수 성분의 값을 분리하여 추출한다.

바. 재구성(Reconstruction) 단계(S16)

분리된 공간의 성분을 뉴로 필터(Neuro Filter) 대역의 주파수 성분만 시간을 이용하여 분리해내고 분리된 성분 값을 일정량의 증폭을 통해 기존 영상에 복원하여 실제 미세하게 잘 보이지 않는 움직임에 해당하는 주파수 성분의 데이터 값을 만들어 낼 수 있도록 한다.

위의 식에서, α는 영상의 증폭 비율 값이며, δ (t) 는 입력된 영상과 움직임 영상과의 혼합비율 값 이며, 그리고 λ는 이미지 공간의 파장 대역값이다.

사. 프레임 차 평균화(Frame Difference Average) 단계(S7)

분리된 성분의 데이터 값을 매 시간(30fps 기준)마다 측정되는 영상의 움직임 데이터의 1프레임이 평균의 차이 값을 계산하여 이전 상태와 현 상태의 평균적으로 움직임의 차이 값을 계산하여 전체적인 미세 움직임의 양을 추출한다. 여기에서 1 프레임의 평균은 1프레임의 미세 움직임 양을 나타낸다.

위의 식에서, m 은 미세 움직임 양이며, X는 1프레임의 평균 이며, n은 프레임 번호이다.

아. 스무스 필터링(Smoothing Filter) 단계(S8)

추출 된 미세 움직임을 데이터로 추출하였을 때 움직임에 대한 노이즈가 포함되어 신호가 거칠게 일그러지거나 하여 피크(peak) 검출에 어려움이 있어 노이즈를 제거하고 피크(peak) 검출의 정확도를 높이는 데이터를 가공 처리한다.

위 식에서 SMA는 이동평균 값이며, SMAtoday, SMAyesterday은 서로 다른 특정일자의 이동평균 값이며, Pm 은 현재 프레임의 미동의 값이며, n은 이동평균의 윈도우 사이즈(window size)이다.

자. 슬라이딩 피크 검출(Sliding Peak Detection) 단계(S19) 및 PPG 정보 획득(S20)

노이즈를 제거하고 Peak 검출을 위한 가공 처리 된 데이터를 받아 1프레임당 peak 데이터를 30초 크기(size)의 윈도우(windows)를 기준으로 지속적으로 슬라이딩(sliding) 시켜 움직임 영향 및 데이터에 영향을 최소화 시켜 BPM(bit per minute) 신호를 추출 할 수 있도록 한다. 여기에서 얻어진 심박 정보로부터 HRV 데이터 그리고 HRC 데이터를 검출하여 이를 본 발명의 공존감 평가 방법에 적용되는데, 두 피험자로부터 각각 얻어진다.

위의 식에서 i 는 0, 1, 2…,n 등의 자연수 이며, w 는 윈도우 크기이다.

도12는 본 발명에서 적용하는 시스템의 한 실시 예의 개략적 구성도이다.

두 피험자, 즉 팔로워(Follower, 101a)와 리더(Leader, 101b)를 각각 촬영하는 카메라는 동영상 카메라, 예를 들어 웹캠 또는 소형 동영상 카메라(110a, 110b)이다. 카메라(110a, 110b)로부터의 동영상은 영상 처리부(120)를 거쳐서 특정의 영상이 추출되고 이것은 분석부 또는 프로세싱 장치(130)에 의해 처리된다.

상기 영상 처리부(120)는 전술한 바와 같은 안면 트랙킹(Face Tracking), 공간 분리(Spatial Decomposition), 뉴로 필터(Neuro Filter), 시간 처리(Temporal Processing), 재구성(Reconstruction), 프레임 차 평균화(Frame Difference Average), 스무스 필터(Smoothing Filter), 그리고 슬라이딩 피이크 검출(Sliding Peak Detection) 과정을 통해 상기 심장 정보를 추출한다.

상기 프로세싱 장치(130)는 전술한 바와 같은 방법을 수행하는 소프트웨어 및 이를 지원하는 하드웨어 시스템을 가진다. 이러한 프로세싱 장치(130)는 컴퓨터 기반의 장치, 예를 들어 전술한 바와 같은 방법 또는 알고리즘을 담고 있는 소프트웨어 및 이 소프트웨어가 구동할 수 있는 하드웨어를 포함하는 범용 컴퓨터 또는 전용 장치일 수 있다. 상기와 같은 프로세싱 장치(130)로부터의 처리 결과는 디스플레이 장치(140)에 의해 표시된다. 위와 같인 시스템은 일반적인 입력 장치를 포함하는 일반적인 외부 인터페이스 장치, 예를 들어 키보드, 마우스 등을 더 포함할 수 있다.

이러한 본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 해당 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

Claims (7)

1. 가상현실 공간을 통해 상호 작용을 하는 두 피험자로부터 심박 정보를 검출하는 단계;
   상기 심박 정보로부터 PPI (peak to peak Interval) 데이터를 추출하는 단계;
   상기 PPI로 부터 두 피험자의 HRV(Heart Rhythm Variability) 데이터(스펙트럼)를 추출하는 단계;
   상기 두 피험자의 HRV 데이터를 이용하여 피이크 주파수의 차이(difference of peak frequency)과 피이크 진폭의 차이(difference of peak amplitude)를 구하는 단계;
   상기 두 피험자 간의 피이크 주파수의 차이(difference of peak frequency)과 피이크 진폭의 차이(difference of peak amplitude)를 임의 기준치(룰베이스)에 비교하여 두 피험자 간의 공존감을 평가하되, 상기 피험자간의 피이크 주파수의 차이가 0.02 Hz 이하, 그리고 피이크 진폭의 차이가 50

   

   이하 일 때 상기 피험자들이 공존감을 갖는 것으로 평가하는 공존감 평가하는 단계;를 포함하는, 공존감(Co-existence) 평가 방법.
2. 제1항에 있어서,
   상기 HRV 데이터에서 HRC 스펙트럼 대역으로부터 상기 피이크 주파수의 차이 및 피이크 진폭의 차이를 추출하는, 공존감 평가 방법.
3. 제2항에 있어서,
   상기 HRV 데이터를 추출하는 단계:는
   상기 PPI 데이터를 시계열 데이터로 변환하는 단계; 그리고
   상기 시계열 데이터를 FFT 분석을 통해 상기 HRV 데이터를 추출하는 단계;를 포함하는, 공존감 평가 방법.
4. 제1항에 있어서,
   상기 심박 정보를 검출하는 단계:는
   두 피험자의 미세움직임을 영상 촬영하는 단계;
   촬영된 영상으로부터 두 피험자의 미세 움직임 정보를 검출하는 단계;
   상기 미세 움직임 정보로부터 상기 두 피험자의 심박 정보를 검출하는 단계,를 포함하는 공존감 평가 방법.
5. 제4항에 있어서,
   상기 미세 움직임 정보를 검출하는 단계와 심박 정보를 검출하는 단계;는
   안면 트랙킹(Face Tracking) 단계;
   공간 분리(Spatial Decomposition) 단계;
   뉴로 필터(Neuro Filter) 단계;
   시간 처리(Temporal Processing) 단계;
   재구성(Reconstruction) 단계;
   프레임 차 평균화(Frame Difference Average) 단계;
   스무스 필터(Smoothing Filter) 단계; 그리고
   슬라이딩 피이크 검출(Sliding Peak Detection) 단계;를 포함하는, 공존감 평가 방법.
6. 제1항 내지 5항 중의 어느 한 항의 방법을 수행하는 공존감 판단 시스템에 있어서,
   상기 피험자들로부터 심박 정보를 추출하는 심박 정보 검출부;
   상기 심박 정보로부터 상기 두 피험자 간의 피이크 주파수의 차이(difference of peak frequency)과 피이크 진폭의 차이(difference of peak amplitude)를 추출하고, 상기 피이크 주파수의 차이(difference of peak frequency)과 피이크 진폭의 차이(difference of peak amplitude)를 상기 기준치(룰베이스)에 비교하여 두 피험자 간의 공존감을 평가하는 프로세싱 장치;를 포함하는 것을 특징으로 하는 공존감 평가 시스템.
7. 제6항에 있어서,
   상기 심박 정보 검출부:는
   안면 트랙킹(Face Tracking), 공간 분리(Spatial Decomposition), 뉴로 필터(Neuro Filter), 시간 처리(Temporal Processing), 재구성(Reconstruction), 프레임 차 평균화(Frame Difference Average), 스무스 필터(Smoothing Filter), 그리고 슬라이딩 피이크 검출(Sliding Peak Detection) 과정을 통해 상기 심장 정보를 추출하는, 공존감 평가 시스템.

Images