KR101999317B1 - 심장과 호흡의 연결성을 이용한 감성 인식 방법 및 장치 - Google Patents

Abstract

본 발명에 따른 감성 인식 방법:은 피험자로부터 심전도 데이터와 호흡 데이터를 검출하는 단계; 상기 호흡 데이터를 이용하여 BRV(Breathing rate variability) 스펙트럼을 생성하는 단계; 상기 심전도 데이터로 부로 HRV(Heart rate variability) 스펙트럼을 생성하는 단계; 상기 BRV 스펙트럼과 HRV 스펙트럼을 주파수 대역 별로 동기화 분석을 수행하는 단계; 그리고 상기 동기화 분석에 의한 값에 따라 상기 피험자의 감성을 판단하는 단계;를 포함한다.

Description

심장과 호흡의 연결성을 이용한 감성 인식 방법 및 장치{mothod and apparatus of recognizing emotion by using heart beat and respiration}

본 발명은 심장과 호흡의 연결성을 이용한 감성 인식 방법 및 이를 적용하는 시스템에 관한 것이다.

인간은 다양한 상황 속에서 사람들을 접하며, 소통을 하면서 살아간다. 소통은 자신이 가지고 있는 생각이나 뜻을 전하는 것으로, 효과적인 소통을 위해서는 상황에 의해 변화하는 자신의 감성을 명확하게 표현하고, 상대방의 감성을 정확하게 인지해야 한다. 따라서 감성을 표현하고 인지하는 능력은 인간관계 형성에 결정적인 역할을 한다.

최근 컴퓨터 및 전자 산업기술의 혁신적 발전으로 제품과 서비스에 의인화 (anthropomorphism) 기술을 적용해 사람간의 소통인 인간관계를 넘어선 사람과 제품, 사람과 서비스간의 감성 소통을 이루는 감성 ICT 기술이 주목 받고 있다. 감성 ICT 기술 (emotion information communication technology)은 제품이나 서비스를 사용하는 사용자의 감성상태를 인지하고 처리하여 상황에 맞는 서비스를 제공하는 기술로, 인간의 감성을 제품이나 서비스에 융합시켜 고부가가치를 창출할 수 있는 기술로 주목 받고 있다. 또한, 감성 ICT 산업은 다양한 비ICT 산업과 융합하여 새로운 시장을 창출할 것으로 예상된다. 감성 ICT 기술을 통해 사용자의 상황에 맞게 서비스를 제공하기 위해서는 감성을 정확하게 인식하는 것이 중요하다.

감성을 인식하는 방법은 크게 외현적 반응에 따른 감성인식 방법과 내현적 반응에 따른 감성인식 방법으로 구분할 수 있다. 외현적 반응에 따른 감성인식 방법은 인식 대상자가 경험해 온 문화, 사회적 차이에 의해 영향을 받는다는 한계가 존재한다. 이러한 한계점을 보완하는 연구방법으로 내현적 반응인 생리신호에 따른 감성인식 방법이 있다. 감성은 외부의 감각 자극으로 인해 발생하는 인체의 내현적 반응으로 불수의 반응인 생리반응을 동반한다. 따라서 생리신호를 이용한 감성인식 방법은 객관적 측정이 가능하고 정량화하기 편하다는 장점이 있다. 감성이 발현될 때 동반되는 생리반응 파라미터들의 관계를 규명하고 감성을 평가한 연구는 미비하다.

본 발명은 인체 내 메커니즘을 고려하여 자율신경계의 영향을 받는 심장과 호흡의 연결성을 통해 감성을 객관적이고, 정량적으로 인식할 수 있는, 심장과 호흡의 연결성을 이용한 감성 인식 방법 및 이를 적용하는 시스템을 제안하고자 한다.

본 발명에 따른 감성 인식 방법:은

피험자로부터 심전도 데이터와 호흡 데이터를 검출하는 단계;

상기 호흡 데이터를 이용하여 BRV(Breathing rate variability) 스펙트럼을 생성하는 단계;

상기 심전도 데이터로 부로 HRV(Heart rate variability) 스펙트럼을 생성하는 단계;

상기 BRV 스펙트럼과 HRV 스펙트럼을 주파수 대역 별로 동기화 분석을 수행하는 단계; 그리고

상기 동기화 분석에 의한 값에 따라 상기 피험자의 감성을 판단하는 단계;를 포함한다.

본 발명의 구체적인 실시 예에 따르면, 상기 BRV 스펙트럼은 상기 호흡의 들숨과 날숨 정보로부터 얻어지는 IRV(Inspiratin rate variability) 및 ERV(Expriation rate vatiability)로부터 얻을 수 있다.

본 발명의 구체적인 실시 예에 따르면, 상기 RSP 데이터로부터 들숨 간격(Inspiration time)으로된 들숨 데이터와 날숨 간격(Expiration time)으로된 날숨 데이터를 구하고, 상기 들숨 데이터와 날숨 데이터를, FFT 분석의 과정을 거쳐서 IRV/ERV 스펙트럼 데이터를 추출할 수 있다.

본 발명의 구체적인 실시 예에 따르면, 상기 주파수 대역은 VLF (very low frequency, 0.0033 - 0.04 Hz), LF (low frequency, 0.04 - 0.15 Hz), HF (high frequency, 0.15 - 0.4 Hz)로 구분될 수 있다.

본 발명의 구체적인 실시 예에 따르면, 일원배치분산분석 (One-way ANOVA)에 의한 동기화 분석을 수행하고 이를 통해 HRV 스펙트럼과 BRV 스펙트럼의 LF 대역과 HF 대역의 동기화 차이에 의해 상기 피험자의 감성을 각성(Arousal) 또는 이완(Relaxation), 또는 부정적(Negative) 또는 긍정적(Positive)으로 판단할 수 있다.

본 발명의 구체적인 실시 예에 따르면, HRV 스펙트럼과 BRV 스펙트럼의 HF 대역의 동기화를 분석하고, 그 결과에 따라 각성(Arusal) 또는 이완(Relaxation)의 감정을 평가할 수 있다.

본 발명의 구체적인 실시 예에 따르면, HRV 스펙트럼과 BRV 스펙트럼의 LF 대역의 동기화를 분석하고, 그 결과에 따라 부정적(Negative) 또는 긍정적(Positive) 의 감성을 평가할 수 있다.

상기 방법을 수행하는 본 발명에 따른 감성 인식 장치:는

상기 심전도 데이터를 검출하는 심전도 센서;

상기 호흡 데이터를 검출하는 호흡 센서;

상기 심전도 센서 및 호흡 센서로부터의 데이터를 처리하는 컴퓨터 기반의 데이터 처리부;를 포함할 수 있다.

도1은 본 발명에 따른 감성 인식 방법을 설명하는 흐름도로서 HRV와 BRV를 추출하는 순서를 설명한다.
도2는 본 발명에 따라, BRV 스펙트럼 생성 과정을 보여주는 그래프이다.
도3은 본 발명에 따라, 감성 간 HRV 스펙트럼과 BRV 스펙트럼의 HF 대역의 동기화 분석 결과를 보인다.
도4는 본 발명에 따라, 감성 간 HRV 스펙트럼과 BRV 스펙트럼의 LF 대역의 동기화 분석 결과를 보인다.
도5는 본 발명에 따른 것으로 각성(Arousal)-이완(Relaxation)의 HF 대역에서의 동기화 결과 패턴을 보인다.
도6은 본 발명에 따른 것으로 부정적(Negative)-긍정적(Positive)의 LF 대역에서의 동기화 결과 패턴을 보인다.

이하, 첨부된 도면을 참조하면서 본 발명에 따른 감성 인식 방법의 실시 예에 대해 자세히 설명한다.

이하에서 설명되는 데이터 방법을 수행하는 본 발명에 따른 감성 인식 장치:는 상기 심전도 데이터를 검출하는 심전도 센서; 상기 호흡 데이터를 검출하는 호흡 센서; 상기 심전도 센서 및 호흡 센서로부터의 데이터를 처리하는 컴퓨터 기반의 데이터 처리부;를 포함할 수 있다. 이러한 장치는 후술하는 바와 같은 데이터 처리 소프트웨어가 설치되고, 상기 센서가 연결되어 있는 일반적인 PC에 의해 구현 가능하다.

도1은 본 발명에 따른 감성 인식 방법의 흐름도이다. 이를 참조하면서, 본 발명의 감성 인식 방법을 검증하는 피험자 대상 실험 방법에 대해 설명한다.

<피험자>

본 발명의 실험에 참여한 피험자는 18 명 (남 10 명, 평균나이 24.72 ± 2.47 세)을 대상으로 하였다. 실험에 참여한 피험자는 자율신경계의 병력이나 이상이 없는 신체 건강한 사람을 대상으로 진행하였다.

실험에 참여하기 12 시간 전부터 자율신경계에 영향을 줄 수 있는 카페인, 음주, 흡연 등을 제한하였고, 충분한 수면을 요구해 피로도를 낮추었다.

실험 목적을 제외한 실험 방법 및 자율신경계 반응 측정의 안전성에 관한 설명을 피험자에게 충분히 하였고, 자발적 의지로 실험에 참여한다는 피험자 동의서를 작성하도록 하였다. 또한, 실험 참여도를 높이기 위해 소정의 보상을 지급하였다.

<실험 방법>

실험에 참여한 피험자는 사운드 자극을 집중하여 듣는 태스크를 수행하였다. 제시된 자극은 각성(Arousal), 이완(Relaxation), 부정적(Negative), 긍정적(Positive)의 사운드 자극으로 실험은 6 분씩, 4 회 반복하여 진행되었다. 반복 시 제시되는 사운드 자극은 기존에 제시된 사운드 자극과 겹치지 않되, 무작위로 선정하여 순서효과를 제거하였다. 실험을 시작하고 3 분은 피험자 별 생체신호 레퍼런스 측정을 위한 구간으로 설정하였고, 이후 3 분은 피험자에게 제시되는 사운드 자극에 집중하도록 요청하여 목표 감성이 유도될 수 있도록 하였다.

심전도 (ECG, electrocardiogram)는 표준사지유도법 (Lead I)에 의거해 센서를 부착하고 측정하였다. 호흡 (RSP, respiration)은 피험자 가슴에 벨트 타입의 RSP 센서를 착용하여 측정하였다.

<분석 방법>

심전도와 호흡 신호는 각각 ECG100C, RSP100C amplifier (BIOPAC Systems Inc., USA)를 통해 증폭하고, NI-DAQ-Pad9205 (National Instrument Inc., USA)로 디지털화하여 500 Hz로 수집하였다. 수집된 심전도와 호흡 신호는 LabVIEW 2010 (National Instrument Inc., USA) 소프트웨어를 통해 신호처리 하였다.

측정된 심전도 데이터는 피크 검출 알고리즘 (peak detection algorithm)을 통해서 R-피크(R-peak)를 검출하여 RRI (R-peak to R-peak interval)를 계산하였다. RRI 데이터는 FFT (fast fourier transform) 분석을 통해 HRV 스펙트럼 데이터를 추출하였다. 추출한 HRV 스펙트럼의 대역은 VLF (very low frequency, 0.0033 - 0.04 Hz), LF (low frequency, 0.04 - 0.15 Hz), HF (high frequency, 0.15 - 0.4 Hz)로 구분되며, TF (total frequency, 0.0033 - 0.4 Hz)로 나눠 각각 비율을 구하였다.

측정된 호흡(RSP) 데이터는 피크 검출 알고리즘(peak detection algorithm)을 통해 들숨과 날숨에 관계되는 포지티브 피크(Positive peak)과 네가티브 피크(Negative peak)를 검출하였다. 검출된 네가티브 피크(Negative peak)와 이에 이어지는 포지티브 피크(Positive peak) 사이의 간격은 들숨 간격 (

, inspiratory time)으로 저장하고, 포지티브 피크(Positive peak)와 이에 이어지는 네가티브 피크(Negative peak) 사이의 간격은 날숨 간격(

, expiratory time)으로 저장하였다.

와

데이터는 각각 FFT 분석을 통해 IRV (inspiration rate variability) 와 ERV (expiration rate variability) 스펙트럼 데이터를 추출하였다.

도2는 본 발명에 따라 BRV 스펙트럼을 추출하는 과정을 보여 주는 그래프이다. 도2에서 첫번째와 두번째 그래프는 주파수-파워량(PSD, power spetral density) 변화를 나타낸 IRV 스펙트럼 및 ERV 스펙트럼이며, 마지막 그래프는 IRV 스펙트럼과 ERV 스펙트럼을 이용하여 얻은 BRV 스펙트럼을 나타낸다.

심장과 호흡에서 교감신경 활성화 지표로 VLF, LF 대역과 들숨이 활용되고 부교감신경 활성화 지표로 HF 대역과 날숨이 활용된다.

따라서 IRV 스펙트럼의 VLF, LF 대역과 ERV 스펙트럼의 HF 대역 데이터를 연결하여 새로운 BRV (breathing rate variability) 스펙트럼을 생성하였다. 추출한 BRV 스펙트럼의 대역은 심전도의 HRV 스펙트럼 대역과 동일하게 구분되며, 여기에서 VLF, LF, HF의 비율을 각각 구하였다.

심장과 호흡의 분당 심박수와 호흡수는 차이가 나지만 RRI,

와

데이터를 시계열 데이터로 변환하여 FFT분석을 진행하기에 동일한 대역에서 신호처리 및 분석이 가능하다.

외부의 감각 자극에 의해 감성 변화가 생기면 불수의 생리반응인 내현적 반응을 동반하게 되고 이 때, 심장과 호흡은 교감신경과 부교감신경의 유기적인 작용을 통해 항상성을 유지한다. 따라서 심장과 호흡의 연결성 (동기화)은 HRV와 BRV 스펙트럼의 LF, HF 주파수 대역의 파워량 (PSD) 차이로 계산하였다.

<통계분석>

정규성 검증 결과, 감성에 따른 심전도와 호흡 스펙트럼의 LF대역과 HF대역의 동기화 차이는 정규성을 만족하였다. 따라서 통계적 유의성 검증은 일원배치분산분석 (One-way ANOVA)을 통해 진행하였고, 사후 검증은 Tukey 검정으로 분석하였다. 다중비교 (multiple comparison) 문제를 해결하기 위해 본페로니 교정 (Bonferroni's correction)을 적용하여 통계적 유의 수준을 0.025 (α = 0.05 / 2)로 재설정하였다 (Dunnett, 1955). 실제적 유의성 검증을 위해 사용한 효과크기는

(partial eta-squared)와 d (cohen's d)을 통해 계산하였다. 효과 크기의

값은 일반적으로 0.02, 0.13, 0.26에 따라 낮은 수준, 중간 수준, 높은 수준을 의미한다. 효과 크기의 d 값은 0.20, 0.50, 0.80에 따라 낮은 수준, 중간 수준, 높은 수준을 의미한다. 모든 통계 분석은 SPSS 21 (IBM, USA)을 사용해 분석하였다.

<통계 분석 결과>

본 발명의 실험에서는 일원배치분산분석 (One-way ANOVA)을 통해 감성 (Arousal, Relaxation, Negative, Positive)에 따른 HRV 스펙트럼과 BRV 스펙트럼의 LF 대역과 HF 대역의 동기화 차이에서 통계적으로 유의미한 차이를 확인할 수 있었다 (HF 대역의 동기화: F(3, 68) = 3.605, p = 0.018,

= 0.1372, LF 대역의 동기화: F(3, 68) = 5.075, p = 0.003,

= 0.1823).

사후 검증은 Tukey 검정을 진행하여 각성(흥분, Arousal), 이완(Relaxation), 부정적(Negative), 긍정적(Positive) 감성 간 유의성을 확인하였다. 감성 간 HRV 스펙트럼과 BRV 스펙트럼의 HF 대역의 동기화 분석 결과는 도3에 도시된 바와 같다.

도3에 도시된 바와 같이 각성(Arousal)은 이완(Relaxation)과 통계적으로 유의미한 차이를 확인하였지만, 부정적(Negative)과 긍정적(Positive)과는 통계적으로 유의미한 차이를 확인할 수 없었다 [Arousal (Relaxation: p = 0.008, d = 1.4274, Negative: p = 0.389, d = 0.4174, Positive: p = 0.365, d = 0.4395)]. 이완(Relaxation) 역시 부정적(Negative), 긍정적(Positive)과 통계적으로 유의미한 차이를 확인할 수 없었다 [Relaxation (Negative: p = 0.334, d = 0.4696, Positive: p = 0.358, d = 0.4462)]. 부정적(Negative)은 또한 다른 감성들과 통계적 유의미한 차이를 확인할 수 없었다 [Negative (Positive: p = 1, d = 0)].

감성 간 HRV 스펙트럼과 BRV 스펙트럼의 LF 대역의 동기화 분석 결과는 도4에 도시된 바와 같다.

Arousal(Anger)은 다른 감성들과 통계적으로 유의미한 차이를 확인할 수 없었다 [Arousal (Relaxation: p = 0.593, d = 0.2571, Negative: p = 0.103, d = 0.8152, Positive: p = 0.525, d = 0.3063)]. 이완(Relaxation)도 다른 감성들과 통계적으로 유의미한 차이를 확인할 수 없었다 [Relaxation (Negative: p = 0.712, d = 0.1772, Positive: p = 0.051, d = 0.9945)]. 다만, 부정적(Negative)은 긍정적(Positive)과 통계적으로 유의미한 차이를 확인할 수 있었다 [Negative (Positive: p = 0.002, d = 1.7377)].

<감성간 패턴 분석 결과>

도5는 각성(Arousal)-이완(Relaxation)의 HF 대역에서의 동기화 결과 패턴을 보인다.

HRV 스펙트럼과 BRV 스펙트럼의 HF 대역의 동기화는 각성(Arousal)과 이완(Relaxation)의 감성 사이에 통계적으로 유의미한 결과를 보였다. 동기화 결과는 피험자에 따라 기저라인의 개인차가 존재할 수 있기에 정규화(Normalization) 과정을 진행하였다. HF 대역의 동기화는 4 명의 피험자를 제외한 14 명의 피험자가 동기화 값 0.5를 기준으로 각성(Arousal)은 높고, 이완(Relaxation)은 낮은 패턴을 보였다.

도6은 부정적(Negative)-긍정적(Positive)의 HF 대역에서의 동기화 결과 패턴을 보인다.

도6에 도시된 바와 같이, HRV 스펙트럼과 BRV 스펙트럼의 LF 대역의 동기화는 부정적(Negative)과 긍정적(Positive)의 감성 사이에 통계적으로 유의미한 결과를 보였다. LF 대역의 동기화는 3 명의 피험자를 제외한 15 명의 피험자가 0.5를 기준으로 부정적(Negative)은 낮고, 긍정적(Positive)은 높은 패턴을 보였다.

상기와 같은 본 발명은 본 발명은 인체 내 메커니즘을 고려하여 자율신경계의 영향을 받는 심장과 호흡의 연결성을 통해 감성을 객관적이고, 정량적으로 인식할 수 있는 감성인식 방법을 제시하였다.

최근 사람과 제품, 사람과 서비스간의 감성 소통을 이루는 감성 ICT 기술이 주목 받고 있는데, 감성 ICT 기술 (emotion information communication technology)은 제품이나 서비스를 사용하는 사용자의 감성상태를 인지하고 처리하여 상황에 맞는 서비스를 제공하는 기술로, 정확한 서비스 제공을 위해서는 감성을 정확하게 인식하는 것이 중요하다.

따라서 본 발명에 따르면, 심장과 호흡의 연결성을 통해 감성을 객관적이고, 정량적으로 인식할 수 있게 되며 이는 다양한 산업분야에 융합되어 활용될 수 있을 것이라 예상된다.

이상으로 본 발명에 따른 바람직한 실시 예가 설명되었으나 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다.

Claims (8)

1. 피험자로부터 심전도 데이터와 호흡 데이터를 검출하는 단계;
   상기 호흡 데이터를 이용하여 BRV(Breathing rate variability) 스펙트럼을 생성하는 단계;
   상기 심전도 데이터로 부로 HRV(Heart rate variability) 스펙트럼을 생성하는 단계;
   상기 BRV 스펙트럼과 HRV 스펙트럼을 주파수 대역 별로 동기화 분석을 수행하는 단계; 그리고
   상기 동기화 분석에 의한 값에 따라 상기 피험자의 감성을 판단하는 단계;를 포함하고,
   상기 BRV 스펙트럼은, 상기 호흡의 들숨과 날숨 정보로부터 얻어지는 IRV(Inspiratin rate variability) 스펙트럼 데이터 및 ERV(Expriation rate vatiability) 스펙트럼 데이터로부터 얻는, 심장과 호흡의 연결성을 이용한 감성 인식 방법.
2. 삭제
3. 제1항에 있어서,
   상기 IRV 스펙트럼 데이터와 ERV 스펙트럼 데이터:는 상기 호흡 데이터로부터 들숨 간격(Inspiration time)으로된 들숨 데이터;와 날숨 간격(Expiration time)으로된 날숨 데이터;의 FFT 분석을 통해서 추출하는 것을 특징으로 하는 심장과 호흡의 연결성을 이용한 감성 인식 방법.
4. 제1항에 있어서,
   상기 주파수 대역은 VLF (very low frequency, 0.0033 - 0.04 Hz), LF (low frequency, 0.04 - 0.15 Hz), HF (high frequency, 0.15 - 0.4 Hz)로 구분되는 것을 특징으로 하는 심장과 호흡의 연결성을 이용한 감성 인식 방법.
5. 제1항에 있어서,
   일원배치분산분석 (One-way ANOVA)에 의한 동기화 분석을 수행하고 이를 통해 HRV 스펙트럼과 BRV 스펙트럼의 LF 대역과 HF 대역의 동기화 차이에 의해 상기 피험자의 감성을 각성(Arousal) 또는 이완(Relaxation), 또는 부정적(Negative) 또는 긍정적(Positive)을 판단하는 것을 특징으로 하는 심장과 호흡의 연결성을 이용한 감성 인식 방법.
6. 제5항에 있어서,
   상기 HRV 스펙트럼과 BRV 스펙트럼의 HF 대역의 동기화를 분석하고, 그 결과에 따라 각성(Arusal) 또는 이완(Relaxation)의 감정을 평가하는 것을 특징으로 하는 심장과 호흡의 연결성을 이용한 감성 인식 방법.
7. 제5항에 있어서,
   상기 HRV 스펙트럼과 BRV 스펙트럼의 LF 대역의 동기화를 분석하고, 그 결과에 따라 부정적(Negative) 또는 긍정적(Positive) 의 감성을 평가하는 것을 특징으로 하는 심장과 호흡의 연결성을 이용한 감성 인식 방법.
8. 제1항 또는 제4 내지 제7항 중 어느 한 항에 기재된 방법을 수행하는 심장과 호흡의 연결성을 이용한 감성 인식 장치에 있어서,
   상기 심전도 데이터를 검출하는 심전도 센서;
   상기 호흡 데이터를 검출하는 호흡 센서;
   상기 심전도 센서 및 호흡 센서로부터의 데이터를 처리하는 컴퓨터 기반의 데이터 처리부;를 포함하는 것을 특징으로 하는 심장과 호흡의 연결성을 이용한 감성 인식 장치.

Images