KR20070087787A - 생체신호를 통해 실시간으로 감정을 분류하는감정분류시스템과, 감정분류방법 - Google Patents

Abstract

본 발명은 인간의 뇌파, 심전도, 혈압, 피부전도도, 호흡 등을 측정한 생체신호와, 상기 생체신호가 측정되는 환경에서의 온도 및 습도 등과 같은 환경측정값을 통해 인간의 감정상태를 실시간으로 분류할 수 있는 감정분류시스템과, 이 감정분류시스템을 이용해 감정을 분류하는 방법에 관한 것으로, 피험자의 생체신호를 측정하는 측정수단; 상기 측정수단에 의한 생체신호에서 잡파를 필터링하는 잡파제거수단; 상기 측정수단을 통해 수신된 아날로그 형태의 생체신호를 디지털로 변환하는 A/D변환수단; 인간의 감정에 따라 나타나는 생체신호의 평균적인 데이터를 저장하는 감정정보DB; 및 상기 측정수단으로부터 측정된 생체신호와 대응하는 평균적인 데이터를 상기 감정정보DB에서 검색하는 검색모듈과, 상기 검색모듈에 의해 검색된 데이터를 처리하여 상기 측정수단으로부터 측정된 생체신호에 부합하는 피험자의 감정상태를 연산하는 신호패널인식모듈을 포함하는 감정분류수단을 포함하는 것이다.

Description

생체신호를 통해 실시간으로 감정을 분류하는 감정분류시스템과, 감정분류방법{Emotion Classification system of real time bio signals and Emotion Classification method}

도 1은 본 발명에 따른 생체신호를 통해 실시간으로 감정을 분류하는 감정분류시스템을 도시한 블록도이고,

도 2는 본 발명에 따른 감정분류수단의 분석원리를 모식적으로 도시한 그림이고,

도 3은 본 발명에 따른 감정분류시스템에서 감정분류수단을 통해 도출된 피험자의 감정을 시각적으로 확인할 수 있도록 출력하는 모습을 도시한 도면이고,

도 4는 본 발명에 따른 감정분류방법을 순차 도시한 플로우차트이다.

본 발명은 인간의 뇌파, 심전도, 혈압, 피부전도도, 호흡 등을 측정한 생체신호와, 상기 생체신호가 측정되는 환경에서의 온도 및 습도 등과 같은 환경측정값을 통해 인간의 감정상태를 실시간으로 분류할 수 있는 감정분류시스템과, 이 감정분류시스템을 이용해 감정을 분류하는 방법에 관한 것이다.

과학의 발전은 단순히 기계적인 도구의 개발만을 넘어서 기계와 생명의 결합을 추구하기에 이르렀다. 이러한 혁명적인 기술변화는 바이오 메카트로닉스라는 새로운 기술장르를 창조하였으며, 이는 앞으로도 지속해서 발전할 것이다.

한편, 이러한 기술변화에 발맞춰 인간의 물리적인 작동에 의해서만 제어되는 기계가 인간의 감정을 감지하여 지능적이면서 능동적으로 제어될 수 있도록 하는 연구가 진행되고 있다.

종래, 기계가 인간의 감정을 판단하는 방법으로 뇌파 측정을 통한 감정분류가 있었다. 이러한 종래 감정분류방법은, 인간의 평균적인 뇌파신호를 신호크기에 따라 일률적으로 분류한 후, 분류된 신호크기에 따라 인간의 감정을 단순히 긍정 또는 부정만으로 나누어 출력하는 방법이었다. 즉, 임의 피험자의 뇌파를 측정한 후, 그 결과를 뇌파의 신호크기를 기준으로 분류한 데이터베이스의 데이터와 비교하여 상기 피험자의 현재 감정상태를 추적하는 것이다.

그러나, 종래 방법은 인간의 감정판단에 대한 신뢰도가 낮고 그 분류가 정교하지 못하여, 감정판단 결과에 대한 활용도가 떨어지는 문제가 있었다. 또한, 뇌파신호와 같은 생체신호의 실시간 분석과 생체신호 수신 시 발생하는 잡파의 제거 등이 곤란하여, 감정공학을 적용한 가전제품의 개발이나 훈련용 바이오피드백시스템 개발이 용이하지 못하게 되는 문제가 있었다.

이에 본 발명은 상기와 같은 문제를 해소하기 위해 안출된 것으로, 다양한 생체신호를 검출하여 각각의 생체신호가 의미하는 감정을 분석ㆍ표현함으로서, 분 류된 인간의 감정판단 결과에 대한 신뢰도를 높이는 한편, 수신된 생체신호가 포함하는 잡파를 효율적으로 제거하여 감정판단 결과의 질을 높일 수 있도록 하는 생체신호를 통해 실시간으로 감정을 분류하는 감정분류시스템과, 이를 이용하여 진행되는 감정분류방법의 제공을 기술적 과제로 한다.

상기의 기술적 과제를 달성하기 위하여 본 발명은,

피험자의 생체신호를 측정하는 측정수단;

상기 측정수단에 의한 생체신호에서 잡파를 필터링하는 잡파제거수단;

상기 측정수단을 통해 수신된 아날로그 형태의 생체신호를 디지털로 변환하는 A/D변환수단;

인간의 감정에 따라 나타나는 생체신호의 평균적인 데이터를 저장하는 감정정보DB; 및

상기 측정수단으로부터 측정된 생체신호와 대응하는 평균적인 데이터를 상기 감정정보DB에서 검색하는 검색모듈과, 상기 검색모듈에 의해 검색된 데이터를 처리하여 상기 측정수단으로부터 측정된 생체신호에 부합하는 피험자의 감정상태를 연산하는 신호패널인식모듈을 포함하는 감정분류수단;

을 포함하는 생체신호를 통해 실시간으로 감정을 분류하는 감정분류시스템이다.

상기의 기술적 과제를 달성하기 위하여 본 발명은, 상기 감정분류시스템에 있어서,

피험자가 위치한 환경의 온도를 측정하는 온도측정모듈, 피험자가 위치한 환경의 습도를 측정하는 습도측정모듈, 및 상기 온도측정모듈 및 습도측정모듈에서 측정한 온도 및 습도에 대한 측정값을 통해 불쾌지수를 연산하는 불쾌지수 연산모듈을 포함하는 환경측정수단을 더 포함하는 것이다.

상기의 기술적 과제를 달성하기 위하여 본 발명은, 상기 감정분류시스템에 있어서,

상기 측정수단에 의해 측정되는 생체신호는 뇌파, 심전도, 혈압, 피부전도도 또는 호흡 중 선택된 하나 이상인 것이다.

상기의 기술적 과제를 달성하기 위하여 본 발명은, 상기 감정분류시스템에 있어서, 상기 잡파제거수단은

전기로 구동되는 장치인 상기 측정수단의 구동 시 전기에 의해 발생하는 잡파를 제거하는 로치필터; 및

피험자의 의식적 또는 무의식적인 신체동작으로 발생하는 잡파를 확인하여 제거하는 필터;

로 이루어진 것이다.

상기의 기술적 과제를 달성하기 위하여 본 발명은,

피험자의 뇌파, 심전도, 혈압, 피부전도도 또는 호흡 중 선택된 하나 이상의 생체신호를 측정하는 단계;

측정된 생체신호를 디지털 신호로 변환하는 단계;

측정된 생체신호에서 전기에 의한 잡파 또는, 피험자의 의식적 또는 무의식적인 신체동작으로 발생하는 잡파를 확인하여 제거하는 단계;

인간의 감정에 따라 나타나는 생체신호의 평균적인 데이터를 저장하는 감정정보DB에서, 상기 생체신호에 대응하는 데이터를 검색하고, 해당 검색결과에 따른 감정을 도출해내는 감정분류단계;

를 포함하는 생체신호를 통해 실시간으로 감정을 분류하는 감정분류방법이다.

상기의 기술적 과제를 달성하기 위하여 본 발명은, 상기 감정분류방법에 있어서,

피험자가 위치한 환경의 온도를 측정하는 단계;

피험자가 위치한 환경의 습도를 측정하는 단계;

측정된 온도와 습도를 통해 피험자의 불쾌지수를 연산하는 단계; 및

상기 감정분류단계에서의 감정도출과정에서 상기 온도, 습도 및 불쾌지수를 적용하는 단게;

를 더 포함하는 것이다.

이하 본 발명을 첨부된 예시도면에 의거하여 상세히 설명한다.

도 1은 본 발명에 따른 생체신호를 통해 실시간으로 감정을 분류하는 감정분류시스템을 도시한 블록도로, 이를 이용해 설명한다.

본 발명에 따른 감정분류시스템은 종래 한 종류의 생체신호(뇌파 등)에만 의존하여 인간의 감정을 분류하던 기술적 한계를 넘어, 다양한 종류의 다수 생체신호들을 수집하여 이들을 분석하고 분석된 결과를 통해 인간의 감정을 보다 정확히 분류할 수 있도록 된 것으로서, 다양한 종류의 다수 생체신호를 수집하기 위한 다수의 측정수단(300, 400, 500, 600, 700)과, 이 측정수단으로부터 전송되는 디지털 신호의 잡파를 제거하는 잡파제거수단(200)과, 해당 피험자의 생체신호를 수집하는 현 환경상태의 환경측정값을 측정하는 환경측정수단(800)과, 상기 측정수단(300, 400, 500, 600, 700)과, 환경측정수단(800)으로부터 전송된 데이터들을 조합하여 이들을 연산 및 분석한 후 최종적으로 해당 피험자의 감정을 분류하여 출력하는 감정분류수단(100) 및, 상기 감정분류수단(100)의 분류기준을 제공하는 감정정보DB(900)를 포함한다.

상기 측정수단(300, 400, 500, 600, 700)은 뇌파를 측정하는 뇌파측정수단(300)과, 심장박동수와 박동주기는 물론 심장의 활동을 감지하는 심전도측정수단(400)과, 혈압을 측정하는 혈압측정수단(500)과, 피부전도도를 측정하는 피부전도도측정수단(600) 및, 호흡량 및 호흡주기 등의 호흡활동상태를 측정하는 호흡측정수단(700) 등을 포함한다.

상기 뇌파측정수단(300)은 일반적인 뇌파측정기구로, 뇌에서 일어나는 전기 적 활동을 기록하고 분석한다.

주지된 바와 같이, 뇌의 신경세포는 독특한 모양의 규칙적인 전기충격을 일으키는데 이런 뇌파의 모양을 측정하고 기록하는 뇌파계를 통해 뇌전도(electroencephalogram/EEG)를 측정할 수 있다.

상기 뇌파측정수단(300)은 피험자의 머리에 밀착되어 두 전극 사이의 전위차를 감지하는 뇌파신호감지모듈(310)과, 상기 뇌파신호감지모듈(310)로부터 수신된 신호를 디지털 신호로 변환하는 A/D변환모듈(320)을 포함한다.

일반적으로, 상기 뇌파신호에는 피험자의 의식이 정상이고 쉬고있는 상태인 어른의 EEG는 규칙적으로 되풀이되면서 진동하는 파장을 보이는 α파가 있다. 이러한 α파는 흥분하거나 놀랐을 때 없어지면서 진폭이 적고 주파수가 높은 불규칙한 파형을 보이며, 잠자는 동안이나 혼수상태일 때도 이러한 파형을 보인다.

한편, 뇌가 다른 이상(異常) 상태에 있을 때도 특색있는 EEG가 나타나는 δ파가 있다. 상기 δ파는 불규칙적이고 느린 뇌파로 손상된 뇌 근처에서 나타난다.

그런데, 상기 뇌파는 뇌활동을 연구하고 중추신경계 여러 부위 간의 연결관계를 알아보는 데 용이하나, 감정을 표현하고 생각을 하는 등의 뇌가 하는 복잡한 많은 기능은 EEG를 통해 잘 나타나지 않으므로, 종래와 같이 뇌파만을 가지고 인간의 감정을 분류하는 것은 한계가 있다.

상기 심전도측정수단(400)은 심장이 박동하는 동안 심장근육에 의해 생겨나는 전류를 측정하기 위해 피험자의 신체 여러부위에 전극을 붙이고 심장에서 생기는 미세한 전류를 감지하는 심전도신호감지모듈(410)과, 상기 심전도신호감지모듈 (410)로부터 수신된 신호를 디지털 신호로 변환하는 A/D변환모듈(420)을 포함한다.

상기 심전도신호감지모듈(410)의 전극은 사지와 흉부벽 등의 표준화된 부착위치가 있다. 한편, 정상 심전도는 심장의 심방과 심실의 교대 수축을 반영하는 전형적인 상하 파동을 보인다. 위쪽으로 향해 있는 첫번째 파(波)인 P파는 심방수축 때문에 나타나며 심방 콤플렉스라고 한다. 다른 파인 Q, R, S와 T는 모두 심실의 작용 때문에 발생하는 것으로 심실 콤플렉스라고 한다.

일반적으로, 인간의 심장은 감정변화에 민감하게 반응하는 장기로, 이에 대한 특성을 활용하여 본 발명에서는 상기 심전도측정수단(400)을 통해 피험자의 감정을 분류해 낸다.

이외에도, 심장박동수와 혈류량을 측정하기 위해 손가락의 중지에 감지기구를 부착할 수 있다.

상기 혈압측정수단(500)은 심장의 펌프 작용으로 혈액이 혈관 벽에 미치는 힘을 측정하는 것으로, 상완에 감고 부풀릴 수 있는 고무 커프스(미도시됨)와 상기 커프스와 연결되어 압력을 감지하는 장치를 포함하는 혈압신호감지도뮬(510)과, 상기 혈압신호감지모듈(510)로부터 수신된 신호를 디지털 신호로 변환하는 A/D변환모듈(520)을 포함한다.

주지된 바와 같이, 혈압은 2개의 숫자로 표현되는데, 심장이 박동할 때마다 혈압은 수축기 수준까지 올라가고 박동 사이에는 이완기 수준으로 떨어진다. 이를 이용하여 상기 혈압신호감지모듈(510)은 공기로 상기 커프스를 부풀리는 동안 팔꿈치에 청진기와 같은 장치를 놓는다. 이때, 공기가 방출하면서 발음되는 첫번째 소 리가 수축기압을 나타내고, 공기의 방출이 계속됨에 따라 똑똑 떨어지는 소리가 들리다가 소리가 사라지는데, 사라지기 직전의 마지막 소리가 이완기압을 나타낸다. 상기 혈압신호감지모듈(510)은 이렇게 발음되는 소리를 아날로그신호로 수신하며, 상기 A/D변환모듈(520)은 해당 아날로그신호를 디지털신호로 변환시킨다.

상기 피부전도도측정수단(600)은 피부전기전도도(Electrodermal activity)를 측정하기 위한 것으로, 피험자의 피부전기전도도 변호를 측정하기 위한 전극과 이 전극으로부터 전기변화에 대한 신호를 수신하는 기구를 포함하는 피부전도도신호감지모듈(610)과, 상기 피부전도도신호감지모듈(610)로부터 수신된 신호를 디지털 신호로 변환하는 A/D변환모듈(620)을 포함한다.

피부전도도는 땀샘의 변화지표에 따라 자율신경계 반응을 측정하는데 사용되는 것으로, 그 측정이 간단하고 반복성이 크므로 자율신경계를 측정하기 위한 간단하고 유용한 감정분류 인자이다.

일반적으로, 피부전도도를 측정하기 위해서는 엄지와 검지에 상기 전극을 부착한다.

상기 호흡측정수단(700)은 호흡량, 호흡주기 및 호흡의 규칙성 등을 측정하는 호흡신호감지모듈(710)과, 상기 호흡신호감지모듈(710)로부터 수신된 신호를 디지털 신호로 변환하는 A/D변환모듈(720)을 포함한다.

이상 상술한 측정수단(300, 400, 500, 600, 700)은 인간의 감정에 따라 생리적인 변화를 보이는 것으로, 각 감지모듈(310, 410, 510, 610, 710)을 통해 아날로그신호로 수신한 후, 상기 감정분류수단(100)에서 처리가능한 신호인 디지털신호로 변환한다.

상기 측정수단(300, 400, 500, 600, 700)으로부터 전송되는 상기 디지털신호는 상기 측정수단(300, 400, 500, 600, 700)의 작동 중 발생하는 잡음파형과 같이 전기적인 특성에 의해 필연적으로 피할 수 밖에 없는 잡파와, 인체의 반응에 의해 발생한 잡파 등을 포함한다. 따라서, 본 발명에 따른 감정분류시스템의 신뢰도를 높일 수 있도록, 상기 잡파를 제거한다.

상기 잡파제거수단(200)은 전기로 작동되는 각 측정수단(300, 400, 500, 600, 700)에 의해 필연적으로 발생하는 잡파를 제거하는 제1필터(210)와 인체의 반응에 의해 발생한 잡파를 제거하는 제2필터(220)를 포함한다.

상기 제1필터(210)는 상술한 바와 같이 생체신호를 감지하는 민감한 감지장비를 필터링하는 일반적인 로치필터가 적용될 수 있다.

상기 제2필터(220)는 인체의 자율신경계로 제어되어 무의식적으로 일어나는 동작으로 인해 발생하는 잡파를 제거하기 위한 것으로, 몸의 떨림, 근육의 경련 또는 눈깜박임 등으로 인해 상기 신호감지모듈(310, 410, 510, 610, 710)들로부터 감지되는 생체신호에 미세한 신호가 잡파의 형태로 포함되면, 이를 필터링한다.

상기 제2필터(220)의 잡파제거는 다음과 같은 과정을 통해 수행되며, 여기서는 잡파의 발생원인 중 하나인 눈깜박임에 의해 잡파가 포함된 뇌파신호를 필터링하는 방법을 예로 들어 설명한다.

눈깜박임으로 나타나는 잡파에 대하여 부분적인 하이패스 필터링(High pass filtering)을 수행하여 잡파를 제거한다. 즉, 눈깜박임에 의해 발생하는 고주파만 을 제거함으로서 델타파의 손상을 최소화함은 물론, 발생하는 고주파의 잡파를 실시간으로 제거하는 것이다.

상술한 바와 같이, 눈깜박임은 뇌파신호의 평균치보다 높은 고주파영역으로 수신되므로, 고주파영역의 신호를 잡파로 간주하고 제거한다. 하지만, 고주파영역에는 다소 불규칙한 주기를 가지면서 인간의 감정을 분류하는데 큰 인자가 될 수 있는 델타파가 포함될 수 있으므로, 순수한 뇌파신호와 잡파를 분리시키기 위해 상호상관계수(cross correlation parameter)를 이용한다.

상호상관계수는 서로 다른 신호 간의 관련성을 정량화하는데 사용될 수 있으며, 여기서는 눈깜박임의 신호를 매개변수로 하여 계산한다.

상기 매개변수들은 각 파형을 나타내기보다는 그 구간의 통계적인 성질을 나타낸다.

[수학식 1]은 Pearson 상호상관계수에 대한 연산식으로, 정상인의 눈깜박임과 관련된 잡파가 나타나는 뇌파신호와, 미리 측정된 눈깜박임에 대한 [수학식 2]의 조화평균값으로 생성된 매개변수 값과의 상관관계를 계산하여 눈깜박임으로 추정되는 부위를 검색한다.

[수학식 1]에서의 r 값은 '0'에서 '1'사이의 값으로 나타나며, 본 발명에 따른 감정분류시스템에서는 [수학식 2]의 매개변수 값과의 상관관계를 계산한 결과, 상기 r값이 0.8을 넘으면 해당 신호를 잡파로 간주할 수 있다.

[수학식 1]의

는 상기 뇌파측정수단(300)으로부터 검출된 뇌파신호이 고,

는 [수학식 2]의 결과이다.

[수학식 2]의 경우, 본 발명에 따른 실시예에서는 U(t)의 평균함수인 y(t)을 구하기 위해 비피험자 10인으로부터 각각 표본샘플(U)들을 관측하였다.

상기 제2필터(220)는 상기 [수학식 1] 및 [수학식 2]를 통해 작동하면서 뇌파신호 내 잡파를 검색하고, 검색된 구간을 분리한 뒤 [수학식 3]를 통해 4hz, 80ms 이상값을 고주파로 하여 필터링한다.

또한, 상술한 과정을 통해 재구성된 뇌파신호는 원 뇌파신호의 눈깜박임 부분에 재 삽입함으로서 눈깜박임에 대한 잡파를 제거한다.

동일한 방식으로, 전두엽 부분에 부착한 상기 뇌파신호감지모듈(310)의 뇌파신호도 필터링할 수 있다.

한편, 재구성되는 뇌파신호는 눈깜박임에 의한 제거영역인 0.15 ~ 0.2sec에 해당하는 부분만 4Hz의 고주파를 필터링 처리하고 나머지 영역에서 0.2hz 이하 부분 또한 필터링 함으로서 델타파의 손상을 최소화한다.

여기서, 상기 0.15 ~ 0.2sec에 한정하는 이유는 눈깜박임이 일어나는 시간이 0.15 ~ 0.2sec 이내로, 이보다 짧거나 그 이상의 경우에는 해당 고주파가 잡파가 아닌 델타파일 수 있기 때문이다. 한편, 0.2hz 이하는 검출되는 뇌파영역이 아니므로 순수한 뇌파만을 분리해내기 위해 일반적으로 제거된다.

한편, 고주파의 기준값이 4Hz는 변경될 수 있으므로 상술한 값에 한정되지 않는다.

계속해서, 본 발명에 따른 감정분류시스템은 상술한 생체신호만을 토대로 인간의 감정을 분류하는 것이 아니고, 감정에 영향을 줄 수 있는 환경적 요인도 감정을 분류하는 인자로서 활용한다.

이를 위해 본 발명에 따른 감정분류시스템은 환경측정수단(800)을 더 포함한다.

상기 환경측정수단(800)은 온도를 측정하는 온도측정모듈(810)과, 습도를 측정하는 습도측정모듈(820)을 포함하며, 상기 온도측정모듈(810) 및 습도측정모듈(820)을 통해 측정된 값을 통해 불쾌지수를 측정하는 불쾌지수연산모듈(830)을 더 포함한다.

상기 온도와 습도 및 불쾌지수는 상술한 생체신호를 계량화하기 위한 것으로, 생체신호가 환경적 요인에 의해 변화될 수 있음에 착안하였다. 또한, 실시간으로 감지되는 생체신호의 처리와 발맞춰 실시간으로 계량화 처리될 수 있도록 환경측정값을 0.25초당 128hz로 수집한다.

[수학식 4]의 Ta는 건구온도이고, RH는 상대습도를 나타내며, 상기 불쾌지수연산모듈(830)의 연산기준식으로 활용된다. 이때, [수학식 4]의 연산값은 68 ~ 86이며, 그 값이 작을수록 쾌적하다. 이렇게 검출 및 연산된 환경측정값은 상기 감성분류수단(100)을 통해 연산되어 피험자의 감정상태를 보다 정확하게 분류할 수 있다.

본 발명에 따른 감정분류시스템은 상기 측정수단(300, 400, 500, 600, 700)에서 감지한 생체신호를 이용해 실시간으로 피험자의 감정상태를 분류할 수 있도록 하는데 그 특징이 있는 것으로, 이를 위해 다음의 과정으로 생체신호 및/또는 환경측정값이 상기 감성분류수단(100)에 전송된다.

상기 측정수단(300, 400, 500, 600, 700)으로 상기 감정분류수단(100)에서 전송한 생체신호의 전송명령이 수신되면, 상술한 A/D변환 및 필터링 작업을 거쳐 각 측정수단(300, 400, 500, 600, 700) 및/또는 환경측정수단(800)에서 측정된 생 체신호 및 환경측정값이 감정분류수단(100)에 전송된다.

이때, 상기 생체신호 및/또는 환경측정값은 연속적으로 감정분류수단(100)의 메모리에 순차 저장되며, 이렇게 순차 저장되는 생체신호 및/또는 환경측정값에 관한 데이터는 지정된 순으로 처리되도록 하는 스레드를 통해 일정단위로 연산처리된다.

상기 감정분류수단(100)은 상술한 과정을 통해 전송되어 온 생체신호 및/또는 환경측정값의 패턴을 인식하는 신호패턴인식모듈(120)과, 상기 신호패턴인식모듈(120)이 생체신호의 패턴을 인식하기 위한 비교값인 상기 감정정보DB(900)의 저장데이터를 검색하는 검색모듈(110)을 포함한다.

여기서 상기 감정정보DB(900)가 저장하는 저장데이터는 상기 생체신호를 행복, 불쾌, 화남 및 슬픔 등의 4가지 감정별로 그 범위가 설정된 것으로, 상기 검색모듈(110)은 수신된 생체신호가 어느 범위에 존재하는지를 검색하여 상기 신호패턴인식모듈(120)이 피험자의 감정상태를 판정할 수 있도록 필요한 저장데이터를 검색한다.

이때, 상기 감정정보DB(900)에 저장된 저장데이터는 다수인으로부터 이를 수집하여 일반적인 평균치를 낸 것이며, 피험자의 신체적 특성으로 인한 상기 평균치와의 차이를 최소화하기 위해 절대적인 수치가 아닌 상대적인 수치를 비교하여 당해 피험자의 감정상태를 판정한다.

한편, 상기 신호패턴인식모듈(120)은 장비훈련 알고리즘의 일종인 ANN(Artificial Neural Network) 알고리즘을 통해 생체신호의 패턴을 인식한다.

상기 ANN 알고리즘은 실제값인 피험자의 생체신호를 훈련하기 위해 상기 감정정보DB(900)의 저장데이터로부터 벡터값을 도출하는 함수이다.

'1'은

일 때 적용되고, '-1'은 이외의 경우에 적용된다.

입력값이 여러개 존재할 경우 상기 신호패턴인식모듈(120)은 [수학식 5]를 통해 상기 감정정보DB(900)의 저장데이터와 상기 측정수단(300, 400, 500, 600, 700)에서 감지한 생체신호에 대한 데이터를 각각 ANN 알고리즘에 적용하여 1 또는 -1 값을 연산 출력한다.

[수학식 5]를 통해 나온 결과물은 훈련된 함수값에 따라 2진수의 출력값으로 표현된다. 여기서 2진수의 출력값이란, {00, 01, 10, 11}과 같은 4가지의 경우로 도출된 값을 말하며, 각각이 인간 감정의 한 요소인 행복, 불쾌, 화남, 슬픔을 대변하게 된다.

즉, 본 발명에 따른 상기 감정분류수단(100)의 작동을 통해 상술한 2진수의 출력값이 최종적으로 연산되어 도출되고, 해당 값에 대응하는 감정이 결과로서 출력되는 것이다.

도 2는 본 발명에 따른 감정분류수단의 분석원리를 모식적으로 도시한 그림 이다.

(a)도면은 상기 측정수단(300, 400, 500, 600, 700)으로부터 측정된 5가지의 생체신호를 받아, 각각의 신호 즉 디지털신호가 지니는 값을 세분화하여, 다른 생체신호와의 약속된(훈련된) 관계와 비교하여 최종적으로 2진수의 값이 도출되는 모습을 보인 것이고, (b)도면은 상기 측정수단(300, 400, 500, 600, 700)으로부터 측정된 5가지의 생체신호를 최종적으로 3자리의 2진수 값으로 도출되는 모습을 보인 것이다.

3자리의 2진수의 형태로 결과가 도출될 경우에는 최대 8가지의 결과를 기대할 수 있으며, 이를 통해 보다 섬세한 인간의 감정을 구분 및 표현해낼 수 있다.

한편, 도 2를 통해 보인 연산과정은 본 발명에 따른 일실시예로, 입력되는 생체신호는 상술한 5가지에 한정되는 것은 아니며, 그 이상 또는 그 이하일 수도 있다.

이상 상술한 방법을 통해 출력되는 결과인 감정상태는 도 3에 도시된 바와 같이 현재 피험자의 감정상태를 시각적으로 타인이 쉽게 인식할 수 있도록 출력할 수도 있다.

도 3의 (a)는 행복, 불쾌, 화남, 슬픔의 정도를 조절할 수 있는 스크롤이고, (b)는 기하학적으로 상술한 감정의 비율을 보인 그래프이고, (c)는 행복, 불쾌, 화남, 슬픔의 정도변화에 따라 시각적으로 피험자의 감정상태를 확인할 수 있도록 하는 애니메이션이다.

이외에도, 상기 환경측정수단(800)을 통해 확인된 현재의 온도와 습도 및, 이를 통한 불쾌지수 등이 감정도출의 변수로 작용하여 상기 감정분류수단(100)의 최종 결과값을 수정할 수도 있다.

이상 상술한 감정분류시스템을 통한 감정분류방법을 설명한다.

도 4는 본 발명에 따른 감정분류방법을 순차 도시한 플로우차트인바, 이를 참조하여 설명한다.

S10 ; 생체신호습득단계

상술한 바와 같이, 상기 측정수단(300, 400, 500, 600, 700)은 피험자의 생체신호, 즉 뇌파, 심전도, 혈압, 피부전도도 및 호흡 등의 신호를 감지한다.

즉, 뇌파측정수단(300)의 뇌파신호감지모듈(310)과, 심전도측정수단(400)의 심전도신호감지모듈(410)과, 혈압측정수단(500)의 혈압신호감지모듈(510)과, 피부전도도측정수단(600)의 피부전도도신호감지모듈(610) 및 호흡측정수단(700)의 호흡신호감지모듈(710)는 각각 피험자의 해당 부위에 부착되어 필요한 신호를 수신한다.

이때 수신되는 아날로그 신호이다.

S20 ; A/D변환단계

상기 감지모듈(310, 410, 510, 610, 710)로부터 수신된 각각의 아날로그신호는 본 발명에 따른 감정분류시스템의 처리가 용이하도록 디지털신호로 변환된다. 일반적으로, 상기 측정수단(300, 400, 500, 600, 700)에는 A/D변환모듈(320, 420, 520, 620, 720)이 탑재되어 상기 A/D변환과정을 수행한다.

S30 ; 제1필터링단계

상기 측정수단(300, 400, 500, 600, 700)은 전기로 작동하는 전기전자장비로, 상술한 측정수단과 같이 민감한 신호를 잡아 처리하는 섬세한 전기기기의 경우에는 전기의 흐름에 의해 발생되는 각종 노이즈 등의 잡파를 제거해야 한다. 일반적으로, 상술한 잡파는 로치필터를 통해 제거된다.

S40 ; 제2필터링단계

상기 측정수단(300, 400, 500, 600, 700)은 신체 일부에 부착되어서, 특정 부분에서 발생하는 전기적인 신호의 변화를 감지하는 것인 바, 인체의 자율신경계에 지배되는 신체의 특정부분이 피험자의 의사에 상관없이 갑작스런 동작으로 발생하는 잡파를 수신할 수 있다. 상기 잡파는 정확한 측정을 방해하므로, 이를 필터링해야 하며, 본 발명에서는 이러한 필터링을 상기 제2필터(220)을 통해 실현한다.

제2필터(220)의 작동은 이미 상술한 바 있으므로 여기서는 생략한다.

S50 ; 환경측정값 적용단계

본 발명에 따른 감정분류시스템은 현재 피험자가 위치하는 환경의 온도 및 습도 등을 감지하여 최종적으로 상기 피험자의 불쾌지수를 도출한 후, 도출된 결과값을 감정분류에 적용하도록 된다. 따라서, 상기 환경측정수단(800)은 피험자가 위치한 환경의 온도 및 습도를 측정하고 이를 연산하여 불쾌지수를 도출해내며, 이렇게 도출된 결과값을 상기 측정수단(300, 400, 500, 600, 700)을 통해 측정된 생체신호의 연산에 참조하거나, 주요 변수로 입력하도록 한다.

S60 ; 감정분류단계

상기 측정수단(300, 400, 500, 600, 700)들로부터 측정된 생체신호와, 상기 환경측정수단(800)으로부터 측정된 환경측정값은 본 발명에 따른 감정분류시스템의 감정분류수단(100)을 통해 상기 감성정보DB(900)에 저장된 훈련내용에 따라 연산, 처리된다.

상술한 바와 같이 연산, 처리된 결과는 인간의 감정요소인 행복, 불쾌, 화남, 슬픔으로 최종 결정된다. 물론, 상술한 감정요소에만 한정되는 것은 아니며, 입수된 생체신호 및 환경측정값의 결과를 보다 세분화하여서 더 많은 종류의 감정요소로 분류할 수도 있다.

이상 상기와 같은 본 발명에 따르면, 본 발명에 따른 생체신호를 통해 실시간으로 감정을 분류하는 감정분류시스템은 신체 각 기관의 종합적인 생리신호를 실시간 검출하여 인간의 감정상태를 알려주는 것으로, 감성공학이 적용된 가전기기 개발에 이용될 수 있어, 인간의 감성에 따라 최적의 주거 및 작업환경을 제공할 수 있는 편의를 제공하는 효과가 있다.

또한, 뇌파, 심박, 호흡, 피부전기반사, 맥파활동에 대한 실시간 스펙트럼 분석을 통해 인간의 현재 생체활동 상태에 관한 정보를 시각적인 피드백을 제공함으로써 사용자 스스로 안정상태를 조절하도록 하는 바이오피드백 훈련방법을 적용시킬 수 있다. 이때, 상기 바이오피드백 훈련이란, 자기조절을 통한 피드백 학습을 통하여 집중력과 내적으로 초점적 주의 상태와 관련된 생체패턴에 도달시킴으로서 양궁이나 골프퍼팅과 같은 집중력과 주의를 요하는 스포츠 분야의 효율적인 훈련과정을 촉진시키고 수행을 증진시키는데 효과적으로 사용되는 것이다.

Claims (6)

1. 피험자의 생체신호를 측정하는 측정수단;

   상기 측정수단에 의한 생체신호에서 잡파를 필터링하는 잡파제거수단;

   상기 측정수단을 통해 수신된 아날로그 형태의 생체신호를 디지털로 변환하는 A/D변환수단;

   인간의 감정에 따라 나타나는 생체신호의 평균적인 데이터를 저장하는 감정정보DB; 및

   상기 측정수단으로부터 측정된 생체신호와 대응하는 평균적인 데이터를 상기 감정정보DB에서 검색하는 검색모듈과, 상기 검색모듈에 의해 검색된 데이터를 처리하여 상기 측정수단으로부터 측정된 생체신호에 부합하는 피험자의 감정상태를 연산하는 신호패널인식모듈을 포함하는 감정분류수단;

   을 포함하는 것을 특징으로 하는 생체신호를 통해 실시간으로 감정을 분류하는 감정분류시스템.
2. 제 1 항에 있어서,

   피험자가 위치한 환경의 온도를 측정하는 온도측정모듈, 피험자가 위치한 환경의 습도를 측정하는 습도측정모듈, 및 상기 온도측정모듈 및 습도측정모듈에서 측정한 온도 및 습도에 대한 측정값을 통해 불쾌지수를 연산하는 불쾌지수 연산모듈을 포함하는 환경측정수단을 더 포함하는 것을 특징으로 하는 생체신호를 통해 실시간으로 감정을 분류하는 감정분류시스템.
3. 제 1 항에 있어서,

   상기 측정수단에 의해 측정되는 생체신호는 뇌파, 심전도, 혈압, 피부전도도 또는 호흡 중 선택된 하나 이상인 것을 특징으로 하는 생체신호를 통해 실시간으로 감정을 분류하는 감정분류시스템.
4. 제 1 항에 있어서, 상기 잡파제거수단은

   전기로 구동되는 장치인 상기 측정수단의 구동 시 전기에 의해 발생하는 잡파를 제거하는 로치필터; 및

   피험자의 의식적 또는 무의식적인 신체동작으로 발생하는 잡파를 확인하여 제거하는 필터;

   로 이루어진 것을 특징으로 하는 생체신호를 통해 실시간으로 감정을 분류하는 감정분류시스템.
5. 피험자의 뇌파, 심전도, 혈압, 피부전도도 또는 호흡 중 선택된 하나 이상의 생체신호를 측정하는 단계;

   측정된 생체신호를 디지털 신호로 변환하는 단계;

   측정된 생체신호에서 전기에 의한 잡파 또는, 피험자의 의식적 또는 무의식적인 신체동작으로 발생하는 잡파를 확인하여 제거하는 단계;

   인간의 감정에 따라 나타나는 생체신호의 평균적인 데이터를 저장하는 감정정보DB에서, 상기 생체신호에 대응하는 데이터를 검색하고, 해당 검색결과에 따른 감정을 도출해내는 감정분류단계;

   를 포함하는 것을 특징으로 하는 생체신호를 통해 실시간으로 감정을 분류하는 감정분류방법.
6. 제 5 항에 있어서,

   피험자가 위치한 환경의 온도를 측정하는 단계;

   피험자가 위치한 환경의 습도를 측정하는 단계;

   측정된 온도와 습도를 통해 피험자의 불쾌지수를 연산하는 단계; 및

   상기 감정분류단계에서의 감정도출과정에서 상기 온도, 습도 및 불쾌지수를 적용하는 단게;

   를 더 포함하는 것을 특징으로 하는 생체신호를 통해 실시간으로 감정을 분류하는 감정분류방법.

Images