KR102240870B1 - 신경계 동기화를 이용한 사회 지능 평가 방법 및 장치 - Google Patents

Abstract

사회 지능을 평가하는 방법 및 시스템을 제시한다. 평가 방법:은 T3 및 T4 신호의 변화량을 검출하여 긍정(positive) 감성을 평가하고, T4 신호의 변화량을 검출하여 공감(Empathy) 감성을 평가하고, F7 신호의 변화량을 검출하여 긍정 감성의 평가하고, F4 신호의 변화량을 검출하여 부정 감성을 평가하고, Fp1, F3, F7, Fz, Pz, T5 신호의 변화량을 검출하여 친밀 감성을 평가하고, C3, P3 신호의 변화량 및 상기 ECG 신호로부터 얻은 SDNN 을 이용해 비공감(Non-emphathy) 감성을 평가하고, 그리고 GSR의 진폭의 변화량을 검출하여 이용해 비친밀 감성을 평가한다.

Description

신경계 동기화를 이용한 사회 지능 평가 방법 및 장치{Method and Apparatus for Estimating Social Intelligence Levels Model using Autonomic and Central Nervous System Mutual Synchronization}

본 개시는 신경계 동기화를 이용한 사회 지능 인식 방법 및 장치에 관한 것으로 상세하게는 사회 지능 수준이 다른 개인간의 사회적 감성전이에 따른 생리반응 차이를 확인하여 사회 지능 수준 평가 모델에 관한 것이다.

인류는 주변 환경으로부터 자신을 보호하고 효율적으로 생존하기 위해 사회적 결속을 맺어왔다. 결속은 사회적 집단을 생성했으며, 집단의 결속을 강화하기 위한 메커니즘이 발달해왔다. 그 중 언어가 가장 명확한 정보 교환 수단이지만, 감성의 발달과 표출, 다른 사람의 감성을 읽어내는 능력, 그리고 감성전이 (Emotion contagion) 또한 중요한 메커니즘이다(Silk, 2007). 감성 전이란 '다른 사람의 얼굴 표정, 말투, 목소리, 자세 등을 자동적이고 무의식적으로 모방하고 자신과 일치시키면서 감정적으로 동화되는 경향'이다 (Hatfield et al., 1993). 사회적 관계 속에서 인간은 무의식적으로 상대방을 모방하게 된다. 이 때, 뇌는 타인의 행동을 보고 마치 그것을 직접 행동하는 것처럼 따라 연습하게 된다. 얼굴 표정, 몸짓 등 행태 모방을 동작 모방(Motor mimicry)라고 하며, 심박, 호흡, 호르몬 등 내현적 정보의 모방을 자율 모방(Autonomic mimicry)라고 한다. 즉, 감성전이는 타인의 외현적, 내현적 정보를 모방하는 과정에서부터 시작되며, 뇌의 변연계(Old brain)에서 처리되는 무의식적 반응과 거울 신경 체계(Mirror neuron system)가 감성전이의 생물학적 메커니즘을 설명한다(Iacoboni, 2009). 감성전이는 언어에 비해 구체성이 떨어진다. 반면에 무의식적으로 자동 발생하며, 신경 체계의 전기적 반응으로 이루어지기 때문에 다른 커뮤니케이션 수단보다 더 빨리 정보를 전달하는 방법이 될 수 있다.

감성전이를 통해서 전달되는 감성은 주로 사회 감성 (Social Emotion)이다. 사회 감성은 사회적 관계에서 발생하는 감성을 말한다. 개인의 물리적 상태에 대한 인식만으로 발현되는 독립 감성과는 다르게 사회 감성은 개인 간 상호작용 상황에서 발현되며, 타인이 나를 어떻게 생각하느냐에 대한 인지여부와 공감 그리고 상호 교류에 의해 사회 감성은 유발된다 (Oatley and Johnson-Laird, 1987; Parkinson, 1996). 감성 전이 또한 둘 이상의 개인 간 상호작용 상황에서 발생하며, 개개인이 교류하는 상호작용을 동기화시킨다(Christakis and Fowler, 2009). 대인관계에서 발현되는 사회 감성은 무의식적으로 상대를 모방하는 과정에서 전달되며, 전달된 감성과 상대방에 대한 정보가 행태와 생리반응을 동기화 시킨다.

상대방과 내현적, 외현적으로 동기화 되는 것은 무의식적인 모방에 의해 발생하지만, 해당 정보로 타인의 감성과 생각을 파악하는 것은 의도적인 인지적 프로세스에 의해 수행된다. 다른 사람의 감성을 읽어내는 인지적 프로세스와 관련된 능력을 사회 지능이라고 한다. 추상적 지능, 기계적 지능과 함께 하나의 독립적인 지능이며, '사회적 단서를 이해하고 사회적 인간관계 속에서 현명하게 행동하는 능력'으로 정의한다 (Thorndike, 1920). 즉, 상대방으로부터 전이된 '타인의 감성'과 상호작용 과정에서 유발된 '자신의 감성'을 모두 이해하고 이것을 바탕으로 대인관계를 위한 적절한 행동을 취하는 능력인 사회 지능의 구성 개념은 감성전이와 사회감성의 개념과 밀접하게 연관되어 있다.

사회 지능은 개인 간 관계에서 자신뿐만 아니라 '타인'의 행동, 생각 그리고 감성을 이해하고 그에 맞는 적절한 행동을 하는 능력이다 (Marlowe, 1986). 지능(Intelligence)은 주어진 환경에 잘 적응하고, 경험으로부터 학습할 수 있는 인간의 타고난 인지적 능력으로 설명 된다(Neisser et al., 1996).

사회 지능의 개념을 최초로 주장한 Thorndike (1920)는 인간의 지능을 사회적 지능, 추상적 지능, 기계적 지능으로 구분하고 사회 지능을 하나의 독립된 지능으로 보았다. 사회 지능을 '대인관계에서 타인에 대한 이해 및 관리를 용이하게 할 수 있는 능력'이라고 정의하며, 타 인과의 관계를 맺는데 중요한 요소로 강조한다. Gardner (1983)는 지능을 '한 문화권 혹은 여러 문화권에서 가치 있게 인정되는 문제를 해결하고 산물을 창조하는 능력'으로 정의한다. 그는 인간의 지적 능력을 다양한 관점에서 바라보고 이를 통해 인간의 잠재력을 파 악하고자 다중 지능이론을 제안했다. 다중 지능이론은 인간의 지적 능력을 학업 지능의 범주에서만 다루는 것이 아닌 9종류의 상호 독립적 지능으로 구분하고 포괄적인 지능으로 확장시킨다. 모든 사람이 소요하고 있는 지능유형을 언어 지능(Linguistic Intelligence), 논리수학 지능(Logical-mathematical Intelligence), 음악 지능(Musical Intelligence), 신체운동 지능(Bodily-kinesthetic), 공간 지능(Spatial Intelligence), 인간친화 지능(Interpersonal Intelligence), 자기성찰 지능(Intrapersonal Intelligence), 자연친화 지능(Naturalistic Intelligence), 영적 지능(Spiritual Intelligence)으로 분류한다. 인간친화 지능과 자기성찰 지능은 대인관계의 문제를 해결하는 능력으로 사회 지능의 개념으로 볼 수 있다.

사회 지능 연구에서 구성 개념은 연구자 간 일치된 견해를 보이고 있지 않다. Ford and Tisak (1983)은 행동측면에서 사회 지능을 해석했다. 사회적 상황에서 목표 성취를 위한 사회적 행동의 효율성과 적합성을 사회 지능이라 정의했으며, 학습에 대한 개인의 능력인 학업 지능과는 구분되는 개념이라 주장했다. Marlowe (1986)의 다차원 개념은 사회적 흥미, 사회적 자기효능감, 감정이입 기술, 사회적 수행 기술로 구성된 4개의 차원으로 사회 지능을 해석하고, Barnes and Sternberg (1989)는 사회적 지식, 사회적 지각, 사회적 통찰로 사회 지능을 구분하고 있다. Riggio et al. (1991)는 사회 지능의 인지적 차원 개념을 의사소통 시 개인차를 기준으로 체계적으로 분류했다. 비언어적 측면(정서영역)과 언어적 측면(사회영역)으로 구분하고, 각 개념을 다시 표현성, 통제, 민감성으로 세분화했다. Kosmitzki and John (1993)은 사회 지능이 다면적 구조(Multifaceted construct)로 이루어져 있다고 주장하며, 7가지 하위 요소를 정의하였다. 이후 Wong et al. (1995)이 실험을 통해 다면적 구조 가설을 지지했다. 또한 사회 지능의 대표 개념을 인지적 차원(Cognitive aspect)과 행동적 차원 (Behavior aspect)으로 구분하였다. 인지적 차원은 타인의 감성 정보를 통해 사회적 정보를 습득하는 과정을 의미하며, 행동적 차원은 습 득한 정보를 기반으로 적절한 사회적 행동과 반응을 수행하는 능력을 의미한다. Silvera et al. (2001)은 사회적 자각(Social Awareness; SA), 사회적 정보 처리(Social information Process; SP), 사회적 기술(Social Skills; SS)로 구성 개념을 구분한다. 사회적 자각, 사회적 정보 처리는 인지적 차원의 하위 요소로 정의하고, 사회적 기술은 행동적 차원의 하위요소로 정의하여 자가 보고식 사회 지능 척도를 개발 했다. Crowne (2013)은 사회 지능, 감성 지능, 문화 지능을 구분하고 서로 독립적으로 존재하는 개념임을 밝히고, 사회 지능이 학습을 통해 향상될 수 있음을 보고했다(Goleman and Boyatzis, 2008).

선행 연구를 통해 학업 지능과 사회 지능은 독립적인 개념이라는 것이 입증되었으며, 학습을 통해 사회 지능이 향상될 수 있는 것을 알 수 있다. 구성 개념은 크게 인지적 차원과 행동적 차원으로 분류할 수 있으나 개별 연구들에 따라 세부 요소가 다르게 설명되었다. 종 합하면 사회 지능의 인지적 차원은 대인관계에서 상호작용으로 전달되는 감성, 행동, 의도 정보를 이해하는 능력을 의미하고, 행동적 차 원은 습득한 사회적 정보를 바탕으로 원만한 대인관계를 위해 수행하는 적절한 대응능력을 의미한다.

개개인의 뛰어난 능력이 중요하게 평가되던 과거와는 달리 현대사회는 공동의 생산성이 중요하게 여겨진다. 이에 따라 개인에게 요구되는 능력도 변하고 있다. 과거에는 빠르게 지식을 습득하고 활용할 수 있는 능력인 학업 지능이 성공의 요건으로 여겨졌지만, 현대사회에서는 협업을 위한 대인관계 능력이 관심의 대상이다. 원만한 대인관계를 유지하고 빠르게 집단에 적응하는 능력인 사회 지능(Social Intelligence)이 학업 지능보다 사회적 행동을 더 효율적으로 설명할 수 있어, 집단의 문제를 해결하는데 요구되는 사회적 기능을 예측하는데 더 효과적이다.

사회 지능은 후천적으로 형성되며, 성인이 된 후에도 지속적인 연습을 통해 능력을 향상시킬 수 있다. 비록 국내에서는 관련 연구가 미흡한 편이지만, 타 국가의 경우 사회 지능 향상을 위한 학습 제도가 도입되고 있는 추세이며 다양한 방식으로 사회 지능 교육 프로그램이 개발되고 있다.

전술한 바와 같이 선행 연구들이 사회 지능과 학업 지능이 차별화된 영역임을 입증하고, 사회 지능의 다차원적 특성을 밝혀냈으며(Barnes and Sternberg, 1989; Marlowe, 1986; Wong et al., 1995), 학습 효과가 검증된 교육 프로그램이 다수 등장하고 있음에도 사회 지능 평가 도구는 여전히 관찰 평가 혹은 자기보고식 주관 평가 방식을 따르고 있다. 주관 평가의 경우 사회적 바람직성에 관한 논란이 있어 객관적 평가 지표로 활용하기 어렵다. 또한, 사회 지능을 각기 다른 방식으로 평가하게 되면 시간소모가 매우 많고 복잡하며 결과를 즉각적으로 확인하지 못한다 (Silvera et al., 2001). 특히, 국내의 경우에는 해외 연구 기반의 주관 평가 측정 지표를 활용하고 있기 때문에 언어와 문화의 차이를 고려한 평가 지표의 재검증이 이루어져야 하는 단점이 존재한다.

Atkinson, AP, Dittrich, WH, Gemmell, AJ and Young, AW, "Emotion Perception from Dynamic and Static Body Expressions in Point-Light and Full-Light Displays" Perception, 33(6), 717-746, 2004 Barnes, ML and Sternberg, RJ, "Social Intelligence and Decoding of Nonverbal Cues" Intelligence, 13(3), 263-287, 1989 Borg, J, Body Language: 7 Easy Lessons to Master the Silent Language FT press, 2009 Bernhardt, BC, Klimecki, OM, Leiberg, S and Singer, T, "Structural covariance networks of the dorsal anterior insula predict females' individual differences in empathic responding" Cerebral Cortex, 24(8), 2189-2198, 2013 Christakis, NA and Fowler, JH, Connected: The Surprising Power of our Social Networks and how they Shape our Lives. Little, Brown, 2009 Collett, P, The Book of Tells: How to Read People's Minds from their Actions. Random House, 2004 Crowne, KA, "Cultural exposure, emotional intelligence, and cultural intelligence an exploratory study" International Journal of Cross Cultural Management, 13(1), 5-22, 2013 Ekman, P and Friesen, WV, Manual for the Facial Action Coding System, Consulting Psychologists Press, 1978 Ford, ME and Tisak, M, "A further search for social intelligence" Journal of Educational Psychology, 75, 196-206, 1983 Gardner, H, Frame of Mind: The Theory of Multiple Intelligence, New York: Bascial Books, 1983 Goleman, D, Emotional intelligence, Bantam, 2006 Goleman, D and Boyatzis, R, "Social intelligence and the biology of leadership" Harvard Business Review, 86(9), 74-81, 2008 Hatfield, E, Cacioppo, JT and Rapson, RL, "Emotional Contagion" Current Directions in Psychological Science, 2(3), 96-100, 1993 Iacoboni, M, Mirroring People: The New Science of how we Connect with Others Farrar, Straus and Giroux, 2009 Jabbi, M, Bastiaansen, J and Keysers, C, "A common anterior insula representation of disgust observation, experience and imagination shows divergent functional connectivity pathways", PLoS One, 3(8), e2939, 2008 Kelly, KR and Moon, SM, "Personal and Social Talents" Phi Delta Kappan, 79(10), 743-746, 1998 Kim, HK, "Interactional Functions of Nodding in Conversation" The Sociolinguistic Journal of Korea, 20(1), 1-26, 2012 Kosmitzki, C and John, OP, "The implicit use of explicit conceptions of social intelligence" Personality and Individual Differences, 15(1), 11-23, 1993 Lee, EC, Whang, M, Ko, D, Park, S and Hwang, ST, "A New Social Emotion Estimating Method by Measuring Micro-movement of Human Bust" In: Watada J, Shiizuka H, Lee KP, Otani T, Lim CP (eds) Industrial Applications of Affective Engineering Springer, Cham 2014 Lee, WR and Whang, MC, "The Accuracy of Recognizing Emotion from Korean Standard Facial Expression" The Journal of the Korea Contents Association, 14(9), 476-483, 2014 Lischke, A, Pahnke, R, Mau-Moeller, A, Behrens, M, Grabe, HJ, Freyberger, HJ and Weippert, M "Inter-individual Differences in Heart Rate Variability Are Associated with Inter-individual Differences in Empathy and Alexithymia" Frontiers in Psychology, 9, 229, 2018 Neisser, U, Boodoo, G, Bouchard Jr, TJ, Boykin, AW, Brody, N, Ceci, SJ and Urbina, S, "Intelligence: Knowns and unknowns", American Psychologist, 51(2), 77, 1996 Marlowe, HA, "Social Intelligence: Evidence for Multidimensionality and Construct Independence" Journal of Educational Psychology, 78(1), 52, 1986 Nelson, A and Golant, SK, You Don't Say: Navigating Nonverbal Communication between the Sexes, Prentice Hall, 2004 Oatley, K and Johnson-Laird, PN, "Towards a Cognitive Theory of Emotions" Cognition and Emotion, 1(1), 29-50, 1987 Parkinson, B, "Emotions are Social" British Journal of Psychology, 87(4), 663-683, 1996 Park, MJ, "The Effects of Congruence between Facial Expression and Body Gesture on Emotion Recognition", MS Thesis, Sangmyung University, 2017 Park, NJ, Yang, SH and Cho, IS, "A Study on the development of program for the improvement of young children's social intelligence and its effect" The Journal of Korea Open Association for Early Childhood Education, 10(1), 107-130, 2005 Park, SW, "Original Articles: The Validity and Reliability Testing of The Tromso-Social Intelligence Scale in Korean College Students", Journal of Korean Academy of Psychiatric and Mental Health Nursing, 16(2), 190-197, 2007 Pease, B and Pease, A, The Definitive Book of Body Language: The Hidden Meaning Behind People's Gestures and Expressions, Bantam, 2008 Riggio, RE, Messamer, J and Throckmorton, B, "Social and academic intelligence conceptually distinct but overlapping construct", Personality and Individual Difference, 12(7), 695-702, 1991 Shin, C and Hwang, SH, "The Influences of Social Intelligence of Hotel Employees on Social Support and Work Performance", International Journal of Tourism Management and Sciences, 24(6), 437-456, 2010 Silk, JB "Social Components of Fitness in Primate Groups" Science (New York, NY) 3175843, 1347-1351, 2007 Silvera, D, Martinussen, M and Dahl, TI, "The Tromsø Social Intelligence Scale, a self-report Measure of Social Intelligence", Scandinavian Journal of Psychology, 42(4), 313-319, 2001 Stein, PK, Bosner, MS, Kleiger, RE and Conger, BM, "Heart rate variability: a measure of cardiac autonomic tone" American Heart Journal, 127(5), 1376-1381, 1994 Teplan, M, "Fundamental Of EEG Measurement", Measurement Science Review, 2(2), 1-11, 2002 Thorndike, EL, "Intelligence and its Uses", Harper's Magazine, 140, 1920 Wong, CT, Day, JD, Maxwell, SE and Meara, NM, "A Multitrait-Multimethod Study of Academic and Social Intelligence in College Students" Journal of Educational Psychology, 87(1), 117-133, 1995 Zaki, J, Ochsner, KN, Hanelin, J, Wager, TD and Mackey, SC, "Different circuits for different pain: patterns of functional connectivity reveal distinct networks for processing pain in self and others", Soc Neurosci, vol 2, 276-291, 200

모범적 실시 예는 기존 사회 지능 평가 도구의 한계점과 단점을 보완하고, 나아가 생리반응을 기반으로 즉각적이고 객관적인 사회 지능 평가 방가 방법 및 장치를 제시한다.

모범적 실시 예는 신경계 동기화를 이용한 사회 지능 평가 방법 및 장치를 제시한다.

모범적 실시 예에 따른 사회 지능 평가 방법:은

피험자로부터 전두엽(Fp1, F7), 측두엽(T3, T4, T5, T6), 후두엽(O2), 두정엽(P3, P4, Pz) 및 중심구(C3, Cz) 신호를 포함하는 뇌파(EEG) 신호와 심전도 (ECG) 신호 및 피부 전기 전도도(GSR) 을 측정하는 측정 단계;

긍정 감성(positive emotion) 상황에서의 T3 및 T4 신호의 변화량과 공감 감성(empathy emotion) 상황에서 T4 신호의 변화율을 검출하여 각 변화율을 기설정된 룰베이스의 기준치를 비교하여 하위 그룹을 평가하는 제1분류 단계;

제1분류단계를 거친 비하위 그룹에 대하여, 긍정 감성 상황에서의 F7 신호의 변화율, 부정 감성(negative)에서의 F4 신호의 변화율, 친밀 감성(intimacy emotion) 상황에서의 Fp1, F3, F7, Fz, Pz, T5 신호의 변화율, 비공감 감성(non-empathy emotion) 상황에서 C3, P3 신호의 변화량, 비공감 감성(non-empathy emotion) 상황에서 ECG 신호로부터 얻은 SDNN, 비친밀 감성(non-intimacy emotion) 상황에서 GSR의 진폭의 변화율을 검출하여 기설정된 룰베이스의 기준치를 비교하여 중위 그룹과 상위 그룹을 분류하는 제2분류 단계; 를 포함한다.

바람직한 실시 예에 따르면, 제1분류 단계의 긍정 감성 상황에서, T3 측두엽 신호는 13~30 Hz 범위의 베타 신호로부터 추출할 수 있다.

바람직한 실시 예에 따르면, 제1분류단계의 긍정 감성 상황에서, T4 측두엽 신호는 15~20Hz 범위의 베타파로부터 추출할 수 있다.

바람직한 실시 예에 따르면, 제2분류 단계의 긍정 감성 상황에서, F7 전두엽 신호는 15~20Hz 범위의 베타 파로부터 추출할 수 있다.

바람직한 실시 예에 따르면, 제2분류단계의 부정 감성 상황에서, F4 신호는 15~20Hz 범위의 베타 파로부터 추출할 수 있다.

바람직한 실시 예에 따르면, 제2분류 단계의 친밀 감성 상황에서,

Fp1 신호는 4~8Hz 범위의 세타파 및 30~50 범위의 감마 파로부터 추출하고,

F3 신호는 4~8Hz의 세타 파로부터 추출하고,

F7 신호는 4~8Hz의 세타 파로부터 추출하고,

Fz 신호는 15~20Hz 범위의 베타 파로부터 추출하고,

Pz 신호는 13~30Hz 범위 베타 파로부터 추출하고, 그리고

T5 신호는 15~20 Hz 범위의 베타 파로부터 추출할 수 있다.

모범적 실시 예에 따르면, 제2단계의 비공감 감성 상태에서,

C3 신호와 P3 신호는 30~50 Hz의 감마 파에서 각각 추출할 수 있다.

상기 방법을 수행하는 사회 지능 평가 시스템:은

뇌파를 측정하는 뇌파 측정 시스템;

심전도를 측정하는 심전도 측정 시스템;

피부 전기 전도를 측정하는 GSR 시스템; 그리고

상기 시스템들로부터의 신호를 분석하여 사회적 감성의 하위 그룹, 중위 그룹 및 상위 그룹을 평가하는 분석 시스템;을 구비할 수 있다.,

도1은 모범적 실시 예에서 적용하는 긍정 감성과 부정 감성의 애니메이션을 예시한다.
도2는 사회 지는 레벨에 의한 피험자의 빈도를 예시하는 그래픽 챠트이다.
도3은 뇌파 전극 배치 방법에 관한 10-20 시스템 하에서, 모범적 실시 예에 따라 감성 평가 별로 이용되는 전극을 예시한다.
도4는 모범적 실시 예에 따라 ECG 신호를 이용한 비공감 감성에 대한 사회 지능 레벨 별 SDNN 평균의 차이를 예시하는 그래픽 챠트이다.
도5는 모범적 실시 예에 따라 ECG 신호를 이용한 부정 감성에 대한 사회 지능 레벨 별 평균 진폭의 차이를 예시하는 그래픽 챠트이다.
도6은 모범적 실시 예에 따라 GSR 신호를 이용한 비친밀(불편) 감성에 대한 사회 지능 레벨 별 평균 진폭의 차이를 예시하는 그래픽 챠트이다.
도7은 모범적 실시 예에 따른 사회 지능 평가 모델을 예시한다.

이하 첨부된 도면을 참고하면서 모범적 실시 예에 따른 신경계 동기화를 이용한 사회 지능 평가 방법 및 장치를 상세하게 설명한다.

모범적 실시 예에 따른 사회 지능 평가 도구(방법 및 장치)를 개발하기 위해 선행 연구를 통한 감성 전이와 사회 감성의 개념이 이론적 배경으로 사용되었다.

모범적 실시 예에 따른 사회 지능 평가 시스템 또는 장치는 EEG를 측정하는 뇌파를 측정하는 뇌파 측정 시스템, 심전도를 측정하는 심전도 측정 시스템, 피부 전기 전도를 측정하는 GSR 시스템 그리고 상기 시스템들로부터의 신호를 분석하는 컴퓨터 기반의 분석 시스템을 포함한다.

감성전이 과정에서 발생하는 인지 활동과 생리반응이 상대방을 파악하는 능력에 따라 다르게 발생할 것으로 예상했으며, 이러한 생리반응 차이를 이용하여 사회 지능 수준을 추론할 수 있는 평가 모델 구축을 시도하였다.

사회 지능 평가 도구를 개발하는 과정에서, 감성전이 과정에서 사회 지능 수준에 따른 생리반응의 차이를 확인하는 실험을 진행했다. 연구 대상자(피험자)들에게 사회 감성전이를 유도하고, 동시에 중추신경계 반응과 자율신경계 반응을 측정하였다.

사회 감성 중, 긍정도, 공감도, 친밀도 감성에서 생리반응의 차이를 확인한 기존 연구들에 기초하여 자극과 생리반응 변수(parameter)를 선정했다(Lischke et al., 2018; Bernhardt et al., 2013; Zaki et al., 2007; Jabbi et al., 2008; Lee et al., 2014). 연구 대상자들의 사회 지능은 트롬소 사회 지능 척도(Tromso-Social Intelligence Scale)를 통해 평가되었다. 트롬소 척도는 사회 지능을 평가하는데 타당성과 신뢰성이 검증된 자기보고식 주관 평가다. 사회 지능의 높고 낮음을 상대적으로 구분하기 위해, 점수 빈도에 따라 상중하 세 그룹으로 나눴다. 그 결과로 생리반응 기반 사회 지능 평가 모델이라는 개발이라는 목표에 도달했다. 객관적이고 편리한 사회 지능 평가 도구에 대한 필요성이 제기되는 상황임을 고려할 때, 본 발명에 따른 연구 결과는 기존 평가 도구의 단점을 극복하고, 한계점을 보완하며 추후 정량적 사회 지능 평가 도구 개발의 기초 자료로서 가치를 가질 것으로 기대된다.

<피험자>

연구 대상자(피험자) 는 상명대학에 재학 중인 대학생으로, 선정기준은 고지에 입각하여 자발적으로 연구참여에 동의한 자, 연구 목적 및 연구 과 정에 대해 이해할 수 있는 자로 하였다. 20~31세 사이의 한국인 대학생 48명이 선정되었으며, 평균 연령 23.96세, 표준편차는 2.84세 였다. 성별 분포는 남성이 24명(50%), 여성이 24명(50%)으로 동일했다. 모든 연구대상자는 색각(色覺)을 포함하여 정상 시력이거나 시 력 교정을 받았으며, 신체적 정신적 병력이 없었다. 연구 참여 전날 충분한 수면을 취했고, 음주, 흡연, 카페인 등의 섭취가 금지되었다.

<실험 절차>

실험에 앞서 연구대상자는 트롬소 사회지능 척도(The Tromso-Social Intelligence Scale; TSIS) 중 사회적 인식(Social Awareness; SA)에 관련된 설문을 주관 평가했다. 본 실험에서는 LCD 모니터 앞에 앉아 임의의 순서대로 재생되는 사회 감성 표현 아바타 애니메이션을 시청했다. 사회 감성은 긍정도(Valence), 친밀도(Intimacy), 그리고 공감도(Empathy) 등이었으며, 각 감성을 2종류의 세부 감성으로 분류 했다. '긍정도'는 긍정 감성(Positive emotion)과 부정 감성(Negative emotion)을 포함했으며, '공감도'는 공감(Empathy emotion), 비공감 (Non-empathy emotion), '친밀도'는 친밀(Intimacy emotion), 불편(Non-intimacy emotion) 감성을 포함했다.

첫 번째 영상 세트를 시청 하기 전, 180초 동안 휴식 상태를 유지했다. 15초 동안 첫 번째 세부 감성 영상을 시청한 후 30초 동안 휴식했으며, 다시 15초 동안 두 번째 세부 감성 영상을 시청했다. 이후 두 번째, 세 번째 영상 세트 시청도 동일한 과정으로 진행되었다. 이와 동시에 생리신호가 측정되었다. 중추신경계 반응인 EEG (Electroencephalogram), 그리고 자율신경계 반응으로서 ECG (Electrocardiogram)와 GSR (Galvanic skin response)이 측정되었다.

<감성 표현 아바타>

감성전이를 유도하기 위해 사람 형태의 아바타(avatar)가 얼굴 표정과 몸짓으로 특정 감성을 표현하는 애니메이션 영상을 자극으로 도1에 도시된 바와 같이 제시하였다. 실제 대인간의 상호작용을 통해 감성전이를 유도할 경우, 통제할 수 없는 잠재 변수의 발생이 우려되었다. 예를 들어, 상호 작용 이전에 상대방의 첫 인상에 대한 인지적 판단으로 발생하는 생리반응이 연구 결과에 잠재 변수로 작용할 가능성이 있었다. 또, 항상 일정한 상호작용을 유도하기 어렵다는 단점도 있었다. 사람 형태의 아바타 애니메이션을 사용할 경우, 항상 일정하고 명확하게 감성 표현이 가능하며, 잠재 변수를 통제하기도 용이했다.

아바타가 표현할 목표 감성으로 사회 감성(Social emotion)을 채택하였다. 본실험에서는 사회 감성으로서, 긍정도(긍정, 부정), 친밀도(친밀, 비친밀(불편)), 공감도(공감, 비공감) 감성이 명확하게 표현된 아바타 애니메이션이 자극으로 선정되었다.

동적인 감성 자극이 정적인 이미지보다 더 잘 인식된다는 기존 연구 결과에 따라 아바타 애니메이션을 자극으로 사용했다(Atkinson et al., 2004). 애니메이션 파일은 MP4 형식의 비디오 클립이었다. 각 영상의 길이는 15초로 동일했으며, 해상도 1280 x 720픽셀, 재생률은 30fps이었다. 아바타는 어두운 갈색 머리와 눈을 가진 남성이며, 얼굴 표정과 몸짓으로 감성을 표현했다. 얼굴 표정은 FACS(Facial Action Coding System) (Ekman and Friesen, 1978)와 한국 표준 얼굴 이미지(KSFI) (Lee and Whang, 2014) 기반의 표준화된 표정을 재현했다. 몸짓 표현은 표준화된 모델이 확립되어 있지 않아 상체 제스처의 일반적인 행동으로 정의되었다(Borg, 2009, Collett, 2004, Kim, 2012, Nelson and Golant, 2004, Pease and Pease, 2008). 아바타 애니메이션은 세 가지 상태로 구성되었다. 처음 3초 간은 휴지 상태, 이후5초 간 중립 상태, 마지막 7초 간 감성 표현 상태였다.

<트롬소 사회 지능 척도>

트롬소 사회지능 척도(tromso-social intelligence scale)는 사회적 정보 처리(Social Information Processing; SP), 사회적 기술(Social Skills; SS), 사회적 인식(Social Awareness: SA)이라는 사회지능의 세 가지 하위 영역을 포함한다(Silvera et al., 2001). 사회적 인식은 트롬소 사회지능 척도의 세 가지 구성 영역 중 하나로 개인이 타인의 행동과 감성을 이해하기 위한 감성 인식과 표현 능력에 관련된 항목으로, 감성 별 얼굴 표정과 몸짓 표현 인식에 관련이 높은 영역이다. 따라서, 아바타의 감성 표현 동기화에 따른 생리반응 차이를 확인하기 위한 설문 항목으로 채택되었다.

설문지는 총 6항목으로 구성되었으며, 각 항목은 리커트 척도(Likert Scale)로 최저 0점에서 최고 6점까지 평가할 수 있었다. 설문 항목은 한국어로 번역되는 과정에서 문화적 차이를 고려하여, 국내 대학생을 표본으로 유효성과 신뢰성을 재검증한 연구를 통해 정제된 항목을 사용했다(Park, 2007; Shin and Hwang, 2010).

<데이터 프로세싱>

각 설문지의 6항목 총 점수를 기준으로 빈도분석을 실시한 후, 누적 백분율을 토대로 사회지능 수준을 구분했다. 사회지능 수준은 상위 집단(누적 백분율 70%), 중위 집단(누적 백분율 40%), 하위 집단으로 구분했다. 누적 백분율에 해당하는 유효 점수가 존재하지 않는 경우, 오차 범위가 작은 쪽의 유효 점수를 구분점으로 삼았다.

<통계적 분석>

사회지능 수준에 따라 사회지능 설문 점수 간의 통계적 차이를 확인하기 위해 통계적 분석(Statistical analysis) 중 하나인 일원배치 분산분석(One-way ANOVA)을 실시한 후, 사후검정으로 쉐페 검증(Scheffe test)을 시행했다. 쉐페 검증은 집단의 샘플 수가 다르더라도 검정이 가능하다는 특성을 가지고 있다. 따라서, 분석할 데이터의 성격을 고려하여 사후검정 방법으로 채택하였다.

<EEG 측정>

뇌파(Electroencephalogram: EEG)는 Mitsar-EEG 202 system (Mitsar Co. Ltd., Russia)을 사용하여 국제 10-20 시스템에 따라 측정하였으며, LabVIEW 2014 (National Instruments Corporation, USA) 프로그램을 통해 디지털화 되었다. 총 19개 부위(Fp1, Fp2, F7, F3, Fz, F4, F8, T3, C3, C4, T4, T5, P3, Pz, P4, T6, O1, O2, Cz)를 측정하였으며, Cz 채널에서 얻은 신호는 레퍼런스(신호)로 사용하였다. 피험자에게 자극이 없는 중립 상태와 애니메이션에 노출되는 표현 상태인 경우를 각각 측정하였다. 각 채널에서 얻은 EEG 신호들은 FFT (Fast Fourier Transform)를 사용하여 주파수 영역에서 분석되었다. 측정된 신호의 EOG (Electrooculogram)와 기타 노이즈 제거를 위해 3~50Hz 대역의 버터워스 필터(Butterworth band-pass filter)를 적용하였다. 알파파 (8~13Hz), 세타파 (4~8Hz) 및 감마파 (30~50Hz) 등의 주파수 파워는 전체 신호(4~50Hz)에 대한 상대적 파워(Relative power)와 중립상태 대비 표현상태의 변화에 대한 파워 비율(Power ratio)을 8개의 지표로 추출되었다. 본 실험에 활용된 EEG 파워 스펙트럼 지표(Power spectrum indicator)는 아래의 표1에 정리되었다.

<ECG 측정>

심전도 (Electrocardiogram: ECG) 신호는 Biopac MP100 system (Biopac System, Inc., USA)을 사용하여 측정했으며, LabVIEW 2014 (National Instruments Corporation, USA) 프로그램을 통해 디지털화 되었다. ECG 신호로부터 BPM (Beat per minute), SDNN (Standard Deviation of Normal to Normal interval), 평균 진폭(Amplitude)을 추출했다. 중립 영역과 표현 영역에서 측정한 데이터를 비교하여 BPM, SDNN, 평균 진폭의 변화율을 계산했다.

<GSR 측정>

GSR(Galvanic skin response, 전기적 피부 반응, 또는 피부 전기 반응) 신호는 Biopac MP100 system (Biopac System, Inc., USA)으로 측정되었으며, LabVIEW 2014 (National Instruments Corporation, USA) 프로그램을 통해 디지털화 되었다. GSR 신호로부터 평균 진폭을 추출했으며, 아바타 애니메이션의 중립 상태에서 측정한 값과 표현 상태에서 측정한 값을 비교하여 변화율을 계산하였다.

<통계적 분석>

EEG, ECG, GSR로부터 추출한 데이터에서 정상분포를 벗어난 이상치(異狀値, Outlier)는 표준편차의 ±3 영역을 기준으로 제거되었다. 사회지능 수준(상위 집단, 중위 집단, 하위 집단)에 따라 감성전이 과정에서 발생하는 EEG, ECG, GSR 반응 차이를 확인하고자 일원배치 분산분석(One-way ANOVA)을 실시했다. 분산분석이 수행되기 전, 기본 가정 사항인 데이터의 정규성과 등분산성을 평가하기 위해 샤피로-윌크 검정(Shapiro-Wilk test)과 레빈 검증(Levene test)를 각각 수행했다. 정규성과 등분산성을 모두 만족하는 경우, 일원배치 분산분석을 수행한 후 사후검정으로 쉐페 검증을 실시했다. 쉐페 검증은 집단의 수가 다르더라도 분석이 가능하다는 장점이 본 실험 데이터의 특성과 부합하여 선택했다. 정규성은 만족하지만 등분산성은 만족하지 못한 경우에는 일원배치 분산분석 대신 웰치 분산분석(Welch's ANOVA)를 수행한 후, 사후 검정으로 게임스-하울 검정(Games-Howell test)을 실시하였다. 정규성 가정을 만족하지 못하는 경우에 수행 가능한 모수 검정은 일치된 의견이 없어, 비모수 검정인 크루스칼-월리스 검증(Kruskal-Wallis test)로 분석한 후 사후검정으로 맨-휘트니 검정(Mann-Whitney test)을 수행하였다.

<실험 결과>

<사회 지능 레벨>

빈도분석 결과, 설문의 총 점수는 평균 20.67점, 표준편차 5.27점이며, 점수 분포는 최저 10점에서 최고 32점으로 나타났다. 누적 백분율을 토대로 집단을 구분한 결과, 사회지능 총 점수 10점부터 17점까지는 하위 집단, 18점에서 23점까지는 중위 집단, 24점부터 32점까지는 상위 집단으로 구분되었으며, 집단의 빈도는 13명, 19명, 16명으로 나타났다. 도2에 도시된 바와 같은 일원배치 분산분석 결과, 사회적 인식과 관련된 설문의 총 점수에 따라 사회지능 수준별 세 집단의 유의미한 평균 차이(F = 129.465, p < .001)를 확인했으며, 사후검정을 통해 세 집단 모두에서 유의미한 차이(p < .001)를 확인했다.

<EEG 분석 결과>

긍정, 부정, 공감, 비공감 등의 여러 감성 상태의 아바타 시청을 통한 감성 자극에 대한 EEG 분석 결과는 다음과 같다. 도3은 각 감정 상태에서 유의미한 결과를 보인 채널의 위치(회색바탕)를 나타내 보인다.

가. 긍정 감성

긍정 감성의 경우, 전두엽(F7), 측두엽(T3, T4, T5, T6), 후두엽(O2)에서 파워 변화량의 유의미한 차이를 확인할 수 있었다.

F7 채널에서, RMB(Relative Mid Beta)의 변화량이 중위-상위 그룹 간의 유의미한 차이(Z = -2.269, p < .05)를 보였고, 하위-상위 그룹 간에서도 유의미한 차이(Z = -1.983, p < .05)를 보였다.

T3 채널에서는 RB(Relative Beta)의 변화량은 하위-중위 그룹 간(Z = -2.174, p < .01), 하위-상위 그룹 간의 유의미한 차이(Z = -2.846, p < .001)를 보였다.

T4-채널에서 RB(Relative Beta)의 변화량은 하위-중위 그룹(Z = -2.927, p < .01), 하위-상위 그룹(Z = -2.776, p < .01)을 유의미하게 구분할 수 있었고, RMB(Relative Mid Beta)의 변화량은 하위-중위 그룹 간(Z = -3.040, p < .01), 하위-상위 그룹 간 유의미한 차이(Z =-3.266, p < .001)를 보였다.

T5 채널에서 RFA(Relative Fast Alpha)의 변화량은 하위-상위 그룹 간 유의미한 차이(Z =-2.741, p < .01)를 보였다.

T6 채널에서 RG(Relative Gamma)의 변화량이 하위-중위 그룹 간 유의미한 차이(Z = -2.883, p < .01)를 보였다.

그리고, O2 채널에서 RG(Relative Gamma)의 변화량이 하위-중위 그룹 간 유의미한 차이(Z = -2.426, p < .05)를 보였다.

나. 부정 감성

부정 감성에서는, 전두엽(F3), 측두엽(T4), 후두엽(O2)에서 주파수 변화량의 유의미한 차이를 확인할 수 있었다. 하위-중위 그룹은 T4 채널의 RHB(Relative High Beta (RHB)의 변화량(Z = -2.727, p < .01)과 O2 채널의 RMB(Relative Mid Beta)의 변화량(Z = -2.699, p < .01)을 통해 유의미하게 구분할 수 있었다. 중위-상위 그룹은 F4 채널의 RMB(Relative Mid Beta) 변화량 차이가 통계적으로 유의했다(MD = -33.55739, p < .05).

다. 공감 감성

공감 감성의 경우, 측두엽(T4)에서만 유의미한 주파수 변화량 차이가 관찰되었다. T4 채널에서 RMB(Relative Mid Beta)의 변화량이 하위-중위 그룹 간(Z = -2.295, p < .05), 하위-상위 그룹 간 유의미한 차이(Z = -2.051, p < .05)를 보였다.

라. 비공감 감성

비공감 감성의 경우, 두정엽(P3, P4)과 중심구(C3)에서 주파수 변화량의 유의미한 차이를 확인할 수 있었다. 두정엽의 P3 채널에서 RG(Relative Gamma)의 변화량의 중위-상위 그룹 간 차이(Z = -2.269, p < .05)와 P4 채널에서 RSA(Relative Slow Alpha)의 변화량의 하위-상위 그룹 간 차이(p < .05)가 유의미했다. 중심구(C3) 채널에서는 RG(Relative Gamma)의 변화량이 중위-상위(Z = -2.75, p < .01)와 하위-상위(Z = -2.976, p < .05) 간에 차이를 보였으며, RSA(Relative Slow Alpha)의 변화량이 하위-상위(Z = -2.44, p < .014) 간에 차이를 보였다.

마. 친밀 감성

친밀 감성의 경우, 전두엽(Fp1, F7, F3, Fz), 측두엽(T5) 그리고 두정엽(Pz)에서 유의미한 차이가 확인되었다.

하위-중위 그룹 간의 차이는 전두엽의 F3 채널의 RFA(Relative fast alpha)의 변화량(Z = -2.477, p < .05)과 두정엽의 Pz 채널의 RB(Relative beta)의 변화량(Z = -2.623, p < .01)이 유의미했다.

중위-상위 그룹 간에는 Fp 채널의 의 RT(Relative theta) 변화량(Z = -2.272, p < .05)과 RG(Relative gamma)의 변화량(MD = 61.02984, p < .05), F7 채널의 RT(Relative theta) 변화량(Z = -3.243, p < .001), F3 채널의 RT(Relative theta)의 변화량(MD = -43.21142, p < .05), Fz 채널의 RMB(Relative mid beta)의 변화량(MD = 42.48319, p < .05), T5-Channel의 Relative mid beta (RMB) 변화량(MD = -26.71764, p < .05) 그리고 Pz-Channel의 Relative beta (RB) 변화량(Z = -2.064, p < .05) 차이가 통계적으로 유의했다. 하위-상위 그룹 간에는 통계적으로 유의미한 차이를 보이지 않았다.

바. 불편(비친밀) 감성

불편 감성의 경우, 측두엽(T3)과 중심구(C3)에서 그룹 간 차이를 확인할 수 있었다. T3 채널의 RB(Relative beta)의 변화량은 하위 그룹과 상위 그룹 간 유의미한 통계적 차이(Z = -2.444, p < .05)를 보여주었다. 또한, C3 채널의 RMB(Relative mid beta) 의 변화량은 하위 그룹과 중위 그룹 간 차이(MD = -37.35612, p < .01)가 유의했다.

<ECG 분석 결과>

ECG(Electrocardiogram) 분석에 따르면, 공감도 감성 중 비공감 감성을 표현한 아바타 애니메이션을 시청한 경우, 사회지능 수준에 따라 유의미한 SDNN 변화율 차이(F = 6.108, p < .05)를 확인할 수 있었다. 특히, 도4에 도시된 바와 같이, 사후검정 결과 중위 집단과 상위 집단 간의 유의미한 차이(p < .05)가 발생했으며, 하위 집단과 상위 집단 간에도 유의미한 차이(p < .05)를 확인할 수 있었다.

긍정도 감성 중 부정 감성을 표현한 아바타 애니메이션을 시청한 경우, 사회지능 수준에 따라 평균 진폭(Amplitude) 변화율의 유의미한 차이(F = 3.562, p < .05)가 발생했으며, 도5에 도시된 바와 같이 사후검정 결과 하위 집단과 중위 집단 간의 차이(p < .05)를 확인할 수 있었다.

<피부 전기 반응>

GSR(Galvanic skin response) 분석에 따르면, 친밀도 감성 중 불편(Non-intimacy) 감성 표현 아바타 애니메이션을 시청한 경우, 사회지능 상위, 중위, 하위 집단에 따라 GSR의 평균 진폭(Amplitude)의 변화량에 유의미한 차이를 확인했다(χ2 = 6.841, p < .05). 중위 그룹과 상위 그룹이 유의미하게 구분되었고(U = 82.000, p < .05), 하위그룹과 상위 그룹 간에도 차이가 발생했다(U = 56.000, p < .05)

<사회적 지능 수준 평가 모델>

특정 감성 표현 아바타 자극에 따라 사회지능 수준 간에 유의미한 차이를 보이는 인디케이터(indicator)의 조합으로 사회지능 수준을 구분하는 모델(사회적 지능 수준 평가 모델(Social intelligence level estimation model)이 개발되었다. 특정 집단이 긍정, 공감 감성 자극을 시청할 때 발생하는 EEG 변화율로 사회지능 하위 집단과 그 외의 집단으로 구분한다. 하위 집단 이외의 집단은 긍정, 친밀, 부정, 비공감, 불편 감성을 표현하는 아바타 애니메이션 시청 시에 발생하는 EEG, ECG, GSR의 변화율로 사회지능 상위 집단과 중위 집단을 구분한다. 유의미한 인디케이터는 도7를 통해 확인할 수 있다.

자극을 한정시키고자 한다면, 긍정 감성(Positive emotion)만으로 상중하 그룹을 모두 구분할 수 있으며, 높은 유의확률(p < .001)을 가지는 변수 조합으로 그룹을 구분하고자 한다면, 긍정 감성 시 발생하는 T3-RB, T3-RMB, 친밀 감성 시 발생하는 F7-RT 변수를 활용할 수 있다.

<룰베이스>

본 발명은 피험자의 생체신호를 입력 받은 뒤 데이터 처리 과정을 거쳐 지표를 추출한다. 해당 지표의 수치가 본 발명에서 제안하는 룰베이스의 임계값(Threshold)을 초과하는지, 미달하는지 여부에 따라 사회지능 수준을 판단한다. 룰베이스는 표3에 나타낸 바와 같다. 해당 지표에 대한 기준치도 같이 입력받게 되는데, 이는 중립적 상태의 변화율을 구하여 이를 각 지표의 변화량의 비율(%), 즉 변화율을 구하는데 사용한다.

본 발명의 룰베이스는 상, 중, 하 사회지능 수준을 평가하는 단계는 2단계로 나뉜다.

1단계: 사회지능 하위 그룹을 추론하는 단계이다.

긍정감성(Positive emotion) 상황에서 EEG 신호 중 T3 위치의 RB 변화량, T4의 RB 변화량, T4의 RMB 변화량, 공감감성(Empathy emotion) 상황에서 T4의 RMB 변화량을 추출하여 룰베이스(표3)에 정의된 임계값과 비교하는 단계이다. 비교를 통해 룰베이스에 부합하는 경우, 해당 피험자는 사회지능 하위 그룹으로 평가된다. 여기에서 하위 그룹의 평가는 적어도 하나의 지표에 대해 만족하는 경우 하위 그룹으로 평가할 수 있으며, 바람직하게는 적어도 2개의 지표, 바람직하게는 모든 지표에 대해 만족하는 경우 하위 그룹으로 평가할 수 있다.

2단계: 사회지능 중위 그룹과 상위 그룹을 추론하는 단계이다.

본 단계에서는 긍정감성 상황에서 EEG 신호 중 F7-RMB 변화량, 부정감성(Negative emotion) 상황에서 F4-RMB 변화량, 친밀감성(Intimacy emotion) 상황에서 Fp1-RT, Fp1-RG, F3-RT, F7-RT, Fz-RMB, T5-RMB 변화량을 추출하고, 또한 비친밀감성(Non-intimacy) 상황에서 GSR 신호의 평균 진폭(Amplitude) 변화량, 비공감감성(Non-empathy) 상황에서 EEG C3-RG, P3-RG 변화량, ECG 신호의 SDNN 변화량을 추출한다. 각 지표를 룰베이스와 비교하여 부합하는 조건에 따라 사회지능 중위 그룹과 상위 그룹으로 평가한다.

1단계, 2단계에서 모든 지표가 사용될 필요는 없으며, 편의에 따라 취사 선택할 수 있다. 예를 들어, 자극을 고정하고 싶은 경우, 1단계, 2단계에서 공통으로 사용되는 긍정감성 자극을 사용할 수 있다. 긍정감성 상황을 유발한 뒤, 1단계에서는 EEG의 T3-RB, T4-RB, T4-RMB 중 하나의 지표를 사용하여 하위 그룹을 판단할 수 있다. 하위그룹이 아닌 경우, 2단계에서 EEG의 F7-RMB 지표를 사용하여 중위 혹은 상위 그룹으로 판단할 수 있다. 또한 분석시스템의 편의를 위해서 1단계, 2단계에서 공통 신호를 사용할 수 있다. 예를 들어, ECG, GSR을 제외한 EEG 신호만으로 상중하 그룹을 판단할 수 있다.

<출력 데이터>

출력 데이터는 사회지능 수준(상위, 중위, 하위)이다. 앞서 언급한 입력 데이터와 룰베이스를 통해 결정된 피험자의 사회지능의 수준이 상위 수준, 중위 수준, 하위 수준 중 하나의 수준으로 출력된다.

피험자의 생체 지표들을 룰베이스와 비교하는 과정에서 하위 그룹으로 판단되는 경우는 1단계 판단 과정만 요구된다. 하지만, 중위 그룹과 상위 그룹을 판단하기 위해서는 1단계, 2단계 과정이 모두 요구된다.

<결론>

심전도(ECG) 반응 중 SDNN (Standard deviation of the normal-to-normal intervals) 변수는 ECG 기록 전체에서 정상적인 RR 간격의 표준편차로 심장 변이도를 의미한다. 진폭(Amplitude)은 심장 박동의 진폭을 의미하며, 심박출량과 관련 있다. 본 실험에서는 비공감 자극에서 상위 그룹의 평균 SDNN 값이 다른 그룹에 비해 유의미하게 낮은 결과를 보였다. 부정 감성 자극에서는 하위 그룹의 평균 진폭(Amplitude)이 중위 그룹에 비해 특징적으로 높았다. 피부전도도(GSR)는 땀선 활동으로 발생하는 피부의 전기적 저항이 변화하였다.

그 중 진폭(Amplitude) 변수는 피부의 전기적 저항의 진폭을 말하며, 측정값이 높을수록 교감 신경이 활성화되어 땀 분비량이 많다는 것을 의미한다. 실험 결과, 불편 감성 자극 상태에서 상위 그룹에서 특징적으로 낮은 진폭(Amplitude) 값이 관찰되었다. 본 결과는 사회지능 수준이 낮은 그룹은 감성전이 과정 시에 심장 박동 시간과 진폭이 불규칙적이며 땀 분비량이 많아지며, 반대로 높은 그룹의 경우 상대적으로 심장 반응이 규칙적이고 땀 분비량도 적어진다는 것을 의미한다. 즉, 사회지능이 높은 사람은 타인과 상호작용 시에 자연스럽고 안정된 신체 반응을 보이며, 반대로 사회지능이 낮으면 대인관계 시에 부자연스럽고 불안정한 신체반응을 보인다는 것을 알 수 있다.

중추신경계 반응인 뇌파(EEG)는 개인의 정서 상태에 따라 특정주파수를 갖는 δ, θ, α, β, γ 파형을 나타낸다. δ-파는 4Hz 이하의 주파수에서 관찰되는 파장으로 주로 깊은 수면 상태에서 발생한다. θ-파는 불안한 상태 혹은 주위가 산만할 때 주로 발생하며, 심리적 안정 상태에서는 α-파가 주로 나타난다. β-파는 뇌의 활발한 활동을 대변하는 주파수이다. γ-파는 극도의 흥분이나 각성 시에 나타난다고 알려져 있다. 본 실험에서는 사회지능 수준과 뇌파 반응의 특징적인 패턴을 관찰할 수 있었다. 긍정 감성 자극 시 전두엽(F7)과 측두엽(T3, T4)에서 발생한 β-파의 상대 주파수 파워가 사회지능 수준이 낮은 그룹에서 높은 그룹으로 갈수록 높아지는 패턴을 보였다. 이 패턴은 불편 감성 상태에서 측두엽(T3)과 중심구(C3)에서도 동일하게 나타났다. 또한, 비공감 상태에서는 사회지능이 낮은 그룹에서 높은 그룹으로 갈수록 α-파의 상대적 파워는 낮아지고, γ 파 상대적 파워는 특징적으로 높아졌다. 본 결과는 사회지능 수준이 높은 그룹이 낮은 그룹에 비해 상대적으로 뇌 활동이 활발하게 진행되고, 반대로 낮은 그룹은 안정적인 심리상태를 보인다고 해석될 수 있다. 즉, 사회지능 수준이 높은 그룹은 대인관계 상호작용 시에 타인의 의도, 감성을 파악하기 위해 활발하게 뇌 활동이 이루어지며, 낮은 그룹의 경우 타인의 의도나 감성 파악보다는 심리적으로 안정적이고 평온한 상태를 유지하는데 더 많은 뇌 활동을 수행한다.

연구 결과를 종합하여 볼 때, 타인과의 상호작용을 통해 감성전이가 이루어지는 상황에서, 사회지능 수준이 높은 그룹은 타인을 파악하기 위해 활발한 뇌 인지 활동을 한다. 하지만 심혈관 반응은 안정적이고 편안한 상태를 보이는데, 이는 대인관계가 불편하지 않은 상황으로 느껴진다는 것을 시사한다. 반대로 사회지능이 낮은 그룹은 타인을 파악하는 것에 집중하기보다는 안정적인 심리 상태를 유지하기 위해 뇌 활동을 집중한다. 동시에 대인관계가 불편한 상황으로 느껴져 심혈관 반응은 긴장상태를 유지하게 된다. 즉, 대인관계 상황을 인지하는 과정과 그에 상응하는 신체반응이 사회지능 수준에 따라 달라짐을 확인할 수 있었다.

본 실험을 통해 사회지능 수준에 따라 감성전이 과정에서 뇌파(EEG), 심전도(ECG), 피부전도도(GSR) 반응 차이를 살펴보았다. 그 결과로 아바타의 얼굴 표정과 몸짓의 긍정도(긍정, 부정), 친밀도(친밀, 불편), 공감도(공감, 비공감) 감성 표현에 따라 사회지능 수준이 다른 세 집단의 뇌파(EEG), 심전도(ECG), 피부전도도(GSR)가 유의미하게 다르다는 것을 확인할 수 있었다. 이를 활용하여 관찰 평가, 자기보고식 주관 평가를 사용하지 않고도 사회지능 수준을 평가할 수 있는 생리반응 기반 사회지능 평가 모델을 만들었다. 객관적이고 편리한 사회지능 평가 도구에 대한 요구에 대응하여 기존 평가 도구의 단점을 극복하고, 한계점을 보완하며 추후 정량적 사회지능 평가도구 개발의 기초 자료 역할을 할 것으로 기대된다.

이러한 본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 해당 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

Claims (16)

1. 뇌파(EEG) 측정 시스템에 의해 피험자로부터 전두엽(Fp1, F7), 측두엽(T3, T4, T5, T6), 후두엽(O2), 두정엽(P3, P4, Pz) 및 중심구(C3, Cz) 신호를 포함하는 EEG 신호를 측정하고, 심전도(ECG) 측정 시스템에 의해 ECG 신호를 측정하고, 그리고 피부 전기 전도도(GSR) 측정 시스템에 의해 GSR을 측정하는 측정 단계;
   컴퓨터 기반의 분석 시스템에 의해, 긍정 감성(positive emotion) 상황에서의 T3 및 T4 신호의 변화량과 공감 감성(empathy emotion) 상황에서 T4 신호의 변화율을 검출하여 각 변화율을 기설정된 룰베이스의 기준치를 비교하여 하위 그룹을 평가하는 제1분류 단계;
   상기 컴퓨터 기반의 분석 시스템에 의해, 상기 제1분류단계를 거친 비하위 그룹에 대하여, 긍정 감성 상황에서의 F7 신호의 변화율, 부정 감성(negative)에서의 F4 신호의 변화율, 친밀 감성(intimacy emotion) 상황에서의 Fp1, F3, F7, Fz, Pz, T5 신호의 변화율, 비공감 감성(non-empathy emotion) 상황에서 C3, P3 신호의 변화량, 비공감 감성(non-empathy emotion) 상황에서 ECG 신호로부터 얻은 SDNN, 비친밀 감성(non-intimacy emotion) 상황에서 GSR의 진폭의 변화율을 검출하여 기설정된 룰베이스의 기준치를 비교하여 중위 그룹과 상위 그룹을 분류하는 제2분류 단계; 를 포함하는 사회 지능 평가 방법.
2. 제1항에 있어서,
   제1분류 단계의 긍정 감성 상황에서, T3 측두엽 신호는 13~30 Hz 범위의 베타 신호로부터 추출하는, 사회 지능 평가 방법.
3. 제2항에 있어서,
   제1분류단계의 긍정 감성 상황에서, T4 측두엽 신호는 15~20Hz 범위의 베타파로부터 추출하는, 사회 지능 평가 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   제2분류 단계의 긍정 감성 상황에서, F7 전두엽 신호는 15~20Hz 범위의 베타 파로부터 추출하는, 사회 지능 평가 방법.
5. 제4항에 있어서,
   제2분류단계의 부정 감성 상황에서, F4 신호는 15~20Hz 범위의 베타 파로부터 추출하는, 사회 지능 평가 방법.
6. 제1항 내지 제3항 중의 어느 한 항에 있어서,
   제2분류 단계의 친밀 감성 상황에서,
   Fp1 신호는 4~8Hz 범위의 세타파 및 30~50Hz 범위의 감마 파로부터 추출하고,
   F3 신호는 4~8Hz의 세타 파로부터 추출하고,
   F7 신호는 4~8Hz의 세타 파로부터 추출하고,
   Fz 신호는 15~20Hz 범위의 베타 파로부터 추출하고,
   Pz 신호는 13~30Hz 범위 베타 파로부터 추출하고, 그리고
   T5 신호는 15~20 Hz 범위의 베타 파로부터 추출하는, 사회 지능 평가 방법.
7. 제4항에 있어서,
   제2분류 단계의 친밀 감성 상황에서,
   Fp1 신호는 4~8Hz 범위의 세타파 및 30~50Hz 범위의 감마 파로부터 추출하고,
   F3 신호는 4~8Hz의 세타 파로부터 추출하고,
   F7 신호는 4~8Hz의 세타 파로부터 추출하고,
   Fz 신호는 15~20Hz 범위의 베타 파로부터 추출하고,
   Pz 신호는 13~30Hz 범위 베타 파로부터 추출하고, 그리고
   T5 신호는 15~20 Hz 범위의 베타 파로부터 추출하는, 사회 지능 평가 방법.
8. 제5항에 있어서,
   제2분류 단계의 친밀 감성 상황에서,
   Fp1 신호는 4~8Hz 범위의 세타파 및 30~50Hz 범위의 감마 파로부터 추출하고,
   F3 신호는 4~8Hz의 세타 파로부터 추출하고,
   F7 신호는 4~8Hz의 세타 파로부터 추출하고,
   Fz 신호는 15~20Hz 범위의 베타 파로부터 추출하고,
   Pz 신호는 13~30Hz 범위 베타 파로부터 추출하고, 그리고
   T5 신호는 15~20 Hz 범위의 베타 파로부터 추출하는, 사회 지능 평가 방법.
9. 제8항에 있어서,
   제2단계의 비공감 감성 상태에서,
   C3 신호와 P3 신호는 30~50 Hz의 감마 파에서 각각 추출하는, 사회 지능 평가 방법.
10. 제1항 내지 제3항 중의 어느 한 항에 있어서,
    제2단계의 비공감 감성 상태에서,
    C3 신호와 P3 신호는 30~50 Hz의 감마 파에서 각각 추출하는, 사회 지능 평가 방법.
11. 제4항에 있어서,
    제2단계의 비공감 감성 상태에서,
    C3 신호와 P3 신호는 30~50 Hz의 감마 파에서 각각 추출하는, 사회 지능 평가 방법.
12. 제1항 내지 제3항 중의 어느 한 항에 기재된 방법을 수행하는 사회 지능 평가 시스템에 있어서,
    뇌파를 측정하는 뇌파 측정 시스템;
    심전도를 측정하는 심전도 측정 시스템;
    피부 전기 전도를 측정하는 GSR 시스템; 그리고
    상기 시스템들로부터의 신호를 분석하여 사회적 감성의 하위 그룹, 중위 그룹 및 상위 그룹을 평가하는 분석 시스템;을 구비하는 사회 지능 평가 시스템.
13. 제12항에 있어서,
    제2분류 단계의 긍정 감성 상황에서, F7 전두엽 신호는 15~20Hz 범위의 베타 파로부터 추출하는, 사회 지능 평가 시스템.
14. 제13항에 있어서,
    제2분류단계의 부정 감성 상황에서, F4 신호는 15~20Hz 범위의 베타 파로부터 추출하는, 사회 지능 평가 시스템.
15. 제14항에 있어서,
    제2분류 단계의 친밀 감성 상황에서,
    Fp1 신호는 4~8Hz 범위의 세타파 및 30~50Hz 범위의 감마 파로부터 추출하고,
    F3 신호는 4~8Hz의 세타 파로부터 추출하고,
    F7 신호는 4~8Hz의 세타 파로부터 추출하고,
    Fz 신호는 15~20Hz 범위의 베타 파로부터 추출하고,
    Pz 신호는 13~30Hz 범위 베타 파로부터 추출하고, 그리고
    T5 신호는 15~20 Hz 범위의 베타 파로부터 추출하는, 사회 지능 평가 시스템.
16. 제15항에 있어서,
    제2단계의 비공감 감성 상태에서,
    C3 신호와 P3 신호는 30~50 Hz의 감마 파에서 각각 추출하는, 사회 지능 평가 시스템.

Images