KR20160034227A

KR20160034227A - 뇌파를 이용한 사회적 실재감(Social engagement) 평가 방법 및 이를 적용하는 시스템

Info

Publication number: KR20160034227A
Application number: KR1020150132599A
Authority: KR
Inventors: 황민철; 원명주; 박상인
Original assignee: 상명대학교서울산학협력단
Priority date: 2014-09-19
Filing date: 2015-09-18
Publication date: 2016-03-29
Also published as: KR101738096B1

Abstract

본 발명은 뇌파를 통해 사회적 실재감(Social engagement)를 평가할 수 있는 방법을 제안한다. 실제 가상 객체에 대하여 정량적으로 실재감을 평가함으로써 평가 과정에서 발생하는 사용자의 심리적 왜곡 현상을 통제할 수 있는 객관적 평가가 가능하다. 본 발명에서 제안된 방법은 3D 모델 엔지니어, 애니메이션 제작자, 인공지능 개발자, 원격-증강현실 시스템 제작자들이 게임설계 및 영화제작, 캐릭터 애니메이션 분야 등에서 개발된 객체에 대하여 객관적으로 실재감을 평가할 수 있는 도구로 활용될 수 있다. 일반적으로 사용자가 느끼는 실재감을 평가하기 위하여 주관적인 Psycho-physical scale 방법이 사용되었다. 그러나 기존 평가 방법은 잘 고안된 평가 양식과 질문을 사용하더라도 평가 과정에서 발생하는 사용자의 심리적 왜곡 현상을 통제할 수 없다. 또한, 실재감을 평가할 수 있는 방법론에 대하여 구체적이고 논리적인 근거가 제시되지 않고 있으며, 측정방법에 대한 타당성 검증이 미비한 상태다. 본 발명을 통하여 개발된 가상 객체 환경에 대하여 객관적으로 사회적 실재감을 평가할 수 있는 기초 연구로써 활용도가 매우 크다.

Description

뇌파를 이용한 사회적 실재감(Social engagement) 평가 방법 및 이를 적용하는 시스템{Spectral analysis of EEG patterns in social engagement}

본 발명은 뇌파를 통해 사회적 실재감(Social engagement)를 평가할 수 있는 방법 및 시스템에 관한 것이다.

최근 텔레커뮤니케이션 기술에 따른 심리학적 요인이 강조되면서 실재감은 하이퍼 리얼리즘 관점에서 '사회적 실재감 (Social engagement)'의 개념으로 확장되고 있다. 사회적 실재감은 사용자가 가상의 커뮤니케이션 공간에서 다른 존재가 있다는 것을 감각적으로 지각하고 있을 뿐만 아니라 그 존재와 상호작용하고 있다고 느끼는 것을 말한다. 구체적으로 가상 커뮤니케이션공간에서 타인과 실재 상호작용하고 있다는 느낌을 갖거나, 상대가 실재 자신과 같은 곳에 있다고 느낀다거나, 직접 만나서 대화를 하는 것과 흡사하게 느끼는 것 등이 포함된다. 일반적으로 가상환경에서 사용자가 느끼는 실재감을 평가하기 위하여 정신-물리적 척도(psycho-physical scale) 방법이 사용되었다. 그러나 기존 평가 방법은 잘 고안된 평가 양식과 질문을 이용하더라도 평가 과정에서 발생하는 사용자의 심리적 왜곡 현상을 통제할 수 없다. 이에 따라 사회적 실재감을 정량적으로 평가하기 위하여 실재감의 척도로 뇌파를 이용한 객관적 평가 방법론 연구가 진행되고 있다. 이는 사회적 실재감이 뇌의 기능과 관련 있다고 보고, 실재감의 발생과정과 관련된 감각, 운동, 조정, 통합, 집중, 공간감 등의 뇌 영역이 존재할 것이라 가정한다. 그러나 아직까지 사회적 실재감 관점에서 실재감을 평가할 수 있는 방법론에 대하여 구체적이고 논리적인 근거가 제시되지 않고 있으며, 측정 방법에 대한 타당성 검증이 미비한 상태다.

Noguchi, H., and Sakaguchi, T. (1999). Effect of illuminance and color temperature on lowering of physiological activity. Applied Human Science, 18, 117-124. Zion-Golumbic, E., Golan, T., Anaki, D., and Bentin, S. (2008). Human face preference in gamma-frequency EEG activity. Neuroimage, 39(4), 1980-1987. Glass, A. (1991). Significance of EEG alpha asymmetries in cerebral dominance. International Journal of Psychophysiology, 11(1), 32-33. 진복희. (2011). 임상생리학 뇌파. 서울:고려의학. 윤중수. (1999). 뇌파학개론. 서울: 고려의학. Kropotov, J. (2010). Quantitative EEG, event-related potentials and neurotherapy, Access Online via Elsevier Walker, J. (2010). Recent advances in quantitative EEG as an aid to diagnosis and as a guide to neurofeedback training for cortical hypofunctions, hyperfunctions, disconnections, and hyperconnections: Improving efficacy in complicated neurological and psychological disorders, Applied psychophysiology and biofeedback, 35(1), 25-27. Fuad, N., Jailani, R., Omar, W., Jahidin, A., and Taib, M. (2012). Three dimension 3D signal for electroencephalographic (EEG), Control and System Graduate Research Colloquium (ICSGRC), 2012 IEEE, 262-266. K. Mania, and A. Chalmers, "The Effects of Levels of Immersion on Memory and Presence in Virtual Environments: A Reality Centered Approach", J. CyberPsychology and Behavior, 4, 247-264 (2001). W. IJsselsteijn, "Elements of a multi-level theory of presence: Phenomenology, mental processing and neural correlates", Proceedings of PRESENCE, 245-259 (2002). F. Biocca, C. Harms, and J. Gregg, "The networked minds measure of social presence: Pilot test of the factor structure and concurrent validity", In 4th annual International Workshop on Presence, Philadelphia, PA. (2001). P. S. Goldman-Rakic, "Specification of higher cortical functions", J. Head Trauma Rehabil, 8, 13-23 (1993). S. K. Card, T. P. Moran, and A. Newell, "The Psychology of Human-Computer Interaction", Lawrence Erlbaum Associates, Hillsdale, New Jersey. (1983). Gunawardena, C. N. (1995). Social presence theory and implications for interaction and collaborative learning in computer conferences. International Journal of Educational Telecommunications, 1(2), 147-166. Short, J., Williams, E., and Christie, B. (1976). The social psychology of telecommunication, London: Wiley. Heeter, C. (1992). Being There: The Subjective Experience of Presence. Presence: Telepresence and Virtual Environment, 1(2), 262-271. Biocca, F., and Nowak, K. (2001). Plugging your body into the telecommunication system: Mediated embodiment, media interfaces, and social virtual environments. In C. Lin and D. Atkin (Eds.), Communication technology and society (pp. 407-447). Waverly Hill, VI: Hampton Press. Short et al., 1976; Biocca, 1997; Savicki and Kelley, 2000; Mason, 1994; McLeod et al., 1997; Heeter, 1992; Durlach and Slater, 2000; Sallnas et al., 2000; Biocca and Nowak, 2001; Gofman, 1959; Nowak, 2001; Steinfeld, 1986; Gunawardena, 1995; Gunawardena and Zittle, 1997; Richardson and Swan, 2003; Burgoon and Hale, 1987; Nowak, 2000; Mason, 1994; Biocca et al., 2003; Towell, 1997; Hwang, 2006 Kropotov, J. (2010). Quantitative EEG, event-related potentials and neurotherapy, Access Online via Elsevier Walker, J. (2010). Recent advances in quantitative EEG as an aid to diagnosis and as a guide to neurofeedback training for cortical hypofunctions, hyperfunctions, disconnections, and hyperconnections: Improving efficacy in complicatedcomplic,ated neurological and psychological disorders, Applied psychophysiology and biofeedback, 35(1), 25-27 Fuad, N., Jailani, R., Omar, W., Jahidin, A., and Taib, M. (2012). Three dimension 3D signal for electroencephalographic (EEG), Control and System Graduate Research Colloquium (ICSGRC), 2012 IEEE, 262-266

따라서 본 논문에서는 사회적 실재감을 평가할 수 있는 심리적 요소와 뇌 영역의 측정 요소를 맵핑(mapping)하여 객관적인 사회적 실재감을 평가할 수 있는 방법을 제안한다.

본 발명에 따른 사회적 실재감 평가 방법:은

외부 자극에 심리적으로 자극된 피험자의 뇌파를 측정하는 단계;

뇌파를 밴드별로 분류하는 단계;

밴드별 뇌파의 절대 파워, 상대 파워, SEF(Spectral edge frequency) 중 적어도를 분어느 하나를 분석하는 단계;

상기 분석의 결과에 따라 사회적 실재감의 지각적(Perception) 요소, 감성적(Emotion) 요소 및 행동적(Behavior) 요소 중 적어도 어느 하나의 증감을 판단하는 단계;

상기 요소의 증감에 따라 피험자의 사회적 실재감을 평가하는 단계;를 포함한다.

본 발명의 일 실시 예에 따르면, 상기 절대 파워에는 절대 델타파(Delta, absolute delta power, PS: 0-4 Hz), 절대 세타파(Theta, absolute theta power, PS: 4-8Hz), 절대 알파파(Alpha, absolute alpha power, PS: 8-13 Hz), 절대 뮤파(Mu, absolute mu power, PS: 8-13 Hz), 절대 베타파(Beta, absolute beta power, PS: 13-30 Hz), 절대 감마파(Gamma, absolute gamma power, PS: 30-50 Hz), 절대 빠른 알파파(AFA, absolute fast alpha power, PS: 11-13 Hz), 절대 느린 알파파(ASA, absolute slow alpha power, PS: 8-11 Hz), 절대 저-베타파(ALB, absolute low beta power, PS: 12-15 Hz), 절대 중-베타파(AMB, absolute mid beta power, PS: 15-20 Hz), 절대 고-베타파(AHB, absolute high beta power, PS: 20-30 Hz) 중 적어도 어느 하나를 포함할 수 있다.

또한, 본 발명의 한 실시 예에 따르면, 절대 전체파(ATP, absolute total power)의 파워를 고려했을 때, 상기 상대 파워에는, 상대 베타파(RT, relative theta power, PS: 4-8 Hz /ATP), 상대 알파파(RA, relative alpha power, PS: 8-13 Hz / ATP), 상대 베타파(RB, relative beta power, PS: 13-30 Hz) / ATP), 상대 감마파(RG, relative gamma power , PS: 30-50 (Hz) / ATP), 상대 빠른 알파파(RFA, relative fast alpha power, PS: 11-13 Hz / ATP), 상대 느린 알파파(RSA, relative slow alpha power, PS: 8-11 Hz / ATP), 상대 저-베타파(RLB, relative low beta power, PS: 12-15 Hz / ATP), 상대 중-베타파(RMB, relative mid beta power, PS: 15-20 Hz / ATP), 상대 고-베타파(RHB, relative high beta power, PS: 20-30 Hz / ATP), 감각운동리듬 비율(RST, ratio of SMR to theta power, PS 12-15 Hz / ATP), 중 베타파 비율(RMT, ratio of mid beta to theta power, PS: 15-20 Hz / ATP), 감각운동리듬대역부터 중베타파 비율(RSMT, ratio of SMR~mid beta to theta power, PS: 12-20 Hz) / ATP), 고-베타파엣 알파파 비율(RAHB, ratio of alpha to high beta power, PS: 8-13 Hz) / PS 20-30 Hz) 중의 적어도 어느 하나를 포함할 수 있다.

본 발명의 일 실시 예에 따르면, 상기 SEF에는 SEF50(Spectral edge frequency 50%), SEF90(Spectral edge frequency 90%) , 그리고 ASEF(spectral edge frequency 50% of alpha spectrum band) 중 적어도 어느 하나가 포함될 수 있다.

본 발명에 따른 사회적 실재감 평가 시스템:은

피험자의 뇌파를 측정하는 뇌파 측정 시스템;

상기 뇌파를 분석하여 상기 사회적 실재감을 평가하는 분석 시스템;을 구비한다.

본 발명에 따라, 실제 가상 객체에 대하여 정량적으로 실재감을 평가함으로써 평가 과정에서 발생하는 사용자의 심리적 왜곡 현상을 통제할 수 있는 객관적 평가가 가능하다. 본 발명에서 제안된 방법은 3D 모델 엔지니어, 애니메이션 제작자, 인공지능 개발자, 원격-증강현실 시스템 제작자들이 게임설계 및 영화제작, 캐릭터 애니메이션 분야 등에서 개발된 객체에 대하여 객관적으로 실재감을 평가할 수 있는 도구로 활용될 수 있다. 본 발명을 통하여 개발된 가상 객체 환경에 대하여 정량적으로 사회적 실재감을 평가할 수 있는 기초 연구로써 활용도가 매우 크다.

도1은 국제 10-20 법에 따른 EEG(Electroencephalogram) 전극 부착위치를 보인다.
도2는 본 발명의 방법에서 휴먼 인터랙션 그룹의 실험 방법을 보여 주는 도면이다.
도3은 본 발명의 방법에서 가상 객체(아바타) 인터랙션 그룹에 대한 실험 방법을 보여 주는 도면이다.
도4는 본 발명에 다른 뇌파 신호 처리 과정을 부분적으로 보인다.
도5는 본 발명에 따른 방법에서 적용하는 룰베이스를 보이는 표이다.
도6은 본 발명에 따른 휴먼인터래션 평가 결과를 보인다.
도7은 가상 객체(아바타) 인터렉션 평가 결과를 보인다.

이하, 본 발명에 따른 뇌파를 이용한 사회적 실재감(Social engagement) 평가 방법 및 이를 적용하는 시스템에 대해 설명한다.

본 발명은 뇌파를 기반으로 사회적 실재감을 정량적으로 평가 할 수 있는 모델을 제안하는데 그 목적이 있다. 연구 결과에 따라, Perception (지각적 요소) 단계 평가 유효변수 20개, Emotion (감성적 요소) 단계 평가 유효변수 50개, Behavior (행동적 요소) 단계 평가 유효변수 22개로 총 92개의 유의미한 변수를 확인하였다. 본 발명에서 제안된 사회적 실재감 평가 방법은 가상공간 또는 원격공간에서 아바타와 상호작용할 때, 실재감을 평가할 수 있다. 시각적인 사실감뿐만 아니라 감정상태에 반응하고, 공감이 가능하며, 사용자의 동작과 상호의존적이고 연결되어 있다고 믿는 정도의 평가가 가능하다. 또한, 상기 발명은 다양한 산업분야에 적용되어 콘텐츠의 실재감을 평가함으로써 좀 더 효율적인 정보제공 효과를 가능하게 할 것으로 기대된다.

이러한 본 발명에 따라, 실제 가상 객체에 대하여 정량적으로 실재감을 평가함으로써 평가 과정에서 발생하는 사용자의 심리적 왜곡 현상을 통제할 수 있는 객관적 평가가 가능하다. 본 발명에서 제안된 방법은 3D 모델 엔지니어, 애니메이션 제작자, 인공지능 개발자, 원격-증강현실 시스템 제작자들이 게임설계 및 영화제작, 캐릭터 애니메이션 분야 등에서 개발된 객체에 대하여 객관적으로 실재감을 평가할 수 있는 도구로 활용될 수 있다.

일반적으로 사용자가 느끼는 실재감을 평가하기 위하여 주관적인 정신-물리적 척도(Psycho-physical scale) 방법이 사용되었다. 그러나 기존 평가 방법은 잘 고안된 평가 양식과 질문을 사용하더라도 평가 과정에서 발생하는 사용자의 심리적 왜곡 현상을 통제할 수 없다. 또한, 실재감을 평가할 수 있는 방법론에 대하여 구체적이고 논리적인 근거가 제시되지 않고 있으며, 측정방법에 대한 타당성 검증이 미비한 상태다.

본 발명을 통하여 개발된 가상 객체 환경에 대하여 객관적으로 사회적 실재감을 평가할 수 있는 기초 연구로써 활용도가 매우 크다.

<연구방법>

1. 피험자

본 발명의 실험에 참여한 피실험자는 시각기능과 중추신경계 기능에 이상이 없는 정상인 64명(여 32, 평균나이 23.03±1.60)을 대상으로 하였다. 모든 피험자로부터 연구목적을 제외하고 실험에 관해 대략적인 사항에 대해 설명 후, 자발적 의지에 대한 피험자 동의서를 얻었다. 피실험자의 참여도를 높이기 위하여 실험에 참여한 대가로 소정의 금액을 지불하였다.

2. 사회적 실재감 평가 모델

사회적 실재감은 세 가지 단계로 구분하여 관련된 심리적 요소를 도출하였으며, 각 단계는 다음과 같다.

첫째; 지각적 요소(Perception) 단계로 가상공간에서 사용자 자신이 혼자가 아니라고 지각하여 믿는 정도를 의미한다. 즉, 다른 객체가 존재하고 있다고 의식적으로 지각하는 정도를 뜻한다.

둘째; 감정적 요소(Emotion) 단계로 가상 객체가 감정 상태에 반응하고, 감정적 공감이 가능하며, 의도나 동기 등 의견에 대한 통찰력을 가지고 있다고 심리적으로 느끼는 정도를 의미한다.

마지막으로 셋째; 행동적 요소(Behavior) 단계로써 사용자가 다른 객체의 동작이 자신의 동작과 상호의존적이고 연결되어 있다고 믿는 정도를 의미하며, 사용자의 동작에 대하여 다른 인식과 응답이 가능할 것이라고 믿고 행동하는 정도를 뜻한다.

또한, 뇌는 가장 복잡한 구조물로써 운동영역과 감각영역, 학습, 기억, 언어행동, 판단, 창조적 정신활동이 이루어지며, 정서를 주관하는 곳이다. 관련연구에서 특히 뇌 영역의 측정 요소로 전두엽 영역에서 실재감 차이에 따른 뇌 영역의 활성화 정도가 다르게 나타남이 보고되었다.

전전두엽(Fp1, Fp2)은 인지, 사고 작용, 창의성에 중요한 기능을 하고, 학습행동과 관련된 고인지 집행기능을 담당한다. 이와 같이 고인지 처리과정을 통해 인간의 존재 가치와 자아를 제어하는 기능을 담당하는 중요한 영역으로 설명 가능하다. 따라서 상기 사회적 실재감의 심리적 요인과 뇌 영역의 기능을 맵핑 하였다. 이를 기반으로 휴먼과 아바타의 인터랙션에 따른 뇌 영역의 뇌파 활동을 분석하면 실재감의 변화를 확인할 수 있다. 관련 연구 및 문헌을 기반으로 사회적 실재감의 심리적 요소와 관련 뇌 영역에 대한 정의는 표 1, 2, 3, 4과 같다.

위의 표에서 알 수 있듯이, 사회적 실재감(Social engagement)에는 1. 지각적 요소(Perception), 2. 감성적 요소(Emotion), 그리고 3. 행동적 요소(Behavior)가 포함되며, 이들 요소 각각은 아래와 같은 심리적 요소(Psychological parameter)를 포함한다.

1. 지각적 요소(Perception): Perception(지각), co-Presence(공현존), Awareness(의식), Visual(시각), co-Location(공존- Sense of being together), Perceived access(지각적 접근), Salience(현저성)

2. 감성적 요소(Emotion): (Un)familiarity(비-친숙함), Cognitive(인지), Emotional connectedness(감성적 유대), Emotional understanding(감성적 이해), Immersion(몰입), Attention(집중), understanding(이해), Comfort(편안, 위안)

3. 행동적 요소(Behavior): Interaction assessment(상호작용 평가), Intimacy(친밀, 친숙), Online interaction(가상 인터랙션), Judgment(판단), Empathy(공감), Interactivity(상호작용-소통), Emotional expression (감성적 표현), involvement(연대감)

위의 표1의 내용을 좀더 살펴보면, 각 두되영역은 아래와 같이 설명될 수 있다.

가. 전두극(Frontpolar)

Fp1, Fp2 영역은 감각 입력과 종합, 운동 집행 기능에 관계된다.

Fp1: 주의(Attention), 집중(concentration), 논리적 주의(focus, logical attention)

Fp2: 판단(Judgment, 자아감(Sense of self), 충동제어(controlling impulses), 진정(calming), 반응 억제(response inhibition), 감성적 주의(emotional attention)

나. 전두엽(Frontal lobe)

F3, F4, F7, F8, Fz의 영역은 인지사고과정, 목표의 형성과 선택, 계획, 의사결정과정 동기, 사회적 판단, 정서의 표현, 행동의 개시, 통찰에 관계된다.

F3: 행동계획(motor planning, motor- motor preparation of right upper extremity)

F4: 행동계획(motor planning, motor -motor preparation of left upper extremity)

F7: 언어적 표현(verbal expression, expressive speech)

F8: 감성적 표현(emotional expression Anger, Joy and Happiness)

Fz: 작업 기억(working memory)

다. 중심엽(Central lobe)

C3, C4, Cz 영역은 체감각, 운동피질에 관계된다.

C3: 감각운동 통합(sensorimotor integration, right)

C4: 감각운동 통합(sensorimotor integration, left)

Cz: 감각 운동 통합(Sensorimotor integration, midline legs)

라. 두정엽(Parietal lobe)

P3, P4, Pz 영역은 감각 및 운동 정보의 수용, 발화 언어의 이해, 자기 수용, 신체 인지, 좌우구분, 추상적 사고에 관계된다.

P3: 언어의 인지적 처리(cognitive processing of language)

P4: 시공적 정보의 인지적 처리(cognitive processing of spatiotemporal information

Pz: 인지적 처리(cognitive processing, Interhemispheric (thinking speed))

라. 측두엽(Temporal lobe)

T3, T4, T5, T6, T6 영역은 청각정보의 수용 및 처리, 언어적 기억, 단어와 숫자 및 목소리 재인, 냄새 및 음악의 지각에 관련된다.

T3: 언어적 기억(verbal memory), 기억(remember), (기억, Memory Left hemisphere, word retrieval(단어인출), reading comprehension(독해, logical memory)

T4: 감성적 기억(emotional memory)

T5: 언어이해(verbal understanding), 단어인식(Word recognition), 논리적 이해(logical understanding), 청각처리(auditory processing)

T6: 감성적 이해(emotional understanding), 동기(motivation), 부호인식(Symbol recognition, 단어인식(word recognition)

마. 후두엽(Occipital lobe)

O1, O2 영역은 감각 입력과 종합, 운동 집행 기능에 관계된다.

O1: 시각처리(visual processing, R ½ space)

O2: 시각처리(visual processing, L ½ space)

위의 표3은 뇌파 대역 지표(Brain frequency band index) 별 노파 대역 파워(Brain power, Hz) 및 이에 따른 심리적 상태(State of mind)를 설명한다.

절대 전체파(ATP, absolute total power)의 파워 스펙트럼(PS, Power spectrum)은 4-50 (Hz) 범위이다.

절대 델타파(Delta, absolute delta power, PS: 0-4 Hz)는 숙면 상태(generating deep sleep)에 관계된다.

절대 세타파(Theta, absolute theta power, PS: 4-8Hz)는 명상(Meditation), 수면(being sleepy), 환영(hallucinations), 창조, 상상(use one's psychic powers), 영감(spiritual experience)에 관계된다.

절대 알파파(Alpha, absolute alpha power, PS: 8-13(Hz)는 안정(Relaxation), 차분한 상태(calm state), 졸음(light hypnotic), 우울(depressed)에 관계된다.

절대 뮤파(Mu, absolute mu power, PS: 8-13 Hz)는 수행(Performance), 관찰(observation), 상상(imagination), 공감(empathy)에 관계된다.

절대 베타파(Beta, absolute beta power, PS: 13-30 Hz)는 의식적 활동(the active awareness), 의식적 활동(An active" state), 의식(awareness), 인지처리(cognitive processing, 긴장(tension)에 관계된다.

절대 감마파(Gamma, absolute gamma power, PS: 30-50 Hz) 로서 기억(Memory), 학습(learning, 회상(reminiscence), 선택적 집중(selective concentration), 고 인지 처리(highest level cognitive processing, 판단(judgment)에 관계된다.

절대 빠른 알파파(AFA, absolute fast alpha power, PS: 11-13 Hz)는 진정(Calming), 집중(concentration), 창조(creative states, 긴장(a state of tension)에 관계된다.

절대 느린 알파파(ASA, absolute slow alpha power, PS: 8-11 Hz) 는 안정(Relaxation), 휴식(rest), 수면 전기(predormition)에 관계된다.

절대 저-베타파(ALB, absolute low beta power, PS: 12-15 Hz) 는 집중(SMR(집중), attention(집중), vigilance(각성), concentration(집중)

절대 중-베타파(AMB, absolute mid beta power, PS: 15-20 Hz)는 의식적 활동(the active awareness)에 관계된다.

절대 고-베타파(AHB, absolute high beta power, PS: 20-30 Hz)는 불안(Anxiety), 스트레스(stress), 긴장(tension), 정식적 긴장(mental strain)에 관계된다.

상대 베타파(RT, relative theta power, PS: 4-8 Hz /ATP)는 명상( Meditation), 수면(being sleepy), 환영(hallucinations)에 관계된다.

상대 알파파(RA, relative alpha power, PS: 8-13 Hz / ATP)는 안정(Relaxation), 차분한 상태(calm state), 창조, 상상(light hypnotic), 영감(depressed)에 관계된다.

상대 베타파(RB, relative beta power, PS: 13-30 Hz) / ATP)는 의식적 활동(the active awareness), 활동(An "active" state), 의식(awareness)에 관계된다.

상대 감마파(RG, relative gamma power , PS: 30-50 (Hz) / ATP)는 기억(Memory), 학습(learning), 회상(reminiscence), 선택적 집중(selective concentration)에 간계된다.

상대 빠른 알파파(RFA, relative fast alpha power, PS: 11-13 Hz / ATP)는 진정(Calming), 집중(concentration, 창조(creative state)에 관계된다.

상대 느린 알파파(RSA, relative slow alpha power, PS: 8-11 Hz / ATP)는 안정(Relaxation), 휴식(rest), 수면전기(predormition)에 관계된다.

상대 저-베타파(RLB, relative low beta power, PS: 12-15 Hz / ATP)는 집중(SMR), 집중(attention), 각성(vigilance)에 관계된다

상대 중-베타파(RMB, relative mid beta power, PS: 15-20 Hz / ATP)는 의식적 활동(the active awareness)에 관계된다.

상대 고-베타파(RHB, relative high beta power, PS: 20-30 Hz / ATP)는 불안(Anxiety, 스트레스(stress), 긴장(tension), 정신적 긴장(mental strain)에 관계된다.

감각운동리듬 비율(RST, ratio of SMR to theta power, PS 12-15 Hz / ATP)는 집중(Concentrate), 주의(attention)에 관계된다.

중 베타파 비율(RMT, ratio of mid beta to theta power, PS: 15-20 Hz / ATP)는 집중적 주의력(focused attention)에 관계된다.

감각운동리듬대역부터 중베타파 비율(RSMT, ratio of SMR~mid beta to theta power, PS: 12-20 Hz) / ATP)는 주의(slow beta/theta: attention)에 관계된다.

고-베타파엣 알파파 비율(RAHB, ratio of alpha to high beta power, PS: 8-13 Hz) / PS 20-30 Hz)는 차분한 상태(calm state), 안정(relaxation)에 관계된다.

SEF50(Spectral edge frequency 50%, 전체 뇌파의 50%를 차지하는 주파수)는 차분한 상태(median frequency calm state), 기분 좋은(pleasant), 선택적 집중(selective concentration), 창조(creative states)에 관계된다.

SEF90(Spectral edge frequency 90%, 전체 뇌파의 90%를 차지하는 주파수)는 정신적 긴장(mental strain), 스트레스(stress)에 관계된다. 그리고

ASEF(spectral edge frequency 50% of alpha spectrum band, 알파 스팩트럼 대역에서 50%를 차지하는 주파수)는 의식적 상태(the active awareness), 의식(awareness)에 관계된다.

상기 내용의 각 단계적 해석은 인간이 정보를 처리하는 과정 및 뇌 인지 과정과 유사하다. 사람은 어떠한 자극이 주어지면 감각 기관을 통해 지각하고, 감성적(선택적 관심, 집중)으로 판단하여 처리하고자 하는 자극만을 인지하게 되며, 이후 신체의 근육을 움직여 반응하는 과정을 반복한다.

구체적으로 Perception (지각적 요소) 단계에서는 외부 자극의 사물이나 사상의 변화를 의식·무의식적으로 익숙한 것과 새로운 것을 구분한다.

Emotion (감정적 요소) 단계에서는 경험적으로 축적된 기본 정보에 기초하여 집중과 몰입에 따라 특정 자극을 인지하게 된다.

Behavior (행동적 요소) 단계에서는 고차원적 인지단계 및 행동표현단계로 관련된 정보를 기억하고 추리하고 판단하며, 자신의 감성상태를 행동적 요소로 표현한다.

따라서 최종적으로 기존 가상 환경에 따른 사회적 실재감과 관련된 문헌을 기준으로 각 단계에 해당하는 세부 요소를 구분하였으며, 도출된 사회적 실재감 평가 모델은 다음 표 4과 같다. 표4는 사회적 실재감 평가 요소(Parameter)의 Perception(지각적 요소) 단계, Emotion(감성적 요소), 그리고 Behavior(행동적 요소) 각각에 대한 뇌평가 요소(Brain indicator)와 이를 위한 뇌 측정지점(Topography)를 나타내 보인다.

사회적 실재감 평가 파라미터(Social engagement parameter, parameter)는 뇌 측정 지점별 뇌파 파워스펙트럼 요소에 따라 크게 Perception(지각적 요소) 단계 20개, Emotion(감성적 요소) 단계 50개, 그리고 Behavior(행동적 요소) 단계 22개로 구분된다.

3. 실험방법

실험에 참여한 피험자는 실험자극을 기준으로 휴먼 인터랙션 태스크 그룹과 아바타 인터랙션 태스크 그룹으로 나누었다. 이때 휴먼 인터랙션 태스크는 High Social Engagement (높은 사회적 실재감)로 아바타 인터랙션 태스크는 Low Social Engagement (낮은 사회적 실재감)으로 정의하였다. 도2, 3에 도시된 바와 같이, 두 그룹으로 나뉜 피험자(10a)들은 각각 휴먼(10b)과 아바타(10c)의 얼굴을 마주본 상태로 편안한 자세를 취한다. 상기 아바타(10c)는 디스플레이에 의해 피험자에 대한 자극으로서 제시된다. 이때, 자극과 피험자 사이의 거리는 90 cm으로 고정하였다. 각 그룹은 휴먼과 아바타를 마주본 상태에서 휴먼과 아바타가 제시하는 얼굴 표정을 보고 따라 하도록 요청하였다. 얼굴 표정은 Ekman이 정의한 6 가지 기본 감성 공포(fear), 혐오(disgust), 슬픔(sadness), 놀람(surprise), 화남(anger), 행복(happy)을 사용하였다. 실험이 진행되는 동안 피험자의 뇌파를 비교하기 위해 뇌전도(EEG, Electroencephalogram)를 측정하였다. 전체 실험 태스크(task)는 초기화 또는 기준화(reference) 60초, 안내 또는 도입(introduction) 90초, 실행(practice) 90초, 흉내(imitation) 240초로 구성되었다. 각 태스크 사이에 휴식시간 30초를 포함하였으며, 자연스러운 표정 인터랙션이 가능하도록 설명하고 따라 해볼 수 있는 소개 또는 도입(introduction)과 실행(practice)을 포함시켰다.

4. 분석방법

뇌파는 도1에 도시된 바와 같이 국제 전극 배치법 '10-20' 시스템을 기준으로 Fz, Pz, Cz, Fp1, Fp2, F3, F4, F7, F8, C3, C4, T3, T4, T5, T6, P3, P4, O1, O2 지점의 19채널 데이터를 측정(접지(ground): AFz, 레퍼런스(reference): 양쪽귓불(Linked earlobe))하였다. EEG 전극과 두피의 저항(impedance level)은 5kΩ 미만이 되도록 하였다.

도4는 EEG 전극으로부터 얻어지는 신호를 처리하는 과정을 부분적으로 보인다.

S1: 뇌파는 Mitsar 201 amplifier, WinEEG software (Mitsar Ltd, St. Petersburg, Russia)를 통해 신호를 증폭하고, 500 Hz의 속도로 신호를 수집하였다. 수집된 신호는 Labview 2010 software(National Instrument Inc., USA)를 사용하여 신호처리 하였다.

S2: EEG 원형신호(raw signal)는 BPF(band pass filter)를 이용해 0.5-50Hz 범위 내의 신호를 분리하였으며, ICA(Independent Component Analysis) 분석을 통해 눈깜박임에 대한 노이즈(artifact)영향을 최소화하였다.

S3: FFT(Fast Fourier Transform) 분석을 통해 EEG spectrum 데이터를 추출하였다.

S4: 추출된 데이터는 델타(delta) 대역(0-4 Hz), 세타(theta) 대역(4-8 Hz), 알파(alpha) 대역(8-13 Hz), 베타(beta) 대역(13-30 Hz), 감마(gamma) 대역(30-50 Hz)의 파워 값을 각 지점별로 추출하였다.

S51~S53: 상기 표 3을 기반으로 표 4의 대역의 파워 값을 각각 계산하였다.

S51: 절대 파워(Absolute power)를 이용하여 전술한 ATP~AHB를 검출한다.

S53: 상대 파워(Relative power)를 이용하여 전술한 RTP~RHAB를 검출한다.

S55: SEF(Spectral Edge Frequency)를 이용하여, SEF50, SEF90, ASEF50를 구한다.

5. 실험(연구)결과

각 집단의 통계적 유의차(p)를 비교하기 위하여 해당 데이터에 대한 T-검정(T-test)를 수행하였다 (p < .05). 상기 정의한 사회적 실재감 평가 변수 중 행동(Behavior) 단계의 Mu(8~13Hz) 대역을 제외하고 통계적으로 유의하게 증가하는 결과를 확인하였으며, 행동(Behavior) 단계의 Mu 대역은 에서 통계적으로 유의하게 감소하는 결과를 확인하였다(p < .05). 자세한 분석결과는 도5 내지 도7에 도시된 바와 같다.

도5는 사회적 실재감 평가 룰베이스이며, 도6은 휴먼인터래션 평가 결과를 보인다. 그리고, 도7은 가상 객체(아바타) 인터렉션 평가 결과를 보인다.

6. 사회적 실재감 평가 룰-베이스 설정

상기 분석 결과를 기반으로 뇌파 스펙트럼 분석의 증가/감소 결과를 사회적 실재감 평가 룰-베이스로 도5에 도시된 바와 같이 설정하였다. Perception (지각적 요소) 단계 20개, Emotion (감성적 요소) 단계 50개, Behavior (행동적 요소) 단계 22개의 총 92개의 평가 변수가 모두 증가/감소(Behavior단계-Empathy, mu 파대역) 할 경우를 사회적 실재감 100%로 설정하였다(평가 일치 변수 개수/92: 평가 전체 변수 개수)*100=사회적 실재감(%)). 즉, 가상 객체를 대상으로 사회적 실재감 평가 결과 상기 평가 변수 중 80개가 일치할 경우 (80/92)*100=86.956(%)로 계산되어 사회적 실재감이 86.956%로 평가되는 것을 의미한다.

7. 정확도 검증결과

사회적 실재감 평가 모델을 검증하기 위해, 15명의 피험자가 검증 실험에 참여하였다. 사회적 실재감 평가 룰-베이스 검증 결과, 도5의 룰베이스에 도6에 도시된 바와 같은 휴먼 인터랙션의 경우 90개가 일치하여 97.826 %으로 가상 아바타 인터랙션의 경우 83개가 일치하여 90.217 %로 사회적 실재감이 평가되는 결과를 나타내었다.

이러한 본 발명이, 지금까지, 본원 다양한 모범적 실시 예가 설명되고 첨부된 도면에 도시되었다. 그러나, 이러한 실시 예는 단지 다양한 실시 예들의 일부임이 이해되어야 할 것이다. 다양한 다른 변형이 본 기술분야에서 통상의 지식을 가진 자에게 일어날 수 있기 때문이다.

Claims

외부 자극에 심리적으로 자극된 피험자의 뇌파를 측정하는 단계;
뇌파를 밴드별로 분류하는 단계;
밴드별 뇌파의 절대 파워, 상대 파워, SEF(Spectral edge frequency) 중 적어도를 분어느 하나를 분석하는 단계;
상기 분석의 결과에 따라 사회적 실재감의 지각적(Perception) 요소, 감성적(Emotion) 요소 및 행동적(Behavior) 요소 중 적어도 어느 하나의 증감을 판단하는 단계;
상기 요소의 증감에 따라 피험자의 사회적 실재감을 평가하는 단계;를 포함하는 뇌파를 이용하는 사회적 실재감 평가 방법.
제1항에 있어서,
상기 절대 파워에는 절대 델타파(Delta, absolute delta power, PS: 0-4 Hz), 절대 세타파(Theta, absolute theta power, PS: 4-8Hz), 절대 알파파(Alpha, absolute alpha power, PS: 8-13 Hz), 절대 뮤파(Mu, absolute mu power, PS: 8-13 Hz), 절대 베타파(Beta, absolute beta power, PS: 13-30 Hz), 절대 감마파(Gamma, absolute gamma power, PS: 30-50 Hz), 절대 빠른 알파파(AFA, absolute fast alpha power, PS: 11-13 Hz), 절대 느린 알파파(ASA, absolute slow alpha power, PS: 8-11 Hz), 절대 저-베타파(ALB, absolute low beta power, PS: 12-15 Hz), 절대 중-베타파(AMB, absolute mid beta power, PS: 15-20 Hz), 절대 고-베타파(AHB, absolute high beta power, PS: 20-30 Hz) 중 적어도 어느 하나를 포함하는 것을 특징으로 뇌파를 이용하는 사회적 실재감 평가 방법.
제1항 또는 제2항에 있어서,
절대 전체파(ATP, absolute total power)의 파워를 고려했을 때, 상기 상대 파워에는, 상대 베타파(RT, relative theta power, PS: 4-8 Hz /ATP), 상대 알파파(RA, relative alpha power, PS: 8-13 Hz / ATP), 상대 베타파(RB, relative beta power, PS: 13-30 Hz) / ATP), 상대 감마파(RG, relative gamma power , PS: 30-50 (Hz) / ATP), 상대 빠른 알파파(RFA, relative fast alpha power, PS: 11-13 Hz / ATP), 상대 느린 알파파(RSA, relative slow alpha power, PS: 8-11 Hz / ATP), 상대 저-베타파(RLB, relative low beta power, PS: 12-15 Hz / ATP), 상대 중-베타파(RMB, relative mid beta power, PS: 15-20 Hz / ATP), 상대 고-베타파(RHB, relative high beta power, PS: 20-30 Hz / ATP), 감각운동리듬 비율(RST, ratio of SMR to theta power, PS 12-15 Hz / ATP), 중 베타파 비율(RMT, ratio of mid beta to theta power, PS: 15-20 Hz / ATP), 감각운동리듬대역부터 중베타파 비율(RSMT, ratio of SMR~mid beta to theta power, PS: 12-20 Hz) / ATP), 고-베타파엣 알파파 비율(RAHB, ratio of alpha to high beta power, PS: 8-13 Hz) / PS 20-30 Hz) 중의 적어도 어느 하나를 포함하는 것을 특징으로 하는 뇌파를 이용한 사회적 실재감 평가 방법.
제3항에 있어서,
상기 SEF에는 SEF50(Spectral edge frequency 50%), SEF90(Spectral edge frequency 90%) , 그리고 ASEF(spectral edge frequency 50% of alpha spectrum band) 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 뇌파를 이용한 사회적 실재감 평가 방법.
제1 또는 제2항에 있어서,
상기 SEF에는 SEF50(Spectral edge frequency 50%), SEF90(Spectral edge frequency 90%) , 그리고 ASEF(spectral edge frequency 50% of alpha spectrum band) 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 뇌파를 이용한 사회적 실재감 평가 방법.
제1항 또는 제2항에 기재된 방법을 수행하는 것으로,
피험자의 뇌파를 측정하는 뇌파 측정 시스템;
상기 뇌파를 분석하여 상기 사회적 실재감을 평가하는 분석 시스템;을 구비하는 뇌파를 이용한 사회적 실재감 평가 시스템.
제6항에 있어서,
절대 전체파(ATP, absolute total power)의 파워를 고려했을 때, 상기 상대 파워에는, 상대 베타파(RT, relative theta power, PS: 4-8 Hz /ATP), 상대 알파파(RA, relative alpha power, PS: 8-13 Hz / ATP), 상대 베타파(RB, relative beta power, PS: 13-30 Hz) / ATP), 상대 감마파(RG, relative gamma power , PS: 30-50 (Hz) / ATP), 상대 빠른 알파파(RFA, relative fast alpha power, PS: 11-13 Hz / ATP), 상대 느린 알파파(RSA, relative slow alpha power, PS: 8-11 Hz / ATP), 상대 저-베타파(RLB, relative low beta power, PS: 12-15 Hz / ATP), 상대 중-베타파(RMB, relative mid beta power, PS: 15-20 Hz / ATP), 상대 고-베타파(RHB, relative high beta power, PS: 20-30 Hz / ATP), 감각운동리듬 비율(RST, ratio of SMR to theta power, PS 12-15 Hz / ATP), 중 베타파 비율(RMT, ratio of mid beta to theta power, PS: 15-20 Hz / ATP), 감각운동리듬대역부터 중 베타파 비율(RSMT, ratio of SMR~mid beta to theta power, PS: 12-20 Hz) / ATP), 고-베타파엣 알파파 비율(RAHB, ratio of alpha to high beta power, PS: 8-13 Hz) / PS 20-30 Hz) 중의 적어도 어느 하나를 포함하는 것을 특징으로 하는 뇌파를 이용한 사회적 실재감 평가 시스템.
제7항에 있어서,
상기 SEF에는 SEF50(Spectral edge frequency 50%), SEF90(Spectral edge frequency 90%) , 그리고 ASEF(spectral edge frequency 50% of alpha spectrum band) 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 뇌파를 이용한 사회적 실재감 평가 시스템.
제7항에 있어서,
상기 SEF에는 SEF50(Spectral edge frequency 50%), SEF90(Spectral edge frequency 90%) , 그리고 ASEF(spectral edge frequency 50% of alpha spectrum band) 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 뇌파를 이용한 사회적 실재감 평가 시스템.