KR101745602B1 - 영상정보를 통한 움직임의 양을 기반으로 하는 집단 감성 추론 시스템 - Google Patents

Abstract

집단 감성 판단 방법:은 피험자 그룹에 대한 영상 데이터를 획득하는 영상 데이터 수집 단계; 상기 영상 데이터를 전처리 하여, 소정의 시간 간격에 제1데이터와 제1데이터에 선행하는 것으로 제1데이터에 비해 긴 소정 시간 간격의 제2데이터를 추출하는 단계; 상기 제1데이터와 제2데이터를 처리하여 제1데이터와 제2데이터의 평균을 구하는 단계; 그리고 상기 제1데이터와 제2데이터의 평균의 차를 비교하여, 피험자 그룹의 감성 상태를 평가하는 단계;를 포함한다.

Description

영상정보를 통한 움직임의 양을 기반으로 하는 집단 감성 추론 시스템{Reasoning System of Group Emotion Based on Amount of Movements in Video Frame}

본 발명은 피험자 그룹의 집단적 감성을 추론하는 방법에 관한 것이다.

얼굴 표정이나 제스처, 목소리 등을 통한 비언어적인 커뮤니케이션을 통한 감성 추론에 관련한 많은 연구가 존재한다. 대부분의 감성 추론이나 인식에 관련된 방법이나 시스템은 개인의 감성 상태에 대한 추론이 주를 이룬다(비특허문헌1). 개인감성과는 달리, '군중심리' 이론에서는 군중에 속해있는 개인은 자신의 성향과는 다른 또 다른 성질의 인격체가 된다고 설명하였다. 또한, 집단 내 구성원들 사이의 상호작용과 감성적 전염을 통해 개인적인 감성상태가 집단의 감성상태(group emotion)로 변화하는 것을 주장한 연구가 있다. 이러한 집단의 감성적 상태를 집단 감성이라고 하며, 특정 집단 구성원 간에 전달되는 개별적 감성 상태의 전염으로 집단 감성은 동일화 된다 (비특허문헌2).

인간의 움직임은 다양한 감성정보를 포함한다. 제스처, 표정 등 다양한 형태로 감성정보를 표출하며 타인에게 전달된다. 이러한 감성적 정보들은 집단 내 구성원에게 감성적 전염(emotional contagion)을 유발하며, 특정 구성원의 감성과 동일한 감성을 느꼈다고 보고한 선행연구를 확인할 수 있다(비특허문헌 3). 이러한 연구는 보다 구체적인 시스템을 요구하며, 이를 위한 지속적인 연구가 요구된다.

신승섭 (2014). 생리적 반응의 동기화를 기반으로 하는 아동 감성 전염에 대한 연구. 상명대학교 일반대학원, 석사학위논문. Barsade, S. G., Gibson, D. E. (1997). Group Emotion : a View from Top and Bottom. Research on Managing Groups and Teams, Vol. 1. Barsade, S. G. (2002). The Ripple Effect : Emotional Contagion and Its Influence on Group Behavior. Administrative Science Quarterly, 47(4). Whiren, A. P., et al. (2010). 영유아의 사회정서발달과 교육, 파주: 교문사. Wu, H. Y., et al. (2012), Eulerian Video Magnification for Revealing Subtle Changes in the world. ACM Trans. Graph, 31(4), 65. Schaefer, A., Nils, F., Sanchez, X., and Philippot, P. (2010). Assessing the effectiveness of a large database of emotion-eliciting films: A new tool for emotion researchers. Cognition and Emotion, 24(7), 1153-1172. Kostelnik 외 3인. "유아의 사회정서발달과 교육", 파주: 교문사, 2009 De Wit, G. (1971). Optic versus vestibular and proprioceptive impulses, measured by posturometry. Agressologie: revue internationale de physio-biologie et de pharmacologie appliquees aux effets de l'agression, 13, Suppl-B. Taguchi, K. (1977). Spectral analysis of the movement of the center of gravity in vertiginous and ataxic patients. Agressologie: revue internationale de physio-biologie et de pharmacologie appliquees aux effets de l'agression, 19(B), 69-70. Patat, A., Foulhoux, P., and Klein, M. J. (1985). [Residual effects on the equilibrium of 3 hypnotics (loprazolam, flunitrazepam, triazolam) assessed by spectrum analysis of postural oscillations]. Therapie, 41(6), 443-447. Ferdjallah, M., Harris, G. F., and Wertsch, J. J. (1997). Instantaneous spectral characteristics of postural stability using time-frequency analysis. In Engineering in Medicine and Biology Society, 1997. Proceedings of the 19th Annual International Conference of the IEEE (Vol. 4, pp. 1675-1678). IEEE. Loughlin, P. J., and Redfern, M. S. (2001). Spectral characteristics of visually induced postural sway in healthy elderly and healthy young subjects. Neural Systems and Rehabilitation Engineering, IEEE Transactions on, 9(1), 24-30.

본 발명은 집단적인 감성상태가 형성되었을 때의 구성원들의 전반적인 움직임을 추출하여, 집단적 감성상태를 추론할 수 있는 방법 및 시스템을 제안한다.

본 발명에 따른 방법:은

피험자 그룹에 대한 영상 데이터를 획득하는 영상 데이터 수집 단계;

상기 영상 데이터를 전처리 하여, 소정의 시간 간격에 제1데이터와 제1데이터에 선행하는 것으로 제1데이터에 비해 비교 분석할 제2데이터를 추출하는 단계;

상기 제1데이터와 제2데이터를 처리하여 제1데이터와 제2데이터의 평균 중 적어도 어느 하나를 구하는 단계;

상기 제1데이터와 제2데이터의 증감 또는 평균의 차를 비교하여, 피험자 그룹의 감성 상태를 평가하는 단계;를 포함한다.

본 발명의 구체적인 실시 예에 따르면, 제1데이터는 임의 특정 시간에서 획득한 1초간의 데이터이며, 제2데이터는 상기 제1데이터에 선행한 그 이전의 최소 1초 혹은 그 이상의 데이터이다.

본 발명의 구체적인 실시 예에 따르면, 상기 제1데이터의 평균이 제2데이터의 평균에 비해 작으면, 피험자 그룹의 집단 감성 상태를 "각성"으로 판정할 수 있다.

본 발명의 구체적인 실시 예에 따르면, 상기 제1데이터의 평균이 제2데이터의 평균에 비해 크면, 피험자 그룹의 집단 감성 상태를 "이완"으로 판정할 수 있다.

집단 상태의 감성 분류를 하는 방법은 각성-이완의 분류에서는 움직임의 양으로 각기 다른 패턴을 볼 수 있고, 이에 대한 특성을 정리하여, 집단 감성 추론 시스템을 구성할 수 있다.

도1은 본 발명에 따른 집단 감성 평가 방법의 실험 순서를 나타내 보인다.
도2는 본 발명에 따른 집단 감성 평가 방법의 큰 흐름을 도시한다.
도3은 본 발명에 따른 집단 감성 평가 방법에서 영상 데이터 수집 과정을 보인다.
도4는 본 발명에 따른 집단 감성 평가 방법에서 영상 데이터의 전처리 과정을 보인다.
도5는 본 발명에 따른 집단 감성 평가 방법에서, 전처리된 데이터를 이용한 집단 감성 평가(분석)을 보인다.
도6은 움직임량에 기초한 발명에 따른 집단 감성 평가 방법의 실험 결과를 보인다.

이하에서, 본 발명에 따른 집단적 감성 상태를 추록하는 방법 및 이를 적용하는 시스템의 실시 예를 설명한다.

이러한 본 발명은 집단적인 감성상태가 형성 되었을 때의 구성원들의 전반적인 움직임을 추출하여, 집단적 감성상태를 추론(판단 또는 평가)하며, 이하의 설명을 통해 깊이 이해될 수 있다.

본 발명은 영상 데이터를 이용해 집단적 감성 상태를 추론하게 되는데, 그 팩터(변수)에는 구성원의 움직임 량이다.

집단적 상황에서 발생한 감성적 상태를 통한 구성원들의 움직임과 분류 기준을 나누기 위해, 본 발명의 실험에서는 5~7세 아동들의 움직임을 추출하였다. 아동들의 감성적 표현의 특징으로는, 폭발적으로 감성을 표현하며, 감성의 변화를 조절하기 쉽다. 또한, 고등의 감성 상태의 이해가 5세 경부터 가능하다. 감성적인 자극의 방법이 상대적으로 쉽고, 그에 대한 감성적 상태를 이해하며 원활히 느끼는 아동들을 대상으로 실험을 실시하였다(비특허문헌3).

본 발명에서 사용하는 시스템은 컴퓨터 기반의 집단 감성 판단 시스템으로서, 피험자 그룹을 촬영할 수 있는 영상 카메라와 이로부터의 영상 데이터를 수집, 전처리하여, 아래의 실시 예에서 설명하는 과정으로 영상 데이터로부터 피험자 그룹의 집단적 감성 상태를 판단 또는 평가하는 분석 시스템을 구비한다.

1. 피실험자 및 실험 방법

아동들의 감성적 상태를 유발하고 추출하기 위해, 본 연구에서는 경기도 성남의 ‘S’유치원의 7세반 10명(남아 7명, 여아 3명)을 선정하여 실험하였다. 아동들의 집단적 감성 상태를 유발하기 위해, 선행연구의 표현방법을 참고하였다 (비특허문헌 3). 또한, 이전의 연구를 참고하여, 동화 구연 활동을 감성 전달매체로 선정하였다(비특허문헌1).

불쾌-각성	쾌-각성
찡그린 표정, 무표정 높은 톤, 빠른 속도의 말	자주 웃고, 높은 톤, 빠른 속도의 말
불쾌-이완	쾌-이완
찡그린 표정, 무표정 낮은 톤, 느린 속도의 말 빠르기	웃는 얼굴, 낮은 톤, 느린 속도의 말 빠르기

2. 실험 순서 및 움직임의 양 수집

본 발명의 실험에서는 아동들의 동화구연 활동 시 특정 감성 표현방법에서의 신체적 움직임의 양을 추출하였다. 먼저, 교사의 말투나 표정, 자세 등을 평소와 같이3분간 제시하였다. 이 후, 아동들에게 감성 상태를 유발하기 위해, 표정, 말투, 자세 등을 연기하였다. 도1은 피험자들에 대한 실험의 순서를 나타내 보인다.

감성 상태로부터 발생되는 아동들의 신체적 움직임을 증폭하고 추출하기 위하여, 각 수업이 진행되는 동안 PC 용 웹캠 등과 같은 영상 촬영 장치를 이용해 초당 30프레임으로 영상 수집 하였다. 수집된 영상에서의 움직임을 추출하기 위하여, 선행연구에서 제시한 움직임 증폭방법(Wu et al., 2012)을 참고하였으며, 이하에서 구체적으로 설명된다.

3. 결과

3.1. 각성-이완 패턴

감성 표현 별 특정 변화를 확인하기 위하여, 실험 동안 수집된 영상의 감성 별 움직임을 증폭하여 수치화 한 데이터의 평균 량을 비교하였다.

구체적으로 도6을 살펴보면, 첫 번째로 움직임의 양을 구하기 위해서, 30초의 영상에 대한 평균 움직임량에서 1초마다 증가될 때의 움직임량의 차이 값을 계산하여, 각각 쾌-각성, 불쾌-각성, 불쾌-이완,쾌-이완 4개의 감성도메인에 대한 움직임량의 평균차이를 나타낸 것이다. 쾌-각성은 불쾌각성과의 차이에는 유의미하지 않으나, 불쾌-이완, 쾌-이완에서 99%의 유의 수준에서 각각 유의미한 차이를 보인다(p< 0.001). 불쾌-각성은 쾌-각성과의 차이에서는 유의미하지 않으나, 쾌-각성과 마찬가지로 불쾌-이완, 쾌-이완과의 차이에서는 99%의 수준에서 각각 유의미한 결과를 확인하였다.

4. 결론

본 발명의 실험을 통해 집단 상태의 감성 분류를 하는 시스템을 제안하기 위해, 데이터 분석 및 패턴을 도출하였다. 분석의 결과로, 각성-이완의 분류에서는 움직임의 양으로 각기 다른 패턴을 볼 수 있었다. 이러한 특성을 정리함으로써 본 발명에 따른 감성 추론 시스템을 구성할 수 있게 되었다.

이하에서, 본 발명에 따른 구체적인 집단 감성 추론 과정을 설명한다.

도2는 본 발명에 따른 집단 감성 추론의 큰 흐름을 보인다.

첫 째 단계(S1)는 피험자들로부터 영상 데이터를 수집하는 단계이다. 이 단계에서, 영상 카메라를 이용하여 자극이 없는 상태에서의 약 3분간의 기준(Reference) 영상을 촬영하고, 그리고 구연 등을 통해 자극을 제시한 후 약 3분간의 비교 영상을 촬영한다. 이 과정에서는 전술한 바와 같은 영상 증폭(Wu et al., 2012)이 이루어 진다. 이 영상 증폭 방법은 아래와 같이 수행될 수 있다.

EVM(Eulerian Video Magnification)’ 증폭 모듈을 분석하여, 미세한 변화를 증폭 할 수 있도록 추출 시스템에 적용하였다.

Eulerian Video Magnification 기술은 시/공간의 미세한 픽셀변화를 공간주파수 별로 분할하여 반영할 수 있는 magnification 방법 중 하나이며, 영상프레임은 시간에 따라, 시간축의 정보 중 색상에 대한 정보를 추출하고 증폭하는 과정을 진행하여, 특정 공간(pixel)에 대해 시간에 따른 정보를 분석하는 과정을 통해 시, 공간에 따른 움직임이 증폭된 요소를 그대로 반영하면서 데이터를 추출하는 것이 가능한 기법이다.

여기서 제시하는 "Eulerian" 이라는 뜻은 오일러 좌표계(Eulerian Coordinates)에서의 특성-공간정보 좌표계-을 이용하였기 때문에 붙인 기술명이다. 오일러 좌표계 특성의 경우, 좌표계 내의 속도, 등에 대한 성질의 표기이기 때문에 공간 좌표계라고도 한다.

두 번째 단계(S2)에서, 상기 첫 째 단계에서 영상 증폭을 포함하여 영상 데이터 수집이 완료되면, 영상 데이터를 전처리하는 과정을 거친다. 이 과정에서는 각성-이완 분석 또는 판정이 수행된다.

마지막으로 셋째 단계(S3)에서, 전처리한 영상 데이터를 이용해 집단 감성을 추론 또는 판단을 하게 된다. 이 단계에서는 각성 혹은 이완이 판단된다.

이하에서 상기 각 S1, S2, S3 단계에서의 구체적인 처리 방법을 도3, 4, 5를 통해서 상세히 설명한다.

도3은 영상 데이터 수집 단계를 구체적으로 보인다. 동영상 수집은 PC 등에 연결된 웹캠을 이용하며, 피험자의 이 동영상은 30초 이상 수집되며, 이 과정에서 영상은 증폭된다. 영상 데이터는 실시간으로 얻어지며, 특정 시점인 현재의 1초 영상 데이터(D1, 제1데이터)와 그 이전의 30초 혹은 특정 임의의 초의 영상 데이터(D30, 제2데이터)를 후속하는 영상 데이터 전처리(S2)에서 이용될 수 있다. 본 발명에서, 움직임량의 판별에 있어서, 자극전의 레퍼런스 측정할 동안의 1초간의 움직임량 대비 변화률을 계산한다.

도4는 수집된 영상 데이터를 이용한 전처리 과정을 보인다.

영상 데이터의 전처리는 쾌-불쾌 및 각성-이완 분석을 위한 전처리(Pre-processing)를 포함한다.

각성-이완 분석(S24)은 연속적인 영상 데이터에서 현재의 1초 영상 데이터(제1데이터)와 그 이전의 30초 데이터(제2데이터)를 이용(S24a, S24a') 하며, 이로부터 각각 평균 [M30] 및 현재 1초 데이터에 대한 평균 [M1]을 계산(S24b, S2b')한 후, 이를 상호 비교 한다(S25).

도5는 전처리 과정(S2)에서 얻어진 데이터를 이용해 집단 감성을 추론 또는 판정하는 기준을 설명한다.

각성-이완을 판정함에 있어서, 이전 30초 데이터(제2데이터)의 평균 [M30] 이 현재의 1초 데이터(제1데이터)의 평균 [M1]에 비해 크면 집단 감성이 "각성"인 것으로 판정(S33)하고, 그리고 반대로 평균 [M30] 이 현재의 1초 데이터의 평균 [M1]에 비해 작으면 집단 감성이 "이완"인 것으로 판정(S34)한다. 여기에서 M30은 30초동안의 움직임 데이터의 평균이며, M1은 1초동안의 움직임 데이터의 평균을 의미한다.

이러한 본 발명의 집단 감성을 추론 방법을 검증하기 위하여, 성인을 대상으로 추가 실험을 행하였다. 구체적으로 성인 3명을 한 팀으로, 총 9팀을 대상으로 진행 (27명) 하였으며, 피험자 정면에는 스크린을 설치하여, 감성 자극 영상을 시청하도록 하였다. 자극으로 제시된 영상은 4가지 감성(쾌/각성, 불쾌/각성, 쾌/이완, 불쾌/이완)에 대한 영화장면을 보여주는 것이며, 자극 영상은 기존 연구[1]를 참조하여, 4가지 감성에 해당하는 4개의 영화 클립을 선정하여 제시(총 16개의 영화장면 제공)하였다.

사용된 자극의 종류는 아래의 표2과 같다.

자극종류	영화종류
쾌-각성	해리가 샐리를 만났을 때
쾌-이완	포레스트 검프
불쾌-각성	스크림
불쾌-이완	인생은 아름다워

자극을 제시함에 있어서, 다음 자극 시청 전에 이전 감성자극의 영향을 줄이기 위해서, 2-3분의 영상을 시청(감성유발을 위한 자극제시) 후 회색화면(reference) 1분 30초 시청하였으며, 이 시간 동안 주관설문를 통해 쾌/불쾌, 각성/이완으로 질문에 대한 7점 척도로 영상에 대한 감성평가를 시행하였다.

위와 같은 실험을 거친 후, 평과 결과는 도 6에 도시된 바와 같다.

도6을 참조하면, 4개의 감성도메인 중 쾌각성일 경우, 불쾌각성일때는 유의미한 차이를 보이지 않지만, 불쾌이완과 쾌이완에서는 유의미한 평균차이를 보인다(p<.001). 불쾌이완의 경우, 쾌이완과는 유의미한 차이를 보이지 않지만, 쾌각성과 불쾌각성과의 평균비교는 유의미한 차이(p<.001)를 보인다. 따라서, 각성(쾌-각성,불쾌-각성)일 때보다 이완(불쾌-이완,쾌-이완)일 경우에 움직임량이 큼을 알 수 있다.

이러한 본 발명이, 지금까지, 본원 다양한 모범적 실시 예가 설명되고 첨부된 도면에 도시되었다. 그러나, 이러한 실시 예는 단지 다양한 실시 예들의 일부임이 이해되어야 할 것이다. 다양한 다른 변형이 본 기술분야에서 통상의 지식을 가진 자에게 일어날 수 있기 때문이다.

Claims (5)

1. 피험자 그룹에 대한 영상 데이터를 획득하는 영상 데이터 수집 단계;
   상기 영상 데이터에서, 시간 축의 정보 중 색상에 대한 정보를 추출하고 증폭하는 영상 데이터를 증폭하는 단계;
   증폭된 상기 영상 데이터를 전처리하여, 소정의 시간 간격의 움직임량에 대한 제1데이터와 제1데이터에 선행하는 것으로 제1데이터에 비해 긴 소정 시간 간격의 움직임량에 대한 제2데이터를 추출하는 단계;
   상기 제1데이터와 제2데이터를 처리하여 제1데이터와 제2데이터의 평균을 구하는 단계;
   상기 제1데이터와 제2데이터의 평균의 차를 비교하여, 상기 제1데이터의 평균이 제2데이터의 평균에 비해 크면, 피험자 그룹의 집단 감성 상태를 "이완"으로 피험자 그룹의 감성 상태를 평가하고, 상기 제1데이터의 평균이 제2데이터의 평균에 비해 작으면, 피험자 그룹의 집단 감성 상태를 "각성"으로 판정하는 단계;를 포함하는 집단 감성 판단 방법.
2. 제1항에 있어서,
   제1데이터는 임의 특정 시간에서 획득한 1초간의 데이터이며, 그리고 제2데이터는 상기 제1데이터에 선행한 그 이전의 30초간의 데이터인 것을 특징으로 하는 집단 감성 판단 방법.
3. 삭제
4. 삭제
5. 제1항 또는 제2항의 방법을 수행하는 집단 감성 판단 시스템에 있어서,
   상기 피험자 그룹을 촬영하는 영상 카메라와 영상 카메라로부터의 데이터를 분석하는 분석 시스템;을 포함하는 집단 감성 판단 시스템.

Images