KR101940673B1 - 인체 미동을 이용한 공감도 평가 방법 및 장치 - Google Patents

Abstract

인체 미동을 이용하여 피험자간 공감도를 평가하는 방법 및 장치를 개시한다. 방법:은 동영상 카메라를 이용해 교감이 가능한 상태에 있는 두 피험자의 안면을 촬영하는 단계; 상기 안면 영상에서 프레임간 변화량을 검출하여 피험자의 미세 움직임 데이터를 추출하는 단계; 상기 미세 움직임 데이터로부터 상기 피험자의 미세 움직임의 크기 별로 소정 주파수 밴드 별로 미동 데이터를 검출하는 단계; 그리고 상기 주파수 밴드 별 미동 데이터를 이용하여 상기 두 피험자 간의 공감도(Empathy)를 평가하는 단계;를 포함한다.

Description

인체 미동을 이용한 공감도 평가 방법 및 장치{Evaluation Method of Empathy based on micro-movement and system adopting the method}

본 발명은 공감도 평가 방법 및 장치에 관한 것으로서, 상세하게는 비접촉 영상-처리에 의해 사람 간의 공감도(Empathy)를 정량적으로 평가하고 판단하는 방법 및 장치에 관한 것이다.

최근 모바일 기기가 보편화 되면서 사물 인터넷 기반이 형성되고 있다. SNS (Social Network Service)는 여러 모바일 디바이스를 이용해서 새롭고 다양한 형식으로 사회적 상호작용을 발생 시킨다. 이에 SNS에서 발생되는 사회적인 인적 네트워크 및 관계 형성 등에 관한 연구에 관심이 증가하고 있다(Kim, 2010; Cha et al, 2012). IT (Information Technology)기술의 발전으로 인터넷이 유선에서 무선 중심으로 변화 되었다. 무선 인터넷의 활성화로 스마트폰, 태블릿, 스마트 워치 등 사용자 중심 환경으로 변화 되고 있다. 따라서 다양한 공간에서 페이스북(Facebook), 트위터(Twitter) 등을 이용해 사회적 관계를 형성하고 있다.

사회적 관계는 사회적 인지(Social cognition) 또는 상호작용(Social interaction)을 통해 형성 된다. 이는 상대방의 정신적 상태나 행동에 대하여 이해하는 것을 의미한다. 상대방을 이해하려면 상대방의 공감적 반응이 반드시 요구 된다(Krueger and Michael, 2012). 이에 따라 온라인에서 발생하는 사회적 현상들에 대한 활발한 연구가 진행 되고 있다(Kim, 2010; Kim＆Choi, 2011; Kim, 2009; Bea, 2005; Park, 2008). 최근에 게임 등 온라인 콘텐츠를 많이 이용하고 아바타나 원격지간 커뮤니케이션 도구들이 많이 생겨나고 있다. 가상 및 네트워크 기술 발전에 따라 비즈니스나 교육 등 다양한 콘텐츠로 확장되고 있다. 실제 원격지에서 공감이나 몰입 등 감성적 커뮤니케이션에 대한 요구도 증가하고 다양한 감성인식 및 평가에 대한 많은 연구들이 진행 되고 있다(Won et al, 2012).

감성을 인식하기 위해 생체신호, 영상, 음성 등의 기술을 통해 접근하고 있다(Whang et al, 2012). 뇌파(EEG, Electroencephalogram), 심전도(ECG, Electrocardiogram) 등 생체신호를 이용한 감성인식 방법은 생리적 반응을 통해 평가함으로써 보다 객관적이고 정량적인 평가가 가능하다. 하지만 접촉식 센서를 이용하기 때문에 착용에 대한 불편함 및 부담감에 대한 한계점으로 존재한다. 이런 한계점을 극복하기 위해 비접촉 형태의 센싱 기술이 발전하고 있다. 음성의 경우 단어, 말투, 억양 등의 특성이 있어 정확도가 떨어진다는 단점이 있다. 다른 비접촉 형태의 기술인 영상을 이용한 방법은 얼굴 표정이나 제스쳐를 통해 감성을 인식한다. 이 방법은 의도적으로 조절 가능하기 때문에 정량적인 방법으로 감성을 평가하는데 어려움이 있다. 따라서 한계점을 극복하고 의도적인 제어가 불가능한 생리적 반응에 기반 된 감성 인식 및 평가 기술이 필요하다.

위(Wii), 키넥트(Kinect) 같은 특수한 장치들이 제품으로 출시되고 있다. 이러한 제품들은 특정 하드웨어와 소프트웨어를 동시에 구성해야만 사용 가능한 단점이 있다. 최근에는 소프트웨어 기술만 이용한 다양한 인식 기술들이 개발되고 있다. MIT의 연구에서는 얼굴 피부의 RGB 색상 변화와 시간과 공간의 왜곡과 증폭을 통해 심박 정보를 인식하는 기술이 연구되고 있다(Poh M, Z. 2010; Wu, H. Y. 2012). 하지만 연구는 조명, 거리 등 환경에 따른 한계점이 존재한다. 따라서 영향을 적게 받는 새로운 기술이 필요하다.

인체 미동 기술은 인체 해부학 기관인 전정기관에 메커니즘을 두고 있다. 생리적 반응은 머리 및 상반신의 미세한 움직임을 통해 표현된다. 이런 움직임은 인체의 균형감각을 조절하는 원리에 근거하는 생리적 현상이다. 전정기관은 자율 및 중추신경계 정보를 주고받는 신경로에 위치하며 심혈관계와 호흡계에 영향을 미치는 기관이다(Lee, 2006). 특히 전정 감정 반사(Vestibular emotional reflex) 기능은 신경계의 반응 정보를 각 기관과 주고받는다. 이 때 생리적 반응과 신경 정보들이 미세한 움직임으로 표현되고 감정, 정서, 심리 상태 등에 따라 다르게 반응한다. 이에 근거한 비접촉 형태의 영상 처리기술을 이용해 인체 미동 정보를 추출하여 정량적으로 감성인식을 하고자 한다.

Bae, Y. (2005). Social Relations in Cyberspace-Focused on the Making and Maintenance of Relation with Personal Media. Korean Journal of Sociology, 39(5), 55-82. Cha, Y. S., Kim, J. H., Kim, J. H., Kim, S. Y., Kim, D. K., and Whang, M. (2012). Validity analysis of the social emotion model based on relation types in SNS. Journal of Korean Society for Emotion and Sensibility, 15(2), 283-296. Kim, Y. J. (2010). motivation to use according to the relationship formation of social network service : focusing on Twitter and Me2DAY. Master's thesis. Hongik University. P, 22. Kim, M. J., Choi, Y. G. (2012). The Role of Twitter on Online and Offline Relationship Formation. Korean Journal of Broadcasting and Telecommunication Studies, 26(1), 43-82. Kim, Y. J. (2009). A Study of Online Relationship. Korean Journal of Broadcasting and Telecommunication Studies, 23(5), 45-82. Lee, T. K., Chung, W. H. (2006). Vestibular Influences on Autonomic Regulation. Journal of the Korean Balance Society 5(2), 329-335. Lee, E. C., Whang, M., Ko, D., Park, S., and Hwang, S. T. (2014). A New Social Emotion Estimating Method by Measuring Micro-movement of Human Bust. In Industrial Applications of Affective Engineering, 19-26. Park, J. H. (2008). Exploring Factors Influencing Users' Continuance Intention in Social Networking Sites. Journal of the Korean Society for Information Management, 25(4), 205-226. Poh, M. Z., McDuff, D. J., and Picard, R. W. (2010). Non-contact, automated cardiac pulse measurements using video imaging and blind source separation. Optics express, 18(10), 10762-10774. Won, M. J., Park, S., Kim, C. J., Lee, E. C., and Whang, M. C. (2012). A Study on Evaluation of Visual Factor for Measuring Subjective Virtual Realization. Journal of Korean Society for Emotion and Sensibility, 15(3), 389-398. Whang, M. C., Kim, J. H., Mun, S. C., and Park, S. (2011). Emotion modeling and recognition technology. Journal of Korea Robotics Society, 8(4), 34-44. Wu, H. Y., Rubinstein, M., Shih, E., Guttag, J. V., Durand, F., and Freeman, W. T. (2012). Eulerian video magnification for revealing subtle changes in the world. ACM Transactions on Graphics, 31(4), 1-8.

본 발명은 비접촉 센싱 방법으로 측정되는 인체의 미동(MM, Micro-movement)을 이용하여 사회적 관계성에 필요한 공감도를 정량적으로 인식 및 평가하는 방법을 제시한다.

본 발명에 따른 방법:은

동영상 카메라를 이용해 교감이 가능한 상태에 있는 두 피험자의 안면을 촬영하는 단계;

상기 안면 영상에서 프레임간 변화량을 검출하여 피험자의 미세 움직임 데이터를 추출하는 단계;

상기 미세 움직임 데이터로부터 상기 피험자의 미세 움직임의 크기 별로 소정 주파수 밴드 별로 미동 데이터를 검출하는 단계; 그리고

상기 주파수 밴드 별 미동 데이터를 이용하여 상기 두 피험자 간의 공감도(Empathy)를 평가하는 단계;를 포함한다.

본 발명의 구체적인 실시 예에 따르면, 상기 공감도의 평가는 상기 주파수 밴드 별 움직임 양, 움직임 변화량 또는 움직임의 동기화 중의 어느 하나를 이용할 수 있다.

본 발명의 구체적인 실시 예에 따르면, 상기 주파수 밴드는 0.5Hz, 1Hz, 3Hz, 5Hz 또는 15Hz 중의 적어도 어느 하나의 밴드를 포함할 수 있다.

본 발명의 구체적인 실시 예에 따르면, 상기 움직임 변화량은 아래의 <식>에서 정의되는 미동량(O_FHZ)이다.

<식>

상기 식에서, W와 H는 미동량 측정 대상이 되는 영역, 즉 ROI(Region of interest)에서 상체 미동의 수평 및 수직 길이(크기 또는 거리), In(i, j) 는 n 번째 이미지 프레임의 i 번째 칼럼(Column)과 J 번째 로(Row)의 픽셀 값, R은 사용된 카메라의 프레임 레이트(Frame rate)이다.

본 발명의 구체적인 실시 예에 따르면, 상기 두 피험자는 온라인 또는 오프라인 상에서 상호 마주대할 수 있다.

상기 방법을 수행하는 본 발명에 따른 공감도 평가 장치:는

상기 피험자를 촬영하는 동영상 카메라;

상기 동영상 카메라로부터의 영상을 처리하는 영상 처리부; 그리고

상기 영상 처리부로 부터의 정보를 이용해 피험자가의 공감도를 평가하는 분석부;를 포함할 수 있다.

도1은 본 발명에 따른 실험 순서를 보이는 흐름도이다.
도2는 본 발명에 따른 실험 환경을 예시한다.
도3은 본 발명에 따른 공감도 평가 시스템의 인터페이스 화면을 예시한다.
도4 내지 도8은 본 발명에 따른 미세 움직임 양(MM, Micro Movement)의 양에 대한 통계적 분석결과를 보인다.
도9 내지 도13은 본 발명에 따른 미세 움직임 양(MM, Micro Movement)의 변화(Variation)에 대한 통계적 분석결과를 보인다.
도14내지 도19는 본 발명에 따른 미세 움직임의 동조 또는 동기화를 분석결과를 보인다.
도20은 본 발명에 따른 공감도 평가 시스템의 개략적 구성도이다.
도21은 본 발명에 따른 온라인 공감도 평가 시스템의 연결 방식을 설명하는개략적 도면이다.
도22는 본 발명에 따른 온라인 공감도 평가 시스템이 개략적 구성도이다.

이하, 첨부된 도면을 참조하면서 본 발명에 따른 인체 미세 움직임을 이용한 피험자간 공감도를 평가하는 방법 및 장치의 구체적인 실시 예에 대해 상세히 설명한다.

먼저, 본 발명에 따른 공감도 평가 방법을 검증하기 위한 실험에 대해 설명한다.

1. 피험자

피험자는 태스크(Task)를 수행하기 위해 한 쌍이 될 수 있도록 하며 성별에 따른 차이를 고려해 남녀 비율을 맞춰 모집 하였다. 두 피험자 간에는 어색함을 배제하기 위해 서로 안면이 있는 피험자로 선정하였으며 적극적인 Task를 수행 할 수 있도록 하였다. 피험자는 대학교 재학생 8명(남자4명, 여자4명, 평균나이: 24.27±2.24)이 실험에 참여 하였다. 실험에 참여한 피험자는 심혈 및 신경계에 병력이 없는 자를 모집하였다. 실험 전 수면 및 심혈관계에 미칠 수 있는 카페인, 흡연, 음주 등에 섭취는 금하도록 권고하였다. 모든 피험자에게 실험의 연구목적을 제외한 대략적인 설명을 한 후 진행하였으며 소정의 참가비를 지급하였다.

2. 실험 절차

실험은 이성간 차이를 없애기 위해 동성 간에 진행 하였으며 피험자는 리더(Leader)와 팔로워(Follower)로 분류하였다. 리더(Leader)는 상대방 뒤편에 있는 자극시스템의 모니터에 나타나는 제시 된 얼굴 표정을 직접 보고 태스크(Task)를 수행하였고 팔로워(Follower)는 리더(Leader)의 얼굴을 직접보고 얼굴 표정 실험을 진행 하였다. 두 피험자는 서로 역할을 바꿔 4번의 반복을 진행 하였다. 리더(Leader)와 팔로워(Follower)의 역할 진행시 순서에 따른 효과를 제거하기 위해 무작위적(Random)으로 수행 하였다. 태스크(Task) 수행은 제시 된 표정을 따라 하였으며 실험 절차는 도1에 도시된 바와 같다.

3. 실험자극

분류 된 피험자는 리더(Leader)와 팔로워(Follower)로 분류 되어 마주보는 형태로 도2에 도시된 바와 같이 배치되었다. 각 리더(Leader)와 팔로워(Follower)는 실험 자극과 상대방을 같이 볼 수 있도록 모니터와 함께 배치하였으며 서로간의 얼굴 표정 및 영상 데이터를 수집 할 수 있도록 동영상 카메라로서 소형인 웹캠(Webcam, Web-Camera)을 설치 하였다. 미세한 움직임을 측정하기 위해 행동적인 움직임이 제한 된 상태에서 감성적 상태를 사람 간에 가장 잘 표현하고 느낄 수 있는 얼굴 표정 자극을 선정하였다. 에크만(Ekman)의 6가지 기본 감정을 참고하여 공포 또는 두려움(fear), 혐오(disgust), 슬픔(fear), 놀람(surprise), 화남(anger), 행복(happy)에 대한 얼굴 표정 자극을 제시하였다. 자극의 메시지를 받은 피험자는 상대 피험자의 뒷면에 있는 모니터를 통해 6가지 기본 감성 자극을 볼 수 있으며 상대방의 얼굴을 보고 자극을 수행하면 공감으로 분류하고 모니터를 통해 일방적으로 제시된 자극을 보고 수행하면 공감하지 않는 것으로 분류하도록 하였다.

4. 데이터 수집

데이터 수집은 각 리더(Leader)와 팔로워(Follower) 모두 정면에서 상반신을 촬영 할 수 있도록 하였다. 안면 또는 안면을 포함하는 상반신을 촬영하는 웹캠(Webcam)은 Microsoft사의 LifeCam studio를 사용하였다. 카메라 설정은 해상도 640x480, 30fps와 화이트 밸런스 및 포커스 등 자동 조절 기능들은 모두 정지하였다.

도20은 본 발명에서 적용하는 시스템의 개략적 구성도이다.

두 피험자, 즉 팔로워(Follower, P1)와 리더(Leader, P2)를 각각 촬영하는 카메라는 동영상 카메라, 예를 들어 웹캠 또는 소형 동영상 카메라(110a, 110b)이다. 카메라(110a, 110b)로부터의 동영상은 영상 처리부(120)를 거쳐서 특정의 영상이 추출되고 이것은 프로세싱 장치(130)에 의해 처리된다. 프로세싱 장치(130)는 전술한 바와 같은 방법을 수행하는 소프트웨어 및 이를 지원하는 하드웨어 시스템을 가진다.

이러한 프로세싱 장치(130)는 컴퓨터 기반의 장치, 예를 들어 전술한 바와 같은 방법 또는 알고리즘을 담고 있는 소프트웨어 및 이 소프트웨어가 구동할 수 있는 하드웨어를 포함하는 범용 컴퓨터 또는 전용 장치일 수 있다. 상기와 같은 프로세싱 장치(130)로부터의 처리 결과는 디스플레이 장치(130)에 의해 표시된다. 위와 같인 시스템은 일반적인 입력 장치를 포함하는 일반적인 외부 인터페이스 장치, 예를 들어 키보드, 마우스 등을 더 포함할 수 있다.

이러한 본 발명은 팔로워(Follower, P1)와 리더(Leader, P2)를 비침습적으로, 그리고 불편한 하드웨어의 부착이 없이 동영상 촬영을 통해서 두 피험자 간의 공감도를 측정 또는 평가 한다.

5. 데이터 처리

인체 미동을 이용하여 데이터를 분석하기 위해 자체적으로 개발한 미동 추출 프로그램을 사용하였으며 도3은 상기 프로그램의 일례를 예시한다.

여기에서, 상기 영상 카메라를 이용하여 입력 된 영상 데이터를 이용하여 인체의 미세한 움직임을 머리에서 추출하기 위하여 OpenCV를 이용한 안면인식을 통해 영상 정보를 분리한다..

OpenCV(Open Computer Vision)은 C 이다. 원래는 이 개발하였으며, , 등의 여러 플랫폼에서 사용할 수 있다. 이러한 OpenCV는 실시간 이미지 프로세싱에 중점을 둔 라이브러리이다.

상기 OpenCV에 기반을 둔 안면 인식 시스템(facial recognition system)은 디지털 이미지를 통해 각 사람을 자동으로 식별하는 컴퓨터 지원 응용 프로그램을 말한다. 이는 살아 있는 이미지에 나타나는 선택된 얼굴 특징과 안면 데이터베이스를 서로 비교함으로써 이루어진다.

Adaboost 방법을 적용한 안면 인식 시스템 또는 검출기(프로그램)을 이용하여 상체 이미지의 첫 번째 프레임에서 얼굴 영역을 검출한다. 이때에, 모든 프레임들에서 얼굴 영역의 검출은 필요하지 않다. 이는, 본 발명에 따라서, 인접한 두 프레임에서 동일한 위치의 픽셀의 (휘도)값의 차를 구하여 미세 움직임의 양을 추출하기 때문이다.

Adaboost 방법은, 입력 이미지에서 안면을 검출하기 위하여 많은 약한 분류기(Simple Weak Classifier)를 결합(combining)하는 것에 의해 생성된 강한 분류기(Strong Classifier)를 사용한다. 알고리즘은 많은 학습 시간을 요구하지만, 이것은 검출에 요구되는 짧은 시간과 양질의 검출 결과의 이점(Advantage) 등을 가진다. 이것은, 1/4로 데시메이션된(decimated) 이미지에서 안면 영역을 검출하는데 한 이미지 당 평균 29msec(밀리초)가 소요되었다.

안면 영역 검출 이후, 상체 미세 움직임을 계산하기 위하여 이미지를 빼기(Subtracting) 위한 선택된 영역(Candidate region, 도2에서 녹색 사각형)은 안면 영역의 수평 방향으로 소정 수의 픽셀, 예를 들어 160 픽셀로 확장시켰다

안면 인식 프로그램은 각 영상의 프레임별 차이 값을 계산하여 한 프레임 간 변화 된 움직임의 양을 계산하는 것으로 현재와 이전의 움직임 정보를 추출하여 초당 30 Hz의 Raw 데이터가 된다. 여기에서 Raw 데이터로부터 통해 움직임의 크기에 따라 주파수 성분으로 추출한다.

구체적으로 30 Hz의 미동 데이터는 초당 0.5 Hz, 1 Hz, 3 Hz, 5 Hz, 15 Hz 주파수밴드별로 평균 미동량(O_FHZ)를 추출하였다.

구체적으로 주파수 밴드 별로 평균 미동량을 측정하기 위하여, 카메라 영상 분석 프로그램이 분석에 적용되었다. 캡쳐된 칼라 이미지는 흑백의 그레이 스케일로 변환되었다. 이는 이미지의 색상 정보는 거동 분석에 있어서 중요하지 않기 때문이다. 미동 평균량 "O"을 계산함에 있어서, 주파수가 임의 값 "F" 인 대역에서의 평균 미동량(O_FHz, Average amount of micro movement at Frequency "F" Band)은 아래의 식으로 계산될 수 있다

상기 식1에서, W와 H는 미동량 측정 대상이 되는 영역, 즉 ROI(Region of interest)에서 상체 미동의 수평 및 수직 길이(크기 또는 거리)이다. 그리고, In(i, j) 는 n 번째 이미지 프레임의 i 번째 칼럼(Column)과 J 번째 로(Row)의 픽셀 값이다. R은 사용된 카메라의 프레임 레이트(Frame rate)이다.

도3에서, (1)의 화면은 피험자의 실시간 얼굴 영상을 표시하는 화면이며, (2)의 화면은 실제 피험자의 움직임이 발생한 정보만 표시하는 영역으로 그 데이터는 (4)화면과 같이 나타나게 된다. (3)화면의 경우 잘 보이지 않는 미세한 움직임의 데이터를 실시간으로 추출 할 때 나타나는 움직임 양의 원형 데이터(Raw data)를 표시하는 화면이다.

6. 데이터 분석

자극 시스템의 표정을 보고 수행하는 공감하지 않는 그룹과 상대방의 얼굴을 직접 보고 수행하는 공감하는 그룹으로 분류하였다. 분류 된 그룹은 각 움직임 크기별로 추출될 수 있는 정보에 따라 움직임 양, 움직임 양의 변화량, 동시 실험을 진행한 피험자들 간에 움직임의 동조 현상을 분석하였다. 추출 된 데이터 모두 정규성을 따르지 않아 비모수 검정을 실시하였다. 공감과 비공감 그룹 간 차이를 비교하기 위해 움직임 양 및 움직임 변화량 데이터는 두 집단의 독립성을 보장되지 않고 정규성(Normality)을 따르지 않아 맨-휘트니(Mann-Whitney) 분석을 실시하였다. 또한 두 사람 간의 움직임에 대한 동기화 정도를 확인하기 위해 상관(Correlation) 분석을 진행하였다. 데이터 분석은 SPSS ver 17k를 사용하여 통계 검증을 실시하였으며 데이터 샘플은 G Power ver 3.1.7을 이용하여 샘플 수를 충족 확인 후 데이터 분석을 진행 하였다(Total sample size = 88, Effect size = 0.8, Beta power = 0.95).

이하, 도4 내지 도8을 참조하면서 미세 움직임(MM, Micro Movement)의 양(O_FHZ)에 대한 통계적 분석결과를 설명한다.

6가지 얼굴 표정 Task를 수행한 구간을 각 주파수 별로 추출하였고, 여러 주파수 밴드 별로 미세 움직임(MM) 양을 통계적으로 분석하여, 공감(Empathy)과 비공감(Non-Empathy)의 유의성을 분석하였다. 아래의 설명에서 M 은 평균(Mean)을 의미하며, SE는 표준오차(Standard Error)을 의미한다.

도4는 0.5 Hz에서의 MM 분석 결과를 보인다. 0.5Hz의 경우, Empathy에서 M = 3.426, SE = 0.124, Non-Empathy에서 M = 5.989, SE = 0.210로 나타났다. 결론적으로 통계적으로 유의한 차이를 보였다(Z(384) = -10.059, p < 0.001).

도5는 1Hz에서의 MM 분석 결과를 보인다. 1 Hz의 경우, Empathy에서 M = 2.866, SE = 0.092이며, Non-Empathy 에서 M = 4.497, SE = 0.172로 나타났다. 비교 분석한 결과 통계적으로 유의한 차이를 확인하였다(Z(384) = -8.720, p < 0.001).

도6은 3Hz에서의 MM 분석 결과를 보인다. 3 Hz의 경우, Empathy에서 M = 2.122, SE = 0.077이며, Non-Empathy 에서 M = 2.900, SE = 0.105로 나타났다. 그 결과 통계적으로 유의한 차이를 보였다(Z(384) = -7.713, p < 0.001).

도7은 5Hz에서의 MM 분석 결과를 보인다. 5 Hz의 경우, Empathy 에서 M = 1.703, SE = 0.038 이며, Non-Empathy 에서 M = 2.410, SE = 0.091로 나타났다. 그 결과 통계적으로 유의한 차이를 보였다(Z(384) = -7.675, p < 0.001).

도8은 15Hz에서의 MM 분석 결과를 보인다. 15 Hz의 경우, Empathy 에서 M = 2.866, SE = 0.092, 그리고 Non-Empathy 에서 M = 1.414, SE = 0.040로 나타났다. 그 결과 통계적으로 유의한 차이를 보였다 (Z(384) = -5.793, p < 0.001).

이하, 도9 내지 도13을 참조하면서 미세 움직임 양(MM, Micro Movement)의 변화(Variation)에 대한 통계적 분석결과를 설명한다.

도9 내지 도13의 각각은 0.5Hz, 1Hz, 3Hz, 5Hz, 15H에서의 분석 결과를 도시하는 것으로, 6가지 얼굴 표정 Task를 수행한 구간을 각 주파수 별로 추출하여 분석 결과를 보인다.

도9에 도시된 바와 같이, 0.5 Hz에서 Empathy (M = -0.111, SE = 0.003)와 Non-Empathy (M = -0.341, SE = 0.466)를 비교 결과 통계적으로 유의한 차이를 보였다 (Z(384) = -5.471, p < 0.001).

도10에 도시된 바와 같이, 1 Hz에서 Empathy (M = -0.108, SE = 0.035) 와 Non-Empathy (M = -0.460, SE = 0.025)로 나타났으며, 비교 결과 통계적으로 유의한 차이를 보였다(Z(384) = -8.459, p < 0.001).

도11에 도시된 바와 같이, 3 Hz에서 Empathy (M = -0.121, SE = 0.038)와 Non-Empathy (M = -0.528, SE = 0.019)로 나타났으며, 비교 결과 통계적으로 유의한 차이를 보였다(Z(384) = -11.156, p < 0.001).

도12에 도시된 바와 같이, 5 Hz에서 Empathy (M = -0.155, SE = 0.021)와 Non-Empathy (M = -0.493, SE = 0.020)로 나타났으며, 이를 비교 결과 통계적으로 유의한 차이를 보였다(Z(384) = -10.755, p < 0.001).

도13에 도시된 바와 같이, 15 Hz에서 Empathy (M = -0.118, SE = 0.027) 와 Non-Empathy (M = -0.424, SE = 0.019)로 나타났으며, 이를 비교한 결과 통계적으로 유의한 차이를 보였다(Z(384) = -10.179, p < 0.001).

이하, 도14내지 도19를 참조하면서 미세 움직임의 동조 또는 동기화를 분석결과를 설명한다. 이 분석에서, 6가지 얼굴 표정의 각 자극 별로 두 피험자 사이에 움직임의 동기화를 분석하였다.

두 피험자의 각 표정 별 움직임 데이터 간 상관분석 결과, 도14에 도시된 바와 같이, 공포(Fear)에서는 Empathy 일 때(r(25) = 0.114, p < 0.05)와 Non-Empathy 일 때(r(25) = 0.055, p < 0.05)로 Empathy 일 때 상관성이 높았다.

혐오(Disgust)에서는 도15에 도시된 바와 같이, Empathy 일 때(r(25) = 0.716, p < 0.001)와 Non-Empathy 일 때(r(25) = 0.373, p < 0.001)로 Empathy 일 때 상관성이 높은 것으로 나타났다.

놀람(Surprise)에서는 도16에 도시된 바와 같이 Empathy 일 때(r(25) = 0.427, p < 0.05)와 Non-Empathy 일 때(r(25) = 0.163, p < 0.05)로 Empathy 일 때 상관성이 높은 것으로 나타났다.

슬픔(Sad)에서는 도17에 도시된 바와 같이, Empathy 일 때(r(25) = 0.466, p < 0.05)와 Non-Empathy 일 때(r(25) = 0.416, p < 0.05)로 Empathy 일 때 상관성이 높은 것으로 나타났다. Angry에서는 Figure 18와 같이 Empathy 일 때(r(25) = 0.143, p < 0.05)와 Non-Empathy 일 때(r(25) = 0.480, p < 0.05)로 Non-Empathy 일 때 상관성이 높은 것으로 나타났다.

행복(Happy)에서는 도19에 도시된 바와 같이, Empathy 일 때(r(25) = -0.372, p < 0.05)와 Non-Empathy 일 때(r(25) = 0.206, p < 0.05)로 Empathy 일 때 상관성이 높은 것으로 나타났다.

위에서 상세히 설명된 본 발명은 사회관계성 중에 하나인 공감도(Empathy)를 인체 미동이라는 비접촉 센싱 기법을 이용하여 확인하였다. 실험은 남녀 대학생 피험자 8명을 대상으로 Ekman의 6가지 표정을 수행하는 실험을 진행하였다. 공감한 그룹과 비공감 그룹으로 피험자를 분류하여 6가지 표정을 수행하는 동안 데이터를 측정 할 수 있도록 하였다. 공감과 비공감 일 때 인체 반응을 모니터링 하는 형태로 실험이 수행 되었다.

실험 데이터 분석은 인체 미동을 통해 얻어진 데이터를 각 6가지 표정 Task 별 데이터를 수집하였다. 1초 동안 수집된 30 Fps 영상에서 각 0.5 Hz, 1 Hz, 3 Hz, 5 Hz, 15 Hz로 움직임 양을 구분하여 각 Task 별 움직임의 데이터를 추출하였다. 움직임의 평균과 변화량을 분석하였다. 또한 공감한 사람과 비공감한 사람 간 움직임에 동조현상을 비교하여 인체에 움직임이 어떻게 반영되어 나타나는지 분석하였다.

미동의 패턴 분석 중에서 먼저 움직임의 평균은 6가지 얼굴 표정을 지어 나온 평균적인 움직임 양의 통계 분석 결과 유의한 차이를 보였다. 또한 움직임의 변화량도 동일하게 통계적인 차이를 보였다. 이는 공감을 할 때의 움직임 양이 적고 움직임의 변화 정도 또한 적다고 볼 수 있다. 반대로 공감하지 않을 때는 움직임의 양이 크며 그 변화의 정도가 큰 것으로 볼 수 있다. 두 피험자간의 동조현상에 대한 데이터 비교 결과 공감 할 때가 공감하지 않을 때 보다 두 피험자 간의 동조 현상이 높은 것으로 확인 되었다.

실험 결과 타인과 공감이 되었을 때 해당 Task의 몰입과 집중하게 되어 움직임의 정도가 줄어들고 반대로 공감하지 못하였을 때는 집중하지 못하게 됨에 따라 산만해지며 움직임에 양과 변화 정도가 커지는 것으로 해석 할 수 있다.

공감도 평가 시 접촉형 센싱 방법이 아닌 일반 웹 카메라를 활용하여 비접촉형 센싱 기법을 활용하였다. 따라서 센서 착용의 부담감 및 불편한 요소를 최소화 하였다. 이러한 방법을 활용하면 다양한 공간과 기기에서 간단한 동영상 촬영만으로 공감도를 평가 할 수 있다.

이러한 본 발명의 공감도 평가 방법 및 시스템은 두 피험자가 도2에 도시된 바와 같이 오프라인에서 직접 대면하는 방법 외에 온라인을 통해서 원거리에 위치하는 두 피험자 또는 사용자 간에 적용될 수 있다.

도21에 도시된 바와 같이, 두 피험자 또는 사용자 (P1, P2)는 원거리에 떨어져 있으며, 각 사용자 (P1, P2)는 모니터 (101), 카메라 (102) 및 분석 시스템 (103)을 포함하는 개별 시스템 (100a, 100b)에 위치한다.

개별 시스템 (100a, 100b)는 광역 네트워크 (WAN) 또는 협역 네트워크 (LAN)을 포함하는 통신망 (100c)을 통해 상호 연계되어 있다. 즉, 상기 시스템 (100a, 100b)은 기본적으로 전술한 분석 시스템을 포함하는 온라인 컴퓨터 기반의 화상 통화 시스템 또는 화상 통신 시스템의 구조를 가질 수 있다. 상기 개별 시스템은 사용자 수에 따라 복 수개 마련될 수 있으며, 2명의 사용자를 위한 분석 시스템은 2 개의 개별 시스템을 가질 수 있다.

각 개별 시스템 (100a, 100b)는 도14에 도시된 바와 같이 사용자 (P1, P2)를 촬영하는 카메라 (110), 카메라 (110)로부터 획득한 영상을 처리하는 영상처리부 (120), 두 피험자의 데이터를 분석하는 분석부 (130), 분석된 결과를 해당 사용자에게 보여주는 디스플레이 (140)를 구비한다. 한편, 별도로 마련된 통신부 (150)는 상기 통신망 (100c)을 통해 상대편 개별 시스템 (100a, 100b)으로 필요 데이터를 전송한다.

상기 분석부 (130)는 해당 사용자의 데이터와 상대편 사용자의 데이터를 전술한 바와 같은 방법으로 비교 분석하여 두 사용자간의 친밀도 여부를 평가하며, 그리고 상대편 개별 시스템으로 전송할 데이터를 생성하여 통신부 (150)로 전송한다.

즉, 두 개별 시스템(100a, 100b) 각각의 분석부(130)는 해당 사용자로부터의 영상 자료로부터 전술한 본 발명의 영상 자료 및 신호 처리 과정을 통해 미동 데이터를 추출하여 해당 통신부(150)를 통해 상대편 개별 시스템 (100b, 100a)로 전송하고, 그리고 각 개별 시스템(100a, 100b)의 분석부(130)는 자체로 추출한 미동 데이터를 비교함으로써 두 사용자간의 공감도를 판정한다.

가상 또는 원격의 도구를 활용한 커뮤니케이션은 주로 언어적 표현을 이용하며 의미 전달은 되지만 느낌과 같은 비언어적 표현은 전달의 오류가 생기는 경우가 있다. 하지만 커뮤니케이션에 있어 서로 공감과 같은 감성 인식 기술을 적용하면 커뮤니케이션의 오류를 줄일 수 있고 생리적 반응에 의거한 정량적 인식 기술이기 때문에 그 정확도나 활용의 가치가 높을 것으로 예상된다.

본 발명에서는 시간적, 공간적, 물질적, 신체적 부담을 최소화 시킨 인체 미동 기술을 이용하여 공감도 평가를 확인하였다. 하지만 본 발명에 따른 연구는 이러한 비접촉형 방식의 감성인식 방법에 대한 초기 연구 중 하나로써 주변 환경이나 빛 등의 외부요인을 최소화하여 정확도를 높이기 위한 추가 연구가 필요하고 추후 다양한 조건 및 더 많은 실험을 통해 정량적 성과를 확보하기 위한 노력이 필요하다.

기술발전에 따라 시공간 제약이 사라지고 다양한 공간에서 감성적 커뮤니케이션을 통한 감성인식 연구들이 증가하고 있다. 따라서 본 연구는 감성을 정량적으로 평가 가능한 방법으로 감성 인식 방법을 넓히는데 있어 의의가 있다.

이러한 본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 해당 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

Claims (11)

1. 동영상 카메라를 이용해 온라인 또는 오프라인 상에서 마주대하여 상호 교감이 가능한 상태에 있는 두 피험자의 안면을 촬영하여 안면 영상을 획득하는 단계;
   상기 안면 영상에서 프레임간 변화량을 검출하여 피험자의 미세 움직임 데이터를 추출하는 단계;
   상기 미세 움직임 데이터로부터 상기 두 피험자의 미세 움직임의 크기 별로 0.5Hz, 1Hz, 3Hz, 5Hz 또는 15Hz 중의 적어도 어느 하나의 주파수 밴드 별로 미동 데이터를 검출하는 단계; 그리고
   상기 두 피험자의 주파수 밴드 별 미동 데이터의 동기화를 평가하여 상기 두 피험자 간의 공감도(Empathy)를 평가하는 단계;를 포함하며,
   상기 공감도의 평가는 상기 주파수 밴드 별 움직임 양, 움직임 변화량 또는 움직임의 동기화 중의 어느 하나를 이용하며, 상기 움직임 변화량은 아래의 <식1>에서 정의되는 미동량(O_FHZ)인 것을 특징으로 하는 인체 미동을 이용한 공감도 평가 방법.
   <식1>
   

   

   
   위에서, W와 H는 미동량 측정 대상이 되는 ROI(Region of interest)에서 상체 미동의 수평 및 수직 길이(크기 또는 거리), In(i, j) 는 n 번째 이미지 프레임의 i 번째 칼럼(Column)과 J 번째 로(Row)의 픽셀 값, R은 사용된 카메라의 프레임 레이트(Frame rate)이다.
2. 제1항에 있어서,
   상기 공감도의 평가는 상기 주파수 밴드 별 움직임 양, 움직임 변화량 또는 움직임의 동기화 중의 어느 하나를 이용하는 것을 특징으로 하는 인체 미동을 이용한 공감도 평가 방법.
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 제1항 또는 제2항에 기재된 방법을 수행하는 공감도 평가 장치에 있어서,
   상기 두 피험자를 촬영하는 동영상 카메라;
   상기 동영상 카메라로부터의 영상을 처리하는 영상 처리부; 그리고
   상기 영상 처리부로부터의 정보를 이용해 두 피험자의 공감도를 평가하는 분석부;를 포함하는 인체 미동을 이용한 공감도 평가 장치.
9. 삭제
10. 삭제
11. 삭제

Images