KR101795723B1 - 얼굴 미동의 내적 동기화를 이용한 감성 인식 방법 - Google Patents

Abstract

본 발명은 기본 감성 표정 인식을 위해, 얼굴 미동의 내적 동기화 차이를 검출한다. 본 발명에서는 두 AU(Action Unit) 중심점 미동의 동기화, 즉 AU 페어의 내적 동기화는 기본 감성 별로 차이를 나타낸다. 예를 들어 오른쪽 이마근-왼쪽 큰 광대근 페어에서 행복한 표정을 짓는 경우 부정 감성 표정을 지을 때 보다 내적 동기화 발생 확률이 더 높았다. 본 발명은 AU 페어의 내적 동기화를 이용해, 기본 감성을 인식 또는 판별할 수 있는 새로운 방법을 제시한다.

Description

얼굴 미동의 내적 동기화를 이용한 감성 인식 방법{Recognition of basic emotion in facial expression using implicit synchronization of facial micro-movements}

본 발명은 얼굴에 나타난 기본 감성을 AU(Action Unit)의 내적 동기화(implicit synchronization)를 이용해 정량적으로 판단하는 감성 인식 방법에 관한 것이다.

의사 전달과 감성 교감은 언어 정보와 비언어 정보의 공유를 통해 이루어진다. 일상적인 대화에서 얼굴 표정, 몸짓, 목소리 등이 차지하는 비율은 65 % 이상이며, 언어는 오직 35% 이하 라고 한다(Birdwhistell, 2010). 미국의 사회학자 Mehrabian(1972)은 상대방에 대한 인상이나 호감을 결정하는 데 있어서 시각적 요소는 55 % (표정 30%, 태도 20%, 몸짓 5%), 청각적 요소는 38 % 의 영향을 미치는 반면, 언어적 요소는 7 % 의 영향만 끼친다고 설명한다. 이처럼 비언어적 표현은 언어적 표현 이상으로 사람의 의도나 감성을 명확하게 전달한다(Delmonte, 1991). 따라서 사람의 감성을 인식하기 위해 비언어적 표현에 대한 연구가 필요하다(Seo, 2009; Wallbott ＆ Scherer, 1986).

비언어 요소 중, 얼굴 표정을 연구하는 방법은 크게 근전도(EMG, Electromyography) 분석과 비전기술을 활용하는 방법이 있다.

근전도 분석 방법은 얼굴에 센서를 부착하여 근육의 전기적 활성도를 수집하고 분석한다. 근전도를 사용하면 표정에 따른 근육의 움직임, 긴장도 등을 측정할 수 있다(Haag et al., 2004). 근전도를 사용한 감성 연구의 사례로, 긍정 또는 부정 감성 자극을 받았을 때의 근전도를 비교한 실험이 있다. 그 결과 긍정 감성을 느꼈을 때 큰광대근의 활성화가 크고, 추미근의 활성화가 작다는 것을 알 수 있었다(Dimberg et al., 2000). 그러나 근전도는 얼굴에 센서를 부착하여 측정되므로, 사용자의 움직임이 제한되고 센서 부착 부위에 불편함이나 고통이 유발될 수 있다. 또한 고가의 센싱 장비를 필요로 한다는 것도 한계로 지적된다(Lee, 2010).

비전 기반의 감성 표정 인식 기술은 카메라, 비접촉식 비전센서 등을 이용한다. 따라서 저비용, 높은 활용성 등과 같은 장점을 가진다. 비전 기반의 감성 표정 인식 연구에서 표정과 감성을 연결하는 기준은 Ekman과 Friesen(1971)의 기본 감성 이론을 차용한다. 그들은 행복, 분노, 혐오, 슬픔, 공포, 놀람의 표정을 정의하고, 이 여섯 감성 표정이 문화나 나라에 상관없이 동일함을 밝힌 바 있다. 비전 기반의 감성 표정 인식 연구의 예로 FACS(Facial Action Coding System)가 있다. FACS는 Ekman과 Friesen(1978)이 제안한 얼굴표정 분석도구이다. 그들은 얼굴을 해부학적으로 분석하여 46개의 AU(Action Unit)를 정의하였다. 따라서 FACS를 사용하면 얼굴 표정을 AU의 조합으로 표현할 수 있다. FACS는 얼굴 표정의 패턴을 분류하는 기계학습(Machine Learning)과 융합되어 감성 판단의 기준으로 사용되기도 한다(Ko ＆ Sim, 2009). 비전 기반 감성 표정 인식 기술의 다른 예로는 광학 흐름(Optical Flow)추정 방법, 홀리스틱 분석(Holistic Analysis) 방법, 등이 있다. 광학 흐름을 이용한 얼굴 표정 패턴 분석은 표정을 짓는 동안 얼굴 각 부위의 움직임 방향과 강도를 측정하고 시각화하는 것이 가능하다(Yacoob ＆ Davis, 1996). 홀리스틱 분석은 얼굴의 전체적인 화소 값에 대한 분석으로, 얼굴 표정 영상을 통계적으로 학습시켜 감성을 인식한다. 대표적인 홀리스틱 분석 기법으로는 주성분 분석법(PCA, Principal Component Analysis), 선형판별 분석법(LDA, Linear Discriminant Analysis), 독립 성분 분석법(ICA, Independent Component Analysis), 등이 있다(Draper et al., 2003). 비전 기반 감성 표정 인식 기술은 표정을 지을 때 외적으로 보이는 주요한 변화를 추적한다. 하지만 사람의 표정은 미세한 움직임의 변화를 포함하고 있으며, 그러한 미세 움직임은 진실한 감성의 단서가 된다(Ekman, 2009). 그러나 얼굴의 미세한 움직임은 기존의 얼굴 표정 인식 방법으로 추적하기가 매우 어렵다(Koo ＆ Kim, 2014).

Birdwhistell, R. L. (2010). Kinesics and context: Essays on body motion communication. University of Pennsylvania press. Delmonte, M. M. (1991). Use of non-verbal construing and metaphor in psychotherapy. International Journal of Psychosomatics. Dhall, A., Asthana, A., Goecke, R., and Gedeon, T. (2011). Emotion recognition using PHOG and LPQ features. Automatic Face and Gesture Recognition and Workshops (FG 2011), 2011 IEEE International Conference On, 878-883. Dimberg, U., Thunberg, M., and Elmehed, K. (2000). Draper, B. A., Baek, K., Bartlett, M. S., and Beveridge, J. R. (2003). Recognizing faces with PCA and ICA. Computer Vision and Image Understanding, 91(1), 115-137. Ekman, P. (2009). Lie catching and microexpressions. The Philosophy of Deception, 118-133. Ekman, P., and Friesen, W. V. (1971). Constants across cultures in the face and emotion. Journal of Personality and Social Psychology, 17(2), 124. Ekman, P., and Friesen, W. V. (1978). Manual for the facial action coding system. Consulting Psychologists Press. Ekman, P., and Friesen, W. V. (2003). Unmasking the face: A guide to recognizing emotions from facial clues. Ishk. Ekman, P., Sorenson, E. R., and Friesen, W. V. (1969). Pan-cultural elements in facial displays of emotion. Science (New York, N.Y.), 164(3875), 86-88. Elkins, A. N., Muth, E. R., Hoover, A. W., Walker, A. D., Carpenter, T. L., and Switzer, F. S. (2009). Physiological compliance and team performance. Applied Ergonomics, 40(6), 997-1003. Fridman, L., Brown, D. E., Angell, W., Abdi, I., Reimer, B., and Noh, H. Y. (2015). Automated synchronization of driving data using vibration and steering events. arXiv Preprint arXiv:1510.06113. Haag, A., Goronzy, S., Schaich, P., and Williams, J. (2004). Emotion recognition using bio-sensors: First steps towards an automatic system. ADS, 36-48. Ko, K., and Sim, K. (2009). Development of emotional feature extraction method based on advanced AAM. Journal of Korean Institute of Intelligent Systems, 19(6), 834-839. Koo, S. O., and Kim, H. (2014). How can I find celebrities' faces in a long video Proceedings of the Korea HCI Congress 2014, 175-178. Lee, J. (2010). Heartbeat-signal monitoring system using fine-pressure sensor. Journal of the Korea Academia-Industrial Cooperation Society, 11(4), 1266-1271. Lee, W., and Whang, M. (2014). The accuracy of recognizing emotion from korean standard facial expression. The Journal of the Korea Contents Association, 14(9), 476-483. Mehrabian, A. (1972). Nonverbal communication. Transaction Publishers. Seo, C. W. (2009). A study on the meanings of nonverbal communication in emotional information. Korean Society of Basic Design and Art, 10(6), 201-211. Visage Technologies. (2014). FaceDetect - Visage Technologies. Retrieved from http://www.visagetechnologies.com/products-and-services/visagesdk/facedetect/ Wallbott, H. G., and Scherer, K. R. (1986). Cues and channels in emotion recognition. Journal of Personality and Social Psychology, 51(4), 690. Yacoob, Y., and Davis, L. S. (1996). Recognizing human facial expressions from long image sequences using optical flow. Pattern Analysis and Machine Intelligence, IEEE Transactions On, 18(6), 636-642.

본 발명은, AU로 맵핑 된 여러 근육의 움직임에 의해 얼굴 표정이 발현 되며, 기본 감성 표정 역시 여러 근육의 동시적인 움직임과 관계성으로 발현되는 점을 이용하여 피험자의 기본 감성을 평가하는 방법을 제시한다.

본 발명은 AU별 근육의 미세 움직임을 추적하고, 이들 AU 간의 동기화를 평가하고 이를 통해서 피험자의 기본 감성을 평가 또는 판단하는 방법을 제시한다.

본 발명에 따른 얼굴 미동의 내적 동기화를 이용한 기본 감성 표정 인식 방법:은

피험자로부터의 안면 동영상을 획득하는 단계;

상기 안면 동영상에서, 적어도 2개의 AU(Action Unit)를 AU 페어(pair)로 선택하는 단계;

상기 두 AU의 미동 데이터를 구하고, 각 미동 데이터의 표준 편차를 기준 편차에 비교하여 두 AU의 내적 동기화 여부를 판단하되, 상기 두 AU의 미동에 대한 시계열 평균 데이터 Z의 표준 편차를 기준 편차로 하고, 상기 기준 편차가 공기 상기 AU 미동이 표준편차 보다 작을 때 상기 두 AU간에 내적 동기화가 존재하는 것으로 판단하는 단계; 그리고

상기 판단하는 단계에서 동기화가 존재하는 것으로 판단되었을 때, 해당 AU 페어에 대응하는 기본 감성을 피험자의 얼굴에 나타난 감성으로 판단하는 단계;를 포함한다.

본 발명의 한 실시 예에 따르면, 안면 부위별로 맵핑되어 있는 다수 AU(Action Unit)에서, 기본 감성인 공포, 분노, 혐오, 행복, 슬픔, 놀람 중, 어느 하나에 대응하게 내적 동기화가 나타나는 적어도 2개의 AU를 상기 AU 페어로 정의하는 단계;가 더 포함할 수 있다.

본 발명의 일 실시 예에 따르면, 상기 AU의 미동 데이터는 영상 프레임 단위로 해당 AU 좌표의 움직임 값으로부터 추출할 수 있다.

본 발명의 일 실시 예에 따르면, 상기 내적 동기화 판단은 내적 동기화 확률에 의해 판단하고, 내적 동기화 확률은 아래의 식에 의해 계산할 수 있다.

본 발명의 일 실시 예에 따르면, 상기 AU 페어는 오른쪽 이마근-왼쪽 큰 광대근 페어인 AU 2(R)-AU 12(L) 페어와 오른쪽 윗눈꺼풀근-윗입술 코방울 올림근 페어인 AU 5(R)-AU 9(L) 페어 중의 어느 하나이다.

본 발명은 기본 감성 표정이 발현되는데 있어 감성 별로 근육 간 동기화 차이가 발생한다는 것을 가설로 하고, 이를 증명하기 위해 감성 별 AU 페어의 내적 동기화 차이를 확인하였다. 연구 결과, 각 감성 별로 근육 간 동기화 차이가 존재하며, 이를 통해 정량적으로 얼굴 표정에서 나타나는 기본 감성을 평가할 수 있다. 따라서, 본 발명에 따르면, 다중 AU 페어의 내적 동기화 확률을 룰-베이스로 적용함으로써 기본 감성 표정을 영상을 통해 판별할 수 있게 된다.

도1 (a)는 AU 페어 간 내적 동기화가 일어난 경우를 예시하는 그래프이며, (b)는 내적 동기화가 발생하지 않은 비동기화를 예시하는 그래프이다.
도2는 본 발명의 실험에서 사용하는 한국형 얼굴 표정 이미지를 예시한다.
도3은 본 발명의 실험에 사용되는 환경 및 측정 장비를 배치를 예시한다.
도4는 본 발명의 실험 순서를 설명하는 도면이다.
도5는 안면에서의 AU의 위치의 정의를 보이는 도면이다.
도6은 내적 동기화 발생여부를 확인하기 위한 두 AU의 조합을 예시한다.
도7은 두 감성 표정 사이에 내적 동기화 확률이 통계적으로 차이가 나는 AU 페어의 수를 그래프로 나타낸 것이다
도8은 AU 2(R)-AU 12(L) 페어에서 내적 동기화 확률을 나타내는 그래프이다.
도9는 AU 5(R)-AU 9(L) 페어에서 내적 동기화 확률을 나타내는 그래프이다.
도10은 AU1 또는 AU2 가 포함된 페어에서 내적 동기화 확률을 나타내는 그래프이다.
도11은 AU5가 포함된 페어에서 내적 동기화 확률을 나타내는 그래프이다.
도12a와 도12b는 본 발명의 실험에서 Mann-Whitney U 검정 결과를 보인다.

이하, 첨부된 도면을 참조하면서, 얼굴 미동의 내적 동기화를 이용한 감성 인식 방법의 실시 예를 설명한다.

피험자로부터 얻어진 안면 영상은 표준 모델을 마스킹하는 과정을 거친다.

상기 표준 모델은 인체 안면의 어느 한 기준점(Reference point)을 기준으로 하여 안면의 여러 특정 부위들에 대응하는 다수의 정점(Vertex)이 안면 표준 형상 또는 모양에 대응하게 적절하게 배열되어 있는 구조를 가진다. 표준 모델의 마스킹은 피험자의 기본 표정과 감정 표현의 안면 영상에 대해 수행된다.

위의 과정에서 정점이 맵핑 된 기본 표정과 감정 표현의 안면 영상에서 동일 부위의 정점 간의 좌표 변화 값을 추출한다. 즉, 특정한 감성 상태의 얼굴 표정을 지을 때 그 좌표 이동량을 계산한다.

AU 의 움직임 정보를 추출하는 방법을 다음과 같다.

제1단계(S31): 실시간으로 피험자의 안면을 촬영하여 한 프레임의 정지 영상 또는 연속된 프레임을 가지는 동영상 데이터를 입력 받는 단계이다. 이 단계에는 입력되는 영상을 증폭하고 이에 포함된 노이즈를 제거하는 등의 일반적인 전처리 과정이 포함될 수 있다.

제2단계(S32): 입력된 안면 영상에 기설정되어 있는 전술한 바와 같은 표준 모델을 마스킹한다. 이 과정은 최초에 1회 실시되며, 향후 안면 추적 중, 얼굴 영상을 놓쳤을 때 필요에 따라 재차 마스킹을 수행할 수 있다.

상기 표준 모델에는 인체 안면의 어느 한 기준점(Reference point)을 기준으로 하여 안면의 여러 특정 부위들에 대응하는 다수의 정점(Vertex)이 안면 표준 형상 또는 모양에 대응하게 적절하게 배열되어 있다.

상기 기준점은 예를 들어 미간의 중심부분이며, 이를 기준으로 안면의 특정 부위 들에 대한 정점이 결정된다. 맵핑 과정에서, 표준 모델에 기초하여 상기 안면 영상의 부위별로 상기 정점들이 피험자의 안면 영역에 맵핑된다. 이때에 표준 모델에 대한 피험자의 안면 영역의 비교 부위는 얼굴 윤곽선, 눈, 코, 입 등이다.

제3단계(S33): 맵핑된 안면 영상으로부터 정점들의 좌표 변화 값을 추출한다. 이때의 변화 값을 추출함에 있어서 기준 값은 상기 제2단계의 마스킹을 통해 얻어진 정점 값들이 비교 기준 된다.

제4단계(S34): 맵핑된 정점들을 AU(Action Unit)를 분류(정의)할 수 있다.

제5단계(S35): 얼굴의 두 지점 X, Y에 대응하는 AU의 중점(重點) 또는 중심(重心, Centroid) 의 이동량 즉, 안면 영상에서 전 후 프레임 간 AU 중점의 이동량을 계산한다.

이하, 본 발명에서 감성 표정 인식 방법의 기준, 즉 룰-베이스(rule base)가 되는 내적 동기화에 대한 정의를 설명한다. 본 발명에서는 피험자 얼굴의 두 지점 X, Y에서 발생한 미동에서 상호 동기가 일어날 경우 내적 동기화가 발생한다고 정의하였다. 동기화 여부 판단을 위해 표준편차(σ) 개념을 사용하였다. 특정 시간 X, Y에서 발생한 미동의 내적 동기화 여부를 판단하기 위해서는 X, Y 각각의 미동 데이터의 표준편차인

,

를 구한다.

그리고, 두 지점 X, Y에서 발생한 미동 (데이터)에 대한 시계열 평균 데이터 Z의 표준편차(

)를 기준 편차로서 구한다.

이때, 기준 편차인 Z의 표준 편차(

)가 X, Y 각각의 표준편차

,

보다 공히 작을 때, 내적 동기화가 발생했다고 판단한다. 즉, 아래의 조건식이 참(True)이면 X, Y 지점 간에 내적 동기화가 발생한 것으로 판단한다.

이는 X, Y 두 지점에서 발생한 미동 각각의 표준편차에 비해 시계열 평균 데이터의 표준편차인 기준 편차가 작을 경우 두 지점에서 유사한 패턴으로 미동이 발생했다고 할 수 있기 때문이다. 도 1에서 (a)는 내적 동기화가 일어난 경우를 예시하는 그래프이며, (b)는 내적 동기화가 발생하지 않은 비동기화 예시 그래프이다. 도1 (a)와 (b)의 비교를 통해서 내적 동기화가 발생하지 않은 경우, 두 지점에서 발생하는 미동의 패턴이 상대적으로 더 불일치 한다는 것을 알 수 있다.

이하, 내적 동기화와 이에 따른 기본 감성의 평가 검증을 위한 실험 방법에 대해 설명한다.

본 발명의 실험에 참여한 피험자는 안면근육 움직임에 문제가 없는 23세부터 38 세 사이의 대학생 6 명(남성 3 명, 여성 3 명; 평균연령 28.67 ± 5.13 세)으로 구성되었다. 피험자가 여섯 가지 기본 감성 표정을 명확하게 이해하고 표현하도록, 실험 전 기본 감성의 이해와 외형적 특징에 대한 학습이 이루어졌다. 학습을 위해 제작된 자료는 '기본 감성 이론', '각 감성의 외형적 특징', '유사 감성의 외형적 특징차이'로 구성되었다.

학습자의 이해를 돕기 위해 도2에 도시된 바와 같은 한국형 얼굴 표정 이미지를 예시한다. 도2에서 (a)는 놀람(surprise), (b)는 공포(fear) 상태의 표정을 예시하며, 이때에 (a)와 (b)의 좌측 이미지는 놀람과 공포에 따른 표정을 예시하며, 그 우측은 각 감성 상태에 따른 근육 또는 AU의 움직임 방향을 나타내었다.

본 발명의 실험에 사용되는 환경 및 측정 장비는 아래와 같다.

실험 환경은 도3에 도시된 바와 같이 구성하였다. 피험자(Subject)의 정면에 피험자가 주시할 모니터(Monitor)가 배치되어 있고, 모니터의 상단 중앙에는 피험자의 얼굴 표정을 촬영하기 위한 웹캠(webcam)을 설치하였다. 피험자의 얼굴 표정, 즉 실험 영상은 Microsoft사의 LifeCam Studio 웹캠을 사용하여 촬영되었다. 웹캠의 해상도는 640×360, 30 fps 로 설정되었고, 피험자(Suject)의 정면 얼굴이 그늘지지 않게 촬영되도록 설치 각도를 조절하였다.

실험을 진행함에 있어서, 먼저 피험자(Subject)가 웹캠(webcam)이 설치된 모니터(monitor) 앞에 앉아 모니터를 통해 순차적으로 제시되는 모델 사진의 표정을 모방하여 감성 표정을 짓는 절차로 진행되었다.

실험에 사용한 모델 사진은 각 기본 감성(basic emotion)의 전형적인 특징을 표현하고 있어야 하고 다른 감성의 간섭이 없어야 하므로 Ekman과 Friesen(2003)이 각 기본 감성의 전형적인 특징을 담고 있다고 정의한 모델 사진을 사용하였다. 모델 사진은 모두 흑백으로, 각 감성 별로 한 장씩, 총 여섯 장이 준비되었다. 모델 사진은 공포, 분노, 혐오, 행복, 슬픔, 놀람’ 순서로 각각 24초씩 제시되며, 감성 사이의 간섭을 최소화하기 위하여 어떠한 자극이 없는 회색 화면만을 보여주는 휴식 구간 6 초를 표정을 짓는 구간 사이에 제시 하였다. 최종적으로 실험은 도4에 도시된 바와 같은 순서로 진행되었다.

총 실험 시간은 3 분이며, 본 실험 전 피험자가 실험 절차에 익숙해질 수 있도록 충분히 연습할 수 있는 시간이 주어졌다. 각 피험자는 실험종료 후 5 분의 휴식시간을 가진 뒤 동일한 실험을 한 번 더 진행하였다. 그 결과 각 피험자로부터 2 개의 실험 영상을 취득하여 총 12 개의 기본 감성 표정 영상을 취득할 수 있었다.

웹캠으로 촬영된 전체 실험 영상에서 피험자가 감성 표정을 짓고 있는 구간을 추출하기 위해 동영상 인코딩 프로그램을 사용하였다. 각각의 감성 표정 구간은 24 초지만, 사진 속 표정을 모방하는 실험의 특성상 피험자가 사진을 보고 표정을 짓기 시작하는 순간까지 최대 2 초의 시간 차가 있었다. 따라서 온전히 표정을 짓고 있는 구간만 추출하기 위해 각각의 표정 구간 시작지점에서 2 초를 제거하였으며, 22 초의 감성 표정 영상을 각 감성 별로 12개씩 취득하였다.

상기와 같은 과정으로 획득한 영상으로부터 미동 데이터를 취득하기 위해 영상 속 피험자의 얼굴에 AU 단위의 정점(Vertex)을 매핑 하였다. 본 발명에 사용된 AU는 FACS((Facial Action Coding System))를 기반으로 하였고, 각 AU의 위치는 도5에 도시된 바와 같이 구획(매핑)되고 정의 되었다. 아래의 표1은 얼굴 표정의 변화를 가져 오는 안면 부분의 움직임을 정의하는 AU와 정점(Vertex)을 매핑한 결과를 보인다.

도5에서 좌, 우가 각각 존재하는 AU들은 L, R로 표기하여 구분하였다.

AU의 움직임을 추적하기 위하여 Visage SDK를 사용하였다(Visage Technologies, 2014). Visage는 기하학적 특징 기반 영상처리(Geometric feature-based method)를 통하여 정점(Vertex)의 좌표를 반환한다. 정점(Vertex)은 미간을 기준으로 추적된다. 따라서 얼굴의 위치가 변해도 미간을 기준으로 좌표가 추적되기 때문에 큰 움직임에 대한 노이즈가 최소화된다. AU 좌표는 1 프레임 단위로 추출되었다. 본 발명의 실험에서는 현재 프레임에서 이전 프레임 좌표 차이, 즉 1 / 30 초 동안의 움직임 양을 미동으로 정의하였다.

내적 동기화 확률 계산을 위하여, 먼저 도6에 도시된 바와 같이 내적 동기화 발생여부를 확인해야 하는 두 AU의 조합을 하나의 AU 페어(pair)로 구성 및 정의한다. 본 발명의 실험에서 사용한 AU는 31 개 이었으며, 따라서 총 465 개 AU 페어를 조합할 수 있다. 본 발명은 이렇게 구성된 465개 AU 페어의 내적 동기화 발생 확률을 확인하였다.

내적 동기화 확률을 계산하기 위하여 슬라이딩 윈도우(Sliding Window) 기법을 사용하였다(Window Size = 2 초, Resolution = 1 / 5 초). Window Size와 Resolution은 Macro, Micro 표정이 발현되는 시간에 의거하여 정하였다(Ekman, 2009). 각 감성 표정 영상의 길이는 22 초 이었으며, 총 101 번에 거쳐 내적 동기화 여부를 판별하였다. 내적 동기화 판별 알고리즘에 의해 내적 동기화가 일어났다고 판단 될 경우 그 횟수를 기록하였다. 내적 동기화 발생 확률은 내적 동기화가 일어난 횟수를 동기화 판별 횟수로 나눈 것을 백분율로 환산한 값으로 정의하였다.

예를 들어 행복 표정에서 AU 1(R), AU 9(L) 페어의 내적 동기화를 계산했을 때 총 101 번의 판별 과정에서 60 번의 내적 동기화가 일어났을 경우 해당 AU 페어의 내적 동기화 확률은 59.41 %로 계산되었다.

전체 465 개의 AU 페어 중 내적 동기화 확률로 기본 감성 표정을 구분할 수 있는 특정 AU 페어를 찾기 위해 통계 검정을 실시하였다. 정규성 검증 결과 데이터가 정규분포를 따르지 않으므로 비모수 검정을 실시하였다. Kruskal-Wallis H 검정을 실시하여 6 개 기본 감성 표정의 내적 동기화 확률이 통계적으로 유의하게 차이나는 AU 페어를 찾았다(p < .05). Kruskal-Wallis H 검정 후, 도12a, 12b에 도시된 결과와 같은 Mann-Whitney U 검정을 통해 실질적으로 어떠한 감성 표정 사이에서 어떠한 AU 페어의 내적 동기화 확률이 통계적으로 유의한 차이가 발생했는지 확인하였다(p < .05).

이하, 통계 검정 결과에 대해 설명한다.

도7은 두 감성 표정 사이에 내적 동기화 확률이 통계적으로 차이가 나는 AU 페어의 수를 그래프로 나타낸 것이다(p < .05).

두 감성을 구분하는 AU 페어의 수가 가장 많은 것은 행복과 놀람 표정으로 42 개 AU 페어에서 내적 동기화 확률의 차이가 발생했다. 반면에 놀람과 공포는 내적 동기화 확률이 통계적으로 차이가 나는 AU 페어의 수가 1 개로, AU 1(R)-AU 12(R) 페어에서 공포와 놀람의 내적 동기화 확률이 각각 17.71%, 8.68% 로 통계적 차이가 있다는 것이 확인되었다(Z = -2.023, p = .045).

통계 검정 결과, 내적 동기화 확률의 차이를 통해 모든 기본 감성 표정을 구분할 수 있는 하나의 AU 페어는 존재하지 않았다. 기본 감성 표정을 가장 많이 구분할 수 있는 AU 페어는 오른쪽 바깥 이마근과 왼쪽 큰 광대근을 사용하는 AU 2(R)-AU 12(L) 페어 그리고 오른쪽 윗눈꺼풀근과 윗입술 코방울 올림근을 사용하는 AU 5(R)-AU 9(L) 페어 였다.

도8은 상기 AU 2(R)-AU 12(L) 페어에서 내적 동기화 확률을 나타내는 그래프이다.

도8에 도시된 바와 같이, AU 2(R)-AU 12(L) 페어에서 내적 동기화 확률이 통계적으로 유의하게 차이 나는 감성 표정은 혐오(Digust)와 행복(Happiness), 분노(Anger)와 행복(Happiness), 공포(Fear)과 행복(Hapiness), 행복(Hapiness)과 슬픔(Sadness), 행복(Happiness)과 놀람(Surprise), 분노(Anger)와 혐오(Disgust), 혐오(Disgust)와 공포(Fear), 그리고 혐오(Disgust)와 놀람(Surprise)이었다(p < .05).

도9는 AU 5(R)-AU 9(L) 페어에서 내적 동기화 확률을 나타내는 그래프이다.

도9에 도시된 바와 같이, AU 5(R)-AU 9(L) 페어에서 발생한 내적 동기화 확률이 통계적으로 유의하게 차이 나는 감성 표정은, 행복과 공포, 행복과 슬픔, 행복과 놀람, 혐오와 공포, 혐오와 놀람, 분노와 슬픔, 분노와 놀람, 그리고 슬픔과 놀람 이었다(p < .05).

도10은 AU 1 또는 AU 2 가 포함된 페어에서 내적 동기화 확률을 나타내는 그래프이다.

도10에 도시된 바와 같이 안쪽 이마근을 사용하는 AU 1 또는 바깥 이마근을 사용하던 AU 2가 포함된 AU 1(R) -AU 9(L) 페어와 AU 2(R) -AU 12(L) 페어는 각각 행복, 공포, 슬픔, 분노, 놀람, 혐오 및 행복, 분노, 공포, 슬픔, 혐오 순으로 동기화 확률이 높았다. 도10에 따르면, AU 1(R) -AU 9(L) 페어와 AU 2(R) -AU 12(L) 페어의 높은 동기율은 행복(Happiness)을 나타냄을 알 수 있다.

도11은 AU 5가 포함된 페어에서 내적 동기화 확률을 나타내는 그래프이다.

도11에 도시된 바와 같이, 윗눈꺼풀근을 사용하는 AU 5가 포함된 AU 5(L)-AU 11 페어 및 AU 5(R)- AU 9(L)은 공포와 놀람 표정에서 동기화 확률이 높았다. 여기에서 높은 동기화 확률은 공포와 놀람이 공존함으로 판단할 수 있다.

위에서 실시 예를 통해 설명되고 이해된 본 발명은 기본 감성 표정이 발현되는데 있어 감성 별로 근육 간 동기화 차이가 발생한다는 것을 연구 가설로 하고, 이를 증명하기 위해 감성 별 AU 페어의 내적 동기화 차이를 확인하였다. 연구 결과, 각 감성 별로 근육 간 동기화 차이가 존재했다. 안쪽 이마근-왼쪽 큰 광대근 페어를 사용하는 AU 1(R)-AU 12(L) 그리고 오른쪽 바깥 이마근-왼쪽 큰 광대근 페어를 사용하는 AU 2(R)-AU 12(L))에서 행복한 표정을 짓는 경우 부정 감성(분노, 혐오, 슬픔, 공포, 놀람) 표정을 지을 때 보다 내적 동기화 발생 확률이 더 높다는 결과를 얻을 수 있었다. 사람들이 가장 구별하기 힘들어하는 놀람과 공포 표정은(Ekman et al., 1969) 내적 동기화 확률이 통계적으로 차이가 나는 AU 페어의 수가 1 개로, 오른쪽 이마근-오른쪽 큰 광대근(AU 1(R)-AU 12(R)) 페어에서 공포 표정을 지을 때 내적 동기화 확률이 조금 더 높다는 결과를 얻을 수 있었다. 이마근에 위치하는 AU 1 또는 AU 2 가 포함된 페어의 경우 행복, 공포, 슬픔, 분노, 놀람, 혐오 순으로 내적 동기화 확률이 높았다. 반면, 윗 눈꺼풀 올림근에 위치하는 AU 5 가 포함된 페어의 경우 공포, 놀람 표정일 때 내적 동기화 발생 확률이 높았다.

본 발명에 따르면, 단일 AU 페어의 내적 동기화 확률로 기본 감성을 구분할 수는 없지만 다중 AU 페어의 높은 내적 동기화 확률을 룰-베이스로 사용한다면 기본 감성 표정을 구분할 수 있음을 알 수 있다.

본 발명은 얼굴 근육의 관계성을 이용하여 감성을 인식할 수 있는 새로운 방법을 제시했다는 것에 그 의의가 있다. 향후 지속적인 연구를 통해 좀 더 많은 실험을 통한 연구가 수행된다면 HCI(Human Computer Interaction) 시스템, 사용자 맞춤 서비스, 콜센터 등 감성 표정 인식 기술이 필요한 분야에서 보다 정교한 감성 인식 방법으로 사용될 수 있을 것으로 보인다. 또한 얼굴 표정은 감성을 인지하고 전달하는 데 중요한 역할을 하는 지표이기 때문에(Dhall et al., 2011) 인간의 정서 인지와 표현 과정에 대한 중요한 정보를 얻을 수 있을 것으로 기대된다.

Claims (6)

1. 피험자로부터의 안면 동영상을 획득하는 단계;
   상기 안면 동영상에서, 적어도 2개의 AU(Action Unit)를 AU 페어(pair)로 선택하는 단계;
   상기 두 AU의 미동 데이터를 구하고, 각 미동 데이터의 표준 편차를 기준 편차에 비교하여 두 AU의 내적 동기화 여부를 판단하되, 상기 두 AU의 미동 데이터에 대한 시계열 평균 데이터 Z의 표준 편차를 기준 편차로 하고, 상기 기준 편차가 공히 상기 AU의 미동 데이터의 표준편차 보다 작을 때 상기 두 AU 간에 내적 동기화가 존재하는 것으로 판단하는 단계; 그리고
   상기 판단하는 단계에서 동기화가 존재하는 것으로 판단되었을 때, 해당 AU 페어에 대응하는 기본 감성을 피험자의 얼굴에 나타난 감성으로 판단하는 단계;를 포함하는, 얼굴 미동의 내적 동기화를 이용한 감성 인식 방법.
2. 제1항에 있어서,
   안면 부위별로 맵핑되어 있는 다수 AU(Action Unit)에서, 기본 감성은 공포, 분노, 혐오, 행복, 슬픔, 놀람을 포함하고, 상기 기본 감성 중 어느 하나에 대응하게 내적 동기화가 나타나는 적어도 2개의 AU를 상기 AU 페어로 정의하는 단계;를 더 포함하는, 얼굴 미동의 내적 동기화를 이용한 감성 인식 방법.
3. 제1항에 있어서,
   상기 AU의 미동 데이터는 영상 프레임 단위로 해당 AU 좌표의 움직임 값으로부터 추출하는 것을 특징으로 하는 얼굴 미동의 내적 동기화를 이용한 감성 인식 방법.
4. 제1항 내지 제3항 중의 어느 한 항에 있어서,
   상기 내적 동기화 판단은 내적 동기화 확률에 의해 판단하고,
   내적 동기화 확률은 아래의 식에 의해 계산하는 것을 특징으로 하는 얼굴 미동의 내적 동기화를 이용한 감성 인식 방법.
   

   
5. 제4항에 있어서,
   상기 AU 페어는 오른쪽 이마근-왼쪽 큰 광대근 페어인 AU 2(R)-AU 12(L) 페어와 오른쪽 윗눈꺼풀근-윗입술 코방울 올림근 페어인 AU 5(R)-AU 9(L) 페어 중의 어느 하나인 것을 특징으로 하는 얼굴 미동의 내적 동기화를 이용한 감성 인식 방법.
6. 제1항 내지 제3항 중의 어느 한 항에 있어서,
   상기 AU 페어는 오른쪽 이마근-왼쪽 큰 광대근 페어인 AU 2(R)-AU 12(L) 페어와 오른쪽 윗눈꺼풀근-윗입술 코방울 올림근 페어인 AU 5(R)-AU 9(L) 페어 중의 어느 하나인 것을 특징으로 하는 얼굴 미동의 내적 동기화를 이용한 감성 인식 방법.

Images